- 主题:外行求科普：几十亿参数的参数具体指什么？
哪位给科普一下。多谢。这些参数是具体指什么？参数是由什么划分出来的，根据什么来划分这些参数？
--
修改:chunhui FROM 117.133.52.*
FROM 117.133.52.*
这个矩阵是根据什么定义的？ 如果说1亿参数，那就是一亿个矩阵？那这么多矩阵应该也不是人一个个定义出来的吧？
【 在 letdown 的大作中提到: 】
: 最简单的一种模型是outut=fn(...f2(f1(input)*w1)*w2)*wn
: 其中，w1、w2……wn是矩阵，这些就是参数
: 这些参数通过训练得来，通常是通过反向传播来计算出来
: ...................
--
FROM 117.133.52.*
那矩阵是根据什么定义的？
比如处理一段文本。是否可以这样理解：每个文字相关的特性会被区分出来。比如：发音、单个文字出现的位置，文字的顺序。。。这些是否会被转化成矩阵？如果不是，那矩阵所代表的是文本的什么？
我这个问题如果解释起来很麻烦的话，有没有相关的介绍资料推荐？
【 在 letdown 的大作中提到: 】
: 一个矩阵比如：200*2000，那么就是200*2000个参数。300个矩阵就是300*200*2000个参数
--
FROM 117.133.52.*
我只是突然好奇。系统学习没这个需要。有没有科普性质的资料看看。知道大概意思就行了。
【 在 letdown 的大作中提到: 】
: 那你这个要学的东西就要好多了。
: 往大的说，你可以搜索学习一下NLP，往小的说你可以学一下tokenization
: 虽然很多人喜欢推荐coursera上那个谁的讲的课程，但是，我个人推荐入门的话可以看youtube 王树森 的课程，我觉得他讲的更好
: ...................
--
FROM 117.133.52.*
所以说，这个”参数“指的是模拟神经元的个数？
【 在 finlab 的大作中提到: 】
: 他们回答的都不形象。
: 目前主流的人工智能模式是人工神经网络。
: 大模型就是大规模多层人工神经网络。
: ...................
--
FROM 117.133.52.*
我想知道 参数 这个概念，是对应的什么概念。
比如我要作相似度判断。对于线段，可以取长度。这个是一个参数。对于二位线段，可以取长度，方向，这时候两个参数。对于一段文本，是否可以取出来 字，词，位置。。。。这些东西作为参数？
【 在 cpper 的大作中提到: 】
: 你这个不如楼上函数和参数矩阵举例的兄弟的形象。
: #发自zSMTH@LNA-AL00
--
FROM 117.133.52.*
比如说的十亿参数的模型，是十亿个链接数。那神经元的个数是多少？
俩模型都声称是十亿参数，但神经元数可以不一样对吧。
【 在 finlab 的大作中提到: 】
: 不是，是神经连接的个数，比大脑神经元，就是脑细胞，多两三个数量级
--
FROM 117.133.52.*
多谢。基本知道什么概念了。
【 在 finlab 的大作中提到: 】
: 对，看神经网络结构，可以差很多
: 发自「今日水木 on iPhone 12」
--
FROM 117.133.52.*
多谢！我回去看看
【 在 freshmorn 的大作中提到: 】
: 在抖音上看过一个短视频科普得不错，至少作为一个外行，总听到几十亿参数终于不那么懵了。
: 4.82 vSy:/ 10/10 E@h.od 复制打开抖音，看看【数理科学 可能有关】别忽悠了，大模型不拼“大”都是扯淡，几个人真的理解...
https://v.douyin.com/ieFWBBgC/--
FROM 117.133.52.*
这个 很多维度的向量 维度都加起来就是参数数量？这些向量数是不是对应的神经元链接数？
【 在 poggy 的大作中提到: 】
:
: 目前的所谓大模型， 一般就是指AI里的神经网络模型，
: 计算机科学的神经网络可以简单的理解为人脑的数字化，
: ...................
--
FROM 114.254.3.*