- 主题:外行求科普:几十亿参数的参数具体指什么?
【 在 chunhui 的大作中提到: 】
: 哪位给科普一下。多谢。这些参数是具体指什么?参数是由什么划分出来的,根据什么来划分这些参数?
目前的所谓大模型, 一般就是指AI里的神经网络模型,
计算机科学的神经网络可以简单的理解为人脑的数字化,
怎么数字化比如两个神经元, 人类的神经是通过神经脉冲传导的,
数字化就是一个参数,也就是标记两个神经元连接强度的权值(常常用不同长度的浮点数表示),
另外, 除了这个连接权值, 一个神经元本身还有一个偏置值,
当然,这只是通常的一种神经元类型, 还会有更复杂的, 基于能量系统的,基于概率分布的仿真模型。
基本都是来源于物理或者数学。
本质上, 一个有很多层的神经网络, 就是一个复合很多次的深度复合函数,而函数的每个变量值
又是一个很多维度的向量, 这两者的数字化, 共同形成了一个超大的,复杂的矩阵。
而所谓的学习, 就是让输入的数据,经过这个复杂的复合函数后得到的输出的数据,与我们期望的目标结果之间产生关联, 需要通过改变这个复杂复合函数中
参数矩阵里面的参数值来实现的,其实,这个过程则是纯粹数学优化方法。至少现在看, 这个和人脑的进化和学习机理是不相干的。
--
修改:poggy FROM 124.126.1.*
FROM 124.126.1.*
【 在 qgg 的大作中提到: 】
: 人类搞的不一定比演化的差,就像飞机肯定没有鸟类精巧,用你的比较方法可以发现,鸟类的一个细胞都比现代喷气式飞机复杂,但喷气式发动机能量转化的规模比鸟类大得多,结果速度和距离都比鸟类强得多。类似的,电流和晶体管的速度比神经冲动和神经递质的速度快得多。
这个优化目标不一样, 人类的智商做出来的, 和大自然亿万年演化出来的,最大的区别是后者本身就是一个系统,有着自身完整的演化路径, 大自然的能效比, 远远高于人造的东西, 人类几个馒头的智能输出, 需要机器几万度电,长时间的输出。 还比如, 有一种鞭毛虫的微生物, 它的运动马达,其能效转换,让人造的电机完全相形见绌。
--
FROM 124.126.1.*
【 在 chunhui 的大作中提到: 】
: 这个 很多维度的向量 维度都加起来就是参数数量?这些向量数是不是对应的神经元链接数?
这个维度, 你可以认为是不同的属性, 比如颜色, 会有红,黄, 蓝, 透明度之类的。
一个物品, 会有长宽高,重量, 价格, 制造时间, 保质期, 成本等等的。
一个人也类似。
每一个物品的总和构成一个样本集, 模型就建立在这个样本集的拟合上, 样本和维度是连乘的关系,而不是简单相加。
至于这些维度换算关系, 并不需要有严格限定,不同的网络结构设计可以不一样。
还是以颜色为例, 你有一副图, 有一万个像素, 每个像素有红绿蓝和透明度特征。
你可以输入设计成10000, 却有四个通道的网络, 通道网络之间相互独立,
你也可以设计出10000x4的输入, 四个特征融合到一起,都在一层,构成一张网络, 这样通道之间就不是相互独立了。
--
FROM 115.171.245.*