- 主题:外行求科普:几十亿参数的参数具体指什么?
哪位给科普一下。多谢。这些参数是具体指什么?参数是由什么划分出来的,根据什么来划分这些参数?
--
修改:chunhui FROM 117.133.52.*
FROM 117.133.52.*
这个矩阵是根据什么定义的? 如果说1亿参数,那就是一亿个矩阵?那这么多矩阵应该也不是人一个个定义出来的吧?
【 在 letdown 的大作中提到: 】
: 最简单的一种模型是outut=fn(...f2(f1(input)*w1)*w2)*wn
: 其中,w1、w2……wn是矩阵,这些就是参数
: 这些参数通过训练得来,通常是通过反向传播来计算出来
: ...................
--
FROM 117.133.52.*
那矩阵是根据什么定义的?
比如处理一段文本。是否可以这样理解:每个文字相关的特性会被区分出来。比如:发音、单个文字出现的位置,文字的顺序。。。这些是否会被转化成矩阵?如果不是,那矩阵所代表的是文本的什么?
我这个问题如果解释起来很麻烦的话,有没有相关的介绍资料推荐?
【 在 letdown 的大作中提到: 】
: 一个矩阵比如:200*2000,那么就是200*2000个参数。300个矩阵就是300*200*2000个参数
--
FROM 117.133.52.*
我只是突然好奇。系统学习没这个需要。有没有科普性质的资料看看。知道大概意思就行了。
【 在 letdown 的大作中提到: 】
: 那你这个要学的东西就要好多了。
: 往大的说,你可以搜索学习一下NLP,往小的说你可以学一下tokenization
: 虽然很多人喜欢推荐coursera上那个谁的讲的课程,但是,我个人推荐入门的话可以看youtube 王树森 的课程,我觉得他讲的更好
: ...................
--
FROM 117.133.52.*
所以说,这个”参数“指的是模拟神经元的个数?
【 在 finlab 的大作中提到: 】
: 他们回答的都不形象。
: 目前主流的人工智能模式是人工神经网络。
: 大模型就是大规模多层人工神经网络。
: ...................
--
FROM 117.133.52.*
我想知道 参数 这个概念,是对应的什么概念。
比如我要作相似度判断。对于线段,可以取长度。这个是一个参数。对于二位线段,可以取长度,方向,这时候两个参数。对于一段文本,是否可以取出来 字,词,位置。。。。这些东西作为参数?
【 在 cpper 的大作中提到: 】
: 你这个不如楼上函数和参数矩阵举例的兄弟的形象。
: #发自zSMTH@LNA-AL00
--
FROM 117.133.52.*
比如说的十亿参数的模型,是十亿个链接数。那神经元的个数是多少?
俩模型都声称是十亿参数,但神经元数可以不一样对吧。
【 在 finlab 的大作中提到: 】
: 不是,是神经连接的个数,比大脑神经元,就是脑细胞,多两三个数量级
--
FROM 117.133.52.*
多谢。基本知道什么概念了。
【 在 finlab 的大作中提到: 】
: 对,看神经网络结构,可以差很多
: 发自「今日水木 on iPhone 12」
--
FROM 117.133.52.*
多谢!我回去看看
【 在 freshmorn 的大作中提到: 】
: 在抖音上看过一个短视频科普得不错,至少作为一个外行,总听到几十亿参数终于不那么懵了。
: 4.82 vSy:/ 10/10 E@h.od 复制打开抖音,看看【数理科学 可能有关】别忽悠了,大模型不拼“大”都是扯淡,几个人真的理解...
https://v.douyin.com/ieFWBBgC/--
FROM 117.133.52.*
这个 很多维度的向量 维度都加起来就是参数数量?这些向量数是不是对应的神经元链接数?
【 在 poggy 的大作中提到: 】
:
: 目前的所谓大模型, 一般就是指AI里的神经网络模型,
: 计算机科学的神经网络可以简单的理解为人脑的数字化,
: ...................
--
FROM 114.254.3.*