- 主题:外行求科普:几十亿参数的参数具体指什么?
最简单的一种模型是outut=fn(...f2(f1(input)*w1)*w2)*wn
其中,w1、w2……wn是矩阵,这些就是参数
这些参数通过训练得来,通常是通过反向传播来计算出来
【 在 chunhui 的大作中提到: 】
: 哪位给科普一下。多谢。这些参数是具体指什么?参数是由什么划分出来的,根据什么来划分这些参数?
--
FROM 121.35.45.*
一个矩阵比如:200*2000,那么就是200*2000个参数。300个矩阵就是300*200*2000个参数
【 在 chunhui 的大作中提到: 】
: 这个矩阵是根据什么定义的? 如果说1亿参数,那就是一亿个矩阵?那这么多矩阵应该也不是人一个个定义出来的吧?
--
FROM 121.35.45.*
那你这个要学的东西就要好多了。
往大的说,你可以搜索学习一下NLP,往小的说你可以学一下tokenization
虽然很多人喜欢推荐coursera上那个谁的讲的课程,但是,我个人推荐入门的话可以看youtube 王树森 的课程,我觉得他讲的更好
【 在 chunhui 的大作中提到: 】
: 那矩阵是根据什么定义的?
: 比如处理一段文本。是否可以这样理解:每个文字相关的特性会被区分出来。比如:发音、单个文字出现的位置,文字的顺序。。。这些是否会被转化成矩阵?如果不是,那矩阵所代表的是文本的什么?
: 我这个问题如果解释起来很麻烦的话,有没有相关的介绍资料推荐?
--
FROM 121.35.46.*