- 主题:Ai几十年发展史兜了一大圈，又回到仿生的路子上了
20多年前搞基于内容的搜索，第一步可不就是先做特征向量的提取，提取的越接近于文本、图片本来的空间分布，搜索效果越好。这真不算啥创新型的想法。
【 在 booble 的大作中提到: 】
: 那你厉害，我原来对文字的理解就是一个符号，用什么样的方式表示都可以，只要能区分开不同的字符就行。但实际上文字不是单独存在的，文字之间有各种各样的关联关系，embedding里面存储了这些信息，所以大模型才能对自然语言有更深入的理解。
:
--
FROM 1.202.170.*
我个人感觉意义重大，相当于从自然语言处理变成了自然语言理解的跳跃。
【 在 liaotianxia 的大作中提到: 】
: 20多年前搞基于内容的搜索，第一步可不就是先做特征向量的提取，提取的越接近于文本、图片本来的空间分布，搜索效果越好。这真不算啥创新型的想法。
--
FROM 112.41.21.*
没有GOU的大规模并行运算能力以及英伟达的cuda平台，再好的理论也只能是空中楼阁吧。
就像二十年前人人都在幻想当今的智能手机的样子和功能，但当今的智能手机只能是建立在全产业链分工配合全方面突破的基础之上。
【 在 pixYY 的大作中提到: 】
:其实，摸索这么多年，这才逐渐走向正路:当年大佬明斯基写的书，不怀好意命名为《感知机》，严重误导了AI研究方向，否则AI应
--
FROM 114.246.100.*
未来神棍的生存空间越来越小了
【 在 stub 的大作中提到: 】
: 出来看看天吧..
: --
发自「今日水木 on iPhone SE 2」
--
FROM 223.104.40.*
哈哈哈哈哈哈
【 在 butcher 的大作中提到: 】
: 只要人类不解决从哪里来到哪里去，
: 人类永远都是造物主的小小玩物。
: 事实上人类永远不会知道。
: ...................
--来自微微水木3.5.17
--
FROM 223.104.41.*
做传统机器学习的后来是没有办法，兜一圈是因为没有算力，算力解决不了就只能搞数学，大多数基本概念实际上还是那个时候想出来的。
这十年大多数进展靠的是算力的大跃进和网络结构的小幅改进，数学的难度比机器学习那个年代反而要求低了一些。
--
FROM 114.246.199.*
这几年除了神经网络规模扩大了几万倍，十几年前根本不用想，
算力无法支持。同时训练数据也膨胀了上万倍，没有大数据物联网的
支持，根本没法满足训练需求。所以也要配套系统的进步才能带动
ai的发展。
--
FROM 124.64.22.*
大模型的本质其实是模式识别。transformer最大的优势其实是它通过自注意力机制，可以并行地计算每个位置与其他所有位置之间的依赖关系，无论它们之间的距离有多远，都能有效地捕捉到长序列中的长期依赖信息。语言是信息的媒介，大模型通过语言进行训练，本质是对信息模式进行识别。当大模型的参数足够大时，跨领域的模式被识别出来，并被固化到模型参数中，这相当于蕴含在语言里的高维信息模式被抽取出来了。这就是transformer出现涌现和泛化能力跃变的原因。AI 在现阶段，可以被理解为人类大脑的新皮层，是一个以回答你问题作为唯一目标的纯粹理性。
--
FROM 111.196.164.*