水木社区手机版
- 主题:[转载] AI 学会新技能
- 你这个说法不对。人的眼睛大致相当于1亿像素的摄像头，50mm焦段，帧率往少了说至少有10fps吧。
并且有2只，从生下来开始每天至少开机14个小时。
换算成数据量是多少？注意这可是不带压缩的哦。
【 在 lokta 的大作中提到: 】
: 举个例子。
: 历史上存在狼孩事件。
: 如果按你的说法，无时无刻不在接受信息对神经进行训练，那么为什么狼孩的智力跟正常人类社会的小孩智力差距那么大？那说明无时无刻接受的信息不见得对训练是有效的。这些信息对智力贡献很小。每天接触到的信息就是打猎，吃饭，睡觉，抢地盘。日复一日的重复等于是把有限的训练集拿来反复训练。数据量打，信息质量差。
: ...................
--
FROM 114.222.223.* - 现在ai届的主要方向是无监督或者弱监督。
认为ai非常依赖标注这个观点大概是6年前左右的事情了。
【 在 ventana 的大作中提到: 】
: 光数据不够。 你到网上下载视频或者开一百个摄像头7×24也有很大的量。但是没人标注。
--
FROM 114.222.223.* - 另外alphafold2大概是2020年的事情了，反射弧有点长
【 在 hgoldfish 的大作中提到: 】
: 人工智能让研究人员能检查当今科学仪器产生的大量数据，改变了科学实践。使用深度学习，可以从数据本身中学习，在数据的海洋中大海捞针。人工智能正在推动基因搜索、药学、药物设计和化合物合成的发展。为了从新数据中提取信息，深度学习要使用算法，算法通常是在海量数据上训练出来的神经网络。按照其分步说明，它与传统计算有很大的不同。它从数据中学习。深度学习没有传统计算编程那么透明，这留下了一个悬而未决的重要问题：系统学到了什么，它知道什么？五十年来，计算机科学家一直在试图解决蛋白质折叠问题，但没有成功。2016 年 Google 母公司 Alphabet 的人工智能子公司 DeepMind 推出了 AlphaFold 计划。利用蛋白质数据库作为训练集，该库中包含了超过 15 万种蛋白质的经验确定结构。不到五年的时间里，AlphaFold 就解决了蛋白质折叠问题，或者至少解决了其中最重要的方面：根据氨基酸序列识别蛋白质结构。AlphaFold 无法解释蛋白质是如何如此快速而精准地折叠的。这对人工智能来说是一次巨大的胜利，因为它不仅赢得了很高的科学声誉，而且是一项可能影响每个人生活的重大科学突破。
: https://www.solidot.org/story?sid=71933
--
FROM 114.222.223.* - 你不是搞这个的吧，20年的说法都来了。
这一轮ai的井喷是2012年提出的alexnet为标志的。
并且这一轮能井喷的前提也是GPGPU的成熟。
【 在 ventana 的大作中提到: 】
: 这方向有二十年了。主流还是靠标注。
--
FROM 114.222.223.* - 这个只能说，目前ai还处于初级阶段，还不具备归纳演绎推理逻辑的能力。
现在的ai还处于千亿参数规模，而人脑是百万亿突触，其实就相当于人类婴儿的情况。婴儿也不具备归纳演绎推理逻辑这些高级智能，所以婴儿（包括猩猩等智力更低的动物）会有成年人不具备的快照记忆能力。
我不认为现在ai需要大量数据是一个问题。一定要说问题，那只是现在的技术发展还不足以把ai的规模怼到跟人脑同等水平而已。就跟GPGPU之前，2000年前CNN早就提出来了，并没啥卵用。掀起风浪的是2012 alexnet，这篇文章甚至很大的篇幅都在讲怎么设计网络，让它能分布在两张显卡上并行运行这种根本就不应该在论文中出现的“技术技巧”。
我也不认为整个ai体系有什么“算法”，ai到目前为止可以归纳为一句话：大力出奇迹
所以我的观点是，10年后，ai达到百万亿参数规模的时候，什么归纳演绎推理逻辑之类的能力自然会萌生。
【 在 ztysys 的大作中提到: 】
: 你这种数据量只是对当前的算法而言是有意义的
: 人类AI根本是不同路线，高度抽象和逻辑能力，压根不需要机器AI的数据量训练
: 强调人类可以接触大量数据的，都是掩盖算法本身的问题，现在的算法根本没有归纳演绎的能力，才导致依赖巨大的数据量
: ...................
--
FROM 114.222.223.* - 卷积降采样不一样是神经细胞干的嘛？难不成人眼内置了一颗处理器不成。
当然是要算在数据量上的。
人脑有一系列复杂的机制或结构来各种抽象减少数据量，这是在进化中形成。我们只解析了其中一小撮结构，比如人眼的卷积能力。你不能说因为你解析了这块结构，所以它之前的数据就跟人脑无关了。那要是解析了人眼看懂文字/理解图像的部分，把图像变成文本流了，那是不是人眼看到的东西都可以不算成数据了？
现在的ai其实也是一样的，网络的权重变化本身就是形成结构的体现。全连通图就是cnn，transformer等结构的超集。无非是现在还不知道怎么训练全连通图，所以构造了全连通网络这种降级的形式，再后来又构造了cnn等进一步降级的形式。这只是方法上的妥协，通过各种人类的介入来帮助ai而已，但改变不了本质。
【 在 lokta 的大作中提到: 】
: 人眼分辨率1亿，但是最后还不是要靠卷积降采样。
: 人类靠模仿生物大脑最后整出来卷积神经网络。
: 如果数据允许，你可以全用高清图片去训练升级网络。
: ...................
--
FROM 114.222.223.* - 谁跟你说大多数数据被放弃的？
tesla用了8个摄像头，每个摄像头分辨率1280x960，帧率37帧，通过所有摄像头一起形成vector space，然后才是在这个vector space上进行物体识别的好不好。
【 在 hgoldfish 的大作中提到: 】
: 话不能这么说啊。。特斯拉好几个摄像头，但其实大多数数据被放弃了。
:
--
FROM 114.222.223.* - 我不觉得基因里面存好了一个预选训练好的网络结构。
因为如果有这样的结构，人脑1800亿脑细胞，百万亿突触规模，如果要预先训练好一定是一个非常庞大规模的数据量。而人类dna只能存了大概5TB的信息，大部分还都得用来支撑生命本身的运行。
生命的本质是复杂现象，就跟元胞自动机一样，描述这个机制只需要很少的规则，但这套机制的演化却无穷无尽。
我认为在规则层面只能做大方向的调整，不可能精细调整里面的每个细节的。
好比元胞自动机是图灵完备的，我们可以给他编程让他变成一个时钟。但你说怎么在元胞自动机的规则层面去做这个事情？我感觉是完全没有可能性的。唯一的办法就是制定一个极其繁琐的规则，把这个底层编程的结果直接嵌入在上层规则层面。这样产生的数据量可能比底层编程还要大。
【 在 eGust 的大作中提到: 】
: 作为生物，至少各种感官都是在基因里就训练好的，没听说谁能通过后天训练，感官上就能不再产生错觉了
: 社会功能的确是基于后天训练的，但奖惩机制是很大程度也是依赖共情的，缺乏共情就是反社会人格，恐怕也不是能后天训练就板回来的
:
--
修改:lvsoft FROM 114.222.223.*
FROM 114.222.223.* - 我当然知道它最近开源了，我还知道它都不是最好的，已经有好几个复现的项目超越它了呢。
所以问题是大家的反射弧需要这么长么？都要等人家开源才来讨论？
那知道deepmind最近刚发布的Gato么，就是一个transformer，一个模型，一个权重，区区12亿参数规模，同时完成600多个不同种类的任务。从操作机械臂，到打Atari game，到聊天机器人，到image to text。
这货即使是cherry pick的结果，那已经让人看到AGI的一丝曙光了，deepmind都发布消息说要去攻克一个很难但值得攻克的课题，很多人猜测这个课题就是AGI了。
楼里这么多人居然还在坚持ai“算法”论。反射弧需要这么长么？
【 在 fupip 的大作中提到: 】
: 最近开源了
--
修改:lvsoft FROM 114.222.223.*
FROM 114.222.223.* - 那也是内置了一定的遗传记忆能力，并不是直接遗传模型或者遗传参数。
比如现在证实的是我们的dna里面有很多很多病毒的dna序列。
这些实际上是一个病毒样本的数据库，用来识别这些病毒的。
遗传记忆可能也是一样的效果。比如人怕蛇等生物，表现为只能给一个让人警觉的情绪信号，感觉就像是一个外挂的模块一样。而且我认为这甚至不一定是记忆，只是对未知的警觉而已。比如被毒蛇咬了的人，他挂了dna根本就遗传不下去。这个就跟野外动物普遍怕人类，但一旦咬死了人就一定要处决一样的道理。
至于人能自如的操作手臂嘛。这个也不见的是天生的。比如大象，如果不经过训练就是不会操纵鼻子的。人其实也类似，比如小孩就是掌控不好力度的，只不过操作手臂失败的不会很明显罢了。换个例子比如走路就是需要后天学习的。再比如人如果截肢了，比如右手没了换左手，那也是需要重新训练学习才能达到之前的惯用手水准的。
【 在 hgoldfish 的大作中提到: 】
: 肯定有的。不然没法解释人类会害怕蛇类。内部肯定预设了一些规则。
: 再比如人类可以自由地操作手臂，也是上亿年进化预选训练好的。
:
--
修改:lvsoft FROM 180.111.26.*
FROM 180.111.26.*