- 主题:用ChatGPT设计一门新语言
人类大脑只开发了10%这个是谣言吧……
【 在 nsyncxyz 的大作中提到: 】
ChatGPT还只是gpt3的模型,要是gpt4出来还不逆天,参数达到人类规模,但人类大脑只开发了10%,那他至少超人类10倍,人类的输入输出带宽很窄。
--
FROM 123.118.102.201
【 在 lvsoft 的大作中提到: 】
: 前半句同意,但后面开始都是误传...
: gpt4不会达到100T参数规模,人类大脑也并不是只开发了10%,而且一个ai网络参数也不能等于人脑一个突触...
: 总的来说按照目前ai工业界发展速度,达到人脑规模还是需要10年的,没那么快。
: ...................
人脑的神经网络组网方式肯定不是最优解(受限于人脑的形状),模拟训练的还可以不断调整进步,后续再出自我调整模型连接,再加上训练带宽不知是人的多少倍(量变带来质变),会很快突破的,担心奇点到来后ai一骑绝尘人类该如何生存。
--
FROM 223.94.44.*
自动化的投资理财顾问 完全可能。
【 在 lvsoft 的大作中提到: 】
: 其实...这样的话老板也是不需要的...
: 直接给ai打钱,让ai发招聘,让ai打电话找客户,让ai做项目经理管理团队... ...
: 反正现在理论上所有人都可以远程办公,只要不见面你也不知道跟你对接的是人还是ai...
: ...................
--
FROM 114.241.3.*
啊这个你应该不太了解情况吧...
事实上现在用计算机实现的ai也不是最优解,人脑的模式才是更好的方向。所以还有个快速发展的领域叫类脑计算。
原因是现在的计算机还是冯机那一套,有大量数据搬运的开销,浪费了大量的能量,所以对于目前的AI来说这个反而是目前的一大短板。所以你光说带宽高是没意义了,事实上ai并不需要高带宽。只是把ai跑在冯机上需要而已。
【 在 nsyncxyz 的大作中提到: 】
: 人脑的神经网络组网方式肯定不是最优解(受限于人脑的形状),模拟训练的还可以不断调整进步,后续再出自我调整模型连接,再加上训练带宽不知是人的多少倍(量变带来质变),会很快突破的,担心奇点到来后ai一骑绝尘人类该如何生存。
--
FROM 180.158.63.*
【 在 lvsoft 的大作中提到: 】
: 啊这个你应该不太了解情况吧...
: 事实上现在用计算机实现的ai也不是最优解,人脑的模式才是更好的方向。所以还有个快速发展的领域叫类脑计算。
: 原因是现在的计算机还是冯机那一套,有大量数据搬运的开销,浪费了大量的能量,所以对于目前的AI来说这个反而是目前的一大短板。所以你光说带宽高是没意义了,事实上ai并不需要高带宽。只是把ai跑在冯机上需要而已。
: ...................
浪费能量就训练一个通用模型也是可接受的,现在计算机上肯定不是最优解,但有很大改进空间,人脑模式肯定只是大脑这种形状的局部最优解,离最优解肯定也差的很远,而且功率小,高带宽有很大意义啊,人18年的训练,机器1秒不到就学会了,各种知识融汇贯通会量变引起质变的。
--
FROM 223.94.44.*
怎么可能机器1秒就学会人18年的训练...
GPT3的训练代价大概是128张A100卡和1年的时间。训练的数据量也只是45TB而已。
你人活18年就只产生45TB数据么?你的眼睛相当于600万像素的相机,帧率算是10fps,你睁开眼一秒就会产生1.34G的数据,两只眼睛还要乘以2好不好。这还只是视觉,触觉,听觉等等其他感官也都是时刻产生巨量数据的。你真以为人的带宽很低啊?那个只是语言的IO带宽很低罢了。
【 在 nsyncxyz 的大作中提到: 】
: 浪费能量就训练一个通用模型也是可接受的,现在计算机上肯定不是最优解,但有很大改进空间,人脑模式肯定只是大脑这种形状的局部最优解,离最优解肯定也差的很远,而且功率小,高带宽有很大意义啊,人18年的训练,机器1秒不到就学会了,各种知识融汇贯通会量变引起质变的。
--
修改:lvsoft FROM 180.158.63.*
FROM 180.158.63.*
【 在 lvsoft 的大作中提到: 】
: 怎么可能机器1秒就学会人18年的训练...
: GPT3的训练代价大概是128张A100卡和1年的时间。训练的数据量也只是45TB而已。
: 你人活18年就只产生45TB数据么?你的眼睛相当于600万像素的相机,帧率算是10fps,你睁开眼一秒就会产生1.34G的数据,两只眼睛还要乘以2好不好。这还只是视觉,触觉,听觉等等其他感官也都是时刻产生巨量数据的。你真以为人的带宽很低啊?那个只是语言的IO带宽很低罢了。
: ...................
128张卡而已,要是再多1000倍呢,你眼睛600万像素大多是无用信息,你在训练么,你最多只是在推理而已,大多数时间推理都没推。
--
FROM 223.94.44.*
128张卡而已,呵呵。
一张a100的卡6-8万rmb,128张再加上配套的cpu,内存,网络,存储等等,我们就算1kw rmb吧。
多1000倍就是100亿rmb。
至于你在不在训练这不是废话嘛,不训练你岂不是跟你还是婴儿的时候一样?看个苹果都不一定认识。
另外人脑的训练和推理可不遵循AI的BP哦,不存在你以为的训练和推理的差别。
眼睛看到的数据就是这么多。只要你能看出256色阶的差别,能看到rgb三色,能看到10fps,能有600万像素的分辨率,你就得有这样的数据量。至于有用还是无用那也是大脑处理过的结果。你只是没感知到这个流程罢了。
别来跟我抬杠,ok?
【 在 nsyncxyz 的大作中提到: 】
: 128张卡而已,要是再多1000倍呢,你眼睛600万像素大多是无用信息,你在训练么,你最多只是在推理而已,大多数时间推理都没推。
--
修改:lvsoft FROM 180.158.63.*
FROM 180.158.63.*
所以我说你不是一直在训练,你产生的训练数据其实很少的,只做识别,电脑的核显都够了。不争了,大家都是期待ai带来美好生活
--
修改:nsyncxyz FROM 223.94.44.*
FROM 223.94.44.*
我都不知道你这些结论是哪里来的,是看的哪个营销号还是你自己拍脑袋想的?
对人来说,不存在什么训练和推理的区别。你脑内并没有一个开关拨一下就处于训练模式。
事实上,人脑的突触间距一直都在变化,连接关系也经常发生改变,这个东西叫突触可塑性。也就是说人脑的权重数据一直在动态更新,人脑事实上就是时刻处于训练中,那你生活中的例子你也应该有一样的感受,任何行为只要不断重复就会越来越熟练。无非是年纪上去之后突触可塑性变弱了,学习时间变长了罢了。
比如这个例子:这人制造了一辆反向自行车,车把手和车轮转动方向通过一个齿轮完全颠倒,然后他尝试学会骑这样的自行车,他花了8个月的时间才学会,但他的儿子只花了两周。学会之后他又尝试去骑正常的自行车,同样也经历了类似的适应切换过程,哪怕他以前本来就会骑正常的自行车:
https://www.bilibili.com/video/BV1j84y117fR
最后,这个东西不是争不争的问题。你最后的这种说法和思考习惯就是流氓逻辑第一条。
3大流氓逻辑:
1.问态度,不问事实
2.问动机,不问是非
3.问亲疏,不问道理
【 在 nsyncxyz 的大作中提到: 】
: 所以我说你不是一直在训练,你产生的训练数据其实很少的,只做识别,电脑的核显都够了。不争了,大家都是期待ai带来美好生活
--
修改:lvsoft FROM 180.158.63.*
FROM 180.158.63.*