- 主题:这个时代值钱就是大家的想法和解决问题的方式
这个可能你得核实一下，一次输入的激活的专家数量不是限定在1的
比如，你里面混杂了文本和代码，文本和图像，激活的可能都不是只有一个专家
【 在 lvsoft 的大作中提到: 】
: 这个其实跟人类一样的。当你不懂这个问题的时候，你找的专家大概率也是偏的。
: 我觉得可以这么认为，你提出正确的问题这个行为本身，就激活了正确的专家。
: 【 在 weiwallz 的大作中提到: 】
: : 这句话我十分赞成
: : 很多时候一旦你提出正确的问题，往往也意味着这个问题被解决了
: : 但我没明白，你说的问题，和MoE固有缺陷的关系？
--发自 ismth(丝滑版)
--
FROM 223.104.194.*
我当然很清楚不是只激活一个专家，但没有意义啊。
比如说128个专家激活8个，跟8专家激活1个有啥区别？
重点不是激活多少个专家，重点是他是moe，它不激活所有的专家。
而且我其实也很反对这种把能力切开，变成一个个专家的模式。这就是我前面说的价值观，或者说世界观的问题。简单的说就是到底是通才更重要还是专才更重要。但这个话题太大了，三言两语讲不清就不展开了。
总之就是我不认为 MOE 是正确的路线，它只是一个 cost down 的路线。
【 在 weiwallz 的大作中提到: 】
: 这个可能你得核实一下，一次输入的激活的专家数量不是限定在1的
: 比如，你里面混杂了文本和代码，文本和图像，激活的可能都不是只有一个专家
:
: ...................
--
修改:lvsoft FROM 116.233.45.*
FROM 116.233.45.*
MoE主要动机确实是为了省cost的
FFN的参数量比attn层多的多
【 在 lvsoft 的大作中提到: 】
: 我当然很清楚不是只激活一个专家，但没有意义啊。
: 比如说128个专家激活8个，跟8专家激活1个有啥区别？
: 重点不是激活多少个专家，重点是他是moe，它不激活所有的专家。
:
: 而且我其实也很反对这种把能力切开，变成一个个专家的模式。这就是我前面说的价值观，或者说世界观的问题。简单的说就是到底是通才更重要还是专才更重要。但这个话题太大了，三言两语讲不清就不展开了。
: 总之就是我不认为 MOE 是正确的路线，它只是一个 cost down 的路线。
--发自 ismth(丝滑版)
--
FROM 223.104.194.*
只能review+各种测试了吧，还能有啥好办法
【 在 hgoldfish 的大作中提到: 】
: 反正这半年我是看明白了。
:
: 不懂程序的外行，用 AI 只能提出解决方案。
:
: 至于有没有效。天知道呢。
:
: 甚至现在 AI 给我写的代码，怎么验证也是个大问题。
: --
: 灭绝人性啊
发自「今日水木 on iOS」
--
FROM 221.222.20.*
所以我就说这个是不对的。
一堆专家可以解决问题，但一堆专家不一定能提出问题。甚至一堆专家还容易把事情带带歪，把本来很简单的事情越搞越复杂。
解决这个问题需要的是系统级的架构师。架构师一般来说需要是通才而不是专才。越复杂的系统，这个通才的领域就越广。现在的AI，至少主流的都没有往这个方向发展。
不过也正常，因为大部分人都是专才，都是在一个体系里面去解决某个具体问题的人。AI先把这些人代替掉，这个替代过程是很顺滑的。这就是 OPUS 在干的事，也是大部分人喜欢 OPUS 的原因。因为 Opus 本质来说就是一个更优秀的他们。
【 在 weiwallz 的大作中提到: 】
: MoE主要动机确实是为了省cost的
: FFN的参数量比attn层多的多
:
: ...................
--
FROM 116.233.45.*
这太低效了。要问好几个问题才能继续聊？说白了就是 AI 的上下文仍然严重不足。在做每个事情上，我们人类能够根据长期的观察，总结出很多上下文，在聊天时自动调用。
不过也可能是 AI 现有的缺陷，随着迭代次数的增加，以后会被修复。。
或许这是因为 AI 只学习了些人类的光明一面。还缺少对人类阴暗面的认知吧。
【 在 weiwallz 的大作中提到: 】
: 你体会一下现在的gpt5.4或者opus 4.6，如果你的信息不足，它现在可能会主动问你，让你澄清的
: 说白了，这也是训练出来的行为，训练时有这样的内容不全，要模型输出提问的样本，那模型就能学会这种交流方式
: --发自 ismth(丝滑版)
: ...................
--
FROM 121.207.53.*
不是的，这个跟上下文没有什么关系。现在的上下文已经足够做这个事儿了。
这个事情的本质还是注意力。
现在的模型可以轻松的背诵100万的上下文的内容，实现一个字不差。但是你真的把100万的内容喂进去，它会迷失方向的。
【 在 hgoldfish 的大作中提到: 】
: 这太低效了。要问好几个问题才能继续聊？说白了就是 AI 的上下文仍然严重不足。在做每个事情上，我们人类能够根据长期的观察，总结出很多上下文，在聊天时自动调用。
: 不过也可能是 AI 现有的缺陷，随着迭代次数的增加，以后会被修复。。
: 或许这是因为 AI 只学习了些人类的光明一面。还缺少对人类阴暗面的认知吧。
: ...................
--
FROM 116.233.45.*
集中用了全人类智慧，那么对其课高税用于给全人类发福利也没毛病。而且要快。等那些公司尾大不掉成为巨无霸形态就要改变人类势态了。
--
FROM 111.193.141.*
想法很多，五花八门，哪个真正有用，还是很费思量的
【 在 hgoldfish 的大作中提到: 】
: 那再加个定语，有用的想法很值钱。
: 我现在深入介入观察实业生产，比如 3c 电子产业，他们想要设计出一个爆款出来是非常非常难的。不是说生产困难，对于中国这种工业克苏鲁国，生产制造一般是最简单的。而是找到用户需求的痛点，匹配到当前的潮流，又能符合互联网推广特征的，特别特别难。
: 这就是产业界所谓的“测款”。我手头的数据是，产业界这伙人，爆款成功率已经掉到不足 10% 了。要生产几十款，才能有一款产品是能卖的。
: ...................
--
FROM 58.57.159.*
ai时代，行业内的系统工程师最值钱
--
FROM 36.112.177.*