- 主题:这个时代值钱就是大家的想法和解决问题的方式
我喜欢看老鱼的观点，
但 用 AI 只能提出解决方案
这是什么意思
【 在 hgoldfish 的大作中提到: 】
: 反正这半年我是看明白了。
:
: 不懂程序的外行，用 AI 只能提出解决方案。
:
: 至于有没有效。天知道呢。
:
--发自 ismth(丝滑版)
--
FROM 113.120.108.*
这句话我十分赞成
很多时候一旦你提出正确的问题，往往也意味着这个问题被解决了
但我没明白，你说的问题，和MoE固有缺陷的关系？
MoE里面，一个hidden state可能被路由去多个expert吧，所以存在激活多个专家的情况
【 在 lvsoft 的大作中提到: 】
: 虽然我不太喜欢他对ai的判断太过于保守，但在这点上他说的很对。
: ai现在把回答问题做的非常好，但在提出问题方面存在根本性的缺陷。这也是ai目前还不能完全取代人的地方。
:
: 简单的说，放在人身上就是你不知道自己不知道什么。所以你没有能力去提出一个正确的问题。很多时候一旦你提出正确的问题，往往也意味着这个问题被解决了。但ai不一样，ai它其实知道所有的答案，它知道某个问题很重要，但如果你不说，它就当自己不知道一样。一旦它能真正提出问题，其实它就可以自己左脚踩右脚了。
:
: 不过我感觉这个可能是moe模型的固有缺陷
--发自 ismth(丝滑版)
--
FROM 223.104.194.*
你体会一下现在的gpt5.4或者opus 4.6，如果你的信息不足，它现在可能会主动问你，让你澄清的
说白了，这也是训练出来的行为，训练时有这样的内容不全，要模型输出提问的样本，那模型就能学会这种交流方式
【 在 hgoldfish 的大作中提到: 】
: AI 有幻觉。
:
: 只要你提出问题，它一定会给你答案。
:
: 只要你说你想做个什么什么软件，它一定会告诉说，没问题，这样这样做。
:
--发自 ismth(丝滑版)
--
FROM 223.104.194.*
这个可能你得核实一下，一次输入的激活的专家数量不是限定在1的
比如，你里面混杂了文本和代码，文本和图像，激活的可能都不是只有一个专家
【 在 lvsoft 的大作中提到: 】
: 这个其实跟人类一样的。当你不懂这个问题的时候，你找的专家大概率也是偏的。
: 我觉得可以这么认为，你提出正确的问题这个行为本身，就激活了正确的专家。
: 【 在 weiwallz 的大作中提到: 】
: : 这句话我十分赞成
: : 很多时候一旦你提出正确的问题，往往也意味着这个问题被解决了
: : 但我没明白，你说的问题，和MoE固有缺陷的关系？
--发自 ismth(丝滑版)
--
FROM 223.104.194.*
MoE主要动机确实是为了省cost的
FFN的参数量比attn层多的多
【 在 lvsoft 的大作中提到: 】
: 我当然很清楚不是只激活一个专家，但没有意义啊。
: 比如说128个专家激活8个，跟8专家激活1个有啥区别？
: 重点不是激活多少个专家，重点是他是moe，它不激活所有的专家。
:
: 而且我其实也很反对这种把能力切开，变成一个个专家的模式。这就是我前面说的价值观，或者说世界观的问题。简单的说就是到底是通才更重要还是专才更重要。但这个话题太大了，三言两语讲不清就不展开了。
: 总之就是我不认为 MOE 是正确的路线，它只是一个 cost down 的路线。
--发自 ismth(丝滑版)
--
FROM 223.104.194.*