所以我就说这个是不对的。

一堆专家可以解决问题，但一堆专家不一定能提出问题。甚至一堆专家还容易把事情带带歪，把本来很简单的事情越搞越复杂。

解决这个问题需要的是系统级的架构师。架构师一般来说需要是通才而不是专才。越复杂的系统，这个通才的领域就越广。现在的AI，至少主流的都没有往这个方向发展。

不过也正常，因为大部分人都是专才，都是在一个体系里面去解决某个具体问题的人。AI先把这些人代替掉，这个替代过程是很顺滑的。这就是 OPUS 在干的事，也是大部分人喜欢 OPUS 的原因。因为 Opus 本质来说就是一个更优秀的他们。

【 在 weiwallz 的大作中提到: 】
: MoE主要动机确实是为了省cost的
: FFN的参数量比attn层多的多
:
: ...................
--
FROM 116.233.45.*