觉得ds的路子可能才是ai更合适的形态,因为moe机制更类似人脑的思考过程,人是有注意力机制的,无论是在那种情景下,比如观察、思考、计算、谋划,它都会自动的只去关心对结果可能影响力最大的那些参量,所以这样才能保证大脑在维持只有极低能耗的时候(一天两馒头足够),却能做出极为精准的判断。
【 在 poggy 的大作中提到: 】
:
: 垂直说白了, 就是分化型, 人类也一样, 样样通, 不如一样精,
: 这个问题有的时候也很奇怪, 能做到样样通的, 偏偏是建立在一样精上,
: ...................
--
FROM 120.244.234.*