我看到一个说法，低参数量的其实都是qwen和llama，只是用满血r1蒸馏过的qwen和lla
ma，不知道对不对。



【 在 lvsoft 的大作中提到: 】
: r1只要不是满血都是弱智。
: 因为它是个256 moe，本质上要切成256份，同时激活其中8个。
: 满血状态切256份，那一个专家的体量大概也就3b，这个体量还属于勉强能用的状态。
: ...................
--
FROM 112.224.142.*