大佬评价下今天刚出的通义千问 QwQ-32B 推理模型？32B模型号称媲美满血版DeepSeek-R1:671B，ollama已上线。

【 在 lvsoft 的大作中提到: 】
: 我早就说过，deepseek是个256moe模型，671b的体量里面是256个3b左右的小模型，一次激活其中8个，所以它的激活参数是37b。说的更直白一点，本质上就是个专业对口的37b小模型。这才是一张卡能跑的前提。
: 这种跑法每次都需要动态加载激活层，首token延迟很大，并且完全不具备并发能力。
--
FROM 117.67.191.*