俩24g不就48g了嘛
现在并行推理很成熟了，调个库就行，比如deepspeed

【 在 haili 的大作中提到: 】
: 再提速对下棋这边感觉意义不太大了。
: 倒是我现在指望啥时候给个万元以内的48G显存的消费卡来跑大模型。
--
FROM 120.244.234.*