还是fp16的好点啊
要是来个512G，那就够了
不过估计也贵上天了
像末代intel刨丝器，30多万


【 在 tgfbeta 的大作中提到: 】
: 能啊
: 192G跑量化的70b模型没问题
: MoE应该也可以
--
FROM 211.22.147.*