大模型跑在终端上就莫名其妙，放服务器通过api等方式提供服务，

客户端按需调用才是方向。每台设备跑个高不成低不就的模型，完全就是浪费。

【 在 ensonmj 的大作中提到: 】
:   70b就是700g个参数，就算是int4量化，最少也需要350G内存。60G咋可能跑得了。跑7b差不多。
--
FROM 221.224.127.*