70b就是700g个参数，就算是int4量化，最少也需要350G内存。60G咋可能跑得了。跑7b差不多。
  
【 在 chunhui (北瓜) 的大作中提到: 】
:  貌似不需要量化，直接跑。我听说的，没试。
:  【 在 Xjt 的大作中提到: 】
:  : 60G跑什么模型？70b的int4量化版？  
:  
--
FROM 223.68.164.*