- 主题:希望M4的Mac别再8G起步了
70b就是700g个参数，就算是int4量化，最少也需要350G内存。60G咋可能跑得了。跑7b差不多。
【 在 chunhui (北瓜) 的大作中提到: 】
: 貌似不需要量化，直接跑。我听说的，没试。
: 【 在 Xjt 的大作中提到: 】
: : 60G跑什么模型？70b的int4量化版？
:
--
FROM 223.68.164.*
不好意思是我搞多了个0，不过不量化还是跑不了。
【 在 tgfbeta (右旋肉碱) 的大作中提到: 】
: 70g个参数
: 你搞错了
: 【 在 ensonmj 的大作中提到: 】
: : 70b就是700g个参数，就算是int4量化，最少也需要350G内存。60G咋可能跑得了。跑7b差不多。
--
FROM 103.84.217.*
等等党永不为奴，说不定kan能大幅降低参数量呢。
【 在 tgfbeta (右旋肉碱) 的大作中提到: 】
: 这事情很简单
: 砸钱就完了
: 不管你是A100 4090还是Mac Studio Ultra
: 早买早享受 晚买享折扣
--
FROM 39.144.105.*