- 主题:求用mac本地跑大模型的使用感受
mac上不是有gpu么?还有神经核。苹果有自家的框架,不能利用这些?
【 在 omelet 的大作中提到: 】
: 70B的版本,你不用GPU跑的话,速度还是不行
--
FROM 111.196.132.*
那回答效果如何?能否顶替gpt3.5?
【 在 omelet 的大作中提到: 】
: 干的了,装不满
: 另外系统会做paging的,完全没问题
--
FROM 111.196.132.*
收到。经过调查,本地使用效果不是很好,打算放弃这个想法。
【 在 Onn 的大作中提到: 】
: 8b的能跑动,70b的跑不动,效果跟gpt4差距还很大,大概率落灰
--
FROM 111.196.132.*