- 主题:求用mac本地跑大模型的使用感受
干的了,装不满
另外系统会做paging的,完全没问题
【 在 chunhui 的大作中提到: 】
: 那还能干其他的么?得留点性能干其他的活。
--
FROM 222.129.4.*
mac上不是有gpu么?还有神经核。苹果有自家的框架,不能利用这些?
【 在 omelet 的大作中提到: 】
: 70B的版本,你不用GPU跑的话,速度还是不行
--
FROM 111.196.132.*
那回答效果如何?能否顶替gpt3.5?
【 在 omelet 的大作中提到: 】
: 干的了,装不满
: 另外系统会做paging的,完全没问题
--
FROM 111.196.132.*
128G的版本,或者192G的版本,能跑什么模型啊,效果如何?
【 在 omelet 的大作中提到: 】
: 32G可以跑llama3 fp16满血版
: 效果应该还不错
: 风扇应该是不会转的
: ...................
--
FROM 116.7.170.*
土豪好,你可以用硬件费用的零头找个计算机系大学生,试完所有模型再给你出份报告:)
【 在 beaver 的大作中提到: 】
: 128G的版本,或者192G的版本,能跑什么模型啊,效果如何?
--
FROM 118.114.94.*
有道理啊!
【 在 toyarmybin (BinBin) 的大作中提到: 】
: 土豪好,你可以用硬件费用的零头找个计算机系大学生,试完所有模型再给你出份报告:)
:
:
: 【 在 beaver 的大作中提到: 】
--
FROM 116.7.170.*
8b的能跑动,70b的跑不动,效果跟gpt4差距还很大,大概率落灰
【 在 chunhui 的大作中提到: 】
: 最近出了llama3,很多人说可以顶gpt4了。而且可以本地跑。各位有人这么用的么?给介绍一下。如果很好用,考虑也弄一个。
--
FROM 126.124.248.*
收到。经过调查,本地使用效果不是很好,打算放弃这个想法。
【 在 Onn 的大作中提到: 】
: 8b的能跑动,70b的跑不动,效果跟gpt4差距还很大,大概率落灰
--
FROM 111.196.132.*
我觉得只要能装得下的模型都能跑,速度不知道,没那么大内存
【 在 beaver 的大作中提到: 】
: 128G的版本,或者192G的版本,能跑什么模型啊,效果如何?
:
--
FROM 114.249.48.*