嗯。我试了试本地大模型，需求一般，用线上那些就蛮好的

最后搞了个m4max 64g的14寸mbp，随身干干活蛮好的

epyc 768g体积不太可比，实际速度估计比m3ultra还是有差距

【 在 laputa2013 的大作中提到: 】
: 买这个就是为了整更多内存放大模型。
: 内存小了直接跑不起来。
: 话说这玩意儿和买EPYC 12通道插768G内存比起来跑LLM哪个爽？
: ...................
--
修改:niels FROM 111.196.134.*
FROM 111.196.134.*

周末用gpustack把deepseek 671b跑起来了,Q4_K_M量化版

效果还行，速度19 tokens/s
【 在 diamonddust 的大作中提到: 】
: 这个能跑什么样的模型。
: 512g内存的，用来跑ai模型，
: 刚用geekbench测试了一下，单核3190, 多核27700
: ...................
--
FROM 119.139.196.*

mpb yyds
屏幕好

【 在 niels 的大作中提到: 】
: 嗯。我试了试本地大模型，需求一般，用线上那些就蛮好的
: 最后搞了个m4max 64g的14寸mbp，随身干干活蛮好的
: epyc 768g体积不太可比，实际速度估计比m3ultra还是有差距
: ...................
--
FROM 1.203.66.*