B站有人拿epyc开ollama跑671b_Q8，约2.1token/s，听说up主那套硬件8w(不是2手)
如果要跑5t/s，版上有推荐配置吗？跑真完整版，而不是降精度版
【 在 finlab 的大作中提到: 】
: 9字头的epyc太贵了。 7字头的便宜非常多。
: 视频也说cpu占用只有1/3， 主要是内存。 不过7字头的内存通道8个，9字头的有12个。
: 可以考虑双路7字头。
: ...................
--
FROM 111.63.136.*