水木社区手机版
- 主题:玄武实验室：不到4万元的DeepSeek-R1-671B-Q8部署方案 (转载)
- 这两代EYPC的32核以下sku，ccd和iod之间带宽很高，跑deepseek有奇效，比48核以上还快
【 在 adamhj 的大作中提到: 】
: 是，LLM推理瓶颈在显存/内存带宽，对gpu/cpu处理能力要求不是很高
:
--
FROM 218.204.255.* - 农企的手册里提到，32核以下有加宽
【 在 isxb2 的大作中提到: 】
: 这篇文章好像没有专门提这个事情,但他们选的CPU确实奇怪,更多核心的并没有贵太多,然而还是选了核心少的
: 再就是线程撕裂者的推理性能会不会好一些,
: 因为还有其他应用需要高主频
: ...................
--
FROM 111.63.136.*