水木社区手机版
- 主题:玄武实验室：不到4万元的DeepSeek-R1-671B-Q8部署方案 (转载)
- 【 以下文字转载自 AI 讨论区 】
发信人: oneyuan (順天府首席仁波切), 信区: AI
标 题: 玄武实验室：不到4万元的DeepSeek-R1-671B-Q8部署方案
发信站: 水木社区 (Mon Mar 17 22:17:58 2025), 站内
--
FROM 123.117.79.* - 这是又回归CPU+内存来计算推理了么？完全不需要显卡
--
FROM 14.145.214.* - 是，LLM推理瓶颈在显存/内存带宽，对gpu/cpu处理能力要求不是很高
【 在 zerg136 的大作中提到: 】
: 这是又回归CPU+内存来计算推理了么？完全不需要显卡
--
FROM 202.109.128.* - 64G显存的显卡就远不止4万块了，成本太高了，论性价比肯定是CPU推理更高
【 在 zerg136 的大作中提到: 】
: 这是又回归CPU+内存来计算推理了么？完全不需要显卡
--
FROM 101.226.154.* - 这两代EYPC的32核以下sku，ccd和iod之间带宽很高，跑deepseek有奇效，比48核以上还快
【 在 adamhj 的大作中提到: 】
: 是，LLM推理瓶颈在显存/内存带宽，对gpu/cpu处理能力要求不是很高
:
--
FROM 218.204.255.* - intel应该把握住这次机会，不然就不好翻身了
【 在 chaobill 的大作中提到: 】
【 以下文字转载自 AI 讨论区 】
发信人: oneyuan (順天府首席仁波切), 信区: AI
标 题: 玄武实验室：不到4万元的DeepSeek-R1-671B-Q8部署方案
发信站: 水木社区 (Mon Mar 17 22:17:58 2025), 站内
[upload=1][/upload][upload=2][/upload]
--
FROM 123.115.133.* - 帮帮Intel！
【 在 Fgps 的大作中提到: 】
: intel应该把握住这次机会，不然就不好翻身了 ...
--
FROM 144.202.123.*
这个深度思考要花多长时间，机器联网的话，本地大模型可以上网搜索吗
【 在 chaobill 的大作中提到: 】
: 发信人: oneyuan (順天府首席仁波切), 信区: AI
: 标 题: 玄武实验室：不到4万元的DeepSeek-R1-671B-Q8部署方案
: 发信站: 水木社区 (Mon Mar 17 22:17:58 2025), 站内
: ...................
--
FROM 36.159.161.*- 这篇文章好像没有专门提这个事情,但他们选的CPU确实奇怪,更多核心的并没有贵太多,然而还是选了核心少的
再就是线程撕裂者的推理性能会不会好一些,
因为还有其他应用需要高主频
【 在 Akyrum 的大作中提到: 】
: 这两代EYPC的32核以下sku，ccd和iod之间带宽很高，跑deepseek有奇效，比48核以上还快
: :
--
FROM 39.82.60.* - 农企的手册里提到，32核以下有加宽
【 在 isxb2 的大作中提到: 】
: 这篇文章好像没有专门提这个事情,但他们选的CPU确实奇怪,更多核心的并没有贵太多,然而还是选了核心少的
: 再就是线程撕裂者的推理性能会不会好一些,
: 因为还有其他应用需要高主频
: ...................
--
FROM 111.63.136.*