- 主题:二手epyc 跑deepseek怎么样？
双路可以堆上百核心，内存可以上T，能用cpu跑满血deepseek吧？
有人试过吗？
--
FROM 223.72.89.*
B站看过，有人用epyc跑DS
https://www.bilibili.com/video/BV18gP6eAEiD/?spm_id_from=333.337.search-card.all.click&vd_source=669ea638da9aa38a760f155ba7507840
--
FROM 120.230.253.*
油管有。搜观看次数多的，EPYC Deepseek R1 671b
--
FROM 114.254.115.*
减少读硬盘，肯定可以加速。
【 在 finlab 的大作中提到: 】
: 9字头的epyc太贵了。 7字头的便宜非常多。
: 视频也说cpu占用只有1/3， 主要是内存。 不过7字头的内存通道8个，9字头的有12个。
: 可以考虑双路7字头。
: ...................
--
FROM 120.230.253.*
【 在 finlab 的大作中提到: 】
: 9字头的epyc太贵了。 7字头的便宜非常多。
: 视频也说cpu占用只有1/3， 主要是内存。 不过7字头的内存通道8个，9字头的有12个。
: 可以考虑双路7字头。
: ...................
是的，几百GB的训练好的参数都加载到内存/显存里面调用，而实际上推理运算的计算量只是访存数据N的o(N^2)左右
有内存厂商已经在想内存侧运算加速卡的主意了，因为推理运算量不大，计算模式非常单一，完全可以把简单运算单元装在内存上完成——访存、运算都由内存模块实现
--
FROM 101.82.209.*
这个就是asic的思路了， 当llm成熟稳定后， 推理用asic是最高效的方案。
【 在 marion 的大作中提到: 】
:
: 是的，几百GB的训练好的参数都加载到内存/显存里面调用，而实际上推理运算的计算量只是访存数据N的o(N^2)左右
: 有内存厂商已经在想内存侧运算加速卡的主意了，因为推理运算量不大，计算模式非常单一，完全可以把简单运算单元装在内存上完成——访存、运算都由内存模块实现
--
FROM 223.72.70.*
B站有人拿epyc开ollama跑671b_Q8，约2.1token/s，听说up主那套硬件8w(不是2手)
如果要跑5t/s，版上有推荐配置吗？跑真完整版，而不是降精度版
【 在 finlab 的大作中提到: 】
: 9字头的epyc太贵了。 7字头的便宜非常多。
: 视频也说cpu占用只有1/3， 主要是内存。 不过7字头的内存通道8个，9字头的有12个。
: 可以考虑双路7字头。
: ...................
--
FROM 111.63.136.*
不便宜啊，
【 在 Akyrum 的大作中提到: 】
: B站有人拿epyc开ollama跑671b_Q8，约2.1token/s，听说up主那套硬件8w(不是2手)
: 如果要跑5t/s，版上有推荐配置吗？跑真完整版，而不是降精度版
--
FROM 220.196.98.*