水木社区手机版
首页
|版面-电脑硬件(Hardware)|
新版wap站已上线
返回
1/1
|
转到
主题:二手epyc 跑deepseek怎么样?
楼主
|
finlab
|
2025-02-08 22:00:03
|
展开
双路可以堆上百核心,内存可以上T,能用cpu跑满血deepseek吧?
有人试过吗?
--
FROM 223.72.89.*
2楼
|
finlab
|
2025-02-09 10:05:27
|
展开
9字头的epyc太贵了。 7字头的便宜非常多。
视频也说cpu占用只有1/3, 主要是内存。 不过7字头的内存通道8个,9字头的有12个。
可以考虑双路7字头。
【 在 natsel 的大作中提到: 】
: B站看过,有人用epyc跑DS
:
https://www.bilibili.com/video/BV18gP6eAEiD/?spm_id_from=333.337.search-card.all.click&vd_source=669ea638da9aa38a760f155ba7507840
--
FROM 223.72.70.*
6楼
|
finlab
|
2025-02-09 12:29:22
|
展开
这个就是asic的思路了, 当llm成熟稳定后, 推理用asic是最高效的方案。
【 在 marion 的大作中提到: 】
:
: 是的,几百GB的训练好的参数都加载到内存/显存里面调用,而实际上推理运算的计算量只是访存数据N的o(N^2)左右
: 有内存厂商已经在想内存侧运算加速卡的主意了,因为推理运算量不大,计算模式非常单一,完全可以把简单运算单元装在内存上完成——访存、运算都由内存模块实现
--
FROM 223.72.70.*
1/1
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版