- 主题:怎么低成本搞一台能满血R1的洋垃圾
10卡肯定吵
且消费级机箱,比如追风者高塔 都放不了10卡。
理论6卡,实际4-5卡
且epyc本身也提供不了10卡x16所需的pcie通道数量,zen1到zen4总共只有128条pcie,zen5有160条,能引出来使用的pcie通道有限。
市面上的EPYC主板,普遍提供不了10x pcie4.0 x16,大多数是5x pcie4.0 x16 + 2x pcie4.0 x8再加一些其他的pcie扩展口。
如果我搞,应该不会搞10卡,5卡最多6卡就差不多了
【 在 mazz 的大作中提到: 】
: PCI-E基本随着DDR, 但要慢半拍升级,淘汰下来的10卡服务器可能不多;
: 而且4090现在的48GB都是涡轮卡吧?10个一起转会不会太吵?
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*
指导,1.x bit到2.x bit有好几档
没必要啊,效果差不少,这么折腾还不如买api
【 在 Auguster 的大作中提到: 】
: HF有不到140G的R1 671B的DeepSeek模型了
: 1-2bit
:
--
FROM 115.171.216.*
是啊,随便玩玩没必要投入十多万
ai pc可以买,只要不花很多钱,比如两三千 四五千,且之前两年没换机
反正日常要用,现在硬件价格低,而且pc会用很多年
当个添头,当个念想也不错
【 在 Jacqueline 的大作中提到: 】
: 不折腾为好。现在这个AI的水平仍属鸡肋,小点模型单卡跑跑也就算了,投入太多不值当。
: 过两年出更强更好的模型,ai-pc也上道了,回头一看手里这堆破铜烂铁连二手都出不掉。
--
FROM 115.171.216.*
pcie就是瓶颈,所以10卡不行 超出cpu支持范围了
4卡最稳最简单,8卡是单机推荐上限
【 在 omelet 的大作中提到: 】
: PCIE也是瓶颈,n卡是要用nvlink的
:
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*
pcie的nvlink是两两连接
四卡是俩nvlink
8卡可能因为pcie通道数不够 而需要pcie switch,成本高
sxm的nvlink是4卡内互联
【 在 omelet 的大作中提到: 】
: NVlink是两两连接吧?我记得
: 那4卡是也不是也有部分走pcie?
:
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*
强
【 在 wangstone 的大作中提到: 】
: 哈哈
--
FROM 115.171.216.*
是时候研究下KTransformer的方案了
【 在 mazz 的大作中提到: 】
: 5卡、6卡要到400G显存,单卡得80G, 只有H100支持,这个价格就上天了;
: 所以现在跑Deepseek 671b模型的最廉价方案,只有10卡RTX8000, PCI-E3.0太慢也没办
: 法,好歹能带得动
: ...................
--
FROM 115.171.216.*