- 主题:怎么低成本搞一台能满血R1的洋垃圾
先买到120张H100
【 在 wangstone (王二) 的大作中提到: 】
: 哈哈
: --
:
:
--
FROM 61.173.17.*
HF有不到140G的R1 671B的DeepSeek模型了
1-2bit
【 在 LYMing1986 的大作中提到: 】
: 10卡rtx8000 48G，合显存480G，可以部署q4模型
: 提高点速度，可以用4090 48G
: 所以10卡机可以
: ...................
--
FROM 1.119.200.*
10卡肯定吵
且消费级机箱，比如追风者高塔 都放不了10卡。
理论6卡，实际4-5卡
且epyc本身也提供不了10卡x16所需的pcie通道数量，zen1到zen4总共只有128条pcie，zen5有160条，能引出来使用的pcie通道有限。
市面上的EPYC主板，普遍提供不了10x pcie4.0 x16，大多数是5x pcie4.0 x16 + 2x pcie4.0 x8再加一些其他的pcie扩展口。
如果我搞，应该不会搞10卡，5卡最多6卡就差不多了
【 在 mazz 的大作中提到: 】
: PCI-E基本随着DDR, 但要慢半拍升级，淘汰下来的10卡服务器可能不多；
: 而且4090现在的48GB都是涡轮卡吧？10个一起转会不会太吵？
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*
指导，1.x bit到2.x bit有好几档
没必要啊，效果差不少，这么折腾还不如买api
【 在 Auguster 的大作中提到: 】
: HF有不到140G的R1 671B的DeepSeek模型了
: 1-2bit
:
--
FROM 115.171.216.*
不折腾为好。现在这个AI的水平仍属鸡肋，小点模型单卡跑跑也就算了，投入太多不值当。
过两年出更强更好的模型，ai-pc也上道了，回头一看手里这堆破铜烂铁连二手都出不掉。
【 在 LYMing1986 的大作中提到: 】
: 指导，1.x bit到2.x bit有好几档
: 没必要啊，效果差不少，这么折腾还不如买api
--
FROM 116.235.194.*
是啊，随便玩玩没必要投入十多万
ai pc可以买，只要不花很多钱，比如两三千 四五千，且之前两年没换机
反正日常要用，现在硬件价格低，而且pc会用很多年
当个添头，当个念想也不错
【 在 Jacqueline 的大作中提到: 】
: 不折腾为好。现在这个AI的水平仍属鸡肋，小点模型单卡跑跑也就算了，投入太多不值当。
: 过两年出更强更好的模型，ai-pc也上道了，回头一看手里这堆破铜烂铁连二手都出不掉。
--
FROM 115.171.216.*
放弃吧，满血目前不用gpu基本没戏，有的话也是蜗牛速度。
--
FROM 111.198.54.*
PCIE也是瓶颈，n卡是要用nvlink的
【 在 LYMing1986 的大作中提到: 】
: 10卡肯定吵
: 且消费级机箱，比如追风者高塔 都放不了10卡。
: 理论6卡，实际4-5卡
: ...................
--
FROM 114.249.198.*
pcie就是瓶颈，所以10卡不行 超出cpu支持范围了
4卡最稳最简单，8卡是单机推荐上限
【 在 omelet 的大作中提到: 】
: PCIE也是瓶颈，n卡是要用nvlink的
:
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*
NVlink是两两连接吧？我记得
那4卡是也不是也有部分走pcie？
【 在 LYMing1986 的大作中提到: 】
: pcie就是瓶颈，所以10卡行 超出cpu支持范围了
: 4卡最稳最简单，8卡是单机推荐上限
:
--
FROM 114.249.198.*