- 主题:怎么低成本搞一台能满血R1的洋垃圾
pcie的nvlink是两两连接
四卡是俩nvlink
8卡可能因为pcie通道数不够 而需要pcie switch，成本高
sxm的nvlink是4卡内互联
【 在 omelet 的大作中提到: 】
: NVlink是两两连接吧？我记得
: 那4卡是也不是也有部分走pcie？
:
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*
N卡要搞万卡集群的话，是怎么个玩法？
【 在 LYMing1986 的大作中提到: 】
: pcie的nvlink是两两连接
: 四卡是俩nvlink
: 8卡可能因为pcie通道数不够 而需要pcie switch，成本高
: ...................
--
FROM 114.249.198.*
走专用的交换机
【 在 omelet 的大作中提到: 】
: N卡要搞万卡集群的话，是怎么个玩法？
:
--
FROM 1.119.200.*
换个方向，清华有个 KTransformers ，
可以实现运行 DeepSeek-R1 提升28倍
用4090D 24Gvram 跑4bit 671B 的DeepSeek R1，是每秒27.29t
【 在 LYMing1986 的大作中提到: 】
: 指导，1.x bit到2.x bit有好几档
: 没必要啊，效果差不少，这么折腾还不如买api
:
--
FROM 1.119.200.*
2U的节点，见过的最多就是8个H100
【 在 LYMing1986 的大作中提到: 】
: pcie就是瓶颈，所以10卡不行 超出cpu支持范围了
: 4卡最稳最简单，8卡是单机推荐上限
--
FROM 39.106.161.*
能不能跑 16bit 的？
【 在 Auguster 的大作中提到: 】
: 换个方向，清华有个 KTransformers ，
: 可以实现运行 DeepSeek-R1 提升28倍
: 用4090D 24Gvram 跑4bit 671B 的DeepSeek R1，是每秒27.29t
: ...................
--
FROM 114.249.198.*
671b满血要10卡4090的算力
【 在 wangstone 的大作中提到: 】
: 哈哈
--
FROM 116.133.12.*
强
【 在 wangstone 的大作中提到: 】
: 哈哈
--
FROM 115.171.216.*
电费都用不起。
【 在 wangstone (王二) 的大作中提到: 】
: 哈哈
: --
:
:
--
FROM 124.64.22.*
四川有很多小水电，没有上网资格，电价很便宜的
【 在 zhyulily 的大作中提到: 】
: 电费都用不起。
--
FROM 1.119.200.*