- 主题:多卡4090深度学习工作站配置(更新显卡)
之前的30hx和40hx是把带宽阉割成了pcie1.1x16（补电容），大概4GB/S。
90hx等其它型号我没查到。
【 在 lvsoft 的大作中提到: 】
: pcie带宽不是那么重要，但也不能太低。pcie3.0 x8是下限，不能再低了。
:
--
FROM 120.245.26.*
厉害了，大佬，一个月的电费都可以买一张显卡了
【 在 lvsoft 的大作中提到: 】
: 要电费便宜只能a100了呀
: 反正我是做好了一个月1w以上电费的准备了。
--
FROM 101.229.53.*
是的，先上2卡，等过两年再考虑
【 在 cokebear 的大作中提到: 】
: 4090这么厚，上2卡还行，多卡都得学矿机上延长线了
:
--
FROM 101.229.53.*
做多卡时候，注意nv-link。否则显存走pci-E总线交互，比nv-link慢2个数量级。
--
FROM 123.122.162.*
nv-link比pci-E快两个数量级
双3090 走nv-link能做到100G以上的带宽。
走pci-e只有5G左右。
【 在 Vdata 的大作中提到: 】
: 一片4090能买10片3080核心的90hx。
: 这卡是21年才出的，翻车概率没那么大。
: 电费折算进成本呗。
: ...................
--
FROM 123.122.162.*
4090没有nvlink，3090系列矿卡又多。这是逼着大家上a100呀
【 在 evilll 的大作中提到: 】
: 做多卡时候，注意nv-link。否则显存走pci-E总线交互，比nv-link慢2个数量级。
--
FROM 101.229.53.*
要看具体跑什么样的应用。
像跟挖矿类似的应用，就基本不吃接口带宽。
不然矿卡就不会砍成PCIE1.1x4了，带宽才1GB。
【 在 evilll 的大作中提到: 】
: nv-link比pci-E快两个数量级
: 双3090 走nv-link能做到100G以上的带宽。
: 走pci-e只有5G左右。
: ...................
--
FROM 120.245.26.*
抱歉，是我疏忽了。
之前在双3090测试的时候。
带上nv-link和不带。30多G的大模型确实速度差太多了。
【 在 youxia 的大作中提到: 】
: 4090没有nvlink，3090系列矿卡又多。这是逼着大家上a100呀
--
FROM 123.122.162.*
如果要上大模型的话，就必须是30系列加上 nvlink?多谢。
【 在 evilll 的大作中提到: 】
: 抱歉，是我疏忽了。
: 之前在双3090测试的时候。
: 带上nv-link和不带。30多G的大模型确实速度差太多了。
--
FROM 101.229.53.*
nvlink跑llm有30%提升。
但3090是最后一代有nvlink的，还被削成了点对点。
其实意义也不大。
总的来说，用gaming gpu干tesla的事情这个窗口正在被迅速关上。4090这一代已经几乎就关上了
【 在 youxia 的大作中提到: 】
: 如果要上大模型的话，就必须是30系列加上 nvlink?多谢。
--
FROM 117.136.45.*