水木社区手机版
- 主题:多卡4090深度学习工作站配置(更新显卡)
- 做多卡时候，注意nv-link。否则显存走pci-E总线交互，比nv-link慢2个数量级。
--
FROM 123.122.162.* - nv-link比pci-E快两个数量级
双3090 走nv-link能做到100G以上的带宽。
走pci-e只有5G左右。
【 在 Vdata 的大作中提到: 】
: 一片4090能买10片3080核心的90hx。
: 这卡是21年才出的，翻车概率没那么大。
: 电费折算进成本呗。
: ...................
--
FROM 123.122.162.* - 抱歉，是我疏忽了。
之前在双3090测试的时候。
带上nv-link和不带。30多G的大模型确实速度差太多了。
【 在 youxia 的大作中提到: 】
: 4090没有nvlink，3090系列矿卡又多。这是逼着大家上a100呀
--
FROM 123.122.162.* - 不是必须的，但是瓶颈在这里。
有几个先决条件
1）大模型是否超过24G，单卡装不下
2）数据并行、结构并行优化是否到位
可以参考https://www.bilibili.com/video/BV1fG411G7eH/?spm_id_from=333.788&vd_source=5c25fd5cb0c3998dfe02648ca31013a4
这里的测试
【 在 youxia 的大作中提到: 】
: 如果要上大模型的话，就必须是30系列加上 nvlink?多谢。
--
修改:evilll FROM 111.206.214.*
FROM 111.206.214.*