看来老黄逼着大家上计算卡呀。太坑了…

【 在 lvsoft 的大作中提到: 】
: nvlink跑llm有30%提升。
: 但3090是最后一代有nvlink的，还被削成了点对点。
: 其实意义也不大。
: ...................
--
FROM 101.229.53.*

看来还是去闲鱼收二手3090吧
【 在 dedeLotus 的大作中提到: 】
: 4090连PCIE P2P都有bug...
--
FROM 101.90.18.*

问题是这样就做不了模型并行了吧，也就是模型大小上限是24g?

【 在 dedeLotus 的大作中提到: 】
: 但是单卡是真的强，现在的解决办法是代码靠CPU传数据
--
FROM 101.90.18.*

有道理。看来搞个更大的 transformer 是没问题了

【 在 dedeLotus 的大作中提到: 】
: 看做什么吧，NLP不就能按层分配
--
FROM 101.90.18.*

大家也都准备抛弃老黄了。
现在很多新的架构从一开始就是跟nvidia解绑的。

【 在 youxia 的大作中提到: 】
: 看来老黄逼着大家上计算卡呀。太坑了…
--
FROM 180.111.25.*