多卡4090深度学习工作站配置(更新显卡)

水木社区手机版

主题:多卡4090深度学习工作站配置(更新显卡)
28楼|youxia|2023-03-20 06:02:55|展开
如果要上大模型的话，就必须是30系列加上 nvlink?多谢。
【在 evilll 的大作中提到: 】
: 抱歉，是我疏忽了。
: 之前在双3090测试的时候。
: 带上nv-link和不带。30多G的大模型确实速度差太多了。
--
FROM 101.229.53.*
30楼|youxia|2023-03-20 07:38:52|展开
看来老黄逼着大家上计算卡呀。太坑了…

【在 lvsoft 的大作中提到: 】
: nvlink跑llm有30%提升。
: 但3090是最后一代有nvlink的，还被削成了点对点。
: 其实意义也不大。
: ...................
--
FROM 101.229.53.*
32楼|youxia|2023-03-20 08:36:08|展开
看来还是去闲鱼收二手3090吧
【在 dedeLotus 的大作中提到: 】
: 4090连PCIE P2P都有bug...
--
FROM 101.90.18.*
34楼|youxia|2023-03-20 08:50:26|展开
问题是这样就做不了模型并行了吧，也就是模型大小上限是24g?

【在 dedeLotus 的大作中提到: 】
: 但是单卡是真的强，现在的解决办法是代码靠CPU传数据
--
FROM 101.90.18.*
36楼|youxia|2023-03-20 08:56:01|展开
有道理。看来搞个更大的 transformer 是没问题了

【在 dedeLotus 的大作中提到: 】
: 看做什么吧，NLP不就能按层分配
--
FROM 101.90.18.*
42楼|youxia|2023-03-20 10:04:53|展开
赞，多谢

【在 evilll 的大作中提到: 】
: 不是必须的，但是瓶颈在这里。
: 有几个先决条件
: 1）大模型是否超过24G，单卡装不下
: ...................
--
FROM 101.90.18.*
45楼|youxia|2023-03-20 21:18:59|展开
可以啊。
参考 Huggingface Transformer 库的教程，教你如何用内存甚至磁盘来加载。
另外 Zero 算法就是干这个事情的。hugging face 底层调用的是这个。
【在 Vdata 的大作中提到: 】
: 就没有个技术，能把主机内存也加进来一块用么？
--
FROM 101.90.18.*
52楼|youxia|2023-04-07 14:17:57|展开
这个要用 Rtx 6000的显卡，要比4090贵不少。

【在 finlab 的大作中提到: 】
: 看看这个，新发布的thinkstation PX
: 2路志强，可装4个高端N卡
: https://www.qiangchuan.com/article/366.html
: ...................
--
FROM 58.48.45.*