- 主题:个人预测一波RTX40系显卡的卖点在于深度学习而非游戏
几张显卡怎么把内存共用成一个大内存的？
【 在 lvsoft 的大作中提到: 】
: 不可能。深度学习撑不起这么大的市场。
: 高端应用不可能用游戏卡。
: 更何况a100 cuda数量本来就只有3090的一半上下，它nb的地方是显存带宽。
: ...................
--
FROM 36.24.210.*
个人搭建这个环境，要买哪些配件？
【 在 acseed 的大作中提到: 】
: RL训练得来的都是小参数模型，GPT-3那种大语言模型，近350G
: :
--
FROM 36.24.210.*
有开源又便宜的解决方案吗？
【 在 zszqzzzf 的大作中提到: 】
: 看吹牛：运算一次要花 450 万美元。
--
FROM 36.24.210.*
几张显卡怎么拼起来？都插在主板上吗？
【 在 acseed 的大作中提到: 】
: 有开源的成果可以用，搜bloom，有176B参数，闭源的GPT-3是175B，跑预训练好的模型大约需要380G显存，至少5张A100，不知道能否5张拼起来？
: 从头训练就别想了，人家接受企业捐款用集群跑了三个多月
--
FROM 36.24.210.*
这个不是个人玩得起的，我问的是个人或者实验室怎么搭建超大显存的机器
【 在 Avocado 的大作中提到: 】
: nvswitch呀，搜DGX
:
--
FROM 36.24.210.*
个人搭建环境，是不是最多装两块3090ti显卡，用nvlink转接器连起来？这点显存不够用啊，没办法用四块吧？
【 在 Avocado 的大作中提到: 】
: 没有好的办法
: 多GPU合作必须保证之间的DMA速度
: 所以NV才会收购MLNX
: ...................
--
修改:wwpty FROM 36.24.210.*
FROM 36.24.210.*
两个3090拼起来够用吗？才48g内存
【 在 Avocado 的大作中提到: 】
: 是啊，1:1双卡的系统复杂度低，nvilnk就好
: 多卡就需要所谓交换器了
:
--
FROM 36.24.210.*
单机八卡怎么拼成一个大显存的？都插在pcie上吗？多机集群只能用光网卡连接吧？最高也就100g速度
【 在 Avocado 的大作中提到: 】
: 啥叫够用啊，你自己心里得有个谱。。
: 八卡在某些场合下不行得上升到多机集群，但单卡在某些场合下就绰绰有余
:
--
FROM 36.24.210.*
nvswitch到底是什么东西？是一个交换机吗？看nvidia官网，貌似是一个芯片，焊在主板上的
【 在 Avocado 的大作中提到: 】
: nvswitch...
: 多机就靠RMDA网络了呗
:
--
FROM 36.24.210.*
nvswitch是一个独立的交换机，还是一个芯片？多台pc怎么互联？搜了一堆资料，都没有实物
【 在 Avocado 的大作中提到: 】
: 你就认为是GPU交换机吧
: nvlink你可以想象成PC和PC直连
: nvswitch你可以想象成多台PC互连
: ...................
--
修改:wwpty FROM 36.24.210.*
FROM 36.24.210.*