- 主题:个人预测一波RTX40系显卡的卖点在于深度学习而非游戏
个人搭建这个环境，要买哪些配件？
【 在 acseed 的大作中提到: 】
: RL训练得来的都是小参数模型，GPT-3那种大语言模型，近350G
: :
--
FROM 36.24.210.*
看吹牛：运算一次要花 450 万美元。
【 在 wwpty 的大作中提到: 】
: 个人搭建这个环境，要买哪些配件？
--
FROM 112.47.160.*
有开源又便宜的解决方案吗？
【 在 zszqzzzf 的大作中提到: 】
: 看吹牛：运算一次要花 450 万美元。
--
FROM 36.24.210.*
有开源的成果可以用，搜bloom，有176B参数，闭源的GPT-3是175B，跑预训练好的模型大约需要380G显存，至少5张A100，不知道能否5张拼起来？
从头训练就别想了，人家接受企业捐款用集群跑了三个多月
【 在 wwpty 的大作中提到: 】
: 有开源又便宜的解决方案吗？
--
FROM 113.68.89.*
市场太小，不可能的。
【 在 acseed 的大作中提到: 】
: 游戏的问题，虚幻5引擎已经解决了，随着明年相关游戏推出，大家会发现20系，30系中低端显卡也能跑得转
: 反而不用虚幻5引擎的游戏，就是上40系显卡，画质也不会有多大改善。
: 40系最大的卖点可能将是：将目前深度学习训练与推理大语言模型（LLM）的硬件需求，从八张甚至更多A100转换为单张或双卡40系，且支持虚拟显存的方式对模型进行训练（目前有些模型需要300GB以上的显存来训练，无奈只能分布式）
: ...................
--
FROM 61.178.84.*
几张显卡怎么拼起来？都插在主板上吗？
【 在 acseed 的大作中提到: 】
: 有开源的成果可以用，搜bloom，有176B参数，闭源的GPT-3是175B，跑预训练好的模型大约需要380G显存，至少5张A100，不知道能否5张拼起来？
: 从头训练就别想了，人家接受企业捐款用集群跑了三个多月
--
FROM 36.24.210.*
nvswitch呀，搜DGX
【 在 wwpty 的大作中提到: 】
: 几张显卡怎么拼起来？都插在主板上吗？
--
FROM 73.63.245.*
这个不是个人玩得起的，我问的是个人或者实验室怎么搭建超大显存的机器
【 在 Avocado 的大作中提到: 】
: nvswitch呀，搜DGX
:
--
FROM 36.24.210.*
没有好的办法
多GPU合作必须保证之间的DMA速度
所以NV才会收购MLNX
【 在 wwpty 的大作中提到: 】
: 这个不是个人玩得起的，我问的是个人或者实验室怎么搭建超大显存的机器
--
FROM 73.63.245.*
个人搭建环境，是不是最多装两块3090ti显卡，用nvlink转接器连起来？这点显存不够用啊，没办法用四块吧？
【 在 Avocado 的大作中提到: 】
: 没有好的办法
: 多GPU合作必须保证之间的DMA速度
: 所以NV才会收购MLNX
: ...................
--
修改:wwpty FROM 36.24.210.*
FROM 36.24.210.*