- 主题:个人预测一波RTX40系显卡的卖点在于深度学习而非游戏
是啊，1:1双卡的系统复杂度低，nvilnk就好
多卡就需要所谓交换器了
【 在 wwpty 的大作中提到: 】
: 个人搭建环境，是不是最多装两块3090ti显卡，用nvlink转接器连起来？这点显存不够用啊，没办法用四块吧？
--
FROM 73.63.245.*
两个3090拼起来够用吗？才48g内存
【 在 Avocado 的大作中提到: 】
: 是啊，1:1双卡的系统复杂度低，nvilnk就好
: 多卡就需要所谓交换器了
:
--
FROM 36.24.210.*
啥叫够用啊，你自己心里得有个谱。。
八卡在某些场合下不行得上升到多机集群，但单卡在某些场合下就绰绰有余
【 在 wwpty 的大作中提到: 】
: 两个3090拼起来够用吗？才48g内存
--
FROM 73.63.245.*
单机八卡怎么拼成一个大显存的？都插在pcie上吗？多机集群只能用光网卡连接吧？最高也就100g速度
【 在 Avocado 的大作中提到: 】
: 啥叫够用啊，你自己心里得有个谱。。
: 八卡在某些场合下不行得上升到多机集群，但单卡在某些场合下就绰绰有余
:
--
FROM 36.24.210.*
nvswitch...
多机就靠RMDA网络了呗
【 在 wwpty 的大作中提到: 】
: 单机八卡怎么拼成一个大显存的？都插在pcie上吗？多机集群只能用光网卡连接吧？最高也就100g速度
--
FROM 73.63.245.*
看你的模型啊，又不是一定真的要把内存拼起来。
transformer的一大优势就是自注意力机制打破了顺序上的依赖，很容易并行化。
自己用游戏卡玩nvlink，顶天2张3090+nvlink。超过2个就要nvswitch，就要tesla级。其实有没有nvlink显存都是可以拼起来的，包括利用主机内存扩显存也一样。无非是官方支持，还是你自己整巴整巴弄出来的框架支持，并且pcie的带宽和latency都比nvlink低不少而已。
一般发挥好的话nvlink能整出30%左右的性能差，总的来说能上nvlink还是香的。当然还是那句话，看你的模型，也不绝对。
【 在 wwpty 的大作中提到: 】
: 单机八卡怎么拼成一个大显存的？都插在pcie上吗？多机集群只能用光网卡连接吧？最高也就100g速度
--
修改:lvsoft FROM 180.111.48.*
FROM 180.111.48.*
那当然，围棋里面的ai太过于简单。
说直接点，围棋那种还在cnn时代玩的ai，在现在ai届看来基本就是石器时代...
【 在 zszqzzzf 的大作中提到: 】
: 我用显卡下AI围棋，现有的24G显存仅用了2G。
: 增加这个显存，好像用处不大。
:
--
FROM 180.111.48.*
nvswitch到底是什么东西？是一个交换机吗？看nvidia官网，貌似是一个芯片，焊在主板上的
【 在 Avocado 的大作中提到: 】
: nvswitch...
: 多机就靠RMDA网络了呗
:
--
FROM 36.24.210.*
你就认为是GPU交换机吧
nvlink你可以想象成PC和PC直连
nvswitch你可以想象成多台PC互连
【 在 wwpty 的大作中提到: 】
: nvswitch到底是什么东西？是一个交换机吗？看nvidia官网，貌似是一个芯片，焊在主板上的
--
FROM 73.63.245.*
nvlink和switch，让显卡直接互联，带宽大，快，不必通过cpu走主板上的pcie
【 在 wwpty 的大作中提到: 】
: nvswitch到底是什么东西？是一个交换机吗？看nvidia官网，貌似是一个芯片，焊在主板上的
--
FROM 114.93.252.*