不可能。深度学习撑不起这么大的市场。
高端应用不可能用游戏卡。
更何况a100 cuda数量本来就只有3090的一半上下，它nb的地方是显存带宽。
更别提a100 80gb的显存，你一张40卡怎么可能顶的过8张a100总共640GB显存？

哦，你说虚拟显存啊...那回到前面的问题...a100为啥能用3090一半的cuda核，发挥出2倍的性能？两者都是同代产品哦。GDDR6X的带宽都严重制约了性能，还虚拟显存......

【 在 acseed 的大作中提到: 】
: 游戏的问题，虚幻5引擎已经解决了，随着明年相关游戏推出，大家会发现20系，30系中低端显卡也能跑得转
: 反而不用虚幻5引擎的游戏，就是上40系显卡，画质也不会有多大改善。
: 40系最大的卖点可能将是：将目前深度学习训练与推理大语言模型（LLM）的硬件需求，从八张甚至更多A100转换为单张或双卡40系，且支持虚拟显存的方式对模型进行训练（目前有些模型需要300GB以上的显存来训练，无奈只能分布式）
: ...................
--
修改:lvsoft FROM 180.111.48.*
FROM 180.111.48.*

虚拟显存那块看软件了，实际就算是Dense网络，做BP训练时也不是几百GB权值同时活跃的，用先进的先验算法，把最需要快速更新的部分预装载到显存好了，就像CPU对待Cache一样
【 在 lvsoft 的大作中提到: 】
: 不可能。深度学习撑不起这么大的市场。
: 高端应用不可能用游戏卡。
: 更何况a100 cuda数量本来就只有3090的一半上下，它nb的地方是显存带宽。
: ...................
--
FROM 117.136.32.*

几张显卡怎么把内存共用成一个大内存的？
【 在 lvsoft 的大作中提到: 】
: 不可能。深度学习撑不起这么大的市场。
: 高端应用不可能用游戏卡。
: 更何况a100 cuda数量本来就只有3090的一半上下，它nb的地方是显存带宽。
: ...................
--
FROM 36.24.210.*

服务器准备640GB的内存，这只是往好听了说。
叫我说，说难听点，这叫准备了640GB的磁带。

【 在 acseed 的大作中提到: 】
: 在大语言模型动辄300GB的显存需求下，再迭代两代都跟不上，估计会推出相应的软件架构，可以用内存替代显存，准备640GB内存比8张计算卡划算多了
--
FROM 180.111.48.*

RL训练得来的都是小参数模型，GPT-3那种大语言模型，近350G
【 在 zszqzzzf 的大作中提到: 】
: 我用显卡下AI围棋，现有的24G显存仅用了2G。
: 增加这个显存，好像用处不大。
:
--
FROM 113.68.89.*