最近想配一台深度学习计算机，用来训练自然语言处理领域的模型，求推荐现在的话应该选哪款GPU，现在已经有两台，分别是RTX2080ti和RTX3090。多谢。
--
FROM 222.27.246.*

我在等4090跑ai的评测出来再下定论。
我感觉4090可能跟3090在ai上的性能提升不大。
ai这个东西更看内存带宽，而4090在这块跟3090没区别。

【 在 zszqzzzf 的大作中提到: 】
: 4090？
--
FROM 114.222.221.*

最新的初步评测出来了。
4090 vs 3090，训练的提升大概就是40%

【 在 zszqzzzf 的大作中提到: 】
: 跑围棋ai，4090应该是3090效能2倍。




--
修改:lvsoft FROM 114.222.221.*
FROM 114.222.221.*

这个也不能这么说。cuda核心数量和频率都是有显著的实打实的提升的。
只不过在ai领域更看内存带宽而已。

比如3090的cuda核心有10496个，频率更是1.4G/1.7G(boost)
然而A100的cuda核心只有6912个，频率则是0.8G/1.4G(boost)
纸面参数看A100被3090按在地上摩擦，但实际AI性能A100是3090的2倍以上，反过来把3090按在地板上摩擦。
原因就是A100用的HBM内存，带宽远超3090

这次4090的40%性能提升，我认为更多体现在cuda主频的提升上。多出来的cuda核心可能基本没怎么派上用场。
倒是4090新增了fp8，这对transformer是有很大加成的，再等等等到平台支持上去之后可以看看效果如何。
【 在 qgg 的大作中提到: 】
: 两年就搞出这么点。。。
--
修改:lvsoft FROM 114.222.221.*
FROM 114.222.221.*

cuda12有说什么时候出吗？
【 在 lvsoft 的大作中提到: 】
: 这个也不能这么说。cuda核心数量和频率都是有显著的实打实的提升的。
: 只不过在ai领域更看内存带宽而已。
: 比如3090的cuda核心有10496个，频率更是1.4G/1.7G(boost)
: ...................
--
FROM 116.22.254.*