水木社区手机版
- 主题:求现在深度学习计算机GPU配置
- 我在等4090跑ai的评测出来再下定论。
我感觉4090可能跟3090在ai上的性能提升不大。
ai这个东西更看内存带宽，而4090在这块跟3090没区别。
【 在 zszqzzzf 的大作中提到: 】
: 4090？
--
FROM 114.222.221.* - 最新的初步评测出来了。
4090 vs 3090，训练的提升大概就是40%
【 在 zszqzzzf 的大作中提到: 】
: 跑围棋ai，4090应该是3090效能2倍。
--
修改:lvsoft FROM 114.222.221.*
FROM 114.222.221.* - 这个也不能这么说。cuda核心数量和频率都是有显著的实打实的提升的。
只不过在ai领域更看内存带宽而已。
比如3090的cuda核心有10496个，频率更是1.4G/1.7G(boost)
然而A100的cuda核心只有6912个，频率则是0.8G/1.4G(boost)
纸面参数看A100被3090按在地上摩擦，但实际AI性能A100是3090的2倍以上，反过来把3090按在地板上摩擦。
原因就是A100用的HBM内存，带宽远超3090
这次4090的40%性能提升，我认为更多体现在cuda主频的提升上。多出来的cuda核心可能基本没怎么派上用场。
倒是4090新增了fp8，这对transformer是有很大加成的，再等等等到平台支持上去之后可以看看效果如何。
【 在 qgg 的大作中提到: 】
: 两年就搞出这么点。。。
--
修改:lvsoft FROM 114.222.221.*
FROM 114.222.221.* - 目前没查到具体的说法，lambdalabs也没做4090的测试。
其实总的来说我更相信他们家的报告一点。
其他都是个人报告或者自媒体报告，专业程度存疑。
新卡刚发的时候配套没到位是这样的。当年3090我也首发就入了，测下来还不如2080ti，但过一段时间后就完全不是这样了。
【 在 acseed 的大作中提到: 】
: cuda12有说什么时候出吗？
--
FROM 180.158.52.* - 3080ti和3090性能差不多，显存差3倍，你自己试试看跑深度学习有多大差距呗。
【 在 cokebear 的大作中提到: 】
: A100显存大，交换少
--
FROM 180.158.52.* - 我觉得现在这种，也不管别人需求是啥，也不做初步的计算，逢人就说“自己组服务器已经过时了”的这种风气是云厂商的阴谋。
事实上用游戏卡组个和云上性能相当的炼丹炉，损益点只有一个半月。
也就是说你的训练时间只要超过一个半月，租云的钱就够你自己攒一套。
当然，有些人会跟我抬杠，说自己组炼丹炉要时间，要精力，要维护，要电费，要这个，要那个。对这些人我的回答是那你不如也别自己干了，雇个phd替你干好了。
实际是上云这个事情是全套的。算力上了云，数据就也得上，数据处理也一样。根据不同的使用策略，你租用云服务的时间（或者费用）可能也只有一半真正用在了训练上。
【 在 magicknight 的大作中提到: 】
: 自己买gpu已经过时了。
: 云上租一个呗。
: 除非你想借机打游戏。
: ...................
--
修改:lvsoft FROM 180.158.52.*
FROM 180.158.52.*