水木社区手机版
首页
|版面-人工智能(AI)|
新版wap站已上线
返回
1/1
|
转到
主题:一直不太理解,为什么训练大模型不能利用SSD
1楼
|
bigtank
|
2023-11-08 12:51:45
|
展开
GPU 是矩阵运算,一次性计算的数据量级很大,每次运算都临时读取数据的时间成本太高了。为了极致的计算效率,GPU 将数据存储在显存中执行多轮运算,避免数据通量成为耗时瓶颈。
--
FROM 114.251.196.*
7楼
|
bigtank
|
2023-11-08 15:41:13
|
展开
问题就是在大模型领域,性能不够就等于不能。
GPT4训练一次要100天,用了2.5万个A100。考虑用ssd的性能差异,训练时长要成倍上涨。假设训练时长涨到1000天,那就没有商业化的可能了。
【 在 Xjt 的大作中提到: 】
:有很多优化方案可以提速,更何况一边是显卡不够导致能不能的问题,一边是等多久的问题,这不是很简单的选择嘛?
- 来自 水木社区APP v3.5.7
--
FROM 36.112.180.*
1/1
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版