水木社区手机版
首页
|版面-人工智能(AI)|
新版wap站已上线
返回
1/1
|
转到
主题:一直不太理解,为什么训练大模型不能利用SSD
23楼
|
db1
|
2023-11-09 19:39:09
|
展开
哈哈哈哈,ssd这么牛逼为啥还要内存呢,别说那么大的数据,就你的pc你试试硬盘内存来回倒腾数据的时候系统啥德行
【 在 Xjt (Voldemort) 的大作中提到: 】
: 一直不太理解,为什么训练大模型不能利用SSD
:
: 现在制约大模型训练和推理的,根本不是芯片速度,而是内存。想要全量微调一个6B的大模型,就得有320G显存,就得4块A100。
:
--
FROM 61.149.133.*
24楼
|
db1
|
2023-11-09 19:41:08
|
展开
火箭可以烧煤不?
【 在 Xjt (Voldemort) 的大作中提到: 】
: 一直不太理解,为什么训练大模型不能利用SSD
:
: 现在制约大模型训练和推理的,根本不是芯片速度,而是内存。想要全量微调一个6B的大模型,就得有320G显存,就得4块A100。
:
--
FROM 61.149.133.*
1/1
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版