- 主题:一直不太理解，为什么训练大模型不能利用SSD
对头
【 在 bigtank 的大作中提到: 】
: GPU 是矩阵运算，一次性计算的数据量级很大，每次运算都临时读取数据的时间成本太高了。为了极致的计算效率，GPU 将数据存储在显存中执行多轮运算，避免数据通量成为耗时瓶颈。
发自「快看水母 于 小霸王第一代电视游戏机」
--
FROM 117.136.22.*
可以用ssd啊
transformer库 deepspeed里，有Offloading to CPU and NVMe with ZeRO-Infinity
大家没用罢了
推荐尝试下deepspeed，模型并行、数据并行 能降低很多显存需求
【 在 Xjt 的大作中提到: 】
: 一直不太理解，为什么训练大模型不能利用SSD
: 现在制约大模型训练和推理的，根本不是芯片速度，而是内存。想要全量微调一个6B的大模型，就得有320G显存，就得4块A100。
: 如果只有一块A100，利用80G显存+240G SSD，理论上完全应该可以做到能全量微调一个6B的大模型。为什么没任何算法或者框架向着这个方向开发呢？
: ...................
--
FROM 120.244.234.*
显卡是并行处理，SSD是嘛玩意，不懂呀
【 在 Xjt 的大作中提到: 】
: 一直不太理解，为什么训练大模型不能利用SSD
: 现在制约大模型训练和推理的，根本不是芯片速度，而是内存。想要全量微调一个6B的大模型，就得有320G显存，就得4块A100。
: 如果只有一块A100，利用80G显存+240G SSD，理论上完全应该可以做到能全量微调一个6B的大模型。为什么没任何算法或者框架向着这个方向开发呢？
: ...................
--
FROM 221.222.20.*
【 在 Xjt 的大作中提到: 】
: 一直不太理解，为什么训练大模型不能利用SSD
: 现在制约大模型训练和推理的，根本不是芯片速度，而是内存。想要全量微调一个6B的大模型，就得有320G显存，就得4块A100。
: 如果只有一块A100，利用80G显存+240G SSD，理论上完全应该可以做到能全量微调一个6B的大模型。为什么没任何算法或者框架向着这个方向开发呢？
: ...................
ssd的带宽大概只有显存的1/1000
实际上显存并没有那么贵
只是nvidia垄断而已
--
FROM 111.196.135.*