随便一个embedding+transformer+batch，显存就超了
--
FROM 223.104.41.*

是的，几个个五位数维度的矩阵就把显存吃光了
--
修改:Blue FROM 219.237.112.*
FROM 219.237.112.*

transformer的patch大小多少，太小肯定超啊。再加上multi-head。大公司都至少16块A100训练的。算力推得满满的。个人玩玩就行。
--
FROM 114.249.223.*

好多库 对不同的OS 或是CPU 都专门优化过的
A卡上也有

一二十年前 N开始搞自己的 CUDA 当时MS 正在推DirectX 非常不高兴N 搞自己的计算库
但是 N顶住了 而且 靠着 CUDA 赶上了机器学习

个人当时选卡的时候 觉得还是不趟混水的好
python tensorflow  pytorch docker 甚至操作系统 .... 没一个是铁板一块的可靠的 动不动会有点小问题
运气不好 碰上点问题 时间就全搭进去了

【 在 heyuanlie 的大作中提到: 】
: 搭车问一下，现在的计算框架能支持amd(ati)的显卡吗？
:
--
FROM 47.152.116.*

我不是大牛 在AI上是爬行的蜗牛呢

【 在 heyuanlie 的大作中提到: 】
: 谢谢大牛！
: 看来现阶段还是用N卡比较保险了。
:
--
FROM 47.152.116.*