模型训练和推理的计算量根本不是一个级别,
简单的说模型训练就像做一个一元线性回归,拟合出参数a,b,
做推理, 就是拿一个x,带进a+bx的方程里,算出y。
当参数增加时,训练的计算量时指数增加的,而推理的计算量时线性的,会小很多个数量级。
现在所谓支持"AI", 不过是为加速推理计算提供几个特别指令而已。
【 在 Acui 的大作中提到: 】
: 骁龙X Elite表现突出。它能在设备上运行拥有超过130亿参数的生成式AI模型,将AI处理能力提升了4.5倍。这种卓越的AI性能,使得生成式AI不仅是数据中心的特权,更是个人PC终端的实力展现。
: 这句话怎么理解
:
--
FROM 223.72.40.*