数字存算为了省带宽和功耗要把sram或其它存储放到pe一起，那就要把pe切到比较小的颗粒度上，并编排mux让数据在pe间流水起来，这其实是信号处理单元的典型架构，类似fpga做得比较多。训练过程的计算粒度大，很难切碎在这种流水上实现，以及还有迭代次数不定等问题。不光训练，大模型推理的transformer里也有不少全局性处理，所以其实数字存算实用问题也很大。
【 在 shuangyue 的大作中提到: 】
: 为啥云端训练不可能？
--
FROM 112.10.244.*