这个就是asic的思路了， 当llm成熟稳定后， 推理用asic是最高效的方案。


【 在 marion 的大作中提到: 】
:
: 是的，几百GB的训练好的参数都加载到内存/显存里面调用，而实际上推理运算的计算量只是访存数据N的o(N^2)左右
: 有内存厂商已经在想内存侧运算加速卡的主意了，因为推理运算量不大，计算模式非常单一，完全可以把简单运算单元装在内存上完成——访存、运算都由内存模块实现
--
FROM 223.72.70.*