【 在 Jacqueline 的大作中提到: 】
: 模型运行的时候要整个刷一遍，大点的模型ddr4/ddr5带宽都跟不上，慢，内存里跑70b一秒吐一个字
如果都在显卡上用gpu指令调度延迟少会有几倍加速。
如果经过cpu和总线调度，读取复制，延迟就太大了。
--
FROM 180.139.99.*