KV-cache是会爆显存的
模型也是会爆的
那是因为计算单元在GPU上
有人用服务器RAID加CPU搞mmap
不要内存也可以
因为RAID和PCIe太宽了
【 在 omelet 的大作中提到: 】
: 我还以为推理时候都是把大模型load进来
: 感觉好多都是
: 多几轮对话容易爆显存
: ...................
--
FROM 60.24.248.*