我还以为推理时候都是把大模型load进来
感觉好多都是
多几轮对话容易爆显存

【 在 tgfbeta 的大作中提到: 】
: 加内存不是绝对必要，
: LLM的算力对于GPU来说不是瓶颈
: 问题在于怎么在最短时间把算好的东西挪走
: ...................
--
FROM 222.129.4.*