多谢！今天上午看了看vllm，准备试试。
就两块24G的显存，看起来不太够啊

【 在 Xjt 的大作中提到: 】
: 用点框架吧。有一堆堆的多线程推理的框架了
: 问题上，哪怕再节约显存的框架，每多一个线程还是要多存很多内容(比如kv cache之类），你的显存够嘛？
--
FROM 123.58.106.*