Vllm会降低推理质量，我感觉很多人已经不用了。现在新框架一大堆啊。推理质量比速度和节约显存更重要吧
【 在 earlyinsect 的大作中提到: 】
: 多谢！今天上午看了看vllm，准备试试。
: 就两块24G的显存，看起来不太够啊
:
--
FROM 39.144.45.*