[求助]大模型继续问：如何进行多线程

水木社区手机版

主题:[求助]大模型继续问：如何进行多线程
6楼|tgfbeta|2024-08-16 15:41:54|展开
举几个栗子？
【在 Xjt 的大作中提到: 】
: Vllm会降低推理质量，我感觉很多人已经不用了。现在新框架一大堆啊。推理质量比速度和节约显存更重要吧
--
FROM 221.198.64.*
14楼|tgfbeta|2024-08-21 10:38:34|展开
github：mani-kantap/llm-inference-solutions
全不全？
【在 Xjt 的大作中提到: 】
: 比如TensorRT，还有很多别的，搜搜呗
--
FROM 221.198.64.*

BYR-Team©2010. KBS Dev-Team©2011 登录完整版