你用什么部署的？

【 在 earlyinsect 的大作中提到: 】
: rt，各位大佬，目前部署的qwen2-7b-instruct，单线程进行推理处理太慢，不知道它是否支持多线程，同时进行多个推理？我自己用多线程试了试，发现报了很多错误，也有可能方法不对。哪位大佬知道望不吝赐教，多谢！
--
FROM 114.249.194.*