重点是我不想把这个loop线程交给tokio调度，也不想在这个线程中使用await。非阻塞也许可是考虑，但问题会更复杂一些，因为llm中下一次迭代是依赖上一次结果的。
【 在 AlphaO (AlphaO) 的大作中提到: 】
: 阻塞等待gpu去算。此处阻塞是否有必要性，常规做法感觉应是非阻塞才好吧？
:
: 【 在 ensonmj 的大作中提到: 】
: : 我现在就是单独起一个tokio，接受外部请求，预处理。然后通过channel提交给这个loop线程。loop 线程每次try recv外部请求，有就加进来，没有继续计算。计算过程就是就是组建一个大的batch，然后交给外部gpu去算。然后阻塞等待gpu返回结果。 gpu worker那边可以起一个同步的grpc server，因为gpu的请求永远是1，追求的不是高并发，而是低延迟。
--
FROM 39.144.103.*