水木社区手机版
首页
|版面-人工智能(AI)|
新版wap站已上线
展开
|
楼主
|
同主题展开
|
溯源
|
返回
上一篇
|
下一篇
|
同主题上篇
|
同主题下篇
主题:Re: [求助]大模型继续问:如何进行多线程
earlyinsect
|
2024-08-16 17:39:20
|
请问找个如何使用呢?
看网上都是在教如何安装,安装完了就可以了吗?不需要在代码里显式的调用它?
另外,vllm可以显示的批量预测,即多个提示词一起进行推理处理。flash-attn可以吗?或者其他的框架也可以吗?
【 在 zengraoli 的大作中提到: 】
: flash-attn
--
FROM 123.58.106.*
上一篇
|
下一篇
|
同主题上篇
|
同主题下篇
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版