首先确定你的显卡VRAM大小
然后找一个合适的量化模型，能保证你的权重和kv cache完全塞进vram
【 在 kipking 的大作中提到: 】
: 搭了一个，win10的游戏本，GPU加速之后，嵌入还是很慢，query也是乱七八糟的，惨不忍睹的。
--
FROM 117.11.95.*