- 主题:AnythingLLM+Ollama+Qwen2-7Bgguf不好使啊
搭了一个，win10的游戏本，GPU加速之后，嵌入还是很慢，query也是乱七八糟的，惨不忍睹的。
--
FROM 183.241.155.19
7B现在就是儿童玩具水平
【 在 kipking 的大作中提到: 】
: 搭了一个，win10的游戏本，GPU加速之后，嵌入还是很慢，query也是乱七八糟的，惨不忍睹的。
--
FROM 163.125.132.*
首先确定你的显卡VRAM大小
然后找一个合适的量化模型，能保证你的权重和kv cache完全塞进vram
【 在 kipking 的大作中提到: 】
: 搭了一个，win10的游戏本，GPU加速之后，嵌入还是很慢，query也是乱七八糟的，惨不忍睹的。
--
FROM 117.11.95.*