今天简单地测了一下，用 llama.cpp Vulkan 后端跑 LLM. 用 GPU 推理，Qwen3 4B 生成速度大约 20 token/s, GPT-OSS 20B 生成速度大概 16 token/s. CPU 推理速度慢一半。如果用 ROCm 后端或者改用 vLLM 等高性能推理框架有可能可以再提升点性能，我还没有测试。

【 在 trabalhar 的大作中提到: 】
赞
【 在 ArchLinux 的大作中提到: 】
: 不过对我来说价格不贵，我可以买一个测一下。但是我对软件这块不熟，可能不太会用NPU，只能先测CPU+GPU这部分。
:  
: 【 在 trabalhar 的大作中提到: 】
: ...................
--来自微微水木3.5.17
--
FROM 103.90.178.*