- 主题:求个小主机 (转载)
想要离线大模型，成品小主机不是最优选
除非你想试试npu-------intel ultra系列或amd hx系列，才有可能
或者，尝试itx，自己搭一套，用itx的主板和显卡，也勉强能算小主机
我有一套富裕的itx，有兴趣可以拎走
--
修改:LYMing1986 FROM 124.126.186.*
FROM 124.126.186.*
今天简单地测了一下，用 llama.cpp Vulkan 后端跑 LLM. 用 GPU 推理，Qwen3 4B 生成速度大约 20 token/s, GPT-OSS 20B 生成速度大概 16 token/s. CPU 推理速度慢一半。如果用 ROCm 后端或者改用 vLLM 等高性能推理框架有可能可以再提升点性能，我还没有测试。
【 在 trabalhar 的大作中提到: 】
赞
【 在 ArchLinux 的大作中提到: 】
: 不过对我来说价格不贵，我可以买一个测一下。但是我对软件这块不熟，可能不太会用NPU，只能先测CPU+GPU这部分。
:
: 【 在 trabalhar 的大作中提到: 】
: ...................
--来自微微水木3.5.17
--
FROM 103.90.178.*
不明觉厉！
【 在 ArchLinux 的大作中提到: 】
: 今天简单地测了一下，用 llama.cpp Vulkan 后端跑 LLM. 用 GPU 推理，Qwen3 4B 生成速度大约 20 token/s, GPT-OSS 20B 生成速度大概 16 token/s. CPU 推理速度慢一半。如果用 ROCm 后端或者改用 vLLM 等高性能推理框架有可能可以再提升点性能，我还没有测试。
:
: 【 在 trabalhar 的大作中提到: 】
: ...................
--来自微微水木3.5.17
--
FROM 218.108.210.*
TOPC刚发布了一块U7 255H的itx小版，推荐关注
cpu、核显、npu的性能都很棒，板载64G 8400MHz内存也不错
双万兆，双雷电4，仨SFF 8087，扩展不错
--
FROM 124.126.186.*
老哥方便给个链接么？
【 在 LYMing1986 的大作中提到: 】
: TOPC刚发布了一块U7 255H的itx小版，推荐关注
: cpu、核显、npu的性能都很棒，板载64G 8400MHz内存也不错
: 双万兆，双雷电4，仨SFF 8087，扩展不错
: ...................
--
FROM 218.16.203.*
老张介绍的，还没开售
https://www.bilibili.com/video/BV1HF31zgEVK
【 在 stgudao 的大作中提到: 】
: 老哥方便给个链接么？
--
FROM 124.126.186.*