我很多年之前配过一个 mATX 的小机器，可以装下一张显卡。现在的平台这么做应该可以配够 64G 内存加一个 16~24G 显存的显卡，跑个 GPT-OSS 20B 或者 Qwen3 30B-A3B 应该不是问题，速度可能有个 50tok/s 吧。另一个可以想到的方案是弄个大内存的 Mac 做推理服务器，它的高带宽统一内存很适合 LLM 推理。

【 在 trabalhar 的大作中提到: 】
: 【 以下文字转载自 SecondComputer 讨论区 】
: 想装个比如cherry studio写论文用 离线投喂给它 投喂的资料不能上网
: --来自微微水木3.5.17
: ...................
--
修改:ArchLinux FROM 124.64.18.*
FROM 124.64.18.*