我很多年之前配过一个 mATX 的小机器，可以装下一张显卡。现在的平台这么做应该可以配够 64G 内存加一个 16~24G 显存的显卡，跑个 GPT-OSS 20B 或者 Qwen3 30B-A3B 应该不是问题，速度可能有个 50tok/s 吧。另一个可以想到的方案是弄个大内存的 Mac 做推理服务器，它的高带宽统一内存很适合 LLM 推理。

【 在 trabalhar 的大作中提到: 】
: 【 以下文字转载自 SecondComputer 讨论区 】
: 想装个比如cherry studio写论文用 离线投喂给它 投喂的资料不能上网
: --来自微微水木3.5.17
: ...................
--
修改:ArchLinux FROM 124.64.18.*
FROM 124.64.18.*

稳拿
【 在 ArchLinux 的大作中提到: 】
: 上某电商看了下，128G 内存的 Mac Studio M4 Max 价格不到 30000. 需要跑更大的模型的话可以考虑 512G 内存的 M3 Ultra, 价格不到 80000. Mac Studio 也符合小主机的定义。
:  
: 【 在 trabalhar 的大作中提到: 】
: ...................
--来自微微水木3.5.17
--
FROM 218.108.210.*

买不起
【 在 xfsunnysm 的大作中提到: 】
: 最近出现的AMD395机器，什么“玲珑星核”或“极摩客EVO-X2”，都是1.4万上下。
:  
: 【 在 trabalhar 的大作中提到: 】
: ...................
--来自微微水木3.5.17
--
FROM 106.121.166.*

三千
【 在 ArchLinux 的大作中提到: 】
: 所以你还是需要确定你有多少预算。我觉得一个普通的主机配 1~2 张 16G 显存的显卡可能还是比较容易操作的方案，剩下的预算就堆内存。
: 显卡可以考虑 Intel Arc A770 或者摩尔线程的卡，当然了，软件适配要跟得上。
:  
: ...................
--来自微微水木3.5.17
--
FROM 106.121.166.*

【 在 ArchLinux 的大作中提到: 】
: 整机这个价钱的话的确买不到什么好机器了，不过可以先试着在你自己的机器上跑个更小的模型试一下，看看它的能力。
:  
: 【 在 trabalhar 的大作中提到: 】
: ...................
--来自微微水木3.5.17
--
FROM 106.121.166.*