- 主题:求个小主机 (转载)
我很多年之前配过一个 mATX 的小机器,可以装下一张显卡。现在的平台这么做应该可以配够 64G 内存加一个 16~24G 显存的显卡,跑个 GPT-OSS 20B 或者 Qwen3 30B-A3B 应该不是问题,速度可能有个 50tok/s 吧。另一个可以想到的方案是弄个大内存的 Mac 做推理服务器,它的高带宽统一内存很适合 LLM 推理。
【 在 trabalhar 的大作中提到: 】
: 【 以下文字转载自 SecondComputer 讨论区 】
: 想装个比如cherry studio写论文用 离线投喂给它 投喂的资料不能上网
: --来自微微水木3.5.17
: ...................
--
修改:ArchLinux FROM 124.64.18.*
FROM 124.64.18.*
上某电商看了下,128G 内存的 Mac Studio M4 Max 价格不到 30000. 需要跑更大的模型的话可以考虑 512G 内存的 M3 Ultra, 价格不到 80000. Mac Studio 也符合小主机的定义。
【 在 trabalhar 的大作中提到: 】
: 【 以下文字转载自 SecondComputer 讨论区 】
: 想装个比如cherry studio写论文用 离线投喂给它 投喂的资料不能上网
: --来自微微水木3.5.17
: ...................
--
修改:ArchLinux FROM 124.64.18.*
FROM 124.64.18.*
所以你还是需要确定你有多少预算。我觉得一个普通的主机配 1~2 张 16G 显存的显卡可能还是比较容易操作的方案,剩下的预算就堆内存。
显卡可以考虑 Intel Arc A770 或者摩尔线程的卡,当然了,软件适配要跟得上。
【 在 trabalhar 的大作中提到: 】
: 买不起
: --来自微微水木3.5.17
--
FROM 124.64.18.*
整机这个价钱的话的确买不到什么好机器了,不过可以先试着在你自己的机器上跑个更小的模型试一下,看看它的能力。
【 在 trabalhar 的大作中提到: 】
: 三千
: --来自微微水木3.5.17
--
FROM 124.64.18.*
这个我不清楚,看规格还可以,但是我找不到相关的评测,不知道跑LLM推理性能怎样。
【 在 trabalhar 的大作中提到: 】
: 这个咋样啊
: --来自微微水木3.5.17
--
FROM 124.64.18.*
不过对我来说价格不贵,我可以买一个测一下。但是我对软件这块不熟,可能不太会用NPU,只能先测CPU+GPU这部分。
【 在 trabalhar 的大作中提到: 】
: 是 没啥评测
: --来自微微水木3.5.17
--
FROM 124.64.18.*