- 主题:求个小主机 (转载)
酷心有个Ultra5 125H的Modt主板很有意思
125H的cpu低功耗 性能不差 带NPU 支持DDR5 双PCIE
巨便宜
--
修改:LYMing1986 FROM 124.126.186.*
FROM 124.126.186.*
如果你用cherry studio，
模型使用本机部署的 还是局域网部署的 还是公网api？
如果要本机部署
这主板带Intel NPU，可以在有限功耗内 本机部署小模型
这主板是----酷心Ultra5 125H，淘宝和pdd都有
如果购买成品小主机，那就得找最新一代Intel或AMD的款，旧一点的NPU算力低
其他方案就得上独立显卡了，功耗和成本和体积都要提升一个数量级以上
【 在 trabalhar 的大作中提到: 】
: 不懂…
--
修改:LYMing1986 FROM 124.126.186.*
FROM 124.126.186.*
既然只能本地，
那么零氪的GPU或NPU算力是否足够你的token速度需求
内存是否足够载入模型
硬盘是否足够存储模型参数文件和数据
【 在 trabalhar 的大作中提到: 】
: 我理解我只能本地 投喂的资料不让上网
--
FROM 124.126.186.*
还有，是否考虑外接显卡
零氪在不外接显卡情况下 很可能不足以本地部署开源模型；
但或许可以支持oculink 需要查配置单
外接是个复杂些方案，有更高性能上限
可以使用oculink 外接显卡坞
需要再买oculink线，显卡坞，4090（大概这意思）
【 在 trabalhar 的大作中提到: 】
: 我理解我只能本地 投喂的资料不让上网
--
修改:LYMing1986 FROM 124.126.186.*
FROM 124.126.186.*
1. 统计需求 要跑哪些应用
2. 收集打算本地部署的模型
3. 用应用的使用频率，和应用对token需求，统计每秒token数需求（大概）
4. 应用需求反推硬件性能需求（网上搜评测 可知特定硬件 特定模型 的特定推理速度）
5. 再反推怎么装机
【 在 trabalhar 的大作中提到: 】
: 啊啊啊 不知道怎么算是否够呀…属于白痴状态
--
FROM 124.126.186.*
有简单方案
找个会的 师兄/师姐/师弟
一顿大餐请帮忙
【 在 trabalhar 的大作中提到: 】
: ……太复杂了
--
FROM 124.126.186.*
会ai科研辅助的人应该很多
实在不行，还可以恋爱为名
说自己喜欢会大模型的
从恋爱角度快速入门
【 在 trabalhar 的大作中提到: 】
: ……太复杂了
--
修改:LYMing1986 FROM 124.126.186.*
FROM 124.126.186.*
想要离线大模型，成品小主机不是最优选
除非你想试试npu-------intel ultra系列或amd hx系列，才有可能
或者，尝试itx，自己搭一套，用itx的主板和显卡，也勉强能算小主机
我有一套富裕的itx，有兴趣可以拎走
--
修改:LYMing1986 FROM 124.126.186.*
FROM 124.126.186.*
TOPC刚发布了一块U7 255H的itx小版，推荐关注
cpu、核显、npu的性能都很棒，板载64G 8400MHz内存也不错
双万兆，双雷电4，仨SFF 8087，扩展不错
--
FROM 124.126.186.*