- 主题:求个小主机 (转载)
零氪的有可以用的吗 谢谢您的解答 我概念模糊
【 在 LYMing1986 的大作中提到: 】
: 如果你用cherry studio，
: 模型使用本机部署的 还是局域网部署的 还是公网api？
:
: ...................
--来自微微水木3.5.17
--
FROM 106.121.70.*
我理解我只能本地 投喂的资料不让上网
【 在 LYMing1986 的大作中提到: 】
: 如果你用cherry studio，
: 模型使用本机部署的 还是局域网部署的 还是公网api？
:
: ...................
--来自微微水木3.5.17
--
FROM 106.121.70.*
既然只能本地，
那么零氪的GPU或NPU算力是否足够你的token速度需求
内存是否足够载入模型
硬盘是否足够存储模型参数文件和数据
【 在 trabalhar 的大作中提到: 】
: 我理解我只能本地 投喂的资料不让上网
--
FROM 124.126.186.*
还有，是否考虑外接显卡
零氪在不外接显卡情况下 很可能不足以本地部署开源模型；
但或许可以支持oculink 需要查配置单
外接是个复杂些方案，有更高性能上限
可以使用oculink 外接显卡坞
需要再买oculink线，显卡坞，4090（大概这意思）
【 在 trabalhar 的大作中提到: 】
: 我理解我只能本地 投喂的资料不让上网
--
修改:LYMing1986 FROM 124.126.186.*
FROM 124.126.186.*
啊啊啊 不知道怎么算是否够呀…属于白痴状态
【 在 LYMing1986 的大作中提到: 】
: 既然只能本地，
: 那么零氪的GPU或NPU算力是否足够你的token速度需求
: 内存是否足够载入模型
: ...................
--来自微微水木3.5.17
--
FROM 106.121.70.*
1. 统计需求 要跑哪些应用
2. 收集打算本地部署的模型
3. 用应用的使用频率，和应用对token需求，统计每秒token数需求（大概）
4. 应用需求反推硬件性能需求（网上搜评测 可知特定硬件 特定模型 的特定推理速度）
5. 再反推怎么装机
【 在 trabalhar 的大作中提到: 】
: 啊啊啊 不知道怎么算是否够呀…属于白痴状态
--
FROM 124.126.186.*
……太复杂了
【 在 LYMing1986 的大作中提到: 】
: 还有，是否考虑外接显卡
:
: 零氪在不外接显卡情况下 很可能不足以本地部署开源模型；
: ...................
--来自微微水木3.5.17
--
FROM 106.121.70.*
有简单方案
找个会的 师兄/师姐/师弟
一顿大餐请帮忙
【 在 trabalhar 的大作中提到: 】
: ……太复杂了
--
FROM 124.126.186.*
会ai科研辅助的人应该很多
实在不行，还可以恋爱为名
说自己喜欢会大模型的
从恋爱角度快速入门
【 在 trabalhar 的大作中提到: 】
: ……太复杂了
--
修改:LYMing1986 FROM 124.126.186.*
FROM 124.126.186.*
……
【 在 LYMing1986 的大作中提到: 】
: 会ai科研辅助的人应该很多
:
: 实在不行，还可以恋爱为名
: ...................
--来自微微水木3.5.17
--
FROM 106.121.70.*