- 主题:国产推理卡还要等多久?
这个卡还没有上市,我还没有看到有人实际应用到DS
这种专门的训练推理卡理论上会比游戏卡节能高效的多,等等看看
【 在 Auguster 的大作中提到: 】
: 有人说黄皮衣的这个卡的内存带宽有限,会影响生成速度
:
--
FROM 122.234.9.*
显卡、训练卡、推理卡应该分开
【 在 lanmp 的大作中提到: 】
: CUDA是不可能一直这样下去的,老黄自己应该也很清楚。后面是国产的还是国外的开源的都有可能...
--
FROM 45.77.189.*
期待
【 在 Bruce12 的大作中提到: 】
: Project DIGITS 是 NVIDIA 推出的个人 AI 超级计算机,3000美元(2.2万左右)
每个 Pro...
--
FROM 45.77.189.*
重要的不是一张卡就搞定,而是可以用一台电脑搞定,几张卡就几张卡吧。
这里面关键是卡与卡之间,卡与内存之间的传输速率问题。
【 在 aosp 的大作中提到: 】
: 一张卡运行满血deepseek
--
FROM 112.80.24.*
多于一张就复杂了
不适合个人部署
【 在 SHENBI 的大作中提到: 】
: 重要的不是一张卡就搞定,而是可以用一台电脑搞定,几张卡就几张卡吧。这里面关键是卡与卡之间,卡与内存之间的传输速率问题。 ...
--
FROM 45.77.189.*
火炉吧
【 在 Bruce12 的大作中提到: 】
: Project DIGITS 是 NVIDIA 推出的个人 AI 超级计算机,3000美元(2.2万左右)
: 每个 Project DIGITS 都配有 128GB 的统一的高一致性内存和 4TB 的 NVME 存储。利用 Project DIGITS,开发者可以运行包含高达 200B 参数的大语言模型,加速 AI 创新。通过 NVIDIA ConnectX(R) 网络,可以将两台 Project DIGITS AI 超级计算机连接在一起,运行包含高达 4050 亿参数的模型。
:
: ...................
--来自微微水木3.5.17
--
FROM 223.104.41.*
【 在 aosp 的大作中提到: 】
: 一张卡运行满血deepseek
--
FROM 114.249.198.*

公司还可以,个人真没必要,有这钱都可以买所有买大模型的api用好几年了吧
【 在 aosp (安卓开源计划) 的大作中提到: 】
: 一张卡运行满血deepseek
: --
:
:
--
FROM 223.104.39.*
nvl72算一张卡吗
--
FROM 115.171.216.*
嗯
--
FROM 123.116.96.*