- 主题:国产推理卡还要等多久？
一张卡运行满血deepseek
--
FROM 45.77.189.*
nv哪张可以
【 在 aosp 的大作中提到: 】
: 一张卡运行满血deepseek
--
FROM 114.216.241.*
这个目前nv都做不到
【 在 aosp 的大作中提到: 】
一张卡运行满血deepseek
--
FROM 123.115.133.*
希望国产5年内做到
【 在 Fgps 的大作中提到: 】
: 这个目前nv都做不到
--
FROM 45.77.189.*
nv很快变Intel了
【 在 richiter 的大作中提到: 】
: nv哪张可以 ...
--
FROM 45.77.189.*
CUDA是不可能一直这样下去的，老黄自己应该也很清楚。后面是国产的还是国外的开源的都有可能
--
FROM 111.199.149.*
十年后见吧
【 在 aosp (安卓开源计划) 的大作中提到: 】
: 一张卡运行满血deepseek
: --
:
:
--
FROM 175.162.129.*
可以查查deepseek推荐的配置，印象中是上百张卡。
【 在 aosp 的大作中提到: 】
: 一张卡运行满血deepseek
--
FROM 103.85.172.*
Project DIGITS 是 NVIDIA 推出的个人 AI 超级计算机，3000美元（2.2万左右）
每个 Project DIGITS 都配有 128GB 的统一的高一致性内存和 4TB 的 NVME 存储。利用 Project DIGITS，开发者可以运行包含高达 200B 参数的大语言模型，加速 AI 创新。通过 NVIDIA ConnectX(R) 网络，可以将两台 Project DIGITS AI 超级计算机连接在一起，运行包含高达 4050 亿参数的模型。
所以4台，可以满血运行
量化版的，估计1台可以运行
除了NVIDIA ，还有很多公司在研发，已经有的很贵，新的估计1年半内出来，比如OpenAI自己的，
国产专门的推理卡，估计2年内出来
【 在 aosp 的大作中提到: 】
: 一张卡运行满血deepseek
--
FROM 122.234.9.*
有人说黄皮衣的这个卡的内存带宽有限，会影响生成速度
【 在 Bruce12 的大作中提到: 】
: Project DIGITS 是 NVIDIA 推出的个人 AI 超级计算机，3000美元（2.2万左右）
: 每个 Project DIGITS 都配有 128GB 的统一的高一致性内存和 4TB 的 NVME 存储。利用 Project DIGITS，开发者可以运行包含高达 200B 参数的大语言模型，加速 AI 创新。通过 NVIDIA ConnectX(R) 网络，可以将两台 Project DIGITS AI 超级计算机连接在一起，运行包含高达 4050 亿参数的模型。
: 所以4台，可以满血运行
: ...................
--
FROM 1.119.200.*