其实ai这么简单的东西整一个不难。
难的是整成一个开放的生态持续演进，这一点来说cuda在很长的时间里还是会持续保持先发优势的。

但另外两家大厂也总算是有点东西了。
现在天下苦老黄久已，我感觉未来他会死的很惨。

但ai应用目前还是太小众了，支撑不起这么大的需求的。

【 在 dedeLotus 的大作中提到: 】
: 希望国内的卡快些弄好，老黄刀法太血腥
: 别弄游戏驱动了，专门搞AI核
--
修改:lvsoft FROM 180.111.25.*
FROM 180.111.25.*

赞，多谢

【 在 evilll 的大作中提到: 】
: 不是必须的，但是瓶颈在这里。
: 有几个先决条件
: 1）大模型是否超过24G，单卡装不下
: ...................
--
FROM 101.90.18.*

就没有个技术，能把主机内存也加进来一块用么？
【 在 lvsoft 的大作中提到: 】
: 其实说穿了，nvlink的主要价值是可以让两卡合体起到一个显存翻倍的作用。
: 如果用不到自然也就无所谓了。
: 基本上也就3090有价值。4090没这个选项，更老的卡显存翻倍了也就等于一张3090。
: ...................
--
FROM 120.245.26.*

照啊。
内存到gpu，好歹也有30GB/S的带宽。
哪怕把内存扔给gpu当硬盘使也行…
【 在 youxia 的大作中提到: 】
: 可以啊。
: 参考 Huggingface Transformer 库的教程，教你如何用内存甚至磁盘来加载。
: 另外 Zero 算法就是干这个事情的。hugging face 底层调用的是这个。
--
FROM 120.245.26.*

这种电源绝对不能接受。
我之前一个500w的，两条单路各20A，结果11700都上不去。
【 在 youxia 的大作中提到: 】
: 多谢，看来电源这里确实坑比较多。
--
FROM 124.90.182.*