俺试过
32核卷不过一块消费级卡
不太划算吧
【 在 artech51 的大作中提到: 】
: 推理互联网公司一般都是用cpu搞，用gpu的话，内存和显存之间的数据传输还要时间，省不了多少
--
FROM 125.38.176.*

GPU当然要虚拟化
这个不就是专业级企业级驱动的卖点么？
【 在 artech51 的大作中提到: 】
: 你gpu不虚拟化就无法100%负载，这跟训练场景不一样
: 你不虚拟化，gpu能有10%负载就谢天谢地了，根本不划算
--
FROM 125.38.176.*

其实我是个数据科学家
已经两个礼拜了
【 在 artech51 的大作中提到: 】
: 你别跟我犟了，你做芯片的当然希望gpu多卖点，但事实就是根本没人拿gpu跑推理
: 训练好的模型，剪个枝，在cpu上跑不要太容易。
: 你gpu即使虚拟化，也不是100%利用，你还得搞个数据流，在企业级不稳定的应用环境下根本没效率，你gpu电费还贵的一批
: ...................
--
FROM 125.38.176.*

服务器cpu算力不如笔记本显卡

【 在 tgfbeta 的大作中提到: 】
: 俺试过
: 32核卷不过一块消费级卡
: 不太划算吧
--
FROM 221.218.138.*

你这都是老黄历了，现在最热的生成式AI，比如大语言模型，必须用gpu
【 在 artech51 的大作中提到: 】
: 你别跟我犟了，你做芯片的当然希望gpu多卖点，但事实就是根本没人拿gpu跑推理
: 训练好的模型，剪个枝，在cpu上跑不要太容易。
: 你gpu即使虚拟化，也不是100%利用，你还得搞个数据流，在企业级不稳定的应用环境下根本没效率，你gpu电费还贵的一批
: ...................
--
FROM 73.206.108.*