看来你还没明白
我在互联网公司工作过，很少有业务用gpu跑推理

单纯跑推理，因为内存交换的事实存在，虽然gpu推理快，但是gpu显存和系统内存数据交换需要时间啊，这个时间算上，推理和cpu差距撑死了也就5倍
但是
1. gpu卖的比cpu贵多了，用gpu推理不划算
2. cpu虚拟化技术很成熟，gpu集群虚拟化得专人去搞，业务上线麻烦
3. 如果不搞gpu虚拟化，那么你推理无法100%用到gpu，那么你的效能又打折扣。
上述几点的存在，在现实中就是根本不会有多少业务用gpu去跑推理

- 来自 水木社区APP v3.5.7
【 在 salsalover 的大作中提到: 】
: cpu和gpu比，乘法器个数是数量级的差别
--
FROM 39.144.45.*

你别跟我犟了，你做芯片的当然希望gpu多卖点，但事实就是根本没人拿gpu跑推理
训练好的模型，剪个枝，在cpu上跑不要太容易。
你gpu即使虚拟化，也不是100%利用，你还得搞个数据流，在企业级不稳定的应用环境下根本没效率，你gpu电费还贵的一批
你别意淫了，我在互联网大厂干过，明确告诉你，推理不用gpu

【 在 tgfbeta 的大作中提到: 】
: GPU当然要虚拟化
: 这个不就是专业级企业级驱动的卖点么？
--
FROM 39.144.106.*