看来你还没明白
我在互联网公司工作过，很少有业务用gpu跑推理

单纯跑推理，因为内存交换的事实存在，虽然gpu推理快，但是gpu显存和系统内存数据交换需要时间啊，这个时间算上，推理和cpu差距撑死了也就5倍
但是
1. gpu卖的比cpu贵多了，用gpu推理不划算
2. cpu虚拟化技术很成熟，gpu集群虚拟化得专人去搞，业务上线麻烦
3. 如果不搞gpu虚拟化，那么你推理无法100%用到gpu，那么你的效能又打折扣。
上述几点的存在，在现实中就是根本不会有多少业务用gpu去跑推理

- 来自 水木社区APP v3.5.7
【 在 salsalover 的大作中提到: 】
: cpu和gpu比，乘法器个数是数量级的差别
--
FROM 39.144.45.*