- 主题:[讨论] C++是怎么做算法工程化的呀?
tensorrt+cuda吧,一般是预处理和后处理的很多逻辑需要改写,加载模型的部分一般框架就搞定了,涉及分布式训练的可能要复杂一些
--
FROM 219.142.253.*
自己玩玩用python就行了,线上推理可以先用python试试,性能可以接受的话就不用折腾
【 在 xiaofeiyun 的大作中提到: 】
: 请问性能上和直接python部署差别大吗?
: - 来自 水木社区APP v3.5.7
: :
--
FROM 219.142.253.*
不用cuda性能一些矩阵或者算子性能可能差几十倍,能接受就行
【 在 wakaka1122 的大作中提到: 】
: 可以不用cuda吗?想简单一点的
:
--
FROM 219.142.253.*