- 主题:[讨论] C++是怎么做算法工程化的呀？
比如sklearn or pytorch实现的算法，怎么用C++部署呢？
--
FROM 112.65.12.*
pytorch有libtorch
【 在 wakaka1122 的大作中提到: 】
: 比如sklearn or pytorch实现的算法，怎么用C++部署呢？
--
FROM 111.199.107.*
tensorrt+cuda吧，一般是预处理和后处理的很多逻辑需要改写，加载模型的部分一般框架就搞定了，涉及分布式训练的可能要复杂一些
--
FROM 219.142.253.*
请问具体怎么用libtorch部署呀？
【 在 brucewww 的大作中提到: 】
: pytorch有libtorch
--
FROM 112.65.12.*
可以不用cuda吗？想简单一点的
【 在 mopo 的大作中提到: 】
: tensorrt+cuda吧，一般是预处理和后处理的很多逻辑需要改写，加载模型的部分一般框架就搞定了，涉及分布式训练的可能要复杂一些
--
FROM 112.65.12.*
请问性能上和直接python部署差别大吗？
- 来自 水木社区APP v3.5.7
【 在 mopo 的大作中提到: 】
: tensorrt+cuda吧，一般是预处理和后处理的很多逻辑需要改写，加载模型的部分一般框架就搞定了，涉及分布式训练的可能要复杂一些
: --
:
--
FROM 223.104.40.*
如果你算法熟可以把python变成c++代码，不过相对麻烦，我现在都是找的c++模块，nvidia的化比如wangxinyu大佬的tensorrt，github搜就行。
【 在 wakaka1122 的大作中提到: 】
: 请问具体怎么用libtorch部署呀？
:
--
FROM 202.85.208.*
自己玩玩用python就行了，线上推理可以先用python试试，性能可以接受的话就不用折腾
【 在 xiaofeiyun 的大作中提到: 】
: 请问性能上和直接python部署差别大吗？
: - 来自 水木社区APP v3.5.7
: :
--
FROM 219.142.253.*
不用cuda性能一些矩阵或者算子性能可能差几十倍，能接受就行
【 在 wakaka1122 的大作中提到: 】
: 可以不用cuda吗？想简单一点的
:
--
FROM 219.142.253.*
nv平台模型部署的的话，libtorch、或者onnxruntime，最优的是其实是用nv家的tensorrt。
【 在 wakaka1122 的大作中提到: 】
: 比如sklearn or pytorch实现的算法，怎么用C++部署呢？
--
FROM 123.125.33.*