- 主题:[讨论] Python算法模型是怎么部署到生产环境的呀?
在生产环境,直接运行Python算法模型会不会太慢了?
部署后,多久再重新训练模型,再部署模型上线?
--
FROM 112.65.12.*
请问改用c++,是指用C++重新写一遍算法吗?
就像用pytorch写的模型,训练完成后,再用libtorch写一遍,再训练一遍,再部署libtorch算法模型上线?
【 在 olddognewwit 的大作中提到: 】
: 一般训练的时候用python,因为模型的定义会不断调整变化。上生产的时侯是用已经训练好的模型,这时主要是推理和对推理结果的选择判定,改用c++比较合适。大规模部署的话计算卡也要换成侧重于推理的卡,可以减少成本,当然模型的数据文件也可能要根据目标卡转换一次。
--
FROM 112.65.12.*
搜一下online learning and batch learning
【 在 masterlv 的大作中提到: 】
: 请问如何做到离线和在线一体? 这方面是否有参考资料呢。谢谢。
--
FROM 112.65.12.*
那大部分常见做法,请问是怎么部署呀?
【 在 olddognewwit 的大作中提到: 】
: 我见有这么干的。具体也要根据模型大小和你的目标客户量而定,还是到专业版去问其他大牛吧。
--
FROM 112.65.12.*