- 主题:[讨论] Python算法模型是怎么部署到生产环境的呀？
在生产环境，直接运行Python算法模型会不会太慢了？
部署后，多久再重新训练模型，再部署模型上线？
--
FROM 112.65.12.*
一般训练的时候用python，因为模型的定义会不断调整变化。上生产的时侯是用已经训练好的模型，这时主要是推理和对推理结果的选择判定，改用c++比较合适。大规模部署的话计算卡也要换成侧重于推理的卡，可以减少成本，当然模型的数据文件也可能要根据目标卡转换一次。
--
FROM 114.246.236.*
那请问，如果是在线训练模型呢？ 是不是对算力要求能降低，相对于训练卡？
【 在 olddognewwit 的大作中提到: 】
: 一般训练的时候用python，因为模型的定义会不断调整变化。上生产的时侯是用已经训练好的模型，这时主要是推理和对推理结果的选择判定，改用c++比较合适。大规模部署的话计算卡也要换成侧重于推理的卡，可以减少成本，当然模型的数据文件也可能要根据目标卡转换一次。
--
FROM 114.253.247.*
这种在线实时学习的方式对资源要求很高，没弄过类似的。
【 在 masterlv 的大作中提到: 】
: 那请问，如果是在线训练模型呢？ 是不是对算力要求能降低，相对于训练卡？
--
FROM 114.246.236.*
请问这是指算力方面，还是指数据方面？
我们将来打算做的是在线的光伏和风电的预测，这个领域做的好的，好像还没有。
负荷预测倒是有做的比较好的，可能是参与的特征相对比较少（相对特定的应用场景），数据积累也比较充分。
【 在 olddognewwit 的大作中提到: 】
: 这种在线实时学习的方式对资源要求很高，没弄过类似的。
--
FROM 114.253.247.*
一般说是要换成C，C++等语言的。
python当算法的粘合剂，算法原型验证还是可以的。
【 在 wakaka1122 的大作中提到: 】
: 在生产环境，直接运行Python算法模型会不会太慢了？
: 部署后，多久再重新训练模型，再部署模型上线？
--
FROM 114.253.247.*
我说的是面向C端的大模型。你说的这种专用领域的就不用那么讲究啦，训练和生产一体也可以，离线和在线也不用做太多区分。
【 在 masterlv 的大作中提到: 】
: 请问这是指算力方面，还是指数据方面？
: 我们将来打算做的是在线的光伏和风电的预测，这个领域做的好的，好像还没有。
: 负荷预测倒是有做的比较好的，可能是参与的特征相对比较少（相对特定的应用场景），数据积累也比较充分。
: ...................
--
FROM 114.246.236.*
请问改用c++，是指用C++重新写一遍算法吗？
就像用pytorch写的模型，训练完成后，再用libtorch写一遍，再训练一遍，再部署libtorch算法模型上线？
【 在 olddognewwit 的大作中提到: 】
: 一般训练的时候用python，因为模型的定义会不断调整变化。上生产的时侯是用已经训练好的模型，这时主要是推理和对推理结果的选择判定，改用c++比较合适。大规模部署的话计算卡也要换成侧重于推理的卡，可以减少成本，当然模型的数据文件也可能要根据目标卡转换一次。
--
FROM 112.65.12.*
请问如何做到离线和在线一体？ 这方面是否有参考资料呢。谢谢。
【 在 olddognewwit 的大作中提到: 】
: 我说的是面向C端的大模型。你说的这种专用领域的就不用那么讲究啦，训练和生产一体也可以，离线和在线也不用做太多区分。
--
FROM 114.253.247.*
我见有这么干的。具体也要根据模型大小和你的目标客户量而定，还是到专业版去问其他大牛吧。
【 在 wakaka1122 的大作中提到: 】
: 请问改用c++，是指用C++重新写一遍算法吗？
: 就像用pytorch写的模型，训练完成后，再用libtorch写一遍，再训练一遍，再部署libtorch算法模型上线？
:
--
FROM 114.246.236.*