水木社区手机版
首页
|版面-Python的自由天空(Python)|
新版wap站已上线
返回
1/1
|
转到
主题:自定义算法的运行环境为啥是zip包的形式放到spark/hadoop上?
24楼
|
Loveni
|
2024-02-19 21:39:28
|
展开
如果你的集群就是为了干这个,那么是可以的,到每个节点上部署一下就行了。
不用听别人扯淡。
【 在 qianfeng018 的大作中提到: 】
: 自己写了个算法,算法所需的运行环境用conda打了个zip包,扔到了hadoop上。在spark上运行用如下命令。
: 这里为什么是个zip包呢? 这样每次运行还得解压,不是浪费时间吗?
: 不能提前把conda环境在hadoop上解压,每次直接运行吗?
: ...................
--
FROM 114.251.196.*
25楼
|
Loveni
|
2024-02-19 21:41:31
|
展开
部署到了一个特殊路径下,后续需要升级维护方便。
命令行里显式指定路径就ok。
【 在 qianfeng018 的大作中提到: 】
: 不是情绪大于规则。 而是像我说的这种场景:各类环境比较稳定,不会变化
: 这种情况是否是解压后的环境直接用,效率更高?而且不会引起其他问题
--
FROM 114.251.196.*
1/1
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版