水木社区手机版
首页
|版面-Python的自由天空(Python)|
新版wap站已上线
展开
|
楼主
|
同主题展开
|
溯源
|
返回
上一篇
|
下一篇
|
同主题上篇
|
同主题下篇
主题:Re: 自定义算法的运行环境为啥是zip包的形式放到spark/hadoop上
qianfeng018
|
2024-02-05 12:18:26
|
如果一个算法运行环境是固定的,之后会有几百个算法、模型在此环境运行,
如果每一次spark submit都要解压,浪费的时间是很客观的吧?
我提前把环境解压好,每次只是在该环境运行算法,此场景下会节省很多时间。我觉得是很值得妥协一下的
【 在 JulyClyde 的大作中提到: 】
: 你这样就是把集群管理系统和被运行的应用程序的边界打破了
--
FROM 223.104.40.*
上一篇
|
下一篇
|
同主题上篇
|
同主题下篇
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版