- 主题:这个功能用什么框架实现比较好？ (转载)
【 以下文字转载自 Programming 讨论区 】
发信人: qlogic (戒网了), 信区: Programming
标 题: 这个功能用什么框架实现比较好？
发信站: 水木社区 (Mon Nov 21 16:39:42 2022), 站内
ftp里存了1000多个表的数据文件，每天某个时候到
到了之后就下载解压缩然后保存放到数据库里。
首先表不是确定时间到的。
目前用了airflow， file sensor-->etl data，1000多个表就1000多个dag，发现性能很
差，schedule还经常卡死
kettle , dolphin schedule没有file sensor，处理起来更麻烦
--
FROM 119.139.198.*
文件都是结构化的话，不要去实时下载的话，写个轮询就行了，查到有文件了就异步交给其他程序执行任务呗，才1000个文件
【 在 qlogic (戒网了) 的大作中提到: 】
: 【 以下文字转载自 Programming 讨论区 】
: 发信人: qlogic (戒网了), 信区: Programming
: 标 题: 这个功能用什么框架实现比较好？
: 发信站: 水木社区 (Mon Nov 21 16:39:42 2022), 站内
--
FROM 223.104.38.*
还有你这个文件多大，没有几个t吧
【 在 qlogic (戒网了) 的大作中提到: 】
: 【 以下文字转载自 Programming 讨论区 】
: 发信人: qlogic (戒网了), 信区: Programming
: 标 题: 这个功能用什么框架实现比较好？
: 发信站: 水木社区 (Mon Nov 21 16:39:42 2022), 站内
--
FROM 223.104.38.*
另外，再考虑下系统资源最多可以支持同时执行几个文件的任务，分配好顺序就行了
【 在 qlogic (戒网了) 的大作中提到: 】
: 【 以下文字转载自 Programming 讨论区 】
: 发信人: qlogic (戒网了), 信区: Programming
: 标 题: 这个功能用什么框架实现比较好？
: 发信站: 水木社区 (Mon Nov 21 16:39:42 2022), 站内
--
FROM 223.104.38.*
什么表，csv？用这么多工具干嘛？自己写段代码解压缩然后读csv数据解析，很难嘛？多大的文件才会总是内存崩溃？
【 在 qlogic 的大作中提到: 】
: 发信人: qlogic (戒网了), 信区: Programming
: 标 题: 这个功能用什么框架实现比较好？
: 发信站: 水木社区 (Mon Nov 21 16:39:42 2022), 站内
: ...................
--
FROM 211.144.19.*
python 实现应该行, java语言不支持大数据。。。
【 在 qlogic 的大作中提到: 】
: 发信人: qlogic (戒网了), 信区: Programming
: 标 题: 这个功能用什么框架实现比较好？
: 发信站: 水木社区 (Mon Nov 21 16:39:42 2022), 站内
: ...................
--
FROM 124.226.28.*