- 主题:这个功能用什么框架实现比较好？
ftp里存了1000多个表的数据文件，每天某个时候到
到了之后就下载解压缩然后保存放到数据库里。
首先表不是确定时间到的。
目前用了airflow， file sensor-->etl data，1000多个表就1000多个dag，发现性能很
差，schedule还经常卡死
kettle , dolphin schedule没有file sensor，处理起来更麻烦
--
FROM 119.139.198.*
某天可能数据要重传，需要对每天传输进行监控告警，而且还要动态的增加需要传输的表
文件。还需要分布式
【 在 DoorWay 的大作中提到: 】
: 高端。
: 我看这需求，以为调用file monitor的api，出现时下载就行了。
: 几十行代码吧。
: ...................
--
FROM 120.229.14.*
ftp是上游的，好像还是windows servu，没法配置
【 在 adoal 的大作中提到: 】
: 你能决定运维选型不？pure ftpd支持文件上传完成后运行指定的外部程序。
--
FROM 119.139.198.*