- 主题:这个功能用什么框架实现比较好？
ftp里存了1000多个表的数据文件，每天某个时候到
到了之后就下载解压缩然后保存放到数据库里。
首先表不是确定时间到的。
目前用了airflow， file sensor-->etl data，1000多个表就1000多个dag，发现性能很
差，schedule还经常卡死
kettle , dolphin schedule没有file sensor，处理起来更麻烦
--
FROM 119.139.198.*
高端。
我看这需求，以为调用file monitor的api，出现时下载就行了。
几十行代码吧。
下载下来的，慢慢拆表更新数据库，也是常规操作。^_^为啥需要框架？
【 在 qlogic 的大作中提到: 】
: ftp里存了1000多个表的数据文件，每天某个时候到
: 到了之后就下载解压缩然后保存放到数据库里。
: 首先表不是确定时间到的。
: ...................
--
FROM 106.44.133.*
某天可能数据要重传，需要对每天传输进行监控告警，而且还要动态的增加需要传输的表
文件。还需要分布式
【 在 DoorWay 的大作中提到: 】
: 高端。
: 我看这需求，以为调用file monitor的api，出现时下载就行了。
: 几十行代码吧。
: ...................
--
FROM 120.229.14.*
你能决定运维选型不？pure ftpd支持文件上传完成后运行指定的外部程序。
【 在 qlogic 的大作中提到: 】
: 某天可能数据要重传，需要对每天传输进行监控告警，而且还要动态的增加需要传输的表
: 文件。还需要分布式
--
FROM 115.193.176.*
bash shell script ?
【 在 qlogic 的大作中提到: 】
: ftp里存了1000多个表的数据文件，每天某个时候到
: 到了之后就下载解压缩然后保存放到数据库里。
: 首先表不是确定时间到的。
: ...................
--
FROM 47.152.116.*
ftp是上游的，好像还是windows servu，没法配置
【 在 adoal 的大作中提到: 】
: 你能决定运维选型不？pure ftpd支持文件上传完成后运行指定的外部程序。
--
FROM 119.139.198.*
这么邪教？
【 在 adoal 的大作中提到: 】
: 你能决定运维选型不？pure ftpd支持文件上传完成后运行指定的外部程序。
--
FROM 222.71.112.*
看上去就是上传文件后解析处理吗？
只不过上传方式是用ftp罢了
【 在 qlogic 的大作中提到: 】
: ftp里存了1000多个表的数据文件，每天某个时候到
: 到了之后就下载解压缩然后保存放到数据库里。
: 首先表不是确定时间到的。
: ...................
--
FROM 124.64.22.*