直接用serverless（比如aws的ecs fargate）去跑scrapy的crawler，输出数据放object store上（比如s3）。

serverless的task用java启动

【 在 blueAurora 的大作中提到: 】
: 我主要是自己用scrapy 写了个爬虫，但我后端想用java，也可能用django. 于是我在想好麻烦。 我是用 java调用scrapyd呢；还是直接django+ scrapy 一个工程 ，直接python代码调用了
:
--
FROM 221.218.213.*