工作职责:
1、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作;
2、负责网页信息数据抽取、清洗、消重等工作,提升爬虫系统的抓取效率;
3、参与设计爬虫核心算法和策略优化,熟悉采集系统的调度策略;
4、实时监控爬虫的进度和警报反馈
任职要求:
1、掌握Python基础开发,掌握(scrapy框架)常用的爬虫框架,熟悉常用的基础?网络和解析类库
2、了解常?的爬?/反爬方法。
3、熟练使用MySQL、MongoDB、Redis
4、有实际爬虫经验或对前端相关技术javascript等有经验优先。
4、至少实习三个月,可长期实习者优先。
工作地址
北京 - 海淀区 - 中关村 - 北京市海淀区中关村大街1号海龙大厦3层
有意向者请将简历发送到 xin.wang@hobot.cc,标题中请注明申请爬虫工程师实习生。
--
FROM 111.207.187.*