项目介绍:
国内领先的搜索引擎核心数据采集系统,服务面向全网站点,支撑公司每天数十亿数据采集需求。团队在海量数据处理,高性能服务器开发方面有丰富的技术积累,着力打造新一代数据产品解决方案。
工作职责:
1.超大规模通用爬虫平台研发。
2.定向数据采集系统的架构研发。
3.海量爬虫数据存储、传输、任务调度系统的研发。
4.探索如何满足非传统HTML数据的采集需求。
5.不断提升爬虫相关系统的性能、时效性、稳定性、易用性,满足业务数据需求。
任职要求:
1.计算机相关专业本科及以上学历,2年以上Linux下C++开发经验,熟悉Python,Golang开发。
2.熟悉HTML/JS/CSS/ AJAX等web技术,熟悉web相关数据处理技术,有网络编程项目经验。
3.熟悉并运用过一种以上常见爬虫系统,了解爬虫业务系统常见问题及解决方案优先。
4.有数据可视化经验,或有大数据系统等相关经验者更佳。
5.有较强的学习和动手能力,有责任心,具备良好的沟通和团队合作能力。
6.乐于接受有挑战性的工作,具备优秀的分析问题和解决问题的能力。
有意者请将简历发至 chenfei#sogou-inc.com (请将#代替为@)
--
FROM 111.202.100.*