大数据开发工程师(分布式存储&计算&调度方向) 集团数据中台建设部-平台产品研发部 T6-T8 北辰/亦庄
1.负责公司Hadoop集群资源管理调度器优化,支撑数仓/推荐/搜索/广告/供应链/营销等众多核心业务。
2.负责管理业界领先的YARN集群,包括但不限于集群规模、调度吞吐能力、资源利用率等多个方向。
3.负责京东大数据存储、计算引擎的设计和开发,包括EB级分布式存储系统(HDFS、Hbase、OpenTSDB、Alluxio等)、单集群万台规模的调度和计算引擎(Hive、Spark、PIG、Presto、Yarn等)打造高可用、高性能、存储计算分离的大数存储和计算平台,构建大数据核心组件,推动京东内和社区Hadoop生态体系的发展。
1.本科及以上学历,三年以上的Java/Go/C++/Python语言经验,有独立解决各种系统问题的能力。
2.深入理解Hadoop生态,拥有二次开发经验与开源社区的贡献者优先。
3.了解行业相关的开源项目或系统,譬如YARN、Mesos、Borg、Omega、Kubernetes等。
4.对Linux系统以及容器技术有深入的理解,譬如cgroups、namespace、LXC、Docker等。
5.较强的沟通能力和逻辑能力,具备良好的团队合作精神和主动意识,良好的自我驱动和学习能
邮箱: wanglonghui7@jd.com
--
FROM 123.116.55.*