jobber

申请人

数据平台 – Spark/Hadoop工程师

美团点评崇尚用数据说话，自上线起数据平台团队一直在不断完善公司级的统一数据平台。
数据平台基于Hadoop构建，目前每天执行20万次计算流程，负责每天百TB的数据存储、分析和实时计算，有2000多个业务指标，为十几个业务线、各层级的团队管理和产品运营，提供大量的数据决策支持。
随着美团以每年超过3倍的速度成长，数据规模带来的存储和计算压力，是我们面临的最大挑战。
现在我们开始组建负责 Hadoop 性能的技术专家团队，需要对 Hadoop/Spark 性能优化方面具有丰富经验的人才加入。这个团队负责构建稳定高效的大规模数据存储、计算服务，并确保在数据量快速增长的同时，每天凌晨重要的数据计算任务按时高效的完成。

工作职责：

- Spark/YARN/HDFS//HBase/Kylin/Presto/Hive 的性能改进、功能扩展、故障分析； – 不断解决规模增长带来的技术和业务问题，确保Hadoop 数据平台每天上午8点完成重要数据的计算。

职位要求：

- 理工类211、985院校本科及以上学历； – 对技术有着永无止境的追求，自认为是技术Geek，具备很强的问题解决能力； – 熟悉Hadoop生态系统开源项目，至少精读过其中某一个的源码，对大规模数据处理具有独到的理解，有patch源代码经验者优先； – 1年以上 Hadoop/Hive 生产环境工作经验； – 有团队管理经验者优先。