注意该招聘信息在 100 天前已发布,有可能已失效
1
申请人
【新美大社招】Spark/Hadoop工程师
于 北京三快在线科技有限公司 in 北京
数据平台 – Spark/Hadoop工程师
美团点评崇尚用数据说话,自上线起数据平台团队一直在不断完善公司级的统一数据平台。
数据平台基于Hadoop构建,目前每天执行20万次计算流程,负责每天百TB的数据存储、分析和实时计算,有2000多个业务指标,为十几个业务线、各层级的团队管理和产品运营,提供大量的数据决策支持。
随着美团以每年超过3倍的速度成长,数据规模带来的存储和计算压力,是我们面临的最大挑战。
现在我们开始组建负责 Hadoop 性能的技术专家团队,需要对 Hadoop/Spark 性能优化方面具有丰富经验的人才加入。这个团队负责构建稳定高效的大规模数据存储、计算服务,并确保在数据量快速增长的同时,每天凌晨重要的数据计算任务按时高效的完成。
工作职责:
- Spark/YARN/HDFS//HBase/Kylin/Presto/Hive 的性能改进、功能扩展、故障分析; – 不断解决规模增长带来的技术和业务问题,确保Hadoop 数据平台每天上午8点完成重要数据的计算。
职位要求:
- 理工类211、985院校本科及以上学历; – 对技术有着永无止境的追求,自认为是技术Geek,具备很强的问题解决能力; – 熟悉Hadoop生态系统开源项目,至少精读过其中某一个的源码,对大规模数据处理具有独到的理解,有patch源代码经验者优先; – 1年以上 Hadoop/Hive 生产环境工作经验; – 有团队管理经验者优先。