大数据开发工程师

岗位职责： 1、负责离线数仓架构设计及ETL任务开发和维护； 2、负责提升基于HIve、Hbase数据存储集群的高可用性、高性能、高扩展特性； 3、负责设计和建立基于Flink或Spark实时数据处理框架； 4、研究Hadoop/Spark/Hbase/Hive/Flink等开源项目，对线上任务进行调优，并开发通用组件； 5、负责数据接口服务的设计及开发； 6、负责技术攻关和创新技术引用，开发具有数据分析、数据挖掘能力的创新型产品； 任职资格： 1、本科及以上，计算机、软件工程、统计学、数据挖掘、机器学习等相关专业，3年以上大数据相关工作经验； 2、熟练使用java、scala、python等开发语言中的一种； 3、有hadoop和spark、hive、flink实际开发经验。了解大数据组件的使用限制和应用场景，如hdfs,yarn,hbase,hive,flume,kafka,zk,impala,kylin,kudu,ES,Storm、MongoDB等。 4、熟悉mysql、oracle、ElasticSearch、Redis等关系型或NoSQL数据库，了解应用场景和使用限制； 5、熟悉linux操作系统及常用命令； 6、熟悉HDFS分布式文件系统架构，熟练掌握Hadoop/Hive/hbase的运维和调优方法； 7、熟练使用过azkaban、airflow、apache dolphin等开源调度工具优先。