数据开发工程师

岗位职责： 1. 基于公司数据建设需要，完成数据平台构建、数据内容开发等工作。包括：数据平台基础设施建设、数据采集、ETL、数仓及数据集市、数据应用产品等开发工作； 2. 充分理解需求文档，基于此进行自测，交付高质量的开发代码和数据内容； 3. 工作中对数据平台基础设施、数据内容建设等工作主动深度思考，提升效能并积极建言、促进组织和系统发展。 任职要求： 1. 理解数据仓库和ETL领域的理论和方法 ，熟悉ETL架构，有一定的ETL开发经验，了解日常作业的部署和调度； 2. 精通Oralce、MySql、Sql Server等至少一种主流数据库的使用，精通 SQL，具有丰富的数据库开发和SQL优化经验； 3. 熟悉hadoop生态，熟悉分布式文件存储系统 HDFS 工作机制，熟练使用sqoop、hive、spark、flink等组件，熟悉yarn资源调度原理； 4. 具备BI项目的需求分析和设计能力； 5. 熟练使用linux平台，以及python/shell命令编写，熟悉容器虚拟化docker、k8s相关知识； 6. 熟悉阿里云大数据相关产品，如DataWorks、DataV等，能够熟练使用大数据产品，持有阿里云大数据ACP证书者优先； 7. 熟悉主流ETL工具使用，如：DataStage、kettle、Informatica等优先； 8. 具有团队合作意识，良好的沟通表达能力。