etl数据开发工程师工作内容

1. 根据公司的规划及数仓设计，基于Hive/Flink等平台建设项目级数据仓库； 2. 根据数据模型的设计，负责ETL工作的实施，ETL性能优化及相关技术问题的解决； 3. 梳理数据治理相关模块的功能需求，包括数据质量监控、数据建模、开发规范、资源管理等，推进数据治理工作；

1. 精通Hadoop，熟练使用Hive SQL进行数据处理，存储过程编写，具有表优化及参数调优经验。 2. 熟悉Oracle等关系型数据库，有存储过程编写及sql优化经验； 3. 熟悉Linux脚本、HBase、Sqoop等常规技术开发； 4. 有信贷业务知识储备及项目经验者优先。

岗位职责： 1、 负责数据治理项目的POC及交付工作 2、 负责数据仓库架构计和ETL任务的开发、调优、运维 3、 负责公司中台产品在数据治理项目中的落地 4、 负责根据项目合同要求对客户业务场景进行调研并进行合理抽象，并根据现有产品情况选择合适的产品和工具 5、 负责数据治理项目实施交付过程中的项目管理工作 岗位要求 1、计算机或相关专业本科及以上学历，5年以上数据治理/数据中台相关工作经验 2、掌握常见的关系型数据库及非关系型数据库 3、熟悉数据仓库建设方法及相关ETL技术，包括但不限于元数据管理、数据开发工具与方法、数据血缘、数据质量、主数据管理，对数据的组织架构有优秀的设计能力 4、熟练掌握常见的数据治理相关的工具如如Flink、Spark、Kafka、Shell等 5、精通SQL开发、精通主题模型设计 6、有军工项目交付经验者优先

主要职责： 1、根据百度地图不同的业务场景，构建业务指标体系，建立和完善日常业务报告体系，能够及时、准确、完整的披露公司整体及各项目的运作情况 ； 2、参与数据仓库架构设计与数据开发，建设共享数据仓库 ； 3.、通过专项分析，输出专项分析报告，为业务模块的决策和产品方向提供数据支持 ； 要求： 1、本科及以上学历，计算机或相关专业，2年以上大数据工作经验； 2、熟悉数据仓库模型设计方法论，并有实际模型设计及ETL开发经验 ； 3、熟悉Hadoop、Hive、Spark等工具，具备海量数据处理和性能调优经验，对Hadoop、Hive源码有研究更佳 4、掌握大型数据库开发技术，灵活运用SQL实现海量数据ETL加工处理与查询性能调优； 5、熟悉常用的数据挖掘、分析的工具和方法，有数据挖掘工作经验；熟悉linux平台，精通shell/c(c++)/php/python/等脚本语言的一种或多种，编码基本功扎实 ； 6、具备快速学习能力、沟通协调能力及团队精神，有较强的责任心和学习积极性。

团队介绍 支付宝行业技术团队，通过多种渠道向合作伙伴与开发者提供强有力的技术、服务。在用户集成、验收、上线与日常运营等各个阶段，、团队协助用户解决涉及多种支付宝通用开放产品（如当面付、刷脸付、小程序等）的技术问题。同时，团队持续创新开发各类工具、平台与技术支持服务产品，显著地提升行业与生态用户的接入效能、问题解决效能与技术支持用户体验，在达成服务满意度的基础上，促进用户项目生命周期各阶段的成功，推动支付宝与蚂蚁各类产品的优化、迭代与创新，驱动支付生态健康高效地发展。 职位描述 负责支付宝商家异常监控与技术体系的建设，面向支付宝全国生态中的千万级别商家、服务商、ISV、开发者，基于阿里&蚂蚁海量数据，建设全链路和全生命周期商家智能监控能力、精细化管理闭环能力，实现支付宝对全生态的异常态势感知。通过感知与助力B端生态，促进公司层面产品、政策与机制的优化迭代，最终助力市场份额的稳固与提升。 1、利用蚂蚁数据全域业务数据资产建设，包含本地生活、IOT、支付业务、商业银行、会员/商家/企业运营等业务领域。洞察行业趋势和竞争态势，支撑数字化、智能化商业决策及运营，实现数据价值最大化使命，从海量数据中分析商家交易和行为，发掘技术和业务发展的痛点，为业务健康发展提供决策支撑。 2、参与行业监控大数据技术体系的规划建设，包括统一采集、数据资产建设与管理和数据质量及稳定性保障体系、数据处理智能化和自动化体系的建设。 3、负责智能监控体系建设，深入了解当前系统架构及业务流程，参与制定系统架构演进，技术规划，架构设计，并最终实施落地，打造高可用系统架构。 职位需求 1、3年以上工作经验，计算机等相关专业本科以上学历 ，具有丰富的数据建模实践经验； 2、精通业务建模、数据仓库建模、精通ETL设计开发，具备体系化的数据质量与数据治理相关经验，有大型项目相关领域深入实践经验，能独立主导完成某一业务领域的整体模型设计，具备跨域的沟通协调能； 3、精通hadoop/yarn/hive/spark等大数据体系，深入了解起背后的实现原理，并能够调优；具有超大规模数据项目，有百万级TPS数据处理经验尤佳； 4、良好的思维逻辑性和语言表达能力，以及良好的项目沟通和协调能力； 5、具备一定的JAVA、Python语言的开发能力，具备机器学习算法能力尤佳； 6、 以结果为导向，善于主动思考、善于突破，将技术转化成实际成效；

岗位职责： 1、负责数据模型设计、数仓建设，维护和优化工作； 2、负责对接部门内数据采集、数据治理、数据分析需求，参与制定和执行对应大数据开发工作和对应计划文档输出； 3、负责对接部门外数据需求，参与制定和执行对应大数据开发开发工作和对应文档输出； 4、主导数据经营分析领域项目的实施，推进项目的实施与落地。 任职资格： 1、全日制统招本科及以上学历，5年以上大数据开发经验，有金融数据开发经验优先； 2、了解常用数据挖掘的原理，有数据建模经验优先； 3、有较为丰富SQL、ETL开发及调优等数据开发经验，至少熟悉Java，Scala，Python一种编程语言； 4、熟悉Hadoop、Hive、Kudu、Hbase、Doris、ES、Spark、Flink等大数据架构经验； 5、能够独立负责数据平台子模块的设计、开发、及部分管理工作。 能力素养：执行力、抗压能力强，沟通和团队协作能力强，有较强的文档输出能力。

【职位描述】： 1、负责设计，开发，优化数据接入、数据存储、数据计算服务框架，为公司所有业务线提供数据支持和服务 2、展示负责数据仓库的设计和实施, 梳理业务流程体系，有效构建主题数据应用，驱动业务成长； 3、参与大数据平台的架构规划、设计、部署、维护、优化、安全管理 4、有零售行业数据开发经验为佳，熟悉零售行业相关业务系统优先； 【任职要求】： 1、计算机相关专业，本科以及以上学历，具备5年及以上flink实时数据开发经验，有CDC使用经验； 2、熟练掌握Linux/Shell环境，熟练使用Java/Scala/Python等语言，有良好的编程习惯； 3、熟练使用常见大数据组件，精通Doris/Clickhouse使用，有永洪使用经验为佳； 4、熟悉数据仓库建模理论、模型设计、ETL设计思路, 并有实际完整项目实践；； 5、具备较强的数据分析，问题分析，逻辑思维能力，良好的沟通，团队协作能力。

工作内容： 1、基于行业数据仓库标准进行数据开发和模型开发支撑业务应用。 2、基于通用大数据平台进行离线和实时数据开发。 3、探索探查数据，与客户进行业务需求交流，实现客户业务价值。 岗位需求： 1、掌握数据库应用并熟练掌握SQL开发，并有SQL调优经验。 2、熟悉数据仓库的基本理论，并有参与数仓设计或建设的经验。 3、了解Hadoop，Hive，MPP等离线框架基本原理，并有实践经验。 4、了解Spark，Flink等实时流式引擎基本原理和使用方法。 5、 积极主动，学习能力强，能接受出差驻场开发。 优先条件： 1、熟练掌握Python，Java，Scala一种或多种开发语言。 2、有整体数据仓库搭建的实战经验。 3、熟悉面向行业的数据标准体系。

岗位职责： 1、负责金融领域数据资产内容建设，负责梳理分析数据资产； 2、负责数据分析、实现指标预警和预测，为业务运营提供决策依据，协同团队完成基本的分析任务； 3、负责数据采集，参与数据质量、数据治理、数据安全、数据服务、数据血缘规划及落地； 4、理解数仓分层分域规划，负责数据平台、数据仓库的ETL设计和开发，可独立负责业务集市落地（分层建设、性能和效率优化）； 5、独立完成数据开发工作，可根据需求完成概要设计、详细设计及落地、投产、数据验证； 6、解决各种海量数据场景问题，降低技术使用门槛，提升数据开发效率；不断总结、优化数据收集策略，适应业务发展的变化。 岗位要求： 1、4年及以上数据类项目实施经验，计算机、统计学、通信工程、信息安全、自动化、数学、物理等相关专业，本科统招学历； 2、具备全面、扎实的软件基础知识，掌握操作系统、软件工程、数据结构、数据库原理等专业知识； 3、具备较丰富的系统设计及开发经验，能够独立完成需求分析、系统设计、代码开发，能提供应用解决方案，具备对产品质量和系统性能进行持续优化的能力； 4、精通一种以上常用的关系型数据库，如Oracle、MySQL、GP等；熟悉分布式数据库的设计、熟悉数据库的读写分离；精通PL/SQL开发、数据库结构设计和SQL性能调优； 5、具备较强的团队意识，有责任感，有较强的自我学习能力和问题分析能力，有较强的沟通、协调能力，主动性强； 6、具有需求分析、概要设计、详细设计等文档编写思维及能力。 备注：本岗位招收本科毕业4年及以上\专科毕业6年及以上