高级大数据开发工程师

工作职责 岗位职责： 1、基于金融行业特点构建企业级数据仓库； 2、参与实时和离线的数据采集，处理和存储，方案设计及标准制定; 3、对现有大数据数据体系进行脚本优化，功能优化等，提升数据存储和计算资源利用率； 4、参与解决大数据数仓建设、数据治理过程中的难点和问题，了解行业前沿大数据数据处理方法。 任职要求 任职要求： 1、本科及以上学历，2年以上数据平台开发经验，较好的业务理解和沟通能力，具备金融业务知识优先； 2、熟悉数据仓库建设过程，具备数据集市、数据主题、标签体系建设经验优先； 3、熟悉数据治理流程，具有数据热点、元数据管理、血缘分析经验优先； 4、熟练Hive、Spark、Flink等离线、流式计算框架的使用和调优，理解核心机制，有良好的SQL性能优化能力；； 5、熟练掌握Java、python中的至少一种开发语言，较强编码能力，熟悉Python和Shell开发优先； 6、熟悉HBase、Clickhouse、Doris等常见分布式数据存储读写及其性能优化优先。