高级数据开发工程师

正职非外包 岗位职责： 1.负责建设产品线数据数据仓库与数据平台，满足高并发、高可靠、实时性要求； 2.负责产品线数据的设计、开发、测试和部署，及相关重点数据项目的开发、维护和优化，具备良好的数据库设计能力，并承担项目的代码审查和测试，确保项目的质量和稳定性； 3.负责设计并开发高效的数据处理流程和算法，推进数据分析和挖掘，满足不同业务场景的数据需求； 4.负责数据采集、清洗、转换、整合等全链路数据处理工作，提升数据质量。 5.负责与运营团队、产品团队沟通，了解业务需求，针对业务需求进行数据存储和计算方案的架构设计，并深度参与数据相关技术的研究与选型，推动团队技术进步和创新。 6.具备一定的产品意识，能深入参与产品需求分析，沟通并开展技术实施方案设计 7.其他领导交办的任务 任职要求： 1.掌握计算机原理、网络技术、数据库等相关知识，具备良好的技术文档、需求文档编写能力 2.有扎实的计算机理论基础;熟练使用Java、Python、scala等编程语言，有良好的编码习惯。 3.深入理解MapReduce，深入理解Lucene/ElasticSearch/Solr等，有Hadoop/Hive/Spark/Storm/Zookeeper等相关开发经验或从事分布式相关系统的开发工作经验。 4.熟练使用Flume/Logstash等大数据组件接入文件数据、消息（Kafka/MQ）数据。 5. 有较强的大数据处理能力，对数据敏感，有较好的逻辑思维能力； 6.熟练SQL开发，熟悉常用的关系型数据库、非关系性数据库和数据仓库，具有SQL性能优化经验。 7.熟悉实时计算引擎如SparkStreaming, Flink, 对hadoop生态其他组件有一定了解。 8.了解Hudi/IceBerg/DeltaLake优先考虑，对区块链、WEB3.0有工程化经验的优先考虑。 9. 工作严谨、责任心强，能承受工作压力，具有良好的沟通能力和团队合作意识。