大数据平台资深工程师

岗位职责 1、大数据平台架构与优化：负责公司大数据平台的架构设计和持续优化，包括但不限于 Hadoop、Spark 等基础服务的集群运维、部署、管理。 2、业务需求与解决方案：与业务团队紧密合作，参与大数据需求的讨论，提供高效、可行的解决方案，并编写相关的技术和业务接入文档。 3、性能与可用性：深入理解系统技术和架构，持续进行性能调优和架构优化，以提高系统的可用性和可扩展性。 4、技术研究与应用：跟踪并研究新兴大数据技术，如OSS对象存储、湖仓一体、存算分离等，进行验证并逐步应用到现有系统中。 岗位要求 1、学历与经验：统招本科或以上学历，具有8年以上大数据相关的研发和运维经验。 2、编程技能：扎实的 Java/Scala 编程基础，以及出色的计算机科学基础。 3、Yarn专长：深入了解Yarn的工作原理和源代码，具有大规模集群运维和性能调优的实践经验。 4、大数据组件熟练度：熟悉多种大数据组件，如 Yarn、Spark、HBase、Hive、Ranger 等，并具有二次开发和优化的能力。 5、数据湖技术：熟悉开源数据湖存储方案，如 Hudi、Iceberg、Delta Lake，包括其原理和源代码。 6、OLAP技术：熟悉OLAP技术和相关工具，如 ClickHouse、Trino、Doris 等，具有实际应用和优化经验。 7、云原生技术：对 Kubernetes、Docker 等云原生技术有基础了解。 8、沟通与团队协作：具备出色的沟通能力和团队协作精神。 9、职业素养：具备高度的职业道德和综合素质，工作态度务实、认真负责。