大数据工程师

职位描述： 1、构建基于网络信息安全的数据中台，支持数据的采集、 存储、计算、分析、监控和可视化全过程； 2、负责大数据相关开源组件的配置、封装、部署及性能优 化，保持海量数据存储和数据中台的稳定运行； 3、搭建基于Flink/Hadoop/Hive/Spark/Storm/Kafka 等 的大数据平台,并负责集群日常维护管理，提供稳定的平台服 务,负责对Fink/Hadoop/Spark 开发和使用中的技术问题提供支 持； 4、可以解决工作中的技术难题，并据业务需求提供方案设 计支持；平台组件性能调优和资源调度优化; 5、研究跟进大数据领域的新技术，能够做出技术规划。 任职资格： 1、良好的政治素质和思想品德； 2、热爱党的新闻事业，恪守新闻工作者职业道德； 3、遵纪守法，无不良从业行为记录； 4、大学本科及以上学历，计算机或相关专业，具有5年以 上开发经验，其中3年以上大数据从业经验； 5、熟练掌握Java开发语言，熟悉Linux环境和命令，掌 握常用的Java开发相关工具，如Idea，Maven，Git等，具备 一定的Flink开发能力，能够参与实时数仓设计与开发； 6、熟悉Hadoop/Spark 生态的大部分大数据技术，具有相 关开发、调优和运维经验； 7、深刻理解大数据处理(流计算、分布式计算、分布式文 件系统、分布式存储等)相关技术和实现方法，对开源项目有源 代码贡献者、有架构设计经验者优先； 8、精通SQL，熟悉Mysql/Oracle处理机制及应用场景； 熟悉NOSQL，如Redis、Hbase、MongoDB等； 9、了解常见的全文搜索引擎，Elasticsearch、Apache Solr、RediSearch 等； 10、熟悉大数据领域的解决方案，具备该领域全面的技术 积累，思维清晰敏捷，逻辑分析能力强，有独立进行软件设计 和解决问题的能力。