【hadoop研发工程师工作内容|工作职责|hadoop研发工程师做什么】-看准网

hadoop研发工程师工作职责

1. 从事大数据相关的技术研究、方案编制、架构设计、研发与测试等工作
2. 主要从事技术预研，解决产品研发过程中的关键技术问题

企业对hadoop研发工程师要求

以下内容来自看准网企业对hadoop研发工程师的职责要求

要求A

一、岗位职责：
1、负责所分配功能模块的详细设计、功能开发、单元测试、代码优化工作；
2、负责Hadoop/Hbase集群的配置、维护、调优和技术问题的解决；
3、负责在架构师的指导下完成各种技术文档的编写；

二、任职资格：
1、本科及以上学历，有2年以上的Hadoop/Hbase项目的开发和运维经验；
2、精通Java开发，具备丰富的java开发经验，对数据结构、算法有深刻理解，有分布式编程经验；
3、具有构建及优化基于Hadoop/Hbase/Hive的海量存储产品设计及调优能力；
4、对Hadoop的MapReduce原理有深入研究，有Hadoop/Hbase实际开发及部署、调优及维护经验；
5、熟悉Hbase/Hive开源项目，具有数据分析、数据挖掘，文本挖掘、海量数据处理相关经验者优先；
6、熟悉Linux/Unix操作系统，熟练Shell编程；
7、熟练使用java集合类、IO、并发编程开发包；
8、具有良好的沟通和交流能力，优秀的分析问题和解决问题的能力。

三、工作地点：广州、昆明、贵州，可选。

四、薪酬福利：基本工资、岗位工资、绩效工资、年功工资、中餐补贴、交通补贴、电话补贴、节假日奖金、绩效奖、年终奖、五险一金齐全，以及完善的加薪及晋升制度。

要求B

岗位职责:

分析现有Hadoop计算平台架构，发现潜在问题，制定系统优化方案，提高系统健壮性和服务效率；
对相关新技术进行调研，并尝试新的系统解决方案。

岗位要求:

硕士或以上学历，数学及计算机相关专业；
3年以上相关工作经验；
精通C/C++，熟悉linux编程环境；
熟练使用多种脚本语言（shell、python）；
具备系统架构设计经验，熟悉Web前后台技术；
有海量数据处理及Hadoop经验，了解spark、storm；
思维严谨，有钻研精神，高效率，良好的沟通能力。

要求C

工作职责：1、hadooop/hbase/storm/spark集群的日常运维,为业务部门提供稳定可靠的大数据计算/存储服务及解决方案。2、预研、开发、测试hadoop/hive/hbase/spark的功能、性能和扩展,优化系统性能。3、进行大数据平台相关基础设施建设。任职资格：1、计算机相关专业本科及以上学历；2、熟悉linux下开发环境和shell,熟练使用Java开发，对JVM有一定了解，掌握相关的调优方法.3、有mapreduce、hbase、hive、storm、spark或相关分布式系统开发经验者优先；4、优秀的分析问题和解决问题的能力，优秀的沟通能力和团队合作精神；

查看全文

hadoop研发工程师热门招聘

查看全部

收藏
立即投递

[上海] Spark引擎研发工程师

职位薪资：30-60K 经验：不限学历：本科类型：全职

1) 参与小红书Spark离线引擎的研发工作，支撑小红书云原生大规模离线数据处理场景，包括数据仓库、机器学习等场景，提升离线处理引擎的性能和稳定性 2) 参与小红书Lakehouse架构的研发工作，实现数据的实时集成、实时分析，降低数据存储使用的成本，提升数据的质量和时效性 3) 对Hadoop/Spark/Flink/Presto等开源组件，有大规模分布式系统的研发和优化经验；
收藏
立即投递

[北京] BI研发工程师

职位薪资：16-25K·16薪经验：3-5年学历：本科类型：全职

工作职责 1.负责百度地图数据体系的建设，独立完成基本的数据统计、分析； 2.基于用户数据分析结论,分析现有用户增长系统存在的问题,并提出改进意见； 3.建设百度地图数据稳定性体系，完善数据引擎和服务，保障数据指标产出的时效性和准确性 4.结构化业务场景，抽象通用业务逻辑，沉淀可复用的数据洞察能力，通过模版化和组件化提升数据架构扩展性，从而支持数据产品的快速迭代和横向扩展。职责要求 -计算机、统计、数据科学及相关专业，本科及以上学历 -熟悉数据仓库领域知识和技能，数据集市设计、实时流数据计算，数据管理、数据质量、数据服务等； -熟悉Linux环境开发、SQL语言、Hadoop生态相关技术并有相关开发经验，具备一定的JAVA、Python语言的开发能力 -对数据结构与算法有较为深刻的理解，了解计算机网络、分布式计算、多线程等技术原理 -优秀的分析问题和解决问题的能力，具备敏锐的产品理解能力及业务规划能力 -具有良好的沟通能力，和良好的团队合作精神
收藏
立即投递

[深圳] 腾讯云存储研发工程师

职位薪资：20-40K 经验：1-3年学历：本科类型：全职

工作职责：负责腾讯云对象存储COS的后台、运营管理等系统的开发、优化和维护；岗位要求： 1. 精通C/C++、Java、Python、PHP、Golang中的一种或几种； 2. 熟悉常用数据结构和算法，精通网络编程，多线程编程； 3. 熟悉计算机网络，TCP/IP协议， HTTP协议，有性能优化经验优先； 4. 拥有较强的逻辑思维能力，能够快速的分析问题，解决问题 5. 较强的沟通能力和团队合作精神，高度的责任心, 工作主动积极，能承受较大的工作压力 6. 有分布式对象存储，键值存储，结构化数据库开发经验者，包括Hadoop，HDFS，Mongodb，s3，GFS，BigTable等优先。
收藏
立即投递

[上海] 系统研发工程师

职位薪资：20-40K·15薪经验：3-5年学历：本科类型：全职

岗位职责：持续改进无人驾驶系统底层和工具，包括但不限于： - 系统底层架构改进 - 基于海量数据的规划算法评测系统 - 算法优化系统 - 系统性能Profile和优化 - 系统可靠性改进岗位要求： - 有大型系统底层开发经验 - 有丰富的C++ / python /Go开发经验，精通常用的数据结构和算法 - 熟悉ROS，Linux 开发环境 - 了解C++的新标准，C++11/C++14 - 熟悉面向对象编程（OOP） - 较强的工程能力 - 思维活跃，前瞻学习能力强加分项： - 有分布式或者大型系统架构相关经验 - 有ML/DL，推荐，广告，数据挖掘，统计学，最优化理论中一个方向相关基础，有相关项目经验者优先；或者有数据处理的相关经验 - 熟悉大数据相关技术：Hadoop, Kafka, Hive, Zookeeper, Spark, Cassandra, MapReduce
收藏
立即投递

[深圳] Java研发工程师（外包）

职位薪资：10-15K 经验：1-3年学历：大专类型：全职

工作职位：Java研发工程师（外包）与深圳中软国际科技服务公司签劳动合同，工作常驻地为深圳百度。工作地点：深圳工作职责： 1. 参与舆情产品后端研发职责要求： 1. 计算机或者相关专业专科以上学历 2. 熟悉Java、python语言、SpringBoot框架，熟悉linux平台 3. 熟练使用mysql, redis, kafka, es 等常用组件 4. 2年及以上工作经验，有分布式后端项目开发经历。 5. 较强的接纳新事物及学习能力，良好的团队合作精神及沟通能力具有以下条件者优先： 1. 同时熟悉Java、PHP、python语言，并有实际项目开发经验 2. 有大型分布式项目经验，熟悉docker, flink, hbase, es, doris, hadoop
收藏
立即投递

[杭州] JAVA研发工程师

职位薪资：20-40K 经验：1-3年学历：本科类型：全职

1、计算机或者相关专业本科及以上学历，2年以上工作经验，能力优秀可放宽。 2、有大型分布式系统设计和开发经验，对分布式相关理论有深入的理解。 3、熟悉 Java 、python、shell，具备良好的算法和编程能力，有云服务化开发经验，DevOps实践经验者优先。 4、熟悉Spring/Spring Boot等各种开源框架，特别在Spring/Spring Boot领域有丰富的项目实践经验者优先。 5、熟悉PostgreSQL、Redis、Hadoop、Nginx等组件，有相关数据开发经验。 6、精通云计算相关技术，熟悉Devops，熟悉Docker，熟悉Kubernetes应用优先。 7、熟悉Service Mesh、微服务治理、灰度发布等相关技术优先。 8、有较强的学习能力、良好的团队协作能力、良好的沟通表达能力。
收藏
立即投递

[西安] 高级java研发工程师

职位薪资：12-24K·14薪经验：不限学历：本科类型：全职

岗位职责 1.负责腾讯云大数据平台的后台开发工作，包括但不限于数据存储、计算、处理和分析； 2.参与团队项目的技术方案设计和实施，确保项目质量和进度； 3.与产品经理、数据分析师等相关团队紧密协作，共同推动大数据产品的优化和创新； 4.优化现有系统，提高系统性能和稳定性，降低运维成本； 5.持续关注和学习大数据领域的新技术、新应用，为团队提供技术支持和创新建议。岗位要求 1.本科及以上学历，3年以上相关工作经验； 2.精通JAVA或其他至少一种编程语言，具备扎实的编程基础； 3.熟悉大数据处理框架，如Hadoop、Spark等，有实际项目经验者优先； 4.具备良好的学习能力和团队协作精神，能够在压力下保持高效的工作状态； 5.对数据结构和算法有深入理解，具备解决复杂问题的能力；
收藏
立即投递

[北京] Kubernetes高级研发工程师

职位薪资：20-40K 经验：3-5年学历：本科类型：全职

工作内容： 1、参与基于Kubernetes的产品架构设计与研发，打造一体化的自动接入、集成、发布平台。帮助业务提升能力 2、支持业务团队使用Kubernetes 并配合迁移优化 3、保障容器系统可靠性、稳定性 4、根据业务需求定制Kubernetes和其他组件并与社区紧密结合提升能力任职要求： 1、 3年以上Golang和Kubernetes开发经验； 2、深入理解 TCP/IP、HTTP、gRPC、WebSocket 等网络协议； 3、对docker、kubernates有深入理解，熟悉k8s的API及其拓展方式； 4、围绕kubernetes进行过产品化开发； 5、熟悉 Mongodb、Redis、MySQL、MQ、hadoop 等基础技术； 6、熟悉 Protobuf协议，Etcd、ELK、Promethues等容器生态开源产品； 7、积极乐观，责任心强，工作认真细致，具有良好的团队沟通与协作能力； 8、开源社区活跃贡献者优先。 9、熟悉以下技术栈的优先 golang、protobuf、grpc、kubernetes、cni、docker、rdma、rocev2、prometheus、linux虚拟网络、iptables，ipvs，metallb，vxlan ，evpn
收藏
立即投递

[北京] 大数据高级研发工程师

职位薪资：30-60K·15薪经验：3-5年学历：本科类型：全职

1、负责字节跳动电商相关业务数据仓库的数据治理，对于数据质量，数据成本负责。 2、基于Hive/Flink等平台建设离线/实时数据仓库； 3、负责数据模型的设计，etl实施，etl性能优化以及相关技术问题的解决； 4、负责面向业务的olap，报表，数据提取工具等开发工作。职位要求 1、熟悉大数据相关技术：Kafka/Flink/Hadoop/Druid/HBase/Hive 等； 2、熟练使用 Java、Go、Python语言中的一种或者多种； 3、具备数据仓库理论知识，掌握主流数据库管理和应用，精通SQL； 4、了解统计以及数据挖掘、机器学习、人工智能技术，会使用关联分析、分类预测、聚类分析等常用分析方法； 5、有高性能分布式平台开发经验，有电商行业经验优先。
收藏
立即投递

[武汉] 腾讯云大数据产品研发工程师

职位薪资：15-30K·16薪经验：3-5年学历：本科类型：全职

腾讯云大数据产品研发负责腾讯云大数据产品研发，要求本科及以上学历熟悉linux常见命令，了解操作系统熟悉hadoop spark java开发熟悉或精通k8s服务部署，运维有密码学，机器学习相关经验更佳

hadoop研发工程师工作内容

hadoop研发工程师工作职责

企业对hadoop研发工程师要求

要求A

要求B

要求C

hadoop研发工程师热门招聘

hadoop研发工程师热门公司面试