爬虫工程师工作内容

岗位职责：

1、负责爬虫spider的核心技术研究和开发

2、研究各种网站、网页、链接的形态，发现它们的特点和规律

3、设计各种策略和算法，提升spider的抓取效果

4、分析spider的技术缺陷，对spider做出合理地调整或改进

5、负责spider系统的升级和维护

任职要求：

1、1年或以上spider方向工作经验

2、热爱互联网，对搜索技术、探索未知领域有浓厚的兴趣

3、优秀的分析问题和解决问题的能力，对解决具有挑战性问题充满激情

4、熟练掌握C/PHP/PERL/PYTHON等1至2种语言，熟悉linux平台、shell编程

5、对数据结构和算法设计有较为深刻的理解

6、具有良好的沟通能力，和良好的团队合作精神

有以下经历的优先：

-抓取调度和抓取行为反馈

-互联网特征挖掘

-Spider系统架构

职位描述:

1、负责传统网页、微博及SNS等各种网站信息高效采集与正确解析

2、对用户数据进行整理分析，参与模型的构建；

3、总结分析不同网站，网页的结构特点及规律，负责爬虫架构设计和研发，参与爬虫核心算法和策略优化研究；

4、设计策略和算法，提升网页抓取的效率和质量，进一步解决系统的网页排重、垃圾控制、资源划分等问题；

5、分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进

职位要求:

1、能熟练使用Shell、Perl或Python等脚本语言；

2、熟悉多线程、多进程、网络通信编程相关知识；                                                                                                    3、熟悉Linux开发环境，熟悉C/C++和Lython

4、理解http，熟悉html,DOM,xpath

5、熟悉爬虫、种子、去重、提取、过滤、分发、DNS cache、异步处理等概念和过程

6、具备信息检索、web挖掘等搜索引擎相关知识，有从事网络爬虫、网页去重、网页信息抽取、网页分类的中任一种程序开发经验；

7、了解搜索和爬虫开源软件（lucene，solr，firtex，lemur，indri ，nutch， hadoop，larbin,QT webkit）的一种或多种,以及相关原理；

8、了解分布式计算和存储基本技术和开源软件 （Mysql, Queue Q4M,activeMQ,TTserver,redis,hadoop,Hbase,dbd）

的一种或多种,以及相关原理;

工作地点:

北京

我们想做什么

• 我们是WeX(微汇金融)的独立移动信用团队
• 我们希望打造一个小而美的移动信用联邦。与征信机构、互联网保险公司、消费金融公司、P2P共同打造一个开放的信用平台
• 我们的愿景是通过整合互联网金融数据、征信机构数据、社交数据等，通过机器学习来做互联网化风险定价
• 我们目标是为年轻的互联网用户提供更快更性感的移动金融服务
• 我们深信"信用即财富"。移动互联网及大数据的应用会对中国的消费金融服务带来前所未有的颠覆

为什么要加入我们

• 我们信仰互联网，喜欢创新, 喜欢快速的互联网文化
• 我们敬畏金融及风险，但是愿意支撑足够多的移动金融创新的梦想
• 我们专注极致且结果导向, 但我们同样尊重人的个性
• 我们期望我们能在这个时代留下属于我们的独特的印记
• 我们像做互联网一样做金融
• 我们期望大家在一起享受创业初期在悬崖边上跳舞的快感

岗位职责：

1、负责传统网页、微博及SNS等各种网站信息高效采集与正确解析；

2、对用户数据进行整理分析，参与模型的构建；

3、总结分析不同网站，网页的结构特点及规律，负责爬虫架构设计和研发，参与爬虫核心算法和策略优化研究；

4、设计策略和算法，提升网页抓取的效率和质量，进一步解决系统的网页排重、垃圾控制、资源划分等问题；

5、分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进。

任职要求：

1、能熟练使用Shell、Perl或Python等脚本语言；

2、熟悉多线程、多进程、网络通信编程相关知识； 

3、熟悉Linux开发环境，熟悉C/C++和Lython；

4、理解http，熟悉html,DOM,xpath；

5、熟悉爬虫、种子、去重、提取、过滤、分发、DNS cache、异步处理等概念和过程；

6、具备信息检索、web挖掘等搜索引擎相关知识，有从事网络爬虫、网页去重、网页信息抽取、网页分类的中任一种程序开发经验；

7、了解搜索和爬虫开源软件（lucene，solr，firtex，lemur，indri ，nutch， hadoop，larbin,QT webkit）的一种或多种,以及相关原理；

8、了解分布式计算和存储基本技术和开源软件 （Mysql, Queue Q4M,activeMQ,TTserver,redis,hadoop,Hbase,dbd）的一种或多种,以及相关原理。

我们想做什么

Ø  我们是WeX(微汇金融)的独立移动信用团队

Ø  我们希望打造一个小而美的移动信用联邦。与征信机构、互联网保险公司、消费金融公司、P2P共同打造一个开放的信用平台

Ø  我们的愿景是通过整合互联网金融数据、征信机构数据、社交数据等，通过机器学习来做互联网化风险定价

Ø  我们目标是为年轻的互联网用户提供更快更性感的移动金融服务

Ø  我们深信"信用即财富"。移动互联网及大数据的应用会对中国的消费金融服务带来前所未有的颠覆

为什么要加入我们

Ø  我们信仰互联网，喜欢创新, 喜欢快速的互联网文化

Ø  我们敬畏金融及风险，但是愿意支撑足够多的移动金融创新的梦想

Ø  我们专注极致且结果导向, 但我们同样尊重人的个性

Ø  我们期望我们能在这个时代留下属于我们的独特的印记

Ø  我们像做互联网一样做金融

Ø  我们期望大家在一起享受创业初期在悬崖边上跳舞的快感