数据抓取工程师

面试的爬虫工程师,大数据部门,时间问题只是进行了技术电话面试.面试主要问了一些爬虫业务相关的问题,大数据hbase,hadoop,solr相关的问题,还有http通信，爬虫结构的设计问题等。抓取量较之于百度相差千倍，而他们遇到的一些问题,我也都没有遇到过。各种高并发问题等。数据存储，缓存队列等。 面试官对于某些模块表明不错,某些模块的问题还真没有遇到过.所以,交流还可以。只是个人学历不够，很渣。面试官也表明了如果通过的话，需要争取的较多，已经被淘汰。 ...查看更多

两轮技术面，一轮cto，一轮hr技术面，一面主要聊做的项目，然后问了一些爬虫相关事项，如代理部署等等。最后出了个算法题，具体忘了。 二面基本上就聊了聊项目，问看过那些爬虫相关事项等。最后出了个算法题。问统计一句话中各个字符的个数，说了用hashMap加queue，然后让用熟悉的语言手写算法。 cto面，先是自我介绍，然后聊聊之前的项目，问对公司是否了解等hr面，比较打压，问为啥离职，没答好，被带偏了，一直强调自己没想法，以为被毙了，最后尽然给offer了 ...查看更多

面试过程中CTO先简要和我联络了一下，大致交流了一下，然后就约好时间进入技术面试。 技术面试官人很nice，技术实力也很强，面试过程中主要探讨了分布式爬虫的架构与设计，以及分布式架构的基本原理和具体实现。并对分布式架构中的一些常用组件如消息中间件进行了提问，同时也探讨了一下相应的开源分布式任务框架在爬虫系统设计中的应用，然后主要聊了一下Python多线程以及事件驱动的原理。 技术面试完成后，CTO和CEO也分别和我交流过了公司的业务方向和发展前景，总体感觉很不错。 ...查看更多

上干货，希望能帮到想去的小伙伴1.实现单例模式，单例模式的应用； 2.单例引申，做访问控制； 3.HTTP 1.0/ 1.1 区别； 4.TCP三次握手，四次挥手，四次挥手无后两次会发生什么； 5.celery 进程模型，生命周期控制； 6.HTTPs建立的过程，HTTP,HTTPS区别； 7.安全层的建立过程，ca证书，openssl； 8.MVCC； 9.设计一个代理系统，考虑ip不可用，延时等异常情况，状态码； 10.cookie,session区别； 11.mysql连接管理； 12.phantomjs的替代品，chrome headless, phantomjs的问题； 13.mysql索引； 14.抓包原理； 15.如何解决反抓包，证书导入依然失效该如何处理； 16.读过的书，对哪一部分印象最深； 17.LRU代码； 18.反爬虫措施。 ...查看更多