测试工程师面试

一面 一、当下都有哪些爬虫技术、与反爬虫手段？爬虫技术：1、python自带的urlib2和urlib或者第三方模块request此种方案适合简单的页面爬虫，比如爬取博客的文章等等，相对于其他的一些高级爬虫来讲，它没有异常处理与请求速度控制等，需要我们取用额外的代码去控制。2、scrapy框架　相比urlib等基础爬虫，请求调度、异常处理都已经进行了基础的封装、而且有第三方的csrapy-redis模块支持分布式、使得程序员将重点放在了页面分析与规则编写上面。3、python selenium和PhantomJS具有很好的反爬虫技术、可以通过技术手段去模拟出和人非常类似的操作行为，缺点就是速度比较慢、但是爬虫一帮来讲对于速度的要请求不是很高、更注重的是数据的稳定、这种方式对于抓取反爬虫机制做的好的大型网站比较适用基本概念：栈(stacks)是一种只能通过访问其一端来实现数据存储与检索的线性数据结构，具有后进先出(last in first out，LIFO)的特征堆通常是一个可以被看做一棵树的数组对象。堆总是满足下列性质：（1）二叉树中所有的父节点的值都不大于/不小于其子节点的值（2）根节点的值必定是所有节点中最小/最大的。将父节点的值不大于子节点且根节点的之最小的称为最小堆，反之称为最大堆。对是一种高级数据结构，在python中有相应的模块deapq（1）每当线程在创建的时候，操作系统为每一个系统级的线程分配栈，并且每一个线程智能拥有一个栈；当操作系统通过调用语言的运行时(runtime)去为应用程序分配堆。（2）栈附属于线程，因此当线程结束时栈被返回回收。对通常通过运行是在应用程序启动时被分配，当应用程序（进程）退出时被回收（3）当线程被创建的时候，设置栈的大小。在应用程序启动的时候，设置堆的大小，但是可以在需要的时候去拓展它（分配器向操作系统申请更多的内存）（4）栈比堆要快，因为它的存取模式使它可以轻松的释放和重新分配内存，然而堆在分配和释放的时候有更多的复杂的bookkeeping参与，另外在栈上的每个字节被频繁的复用也就意味着他可能映射到处理器缓存中，所以很快（5）对于堆相对于栈的先进后出模型栈数存储没有固定的顺序位置，你可以在任何顺序插入和删除，因为堆上的内存申请位置是无序的，释放也是无序的。...查看更多