Spider详解

我以前的文章说过爬虫分为几个部分：爬，取，存。在一些简单的网站中，Spider文件基本可以完成爬，取两部分任务。下面我详细说说Spider文件的使用。

spider模板内容

name:整个spider的名字，我们可以在相应文件下的命令行下输入：scrapy run test。来启动整个项目，后面设置定时任务也会用到这个名字。allowed_domians: 翻译过来就是允许的域名。初学者经常会发现自己的爬虫没错，但是就是跑不起来，很多时间都是这里设置不正确，Scrapy的日记功能会告诉你请求的URL因为不在域内，被过滤掉了（不管开发什么，看日志都是初学者进阶最好的方式）。start_url：起始url,这部分是可以复写的，明天写的过程中我会写个实例,很多时间需要通过连接数据库或者读写文件获得URL。值得一提的使用Scrapy_redis构建分布式爬虫，这里应该是必须要改的一个部分。parse（）,scrapy对start_url发出请求后，回调就是这个方法，正常情况下也没必要改了。item

item在整个Scrapy中，是开发者留给我们用来传递数据的一个容器，保存了爬取到得数据，用类似于Python中字典（键值对）的方式读写。当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。

item模板一览

值得注意的是开发者给我们提供了方法，我们只需要调用即可。如图中：url 是key,至于value是何种数据类型，并没做限制。

Setting

setting模板

配置文件做个开发的应该都很熟悉，不管是APACHE,还是现在的nginx，小到PYTHON的安装，都需要配置配置文件。下面提一些经常用到的：

DOWNLOAD_DELAY：下载延时，根据不同的网站设置延时是很有必要的，很多时间设置个3.0(3秒就差不多了），别以为你跑得快就厉害，到时候整个IP端都被网站全封了（以前初学的时候搞过这种事，难受）。ROBOTSTXT_OBEY：是否遵循该网站的ROBOTS协议，很多网站禁止爬虫访问。如果 ROBOTSTXT_OBEY = True，则爬虫不会爬取该网站，至于解决方法就是改为ROBOTSTXT_OBEY = Fales。这里也可以通过日志看出来，对新手也是个小坑。DEFAULT_REQUEST_HEADERS：默认的请求头，对一些网站直接设置这里，就可以拿到数据了。你不重定义的话，爬虫会自动拿这个请求头去访问网站。ITEM_PIPELINES：是否启用pipelines文件。这部分是个字典，分配给每个类的整型值，确定了他们运行的顺序，item按数字从低到高的顺序，通过pipeline（数值越低，组件的优先级越高），相对于自己写很优雅不是吗？而且还可以控制是否启用那个类。日志：LOG_FILE = "mySpider.log"，LOG_LEVEL = "INFO"，日志功能在每个成熟的框架应该都有，LOG_FILE是我们定义日志文件在那个地方的配置，LOG_LEVEL是严重程度（有五个等级：DEBUG < INFO < WARNING < ERROR < CRITICAL）。

还有一些中间件类似于ITEM PIPELINES我就不多说了，对这些基本有个了解应该写个爬虫就没多大问题了。

总结

其实整个Scrapy的设计还是非常优雅的，不管是PIPELINE的优先级，还是ITEM在整个spider内的传递，都体现了开发者的高超的设计水平。了解多了，其实也能在其他流行的框架上，看到一些影子，这就是殊途同归或者叫做方璞归真吧！

最后：明天写个Scrapy的Demo,后面还想简单说说推荐算法的内容，毕竟也用了一段时间的头条了，头条最牛逼的就是推荐吧。欢迎大佬看到了给予指点（写的不好，我知道）

美女做封面