龙空技术网

Python:scrapy框架爬取校花网男神图片保存到本地

娇兮心有之 126

前言:

而今同学们对“python保存图片到本地”大体比较关心,看官们都需要分析一些“python保存图片到本地”的相关资讯。那么小编同时在网摘上收集了一些对于“python保存图片到本地””的相关内容,希望大家能喜欢,姐妹们快快来了解一下吧!

爬虫四部曲,本人按自己的步骤来写,可能有很多漏洞,望各位大神指点指点

1、创建项目

scrapy startproject xiaohuawang

scrapy.cfg: 项目的配置文件

xiaohuawang/: 该项目的python模块。之后您将在此加入代码。

xiaohuawang/items.py: 项目中的item文件.

xiaohuawang/pipelines.py: 项目中的pipelines文件.

xiaohuawang/settings.py: 项目的设置文件.

2、进入xiaohuawang目录然创建爬虫名及爬取范围

cd xiaohuawang

scrapy genspider xhwang xiaohuar.com

3、创建爬取的项目(xiaohuawang/item.py)

4、编写爬虫

xiaohuawang/spider/xhwang.py: 爬虫文件

5、保存数据(此处使用try...expect是为剔除完整的图片url)

6、打开数据保存开关(setting.py)如果有第五步的保存数据的必要,此处需要打开

7、开始爬取之路

在终端键入scrapy crawl xhwang 本地目录出现如下数据(截取部分)校花还看得过去,这校草嘛除了李易峰其他都没见过o(* ̄︶ ̄*)o

有需要Python学习资料的小伙伴吗?小编整理【一套Python资料、源码和PDF】,感兴趣者可以关注小编后私信学习资料(是关注后私信哦)反正闲着也是闲着呢,不如学点东西啦

标签: #python保存图片到本地