Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

Scrapy主要包括了以下组件：

引擎(Scrapy)

用来处理整个系统的数据流处理, 触发事务(框架核心)

调度器(Scheduler)

用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

下载器(Downloader)

用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)

爬虫(Spiders)

爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面

项目管道(Pipeline)

负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

下载器中间件(Downloader Middlewares)

位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。

爬虫中间件(Spider Middlewares)

介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。

调度中间件(Scheduler Middewares)

介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。下面我们用Python爬取

1 、抓取某院网站MM照片MM的照片

2.抓取每一个MM的资料简介以及写真图片

3.把每一个MM的写真图片按照文件夹保存到本地

4.熟悉文件保存的过程

1.URL的格式

在这里我们用到的URL是 ，问号前面是基地址，后面的参数page是代表第几页，可以随意更换地址。点击开之后，会发现有一些淘宝MM的简介，并附有超链接链接到个人详情页面。

我们需要抓取本页面的头像地址，MM姓名，MM年龄，MM居住地，以及MM的个人详情页面地址。

2.抓取简要信息

相信大家经过上几次的实战，对抓取和提取页面的地址已经非常熟悉了，这里没有什么难度了，我们首先抓取本页面的MM详情页面地址，姓名，年龄等等的信息打印出来，直接贴代码如下

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

__author__='CQC'

# -*- coding:utf-8 -*-

importurllib

importurllib2

importre

classSpider:

def__init__(self):

self.siteURL=''

defgetPage(self,pageIndex):

url=self.siteURL+"?page="+str(pageIndex)

printurl

request=urllib2.Request(url)

response=urllib2.urlopen(request)

returnresponse.read().decode('gbk')

defgetContents(self,pageIndex):

page=self.getPage(pageIndex)

pattern=re.compile('<div class="list-item".*?pic-word.*?<a href="(.*?)".*?<img src="(.*?)".*?<a class="lady-name.*?>(.*?)</a>.*?<strong>(.*?)</strong>.*?<span>(.*?)</span>',re.S)

items=re.findall(pattern,page)

foritem initems:

printitem[0],item[1],item[2],item[3],item[4]

spider=Spider()

spider.getContents(1)

运行结果如下

2.文件写入简介

在这里，我们有写入图片和写入文本两种方式

1）写入图片

Python

1

2

3

4

5

6

7

运行结果如下

QQ截图20150220234132

2.文件写入简介

在这里，我们有写入图片和写入文本两种方式

1）写入图片

2）写入文本

Python

1

2

3

4

5

defsaveBrief(self,content,name):

fileName=name+"/"+name+".txt"

f=open(fileName,"w+")

printu"正在偷偷保存她的个人信息为",fileName

f.write(content.encode('utf-8'))

3）创建新目录

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

#创建新目录

defmkdir(self,path):

path=path.strip()

# 判断路径是否存在

# 存在 True

# 不存在 False

isExists=os.path.exists(path)

# 判断结果

ifnotisExists:

# 如果不存在则创建目录

# 创建目录操作函数

os.makedirs(path)

returnTrue

else:

# 如果目录存在则不创建，并提示目录已存在

returnFalse

3.代码完善

主要的知识点已经在前面都涉及到了，如果大家前面的文章都已经看了，完成这个爬虫不在话下，具体的详情在此不再赘述，直接帖代码啦。

Python

1

spider.py

Python

1

2

3

4

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

__author__='CQC'

# -*- coding:utf-8 -*-

importurllib

importurllib2

importre

importtool

importos

#抓取MM

classSpider:

#页面初始化

def__init__(self):

self.siteURL=''

self.tool=tool.Tool()

#获取索引页面的内容

defgetPage(self,pageIndex):

url=self.siteURL+"?page="+str(pageIndex)

request=urllib2.Request(url)

response=urllib2.urlopen(request)

returnresponse.read().decode('gbk')

#获取索引界面所有MM的信息，list格式

defgetContents(self,pageIndex):

page=self.getPage(pageIndex)

pattern=re.compile('<div class="list-item".*?pic-word.*?<a href="(.*?)".*?<img src="(.*?)".*?<a class="lady-name.*?>(.*?)</a>.*?<strong>(.*?)</strong>.*?<span>(.*?)</span>',re.S)

items=re.findall(pattern,page)

contents=[]

foritem initems:

contents.append([item[0],item[1],item[2],item[3],item[4]])

returncontents

#获取MM个人详情页面

defgetDetailPage(self,infoURL):

response=urllib2.urlopen(infoURL)

returnresponse.read().decode('gbk')

#获取个人文字简介

defgetBrief(self,page):

pattern=re.compile('<div class="mm-aixiu-content".*?>(.*?)<!--',re.S)

result=re.search(pattern,page)

returnself.tool.replace(result.group(1))

#获取页面所有图片

defgetAllImg(self,page):

pattern=re.compile('<div class="mm-aixiu-content".*?>(.*?)<!--',re.S)

#个人信息页面所有代码

content=re.search(pattern,page)

#从代码中提取图片

patternImg=re.compile('<img.*?src="(.*?)"',re.S)

images=re.findall(patternImg,content.group(1))

returnimages

#保存多张写真图片

defsaveImgs(self,images,name):

number=1

printu"发现",name,u"共有",len(images),u"张照片"

forimageURL inimages:

splitPath=imageURL.split('.')

fTail=splitPath.pop()

iflen(fTail)>3:

fTail="jpg"

fileName=name+"/"+str(number)+"."+fTail

self.saveImg(imageURL,fileName)

number+=1

# 保存头像

defsaveIcon(self,iconURL,name):

splitPath=iconURL.split('.')

fTail=splitPath.pop()

fileName=name+"/icon."+fTail

self.saveImg(iconURL,fileName)

#保存个人简介

defsaveBrief(self,content,name):

fileName=name+"/"+name+".txt"

f=open(fileName,"w+")

printu"正在偷偷保存她的个人信息为",fileName

f.write(content.encode('utf-8'))

#传入图片地址，文件名，保存单张图片

defsaveImg(self,imageURL,fileName):

u=urllib.urlopen(imageURL)

data=u.read()

f=open(fileName,'wb')

f.write(data)

printu"正在悄悄保存她的一张图片为",fileName

f.close()

#创建新目录

defmkdir(self,path):

path=path.strip()

# 判断路径是否存在

# 存在 True

# 不存在 False

isExists=os.path.exists(path)

# 判断结果

ifnotisExists:

# 如果不存在则创建目录

printu"偷偷新建了名字叫做",path,u'的文件夹'

# 创建目录操作函数

os.makedirs(path)

returnTrue

else:

# 如果目录存在则不创建，并提示目录已存在

printu"名为",path,'的文件夹已经创建成功'

returnFalse

#将一页淘宝MM的信息保存起来

defsavePageInfo(self,pageIndex):

#获取第一页淘宝MM列表

contents=self.getContents(pageIndex)

foritem incontents:

#item[0]个人详情URL,item[1]头像URL,item[2]姓名,item[3]年龄,item[4]居住地

printu"发现一位模特,名字叫",item[2],u"芳龄",item[3],u",她在",item[4]

printu"正在偷偷地保存",item[2],"的信息"

printu"又意外地发现她的个人地址是",item[0]

#个人详情页面的URL

detailURL=item[0]

#得到个人详情页面代码

detailPage=self.getDetailPage(detailURL)

#获取个人简介

brief=self.getBrief(detailPage)

#获取所有图片列表

images=self.getAllImg(detailPage)

self.mkdir(item[2])

#保存个人简介

self.saveBrief(brief,item[2])

#保存头像

self.saveIcon(item[1],item[2])

#保存图片

self.saveImgs(images,item[2])

#传入起止页码，获取MM图片

defsavePagesInfo(self,start,end):

foriinrange(start,end+1):

printu"正在偷偷寻找第",i,u"个地方，看看MM们在不在"

self.savePageInfo(i)

#传入起止页码即可，在此传入了2,10,表示抓取第2到10页的MM

spider=Spider()

spider.savePagesInfo(2,10)

Python

1

tool.py

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

__author__='CQC'

#-*- coding:utf-8 -*-

importre

#处理页面标签类

classTool:

#去除img标签,1-7位空格,

removeImg=re.compile('<img.*?>| {1,7}| ')

#删除超链接标签

removeAddr=re.compile('<a.*?>|</a>')

#把换行的标签换为\n

replaceLine=re.compile('<tr>|<div>|</div>|</p>')

#将表格制表<td>替换为\t

replaceTD=re.compile('<td>')

#将换行符或双换行符替换为\n

replaceBR=re.compile('<br><br>|<br>')

#将其余标签剔除

removeExtraTag=re.compile('<.*?>')

#将多行空行删除

removeNoneLine=re.compile('\n+')

defreplace(self,x):

x=re.sub(self.removeImg,"",x)

x=re.sub(self.removeAddr,"",x)

x=re.sub(self.replaceLine,"\n",x)

x=re.sub(self.replaceTD,"\t",x)

x=re.sub(self.replaceBR,"\n",x)

x=re.sub(self.removeExtraTag,"",x)

x=re.sub(self.removeNoneLine,"\n",x)

#strip()将前后多余内容删除

returnx.strip()

以上两个文件就是所有的代码内容，运行一下试试看，那叫一个爽啊

python对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python，然后系统学习 Python 的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTML\CSS，结果入了前端的坑,好了，知识今天就分享到这里，想学习了解更多，欢迎在下面评论区留言和小编交流。