一、基本概念通用爬虫和聚焦爬虫

通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。

HTTP和HTTPS请求

（1）url ： 浏览器地址栏的地址

（2）请求方法：一般就两种。get请求和post请求

（3）请求头：常用 User-Agent：是客户浏览器的名称

抓包工具

浏览器的检查，常用有两个模块Elements和Network

二、数据请求

主要用的是Python的第三方库requests库，pip install requests 可以安装。

1、最简单的发送get请求就是通过requests.get来调用：（模拟浏览器的get请求）

response = requests.get(";)

2、添加headers和查询参数

 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"} response = requests.get(";, headers = headers)

3、对响应进行处理

# 查看响应内容，response.content返回的字节流数据response.content# 对字节流数据解码response.content.decode("utf-8")  # 等价于response.textresponse.content.decode("gbk") # 查看响应内容，response.text 返回的是Unicode格式的数据response.text

三、数据提取

1、常用提取方式

常用的有三种提取方式。css选择器、xpath语法、正则表达式。

学习难度前两者相似，最后一个较高；但效率从低到高。

2、xpath和lxml库

（1）lxml库， C 语言实现的，是一款高性能的 Python HTML/XML 解析器，之后可以XPath语法，来快速的定位特定元素以及节点信息

（2）xpath常用语法：

 // 从当前标签下任意位置匹配../ 从当前标签的父级开始匹配./ 从当前标签开始匹配/text() 表示从当前标签下匹配所有文本内容/@name 表示匹配当前标签下的属性的value[] 中括号中可以写过滤的条件(支持and、or语法)，也可以写数组下标(从1开始)/div[@class="classname"] 表示匹配当前标签下所有class为classname的div对象/div[contains(@class,"classname")] 表示匹配当前标签下所有class包含classname的div对象

# 保存图片数据from urllib import requestrequest.urlretrieve(';,'xxx.jpg')

1、网站截图（177页，每页十几张图片）

2、成果截图

3、最终代码

# 爬取多页import requests  # 用于模拟浏览器发送请求的库from lxml import etree   # 解析响应内容的库，构建树结构，便于xpath语法索引from urllib import request   # 下载图片时用到headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"}# 此处控制要爬取的页码总数，网站目前共有177页，所以此处最大写178for page in range(1, 11):		# 第一页是这种url：，		# 其他页都是的形式    if page == 1:        page_url = ";    else:        page_url = "; % page    # 网站的charset=“gbk”    html = requests.get(page_url, headers=headers).content.decode("gbk")    # 利用lxml的etree.HTML解析html，构建树结构    tree = etree.HTML(html)    # 利用xpath语法提取当前缩略图下图片的url    data = tree.xpath('//div[@class="list"]')[0]    hrefs = data.xpath('//li/a/@href')  # [/desk/xxxxx.htm，/desk/xxxxx.htm]形式				# 遍历所有的缩略图url    for href in hrefs:        if href.startswith("/desk"):        		# 拼接完整的缩略图url地址            url = "; + href						# 请求缩略图url地址，之后解析得到1080P图片地址            picture_html = requests.get(url, headers = headers).content.decode('gbk')            picture_tree = etree.HTML(picture_html)            # url2 = picture_tree.xpath('//td/a/@href')            url2 = picture_tree.xpath('//div[@class="pic"]//img/@src')[0]												# 定义图片名称，下载图片            filename = url2.split("/")[-1]            request.urlretrieve(url2, filename)

1、学完这些你基本掌握了爬虫的基础流程，利用requests库模拟浏览器发送请求，对服务器返回内容进行解码。之后运用lxml库构建解析树，利用xpath语法提取树中的关键信息节点，最后保存到本地。本案例学完后你基本可以爬取绝大部分网站的图片了。