爬虫实战01--小说01、运行环境02、开始爬虫02-1、分析要点02-1-1、页面之间处理：02-1-2、页面内内容提取02-2、开始页面处理02-2-1、文章目录链接地址：02-2-2、第一个页面链接地址：02-2-3、第2-5个页面链接地址：02-2-4、最后一个页面链接地址：02-2-5、分析结果02-2-6、获取全部页面的code02-3、页面内处理02-3-1、页面分析102-3-2、文章标题分析：02-3-3、获取标题代码实现：02-3-4、获取内容分析：02-3-5、内容获取代码描述03、其他内容分析：03-1、headers请求头03-2、param代理池使用原因：解决方案03-3、其他04、完整代码05、结语：

01、运行环境

私信小编01即可获取Python学习资料

# 操作系统：win10 专业版pycharm professional 2019.1python 3.8beautifulsoup4 == 4.9.0requests == 2.23.0random # 内置的1234567

02、开始爬虫02-1、分析要点

对于其他就两个点，就是首先获取页面，进而获取页面内的内容

02-1-1、页面之间处理：找到爬虫的第一个页面找到前面一个页面和后面一个页面的规律是什么，或者，怎么从跳转到下一个页面找到最后一个页面的

总的来说就是：确定开始条件和结束条件，找到跳转到下一个页面的规律！(有始有终有过程)02-1-2、页面内内容提取找到数据内容所在，(标题，内容。。。)(重点找到内容的共同之处，方便提取)提取所在标签，进而提取文字保存提取的数据02-2、开始页面处理02-2-1、文章目录链接地址：

这一个地址是我们要去爬取的小说的目录页面地址，这一个页面有全部我们要爬取的页面的链接地址，方便我们难道第一个页面和最后一个页面，以及页面之间的地址规律。

02-2-2、第一个页面链接地址：

# 第一个页面链接地址

02-2-3、第2-5个页面链接地址：

# 第二个页面链接地址： 第三个页面链接地址： 第四个页面链接地址： 第五个页面链接地址：

02-2-4、最后一个页面链接地址：

# 最后一个页面链接地址：

02-2-5、分析结果

从上面的链接地址，我们可以看出来，这一个小说的全部网页地址是从

到

结束的，我们可以对比一哈，就是前面的

*****.html都是一样的，只有最后的五个数值是不一样的，而且页面与页面之间是 +1 的变化规律，所以这样的话我们就知道了全部页面的规律和开始，结束的条件。

02-2-6、获取全部页面的code

urllist = ['{}.html'.format(page) for page in range(17644,17650)]

这一个列表推导式就把全部的页面保存在了urllist的列表里面了。

02-3、页面内处理02-3-1、页面分析1

打开一篇文章，右键检查！

知道文章的内容所在标签，点击代码取余左上角的，那个小箭头，然后在网页内，选择自己想要看的内容所在区域，找到之后，进而分析

02-3-2、文章标题分析：

经过分析，标题是页面内唯一一个<h1></h1>标签，而且class='title'我们通过标题的这两个特点获取到标题，进而获取到标题的内容。(获取标题，是内容需要，也可以作为保存文件的文件名)

02-3-3、获取标题代码实现：

    response = requests.get(url=pageurl,headers=headers,params=params)    reshtml = response.content.decode()    soup = BeautifulSoup(reshtml,'lxml')        # 获取页面的标题所在标签，用到了***层级选择器****    titlelist = soup.select('.content h1')    	# 获取标签里面的标题内容，因为标签是保存的一个列表里面，要先取出来，	# 然后用`.get_text()`获取到其中的内容    title_text = titlelist[0].get_text()        # 替换到标题里面的一些特殊符号，后面保存为文件名的时候，不允许，    # 这一个是后面代码运行之中出的错误，后面加上的。    title_text =title_text.replace('*','')

02-3-4、获取内容分析：

通过分析，（看图），发现了以下一些点：

1、小说的全部内容都在p标签 里面

2、这一个内容的p标签在id=''content'的div标签里面。

基于以上两点，我们就可以唯一确定的获取到全部的内容的p标签,进而获取里面的内容。

02-3-5、内容获取代码描述

    response = requests.get(url=pageurl,headers=headers,params=params)    reshtml = response.content.decode()    soup = BeautifulSoup(reshtml,'lxml')    # 获取到全部存在内容的标签，返回的是一个列表    # 用到了***层级选择器***    restextlist = soup.select('#content p')	# 用for循环可以取出全部的标签，然后用.get_text()取出全部内容。    for article_text in restextlist:        article_text.get_text()

03、其他内容分析：03-1、headers请求头

在网页里面，

右键检查

-----> 点击上面的Network

-----> 勾选Preserve Log

-----> 然后刷新网页

-----> 找到Name里面刷新出来的一个信息(大概率是的)（就是这一个网页，找到就ok了），

-----> 点击右边的headers头信息

-----> 翻到最下面的Request Headers请求头信息

-----> 找到里面的User-Agent信息，然后复制粘贴到代码里面。这里存放着很多信息，不携带的话，大概率会请求不到网页。

03-2、param代理池使用原因：

同一个ip地址，快速，频繁的请求一个网站，会被网站认为是恶意请求，爬虫等等异常情况，然后就会被ip封禁等等的限制。让你爬取不到信息。

解决方案

使用代理池，（这一个是正向代理。反向代理使用Nginx可以自己去了解一哈。前者是对浏览器的代理，后者是对服务器的代理。）然后从代理池里面随机选择一个ip去访问，每次的请求ip都不一样，这样的话，对方就不可检测异常。

快代理

这一个网站包含大量免费的高秘代理，可以使用，对方无法察觉追踪到ip！

03-3、其他

如果以上还是无法请求到页面，那你就继续把Resquest Headers请求头里面的信息，尽量携带。让对方以为你是浏览器。

04、完整代码

import requestsfrom bs4 import BeautifulSoupimport random# 全部网页列表，后面进行循环取出页面，然后处理urllist = ['{}.html'.format(page) for page in range(17482,17650)]# 请求头headers = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36"}# 正向代理，代理池。# 如果一个ip地址，快速，一直请求的话，会被网页认为是爬虫，然后把你的ip地址封禁了。。所以用正向代理。。然后在下面用random模块，随机取出一个ip地址进行请求！paramslist = ['121.232.199.237:9000','125.108.67.254:9000','123.163.118.102:9999',              '125.108.67.254:9000','171.35.172.151:9999','123.101.231.234:9999',              '125.108.67.254:9000','123.163.118.102:9999','171.35.172.151:9999',              '123.101.231.234:9999','113.195.16.16:9999','175.44.109.145:9999',              '125.108.85.141:9000','175.43.32.21:9999','183.166.103.22:9999',              '125.110.96.80:9000','123.160.69.100:9999','112.111.217.69:9999',              '1.199.30.133:9999','123.55.102.150:9999','120.83.104.196:9999',              '180.118.128.138:9000','163.204.95.253:9999','113.195.18.89:9999',              '113.195.16.191:9999','175.42.129.76:9999','125.110.124.214:9000',              '125.110.102.54:9000','36.249.119.16:9999','125.110.89.240:9000',              '171.35.146.70:9999','124.93.201.59:42672','171.35.173.112:9999']# 从代理池里面，随机取出一个ip地址，进行访问httpindex = random.randint(0,len(paramslist)-1)params = {    'HTTP': paramslist[httpindex]}# for循环每一个列表，进行处理for pageurl in urllist:	# 下面的两行就是看一个下载进度提示，没有意义    index1 = urllist.index(pageurl)+1    print("第{}下载".format(index1))		# 发送请求，获取页面    response = requests.get(url=pageurl,headers=headers,params=params)    reshtml = response.content.decode()	# 用bs4解析页面    soup = BeautifulSoup(reshtml,'lxml')        # 获取小说全部内容的标签    restextlist = soup.select('#content p')    # 获取小说标题的标签    titlelist = soup.select('.content h1')		# 获取标题的文字，然后进行特殊符号的替换，以免很后面文章命名文件出错    title_text = titlelist[0].get_text()    title_text =title_text.replace('*','')	    print("正在下载---{}---".format(title_text))	# 打开文件，进行写入文章的全部的小说，文件命名就是“标题.txt”，写的方式'w',编码方式是'utf-8'    with open("./08novel/{}.txt".format(title_text),'w',encoding='utf-8') as f:        f.write(title_text+"\n")        # for循环获取的article_text 是带有内容的p标签        for article_text in restextlist:        	# article_text.get_text()这一个才是p标签，获取其中的内容。换行            f.write(article_text.get_text()+"\n")    print("下载完成---{}---".format(title_text))print("全部下载完成！")

05、结语：

个人记录，新手入门，多多学习，欢迎大家交流探讨！