示例简介

本文使用python语言开发了一个小说阅读器，通过小说书号抓取全部章数的内容，并保存到计算机上，同时也可以通过阅读器读取相应章数的内容；

预览效果：根据填写的小说书号，分两种方式显示抓取的小说内容；

　　开发环境：Windows7+python3.7+pycharm2018.2.4（开发工具）；

目录结构：

Tips：注意不要一次性抓取太多数据，给服务器环境造成太大压力。

实现过程

一、阅读器UI设计

1、安装所需的第三方模块PyQt5和pyqt5-tools（文件-设置），直接使用右边“+”安装就可以，如无法安装，可在命令界面使用“pip install XXX”进行安装（注意使用的是pycharm2018版本）；

2、配置工具QtDesigner（设计器）和pyUIC（转化为py代码，Arguments设置“$FileName$ -o $FileNameWithoutExtension$.py”）；

3、运行工具QtDesigner（图1）后，利用QtDesigner工具箱设计出图2的界面效果（所需要的控件可查看右边区域），保存效果为文件fiction_reader.ui；

4、对文件fiction_reader.ui执行pyUIC（ui转化为py代码），执行完生成文件fiction_reader.py；

二、代码设计

1、添加内置模块（下面代码使用）和主方法（用于运行后弹出阅读器）；

# 添加代码from PyQt5.QtWidgets import QMessageBox, QFileDialogimport osimport sysimport requestsimport re

方法（添加代码）if __name__ == '__main__':    app = QtWidgets.QApplication(sys.argv)    MainWindow = QtWidgets.QMainWindow()  # 创建窗体对象    ui = Ui_MainWindow()  # 创建PyQt设计的窗体对象    ui.setupUi(MainWindow)  # 调用PyQt窗体的方法对窗体对象进行初始化设置    MainWindow.show()  # 显示窗体    sys.exit(app.exec_())  # 程序关闭时退出进程

2、函数setupUi，添加代码（图1）来修改第一个table显示两列（列表显示）；添加代码（图2）来修改第二个table显示方式（图表显示），使用setViewMode设置图表显示方式，数字405为table的宽度；

self.tableWidget.setColumnCount(2)  # 修改成两列self.tableWidget.setRowCount(0)# 添加代码（第一个tab分成两列）item = QtWidgets.QTableWidgetItem()self.tableWidget.setHorizontalHeaderItem(0, item)item = QtWidgets.QTableWidgetItem()self.tableWidget.setHorizontalHeaderItem(1, item)self.tableWidget.setColumnWidth(0, 130)  # 设置第一列宽度self.tableWidget.horizontalHeader().setStretchLastSection(True)  # 设置自动填充容器self.tableWidget.setVerticalScrollBarPolicy(QtCore.Qt.ScrollBarAlwaysOn)  # 垂直滚动条

# 添加代码self.listWidget.setViewMode(QtWidgets.QListView.IconMode) # 图标格式显示self.listWidget.setIconSize(QtCore.QSize(50, 50))  # 图标大小self.listWidget.setMaximumWidth(405)  # 最大宽度self.listWidget.setSpacing(15)  # 间距大小self.listWidget.setVerticalScrollBarPolicy(QtCore.Qt.ScrollBarAlwaysOn)  # 垂直滚动条

3、修改函数retranslateUi；

注释：self.lineEdit.setText用来设置小说书号的默认值，self.lineEdit_2.setText设置保存路径为当前路径的file下，self.pushButton.clicked.connect为选择按钮绑定事件（点击选择弹出计算机选择窗口），self.pushButton_2.clicked.connect点击确定开始获取数据；

def retranslateUi(self, MainWindow):    _translate = QtCore.QCoreApplication.translate    MainWindow.setWindowTitle(_translate("MainWindow", "阅读器"))    self.groupBox.setTitle(_translate("MainWindow", "抓取设置"))    self.label.setText(_translate("MainWindow", "请填写小说书号："))    # 添加代码（设置默认书号）    book_number = '5_5871'    self.lineEdit.setText(_translate("MainWindow", book_number))  # 设置默认书号    self.label_2.setText(_translate("MainWindow", "请选择保存路径："))    # 添加代码（设置默认路径为当前程序路径下的file文件夹下）    self.lineEdit_2.setText(_translate("MainWindow", os.getcwd() + '\\file'))    self.label_3.setText(_translate("MainWindow", "（比如5_5871）"))    self.pushButton.setText(_translate("MainWindow", "选择"))    self.pushButton_2.setText(_translate("MainWindow", "确定"))    self.tabWidget.setTabText(self.tabWidget.indexOf(self.tab), _translate("MainWindow", "列表显示"))    self.tabWidget.setTabText(self.tabWidget.indexOf(self.tab_2), _translate("MainWindow", "图表显示"))    # 添加代码（设置列表标题）    item = self.tableWidget.horizontalHeaderItem(0)  # 获取表格的第一列    item.setText(_translate("MainWindow", "书号"))  # 设置表格第一列的标题    item = self.tableWidget.horizontalHeaderItem(1)  # 获取表格的第二列    item.setText(_translate("MainWindow", "名称"))  # 设置表格第二列的标题    self.pushButton.clicked.connect(self.msg)  # 为选择按钮绑定事件    self.pushButton_2.clicked.connect(self.getDatas)  # 点击确定获取数据

4、实现选择保存路径功能，定义函数msg；

注释：os.getcwd()用于弹出选择窗口默认到该路径，self.lineEdit_2.setText显示选择的路径；

def msg(self):    try:        # dir_path即为选择的文件夹的绝对路径，第二形参为对话框标题，第三个为对话框打开后默认的路径        self.dir_path = QFileDialog.getExistingDirectory(None, "选择路径", os.getcwd())        self.lineEdit_2.setText(self.dir_path)  # 显示选择的保存路径    except Exception as e:        print(e)

5、分析抓取数据的原理，先获取小说首页章数的网址信息，然后循环这些网址获取相应章数的内容，并保存到本地；

注释：

封装函数urlTotext，根据传入的URL获取网页数据，注意response.encoding要设置抓取网站的编码方式，不然会显示乱码；

封装函数getData，根据获取到的网址分别获取对应网址下章数的内容，并保存到本地：

1）查看小说首页源码图，发现章数网址都在<div id="list"> 下，利用re.findall(r'id="list".*?</dl>', html, re.S)[0]获取到html信息，然后使用re.findall(r'<a href="(.*?)">', dl)过滤出网址信息；

2）查看小说首页源码，可以看出前八章是最新部分，为了过滤掉使用for item in links[8:20]，从8开始循环；

3）serial_number = item[0:-5]获取网址的号码，后面用来排序显示章数；

4）查看小说章数源码，发现内容都在<div id="content">下，利用re.findall(r'id="content">(.*?)</div>', articleHtml, re.S)[0]获取到内容html信息，获取到的内容包含间隔符和换行符等，需要进行过滤；

函数getDatas用来抓取所有数据，保存到本地后，再显示到阅读器上；

# 抓取所有数据def getDatas(self):    try:        try:            while True:  # 无限循环（执行这个，才能爬取完显示）                self.book_number = self.lineEdit.text()  # 记录用户设置的书号                self.baseurl = '; + self.book_number + '/'  # 设置书本初始地址                self.getData(self.baseurl, self.lineEdit_2.text())  # 执行主方法        except Exception:            pass        self.getFiles()  # 获取所有文件        self.bindList()  # 对列表进行绑定        self.bindTable()  # 对表格进行绑定        self.listWidget.itemClicked.connect(self.itemClick)  # 绑定列表单击方法        self.tableWidget.itemClicked.connect(self.tableClick)  # 绑定表格单击方法    except Exception:        QMessageBox.warning(None, "警告", "没有数据，请重新设置书号……", QMessageBox.Ok)        return# 抓取数据（根据小说地址返回的内容分析）def getData(self, url, path):    html = self.urlTotext(url)    dl = re.findall(r'id="list".*?</dl>', html, re.S)[0]    links = re.findall(r'<a href="(.*?)">', dl)    path = path + "\\" + self.book_number + "\\"  # 设置文章存储路径    if not os.path.isdir(path):  # 判断路径是否存在        os.mkdir(path)  # 创建路径    for item in links[8:20]:  # 遍历文章列表        # print(item)        serial_number = item[0:-5]        print(serial_number)        articleUrl = self.baseurl + item  # 获取遍历到的具体文章地址        articleHtml = self.urlTotext(articleUrl)        # 提取章节内容        article_content = re.findall(r'id="content">(.*?)</div>', articleHtml, re.S)[0]        # 过滤掉内容的间隔符、换行符等        article_content = article_content.replace('<br /><br />', '')        article_content = article_content.replace('</br>', '')        article_content = article_content.replace(' ', '')        title = re.findall(r'<h1>(.*?)</h1>', articleHtml, re.S)[0]  # 获取文章标题        fileName = path + serial_number + title + '.txt'  # 设置文章保存路径（包括文章名）        newFile = open(fileName, "w")  # 打开或者创建文件        newFile.write("<<" + title + ">>\n\n")  # 向文件中写入标题并换行        newFile.write(article_content)  # 向文件中写入内容        newFile.close()  # 关闭文件    QMessageBox.Information(None, "提示", self.book_number + "的小说保存完成", QMessageBox.Ok)# 从网页提取数据def urlTotext(self, url):    response = requests.get(url)    # 编码方式    response.encoding = 'gbk'    html = response.text    return html

6、实现获取本地所有文件的功能，定义函数getFiles；

注释：使用sorted进行排序，有利于阅读器可以根据章数顺序阅读；

def getFiles(self):    self.list = os.listdir(self.lineEdit_2.text() + '\\' + self.lineEdit.text())  # 列出文件夹下所有的目录与文件    self.list = sorted(self.list) # 排序

7、实现把文件显示到第一个table，并能点击弹出对应章数的txt进行阅读；

注释：第一列显示书号内容self.lineEdit.text()，第二列显示章数标题self.list[i]；if 'txt' in item.text()解决点击书号退出阅读器问题；

# 将文件显示在Table中（列表显示）def bindTable(self):    for i in range(0, len(self.list)):  # 遍历文件列表        self.tableWidget.insertRow(i)  # 添加新行        # 设置第一列的值为书号        self.tableWidget.setItem(i, 0, QtWidgets.QTableWidgetItem(self.lineEdit.text()))        # 设置第二列的值为文件名        self.tableWidget.setItem(i, 1, QtWidgets.QTableWidgetItem(self.list[i]))# 表格单击方法，用来打开选中的项def tableClick(self, item):    if 'txt' in item.text(): # 点击文件名才弹出        os.startfile(self.lineEdit_2.text() + '\\' + self.lineEdit.text() + '\\' + item.text())

8、实现把文件显示到第二个table，并能点击弹出对应章数的txt进行阅读；

注释：self.list[i])[7:13]为了不显示章数名前面的序号；

# 将文件显示在List列表中（图表显示）def bindList(self):    for i in range(0, len(self.list)):  # 遍历文件列表        self.item = QtWidgets.QListWidgetItem(self.listWidget)  # 创建列表项        self.item.setIcon(QtGui.QIcon('images/fiction.png'))  # 设置列表项图标        self.item.setText(str(self.list[i])[7:13] + '...')  # 截取字符串（不显示序号）        self.item.setToolTip(self.list[i])  # 设置提示文字        self.item.setFlags(QtCore.Qt.ItemIsSelectable | QtCore.Qt.ItemIsEnabled)  # 设置选中与否# 列表单击方法，用来打开选中的项def itemClick(self, item):    os.startfile(self.lineEdit_2.text() + '\\' + self.lineEdit.text() + '\\' + item.toolTip())

9、最终代码如下图：

# -*- coding: utf-8 -*-# Form implementation generated from reading ui file 'fiction_reader.ui'## Created by: PyQt5 UI code generator 5.13.0## WARNING! All changes made in this file will be lost!from PyQt5 import QtCore, QtGui, QtWidgets# 添加代码from PyQt5.QtWidgets import QMessageBox, QFileDialogimport osimport sysimport requestsimport reclass Ui_MainWindow(object):    def setupUi(self, MainWindow):        MainWindow.setObjectName("MainWindow")        MainWindow.resize(500, 480)        self.centralwidget = QtWidgets.QWidget(MainWindow)        self.centralwidget.setObjectName("centralwidget")        self.groupBox = QtWidgets.QGroupBox(self.centralwidget)        self.groupBox.setGeometry(QtCore.QRect(39, 20, 421, 131))        self.groupBox.setObjectName("groupBox")        self.label = QtWidgets.QLabel(self.groupBox)        self.label.setGeometry(QtCore.QRect(20, 36, 101, 16))        self.label.setObjectName("label")        self.label_2 = QtWidgets.QLabel(self.groupBox)        self.label_2.setGeometry(QtCore.QRect(20, 86, 101, 16))        self.label_2.setObjectName("label_2")        self.label_3 = QtWidgets.QLabel(self.groupBox)        self.label_3.setGeometry(QtCore.QRect(282, 36, 101, 20))        self.label_3.setObjectName("label_3")        self.lineEdit = QtWidgets.QLineEdit(self.groupBox)        self.lineEdit.setGeometry(QtCore.QRect(120, 31, 161, 28))        self.lineEdit.setObjectName("lineEdit")        self.lineEdit_2 = QtWidgets.QLineEdit(self.groupBox)        self.lineEdit_2.setGeometry(QtCore.QRect(120, 81, 161, 28))        self.lineEdit_2.setObjectName("lineEdit_2")        self.pushButton = QtWidgets.QPushButton(self.groupBox)        self.pushButton.setGeometry(QtCore.QRect(288, 83, 51, 23))        self.pushButton.setObjectName("pushButton")        self.pushButton_2 = QtWidgets.QPushButton(self.groupBox)        self.pushButton_2.setGeometry(QtCore.QRect(350, 83, 51, 23))        self.pushButton_2.setObjectName("pushButton_2")        self.tabWidget = QtWidgets.QTabWidget(self.centralwidget)        self.tabWidget.setGeometry(QtCore.QRect(39, 175, 421, 231))        self.tabWidget.setObjectName("tabWidget")        self.tab = QtWidgets.QWidget()        self.tab.setObjectName("tab")        self.tableWidget = QtWidgets.QTableWidget(self.tab)        self.tableWidget.setGeometry(QtCore.QRect(5, 5, 405, 197))        self.tableWidget.setObjectName("tableWidget")        self.tableWidget.setColumnCount(2)  # 修改成两列        self.tableWidget.setRowCount(0)        # 添加代码（第一个tab分成两列）        item = QtWidgets.QTableWidgetItem()        self.tableWidget.setHorizontalHeaderItem(0, item)        item = QtWidgets.QTableWidgetItem()        self.tableWidget.setHorizontalHeaderItem(1, item)        self.tableWidget.setColumnWidth(0, 130)  # 设置第一列宽度        self.tableWidget.horizontalHeader().setStretchLastSection(True)  # 设置自动填充容器        self.tableWidget.setVerticalScrollBarPolicy(QtCore.Qt.ScrollBarAlwaysOn)  # 垂直滚动条        self.tabWidget.addTab(self.tab, "")        self.tab_2 = QtWidgets.QWidget()        self.tab_2.setObjectName("tab_2")        self.listWidget = QtWidgets.QListWidget(self.tab_2)        self.listWidget.setGeometry(QtCore.QRect(5, 5, 405, 197))        self.listWidget.setObjectName("listWidget")        # 添加代码        self.listWidget.setViewMode(QtWidgets.QListView.IconMode) # 图标格式显示        self.listWidget.setIconSize(QtCore.QSize(50, 50))  # 图标大小        self.listWidget.setMaximumWidth(405)  # 最大宽度        self.listWidget.setSpacing(15)  # 间距大小        self.listWidget.setVerticalScrollBarPolicy(QtCore.Qt.ScrollBarAlwaysOn)  # 垂直滚动条        self.tabWidget.addTab(self.tab_2, "")        MainWindow.setCentralWidget(self.centralwidget)        self.menubar = QtWidgets.QMenuBar(MainWindow)        self.menubar.setGeometry(QtCore.QRect(0, 0, 500, 23))        self.menubar.setObjectName("menubar")        MainWindow.setMenuBar(self.menubar)        self.statusbar = QtWidgets.QStatusBar(MainWindow)        self.statusbar.setObjectName("statusbar")        MainWindow.setStatusBar(self.statusbar)        self.retranslateUi(MainWindow)        self.tabWidget.setCurrentIndex(0)        QtCore.QMetaObject.connectSlotsByName(MainWindow)    def retranslateUi(self, MainWindow):        _translate = QtCore.QCoreApplication.translate        MainWindow.setWindowTitle(_translate("MainWindow", "阅读器"))        self.groupBox.setTitle(_translate("MainWindow", "抓取设置"))        self.label.setText(_translate("MainWindow", "请填写小说书号："))        # 添加代码（设置默认书号）        book_number = '5_5871'        self.lineEdit.setText(_translate("MainWindow", book_number))  # 设置默认书号        self.label_2.setText(_translate("MainWindow", "请选择保存路径："))        # 添加代码（设置默认路径为当前程序路径下的file文件夹下）        self.lineEdit_2.setText(_translate("MainWindow", os.getcwd() + '\\file'))        self.label_3.setText(_translate("MainWindow", "（比如5_5871）"))        self.pushButton.setText(_translate("MainWindow", "选择"))        self.pushButton_2.setText(_translate("MainWindow", "确定"))        self.tabWidget.setTabText(self.tabWidget.indexOf(self.tab), _translate("MainWindow", "列表显示"))        self.tabWidget.setTabText(self.tabWidget.indexOf(self.tab_2), _translate("MainWindow", "图表显示"))        # 添加代码（设置列表标题）        item = self.tableWidget.horizontalHeaderItem(0)  # 获取表格的第一列        item.setText(_translate("MainWindow", "书号"))  # 设置表格第一列的标题        item = self.tableWidget.horizontalHeaderItem(1)  # 获取表格的第二列        item.setText(_translate("MainWindow", "名称"))  # 设置表格第二列的标题        self.pushButton.clicked.connect(self.msg)  # 为选择按钮绑定事件        self.pushButton_2.clicked.connect(self.getDatas)  # 点击确定获取数据    # 添加代码（选择保存路径）    def msg(self):        try:            # dir_path即为选择的文件夹的绝对路径，第二形参为对话框标题，第三个为对话框打开后默认的路径            self.dir_path = QFileDialog.getExistingDirectory(None, "选择路径", os.getcwd())            self.lineEdit_2.setText(self.dir_path)  # 显示选择的保存路径        except Exception as e:            print(e)    # 抓取所有数据    def getDatas(self):        try:            try:                while True:  # 无限循环（执行这个，才能爬取完显示）                    self.book_number = self.lineEdit.text()  # 记录用户设置的书号                    self.baseurl = '; + self.book_number + '/'  # 设置书本初始地址                    self.getData(self.baseurl, self.lineEdit_2.text())  # 执行主方法            except Exception:                pass            self.getFiles()  # 获取所有文件            self.bindList()  # 对列表进行绑定            self.bindTable()  # 对表格进行绑定            self.listWidget.itemClicked.connect(self.itemClick)  # 绑定列表单击方法            self.tableWidget.itemClicked.connect(self.tableClick)  # 绑定表格单击方法        except Exception:            QMessageBox.warning(None, "警告", "没有数据，请重新设置书号……", QMessageBox.Ok)            return    # 抓取数据    def getData(self, url, path):        html = self.urlTotext(url)        dl = re.findall(r'id="list".*?</dl>', html, re.S)[0]        links = re.findall(r'<a href="(.*?)">', dl)        path = path + "\\" + self.book_number + "\\"  # 设置文章存储路径        if not os.path.isdir(path):  # 判断路径是否存在            os.mkdir(path)  # 创建路径        for item in links[8:20]:  # 遍历文章列表            # print(item)            serial_number = item[0:-5]            print(serial_number)            articleUrl = self.baseurl + item  # 获取遍历到的具体文章地址            articleHtml = self.urlTotext(articleUrl)            # 提取章节内容            article_content = re.findall(r'id="content">(.*?)</div>', articleHtml, re.S)[0]            # 过滤掉内容的间隔符、换行符等            article_content = article_content.replace('<br /><br />', '')            article_content = article_content.replace('</br>', '')            article_content = article_content.replace(' ', '')            title = re.findall(r'<h1>(.*?)</h1>', articleHtml, re.S)[0]  # 获取文章标题            fileName = path + serial_number + title + '.txt'  # 设置文章保存路径（包括文章名）            newFile = open(fileName, "w")  # 打开或者创建文件            newFile.write("<<" + title + ">>\n\n")  # 向文件中写入标题并换行            newFile.write(article_content)  # 向文件中写入内容            newFile.close()  # 关闭文件        QMessageBox.Information(None, "提示", self.book_number + "的小说保存完成", QMessageBox.Ok)    # 从网页提取数据    def urlTotext(self, url):        response = requests.get(url)        # 编码方式        response.encoding = 'gbk'        html = response.text        return html    # 获取所有文件    def getFiles(self):        self.list = os.listdir(self.lineEdit_2.text() + '\\' + self.lineEdit.text())  # 列出文件夹下所有的目录与文件        self.list = sorted(self.list) # 排序        print(self.list)    # 将文件显示在Table中（列表显示）    def bindTable(self):        for i in range(0, len(self.list)):  # 遍历文件列表            self.tableWidget.insertRow(i)  # 添加新行            # 设置第一列的值为书号            self.tableWidget.setItem(i, 0, QtWidgets.QTableWidgetItem(self.lineEdit.text()))            # 设置第二列的值为文件名            self.tableWidget.setItem(i, 1, QtWidgets.QTableWidgetItem(self.list[i]))    # 表格单击方法，用来打开选中的项    def tableClick(self, item):        if 'txt' in item.text(): # 点击文件名才弹出            os.startfile(self.lineEdit_2.text() + '\\' + self.lineEdit.text() + '\\' + item.text())    # 将文件显示在List列表中（图表显示）    def bindList(self):        for i in range(0, len(self.list)):  # 遍历文件列表            self.item = QtWidgets.QListWidgetItem(self.listWidget)  # 创建列表项            self.item.setIcon(QtGui.QIcon('images/fiction.png'))  # 设置列表项图标            self.item.setText(str(self.list[i])[7:13] + '...')  # 截取字符串（不显示序号）            self.item.setToolTip(self.list[i])  # 设置提示文字            self.item.setFlags(QtCore.Qt.ItemIsSelectable | QtCore.Qt.ItemIsEnabled)  # 设置选中与否    # 列表单击方法，用来打开选中的项    def itemClick(self, item):        os.startfile(self.lineEdit_2.text() + '\\' + self.lineEdit.text() + '\\' + item.toolTip())# 主方法（添加代码）if __name__ == '__main__':    app = QtWidgets.QApplication(sys.argv)    MainWindow = QtWidgets.QMainWindow()  # 创建窗体对象    ui = Ui_MainWindow()  # 创建PyQt设计的窗体对象    ui.setupUi(MainWindow)  # 调用PyQt窗体的方法对窗体对象进行初始化设置    MainWindow.show()  # 显示窗体    sys.exit(app.exec_())  # 程序关闭时退出进程