爬虫程序又莫名崩溃了？教你这一招轻松解决

编程小蝉 03-09 204

前言：

而今同学们对“python爬虫代码没问题但也不运行”大致比较关切，同学们都需要了解一些“python爬虫代码没问题但也不运行”的相关资讯。那么小编也在网上汇集了一些关于“python爬虫代码没问题但也不运行””的相关文章，希望兄弟们能喜欢，各位老铁们快快来了解一下吧！

每当我们写爬虫的时候，短暂的代码运行与抓取如果期间出现异常情况，我们可以及时的发现。可实际的爬虫开发项目往往运行需要耗时，对于增量式爬虫有时也是需要放到服务器上面跑的。这样我们就不能及时的观察到异常情况，那有没有比较容易实现的技术来解决这样的问题呢？（经验总结在最后）

答案是肯定的，有！那就是使用邮件通知，那具体如何操作呢？

接下来我来模拟写一下需求：

当爬虫出现故障时，第一时间通知程序员小哥哥来维护，采用邮件通知的方式。

那我们首先来介绍一下 Python 当中支持 Smtp 协议模块叫什么名字，有以下两个模块以及他们对应的作用：

email负责构造邮件

smtplib负责发送邮件

我们这里使用大家常用的 QQ 邮箱作为演示，小伙伴也可以使用其他邮箱可自行选择。在使用 QQ 邮箱时需要做以下配置。

1. QQ 邮箱配置

这里我们使用 SMTP 发信功能所以，您需要先开启 SMTP 发信功能才能通过 SMTP 接口发送邮件。

SMTP 协议是一个简单的邮件传输协议，利用它您可以将邮件发送给别人。此协议使用命令和应答在客户端与服务器之间传输报文。即客户端发出一个命令，服务器返回一个应答。发送方与接收方进行一问一答的交互，由发送方控制这个对话。

我先登陆到我们的 QQ 邮箱，界面如下：

选择设置，进入到如下界面：

找到：POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV服务

QQ 邮箱 SMTP 服务器地址：smtp.qq.com， ssl端口：465。

需要其他的服务器地址以及端口的小伙伴可以点击此链接：常用邮箱 SMTP 服务器地址大全

2. Python 发送邮件

以下实例你需要修改：发件人邮箱（你的QQ邮箱），密码，收件人邮箱（可发给自己）

运行代码效果如下：

3. 实战

爬虫脚本是基于网站的结构去写的，但是随着互联网的发展，很多公司的页面结构会发生变化，发生的变化就会导致我们写的爬虫失效，最主要的失效方式是 xpath 的失效。随着我们写的爬虫越来越多，越就越来越难以发现这些失效的脚本，导致数据更新失败，不及时，或者不满足抓取的质量和数量要求。这就需要对爬虫的脚本进行监控。

监控的目的是让数据及时的更新，脚本及时的发现 bug 以及解决 bug。提高我们的工作效率。更好的保证线上数据产品的优质性。

爬虫代码如下：

3.1 添加邮件通知

把邮件通知单独创建一个 .py 文件，代码如下：

上面的代码修改完毕之后，我们需要在爬虫的函数里面调用该函数，所以我们先导入函数：

这里我们简单的进行调用函数：fromemail_fimportemail_func 更复杂的小伙伴可以自行添加哦。

这里我们为了照顾绝大多数同学，就人工指定爬虫异常时放回特定信息。当然小伙伴还可以直接返回报错信息。

我们编写在请求函数中：

我们先正常运行代码查看效果：

至此，我们的邮件通知功能已经成功应用，这里有一点要跟小伙伴说的就是：为什么要把邮件单独写成一个 .py 文件，因为我们实际工作当中开发需要做到，模块化开发，上面所用到的是最基本的模块化。

3.2 应用场景：3.2.1 正常更新的

例如糗事百科，每天都要爬取一遍插入数据库的时候，需要增加一个字段更新插入时间 refresh_time 如果爬虫正常，这样就可以保证，每天的 refresh_time 都是最新的。