Python如何优雅的设置爬虫重试次数

工作中经常碰到的问题就是，当我们在使用爬虫发送请求的时候。某个方法出现了异常，重试几次循环重复一个方法是很常见的。一提到重复操作，我们第一反应就是使用循环。接下来咱们用while看一下示例代码：

import requestsurl =";i=0total=2000while i < total:    try:        result=requests.get(url)        return result.status_code    except:        i+=1

在代码外面在加一层循环。这个代码看起来已经不是丑的问题了。那接下来我们使用一个优雅的方式。python retrying模块。retrying是一个python的重试包，可以用来自动重试一些可能运行失败的程序段，retrying提供一个装饰器函数retry，被装饰的函数就会在运行失败的情况下重新执行，默认只要一直报错就会不断重试。首先安装一下

pip install retrying

下面是示例代码：

from retrying import retry@retry(stop_max_attempt_number=2000)def test():    url =";    result=requests.get(url)    return result.status_codetest()

我们原来的代码没有进行任何修改，只是说在这个函数之前，我们加上了这么一个装饰器这样看起来是不是很优雅。那除此之外，我们还可以设置retrying其他的参数

重试之间等待 2 秒。

@retry(wait_fixed=2000) def test():     url =";     result=requests.get(url)     return result.status_code test()

stop_max_delay 设置失败重试的最大时间, 单位毫秒，超出时间，则停止重试

@retry(stop_max_delay =1000)def test():    url =";    result=requests.get(url)    return result.status_codetest()

两次retrying之间的停留最短时间wait_random_mint和两次retrying之间的停留最长时间wait_random_max

 @retry(wait_random_min=100, wait_random_max=2000) def test():      url =";      result=requests.get(url)      return result.status_code  test() ```

wait_exponential_multiplier间隔时间倍数增加，wait_exponential_max最大间隔时间

@retry(wait_random_min=100, wait_random_max=2000)def test():    print("test %d" % int(time()))    url =";    result=requests.get(url)    return result.status_codetest()

其它参数咱们可以看 官方文档