回顾

在Python进阶记录之基础篇（二十五）中，我们介绍了Python中正则表达式的简单使用，需要重点掌握re模块的几个常用函数，理解正则表达式的模式语法。今天我们讲一下Python中内置的HTTP请求库——urllib模块。

urllib模块简介

urllib模块是Python内置的HTTP请求库，它不需要我们额外安装，可以直接引入urllib模块进行使用。urllib模块主要包含四大块内容：

1、request，它是urllib模块中最核心的部分，是最基本的HTTP请求模块。request可以模拟发送请求，就像我们在浏览器里输入网址然后敲击回车一样。

2、error，它是urllib的异常处理模块，当模拟的请求发生错误时，比如网络连接失败、禁止访问等，我们就可以使用error模块来捕获这些异常，然后进行重试或其他操作来保证程序不会意外终止。

3、parse，它是urllib的一个工具模块，提供了许多对URL的处理方法，比如拆分、解析、合并等。

4、robotparser，它的功能主要用于识别网站下的robots.txt文件，通过robots.txt文件可以帮助我们判断当前网站是否可以爬，从而远离不必要的法律纠纷。

urllib中的request模块

request是urllib模块中最核心的部分，我们今天主要介绍一下request的用法。request可以模拟网络请求进行get或post请求。

get请求

get请求直接向服务器获取指定资源，例如我们在浏览器上输入“”，然后敲回车，这个时候实际上就是向百度发送了一个get请求。现在我们通过urllib模块中的request来模拟get请求。

get请求

代码比较简单，只需调用request的urlopen( )方法，将网址url传入即可发送一个get请求。返回结果为一个HTTPResponse对象，我们可以通过访问该对象的属性和成员方法来获取相应的结果。

status为请求结果code，正常情况下200为请求成功，常见的还有403（服务器拒绝访问）、404（找不到网页，一般url写错时就会返回404）、500（服务器内部错误）等。response.read( )方法可以获取返回结果的内容，可以看到，当我们请求“”时，得到了对应网页的源代码。

观察网页内容我们发现，当前返回结果中的中文是乱码，出现乱码的主要原因就是编码问题。

编码问题

以上代码中，我们将字符串通过encode( )函数分别编码成UTF-8和GBK格式，可以看到编码后相应的中文就乱码了，而通过decode( )函数进行解码就能将原来的中文恢复。

现在我们就明白为什么获取的网页结果中文会乱码，原因就是urlopen将请求结果进行了“UTF-8”编码。其实我们可以查看百度首页的网页源代码，会发现它有这样一段代码：<meta http-equiv=Content-Type content="text/html;charset=utf-8">。百度首页默认编码正是“UTF-8”。

明白其中的缘由后，我们就可以通过对response.read( )结果使用decode( )函数进行“UTF-8”解码来得到最终的结果。

对返回结果进行解码

可以看到，通过解码后的结果可以正常显示中文，并且能识别回车键、tab键等特殊符号。

以上我们模拟了一个简单的get请求，但是如果做爬虫的时候直接用上述方式进行url请求是能被所爬网站直接判断出爬虫身份的。之前我们提到过，request是可以模拟浏览器里输入网址然后敲击回车这一过程的，而要实现这一模拟过程，就需要添加headers请求头信息。

添加headers请求头

由于urlopen( )方法中没有headers请求头参数，因此我们需要将它包装成Request对象再传入urlopen( )方法中。在headers中，我们加了一个“User-Agent”属性，这个属性为用户代理，设置请求头后再使用urlopen( )方法进行网络请求时，网站就会以为我们是通过浏览器进行访问的。通过百度我们可以查到各种“User-Agent”，设置不同的“User-Agent”可以模拟各种不同的场景，如PC浏览器、手机浏览器等。

当然，设置“User-Agent”只是爬虫掩饰身份的最基本的方式，更高级的掩饰方法还有存储Cookie信息，设置proxy代理等。这些内容我们在爬虫专题中再具体介绍。

post请求

post请求与get请求最大的区别就是请求参数不会保存在浏览器历史中，从request.urlopen( )方法的代码层面上看，当使用post请求时，我们需要把请求参数传入。下面我们模拟一个微博登录的post请求过程。

post请求

我们可以通过fiddler等抓包工具获取微博登录的请求头和所需参数，通过urllib的parse模块对参数进行包装，需要我们提供的参数主要是登录邮箱和密码，按照weibo.cn登录页的格式以username=xxx&password=xxx的编码传入。然后再包装请求头信息，除了“User-Agent”外，我们还需要设置“Referer”属性，告诉微博服务器是从哪个页面链接过来的，如果不加，微博服务器会判断出我们的爬虫身份从而拒绝访问。

运行以上程序，输入正确的登录邮箱和密码即可成功登录。

总结

以上内容介绍了Python内置的HTTP请求库urllib模块，重点介绍了urllib的request模块，需要重点掌握使用urlopen( )方法进行基本的get/post请求，理解请求头的概念和意义。虽然实际开发中对于urllib模块的使用并不是很多，我们将来开发爬虫也基本不会使用这个库，但是，其中的编程思想是互通的，学习urllib模块有利于我们学习其他第三方HTTP请求库。感谢大家的支持与关注，欢迎一起学习交流~