好久没有写爬虫了，今天研究了下淘宝商品评论的内容。

一开始用最简单的方法，挂代理，加请求头，对网页请求，是抓不到数据的，在网上找了一些相关文章，也基本已经过时了，就是网站逻辑有改动，用旧的方法是抓不到的。研究了一下，终于有了结果。

1. 百度->淘宝，进入官网

最后选择男装->西装，进入宝贝详情页。下面开始打开调试模式，快捷键Ctrl + Shift + i

2. 想办法找出评论内容所在地址。

先清空调试栏（点击如下）：

然后刷新页面，Ctrl + R进行刷新。

下面就开始找评论在哪里。首先点击XHR，推测评论是有AJAX展示的，点击后发现不是。

再去Doc里面找找，也不是。那就从All里面一个一个找吧。

嘿，看到了一个东西，有点像：

坚持不懈地努力下，终于找到了：

下面对这个url进行解析，只要能请求出来，那就没问题了。

3. 首先，直接添加headers，是请求不到的。那怎么办呢？一点点试呗。

最后尝试到，将请求头，请求参数全部加上，然后携带cookie，才能获取到内容，很难受。

因为，实际生产中，一旦需要验证cookie，才能获取正确响应的网站，我个人是没有太好的解决方法，只要抓取过快，就会被封掉。

代码如下：