龙空技术网

免费送!淘宝买不到的爬虫秘籍

python小白社区 188

前言:

此时大家对“淘宝爬虫python”大致比较看重,我们都需要知道一些“淘宝爬虫python”的相关文章。那么小编也在网上搜集了一些有关“淘宝爬虫python””的相关内容,希望你们能喜欢,兄弟们快快来了解一下吧!

爬取淘宝遇到的问题

爬取淘宝遇到了非常多的问题,这里为大家一一列举:

1.登录问题

问题:申请st码失败怎么办?

回答:更换_verify_password方法中的所有请求参数。

参数没问题的话登录基本都会成功!

2.代理池

为了防止自己的ip被封,猪哥使用了代理池。爬取淘宝需要高质量的ip才能爬取,猪哥试了很多网上免费的ip,基本都不能爬取。

但是有一个网站的ip很好 站大爷

: ,这个网站每小时都会更新一批ip,猪哥试过还是有很多ip是可以爬取淘宝的。

3.重试机制

为了防止正常请求失败,猪哥在爬取的方法上加上了重试机制!

需要安装retry库

pip install retry

4.出现滑块

上面那些都没问题,但是还是会出现滑块,猪哥测试过很多次,有些爬取20次-40次左右最容易出现滑块。

出现滑块只能等个半小时后继续爬,因为目前还不能使用requests库解决滑块,后面学习selenium等其他框架看看是否能解决!

标签: #淘宝爬虫python