前言:
此时大家对“淘宝爬虫python”大致比较看重,我们都需要知道一些“淘宝爬虫python”的相关文章。那么小编也在网上搜集了一些有关“淘宝爬虫python””的相关内容,希望你们能喜欢,兄弟们快快来了解一下吧!爬取淘宝遇到的问题
爬取淘宝遇到了非常多的问题,这里为大家一一列举:
1.登录问题
问题:申请st码失败怎么办?
回答:更换_verify_password方法中的所有请求参数。
参数没问题的话登录基本都会成功!
2.代理池
为了防止自己的ip被封,猪哥使用了代理池。爬取淘宝需要高质量的ip才能爬取,猪哥试了很多网上免费的ip,基本都不能爬取。
但是有一个网站的ip很好 站大爷
: ,这个网站每小时都会更新一批ip,猪哥试过还是有很多ip是可以爬取淘宝的。
3.重试机制
为了防止正常请求失败,猪哥在爬取的方法上加上了重试机制!
需要安装retry库
pip install retry
4.出现滑块
上面那些都没问题,但是还是会出现滑块,猪哥测试过很多次,有些爬取20次-40次左右最容易出现滑块。
出现滑块只能等个半小时后继续爬,因为目前还不能使用requests库解决滑块,后面学习selenium等其他框架看看是否能解决!
标签: #淘宝爬虫python