龙空技术网

Python爬虫涉及登录场景的实战中的实例

温水青蛙202306 119

前言:

此刻你们对“python爬虫用cookie登录后”可能比较讲究,兄弟们都需要分析一些“python爬虫用cookie登录后”的相关文章。那么小编也在网摘上收集了一些对于“python爬虫用cookie登录后””的相关知识,希望朋友们能喜欢,看官们一起来学习一下吧!

20221216星期五:

在Python爬虫使用中,常常涉及到需要登陆,才能爬取到数据的场景:

以下是本人在工作中,处理登陆的实战操作,供大家参考:

方式1:在init函数中,设置了参数username,password,但是在类的实例化中,传入""引号,照样可以获取到系统前端页面数据

方式2:直接写一个登陆的函数,通过抓包,拿到登陆请求的data数据,这个数据就是用户名密码,当然,密码是加密形式的字符;有了这个登陆函数,即保持了的登陆状态(使用这种方式需要两个条件:1,cookie的场景;2,登陆以后,访问其他的接口,请求头没有表示身份权鉴的字段)

方式3:登陆以后,进行其它接口请求时,拿到请求头的那个表示身份权鉴的字段;

然后去反推,从登陆开始,通过几个接口,最终得到了服务器返回的这个表示身份权鉴字段,这一段反推的几个接口请求写到init函数中;

最终拿到的权鉴,添加到请求头中,然后后面的接口使用这个请求头,就可以获取到系统前端页面数据

方式1:在init函数中,设置了参数username,password,但是在类的实例化中,传入""引号,照样可以获取到系统前端页面数据

页面查询按钮,F12看到服务器返回数据

虽然必填username,password,但是实例化时候,传入的是空数据""

虽然没有传入用户名密码,照样查询接口返回了数据

方式2:直接写一个登陆的函数,通过抓包,拿到登陆请求的data数据,这个数据就是用户名密码,当然,密码是加密形式的字符;有了这个登陆函数,即保持了的登陆状态

密码是通过抓包拿到,是加密的形式

方式3:登陆以后,进行其它接口请求时,拿到请求头的那个表示身份权鉴的字段;

然后去反推,从登陆开始,通过几个接口,最终得到了服务器返回的这个表示身份权鉴字段,这一段反推的几个接口请求写到init函数中;

最终拿到的权鉴,添加到请求头中,然后后面的接口使用这个请求头,就可以获取到系统前端页面数据

如下三张图,就是拿到服务器返回的身份权鉴的过程,有了这个身份权鉴,请求头header加上这个权鉴,后面的接口就可以请求成功,拿到想要的数据

第77行,请求头header加上这个身份权鉴

标签: #python爬虫用cookie登录后