龙空技术网

selenium+requests共享cookie方式抓取gif或滑块验证码

那些年踩过的坑 109

前言:

现时看官们对“selenium截图几种方法”都比较珍视,咱们都需要剖析一些“selenium截图几种方法”的相关资讯。那么小编同时在网络上搜集了一些关于“selenium截图几种方法””的相关知识,希望姐妹们能喜欢,咱们一起来了解一下吧!

在前两篇文章中有关于使用selenium对gif格式验证码图片抓取的介绍,具体链接地址:关于使用selenium的一些问题。

使用selenium对gif格式验证码图片抓取比较复杂,反复采用元素截图方式,尽量获取每一帧图片。这样处理的效果并不是太好,因为并没有办法得到gif的原文件。

若采用selenium获取到验证码的链接地址,然后采用requests直接抓取。会导致selenium和requests不在同一个session中,使得requests获取的验证码识别结果不能在selenium浏览器中使用。

这里问题的根源在于selenium和requests不在同一个session中,那么怎么样使得selenium和requests在同一个session中呢?

在贴代码之前,我想简单的解释下和本期内容相关的http协议和session以及cookie。以下关于http协议和session以及cookie的介绍来自网络,不想看的请直接略过查看下文。

HTTP 简介

HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网(WWW:World Wide Web )服务器传输超文本到本地浏览器的传送协议。。

HTTP是一个基于TCP/IP通信协议来传递数据(HTML 文件, 图片文件, 查询结果等)。

HTTP 工作原理

HTTP协议工作于客户端-服务端架构上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。

Web服务器根据接收到的请求后,向客户端发送响应信息。

HTTP三点注意事项:

HTTP是无连接:无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求,并收到客户的应答后,即断开连接。采用这种方式可以节省传输时间。HTTP是媒体独立的:这意味着,只要客户端和服务器知道如何处理的数据内容,任何类型的数据都可以通过HTTP发送。客户端以及服务器指定使用适合的MIME-type内容类型。HTTP是无状态:HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息,则它必须重传,这样可能导致每次连接传送的数据量增大。另一方面,在服务器不需要先前信息时它的应答就较快。

以下图表展示了HTTP协议通信流程:

HTTP协议通信流程

session和cookie的区别

一·概念理解

首先呢,要了解session和cookie的区别先要了解以下几个概念:

1、无状态的HTTP协议:

协议,是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则,超文本传输协议(HTTP)是一种通信协议,它允许将超文本标记语言(HTML)文档从Web服务器

传送到客户端的浏览器。

HTTP协议是无状态的协议。一旦数据交换完毕,客户端与服务器端的连接就会关闭,再次交换数据需要建立新的连接。这就意味着服务器无法从连接上跟踪会话。

2、会话(Session)跟踪:

  会话,指用户登录网站后的一系列动作,比如浏览商品添加到购物车并购买。会话(Session)跟踪是Web程序中常用的技术,用来跟踪用户的整个会话。常用的会话跟踪技术

是Cookie与Session。Cookie通过在客户端记录信息确定用户身份,Session通过在服务器端记录信息确定用户身份。

二·cookie

由于HTTP是一种无状态的协议,服务器单从网络连接上无从知道客户身份。用户A购买了一件商品放入购物车内,当再次购买商品时服务器已经无法判断该购买行为是属于用户A的会话还是用户B的会话了。怎么办呢?就给客户端们颁发一个通行证吧,每人一个,无论谁访问都必须携带自己通行证。这样服务器就能从通行证上确认客户身份了。这就是Cookie 的工作原理。

Cookie实际上是一小段的文本信息。客户端请求服务器,如果服务器需要记录该用户状态,就使用response向客户端浏览器颁发一个Cookie。客户端会把Cookie保存起来。

当浏览器再次请求该网站时,浏览器把请求的网址连同该Cookie一同提交给服务器。服务器检查该Cookie,以此来辨认用户状态。服务器还可以根据需要修改Cookie的内容。

根据上文介绍,小伙伴应该都知道http协议并不安全。服务端通过session和cookie方式给每个访问者颁发一个令牌,它无法确认这个令牌真正的主人是谁。服务端不管令牌是否被复制或修改,只管到访者的令牌内容。

这给了我们可乘之机,我们将selenium中的cookie保存给requests使用不就可以了吗?当requests持有selenium的cookie访问服务器时,服务端傻傻的将这次访问当做selenium访问,并返回图片的文件流。这样我们就可以将selenium和requests相当于放入同一个session中了。

好了,废话了这么久,开始上代码。

# 获取验证码图像def get_check_code2(browser):    # 获取验证码元素    verification_code = browser.find_element_by_id('img_randCode')    # 获取验证码的链接地址    verification_code_link = verification_code.get_attribute('src')    # 当前浏览器的cookie    cookies = browser.get_cookies()    # 将cookies转为key:value形式    cookies = {item['name']: item['value'] for item in cookies}    # 使用request请求数据流,这里可能需要设置请求头    response = requests.get(verification_code_link, cookies=cookies)    # 将字节转为image对象    img = Image.open(BytesIO(response.content))

小伙伴们是不是很简单?相对于元素截图方式获取验证码你更倾向于哪一种呢?

# 获取验证码图像def get_check_code(browser):    # 验证码图片,GIF的图片    verification_code = browser.find_element_by_id('img_randCode')    imgs = []    # 获取7帧图像    for _ in range(7):        # 转为cv2格式        img = cv2.imdecode(np.asarray(bytearray(verification_code.screenshot_as_png), dtype='uint8'), cv2.IMREAD_COLOR)        imgs.append(img)        sleep(0.05)

最后说一句,通过元素截图方式获取滑块验证码图片时,仅能获取到滑块验证码的前景图片,并不能获取到背景图片。若通过selenium+requests共享cookie方式能够很好的解决这种问题。

标签: #selenium截图几种方法