前言:
此刻小伙伴们对“pythongetcookie”大致比较关怀,各位老铁们都想要了解一些“pythongetcookie”的相关内容。那么小编同时在网上收集了一些对于“pythongetcookie””的相关资讯,希望姐妹们能喜欢,看官们快快来学习一下吧!Cookie-Pool
一个强大的Cookie池项目,超乎你的想象
1 综述
随着大型网站反扒机制的增强,使用cookie登陆已经成为一种最高效的方式,为此打造一款超强cookie池项目
基于tornado网络框架,综合了selenium、requests、Session、scrapy、cookie字符串、浏览器cookie
把六中来源的cookie统一为一种格式,并通过tornado开发的控制台,来提供cookie检测设置和可视化
本项目分为cookie获取部分、存储部分、可视与中控部分、预留自动登录获取部分
2 文件目录结构说明
超强cookie池发布,针对日趋严峻的反爬虫形势!
2.1 db
peeweetools:封装了操作sqlite的基本方法和函数
redistools: 封装了redis的基本方法和函数
2.2 handle
getcookie:封装了从本地浏览器、requests、session、webdriver、cookie字符串中获取cookie的方法
interface:封装了协调调用sqlite、redis的方法,是在peeweetools、redistools的基础上再次封装主要实现存放cookie和获取cookie的函数 testcookie:定义了用于测试cookie的类
2.4 static
静态文件目录,存放sqlite
2.5 template
可视化的html模板文件,用于tornado渲染
2.6 setting.py
配置文件
2.7 web.py
主程序文件,实现调度和网页操作、后台操作的相关接口
2.8 requirements.txt
项目涉及到的Python包,使用pip install -r requirements.pip命令自动安装
安装browsercookie失败的话请使用anaconda Python解释器自带了这个包
3 架构说明
超强cookie池发布,针对日趋严峻的反爬虫形势!
用两种方式与用户交互:1.条用web接口 2.调用内部方法
selenium、requests、Session、scrapy的cookie存放目前只能通过调用内部方法
获取Chrome浏览器cookie,解析cookie字符串可通过在线操作和内部方法来实现
4 前端视图
超强cookie池发布,针对日趋严峻的反爬虫形势!
4.1 配置检测方式:selenium、requests
检测的URL、打开URL后标志性的字段
超强cookie池发布,针对日趋严峻的反爬虫形势!
4.2 配置检测之后点击保存,然后可以检测了
超强cookie池发布,针对日趋严峻的反爬虫形势!
如果没有配置检测方式及其字段是不能够检测的
超强cookie池发布,针对日趋严峻的反爬虫形势!
4.3 检测原理:
通过打开我们配置的url地址检测在url地址中只有登陆后才能出现的字段如:用户名、账号名
所以配置的URL最好是登陆后才可见的地址
4.4 多账号配置
如果是多条cookie,分别对应多个账号,但是有多个用户名,这种方式下我们可以把所有用户名
以英文;连接起来(如:张三;李四;老王),后台会以;分割sign字段,在每个cookie页面都作为关键词检测
如果含有其中一个那么就是可用的cooker,否则就是失效的cookie。
5 Redis、SQLite
5.1 Redis
是使用的本地Redis数据库,在window下下载redis——sever.exe服务端打开即可
也可在setting.py文件中修改REDIS_URL地址为远程Redis地址
5.2 SQL
本项目使用的是SQLite数据库,也可换成mysql
将db/peeweetools.py文件中的
blog = PooledSqliteDatabase('static/cookies.db')修改为PooledMySQLDatabase
具体配置看文档
超强cookie池发布,针对日趋严峻的反爬虫形势!
6 使用方法
6.1 启动
在环境配置好的前提下,运行web.py文件,即可启动
6.2 存放cookie
6.2.1 存放selenium的cookie
<pre style="-webkit-tap-highlight-color: transparent; box-sizing: border-box; font-family: Consolas, Menlo, Courier, monospace; font-size: 16px; white-space: pre-wrap; position: relative; line-height: 1.5; color: rgb(153, 153, 153); margin: 1em 0px; padding: 12px 10px; background: rgb(244, 245, 246); border: 1px solid rgb(232, 232, 232); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">from selenium import webdriver
from handle.Interface import put_cookie
url = "'
driver = webdriver.Chrome()
driver.get(url)
data = driver.get_cookies()
put_cookie(url, data)
</pre>
此时selenium的cookie就放到了Redis,在redis中的key是cookies:domain格式
6.2.2 存放本地Chrome中的cookie
运行web.py之后打开:端口/
在获取cookie框中填入网址
超强cookie池发布,针对日趋严峻的反爬虫形势!
或者通过调用内部方法
<pre style="-webkit-tap-highlight-color: transparent; box-sizing: border-box; font-family: Consolas, Menlo, Courier, monospace; font-size: 16px; white-space: pre-wrap; position: relative; line-height: 1.5; color: rgb(153, 153, 153); margin: 1em 0px; padding: 12px 10px; background: rgb(244, 245, 246); border: 1px solid rgb(232, 232, 232); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">from handle.getcookie import get_chrome_cookie
from handle.Interface import put_cookie
url = ""
cookie_list = get_chrome_cookie(url) # 返回淘宝的cookie列表
put_cookie(url, cookie_list)
</pre>
6.2.3 存放requests/Session的cookie
向get_reque_session_cookie函数中传入response对象将解析cookie
<pre style="-webkit-tap-highlight-color: transparent; box-sizing: border-box; font-family: Consolas, Menlo, Courier, monospace; font-size: 16px; white-space: pre-wrap; position: relative; line-height: 1.5; color: rgb(153, 153, 153); margin: 1em 0px; padding: 12px 10px; background: rgb(244, 245, 246); border: 1px solid rgb(232, 232, 232); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">import requests
from requests import Session
from handle.Interface import put_cookie
from handle.getcookie import get_reque_session_cookie
url = ""
response = requests.get(url)
session = Session.get(url)
cookies = get_reque_session_cookie(response)
cookies = get_reque_session_cookie(session)
put_cookie(url, cookies)
</pre>
6.2.4 存放scrapy的cookie
使用方法大致同获取requests/Sessioncookie的方法一致
将scrapy的response对象传入get_scrapy_cookie函数
6.2.5 存放cookie字符串
<pre style="-webkit-tap-highlight-color: transparent; box-sizing: border-box; font-family: Consolas, Menlo, Courier, monospace; font-size: 16px; white-space: pre-wrap; position: relative; line-height: 1.5; color: rgb(153, 153, 153); margin: 1em 0px; padding: 12px 10px; background: rgb(244, 245, 246); border: 1px solid rgb(232, 232, 232); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">from handle.Interface import put_cookie
from handle.getcookie import get_text_cookie
url = ""
str = """REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1;
SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; to_lang_often=%5B%7B%22value%22
%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%2C%7B%22value%22%3A%2
2zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%5D; from_lang_often=%5B%7B%2
2value%22%3A%22zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%2C%7B%22value%2
2%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%5D; Hm_lvt_64ecd82404c5
1e03dc91cb9e8c025574=1546396967,1548035203; BAIDUID=E6BB8BCF4B51CC6A516F391
20FB9580F:FG=1; PSTM=1548043541; BIDUPSID=A4BC9C784FA26726086F330B96C55BA1;
ZD_ENTRY=baidu; delPer=0; locale=zh; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598;
Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1548057039; PSINO=3; BDRCVFR[qQNS-
g6pS-_]=mbxnW11j9Dfmh7GuZR8mvqV; H_PS_PSSID=26523_1456_21118_28329_28132_26
350_28266_27245"""
cookies = get_text_cookie(url, str)
put_cookie(url, cookies)
</pre>
或者在html页面操作:
超强cookie池发布,针对日趋严峻的反爬虫形势!
6.3 获取cookie
6.3.1 通过接口获取cookie
<pre style="-webkit-tap-highlight-color: transparent; box-sizing: border-box; font-family: Consolas, Menlo, Courier, monospace; font-size: 16px; white-space: pre-wrap; position: relative; line-height: 1.5; color: rgb(153, 153, 153); margin: 1em 0px; padding: 12px 10px; background: rgb(244, 245, 246); border: 1px solid rgb(232, 232, 232); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">import requests
url1 = ':端口号/random?url=网址' # 随机获取一条该域名的cookie
url2 = ':端口号/all?url=网址' # 返回该域名的所有cookie
cookies = requests.get(url1)
</pre>
6.3.2 通过内部方法获取cookie
<pre style="-webkit-tap-highlight-color: transparent; box-sizing: border-box; font-family: Consolas, Menlo, Courier, monospace; font-size: 16px; white-space: pre-wrap; position: relative; line-height: 1.5; color: rgb(153, 153, 153); margin: 1em 0px; padding: 12px 10px; background: rgb(244, 245, 246); border: 1px solid rgb(232, 232, 232); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">from handle.Interface import get_cookie
url = ""
cookies = get_cookie(url) # 返回所有cookie
</pre>
6.4 cookie的检测
6.4.1 配置检测信息
在检测之前需要配置相关的信息
超强cookie池发布,针对日趋严峻的反爬虫形势!
TEST_TYPE:检测类型,是通过requests打开配置的URL还是通过selenium打开
TEST_URL:含有验证信息的页面地址如:登录页、个人资料页面
TEST_SIGN:鉴别有效cookie的字段如用户名等,多个cookie的不同字段用英;连接起来
三个字段必须配置,不配置不能保存;配置后点击保存,然后再点击检测。
好啦,以上就是我的全部分享,如果你跟我一样都喜欢python,想成为一名优秀的程序员,也在学习python的道路上奔跑,欢迎你加入python学习群:839383765 群内每天都会分享最新业内资料,分享python免费课程,共同交流学习,让学习变(编)成(程)一种习惯!
标签: #pythongetcookie