前言:
眼前兄弟们对“爬虫 框架”大概比较着重,你们都想要学习一些“爬虫 框架”的相关内容。那么小编也在网摘上网罗了一些关于“爬虫 框架””的相关内容,希望兄弟们能喜欢,我们一起来了解一下吧!项目名称:Crawlab
项目作者:tikazyq
开源许可协议:BSD-3-Clause
项目地址:
项目简介
Crawlab 是一款基于Golang的分布式爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。
Crawlab 主要解决的是大量爬虫管理困难的问题,例如需要监控上百个网站的参杂scrapy和selenium的项目不容易做到同时管理,而且命令行管理的成本非常高,还容易出错。Crawlab支持任何语言和任何框架,配合任务调度、任务监控,很容易做到对成规模的爬虫项目进行有效监控管理。
项目架构
Crawlab的架构包括了一个主节点(Master Node)和多个工作节点(Worker Node),以及负责通信和数据储存的Redis和MongoDB数据库。
前端应用向主节点请求数据,主节点通过MongoDB和Redis来执行任务派发调度以及部署,工作节点收到任务之后,开始执行爬虫任务,并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简,去除了不必要的节点监控模块Flower,节点监控主要由Redis完成。
项目截图
目前该项目已经更新至 0.5.1 版本,如果你看了介绍后想要上手试一试它的表现如何, 那么就点击下方了解更多,前往项目主页看看具体的部署方法和流程吧。
标签: #爬虫 框架