龙空技术网

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

Gitee 2059

前言:

眼前兄弟们对“爬虫 框架”大概比较着重,你们都想要学习一些“爬虫 框架”的相关内容。那么小编也在网摘上网罗了一些关于“爬虫 框架””的相关内容,希望兄弟们能喜欢,我们一起来了解一下吧!

项目名称:Crawlab

项目作者:tikazyq

开源许可协议:BSD-3-Clause

项目地址:

项目简介

Crawlab 是一款基于Golang的分布式爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。

Crawlab 主要解决的是大量爬虫管理困难的问题,例如需要监控上百个网站的参杂scrapy和selenium的项目不容易做到同时管理,而且命令行管理的成本非常高,还容易出错。Crawlab支持任何语言和任何框架,配合任务调度、任务监控,很容易做到对成规模的爬虫项目进行有效监控管理。

项目架构

Crawlab的架构包括了一个主节点(Master Node)和多个工作节点(Worker Node),以及负责通信和数据储存的Redis和MongoDB数据库。

前端应用向主节点请求数据,主节点通过MongoDB和Redis来执行任务派发调度以及部署,工作节点收到任务之后,开始执行爬虫任务,并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简,去除了不必要的节点监控模块Flower,节点监控主要由Redis完成。

项目截图

登录

首页

节点列表

节点拓扑图

爬虫列表

爬虫概览

爬虫分析

爬虫文件编辑

任务抓取结果

任务日志

定时任务

消息通知

目前该项目已经更新至 0.5.1 版本,如果你看了介绍后想要上手试一试它的表现如何, 那么就点击下方了解更多,前往项目主页看看具体的部署方法和流程吧。

标签: #爬虫 框架