web爬行器是一种工具或一段代码，执行处理，以提取从因特网上的网页上的数据。各种Web抓取工具在大数据的繁荣中发挥了重要作用，并使人们轻松抓取所需的数据。

作者：伊娜

在各种Web抓取工具中，开源Web抓取工具允许用户根据其源代码或框架进行编码，并为快速，简单但广泛的方式帮助抓取提供了大量支持。 我们将在2019年浏览十大开源Web抓取工具。

1. Scrapy

2. Heritrix

3. Web-Harvest

4. MechanicalSoup

5. Apify SDK

6. Apache Nutch

7. Jaunt

8. Node-crawler

9. PySpider

10. StormCrawler

1. Scrapy

语言：Python

Scrapy是Python中最流行的开源和协作式Web抓取工具。它有助于从网站上高效地提取数据，根据需要对其进行处理，并以您喜欢的格式（JSON，XML和CSV）进行存储。它建立在扭曲的异步网络框架之上，该框架可以接受请求并更快地处理请求。使用Scrapy，您将能够以高效灵活的方式处理大型Web抓取项目。

好处：

快速而强大易于使用的详细文档无需接触核心即可插入新功能的能力健康的社区和丰富的资源云环境下运行刮板

2. Heritrix

语言：JAVA

Heritrix是基于JAVA的开源扩展程序，具有高度可扩展性，并且设计用于Web归档。它高度尊重robot.txt排除指令和Meta机器人标签，并以不影响正常网站活动的可衡量的自适应速度收集数据。它提供了基于Web的用户界面，可通过Web浏览器访问该界面，以便操作员控制和监视爬网。

好处：

可更换的可插拔模块基于Web的界面尊重robot.txt和元机器人标签出色的可扩展性

3. 网络收获

语言：JAVA

Web-Harvest是用Java编写的开源刮板。它可以从指定页面收集有用的数据。为此，它主要利用诸如XSLT，XQuery和正则表达式之类的技术来操作或过滤基于HTML / XML的网站中的内容。可以通过自定义Java库轻松对其进行补充，以增强其提取功能。

好处：

强大的文本和XML操作处理器，用于数据处理和控制流用于存储和使用变量的变量上下文支持真实的脚本语言，可以轻松地将其集成到刮板配置中

4. 机械汤

语言：Python

MechanicalSoup是一个Python库，旨在模拟人在使用浏览器时与网站的交互。它是围绕Python巨人的Requests（用于http会话）和BeautifulSoup （用于文档导航）构建的。它会自动存储和发送cookie，跟随重定向，跟随链接并提交表单。如果您尝试模拟人类行为，例如等待某个事件或单击某些项目，而不仅仅是抓取数据，那么MechanicalSoup真的很有用。

好处：

模拟人类行为的能力快速抓取相当简单的网站支持CSS和XPath选择器

5. 验证SDK

语言：JavaScript

Apify SDK是内置JavaScript的最佳Web抓取工具之一。可扩展的抓取库可使用无头Chrome和Puppeteer开发数据提取和Web自动化作业。借助其独特的强大工具（例如RequestQueue和AutoscaledPool），您可以从几个URL开始，然后递归地链接到其他页面的链接，并分别以系统的最大容量运行抓取任务。

好处：

大规模，高性能刮擦通过代理池验证云，避免被检测到对诸如Cheerio和Puppeteer之类的Node.js插件的内置支持

6. Apache Nutch

语言：JAVA

Apache Nutch是另一个完全用Java编写的开源刮板，它具有高度模块化的体系结构，允许开发人员创建用于媒体类型分析，数据检索，查询和群集的插件。Nutch是可插拔和模块化的，还为自定义实现提供了可扩展的接口。

好处：

高度可扩展和可扩展遵守txt规则充满活力的社区和积极的发展可插拔的解析，协议，存储和索引

7. Jaunt

语言：JAVA

基于JAVA的Jaunt专为网络抓取，网络自动化和JSON查询而设计。它提供了一种快速，超轻巧，无头的浏览器，该浏览器提供了网页抓取功能，对DOM的访问以及对每个HTTP请求/响应的控制，但不支持JavaScript。

好处：

处理单个HTTP请求/响应轻松与REST API接口支持HTTP，HTTPS和基本身份验证DOM和JSON中启用RegEx的查询

8. 节点搜寻器

语言：JavaScript

Node-crawler是基于Node.js的功能强大，流行和生产的Web搜寻器。它完全用Node.js编写，并且本机支持非阻塞异步I / O，这为搜寻器的管道操作机制提供了极大的便利。同时，它支持DOM的快速选择（无需编写正则表达式），并提高了搜寻器开发的效率。

好处：

速率控制URL请求的不同优先级可配置的池大小和重试服务器端DOM和自动Cheerio（默认）或JSDOM的jQuery插入

9. PySpider

语言：Python

PySpider是Python中功能强大的网络爬虫系统。它具有易于使用的Web UI和 具有诸如调度程序，提取程序和处理器之类的组件的分布式体系结构。它支持各种数据库（例如 MongoDB 和 MySQL）进行数据存储。

好处：

强大的WebUI，带有脚本编辑器，任务监视器，项目管理器和结果查看器RabbitMQ， Beanstalk， Redis和 Kombu 作为消息队列分布式架构

10. StormCrawler

语言：JAVA

StormCrawler是成熟的开源Web搜寻器。它由可重复使用的资源和组件组成，这些资源和组件主要用Java编写。它用于在Java中构建低延迟，可扩展和优化的Web抓取解决方案，也非常适合用于输入流，其中URL通过流发送以进行爬网。

好处：

高度可扩展，可用于大规模递归爬网易于扩展的附加库出色的线程管理，可减少爬网的延迟

开源Web抓取工具功能强大且可扩展，但仅限于开发人员。有很多非编码工具，例如Octoparse， 使抓取不再是开发人员的特权。如果您不熟悉编程，那么这些工具将更适合您，并且使抓取变得容易。