#头条创作挑战赛#

1. 通用的搜索引擎

例如，百度、Google 等根据网页输入的关键词，系统后台不停歇地在互联网各个节点爬行， 在爬行过程中尽可能快地发现和抓取原生网页数据，并且经过解析处理，用网页的形式展现给查 询者。

2. 推荐引擎

例如，今日头条是根据用户的浏览习惯来猜测用户可能感兴趣的内容，然后根据用户的兴趣 点，每天爬虫爬取大量的网站并将这些数据分析推送给用户。

3. 机器学习的数据样本

现在机器学习已经越来越流行，但是机器学习最重要的基础就是大量的数据样本。例如，围 棋人机大战，韩国围棋九段棋手李世石、中国围棋九段棋手柯洁分别与人工智能围棋程序“阿尔 法围棋”（AlphaGo）之间的两场比赛。第一场为 2016 年 3 月 9 日至 15 日在韩国首尔进行的五番 棋比赛，阿尔法围棋以总比分 4:1 战胜李世石；第二场为 2017 年 5 月 23 日至 27 日在中国嘉兴乌 镇进行的三番棋比赛，阿尔法围棋以总比分 3:0 战胜世界排名第一的柯洁。谷歌人工智能程序阿 尔法围棋（AlphaGo）就是基于深度学习技术研究开发的，其中有一点，它结合了数百万人类围棋 专家的棋谱，以及强化学习的监督学习进行了自我训练。这使其在围棋技艺上获得巨大提升，并 战胜了职业棋手。

因此，现在大量做机器学习研究的人，会去互联网上爬取一些合法的数据，供自己做机器学 习数据训练使用。

4. 数据分析

数据分析是指用适当的统计、分析方法对有组织有目的地从互联网上收集来的大量数据进行 分析，将它们加以汇总和理解并消化，找出所研究对象的内在规律，以求最大化地开发数据的功 能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总 结的过程。例如，设计人员在开始一个新的设计以前，要通过广泛的设计调查，分析所得数据以 判定设计方向，因此数据分析在产品设计中具有极其重要的地位。商家可以通过互联网上采集的 用户购买历史记录分析来建立模型，指定销售策略，为他们量身预测未来的购物清单，进而设计 促销活动和个性服务，让他们源源不断地为之买单。

Futrix Health 是一家专注于通过数据为患者制 定医疗解决方案的公司，从安装在智能手机上的个人健康应用，到诊所、医院里医生使用的电子 健康记录仪，甚至是革命性的数字化基因组数据，均连接到后端数据仓库上，从而为患者制定最 佳的医院选择、医药选择。当然，不同的用户会根据自己的需求，将从互联网上爬取的合法数据， 加以分析整理，应用到自己需要的方面。

如今是大数据时代，数据分析不再是简单地收集这些数据，而是如何运用数据来更好地认知 这个世界。

5. 购物比价

如今各大电商平台为了活跃用户进行各种秒杀活动，还有优惠券等。同样的一个商品可能在 不同网购平台价格不同。例如，返利网、折多多等。这些网站一般通过爬虫（数据采集系统 ) 来实 时监控各站的价格浮动，让其上的浏览者在几分钟之内甚至秒级的时间内知道一件商品在某站有 9 Scrapy 网络爬虫知识介绍 第 2 章 何优惠。

6. 网络舆情分析

网络舆情是以网络为载体，以事件为核心，是所有网民情感、态度、意见、观点的表达在互 联网上的传播与互动体现。它采用网络自动抓取等技术手段来获取搜索引擎、新闻门户、论坛、 博客、微博、微信、报刊、视频的舆情信息，效率高而且带有广大网民的主观性，未经媒体验证 和包装，直接通过多种形式发布于互联网上。信息保真，覆盖面全。