2017第八届中国数据库技术大会(DTCC2017)于2017年5月11-13日在北京举办。本届大会以“数据驱动·价值发现”为主题，汇集了来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家，共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。

3年时间的积累，全球多个机房部署，线上集群超过100台，单份数据大小超过5T，每日更新资产超过1000万……

在网络安全行业的搜索引擎到底是怎样的呢?大数据在这其中发挥了什么作用?白帽汇又是怎样做的?……

带着这些问题，我们走进5月13日“搜索技术”专场，白帽汇公司创始人、CTO龙专进行的《大数据在安全行业的应用网络空间测绘》主旨分享，一起来寻求答案。

▲白帽汇公司创始人、CTO 龙专

白帽汇龙专——大数据在安全行业的应用包含四个关键点：一是网络空间的资产搜索;二是安全漏洞扫描;三是用Redis来进行数据收集储存;四是用Elasticsearch来搭建网络空间的搜索引擎。

安全漏洞频发 系统安全如何保障?

近年来，网络安全问题日益突出，系统层面的应用安全漏洞频发，严重者导致数据信息泄露，企业资产损失巨大。就在前不久3月份，多家网络安全公司发现并曝光了全球最为流行的Java Web服务器框架之一的Apache Struts2存在漏洞，并将其定级为高级漏洞，令不少网络安全圈内人士咋舌。

这种安全漏洞曝光事件在安全圈已经见怪不怪了，比如Shadow Brokers公布过NSA黑客工具，里面就包含了众多Windows 0day漏洞。此外，IOT设备弱口令、PHPMailer命令执行漏洞、ImageMagic命令执行漏洞、Redis未开启验证导致数据泄露、Elasticsearch和CauchDB等系统勒索事件等也受到业内人士的关注。

白帽汇公司创始人、CTO龙专说道：“当某个安全漏洞突发的时候，需要统计和分析包括，一有多少联网设备使用这个系统?二有哪些系统受到了影响?这是一个无法规避却又难以解决的问题。”

白帽汇提供了一个解决方案——网络空间测绘+全网扫描。网络空间测绘是运用一些技术方法，来探测全球互联网空间上的资产业务应用和分布情况，并用搜索引擎的方式提供服务，可供搜索的范围包括所有联网的资产。网络空间测绘是对资产进行安全管理的更为有效的一种形式。

网络空间测绘与资产管理的区别见下表所示：

网络空间测绘：我们需要一个FOFA

“每类资产，都有自己的指纹;单个资产，也有自己的指纹。”

企业资产就好比人的指纹，龙专在演讲中表示。指纹可以代表人的身份ID，企业的资产也有可以代表它们身份的ID指纹，依靠网络空间测绘可以帮助企业找出每个资产的专属指纹。

而网络空间测绘解决方案的实践，龙专说道，我们需要一个搜索引擎去实现。

这个搜索引擎就是FOFA。当我们想要获取某个系统的分布情况;想要知道哪些网站用了某套系统;想要获取一个根域名下所有子域名网站;想要根据一个子域名网站找到跟它在一个IP的其他网站，都需要用到FOFA。

特别是当你进行全网漏洞扫描时，你想要知道一个新的漏洞在全网的影响范围有多大，FOFA都可以帮到你。

▲针对特定系统的检索

FOFA能够针对HTML正文进行代码级别的全文检索，支持非标准端口，具有指纹识别后置以及自定义规则库，可以随时应对新系统，无需重新爬虫或重新分析。此外FOFA聚焦网站资产，数据量更大，覆盖也更全面。

FOFA能够帮助企业迅速进行网络资产匹配，快速开展漏洞影响范围分析、应用分布统计等工作。

搜索+漏洞扫描 大数据为安全行业站台

FOFA的一大特色功能是可以进行全网扫描，实现搜索引擎与漏洞扫描的结合。

龙专在演讲中表示，传统Web漏洞扫描存在很多缺点，比如传统的nmap端口扫描速度慢，快速端口扫描存在丢包的问题，还存在防火墙误报问题。

▲全网扫描与传统Web漏洞扫描的区别

其实空间测绘的基础是端口扫描，因此FOFA针对针对协议识别速度慢和防火墙误报问题，开发了一套协议识别程序，其可以覆盖240+端口，进行110+协议的深度解析，包括主流的网络服务、数据库、IOT，甚至是工控协议。而为了识别各个组件上的具体应用，FOFA收集和整理了一套指纹识别库，目前已拥有超过5500+的识别规则。

FOFA的核心技术是Elasticsearch的使用。我们知道，数据快速更新会带来一些问题，比如更新的数据量大，插入缓冲区(Redis)积压严重，导致其不稳定，更导致全文搜索速度慢。FOFA在进行数据迁移时，Mysql不能实时地生成索引，因而FOFA选择用Elasticsearch进行数据迁移，解决实时索引的问题。

据悉，目前FOFA已在全球多个机房部署，线上集群超过100台，单份数据大小超过5T，每日更新资产超过1000万。