出品 | 智东西公开课

讲师 | 邸志惠 京东高级算法工程师

提醒 | 关注智东西公开课公众号，并回复关键词 CV研究08，即可获取课件。

导读：

6月10日，京东高级算法工程师邸志惠在智东西公开课进行了CV前沿讲座第八讲的直播讲解，主题为《大规模图像检索系统的挑战与实践》。

在本次讲解中，邸志惠老师从大规模图像检索任务所面临的挑战入手，详细解析了Vearch的原理，最后通过三个案例展示Vearch如何在实践场景中助力深度学习应用落地。

本文为此次课程主讲环节的图文整理：

正文：

大家好，我是邸志惠，今天我要分享的主题为《大规模图像检索系统的挑战与实践》，我们会分为3个部分：

1、大规模图像检索任务所面临的挑战

2、Vearch原理解析

3、Vearch在深度学习场景中的实践

大规模图像检索任务所面临的挑战

随着深度学习技术的快速发展，它的相关应用也渗透到了我们生活的方方面面。深度学习是通过将图片、文本、视频等编码成高维特征向量来解决问题的，这就出现了海量高维特征向量的存储与计算问题，这些问题急需得到很好的解决。

人脸识别与拍照购场景：

智能助理与娱乐场景：

我们现在的生活已经被AI所包围，比如早上进办公室时，需要过人脸闸机，但就是这简单的生活场景，想一下之前传统的方案是什么样子？若有陌生人来，我们靠保安去识别时，怎么去判断准确性？即使保安熟悉天天进出的人，他也不会记忆这么多人的信息，而且对每个人的精准识别也是有限的。所以，传统的方案在应对这些场景时都是会有很大的瓶颈。然而深度学习可以利用生物特征的唯一性以及难以作假的特性。

以上这些场景，都是新的query与数据库中数据做搜索对比得到排序结果的应用。传统方案是采用人工提取特征，但是由于特征量少，无法刻画事物的唯一性，比如人脸识别过闸机场景，证件等外部性证明都容易作假，靠保安人员记忆，容貌相近的无关人员有可能乱入，还有银行卡靠账户密码转账的盗刷事件时有发生。上述杯子拍照购场景，无论搜卡通杯，还是白色陶瓷杯，还是白色卡通陶瓷杯都无法精确得到上图结果。

深度学习的出现，通过编码图片、文本、视频等的高维度信息为固定维特征向量，使事物得到精准量化表示，导致搜索结果可以高质量精准排序。比如上述人脸场景，深层网络会提取人脸的眼睛、鼻子、嘴巴、皮肤纹理等上万维特征编码成向量来唯一刻画人脸的唯一性。在智能助理外卖推荐场景，深层网络可以分别把用户画像(口味，位置距离，性别，薪资)等多个维度的信息与商家画像（菜品，菜价，评论，风格，距离）多个维度信息编码成高维特征向量，计算二者的相似度，做精准量化匹配。

但是深度学习的使用也面临新的棘手的问题：

海量高维特征的存储问题 特征向量的相似性计算搜索问题

这两大问题，传统数据库是基于key/value的模糊查询搜索原理，无法完成向量计算的操作。目前落地环节都是针对各自场景自己训练深度学习算法，在开发对应的向量检索系统，存在大量重复工作，这对算法工程师也不友好。目前尚没有通用的在线解决方案，我们开源的vearch专门针对上述问题开发的在线易用的，用以解决海量特征向量的存储、计算、相似向量检索问题。

Vearch原理解析

Vearch 是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统，主要解决数亿级别向量的存储和计算查询的问题。

Vearch整体架构如下：

分为三个组件：Master，Router，PartitionServer

Master：负责schema管理，集群级别的源数据和资源协调。

Router：提供RESTful API: create、delete、search、update; 请求路由转发及结果合并。

PartitionServer(PS)：基于raft复制的文档分片;Gamma向量搜索引擎,它提供了存储、索引和检索向量、标量的能力。

Vearch功能简介

支持CPU与GPU两种版本。

支持实时添加数据到索引。

支持单个文档定义多个向量字段, 添加、搜索批量操作。

支持数值字段范围过滤与string字段标签过滤。

支持IVFPQ、HNSW、二进制等索引方式。

支持内存、磁盘两种数据存储方式，支持超大数据规模

自研gamma引擎，提供高性能的向量检索，同时IVFPQ倒排索引支持compaction，检索性能不受文档更新次数的影响

基于raft协议实现数据多副本存储

支持内积(InnerProduct)与欧式距离(L2)方法计算向量距离

Vearch支持如下三种使用方式，同时支持分布式

Restful API

Python SDK

Plugin

Vearch的相关性能与效果测评

下面的性能测评有助于我们在实践过程中根据自己的使用场景选择合适的参数。

Nprobe实验，由下图可知，recall在10左右，recall与qps都能得到很好的效果。开源系统默认值为10。

IVFPQ检索模型相关对比实验

Ncentroids实验，IVFPQ是适合亿级别数据的检索方式，检索时会提前对数据库里的数据聚类，Ncentroids是聚类的质心个数，大家可根据自己的使用场景及数据量手动设置如下指标。

IVFPQ检索模型相关对比实验

分布式测试实验，不同线代表的是不同数据级别，绿色代表是最大的亿级别的数据，蓝色代表500MB的数据量，红色代表100MB数据量，测试模型是VGG，测试集群为三台Master，三台Router，三台partition。虚线部分是采用过滤字段后的效果，可以看到QPS提高2.5倍。故在设定数据表时，如有额外可利用的字段，一定要建进去，后续提升搜索性能。

大规模CPU服务器集群测试

下图是不同量级数据集在相关算法上的效率,从测评结果来看，vearch不论在大数据集还是小数据集上，都有较高召回率，表现都优于其他检索算法。

Vearch在深度学习场景中的实践

下文结合三个实践场景详细说明vearch的三个使用方式。

Vearch的安装：

Vearch的github地址：

Vearch使用文档：

Vearch可通过编译的方式使用restful API接口，简单单机验证型场景可通过

Pip install vearch安装，编译完成后，配置如下配置文件：

执行命令：./vearch -conf config.toml，同时启动master，ps，router机器

3.1 Vearch和resnet构建图像搜索引擎

针对人脸识别场景，基于resnet50跟vearch四步搭建人脸识别搜索系统。需要提前训练并已部署好的图片特征向量提取模型resnet50，准备好人脸数据库。

下面以restful API使用方式展示详细搭建步骤：

Step1：创建人脸引擎

Step2：创建人脸数据表

max_size：数据库中数据尺寸大小

retrieval_type有IVFPQ跟HNSW以及二进制三种选择，IVFPQ存储的是压缩后的特征向量，这可以大大提升搜索效率，但是搜索精度也会有所下降，nsubvector表示压缩后的维度设置，故IVFPQ适合数亿级别数据集。HNSW是存储原始特征向量，故适合千万级别数据。Ncentroids表示搜索时数据的聚类的类别数目，可根据特定场景灵活设置。

如果数据有明显的字段可设置的话，建议设置，比如人脸识别的性别，商品的品类等，后期搜索可大大提升检索速度

Step3：插入人脸数据

可以单条插入也可以批量插入

Step4：查询

查询时可以通过设置字段过滤的方式，极大提升搜索速度，比如人脸识别中性别字段与年龄字段。当查询face是男儿童时，可以通过设置性别与年龄范围大大缩小查询数据集的大小，极大地提升搜索速度与效率。也可通过size字段设置查询结果数量。

3.2 vearch在拍照购场景搭建搜索引擎

训练并部署商品图片特征提取模型，也用上述resnet50，准备电商场景各品类商品图片库，采用python SDK方式搭建拍照购索索引擎，同样四步搭建。

Step1：创建拍照购引擎

Step2：创建商品数据表

Step3：插入商品数据

Step4：查询及结果展示

3.3 vearch的分布式使用

Vearch的分布式部署如下图，只需要修改集群配置文件，修改如果master的ip部分，并将配置文件复制到集群每台机器中，分别在master，ps，router机器上执行对应启动命令即可。

3.4 vearch的plugin使用方式

Plugin方式是我们针对常用文本，图像场景内置了通用提取文本特征的bert模型跟提取图片特征向量的resnet，vgg模型等常规模型，很多精确度需求不高且需要快速获取结果的场景使用，此时引擎配置时model部分设置预置的模型即可，直接构建自己的向量数据库进行相似性搜索即可。如下图

Plugin使用

总结

Vearch具有实时查询、方便维护，易于扩展等特性，同时提供了多种使用方式且部署灵活，同时支持深度学习落地绝大多数相似性向量搜索场景，不论输入是文本、图片、音频还是视频，只要能通过深度学习编码成高维特征向量，就可用vearch来一键部署对应的搜索系统。