人脸识别及刷脸支付技术调研

一）技术特点简介

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。

人脸与人体的其它生物特征（指纹、虹膜等）一样与生俱来，它的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提，与其它类型的生物识别比较人脸识别具有如下特点：

1）非强制性：用户不需要专门配合人脸采集设备，几乎可以在无意识的状态下就可获取人脸图像，这样的取样方式没有“强制性”；

2）非接触性：用户不需要和设备直接接触就能获取人脸图像；

3）并发性：在实际应用场景下可以进行多个人脸的分拣、判断及识别；

二）技术流程

人脸识别系统主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。

1）人脸图像采集及检测

人脸图像采集：不同的人脸图像都能通过摄像镜头采集下来，比如静态图像、动态图像、不同的位置、不同表情等方面都可以得到很好的采集。当用户在采集设备的拍摄范围内时，采集设备会自动搜索并拍摄用户的人脸图像。

人脸检测：人脸检测在实际中主要用于人脸识别的预处理，即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。

主流的人脸检测方法基于以上特征采用Adaboost学习算法，Adaboost算法是一种用来分类的方法，它把一些比较弱的分类方法合在一起，组合出新的很强的分类方法。

人脸检测过程中使用Adaboost算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，有效地提高分类器的检测速度。

2）人脸图像预处理

人脸图像预处理：对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

3）人脸图像特征提取

人脸图像特征提取：人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。

基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。

4）人脸图像匹配与识别

人脸图像匹配与识别：提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。这一过程又分为两类：一类是确认，是一对一进行图像比较的过程，另一类是辨认，是一对多进行图像匹配对比的过程。

三）识别算法

一般来说，人脸识别系统输入一般是一张或者一系列含有未确定身份的人脸图像，以及人脸数据库中的若干已知身份的人脸图象或者相应的编码，而其输出则是一系列相似度得分，表明待识别的人脸的身份。

人脸识别算法分类

基于人脸特征点的识别算法（Feature-based recognition algorithms）。

基于整幅人脸图像的识别算法（Appearance-based recognition algorithms）。

基于模板的识别算法（Template-based recognition algorithms）。

利用神经网络进行识别的算法（Recognition algorithms using neural network）。

基于光照估计模型理论（提出了基于Gamma灰度矫正的光照预处理方法,并且在光照估计模型的基础上，进行相应的光照补偿和光照平衡策略）

优化的形变统计校正理论（基于统计形变的校正理论，优化人脸姿态）；

强化迭代理论（强化迭代理论是对DLFA人脸检测算法的有效扩展）；

独创的实时特征识别理论（该理论侧重于人脸实时数据的中间值处理，从而可以在识别速率和识别效能之间，达到最佳的匹配效果）

四）主要用途

人脸识别主要用于身份识别。由于视频监控正在快速普及，众多的视频监控应用迫切需要一种远距离、用户非配合状态下的快速身份识别技术，以求远距离快速确认人员身份，实现智能预警。人脸识别技术无疑是最佳的选择，采用快速人脸检测技术可以从监控视频图像中实时查找人脸，并与人脸数据库进行实时比对，从而实现快速身份识别。

五）应用前景

当前社会上频繁出现的入室偷盗、抢劫、伤人等案件的不断发生，鉴于此种原因，防盗门开始走进千家万户，给家庭带来安宁；然而，随着社会的发展，技术的进步，生活节奏的加速，消费水平的提高，人们对于家居的期望也越来越高，对便捷的要求也越来越迫切，基于传统的纯粹机械设计的防盗门，除了坚固耐用外，很难快速满足这些新兴的需求：便捷，开门记录等功能。人脸识别技术已经得到广泛的认同，但其应用门槛仍然很高：技术门槛高（开发周期长），经济门槛高（价格高）。

人脸识别产品已广泛应用于金融、司法、军队、公安、边检、政府、航天、电力、工厂、教育、医疗及众多企事业单位等领域。随着技术的进一步成熟和社会认同度的提高，人脸识别技术将应用在更多的领域。

1、企业、住宅安全和管理。如人脸识别门禁考勤系统，人脸识别防盗门等。

2、电子护照及身份证。中国的电子护照计划公安部一所正在加紧规划和实施。

3、公安、司法和刑侦。如利用人脸识别系统和网络，在全国范围内搜捕逃犯。

4、自助服务。

六）主要产品

1）数码相机（人脸自动对焦和笑脸快门技术）：

首先是面部捕捉。它根据人的头部的部位进行判定，首先确定头部，然后判断眼睛和嘴巴等头部特征，通过特征库的比对，确认是人面部，完成面部捕捉。然后以人脸为焦点进行自动对焦，可以大大的提升拍出照片的清晰度。笑脸快门技术就是在人脸识别的基础上，完成了面部捕捉，然后开始判断嘴的上弯程度和眼的下弯程度，来判断是不是笑了。以上所有的捕捉和比较都是在对比特征库的情况下完成的，所以特征库是基础，里面有各种典型的面部和笑脸特征数据。

2）门禁系统

受安全保护的地区可以通过人脸识别辨识试图进入者的身份。人脸识别系统可用于企业、住宅安全和管理。如人脸识别门禁考勤系统，人脸识别防盗门等。

人脸识别门禁是基于先进的人脸识别技术，结合成熟的ID卡和指纹识别技术而推出的安全实用的门禁产品。产品采用分体式设计，人脸、指纹和ID卡信息的采集和生物信息识别及门禁控制内外分离，实用性高、安全可靠。系统采用网络信息加密传输，支持远程进行控制和管理，可广泛应用于银行、军队、公检法、智能楼宇等重点区域的门禁安全控制。

3）身份辨识

可在机场、体育场、超级市场等公共场所对人群进行监视，例如在机场安装监视系统以防止恐怖分子登机。如银行的自动提款机，用户卡片和密码被盗，就会被他人冒取现金。同时应用人脸识别就会避免这种情况的发生。通过查询目标人像数据寻找数据库中是否存在重点人口基本信息。例如在机场或车站安装系统以抓捕在逃案犯。

4）网络应用

利用人脸识别辅助信用卡网络支付，以防止非信用卡的拥有者使用信用卡等。如计算机登录、电子政务和电子商务。在电子商务中交易全部在网上完成，电子政务中的很多审批流程也都搬到了网上。而当前，交易或者审批的授权都是靠密码来实现。如果密码被盗，就无法保证安全。如果使用生物特征，就可以做到当事人在网上的数字身份和真实身份统一。从而大大增加电子商务和电子政务系统的可靠性。

5）娱乐应用

人脸识别技术广泛地应用于日常生活中，如相机拍摄，图片对比等，尤其近两年来，相亲节目如火如荼，其中浙江电视台的爱情连连看中的最佳夫妻像环节就利用了人脸对比技术来测试男女主人公面相的相似程度。

随着移动互联网的崛起，一些人脸识别技术的开发者将该项技术应用到娱乐领域中，如应用开心明星脸等，根据人脸的轮廓，肤色，纹理，质地，色彩，光照等特征来计算照片中主人公与明星的相似度。

六）应用示例

2013年9月5日，刷脸支付系统在中国国际金融展上亮相。 刷脸支付系统基于天诚盛业自主研发的生物识别云金融平台，将自主知识产权军用级别的人脸识别算法与现有的支付系统进行融合，对接了我们生活中涉及到支付、转账、结算和交易的环节。在支付时人们不再需要银行卡、存折和密码，甚至是手机，只需要对着摄像头点个头、露个笑脸，刷脸支付系统将会在几秒内完成身份确认、账户读取、转账支付、交易确认等一站式支付环节，为用户创建更棒的支付体验。

2014年8月起，日本将在部分机场的出入国审查(边检)处重启人脸识别系统的实验。2012年实施的首次实验因错误频发而一度中止，但法务省认为，为迎接2020年东京奥运会需提高边检速度，于是决定重启实验。实验在2014年8月起进行约5周，对象为在羽田机场和成田机场乘机的日本人。日本政府在各地机场设置了仅凭指纹识别便可通过的自动边检门，但因需要事先登记指纹，乘客利用率不高。人脸识别则无需事先登记。

2015年3月15日汉诺威IT博览会(CeBIT)在德国开幕，阿里巴巴创始人马云作为唯一受邀的企业家代表，在开幕式上作了主旨演讲。在发表演讲后，马云还为德国总理默克尔与中国副总理马凯演示了蚂蚁金服的Smile to Pay扫脸技术，并当场刷自己的脸给嘉宾买礼物。马云选择的礼物是淘宝网上

一枚1948年的汉诺威纪念邮票。他用手机登陆淘宝，首先选择产品；第二步进入支付系统，确认支付后出现扫脸的页面；然后扫脸(拍照后)后台认证；接着显示支付成功。马云现场为德国总理默克尔赠送了一份特殊礼物：一张纪念版的德国日历页，且恰好就是这位女总理的出生年月

六）应用的不确定性

人脸识别的优势在于其自然性和不被被测个体察觉的特点。所谓自然性，是指该识别方式同人类（甚至其他生物）进行个体识别时所利用的生物特征相同。例如人脸识别，人类也是通过观察比较人脸区分和确认身份的，另外具有自然性的识别还有语音识别、体形识别等，而指纹识别、虹膜识别等都不具有自然性，因为人类或者其他生物并不通过此类生物特征区别个体。

不被察觉的特点对于一种识别方法也很重要，这会使该识别方法不令人反感，并且因为不容易引起人的注意而不容易被欺骗。人脸识别具有这方面的特点，它完全利用可见光获取人脸图像信息，而不同于指纹识别或者虹膜识别，需要利用电子压力传感器采集指纹，或者利用红外线采集虹膜图像，这些特殊的采集方式很容易被人察觉，从而更有可能被伪装欺骗。

人脸识别被认为是生物特征识别领域甚至人工智能领域最困难的研究课题之一。人脸识别的困难主要是人脸作为生物特征的特点所带来的，主要表现在：

1）相似性

不同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个体是不利的。

2）易变性

人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差很大，另外，人脸识别还受光照条件（例如白天和夜晚，室内和室外等）、人脸的很多遮盖物（例如口罩、墨镜、头发、胡须等）、年龄等多方面因素的影响。

在人脸识别中，第一类的变化是应该放大而作为区分个体的标准的，而第二类的变化应该消除，因为它们可以代表同一个个体。通常称第一类变化为类间变化（inter-class difference），而称第二类变化为类内变化（intra-class difference）。对于人脸，类内变化往往大于类间变化，从而使在受类内变化干扰的情况下利用类间变化区分个体变得异常困难

刷身份证合适身份信息，如年龄，户籍等。

腾讯微云提供的人脸核身解决方案：

使用流程：用户扫描身份证正反面，通过身份证 OCR 识别获得并显示用户身份信息，专线核实用户真实身份，同时，用户的活体检测自拍视频，进行唇语活体检测，最后综合用户身份信息的真实性和活体检测的结果生成人脸核身的最终结果。

说明：从上表我们可以看出，智慧零售下的刷脸支付主要分为自助和收银员协助两种，且表格中的刷脸支付开通方式大同小异，大都需要通过前期注册APP或者在已经下载的APP中开通人脸识别免密支付。不过，有几个场景所采用开通方式却不太一样。

淘咖啡：淘咖啡是进店前用淘宝扫描店铺二维码后，生成专属二维码并同时同意支付宝代扣，所以并不需要提前在支付宝APP上开通人脸识别免密支付。

农行：前期用户需要关注农行“金穗慧生活”微信公众号才能开通刷脸支付。

福便利店：通过办理便利店会员卡绑定银行卡才能开通刷脸支付。

相关资讯：

1.付宝刷脸支付开启商业化：移动支付将迎来一轮新的革命！

移动支付的方式目前主要还是以“扫码”为主，当下虽然还衍生出NFC这样的形式，但并未引起变革，不过，一种全新的支付方式——刷脸，或许会引发一场全新的支付革命。

8月15号，支付宝在蚂蚁金服开放日广州站上表示，支付宝刷脸支付技术已经具备了商业化能力，在未来的一年里，将会在各种商业场景上普及自助收银+刷脸支付的解决方案。

“刷脸”相信对大家来说都不陌生，目前在消费者市场应用最广泛的非数手机的“人脸识别”技术不可，刷脸支付其实就是利用人脸识别技术，对支付者人脸进行验证，并完成支付。

对于用户而言，可能最关心的是其安全性和便利性。支付宝人脸识别技术早在2015年已经有实例应用，在经过了多年来的经验积累和技术升级后，目前产品形态已基本成熟，具备商业化能力。

与2D人脸识别技术不同的是，支付宝刷脸支付采用3D人脸识别技术，在识别时会通过软硬件结合进行活体检测，照片、视频或软件模拟等都无法骗过系统的“眼睛”，其识别的准确率达99.99%。

使用方面，相比“扫码”来说无疑更是便利性的再一次升级，对着摄像头看一眼，再输入手机号码便完成支付。通过在现场的一台自助售卖机的刷脸支付体验，从下单到完成购买，全程不到10秒的时间，可以说相当快捷。

当然，它对消费者来说更利好的一个场景是就算手机没电，或者没带手机同样也可以完成支付，一张脸就能走遍神州。

对于商家而言，刷脸支付同样也是一个福音，比如得益于其快捷性，可以有效缓解高峰时段排队结账的现象，提高支付效率，也大大节省人力成本。

卜蜂莲花于今年7月2号在广州lotus plus精品生活超市上线了支付宝刷脸支付功能，卜蜂莲花市场部助理副总裁袁林表示，一台刷脸机=1.5个收银台=3个人力，刷脸支付可以节省50%的时间成本，一年下来则可以减少1344万的人力成本。

肯德基的KPRO餐厅同样也上线了刷脸支付，这也是刷脸支付在全球范围内的首次商用试点，截至目前，全国已经有11个城市的23家肯德基门店支持刷脸支付。

当然，除了肯德基外，在未来包括超市、便利店、药房、服装店等等的众多线下零售场景都会有刷脸支付的存在，其普及速度有望会和当年的“扫码支付”一样让人猝不及防，这就是一场支付变革将要给生活带来的再一次改变。

事实上，支付宝母公司蚂蚁金服也一直强调，自己不是一家金融公司，而是金融科技公司，AI等技术是其重点布局的，蚂蚁金服还在将这样的技术开放给各行各业。“刷脸支付”就是一个强技术驱动的应用，未来，支付宝以及蚂蚁金服应该还会有更多这样的强技术应用面世。

2．微信首次上线刷脸支付，抢先来看腾讯「智慧零售」的真面目

继 11 月 8 日，2017 腾讯全球合作伙伴大会推出「智慧零售解决方案」之后，在尚未过去的 12 月，几乎成为腾讯大踏步进入零售业紧锣密鼓的时间。

从入股永辉超市到认购唯品会，再到京东宣布建设数百家无人超市、腾讯持股的猎豹移动投资无人货架。现在，微信支付更要直接进入线下零售业了。

12 月 25 日，微信支付联合绫致集团旗下品牌 Jack & Jones 在深圳九方广场开设第一家人脸识别智慧时尚体验店，同日上线的还有广州白云万达广场的 VERO MODA 智慧时尚体验店。这些成为微信「刷脸支付」的首度亮相。

在 Jack & Jones 的智慧时尚店，顾客通过「智慧试衣间」屏幕进行「刷脸」，随后关注专属小程序绑定成为品牌会员，开通微信免密支付，即可正式体验人脸识别支付功能。通过人脸识别 AI 技术及精准推荐算法，微信率先赋能时尚行业，将智慧零售概念再次进行能力升级。

由于在线电商已经取得了商品丰富性、购物便利性等方面的先天优势，近两年来，虽然线上线下一体化融合的趋势正在加强，但在差异化的策略之下，如今，线下零售必须展示其独特价值。

线上的便捷性等成为线下零售必须紧跟的升级体验，而到店真实体验等不可替代性特征，又成为实体门店必须着重发力的场景。

绫致总裁执行助理 & 直营数字渠道部负责人刘东岳，在接受知晓程序（微信号 zxcx0101）等采访时就表示，「消费者对到店购物的体验要求，正在呈现更娱乐、更个性、更便利的特征。」需求的升级，引发场景突变，这是绫致等时尚品牌必须借助互联网能力的内在动因。

而与此同时，对于微信支付来说，对零售业的赋能正在逐步深入。但微信支付上线人脸识别其实仍然只能算是一个后发者，对此，微信支付行业中心副总经理黄丽对知晓程序（微信号 zxcx0101）说，「技术是为商业场景服务的，场景诉求会倒逼技术变革和应用升级。微信支付的进入时机更多是与行业需求相适应。

尽管，目前大量处于风口之上的无人零售店都采用了微信支付以及小程序等微信能力，但主要为日货品类。而微信支付为何第一次直接进入，便选择了时尚服饰这样体验流程更长、购物环节更为复杂的领域呢？对此，黄丽并未做出正面回应。

知晓程序则认为，相比较日货品类，服饰行业的体验复杂性正是体现了微信支付对线下商业布局的一个核心思路。因为，真实体验是为线下商业所独有的，在服饰行业则体现的更为直接。从一个相当长的时间来看，即便是直播导购、VR 技术不断推新，但体验和服务仍然是服装等线下零售不可替代的高维价值。

而相比较电商，线下的劣势也会以智慧零售的方式进行弥补。门店物理空间对客流容量的限制；顾客在服装挑选、试穿等体验上的无目的性反复，降低了单个导购的服务能力；以及付款结算环节的排队现象等，都限制了门店的整体接待效能。

当微信人脸识别支付、精准推荐加入之后，门店购物流程得以全面疏通，并将最大限度地削减非购物环节时长，从而带来极致化的购物体验。

微信人脸识别支付不仅仅解决了顾客在场支付的便捷性。事实上，无论是微信支付的赋能，还是零售品牌所觊觎的目标，都是微信生态的流量以及社会化营销。

线上线下正在加速融合。以微信支付、小程序、公众号为工具，零售业不仅可以卷起线下流量带来社交裂变的雪球效应，也能以线上营销等方式反哺线下。

刘东岳对知晓程序（微信号 zxcx0101）描述，「当顾客通过微信扫一下可以进入绫致的小程序商城。如果当时不能下定决心购买，其实还可以把这个产品架构，甚至把整个商城带回家，可以和家人分享，然后再决定是不是要买。」

也就意味着，小程序同时具备了触达线下、直抵线上的双层意义。而除了小程序，微信支付和公众号也是微信可以吸取线下流量的利器；在此之外，微信的公众号、朋友圈广告、小程序广告在做线上营销的同时，也能将广告效应、社会化流量导入到实体门店。

全时空收集用户行为数据，提供精准的用户画像是线上的优势。此次的智慧零售体验方案，「腾讯社交广告」也被加入进来，亦即从本质上来看，腾讯以及微信的广告效应已经突破了空间界限。社会化营销已经被重新定义，每一次营销都是既对线上、也对线下的营销。同时，个性化营销又以精准到具体用户，基于 LBS 精准到用户特定位置等形式进行，庞大的微信平台用户将以上下垂直流通的方式被全部激活到商业领域。

而当人脸识别匹配用户微信 ID 之后，实体门店突破了对用户感知的盲区，对每一位用户的已经事先掌握到了诉求信息，可以更为精细化地开展导购和商品推荐。在购物完成之后，线下数据将进一步加入和完善微信的用户大数据。利用双线数据校正用户画像，实现下一次更为精准的用户营销、用户消费。

以人脸识别支付的方式，微信支付与腾讯优图团队实现了第一次结合。人脸识别被应用到安全性最高的支付领域，说明腾讯的 AI 技术已经迎来全面成熟。

但对于零售品牌而言，微信人脸识别支付最终的数据化承接在于小程序。小程序也成为顾客进入零售店数据体系的入口，也是商家的会员关系管理、会员营销的重要工具。

作为 Jack & Jones 人脸识别智慧时尚体验店小程序开发者，齐数科技总经理孙利军接受知晓程序（微信号 zxcx0101）专访时表示，「以小程序为载体，零售业可将微信支付、腾讯 SPA（腾讯社交广告）、品牌 CRM 、门店智能终端等多维数据打通，从而实现贯穿线上线下人货场的关键业务场景。」

零售行业正在迎来 CRM（客户关系管理）向 SCRM（社会化客户关系管理）、eCRM（电子化客户关系管理） 的变迁。但基于微信平台而言，以往的客户关系管理更多依赖于 HTML5，HTML5 虽然兼容性好，但是交互体验、原生能力、流量 IO、可靠性与安全性等方面后续乏力。

孙利军说到，「小程序自诞生以来已经逐步起了起会员+服务+电商+数字推广的能力」，小程序有助于进一步区划公众号的媒体属性，回归数字平台服务属性。

对于线下零售而言，小程序继承了微信极强的社交和流量价值。线下的已有的用户关系系统被接入之后，在微信的大数据中被唤醒，以购物触达的方式实现一一匹配；线上线下的用户关系重新整合为动态增长一体化数据，并进行一体化营销。而消费者和会员也可以在线上和线下无缝享受会员、产品导购、支付等智能服务。