当前人脸识别技术主要挑战之一在于样本收集的困难性。很少的样本意味着在收集样本时付出更少的劳动，在存储和处理它们是付出更少的代价。不幸的是，许多现有的人脸识别技术很大程度上依赖于训练样本集的规模和代表性，如果系统中仅有一个训练样本，则将会导致严重的性能下降甚至无法工作。这种情况称之为“单样本”问题，即给出每人一幅人脸的存储数据库，目标是仅根据单幅人脸图像在不同的姿态、光照等条件下从数据库中识别人脸图像的身份。由于训练集非常有限，这样的任务队当前大多数算法而言都是非常具有挑战性的。现有许多技术正试图解决该问题，本文的目的是对这些算法进行分类和评估，对较为突出的算法进行了描述和批判的分析。并讨论了诸如数据采集、小样本规模的影响、系统评估等一些相关问题，同时提出了一些未来研究中具有前景的方向。

关键词：人脸识别；单训练样本

1 引言

作为少数几个同时具有高精度和低干涉的生物特征方法，人脸识别技术在信息安全、法律事实和监控、智能车、访问控制等方面具有大量的潜在应用。因此，在过去20年中人脸识别技术已经受到了来自学术和工业方面的极大关注。近来，一些作者已经从不同方面调查和评估了现有的人脸识别技术。例如，Samal et al. [4] and Valentin et al. [5]分别对基于特征和基于神经网络的技术进行了调研。Yang等[6]评述了人脸识别技术，Pantic and Rothkrantz[7]对自动面部表达分析进行了调研，Daugman [3]指出了涉及人脸识别系统有效性的几个关键问题，而最近的综述应该是Zhao et al. [1],他对许多最新的技术进行了评论。

人脸识别的目的是从人脸图像的数据库中的静态图像或视频图像中识别或验证一个或多个人。许多研究工作集中在怎样提高识别系统的精度，然而，大部分研究工作似乎忽视了一个可能来源于人脸数据库的潜在问题，即可能由于样本采集的困难或由于系统存储空间的限制，数据库中可能对每一个人只存储了一副样本图像。在这种条件下，诸如特征脸（Eigenface）和Fisher人脸识别技术等传统方法将导致严重的性能下降甚至无法工作（详见第2节）。这个问题称之为单样本问题，即即给出每人一幅人脸的存储数据库，目标是仅根据单幅人脸图像在不同的姿态、光照等条件下从数据库中识别人脸图像的身份。由于其挑战性和现实应用的重要性，这个问题很快成为了人脸识别技术近年来的一个研究热点，许多专用技术被开发来解决该问题，例如合成虚拟样本，局部化单一训练图像，概率匹配和神经网络方法。

本文最主要的贡献是给出这些从单一人脸图像进行人脸识别的特定方法一个综合的、评论性的综述。我们相信这些工作是对参考文献[1–7]的一个有用的补充，这些文献中所考察的大多数技术没有考虑单样本问题。实际上，通过对这个问题更多的关注和技术的详细研究，我们希望这篇综述能够对这些技术的基本原则、相互联系、优缺点以及设计优化提供更多深刻的理解。对一些相关问题，如数据收集、小样本空间的影响以及系统评估等也进行了讨论。

接下来我们首先试图建立有关什么是单样本问题以及为什么、何时应道考虑这个问题的一个公共背景。特别的，我们也讨论了该问题所不需要考虑的方面。在第三节我们继续回顾有关该问题的前沿技术。借此，我们希望能够借鉴一些有用的经验来帮助我们更有效地解决这个问题。在第四节中，我们讨论了有关性能评估的几个问题。最后，在第五节中我们通过讨论几个具有前景的研究方向对单样本问题进行了总结。

2 单样本问题

这一节中，我们讨论单样本问题的实质。首先，我们给出直接关系到单样本问题产生的背景。然后描述了单样本问题对现有FR算法的产生的影响以及给FR算法设计带来的挑战。最后我们讨论了为什么以及何时我们应当考虑这个问题。

2.1 背景

单样本问题的起源可以追溯到早期盛行基于几何方法的时期，那时各种各样的构形特征，例如双眼的间距是从单幅人脸图像中人工提取的并作为模板存储起来以供识别。一副人脸图像对于这些方法而言并不存在什么问题。

然而，在一些可以获得大量人脸图像的应用场合（application scenarios）中（例如：执法），我们可能需要一种更加智能并付出更少劳动力的方式来处理这些人脸图像。这直接导致了所谓的基于外观方法的诞生。在拥有（Armed with）了来自不同学科的现代智能方法后，例如计算机视觉、模式识别、机器学习和神经网络，基于外观技术的人脸识别避免（circumvent）了使用人脸图像的向量化表达来处理几何特征的繁琐（laborious）过程，并极大提高了人脸识别系统的效能（effectiveness and efficiency）。因此，这些方法已成为自20世纪90年代以来人脸识别领域的主要方法（dominant techniques）。

然而，基于外观方法的关键要素之一是他们的学习机制，每一类人脸的训练样本数量将对这些学习机制的性能产生极大的影响。当前大多数FR技术假设对同一类人总是可以获得至少2个以上的样本来用于训练。不幸的是在许多世纪应用中，我们可以获得的实际训练样本数量比我们想象的要少得多。更为特别的是，在许多应用场合下，尤其是在大范围的身份验证场合中，例如执法、驾照和护照卡验证，我们在数据库中通常只能为每个人仅仅采集一个样本。此外，我们也很少有机会在基础数据库中去为这些人再添加更多的样本，因为采集样本是有成本的，即便我们这样做了也会存在问题，即，需要添加多少样本以及以何种方式添加。到目前为止，在人脸识别领域对这些情况被研究的并不多。

因此，对每类人仅仅用一个训练样本与那些使用多个训练样本的人脸识别技术加以区别是有意义的。本文中，这两类人脸识别问题分别记作单样本和多样本问题。初看起来，他们之间的区别似乎就在于处理每类人时所使用的训练样本的数量。在这种意义上，单样本问题看起来是多样本问题的一个特例。事实是这样吗？处理多样本问题的算法能够简单地用于处理单样本问题吗？我们将在下一节对此进行讨论。

2.2 单样本问题面临的挑战

在这一节中，我们将讨论单样本问题所带来的影响和挑战。

一般说来，在统计学和模式识别中，单样本问题与小样本空间问题有着直接的联系。如上所述（As mentioned before），基于外观方法的基础在于他们的学习机制，而学习机制（或分类）的经典方法大多需要足够大的训练样本集才能获得一个较好的生成性能，少部分取决于人脸图像的高维表达（在基于外观方法中，人脸图像直接用每一个像素的灰度值来向量化）。例如文献【19】，一副100×100的人脸图像被向量化到一个10000维的特增空间，理论上每一类人的训练样本的数量应当至少是维数的10倍，即是说每类人总共需要100000副图像。直观上，若为了建立一个人脸外观的较好的模型而让其拥有如此多的照片，这几乎是不太可能的。

为了解决这个问题，可以使用降维技术。在人脸识别中PCA方法是最成功的技术之一。在文献【8,9】中基于PCA技术的方法被称之为特征脸。在形式上，每一个n维人脸图像x被看作是一组正交基

的线性权值和：

，通过求解特征值问题

，这里C是N个训练样本的协方差矩阵，可被写作如下形式：

这里，总体散布矩阵C等于类内散布矩阵（intra-person scatter matrix）CI与类间散布矩阵（inter-person scatter matrix）CE的和。在每类人仅有一个训练样本的情况下，CI=0，因此，式（1）简化为等于CE。然而仅用CE来估计特征空间是不可靠的，因为它不能有效地捕获在其他转换误差（transformation errors）和噪声中的主要识别差异。

Fig. 1. Some samples from one subject in ORL dataset.

为了描述受不同训练样本影响的特征脸的执行性能，我们采用ORL数据集为测试平台。ORL数据集含有40个不同类的个体，每一个个体含有10副不同的图像。如图1所示，每个人有10个样本图像。在实验中，我们固定测试的人脸图像，并改变训练样本的数量。更具体的说，我们使用每个人的最后一幅图像来进行测试，并且为每个人随机地选择n副图像（n<9）进行训练。以上过程重复执行20次，图2给出了随训练样本数量变化时的平均最高识别率。由图2可以看出特征脸方法的性能随训练样本数量的减少而下降。在极限情况下，如果每类人仅用一个训练样本，特征脸方法的平均识别率将不足65%，相比使用9个训练样本时的95%的平均识别率则减少了30%。

Fig. 2. The average top 1 recognition performance as a function of the number of training samples per person.

基于标准特征脸技术，近10年来研究者已经开发了各种不同的改进算法，包括基于概率的特征脸[31],，基于子空间的线性判别分析（LDA）[10&ndash;13]（线性判别分析（LDA）是特征提取的有效方法之一，其目的在于从高维特征空间里提取出能使同一类别的样本聚集在一起，不同类别的样本尽量分开的特征，即最具有判别能力的低维特征。也就是说要选择使得样本类间离散度与样本类内离散度的比值最大的特征。处理高维图像时容易产生&ldquo;小样本问题&rdquo;,即样本维数大大超过训练图像个数的问题）,基于SVM的方法[32],，特征线方法[33]，进化追踪（Evolution pursuit），以及Laplacianfaces等（Laplacianfaces 方法首先用 PCA 将图像映射到 PCA 子空间中，然后再在该子空间中采用 LPP 方法，最后所得的变换矩阵可以表示为其中，，该方法能够很好地以线性方式保留人脸内在的几何特性，映射矩阵 W 中的每一列向量便构成了 Laplacianfaces。）。所有这些方法都声称优于特征脸。然而，如果仅有一个训练样本可供使用，则这些方法是不可行的，其效果或者会降低到基本特征脸方法，要么不能工作。详细的解释如下：

(1). 大多数基于LDA的子空间算法的目标是通过最大化类间散布矩阵与类内散布矩阵的比值，在特征空间中寻找可以进行区分最佳投影方向。然而LDA方法只有当每个人的具有许多有代表性的训练样本的时候才能工作的很好，否则，它的效果可能比特征脸方法还要差【36】。当仅有一个训练样本的时候，基于子空间的LDA方法将会失效，由于无法获得类间散度矩阵。于是，Zhao等【13】提出用常量矩阵来替代类间散度矩阵，这样做实际上已经LDA方法降低到特征脸方法的水平

(2). 基于概率的方法将人脸识别问题看作是一个二分类问题，通过估计测试图像与标准图像之间差异的概率，从而判定其是类内差异也可以是类间差异。同样，在单样本条件下无法估计类内分布。因此在单样本条件下这种方法也将下降至特征脸方法的水平

(3). 对于可靠的估计低维流形，进化追踪和Laplacianfaces方法都依赖于大量的训练样本。在单样本条件下，它们都将退化为标准特征脸方法。

(4). 支持向量机方法、特征线方法实际上是基于特征脸空间的分类方法，单训练样本情况下，它们都无法进行有效的工作。

概括起来，目前的大多数人脸识别算法在单样本条件下都将受到一些影响，有些甚至无法工作。

2.3 单样本学习的重要性

我们已经表明大多数人脸识别算法在有限的训练样本下降会遭受严重的影响。这个问题是否值得研究，我们将从两个方面来讨论：

一方面，单样本的极端情况实际上经常出现在现实中，因此，这个问题需要被提出来以便人脸识别算法能够应用在这些条件下。

另一方面，在数据库中仅存储一个样本图像有以下几个好处，在大多数真实世界应用中也是被期望的：

(1). 易于收集样本。人脸识别系统的组成之一是人脸数据库，其中存储了模板人脸图像，构建这样一个人脸数据库是一件非常繁琐和耗时的工作，如果每个人仅需要采样一副样本图像则可以有效的减轻工作量。并且，在那些直接采集图像是非常困难的应用场合中，单样本有其显著的应用。考虑在例如机场、火车站等公共区域的监控中，这里有大量的人需要被鉴别。在这种情况下，我们通过扫描粘贴在证件上的照片（如护照、身份证学生证、驾驶证等），能有效地构建所需要的人脸识别库，而非对每个人进行拍照。

(2). 节省存储开销。如果每个人仅有一副图像存储在数据库中，那么人脸识别系统的存储开销将有效被减少。

(3). 节省计算开销。大规模应用的计算成本将得以显著降低，由于训练样本的数量直接影响操作成本，例如预处理、特征提取与识别。

概括起来，以上内容揭示出单样本问题是在真实世界应用中不可避免的问题。另外，对这个问题的深入研究也讲有利于解决更为普遍的小样本问题。该问题的解决能够使人脸识别技术的应用范围得以扩展，基本技术得以提高。

同时，应当注意单样本问题的本质不是每个人包含多少训练样本的问题，而是有关在不同的条件变化下如何提高鲁棒性。幸运的是，这个问题已近得到了越来越多研究者的关注，许多技术已经被开发来解决该问题，下一章我们将对这些技术进行归类和回顾。

3. 单样本人脸识别

在这一章，我们回顾现有的处理单样本人脸识别的鲁棒性算法，我们根据这些算法使用的人脸特征不同，将其分为三类。

(1). 基于全局特征的方法。这类方法以整幅人脸作为人脸系统的原始输入。传统的特征脸算法是这类方法的典型代表，在单训练样本的条件下，如何解决样本协方差矩阵对人脸分布刻画不足的问题。

(2). 基于局部特征的方法。这类方法通常以定义人脸的局部区域为开始，并通过进一步提取这些局部区域的灰度或几何信息来进行识别。一般局部特征更能反映人脸图像的不变特征，从而降低对训练样本的需求。这里应关注如何将全局结构信息与局部面部特征相结合。

(3). 混合方法。包括全局特征与局部特征的混合及各种类型的特征的组合，这类方法符合人类的认知方式，具有较大的发展潜力。

上述三类算法及其代表性工作总结于表1.1。下面我们首先讨论每类方法的动机和一般做法，然后对具体算法进行分析和评价。

3.1 全局方法

在这类方法中，每幅人脸被表达为一个高维向量，好处在于它包含了所有便于区分人脸的纹理和形状信息，不足之处是在单样本条件下无法获得类内方差。进一步这类方法可以分为两种，第一种是尽可能地从单样本图像中获取更多的信息，要么在高维人脸空间，要么在经过将维的特征空间。另一种是融合先验知识来构建人脸图像的不同表达，从而训练集能够被有效的扩充。

3.1.1 PCA的扩展

如前所述，在单样本情况下标准的特征脸技术不能获得期望的性能。然而，由于标准的特征脸方法可用于支持单训练样本人脸识别，对这一传统方法加以改造以提高其鲁棒性是很自然的想法。

2DPCA其基本思想是利用图像矩阵直接构造图像散布矩阵，并在此基础上进行鉴别分析.

Wu和Zhou提出用(PC)2A来增强特征空间的方法来处理单训练样本问题

&hellip;&hellip;

&hellip;&hellip;

&hellip;&hellip;

3.1.2 构造虚拟样本

3.1.2.1. 构造新的表示

表示是对于一个成功的识别系统是非常重要的。不同的表示对于不同类型的噪声和外观变化是鲁棒的。然而，如何选择最优的表示来最大化识别的性能是困难的。我们可以结合同一副图像的多种表示以便可以利用他们各自的优点。

3.1.2.2. 生成新的视图

理想的情况下，虚样本之间应具有明显不同，能够分布于该类类空间的不同位置、代表该类样本在某方面的可变性，从而提高分类器的泛化能力。

3.2. Local methods 局部方法

在全局方法中无法刻画人脸局部区域的相似性，对人脸图像进行局部化表示是解决这一问题的一个方法。其一般过程为：首先对准备采集局部特征的人脸进行局部位置定位；然后在指定位置采集局部特征，得到一组局部特征向量，这些局部特征向量之间可以是彼此独立的，也可结合人脸的全局结构特征，建立局部特征之间的相互关系，并用一个图结构加以描述，一个节点代表一个局部特征，之间的连线表示两个局部特征之间的空间关系。当不考虑特征之间关系时，一般需要分别对每个位置的局部特征建立分类器，进行分类器组合得到识别结果；而在特征图存在情况下，可以采用各种图匹配方式进行识别。

基于局部特征的方法首先检测局部特征，之后在设定的特征点上提取特征，基于局部外观的方法将人脸分割成几个子区域，在此基础上直接提取局部特征。

3.2.1. Local feature-based methods 基于局部特征的方法

早期的人脸识别方法多是基于局部特征点的方法，这类方法致力于检测重要的脸部特征（如眼角、嘴角、鼻尖等），然后计算这些重要特征之间的几何距离，用于人脸表示。基于同样的几何表示，测试人脸和原型人脸可以比较彼此之间的匹配程度。

这种方法的主要缺点是：识别性能严重依赖特征识别器的性能，当人脸图像上存在不可视的区域时（如遮挡、姿态变换、光照等情形发生时），这类人脸特征识别器往往不能正确工作；法对人脸图像的灰度信息完全丢弃不用，这显然不是十分合理。

上述两个问题实际上揭示了两条研究思路，一方面的工作是如何更为准确地对人脸局部特征的形状、位置进行检测。 另外一条研究思路则侧重研究如何表示不变性特征的问题，而特征点的位置通常不是考虑的重点。