人脸识别系统原理(人脸识别技术主要算法原理)现在有些小区不需要门禁卡，出入都要靠人脸识别；该行还开通了面取现，无需取卡和输入密码。有些餐厅搞活动，刷脸吃饭，机器打分，高颜值的免费。在火车站、汽车站、高铁站、机场等公共场所。，人脸识别的应用也越来越多。那么人脸识别技术有哪些呢？

主流的人脸识别技术基本上可以分为三类，即基于几何特征的方法、基于模板的方法和基于模型的方法。

1.基于几何特征的方法是最早也是最传统的方法，通常需要结合其他算法才能达到更好的效果；

2.基于模板的方法可分为基于相关性的匹配方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。

3.基于模型的方法包括基于隐马尔可夫模型、主动形状模型和主动外观模型等方法。

1.基于几何特征的方法

脸由眼睛、鼻子、嘴巴、下巴等部分组成。正是因为这些部位的形状、大小、结构的不同，世界上的每一张脸都有很大的不同。因此，这些部分的形状和结构的几何描述可以作为人脸识别的一个重要特征。几何学最早被用来描述和识别人脸的轮廓。首先根据轮廓曲线确定一些显著点，并从这些显著点中导出一组距离和角度等特征量进行识别。贾等从正面灰度图像中心线附近的积分投影来模拟轮廓是一种非常创新的方法。

几何特征一般通过提取眼睛、嘴巴、鼻子等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征，用于正面人脸识别。然而，Roder对几何特征提取的准确性进行了实验研究，结果并不乐观。

可变形模板法是对几何特征法的改进。其基本思想是设计一个参数可调的器官模型(即可变形模板)，定义一个能量函数，通过调整模型参数使能量函数最小化。此时，模型参数作为器官的几何特征。

这个方法有一个很好的想法，但是有两个问题。首先，能量函数中各种成本的加权系数只能凭经验确定，难以推广。第二，能量函数的优化过程非常耗时，难以在实践中应用。基于参数的人脸表示可以实现对人脸显著特征的高效描述，但需要大量的预处理和精细的参数选择。同时，一般的几何特征只描述了构件的基本形状和结构之间的关系，忽略了局部的细微特征，导致一些信息的丢失，更适合于粗略分类。而且现有的特征点检测技术在准确率上远远不能满足要求，计算量也很大。

2.局部特征分析方法(局部人脸分析)

主成分空之间的表示紧凑，特征维数大幅降低，但非局部化，其核函数的支持集在整个坐标空内延伸，且非拓扑，投影某轴后的邻点与原始图像空中点的接近度无关，而局部性和拓扑对于模式分析和分割很重要。基于这一考虑，阿蒂克提出了一种基于局部特征的人脸特征提取与识别方法。该方法在实际应用中取得了良好的效果，为FaceIt人脸识别软件奠定了基础。

3.特征脸方法

人脸特征方法是20世纪90年代初Turk和Pentland提出的最流行的算法之一。它简单有效，又被称为基于主成分分析的人脸识别方法。

特征脸技术的基本思想是:从统计学的角度，找到人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，从而逼近人脸图像。这些特征向量被称为特征脸。

事实上，特征脸反映了隐藏在人脸样本集中的信息与人脸之间的结构关系。眼睛、脸颊和下巴的样本集协方差矩阵的特征向量称为特征眼睛、特征下巴和特征嘴唇，统称为特征子脸。子面在对应的图像空中生成子面空，称为子面空空间。计算子面空之间测试图像窗口的投影距离。如果窗口图像满足阈值比较条件，则判断为人脸。

基于特征分析的方法，即人脸参考点与其他描述人脸特征的形状参数或类别参数的相对比值共同构成识别特征向量。这种基于全脸的识别既保留了人脸各组成部分之间的拓扑关系，又保留了各组成部分本身的信息，而基于组成部分的识别则通过提取局部轮廓信息和灰度信息来设计具体的识别算法。目前，特征脸算法已经和经典的模板匹配算法一起成为检验人脸识别系统性能的基准算法。自1991年特征脸技术诞生以来，研究人员对其进行了各种实验和理论分析。FERET’96的测试结果也表明，改进的特征脸算法是主流的人脸识别技术，也是性能最好的识别方法之一。

该方法首先确定虹膜、鼻子、嘴角等面部特征轮廓的大小、位置、距离等属性，然后计算其几何特征，这些特征形成描述面部特征的特征向量。该技术的核心其实是“局部人体特征分析”和“图形/神经识别算法”。该算法是一种利用人脸的各种器官和特征部分的方法。如将几何关系对应多个数据构成的识别参数与数据库中的所有原始参数进行比较、判断和确定。Turk和Pentland提出了特征脸的方法，根据一组人脸训练图像构造主成分空空间。由于主成分具有人脸的形状，也称为特征脸，因此将测试图像投影到主成分空空间，得到一组投影系数，与所有已知人的人脸图像进行比较进行识别。Pentland等报道了相当不错的结果，在200人的3000张图像中，正确识别率达到95%，在FERET数据库的150张正面人脸图像中，只有1张错误识别。然而，在采用特征脸方法之前，系统需要做大量的预处理工作，如归一化等。

在传统特征脸的基础上，研究者注意到特征值大的特征向量(即特征脸)不一定是分类性能好的方向。基于此，他们发展了多种特征选择方法，如彭的Gemini 空方法、翁的线性模糊分析方法、Belhumeur的FisherFace方法等。事实上，特征脸方法是一种显式主成分分析(PCA)人脸建模，而一些线性自关联和线性压缩BP网络是隐式PCA方法，它们都将人脸表示为一些向量的加权和，这些向量是训练集叉积矩阵的主要特征向量，Valentin对此进行了详细讨论。根据总，特征脸方法是一种基于变换系数特征的简单、快速、实用的算法，但它有很大的局限性，因为它本质上依赖于训练集和测试集图像之间的灰度相关性，并且需要将测试图像与训练集图像进行比较。

基于KL变换的特征人脸识别方法

基本原则:

KL变换是图像压缩中的最优正交变换，用于统计特征提取，从而构成子空方法间模式识别的基础。如果用KL变换进行人脸识别，需要假设人脸在低维线性范围空，不同的人脸是可以分离的。由于高维图像空，在KL变换后可以获得一组新的正交性。生成低维人脸空，通过分析人脸训练样本集的统计特征，得到低维人脸空的基础。KL变换的生成矩阵可以是训练样本集的整体散射矩阵，也可以是训练样本集的类间散射矩阵，即可以用同一个人的几幅图像的平均值进行训练，这样可以在一定程度上消除光线等的干扰，减少计算量。

4.基于弹性模型的方法

Lades等人提出了一种用于畸变不变目标识别的动态链接模型(DLA)，该模型用稀疏图形描述目标，用局部能谱的多尺度描述标记其顶点，用几何距离标记其边缘，然后利用塑料图形匹配技术找到最近的已知图形。在此基础上，Wiscott等人进行了改进，并用费雷特图像数据库进行了实验，并将300张人脸图像与另外300张图像进行对比，准确率达到97.3%。这种方法的缺点是计算量大。

Nastar将人脸图像(I) (x，y)建模为可变形的3D网格曲面(x，y，I (x，y))(如下图所示)，从而将人脸匹配问题转化为可变形曲面的弹性匹配问题。利用有限元方法对曲面进行变形，根据变形情况判断两张图片是否为同一个人。该方法的特点是空空间(x，y)和灰度I (x，y)同时考虑在一个3D空空间中。实验表明，识别结果明显优于特征脸方法。

Lanitis等人提出了一种灵活的表示模型方法，通过自动定位人脸的显著特征点，将人脸编码成83个模型参数，并利用判别分析方法基于形状信息进行人脸识别。弹性图匹配技术是一种基于几何特征和小波纹理分析的灰度分布信息识别算法。由于该算法很好地利用了人脸结构和灰度分布信息，并且还具有自动准确定位人脸特征点的功能，因此识别效果好，适应性强，识别率高。该技术在FERET测试中名列前茅，缺点是时间复杂度高、速度慢、实现复杂。

5.神经网络方法(神经网络)

人工神经网络是一个具有良好自组织和自适应能力的非线性动态系统。目前，神经网络方法在人脸识别中的研究方兴未艾。Valentin提出了一种方法，首先提取人脸的50个主成分，然后用自相关神经网络映射到5维空，再用普通的多层感知器进行判别，对于一些简单的测试图像是有效的。内特尔等人提出了一种用于人脸识别的混合神经网络，其中无监督神经网络用于特征提取，有监督神经网络用于分类。Lee等人用6条规则描述人脸的特征，然后根据这6条规则对人脸特征进行定位，并将人脸特征之间的几何距离输入到模糊神经网络中进行识别，与一般的基于欧氏距离的方法相比，效果大大提高。Laurence等人使用卷积神经网络方法进行人脸识别。由于卷积神经网络集成了相邻像素之间的相关知识，因此在一定程度上获得了图像平移、旋转和局部变形的不变性，从而获得了非常理想的识别结果。林等提出了基于概率决策(PDBNN)的神经网络方法，其主要思想是利用虚拟(正、负)样本进行强化和反强化学习，从而获得理想的概率估计结果，并利用模块化网络结构(OCON)加快网络学习速度。该方法在人脸检测、人脸定位和人脸识别的各个步骤中得到了很好的应用。其他研究包括:Dai等提出了低分辨率人脸关联识别的Hopfield网络，Gutta等提出了结合RBF和树分类器的混合分类器模型用于人脸识别，Phillips等使用MatchingPursuit滤波器进行人脸识别，并在国内使用统计学习理论中的支持向量机进行人脸分类。

神经网络方法在人脸识别中的应用与前述方法相比具有一定的优势，因为显式描述人脸识别的许多规则或规则相当困难，而神经网络方法可以通过学习过程获得这些规则和规则的隐式表达，适应性更强，一般更容易实现。因此，人工神经网络识别速度快，但识别率低。而神经网络方法通常需要将人脸作为一维向量输入，因此输入节点庞大，其识别的一个重要目标就是降维。

主成分分析的算法描述:主成分分析是由安德森和科霍宁提出的。由于PCA在将高维向量转化为低维向量时，最大化了低维向量各分量的方差，且各分量互不相关，因此可以实现最优的特征提取。

6.其他方法:

除了上述方法，人脸识别还有其他的思路和方法，包括以下几种:

1)隐马尔可夫模型方法(隐马尔可夫模型)

2) Gabor小波变换+图匹配

(1)人脸特征点的精确提取和基于Gabor引擎的匹配算法具有较好的准确性，能够消除人脸姿态、表情、发型、眼镜、光照环境等带来的变化。

(2)Gabor滤波器将高斯网络函数限制在一个平面波的形状，在滤波器设计中有择优取向和频率的选择，说明它对线边缘响应敏感。

(3)但是这种算法的识别速度很慢，只适合视频数据的回放识别，对场景的适应性很差。

3)人脸等密度线分析与匹配方法

(1)多模板匹配方法

该方法在库中存储多个标准的人脸图像模板或人脸图像器官模板，在比较时，通过归一化相关度量将采样人脸图像的所有像素与库中的所有模板进行匹配。

(2)线性判别分析

(3)内在人脸方法

特征脸方法将图像视为矩阵，计算特征值和对应的特征向量作为识别的代数特征。它的优点是不提取眼睛、嘴巴、鼻子等几何特征，但单个样本中识别率不高，人脸模式数量多时计算量大。

(4)面对面空空间(FSS)算法

该技术源于但本质上不同于传统的“特征脸”人脸识别方法。在“特征脸”方法中，每个人都有一个face 空房间，而这种方法为每个单独的人脸建立了一个face 空房间，这个房间是个人对象私有的，这样不仅可以更好地描述不同单独人脸之间的差异，而且最大限度地丢弃了类内差异和不利于识别的噪声，因此比传统的“特征脸算法”更有优势此外， 针对每个待识别个体只有单个训练样本的人脸识别问题，提出了基于单个样本生成多个训练样本的技术，使得需要多个训练样本的个体人脸之间的方法空可以应用于单个训练样本的人脸识别问题。

(5)奇异值分解

这是一种有效的代数特征提取方法。由于奇异值特征在描述图像时是稳定的，并且具有换位不变性、旋转不变性、位移不变性和镜像变换不变性等重要性质，因此奇异值特征可以作为图像的有效代数特征描述。奇异值分解技术已广泛应用于图像数据压缩、信号处理和模式分析。

7.人脸识别的主要商业系统

自20世纪90年代中后期以来，一些商用人脸识别系统已经进入市场。目前，主要的商业系统包括:

● Visionics的FaceIt人脸识别系统，基于洛克菲勒大学开发的LFA算法；

● Lau Tech的人脸识别/确认系统采用MIT技术；

●米罗斯公司的Trueface和eTrue认证系统，其核心技术是神经网络；

● C-VIS公司的人脸识别/确认系统；

●Banque-TEC的认证系统。公司；

● Visage Gallery的身份认证系统，基于麻省理工学院媒体实验室的特征脸技术；

● Plettac电子的FaceVACS门禁系统；

●台湾省生物识别系统，基于人脸、嘴唇运动和语音信息融合的生物识别系统。

其中，FaceIt系统是最具代表性的商业产品，目前已经在很多地方得到应用。去年，它被用于英国名为“曼德拉克”的反犯罪系统。该系统在144台监控摄像机采集的视频序列中搜索已知的罪犯或嫌疑人。如果发现可能的罪犯，系统会通知中央控制室的警察。

作者使用了FaceIt系统，并对其指标进行了评估。结果表明，该系统在受控光照、准正面(三轴旋转小于15度)和无装饰条件下具有良好的识别性能。但在实践中也发现，只有当训练集中人脸图像的采集条件与测试集中人脸图像的采集条件基本相同时，才能有较好的识别性能，否则其性能会急剧下降，尤其是光照、姿势、黑框眼镜、帽子、夸张表情、胡须和长发等的变化。

人脸识别系统测试

考虑到人脸识别技术在军事安全等领域的重要性，美国国防部主办的ARPA建立了一个评估现有人脸识别技术的方案，分别于1994年8月、1995年3月和1996年9月(截至1997年3月)组织了三次人脸识别和人脸确认的性能评估，旨在展示人脸识别研究的最新进展和最高学术水平，找出现有人脸识别技术面临的主要问题。这项测试虽然只对美国研究机构开放，但实际上已经成为该领域公认的测试标准，其测试结果被认为反映了人脸识别研究的最高学术水平。

根据2000年公布的FERET’97测试报告，南加州大学(USC)、马里兰大学(UMD)、麻省理工学院(MIT)等研究机构的人脸识别技术识别性能最好。在训练集和测试集中具有相似相机条件的200人的识别测试中，几个系统产生了接近100%的识别率。值得一提的是，即使是最简单的相关匹配算法也有很高的识别性能。在较大物体集(人数大于等于1166人)的FERET测试中，相同相机条件下采集的正面图像识别中，首选识别率最高为95%；但对于不同摄像头、不同光照条件下采集的测试图像，最高优选识别率骤降至82%。对一年后采集的图像进行测试，最大准确率仅接近51%。

测试结果表明，目前的人脸识别算法对不同摄像头、不同光照条件和年龄变化的适应性非常差，应该引起研究者的足够重视。更值得注意的是，本次测试使用的人脸图像都是比较标准的正面人脸图像，姿势变化很小，没有夸张的表情和摆件，也没有提到面部毛发的变化。因此，我们认为，除了上述人脸识别研究中FERET测试所揭示的问题外，还需要考虑姿态、饰品(眼镜、帽子等)等可变因素的影响。)，面部表情、面部毛发等对人脸识别性能的影响。这些因素也是开发实用人脸识别产品时不可避免会遇到的最关键的技术问题。

为了进一步测试商用人脸识别系统的性能，揭示2000年前背面人脸识别技术的最新进展，美国国防部禁毒技术发展计划办公室于去年5月和6月对美国主要商用人脸识别系统进行了评估，称为FRVT' 2000(人脸识别Vender Test)评估。所有美国人脸识别系统制造商都被邀请参与该计划，共有24家公司，但只有8家公司回应。最终有5家公司参与了评估，而只有3家系统在规定时间内完成了所有的对比实验。可以认为这三家公司的产品是目前最有竞争力的业务识别系统，分别是FaceIt系统、Lau Tech。分别是公司系统和C-VIS公司系统。FRVT'2000评估了这些系统在图像压缩、用户-摄像机距离、表情、照明、记录设备、姿态、分辨率和时间间隔等影响因素上的识别性能。结果表明，与1997年的测试相比，人脸识别系统的性能取得了一定的进步，但其对于光照、老化、距离、姿态等各种条件的识别性能，仍远未达到人们的预期。

国内:

中国科学院-上海陈印

近年来，国内学者尝试将基于特征脸的特征提取方法与各种后端分类器相结合，提出了各种改进版本或扩展算法，主要研究内容包括线性/非线性判别分析(LDA/KDA)、贝叶斯概率模型、支持向量机(SVM)、人工神经网络(NN)和类内类间双生子/[/]

近年来，中国科学院计算研究所在认真研究特征脸技术的基础上，尝试将基于特征脸的特征提取方法与各种后端分类器相结合，提出了各种改进版本或扩展算法。主要研究内容包括线性/非线性判别分析(LDA/KDA)、贝叶斯概率模型、支持向量机(SVM)、人工神经网络(NN)和类内类间双生子/[/。

针对特征脸算法的不足，中国科学院计算研究所提出了一种特定的人脸空房间(FSS)算法。这项技术来源于传统的“特征脸”人脸识别方法，但又有本质的区别:在“特征脸”方法中，每个人都有一个人脸空房间，而中国科学院计算研究所的方法为每个单独的人脸建立一个人脸空房间，不仅可以更好地描述不同单独人脸之间的差异，而且可以尽可能地丢弃它们。此外，针对每个待识别个体只有单个训练样本的人脸识别问题，中国科学院计算研究所提出了一种基于单个样本生成多个训练样本的技术，使得需要多个训练样本的个体人脸之间的方法空可以应用于单个训练样本的人脸识别问题。在我们实验室的Yale人脸数据库和350幅图像数据库上的对比实验也表明，中科院计算技术研究所提出的方法比传统的特征人脸方法和模板匹配方法在一定范围内对表情、光照和姿态变化更加鲁棒，具有更好的识别性能。

弹性图匹配技术是一种基于几何特征和小波纹理分析的灰度分布信息识别算法。由于该算法很好地利用了人脸结构和灰度分布信息，并且还具有自动准确定位人脸特征点的功能，因此具有很好的识别效果。该技术的一些指标在FERET测试中名列前茅，缺点是时间复杂度高，实现复杂。中国科学院计算研究所对该算法进行了研究，并提出了一些启发性策略。

4.人脸识别关键问题研究

a)人脸识别中的光照问题

光照的变化是影响人脸识别性能的最关键因素，解决这个问题的程度关系到人脸识别实际过程的成败。在系统分析的基础上，中国科学院计算研究所将考虑对其进行量化研究的可能性，包括光照强度和方向的量化、面部反射属性的量化、面部阴影和光照的分析等。在此基础上，考虑建立数学模型来描述这些因素，以便在人脸图像预处理或归一化阶段，利用这些光照模型尽可能地补偿甚至消除它们对识别性能的影响。本文主要研究如何将人脸的固有属性(反射率属性、三维表面形状属性)与光源、遮挡、高光等非人脸固有属性分离。基于统计视觉模型的反射率属性估计、三维表面形状估计、光照模式估计和任意光照图像生成算法是中国科学院计算技术研究所的主要研究内容。考虑两种不同的解决方案:

1.利用光照模式参数空估计光照模式，然后进行针对性的光照补偿，消除正面光照不均匀带来的阴影和高光；

2.采用基于光照sub 空模型的任意光照图像生成算法，生成多个光照条件不同的训练样本，然后采用sub 空 sub方法、SVM等学习能力较好的人脸识别算法进行识别。

b)人脸识别中的姿态研究

姿态问题涉及头部在三维垂直坐标系中绕三个轴旋转引起的面部变化，其中垂直于图像平面的两个方向的深度旋转会造成面部信息的部分丢失。姿态问题成为人脸识别的技术问题。解决态度问题有三种方法:

第一种思路是学习和记忆多种姿态特征，在可以轻松获取多姿态人脸数据时，这种思路很实用。其优点是算法与正面人脸识别统一，不需要额外的技术支持。其缺点是存储要求大，姿态泛化能力不确定，不能用于基于单张照片的人脸识别算法等。

第二种思路是在单视角的基础上生成多角度视角，仅在获取用户的单张照片时，就可以合成用户的多个学习样本，用很少的训练样本就可以解决多姿态人脸识别的问题，从而提高识别性能。

第三种思路是基于姿态不变特征的方法，即寻找那些不随姿态变化而变化的特征。中国科学院计算研究所的思路是利用基于统计的视觉模型，将输入的姿态图像校正为正面图像，从而可以在统一的姿态空下进行特征提取和匹配。

因此，基于单姿态视图的多姿态视图生成算法将是中国科学院计算技术研究所研究的核心算法。中国科学院计算技术研究所的基本思路是利用机器学习算法学习姿态的2D变化模式，以一般人脸的3D模型作为先验知识，对2D姿态变换中的不可见部分进行补偿，并应用到新的输入图像中。