摘 要：簡(jiǎn)要回顧了人臉識(shí)別技術(shù)的研究背景及發(fā)展歷程，總結(jié)了近三四年人臉識(shí)別方法的研究進(jìn)展，根據(jù)三維人臉重構(gòu)方法的數(shù)據(jù)來源不同，將其分為基于靜態(tài)圖像和視頻序列的三維重構(gòu)技術(shù)。重點(diǎn)對(duì)目前多特征和多模態(tài)識(shí)別技術(shù)進(jìn)行了分類闡述，分析了一些有代表性的算法并對(duì)其識(shí)別結(jié)果進(jìn)行了比較。最后，總結(jié)了人臉識(shí)別技術(shù)現(xiàn)存的研究難點(diǎn)，并探討了其未來的發(fā)展方向。
關(guān)鍵詞：人臉識(shí)別；三維人臉重構(gòu)；多特征；多模態(tài)

    在現(xiàn)有的眾多生物特征（指紋、虹膜、視網(wǎng)膜、掌形等）識(shí)別技術(shù)中，人臉識(shí)別技術(shù)具有傳統(tǒng)的識(shí)別技術(shù)無法比擬的優(yōu)點(diǎn)，如直接、友好、對(duì)用戶干擾少、更易于被接受等。人臉識(shí)別技術(shù)是一門融合了多學(xué)科（生物學(xué)、心理學(xué)、認(rèn)知學(xué)等）、多技術(shù)（模式識(shí)別、圖像處理、計(jì)算機(jī)視覺等）的新的生物識(shí)別技術(shù)，它具有廣泛的應(yīng)用和巨大的市場(chǎng)前景，可用于身份確認(rèn)（verification or authentication 一對(duì)一比較）、身份鑒別（identification or recognition 一對(duì)多匹配）、訪問控制（門監(jiān)系統(tǒng)）、安全監(jiān)控（銀行、海關(guān)監(jiān)控）、人機(jī)交互（虛擬現(xiàn)實(shí)、游戲）等。在人臉識(shí)別研究的早期階段，識(shí)別技術(shù)主要依賴于人的先驗(yàn)知識(shí)，也就是二維人臉識(shí)別方法。20世紀(jì)80年代，二維圖像處理技術(shù)日趨成熟，在一定約束條件下人臉識(shí)別已經(jīng)能取得較好的效果，但同時(shí)也暴露了二維人臉識(shí)別技術(shù)對(duì)環(huán)境和人臉姿態(tài)變化魯棒性差的缺點(diǎn)。從20世紀(jì)90年代開始，隨著計(jì)算機(jī)性能的飛躍性發(fā)展和成像技術(shù)的進(jìn)一步提高，三維人臉識(shí)別技術(shù)成為目前最受關(guān)注的新方法[1]。在國(guó)內(nèi)，比較有代表性的成果是北京奧運(yùn)會(huì)使用的自動(dòng)人臉識(shí)別系統(tǒng)。
1 三維人臉重構(gòu)方法
    三維人臉重構(gòu)是指通過含有人臉的圖像或視頻中有限的人臉信息來建立人臉三維模型。根據(jù)人臉信息來源的不同，本文將三維人臉重構(gòu)方法分為從靜態(tài)圖像重構(gòu)和從視頻序列重構(gòu)兩大類。
1.1 從靜態(tài)圖像重構(gòu)三維人臉
    傳統(tǒng)的三維重建技術(shù)大多是通過特征點(diǎn)的提取和匹配計(jì)算特征點(diǎn)的三維坐標(biāo)來獲取臉部的三維結(jié)構(gòu)。特征點(diǎn)定位有手工標(biāo)定和自動(dòng)檢測(cè)兩種，特征點(diǎn)數(shù)目比較大時(shí)，手工標(biāo)定很難嚴(yán)格定義特征點(diǎn)之間的對(duì)應(yīng)關(guān)系。ZHANG C等人[2]采用點(diǎn)對(duì)點(diǎn)集的距離來間接描述特征點(diǎn)之間的相似度，但是，這種局部相似度不能保證全局最優(yōu)匹配，且有可能造成畸變。
    為了減少點(diǎn)對(duì)應(yīng)性的困難，參考文獻(xiàn)[3]中提出了以形狀匹配為相似性度量的通用頭部形變模型，在不需要嚴(yán)格的特征點(diǎn)對(duì)應(yīng)甚至某些特征點(diǎn)缺失的情況下，完成姿態(tài)估計(jì)和三維重建。為了解決搜索點(diǎn)之間的最佳相似性，文中還提出了一種多級(jí)搜索的方法，大大減少了搜索時(shí)間，但這只是基于多幅圖像的情況。雖然多幅圖像可以消除人臉特征部件檢測(cè)的不確定性，但特定臉的多幅圖像一般難以獲得，所以當(dāng)前的很多研究都是基于單一圖像的。為了能獲得人臉的完整的臉部特征信息，單一圖像一般要求是正面人臉圖像且是中性表情。
    BREUER P[4]和胡元奎[5]等人都是基于單一圖像進(jìn)行建模。參考文獻(xiàn)[4]中提出了一種融合支持向量機(jī)（Support Vector Machine）和三維形變模型（3D Morphable Model）的方法，分別用不同方法檢測(cè)人臉和人臉的局部特征（鼻尖、眼角、嘴角），然后確定人臉特征可能的位置并評(píng)估特征點(diǎn)的輪廓，通過迭代處理提高算法對(duì)頭部方向的魯棒性，最后初始化形變模型的模型試配流程來產(chǎn)生高分辨率的三維人臉模型。但是，形變模型算法需要花費(fèi)很長(zhǎng)的時(shí)間對(duì)大量的三維人臉數(shù)據(jù)進(jìn)行訓(xùn)練。參考文獻(xiàn)[5]基于通用三維人臉模型的三維人臉合成方法能很好地減少算法的復(fù)雜性和訓(xùn)練時(shí)間。他們利用了基于知識(shí)的特征點(diǎn)定位算法和ASM（Active Shape Model）方法進(jìn)行人臉特征點(diǎn)的定位，用SFS（Shape From Shading）算法恢復(fù)人臉表面深度，并利用內(nèi)插算法對(duì)通用三維人臉模型進(jìn)行變形處理以生成適用于特定人臉的三維模型。此算法的優(yōu)點(diǎn)是只需要一個(gè)通用的三維人臉模型即可，不需要進(jìn)行額外的訓(xùn)練，而且對(duì)訓(xùn)練數(shù)據(jù)以及存儲(chǔ)空間的實(shí)際需求很容易滿足，具有明顯的優(yōu)勢(shì)。
    無論是單一圖像還是多幅圖像，靜態(tài)圖像提供的信息都是相對(duì)有限的，例如無法提供連續(xù)多幀圖像和時(shí)間相干性 。于是，在研究從靜態(tài)圖像重構(gòu)人臉模型的同時(shí)，少數(shù)研究嘗試了從視頻圖像序列重構(gòu)三維人臉模型的方法。
1.2 從視頻序列重構(gòu)三維人臉
    從視頻重構(gòu)人臉的過程和從單一圖像重構(gòu)人臉的過程基本上一樣（如圖1所示），只是源圖像不同。視頻序列雖然也可以使用適合于單一圖像的方法，如參考文獻(xiàn)[4]從圖像序列中選出最合適的一幀圖像（例如正面圖像）來重構(gòu)三維人臉模型，但這顯然不是應(yīng)用視頻序列圖像的目的。

    PARK U等[6]用通用三維人臉模型和兩個(gè)視頻幀來重構(gòu)特定用戶三維人臉模型。他們從立體視頻中重建臉部標(biāo)記點(diǎn)的稀疏集合，將其用于薄板樣條TPS（Thin Plate Spline）的試配過程，在TPS試配的基礎(chǔ)上對(duì)一般人臉模型進(jìn)行非線性變換，得到合適的三維人臉模型，將視頻中人臉紋理信息對(duì)三維人臉模型進(jìn)行映射，從而獲得真實(shí)的三維人臉模型。該方法應(yīng)用比較廣泛，但在重建的初始化階段，初始值與通用模型非常相似，導(dǎo)致重建的模型與視頻中的人臉相比更近似于通用人臉模型。此缺點(diǎn)可以利用SFM（Structure From Motion）算法[7]解決。首先，SFM算法能夠保留通用人臉模型的特定特征；其次，通過與通用人臉模型比較，兩臉間的誤差在能量函數(shù)最小化過程中都被修正。但是，不使用通用模型，單純用SFM算法對(duì)視頻圖像進(jìn)行三維估計(jì)會(huì)使深度估計(jì)變得困難，可能會(huì)帶來其他信息不足或估計(jì)誤差等問題。文中的算法流程如圖2所示[7]。

2 多特征融合人臉識(shí)別方法
    重構(gòu)三維人臉模型只是人臉識(shí)別的重要手段之一，但其算法相對(duì)復(fù)雜。目前，使用多方法（二維）融合來提高識(shí)別性能還是人臉識(shí)別領(lǐng)域研究的熱點(diǎn)[8-15]。多方法融合主要分為融合多種臉部特征（膚色、輪廓和紋理等信息）和融合多種模態(tài)（二維和三維信息）兩種。由于圖像與形狀信息相對(duì)獨(dú)立，多特征融合的人臉識(shí)別方法曾經(jīng)很少使用。
    2005年前后，SU Hong Tao[8]和周曉彥等人[9]分別提出了融合主分量分析PCA（Principal Component Analysis）與線性判別式分析LDA（Linear Discriminant Analysis）混合特征和融合核主元分析KPCA（Kernel Principal Component Analysis）與核判別式分析KDA（Kernel Discriminant Analysis）的人臉識(shí)別算法。在參考文獻(xiàn)[8]中，利用庫(kù)中圖像和被檢測(cè)圖像的交互信息進(jìn)行粗分類，在圖形數(shù)據(jù)的傅里葉頻率區(qū)域進(jìn)行PCA和LDA特征的抽取。由于PCA和LDA能分別反映圖像的不同特性，故融合兩子特征將取得比單一特征更好的分類性能。參考文獻(xiàn)[9]首先求解KDA的最佳判別矢量，然后基于KPCA準(zhǔn)則函數(shù)求得另一組投影矢量，最后將兩組投影矢量融合成一組新的特征矢量用于特征的提取。
    與參考文獻(xiàn)[8]和參考文獻(xiàn)[9]不同，LIU Zhi Ming等[10]應(yīng)用了顏色和頻率特征。離散傅里葉變換將膚色RIQ空間轉(zhuǎn)換到頻域并分別求出各個(gè)顏色分量的掩飾面（mask），用增強(qiáng)Fisher模型EFM（Enhanced Fisher Model）抽取互補(bǔ)頻率特征（包括檢測(cè)臉、庫(kù)中人臉和R分量大小），在特征水平上用級(jí)聯(lián)的方法將其融合在一起，將得到的相似性結(jié)果用于分類。分別對(duì)各個(gè)分量進(jìn)行互補(bǔ)頻率特征抽取和分類，最后將分類結(jié)果通過加權(quán)因子再次融合在一起，用于人臉的識(shí)別。該方法比單顏色分量時(shí)的識(shí)別率有很大的提高，這也說明，單一特征所包含的信息都是有限的。充分利用人臉的膚色和紋理結(jié)構(gòu)等各種特征，將會(huì)取得較好的識(shí)別效果。
3 多模態(tài)融合人臉識(shí)別方法
    多模態(tài)融合的人臉識(shí)別方法與多特征融合方法一樣，目的是融合二維和三維甚至四維的臉部信息，以提高識(shí)別的精度和算法對(duì)環(huán)境的魯棒性[11,14-15]。
    在多模態(tài)融合的研究上，比較成功的是MIAN A等人[12]提出的全自動(dòng)三維人臉識(shí)別算法。該算法能全自動(dòng)檢測(cè)人臉鼻子區(qū)域，自動(dòng)修正三維人臉姿態(tài)和進(jìn)行標(biāo)準(zhǔn)化處理，可以在規(guī)模比較大的人臉識(shí)別中通過粗匹配快速拒絕大多數(shù)不適合的人臉并能自動(dòng)分割易受表情影響和不易受表情影響區(qū)域。但是，算法在最后識(shí)別階段容易受頭發(fā)的影響，且無法自動(dòng)檢測(cè)側(cè)面圖像。為了解決此問題，他們?cè)谇捌谘芯康幕A(chǔ)上提出了一種有效的多模態(tài)（二維/三維）融合和混合（局部/整體特征）匹配的方法[13]。該方法在參考文獻(xiàn)[12]的基礎(chǔ)上，用三維球面人臉描述SFR（Spherical Face Representation）和可變尺度特征變換SIFT（Scale-Invariant Feature Transform）描述子來構(gòu)建拒絕分類器，通過粗（整體）匹配快速拒絕大部分候選人臉并對(duì)剩下的人臉進(jìn)行區(qū)域分割，得到對(duì)表情不敏感的局部特征區(qū)域（眼睛-前額/鼻子），再用修正的迭代最近點(diǎn)算法（Modified ICP）對(duì)這些局部特征進(jìn)行單獨(dú)匹配。
    相對(duì)三維融合二維信息的方法，三維與四維信息的融合技術(shù)應(yīng)用比較少。參考文獻(xiàn)[14]中PAPATHEODOROR T等人利用人臉紋理結(jié)構(gòu)和表面信息注冊(cè)，提出一種自動(dòng)的四維人臉識(shí)別方法。他們利用立體攝像系統(tǒng)，結(jié)合面部外觀的二維紋理映射描述符和三維面部幾何的致密三維網(wǎng)格頂點(diǎn)描述符，重構(gòu)四維人臉數(shù)據(jù)。在識(shí)別階段先進(jìn)行三維或者四維剛性注冊(cè)，然后通過ICP算法和歐氏距離計(jì)算兩臉部圖形對(duì)應(yīng)點(diǎn)的距離，根據(jù)相似性判斷來進(jìn)行識(shí)別。表1所示是多特征融合與多模態(tài)融合的一些代表性算法在各自實(shí)驗(yàn)中的結(jié)果。

　 由于現(xiàn)在人臉數(shù)據(jù)庫(kù)并不統(tǒng)一，不同文獻(xiàn)的實(shí)驗(yàn)數(shù)據(jù)庫(kù)一般不一樣，且所使用的圖像類型（顏色圖像和灰度圖像）與大小不同，因此很難根據(jù)它的識(shí)別率來判斷某個(gè)算法的優(yōu)劣性。此外，即使使用同一個(gè)數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)中也往往含有各種變化劇烈程度不一致的表情、姿態(tài)和光照情況，在不同的環(huán)境和姿態(tài)表情下，算法的結(jié)果會(huì)有很大的差別。
    目前，三維人臉識(shí)別方法已經(jīng)代替二維人臉識(shí)別方法成為研究熱點(diǎn)。克服表情姿態(tài)和環(huán)境影響是目前三維識(shí)別研究的主要目的，其手段就是從圖像中重構(gòu)人臉三維模型。圖像采集設(shè)備的差異和成像原理的不同，造成了采集數(shù)據(jù)的差異，如何更好地獲取更多的有效信息與對(duì)數(shù)據(jù)的正規(guī)化一樣成為難題。同時(shí)，特征點(diǎn)定位和人臉特征的提取對(duì)三維人臉重構(gòu)非常重要，有效地監(jiān)測(cè)定位和特征提取算法有待進(jìn)一步地完善。
    雖然三維數(shù)據(jù)獲取技術(shù)有了飛速發(fā)展，但遠(yuǎn)沒有達(dá)到像獲取二維圖像那么方便和普及，且基于三維信息的識(shí)別技術(shù)同樣會(huì)受到人臉姿態(tài)和環(huán)境的影響。此外，由于三維識(shí)別算法在某些特定環(huán)境下（視頻監(jiān)控、受限制區(qū)域）無法像二維識(shí)別技術(shù)一樣取得令人滿意的結(jié)果，它需要二維方法甚至更高維方法的輔助來提高它的識(shí)別精度和魯棒性，故融合多特征的識(shí)別技術(shù)和融合多模態(tài)的人臉識(shí)別技術(shù)在很長(zhǎng)的一段時(shí)間內(nèi)將是最有效的人臉識(shí)別方法之一。
參考文獻(xiàn)
[1] 段錦, 周春光, 劉小華. 三維人臉識(shí)別研究進(jìn)展[J] . 小型微型計(jì)算機(jī)系統(tǒng), 2004 , 25 (5) : 886-890.
[2] ZHANG C， COHEN S. 3-D face structure extraction and recognition from images using 3-D morphing and distance mapping[ J ] . IEEE Trans on PAMI， 2002 ,11 (11)：1249-1258.
[3] XUE Feng， DING Xiao Qing. 3D reconstruction of  human face based on shape match morphing model[ J ] . ACTA ELECTRONICA SINICA , 2006, 34(10)：1896-1899.
[4] BREUR P, KIM Kwang-In, KIENZLE W, et al . Automat ic 3D face reconstruction from single images or video[C]. Automatic Face & Gesture Recognition, 2008. FG '08. 8th IEEE International Conference on 17-19 Sept. 2008：1-8.
[5] 胡元奎.可變光照和可變姿態(tài)下的人臉圖像識(shí)別研究[D]. 合肥: 中國(guó)科學(xué)技術(shù)大學(xué), 2006.
[6] PARK U, JAIN A K. 3D face reconstruction from stereo video[C]. Proceedings of the 3rd Canadian Conference on Computer and Robot Vision (CRV’06),2006：41–41.
[7] CHOWDHURY A R, CHELLAPPA R, VO T, et al.3D face reconstruction from video using a generic model[C]. Multimedia and Expo, 2002. ICME '02. Proceedings. 2002 IEEE International Conference on Volume 1,26-29 Aug, 2002,1：449 - 452.
[8] SU Hong Tao, FENG D D, WANG Xiu Ying, et al . Face recognition using hybrid feature[C]. Machine Learning and Cybernetics, 2003 International Conference， 2003(5)：3045–3049.
[9] 周曉彥,鄭文明. 一種融合KPCA和KDA的人臉識(shí)別新方法[J]. 計(jì)算機(jī)應(yīng)用, 2008,28(5):1263-1266.
[10] LIU Zhi Ming , LIU Cheng Jun. A hybrid color and frequency features  method  for  face recognition[J]. Image Processing, IEEE Transactions ， 2008,17(10)：1975–1980.
[11] LIN C J, CHU C H, LEE C Y, et al . 2D/3D Face Recognition Using Neural Networks Based on Hybrid Taguchi-Particle Swarm Optimization[C]. Intelligent Systems Design and Applications, 2008. ISDA '08. Eighth International Conference on Volume 2,26-28 Nov, 2008：307–312.
[12] MIAN A, BENNAMOUN M, OWENS R. Automatic 3D face detection, normalization and recognition[J]. 3D Data Processing, Visualization, and Transmission, Third International Symposium on 14-16 June, 2006：735–742.
[13] MIAN A S, BENNAMOUN M, OWENS R. An efficient multimodal 2D-3D hybrid approach to automatic face recognition[J]. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,2007,29(11)：1927-1943.
[14] T PAPATHEODOROU， RUECKERT D. Evaluation of automatic 4D face recognition using surface and texture registration[C]. Automatic Face and Gesture Recognition, 2004. Proceedings. Sixth IEEE International Conference on 17-19 May， 2004：321–326.
[15] RAMA A,  TARRES F, ONOFRIO D, et al . Mixed 2D-3D information for pose estimation and face recognition[C]. Acoustics, Speech and Signal Processing, 2006. ICASSP 2006 Proceedings. 2006 IEEE International Conference on Volume 2, 2006：14-19.