0  引言

    近年來隨著我國電力行業的蓬勃發展，電力現場維護施工的需求也越來越多，而由于現場施工人員違反電力操作流程所造成的電力故障甚至人員傷亡的事件也時有發生。為了加強對電力現場施工人員的科學監管，建立智能化的電力現場安全管控系統勢在必行。電力現場安全管控系統把工作票與施工現場拍攝圖片視頻以及視頻會議相結合，電力專家可以在辦公室通過工作票隨時查閱相應圖片和視頻或進行現場視頻會議及時發現違反電力操作的情況，以監管手段降低事故的發生率。作為智能電網的重要組成部分，電網視頻監控系統已廣泛應用于變電站的運行、維護和管理等方面^[1,2]，為電力現場安全管控系統的建立與推廣提供了條件。電力現場安全管控系統以視頻結合人臉識別的形式進行工作票內現場施工人員的自動簽到。然而，現場施工視頻較多，施工現場光照條件多種多樣，場地背景復雜，如何快速、準確地提取視頻現場施工人員臉部區域以便進行進一步的人臉識別仍是一個技術難題。

1  相關研究

    近年來，計算機視覺技術在安全驗證系統和人機交互系統中的應用技術持續走熱。其中，基于人臉生物特征的安全驗證技術和基于手勢識別的人機交互技術極具代表性。這兩項技術都涉及一個共同的過程，即定位臉部或手部區域從而提取形狀、紋理等幾何特征或統計特征以供分析識別。目前，通過膚色檢測技術在影像中定位人體裸露皮膚的區域，以作為人臉和手部檢測、分割和跟蹤的線索，是較為常用且有效的策略^[3]。

    可使用的人臉檢測系統需要能夠有效應對影像中的多種可變因素。這些因素包括成像特性（比如成像尺度、位置、光照、朝向、視角等）、臉部特性（比如眼鏡、胡須、表情、化妝品等）、內容特性（比如背景復雜度、人臉數量、遮擋等）等。對于以上可變因素，人的膚色特征是用于人臉檢測和手部檢測最為魯棒的特征之一。

    對膚色建模旨在構建一系列決策規則用于提取影像中屬于人體皮膚部分的像素而排除那些歸屬于場景中其它成分的目標。現有膚色建模的方法從不同的側面可以劃分不同的類屬。比如，文獻[4]將有關的膚色特征的模型分為兩類：物理模型和統計模型。前者描述影像內容的物理特性，比如皮膚的顏色特性相對于場景亮度的變化關系^[5]。后者關注影像中不同顏色的統計分布，具體又可進一步細分為非參數分布模型和參數分布模型^[6]。

    在統計模型的框架下，膚色分割過程可以描述為利用皮膚區域和非皮膚區域的顏色分布差異，通過一些數值或經驗性的規則建立分類器，以區分屬于皮膚區域的像素和那些屬于背景成分的像素。由于不同顏色空間對于顏色通道通常有著截然不同的定義，膚色的統計模型與顏色空間的選擇密切相關。在計算機視覺領域中，RGB顏色空間往往被用作描述顏色分布的參考系。然而由于R、G、B三個通道皆受到亮度效應的影響而非相互獨立，以此作為參考系對影像內容進行分析往往其效果并不理想。而亮度與色度分離的顏色空間在人臉和手部檢測的應用中更具潛力，研究者們據此做出了許多有益的探索^[7-9]。這些研究提出了很多簡便的特征用于皮膚檢測，隨之也帶來了一些快速的分類算法以進行像素級的膚色區分。但是，這些算法在算法的魯棒性方面的表現不佳。另一方面，研究者們也嘗試通過監督學習方式進行膚色分割，即通過訓練數據估計皮膚色值分布，而不是直接建立直覺模型。由于自然影像中的光照條件往往是未知的，膚色相關變量的參數空間難以預估，這一技術框架下通常采用非參數模型進行膚色模型的建構。比如，建立膚色概率圖譜(Skin Probability Map，SPM)^[10-11]，在不同的顏色空間給影像中的像素分配以概率值。其它具有代表性的方法有貝葉斯的SPM^[12-13]、直方圖查找表(Histogram Lookup Tables，LUT)^[14-15]、人工神經網絡^[16-17]等。非參數算法的優勢在于訓練和分類階段較低的時間復雜度，并且不依賴于膚色值的具體分布形態和顏色空間的選取。然而，非參模型往往需要較高的存儲代價，并且其訓練過程依賴于訓練數據集對總體樣本空間的代表性。

    隨著人們對特定應用背景下模型緊致度要求的提升，參數模型逐漸受到關注。膚色分割參數模型的基本思路是，基于均值、協方差、混合高斯、橢圓邊界等特征，在訓練樣本集上針對皮膚區域的像素擬合特定的分布模型，進而建立決策規則^[18-19]。參數模型具有較高的執行效率，并且能夠在欠完備數據集上進行訓練。然后，此類方法的效果依賴于分布模型的經驗性設定，并且忽略非皮膚區域像素的統計特征。因此，這一技術框架下的方法與基于非參數模型的方法相比虛警率（False Positive Rates，FPR）相對較高。

    近來，研究者們通過選擇理想的顏色空間，以膚色聚類（Skin Cluster）的思路著重對皮膚顏色特征表達能力的挖掘。如果皮膚的顏色模型能很好地適應不同的光照條件，顏色信息可以直接作為判別臉部、手部區域的有效線索。本文以模糊模型建立面向彩色影像的膚色檢測方法。該方法結合參數模型與非參數模型優勢，既可以擬合經驗模型得出簡潔的決策規則，又能夠以較低的計算代價充分利用訓練集內的正例和負例樣本。

2  模糊系統

    在影像分割過程中，分類器對于理想分割的自動獲取過程具有很高的不確定性，具體到膚色分割問題也是如此。對此，借用模糊集理論對“不確定性”良好的表達與操作能力，能夠有效提高膚色分割效果。

    針對彩色影像以模糊分類器進行分割是一種像素級的分割策略。該策略基于一套模糊規則，分配給待測影像中每個像素以特定的類別標簽。模糊規則的提取是通過有監督的訓練過程進行，綜合利用不同顏色空間的信息。每種顏色空間可以被單獨視為一個模糊集，膚色分割過程可被轉化為尋找一個恰當的模糊函數，為各像素對于不同類別標簽的隸屬度進行表達。

    針對人臉檢測這一具體的應用背景，本文采用XM2VTS^[21]人臉數據庫來計算歸一化顏色直方圖。具體來說，從該數據庫中抽取200影像，僅以人臉部位皮膚的信息在HSI和YUV兩種顏色空間下統計顏色分布直方圖，并進行歸一化。XM2VTS中包括295個人的臉部影像數據，在為期四個月的采集過程中，每個人各采集八次臉部影像。數據庫中的被試來自不同的種族，所有人像的背景物是固定的，但成像過程的光照條件有所變化。訓練集臉部皮膚區域的直觀效果參見圖1。

    將訓練集所有影像的人臉區域像素在HSI顏色空間進行表達后，相應的歸一化顏色直方圖統計結果參見圖2。其中，圖2(a) 展示的是歸一化直方圖的響應值。可以看出，皮膚區域像素顏色在H、S、I三個通道上的響應值都呈現出明顯的高斯形態。

    由此可假定歸一化直方圖響應的擬合函數：

    對于背景像素，也即非皮膚區域的像素，本文基于文獻[22]中所提出的模型來判別前景、背景過渡區的模糊性。具體來說，待測像素的色值率屬皮膚區域的程度是由以下S函數組和Z函數組來確定的：

    以上策略同樣用于YUV顏色空間。需要說明的是，現有的相關研究認為，對于亮度與色度分離的顏色空間，顏色信息僅包含在色度通道^[23]，比如HSV空間的S、V通道和YCbCr空間的Cb、Cr通道。而在本文的實驗中發現，對于膚色的識別也明顯受到影像亮度信息的影響。這一發現促使我們在模糊模型構建的過程中對于HSI和YUV顏色空間綜合使用三通道的信息以提升模型效力。對于這兩個顏色通道進行歸一化直方圖響應擬合結果如圖2和圖3所示。

    對Y、U、V通道歸一化直方圖的擬合同樣采用式(3)的方式，并同樣建立如式(4)與式(5)的S函數組和Z函數組。由此，膚色分割問題轉化為針對兩種顏色空間的六個顏色通道求解模糊系統中式(3)、式(4)、式(5)相應的參數。

3  模糊熵模型

    對于模糊系統的參數估計問題可以使用最大熵原則求解。而信息領域中，Shannon熵是最常用的工具^[24]，目前已在影像分割問題上得到廣泛的應用^[25-26]。對于膚色分割這種影像分割的具體形式，本文以模糊3組分類熵方法處理每種顏色空間。

    對應于式(3)、式(4)、式(5)的3個模糊集的概率可以定義為：

    對H(α_si,ρ_si,γ_si,α_zi,ρ_zi,γ_zi)求解最大化可選擇出合適的參數。這一最大化過程遍歷所有顏色空間和顏色通道。

    通過從XM2VTS^[21]人臉數據庫中隨機抽取200幅影像進行訓練獲取模糊系統的參數，所獲取的分類模型如圖4、圖5所示。

4  實驗和分析

    本文實驗中共采用3種數據集以驗證算法的有效性，具體包括：XM2VTS^[21]、VALID^[27]、FERET^[28]。VALID數據庫共包括106張被試的人臉數據，每個被試在為期一個月內經過5次獨立的采集。FERET數據庫共包含11 338張人臉影像，采集自994個被試， 在本實驗中僅采用正面視角的人臉影像。這些數據集各自都囊括了高加索人、亞洲人、非洲人三種典型膚色。每個數據集與XM2VTS經過同樣的程序建立訓練集，從而優化、確定相應的模糊系統參數。

    為了驗證膚色分割模糊系統的優越性，實驗中采用了兩種傳統算法進行性能對比，包括：硬分割算法、SPM算法。硬分割算法針對各個顏色通道定義明確的分割閾值以分類人臉像素，相應閾值經由對訓練集的觀察來選取^[29-30]。SPM方法針對各個顏色通道分別建立膚色與非膚色的直方圖統計模型，并建立貝葉斯模型^[10-19]。實驗結果如表1~表3所示。

    從表中所展示的實驗結果可以看出，膚色分割模糊系統在三個數據庫上都取得了很好的分割效果，其像素級的虛警率和漏檢率都保持在減低的水平。與傳統的硬分割算法和SPM相比，本文的算法具備3%~5%的準確率優勢。傳統的兩種算法在XM2VTS數據庫上也取得了不錯的效果，但面對VALID和FERET這兩種具有更復雜的場景背景和更強光照變化的數據庫時，分割效果退化明顯。相反，模糊系統在3個數據庫上的表現較為穩固，具備很好的魯棒性。

5  結論 

    人臉和手勢識別技術的成功為智能系統的應用和推廣做出了重要貢獻，相關的產品吸引了廣泛的興趣和關注。為了得到可靠的識別結果，在影像中快速、準確地定位人臉和手部區域是不可缺少的技術環節。在關于人臉和手部區域定位的相關研究中，基于膚色分割的方法占據極大的比例。膚色分割的挑戰主要來自兩個主要方面：一是需要應對復雜的影像場景，比如背景復雜度和光照變化導致的成像差異；二是需要具備較低的時間復雜度，以滿足作為前置手段的效率需求。本文以模糊系統進行像素級的膚色分割，基于HSI和YUV顏色空間，充分利用亮度和色度信息建立模糊系統。

    對比實驗表明，膚色分割的模糊系統相對于兩者對比算法具有更高的分割精度和魯棒性，能夠有效應對復雜的場景背景且適用于不同的成像光照條件。同時，由于模糊系統的決策規則簡潔，在確定系統參數后可以快速實施像素級的分割，能夠滿足實際應用中對于算法效率的要求。

    膚色分割的模糊熵模型在電力現場安全管控系統的應用能降低電力專家工作強度，提高工作效率，減少不必要的工作環節，讓專家更專注于現場的具體技術環節，為電力現場安全管控系統的普及應用提供了必要的技術手段。

參考文獻

[1] 王磊, 蔡東升, 黃琦, 等. 基于SIP的變電站視頻監控平臺測試系統的設計與實現[J]. 電測與儀表, 2014, 51(12):87-92.

[2] 任堂正, 楊俊杰, 樓志斌. 無人值守變電站周界光電一體化安防系統設計[J]. 電測與儀表, 2016, 53(12):111-117.

[3] SUN H M. Skin detection for single images using dynamic skin color modeling [J]. Pattern Recognition. 2010, 43(4): 1413-1420.

[4] ZHENG H, DAOUDI M, JEDYNAK B. Blocking adult images based on statistical skin detection [J]. Elcvia, 2004, 4(2): 1-14.

[5] KELLY W, DONNELLAN A, MOLLOY D. Screening for objectionable images: A review of skin detection techniques[C]. Machine Vision and Image Processing Conference. 2008: 151-158.

[6] VEZHNEVETS V, SAZONOV V, ANDREEVA A. A survey on pixel-based skin color detection techniques [J]. In Proc. Graphicon-2003, 2003: 85-92.

[7] CHEN H S, WANG T M, CHEN S H, et al. Skin-color correction method based on hue template mapping for wide color gamut liquid crystal display devices [J]. Color Research & Application, 2011, 36(5): 335-348.

[8] TOMAZ F, CANDEIAS T, SHAHBAZKIA H. Improved automatic skin detection in color images [C]. International Conference on Digital Image Computing: Techniques and Applications, 2003: 419-428.

[9] XIANG F H, SUANDI S A. Fusion of multi-color space for human skin region segmentation [J]. International Journal of Information & Electronics Engineering, 2013, 3(2): 172-174.

[10] BRAND J, MASON J S, ROACH M, et al. Enhancing face detection in colour images using a skin probability map [C]. International Symposium on Intelligent Multimedia, Video and Speech Processing. 2001: 344-347.

[11] XU J, ZHANG X. A real-time hand detection system during hand over face occlusion [J]. International Journal of Multimedia & Ubiquitous Engineering, 2015, 10(8): 287-302.

[12] MA Z, LEIJON A. Bayesian estimation of beta mixture models with variational inference [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(11): 2160-2173. 

[13] Shirali-Shahreza S, MOUSAVI M E. A new bayesian classifier for skin detection [C]. International Conference on Innovative Computing Information and Control. 2008: 172-172.

[14] Lü W, HUANG J. Skin detection method based on cascaded AdaBoost classifier [J]. Journal of Shanghai Jiaotong University. 2012, 17(2): 197-202.

[15] 余益民, 黃廷輝, 桑濤. 基于Real AdaBoost算法的膚色分割方法[J]. 計算機應用, 2011, 31(12):3370-3372.

[16] 王真. 基于多顏色空間信息融合和AdaBoost算法的自適應膚色建模研究[D]. 濟南：濟南大學, 2011.

[17] PHUNG S L, CHAI D, BOUZERDOUM A. A universal and robust human skin color model using neural networks[C]. International Joint Conference on Neural Networks. 2001: 2844-2849.

[18] WIMMER M, RADIG B, BEETZ M. A person and context specific approach for skin color classification[C]. International Conference on Pattern Recognition. 2006: 39-42.

[19] AHUJA N. Gaussian mixture model for human skin color and its applications in image and video databases [J]. Proceedings of SPIE - The International Society for Optical Engineering, 1998, 3656(23): 458-466. 

[20] ZADEH L A. Fuzzy sets [C]. Fuzzy Sets, Fuzzy Logic, & Fuzzy Systems. 1996: 394-432.  

[21] MESSER K, MATAS J, KITTLER J, et al. XM2VTSDB: The extended M2VTS database [C]. International Conference on Audio- and Video-Based Biometric Person Authentication. 1999: 72-77.

[22] MURTHY C A, PAL S K. Fuzzy thresholding: Mathematical framework, bound functions and weighted moving average technique [J]. Pattern Recognition Letters, 1990, 11(3): 197-206.

[23] CHITRA S, BALAKRISHNAN G. Comparative study for two color spaces HSCbCr and YCbCr in skin color detection [J]. Applied Mathematical Sciences, 2012, 6: 4229-4238. 

[24] WU Y, ZHOU Y, SAVERIADES G, et al. Local shannon entropy measure with statistical tests for image randomness[J]. Information Sciences. 2013, 222: 323-342.

[25] ABDEL-K S, ISHAK A B, OMER O A, et al. A two-dimensional image segmentation method based on geneticalgorithm and entropy [J]. Optik, 2017, 131: 414-422.

[26] SUSAN S, KUMAR A. Auto-segmentation using mean-shift and entropy analysis [C]. International Conference on Computing for Sustainable Global Development. 2016: 292-296. 

[27] FOX N A, O’MULLANE B A, REILLY R B. VALID: A new practical audio-visual database, and comparative results [C]. International Conference on Audio- and Video-Based Biometric Person Authentication. 2005: 777-786.

[28] PHILLIPS P J, MOON H, RIZVI S A, et al. The FERET evaluation methodology for face-recognition algorithms [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(10): 1090-1104.

[29] ZHANG X N, JIANG J, LIANG Z H, et al. Skin color enhancement based  on favorite skin color in HSV color space [J]. IEEE Transactions on Consumer Electronics, 2010, 56(3):1789-1793.

[30] HUANG D Y, LIN C J, HU W C. Learning-based face detection by   adaptive switching of skin color models and Adaboost under varying illumination [J]. 2011, 2: 204-216. 

作者信息:

王文賢，武立平，馬維青

(國網山西省電力公司陽泉供電公司，山西 陽泉 045000)