摘  要： 提出了一種基于HOG-LBP特征融合的人體頭肩檢測方法，其要點是將人體頭肩圖像等分為多個部分重疊的塊，從每個塊內(nèi)提取HOG和LBP特征并加以融合，以得到更有效的人體頭肩的邊緣輪廓和紋理特征，融合后的特征送入支持向量機SVM（Support Vector Machine）通過Bootstrapping的方式進(jìn)行訓(xùn)練，得到最終的判別模型。實驗結(jié)果表明，該方法的檢測效果優(yōu)于基于單一HOG、LBP特征的方法。

　　關(guān)鍵詞： 梯度方向直方圖；局部二值模式；頭肩檢測；支持向量機

0 引言

　　近年來，行人檢測是計算機視覺、圖像處理、模式識別領(lǐng)域中一個十分重要的研究方向。傳統(tǒng)的行人檢測特征提取方法都將人體目標(biāo)作為一個整體，從大量包含人體目標(biāo)的圖像集中學(xué)習(xí)并提取整體特征，然后采用統(tǒng)計分類技術(shù)進(jìn)行目標(biāo)檢測與分類。然而這種識別方法由于沒有利用圖像中人體的局部信息，比如人體目標(biāo)存在局部遮擋、姿態(tài)發(fā)生較大變化等情況下，會導(dǎo)致整體特征的顯著變化，對人體目標(biāo)檢測的準(zhǔn)確性造成很大的影響。由于人體頭肩呈現(xiàn)比較固定的類似“Ω”形狀和不易被遮擋等優(yōu)點，為行人的準(zhǔn)確檢測提供了先決條件。

　　當(dāng)前頭肩檢測大致分為基于知識的方法和基于統(tǒng)計學(xué)習(xí)的方法。在基于知識的方法方面，MERAD D[1]等人提出利用骨架圖的方法檢測頭肩，該方法首先是前景圖像的提取，然后用骨架描述前景圖像，接著在骨架圖中找到人體的頭部。Chen Juan[2]等人假定頭肩為俯視圖像并接近圓形，通過Hough圓檢測頭肩輪廓，然后把檢測到的輪廓與YUV顏色空間的U、V顏色直方圖匹配，從而實現(xiàn)頭肩的檢測與定位。在基于統(tǒng)計學(xué)習(xí)的方法方面，Li Min[3]等人提出基于Haar特征的級聯(lián)分類器和局部HOG特征的AdaBoost分類器的先粗后細(xì)的篩選來檢測頭肩；Li Zhixuan[4]等人采用Edgelet和LBP特征融合，送入real AdaBoost構(gòu)造頭肩檢測分類器等等。

　　由于現(xiàn)實中的頭肩顏色、輪廓等先驗知識存在較大差異，無法用統(tǒng)一的形式來描述。但是可以選用基于統(tǒng)計模式識別的方法，通過對大量樣本的學(xué)習(xí)來獲得頭肩的描述規(guī)則，自動分析頭肩與非頭肩的細(xì)微差別。基于此，本文根據(jù)人體頭肩的特點，提出了一種基于HOG-LBP特征融合的人體頭肩檢測方法。

1 相關(guān)特征介紹

　　1.1 HOG特征

　　HOG描述是在一個網(wǎng)格密集、大小統(tǒng)一的細(xì)胞單元（Cell）上計算，并且為了提高性能，還采用了重疊的局部對比度歸一化技術(shù)。其主要思想是：在一幅圖像中，局部目標(biāo)的表象和形狀能夠被梯度或邊緣的方向密度分布很好地描述。按照Dalal[5]提出的方法，HOG特征提取方法包括5個步驟：顏色空間Gamma校正、計算梯度、統(tǒng)計單元內(nèi)的方向梯度、重疊塊內(nèi)的梯度強度的歸一化、塊內(nèi)直方圖組合成HOG特征向量。下面簡要介紹以上五個步驟。

　　（1）顏色空間Gamma校正

　　為了減少光照因素的影響，一般情況下，首先需要將整幅圖像進(jìn)行歸一化。但是后來研究人員通過實驗發(fā)現(xiàn)，顏色空間標(biāo)準(zhǔn)化處理對實驗結(jié)果影響不大，分析其原因，可能是接下來的計算過程中的特征歸一化處理也能達(dá)到相似的效果。這樣在實際應(yīng)用中，這個計算步驟可以省略。

　　（2）梯度的計算

　　設(shè)像素（x，y）處的灰度值為I，梯度幅值為G，梯度方向為?茲，采用[-1，0，1]的一維中心梯度算子，計算水平方向和垂直方向的梯度分別如下：

　　對于RGB彩色圖像，即對每個顏色通道計算梯度，選取梯度幅值最大的顏色通道所對應(yīng)的梯度作為該像素點的梯度。

　　（3）將圖像窗口區(qū)域劃分成均勻分布的單元（如8×8像素大小的單元），每相鄰的2×2單元組合成一個小區(qū)域塊。在小塊內(nèi)的每個像素以幅值作為權(quán)值投票到近鄰單元直方圖的相應(yīng)梯度方向柱里。不考慮梯度方向的正負(fù)，即將方向轉(zhuǎn)化到0°~180°內(nèi)，直方圖取9個方向柱。

　　（4）對每一個小塊的直方圖進(jìn)行歸一化，能夠?qū)庹铡㈥幱啊⑦吘墝Ρ榷鹊染哂懈玫牟蛔冃浴Ｓ捎诿總€小塊有4個9維的直方圖，歸一化后即得到該小塊36維的特征向量。假設(shè)ν為歸一化的特征向量，常用歸一化方法有：①L2-norm歸一化：，其中ε是很小的常數(shù)，避免分母為0。②L2-Hys歸一化：對L2-norm的結(jié)果，若有元素大于0.2，則將其減小為0.2，之后再進(jìn)行一次L2-norm。

　　（5）將所有小塊的特征向量串聯(lián)起來，形成窗口的HOG特征。

　　1.2 LBP特征

　　LBP[6]最早是作為一種有效的紋理描述算子提出來的，由于其對圖像局部紋理特征的卓越描繪能力而獲得了十分廣泛的應(yīng)用。LBP算子的特點是計算高效、判別性強且對單調(diào)的灰度級變化具有不變性。

　　基本的LBP算子是對于圖像中的每一個像素點，以該點的灰度值作為閾值，對其3×3鄰域內(nèi)的像素灰度值作比較，若周圍8個像素點的值大于閾值，則為1，否則為0。按照一定的順序比較，得到一個8位的二進(jìn)制數(shù)，以此二進(jìn)制數(shù)作為對該像素點的響應(yīng)。圖1所示為提取過程。

　　其計算公式如下：

　　后來，基本LBP算子被進(jìn)一步推廣為使用不同大小和形狀的鄰域。采用圓形的鄰域并結(jié)合雙線性插值運算，從而可以獲得任意半徑和任意數(shù)目的鄰域像素點。圖2給出幾種不同圓形鄰域的LBP算子。

　　其中P是采樣點的數(shù)目，R是采樣半徑。

　　對于一個局部二進(jìn)制模式，在將其二進(jìn)制位串視為循環(huán)的情況下，如果其中包含的從0到1或者從1到0轉(zhuǎn)變不超過2個，這樣局部二進(jìn)制模式統(tǒng)一為一致性模式。例如模式00000000（0個轉(zhuǎn)變）和01110000（2個轉(zhuǎn)變）都是一致性模式。而模式00100010（4個轉(zhuǎn)變）和01010011（6個轉(zhuǎn)變）都是非一致性模式。經(jīng)過映射，編碼方式由256種縮短為59種，使得特征向量的維數(shù)減少。當(dāng)背景中噪聲邊緣成分多時，HOG特征的表現(xiàn)不足，而LBP算子的一致性模式可濾除這類噪聲，彌補這一缺陷。將各個一致性模式對應(yīng)到直方圖柱，而所有的非一致性模式都?xì)w為一個柱。

2 HOG-LBP特征融合

　　特征提取是人體頭肩檢測中最為關(guān)鍵的環(huán)節(jié)之一，提取具有鑒別意義的特征對準(zhǔn)確檢測人體頭肩起著重要作用。特征融合技術(shù)既融合了多種特征的有效鑒別信息，又能消除大部分冗余的信息，從而實現(xiàn)了信息的有效壓縮，節(jié)約了信息存儲空間，有利于加快運算速度和進(jìn)行信息的實時處理。目前常用的特征融合方法為串行融合和并行融合。

　　設(shè)模式樣本空間?贅上存在兩個不同的特征空間A、B，對于任意模式樣本ε∈?贅，設(shè)它對應(yīng)的兩個特征向量分別為?琢∈A和?茁∈B，串行融合后的特征矩陣?酌=（?琢，?茁）。若特征向量?琢和?茁分別為n和m維，由組合原理可知，其組合后的串行特征空間為（n+m）維。并行融合后的特征矩陣?酌=?琢+i?茁，其中i為虛數(shù)單位。若兩組特征的維數(shù)不等，則低維的特征向量用零補足，此時特征矩陣維數(shù)為max{dim（A），dim（B）}。

　　串行特征向量的計算過程如圖3所示，分別計算HOG特征直方圖和LBP特征直方圖，串行連接形成聯(lián)合直方圖。

3 實驗過程及結(jié)果分析

　　3.1 實驗樣本

　　為了測試HOG特征和LBP特征融合的有效性，建立了一個基于行人頭肩的數(shù)據(jù)庫。數(shù)據(jù)庫圖片大多通過現(xiàn)有的行人樣本集，手工摳取人體頭肩區(qū)域形成樣本圖片，用于訓(xùn)練與測試。原始行人及負(fù)樣本集來自INRIA、MIT樣本集以及網(wǎng)上收集的一些人物圖片。訓(xùn)練庫包含了2 500個正樣本和5 500個負(fù)樣本，部分正樣本圖片如圖4所示。

　　3.2 樣本HOG和LBP特征計算以及融合

　　本文實驗中，樣本HOG特征計算步驟：對正負(fù)樣本集中每一幅大小32×32的灰度圖片（這里采用灰度圖片是考慮計算量大小的影響，并且對最終的檢測結(jié)果影響微小），計算矩形HOG特征描述子R-HOG，設(shè)定的Cell大小為8×8，Block的大小為16×16，滑動步長是以一個Cell的寬度大小，HOG特征計算的具體過程如下：

　　（1）為了減少光照等的影響，首先對樣本圖像進(jìn)行Gamma標(biāo)準(zhǔn)化，本實驗中這一步驟省略。

　　（2）計算灰度圖像中各個像素點x方向和y方向的梯度，采用簡單的[-1，0，1]模板計算梯度的方向和幅值。

　　（3）在每個Cell內(nèi)，設(shè)定投影方向為9個bin，用各個像素點的梯度幅值作為權(quán)重，投票統(tǒng)計各Cell的梯度方向加權(quán)直方圖，此直方圖的維數(shù)為9。

　　（4）對一個Block（Block之間有重疊）內(nèi)的4個Cell采用L2-norm進(jìn)行歸一化處理，然后統(tǒng)計4個Cell的梯度直方圖，維數(shù)為36。

　　（5）每幅圖像需要計算HOG特征向量的Block數(shù)目為：（（32-16）/8+1）（（32-16）/8+1），最后串聯(lián)圖像中所有的Block，計算得到的HOG特征向量的維數(shù)是：9×36=324維。

　　本實驗中，樣本LBP特征計算步驟：對正負(fù)樣本集中每一幅大小為32×32的灰度圖片，采用基于滑動窗口的LBP特征提取。滑動窗口針對圖像算法的一般描述如下：在一幅大小為W×H的圖像中，按一定規(guī)律移動w×h的窗口（W>>w，H>>h），對窗口內(nèi)像素點進(jìn)行一系列運算，運算結(jié)束后窗口向右或向下移動一步，直至完成對整幅圖像的處理。設(shè)定窗口的大小為16×16，并設(shè)定窗口在水平方向和垂直方向的滑動步長為窗口寬度的一半。LBP特征計算的具體過程如下：

　　（1）對于每個窗口中的一個像素，采用算子LBP（表示半徑為1、含8個鄰域的環(huán)形，均勻模式）來計算LBP特征值。

　　（2）根據(jù)窗口內(nèi)計算的LBP特征值，計算每個窗口的直方圖，即每個LBP特征值出現(xiàn)的次數(shù)，然后采用L2-norm進(jìn)行歸一化處理，此直方圖的維數(shù)為59。

　　（3）每幅圖像需要計算LBP特征向量的窗口數(shù)目為：（（32-16）/8+1）（（32-16）/8+1），最后串聯(lián)圖像中所有窗口的統(tǒng)計直方圖，計算得到的LBP特征向量的維數(shù)是：9×59=531維。

　　最后，將樣本HOG特征向量和LBP特征向量串行連接形成聯(lián)合特征向量。

　　3.3 分類器訓(xùn)練

　　在目標(biāo)檢測分類器算法中，應(yīng)用比較廣泛的是線性SVM和AdaBoost算法。SVM在分類器過程中主要通過核函數(shù)，將線性不可分的低維空間轉(zhuǎn)換為線性可分的高維空間，但訓(xùn)練過程中，容易出現(xiàn)數(shù)據(jù)分類失衡的問題。本文選擇了線性SVM分類器訓(xùn)練，并且使用交叉驗證的方法選擇SVM最優(yōu)參數(shù)，使分類器對輸入的訓(xùn)練樣本分類精度最高。

　　3.4 實驗結(jié)果與分析

　　本文用HOG特征、LBP特征以及本文的HOG-LBP融合特征，結(jié)合SVM分類器進(jìn)行實驗。實驗測試圖像大小為352×384，算法基于OpenCV2.4.9修改，運行在VS2012環(huán)境下，Inter Core i3-3220（3.30 GHz）的四核處理器和4 GB內(nèi)存的電腦上。實驗結(jié)果如表1所示。

　　分析表1可知，采用SVM分類器進(jìn)行訓(xùn)練，HOG-LBP融合特征與HOG特征、LBP特征相比，能有效地降低誤檢率和漏檢率，但是由于融合特征的維數(shù)增加，融合特征檢測時間比單一特征的檢測時間要長。

　　基于本文的HOG-LBP特征融合，結(jié)合SVM分類器，對INRIA庫測試集圖像進(jìn)行多尺度遍歷后的識別效果如圖5所示，其中圖5（a）、圖5（b）都進(jìn)行了較為準(zhǔn)確的多目標(biāo)檢測，其中圖5（a）中的人體頭肩有部分遮擋也可檢測出，圖5（b）中遠(yuǎn)處的人體頭肩也可檢測出。圖5（c）和圖5（d）展示了部分誤檢與漏檢，漏檢是由于人體頭肩的形變過大或遮擋引起，誤檢則是因為物體的輪廓與人體頭肩輪廓很相似。

4 結(jié)束語

　　本文提出了一種基于HOG-LBP融合特征的人體頭肩的檢測方法，融合的特征不僅準(zhǔn)確地表征了人體頭肩輪廓信息，而且能夠?qū)θ梭w頭肩輪廓紋理有很好的描述。實驗結(jié)果表明，本文所提的算法可以達(dá)到較好的識別效果。

參考文獻(xiàn)

　　[1] Zheng Jin， Zhang Wan， Li Bo. Pedestrain detection based on background modeling and head-shoulder recognition[C].IEEE International Conference on Wavelet Analysis and Pattern Recognition（ICWAPR），2012：227-232.

　　[2] Chen Juan， Wen Quan， Zhuo Chenglong， et al. Automatic head detection for passenger flow analysis in bus surveillance videos[C]. International Congress on Image and Signal Processing（CISP）.2012：143-147.

　　[3] Li Min， Zhang Zhaoxiang. Rapid and robust human detection and tracking based on omega-shape feature[C]. IEEE International Conference on Image Processing（ICIP），2009：2545-2548.

　　[4] Li Zhixuan， Zhao Yanyun. Pedestrian detection in single frame by edgelet-LBP part detectors[C]. IEEE International Conference on Advanced Video and Signal-Based Surveillance（AVSS），2013：420-425.

　　[5] DALAL N， TRIGGS D. Histograms of oriented gradients for human detection[C]. Proceedings of Conference on Computer Vision and Pattern Recognition， San Diego， 2005：886-893.

　　[6] OJALA T， PIETIKAINEN M， MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary pattern[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002，24（7）：971-987.

　　[7] 顧炯，趙曙光，王宏斌.基于Joint HOG特征復(fù)雜場景下的頭肩檢測[J].電子設(shè)計工程，2012（7）：58-62.

　　[8] 黃炎，范賜恩，朱秋平，等.聯(lián)合梯度直方圖和局部二值模式特征的人體檢測[J].光學(xué)精密工程，2013（4）：1047-1052.

　　[9] Zhao Yang. Theories and applications of LBP： a survey[C].Zhengzhou： 7th International Conference on Intelligent Computing，2012：112-120.

　　[10] AHONEN T， ABDEOUR H， MATTI P. Face recognition with local binary patterns[C]. Proceedings of the 8th Europen Conference on Computer Vision， 2004：469-481.