操小文，薄華

　　（上海海事大學(xué) 信息工程學(xué)院，上海201306）

　　摘要：傳統(tǒng)的手勢識別系統(tǒng)由特征提取和分類器組成，需要人工設(shè)計特征，但很難達到足夠滿意的效果且耗費大量的時間。將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于手勢識別，能直接把圖像數(shù)據(jù)輸入網(wǎng)絡(luò)，且不用進行復(fù)雜的前期預(yù)處理。卷積神經(jīng)網(wǎng)絡(luò)擁有很強的魯棒性和較低的復(fù)雜性，通過大量的仿真實驗，證明了該識別方法具有很好的識別效果，相比現(xiàn)有方法有較大的優(yōu)勢。

　　關(guān)鍵詞：特征提取；卷積神經(jīng)網(wǎng)絡(luò)；手勢識別；魯棒性

0引言

　　隨著現(xiàn)有科學(xué)技術(shù)的發(fā)展，機器人技術(shù)［1］將會給人類帶來很大的便利，而人機交互［2］則是其中最重要的一環(huán)。因此，要讓機器人根據(jù)人的指示完成相應(yīng)的動作，就必須要讓機器人“明白”人的指示。人們平時運用最多的就是手勢，而基于視覺的手勢識別技術(shù)涉及到模式識別［3］、圖像處理以及計算機視覺［4］等許多領(lǐng)域，是現(xiàn)在非常熱門的研究課題。目前國內(nèi)對基于視覺的手勢識別技術(shù)已展開了許多的研究工作。

　　關(guān)于手勢識別［5］的常用算法有以下三種：（1）基于幾何特征［6］的手勢識別。將手勢的區(qū)域和邊緣特征用作待識別的特征，并采用各種距離公式進行模板匹配。該方法有較強的適應(yīng)性和穩(wěn)定性，但是學(xué)習(xí)能力不足且效率不高，有很明顯的不足。（2）基于隱馬爾可夫模型的手勢識別。這是一種統(tǒng)計分析模型，其拓撲結(jié)構(gòu)具有一般性，能夠很好地描述手勢信號的時空變化，適用于動態(tài)手勢的識別，但是計算量過于龐大且速度緩慢，不能很好地滿足當前應(yīng)用的需要。（3）基于人工神經(jīng)網(wǎng)絡(luò)［7］的手勢識別。具有較強的學(xué)習(xí)能力和抗干擾能力，而且網(wǎng)絡(luò)能很好地擬合各類非線性映射，在擁有更快的計算速度的同時還有很強的魯棒性和泛化能力，但由于其對時間序列的處理能力不強，主要應(yīng)用于靜態(tài)手勢識別［8］，而對于動態(tài)手勢的識別［9］則效果不佳。

　　由以上分析可知，現(xiàn)有算法都有或多或少的缺陷，因此未能得到很好的應(yīng)用。而卷積神經(jīng)網(wǎng)絡(luò)（Ｃonvolutional Neural Network,CNN）在二維圖像處理中的獨特優(yōu)勢，使其在手勢識別中的研究也漸漸開展。

1卷積神經(jīng)網(wǎng)絡(luò)

　　傳統(tǒng)圖像識別［10］的分類模型如圖1所示。人工設(shè)計特征是一件非常耗時耗力的事情，必須要有非常深厚的專業(yè)知識和經(jīng)驗才能確定出能用于正確分類的特征。然而卷積神經(jīng)網(wǎng)絡(luò)［11］則不需要人工設(shè)計特征，它能夠?qū)D像數(shù)據(jù)直接輸入網(wǎng)絡(luò)中，然后在輸出端即可給出分類結(jié)果。其分類模型如圖2所示。

　　1.1CNN網(wǎng)絡(luò)結(jié)構(gòu)

　　CNN包含有兩種特殊的神經(jīng)元層，分別是卷積層和下采樣層［12］，其整個網(wǎng)絡(luò)結(jié)構(gòu)由卷積層（C）和下采樣層（S）交替出現(xiàn)最后與全連接層（F）相連所構(gòu)成，并在最后的輸出層給出結(jié)果。本文的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

　　卷積操作其實是用一個卷積核［13］（即特征矩陣）在圖像矩陣上移動，卷積核與圖像上相對位置的元素作乘積，最后將所得結(jié)果相加得到一個值。當卷積核移動完畢，所有值就構(gòu)成了一個新的圖像矩陣，即完成了對上一層的特征抽取。其數(shù)學(xué)表達式如（1）所示：

　　其中，f為激活函數(shù)，一般為sigmoid或tanh；b為偏置項。

　　下采樣則相當于對特征進行二次提取，這樣做是為了對上一層的特征進行降維，減少計算量并且避免因特征過多導(dǎo)致出現(xiàn)過擬合。經(jīng)過降維后的特征更能刻畫出圖像的一般性，更加適用于分類［14］，并可以增強網(wǎng)絡(luò)結(jié)構(gòu)對位移的魯棒性。

　　下采樣的一般形式如式（2）：

　　xij=down(xi-1j）(2)

　　down(·) 為下采樣函數(shù)，與卷積操作類似，其也是對一個區(qū)域的加權(quán)求和，若用n×n大小的窗口進行下采樣，最終的圖像大小將會是輸入圖像的1/n。

　　1.2基于卷積神經(jīng)網(wǎng)絡(luò)的算法及訓(xùn)練過程

　　本文所采用的網(wǎng)絡(luò)結(jié)構(gòu)有8層，包含輸入層、3層卷積層、3層下采樣層、1層全連接層。與參考文獻［8］相比，本文所用網(wǎng)絡(luò)多了一層卷積層和一層下采樣層，且卷積核大小設(shè)置也不一樣。本文將網(wǎng)絡(luò)的學(xué)習(xí)速率（alpha）設(shè)置為0.2，批次大小（batchsize）設(shè)置為20，迭代次數(shù)（numepochs）設(shè)置為150。且卷積核和各偏置等參數(shù)的初始值均隨機產(chǎn)生，輸入樣本后通過前向傳播和反向傳播算法對網(wǎng)絡(luò)進行訓(xùn)練來更新參數(shù)。其中每層所做的操作如下：

　　(1)輸入層是已經(jīng)歸一化為48×48的圖像，經(jīng)二值化處理后即可輸入網(wǎng)絡(luò)。

　　(2)C1網(wǎng)絡(luò)層是對輸入圖像進行卷積所得結(jié)果，本文使用7×7的卷積核對輸入圖像進行特征抽取，該層特征圖為3張，大小為42×42。

　　(3)S2網(wǎng)絡(luò)層是對C1層進行的抽樣，抽樣窗口大小為2×2，此時特征圖數(shù)量仍為3張，大小為21×21。

　　(4)C3是對S2的卷積操作，卷積核大小設(shè)置為6×6，特征圖為5張，大小為16×16。

　　(5)S4網(wǎng)絡(luò)層（同S2），為第二個下采樣層，抽樣窗口仍是2×2，特征圖為5張，大小為8×8。

　　(6)C5是第三個卷積層，卷積核大小為5×5，此時圖像大小為4×4，特征圖數(shù)量設(shè)置為7張。

　　(7)S6是第三個下采樣層，經(jīng)2×2的抽樣窗口后大小是2×2，圖像數(shù)量為7張。

　　(8)F7層是全連接層，是把S6層的特征數(shù)據(jù)向量化后連接到輸出層。根據(jù)分類的類別數(shù)，本文的輸出層有三個神經(jīng)元，即分三類。

　　整個網(wǎng)絡(luò)結(jié)構(gòu)確定后，利用前向傳播（fp）、反向傳播（bp）等算法確定網(wǎng)絡(luò)參數(shù)，這樣整個網(wǎng)絡(luò)就訓(xùn)練完畢。

2仿真實驗

　　2.1手勢圖像的預(yù)處理

　　雖然CNN可以直接輸入原始圖像，但是簡單的預(yù)處理可以使最終識別效果更好而又不耗費太多時間。

　　本文將圖像進行灰度和二值化處理，最終歸一化到48×48作為試驗的最終輸入數(shù)據(jù)，如圖4所示。

　　2.2實驗結(jié)果及分析

　　本文的實驗數(shù)據(jù)均為作者自己拍攝，手勢總共有3種，分別是指向手勢1、勝利手勢2、搖滾手勢3，如圖5所示。當用設(shè)備拍攝時，保持設(shè)備與手的位置基本不變，在限制范圍內(nèi)，手可以任意旋轉(zhuǎn)、平移，方向不定。

　　對于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，樣本的多少對最終學(xué)習(xí)效果有很大的影響。樣本過少會使網(wǎng)絡(luò)無法學(xué)習(xí)到圖像的有效特征，降低識別效率。因此本文拍攝了大量的樣本來進行試驗，從各類手勢中選取2 500個訓(xùn)練樣本和500個測試樣本。取其迭代10次的平均識別率作為該方法的最終識別率。

　　（1）分別用圖像的灰度圖和二值圖進行試驗，結(jié)果如表1、表2所示。

　　由以上結(jié)果可知，卷積神經(jīng)網(wǎng)絡(luò)在手勢識別中擁有較高的識別率，且在單一背景下因手的灰度與周圍環(huán)境的反差，用二值圖像能獲得更好的識別率。后續(xù)試驗均采用二值化圖像進行。

　　（2）為了驗證該網(wǎng)絡(luò)結(jié)構(gòu)的魯棒性，模擬真實情況下的場景，給圖像加上3種不同程度的噪聲和3種不同程度的運動模糊。如圖6所示。

　　實驗結(jié)果如表3~表8所示。

　　由上述結(jié)果可知，給圖像加了噪聲和運動模糊后，各類手勢的識別率均有所下降，且受影響最大的為手勢3，可能因為手勢3最復(fù)雜，所包含的特征數(shù)最多，在噪聲和模糊的影響下所掩蓋的特征最多，導(dǎo)致識別率下降最快。但是在一定程度內(nèi)，識別率雖有所下降但依舊維持在一個較高的水準，表明該網(wǎng)絡(luò)確實有很強的魯棒性，沒有因為噪聲和模糊的存在而出現(xiàn)較大的異常，完全可以滿足現(xiàn)有的應(yīng)用需要。

3結(jié)論

　　卷積神經(jīng)網(wǎng)絡(luò)避免了對圖像前期復(fù)雜的預(yù)處理，不用去人工設(shè)計和提取特征，節(jié)省了大量的時間和人工成本。其獨特的卷積-下采樣結(jié)構(gòu)使其擁有很強的容忍畸變的能力，而獨有的權(quán)值共享則極大地縮減了網(wǎng)絡(luò)的訓(xùn)練參數(shù)，大大降低了計算量，且使其擁有更簡單的網(wǎng)絡(luò)結(jié)構(gòu)和更強的適應(yīng)能力，給圖像處理領(lǐng)域帶來了極大的方便。

　　本文通過大量的仿真實驗，驗證了卷積神經(jīng)網(wǎng)絡(luò)在手勢識別中的高效性和強魯棒性，具有很好的應(yīng)用前景。后續(xù)可以通過對網(wǎng)絡(luò)結(jié)構(gòu)和算法的一些改進，進一步降低其在手勢識別中的誤識率。

參考文獻

　　［1］ 劉江華,程君實,陳佳品.基于視覺的動態(tài)手勢識別及其在仿人機器人交互中的應(yīng)用［J］. 機器人， 2002，24(3):4651.

　　［2］ 王茂吉.基于視覺的靜態(tài)手勢識別系統(tǒng)［D］. 哈爾濱：哈爾濱工業(yè)大學(xué)，2006.

　　［3］ 孫世輝.基于視覺的復(fù)雜背景下手勢識別方法的研究［D］. 大連：大連海事大學(xué)，2014.

　　［4］ 王振,高茂庭.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別算法設(shè)計與實現(xiàn)［J］.現(xiàn)代計算機，2015，34(7):6166.

　　［5］ 張圓圓.基于視覺的手勢識別技術(shù)及其應(yīng)用研究［J］.計算技術(shù)與自動化，2015，34(1):131135.

　　［6］ 殷倩倩.基于計算機視覺的靜態(tài)手勢識別［D］. 上海：復(fù)旦大學(xué)，2014.

　　［7］ 陳先昌.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與應(yīng)用研究［D］.杭州：浙江工商大學(xué),2013.

　　［8］ 劉飛飛.基于視覺的實時手勢識別及應(yīng)用［D］. 西安：長安大學(xué)，2015.

　　［9］ 王西穎,戴國忠,張習(xí)文,等.基于HMMFNN模型的復(fù)雜動態(tài)手勢識別［J］. 軟件學(xué)報， 2008，19(9):2529.

　　［10］ 楊耿,和衛(wèi)星.運動目標圖像識別與跟蹤系統(tǒng)的研究［J］.計算機測量與控制，2005，13(3):267269.

　　［11］ LECUN Y, BOTTOU L, BENGIO Y, et al. Gradientbased learning applied to document recognition［J］. Proceedings of the IEEE, 1998,86(11):22782324.

　　［12］ 趙志宏,楊紹普,馬增強.基于卷積神經(jīng)網(wǎng)絡(luò)LeNet5的車牌字符識別研究［J］.系統(tǒng)仿真學(xué)報,2010,22(3):638641.