馬輝棟，劉振宇，郭小鳳
（山西農(nóng)業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，山西 晉中 030801）
摘要：針對(duì)如何高效、準(zhǔn)確地從視頻圖像中提取相關(guān)特征向量，完成基于視頻的人體運(yùn)動(dòng)分析，構(gòu)建了基于視頻信息的人體下肢運(yùn)動(dòng)系統(tǒng)。系統(tǒng)包括人體運(yùn)動(dòng)輪廓的提取、噪聲處理和人體下肢建模及分析3個(gè)模塊。人體運(yùn)動(dòng)輪廓提取中采用改進(jìn)的光流算法，通過閾值設(shè)置改善了輪廓提取的清晰度和完整性。噪聲處理模塊運(yùn)用單個(gè)中值濾波器與人體四周去噪算法，不僅有效解決了多中值濾波引起的人體輪廓模糊問題，同時(shí)使人體活動(dòng)區(qū)域外的噪聲去除率達(dá)到100%。通過系統(tǒng)分析，視頻中人體行走的速度為0.687 m/s，髖關(guān)節(jié)垂直方向上下起伏幅度為4.71 cm，行走步態(tài)正常。
關(guān)鍵詞：輪廓提取；人體建模；噪聲處理；運(yùn)動(dòng)分析；視頻
引言
人體運(yùn)動(dòng)分析是人工智能［1］、生物醫(yī)學(xué)工程等領(lǐng)域研究的重要內(nèi)容。基于視頻的人體運(yùn)動(dòng)分析系統(tǒng)是通過運(yùn)動(dòng)目標(biāo)檢測(cè)、跟蹤、特征參量提取、人體結(jié)構(gòu)姿態(tài)重建等完成運(yùn)動(dòng)分析的視頻圖像處理系統(tǒng)。目前，已報(bào)道的基于計(jì)算機(jī)視覺實(shí)現(xiàn)人體運(yùn)動(dòng)分析的方案有很多，但是如何高效、準(zhǔn)確地視頻圖像信息中對(duì)相關(guān)特征量進(jìn)行提取，完成運(yùn)動(dòng)分析，仍然是目前人們?cè)诓粩嗵剿鞯膯栴}。
本文基于單目視頻，搭建了無標(biāo)識(shí)物的視頻人體下肢運(yùn)動(dòng)分析系統(tǒng)。該系統(tǒng)包括人體運(yùn)動(dòng)輪廓提取、噪聲處理、人體下肢建模及分析3大模塊，如圖1所示。
1人體運(yùn)動(dòng)輪廓提取及噪聲處理
1.1人體運(yùn)動(dòng)輪廓提取模
人體運(yùn)動(dòng)輪廓提取模塊基于Simulink仿真平臺(tái)，綜合運(yùn)用系統(tǒng)連接、計(jì)算機(jī)可視化系統(tǒng)模塊庫(kù)完成系統(tǒng)搭建，模塊仿真框圖如圖2所示。
視頻序列原圖如圖3所示，經(jīng)圖片顏色格式轉(zhuǎn)換模塊、光流模塊、閾值模塊處理后的圖片序列分別如圖4~圖6所示。
圖5顯示，經(jīng)過光流模塊處理的圖片序列基本提取出了人體輪廓，但是輪廓清晰度不高，腳部輪廓部分缺失。為此對(duì)圖像進(jìn)行了二值化處理，加入閾值處理模塊，經(jīng)過多次試驗(yàn)，將閾值設(shè)置為0.001。由圖6可以看到，經(jīng)過閾值處理的圖片序列相對(duì)于圖5，基本還原了腳部輪廓，而且輪廓清晰度也有所提高。
1.2噪聲處理
噪聲處理模塊采用中值濾波和四周去噪法，處理流程如圖7所示。
1.2.1中值濾波
圖8中值濾波前后人體輪廓對(duì)比中值濾波器用于去除孤立的點(diǎn)、毛刺等椒鹽噪聲［2］。如圖8中的兩幅圖對(duì)比，經(jīng)過多次中值濾波，圖片中的椒鹽噪聲確實(shí)有很大的改善，但是濾波后的腳步輪廓明顯比處理前的模糊，這對(duì)人體建模有非常大的影響。本文在做人體下肢骨架模型時(shí)經(jīng)多次試驗(yàn)結(jié)果對(duì)比，采用了一次7×7中值濾波處理方式。
1.2.2四周除噪
為避免中值濾波對(duì)人體輪廓二值圖像的模糊作用，本文在中值濾波后，采用基于人體高度和寬度參數(shù)的四周除噪法，結(jié)果如圖9所示。四周去噪的具體做法是根據(jù)人體頭頂、腳底、左側(cè)及右側(cè)坐標(biāo)劃分出人體所在的矩形區(qū)域（如圖9（c）所示），將該矩形區(qū)域外的一切像素點(diǎn)均視為噪聲，予以去除，處理結(jié)果如圖9（d）所示。
四周去噪的必要條件是獲取人體身高和寬度參數(shù)。如圖7所示，為了有效提取人體身體參數(shù)，采用7×7、5×5、3×3中值濾波器充分去除噪聲。實(shí)驗(yàn)中有效視頻幀共55幀，對(duì)每幀提取身高及寬度，取均值得到人體身高H為425像素。
2人體運(yùn)動(dòng)下肢建模
人體行走時(shí)，上身部分相對(duì)于整個(gè)身體軀干可近似看做靜態(tài)，下身部分的動(dòng)態(tài)分析包括以髖關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)5個(gè)關(guān)節(jié)點(diǎn)為中心的大腿骨、小腿骨。人體大腿骨、小腿骨長(zhǎng)度人體身高呈線性關(guān)系［3］。
2.1髖關(guān)節(jié)定位
髖關(guān)節(jié)定位如圖10所示。
(1)髖關(guān)節(jié)行坐標(biāo)定位。根據(jù)人體骨骼模型［4］，髖關(guān)節(jié)行坐標(biāo)與頭頂行坐標(biāo)的距離為人體身高的0.47倍，計(jì)算出髖關(guān)節(jié)行坐標(biāo)。
(2)髖關(guān)節(jié)列坐標(biāo)定位。為簡(jiǎn)化實(shí)驗(yàn)數(shù)據(jù)分析，本文實(shí)驗(yàn)中人體運(yùn)動(dòng)時(shí)假設(shè)兩臂不擺動(dòng)或有輕微的擺動(dòng)。得到髖關(guān)節(jié)行坐標(biāo)后，在髖關(guān)節(jié)所在行行掃描的到這行像素值為1的點(diǎn)，取兩交點(diǎn)的中間值設(shè)為髖關(guān)節(jié)的列坐標(biāo)。
2.2膝關(guān)節(jié)定位
大腿長(zhǎng)L_lap為身高H的0.245倍［4］，膝關(guān)節(jié)的運(yùn)動(dòng)軌跡是以髖關(guān)節(jié)為圓心，大腿長(zhǎng)為半徑的圓R1，找出軌跡圓與腿部輪廓的交點(diǎn)［5］，便可對(duì)膝關(guān)節(jié)定位。 膝關(guān)節(jié)定位分兩種情況分別討論。
（1）兩大腿骨分開。如圖11所示，圓R1與人體下身輪廓有4個(gè)交點(diǎn)。左側(cè)膝關(guān)節(jié)定位為最左側(cè)交點(diǎn)與相鄰交點(diǎn)的弧線的中點(diǎn)；右側(cè)膝關(guān)節(jié)定位為最右側(cè)交點(diǎn)與相鄰交點(diǎn)弧線的中點(diǎn)。
（2）兩大腿骨有重疊。如圖12所示，圓R1與人體下身輪廓有兩個(gè)交點(diǎn)。該情況，兩個(gè)膝關(guān)節(jié)定位分別為左側(cè)交點(diǎn)向右0.05×H像素，右側(cè)交點(diǎn)向左0.05×H像素。
2.3踝關(guān)節(jié)定位
踝關(guān)節(jié)定位原理同膝關(guān)節(jié)。小腿長(zhǎng)L_leg為人體身高H的0.246倍［5］，分別以左右兩個(gè)膝關(guān)節(jié)為圓心，小腿長(zhǎng)為半徑作圓R2、R3，得到圓與小腿輪廓的交點(diǎn)［6］，如圖13所示。因受噪聲影響，交點(diǎn)個(gè)數(shù)可能會(huì)不同，取最右側(cè)交點(diǎn)向左0.03×H處為右側(cè)踝關(guān)節(jié)點(diǎn)，取最左側(cè)交點(diǎn)往右0.03×H處為左側(cè)踝關(guān)節(jié)點(diǎn)。
2.4下肢建模結(jié)果
本實(shí)驗(yàn)對(duì)53幀視頻圖像進(jìn)行下肢建模，建模結(jié)果如圖14所示，該模型以髖關(guān)節(jié)和膝關(guān)節(jié)為端點(diǎn)畫出大腿骨，以膝關(guān)節(jié)和踝關(guān)節(jié)為端點(diǎn)畫出小腿骨的骨架模型。
3人體運(yùn)動(dòng)軌跡分析
建立出下肢骨架模型后，對(duì)人體行走時(shí)髖關(guān)節(jié)的運(yùn)動(dòng)軌跡進(jìn)行分析，本實(shí)驗(yàn)共提取出55幀圖像的下肢模型，人體正常行走3步，時(shí)間為2 s。圖15分別為髖關(guān)節(jié)垂直、水平方向運(yùn)動(dòng)軌跡擬合結(jié)果。
圖15（a）中，髖關(guān)節(jié)水平方向運(yùn)動(dòng)軌跡擬合曲線如式（1）所示：
P（t）=174.794 0t+56.932 4（1）
由此關(guān)系式可得髖關(guān)節(jié)橫向運(yùn)動(dòng)軌跡為一階函數(shù)，即該視頻中，人體水平方向的運(yùn)動(dòng)為速度為174.794 0像素/秒的勻速直線運(yùn)動(dòng)。
由圖15(b)可以看出，人體正常行走時(shí)，髖關(guān)節(jié)垂直方向的運(yùn)動(dòng)軌跡基本呈周期性上下波動(dòng)。髖關(guān)節(jié)垂直方向坐標(biāo)最大值為373像素、最小值為361像素，髖關(guān)節(jié)垂直方向波動(dòng)幅度最大值為12像素。本視頻中人體身高為425像素，167 cm。由此可得，本視頻中人體行走的速度為0.687 m/s，垂直方向上下起伏幅度為4.71 cm。
人體行走時(shí)步態(tài)的生物力學(xué)研究表明，健康成年人正常步態(tài)行走時(shí)，髖關(guān)節(jié)上下起伏的幅度約為4.4 cm［7］，本實(shí)驗(yàn)中人體行走步態(tài)是正常的。
4結(jié)論
本文搭建了視頻人體下肢運(yùn)動(dòng)分析系統(tǒng)，實(shí)現(xiàn)了對(duì)視頻的人體運(yùn)動(dòng)輪廓提取、去噪處理、下肢建模，并根據(jù)建模結(jié)果進(jìn)行了相關(guān)的運(yùn)動(dòng)分析，系統(tǒng)結(jié)構(gòu)簡(jiǎn)單易于實(shí)現(xiàn)。本文提出的改進(jìn)的光流算法有效提高了人體運(yùn)動(dòng)輪廓的完整性；四周去噪方法算法簡(jiǎn)單，易于實(shí)現(xiàn)，能有效去除人體四周噪聲。
參考文獻(xiàn)
［1］ 丁晨陽. 智能體視覺策略在RoboCup中的設(shè)計(jì)［J］. 微型機(jī)與應(yīng)用,2014,33(5):9092,95.
［2］ 張明源,王宏力,鄭佳華,等.改進(jìn)型中值濾波器在圖像去噪中的應(yīng)用［J］.兵工自動(dòng)化，2007，26（8）:4547［3］ 王晏. 人體下肢運(yùn)動(dòng)分析［D］. 大連：大連理工大學(xué), 2005.
［4］ WINTER D A. Biomechanics and motor control of human movement［M］. John Wiley & Sons, 2009.
［5］ 馬曉蕾. 基于視頻序列的偏癱患者步態(tài)分析［D］. 哈爾濱：哈爾濱工程大學(xué), 2009.
［6］ 陳華,史思思,胡春海. 基于特征融合的步態(tài)識(shí)別［J］.無線電工程，2012，42（2）:2527.
［7］ 吳劍, 李建設(shè). 人體行走時(shí)步態(tài)的生物力學(xué)研究進(jìn)展［J］. 中國(guó)運(yùn)動(dòng)醫(yī)學(xué)雜志, 2002, 21(3): 305307.