摘 ?要： 在無線網(wǎng)絡(luò)環(huán)境下的視頻通信過程中，錯(cuò)誤隱蔽是一種提高解碼圖像質(zhì)量的重要手段。提出了一種針對(duì)實(shí)時(shí)視頻應(yīng)用的自適應(yīng)時(shí)域運(yùn)動(dòng)補(bǔ)償處理方法，不僅考慮了受損視頻在時(shí)間上的相關(guān)性，而且針對(duì)補(bǔ)償圖像中的塊效應(yīng)進(jìn)行自適應(yīng)處理，能夠有效地提高解碼圖像質(zhì)量。
??? 關(guān)鍵詞： 視頻通信；錯(cuò)誤隱蔽；塊效應(yīng)
?
?? 3G無線網(wǎng)絡(luò)提供了更大的網(wǎng)絡(luò)帶寬，但是無線網(wǎng)絡(luò)不能保證傳輸質(zhì)量，使傳輸誤碼或者丟包不可避免，因此如何提高傳輸視頻對(duì)誤碼或者丟包的抗干擾和恢復(fù)能力一直是無線多媒體通信領(lǐng)域的研究熱點(diǎn)。在視頻解碼器端進(jìn)行錯(cuò)誤隱蔽的方法[1]，可以在不增加傳輸帶寬和傳輸時(shí)延的情況下改善接收到的圖像質(zhì)量，因此在出錯(cuò)環(huán)境下的視頻傳輸中得到廣泛關(guān)注。目前的錯(cuò)誤隱蔽方法有二類：基于運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)域方法和基于空域或頻域插值的方法。
??? 最簡(jiǎn)單的基于空域或頻域插值的錯(cuò)誤隱蔽(例如雙線性內(nèi)插)，很難恢復(fù)出紋理和邊界信息豐富的區(qū)域的丟失信息。基于邊界或者內(nèi)容的空域和頻域插值方法[2]計(jì)算量很大，很難在實(shí)際中應(yīng)用，而且在整幀圖像丟失的情況下，由于缺少空間相鄰信息，基于空域或頻域插值的方法無法恢復(fù)出受損數(shù)據(jù)。
??? 基于運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)域錯(cuò)誤隱蔽方法是通過估計(jì)丟失幀的宏塊運(yùn)動(dòng)信息來恢復(fù)丟失信息的，例如邊界匹配方法[3]。但該方法存在一個(gè)明顯缺點(diǎn)：在出現(xiàn)整幀丟失的情況下無法獲取空間相鄰宏塊的MV，因此也不能估計(jì)丟失宏塊的MV。
1 圖像幀錯(cuò)誤隱蔽方法回顧
??? 傳統(tǒng)的空域或者時(shí)域視頻錯(cuò)誤隱蔽方法都是在單個(gè)或者多個(gè)連續(xù)的宏塊丟失的假設(shè)條件下實(shí)現(xiàn)的。但是在低碼率的無線視頻通信中，傳輸錯(cuò)誤往往導(dǎo)致整幀圖像的丟失。一方面，在低碼率的情況下，1幀圖像的數(shù)據(jù)量通常小于1個(gè)基本網(wǎng)絡(luò)傳輸單元，而網(wǎng)絡(luò)傳輸中的數(shù)據(jù)包丟失通常對(duì)應(yīng)于一整幀圖像內(nèi)容的丟失；另一方面，3G無線網(wǎng)絡(luò)的傳輸誤碼一般為連續(xù)的突發(fā)性誤碼，這將導(dǎo)致連續(xù)的數(shù)據(jù)受損，表現(xiàn)為整幀圖像的丟失。
??? 針對(duì)整幀圖像丟失的錯(cuò)誤隱蔽方法分為二類：一類是利用光流方法來估計(jì)丟失圖像幀的運(yùn)動(dòng)矢量場(chǎng)[4-5]，并對(duì)每個(gè)像素的MV進(jìn)行濾波或者插值，然后逐個(gè)像素采取時(shí)域運(yùn)動(dòng)補(bǔ)償方法恢復(fù)出受損圖像幀。但是這種方法計(jì)算量非常大，不適合無線視頻通信應(yīng)用中的手持終端應(yīng)用；第二類是運(yùn)動(dòng)矢量外推方法(MVE)[6]，快速預(yù)測(cè)丟失幀圖像塊的MV，但是估計(jì)精度有限，恢復(fù)的丟失幀圖像會(huì)出現(xiàn)明顯的塊效應(yīng)。
??? 本文提出了一種改進(jìn)的塊運(yùn)動(dòng)矢量外推方法，通過基于瑕疵塊的圖像質(zhì)量評(píng)測(cè)尺度來修正丟失圖像幀的塊運(yùn)動(dòng)矢量信息，既能夠提高恢復(fù)的丟失圖像幀質(zhì)量，又能夠適應(yīng)手持終端的實(shí)時(shí)應(yīng)用。
2 算法框架
??? 錯(cuò)誤隱蔽的目的是恢復(fù)出丟失的壓縮視頻中的內(nèi)容。雖然丟失的視頻數(shù)據(jù)不可能完全恢復(fù)，但是視頻信息總是存在相關(guān)性，因此可以利用丟失數(shù)據(jù)時(shí)間相關(guān)性恢復(fù)出丟失部分的視頻數(shù)據(jù)。本文提出了一種自適應(yīng)的時(shí)域錯(cuò)誤隱蔽算法，其執(zhí)行過程如圖1所示。
?
??? 對(duì)輸入的視頻碼流進(jìn)行錯(cuò)誤檢測(cè)，若沒有圖像幀丟失，則按照正常解碼過程輸出解碼圖像。若發(fā)現(xiàn)圖像幀丟失，標(biāo)記出受損圖像幀，t-1幀的第i個(gè)4×4子塊的運(yùn)動(dòng)矢量記為
；接著按照運(yùn)動(dòng)矢量外推方法計(jì)算前向外推運(yùn)動(dòng)矢量場(chǎng)，每個(gè)4×4子塊的前向外推運(yùn)動(dòng)矢量記為
，從而可以按照前向運(yùn)動(dòng)補(bǔ)償方法得到預(yù)估計(jì)的丟失幀圖像，詳細(xì)方法見2.1節(jié)。
??? 對(duì)預(yù)估計(jì)的丟失幀圖像進(jìn)行修正，按照8×8塊大小計(jì)算邊界系數(shù)，判斷是否有錯(cuò)誤圖像塊，若有，對(duì)錯(cuò)誤圖像塊重新估計(jì)運(yùn)動(dòng)矢量，并重新進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到修正的圖像塊數(shù)據(jù)，具體方法見2.2節(jié)。
2．1 時(shí)域運(yùn)動(dòng)補(bǔ)償
??? 為了能夠更有效地利用視頻數(shù)據(jù)在時(shí)域上的相關(guān)性，本文采用了參考文獻(xiàn)[6]的MVE方法作為時(shí)域錯(cuò)誤隱蔽算法的基礎(chǔ)，即利用運(yùn)動(dòng)矢量外推方法恢復(fù)出受損圖像塊的MV，然后通過運(yùn)動(dòng)補(bǔ)償恢復(fù)受損圖像。
?
式中，W1，…WN表示權(quán)值，正比于各個(gè)子塊在第j塊中所占的像素區(qū)域，WN+1是當(dāng)前子塊中沒有被疊加塊覆蓋的像素區(qū)域在整個(gè)子塊中所占的比例。
??? 在進(jìn)行運(yùn)動(dòng)矢量外推時(shí)，第t幀的部分子塊可能沒有外推的運(yùn)動(dòng)矢量，此時(shí)該子塊的外推運(yùn)動(dòng)矢量記為0。
??? 在第t幀的每個(gè)子塊都得到1個(gè)外推運(yùn)動(dòng)矢量后，對(duì)應(yīng)子塊的圖像數(shù)據(jù)為：
??? 
2．2 基于瑕疵塊的圖像塊修正
??? 在完成時(shí)域運(yùn)動(dòng)補(bǔ)償后，部分區(qū)域可能存在瑕疵塊，原因在于運(yùn)動(dòng)矢量外推方法假設(shè)物體是剛體運(yùn)動(dòng)，但是運(yùn)動(dòng)目標(biāo)的局部運(yùn)動(dòng)特性不能通過剛體運(yùn)動(dòng)來模擬。因此根據(jù)剛體運(yùn)動(dòng)模型得到的運(yùn)動(dòng)矢量場(chǎng)會(huì)產(chǎn)生錯(cuò)誤的預(yù)測(cè)，造成明顯的塊效應(yīng)。
??? 針對(duì)這個(gè)問題，本文提出了一種基于瑕疵塊判斷的局部區(qū)域進(jìn)行修正的方法。具體如下：對(duì)預(yù)估計(jì)圖像提取子塊(8×8)的水平邊界和垂直邊界位置處于塊邊界內(nèi)部和外部的2個(gè)像素區(qū)域，記為BlockIn[2]和BlockOut[2]，其中數(shù)組序號(hào)表示距離邊界位置的距離。計(jì)算這2個(gè)區(qū)域的：
? 
?
??? 式中，SAD( )表示計(jì)算2組數(shù)據(jù)的絕對(duì)差值和。塊邊界系數(shù)S3=S1/S2，對(duì)于未壓縮的圖像，S3接近1；但是對(duì)于分塊壓縮的圖像而言，S3必定大于1。因此，當(dāng)S3大于1個(gè)給定閾值T時(shí)，則表示存在瑕疵塊。當(dāng)圖像壓縮率越高時(shí)，圖像上的塊效應(yīng)也比較多。為了找出最明顯的瑕疵塊，T的取值也要增大，在此根據(jù)經(jīng)驗(yàn)取T=2.5。
??? 確定了瑕疵塊后，可以采用BMA方法進(jìn)行重新估計(jì)瑕疵塊的運(yùn)動(dòng)矢量。具體就是用瑕疵塊8個(gè)相鄰的4×4塊的運(yùn)動(dòng)矢量加上1個(gè)0運(yùn)動(dòng)矢量作為候選的運(yùn)動(dòng)矢量集，然后根據(jù)BMA方法在這9個(gè)候選運(yùn)動(dòng)矢量中選擇1個(gè)最佳運(yùn)動(dòng)矢量作為錯(cuò)誤子塊的運(yùn)動(dòng)矢量估計(jì)值。最后根據(jù)這個(gè)估計(jì)值計(jì)算出瑕疵塊的補(bǔ)償數(shù)據(jù)。
3 實(shí)驗(yàn)結(jié)果
??? 為了驗(yàn)證本文提出的算法的有效性，以H.264為平臺(tái)，選用了Akiyo和Foreman序列進(jìn)行實(shí)驗(yàn)；傳輸誤碼模擬采取隨機(jī)丟包方式進(jìn)行，每次丟棄1幀數(shù)據(jù)；圖像大小為CIF，編碼速率分別為64、128、256、320、384(Kb/s)，IPPP編碼模式。
??? 為了比較不同錯(cuò)誤隱蔽算法的性能，本方法選取了參考文獻(xiàn)[6]的MVE進(jìn)行對(duì)比，在實(shí)驗(yàn)中，丟包率都設(shè)置為3 ％，其實(shí)驗(yàn)結(jié)果分別如表1及圖3所示?？梢钥闯觯疚奶岢龅姆椒?Proposed)相對(duì)于MVE，Y分量大，PSNR提高0.4～2.3 dB左右，而且主觀質(zhì)量有明顯改善。
??? 由于現(xiàn)有的多媒體視頻傳輸信道不能保證QoS，為了提高在出錯(cuò)環(huán)境下的視頻圖像質(zhì)量，視頻解碼端的錯(cuò)誤隱蔽是現(xiàn)有的視頻通信系統(tǒng)中一個(gè)非常重要的部分。特別是在無線通信環(huán)境下，視頻碼流的丟包和誤碼更為嚴(yán)重，常常會(huì)出現(xiàn)整幀圖像的丟失。
??? 本文提出了整幀圖像丟失的錯(cuò)誤隱蔽算法，針對(duì)無線視頻通信過程中數(shù)據(jù)丟包的特點(diǎn)，采取了自適應(yīng)的基于瑕疵塊判斷策略進(jìn)行時(shí)域運(yùn)動(dòng)補(bǔ)償，既能夠消除運(yùn)動(dòng)矢量外推方法中的瑕疵塊，又不會(huì)大幅度增加視頻解碼的復(fù)雜度，適合于無線視頻通信應(yīng)用。今后的思路應(yīng)該在空域和時(shí)域結(jié)合方向上，針對(duì)某些不適合時(shí)域補(bǔ)償?shù)膱D像塊進(jìn)行空域插值方法來提高圖像質(zhì)量。
參考文獻(xiàn)
[1] WANG Y， ZHU Q F. Error control and concealment for video communication: a review[J]. Proceedings of the IEEE， 1998，86(5)：974-997.
[2] CHEN M， ZHENG Y F， WU M. Classification-based spatial error concealment for visual communications[J]. EURASIP Journal on Applied Signal Processing， 2006(1)：257-257.
[3] YAN B， WING NG K. A novel selective motion vector matching algorithm for error concealment in MPEG-4 video transmission over error-prone channels[J].IEEE Trans. Consum. Electron.， 2003，49(4):1416-1423.
[4] BELFIORE S， GRANGETTO M. Concealment of whole-frame losses for wireless low bit-rate video based on multiframe optical flow estimation[J]. IEEE Transactions on Multimedia， 2005，7(2):316-329.
[5] 陳建樂，劉濟(jì)林，陳國斌，等.一種針對(duì)整幀圖像丟失的錯(cuò)誤隱藏算法[J].中國圖像圖形學(xué)報(bào)，2007，12(1):37-42.
[6] PENG Q， YANG T W， ZHU C Q. Block-based temporal error concealment for video packet using motion vector extrapolation[C]. in：Proceeding of ICCCAS'02.Chengdu，China:2002：10-14.