文獻標(biāo)識碼： A
DOI：10.16157/j.issn.0258-7998.2015.10.039
中文引用格式： 倪浩，阮若林，劉芳華，等. 基于圖像塊分類處理的快速單圖超分辨率重建[J].電子技術(shù)應(yīng)用，2015，41(10)：143-146.
英文引用格式： Ni Hao，Ruan Ruolin，Liu Fanghua，et al. Fast super-resolution for single image based on patch classification and processing[J].Application of Electronic Technique，2015，41(10)：143-146.
0 引言
超分辨率重建（Super-Resolution，SR）技術(shù)是利用一幅或多幅低分辨率圖像生成一幅高分辨率圖像。實際應(yīng)用中需要用到這種分辨率增強技術(shù)，如在高分辨率顯示設(shè)備上顯示由低分辨率傳感器捕獲的圖像時，可減少視覺上的偽影。文中主要研究單幅圖像的超分算法，輸入的低分圖像只有一幅，另外還有多幅各類圖像組成的訓(xùn)練集，通過字典訓(xùn)練和圖像重建后形成預(yù)測的高分圖像，是一種基于學(xué)習(xí)的方法。
FREEMAN W T[1]利用馬爾科夫隨機場（MRF）建立高分圖像和低分圖像間的聯(lián)系用于超分重建。CHANG H[2]等應(yīng)用“流形學(xué)習(xí)”的理論將局部線性嵌入（Local Linear Embedding，LLE）用于超分重建，提出鄰域嵌入（Neighbor Embedding，NE）法，所需訓(xùn)練樣本較少，但會導(dǎo)致過擬合和欠擬合現(xiàn)象。以此為基礎(chǔ)，GAO X[3]等提出將稀疏編碼鄰域選擇算法應(yīng)用于圖像重建，雖然解決了NE法的問題，但重建復(fù)雜結(jié)構(gòu)圖像時效果不佳。YANG J C[4-5]等將機器學(xué)習(xí)引入到超分重建中，提出利用字典學(xué)習(xí)的稀疏編碼超分算法(Sparse Coding Super Resolution，SCSR)。ZEYDE R[6]和YANG J[7]等在不同程度上提升了超分速度或效果。在眾多的超分辨率重建研究中，學(xué)者們都用訓(xùn)練樣本來重建高分圖像，但大多數(shù)學(xué)者并不太關(guān)注圖像各區(qū)域的區(qū)別和訓(xùn)練樣本的組織問題，而這些方面可以為減少超分過程中的計算量，提高超分速度，打開新的思路。
1 基于稀疏編碼的超分辨率重建
稀疏編碼的目的是用一組基元的線性加權(quán)組合來近似表示輸入信號x∈Rn。這些基元是一些基礎(chǔ)信號，往往是從一個超完備字典D∈Rn×K(n<K)中選出的。稀疏編碼就是自動找出較好的基元組合的方法，因此單幅圖像的超分辨率重建問題可以表示為：
其中，pk為第k個圖像塊，D為超完備字典，qk為稀疏系數(shù)。H和S分別為模糊和下采樣操作數(shù)。從超分重建的角度看，S可理解為將輸入低分圖像Y放大s倍后得到與高分圖像相同尺寸的超分圖像X?鄢，并使其與原始高分圖像X的誤差最小。
1.1 稀疏編碼解決方案
一些典型的超分重建問題解法中，常將式(1)稀疏先驗中無確定解析式的l0-范數(shù)近似放松至l1-范數(shù)，再引入拉格朗日乘子式來形成最小化表達(dá)式[8]：
![)R$SVQ9P8XOL$H`[XOX}]5R.png](http://files.chinaaet.com/images/2017/01/12/6361982532566053855384964.png ")R$SVQ9P8XOL$H`[XOX}]5R.png")
其中F為特征提取操作數(shù)，用來提取低分輸入圖像塊的邊角信息，正則化參數(shù)?姿為平衡式中兩項的常數(shù)。以稀疏表示理論為基礎(chǔ)，YANG J C[4]和He等人提出聯(lián)合字典學(xué)習(xí)方法訓(xùn)練生成超完備字典，其中字典訓(xùn)練和圖像重建階段分別使用K-SVD和OMP算法。雖然這些基于稀疏編碼的超分算法能得到比較好的高分圖像，但是耗時較長，制約了其實時應(yīng)用。
1.2 加速超分辨率重建的思路
自然圖像中包含高頻和低頻部分。前者為邊緣和角等跳變幅度較大區(qū)域，后者為相對平滑區(qū)域。圖像放大時，插值法比應(yīng)用稀疏編碼的方法速度快得多，但沿圖像邊角會產(chǎn)生較明顯的偽影，如振鈴、鋸齒和模糊等。盡管整體超分效果不如稀疏編碼法，但它在平滑區(qū)域的超分效果也非常好。YANG J C[4]分別用Bicubic和SCSR放大圖像“Lena”中的近2500個圖像塊，并對放大圖像塊的RMSE值進行對比。結(jié)果表明，10%的圖像塊Bicubic方法比SCSR效果更好，28%的圖像塊SCSR方法更好，分布在圖像的邊角、輪廓部分，如Lena的帽檐和臉頰邊緣。而其他的62%圖像塊用兩種方法的效果基本相同。因此，可將特征提取后的高頻圖像塊按照一定的標(biāo)準(zhǔn)分成幾類，再以平衡超分效果和速度為依據(jù)，用不同的方法處理相應(yīng)類別的圖像塊，提高圖像整體的超分速度。
此外，一幅圖像是由成千上萬的圖像塊組成的，對于每個圖像塊，可以通過減少它的維度來減少圖像塊處理中的運算量。大量圖像塊處理時，維度較少的圖像塊累積節(jié)約下來的運算時間能為提高超分重建的速度作出較大的貢獻[6]。
2 圖像塊分類處理超分算法
文中提出的基于圖像塊分類處理的超分辨率重建算法是一種改進的稀疏編碼超分算法（Proposed Sparse Coding Super-Resolution，PSCSR），包括圖像訓(xùn)練和圖像重建兩部分，具體算法如下：
(1)超分訓(xùn)練階段：
①將訓(xùn)練圖像劃分為圖像塊對
；
②去掉![ZU2OD20TQV]W59Y([CV)3D3.png](http://files.chinaaet.com/images/2017/01/12/6361982518669153855597373.png "ZU2OD20TQV]W59Y([CV)3D3.png")
的低頻信息，從
提取特征；
③利用PCA對
降維，得到
；
④聯(lián)合字典訓(xùn)練得到高分字典Dh和低分字典Dl。
(2)超分重建階段：
①根據(jù)所選閾值對將圖像塊利用均值和方差進行分類，并予以標(biāo)記；
②Bicubic插值處理第一類圖像塊；
③用NE超分放大第二類圖像塊；
④利用Dl在第三類圖像塊上計算其稀疏表示；
⑤將求得的稀疏系數(shù)和Dh相乘來恢復(fù)第三類圖像的目標(biāo)高分圖像塊
；
⑥用取平均值的方法在重疊區(qū)域融入
；
⑦結(jié)合以上3種圖像塊處理方法，形成目標(biāo)高分圖像。
2.1 圖像塊降維
圖像塊分類處理超分算法利用主成分分析（Principal Component Analysis，PCA）來對每個圖像塊進行降維處理。PCA是統(tǒng)計模式識別中一種典型的特征提取方法，提取的新特征是原始信號特征的線性函數(shù)，建立的低維子空間能最好地反應(yīng)數(shù)據(jù)點集和平均值之間的區(qū)別。空間中的維度越少，圖像模式間的距離越小，可避免高維空間中分類的復(fù)雜度。
圖像超分時，從劃分好的低分圖像塊開始，所有圖像塊的總像素均為
，經(jīng)過插值操作數(shù)Q和R線性濾波器集后，可以表示為nR維的![D[3HPA]AHVP$W9~4VVM}4EH.png](http://files.chinaaet.com/images/2017/01/12/6361982558854753859287961.png "D[3HPA]AHVP$W9~4VVM}4EH.png")
。結(jié)果圖像塊的實際維度（n/s2）不會增加，而且它比nR要小得多，使計算量過大。降維的主要作用在于節(jié)省訓(xùn)練和超分時的計算量。因此，在轉(zhuǎn)到字典學(xué)習(xí)階段之前的最后一步就是減少輸入低分圖像塊![KQW(OG]$B8CJ2}CIC8{(7(C.png](http://files.chinaaet.com/images/2017/01/12/6361982559473953858254237.png "KQW(OG]$B8CJ2}CIC8{(7(C.png")
的維度。PCA算法應(yīng)用到這些圖像塊向量，尋找一個能夠投影圖像塊的子空間，并保留99.9%的平均能量。這種投影操作將圖像塊![D[3HPA]AHVP$W9~4VVM}4EH.png](http://files.chinaaet.com/images/2017/01/12/6361982560979353854832724.png "D[3HPA]AHVP$W9~4VVM}4EH.png")
∈RnR轉(zhuǎn)換為降維后的特征向量![D[3HPA]AHVP$W9~4VVM}4EH.png](http://files.chinaaet.com/images/2017/01/12/6361982561327253852479979.png "D[3HPA]AHVP$W9~4VVM}4EH.png")
∈Rnl，定義B∈Rnl×nR。
2.2 圖像塊分類
將低分圖像劃分成有一定重疊區(qū)域的p×p圖像塊集，則每個高頻圖像塊絕對像素值均值為：
![%(FHF5%`K({MSH`C7Q_L])Q.png](http://files.chinaaet.com/images/2017/01/12/6361982542416253859820097.png "%(FHF5%`K({MSH`C7Q_L])Q.png")
其中，fk(i，j)是低分圖像的高頻部分第k個圖像塊的絕對像素值。而低分圖像的高頻圖像塊的均方差可表示為：
低分圖像的每個高頻圖像塊為pk，均值和方差對記為(Mk，MNk)，其中k=1，…，mn，每個圖像塊的均值和方差均用式(3)和(4)計算。根據(jù)圖像特點，選取一個均值、方差閾值對(Mky，MNky)，與每個圖像塊的均值和方差對比較，并用MSk標(biāo)記如下：
這樣，所有高頻圖像塊均按均值和方差閾值劃分為3類。為驗證此分類法，實驗將“Lena”劃分為若干個相同大小的圖像塊，設(shè)置均值和方差閾值對為（40，400），則圖像塊被分為3類。為便于標(biāo)注，第1類圖像塊的亮度值不變，第2類和第3類的亮度分別減少和增加50。圖1中可看出，亮部（第3類）集中在邊角區(qū)域，暗部集中在連續(xù)變化區(qū)域（第2類）。
2.3 圖像塊處理
按照MSk標(biāo)記的圖像塊，根據(jù)算法2按圖像塊類型將不同區(qū)域的圖像塊用不同的方法進行處理[9]。
（1）第1類：表示圖像特征的相對平坦區(qū)域，其高頻部分可看作是高頻噪聲，只需用最快的Bicubic算法將這類圖像塊插值形成相應(yīng)的高分圖像塊。
（2）第2類：表示圖像的連續(xù)變化區(qū)域，為平衡超分速度和超分效果，選用NE法重建高分圖像塊。
（3）第3類：表示圖像邊角和紋理。為提升圖像邊緣的銳度和整體的清晰度，使用相對精確的SCSR算法來生成高分圖像塊。
在圖像重建階段，所預(yù)測的高分圖像塊拼接起來重建預(yù)測的高分圖像X，在重疊區(qū)域?qū)⒚總€像素多個預(yù)測值的平均值作為最終的復(fù)原值[10]。
3 實驗結(jié)果
實驗在一臺英特爾Core i5、1.6 GHz的筆記本電腦上用 MATLAB完成。除明確指出外，所設(shè)置的基本參數(shù)都相同。圖像訓(xùn)練中總共采樣10 000個低分圖像塊，大小為5×5，放大倍數(shù)s=3。利用隨機梯度遞減在字典學(xué)習(xí)階段所得字典對尺寸為k=1 024，正則化參數(shù)取λ=0.1。運用文獻[4]中的方法提取低分圖像的特征，F(xiàn)使用
4個濾波器進行求導(dǎo)。
3.1 超分圖像效果對比
比較結(jié)果圖像和原始高分圖像的相關(guān)性時，利用通用的PSNR計算方法來量化不同超分算法的效果。圖2中大多數(shù)實驗圖像使用PSCSR方法比SCSR的效果稍有下降。因為它在簡化運算和降維的處理過程中會丟失一些圖像信息。但從整體上看，PSCSR的方法的效果幾乎和SCSR方法相同。所有實驗圖像的PSCSR效果均優(yōu)于NE。而在第2幅圖像“Zebra”中，由于存在大量的紋理細(xì)節(jié)，用SCSR進行圖像放大時產(chǎn)生了較嚴(yán)重的偽影，其PSNR值比PSCSR還要低。
圖3中為局部放大的超分目標(biāo)圖像，除了Bicubic法外，其余3種方法的超分效果在視覺上處于同一水平。在“Zebra”圖像中，SCSR算法在恢復(fù)圖像邊角的銳度方面表現(xiàn)最好，但同時伴隨了較為嚴(yán)重的鋸齒和偽影，導(dǎo)致圖像紋理發(fā)生了扭曲和形變。PSCSR方法結(jié)果看起來較為模糊，但是相對于其他方法，圖中斑馬脖子上的紋理細(xì)節(jié)恢復(fù)得更好。在另一幅圖像“Girl”中，后3種算法的超分效果非常接近。圖中女孩的眼睛和眼珠的輪廓部分都能夠清晰地還原出來。這些與圖3中的PSNR值表現(xiàn)是一致的。
3.2 超分速度對比
從表1中可以看出，超分耗時與圖像尺寸密切相關(guān)，圖像越大，耗時越長，反之亦然。3種超分方法的超分耗時的關(guān)系可以描述為：tPSCSR<tNE<tSCSR。文中提出的PSCSR方法通過圖像分類處理和圖像降維來減少圖像超分過程中的計算量，理論上可以以此來提高超分速度。表1的數(shù)據(jù)很好地證明了這一點。PSCSR方法所消耗的時間比文中提到的SCSR、NE等典型算法都要少。5幅測試圖像的超分速度平均下來，PSCSR能夠比SCSR快17.2 s，比NE快12.1 s。
4 結(jié)論
為提高基于實例學(xué)習(xí)的單圖超分辨率重建算法的速度，文中提出了一種基于圖像塊分類處理的快速超分重建算法。一方面，根據(jù)各種典型算法的超分速度和它們對圖像中各區(qū)域的超分效果分析，選取圖像塊的均值和方差閾值，將圖像塊按不同的均值和方差范圍分成3類，分別采用Bicubic、NE和SCSR 3種方法進行圖像塊重建，相對于完全采用稀疏編碼的方法，減少了部分計算量。另一方面，引入PCA對每個圖像塊進行降維處理，維度較少的圖像塊處理過程中計算量也相對較少。實驗表明，文中算法的超分效果與經(jīng)典的SCSR和NE保持在同一水平的同時，超分速度有較大幅度的提升。在后續(xù)研究中，可以從優(yōu)化稀疏編碼的復(fù)雜度入手，提高計算效率，從而進一步提高超分重建的速度。
參考文獻
[1] FREEMAN W T，PASZTOR E C，JONES T R，et al.Example-based super-resolution[J]．IEEE Computer Graphics and Applications，2002，22(2)：56-65.
[2] CHANG H，YEUNG D，XIONG Y M.Super-resolution through neighbor embedding[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Washington.D.C，USA：IEEE，2004：275-282.
[3] GAO X，ZHANG K，TAO D，et al.Joint learning for single-image super-resolution via a coupled constraint[J].IEEETransactions on Image Processing，2012，21(2)：469-480.
[4] YANG J C，WRIGHT J，MA Y.Image super-resolution via sparse representation[J]．IEEE Transactions on Image Procesing，2010，19(11)：2861-2873.
[5] YANG J C，WRIGHT J，HUANG T，et al.Coupled dictionary training for image super-resolution[J].IEEE Transactions on Image Processing，2012，21(8)：3467-3478.
[6] ZEYDE R，ELAD M，PROTTER M.On single image scale-up using sparse-representations[C].Proceedings of the 7th International Conference on Curves and Surfaces Avignon，F(xiàn)rance：Springer，2010：1-20.
[7] YANG J，LIN Z，COHEN S.Fast image super-resolution based on in-place example regression[C].Proceedings of the 2013 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2013，Portland，2013：1059-1066.
[8] 練秋生，張偉.基于圖像塊分類稀疏表示的超分辨率重構(gòu)算法[J].電子學(xué)報，2012，40(5)：920-925.
[9] Xie Qinlan，Chen Hong，Cao Huimin.Improved example-based single-image super-resolution[C].Image and Signal Processing(CISP)，2010，3：1204-1207.
[10] 潘宗序，禹晶，肖創(chuàng)柏，等.基于自適應(yīng)多字典學(xué)習(xí)的單幅圖像超分辨率算法[J].電子學(xué)報，2015，43(2)：209-216.