劉偉，薄華
（上海海事大學(xué) 信息工程學(xué)院，上海 201306）
摘要：圖像的大部分結(jié)構(gòu)信息都集中在了邊緣，在進行邊緣檢測時濾除一些與圖像計算不相關(guān)的信息，可減少計算中的數(shù)據(jù)量，使得計算更加便捷；在結(jié)構(gòu)屬性上也得到了很好的保留，因此邊緣檢測方法在圖像視覺效果評估上是可行的。人眼對于一幅圖像的視覺并不是每一個圖像區(qū)域都具有同等的視覺重要性?？梢越⒁环N數(shù)學(xué)方法，提取圖像中的視覺重要區(qū)域，對這些區(qū)域進行視覺效果評價。選取基于結(jié)構(gòu)相似度方法作為最終評價方法，得到了一種全參考圖像質(zhì)量評價算法。最后將實驗結(jié)果與3個圖像評價庫的參考結(jié)果進行擬合，得到的結(jié)果與其他算法相比表明，該算法更加符合人眼的視覺效果特性。
關(guān)鍵詞：邊緣檢測；Canny算子；局部方差；結(jié)構(gòu)相似度
0引言
隨著現(xiàn)代多媒體信息技術(shù)的快速發(fā)展，數(shù)字圖像作為多媒體技術(shù)之一在當(dāng)今生活中的作用越來越受到大家的關(guān)注，圖像在獲取、壓縮、編碼、傳輸、處理等過程中產(chǎn)生的各種失真和誤差是無法回避的，這些不同程度的誤差和失真會直接影響到圖像的質(zhì)量，從而影響了人眼對圖像觀賞效果，因此需要一種更加方便且精確的方法來評價圖像的質(zhì)量。
當(dāng)下圖像視覺效果評估方法主要分為兩大類：主觀評估和客觀評估。主觀評估法昂貴、耗時又不方便實時應(yīng)用，不僅受到人體本身條件的影響而且還受到環(huán)境因素的影響，因此評估穩(wěn)定性較差。客觀評估方法是利用計算機通過算法來算出失真圖片視覺效果值作為評估的依據(jù)，客觀評估方法可分為全參考、部分參考和無參考三種類型。本文是基于全參考下的圖像視覺效果評價方法。全參考圖像視覺效果評估方法是指擁有該失真圖像的原始圖像，運用某種數(shù)學(xué)算法將圖像某一特征進行提取，與待評價圖像進行對比分析，通過差異的大小判斷失真圖像的質(zhì)量的好壞，這種模式的好處是充分運用了數(shù)學(xué)模型的穩(wěn)定性，準(zhǔn)確性較好。當(dāng)前全參考圖像的研究種類基本上分為四大類：像素之間誤差統(tǒng)計、結(jié)構(gòu)相似度、信息保真度和人類視覺系統(tǒng)。傳統(tǒng)的像素之間誤差統(tǒng)計客觀評估方法中，比較常見的是均方誤差（Mean Square Error,MSE）［1］和峰值信噪比（Peak Signal to Noise Ratio, PSNR）［2］ ，其計算方法都是計算原始圖像和帶評價圖像之間像素點灰度值之間差異來判斷一幅圖像的好壞。但是這類算法只考慮了像素之間的差異，其實驗結(jié)果并不能準(zhǔn)確表達人眼的視覺。參考文獻［3］表述人眼睛的視覺功能主要是用來提取背景中的結(jié)構(gòu)信息，Wang Zhou等人通過此類結(jié)論得出了新的基于結(jié)構(gòu)失真的圖像視覺效果評價方法(Structual Similarity,SSIM)［4］，此方法在對某些不同類型的失真及失真敏感度不同的情況下也與人眼主觀視覺存在一定的差異。MOORTHY A K等人提出基于視覺區(qū)域利用綜合感知的改進算法［5］；王強等人［6］深入挖掘圖像的結(jié)構(gòu)信息，利用圖像中鄰近像素點的相關(guān)性對圖像邊緣、紋理等結(jié)構(gòu)提出了一種基于局部結(jié)構(gòu)方向相似度的質(zhì)量評價算法（Structual Orientation Information，SOI）［6］。本文提出了一種新的圖像視覺效果評價算法，通過對圖像的邊緣信息進行提取，并且結(jié)合局部方差確定待評價區(qū)域，運用SSIM算法得到最終圖像的質(zhì)量分?jǐn)?shù)，實驗結(jié)果證明該方法與人眼主觀的視覺效果具有高度相似性。
1基于邊緣顯著區(qū)域和結(jié)構(gòu)相似度的圖像視覺效果評價
1.1Canny邊緣檢測
本文提出的視覺效果評價算法通過Canny邊緣檢測算子來對圖像的邊緣結(jié)構(gòu)信息進行提取。Canny算子首先將圖像的噪聲進行抑制，獲得平滑的圖像。最后通過精確定位得到圖像的邊緣位置。其步驟如下：
(1)用高斯濾波器平滑圖像。
高斯平滑函數(shù)H(x,y)：
G(x,y)=f(x,y)H(x,y)(6)
其中f(x,y)是圖像數(shù)據(jù)。
(2)在Canny算子中用一階偏導(dǎo)的有限差分近似方法來計算圖像中的梯度的幅值和方向。
利用一階差分模板：
得到幅值：φ(x,y)=φ21(x,y)+φ22(x,y)，方向：θφ=tan－1φ2(x,y)φ1(x,y)。
(3)在圖像矩陣中對梯度的幅值進行非極大值抑制。
對于整幅圖片來說其圖像矩陣中值越大的點只能表示為在此點的梯度的幅值越大，并不能將其表示成該點是圖像中的邊緣點，在邊緣點確定時應(yīng)該保留其局部梯度值最大的點，但是在非極大值點上，對其進行抑制，尋找到梯度最大值點后，不是對最大值點進行抑制，而是將梯度最大值點所對應(yīng)的其灰度值設(shè)置為0。
圖1非極大值抑制圖1中4個扇區(qū)相應(yīng)的編號為0~3，與之相對應(yīng)的左圖為3×3的4種可能的組合。首先要確定某一像素點的灰度值的大小并判斷在其領(lǐng)域中是否最大，如果得出該點不是局部的最大灰度值點，則否決該點為邊緣點。以上原理就是確定邊緣點的工作原理。
(4)使用雙閾值算法對邊緣進行檢測以及連接。
通過第三步的非極大抑制后得到的幅值如果直接顯示出結(jié)果，那么很有可能會有少量的邊緣像素包含到輸出結(jié)果中，這樣會影響邊緣檢測結(jié)果的精確性，所以采用雙閾值的方法來進行取舍。與傳統(tǒng)方法的一個閾值選擇相比，Canny算法中提出的雙閾值方法很好地實現(xiàn)了邊緣選擇，雙閾值選擇與邊緣連接方法假設(shè)兩個閾值，這兩個閾值，分為兩極，一個為高用T1表示，另一個為低用T2表示。
T2=0.4T1則有：
?。?）對于任意邊緣像素低于T2的則丟棄。
?。?）對于任意邊緣像素高于T1的則保留。
?。?）對于任意的邊緣像素其值在T2到T1之間的，如果能通過邊緣連接到像素值大于T1而且邊緣所有像素值大于最小閾值T2的則保存，否則不保留。
本文采用了相比之前Canny算子更加細(xì)化的Canny算子。對高斯濾波器得到的圖像進行邊緣檢測，且在檢測中用Sobel算子進行橫、豎、聯(lián)合檢測，最后得到聯(lián)合檢測圖像并對其進行非極大值抑制，在邊緣點連接的同時進行滯后閾值處理。此方法得到的邊緣檢測圖像在邊緣結(jié)構(gòu)上具有很好的連續(xù)性，更好地反映了圖像的邊緣部分。圖2為原始圖像，圖3為采用此方法得到的邊緣檢測圖，具有較好的效果。
1.2圖像顯著區(qū)域提取
在人眼視覺系統(tǒng)中對于整幅圖像而言，并不是每一塊區(qū)域都是人眼視覺的重要區(qū)域，因此為了提取圖像中人眼視覺重要區(qū)域，可以通過一些量化手段來實現(xiàn)。本文選用譜殘余（Spectral Residual,SR）［7］的方法來選取圖像的顯著區(qū)域。SR算法對圖像的幅度譜進行處理后獲得圖像的殘余譜，對獲得的殘余譜利用傅里葉變換得到空間域的顯著圖。
對于一幅圖像，其像素在空間上的變化各不相同，但是，如果從空間頻譜域進行分析，每幅圖像都可以分解成具有多個不同的空間頻譜的波信號。以小波分解為例，經(jīng)過分解后的圖像，在圖像中具有明顯區(qū)別的部分都會集中在高頻部分，也即圖像空間域中高頻部分包含了圖像的細(xì)節(jié)或結(jié)構(gòu)信息。
在描述圖像的細(xì)節(jié)和紋理信息等時，通過局部方差能獲得很好的效果，所以利用局部方差來分析圖像也是很好的方式。如果用Var(I(x,y))表示圖像I(x,y)局部的方差，其具體含義就是把圖像中的某點(x,y)設(shè)為中心點，計算該點局部區(qū)域內(nèi)的局部方差。對于局部的理解即為圖像的每一個塊，在實際計算過程中，往往將圖像采用滑動窗口將圖像分解為互不重疊的圖像塊，最終此算法算得的某一區(qū)域內(nèi)的局部方差即是塊圖像的局部方差。如果每一個圖像塊I(x,y)的像素數(shù)為N，用np來作為圖像中圖像塊的像素，那么每個圖像塊的局部方差數(shù)學(xué)表達式為：
以上即為圖像的局部方差的計算過程。
首先，將參考圖像與失真圖像分成8×8的互不重疊的圖像塊，分別用Ai和Bi表示，計算原始圖像與待評價圖像的局部方差，分別用Var_ri和Var_di表示兩者的局部方差。然后算出原始圖像和待評價圖像的局部誤差差值，并取其絕對值：
Vari=|Var_ri－Var_di|(11)
用V-ari代表Var的均值，那么原始圖像與待評價圖像的目標(biāo)區(qū)域Ath和Bth的選擇可以表示為：
(Ath,Bth)={(Ai,Bi)|Vari>V-ari},(i=1,...,N)}(12)
1.3結(jié)構(gòu)相似度
MSE和PSNR只是單純地考慮了圖像之間灰度的差異，并沒有考慮像素之間的結(jié)構(gòu)關(guān)系以及人眼觀察圖像的特點，針對此問題，Wang Zhou等人認(rèn)為在圖像中圖像的結(jié)構(gòu)信息不僅反映了圖像中物體的結(jié)構(gòu)特征，并且圖片中的亮度和對比度在圖片的質(zhì)量，以及人眼對圖片的某一感興趣的視覺區(qū)域的獲取具有非常大的幫助［4］。假設(shè)x、y分別為原始圖像和待評價圖像，它們的亮度、對比度、結(jié)構(gòu)相似度分別為：
s(x,y)=2σxy+C3σ2xy+C3(15)
綜合上述三者信息構(gòu)成的原始圖像x和待評價圖像y的結(jié)構(gòu)相似性為：
SSIM(x,y)=［l(x,y)］α·［c(x,y)］β·［s(x,y)］γ(16)
式中μx為圖像x的灰度均值，表示其亮度信息，σx為圖像x的方差，表示其對比度信息，σxy為x、y的相關(guān)系數(shù)，反映了其圖像中結(jié)構(gòu)信息的相似度。C1、C2、C3為接近于零的正常數(shù)，目的是為了防止分母為零導(dǎo)致計算中出現(xiàn)結(jié)果異常，令C1=(K1L)2,C2=(K2L)2,C3=C2/2, 其中L表示圖像中其像素范圍，在計算中一般取K1=0.01,K2=0.03,L=255。
在實際應(yīng)用中，采用一定大小的窗口滑窗分別從原始圖像和待評價圖像的左上角到右下角對圖像中逐個像素點進行滑動，依次算出同一區(qū)域所對應(yīng)的子塊圖像的SSIM數(shù)值。
其中xj,yj表示第j個原始圖像的子塊圖，它們之間的結(jié)構(gòu)相似度用SSIM(xj,yj)來表示，M表示窗口分塊后子圖像塊的個數(shù)。SSIM值的大小與1越相近則表示失真圖像，與原圖像越接近。
1.4基于邊緣顯著區(qū)域和結(jié)構(gòu)相似度的圖像視覺效果評價
本文算法的主要思想：（1）選取參考圖像和失真圖像,分別對其進行Canny算子邊緣檢測，得到邊緣檢測圖像。（2）將原始圖像與待評價圖像分成互不重疊圖像塊，并計算原始圖像與待評價圖像的局部方差，從而獲取圖像的顯著區(qū)域。（3）對原始圖像和待評價圖像的目標(biāo)顯著區(qū)域運用結(jié)構(gòu)相似度評價算法進行指標(biāo)計算從而得到圖像的評價值。針對上述描述可得本文的算法,如下：
（1)假設(shè)x、y分別表示失真圖像和參考圖像，對其運用Canny算子進行邊緣檢測后得到x′、y′邊緣檢測圖像；
?。?）對x′、y′圖像計算其VarI(x,y)，在對整幅圖像上對x′、y′分成8×8的小塊分別計算每個圖像小塊的Var I(x,y)；
?。?）分別用Var_ri和Var_di表示x′、y′局部方差然后計算參考圖像和待評價圖像的局部誤差差值，通過差值選擇來得到圖像特征顯著區(qū)域；
?。?)原始參考圖像與待評價圖像的目標(biāo)區(qū)域分別為Ath以及Bth，分別運用結(jié)構(gòu)相似度計算圖像的亮度l(x,y)、對比度c(x,y)和結(jié)構(gòu)相似度s(x,y)值；
?。?）計算SSIM值，通過圖像塊的平均加權(quán)方法得到最終評價SSIM值。
2實驗分析
為了驗證本文提出算法的有效性，本文通過與3個圖像庫給出的參考結(jié)果進行擬合對比來驗證本文所提出的圖像視覺質(zhì)量評價算法。其分別是A57［8］、CSIQ［9］、TID2008［10］。這3個數(shù)據(jù)庫包含了壓縮效應(yīng)、模糊、閃變效應(yīng)噪聲和傳輸效應(yīng)失真等，并且每一個圖像庫都附帶有人眼主觀評價分值，都具有很高的權(quán)威性。圖4為選取了CSIQ圖像庫的原始圖像和一組不同噪聲圖像。本文還使用了斯皮爾曼相關(guān)系數(shù)（SROCC）、皮爾遜相關(guān)系數(shù)（PLOCC）和均方誤差（RMS）評估指標(biāo)來比較這些客觀結(jié)果和主觀結(jié)果。
最后將本文評價算法的性能結(jié)果與其他圖像評價算法進行比較，這些算法包括：PSNR、SSIM、PHVSM［11］、IFC［12］、VSNR［13］和MAD［14］，表1給出了最終的比較值。其中對于SROCC和PLOCC越接近1表示效果越好，而RMS越小則表示效果越好。
從實驗結(jié)果可以看出，在圖像庫TID2008和CSIQ中，本文所提出的基于邊緣顯著區(qū)域的算法，在評價結(jié)果上相對于其他算法更符合人眼的主觀評價，從而論證了本文所運用的方法在圖像評價上擁有更好的性能。從A57圖像庫中可以看到在評價效果上不是十分明顯，這是因為在計算圖像的特性顯著區(qū)域時，由于SR方法在抑制圖像非顯著信息的同時也抑制了圖像的顯著區(qū)域。A57圖像庫其特點就是強調(diào)細(xì)節(jié)的重要性，因此在算法應(yīng)用的過程中，由于忽略掉了一些細(xì)節(jié)方面的信息，從而對于A57圖像庫本文的算法效果不是十分明顯。
3結(jié)論
人眼在處理自然場景或者圖片時，并不是圖像中的每一個部分的變化都能夠引起人眼視覺系統(tǒng)的注意。本文正是基于這種概念的啟發(fā)，對邊緣檢測后的圖像進行顯著區(qū)域分析，并對其進行評價，從而得到評價結(jié)果。實驗證明本文的視覺效果評價算法能夠獲得一個較好的評價結(jié)果。同時，本文算法在顯著區(qū)域提取方面和結(jié)構(gòu)相似性的計算上仍有待改進的空間，對顯著區(qū)域評價方法的研究將是后續(xù)工作的重點。
參考文獻
?。?］ Wang Zhou, BOVIK A C. Mean squared error: love it or leave it a new look at signal fidelity measures［J］. Signal Processing Magazine IEEE, 2009, 26(1):98117.
［2］ AHMET M E, FISHER P S. Image quality measutes and their performance［J］.IEEE Trans acations on Communications,1995,43(12):29592965.
?。?］ Wang Zhou, BOVIK A C, HAMID R S,et al. Image quality assessment: from error visibilityto structural similarity［J］. IEEE Transactions on Image Processing, 2004, 13(4):600612.
?。?］ LARSON E C, CHANDLER D M. Most apparent distortion: fullreference image quality assessment and the role of strategy［J］. Journal of Electronic Imaging, 2010,19(1): 011006101100621.
?。?］ MOORTHY A K, BOVIK A C. Perceptually significant spatial pooling techniques for image quality assessment［J］. Human Vision and Electronic Imaging, 2009, 7240:111.
?。?］ 王強,梁德群,畢勝,等.基于結(jié)構(gòu)方向信息的圖像質(zhì)評價方法［J］.計算機應(yīng)用,2010, 30(6):16221625.
?。?］ 易瑜,薄華,孫強,等.基于顯著圖與稀疏特征的圖像視覺效果評價［J］.微型機與應(yīng)用,2015,34(8):4143.
［8］ LARSON E C, CHANDLER D M.Most apparent distortion: fullreference image quality assessment and the role of strategy［J］.Journal of Electronic Imaging,2010,19(1): 143153.
［9］ Hou Xiaodi, Zhang Liqing. Saliency detection :a spectral residual approach［C］.IEEE Conference on Computer Vision and Pattern Recognition ,CVPR 07,IEEE,2007:18.
［10］ HYVARINRN A, KARHUNE J, OJA E. Independent component analysis［M］.John Wiley & Sons, 2004.
?。?1］PONOMARENKO N, LUKIN V, ZELENSKY A, et al. TID2008a database for evaluation of fullreference visual quality assessment metrics［J］. Advances of Modern Radioelectronios, 2009, 10(1):3045.
［12］ SOLOMON J A, WATSON A B, AHUMADA A. Visibility of DCT basis functions:effects of contrast masking［C］. In Proc. Data Compression Conf., Snowbird, UT. 1994:361370.