專利名稱：基于早期視覺(jué)的部分參考圖像質(zhì)量評(píng)價(jià)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于客觀圖像與視頻質(zhì)量評(píng)價(jià)領(lǐng)域，具體涉及一種基于早期視覺(jué)的部分參考圖像質(zhì)量評(píng)價(jià)方法。

背景技術(shù)：
圖像信息是人類認(rèn)識(shí)世界的重要知識(shí)來(lái)源。科學(xué)統(tǒng)計(jì)表明，在人類從外界獲得的信息中有70％是通過(guò)眼睛獲得的。而數(shù)字圖像處理技術(shù)也越來(lái)越成為科學(xué)各個(gè)領(lǐng)域中必不可少的技術(shù)手段，其應(yīng)用包括軍事領(lǐng)域、空間技術(shù)、工業(yè)生產(chǎn)、顯微圖像、天文地質(zhì)、醫(yī)學(xué)診斷、體育裁判等廣泛的領(lǐng)域，從而使得數(shù)字圖像質(zhì)量的評(píng)價(jià)成為一個(gè)備受關(guān)注的技術(shù)。
傳統(tǒng)的圖像/視頻質(zhì)量評(píng)價(jià)方法可分為主觀評(píng)價(jià)和客觀評(píng)價(jià)兩大類。主觀評(píng)價(jià)是人眼直接對(duì)圖像的質(zhì)量進(jìn)行測(cè)試得出關(guān)于圖像質(zhì)量的主觀評(píng)價(jià)，是一種比較可靠的評(píng)價(jià)方式。通常該方法按照ITU—R BT.500-11標(biāo)準(zhǔn)所描述的方法進(jìn)行在密閉的受控環(huán)境中播放含有自然內(nèi)容和自然運(yùn)動(dòng)的測(cè)試場(chǎng)景，有非專家的測(cè)試者根據(jù)自己對(duì)圖像質(zhì)量的感受給出差值平均主觀計(jì)分或DMOS(Difference Mean Opinion Score)。該方法可以產(chǎn)生一致的主觀評(píng)分，可信度較高，比較直觀，但是它對(duì)測(cè)試環(huán)境要求較高，過(guò)程復(fù)雜。此外，主觀評(píng)價(jià)方法也無(wú)法實(shí)現(xiàn)在線圖像/視頻質(zhì)量評(píng)價(jià)。而客觀評(píng)價(jià)方法根據(jù)圖像/視頻自身的內(nèi)容得到關(guān)于圖像失真的描述，易于實(shí)現(xiàn)在線的圖像質(zhì)量評(píng)價(jià)，可方便的用于系統(tǒng)優(yōu)化、視頻定價(jià)、實(shí)時(shí)監(jiān)控等多種場(chǎng)合。
客觀圖像質(zhì)量評(píng)價(jià)的目的是使計(jì)算機(jī)模仿人類視覺(jué)的功能，對(duì)得到的圖像質(zhì)量進(jìn)行評(píng)價(jià)而得到與主觀評(píng)價(jià)相一致的結(jié)果?，F(xiàn)有的客觀圖像質(zhì)量評(píng)價(jià)方法根據(jù)其對(duì)參考圖像的依賴程度可以分為三類(1)全參考(FRFull Reference)模型需要參考圖像的全部信息與測(cè)試圖像進(jìn)行一一對(duì)應(yīng)；(2)部分參考(RRReduced Reference)模型只需要參考圖像的部分特征信息與測(cè)試圖像的特征信息進(jìn)行質(zhì)量估計(jì)；(3)無(wú)參考(NRNo Reference)模型不需要參考圖像的任何信息，只根據(jù)測(cè)試圖像的自身特征進(jìn)行質(zhì)量估計(jì)。
目前傳統(tǒng)的全參考模型有PSNR、MSE、SNR等。它們之所以被廣泛應(yīng)用是由于其計(jì)算簡(jiǎn)單，物理意義明確，但是它們的評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)的結(jié)果很不一致，于是就出現(xiàn)了一些新的方法?；贖VS的圖像質(zhì)量評(píng)價(jià)方法如JNDmetrix。1997年美國(guó)的Sarnoff實(shí)驗(yàn)室提出的JNDmetrix模型(SarnoffCorporation，“JNDmetrix Technology，”http://www.sarnoff.com/productsservices/video vision/jndmetrix/.)，通過(guò)對(duì)人類視覺(jué)系統(tǒng)的深入研究，該模型對(duì)差異圖像中的人類視覺(jué)可感知部位進(jìn)行測(cè)量，得到基于人類視覺(jué)的圖像質(zhì)量評(píng)價(jià)方法，且已經(jīng)被Tektronix公司應(yīng)用于實(shí)際的測(cè)量設(shè)備——圖像質(zhì)量分析系統(tǒng)(PQA300)中，然而這種方法需要將原始圖像通過(guò)一個(gè)無(wú)失真的信道傳輸或預(yù)先存貯在系統(tǒng)中，計(jì)算量大且對(duì)精度要求高?；趫D像結(jié)構(gòu)信息的評(píng)價(jià)方法如SSIM。美國(guó)LIVE實(shí)驗(yàn)室提出SSIM算法。該算法利用圖像相鄰像素之間的相關(guān)性度量圖像中結(jié)構(gòu)信息的退化，將亮度失真、對(duì)比度失真和結(jié)構(gòu)失真綜合得到圖像質(zhì)量的評(píng)價(jià)結(jié)果，與DMOS有很好的一致性(Zhou Wang and AlanC.Bovik，Image quality assessmentfrom error visibility to structural similarity，IEEE transaction on image processing，vol.13，No.4，April 2004)。另外基于圖像統(tǒng)計(jì)特性的評(píng)價(jià)方法如IFC，VIF等。Hamid Rahim Sheikh和Alan C.Bovik利用NSS(Natural Scene Statistics)模型描述圖像中的信息，通過(guò)信號(hào)衰減和加性噪聲描述圖像在處理與傳輸過(guò)程中退化，用原始圖像與失真圖像之間的互信息刻畫(huà)圖像的保真度，得到了IFC(Information Fidelity Criterion)方法(Hamid RahimSheikh and Alan C.Bovik，An information Fidelity Criterion for image qualityassessment using natural scene statistics，IEEE transacti on onimageprocessing，vol.14，No.12，Dec 2005)，在此基礎(chǔ)上二人又增加了對(duì)視覺(jué)通道的加性白噪聲的模型描述，計(jì)算原始圖像與失真圖像在該模型下的輸出之間的互信息之比，得到了VIF(Visual Information Fidelity)的方法(Hamid Rahim Sheikh andAlan C.Bovik，Image information and visual quality，IEEE transaction on imageprocessing)。瑞士EPFL實(shí)驗(yàn)室通過(guò)將輸入視頻轉(zhuǎn)化到對(duì)應(yīng)的顏色空間，然后分別通過(guò)時(shí)間-空間的塔式分解，建立多個(gè)測(cè)量通道，最后將測(cè)量結(jié)果轉(zhuǎn)換為誤差可視圖，得到了關(guān)于MEPG壓縮視頻流的質(zhì)量評(píng)價(jià)方法(Christian J.van denBranden Lambrecht，Color moving pictures quality metric，http://ltswww.epfl.ch/`vdb/)。
然而鑒于人類視覺(jué)系統(tǒng)可以在無(wú)參考的情況下仍可以對(duì)圖像的質(zhì)量進(jìn)行評(píng)價(jià)，而參考圖像在實(shí)際的應(yīng)用并不總能夠方便的得到，所以無(wú)參考的圖像質(zhì)量評(píng)價(jià)模型也被提出。但是無(wú)參考模型讓計(jì)算機(jī)從圖像的自身內(nèi)容中得到關(guān)于圖像的質(zhì)量信息，有很大的難度。目前已有的無(wú)參考圖像質(zhì)量評(píng)價(jià)方法大部分都是針對(duì)JPEG或JPEG2000壓縮產(chǎn)生的圖像失真，還沒(méi)有一種能夠針對(duì)更多類型失真圖像的更加廣泛的無(wú)參考方法。LIVE提出了在頻域中描述模糊和周期性的塊效應(yīng)的方法來(lái)刻畫(huà)JPEG壓縮圖像質(zhì)量(Zhou Wang，Hamid R.Sheikh andAlan C.Bovik，No-reference perceptual quality assessment of JPEG compressedimage)，但是當(dāng)圖像中的塊效應(yīng)沒(méi)有這種周期性時(shí)該方法就不太適用。對(duì)于圖像中的模糊，瑞士Pina Marziliano等人在空間域中對(duì)圖像邊緣處的模糊效應(yīng)進(jìn)行描述，也得到了對(duì)模糊圖像的較好的評(píng)價(jià)結(jié)果(Pina Marziliano，F(xiàn)redericDufaux，Stefan Winkler and Touradj Ebrahimi，A no-reference perceptual blurmetric)。北京的Zhang Hong-jiang，Li Ming Jing，Ma Wei-ying等提出基于學(xué)習(xí)的評(píng)價(jià)方法(US Patent application 20060147107)，將從輸入圖像中提取的特征向量送入訓(xùn)練過(guò)的分類器中得到圖像質(zhì)量的評(píng)價(jià)結(jié)果(Zhang Hong-jiang，LiMing Jing and Ma Wei-ying.US patent Application 20060147107.Method andsystem for learning-based quality assessment of images)。
部分參考模型作為全參考和無(wú)參考的折中，在近年的研究中取得很好的發(fā)展。一個(gè)好的部分參考模型的圖像質(zhì)量評(píng)價(jià)方法，需要能夠(1)適用于不同類型的失真圖像；(2)用盡可能少的RR特征；(3)得到與主觀評(píng)價(jià)結(jié)果很好的一致性。1992年ITS的Voran和Wolf提出了基于描述圖像頻譜的三個(gè)特征的RR評(píng)價(jià)方法(S.D.Voran，S.Wolf，The development and evaluation of anobjective video quality assessment system that emulates human viewing panels，inProceedings of International Broadcasting Convention，Amsterdam，The Netherlands，1992)；在此基礎(chǔ)上1996年IT改進(jìn)了該方法，只用三個(gè)特征第一個(gè)特征描述空間頻率的高頻部分，后兩個(gè)特征則描述在時(shí)間上連續(xù)的兩個(gè)圖像之間的相互作用，該方法被收入ANSI(A.A.Webster，C.T.Jones，M.H.Pinson，S.D.Voran，S.Wolf，An objective video quality assesment system based on human perception，inSPIE Human Vision，Visual Processing，and Digital Display IV，San Jose，CA，F(xiàn)ebruary 1993，pp.15-26.；S.Wolf，A.Webster，M.Pinson，G.Cermak，Objective and subjective measures of MPEG video quality，Technical Report，ANSIcontribution number T1A1.5/96-121，1996.)。澳大利亞Kusuma等人提出了HybridImage quality metric(HIQM)，將圖像中的模糊效應(yīng)、塊效應(yīng)、圖像活動(dòng)以及掩蓋效應(yīng)等產(chǎn)生的感知失真進(jìn)行加權(quán)得到了圖像質(zhì)量的混合模型(TubagusMaulana Kusuma and Hans-Jurgen Zepernich，A Reduced-Reference perceptualquality metric for In-service imagequality assessment，Western AustralianTelecommunication Research Institute)。2005年LIVE實(shí)驗(yàn)室Zhou Wang等人提出了一種基于小波域自然圖像統(tǒng)計(jì)特性的適用于各種失真類型的評(píng)價(jià)方法，綜合失真圖像各個(gè)子帶的小波系數(shù)邊緣分布函數(shù)與原始圖像各個(gè)子帶的分布函數(shù)的K-L距離作為圖像測(cè)試圖像評(píng)價(jià)評(píng)價(jià)的依據(jù)，在六個(gè)子帶中共提取出18個(gè)RR特征(Zhou Wang and Eero P.Simoncelli，Reduced-Reference inage qualityassessment using a wavelet-domain naturalimage statistic model，HumanVison andElectronic Imageing X，Proc.SPIE，vol.5666.@SPIE)。此外，Mathieu Carnec等人提出了基于改進(jìn)的HVS模型的C4(Image quality Criterion)算法，描述了從眼睛到視覺(jué)皮層多個(gè)階段的視覺(jué)組織與操作，包括V1、V2以及腹側(cè)流、背側(cè)流在內(nèi)的兩個(gè)通路，提取可以被HVS利用的視覺(jué)特征，得到了對(duì)圖像質(zhì)量的一種評(píng)價(jià)方法，然而該方法的需要參考圖像的特征數(shù)目較多，所以輔助通道的負(fù)載比較大(Mathieu Carnec，Patrick Le Callet，Dominique Barba，Objective qualityassessment of color image based on a generic perceptual reduced reference，SignalProcessingImage Communication 23(2008)239-256)。


發(fā)明內(nèi)容
本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺點(diǎn)，提出了一種基于圖像邊緣特性，適用于各種失真類型的基于早期視覺(jué)的部分參考圖像質(zhì)量評(píng)價(jià)方法。
為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是根據(jù)人類視覺(jué)感受野特性提取測(cè)試圖像的部分參考(Reduced Reference——RR)特征，部分參考特征的提取過(guò)程包括圖像的多尺度分解、多尺度邊緣檢測(cè)、各尺度下二值邊緣圖的邊緣模式檢測(cè)和邊緣點(diǎn)模式的統(tǒng)計(jì)以及各尺度下感興趣邊緣點(diǎn)統(tǒng)計(jì)特性的提?。桓鶕?jù)參考圖像與測(cè)試圖像的部分參考特征之間的差異計(jì)算圖像的失真程度，最后將物理量映射到心理量得到圖像質(zhì)量的評(píng)價(jià)結(jié)果。
本發(fā)明的各尺度下二值邊緣圖的邊緣模式檢測(cè)、感興趣邊緣點(diǎn)模式的統(tǒng)計(jì)以及各尺度下感興趣邊緣點(diǎn)統(tǒng)計(jì)特性是把二值圖像和特定的模式分類算子進(jìn)行模板卷積，得到模式分布圖，再對(duì)模式分布圖進(jìn)行直方圖統(tǒng)計(jì)得到不同模式的概率分布，由于感興趣點(diǎn)即邊緣點(diǎn)處模板中心為1或其他設(shè)定值從而縮小了感興趣點(diǎn)模板輸出范圍，在該范圍內(nèi)的統(tǒng)計(jì)特性既為感興趣點(diǎn)的邊緣模式的概率分布。
本發(fā)明的具體步驟如下 1)對(duì)參考圖像和測(cè)試圖像進(jìn)行多尺度分解，得到各個(gè)尺度的圖像，分別用Ck和Dk表示，k表示分解的第k個(gè)尺度，共N個(gè)尺度； 2)在各個(gè)尺度下計(jì)算參考圖像和測(cè)試圖像的二值邊緣圖，分別用

和

表示，其中1表示邊緣點(diǎn)，0表示非邊緣點(diǎn)； 3)用模式分類算子H計(jì)算參考圖像和測(cè)試圖像的邊緣模式分布圖，分別用

和

表示； 然后對(duì)邊緣模式分布圖進(jìn)行統(tǒng)計(jì)，得到各種模式的分布概率

和

x的范圍為模式分類算子的響應(yīng)范圍，再選取邊緣點(diǎn)處的各種模式的概率作為各個(gè)尺度下的特征，模式分類算子H為各種梯度算子，將各個(gè)尺度進(jìn)行綜合得到pC(x)和pD(x)即最終的RR特征 4)根據(jù)參考圖像和測(cè)試圖像的部分參考特征RR計(jì)算測(cè)試圖像的失真程度DM 再根據(jù)Weber-Fechner’s定律將物理量映射為心理量得到測(cè)試圖像的失真的評(píng)價(jià) D＝log10(DM)。
本發(fā)明步驟4)計(jì)算測(cè)試圖像的失真程度DM是參考圖像和測(cè)試圖像的邊緣點(diǎn)模式信息對(duì)DM進(jìn)行加權(quán)得到的 D＝log10(DM·DU) 其中 由于在視覺(jué)皮層中，根據(jù)Marr的視覺(jué)計(jì)算理論，可以將人類的視覺(jué)表示框架分為如下三個(gè)階段早期、中期和后期。在早期視覺(jué)通道中，各種神經(jīng)細(xì)胞都有其特定的感受野。根據(jù)其感受野的響應(yīng)特性可以將視覺(jué)皮層細(xì)胞分為簡(jiǎn)單細(xì)胞、復(fù)雜細(xì)胞超復(fù)雜細(xì)胞等。簡(jiǎn)單細(xì)胞對(duì)其感受野中特定位置處具有特定方向的線段敏感；復(fù)雜細(xì)胞對(duì)其感受野中的具有特定方向的線段敏感，但不對(duì)位置敏感。所以早期視覺(jué)具有從圖像中抽取諸如角點(diǎn)、邊緣、線條、邊界、色彩、紋理以及運(yùn)動(dòng)等關(guān)于場(chǎng)景的邊緣特征的功能。另外根據(jù)Yuile和Poggio的指紋定理，在滿足一定的條件下邊緣信息可以完全刻畫(huà)出整個(gè)圖像的信息。所以根據(jù)邊緣信息的這一特性以及早期視覺(jué)對(duì)邊緣敏感的特點(diǎn)，可以得知在圖像的主觀質(zhì)量評(píng)價(jià)中，人類的早期視覺(jué)占主導(dǎo)作用，即圖像的邊緣信息在圖像質(zhì)量的主觀評(píng)價(jià)中占有很重要的作用。在此基礎(chǔ)上，本發(fā)明提出了基于早期視覺(jué)感受野特性的部分參考圖像質(zhì)量評(píng)價(jià)方法。該方法適應(yīng)不同的圖像失真類型，易于推廣，最少只用3個(gè)RR特征，得到的評(píng)價(jià)結(jié)果與主觀圖像質(zhì)量評(píng)價(jià)結(jié)果具有很好的相關(guān)性。并且該方法的實(shí)現(xiàn)簡(jiǎn)單，可以廣泛應(yīng)用到實(shí)時(shí)圖像質(zhì)量監(jiān)控、圖像處理算法設(shè)計(jì)的優(yōu)化以及視頻點(diǎn)播層圖像/視頻內(nèi)容質(zhì)量的檢驗(yàn)分析等方面。
通過(guò)對(duì)LIVE database II測(cè)試圖像進(jìn)行計(jì)算，證明本發(fā)明提出的部分圖像質(zhì)量評(píng)價(jià)方法(1)能過(guò)適應(yīng)各種不同類型的失真圖像；(2)與主觀圖像質(zhì)量有很好的相關(guān)性和一致性；(3)所用到的RR特征很少，節(jié)省了輔助通道的帶寬。



圖1本發(fā)明所提出的部分參考特征RR圖像質(zhì)量評(píng)價(jià)方法框圖； 圖2在邊緣模式檢測(cè)中所使用的Laplacian算子； 圖3本發(fā)明對(duì)圖像的預(yù)測(cè)結(jié)果與DMOS的關(guān)系。每一個(gè)點(diǎn)代表一幅圖像。(a)～(e)分別為五種不同的失真類型；橫坐標(biāo)是本發(fā)明對(duì)失真圖像的失真程度的評(píng)價(jià)結(jié)果；縱坐標(biāo)是LIVE實(shí)驗(yàn)室對(duì)失真圖像失真程度的主觀評(píng)價(jià)結(jié)果；每一個(gè)散點(diǎn)代表一幅圖像 圖4本發(fā)明的圖像質(zhì)量評(píng)價(jià)結(jié)果與Zhou Wang的方法比較，(a)Zhou Wang的方法，(b)本發(fā)明提出的方法。對(duì)應(yīng)的失真類型是JPEG2000(藍(lán))、JPEG(紅)、白噪聲(綠)、高斯模糊(黑)和JPEG2000圖像通過(guò)瑞利衰減信道的失真(青)， 橫坐標(biāo)是本發(fā)明對(duì)失真圖像的失真程度的評(píng)價(jià)結(jié)果；縱坐標(biāo)是LIVE實(shí)驗(yàn)室對(duì)失真圖像失真程度的主觀評(píng)價(jià)結(jié)果；每一個(gè)散點(diǎn)代表一幅圖像 下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。

具體實(shí)施例方式 參見(jiàn)圖1，用C和D分別代表參考圖像和測(cè)試圖像。
首先，在圖像的發(fā)送端對(duì)參考圖像按以下步驟提取RR特征 1)、對(duì)輸入圖像做多尺度分解(有兩種方法高斯尺度和小波變換見(jiàn)12葉紅色部分)，對(duì)不同尺度下的圖像進(jìn)行邊緣檢測(cè)； 2)、從不同尺度下的邊緣圖像計(jì)算圖像的二值邊緣圖

用模式分類算子H對(duì)各個(gè)尺度的邊緣二值圖像進(jìn)行模板卷積操作得到邊緣模式的分布圖

即邊緣模式圖像； 3)、對(duì)邊緣模式分布圖再進(jìn)行統(tǒng)計(jì)，得到不同邊緣模式的概率分布pC(x)，由于邊緣模式只考慮邊緣點(diǎn)處，即模板中心所對(duì)應(yīng)的點(diǎn)為邊緣點(diǎn)。以參考附圖2中的Laplacian算子為例，邊緣點(diǎn)處的邊緣模式計(jì)算后必定為正值，取值范圍在1至4，所以在得到各個(gè)尺度的邊緣模式分布概率之后，將作為各個(gè)尺度的RR特征； 4)、將各個(gè)尺度下的RR特征進(jìn)行綜合，得到最終的RR特征，如對(duì)應(yīng)求和后在歸一化 5)、將已經(jīng)計(jì)算好的RR特征進(jìn)行量化編碼，將量化編碼從輔助通道傳輸或嵌入到圖像數(shù)據(jù)中進(jìn)行傳輸。
第二，在圖像的接收端，對(duì)失真圖像按照如上步驟1)至4)中所述的方法提取RR特征 第三，在圖像的接收端，從輔助通道得到參考圖像的RR特征或從嵌入的圖像數(shù)據(jù)中分離出參考圖像的RR特征，然后按照以下的兩種方法計(jì)算測(cè)試圖像的失真指標(biāo)； 第四，根據(jù)測(cè)試圖像和參考圖像的RR特征之間的差異描述圖像的失真程度，得到關(guān)于測(cè)試圖像客觀質(zhì)量的評(píng)價(jià)結(jié)果。
方法1按照公式(3)計(jì)算參考圖像和失真圖像RR特征的歐幾里得距離作為測(cè)試圖像的失真度 再根據(jù)Weber-Fechner’s定律將物理量映射為心理量 D＝log10(DM)(4) 方法2按照公式(5)計(jì)算測(cè)試圖像的失真度 D＝log10(DM·DU) (5) 其中是根據(jù)參考圖像和測(cè)試圖像的邊緣點(diǎn)模式信息對(duì)DM進(jìn)行的加權(quán)。
對(duì)本發(fā)明基于人類早期視覺(jué)的部分參考圖像質(zhì)量評(píng)價(jià)方法的驗(yàn)證。為了對(duì)本發(fā)明提出的部分參考圖像質(zhì)量評(píng)價(jià)方法進(jìn)行驗(yàn)證，發(fā)明人使用LIVE提供的數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)用五種不同的失真類型對(duì)29幅高分辨率的自然場(chǎng)景圖像進(jìn)行處理，得到包含203幅原始參考圖像的982幅測(cè)試圖像。通過(guò)7組主觀實(shí)驗(yàn)對(duì)這些圖像進(jìn)行打分，得到每幅圖像的DMOS。
根據(jù)本發(fā)明提出的方法，圖像的多尺度分解和邊緣檢測(cè)可以有不同的方案，如高斯尺度下自然圖像多尺度變換零交叉邊緣統(tǒng)計(jì)特性的處理方案以及基于多尺度自然圖像小波變換模極大值邊緣統(tǒng)計(jì)特性的處理方案。在本發(fā)明對(duì)后者進(jìn)行了實(shí)現(xiàn)。而在邊緣模式統(tǒng)計(jì)過(guò)程中適用的模式分類算子也可有不同的選擇，本發(fā)明以拉普拉斯算子作為分類算子。具體按如下步驟實(shí)現(xiàn)(1)以DB9/7小波為例做四級(jí)小波分解；(2)通過(guò)小波變換模極大值點(diǎn)進(jìn)行邊緣檢測(cè)；(3)對(duì)二值化后的各個(gè)尺度的邊緣圖使用Laplacian算子做卷積得到邊緣模式分布圖，H＝
。邊緣點(diǎn)出的邊緣模式取值在1～4之間，根據(jù)發(fā)明人的實(shí)驗(yàn)，取值為1概率絕大部分為0，所以在對(duì)邊緣模式統(tǒng)計(jì)之后，發(fā)明人取值為2、3、4處的邊緣模式概率作為該尺度下的RR特征，將四個(gè)尺度的RR特征對(duì)應(yīng)求和得到最終的3個(gè)RR特征。根據(jù)公式(4)和(5)分別計(jì)算得到對(duì)測(cè)試圖像質(zhì)量的評(píng)價(jià)結(jié)果。
根據(jù)VQEG Phase II報(bào)告，在對(duì)評(píng)價(jià)方法進(jìn)行驗(yàn)證時(shí)可以在主觀與客觀評(píng)價(jià)結(jié)果之間進(jìn)行一次非線性映射之后做相關(guān)性分析，結(jié)果如表1和表2所示。
Quality(x)＝β1logistic(β2，(x-β3))+β4x+β5 表1本發(fā)明方法1對(duì)不同失真圖像的相關(guān)系數(shù)和均方根誤差 表2本發(fā)明方法2對(duì)不同失真圖像的相關(guān)系數(shù)和均方根誤差 表1表明本發(fā)明所提出的圖像質(zhì)量評(píng)價(jià)方法對(duì)于大部分失真類型具有不錯(cuò)的評(píng)價(jià)性能，而對(duì)含白噪聲的圖像效果欠佳，經(jīng)過(guò)方法2的加權(quán)修正后，性能得到改善，見(jiàn)表2以及參考附圖3。本發(fā)明提出的圖像質(zhì)量評(píng)價(jià)方法評(píng)價(jià)對(duì)于五種失真類型的圖像，和主觀評(píng)價(jià)結(jié)果DMOS都具有很好的一致性和相關(guān)性，從參考附圖4可以看出，考慮到各種失真類型的總體時(shí)本發(fā)明的相關(guān)系數(shù)為0.7614，優(yōu)于Zhou Wang的方法(Zhou Wang and Eero P.Simoncelli，Reduced-Referenceinage quality assessment using a wavelet-domain natural image statisticmodel，Human Vison and Electronic Imageing X，Proc.SPIE，vol.5666.@SPIE)，即本方法具有評(píng)價(jià)性能優(yōu)秀且適用范圍廣泛的優(yōu)點(diǎn)。另外本方法使用的RR特征很少，以上述方法為例，傳輸時(shí)只需占用24個(gè)比特即可，大大節(jié)省了部分圖像質(zhì)量評(píng)價(jià)模型中輔助通道的帶寬。
權(quán)利要求
1、基于早期視覺(jué)的部分參考圖像質(zhì)量評(píng)價(jià)方法，其特征在于根據(jù)人類視覺(jué)感受野特性提取測(cè)試圖像的部分參考(Reduced Reference——RR)特征，部分參考特征的提取過(guò)程包括圖像的多尺度分解、多尺度邊緣檢測(cè)、各尺度下二值邊緣圖的邊緣模式檢測(cè)和邊緣點(diǎn)模式的統(tǒng)計(jì)以及各尺度下感興趣邊緣點(diǎn)統(tǒng)計(jì)特性的提?。桓鶕?jù)參考圖像與測(cè)試圖像的部分參考特征之間的差異計(jì)算圖像的失真程度，最后將物理量映射到心理量得到圖像質(zhì)量的評(píng)價(jià)結(jié)果。
2、根據(jù)權(quán)利要求1所述的基于早期視覺(jué)的部分參考圖像質(zhì)量評(píng)價(jià)方法，其特征在于所說(shuō)的各尺度下二值邊緣圖的邊緣模式檢測(cè)、感興趣邊緣點(diǎn)模式的統(tǒng)計(jì)以及各尺度下感興趣邊緣點(diǎn)統(tǒng)計(jì)特性是把二值圖像和特定的模式分類算子進(jìn)行模板卷積，得到模式分布圖，再對(duì)模式分布圖進(jìn)行直方圖統(tǒng)計(jì)得到不同模式的概率分布，由于感興趣點(diǎn)即邊緣點(diǎn)處模板中心為1或其他設(shè)定值從而縮小了感興趣點(diǎn)模板輸出范圍，在該范圍內(nèi)的統(tǒng)計(jì)特性既為感興趣點(diǎn)的邊緣模式的概率分布。
3、根據(jù)權(quán)利要求1所述的基于早期視覺(jué)的部分參考圖像質(zhì)量評(píng)價(jià)方法，其具體步驟如下
1)對(duì)參考圖像和測(cè)試圖像進(jìn)行多尺度分解，得到各個(gè)尺度的圖像，分別用Ck和Dk表示，k表示分解的第k個(gè)尺度，共N個(gè)尺度；
2)在各個(gè)尺度下計(jì)算參考圖像和測(cè)試圖像的二值邊緣圖，分別用
和
表示，其中1表示邊緣點(diǎn)，0表示非邊緣點(diǎn)；
3)用模式分類算子H計(jì)算參考圖像和測(cè)試圖像的邊緣模式分布圖，分別用
和
表示；
然后對(duì)邊緣模式分布圖進(jìn)行統(tǒng)計(jì)，得到各種模式的分布概率
和
，x的范圍為模式分類算子的響應(yīng)范圍，再選取邊緣點(diǎn)處的各種模式的概率作為各個(gè)尺度下的特征，模式分類算子H為各種梯度算子，將各個(gè)尺度進(jìn)行綜合得到pC(x)和pD(x)即最終的RR特征
4)根據(jù)參考圖像和測(cè)試圖像的部分參考特征RR計(jì)算測(cè)試圖像的失真程度DM
再根據(jù)Weber-Fechner’s定律將物理量映射為心理量得到測(cè)試圖像的失真的評(píng)價(jià)
D＝log10(DM)。
4、根據(jù)權(quán)利要求3所述的基于早期視覺(jué)的部分參考圖像質(zhì)量評(píng)價(jià)方法，其特征在于所說(shuō)的步驟4)計(jì)算測(cè)試圖像的失真程度DM是參考圖像和測(cè)試圖像的邊緣點(diǎn)模式信息對(duì)DM進(jìn)行加權(quán)得到的
D＝log10(DM·DU)
其中
全文摘要
基于早期視覺(jué)的部分參考圖像質(zhì)量評(píng)價(jià)方法，根據(jù)人類視覺(jué)感受野特性提取測(cè)試圖像的部分參考特征RR，部分參考特征RR包括圖像的多尺度分解、多尺度邊緣檢測(cè)、各尺度下二值邊緣圖的邊緣模式檢測(cè)、感興趣邊緣點(diǎn)模式的統(tǒng)計(jì)以及各尺度下感興趣邊緣點(diǎn)統(tǒng)計(jì)特性；根據(jù)參考圖像與測(cè)試圖像的部分參考特征RR之間的差異計(jì)算圖像的失真程度，最后將物理量映射到心理量得到圖像質(zhì)量的評(píng)價(jià)結(jié)果。通過(guò)對(duì)LIVE database II測(cè)試圖像進(jìn)行計(jì)算，證明本發(fā)明提出的部分圖像質(zhì)量評(píng)價(jià)方法(1)能過(guò)適應(yīng)各種不同類型的失真圖像；(2)與主觀圖像質(zhì)量有很好的相關(guān)性和一致性；(3)所用到的RR特征很少，節(jié)省了輔助通道的帶寬。
文檔編號(hào)G06T7/00GK101482973SQ20091002101
公開(kāi)日2009年7月15日 申請(qǐng)日期2009年1月21日 優(yōu)先權(quán)日2009年1月21日
發(fā)明者牟軒沁, 薛武峰, 敏 張 申請(qǐng)人:西安交通大學(xué)