專利名稱：使用圖像的多級分解確定用于圖像的質(zhì)量計(jì)量的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及評估圖像質(zhì)量，尤其涉及以增強(qiáng)的感知性能確定對圖像的質(zhì)量或度量的改善的計(jì)量的方法和系統(tǒng)。
背景技術(shù)：
在包括圖像轉(zhuǎn)碼和壓縮的各種情境中，評估圖像質(zhì)量是重要的。在異構(gòu)網(wǎng)絡(luò)(包括移動終端、蜂窩電話、計(jì)算機(jī)和其它電子設(shè)備)中傳播豐富的多媒體內(nèi)容時，對圖像進(jìn)行轉(zhuǎn)碼是關(guān)鍵的，所述多媒體內(nèi)容包括文本、音頻、靜止和運(yùn)動的圖像、照片、視頻剪輯?？赏ㄟ^測量原始圖像(通常稱為基準(zhǔn)圖像)與在圖像處理之后獲得的圖像(通常稱為失真圖像)之間的相似性而評估圖像質(zhì)量。這樣的質(zhì)量評估可例如用于確定圖像處理技術(shù)的有效性。在開發(fā)各種圖像和視頻處理應(yīng)用(包括多媒體應(yīng)用)以對終端用戶(人類用戶)提供可接受的輸出中，圖像質(zhì)量評估具有重要的作用。圖像質(zhì)量最佳地通過人類觀察員主觀評估。然而，主觀評估質(zhì)量是耗時、昂貴的，并且不能用于實(shí)時應(yīng)用。從而，需要定義客觀標(biāo)準(zhǔn)，該客觀標(biāo)準(zhǔn)可測量未失真的原始圖像與失真的圖像信號之間的差異。理想地，這樣的客觀測量應(yīng)與兩個圖像信號之間的感知的差異強(qiáng)相關(guān)并且可以隨著主觀質(zhì)量線性變化。主觀圖像質(zhì)量涉及人類觀察者如何感知處理的圖像以及如何指示他對質(zhì)量的意見。通常基于基準(zhǔn)圖像的可用性對客觀方法進(jìn)行分類。如果基準(zhǔn)圖像是可用的，則將對質(zhì)量或質(zhì)量度量的測量認(rèn)為是全基準(zhǔn)(FR)評估測量。峰值信噪比(PSNR)是最老和最廣泛使用的FR評估測量并且具有多個有吸引力的特征。它非常簡單，具有清楚的物理含義，無參數(shù)，并且在如Z. Wang和A. C. Bovik在Mean squared error:Love it or leave it Anew look at signal fidelity measures (IEEE Signal Processing Mag. , vol. 26, no. I,第98-117頁，2009年I月)中描述的各種優(yōu)化情境中非常好地進(jìn)行。該測量被如下定義FS1KR.1) = W t&3±s \mse^xY)/MSECX,￥) = , 2- Ys) .)2
I fn.K其中，X和Y分別表示基準(zhǔn)(原始)和失真的圖像，Xfflax是基準(zhǔn)圖像X的最大可能像素值(假設(shè)最小像素值為零)，并且Np為每個圖像中的像素?cái)?shù)目。然而，常規(guī)PSNR不能充分反映圖像保真度的人類感知，即，大PSNR增益可能獲得視覺質(zhì)量上很小的改善。從而，已經(jīng)通過研究開發(fā)了多個其它質(zhì)量計(jì)量。概括地說，對圖像信號的FR評估包括兩種方法自下而上的方法和自上而下的方法，在Z. Wang和A. C. Bovik的 “Modern Image Quality Assessment，，(USA:Morgan & Claypool, 2006)中對其進(jìn)行了討論。在自下而上的方法中，通過量化錯誤的可視性最佳地估計(jì)對質(zhì)量的感知測量。為了根據(jù)人類視覺系統(tǒng)(HVS)的特征量化錯誤，在該類型中的技術(shù)嘗試對由心理和生理實(shí)驗(yàn)表征的HVS的不同階段的功能特性進(jìn)行建模。如Z. Wang和A. C. Bovik在“ModemImage Quality Assessment” (USA:Morgan & Claypool, 2006and)中和 A. C. Bovik 在“The Essential Guide to Image Processing^ (USA:Academic Press，2009，ch. 21)中所述，這通常在預(yù)處理、頻率分析、對比度敏感性分析、亮度掩蔽、對比度掩蔽以及錯誤集中的若干階段中完成。大部分基于HVS的質(zhì)量評估技術(shù)使用多信道模型，其假設(shè)通過獨(dú)立的信道處理空間頻率的每個帶。利用S. Daly在“The visible difference predictor:Analgorithm for the assessment of image fidelity”(Proc. SPIE，vol. 1616，1992 年 2月，第2-15頁)中討論的可見差異預(yù)測(VDP) 模型，利用Watson的Cortex變換的變型將圖像分解為五個空間級別以及六個取向級別。然后，從信道中的對比度計(jì)算閾值地圖。在“A visual discrimination mode for image system design and evaluation，， (VisualModels for Target Detection and Recognition,新加坡World Scientific，1995 年，第207 - 220頁)中示出的Lubin的模型(也稱為Samoff視覺分辨模型(VDM))中，在低通濾波和再釆樣之后將圖像分解為七個解析度。P. C Teo和D. J. Heeger使用可控棱錐變換將圖像分解為若干個空間頻率級別，其中將每個級別進(jìn)一步分為一組(六個)取向帶。他們的方法在 D. M. Chandler 的 “Perceptual Image distortion” (Proc. IEEE. Int. Conf.Image Processing, vol. 2，1994年 11 月，第 982-986 頁，VSNR)中進(jìn)行了描述，而 S. S. Hemami的 “A wavelet-based visual signal-to-noise ratio for natural images，，(IEEETransactions on Image Processing, vol. 16，no. 9，第 2284-2298 頁，2007 年 9 月)是在圖像預(yù)處理利用分離小波變換和9/7雙正交濾波器將基準(zhǔn)圖像和在基準(zhǔn)和失真的圖像之間的錯誤都分解為五個級別之后的另一個高級的基于HVS的度量。然后，其計(jì)算對比度檢測閾值，以對于通過小波分解生成的每個子帶評估檢測失真的能力。其它已知的基于自下而上的方法的方法使用傅立葉變換而不是多解析度分解，包括由N. Damera-Venkata.T. D. Kite、W. S. Geisler、B. L Evans 和 A. C. Bovik 在 “Image quality assessment basedon a degradation model，，(IEEE Transactions on Image Processing, vol. 9, no. 4,第636-650頁，2000年4月)中討論的加權(quán)信噪比(WSNR)、以及由M. Miyahara. K. Kotani和V. R. Algazi 在“Objective Picture Quality Scale (PQS) for image coding” (IEEETransactions on Communication, vol. 46，no. 9，第 1215 - 1225 頁，1998 年 9 月)中描述的圖像質(zhì)量分級(PQS)。基于自下而上的方法的方法具有若干個重要限制，Z. Wang和
A.C. Bovik 在“Modern Image Quality Assessment” (USA:Morgan & Claypool，2006)中以及 Z. Wang、A. Bovik、H. Sheikh 和 E. Simoncelli 在 “Image quality assessment:Fromerror visibility to structural similarity，， (IEEETransactions on ImageProcessing, vol. 13，no. 4，第600 - 612頁，2004年4月)對其進(jìn)行了討論。而且，基于錯誤的技術(shù)，諸如 WSNR、噪聲質(zhì)量計(jì)量(NQM)(由 N. Damera-Venkata^T. D. Kite、W. S. Geisler、
B.L.Evans 和 A. C. Bovik 在“Image quality assessment based on a degradationmodel，，(IEEE Transactions on Image Processing, vol. 9, no. 4,第 636-650 頁，2000年 4 月)中描述)、以及 VSNR(由 D. M. Chandler 和 S. S. Hemami 在“VSNR:A wavelet-basedvisual signal-to-noise ratio for natural images，，(IEEE Transactions on ImageProcessing, vol. 16，no. 9，第2284-2298頁，2007年9月)中描述)，不是那么易于使用，因?yàn)樗鼈冃枰獜?fù)雜的過程以計(jì)算人類視覺系統(tǒng)(HVS)參數(shù)。
利用基于自上而下的方法的技術(shù)，將HVS的總體功能看作為黑盒，并將輸入/輸出關(guān)系作為關(guān)注焦點(diǎn)。從而，根據(jù)自上而下的方法的技術(shù)不需要任何來自HVS的校準(zhǔn)參數(shù)或觀察配置。在該類型中的兩種主要策略使用結(jié)構(gòu)方法和信息理論方法。使用結(jié)構(gòu)方法的最重要的方法為Z. Wang、A. Bovik、H. Sheikh和E. Simoncelli在“Image quality assessment:from error visibility to structural similarity^IEEETransactions on Image Processing，vol. 13，no. 4，第 600 - 612 頁，2004 年 4 月)中描述的結(jié)構(gòu)相似性(SSIM)指數(shù)。如 H. R. Sheikh、M. F. Sabir 和 A. C. Bovik 在“A statisticalevaluation of recent full reference image quality assessment algorithms”( IEEETransactions on Image Processing, vol. 15，no. 11，第 3440 - 3451 頁，2006 年 11 月)中所討論的，相比于其它質(zhì)量計(jì)量，SS頂以可接受的計(jì)算復(fù)雜度提供了精確的分?jǐn)?shù)。SSIM在近年已經(jīng)獲得大量的關(guān)注，并且被考慮用于大范圍的應(yīng)用。如Z.Wang，A.Bovik、H. Sheikh和E. SimoncelIi在“Image quality assessment:from error visibility to structuralsimilarity，，(IEEE Transactions on Image Processing, vol. 13, no. 4,第 600 - 612頁，2004年4月)中所述，在SSIM方法中的主要構(gòu)思是，HVS高度適于從可視場景中提取信息，因此，對結(jié)構(gòu)相似性(或失真)的測量應(yīng)提供對感知的圖像質(zhì)量的好的近似。一些方法嘗試改善 SSIM 指數(shù)。由 Z. Wang、E. P. Simoncelli 和 A. C. Bovik 在“Multi-scale structuralsimilarity for image quality assessment，，(Proc. IEEE Asilomar Conf. Signals, Systems，Computers，vol. 2，2003年11月，第1398-1402頁)中討論的多級SSIM嘗試通過應(yīng)用連續(xù)低通濾波和下釆樣而引入處于五個不同解析度的圖像細(xì)節(jié)以增加SSIM評估精度。在D. M. Rouse 的 “Understanding and simplifying the structural similarity metric，，(Proc. IEEE International Conference on Image Processing, San Diego，2008年 10 月，第 1188-1191 頁)，和 S. S. Hemami 的“Discrete wavelet transform-based structuralsimilarity for image quality assessment” (Proc.IEEE International Conferenceon Image Processing, San Diego，2008 年 10 月，第 377-380 頁)中，提出利用不同級別的子帶在分離小波域?qū)ζ溥M(jìn)行計(jì)算。將利用Daubechies 9/7小波的五級分解應(yīng)用到原始圖像和失真的圖像，然后計(jì)算對應(yīng)的子帶之間的SSIM。最后，通過計(jì)算全部SSIM的加權(quán)平均獲得相似性測量。為了確定權(quán)重，已經(jīng)進(jìn)行大量的實(shí)驗(yàn)以測量人眼對不同頻帶的敏感度。Z. Wang和 E. P. Simoncelli 在“Translation insensitive image similarity in complexwavelet domain，，(Proc. IEEE International Conference on Acoustics, Speech, SignalProcessing, vol. 2，2005 年 3 月，第 573-576 頁)中、以及 M. P. Sampat、Z. Wang、S. Gupta、A.C. Bovik 和 M. K. Markey 在“Complex wavelet structural similarity:A new imagesimilarity index，，(IEEE Transactions on Image Processing，vol. 18，no. 11，第2385 -2401頁，2009年11月)中討論了復(fù)雜小波結(jié)構(gòu)相似性(CW-SSDO (其受益于6級、16方向可控的棱錐分解特征的復(fù)合模式)，并提出能抵抗小的幾何失真的措施。利用信息理論方法，視覺質(zhì)量評估被視作信息保真度問題。H.R. Sheikh、A.C.Bovik 和 G. de Veciana 在 “An information fidelity criterion for imagequality assessment using natural scene statistics，，( IEEE Transactions on ImageProcessing, vol. 14，no. 12，第2117 - 2128頁，2005年12月)中提出基于自然場景統(tǒng)計(jì)的用于圖像質(zhì)量計(jì)量的信息保真度標(biāo)準(zhǔn)(IFC)。在IFC中，通過使用高斯尺度混合(GSM)對圖像源建模，而將圖像失真處理建模為易出錯的通信信道。通過使用作為信息失真度的統(tǒng)計(jì)測量的交互信息，量化在正在比較的圖像之間共享的信息。另一信息理論質(zhì)量度量為 H. R. Sheikh 和 A. C. Bovik 在“Image information and visual quality，，(IEEETransactions on Image Processing, vol. 15, no. 2,第 430 - 444 頁，2006 年 2 月)中討論的“視覺信息保真度(VIF)指數(shù)”。對VIF指數(shù)的計(jì)算遵循與IFC相同的過程，不同的是，在確定VIF指數(shù)中，將圖像失真處理和視覺感知處理都建模為易出錯的通信信道。對于VIF測量，以加性高斯白噪聲建模HVS失真信道。根據(jù)H. R. Sheikh、M. F. Sabir和A. C. Bovik在“A statistical evaluation of recent full reference image quality assessmentalgorithms，，(IEEE Transactions on Image Processing, vol. 15, no. 11,第 3440 - 3451頁，2006年11月)中示出的突出圖像質(zhì)量評 估算法的性能評估，VIF指數(shù)是最精確的圖像質(zhì)量測量。回顧已有的文獻(xiàn)揭示了現(xiàn)有技術(shù)方法的多個缺陷。這些現(xiàn)有技術(shù)方法的局限包括下述內(nèi)容。首先，用于精確確定質(zhì)量計(jì)量的現(xiàn)有評估技術(shù)的計(jì)算復(fù)雜性非常高。如果使用用于確定質(zhì)量(質(zhì)量度量)測量的精確低復(fù)雜度技術(shù)，則可以更有效地使用一些圖像/視頻處理應(yīng)用，例如如 S. L. P. Yasakethu、ff. A. C. Fernando> S. Adedoyin 和 A. Kondoz 在名為 “Arate control technique for off line H. 264/AVC video coding using subjectivequality of video，，(IEEE Transactions on Consumer Electronics, vol. 54, no. 3,第1465-1472頁，2008年8月)的文獻(xiàn)中描述的對于視頻編碼中的每個幀識別最佳量化參數(shù)。第二，現(xiàn)有技術(shù)方法使用的自下而上的方法需要相關(guān)的技術(shù)應(yīng)用多解析度(resolution)變換、將輸入圖像分解為大量的解析度(五個或多個)。然而,HVS是不被完全所知的復(fù)雜的系統(tǒng)，將不同帶合并到最終的度量中是困難的。在相似的自上而下的方法中，諸如 Z. Wang、E. P. Simoncelli 和 A. C. Bovik在“Multi-scale structural similarity forimage qualityassessment，，(Proc. IEEE Asilomar Conf. Signals, Systems, Computers, vol. 2，2003年11月，第1398-1402頁)以及較早引用的C. -L. Yang、ff. -R. Gao和較早應(yīng)用的 L.-M. Po 在“Discrete wavelet transform-based structural similarity for imagequality assessment，，(Proc. IEEE Int. Conf. Image Processing, San Diego, 2008 年 10月，第377-380頁)中討論的多尺度(scale)和多級別SSIM，確定HVS對于不同的尺度或子帶的敏感度需要多次實(shí)驗(yàn)。而且，如果改變小波或?yàn)V波器，計(jì)算的權(quán)重和參數(shù)不再是最優(yōu)的甚至可能是無效的。第三，諸如SSIM的自上而下的方法收集方形滑動窗中的局部統(tǒng)計(jì)值，從而不能總是那么精確。第四，如在上段中引用的C. -L. Yang、W. -R. Gao 和 L. -M. Po 在“Discrete wavelettransform-based structural similarity for image quality assessment，，(Proc. IEEEInt. Conf. Image Processing, San Diego, 2008 年 10 月，第 377-380 頁)中討論的，多個分解級別將使得具有主圖像內(nèi)容的近似子帶的尺寸非常小，并且其將不再能夠有助于對圖像統(tǒng)計(jì)值的有效提取。第五，前述SSM方法使用SSM質(zhì)量映像(map)的平均值來確定圖像質(zhì)量的計(jì)量(或總體圖像質(zhì)量分?jǐn)?shù))。然而，在各個圖像區(qū)域中的失真對HVS具有不同的影響。
從而，還需要開發(fā)對圖像質(zhì)量的改善測量，其能夠避免或消除現(xiàn)有技術(shù)的缺陷。

發(fā)明內(nèi)容
從而，本發(fā)明的一個目的為提供消除現(xiàn)有技術(shù)缺陷的用于確定對圖像質(zhì)量計(jì)量的改善的方法和系統(tǒng)。根據(jù)本發(fā)明的一方面，提供一種用于確定對失真圖像Y的質(zhì)量的計(jì)量的方法，該計(jì)量表征在圖像Y與未失真的基準(zhǔn)圖像X之間的相似性，所述基準(zhǔn)圖像X具有與圖像Y相同的行數(shù)和列數(shù)的像素，該方法包括
(a)對圖像 X 應(yīng)用 N 級多解析度(multiresolution)分解(decomposition),包括級 1、2、... i、i + 1、...N，以生成對于每個級i，i的范圍為I至N-1，用于在級i + I處理的圖像X的中間子帶；以及對于級N，包含圖像X的主體內(nèi)容的近似子帶和包含圖像X的邊緣的細(xì)節(jié)子帶；(b)對圖像Y應(yīng)用所述N級多解析度分解，包括級1、2、... i、i + I、... N，以生成對于每個級i，i的范圍為I至N-1，用于在級i + I處理的圖像Y的中間子帶；以及對于級N，包含圖像Y的主體內(nèi)容的近似子帶和包含圖像Y的邊緣的細(xì)節(jié)子帶；(C)對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用圖像質(zhì)量度量(IQM)，以生成表征圖像X的主體內(nèi)容與圖像Y的主體內(nèi)容之間的相似度的近似質(zhì)量計(jì)量；Cd)對圖像X的級i (i的范圍為級I到N_l)的中間子帶以及圖像X的細(xì)節(jié)子帶進(jìn)行聚合，以生成表征圖像X的邊緣的圖像X的邊緣映像(map)；(d)對圖像Y的級i (i的范圍為級I到N_l)的中間子帶以及圖像Y的細(xì)節(jié)子帶進(jìn)行聚合，以生成表征圖像Y的邊緣的圖像Y的邊緣映像；(f )在圖像X的邊緣映像和圖像Y的邊緣映像之間應(yīng)用IQM，以生成表征圖像X的邊緣與圖像Y的邊緣之間的相似性的邊緣質(zhì)量計(jì)量；以及(g)處理所述近似質(zhì)量計(jì)量和所述邊緣質(zhì)量計(jì)量，以確定對質(zhì)量的計(jì)量。在上述方法中步驟(d)還包括基于在確定質(zhì)量計(jì)量中將要實(shí)現(xiàn)的精度，選擇圖像X的在每級i (i的范圍為I至N-I)的中間子帶和細(xì)節(jié)子帶；僅聚合圖像X的選擇的中間子帶和選擇的細(xì)節(jié)子帶；以及步驟(e)還包括基于在確定質(zhì)量計(jì)量中將要實(shí)現(xiàn)的精度，選擇圖像Y的在所述每級i的中間子帶和細(xì)節(jié)子帶；僅聚合圖像Y的選擇的中間子帶和選擇的細(xì)節(jié)子帶。在上述方法中選擇圖像X的中間子帶和細(xì)節(jié)子帶的步驟還包括選定具有基本相同的解析度的圖像X的選擇的每級i的中間子帶和細(xì)節(jié)子帶；以及選擇圖像Y的中間子帶和細(xì)節(jié)子帶的步驟還包括選定具有基本相同的解析度的圖像Y的選擇的每級i的中間子帶和細(xì)節(jié)子帶。圖像X和圖像Y的在所述每級i的中間子帶對于每個各自的圖像包括級i細(xì)節(jié)子帶和級i小波包(WP)子帶；級i-WP子帶包括級i-WP近似子帶和級i-WP細(xì)節(jié)子帶；以及級i-WP近似子帶還包括級i_水平 WP近似子帶、級i_垂直WP近似子帶和級i-對角WP近似子帶。上述方法還包括下述中的一個或多個在步驟(a):對于級1，對圖像X應(yīng)用多解析度分解，生成用于在級2處理的級I的中間子帶；以及對于級i，i的范圍為2至N，對通過在級i-1進(jìn)行的多解析度分解生成的一個或多個中間子帶應(yīng)用多解析度分解；以及在步驟(b):對于級1，對圖像Y應(yīng)用多解析度分解，生成用于在級2處理的級I的中間子帶；以及對于級i，i的范圍為2至N，對通過在級i_l進(jìn)行的多解析度分解生成的一個或多個中間子帶應(yīng)用多解析度分解。在本發(fā)明一個實(shí)施例中，近似質(zhì)量計(jì)量是近似質(zhì)量映像,邊緣質(zhì)量計(jì)量是邊緣質(zhì)量映像，所述步驟(g)還包括生成對比度映像，包括，根據(jù)其對于人類視覺系統(tǒng)的相應(yīng)的重要性，為圖像X和圖像Y的近似子帶和邊緣映像的像素分配對應(yīng)值；使用對比度映像對近似質(zhì)量映像進(jìn)行加權(quán)集合(pool)，以生成近似質(zhì)量分?jǐn)?shù)；使用對比度映像對邊緣質(zhì)量映像進(jìn)行加權(quán)集合，以生成邊緣質(zhì)量分?jǐn)?shù)；以及合并來自步驟(bl8)的近似相似性分?jǐn)?shù)與邊緣相似性分?jǐn)?shù)，以確定質(zhì)量計(jì)量。所述方法還包括根據(jù)近似子帶的最小尺寸S確定N，其生成針對人類視覺系統(tǒng)的基本峰值的響應(yīng)。在上述方法中步驟(C)包括對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用結(jié)構(gòu)相似性(SSIM)IQM,以生成近似SSM映像，SSIMa ；步驟(f)包括在圖像X的邊緣映像與圖像Y的邊緣映像之間應(yīng)用SSMIQM，以生成邊緣SSM映像，SSMe;以及步驟(g)包括處理所述SSMa和所述SSMe以確定SSIMdwt分?jǐn)?shù)作為質(zhì)量計(jì)量；或者步驟(C)包括對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用絕對差(AD)IQM，以生成近似AD映像，ADa ；步驟(f)包括在圖像X的邊緣映像與圖像Y的邊緣映像之間應(yīng)用ADIQM，以生成邊緣AD映像，ADe;以及步驟(g)包括處理所述ADa和所述ADe以確定ADdwt分?jǐn)?shù)作為質(zhì)量計(jì)量；或者
步驟(c)包括對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用峰值信號-噪聲比(PSNR) IQM,以生成PSNR近似質(zhì)量分?jǐn)?shù)，PSNRa ；步驟(f)包括在圖像X的邊緣映像與圖像Y的邊緣映像之間應(yīng)用PSNRIQM，以生成PSNR邊緣質(zhì)量分?jǐn)?shù)，PSNRe ；以及 步驟(g)包括處理所述PSNRa和所述PSNRe以確定PSNRdwt分?jǐn)?shù)作為質(zhì)量計(jì)量；或者步驟(C)包括對圖像X的近似子帶和圖 像Y的近似子帶應(yīng)用視覺信息保真度(VIF) IQM,以生成VIF近似質(zhì)量分?jǐn)?shù)，VIFa ；步驟(f)包括在圖像X的邊緣映像與圖像Y的邊緣映像之間應(yīng)用VIFIQM，以生成VIF邊緣質(zhì)量分?jǐn)?shù)，VIFe ；以及步驟(g)包括處理所述VIFa和所述VIFe以確定VIFdwt分?jǐn)?shù)作為質(zhì)量計(jì)量。在上述方法中，步驟(a)和(b)包括應(yīng)用N級分離小波變換。方便地，分離小波變換是Haar變換?？蛇x地,分離小波變換是Newland變換、或使用Daubechies濾波器的小波
變換之一。根據(jù)本發(fā)明的另一方面，提供一種用于確定對失真圖像Y的質(zhì)量的計(jì)量的系統(tǒng)，該計(jì)量表征在圖像Y與未失真的基準(zhǔn)圖像X之間的相似性，所述基準(zhǔn)圖像X具有與圖像Y相同的行數(shù)和列數(shù)的像素，該系統(tǒng)包括處理器，以及計(jì)算機(jī)可讀存儲介質(zhì)，其具有存儲在其上的計(jì)算機(jī)可讀指令，所述指令當(dāng)由所述處理器執(zhí)行時形成以下單元(a)第一分解單元，其對圖像X應(yīng)用N級多解析度分解，包括級1、2、 . . i、i +I、... N，以生成對于每個級i，i的范圍為I至N-1，用于在級i + I處理的圖像X的中間子帶；以及對于級N，包含圖像X的主體內(nèi)容的近似子帶和包含圖像X的邊緣的細(xì)節(jié)子帶；(b)第二分解單元，其對圖像Y應(yīng)用所述N級多解析度分解，包括級1、2、... i、i +I、... N，以生成對于每個級i，i的范圍為I至N-1，圖像Y的中間子帶；以及對于級N，包含圖像Y的主體內(nèi)容的近似子帶和包含圖像Y的邊緣的細(xì)節(jié)子帶；(C)近似質(zhì)量計(jì)量單元，其對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用圖像質(zhì)量度量(IQM)，以生成表征圖像X的主體內(nèi)容與圖像Y的主體內(nèi)容之間的相似性的近似質(zhì)量計(jì)量;(d)第一聚合單元，其對圖像X的級i (i的范圍為級I到N-1)的中間子帶以及圖像X的細(xì)節(jié)子帶進(jìn)行聚合，以生成表征圖像X的邊緣的圖像X的邊緣映像；(e)第二聚合單元，其對圖像Y的級i (i的范圍為級I到N-1)的中間子帶以及圖像Y的細(xì)節(jié)子帶進(jìn)行聚合，以生成表征圖像Y的邊緣的圖像Y的邊緣映像；(f)邊緣質(zhì)量計(jì)量單元,其在圖像X的邊緣映像和圖像Y的邊緣映像之間應(yīng)用IQM,以生成表征圖像X的邊緣與圖像Y的邊緣之間的相似性的邊緣質(zhì)量計(jì)量；以及(g)質(zhì)量計(jì)量單元,其處理所述近似質(zhì)量計(jì)量和所述邊緣質(zhì)量計(jì)量，以確定對質(zhì)量的計(jì)量。
在上述系統(tǒng)中所述第一聚合單元還包括第一選擇單元，其基于在確定質(zhì)量計(jì)量中將要獲得的精度，選擇圖像X的在每級i(i的范圍為I至N-I)的中間子帶和細(xì)節(jié)子帶；以及第一選擇性聚合單元，其僅聚合圖像X的選擇的中間子帶和選擇的細(xì)節(jié)子帶；以及所述第二聚合單元還包括第二選擇單元，其基于在確定質(zhì)量計(jì) 量中將要獲得的精度，選擇圖像Y的在所述每級i的中間子帶和細(xì)節(jié)子帶；第二選擇性聚合單元，其僅聚合圖像Y的選擇的中間子帶和選擇的細(xì)節(jié)子帶。在上述系統(tǒng)中所述第一聚合單元還包括計(jì)算裝置，用于選定具有基本相同的解析度的圖像X的選擇的每級i的中間子帶和細(xì)節(jié)子帶；以及所述第二聚合單元還包括計(jì)算裝置，用于選定具有基本相同的解析度的圖像Y的選擇的每級i的中間子帶和細(xì)節(jié)子帶。在上述系統(tǒng)中，所述圖像X和圖像Y的在所述每級i的中間子帶對于每個各自的圖像包括級i細(xì)節(jié)子帶和級i小波包(WP)子帶；級i-WP子帶包括級i-WP近似子帶和級i-WP細(xì)節(jié)子帶；以及級i-WP近似子帶還包括級i_水平WP近似子帶、級i_垂直WP近似子帶和級i-對角WP近似子帶。上述系統(tǒng)還包括下述中的一個或多個在所述第一分解單元第一級I分解單元，其對圖像X應(yīng)用多解析度分解，生成用于在級2處理的級I的中間子帶；第一級i分解單元，其對通過在級i_l進(jìn)行的多解析度分解生成的一個或多個中間子帶應(yīng)用多解析度分解，其中i的范圍為2至N ;在所述第二分解單元第二級I分解單元，其對圖像Y應(yīng)用多解析度分解，生成用于在級2處理的級I的中間子帶；第二級i分解單元，其對通過在級i_l進(jìn)行的多解析度分解生成的一個或多個中間子帶應(yīng)用多解析度分解，其中i的范圍為2至N。所述系統(tǒng)還包括這樣的計(jì)算裝置，用于根據(jù)近似子帶的最小尺寸S確定N，其生成針對人類視覺系統(tǒng)的基本峰值的響應(yīng)。在上述系統(tǒng)中，所述第一分解單元(a)和所述第二分解單元(b)包括用于應(yīng)用N級分離小波變換的計(jì)算裝置，所述分離小波變換可選地為Haar變換、Newland變換或利用Daubechies濾波器的小波變換。根據(jù)本發(fā)明另一方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)可讀程序代碼指令，所述指令當(dāng)由處理器執(zhí)行時進(jìn)行以下步驟(a)對圖像X應(yīng)用N級多解析度分解，包括級l、2、...i、i + I、... N，以生成對于每個級i，i的范圍為I至N-1，用于在級i + I處理的圖像X的中間子帶；以及對于級N，包含圖像X的主體內(nèi)容的近似子帶和包含圖像X的邊緣的細(xì)節(jié)子帶；(b)對圖像Y應(yīng)用所述N級多解析度分解，包括級1、2、... i、i + I、... N，以生成對于每個級i，i的范圍為I至N-1，用于在級i + I處理的圖像Y的中間子帶；以及對于級N，包含圖像Y的主體內(nèi)容的近似子帶和包含圖像Y的邊緣的細(xì)節(jié)子帶；(c)對圖像X的近似子帶和圖像Y的近 似子帶應(yīng)用圖像質(zhì)量度量(IQM)，以生成表征圖像X的主體內(nèi)容與圖像Y的主體內(nèi)容之間的相似性的近似質(zhì)量計(jì)量；(d)對圖像X的級i (i的范圍為級I到N-1)的中間子帶以及圖像X的細(xì)節(jié)子帶進(jìn)行聚合，以生成表征圖像X的邊緣的圖像X的邊緣映像；(e)對圖像Y的級i (i的范圍為級I到N-1)的中間子帶以及圖像Y的細(xì)節(jié)子帶進(jìn)行聚合，以生成表征圖像Y的邊緣的圖像Y的邊緣映像；(f )在圖像X的邊緣映像和圖像Y的邊緣映像之間應(yīng)用IQM，以生成表征圖像X的邊緣與圖像Y的邊緣之間的相似性的邊緣質(zhì)量計(jì)量；以及(g)處理所述近似質(zhì)量計(jì)量和所述邊緣質(zhì)量計(jì)量，以確定對質(zhì)量的計(jì)量。從而，提供了使用圖像的多級分解來確定圖像的質(zhì)量計(jì)量的改善方法和系統(tǒng)。


通過下面參考附圖的示例性的對實(shí)施例的描述，本發(fā)明的其它特征和優(yōu)點(diǎn)將變得顯而易見，其中圖I (a)示出本發(fā)明實(shí)施例的系統(tǒng)100 ；圖I (b)更詳細(xì)地示出圖I (a)的級數(shù)單元102 ；圖I (c)更詳細(xì)地示出圖I (a)的第一分解單元103 ；圖I (d)更詳細(xì)地示出圖I (a)的第二分解單元104 ；圖I (e)更詳細(xì)地示出圖I (a)的第一聚合單元113 ；圖I (f)更詳細(xì)地示出圖I (a)的第二聚合單元114 ；圖I (g)更詳細(xì)地示出基于SSM IQM的用于可選實(shí)施例的圖I (a)的近似質(zhì)量計(jì)量單元105、質(zhì)量計(jì)量單元108和邊緣質(zhì)量計(jì)量單元109 ；圖I (h)更詳細(xì)地示出基于AD IQM的用于可選實(shí)施例的圖I (a)的近似質(zhì)量計(jì)量單元105、質(zhì)量計(jì)量單元108和邊緣質(zhì)量計(jì)量單元109 ；圖I (i)更詳細(xì)地示出基于PSNR IQM的用于可選實(shí)施例的圖I (a)的近似質(zhì)量計(jì)量單元105、質(zhì)量計(jì)量單元108和邊緣質(zhì)量計(jì)量單元109 ；圖I (j)更詳細(xì)地示出基于VIF IQM的用于可選實(shí)施例的圖I (a)的近似質(zhì)量計(jì)量單元105、質(zhì)量計(jì)量單元108和邊緣質(zhì)量計(jì)量單元109 ；圖I (k)示出本發(fā)明可選實(shí)施例的系統(tǒng)IOOa ；圖I (I)更詳細(xì)地示出圖I (k)的第一聚合單元113a ;圖I (m)更詳細(xì)地示出圖I (k)的第二聚合單元114a ；圖I (n)更詳細(xì)地示出用于可選實(shí)施例的圖I (I)的第一選擇性聚合單元171 ；圖I (O)更詳細(xì)地示出用于可選實(shí)施例的圖I (m)的第二選擇性聚合單元183 ；
圖I (p)更詳細(xì)地示出圖I (n)的第一合并單元197 ；圖I (q)更詳細(xì)地示出圖I (O)的第一合并單元206 ;圖I (r)更詳細(xì)地示出圖I (k)的第一分解單元103a ；圖I (s)更詳細(xì)地示出圖I (k)的第二分解單元104a ；圖2 (a)示出對本發(fā)明實(shí)施例使用的用于計(jì)算質(zhì)量計(jì)量的方法進(jìn)行高級描述的框圖；圖2 (b)為示出在用于計(jì)算質(zhì)量計(jì)量的 系統(tǒng)100的總框架中使用的方法的步驟的流程圖；圖3 (al)示出示例二級分解圖像的圖像X的子帶；圖3 (a2)示出示例三級分解圖像的圖像X的子帶；圖3 (b)示出示例原始圖像；圖3 (C)示出為了便于觀察通過使用在
之間縮放的采樣值計(jì)算的用于圖3 (b)的圖像的對比度映像；圖3 Cd)為示出進(jìn)行逐級聚合的方法的步驟的流程圖；圖3 Ce)為示出進(jìn)行跨層聚合的方法的步驟的流程圖；圖4為示出使用基于SSIM的質(zhì)量計(jì)量計(jì)算的可選實(shí)施例所使用的方法的步驟的流程圖；圖5 Ca)顯示用于各個分解級的DMOS和SSIMa預(yù)測值之間的LCC和SRCC ；圖5 (b)顯示在用于各個P值的DMOS和SSMdwt預(yù)測值之間的RMSE ；圖6 Ca)示出基于VIF指數(shù)的現(xiàn)有技術(shù)方法的框圖；圖6 (b)為示出使用基于VIF的質(zhì)量計(jì)量計(jì)算的可選實(shí)施例所使用的方法的步驟的流程圖；圖7 Ca)顯示用于各個分解級的DMOS和VIFa預(yù)測值之間的LCC和SRCC ；圖7 (b)顯示在用于各個P值的DMOS和VIFdwt預(yù)測值之間的RMSE ；圖8為示出使用基于PSNR的質(zhì)量計(jì)量計(jì)算的可選實(shí)施例所使用的方法的步驟的流程圖；圖9 Ca)顯示用于各個分解級的DMOS和PSNRa質(zhì)量預(yù)測值之間的LCC和SRCC ；圖9 (b)顯示在用于各個P值的DMOS和PSNRdwt預(yù)測值之間的RMSE ；圖9 (C)顯示一表格，其示出用于LIVE圖像數(shù)據(jù)庫中的不同類型的圖像失真的PSNRa 值的 SRCC ；圖10為示出使用基于AD的質(zhì)量計(jì)量計(jì)算的可選實(shí)施例所使用的方法的步驟的流程圖；圖11顯示用于各個分解級的DMOS和平均ADA預(yù)測值之間的LCC和SRCC ；圖12示出不同的度量和LIVE數(shù)據(jù)庫的DMOS值之間的LCC ；圖13示出不同的度量和LIVE數(shù)據(jù)庫的DMOS值之間的RMSE ;以及圖14示出不同的度量和LIVE數(shù)據(jù)庫的DMOS值之間的SRCC。
具體實(shí)施例方式術(shù)語
對比度映像加權(quán)函數(shù)，用于基于圖像或子圖像的視覺重要性對圖像或子圖像的不同區(qū)域自動分配權(quán)重。差分平均意見分?jǐn)?shù)(DM0S):DM0S值指示失真圖像相比于其基準(zhǔn)圖像的主觀質(zhì)量損失。分離小波變換對圖像應(yīng)用的變換，以將其低頻率分量與其高頻率分量分離。邊緣映像表征對圖像的邊緣的估計(jì)。高斯滑動窗具有單位和與高斯概率分 布的一組系數(shù)。線性相關(guān)系數(shù)(LCC):線性或Pearson相關(guān)系數(shù)是兩個量之間的依賴關(guān)系的計(jì)量。其通過以兩個變量的協(xié)方差除以它們的標(biāo)準(zhǔn)偏差的乘積而獲得。在提出的方法中，LCC指示預(yù)測精度。多解析度分解應(yīng)用在數(shù)字圖像并生成多個子圖像的方法(或變換)。一個子圖像表示原始圖像的低頻主體內(nèi)容，其它子圖像示出原始圖像的細(xì)節(jié)。Spearman秩相關(guān)系數(shù)(SRCC):SRCC是對兩個變量之間的統(tǒng)計(jì)依賴關(guān)系的計(jì)量。其示出使用單調(diào)函數(shù)可以多好地描述兩個變量之間的關(guān)系。+ I的SRCC表示每個變量是另一個的完全單調(diào)函數(shù)。子帶在對圖像的N級多解析度分解期間生成各種子帶。示出了對圖像X的這些子帶的描述和用于表示所述子帶的術(shù)語。需要注意的是，在該部分中使用的X和指數(shù)變量L僅是示例的并且在該申請的討論中由其它變量名稱替換。將在N級多解析度分解末尾生成的子帶稱為下面的近似子帶和細(xì)節(jié)子帶。近似子帶在N級分解之后獲得的圖像X的子帶，由表示。該近似子帶包括圖像的主體內(nèi)容。細(xì)節(jié)子帶在N級分解之后獲得的圖像X的子帶，包括水平子帶、垂直子帶和對角子帶。這些分別表示為=Xttii (in,HXXvhCm,UXXdii(m9n)。細(xì)節(jié)子帶包含圖像的邊緣。水平子帶包含水平邊緣，垂直子帶包含垂直邊緣，對角子帶包含圖像的對角邊緣。中間子帶在對圖像X的分解的每級L (L=I至N-1)生成，包括級L小波包(WP)子帶和級L細(xì)節(jié)子帶。其在下面得到描述。級L-WP子帶包括級L-WP近似子帶和級L-WP細(xì)節(jié)子帶。級L-WP近似子帶包括級L-水平WP近似子帶、級L-垂直WP近似子帶和級L-對角WP近似子帶。這些分別表示為(m，nX(吼釋)。級L-WP細(xì)節(jié)子帶包括級L-WP水平子帶、級L-WP垂直子帶和級L-WP對角子帶。這些分別表示為Xh Hnl (m;n);XVL %L (m;n);XDi (m,n) 。級L細(xì)節(jié)子帶包括級L水平子帶、級L垂直子帶和級L對角子帶。這些分別表示為XHl (m, n), Xvl (m, n% XDl (m, n)。
本發(fā)明實(shí)施例示出了用于確定圖像的質(zhì)量計(jì)量的新穎總架構(gòu)，其相比于分離小波域中的現(xiàn)有技術(shù)更加精確且具有較少的計(jì)算復(fù)雜性。通過本發(fā)明的不同實(shí)施例確定每個基于特定圖像質(zhì)量度量(IQM)的各種質(zhì)量計(jì)量。提出的架構(gòu)包括如下所述的自上而下的方法和自下而上的方法，并且可應(yīng)用于IQM，所述IQM包括結(jié)構(gòu)相似性(SSM)指數(shù)、絕對差(AD)、峰值信號-噪聲比(PSNR)以及視覺信息保真度(VIF)。下面描述本發(fā)明的實(shí)施例的系統(tǒng)。圖I (a)和圖I (k)示出兩個實(shí)施例。這些實(shí)施例每個包括多個單元，也會對這些單元進(jìn)行描述。圖I (a)和圖I (k)所示的本發(fā)明實(shí)施例的系統(tǒng)包括通用或?qū)Ｓ糜?jì)算機(jī)，所述計(jì)算機(jī)具有CPU和計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)例如為存儲器、DVD、CD -ROM、軟盤、閃存、磁帶或其它存儲介質(zhì)，并且其上存儲有由CPU執(zhí)行的計(jì)算機(jī)可讀指令?？蛇x地，圖I (a)和圖I (k)的系統(tǒng)可以在固件、或固件與具有計(jì)算機(jī)可讀存儲介質(zhì)的專用計(jì)算機(jī)的組合中實(shí)現(xiàn)。首先描述圖I (a)所示的實(shí)施例。首先討論由實(shí)施例提供的總架構(gòu)，然后討論各種其它實(shí)施例，其每個使用該利用特定IQM的架構(gòu)。用于確定圖像的質(zhì)量計(jì)量的系統(tǒng)100包括級數(shù)單元102、第一分解單元103、第二分解單元104、近似質(zhì)量計(jì)量單元105、第一細(xì)節(jié)子帶單元106、第二細(xì)節(jié)子帶單元107、質(zhì)量計(jì)量單元108以及邊緣質(zhì)量計(jì)量單元109。級數(shù)單元102確定將應(yīng)用到基準(zhǔn)圖像X和失真圖像Y的分解的級數(shù)N。根據(jù)近似子帶的最小尺寸S確定分解的級數(shù)N，其生成對于人類視覺系統(tǒng)的基本峰值的響應(yīng)。然后通過第一分解單元103和第二分解單元104讀取N的值，所述第一分解單元103和第二分解單元104分別對圖像X和圖像Y應(yīng)用N級DWT，以進(jìn)行對圖像X和圖像Y的N級分解。對于每個圖像，N級分解生成用于在級i + I處理的在每級i (i = I至N-1)的中間子帶和在級N的細(xì)節(jié)子帶。在通過第一分解單元103和第二分解單元104進(jìn)行的多解析度分解之后生成的近似子帶被饋送到近似質(zhì)量計(jì)量單元105。在通過第一分解單元103和第二分解單元104進(jìn)行的多解析度分解之后生成的細(xì)節(jié)子帶被用作第一細(xì)節(jié)子帶單元106和第二細(xì)節(jié)子帶單元107的輸入,所述第一細(xì)節(jié)子帶單元106和第二細(xì)節(jié)子帶單元107分別生成用于圖像X和圖像Y的邊緣映像。這些單元的輸出被連接到邊緣質(zhì)量計(jì)量單元109，所述邊緣質(zhì)量計(jì)量單元109處理所述邊緣映像并生成由質(zhì)量計(jì)量單元108使用的輸出，所述質(zhì)量計(jì)量單元108用于確定質(zhì)量計(jì)量。級數(shù)單元102又包括用于確定級數(shù)的計(jì)算裝置110。第一分解單元103和第二分解單元104包括用于應(yīng)用N級DWT的計(jì)算裝置(分別為111和112)。第一細(xì)節(jié)子帶單元106包括第一聚合單元113,第二細(xì)節(jié)子帶單元107包括第二聚合單元114。質(zhì)量計(jì)量單元108包括第一集合單元115、第二集合單元118、對比度映像單元116以及分?jǐn)?shù)合并單元117。第一集合單元115和第二集合單元118使用通過對比度映像單元116生成的對比度映像，以對由近似質(zhì)量計(jì)量單元105生成的近似質(zhì)量映像和通過邊緣質(zhì)量計(jì)量單元109生成的邊緣映像進(jìn)行加權(quán)集合。第一集合單元115和第二集合單元118的輸出被分?jǐn)?shù)合并單元117使用，以生成質(zhì)量計(jì)量。圖I (b)示出用于本發(fā)明另一個實(shí)施例的級數(shù)單元102的結(jié)構(gòu)。其包括最小尺寸單元120，用于確定其上顯示圖像的裝置的觀察距離和高度之間的比值；以及計(jì)算單元121，用于使用該比值并確定N的值。在可選實(shí)施例中，第一分解單元103包括(參考圖I(c 第一級I分解單元124和第一級j分解單元125，以及第一子帶選擇單元126，其基于精度確定選擇的中間子帶。第一子帶選擇單元126用于確定將由第一級I分解單元124和第一級j分解單元125使用的中間子帶。第一子帶選擇單元126還包括第一子帶選擇子單元127，其基于獲得精度所要求的中間子帶的數(shù)目確定選擇的中間子帶。如在本申請的后面部分中討論的，使用另一個選擇方法以選擇在子帶聚合期間將使用通過N級多解析度分解生成的子帶中的哪些子帶。第一級I分解單元124的輸出被饋送到第一級j分解單元125的輸入端，所述第一級I分解單元124對圖像X應(yīng)用多解析度分解，生成用于在級2處理的級I的中間子帶，所述第一級j分解單元125僅對通過在級j-1 (j的范圍為2至N)進(jìn)行的多解析度分解生成的選擇的中間子帶應(yīng)用多解析度分解。類似地，所述第二分解單元104還包括(參考圖I (d))第二級I分解單元130和第二級j分解單元131，以及第二子帶選擇單元132，其基于精度確定選擇的中間子帶。 所述第二子帶選擇單元132用于確定第二級j分解單元131的中間子帶。第二子帶選擇單元132還包括第二子帶選擇子單元133，其基于獲得精度所要求的中間子帶的數(shù)目確定選擇的中間子帶。第二級I分解單元130的輸出被饋送到第二級j分解單元131的輸入端，所述第二級I分解單元130對圖像Y應(yīng)用多解析度分解，生成用于在級2處理的級I的中間子帶，所述第二級j分解單元131僅對通過在級j-1 (j的范圍為2至N)進(jìn)行的多解析度分解生成的選擇的中間子帶應(yīng)用多解析度分解。圖I (e)示出第一聚合單元113的部件。第一聚合單元113包括第一細(xì)節(jié)子帶聚合單元135、第一級j聚合單元136以及計(jì)算裝置134，所述計(jì)算裝置用于選定具有基本相同的解析度的圖像X的在每級j的選擇的中間子帶和選擇的細(xì)節(jié)子帶。第一級j聚合單元136根據(jù)在所述每級j (j = I至N-1)生成的選擇的中間子帶的平方確定用于圖像X的每級j的邊緣映像。需要注意，僅選定在級j生成的一些中間子帶，例如具有基本相同的解析度的子帶，來進(jìn)行聚合，而導(dǎo)向級j的邊緣映像。通過第一細(xì)節(jié)子帶聚合單元135處理第一級j聚合單元136的輸出，所述第一細(xì)節(jié)子帶聚合單元135將在級N生成的圖像X的一個或多個選擇的細(xì)節(jié)子帶與在每個級j生成的一個或多個選擇的中間子帶進(jìn)行聚合。用于選定具有基本相同的解析度的圖像X的在每級j的選擇的中間子帶和選擇的細(xì)節(jié)子帶的計(jì)算裝置134由第一細(xì)節(jié)子帶單元135和第一級j聚合單元136使用，用于選擇具有基本相同的解析度的圖像X的在每個級j的中間子帶和細(xì)節(jié)子帶以進(jìn)行聚合。需要注意，j僅僅是指數(shù)變量，并且可采用在I和N-I之間的任何整數(shù)值。第一細(xì)節(jié)子帶單元135還包括第一級N聚合單元137和第一邊緣映像單元138。第一級N聚合單元137根據(jù)在級N生成的圖像X的選擇的細(xì)節(jié)子帶的平方來確定圖像X在級N的邊緣映像，而第一邊緣映像單元138確定圖像X的邊緣映像作為級j的邊緣映像與從第一級N聚合單元137接收的級N的邊緣映像的加權(quán)和。圖I (f)示出第二聚合單元114的部件。第二聚合單元114包括第二細(xì)節(jié)子帶聚合單元140、第二級j聚合單元141以及計(jì)算裝置139，所述計(jì)算裝置用于選定具有基本相同的解析度的圖像Y的在每級j的選擇的中間子帶和選擇的細(xì)節(jié)子帶。第二級j聚合單元141根據(jù)在所述每級j (j = I至N-1)生成的選擇的中間子帶的平方確定用于圖像Y的每級j的邊緣映像。通過第二細(xì)節(jié)子帶聚合單元140處理第二級j聚合單元141的輸出，所述第二細(xì)節(jié)子帶聚合單元140將在級N生成的圖像Y的一個或多個選擇的細(xì)節(jié)子帶與在每個級j生成的一個或多個選擇的中間子帶進(jìn)行聚合。用于選定具有基本相同的解析度的圖像Y的在每級j的選擇的中間子帶和選擇的細(xì)節(jié)子帶的計(jì)算裝置139由第二細(xì)節(jié)子帶單元140和第二級j聚合單元141使用，用于選擇具有基本相同的解析度的圖像Y的在每個級j的中間子帶和細(xì)節(jié)子帶，以進(jìn)行聚合。同樣，需要注意，j僅僅是指數(shù)變量，并且可采用在I和N-I之間的任何整數(shù)值。第二細(xì)節(jié)子帶單元140還包括第二級N聚合單元142和第二邊緣映像單元143。第二級N聚合單元142根據(jù)在級N生成的圖像Y的選擇的細(xì)節(jié)子帶的平方確定圖像Y的在級N的邊緣映像，而第二邊緣映像單元143確定圖像Y的邊緣映像作為級j的邊緣映像與從第二級N聚合單元142接收的級N的邊緣映像的加權(quán)和。在可選實(shí)施例中使用由系統(tǒng)1 00提供的總架構(gòu)，所述可選實(shí)施例每個使用特定IQM以確定質(zhì)量計(jì)量。圖I (g)示出基于SSM IQM的實(shí)施例的系統(tǒng)。在該實(shí)施例中，近似質(zhì)量計(jì)量單元105包括近似SSIM單元145,質(zhì)量計(jì)量單元108包括SSIMdwt分?jǐn)?shù)單元146,邊緣質(zhì)量計(jì)量單元109包括邊緣SSIM映像單元147。近似SSIM映像單元145對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用SSM IQM以生成近似SSM映像，而邊緣SSM映像單元147在圖像X的邊緣映像與圖像Y的邊緣映像之間應(yīng)用SSM IQM,以生成邊緣SSM映像。通過SSMdwt分?jǐn)?shù)單元146處理近似SSM映像單元145和邊緣SSM映像單元147的輸出，以確定SSIMdwt分?jǐn)?shù)作為質(zhì)量計(jì)量。圖I (h)示出基于AQ IQM的實(shí)施例的系統(tǒng)。在該實(shí)施例中，近似質(zhì)量計(jì)量單元105包括近似AD映像單元150,質(zhì)量計(jì)量單元108包括ADdwt分?jǐn)?shù)單元151,邊緣質(zhì)量計(jì)量單元109包括邊緣AD映像單元152。近似AD映像單元150對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用AD IQM以生成近似AD映像，而邊緣AD映像單元152在圖像X的邊緣映像與圖像Y的邊緣映像之間應(yīng)用AD IQM,以生成邊緣AD映像。通過ADdwt分?jǐn)?shù)單元151處理近似AD映像單元150和邊緣AD映像單元152的輸出，以確定ADdwt分?jǐn)?shù)作為質(zhì)量計(jì)量。圖I (i)示出基于PSNR IQM的實(shí)施例的系統(tǒng)。在該實(shí)施例中，近似質(zhì)量計(jì)量單元105包括PSNR近似質(zhì)量分?jǐn)?shù)單元155,質(zhì)量計(jì)量單元108包括PSNRdwt分?jǐn)?shù)單元156,邊緣質(zhì)量計(jì)量單元109包括PSNR邊緣質(zhì)量分?jǐn)?shù)確定單元157。PSNR近似質(zhì)量分?jǐn)?shù)單元155對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用PSNR IQM以生成PSNR近似質(zhì)量分?jǐn)?shù)，而邊緣PSNR邊緣質(zhì)量分?jǐn)?shù)確定單元157在圖像X的邊緣映像與圖像Y的邊緣映像之間應(yīng)用PSNRIQM，以生成PSNR邊緣質(zhì)量分?jǐn)?shù)。通過PSNRdwt分?jǐn)?shù)單元156處理PSNR近似質(zhì)量分?jǐn)?shù)單元155和PSNR邊緣質(zhì)量分?jǐn)?shù)確定單元157的輸出，以確定PSNRdwt分?jǐn)?shù)作為質(zhì)量計(jì)量。圖I (j)示出基于VIF IQM的實(shí)施例的系統(tǒng)。在該實(shí)施例中，近似質(zhì)量計(jì)量單元105包括VIF近似質(zhì)量分?jǐn)?shù)單元160,質(zhì)量計(jì)量單元108包括VIFdwt分?jǐn)?shù)單元161,邊緣質(zhì)量計(jì)量單元109包括VIF邊緣質(zhì)量分?jǐn)?shù)確定單元162。VIF近似質(zhì)量分?jǐn)?shù)單元160對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用VIF IQM以生成VIF近似質(zhì)量分?jǐn)?shù)，而VIF邊緣質(zhì)量分?jǐn)?shù)確定單元162在圖像X的邊緣映像與圖像Y的邊緣映像之間應(yīng)用VIF IQM,以生成VIF邊緣質(zhì)量分?jǐn)?shù)。通過VIFdwt分?jǐn)?shù)單元161處理VIF近似質(zhì)量分?jǐn)?shù)單元160和VIF邊緣質(zhì)量分?jǐn)?shù)確定單元162的輸出，以確定VIFdwt分?jǐn)?shù)作為質(zhì)量計(jì)量。包括單元和子單元100、102、103、104、105、106、107、108、109、113、114、115、116、117、118、120、121、124、125、126、127、130、131、132、133、135、136、137、138、140、141、142、143、145、146、147、150、151、152、155、156、157、160、161 和 162 的系統(tǒng) 100 的全部部件包括
固件或可選的存儲在計(jì)算機(jī)可讀存儲介質(zhì)以由處理器執(zhí)行的計(jì)算機(jī)可讀指令。包括110、111、112、134和139的全部計(jì)算裝置包括將由CPU執(zhí)行的計(jì)算機(jī)可讀代碼，所述計(jì)算機(jī)可讀代碼執(zhí)行存儲在計(jì)算機(jī)可讀存儲介質(zhì)上的方法、過程、函數(shù)或子程序。下面討論在圖I (k)中示出的總架構(gòu)的可選實(shí)施例。用于確定圖像的質(zhì)量計(jì)量的系統(tǒng)100包括用于確定N的計(jì)算裝置110a、第一分解單元103a、第二分解單元104a、近似質(zhì)量計(jì)量單元105a、第一聚合單元113a、第二聚合單元114a、質(zhì)量計(jì)量單元108a以及邊緣質(zhì)量計(jì)量單元 109a。單元 103a、104a、105a、108a、109a、115a、116a、117a 和 118a 與系統(tǒng) 100的單元103、104、105、108、109、115、116、117和118相同，不再進(jìn)行描述。計(jì)算裝置110a、11 la、112a、134a和139a與前述系統(tǒng)100的計(jì)算裝置110、111、112、134和139相同。
如圖I (I)所示，處理圖像X的第一聚合單元113a包括第一選擇單元170，所述第一選擇單元170的輸出端被連接到所述第一選擇性聚合單元171的輸入端。第一選擇單元170基于在確定質(zhì)量計(jì)量中將要獲得的精度，選擇圖像X的在每級i (i的范圍為I至N-I)的中間子帶和細(xì)節(jié)子帶。第一選擇性聚合單元171僅聚合圖像X的選擇的中間子帶和選擇的細(xì)節(jié)子帶。所述第一聚合單元113a還包括計(jì)算裝置134a，用于選定具有基本相同的解析度的圖像X的選擇的每級j的中間子帶和選擇的細(xì)節(jié)子帶。計(jì)算裝置134a與前述計(jì)算裝置134類似，用于選擇具有基本相同的解析度的中間子帶和細(xì)節(jié)子帶以進(jìn)行聚合。第一選擇單元170還包括第一選擇子單元172，其基于獲得精度所需的中間子帶和細(xì)節(jié)子帶的數(shù)目選擇圖像X的在每級i的中間子帶和細(xì)節(jié)子帶。在另一個可選實(shí)施例中，第一選擇單元包括第一小波包(WP)細(xì)節(jié)選擇子單元176，其選擇圖像X的一個或多個級i-WP近似子帶和一個或多個細(xì)節(jié)子帶。第一 WP細(xì)節(jié)子帶選擇子單元176還包括第一細(xì)節(jié)選擇模塊179,用于在選擇中包括圖像X的一個或多個級i細(xì)節(jié)子帶。第一級i中間子帶聚合單元173包括第一級i計(jì)算單元177，用于對每級i (i=l至N-1)的圖像X的每個選擇的中間子帶求平方；將進(jìn)行求平方的結(jié)果與用于圖像X的所述每個選擇的中間子帶的預(yù)定權(quán)重相乘；對在步驟中進(jìn)行乘法獲得的乘積求和；以及對進(jìn)行的求和的結(jié)果應(yīng)用平方根函數(shù)，生成圖像X的級i的邊緣映像。第一細(xì)節(jié)子帶計(jì)算單元180包括第一細(xì)節(jié)子帶計(jì)算單元，用于對圖像X的每個所述選擇的細(xì)節(jié)子帶求平方；將步驟中進(jìn)行的求平方的結(jié)果與用于圖像X的所述每個選擇的中間子帶的預(yù)定權(quán)重相乘；對步驟中進(jìn)行的乘法獲得的乘積求和；以及對步驟中進(jìn)行的求和的結(jié)果應(yīng)用平方根函數(shù)，生成圖像X的級N的邊緣映像。第一邊緣映像計(jì)算單元175包括第一計(jì)算單元178，用于將圖像X的每級i的邊緣映像與級i的預(yù)定權(quán)重相乘；將圖像X的級N的邊緣映像與級N的預(yù)定權(quán)重相乘；以及對從所述乘法獲得的乘積求和。如圖I (m)所示，處理圖像Y的第二聚合單元114a包括第二選擇單元182，所述第二選擇單元182的輸出端被連接到第二選擇性聚合單元183的輸入端。第二選擇單元182基于在確定質(zhì)量計(jì)量中將要獲得的精度，選擇圖像Y的在每級i (i的范圍為I至N-1)的中間子帶和細(xì)節(jié)子帶。第二選擇性聚合單元183僅聚合圖像Y的選擇的中間子帶和選擇的細(xì)節(jié)子帶。所述第二聚合單元114a還包括計(jì)算裝置139a，用于選定具有基本相同的解析度的圖像Y的選擇的每級j的中間子帶和選擇的細(xì)節(jié)子帶。計(jì)算裝置139a與前述計(jì)算裝置139類似，用于選擇具有基本相同解析度的中間子帶和細(xì)節(jié)子帶，以進(jìn)行聚合。第二選擇單元182還包括第二選擇子單元184，其基于獲得精度所需的中間子帶和細(xì)節(jié)子帶的數(shù)目選擇圖像Y的在每級i的中間子帶和細(xì)節(jié)子帶。在另一個可選實(shí)施例中，第二選擇單元182包括第二 WP細(xì)節(jié)選擇子單元188，其選擇圖像Y的一個或多個級i-WP近似子帶和一個或多個細(xì)節(jié)子帶。第二 WP細(xì)節(jié)子帶選擇子單元188還包括第二細(xì)節(jié)選擇模塊191,用于在選擇中包括圖像Y的一個或多個級i細(xì)節(jié)子帶。第二級i中間子帶聚合單元185包括第二級i計(jì)算單元189，用于對每級i的圖像Y的每個選擇的中間子帶求平方；將步驟中進(jìn)行的求平方的結(jié)果與用于圖像Y的所述每個選擇的中間子帶的預(yù)定權(quán)重相乘；對進(jìn)行乘法所獲得的乘積求和；以及對進(jìn)行求和的結(jié)果應(yīng)用平方根函數(shù)，生成圖像Y的級i的邊緣映像。第二細(xì)節(jié)子帶計(jì)算單元192包括第二細(xì)節(jié)子帶計(jì)算單元，用于對圖像Y的每個所述 選擇的細(xì)節(jié)子帶求平方；將進(jìn)行求平方的結(jié)果與圖像Y的所述每個選擇的細(xì)節(jié)子帶的預(yù)定權(quán)重相乘；對進(jìn)行乘法所獲得的乘積求和；以及對進(jìn)行求和的結(jié)果應(yīng)用平方根函數(shù)，生成圖像Y的級N的邊緣映像。第二邊緣映像計(jì)算單元187包括第二計(jì)算單元190，用于將圖像Y的每級i的邊緣映像與級i的預(yù)定權(quán)重相乘；將圖像Y的級N的邊緣映像與級N的預(yù)定權(quán)重相乘；以及對從所述乘法獲得的乘積求和。圖I (n)示出第一選擇性聚合單元171的結(jié)構(gòu)。第一選擇性聚合單元包括第一水平邊緣映像單元194、第一垂直邊緣映像單元195、第一對角邊緣映像單元196、以及第一合并單元197。在分解的級i生成的中間子帶包括小波包(WP)近似和小波包細(xì)節(jié)子帶。這些單元194、195、和196的每個處理特定類型的WP近似子帶和WP細(xì)節(jié)子帶。在該說明書的下文中更詳細(xì)地討論了這些子帶。第一水平邊緣映像單元194聚合每級i (i=l至N-1)的圖像X的級i水平WP近似子帶以及圖像X的水平子帶，生成圖像X的水平邊緣映像。第一垂直邊緣映像單元195聚合每級i的圖像X的級i垂直WP近似子帶以及圖像X的垂直子帶，生成圖像X的垂直邊緣映像。第一對角邊緣映像單元196聚合每級i的圖像X的級i對角WP近似子帶以及圖像X的對角子帶，生成圖像X的對角邊緣映像。通過第一合并單元197聚合所述圖像X的水平、垂直和對角邊緣映像。圖像X的級i-WP細(xì)節(jié)子帶還包括用于每個對應(yīng)圖像的級i-WP水平子帶、級i-WP垂直子帶以及i-WP對角子帶。第一水平邊緣映像單元194包括第一水平子單元198，其在聚合中包括圖像X的級i-WP水平子帶。第一垂直邊緣映像單元195包括第一垂直子單元199，其在聚合中包括圖像X的級i-WP垂直子帶。第一對角邊緣映像單元196包括第一對角子單元200,其在聚合中包括圖像X的級i-WP對角子帶。第一合并單元197又包括第一合并子單元201，其對圖像X的水平邊緣映像、垂直邊緣映像和對角邊緣映像應(yīng)用平方根函數(shù)，并對應(yīng)用平方根函數(shù)的結(jié)果求和。圖I (O)示出第二選擇性聚合單元183的結(jié)構(gòu)。第二選擇性聚合單元包括第二水平邊緣映像單元203、第二垂直邊緣映像單元204、第二對角邊緣映像單元205、以及第二合并單元206。第二水平邊緣映像單元203聚合每級i (i=l至N-1)的圖像Y的級i水平WP近似子帶以及圖像Y的水平子帶，生成圖像Y的水平邊緣映像。第二垂直邊緣映像單元204聚合每級i的圖像Y的級i垂直WP近似子帶以及圖像Y的垂直子帶，生成圖像Y的垂直邊緣映像。第二對角邊緣映像單元205聚合每級i的圖像Y的級i對角WP近似子帶以及圖像Y的對角子帶，生成圖像Y的對角邊緣映像。通過第二合并單元206聚合所述圖像Y的水平、垂直和對角邊緣映像。如同圖像X的情況，圖像Y的級i-WP細(xì)節(jié)子帶還包括用于每個對應(yīng)圖像的級i-WP水平子帶、級i-WP垂直子帶以及i-WP對角子帶。第二水平邊緣映像單元203包括第二水平子單元207，其在聚合中包括圖像Y的級i-WP水平子帶。第二垂直邊緣映像單元204包括第二垂直子單元208，其在聚合中包括圖像Y的級i-WP垂直子帶。第二對角邊緣映像單元205包括第二對角子單元209，其在聚合中包括圖像Y的級i-WP對角子帶。第二合并單元206又包括第二合并子單元210，其對圖像Y的水平邊緣映像、垂直邊緣映像和對角邊緣映像應(yīng)用平方根函數(shù)，并對應(yīng)用平方根函數(shù)的結(jié)果求和。在可選實(shí)施例中，在通過第一合并單元197和第二合并單元進(jìn)行的聚合期間進(jìn)行不同組的數(shù)學(xué)運(yùn)算。該實(shí)施例第一合并單元包括第三合并子單元211 (參考圖I (p))，第二合并單元206包括第四合并子單元212 (參 考圖I (q))。第三合并子單元211用于對圖像X的水平邊緣映像、垂直邊緣映像以及對角邊緣映像求和，并對進(jìn)行求和的結(jié)果應(yīng)用平方根函數(shù)。第四合并子單元212用于對圖像Y的水平邊緣映像、垂直邊緣映像以及對角邊緣映像求和，并對進(jìn)行求和的結(jié)果應(yīng)用平方根函數(shù)。圖I (r)所示的第一分解單元103a包括第一級I分解單元214，其輸出被第一級i分解單元215使用。所述第一級I分解單元214對圖像X應(yīng)用多解析度分解，生成用于在級2處理的級I的中間子帶，所述第一級i分解單元215對通過在級i-1 (i的范圍為2至N)進(jìn)行的多解析度分解生成的選擇的中間子帶應(yīng)用多解析度分解。圖I (s)所示的第二分解單元104a包括第二級I分解單元216，其輸出被第二級i分解單元217使用。所述第二級I分解單元216對圖像Y應(yīng)用多解析度分解，生成用于在級2處理的級I的中間子帶，所述第二級i分解單元217對通過在級i-1 (i的范圍為2至N)進(jìn)行的多解析度分解生成的選擇的中間子帶應(yīng)用多解析度分解。如同在系統(tǒng)100的總架構(gòu)的情況，系統(tǒng)IOOa的總架構(gòu)可以與各種IQM結(jié)合使用，每個所述IQM對應(yīng)于特定實(shí)施例。包括以標(biāo)號103a、104a、105a、108a、109a、113a、114a、115a、116a、117a、118a、170、171、172、173、174、175、176、177、178、179、180、182、183、184、185、186、187、188、189、190、191、192、194、195、196、197、198、199、200、201、203、204、205、206、207、208、209、210、211、212、214、215、216和217表示的單元、子單元以及模塊的系統(tǒng)IOOa的全部部件包括固件或可選的存儲在計(jì)算機(jī)可讀存儲介質(zhì)以由處理器執(zhí)行的計(jì)算機(jī)可讀指令。以標(biāo)號110a、llla、112a、134a和139a標(biāo)記的全部計(jì)算裝置包括計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)具有由CPU執(zhí)行的計(jì)算機(jī)可讀代碼，以進(jìn)行如本申請所述的方法、過程、函數(shù)或子程序。在圖2 (a)示出的簡圖220中提供對架構(gòu)所使用的用于確定質(zhì)量計(jì)量的技術(shù)的高級描述。該過程開始于對基準(zhǔn)圖像(框222)和失真圖像(框224)進(jìn)行N級DWT。通過應(yīng)用DffT實(shí)現(xiàn)的多解析度分解生成了兩個圖像的近似子帶和細(xì)節(jié)子帶。處理兩個圖像的近似子帶以計(jì)算近似質(zhì)量計(jì)量(框232)。需要注意，根據(jù)使用的IQM，該質(zhì)量計(jì)量可以是質(zhì)量映像或質(zhì)量分?jǐn)?shù)。對原始圖像和失真圖像的細(xì)節(jié)子帶進(jìn)行聚合(框226和框230)。然后處理這些聚合以計(jì)算邊緣質(zhì)量計(jì)量、映像或分?jǐn)?shù)(框234)。確定的映像或指數(shù)取決于在生成質(zhì)量計(jì)量中使用的IQM，其在下文中得到詳細(xì)描述。對于特定IQM (在下文中描述)，需要生成對比度映像(框228)。生成對比度映像包括，對于圖像的近似子帶和邊緣映像的像素，根據(jù)其對于人類視覺系統(tǒng)的相應(yīng)的重要性，為其分配對應(yīng)值。對比度映像被用于集合近似質(zhì)量映像(框236 )和集合邊緣質(zhì)量映像(框238 )。然后，合并兩種集合操作的結(jié)果以生成失真圖像的質(zhì)量計(jì)量(框240)。利用未使用對比度映像的IQM，通過框240合并分別來自框232和框234的近似質(zhì)量計(jì)量和邊緣質(zhì)量計(jì)量，以生成質(zhì)量計(jì)量。在本發(fā)明中使用兩種選擇方法。第一種用于分解的級i (i=l. . n-1),以選擇由在圖像X或Y的級i-1進(jìn)行的多解析度分解生成的中間子帶，將對這些中間子帶在級i應(yīng)用多解析度分解。第二種用于選擇有待聚合的圖像X或Y的每級i的中間子帶以及細(xì)節(jié)子帶。以滿足精度和計(jì)算成本之間的有效平衡的方式進(jìn)行選擇。選擇方法可以基于獲得精度所需的子帶數(shù)目。通過圖2(b)說明基于在架構(gòu)中使用的技術(shù)的實(shí)施例的方法。首先(框252)，過程250計(jì)算DWT的級數(shù)N(框254)?？赏ㄟ^使用圖像Y的分辨率(或尺寸)、圖像Y的觀察距離、以及應(yīng)用到圖像Y的圖像質(zhì)量度量(IQM)中的一個或多個計(jì)算N。過程250根據(jù)近似子帶的最小尺寸S確定解析度級數(shù)N，其生成針對人類視覺系統(tǒng)的基本峰值的響應(yīng)。從而，確定N的值的方式使得生成這樣的近似子帶解析 度，在該處對應(yīng)的最大頻率接近人類視覺系統(tǒng)的峰值靈敏度(即人類視覺系統(tǒng)的空間頻率響應(yīng)的最大值)。如Y. Wang、J. Ostermann 和 Y.-Q. Zhang 在“Video Processing Communications，，(Prentice Hall, 2001)中所述，空間頻率響應(yīng)通常是人類對比度靈敏度的曲線，該曲線是以周/度(CPD)表示的空間頻率的函數(shù)。該峰值在2和4之間。針對在本申請下文中討論的使用的特定IQM來定制使用的N的值。對于特定IQM，N是固定值，但是對于基于誤差的IQM，諸如PSNR或絕對差(AD)，如下以公式表示需要的分解級數(shù)N。如M. R. Bolin和G. ff. Meyer在“A visual difference metric for realistic image synthesis，，(Proc. SPIE HumanVision, Electron. Imag. , vol. 3644, San Jose, 1999,第 106 - 120 頁)中所述，當(dāng)在高度為h、距離為d的顯示器處觀察圖像時爲(wèi)人(周/度)(Ia)
Iol.) h其中fe是單位為周/度(cpd)的角頻率，匕表示空間頻率。對于高度為H的圖像，Nyquist定理導(dǎo)出公式(lb)。
/ \".I.I f I =——(周/圖片高度)(Ib)
、j x已知，HVS對于約2_4cpd的頻率具有峰值響應(yīng)。從而f 9固定為3。如果在觀察距離d=kh處評估圖像，利用公式(Ia)和公式(Ib)獲得公式(lc)。
、360./;, _ 360x3 344~ 7r(d/h) 3.14X/c k(Ic)從而，對人眼評估來說圖像的有效尺寸應(yīng)為大約(344/k)。這表示，在N級分解之后的近似子帶的最小尺寸應(yīng)近似等于(344/k)。從而，對于圖像尺寸HXW，如下近似地計(jì)算N (N必須是非負(fù)數(shù))
min(H W) 344 J5tWlrt0 (ww(H,W)\\
.............……輯Jy ssJ|3E* 里 7 I y ^\ I I
2W k, I (344M) I)
'(Id)
權(quán)利要求
1.一種用于確定失真圖像Y的質(zhì)量計(jì)量的方法，所述質(zhì)量計(jì)量表征在圖像Y與未失真的基準(zhǔn)圖像X之間的相似性，所述基準(zhǔn)圖像X具有與圖像Y相同的行數(shù)和列數(shù)的像素，該方法包括 Ca)對圖像X應(yīng)用N級多解析度分解，包括級1、2、. . . i、i + I、. . . N，以生成 對于每個級i，i的范圍為I至N-1，用于在級i + I處理的圖像X的中間子帶；以及 對于級N，包含圖像X的主體內(nèi)容的近似子帶和包含圖像X的邊緣的細(xì)節(jié)子帶； (b)對圖像Y應(yīng)用所述N級多解析度分解，包括級1、2、.. . i、i + I、. . . N，以生成 對于每個級i，i的范圍為I至N-1，用于在級i + I處理的圖像Y的中間子帶；以及 對于級N，包含圖像Y的主體內(nèi)容的近似子帶和包含圖像Y的邊緣的細(xì)節(jié)子帶； (c)對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用圖像質(zhì)量度量(IQM)，以生成表征圖像X的主體內(nèi)容與圖像Y的主體內(nèi)容之間的相似性的近似質(zhì)量計(jì)量； (d)對圖像X的級i的中間子帶以及圖像X的細(xì)節(jié)子帶進(jìn)行聚合，以生成表征圖像X的邊緣的圖像X的邊緣映像，其中i的范圍為級I到N-I ； (e)對圖像Y的級i的中間子帶以及圖像Y的細(xì)節(jié)子帶進(jìn)行聚合，以生成表征圖像Y的邊緣的圖像Y的邊緣映像，其中i的范圍為級I到N-I ； (f )在圖像X的邊緣映像和圖像Y的邊緣映像之間應(yīng)用IQM，以生成表征圖像X的邊緣與圖像Y的邊緣之間的相似性的邊緣質(zhì)量計(jì)量；以及 (g)處理所述近似質(zhì)量計(jì)量和所述邊緣質(zhì)量計(jì)量，以確定所述質(zhì)量計(jì)量。
2.根據(jù)權(quán)利要求I所述的方法，其中 所述步驟(d)還包括 基于在確定質(zhì)量計(jì)量中將要獲得的精度，選擇圖像X的在每級i的中間子帶和細(xì)節(jié)子帶，其中i的范圍為I至N-I ;以及 僅聚合圖像X的選擇的中間子帶和選擇的細(xì)節(jié)子帶；以及步驟(e)還包括 基于在確定質(zhì)量計(jì)量中將要獲得的精度，選擇圖像Y的在所述每級i的中間子帶和細(xì)節(jié)子帶；以及 僅聚合圖像Y的選擇的中間子帶和選擇的細(xì)節(jié)子帶。
3.根據(jù)權(quán)利要求2所述的方法，其中 選擇圖像X的中間子帶和細(xì)節(jié)子帶的步驟還包括，選定具有基本相同的解析度的圖像X的選擇的所述每級i的中間子帶和細(xì)節(jié)子帶；以及 選擇圖像Y的中間子帶和細(xì)節(jié)子帶的步驟還包括，選定具有基本相同的解析度的圖像Y的選擇的所述每級i的中間子帶和細(xì)節(jié)子帶。
4.根據(jù)權(quán)利要求2或3所述的方法，所述圖像X和圖像Y的在所述每級i的中間子帶對于每個各自的圖像包括 級i細(xì)節(jié)子帶和級i小波包(WP)子帶； 級i-WP子帶包括級i-WP近似子帶和級i-WP細(xì)節(jié)子帶；并且 級i-WP近似子帶還包括級i_水平WP近似子帶、級i_垂直WP近似子帶和級i_對角WP近似子帶。
5.根據(jù)權(quán)利要求I至4中任一項(xiàng)所述的方法，包括以下中的一個或多個 在步驟(a)對于級1，對圖像X應(yīng)用多解析度分解，生成用于在級2處理的級I的中間子帶；以及對于級i，i的范圍為2至N，對通過在級i-1進(jìn)行的多解析度分解生成的一個或多個中間子帶應(yīng)用多解析度分解；以及在步驟(b) 對于級1，對圖像Y應(yīng)用多解析度分解，生成用于在級2處理的級I的中間子帶；以及對于級i，i的范圍為2至N，對通過在級i-1進(jìn)行的多解析度分解生成的一個或多個中間子帶應(yīng)用多解析度分解。
6.根據(jù)權(quán)利要求I至5中任一項(xiàng)所述的方法，其中所述近似質(zhì)量計(jì)量是近似質(zhì)量映像，而所述邊緣質(zhì)量計(jì)量是邊緣質(zhì)量映像，所述步驟(g)還包括 生成對比度映像，包括對于圖像X和圖像Y的近似子帶和邊緣映像的像素根據(jù)其對于人類視覺系統(tǒng)的相應(yīng)的重要性分配對應(yīng)值； 使用對比度映像對近似質(zhì)量映像進(jìn)行加權(quán)集合，以生成近似質(zhì)量分?jǐn)?shù)； 使用對比度映像對邊緣質(zhì)量映像進(jìn)行加權(quán)集合，以生成邊緣質(zhì)量分?jǐn)?shù)；以及 合并來自步驟(bl8)的近似相似性分?jǐn)?shù)與邊緣相似性分?jǐn)?shù)，以確定質(zhì)量計(jì)量。
7.根據(jù)權(quán)利要求I至6中任一項(xiàng)所述的方法，還包括根據(jù)近似子帶的最小尺寸S確定N，其生成針對人類視覺系統(tǒng)的基本峰值的響應(yīng)。
8.根據(jù)權(quán)利要求I到7中任一項(xiàng)所述的方法，其中 步驟(c)包括對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用結(jié)構(gòu)相似性(SSIM)IQM，以生成近似SSM映像，SSMa; 步驟(f)包括在圖像X的邊緣映像與圖像Y的邊緣映像之間應(yīng)用SSIMIQM，以生成邊緣SSM映像，SSMe ;以及 步驟(g)包括處理所述SSIMa和所述SSIMe以確定SSIMdwt分?jǐn)?shù)作為質(zhì)量計(jì)量； 或者 步驟(c)包括對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用絕對差(AD)IQM，以生成近似AD映像，ADa ； 步驟(f)包括在圖像X的邊緣映像與圖像Y的邊緣映像之間應(yīng)用ADIQM，以生成邊緣AD映像，ADe;以及 步驟(g)包括處理所述ADa和所述ADe以確定ADdwt分?jǐn)?shù)作為質(zhì)量計(jì)量； 或者 步驟(c)包括對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用峰值信號-噪聲比(PSNR)IQM,以生成PSNR近似質(zhì)量分?jǐn)?shù)，PSNRa ； 步驟(f)包括在圖像X的邊緣映像與圖像Y的邊緣映像之間應(yīng)用PSNRIQM，以生成PSNR邊緣質(zhì)量分?jǐn)?shù)，PSNRe ；以及 步驟(g)包括處理所述PSNRa和所述PSNRe以確定PSNRdwt分?jǐn)?shù)作為質(zhì)量計(jì)量； 或者 步驟(c)包括對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用視覺信息保真度(VIF)IQM,以生成VIF近似質(zhì)量分?jǐn)?shù)，VIFa ； 步驟(f)包括在圖像X的邊緣映像與圖像Y的邊緣映像之間應(yīng)用VIFIQM，以生成VIF邊緣質(zhì)量分?jǐn)?shù)，VIFe ；以及步驟(g)包括處理所述VIFa和所述VIFe以確定VIFdwt分?jǐn)?shù)作為質(zhì)量計(jì)量。
9.根據(jù)權(quán)利要求I至8中任一項(xiàng)所述的方法，其中所述步驟(a)和(b)包括應(yīng)用N級分離小波變換，所述分離小波變換可選地是Haar變換、或者Newland變換或利用Daubechies濾波器的小波變換之一。
10.一種用于確定失真圖像Y的質(zhì)量計(jì)量的系統(tǒng)，所述質(zhì)量計(jì)量表征在圖像Y與未失真的基準(zhǔn)圖像X之間的相似性，所述基準(zhǔn)圖像X具有與圖像Y相同的行數(shù)和列數(shù)的像素，該系統(tǒng)包括 處理器，以及計(jì)算機(jī)可讀存儲介質(zhì)，其具有存儲在其上的計(jì)算機(jī)可讀指令，所述指令當(dāng)由所述處理器執(zhí)行時形成以下單元 (a)第一分解單元，其對圖像X應(yīng)用N級多解析度分解，包括級1、2、.. . i、i + I、. . . N，以生成 對于每個級i，i的范圍為I至N-1，用于在級i + I處理的圖像X的中間子帶；以及 對于級N，包含圖像X的主體內(nèi)容的近似子帶和包含圖像X的邊緣的細(xì)節(jié)子帶； (b)第二分解單元，其對圖像Y應(yīng)用所述N級多解析度分解，包括級1、2、.. . i、i +I、... N，以生成 對于每個級i，i的范圍為I至N-1，圖像Y的中間子帶；以及 對于級N，包含圖像Y的主體內(nèi)容的近似子帶和包含圖像Y的邊緣的細(xì)節(jié)子帶； (c )近似質(zhì)量計(jì)量單元，其對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用圖像質(zhì)量度量(IQM),以生成表征圖像X的主體內(nèi)容與圖像Y的主體內(nèi)容之間的相似性的近似質(zhì)量計(jì)量；Cd)第一聚合單元，其對圖像X的級i的中間子帶以及圖像X的細(xì)節(jié)子帶進(jìn)行聚合，以生成表征圖像X的邊緣的圖像X的邊緣映像，其中i的范圍為級I到N-I ； Ce)第二聚合單元，其對圖像Y的級i的中間子帶以及圖像Y的細(xì)節(jié)子帶進(jìn)行聚合，以生成表征圖像Y的邊緣的圖像Y的邊緣映像，其中i的范圍為級I到N-I ； Cf)邊緣質(zhì)量計(jì)量單元，其在圖像X的邊緣映像和圖像Y的邊緣映像之間應(yīng)用IQM，以生成表征圖像X的邊緣與圖像Y的邊緣之間的相似性的邊緣質(zhì)量計(jì)量；以及 (g)質(zhì)量計(jì)量單元，其處理所述近似質(zhì)量計(jì)量和所述邊緣質(zhì)量計(jì)量，以確定所述質(zhì)量計(jì)量。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中 所述第一聚合單元還包括 第一選擇單元，其基于在確定質(zhì)量計(jì)量中將要獲得的精度，選擇圖像X的在每級i的中間子帶和細(xì)節(jié)子帶，其中i的范圍為I至N-I ;以及 第一選擇性聚合單元，其僅聚合圖像X的選擇的中間子帶和選擇的細(xì)節(jié)子帶；以及 所述第二聚合單元還包括 第二選擇單元，其基于在確定質(zhì)量計(jì)量中將要獲得的所述精度，選擇圖像Y的在所述每級i的中間子帶和細(xì)節(jié)子帶； 第二選擇性聚合單元，其僅聚合圖像Y的選擇的中間子帶和選擇的細(xì)節(jié)子帶。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中 所述第一聚合單元還包括計(jì)算裝置，用于選定具有基本相同的解析度的圖像X的選擇的所述每級i的中間子帶和細(xì)節(jié)子帶；以及所述第二聚合單元還包括計(jì)算裝置，用于選定具有基本相同的解析度的圖像Y的選擇的所述每級i的中間子帶和細(xì)節(jié)子帶。
13.根據(jù)權(quán)利要求11或12所述的系統(tǒng)，所述圖像X和圖像Y的在所述每級i的中間子帶對于每個各自的圖像包括 級i細(xì)節(jié)子帶和級i小波包(WP)子帶； 級i-WP子帶包括級i-WP近似子帶和級i-WP細(xì)節(jié)子帶；以及 級i-WP近似子帶還包括級i_水平WP近似子帶、級i_垂直WP近似子帶和級i_對角WP近似子帶。
14.根據(jù)權(quán)利要求10至13中任一項(xiàng)所述的系統(tǒng)，包括以下一個或多個 在所述第一分解單元 第一級I分解單元，對圖像X應(yīng)用多解析度分解，生成用于在級2處理的級I的中間子帶; 第一級i分解單元，對通過在級i-1進(jìn)行的多解析度分解生成的一個或多個中間子帶應(yīng)用多解析度分解，其中i的范圍為2至N ; 在所述第二分解單元 第二級I分解單元，對圖像Y應(yīng)用多解析度分解，生成用于在級2處理的級I的中間子帶; 第二級i分解單元，對通過在級i-1進(jìn)行的多解析度分解生成的一個或多個中間子帶應(yīng)用多解析度分解，其中i的范圍為2至N。
15.根據(jù)權(quán)利要求10至14中任一項(xiàng)所述的系統(tǒng)，還包括計(jì)算裝置，用于根據(jù)近似子帶的最小尺寸S確定N，其生成針對人類視覺系統(tǒng)的基本峰值的響應(yīng)。
16.根據(jù)權(quán)利要求10至15中任一項(xiàng)所述的系統(tǒng)，其中所述第一分解單元(a)和所述第二分解單元(b)包括用于應(yīng)用N級分離小波變換的計(jì)算裝置，所述分離小波變換可選地為Haar變換、Newland變換或利用Daubechies濾波器的小波變換。
17.一種計(jì)算機(jī)可讀存儲介質(zhì)，其具有存儲在其上的計(jì)算機(jī)可讀程序代碼指令，所述指令當(dāng)由處理器執(zhí)行時進(jìn)行以下步驟 (a)對圖像X應(yīng)用N級多解析度分解，包括級1、2、...i、i + I、... N，以生成 對于每個級i，i的范圍為I至N-1，用于在級i + I處理的圖像X的中間子帶；以及 對于級N，包含圖像X的主體內(nèi)容的近似子帶和包含圖像X的邊緣的細(xì)節(jié)子帶； (b)對圖像Y應(yīng)用所述N級多解析度分解，包括級1、2、.. . i、i + I、. . . N，以生成 對于每個級i，i的范圍為I至N-1，用于在級i + I處理的圖像Y的中間子帶；以及 對于級N，包含圖像Y的主體內(nèi)容的近似子帶和包含圖像Y的邊緣的細(xì)節(jié)子帶； (c)對圖像X的近似子帶和圖像Y的近似子帶應(yīng)用圖像質(zhì)量度量(IQM)，以生成表征圖像X的主體內(nèi)容與圖像Y的主體內(nèi)容之間的相似性的近似質(zhì)量計(jì)量； (d)對圖像X的級i的中間子帶以及圖像X的細(xì)節(jié)子帶進(jìn)行聚合，以生成表征圖像X的邊緣的圖像X的邊緣映像，其中i的范圍為級I到N-I ； (e)對圖像Y的級i的中間子帶以及圖像Y的細(xì)節(jié)子帶進(jìn)行聚合，以生成表征圖像Y的邊緣的圖像Y的邊緣映像，其中i的范圍為級I到N-I ； (f )在圖像X的邊緣映像和圖像Y的邊緣映像之間應(yīng)用IQM，以生成表征圖像X的邊緣與圖像Y的邊緣之間的相似性的邊緣質(zhì)量計(jì)量；以及(g)處理所述近似質(zhì)量計(jì)量和所述邊緣質(zhì) 量計(jì)量，以確定質(zhì)量計(jì)量。
全文摘要
示出了一種通過利用多級分解確定圖像的質(zhì)量計(jì)量的方法和系統(tǒng)。在小波域上進(jìn)行對圖像的多級分解，生成分解的每級的子帶。在多個級上進(jìn)行對子帶的聚合，以生成圖像質(zhì)量的精確計(jì)量。通過僅聚合選擇的子帶，大大降低了方法的計(jì)算復(fù)雜性。
文檔編號G06T9/00GK102754126SQ201080063472
公開日2012年10月24日 申請日期2010年10月27日 優(yōu)先權(quán)日2010年2月12日
發(fā)明者S·庫隆布, S·拉扎扎德 申請人:高等技術(shù)學(xué)校