專(zhuān)利名稱(chēng)：圖像序列的質(zhì)量評(píng)估的制作方法
技術(shù)領(lǐng)域：
本公開(kāi)涉及圖像質(zhì)量評(píng)估。更具體而言，本發(fā)明的實(shí)施例涉及圖像序列的質(zhì)量評(píng)估。
背景技術(shù)：
質(zhì)量評(píng)估對(duì)于改進(jìn)許多多媒體應(yīng)用中的用戶(hù)體驗(yàn)是有用的。生成可以準(zhǔn)確估計(jì)圖像序列的感知質(zhì)量的客觀質(zhì)量指標(biāo)(metrics)可以促進(jìn)質(zhì)量評(píng)估。質(zhì)量評(píng)估可以用于一些多媒體應(yīng)用。這種應(yīng)用包括視頻壓縮、預(yù)處理、后處理、以及水印制作等。在視頻壓縮中，編碼技術(shù)可以使用視頻質(zhì)量指標(biāo)通過(guò)速率失真優(yōu)化改進(jìn)編碼參數(shù)，預(yù)處理技術(shù)有賴(lài)于視頻質(zhì)量指標(biāo)來(lái)優(yōu)化在給定目標(biāo)應(yīng)用或環(huán)境下的預(yù)處理濾波器參數(shù)。在視頻后處理中，內(nèi)容適用于以各種空間和時(shí)間分辨率在各種顯示器類(lèi)型上顯示，可以對(duì)于每種顯示器類(lèi)型評(píng)估所得的視頻質(zhì)量。在水印制作中，可以在嵌入水印時(shí)使用視頻質(zhì)量指標(biāo)來(lái)最小化由于水印所致的可感知失真或者可以在檢測(cè)和/或譯解嵌入的水印信號(hào)時(shí)考慮視頻質(zhì)量指標(biāo)。質(zhì)量測(cè)量的一個(gè)途徑是執(zhí)行主觀測(cè)試。然而，建立這種測(cè)試會(huì)招致一些困難和花費(fèi)。開(kāi)發(fā)能夠?qū)κ褂弥饔^測(cè)試獲得的途經(jīng)提供質(zhì)量評(píng)級(jí)的客觀的圖像質(zhì)量指標(biāo)。(見(jiàn)整體經(jīng)引用并入本文的參考文獻(xiàn)[1]、[2])。然而，盡管當(dāng)前存在這種困難或花費(fèi)(見(jiàn)整體經(jīng)引用并入本文的參考文獻(xiàn)[3])，大多數(shù)視頻壓縮團(tuán)體繼續(xù)使用MSE (均方差)和PSNR(峰值信噪比)作為失真指標(biāo)。近來(lái)，對(duì)新應(yīng)用(如3D/立體視頻遞送)的相當(dāng)?shù)呐d趣已重建了對(duì)創(chuàng)建更好地對(duì)人類(lèi)視覺(jué)系統(tǒng)建模的更好、更準(zhǔn)確的指標(biāo)的興趣。通過(guò)壓縮、預(yù)/后處理等引入到視頻的失真在性質(zhì)上既可以是空間的也可以是時(shí)間的。在多視圖視頻中，也會(huì)引入交叉視圖/立體失真?？臻g失真包括諸如量化、組塊(blocking)、模糊、以及振鈴失真(ringing artifacts)等的壓縮失真(compression artifacts)。圖像質(zhì)量評(píng)估團(tuán)體已深入研究了空間失真指標(biāo)但是對(duì)時(shí)間和多視圖失真的作用卻知之甚少。這種失真導(dǎo)致在所得視頻中的時(shí)間或/和視圖的不一致。在客觀知覺(jué)質(zhì)量指標(biāo)中考量時(shí)間失真的早期嘗試考慮一個(gè)時(shí)間對(duì)比靈敏度函數(shù)來(lái)確定序列在時(shí)間域中的可感知差異(見(jiàn)整體經(jīng)引用并入本文的參考文獻(xiàn)[4]、[5]、[6])。 然而這些方法并未考量序列中的運(yùn)動(dòng)，并且像這樣，未完全測(cè)量序列的感知的時(shí)間一致性。 類(lèi)似地，對(duì)于立體圖像，未考慮視圖之中的立體視圖視差。其它客觀質(zhì)量指標(biāo)，諸如整體經(jīng)引用并入本文的參考文獻(xiàn)[7]、[8]中示出的那些客觀質(zhì)量指標(biāo)，通過(guò)測(cè)量序列中連續(xù)圖像之間的像素差或相關(guān)性來(lái)測(cè)量序列的時(shí)間一致性。然而，他們未在測(cè)量以前執(zhí)行運(yùn)動(dòng)估計(jì)，因此仍然無(wú)法充分估計(jì)序列的真實(shí)的時(shí)間一致性。在整體經(jīng)引用并入本文的參考文獻(xiàn)[11]中，通過(guò)引入基于序列的每個(gè)圖像中的運(yùn)動(dòng)量的全局加權(quán)方案把公知的結(jié)構(gòu)相似性圖像質(zhì)量指標(biāo)(見(jiàn)整體經(jīng)引用并入本文的參考[9])擴(kuò)展到視頻領(lǐng)域。然而，該方法忽略了時(shí)間一致性與質(zhì)量之間的關(guān)系。整體經(jīng)引用而并入本文的參考文獻(xiàn)[10]中提出了更完善的運(yùn)動(dòng)補(bǔ)償結(jié)構(gòu)相似性指標(biāo)。然而，提出的技術(shù)有賴(lài)于光學(xué)流(optical flow)的運(yùn)算，這實(shí)施起來(lái)可能復(fù)雜并且無(wú)法用于包含顯著運(yùn)動(dòng)的圖像區(qū)域中。


并入本說(shuō)明書(shū)中并構(gòu)成本說(shuō)明書(shū)一部分的附圖示出了本公開(kāi)的一個(gè)或更多個(gè)實(shí)施例，并且附圖連同詳細(xì)描述和實(shí)例一起，旨在解釋公開(kāi)內(nèi)容的原理和實(shí)施。圖1示出了根據(jù)本公開(kāi)的質(zhì)量評(píng)估系統(tǒng)和方法的實(shí)施例。圖2更詳細(xì)地示出了圖1的視差估計(jì)塊的實(shí)施例。圖3示出了將圖2的方案適用到多視圖環(huán)境。圖4示出了按照本公開(kāi)的指標(biāo)的第一實(shí)施例。圖5示出了按照本公開(kāi)的指標(biāo)的第二實(shí)施例。圖6示出了圖5實(shí)施例的組合的時(shí)間/多視圖實(shí)例。圖7示出了按照本公開(kāi)的指標(biāo)的第三實(shí)施例。
具體實(shí)施例方式概述本發(fā)明的實(shí)施例涉及圖像序列的質(zhì)量評(píng)估。提供了用于圖像序列評(píng)估的質(zhì)量評(píng)估方法，包括在一個(gè)或更多個(gè)域中執(zhí)行圖像之中的視差估計(jì)以生成視差向量；以及基于視差向量計(jì)算指標(biāo)以評(píng)估質(zhì)量。在實(shí)施例中，提供了用于計(jì)算測(cè)試圖像序列的一致性的系統(tǒng)，包括視差估計(jì)器， 用以通過(guò)生成視差向量來(lái)估計(jì)測(cè)試圖像序列的圖像之中的視差或者測(cè)試圖像序列的圖像與參考圖像序列的圖像之間的視差；指標(biāo)計(jì)算器，用以計(jì)算根據(jù)視差估計(jì)器生成的視差向量的測(cè)試圖像序列的一致性估計(jì)。本申請(qǐng)的說(shuō)明書(shū)、附圖、權(quán)利要求書(shū)和摘要中描述了本公開(kāi)實(shí)例實(shí)施例的進(jìn)一步實(shí)例特征。根據(jù)本公開(kāi)的一些實(shí)施例，公開(kāi)了用于計(jì)算圖像序列的時(shí)間和/或多視圖一致性的新型系統(tǒng)和方法。不同于已有方案，視差估計(jì)方法被用來(lái)估計(jì)(見(jiàn)整體經(jīng)引用并入本文的參考[12]、[13]、[14]))跟蹤圖像內(nèi)像素區(qū)域的移動(dòng)以及計(jì)算視差(例如，運(yùn)動(dòng)和照明度改變)補(bǔ)償之后序列的一致性，例如像增強(qiáng)式預(yù)測(cè)區(qū)域搜索(EPZQ的基于塊的運(yùn)動(dòng)估計(jì)算法。立體視圖視差可以考慮類(lèi)似方法以便分析。按照本公開(kāi)實(shí)施例中的一些實(shí)施例，使用時(shí)間(例如，運(yùn)動(dòng))或/和視圖視差以及視差補(bǔ)償像素信息(也例如包括解塊)測(cè)量序列圖像之間時(shí)間和多視圖特征的一致性以及相對(duì)于參考序列的測(cè)試序列中特征的一致性。本公開(kāi)中討論的技術(shù)和實(shí)施例也應(yīng)用于比特流模式中的圖像。
可以把具有或不具有照明度補(bǔ)償支持的任何已有視差估計(jì)技術(shù)，例如任何基于塊的運(yùn)動(dòng)估計(jì)算法，用于此目的，指標(biāo)的準(zhǔn)確性將取決于使用的視差估計(jì)方法的準(zhǔn)確性。也可以使用重疊塊運(yùn)動(dòng)估計(jì)以避免塊邊緣上的雜散(spurious)結(jié)果。另外，描述了可以把時(shí)間和/或多視圖質(zhì)量的不同方面考慮在內(nèi)的指標(biāo)的實(shí)例實(shí)施例。第一實(shí)施例是可以測(cè)量在視差估計(jì)處理期間計(jì)算的用于參考和測(cè)試序列的視差向量的一致性的完全參考指標(biāo)。其它兩個(gè)實(shí)施例是可以測(cè)量測(cè)試序列的連續(xù)視差補(bǔ)償圖像上的像素值的一致性的非參考指標(biāo)。因此，本公開(kāi)描述了一組幫助測(cè)量視頻序列中時(shí)間和/或多視圖失真程度的時(shí)間和立體/多視圖一致性指標(biāo)。根據(jù)一些實(shí)施例，根據(jù)本公開(kāi)的指標(biāo)在輸入序列中執(zhí)行視差 (例如，運(yùn)動(dòng))估計(jì)，以及測(cè)量序列的視差補(bǔ)償圖像中的時(shí)間一致性。類(lèi)似地，對(duì)于多視圖指標(biāo)，可以評(píng)估“交叉視圖”補(bǔ)償?shù)膱D像中的一致性。在一些實(shí)施例中，可以使用全局和局部加權(quán)參數(shù)確保通過(guò)指標(biāo)將只測(cè)量可感知的失真。在一些實(shí)施例中，也包括知覺(jué)加權(quán)方案以把諸如序列中場(chǎng)景轉(zhuǎn)變(如裁剪、淡入淡出、交叉淡入淡出)的全局事件以及局部屬性(如紋理、對(duì)象和圖像邊緣)等等考慮在內(nèi)?？梢园褧r(shí)間/多視圖特征與已有的或新的空間失真指標(biāo)進(jìn)一步組合以便更好地表征視頻序列的總體失真。這些域中會(huì)出現(xiàn)的可能失真類(lèi)型是1)閃爍一在視頻壓縮中，例如，通過(guò)以不同質(zhì)量編碼不同的圖片(例如，由于速率控制而改變量化參數(shù))會(huì)引起閃爍。閃爍在所有幀內(nèi)(intra)編碼、或者對(duì)只有I和P編碼的圖片編碼期間特別突出，特別是在周期性的幀內(nèi)刷新圖像存在的情況下。閃爍也可能例如作為拍攝處理、幀速率轉(zhuǎn)換等的結(jié)果而出現(xiàn)；2)運(yùn)動(dòng)不一致性一運(yùn)動(dòng)不一致性會(huì)由于編碼處理期間運(yùn)動(dòng)向量的不正確的運(yùn)動(dòng)估計(jì)和量化而出現(xiàn)。在立體視頻中，會(huì)由于視頻內(nèi)容的性質(zhì)而進(jìn)一步加重運(yùn)動(dòng)不一致性。運(yùn)動(dòng)不一致性也會(huì)例如由于攝像裝置的不穩(wěn)定而出現(xiàn)；3)蚊式噪聲一岐式噪聲由圖像中尖銳邊緣附近隨時(shí)間變化的混疊失真引起。立體視頻中這一點(diǎn)也會(huì)被加重，特別是在編碼處理期間復(fù)用立體視圖以及在顯示以前解復(fù)用立體視圖的情況下；4)時(shí)空和時(shí)空立體視圖混疊；以及5)立體視圖不一致性一與運(yùn)動(dòng)不一致性相類(lèi)似，立體視圖不一致性會(huì)由于從一個(gè)視圖至另一個(gè)視圖的預(yù)測(cè)不一致性/變化而出現(xiàn)。立體視圖不一致性也會(huì)由于攝像裝置傳感器中的差異或者攝像裝置錯(cuò)位而出現(xiàn)。根據(jù)一些實(shí)施例，把兩個(gè)圖像序列(參考序列和測(cè)試序列)作為輸入。如本文中所使用的，術(shù)語(yǔ)“2D”和“3D”分別是指慣用語(yǔ)“二維”和“三維”。序列會(huì)經(jīng)歷確保把測(cè)試序列與參考序列恰當(dāng)對(duì)準(zhǔn)(時(shí)間上、2D空間上，以及對(duì)于立體圖像的3D空間上)的初始登記步驟。此步驟也可以包括諸如把輸入調(diào)整到適用于特定顯示條件的諸如分辨率/寬高比轉(zhuǎn)換、伽瑪校正等的其它操作。如下面參照?qǐng)D1也提到的，可以通過(guò)把測(cè)試圖像序列登記到參考圖像序列或者，可替選地，通過(guò)把參考圖像序列登記到測(cè)試圖像序列而執(zhí)行登記。此外， 也可以執(zhí)行兩種類(lèi)型的登記以及把它們的結(jié)果組合。隨后可以對(duì)序列低通濾波以減少噪聲，以及隨后對(duì)于每個(gè)序列的每個(gè)圖像執(zhí)行視差估計(jì)(例如，運(yùn)動(dòng)估計(jì)和/或照明度參數(shù)估計(jì))以從以往和未來(lái)鄰近圖像中找到預(yù)測(cè)圖像?？梢詫?duì)立體圖像對(duì)的視圖執(zhí)行類(lèi)似分析。隨后可以將視差向量和/或預(yù)測(cè)圖像用作輸入來(lái)計(jì)算時(shí)間或/和立體視圖的不一致性指標(biāo)。最終，可以使用不同的加權(quán)參數(shù)把不同的一致性指標(biāo)組合在一起以生成考量時(shí)間和/或立體視圖不一致性的組合的視差指標(biāo)。隨后可以把此組合的指標(biāo)與諸如其它時(shí)間、立體視圖、頻率、或者空間指標(biāo)的其它指標(biāo)進(jìn)一步組合而最終提供組合的時(shí)空立體視圖的失真指標(biāo)。可以參照?qǐng)D1的實(shí)例圖表示更好地理解上述實(shí)施例。如圖1的方框圖100中所示，提供適合于計(jì)算完全參考質(zhì)量指標(biāo)118的兩個(gè)圖像序列(參考圖像序列// 102以及測(cè)試圖像序列/ ' 104)或者適合于計(jì)算非參考質(zhì)量指標(biāo)120 的一個(gè)圖像序列/ '104作為輸入，其中，η表示序列中的圖像索弓丨。通過(guò)實(shí)例，序列102和 104在期望評(píng)估立體視頻的質(zhì)量時(shí)可以包括立體視頻對(duì)。根據(jù)本公開(kāi)，如圖1的指標(biāo)118的完全參考質(zhì)量指標(biāo)提供測(cè)試序列104相對(duì)于參考序列102的失真估計(jì)，而如圖1的指標(biāo)120的非參考指標(biāo)提供測(cè)試序列104的失真的“盲” 估計(jì)。接著參考圖1，把測(cè)試序列104登記到106參考序列102，把序列102、104這二者在空間上濾波108、110。例如，空間濾波108、110可以包括用于減小圖像中的噪聲并有助于改進(jìn)視差估計(jì)準(zhǔn)確性的低通濾波器。隨后在塊112、114中執(zhí)行參考序列和測(cè)試序列的視差估計(jì)。如后面參照?qǐng)D2所更詳細(xì)解釋地，視差估計(jì)112、114可以包括例如運(yùn)動(dòng)估計(jì)和/或照明度變化估計(jì)，或者包括更通常地在一個(gè)或更多個(gè)域DP^Dm中的圖像之中的視差估計(jì)?？梢酝ㄟ^(guò)把測(cè)試圖像序列登記到參考圖像序列或者，可替選地，通過(guò)把參考圖像序列登記到測(cè)試圖像序列而執(zhí)行登記106。此外，也可以執(zhí)行兩種類(lèi)型的登記以及把它們的結(jié)果組合。然后計(jì)算基于112、114中執(zhí)行的操作的視差估計(jì)指標(biāo)116。如以上所提到的，指標(biāo) 116可以包括例如完全參考指標(biāo)118或者一個(gè)或更多個(gè)非參考指標(biāo)120。如果需要，則可以把指標(biāo)118和120組合122。此外，也可以計(jì)算124(例如，通過(guò)本領(lǐng)域中已知的方法)一個(gè)或更多個(gè)空間指標(biāo)(或者更通常地，也包括一個(gè)或更多個(gè)附加域中的指標(biāo)，如果期望也包含頻域)，然后把一個(gè)或更多個(gè)空間指標(biāo)與組合的指標(biāo)122組合。 例如，圖1中示出的系統(tǒng)的輸出處的輸出指標(biāo)Dsde可以包括時(shí)間、空間和/或多視圖質(zhì)量指標(biāo)中的一個(gè)或更多個(gè)。如以上所提到的，可以在例如數(shù)個(gè)處理或系統(tǒng)，例如視頻壓縮處理或系統(tǒng)128、視頻預(yù)處理處理或系統(tǒng)130、視頻后處理處理或系統(tǒng)132或者視頻水印制作處理或系統(tǒng)134中使用圖1中示出的方法和系統(tǒng)。圖2提供了圖1的視差估計(jì)塊112和114的實(shí)施例，其中，如果期望也可以把附加補(bǔ)償處理考慮在內(nèi)。如以上已經(jīng)提到的，可以參考一個(gè)或更多個(gè)域，例如時(shí)間(運(yùn)動(dòng))或亮度(照明度改變))來(lái)估計(jì)視差。在涉及運(yùn)動(dòng)估計(jì)(ME)處理的視差估計(jì)的情形中，可以考慮測(cè)試序列或參考序列的每個(gè)輸入圖像時(shí)間上相鄰的鄰近圖像(以往的和未來(lái)的)，相應(yīng)地估計(jì)提供最佳匹配給輸入圖像的運(yùn)動(dòng)向量。通常，基于固定或自適應(yīng)塊(例如，像素的8x8塊)找到該匹配但是也可以把基于其它尺寸和形狀的方法用于此目的。運(yùn)動(dòng)估計(jì)的方法本身對(duì)本領(lǐng)域技術(shù)人員是已知的，因此此處將不詳細(xì)描述。可以通過(guò)本公開(kāi)的教導(dǎo)使用任何種類(lèi)的運(yùn)動(dòng)估計(jì)，也包括例如重疊和非重疊塊運(yùn)動(dòng)估計(jì)、仿射(affine)運(yùn)動(dòng)估計(jì)、拋物線(xiàn)和參數(shù)的等等。在照明度變化特性的情形中，可行的視差估計(jì)方法是增強(qiáng)式預(yù)測(cè)區(qū)域搜索(EPZS) 和它的多維擴(kuò)展(例如，N-D EPZS)。也可以考慮諸如基于光學(xué)流的方法的其它方法。運(yùn)動(dòng)補(bǔ)償處理(MC)使用對(duì)于每個(gè)鄰近圖像的估計(jì)的視差信息，例如運(yùn)動(dòng)向量，形成重構(gòu)圖像，其中，重構(gòu)圖像是在給定相應(yīng)鄰近者的情況下對(duì)于輸入圖像的預(yù)測(cè)。運(yùn)動(dòng)補(bǔ)償處理本身對(duì)本領(lǐng)域技術(shù)人員是已知的，因此此處將不詳細(xì)描述?？梢栽诙鄠€(gè)視圖上對(duì)于視差估計(jì)考慮類(lèi)似特性。如圖2中所示，其中，描繪了視差估計(jì)和補(bǔ)償裝置200，可以通過(guò)實(shí)例在上述視差估計(jì)處理中使用經(jīng)濾波的輸入圖像fn的N個(gè)以往和N個(gè)未來(lái)的空間上經(jīng)濾波的鄰近者。本領(lǐng)域技術(shù)人員將會(huì)理解，也可以存在替選實(shí)施例，其中，可以只使用以往鄰近者、只使用未來(lái)鄰近者、或者使用與未來(lái)鄰近者的數(shù)量不同的大量以往鄰近者。圖2的符號(hào)義秘表明每個(gè)鄰近者fn+i對(duì)應(yīng)的重構(gòu)圖像，以使得在/ +i的每個(gè)位置S處的像素值對(duì)應(yīng)于在fn+i的像素位置s-dvn+i(S)處的值，其中，S是包含像素的水平和垂直坐標(biāo)的向量，dvn+i(s)是通過(guò)視差估計(jì)處理所估計(jì)的視差向量。更具體而言，如圖2中所示，對(duì)于每個(gè)鄰近者η士 i，在塊202(士 i)中計(jì)算視差估計(jì)以及在塊 204(士i)中計(jì)算基于在塊202(士i)的輸出處的視差向量206(士i)的視差補(bǔ)償。每個(gè)視差估計(jì)塊202(士i)接收輸入圖像fn以及以往或未來(lái)的鄰近者圖像fn+i作為輸入?？梢园燕徑邎D像存儲(chǔ)在第一緩存器208中。類(lèi)似地，每個(gè)視差補(bǔ)償塊204(士i) 接收視差向量206(士i)以及以往或未來(lái)的鄰近者圖像fn+i作為輸入?？梢园燕徑邎D像存儲(chǔ)在第一緩存器208中或者第二緩存器210中，如圖2中所示。此外，第二緩存器210也可以存儲(chǔ)視差補(bǔ)償塊204(士i)的組合輸出(見(jiàn)組合器21 ，以使得未來(lái)視差補(bǔ)償也取決于先前視差補(bǔ)償?shù)慕Y(jié)果。圖3示出了將圖2的實(shí)施例調(diào)整到適用于多視圖的情形，其中，示例了多個(gè)估計(jì) (或者估計(jì)和補(bǔ)償)塊300。具體而言，通過(guò)假定一個(gè)視圖在位置m處以及其它視圖在位置 m士 j處可以把圖2的相同術(shù)語(yǔ)應(yīng)用于圖3中示出的多視圖情形，其中，j表示距第一個(gè)視圖的空間或視角(view angle)距離。例如，圖3的塊306表示在時(shí)間n+1處對(duì)視圖m+1的輸入序列處理。視差估計(jì)處理提供用來(lái)創(chuàng)建重構(gòu)圖像的相應(yīng)視差向量和重構(gòu)圖像的集合作為輸出。質(zhì)量指標(biāo)使用視差估計(jì)處理的輸出確定輸入序列的時(shí)間或視圖特征一致性。將在以下段落中討論一致性指標(biāo)的三個(gè)不同實(shí)施例。在整個(gè)公開(kāi)中，將把它們稱(chēng)為如下1)視差向量一致性指標(biāo)2)視差估計(jì)特征差異指標(biāo)3)視差估計(jì)特征變化指標(biāo)視差向量一致性指標(biāo)是利用參考和測(cè)試序列二者的完全參考指標(biāo)，而其它指標(biāo)是非參考指標(biāo)。與圖1中附圖標(biāo)記122和1 所示出的內(nèi)容相類(lèi)似，可以把來(lái)自該指標(biāo)的結(jié)果組合到最終指標(biāo)中，并且/或與不同類(lèi)型的一個(gè)或更多個(gè)其它指標(biāo)組合。例如，假定指標(biāo)是時(shí)間指標(biāo)，則可以把其與數(shù)個(gè)其它空間質(zhì)量指標(biāo)組合以確定序列的最終客觀質(zhì)量。類(lèi)似地，假定指標(biāo)是多視圖指標(biāo)，則可以把該指標(biāo)與可以使用同樣原理生成的時(shí)間指標(biāo)、以及其它空間指標(biāo)組合，以得出聯(lián)合的時(shí)空立體視圖質(zhì)量指標(biāo)。更通常地，可以把第一域中的指標(biāo)與其它域中的一個(gè)或更多個(gè)附加指標(biāo)組合。視差向量一致性指標(biāo)如以上所提到的，視差向量一致性指標(biāo)是完全參考指標(biāo)。它有賴(lài)于如下這種假定 如果在參考序列和測(cè)試序列(見(jiàn)如圖1的序列102和104)上均準(zhǔn)確執(zhí)行視差估計(jì)，則對(duì)于參考和測(cè)試序列中每個(gè)像素、塊、或者區(qū)域計(jì)算的視差向量(見(jiàn)例如圖2的向量206)應(yīng)當(dāng)相似，除非在測(cè)試序列中包含時(shí)間或視圖失真。然而視差向量相似性的預(yù)期也會(huì)取決于許多其它因素，如，提取視差向量的圖像與它的鄰近者之間的時(shí)間距離(或者在多視像的情形中的空間距離或視角)、場(chǎng)景轉(zhuǎn)變的出現(xiàn)以及在包括照明度變化的底層視頻內(nèi)容中的其它不連續(xù)性、對(duì)象和圖像邊緣引起
的閉塞等。根據(jù)本公開(kāi)的實(shí)施例，在視差向量一致性計(jì)算中把這些因素考慮在內(nèi)。因此，按照這種實(shí)施例，可以獲得在給定參考序列在時(shí)間或視圖η時(shí)的相應(yīng)圖像的情況下對(duì)于測(cè)試序列的在時(shí)間或者視圖η的每個(gè)圖像的視差向量一致性指標(biāo)為，
權(quán)利要求
1.一種用于評(píng)估圖像序列的質(zhì)量的方法，包括以下步驟在一個(gè)或更多個(gè)域中估計(jì)圖像之中的視差以生成視差向量；以及基于所述視差向量計(jì)算指標(biāo)以評(píng)估所述圖像序列的質(zhì)量。
2.如權(quán)利要求1所述的質(zhì)量評(píng)估方法，其中所述視差估計(jì)包括在屬于測(cè)試圖像序列的圖像之中執(zhí)行的測(cè)試序列視差估計(jì)和在屬于參考圖像序列的圖像之中執(zhí)行的參考序列視差估計(jì)，并且其中，所述指標(biāo)基于所述測(cè)試序列視差估計(jì)和所述參考序列視差估計(jì)；或者所述視差估計(jì)包括在屬于測(cè)試圖像序列的圖像之間執(zhí)行的測(cè)試序列視差估計(jì)，并且其中，所述指標(biāo)至少部分地基于所述測(cè)試序列視差估計(jì)；或者所述視差估計(jì)包括在屬于測(cè)試圖像序列的圖像之間執(zhí)行的測(cè)試序列視差估計(jì)和在屬于參考圖像序列的圖像之間執(zhí)行的參考序列視差估計(jì)，并且基于所述視差估計(jì)的指標(biāo)包括以下內(nèi)容的組合至少部分地基于所述測(cè)試序列視差估計(jì)和所述參考序列視差估計(jì)的第一指標(biāo)；以及基于所述測(cè)試序列視差估計(jì)的第二指標(biāo)；或者所述視差估計(jì)包括在屬于測(cè)試圖像序列的圖像之中執(zhí)行的測(cè)試序列視差估計(jì)以及在屬于參考圖像序列的圖像之中執(zhí)行的參考序列視差估計(jì)，并且其中，至少部分地基于所述視差估計(jì)的指標(biāo)包括基于所述測(cè)試序列視差估計(jì)和所述參考序列視差估計(jì)二者的第一指標(biāo)與基于所述測(cè)試序列視差估計(jì)的第二指標(biāo)之間的組合。
3.如權(quán)利要求2所述的質(zhì)量評(píng)估方法，進(jìn)一步包括以下步驟中的一個(gè)或更多個(gè)步驟 在執(zhí)行所述測(cè)試圖像序列和所述參考圖像序列的視差估計(jì)以前執(zhí)行所述測(cè)試圖像序列和所述參考圖像序列的空間濾波；或者在執(zhí)行所述測(cè)試圖像序列和所述參考圖像序列的視差估計(jì)以前把所述測(cè)試圖像序列和所述參考圖像序列登記在一起。
4.如權(quán)利要求1所述的質(zhì)量評(píng)估方法，其中，把基于所述視差估計(jì)的指標(biāo)與一個(gè)或更多個(gè)另外的指標(biāo)組合。
5.如權(quán)利要求1所述的質(zhì)量評(píng)估方法，其中，所述一個(gè)或更多個(gè)域包括時(shí)間域、空間域、多視圖域、或者亮度域中的一個(gè)或更多個(gè)。
6.如權(quán)利要求1所述的質(zhì)量評(píng)估方法，其中，所述指標(biāo)是在所述一個(gè)或更多個(gè)域中在多個(gè)圖像上匯集的指標(biāo)，進(jìn)一步包括在所述一個(gè)或更多個(gè)域中執(zhí)行所述圖像之中的視差補(bǔ)償，其中，所述視差補(bǔ)償至少部分地基于所述視差估計(jì)并且提供圖像預(yù)測(cè)，以及其中，所述指標(biāo)至少部分地基于所述視差估計(jì)和所述視差補(bǔ)償中的至少一個(gè)。
7.如權(quán)利要求1所述的質(zhì)量評(píng)估方法，其中，所述圖像之中的視差估計(jì)包括對(duì)于每個(gè)圖像在所述一個(gè)或更多個(gè)域中考慮所述圖像中每個(gè)圖像的一個(gè)或更多個(gè)圖像鄰近者。
8.如權(quán)利要求1所述的質(zhì)量評(píng)估方法，其中，基于以下項(xiàng)計(jì)算所述指標(biāo) 所述視差估計(jì)；對(duì)于每個(gè)圖像可逐像素或逐區(qū)域配置的一組局部參數(shù)；以及可逐圖像配置的一組全局參數(shù)。
9.如權(quán)利要求1所述的質(zhì)量評(píng)估方法，其中，在以下項(xiàng)中的至少一個(gè)上計(jì)算所述指標(biāo) 整個(gè)圖像；或者整個(gè)圖像的子集。
10.如權(quán)利要求1所述的質(zhì)量評(píng)估方法，其中，所述指標(biāo)是所述一個(gè)或更多個(gè)域中在多個(gè)圖像上匯集的指標(biāo)。
11.一種用于評(píng)估圖像序列質(zhì)量的系統(tǒng)，包括用于在一個(gè)或更多個(gè)域中估計(jì)圖像之中的視差以生成視差向量的部件；以及用于基于所述視差向量計(jì)算所述指標(biāo)以評(píng)估所述圖像序列的質(zhì)量的部件。
12.一種用于讓計(jì)算機(jī)系統(tǒng)評(píng)估圖像序列的質(zhì)量的用途，該過(guò)程包括 在一個(gè)或更多個(gè)域中估計(jì)圖像之中的視差以生成視差向量；以及基于所述視差向量計(jì)算指標(biāo)以評(píng)估所述圖像序列的質(zhì)量。
13.一種用于評(píng)估圖像序列的質(zhì)量的設(shè)備，包括 至少一個(gè)處理器；以及用于存儲(chǔ)編碼的指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述指令在通過(guò)所述至少一個(gè)處理器運(yùn)行時(shí)引起、控制、編程或者配置所述至少一個(gè)處理器以在圖像序列上計(jì)算、執(zhí)行、控制或者運(yùn)行質(zhì)量評(píng)估處理，所述處理包括在一個(gè)或更多個(gè)域中估計(jì)圖像之中的視差以生成視差向量；以及基于所述視差向量計(jì)算指標(biāo)以評(píng)估所述圖像序列的質(zhì)量。
14.一種用于存儲(chǔ)編碼的指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述指令在通過(guò)一個(gè)或更多個(gè)處理器運(yùn)行時(shí)引起、控制、編程或者配置所述一個(gè)或更多個(gè)處理器以計(jì)算、執(zhí)行、控制、編程、配置或運(yùn)行以下項(xiàng)中的一個(gè)或更多個(gè)圖像序列上的質(zhì)量評(píng)估處理，該處理包括 在一個(gè)或更多個(gè)域中估計(jì)圖像之中的視差以生成視差向量；以及基于所述視差向量計(jì)算指標(biāo)以評(píng)估所述圖像序列的質(zhì)量； 用于計(jì)算機(jī)的用途，其包括在所述圖像序列上執(zhí)行質(zhì)量評(píng)估處理； 系統(tǒng)，包括用于在所述圖像序列上執(zhí)行質(zhì)量評(píng)估處理的部件；或者設(shè)備，用于評(píng)估所述圖像序列的質(zhì)量。
15.一種用于計(jì)算測(cè)試圖像序列的一致性的系統(tǒng)，包括視差估計(jì)器，用以通過(guò)視差向量的生成估計(jì)所述測(cè)試圖像序列的圖像之中的視差或者所述測(cè)試圖像序列的圖像與參考圖像序列的圖像之間的視差；以及指標(biāo)計(jì)算器，用以計(jì)算根據(jù)所述視差估計(jì)器生成的視差向量的所述測(cè)試圖像序列的一致性。
全文摘要
描述了圖像的質(zhì)量估計(jì)或一致性計(jì)算。在一個(gè)或更多個(gè)域中的圖像之中執(zhí)行視差估計(jì)，計(jì)算基于該視差估計(jì)的指標(biāo)以評(píng)估質(zhì)量或一致性。
文檔編號(hào)G06T7/20GK102317974SQ201080007561
公開(kāi)日2012年1月11日 申請(qǐng)日期2010年2月11日 優(yōu)先權(quán)日2009年2月12日
發(fā)明者亞歷山德羅斯·圖拉皮斯, 佩沙拉·V·帕哈拉瓦達(dá) 申請(qǐng)人:杜比實(shí)驗(yàn)室特許公司