專利名稱：使用用于視頻編碼的高級(jí)運(yùn)動(dòng)模型的參考處理的制作方法
技術(shù)領(lǐng)域：
本公開主要涉及圖像處理和視頻處理。更具體地，其涉及使用用于視頻編碼的高級(jí)運(yùn)動(dòng)模型的參考處理。
背景技術(shù)：
在基于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的視頻編碼方案中，視頻編碼方案使用的參考圖片的質(zhì)量可 能顯著地影響編碼效率。也就是說，質(zhì)量越高的參考圖片(其也與源圖片越相關(guān))通常產(chǎn)生改善的編碼優(yōu)勢(shì)。編碼優(yōu)勢(shì)包括諸如提高的編碼效率、降低的復(fù)雜度和更容易并行化的因素。圖1示出了傳統(tǒng)視頻編碼系統(tǒng)的實(shí)現(xiàn)。在諸如圖1所示的傳統(tǒng)視頻編碼系統(tǒng)等傳統(tǒng)視頻編碼系統(tǒng)中，從參考圖片緩沖器(100)中檢索參考圖片，而通常不對(duì)參考圖片應(yīng)用任何附加處理。參考圖片通常還用于后續(xù)圖片的預(yù)測(cè)。任何附加處理的缺失出現(xiàn)在許多編碼腳本中。這些編碼腳本包括用于靜態(tài)視頻序列或者用于以恒定的直線運(yùn)動(dòng)移動(dòng)的序列的編碼。然而，可以通過在使用參考圖片用于后續(xù)圖片的預(yù)測(cè)之前對(duì)參考圖片進(jìn)行預(yù)處理，來實(shí)現(xiàn)改善的編碼優(yōu)勢(shì)。使用了預(yù)處理的一種腳本是立體或者多點(diǎn)視頻編碼應(yīng)用，其中，在預(yù)測(cè)其它視圖/層時(shí)利用特定視圖/層，并且可以以彼此不同的角度捕獲其它視圖/層。下面的情況通過引用包含于此2010年4月20日提交的國際專利申請(qǐng)第PCT/US2010/031762 號(hào)(2010 年 10 月 28 日公布的國際公布第 W0/2010/123909 號(hào))；2010 年 6月30日提交的國際專利申請(qǐng)第PCT/US2010/040545號(hào)(2011年I月13日公布的國際公布第TO/2011/005624號(hào));2011年I月5日提交的國際專利申請(qǐng)第PCT/US2011/020163號(hào)(尚未公布)。


包含在本說明書中、構(gòu)成本說明書的一部分的附圖，示出了本公開的一個(gè)或更多個(gè)實(shí)施例，并且與對(duì)示例實(shí)施例的描述一起，用于解釋本公開的原理和實(shí)現(xiàn)。圖1示出了傳統(tǒng)視頻編碼系統(tǒng)的實(shí)現(xiàn)。圖2示出了利用參考處理單元的視頻編碼系統(tǒng)的實(shí)現(xiàn)。圖3示出了利用參考處理單元的立體視頻編碼系統(tǒng)的實(shí)現(xiàn)。圖4示出了被分割為不重疊區(qū)域的參考圖片。圖5示出了被分割為重疊區(qū)域的參考圖片。圖6示出了編碼器側(cè)的運(yùn)動(dòng)模型估計(jì)處理的示例性實(shí)施例。
圖7示出了快速運(yùn)動(dòng)模型選擇處理的示例性實(shí)施例。圖8示出了插值濾波器選擇和強(qiáng)度補(bǔ)償估計(jì)處理的示例性實(shí)施例。圖9示出了像素對(duì)稱的第一示例。圖10示出了像素對(duì)稱的第二示例。圖11示出了用信令表示顯式插值濾波器的處理的實(shí)施例。圖12示出了解碼器側(cè)的參考處理單元的框圖。
具體實(shí)施例方式
本公開的實(shí)施例涉及圖像處理和視頻處理。
根據(jù)本公開的第一實(shí)施例，提供一種用于對(duì)參考圖片進(jìn)行處理的方法，包括i)基于重構(gòu)參考圖片和處理后的參考圖片估計(jì)值，對(duì)要被編碼的原始圖片執(zhí)行運(yùn)動(dòng)估計(jì)；ii)進(jìn)一步處理經(jīng)運(yùn)動(dòng)估計(jì)后的圖片，以獲得進(jìn)一步處理后的參考圖片估計(jì)值；以及對(duì)所述運(yùn)動(dòng)估計(jì)和所述進(jìn)一步處理進(jìn)行迭代，以提供處理后的參考圖片。根據(jù)本公開的第二實(shí)施例，提供一種用于當(dāng)在單層或者多層視頻編碼系統(tǒng)中執(zhí)行參考圖片處理時(shí)，估計(jì)參考圖片緩沖器的重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域的運(yùn)動(dòng)模型參數(shù)，所述方法包括i)基于要被編碼的原始圖片以及所述參考圖片緩沖器的所述重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域，執(zhí)行運(yùn)動(dòng)估計(jì)；ii)執(zhí)行進(jìn)一步運(yùn)動(dòng)估計(jì)，以提供運(yùn)動(dòng)模型參數(shù)；iii)根據(jù)所述運(yùn)動(dòng)模型參數(shù)執(zhí)行扭曲，以獲得扭曲圖片；以及對(duì)
進(jìn)行迭代，其中，后續(xù)迭代中的i)中的運(yùn)動(dòng)估計(jì)基于所述要被編碼的原始圖片、所述參考圖片緩沖器的所述重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域以及所述扭曲圖片。根據(jù)本公開的第三實(shí)施例，提供一種迭代法，用于當(dāng)在單層或者多層視頻編碼系統(tǒng)中執(zhí)行參考圖片處理時(shí)，估計(jì)參考圖片緩沖器的重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域的運(yùn)動(dòng)模型參數(shù)，所述方法包括i)基于要被編碼的原始圖片以及所述參考圖片緩沖器的所述重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域，執(zhí)行運(yùn)動(dòng)估計(jì)；ii)執(zhí)行進(jìn)一步運(yùn)動(dòng)估計(jì)，以提供運(yùn)動(dòng)模型參數(shù)；iii)對(duì)所述運(yùn)動(dòng)模型參數(shù)進(jìn)行處理，以提供插值濾波器參數(shù)和強(qiáng)度補(bǔ)償參數(shù)中的至少一個(gè)；iv)根據(jù)所述運(yùn)動(dòng)模型參數(shù)以及所述插值濾波器參數(shù)和強(qiáng)度補(bǔ)償參數(shù)中的至少一個(gè)來執(zhí)行扭曲，以獲得扭曲圖片；以及對(duì)i)_iv)進(jìn)行迭代，其中，后續(xù)迭代中的i)中的運(yùn)動(dòng)估計(jì)基于所述要被編碼的原始圖片、所述參考圖片緩沖器的所述重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域以及所述扭曲圖片。根據(jù)本公開的第四實(shí)施例，提供一種解碼方法，所述解碼方法用于當(dāng)在單層或多層視頻編碼系統(tǒng)中執(zhí)行參考圖片處理時(shí)，在解碼器處對(duì)參考圖片緩沖器的重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域進(jìn)行解碼，所述解碼器被適配為對(duì)從編碼器獲取的參數(shù)信息進(jìn)行接收和解析，所述方法包括i)對(duì)輸入圖片執(zhí)行扭曲，以獲得第一處理圖片；以及ii)對(duì)所述第一處理后圖片應(yīng)用強(qiáng)度補(bǔ)償，以獲得第二處理圖片。A.參考圖片處理圖2示出了利用下文中稱為RPU的參考處理單元(200)的視頻編碼系統(tǒng)的實(shí)現(xiàn)。RPU(200)允許諸如濾波器參數(shù)、運(yùn)動(dòng)補(bǔ)償參數(shù)和其它建模參數(shù)的處理參數(shù)的信令?？梢詫?duì)已經(jīng)在參考圖片緩沖器(205)中可使用的參考圖片應(yīng)用該信令，以生成新的參考圖片。這些新的參考圖片通常與需要處理的后續(xù)圖片更相關(guān)。如果期望，可以以區(qū)域水平、而不是全局水平來操作信令，這使得能夠進(jìn)行更細(xì)致的控制并且在編碼優(yōu)勢(shì)方面獲得進(jìn)一步的改
口 O引入?yún)⒖继幚韱卧?200)的使用的兩個(gè)示例性參考文獻(xiàn)是2009年4月20日提交的標(biāo)題為“Directed Interpolation and Post-Processing”的美國臨時(shí)申請(qǐng)第61/170, 995 號(hào)，以及2009年7 月 4 日提交的標(biāo)題為“Encoding andDecoding Architecturesfor Format CompatibIe3D Video Delivery”的美國臨時(shí)申請(qǐng)第 61/223，027 號(hào)。這兩個(gè)參考文獻(xiàn)的全部內(nèi)容通過引用包含于此。通過在視頻編碼系統(tǒng)中利用RPU(200)，已經(jīng)實(shí)現(xiàn)了支持立體和多點(diǎn)視頻編碼的應(yīng)用。通過選擇高級(jí)運(yùn)動(dòng)模型和濾波機(jī)制，以在使用每個(gè)參考圖片以預(yù)測(cè)后續(xù)增強(qiáng)層圖片之前應(yīng)用到來自前一層圖片的每個(gè)參考圖片來實(shí)現(xiàn)這些應(yīng)用。
·
在幀兼容3D傳遞方法和2D兼容3D傳遞方法兩者中，應(yīng)用涉及針對(duì)每個(gè)參考圖片選擇適當(dāng)?shù)母呒?jí)運(yùn)動(dòng)模型(包括但不限于平移、縮放、旋轉(zhuǎn)、仿射和立體透視變換)和濾波機(jī)制(包括但不限于雙線性、雙三次、米切爾-奈特拉瓦利(Mitchell-Netravali)、蘭克澤斯(Lanczos)和用戶指定的插值濾波器)的技術(shù)。這些3D傳遞方法與當(dāng)前由MPEG-4AVC/H. 264的多視點(diǎn)視頻編碼(MVC)擴(kuò)展支持的方法類似。與其中對(duì)后續(xù)增強(qiáng)層的預(yù)測(cè)考慮未經(jīng)過處理的、來自前一層的參考圖片的MVC不同，RPU(200)使得能夠在將來自前一層的參考圖片用于后續(xù)增強(qiáng)層的預(yù)測(cè)之前將它們進(jìn)行改進(jìn)。改進(jìn)通常改善編碼優(yōu)勢(shì)。本公開的幾個(gè)實(shí)施例集中于2D兼容多層3D編碼方法。也可以在幀兼容3D編碼方法中以及在諸如通用可擴(kuò)展2D編碼等其它應(yīng)用中使用所呈現(xiàn)的編碼方法。另外，可以在與智能和自適應(yīng)插值濾波、強(qiáng)度補(bǔ)償方法以及去塊/去噪濾波器的組合中，使用所呈現(xiàn)的編碼方法。繼續(xù)參考示出了利用RPU(200)的視頻編碼系統(tǒng)的圖2，在將參考圖片存儲(chǔ)在參考圖片緩沖器(205)中或者從參考圖片緩沖器(205)中檢索到參考圖片之后，對(duì)來自參考圖片緩沖器(205)的參考圖片進(jìn)行處理。與不對(duì)參考圖片進(jìn)行處理的情況相比，通過對(duì)參考圖片進(jìn)行處理，參考圖片可以提供對(duì)后續(xù)視頻圖片更準(zhǔn)確的預(yù)測(cè)。這些處理方法通常包括通過使用運(yùn)動(dòng)模型的運(yùn)動(dòng)補(bǔ)償方法。稍后將在本公開中描述運(yùn)動(dòng)模型的具體類別。對(duì)參考圖片進(jìn)行處理的一種示例性方式是對(duì)參考圖片應(yīng)用特定全局或局部化運(yùn)動(dòng)模型。在與運(yùn)動(dòng)補(bǔ)償方法的組合中，通過線性或者非線性濾波器進(jìn)行的處理也可以用于分?jǐn)?shù)位置插值、去噪、偽影(artifact)減少(例如去塊)和圖像增強(qiáng)。圖3示出了參考圖片處理技術(shù)在多視點(diǎn)或者多層視頻編碼系統(tǒng)中的使用。參考圖3，該系統(tǒng)包括基本視點(diǎn)(300)和第二視點(diǎn)(305)。另外，該系統(tǒng)包括視點(diǎn)間RPU(310)。基本視點(diǎn)(300)和第二視點(diǎn)(305)具有對(duì)應(yīng)的基本視點(diǎn)參考圖片緩沖器(315)和第二視點(diǎn)參考圖片緩沖器(325)?；疽朁c(diǎn)參考圖片緩沖器(315)與基本視點(diǎn)RPU(320)連接，第二視點(diǎn)參考圖片緩沖器(325)與第二視點(diǎn)RPU(330)連接。視點(diǎn)間RPU(310)與兩個(gè)圖片緩沖器
(315,325)連接。雖然圖3示出了兩個(gè)視點(diǎn)或者兩層視頻編碼系統(tǒng)，但是也可以考慮具有用于每個(gè)視點(diǎn)或者層的附加RPU的附加視點(diǎn)或者層以及附加視點(diǎn)間或者層間RPU。繼續(xù)參考圖3，由相應(yīng)的RPU(320、330)對(duì)基本和第二視點(diǎn)(300、305)內(nèi)的參考圖片進(jìn)行處理。另外，在從基本視點(diǎn)(300)向第二視點(diǎn)(305)發(fā)送參考圖片之前，視點(diǎn)間RPU(310)對(duì)從基本視點(diǎn)參考圖片緩沖器(315)接收到的參考圖片進(jìn)行處理。由視點(diǎn)間RPU(310)進(jìn)行的處理通常出現(xiàn)在將所有參考圖片存儲(chǔ)在每個(gè)視點(diǎn)專用的參考圖片緩沖器
(315,325)中之后，或者針對(duì)后續(xù)圖片的預(yù)測(cè)考慮特定參考圖片時(shí)(例如在敏銳的RPU處理中)。例如，可以根據(jù)指定運(yùn)動(dòng)模型使用于基本視點(diǎn)(300)的參考圖片扭曲，以生成可以在基本視點(diǎn)(300)、第二視點(diǎn)(305)或者兩個(gè)視點(diǎn)(300、305)中用于后續(xù)圖片的預(yù)測(cè)的新的參考圖片。使用每個(gè)緩沖器(315、325)中的原始參考圖片，來生成用于相同視點(diǎn)(300、305)或者用于另一視點(diǎn)(300、305)的附加參考圖片。在給出諸如運(yùn)動(dòng)模型、插值濾波器和強(qiáng)度補(bǔ)償參數(shù)等新的處理參數(shù)(它們可能特定用于要處理的后續(xù)圖片)的情況下，可以對(duì)原始參考圖片或者新生成的參考圖片再次進(jìn)行處理。例如，對(duì)于視點(diǎn)間參考處理(310)，運(yùn)動(dòng)模型信息可以表示視點(diǎn)(300、305)之間的差異，諸如用來捕獲每個(gè)視點(diǎn)(300、305)的不同的照相機(jī)位置和角度。運(yùn)動(dòng)模型信息不僅可以包括運(yùn)動(dòng)扭曲信息 ，還可以包括例如指示使用哪個(gè)插值濾波器以生成子像素位置的附加信息以及強(qiáng)度補(bǔ)償信息。處理模型可以包含諸如高斯和/或可分離線性濾波器等去噪濾波器、諸如中值或者分階濾波器等非線性濾波器等。還可以使用可以跨區(qū)域指定的去塊方法。在通常的情況下，由視頻編碼系統(tǒng)處理的視點(diǎn)/層的數(shù)量可以遠(yuǎn)多于圖3所示的兩個(gè)視點(diǎn)/層的視頻編碼系統(tǒng)。通常，可以對(duì)特定視點(diǎn)/層的參考圖片進(jìn)行處理，以生成另一視點(diǎn)/層的另外的參考圖片。另外，可以對(duì)特定視點(diǎn)/層的參考圖片進(jìn)行處理，以生成用于特定視點(diǎn)/層本身的增強(qiáng)參考圖片。在參數(shù)估計(jì)處理方面，可以基于使用適當(dāng)?shù)呐で鷧?shù)的運(yùn)動(dòng)模型，在編碼器側(cè)估計(jì)或者選擇運(yùn)動(dòng)模型信息。扭曲參數(shù)可以取決于單個(gè)指定標(biāo)準(zhǔn)或者其它標(biāo)準(zhǔn)中的諸如的視覺質(zhì)量、算法復(fù)雜度、位率等指定標(biāo)準(zhǔn)的組合。可選地，可以基于使用適當(dāng)?shù)牟逯禐V波器參數(shù)、強(qiáng)度補(bǔ)償參數(shù)或者去塊/去噪?yún)?shù)的運(yùn)動(dòng)模型，在編碼器側(cè)估計(jì)或者選擇運(yùn)動(dòng)模型信息。另外，可以基于迄今為止未列出的其它參數(shù)中的所使用的扭曲參數(shù)、插值濾波器參數(shù)、強(qiáng)度補(bǔ)償參數(shù)和去塊參數(shù)的適當(dāng)?shù)慕M合，在編碼器側(cè)估計(jì)或者選擇運(yùn)動(dòng)模型信息。通過除了使用高級(jí)運(yùn)動(dòng)模型之外還將線性和非線性濾波進(jìn)行組合(級(jí)聯(lián)或者組合)，可以獲得附加好處。圖12示出了解碼器側(cè)的參考處理單元的示例性實(shí)施例。可以將包括但不限于扭曲參數(shù)、插值濾波器參數(shù)、強(qiáng)度補(bǔ)償參數(shù)和去塊/去噪?yún)?shù)的所有運(yùn)動(dòng)模型信息封裝在參考處理單元的有效載荷中，并且發(fā)送到解碼器(1200)。換句話說，RPU的有效載荷包含直接用于對(duì)參考圖片進(jìn)行處理的運(yùn)動(dòng)模型信息。與有效載荷相反，RPU還可以包含附加頭信息，附加頭信息可以對(duì)有效載荷以及需要如何對(duì)有效載荷進(jìn)行處理或使用以對(duì)信號(hào)進(jìn)行重構(gòu)和顯示進(jìn)行描述。RPU的解碼器包括解析單元(1205)，解析單元(1205)對(duì)RPU的有效載荷進(jìn)行解析，并且使用從有效載荷中提取的信息來恢復(fù)與由RPU的編碼器(在圖12中未示出)使用的處理參數(shù)一致或者幾乎一致的處理參數(shù)。具體地，圖12所示的實(shí)施例從有效載荷中獲得關(guān)于由編碼器使用的運(yùn)動(dòng)模型參數(shù)(1210)、插值濾波器參數(shù)(1210)、強(qiáng)度補(bǔ)償參數(shù)(1215)和去噪濾波器參數(shù)(1220)的信息。在對(duì)重構(gòu)參考圖片(1225)進(jìn)行處理時(shí)，利用這些參數(shù)(1210、1215、1220)。重構(gòu)參考圖片(1225)可以是原始參考圖片或者先前RI3U處理過的參考圖片。原始參考圖片是指從參考圖片緩沖器(例如圖2所示的參考圖片緩沖器(205))直接取得的未經(jīng)過任何處理的參考圖片。相反，由于可以級(jí)聯(lián)多個(gè)RPU，因此先前RPU處理過的參考圖片是來自參考圖片緩沖器的經(jīng)過一個(gè)RPU或者多個(gè)RPU處理的參考圖片。因此，所考慮的當(dāng)前RPU編碼器/解碼器可以將原始參考圖片或者來自前一層或者前一編碼/解碼步驟的先前RPU處理過的參考圖片取作輸入?yún)⒖紙D片。再次參考圖12，原始參考圖片或者先前RPU處理過的參考圖片用作對(duì)于所考慮的當(dāng)前RPU解碼器的輸入?yún)⒖紙D片(被稱為重構(gòu)參考圖片(1225))。作為一系列步驟示出了對(duì)重構(gòu)參考圖片(1225)的處理，該一系列步驟包括利用從編碼器獲得的參數(shù)(1210、1215、1220)執(zhí)行的圖片扭曲(1230)、強(qiáng)度補(bǔ)償(1235)和噪聲去除(1240)。處理的結(jié)果是處理后的參考圖片(1245)。在考慮中的當(dāng)前RI3U解碼器的處理后的參考圖片(1245)可以用作到后續(xù)RPU解碼器的輸入?yún)⒖紙D片和/或用作用來進(jìn)行后續(xù)圖片的預(yù)測(cè)的圖片。由于解碼器恢復(fù)了與編碼器使用的處理模型類似的處理模型，因此處理后的參考圖片(1245)經(jīng)過了與在編碼器處進(jìn)行的處理類似的處理。為了進(jìn)一步提高編碼效率，可以將不同的參考圖片處理有效載荷信息發(fā)送到重構(gòu) 參考圖片(1225)的不同區(qū)域。換句話說，可以將重構(gòu)參考圖片(1225)分割為多個(gè)區(qū)域，每個(gè)區(qū)域可以具有其自己的最佳處理參數(shù)。這可以允許要應(yīng)用于每個(gè)具體區(qū)域的更準(zhǔn)確的運(yùn)動(dòng)模型參數(shù)和濾波參數(shù)。圖4示出了根據(jù)每個(gè)區(qū)域內(nèi)的運(yùn)動(dòng)的同質(zhì)性將參考圖片分割為許多區(qū)域的第一示例。另外，這許多區(qū)域是不重疊的。類似地，圖5示出了根據(jù)運(yùn)動(dòng)的同質(zhì)性將參考圖片分割為許多區(qū)域的第二示例。然而，圖5中的這許多區(qū)域是重疊的。在圖4和5兩者中，可以使用單獨(dú)的參數(shù)集合來描述每個(gè)區(qū)塊。在一個(gè)參考圖片中存在具有不同運(yùn)動(dòng)參數(shù)的多個(gè)運(yùn)動(dòng)區(qū)域或者在一個(gè)參考圖片中存在不同的模糊和焦點(diǎn)特性的情況下，基于區(qū)域的RPU信令將可能產(chǎn)生更高的編碼效率。區(qū)域可以是矩形的，如圖4和5所示，但是區(qū)域也可以具有任何任意形狀。區(qū)域可以如在圖4中是不重疊的，或者如在圖5中是重疊的。另外，區(qū)域可以包含單個(gè)或多個(gè)處理參數(shù)。例如，特定區(qū)域可以不僅僅由單個(gè)運(yùn)動(dòng)模型來表示。例如，可以對(duì)同一區(qū)域以信令通知縮放運(yùn)動(dòng)模型和仿射運(yùn)動(dòng)模型兩者以及諸如強(qiáng)度補(bǔ)償參數(shù)等其它參數(shù)。注意，區(qū)域的重疊部分通常具有對(duì)其應(yīng)用的多個(gè)運(yùn)動(dòng)模型。通過使用每個(gè)運(yùn)動(dòng)模型估計(jì)的運(yùn)動(dòng)矢量的平均或者加權(quán)平均，將獲得基于本參考圖片的區(qū)域?qū)罄m(xù)圖片上的區(qū)域的預(yù)測(cè)。作為示例而非限制，基于特定區(qū)域和其鄰接區(qū)域的運(yùn)動(dòng)矢量之間的相似和不同，可以以信令告知或者可以確定具體平均方法?？梢钥鐓^(qū)域應(yīng)用去塊方法，這可以包括基于像素的方法和/或其它頻域(例如超完備去噪)方法。對(duì)跨區(qū)域應(yīng)用多少濾波進(jìn)行量化的去塊強(qiáng)度，可以基于在相鄰區(qū)塊中使用的運(yùn)動(dòng)模型或者預(yù)測(cè)方法的不同以及相鄰區(qū)塊之間的運(yùn)動(dòng)模型參數(shù)的不同。在兩個(gè)區(qū)域使用相同預(yù)測(cè)方法以及相同或類似運(yùn)動(dòng)模型的特定情況下，不進(jìn)行去塊濾波。如果通過應(yīng)用不同運(yùn)動(dòng)模型獲得的所有運(yùn)動(dòng)矢量的絕對(duì)差低于某一預(yù)定定義的閾值或者閾值的集合，則認(rèn)為運(yùn)動(dòng)模型類似。另一方面，如果使用不同的運(yùn)動(dòng)模型，或者運(yùn)動(dòng)矢量之間的差很明顯(差大于閾值或者閾值的集合)，則應(yīng)用強(qiáng)去塊。參考圖片中的一些區(qū)域可能需要較多濾波，而其它區(qū)域需要較少濾波。對(duì)任意特定區(qū)域應(yīng)用的濾波的量，取決于特定區(qū)域的運(yùn)動(dòng)模型和預(yù)測(cè)方法、以及該特定區(qū)域的運(yùn)動(dòng)模型和預(yù)測(cè)方法與該特定區(qū)域的鄰接區(qū)塊的運(yùn)動(dòng)模型和預(yù)測(cè)方法之間的關(guān)系。另外，對(duì)區(qū)域應(yīng)用的濾波的量可能受特定區(qū)域內(nèi)的紋理特性的影響。雖然基于區(qū)域的RI3U可能需要較高的比特開銷，但是編碼器可以應(yīng)用基于率失真的決策，來找到最佳區(qū)域分割以及用于每個(gè)區(qū)域的最佳運(yùn)動(dòng)模型和預(yù)測(cè)方法。作為示例，視頻編碼系統(tǒng)可以檢查使用用于對(duì)具有單個(gè)區(qū)塊的參考圖片進(jìn)行處理的RPU的性能，而不檢查使用用于對(duì)具有MXN個(gè)區(qū)塊的參考圖片進(jìn)行處理的RPU的性能?？梢栽谶M(jìn)行編碼之前進(jìn)行關(guān)于區(qū)域分割、運(yùn)動(dòng)模型和預(yù)測(cè)方法的最佳組合的決定。例如，可以僅通過將生成的參考圖片的參數(shù)與要編碼的源圖片的參數(shù)進(jìn)行比較來進(jìn)行決定。還可以通過考慮RPU中的全部、部分或者仿真編碼來進(jìn)行決定。例如，使用較低分辨率的圖片表示來進(jìn)行仿真編碼。例如，可以基于編碼方面的性能來選中選擇要以信令通知的方法?？梢允褂弥T如給定了特定拉格朗日乘子的組合率失真性能的特定標(biāo)準(zhǔn)來評(píng)價(jià)性能。 B.運(yùn)動(dòng)樽型在視頻編碼系統(tǒng)的實(shí)施例中，由于不同的運(yùn)動(dòng)模型提供多種可選實(shí)現(xiàn)，因此考慮幾種不同的運(yùn)動(dòng)模型，每種實(shí)現(xiàn)需要不同的復(fù)雜度和運(yùn)動(dòng)范圍?？紤]的運(yùn)動(dòng)模型包括其它模型中的平移、縮放、仿射、立體透視、各向同性和多項(xiàng)式模型。如早前所討論的，這些運(yùn)動(dòng)模型的組合也是可以的。這些運(yùn)動(dòng)模型通?？梢詼?zhǔn)確地描述可能存在于3D真實(shí)世界場景中的復(fù)雜運(yùn)動(dòng)。然而，雖然諸如立體透視運(yùn)動(dòng)模型的運(yùn)動(dòng)模型可以準(zhǔn)確地描述3D運(yùn)動(dòng)，但是這些運(yùn)動(dòng)模型的估計(jì)可能在計(jì)算上十分復(fù)雜。另外，與這些運(yùn)動(dòng)模型相對(duì)應(yīng)的估計(jì)處理可能對(duì)噪聲敏感。在估計(jì)處理對(duì)噪聲敏感的這些情況下，預(yù)濾波或者更魯棒的估計(jì)器可以改善模型估計(jì)處理。可以對(duì)參考圖片、原始圖片或者參考或原始圖片的運(yùn)動(dòng)矢量進(jìn)行預(yù)濾波。魯棒估計(jì)器的示例是利用Levenberg-Marquadet方法的估計(jì)器。此外，需要在解碼器處應(yīng)用的針對(duì)這些運(yùn)動(dòng)模型的運(yùn)動(dòng)補(bǔ)償處理本身可能很復(fù)雜。另一方面，諸如平移模型等較簡單的運(yùn)動(dòng)模型趨于更容易進(jìn)行估計(jì)，并且對(duì)噪聲更魯棒。因此，在本實(shí)施例的視頻編碼系統(tǒng)中具有考慮針對(duì)參考圖片處理具有不同復(fù)雜度和性能特性的多個(gè)不同的運(yùn)動(dòng)模型的靈活性，這允許在設(shè)計(jì)編碼器并且控制需要與編碼器一起工作的解碼器的復(fù)雜度時(shí)更簡單地考慮不同的復(fù)雜度和性能折衷。如早前所討論的，也可以使用諸如平移和縮放模型的組合等不同運(yùn)動(dòng)模型的組合來改善性能。針對(duì)參考圖片的每個(gè)區(qū)域的運(yùn)動(dòng)模型的選擇，取決于諸如失真要求、比特率預(yù)期和運(yùn)動(dòng)模型復(fù)雜度的多種條件。另外，更復(fù)雜的模型可以取決于諸如率失真(RD)成本和率失真復(fù)雜度(RDC)成本的條件。例如，可以使用拉格朗日最優(yōu)化方法在方程式(I)中來計(jì)算運(yùn)動(dòng)模型的RD成本RD(m) = D(Warp(m，R)，O) + λ *(R(motion_model)+R(filier)+R(intensit y_comp)) (I)在上面的方程式(I)中看到的函數(shù)Warp(m，I)是用于運(yùn)動(dòng)補(bǔ)償?shù)呐で瘮?shù)。Warp (m, I)函數(shù)取決于諸如在表I中列出的那些運(yùn)動(dòng)模型等所應(yīng)用的運(yùn)動(dòng)模型。具體地，Warp (m，I)是作為運(yùn)動(dòng)模型的m和作為輸入圖像的I的函數(shù)。在上面的方程式(I)中還看到的函數(shù)R(t)給出針對(duì)處理工具t對(duì)邊信息進(jìn)行編碼的速率。函數(shù)D(x，0)是諸如方差和(SSE)等失真度量函數(shù)。具體地，D(x, O)是作為處理后的信號(hào)的X和作為原始信號(hào)的O的函數(shù)。更高級(jí)的方法例如不僅可以考慮扭曲圖片和原始圖片之間的失真，還可以考慮視頻編碼系統(tǒng)內(nèi)部的使用扭曲圖片的最終編碼效率。如果考慮失真和最終編碼在計(jì)算上太復(fù)雜，則可以使用不同的估計(jì)。例如，可以僅使用基于塊的運(yùn)動(dòng)估計(jì)?？蛇x地，這些估計(jì)可以任選地考慮用于估計(jì)處理的編解碼器內(nèi)的諸如時(shí)間基準(zhǔn)的任意可用基準(zhǔn)的作用。還可以通過考慮二次采樣版本的扭曲圖片和原始圖片來進(jìn)行估計(jì)。還可以通過使用例如基于層級(jí)的運(yùn)動(dòng)估計(jì)方法，使用不同的分辨率圖像來進(jìn)行估計(jì)。如下給出基于層級(jí)的運(yùn)動(dòng)估計(jì)的示例?？梢詮淖畹头直媛实呐で鷧⒖紙D片和原始源圖片，得出對(duì)各種RPU參數(shù)(運(yùn)動(dòng)模型參數(shù)、插值濾波器參數(shù)等)的估計(jì)?？梢詮妮^高分辨率的扭曲參考圖片和原始源圖片，得出對(duì)各種RPU參數(shù)的進(jìn)一步估計(jì)。該進(jìn)一步估計(jì)以及任意后續(xù)估計(jì)進(jìn)一步改進(jìn)了各種RPU參數(shù)的值。這同樣適用于速率考慮，其中，代替僅考慮對(duì)各種RPU參數(shù)(運(yùn)動(dòng)模型參數(shù)、插值濾波器參數(shù)等)進(jìn)行編碼所需的速率，還考慮對(duì)整個(gè)圖片進(jìn)行編碼所需的速率。在考慮對(duì) RPU參數(shù)進(jìn)行編碼所需的速率和對(duì)整個(gè)圖片進(jìn)行編碼所需的速率兩者的情況下，可以選擇不同的拉格朗日參數(shù)以在RPU信令參數(shù)(其相對(duì)于針對(duì)圖片的編碼用信令表示的實(shí)際位)之間使用。簡化可以包括諸如可以潛在地用來對(duì)圖片進(jìn)行編碼的運(yùn)動(dòng)和參考索引等局部參數(shù)的考慮。特別地，不對(duì)整個(gè)圖片進(jìn)行編碼；而僅進(jìn)行局部化運(yùn)動(dòng)估計(jì)。下面示出的表I列出了各種運(yùn)動(dòng)模型。表1.運(yùn)動(dòng)模型
用于運(yùn)動(dòng)
索引型選擇算法運(yùn)動(dòng)模型對(duì)變換的定義
的組索fl■
0O平移2方程式(2)
1I縮放4方程式(3)
—τ I各向同性 ~4方程式(4)
32仿射6方程式(5)
43立體透視 8方程式(6)
54多項(xiàng)式12方程式(7)表I的最后一列是指定義每個(gè)運(yùn)動(dòng)模型的變換方程式。特別地，如下給出針對(duì)每個(gè)模型的方程式。
1. =U1,+/^if4(2)
[ =Ity + kj
權(quán)利要求
1.一種用于對(duì)參考圖片進(jìn)行處理的方法，包括i)基于重構(gòu)參考圖片和處理后的參考圖片估計(jì)值，對(duì)要被編碼的原始圖片執(zhí)行運(yùn)動(dòng)估計(jì)； )進(jìn)一步處理經(jīng)運(yùn)動(dòng)估計(jì)后的圖片，以獲得進(jìn)一步處理后的參考圖片估計(jì)值；以及對(duì)所述運(yùn)動(dòng)估計(jì)和所述進(jìn)一步處理進(jìn)行迭代，以提供處理后的參考圖片。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述進(jìn)一步處理包括用于獲得運(yùn)動(dòng)模型參數(shù)的進(jìn)一步運(yùn)動(dòng)估計(jì)以及估計(jì)插值濾波器參數(shù)、強(qiáng)度補(bǔ)償參數(shù)和去噪濾波器參數(shù)中的至少一個(gè)；以及對(duì)所述重構(gòu)參考圖片應(yīng)用所述運(yùn)動(dòng)模型參數(shù)及所述插值濾波器參數(shù)、強(qiáng)度補(bǔ)償參數(shù)和去噪濾波器參數(shù)中的至少一個(gè)。
3.一種迭代法，用于在單層或者多層視頻編碼系統(tǒng)中執(zhí)行參考圖片處理時(shí)，估計(jì)參考圖片緩沖器的重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域的運(yùn)動(dòng)參數(shù)，所述方法包括i)基于要被編碼的原始圖片以及所述參考圖片緩沖器的所述重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域，執(zhí)行運(yùn)動(dòng)估計(jì)； )執(zhí)行進(jìn)一步運(yùn)動(dòng)估計(jì)，以提供運(yùn)動(dòng)模型參數(shù)；以及iii)根據(jù)所述運(yùn)動(dòng)模型參數(shù)來執(zhí)行扭曲，以獲得扭曲圖片；以及對(duì)進(jìn)行迭代，其中，后續(xù)迭代中的i)中的運(yùn)動(dòng)估計(jì)基于所述要被編碼的原始圖片、所述參考圖片緩沖器的所述重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域以及所述扭曲圖片。
4.根據(jù)權(quán)利要求3所述的方法，在迭代之前還包括iv)對(duì)所述扭曲圖片進(jìn)行濾波，以獲得處理后的參考圖片，其中，所述迭代還對(duì)iv)進(jìn)行迭代，由此對(duì)i)_iv)進(jìn)行迭代，其中，后續(xù)迭代中的i)中的運(yùn)動(dòng)估計(jì)基于所述要被編碼的原始圖片、所述參考圖片緩沖器的所述重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域以及所述處理后的參考圖片。
5.一種迭代法，用于在單層或者多層視頻編碼系統(tǒng)中執(zhí)行參考圖片處理時(shí)，估計(jì)參考圖片緩沖器的重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域的運(yùn)動(dòng)參數(shù)，所述方法包括i)基于要被編碼的原始圖片以及所述參考圖片緩沖器的所述重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域，執(zhí)行運(yùn)動(dòng)估計(jì)； )執(zhí)行進(jìn)一步運(yùn)動(dòng)估計(jì)，以提供運(yùn)動(dòng)模型參數(shù)；iii)對(duì)所述運(yùn)動(dòng)模型參數(shù)進(jìn)行處理，以提供插值濾波器參數(shù)和強(qiáng)度補(bǔ)償參數(shù)中的至少一個(gè)；iv)根據(jù)所述運(yùn)動(dòng)模型參數(shù)以及所述插值濾波器參數(shù)和強(qiáng)度補(bǔ)償參數(shù)中的至少一個(gè)來執(zhí)行扭曲，以獲得扭曲圖片；以及對(duì)i)-1v)進(jìn)行迭代，其中，后續(xù)迭代中的i)中的運(yùn)動(dòng)估計(jì)基于所述要被編碼的原始圖片、所述參考圖片緩沖器的所述重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域以及所述扭曲圖片。
6.根據(jù)權(quán)利要求5所述的方法，在迭代之前還包括V)對(duì)所述扭曲圖片進(jìn)行濾波，以獲得處理后的參考圖片，其中，所述迭代還對(duì)iv)和V) 進(jìn)行迭代，由此對(duì)i)-v)進(jìn)行迭代，其中，后續(xù)迭代中的i)中的運(yùn)動(dòng)估計(jì)基于所述要被編碼的原始圖片、所述參考圖片緩沖器的所述重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域以及所述處理后的參考圖片。
7.一種解碼方法，所述解碼方法用于當(dāng)在單層或多層視頻編碼系統(tǒng)中執(zhí)行參考圖片處理時(shí)，在解碼器處對(duì)參考圖片緩沖器的重構(gòu)參考圖片或者所述重構(gòu)參考圖片的區(qū)域進(jìn)行解碼，所述解碼器被適配為對(duì)從編碼器獲取的參數(shù)信息進(jìn)行接收和解析，所述方法包括i)對(duì)輸入圖片執(zhí)行扭曲，以獲得第一處理圖片；以及 )對(duì)所述第一處理后圖片應(yīng)用強(qiáng)度補(bǔ)償，以獲得第二處理圖片。
8.根據(jù)權(quán)利要求7所述的方法，還包括iii)對(duì)所述第二處理圖片進(jìn)行濾波，以獲取處理后的參考圖片。
9.根據(jù)權(quán)利要求1-6中的任一項(xiàng)所述的方法，其中，所述重構(gòu)參考圖片包括未經(jīng)過處理的所述參考圖片緩沖器中的原始參考圖片。
10.根據(jù)權(quán)利要求1-6中的任一項(xiàng)所述的方法，其中，所述重構(gòu)參考圖片包括先前處理過的參考圖片。
11.根據(jù)權(quán)利要求1-6中的任一項(xiàng)所述的方法，其中，所述先前處理過的參考圖片已經(jīng)通過應(yīng)用可選運(yùn)動(dòng)模型參數(shù)、可選插值濾波器參數(shù)、可選強(qiáng)度補(bǔ)償參數(shù)和可選去噪濾波器參數(shù)中的至少一個(gè)而被處理。
12.根據(jù)權(quán)利要求11所述的方法，其中，根據(jù)先前的要被編碼的原始圖片，估計(jì)所述可選運(yùn)動(dòng)模型參數(shù)、可選插值濾波器參數(shù)、可選強(qiáng)度補(bǔ)償參數(shù)和可選去噪濾波器參數(shù)中的至少一個(gè)。
13.根據(jù)權(quán)利要求11所述的方法，其中，根據(jù)先前的要被編碼的原始圖片和所述先前處理過的參考圖片，估計(jì)所述可選運(yùn)動(dòng)模型參數(shù)、可選插值濾波器參數(shù)、可選強(qiáng)度補(bǔ)償參數(shù)和可選去噪濾波器參數(shù)中的至少一個(gè)。
14.根據(jù)權(quán)利要求1-6或者權(quán)利要求11中的任一項(xiàng)所述的方法，其中，將所述處理后的參考圖片用作迭代中的后續(xù)運(yùn)動(dòng)估計(jì)的參考。
15.根據(jù)權(quán)利要求1-6或者權(quán)利要求11-12中的任一項(xiàng)所述的方法，其中，所述運(yùn)動(dòng)估計(jì)包括下列中的至少一個(gè)基于塊的運(yùn)動(dòng)估計(jì)；頻率相關(guān)運(yùn)動(dòng)估計(jì)；或者相位相關(guān)運(yùn)動(dòng)估計(jì)；像素水平運(yùn)動(dòng)估計(jì)；或者梯度下降估計(jì)。
16.—種系統(tǒng),包括用于進(jìn)行、執(zhí)行或者控制根據(jù)權(quán)利要求1-15中的任一項(xiàng)所述的處理方法的一個(gè)或更多個(gè)步驟的部件。
17.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)產(chǎn)品，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)產(chǎn)品包括存儲(chǔ)在其中的指令，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)產(chǎn)品當(dāng)在至少一個(gè)處理器上執(zhí)行時(shí)，使得、設(shè)計(jì)、控制或者配置所述處理器進(jìn)行、執(zhí)行或者控制處理方法，所述處理方法進(jìn)行、執(zhí)行或者控制根據(jù)權(quán)利要求1-15中的任一項(xiàng)所述的處理方法的一個(gè)或更多個(gè)步驟。
18.—種視頻編碼器，包括至少一個(gè)處理器；以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)在其中的指令，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)當(dāng)在所述至少一個(gè)處理器上執(zhí)行時(shí)，使得、設(shè)計(jì)、控制或者配置所述處理器 進(jìn)行、執(zhí)行或者控制處理方法，所述處理方法進(jìn)行、執(zhí)行或者控制根據(jù)權(quán)利要求1-6或者權(quán)利要求11-15中的任一項(xiàng)所述的處理方法的一個(gè)或更多個(gè)步驟；以及選擇性地輸出根據(jù)所述處理方法步驟編碼的視頻信號(hào)。
19.一種視頻解碼器，包括至少一個(gè)處理器；以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)在其中的指令，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)當(dāng)在所述至少一個(gè)處理器上執(zhí)行時(shí)，使得、設(shè)計(jì)、控制或者配置所述處理器 對(duì)通過根據(jù)權(quán)利要求18所述的視頻編碼器輸出的所述視頻信號(hào)進(jìn)行解碼；或者進(jìn)行、執(zhí)行或者控制處理方法，所述處理方法進(jìn)行、執(zhí)行或者控制根據(jù)權(quán)利要求1-15 中的任一項(xiàng)所述的處理方法的一個(gè)或更多個(gè)步驟。
20.一種視頻或者計(jì)算裝置，包括至少一個(gè)處理器；以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)在其中的指令，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)當(dāng)在所述至少一個(gè)處理器上執(zhí)行時(shí)，使得、設(shè)計(jì)、控制或者配置所述處理器 對(duì)從根據(jù)權(quán)利要求16所述的視頻編碼器輸出的所述視頻信號(hào)進(jìn)行編碼；對(duì)通過根據(jù)權(quán)利要求18或權(quán)利要求19中的一個(gè)或更多個(gè)所述的視頻編碼器輸出的所述視頻信號(hào)進(jìn)行解碼；或者進(jìn)行、執(zhí)行或者控制處理方法，所述處理方法進(jìn)行、執(zhí)行或者控制根據(jù)權(quán)利要求1-15 中的任一項(xiàng)所述的處理方法的一個(gè)或更多個(gè)步驟。
21.一種視頻或者計(jì)算裝置，包括下列中的至少一個(gè)根據(jù)權(quán)利要求18或者權(quán)利要求19中的一個(gè)或更多個(gè)所述的視頻編碼器；根據(jù)權(quán)利要求19所述的視頻解碼器；或根據(jù)權(quán)利要求20所述的視頻或者計(jì)算裝置。
22.根據(jù)權(quán)利要求21所述的視頻裝置，其中，所述裝置被配置、被設(shè)計(jì)或者被控制為執(zhí)行根據(jù)權(quán)利要求1-15中的任一項(xiàng)所述的處理方法的一個(gè)或更多個(gè)步驟。
全文摘要
描述了對(duì)參考圖片的處理。參考處理單元使得能夠用信令表示諸如運(yùn)動(dòng)模型參數(shù)、插值濾波器參數(shù)、強(qiáng)度補(bǔ)償參數(shù)和去噪濾波器參數(shù)等參數(shù)。還討論了用于估計(jì)各種參數(shù)的方法。處理在將參考圖片用于后續(xù)圖片的預(yù)測(cè)之前改善了參考圖片的質(zhì)量，由此改善了預(yù)測(cè)。
文檔編號(hào)H04N7/50GK103026707SQ201180035727
公開日2013年4月3日 申請(qǐng)日期2011年7月20日 優(yōu)先權(quán)日2010年7月21日
發(fā)明者賀玉文, 葉琰, 亞歷山德羅斯·圖拉皮斯 申請(qǐng)人:杜比實(shí)驗(yàn)室特許公司