專利名稱：用于圖像和視頻編解碼中的參考處理的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本公開涉及圖像和視頻編碼和/解碼系統(tǒng)。特別地，公開了用于圖像和視頻編解碼中的參考處理的方法和系統(tǒng)。
背景技術(shù)：
立體(3D)用戶體驗(yàn)的提供已成為內(nèi)容提供商和顯示器制造商兩者的長期保持的目標(biāo)。近來，隨著許多流行3D電影和諸如體育賽事、音樂會(huì)和紀(jì)錄片的其它3D材料的制 作和發(fā)布，向家庭用戶提供立體體驗(yàn)的緊迫性已經(jīng)增加了。已提出了使得能夠向家庭用戶傳送立體3D內(nèi)容的大量方法。已提出的一個(gè)技術(shù)是使用各種濾波、采樣和布置方法將兩個(gè)立體視圖多路復(fù)用為單幀配置(幀兼容)。采樣例如可以是水平、垂直或梅花形五點(diǎn)排列(quincunx)，同時(shí)還可以考慮兩個(gè)視圖之間的偏移，從而允許更好地利用兩個(gè)視圖之間可能存在的冗余。類似地，布置可以為并排、上下(over-under)、線交織和棋盤式包裝(checkerboard packing)等。然而，以上方法需要將每個(gè)視圖下采樣為原始分辨率的一半。所以，已提出了使得能夠傳送全分辨率3D的大量方法。一個(gè)方法是利用兩個(gè)分離和獨(dú)立的比特流(同時(shí)聯(lián)播，simulcast)，其中每個(gè)比特流表示不同的視圖(例如左眼和右眼)。然而，由于沒有利用兩個(gè)視圖之間存在的冗余，該方法在存儲(chǔ)和帶寬要求方面是復(fù)雜的。設(shè)法利用一些冗余的該方法的擴(kuò)展被提出和采用為MPEG-4 AVC/H. 264視頻編碼標(biāo)準(zhǔn)的多視圖視頻編碼(MVC)擴(kuò)展。參考用于一般視聽服務(wù)的高級(jí)視頻編碼，http://www. itu. int/rec/recommendation, asp type=folders&lang=e&parent=T-REC-H. 264,2009 年 3 月，其全部內(nèi)容通過引用合并于此。該方法是可分級(jí)(scalable)系統(tǒng)，其將一個(gè)視圖傳送為基礎(chǔ)層圖像，而將其它視圖傳送為增強(qiáng)層。在這種情況下，僅使用基于平移運(yùn)動(dòng)補(bǔ)償?shù)姆椒ň屠昧艘晥D之間的冗余，同時(shí)與MPEG-4AVC的原始設(shè)計(jì)相比，該系統(tǒng)基于用于執(zhí)行預(yù)測的“智能”參考緩沖器管理?？上ВM管編碼效率有些提高(比同時(shí)聯(lián)播高20-30%)，但是對(duì)只有平移運(yùn)動(dòng)補(bǔ)償?shù)囊揽肯拗屏嗽摲桨傅男阅堋５?，144，701號(hào)美國專利中提出了另一方法，該方法使用仿射模型根據(jù)其它視圖生成一個(gè)視圖的預(yù)測，其全部內(nèi)容通過引用合并于此。具有值得考慮的關(guān)注的其它應(yīng)用包括可分級(jí)視頻傳送應(yīng)用(例如2D可分級(jí)視頻編碼)，其中，期望的是，使用多個(gè)層對(duì)視頻信號(hào)進(jìn)行編碼，每個(gè)層能夠?qū)崿F(xiàn)不同質(zhì)量水平或分辨率(空間或時(shí)間)的視頻信號(hào)。


圖I和圖2示出幀兼容3D架構(gòu)的示例；
圖3和圖4示出圖I和圖2的架構(gòu)的可能的編碼器側(cè)實(shí)現(xiàn)；圖5示出圖I和圖2的架構(gòu)的可能的解碼器側(cè)實(shí)現(xiàn)；圖6示出根據(jù)本公開的實(shí)施例的解碼器側(cè)實(shí)現(xiàn)；圖7和圖8示出有關(guān)圖6的解碼器側(cè)實(shí)現(xiàn)的流程圖；圖9示出計(jì)算兩個(gè)相鄰塊的視差補(bǔ)償值的參考處理樣本；圖10示出如下實(shí)施例的圖其中，根據(jù)多數(shù)塊需要處理參考的圖像區(qū)域，對(duì)多數(shù)塊不需要處理參考的分離的圖像區(qū)域執(zhí)行預(yù)分析；圖11示出根據(jù)本公開的實(shí)施例的第一編碼器側(cè)實(shí)現(xiàn)；
圖12示出根據(jù)本公開的實(shí)施例的第二編碼器側(cè)實(shí)現(xiàn)。
具體實(shí)施例方式根據(jù)第一方面，提供了一種多層視頻解碼系統(tǒng)，包括第一層，包括第一層視頻解碼器；與第一層相關(guān)聯(lián)的第二層，第二層包括第二層視頻解碼器；處理選擇器，其選擇是否處理第一層視頻解碼器的輸出并且將經(jīng)處理的輸出輸入到第二層視頻解碼器中；位于處理選擇器的下游的處理模塊，其根據(jù)處理選擇器的指示處理第一層視頻解碼器的輸出并且將經(jīng)處理的輸出輸入到第二層視頻解碼器中。根據(jù)第二方面，提供了一種視頻解碼器，包括解碼環(huán)路，其適合于接收編碼信號(hào)并且輸出解碼信號(hào)；與解碼環(huán)路連接的處理模塊，該處理模塊適合于接收解碼的輸入信號(hào)并且將經(jīng)處理的解碼的輸入信號(hào)發(fā)送到解碼環(huán)路；以及與處理模塊連接的選擇器，其適合于接收解碼的輸入信號(hào)并且選擇是否將解碼的視頻信號(hào)發(fā)送到處理模塊。根據(jù)第三方面，提供了一種選擇性地處理解碼的視頻信息的方法，包括提供第一層視頻解碼器和第二層視頻解碼器；選擇是(a)處理第一層視頻解碼器的輸出還是(b)不處理第一層視頻解碼器的輸出；以及在(a)的情況下，處理第一層視頻解碼器的輸出并且將經(jīng)處理的輸出輸入到第二層視頻解碼器中。根據(jù)第四方面，提供了一種在視頻解碼系統(tǒng)中選擇性地執(zhí)行視差補(bǔ)償?shù)姆椒?，包括提供解碼的視頻信號(hào)；選擇是(a)使用與解碼的視頻信號(hào)有關(guān)的信息還是(b)不使用與解碼的視頻信號(hào)有關(guān)的信息；在(&)的情況下，處理解碼的視頻信號(hào)，以及根據(jù)經(jīng)處理的解碼的視頻信號(hào)執(zhí)行視差補(bǔ)償；在6)的情況下，獨(dú)立于解碼的視頻信號(hào)執(zhí)行視差補(bǔ)償。根據(jù)第五方面，提供了一種在視頻解碼系統(tǒng)中選擇性地執(zhí)行視差補(bǔ)償?shù)姆椒?，包括提供解碼的視頻信號(hào)；選擇是(a)使用與解碼的視頻信號(hào)有關(guān)的信息還是(b)不使用與解碼的視頻信號(hào)有關(guān)的信息；在(3)的情況下，執(zhí)行第一視差補(bǔ)償，第一視差補(bǔ)償基于解碼的視頻信號(hào)的處理并且與其同時(shí)執(zhí)行；在6)的情況下，執(zhí)行不同于第一視差補(bǔ)償?shù)牡诙暡钛a(bǔ)償。根據(jù)第六方面，提供了一種多層編碼系統(tǒng)，包括第一層，包括第一層視頻編碼器；與第一層相關(guān)聯(lián)的第二層，第二層包括第二層視頻編碼器，第二層視頻編碼器包括視差估計(jì)模塊和視差補(bǔ)償模塊；處理模塊，其處理第一層視頻編碼器的輸出并且將經(jīng)處理的輸出輸入到視差估計(jì)模塊和視差補(bǔ)償模塊中。根據(jù)第七方面，提供了一種多層編碼系統(tǒng)，包括第一層，包括第一層視頻編碼器；與第一層相關(guān)聯(lián)的第二層，第二層包括第二層視頻編碼器，第二層視頻編碼器包括視差估計(jì)模塊、視差補(bǔ)償模塊和處理模塊，其中，處理模塊與視差補(bǔ)償模塊相組合；以及視差估計(jì)模塊和視差補(bǔ)償模塊接收第一層視頻編碼器的輸出。根據(jù)第八方面，提供了一種多層編碼系統(tǒng)，包括第一層，包括第一層視頻編碼器；與第一層相關(guān)聯(lián)的第二層，第二層包括第二層視頻編碼器；處理選擇器，其選擇是否處理第一層視頻編碼器的輸出；以及處理模塊，其根據(jù)處理選擇器的指示處理第一層視頻編碼器的輸出，其中，將第一層視頻編碼器的經(jīng)處理的輸出和第一層視頻編碼器的未處理的輸出發(fā)送到第二層視頻編碼器。根據(jù)第九方面，提供了一種對(duì)包括第一塊和第二塊的圖像幀或分片進(jìn)行解碼的方法，包括利用多層解碼系統(tǒng)的第一層解碼器對(duì)圖像幀或分片的樣本進(jìn)行解碼；對(duì)解碼樣本進(jìn)行處理；將經(jīng)處理的解碼樣本發(fā)送到多層視頻系統(tǒng)的第二層譯碼器；通過視差補(bǔ)償處理，根據(jù)經(jīng)處理的解碼樣本生成圖像幀的第一塊；以及通過視差補(bǔ)償處理，根據(jù)經(jīng)處理的解碼樣本生成圖像幀的第二塊，其中，用來生成第二塊的經(jīng)處理的解碼樣本的一部分取自于存儲(chǔ)的或預(yù)分析的已用來生成第一塊的經(jīng)處理的解碼樣本。
本申請的說明書、附圖和權(quán)利要求書中提供了本公開的其它實(shí)施例。在2009年7月4日提交的第61/223，027號(hào)美國臨時(shí)申請和2009年4月提交的第61/170，995號(hào)美國臨時(shí)申請中(兩者的全部內(nèi)容均通過引用合并于此)，公開了如下架構(gòu)該架構(gòu)可用來增強(qiáng)類似于MVC (兼容2D)的方案的性能，也可一般地用作可分級(jí)幀兼容全分辨率3D傳送方案或可分級(jí)多層方案(即可分級(jí)多層2D方案)的一部分。假設(shè)支持兩層基礎(chǔ)層和增強(qiáng)層，第61/223，027號(hào)美國臨時(shí)申請的架構(gòu)增加參考處理單元(RPU)部件，該參考處理單元部件可在將來自基礎(chǔ)層的解碼畫面用作增強(qiáng)層的參考畫面之前對(duì)來自基礎(chǔ)層的解碼畫面施加處理步驟。還參考分別示出了幀兼容3D架構(gòu)和2D兼容架構(gòu)的圖I和圖2。然而，RPU的考慮可潛在地增加實(shí)現(xiàn)該處理的裝置的計(jì)算復(fù)雜度和存儲(chǔ)器要求。本公開呈現(xiàn)了如下實(shí)施例該實(shí)施例在最小化存儲(chǔ)器要求并且減小RPU的計(jì)算復(fù)雜度的同時(shí)，能夠?qū)崿F(xiàn)諸如第61/170,995號(hào)美國臨時(shí)申請中的架構(gòu)的架構(gòu)。圖3和圖4提供用于如下系統(tǒng)的譯碼器架構(gòu)的圖該系統(tǒng)包含RPU的特定實(shí)現(xiàn)。本領(lǐng)域技術(shù)人員將理解，盡管本公開的一些示例指向兩層系統(tǒng)，但是相同原理也可應(yīng)用于在層之間可包含多個(gè)RPU部件的多層系統(tǒng)。通過示例而非限制，多層系統(tǒng)可包括基礎(chǔ)層和一個(gè)或更多個(gè)增強(qiáng)層。根據(jù)圖3和圖4所示的，基礎(chǔ)層(BL)重構(gòu)圖像存儲(chǔ)在基礎(chǔ)層中的參考畫面緩沖器(305，405)中，但是給定包括在比特流中的適當(dāng)信息，基礎(chǔ)層(BL)重構(gòu)圖像也可被處理(310，410)以獲得用于增強(qiáng)層(EL)的合適的預(yù)測(315，415)?？墒褂弥T如率失真特性、處理方案復(fù)雜度等編碼標(biāo)準(zhǔn)的組合來推導(dǎo)合適的預(yù)測。處理可包括插值、低通濾波、或高通濾波、相移、銳化等，并且例如，如第61/170，995號(hào)美國臨時(shí)申請中所指定的，每種類型的濾波器可應(yīng)用于整個(gè)圖像，或者不同濾波器可基于每個(gè)區(qū)域、每個(gè)視圖、每個(gè)色度分量等來應(yīng)用。然后，經(jīng)處理的基礎(chǔ)層圖像存儲(chǔ)在增強(qiáng)層的參考畫面緩沖器(320，420)中，并且通過信號(hào)將參考處理濾波器信息(325，425)發(fā)送給解碼器。另外，增強(qiáng)層的參考畫面緩沖器還可根據(jù)增強(qiáng)層重構(gòu)圖像包括其它的、以前的基礎(chǔ)層參考和/或時(shí)間參考。通常，給定率失真優(yōu)化判定機(jī)制(330，430)，對(duì)增強(qiáng)層進(jìn)行編碼。根據(jù)這樣的判定機(jī)制(330，430)，針對(duì)要編碼的增強(qiáng)層圖像的每個(gè)區(qū)域(例如宏塊或像素塊)，給定可能先前已存儲(chǔ)在參考畫面緩沖器(320，420)中的可利用的編碼樣本或參考，來確定最佳預(yù)測(根據(jù)某些編碼標(biāo)準(zhǔn))方法。率失真優(yōu)化(330，430)處理和視差估計(jì)(335，435)處理確定適當(dāng)?shù)膲K/宏塊模式和預(yù)測參數(shù)，例如視差向量、參考、權(quán)重、偏移等，然后，該塊/宏塊模式和預(yù)測參數(shù)用在視差補(bǔ)償處理(340，440)中以生成要編碼的增強(qiáng)層圖像的最終預(yù)測，并且還通過信號(hào)被發(fā)送到EL比特流中的解碼器。也可通過信號(hào)發(fā)送量化參數(shù)、和經(jīng)轉(zhuǎn)換并編碼的剩余信息，以努力減少在該處理之后可能仍然存在的任何預(yù)測誤差。圖5示出具有對(duì)RPU處理提供支持的示例性解碼器實(shí)現(xiàn)的圖。在該解碼器中，類似于圖3和圖4中所示的編碼器，基礎(chǔ)層重構(gòu)圖像輸入到BL參考畫面緩沖器(505)，以及還被發(fā)送到RPU (510)并且被處理以獲得EL圖像的預(yù)測(515)。然后，該預(yù)測存儲(chǔ)在EL參考畫面緩沖器(520)中，并且在視差補(bǔ)償處理(525)期間根據(jù)需要來使用。然而，在存儲(chǔ)器約束的裝置中，將BL的預(yù)測存儲(chǔ)在EL參考畫面緩沖器(520)中對(duì)于實(shí)現(xiàn)來說可能是昂貴的。另外，該實(shí)現(xiàn)沒有考慮增強(qiáng)層實(shí)際上參考基礎(chǔ)層的多少個(gè)區(qū)域。所以可能的是，被RPU(510)處理的樣本從未用于預(yù)測，因此導(dǎo)致解碼期間的不需要的處理。這樣的處理可能是非 常昂貴的，尤其是對(duì)于功率約束的裝置來說，或者當(dāng)需要根據(jù)每個(gè)像素的操作來實(shí)現(xiàn)最佳可能的解碼性能時(shí)。根據(jù)本公開的若干實(shí)施例，通過將參考處理級(jí)與解碼器的視差補(bǔ)償處理相集成，來減少RPU的存儲(chǔ)器和處理要求。圖6圖示根據(jù)本公開的解碼器架構(gòu)的實(shí)施例。與圖5中呈現(xiàn)的架構(gòu)不同，參考處理級(jí)(605)在參考選擇(610)之后被執(zhí)行并且作為視差補(bǔ)償處理的一部分。另一方面，在圖5示出的先前架構(gòu)中，參考處理(510)在參考選擇之前被執(zhí)行，以及參考選擇在視差補(bǔ)償級(jí)(525)期間被執(zhí)行。所以，圖6的實(shí)施例的第一結(jié)果是不需要存儲(chǔ)整個(gè)經(jīng)處理的基礎(chǔ)層參考，因此潛在地節(jié)省存儲(chǔ)器，這是因?yàn)槿绻枰?，增?qiáng)層解碼器可參考由基礎(chǔ)層解碼器尋址的相同存儲(chǔ)器。圖6的實(shí)施例的其它結(jié)果是還可以顯著地減少解碼操作。計(jì)算復(fù)雜度的減小是由于如下事實(shí)由增強(qiáng)層解碼器在“根據(jù)需要”的基礎(chǔ)上執(zhí)行參考處理(605)。例如，這在如下情況下特別有用由于一些區(qū)域可能僅考慮其它類型的預(yù)測，例如根據(jù)之前解碼的增強(qiáng)層畫面的內(nèi)部預(yù)測器(空間預(yù)測器)或時(shí)間預(yù)測器，所以這些區(qū)域根本不需要基礎(chǔ)層重構(gòu)圖像(615)的參考處理。本公開中使用的術(shù)語“視差”指的是任何類型的差異，包括時(shí)間視差、空間、2D和3D、質(zhì)量視差、分辨率等。在一個(gè)實(shí)施例中，組合的參考處理和視差補(bǔ)償處理(605)可被實(shí)現(xiàn)為如圖7設(shè)定的級(jí)聯(lián)濾波器。在該情況下，針對(duì)要編碼的增強(qiáng)層圖像的每個(gè)圖像區(qū)域(例如塊)，參考選擇器(705)確定(710)是否通過參考基礎(chǔ)層或者使用不同類型的預(yù)測(例如內(nèi)部預(yù)測器或時(shí)間預(yù)測器)導(dǎo)出預(yù)測。如果使用基礎(chǔ)層參考(715)，則激活參考處理濾波器(720)。特定類型的濾波器(720)可取決于比特流中通過信號(hào)發(fā)送的RPU參數(shù)。通常執(zhí)行濾波(720)以獲得視差補(bǔ)償濾波器(725)所需要的輸入樣本，并且不需要對(duì)其它樣本進(jìn)行處理。換言之，濾波(720)應(yīng)用于預(yù)測目的，而不是用于可視/顯示目的。例如，在MPEG-4 AVC/H. 264標(biāo)準(zhǔn)中，視差補(bǔ)償使用6抽頭濾波器，用于預(yù)測在參考中的1/2像素位置處的圖像樣本。在該情況下，假設(shè)視差參數(shù)(運(yùn)動(dòng)向量)指向參考處理圖像的特定的1/2像素位置，在參考處理圖像中僅需要生成6個(gè)相鄰樣本，以獲得圖像樣本的對(duì)應(yīng)的視差補(bǔ)償增強(qiáng)層預(yù)測。根據(jù)在用于運(yùn)動(dòng)補(bǔ)償插值的任何其它處理之前的相鄰樣本的處理，不同位置，例如整數(shù)像素位置或四分之一像素位置可具有不 同的要求?？舍槍?duì)亮度樣本和色度樣本兩者考慮類似的處理。圖7的實(shí)施例使得能夠重復(fù)使用解碼器中的現(xiàn)有塊，例如運(yùn)動(dòng)補(bǔ)償插值塊。本公開提供了其它實(shí)施例，其中甚至進(jìn)一步減小了系統(tǒng)的復(fù)雜度。通過示例，在圖8的實(shí)施例中，參考處理和視差補(bǔ)償濾波器可組合在一起以生成執(zhí)行兩者任務(wù)的單個(gè)濾波器(805 )。例如，當(dāng)使用線性濾波器執(zhí)行參考處理和視差補(bǔ)償兩者時(shí)，組合濾波器可為兩個(gè)單獨(dú)濾波器的卷積。在不同的示例中，頻域?yàn)V波器可與插值濾波器組合在一起，從而導(dǎo)致具有不同濾波器系數(shù)的濾波器。如圖8所示，組合濾波器系數(shù)取決于根據(jù)編碼比特流生成的RPU濾波器參數(shù)(810)和視差參數(shù)(815)兩者，例如運(yùn)動(dòng)向量長度。然而，假設(shè)存在可能的RI3U濾波器參數(shù)(810)的有限集合和可能的視差補(bǔ)償濾波器(815)的有限集合，可預(yù)先計(jì)算所有可能的組合濾波器，并且使用查找表對(duì)濾波器參數(shù)進(jìn)行尋址。在另一實(shí)施例中，可通過采用之前計(jì)算的參考處理樣本對(duì)圖進(jìn)行填充，來減小解碼器計(jì)算復(fù)雜度。可參考圖9的示例，其中，給定參考，視差補(bǔ)償處理需要計(jì)算兩個(gè)4 X 4像素塊(塊A和塊B)的水平1/2像素位置。在MPEG-4AVC中，該處理可涉及使用6抽頭濾波器。如圖所示，在生成塊A所需的參考處理樣本“X”與生成塊B所需的樣本“X”之間存在顯著的預(yù)測交疊。所以，解碼器可潛在地存儲(chǔ)來自計(jì)算塊A所需的樣本中的所有的交疊樣本，然后在計(jì)算塊B時(shí)使用交疊樣本以減小計(jì)算復(fù)雜度。圖9中的情況僅是示例性的情況，并且即使當(dāng)塊A和塊B不相鄰時(shí)，當(dāng)塊A和塊B具有不同大小時(shí)，當(dāng)使用不同的視差補(bǔ)償濾波器時(shí)等，也可應(yīng)用相同的概念。還應(yīng)當(dāng)注意，在一個(gè)實(shí)施例中，所有之前計(jì)算的參考處理樣本數(shù)據(jù)可存儲(chǔ)在圖中，而在另一實(shí)施例中，可在解碼器處執(zhí)行運(yùn)動(dòng)和參考信息的預(yù)分析，以確定哪些參考處理樣本需要存儲(chǔ)在圖中，以及哪些樣本可丟棄?？赏ㄟ^在執(zhí)行任何運(yùn)動(dòng)補(bǔ)償和剩余解碼之前分析比特流信息，來進(jìn)行這樣的預(yù)分析。在其它實(shí)施例中，為了減少可能由于這樣的分析而出現(xiàn)的解碼器中的條件分支，以及防止不得不在宏塊(例如16X16)級(jí)或子塊(例如小于或等于16X16)級(jí)激活和禁止RPU的使用，可在區(qū)域級(jí)進(jìn)行RPU考慮。特別地，取代RI3U處理和存儲(chǔ)整個(gè)參考畫面，可以僅處理畫面的一些區(qū)域。根據(jù)這樣的實(shí)施例，解碼器首先分析比特流以發(fā)現(xiàn)“RPU”相關(guān)的MB，然后生成緊記該信息的RPU處理參考。例如，如果已知某些區(qū)域永遠(yuǎn)也不會(huì)用于預(yù)測，則不處理這樣的區(qū)域。另一方面，如果區(qū)域被一個(gè)或更多個(gè)宏塊用于預(yù)測，則生成屬于該區(qū)域的樣本?？蓞⒖紙D10的實(shí)施例，其中解碼器首先確定(1005)哪些宏塊需要RPU處理。然后，解碼器還可劃分(1010)要在不同區(qū)域中解碼的畫面或分片(1015，1020)。劃分可以是固定的(例如對(duì)應(yīng)于NXM個(gè)宏塊)，或者例如給定來自RI3U使用分析的信息，劃分可以是自適應(yīng)的，以及其中區(qū)域被劃分(通常以矩形區(qū)域)成包含盡可能多的采用RPU處理的相鄰塊。以這種方式，解碼器可以如圖5 —樣從開始只對(duì)具有采用RPU處理的宏塊的那些區(qū)域進(jìn)行處理，或者以較低的成本在解碼期間適當(dāng)?shù)卣{(diào)度級(jí)聯(lián)或組合版本的RPU處理。例如，這可通過采用系統(tǒng)中可利用的更小尺寸并且可能更快的存儲(chǔ)器來完成。也可以考慮混合方法。在這樣的方法中，即在運(yùn)動(dòng)補(bǔ)償之前執(zhí)行大量采用RPU處理的一些區(qū)域的處理，而“在運(yùn)行中(on the fly)”執(zhí)行分離的區(qū)域的RI3U處理。確定需要RI3U處理的區(qū)域的一個(gè)簡單方法是分析比特流中的參考信息。在該情況下，與大多數(shù)塊/子區(qū)域需要RPU處理樣本的區(qū)域相對(duì)應(yīng)的區(qū)域可被選擇用于RPU處理。除了參考信息之外，運(yùn)動(dòng)/視差向量信息也可用來生成需要RPU處理的區(qū)域的更準(zhǔn)確的圖。注意，可在分析整個(gè)圖像的比特流、或者每個(gè)分片的比特流、或者甚至分片的一部分的比特流之后執(zhí)行區(qū)域計(jì)算。還可能的是，取代或者除執(zhí)行比特流的分析以確定哪些區(qū)域應(yīng)當(dāng)采用RPU處理以及哪些區(qū)域不應(yīng)當(dāng)采用RPU處理之外，這樣的區(qū)域的確定也可基于之前解碼的畫面或分片。特別地，很有可能的是，如果兩個(gè)相鄰的畫面采用類似的工具進(jìn)行編碼，則它們將具有相似的特性。如果第一解碼畫面大量地依靠RPU處理，則很有可能的是，第二畫面也這樣。在這種情形下，可有利的是通過采用圖5中呈現(xiàn)的方法來解碼該畫面。然而，如果第一畫面沒有采用RPU處理，或者偶爾采用RI3U處理，則根據(jù)本公開的“運(yùn)行中”方法中的任意方法將是優(yōu)選的。也可通過分析比特流并且確定第二畫面或分片的比特或模式與第一畫面或分片的比特或模式有多相似，來增強(qiáng)這樣的判定。
在下面的段落中，將示出根據(jù)本公開的實(shí)施例的編碼器架構(gòu)。如稍后額外詳細(xì)描述的，如圖11和圖12所示，除非對(duì)最終的視差補(bǔ)償來說是需要的，否則編碼器避免執(zhí)行RPU處理或存儲(chǔ)RPU參考。視差估計(jì)處理中的判定可使用原始(未處理的)參考(例如參見圖
12)、或者避免額外的存儲(chǔ)器或復(fù)雜度的更簡單的經(jīng)處理的參考(例如參見圖11)。另外，這樣的判定也可采用圖11和圖12的方法的級(jí)聯(lián)或組合版本。例如，該處理可以與快速模式判定相組合，其中，可確定不需要檢查特定的參考，從而節(jié)省計(jì)算循環(huán)。如圖11的實(shí)施例所示，來自RPU (1110)的經(jīng)處理的參考(1105)沒有插入到增強(qiáng)層重構(gòu)畫面緩沖器(1115)中，而是直接用在用于視差估計(jì)(1120)和補(bǔ)償(1125)的率失真優(yōu)化環(huán)路中。取決于由RDO模塊指定的模式和參考選擇，視差估計(jì)模塊(1120)估計(jì)用于指定參考的視差參數(shù)(例如運(yùn)動(dòng)向量、照明參數(shù))。視差補(bǔ)償模塊(1125)使用估計(jì)的視差參數(shù)，根據(jù)指定的參考獲得當(dāng)前圖像的預(yù)測。在另一實(shí)施例中，也如以前所述的和圖12所示的，編碼器也可避免在失真估計(jì)(1205)之前執(zhí)行全RPU處理，而是替代地執(zhí)行率失真優(yōu)化環(huán)路內(nèi)的RPU處理作為視差補(bǔ)償(1210)的一部分。在這種情況下，如果提供的參考不是來自較低層的RPU處理參考，則視差和RPU參數(shù)估計(jì)模塊(1205)可執(zhí)行簡單的視差估計(jì)，或者視差和RPU參數(shù)估計(jì)模塊(1205)可根據(jù)需要執(zhí)行RPU處理。如果RPU處理樣本用于視差估計(jì)，則參考處理和視差補(bǔ)償模塊(1210)將使用用于視差補(bǔ)償?shù)膮⒖继幚順颖?，否則將使用來自增強(qiáng)層參考畫面緩沖器中的時(shí)間參考的樣本。例如，如果在由率失真優(yōu)化處理進(jìn)行的模式判定期間使用早期終止標(biāo)準(zhǔn)，這可以是有利的。在這種情況下，率失真優(yōu)化處理(1215)可確定對(duì)于圖像的一個(gè)或更多個(gè)區(qū)域，給定被約束成提供需要的視頻質(zhì)量的比特率，時(shí)間預(yù)測器足夠準(zhǔn)確，因此選擇不對(duì)使用該區(qū)域的RPU處理預(yù)測的率失真特性進(jìn)行測試。所以，通過在模式判定環(huán)路內(nèi)執(zhí)行RPU處理，也可以顯著減小編碼器處的計(jì)算復(fù)雜度和/或存儲(chǔ)器要求。當(dāng)然，編碼器也具有靈活性以考慮更小復(fù)雜度的濾波器，例如更短的ID或2D濾波器、固定濾波器而不是顯式濾波器等；或者通過全預(yù)處理或通過“運(yùn)行中”處理來執(zhí)行任意的判定，確定基礎(chǔ)層參考是否有用，以及僅當(dāng)基礎(chǔ)層被選擇為參考時(shí)，最優(yōu)化的濾波器才用來處理最終運(yùn)動(dòng)補(bǔ)償步驟的基礎(chǔ)層。
總之，本公開呈現(xiàn)了如下方法該方法顯著減小使用RFU的編解碼器的參考處理級(jí)的計(jì)算復(fù)雜度和存儲(chǔ)器要求，以及由此將這樣的編解碼器的硬件和軟件實(shí)現(xiàn)成本變成具有與不包括RPU設(shè)置的編解碼器相似的量級(jí)。本公開的教導(dǎo)的應(yīng)用包括但不限于視頻編碼和解碼(硬件和軟件)裝置、視頻盤播放器(例如藍(lán)光播放器)、廣播、衛(wèi)星、移動(dòng)3D視頻裝置、IPTV系統(tǒng)等。本領(lǐng)域技術(shù)人員還將理解，本公開的教導(dǎo)可應(yīng)用于各種系統(tǒng)和/或架構(gòu)，例如幀兼容3D視頻系統(tǒng)、2D兼容的3D視頻系統(tǒng)、2D可分級(jí)視頻系統(tǒng)、2D或3D多視圖系統(tǒng)等。本公開中描述的方法和系統(tǒng)可以以硬件、軟件、固件或其組合來實(shí)現(xiàn)。被描述為塊、模塊或部件的特征可一起實(shí)現(xiàn)(例如在諸如集成邏輯器件的邏輯器件中)或分離地實(shí)現(xiàn)(例如作為分離連接的邏輯器件)。本公開的方法的軟件部分可包括計(jì)算機(jī)可讀介質(zhì)，該計(jì)算機(jī)可讀介質(zhì)包括指令，當(dāng)指令被執(zhí)行時(shí)，至少部分地執(zhí)行所描述的方法。計(jì)算機(jī)可讀介質(zhì)例如可包括隨機(jī)訪問存儲(chǔ)器(RAM)和/或只讀存儲(chǔ)器(ROM)。指令可由處理器(例如數(shù)字信號(hào)處理器(DSP))、專用集成電路(ASIC)或現(xiàn)場可編程邏輯陣列(FPGA)來執(zhí)行。
說明書中提及的所有專利和公布可表示本公開所屬的技術(shù)領(lǐng)域中的技術(shù)人員的水平。本公開中引用的所有參考通過引用而合并，就好像每篇參考各自以其整體通過引用而合并的程度。應(yīng)當(dāng)理解，本公開不限于特定的方法或系統(tǒng)，其當(dāng)然可以變化。還應(yīng)當(dāng)理解，本文中使用的術(shù)語僅用于描述特定實(shí)施例的目的，并且不是旨在進(jìn)行限制。如本說明書和所附權(quán)利要求中所使用的，單數(shù)形式的“a”、“an”和“the”包括復(fù)數(shù)指稱，除非內(nèi)容清楚地給出相反表示。術(shù)語“多個(gè)”包括兩個(gè)或更多個(gè)指稱，除非內(nèi)容清楚地給出相反表示。除非相反地定義，本文中使用的科技術(shù)語具有與本公開所屬的技術(shù)領(lǐng)域中的技術(shù)人員通常理解的含義相同的含義。已描述了本公開的許多實(shí)施例。然而，應(yīng)當(dāng)理解，在不偏離本公開的精神和范圍的情況下，可進(jìn)行各種修改。因此，其它實(shí)施例在下面的權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1.一種多層視頻解碼系統(tǒng)，包括 第一層，其包括第一層視頻解碼器； 與所述第一層相關(guān)聯(lián)的第二層，所述第二層包括第二層視頻解碼器； 處理選擇器，其選擇是否處理所述第一層視頻解碼器的輸出并且將經(jīng)處理的輸出輸入到所述第二層視頻解碼器中； 位于所述處理選擇器的下游的處理模塊，其根據(jù)所述處理選擇器的指示處理所述第一層視頻解碼器的輸出并且將經(jīng)處理的輸出輸入到所述第二層視頻解碼器中。
2.如權(quán)利要求I所述的多層視頻解碼系統(tǒng)，其中 所述第二層視頻解碼器包括視差補(bǔ)償模塊；以及 所述視差補(bǔ)償模塊是所述處理模塊的一部分。
3.如權(quán)利要求I所述的多層視頻解碼系統(tǒng)，其中，所述處理模塊包括位于所述處理濾波器的下游的處理濾波器和視差補(bǔ)償濾波器。
4.如權(quán)利要求I所述的多層視頻解碼系統(tǒng)，其中，所述處理模塊包括與第一視差補(bǔ)償濾波器相組合的處理濾波器，以及所述視頻解碼器還包括第二視差補(bǔ)償濾波器，其中，當(dāng)所述第一層視頻解碼器的輸出被處理時(shí)，所述第一視差補(bǔ)償濾波器執(zhí)行視差補(bǔ)償，以及當(dāng)所述第一層視頻解碼器的輸出未被處理時(shí)，所述第二視差補(bǔ)償濾波器執(zhí)行視差補(bǔ)償。
5.如權(quán)利要求I所述的多層視頻解碼系統(tǒng)，其中，所述處理選擇器包括區(qū)域分析模塊，其分析圖像的區(qū)域并且根據(jù)對(duì)所述區(qū)域執(zhí)行的所述分析來選擇分離的處理。
6.如權(quán)利要求5所述的多層視頻解碼系統(tǒng)，其中，所述區(qū)域分析模塊分析所述圖像的區(qū)域，以在大部分分量需要處理的區(qū)域與大部分分量不需要處理的區(qū)域之間分離所述圖像。
7.如權(quán)利要求6所述的多層視頻解碼系統(tǒng)，其中，所述第二層視頻解碼器包括視差補(bǔ)償模塊。
8.如權(quán)利要求7所述的多層視頻解碼系統(tǒng)，其中，所述處理模塊適合于與所述視差補(bǔ)償模塊分離地處理所述圖像的區(qū)域，或者以與所述視差補(bǔ)償模塊相組合的方式處理所述圖像的區(qū)域。
9.如權(quán)利要求8所述的多層視頻解碼系統(tǒng)，其中，大部分分量需要處理的圖像區(qū)域由所述處理模塊與所述視差補(bǔ)償模塊分離地處理，而大部分分量不需要處理的圖像區(qū)域由所述處理模塊以與所述視差補(bǔ)償模塊相組合的方式處理。
10.如權(quán)利要求I所述的多層視頻解碼系統(tǒng)，其中，所述處理選擇器包括區(qū)域分析模塊，其定義大部分分量需要處理的所述圖像的區(qū)域和大部分分量不需要處理的所述圖像的區(qū)域。
11.如權(quán)利要求10所述的多層視頻解碼系統(tǒng)，其中，所述區(qū)域分析模塊接收第二層比特流輸入，并且根據(jù)所述第二層比特流輸入中提供的參考畫面信息來定義所述區(qū)域。
12.如權(quán)利要求11所述的多層視頻解碼系統(tǒng)，其中，所述區(qū)域分析模塊根據(jù)參考畫面信息、以及運(yùn)動(dòng)和/或視差向量信息的組合來定義所述區(qū)域。
13.如權(quán)利要求11所述的多層視頻解碼系統(tǒng)，其中，所述區(qū)域分析模塊根據(jù)所述圖像的所述第二層比特流輸入、所述圖像的分片的所述第二層比特流輸入、或所述圖像的分片的一部分的所述第二層比特流輸入來定義所述區(qū)域。
14.如權(quán)利要求I所述的多層視頻解碼系統(tǒng)，其中，所述處理選擇器在圖像內(nèi)選擇要處理或不要處理的所述圖像的區(qū)域。
15.如權(quán)利要求15所述的多層視頻解碼系統(tǒng)，其中，由所述第二層視頻解碼器進(jìn)行的未處理區(qū)域的確定基于之前解碼的畫面或分片、或第二層比特流信息。
16.如權(quán)利要求1-15中任一項(xiàng)所述的多層視頻解碼系統(tǒng)，其中，所述第一層是基礎(chǔ)層，所述第二層是增強(qiáng)層，并且所述多層視頻解碼系統(tǒng)是包括基礎(chǔ)層和一個(gè)或更多個(gè)增強(qiáng)層的系統(tǒng)。
17.如權(quán)利要求1-15中任一項(xiàng)所述的多層視頻解碼系統(tǒng)，其中，所述第一層是第一增強(qiáng)層，所述第二層是第二增強(qiáng)層，并且所述多層視頻解碼系統(tǒng)是包括基礎(chǔ)層和多個(gè)增強(qiáng)層的系統(tǒng)。
18.如權(quán)利要求1-17中任一項(xiàng)所述的多層視頻解碼系統(tǒng)，其中，所述系統(tǒng)選自于幀兼容三維(3D)視頻系統(tǒng)、二維(2D)兼容的3D視頻系統(tǒng)、2D可分級(jí)視頻系統(tǒng)、以及2D或3D多·視圖系統(tǒng)?！?br> 19.一種視頻解碼器，包括 解碼環(huán)路，其適合于接收編碼信號(hào)并且輸出解碼信號(hào)； 與所述解碼環(huán)路連接的處理模塊，所述處理模塊適合于接收解碼的輸入信號(hào)并且將經(jīng)處理的解碼的輸入信號(hào)發(fā)送到所述解碼環(huán)路；以及 與所述處理模塊連接的選擇器，其適合于接收解碼的輸入信號(hào)并且選擇是否將解碼的視頻信號(hào)發(fā)送到所述處理模塊。
20.如權(quán)利要求19所述的視頻解碼器，其中，所述視頻解碼器是解碼系統(tǒng)的增強(qiáng)層視頻解碼器，所述解碼系統(tǒng)包括基礎(chǔ)層、和一個(gè)或更多個(gè)增強(qiáng)層。
21.一種選擇性地處理解碼的視頻信息的方法，包括 提供第一層視頻解碼器和第二層視頻解碼器； 選擇是(a)處理所述第一層視頻解碼器的輸出還是(b)不處理所述第一層視頻解碼器的輸出；以及 在(a)的情況下，處理所述第一層視頻解碼器的輸出并且將經(jīng)處理的輸出輸入到所述第二層視頻解碼器中。
22.如權(quán)利要求21所述的方法，還包括 與處理一起執(zhí)行視差補(bǔ)償。
23.一種在視頻解碼系統(tǒng)中選擇性地執(zhí)行視差補(bǔ)償?shù)姆椒?，包? 提供解碼的視頻信號(hào)； 選擇是(a)使用與解碼的視頻信號(hào)有關(guān)的信息還是(b)不使用與解碼的視頻信號(hào)有關(guān)的信息； 在(a)的情況下，處理解碼的視頻信號(hào)并且根據(jù)經(jīng)處理的解碼的視頻信號(hào)執(zhí)行視差補(bǔ)償； 在(b)的情況下，獨(dú)立于解碼的視頻信號(hào)執(zhí)行視差補(bǔ)償。
24.如權(quán)利要求23所述的方法，其中 所述視頻解碼系統(tǒng)包括第一層解碼器和第二層解碼器； 解碼的視頻信號(hào)是所述第一層解碼器的輸出；以及在所述第二層解碼器中執(zhí)行視差補(bǔ)償。
25.一種在視頻解碼系統(tǒng)中選擇性地執(zhí)行視差補(bǔ)償?shù)姆椒ǎ? 提供解碼的視頻信號(hào)； 選擇是(a)使用與解碼的視頻信號(hào)有關(guān)的信息還是(b)不使用與解碼的視頻信號(hào)有關(guān)的信息； 在(a)的情況下，執(zhí)行第一視差補(bǔ)償，所述第一視差補(bǔ)償基于對(duì)解碼的視頻信號(hào)的處理并且與其同時(shí)執(zhí)行； 在(b)的情況下，執(zhí)行不同于所述第一視差補(bǔ)償?shù)牡诙暡钛a(bǔ)償。
26.如權(quán)利要求25所述的方法,還包括 提供要與所述第一視差補(bǔ)償一起使用的處理參數(shù)和視差參數(shù)；以及 提供要與所述第二視差補(bǔ)償一起使用的視差參數(shù)， 其中，要與所述第一視差補(bǔ)償一起使用的視差參數(shù)相同于要與所述第二視差補(bǔ)償一起使用的參數(shù)。
27.如權(quán)利要求21-26中任一項(xiàng)所述的方法，其中，所述第一層是基礎(chǔ)層，而所述第二層是增強(qiáng)層。
28.如權(quán)利要求21-26中任一項(xiàng)所述的方法，其中，所述第一層是第一增強(qiáng)層，而所述第二層是第二增強(qiáng)層。
29.一種多層編碼系統(tǒng)，包括 第一層，包括第一層視頻編碼器； 與所述第一層相關(guān)聯(lián)的第二層，所述第二層包括第二層視頻編碼器，所述第二層視頻編碼器包括視差估計(jì)模塊和視差補(bǔ)償模塊； 處理模塊，其處理所述第一層視頻編碼器的輸出并且將經(jīng)處理的輸出輸入到所述視差估計(jì)模塊和所述視差補(bǔ)償模塊中。
30.根據(jù)權(quán)利要求29所述的多層編碼系統(tǒng)，其中，所述第一層視頻編碼器包括畫面參考緩沖器，以及其中，由所述處理模塊處理的所述第一層視頻編碼器的輸出是所述畫面參考緩沖器的輸出。
31.一種多層編碼系統(tǒng)，包括 第一層，包括第一層視頻編碼器； 與所述第一層相關(guān)聯(lián)的第二層，所述第二層包括第二層視頻編碼器，所述第二層視頻編碼器包括視差估計(jì)模塊、視差補(bǔ)償模塊和處理模塊， 其中 所述處理模塊與所述視差補(bǔ)償模塊相組合；以及 所述視差估計(jì)模塊和所述視差補(bǔ)償模塊接收所述第一層視頻編碼器的輸出。
32.如權(quán)利要求31所述的多層編碼系統(tǒng)，其中，所述第一層視頻編碼器包括畫面參考緩沖器，以及其中，由所述視差估計(jì)模塊和所述視差補(bǔ)償模塊接收到的所述第一層視頻編碼器的輸出是所述畫面參考緩沖器的輸出。
33.如權(quán)利要求32所述的多層編碼系統(tǒng)，其中，所述畫面參考緩沖器的輸出選自于所述畫面參考緩沖器的經(jīng)處理的輸出、或所述畫面參考緩沖器的未處理的輸出。
34.如權(quán)利要求33所述的多層編碼系統(tǒng)，其中，所述畫面參考緩沖器的輸出是所述畫面參考緩沖器的未處理的輸出，以及其中，所述視差估計(jì)模塊和所述視差補(bǔ)償模塊分別在視差估計(jì)和視差補(bǔ)償之前執(zhí)行所述畫面參考緩沖器的輸出的處理。
35.如權(quán)利要求33所述的多層編碼系統(tǒng)，其中，所述畫面參考緩沖器的輸出是所述畫面參考緩沖器的未處理的輸出，以及其中，所述視差估計(jì)模塊和所述視差補(bǔ)償模塊分別在視差估計(jì)和視差補(bǔ)償之前不執(zhí)行所述畫面參考緩沖器的輸出的處理。
36.一種多層編碼系統(tǒng),包括 第一層，包括第一層視頻編碼器； 與所述第一層相關(guān)聯(lián)的第二層，所述第二層包括第二層視頻編碼器； 處理選擇器，其選擇是否處理所述第一層視頻編碼器的輸出；以及 處理模塊，其根據(jù)所述處理選擇器的指示處理所述第一層視頻編碼器的輸出， 其中，所述第一層視頻編碼器的經(jīng)處理的輸出和所述第一層視頻編碼器的未處理的輸出被發(fā)送到所述第二層視頻編碼器。
37.如權(quán)利要求36所述的多層編碼系統(tǒng)，其中，所述第二層視頻編碼器包括視差估計(jì)模塊和視差補(bǔ)償模塊，以及所述第一層視頻編碼器的經(jīng)處理的輸出和所述第一層視頻編碼器的未處理的輸出被發(fā)送到所述視差估計(jì)模塊和所述視差補(bǔ)償模塊。
38.如權(quán)利要求36或37所述的多層編碼系統(tǒng)，其中，所述第一層視頻編碼器包括畫面參考緩沖器，以及其中，所述第一層視頻編碼器的輸出是所述畫面參考緩沖器的輸出。
39.如權(quán)利要求29-38中任一項(xiàng)所述的多層視頻編碼系統(tǒng)，其中，所述第一層是基礎(chǔ)層，所述第二層是增強(qiáng)層，并且所述多層視頻編碼系統(tǒng)是包括基礎(chǔ)層和一個(gè)或更多個(gè)增強(qiáng)層的系統(tǒng)。
40.如權(quán)利要求29-38中任一項(xiàng)所述的多層視頻編碼系統(tǒng)，其中，所述第一層是第一增強(qiáng)層，所述第二層是第二增強(qiáng)層，并且所述多層視頻編碼系統(tǒng)是包括基礎(chǔ)層和多個(gè)增強(qiáng)層的系統(tǒng)。
41.一種對(duì)包括第一塊和第二塊的圖像幀或分片進(jìn)行解碼的方法，包括 利用多層解碼系統(tǒng)的第一層解碼器對(duì)所述圖像幀或分片的樣本進(jìn)行解碼； 對(duì)解碼樣本進(jìn)行處理； 將經(jīng)處理的解碼樣本發(fā)送到所述多層視頻系統(tǒng)的第二層解碼器； 通過視差補(bǔ)償處理，根據(jù)經(jīng)處理的解碼樣本生成所述圖像幀的第一塊；以及 通過視差補(bǔ)償處理，根據(jù)經(jīng)處理的解碼樣本生成所述圖像幀的第二塊， 其中，用來生成所述第二塊的經(jīng)處理的解碼樣本的一部分取自于存儲(chǔ)的或預(yù)分析的已用來生成所述第一塊的經(jīng)處理的解碼樣本。
42.如權(quán)利要求41所述的方法，其中，經(jīng)處理的解碼樣本通過圖配置來存儲(chǔ)。
43.如權(quán)利要求41或42所述的方法，其中，所述第一塊和所述第二塊是所述圖像幀或分片的相鄰塊。
全文摘要
提供了多層編碼和解碼系統(tǒng)和方法。處理模塊處理第一基礎(chǔ)層或增強(qiáng)層的輸出，并且將經(jīng)處理的輸出發(fā)送到第二層、增強(qiáng)層。對(duì)處理模塊的操作進(jìn)行控制，使得第二層可根據(jù)情況接收第一層的經(jīng)處理的或未處理的輸出。對(duì)第一層的輸出的處理可與視差補(bǔ)償處理一起進(jìn)行，或與視差補(bǔ)償處理分離地進(jìn)行。
文檔編號(hào)H04N7/26GK102726046SQ201180007128
公開日2012年10月10日 申請日期2011年1月5日 優(yōu)先權(quán)日2010年1月27日
發(fā)明者亞歷山德羅斯·圖拉皮斯, 佩沙拉·V·帕哈拉瓦達(dá) 申請人:杜比實(shí)驗(yàn)室特許公司