專利名稱：用于使用參考處理信號進(jìn)行多層圖像和視頻傳輸?shù)南到y(tǒng)和方法
技術(shù)領(lǐng)域：
本公開內(nèi)容涉及圖像處理和視頻壓縮。更具體地，本公開內(nèi)容涉及用于多層圖像和視頻傳輸?shù)木幋a和解碼系統(tǒng)及方法。
背景技術(shù)：
大量的3D流行電影字幕的發(fā)行導(dǎo)致對用于向家庭傳輸諸如電影、體育和其它節(jié)目的3D內(nèi)容的途徑的需求。然而，在向家庭傳輸3D內(nèi)容時，必須考慮大量限制。一個這樣的限制是與現(xiàn)有的(傳統(tǒng))硬件和系統(tǒng)基礎(chǔ)設(shè)施的向后兼容性。例如，允許家庭用戶使用現(xiàn)有的機(jī)頂盒觀看3D圖像和視頻、同時與2D內(nèi)容相比消耗最小附加帶寬的傳輸解決方案對于大部分服務(wù)提供者來說將是有吸引力的解決方案。以下案件通過引用合并于此:2010年4月20日提交的國際專利申請第PCT/US2010/031762 號(國際公布號 W0/2010/123909，公布于 2009 年 4 月 20 日)；2010 年 6 月30日提交的國際專利申請第PCT/US2010/040545號(國際公布號W0/2011/005624，公布于2011年I月13日)；以及2010年4月20日提交的國際專利申請第PCT/US2010/031693號(國際公布號W0/US2010/123855，公布于2010年10月28日)。


并入本說明書并構(gòu)成本說明書的一部分的附圖示出了本公開內(nèi)容的一個或多個實(shí)施例，并且連同示例實(shí)施例的描述一起用于說明本公開內(nèi)容的原理和實(shí)現(xiàn)。圖1示出了用于幀兼容多視圖視頻傳輸?shù)牟⑴?SbS)打包(packing)布置。圖2繪出了用于巾貞兼容多視圖視頻傳輸?shù)纳?下打包(over/underpacking)布置。圖3繪出了根據(jù)本公開內(nèi)容的實(shí)施例的3D立體視頻傳輸系統(tǒng)的框圖。圖4示出了根據(jù)本公開內(nèi)容的多個實(shí)施例的用于SbS幀打包的參考處理單元(RPU)中的像素復(fù)制濾波器的示例。圖5繪出了根據(jù)本公開內(nèi)容的另一實(shí)施例的、使用另一 RPU來處理基本層參考畫面的3D立體視頻傳輸系統(tǒng)的框圖。圖6示出了根據(jù)本公開內(nèi)容的一個實(shí)施例的、用于RPU中的SbS解包的不同采樣偏移的使用:(a)視圖O使用零偏移，視圖1使用單個像素水平偏移，(b)兩個視圖均采用
零偏移。圖7繪出了根據(jù)本公開內(nèi)容的實(shí)施例的非3D圖像/視頻的可調(diào)節(jié)多層傳輸系統(tǒng)的框圖。
圖8繪出了根據(jù)本公開內(nèi)容的實(shí)施例的、包含用于處理基本層畫面的另一 RPU的非3D圖像/視頻的可調(diào)節(jié)多層傳輸系統(tǒng)的框圖。
圖9示出了根據(jù)本公開內(nèi)容的實(shí)施例的、使用多于一個增強(qiáng)層的多層多視圖視頻編碼架構(gòu)。
圖10繪出了根據(jù)本公開內(nèi)容的實(shí)施例的、使用多于一個增強(qiáng)層的幀兼容多層編碼架構(gòu)。
圖11繪出了根據(jù)本公開內(nèi)容的實(shí)施例的、用于多層編碼的多假設(shè)參考生成。
圖12繪出了根據(jù)本公開內(nèi)容的實(shí)施例的、用于多層編碼/解碼的多假設(shè)解碼器。
具體實(shí)施方式
根據(jù)本公開內(nèi)容的第一方面，提供了一種用于圖像和視頻傳輸?shù)亩鄬泳幋a方法，該多層編碼方法包括:通過基本層對至少一個輸入圖像或視頻幀進(jìn)行基本層處理，所述基本層處理包括通過對至少一個輸入圖像或視頻幀進(jìn)行處理來獲得至少一個第一較低分辨率圖像或視頻幀并且通過對至少一個第一較低分辨率圖像或視頻幀進(jìn)行編碼來獲得多個基本層編碼位流信號；以及通過一個或多個增強(qiáng)層對至少一個圖像或視頻幀進(jìn)行增強(qiáng)層處理，所述增強(qiáng)層處理包括:通過根據(jù)第一規(guī)則集對至少一個基本層信號或至少一個第一增強(qiáng)層信號進(jìn)行參考處理來獲得第一多個參考處理信號和至少一個第一參考處理后圖像或視頻幀，通過根據(jù)第二規(guī)則集對至少一個第一參考處理后圖像或視頻幀和至少一個輸入圖像或視頻幀進(jìn)行處理來獲得至少一個殘差圖像或視頻幀，通過對至少一個殘差圖像或視頻幀進(jìn)行處理來獲得至少一個第二較低分辨率圖像或視頻幀，通過對至少一個第二較低分辨率圖像或視頻幀進(jìn)行編碼來獲得多個增強(qiáng)層編碼位流信號，并且通過根據(jù)第三規(guī)則集對至少一個第二增強(qiáng)層信號進(jìn)行參考處理來獲得第二多個參考處理信號。
根據(jù)本公開內(nèi)容的第二方面，提供了一種用于圖像和視頻傳輸?shù)亩鄬泳幋a器，該多層編碼器包括被適配用于至少一個輸入圖像或視頻幀的基本層處理器，所述基本層處理器包括被適配成輸出多個基本層編碼位流信號的基本層編碼器和被適配用于至少一個輸入圖像或視頻幀的至少一個增強(qiáng)層處理器，所述增強(qiáng)層處理器包括增強(qiáng)層編碼器和至少兩個參考處理單元(RPU)，其中，增強(qiáng)層編碼器被適配用于輸出多個增強(qiáng)層編碼位流，第一RPU被適配用于根據(jù)第一規(guī)則集處理來自基本層編碼器的至少一個輸出或至少一個增強(qiáng)層信號并輸出第一多個參考處理數(shù)據(jù)和至少一個第一參考處理后圖像或視頻幀，并且第二RPU被適配成根據(jù)第二規(guī)則集處理來自增強(qiáng)層編碼器的至少一個輸出并輸出第二多個參考處理數(shù)據(jù)。
根據(jù)本公開內(nèi)容的第三方面，提供了一種使用多假設(shè)處理的多層編碼器，該多層編碼器包括:第一層編碼器；第一參考處理單元(RPU)，耦合到第一層編碼器；第二層編碼器，耦合到第一層編碼器；第二 RPU，耦合到第二層編碼器；組合器，耦合到第一 RPU和第二RPU ;比較器，耦合到組合器；第三層編碼器，耦合到第二層編碼器和比較器；以及第三RPU，耦合到第三層編碼器，其中，組合器被適配用于通過對第一 RPU的輸出和第二 RPU的輸出的加權(quán)組合來生成作為第三層編碼器的輸入的預(yù)測圖像，比較器被適配成根據(jù)預(yù)測圖像和原始視像計算殘差圖像，并且第三層編碼器被適配成對殘差圖像進(jìn)行編碼。
根據(jù)本公開內(nèi)容的第四方面，提供了一種用于圖像和視頻傳輸?shù)亩鄬咏獯a方法，該多層解碼方法包括:通過基本層對多個基本層編碼位流信號進(jìn)行基本層處理，所述基本層處理包括通過對多個基本層編碼位流信號進(jìn)行解碼來獲得至少一個第一低分辨率圖像或視頻幀；以及通過一個或多個增強(qiáng)層對多個增強(qiáng)層位流信號進(jìn)行增強(qiáng)層處理，其中，多個增強(qiáng)層位流信號包括多個增強(qiáng)層編碼位流信號、第一多個參考處理信號和第二多個參考處理信號，所述增強(qiáng)層處理包括:通過對第一多個參考處理信號和至少一個第一低分辨率圖像或視頻幀進(jìn)行參考處理來獲得至少一個參考處理后圖像或視頻幀，通過對多個增強(qiáng)層編碼位流信號進(jìn)行解碼并對基本層信號或增強(qiáng)層信號進(jìn)行處理來獲得至少一個增強(qiáng)層解碼信號，通過對第二多個參考處理信號和至少一個增強(qiáng)層解碼信號進(jìn)行參考處理來獲得至少一個第二參考處理后圖像或視頻幀，并且通過對至少一個第一參考處理后圖像或視頻幀和至少一個第二參考處理后圖像或視頻幀進(jìn)行組合來獲得至少一個全分辨率圖像或視頻幀。根據(jù)本公開內(nèi)容的第五方面，提供了一種用于圖像和視頻傳輸?shù)亩鄬咏獯a器，該多層解碼器包括:至少一個基本層解碼器，被適配成對多個基本層編碼位流信號進(jìn)行解碼；至少一個增強(qiáng)層處理器，被適配成對多個增強(qiáng)層位流信號進(jìn)行處理，其中，所述多個增強(qiáng)層位流信號包括多個增強(qiáng)層編碼位流信號、第一多個參考處理信號和第二多個參考處理信號，所述增強(qiáng)層處理器包括:增強(qiáng)層解碼器，被適配成對多個增強(qiáng)層位流信號進(jìn)行解析并對多個增強(qiáng)編碼位流信號進(jìn)行解碼；第一參考處理單元(RPU)，被適配成根據(jù)第一多個參考處理信號，對來自基本層解碼器的輸出進(jìn)行處理并輸出至少一個第一內(nèi)插重構(gòu)圖像或視頻幀；第二 RPU，被適配成根據(jù)第二多個參考處理信號來對來自增強(qiáng)層解碼器的輸出進(jìn)行處理并輸出至少一個第二內(nèi)插重構(gòu)圖像或視頻幀；以及至少一個組合器，被適配成對至少一個第一內(nèi)插重構(gòu)圖像或視頻和至少一個第二內(nèi)插重構(gòu)圖像或視頻幀進(jìn)行組合，以獲得至少一個全分辨率圖像或視頻幀。根據(jù)本公開內(nèi)容的第六方面，提供了一種使用多假設(shè)處理的多層解碼器，該多層解碼器包括:第一層解碼器；第一參考處理單元(RPU)，耦合到第一層解碼器；第二層解碼器，耦合到第一層解碼器；第二 RPU，耦合到第二層解碼器；組合器，耦合到第一 RPU和第二RPU ;第三層編碼器，耦合到第二層編碼器；第三RPU，耦合到第三層編碼器；以及加法器，耦合到組合器和第三RPU。向后兼容的3D視頻傳輸系統(tǒng)可通過現(xiàn)有或傳統(tǒng)2D視頻硬件和系統(tǒng)來向家庭或其它地點(diǎn)傳輸3D視頻。幀兼容3D視頻系統(tǒng)提供了這樣的向后兼容傳輸架構(gòu)。參見附錄B。在該情況下，可以使用如下分層方法:基本層提供以“幀兼容”格式(諸如，并排(SbS)、上下(OU)或棋盤格(CB))布置的左眼和右眼的低分辨率版本?？墒褂枚喾N技術(shù)(諸如，水平、垂直、梅花形采樣等)對原始的全分辨率視圖進(jìn)行濾波和采樣。例如，圖1示出了用于幀兼容多視圖視頻傳輸?shù)腟bS打包，并且圖2示出了用于幀兼容多視圖視頻傳輸?shù)腛U打包。一個或多個增強(qiáng)層可以以向后兼容方式嵌入同一位流中，以使得未來的全分辨率解碼器將能夠以全分辨率對兩個視圖進(jìn)行解碼。在附錄B中提出了一個這樣的用于可調(diào)節(jié)3D視頻傳輸?shù)姆桨?。本公開內(nèi)容提出了對該方案的擴(kuò)展，其可以改進(jìn)性能或者提供具有不同特性的替選實(shí)現(xiàn)，諸如使得具有微小修改的現(xiàn)有解碼器架構(gòu)能夠執(zhí)行類似的增強(qiáng)。該方案還可以應(yīng)用于獲得2D圖像和視頻的空間可調(diào)節(jié)傳輸，并且可以適配成提供其它形式的可調(diào)節(jié)性(諸如，SNR/質(zhì)量、時間、位深等)以及用于可涉及兩個或更多個視圖的通用多視圖視頻編碼。
圖3示出了根據(jù)本公開內(nèi)容的實(shí)施例的3D立體視頻傳輸系統(tǒng)(300)的框圖。根據(jù)該實(shí)施例，首先分別使用濾波器F1L (306)和(308)對要編碼的原始左眼視圖(302)和右眼視圖(304)進(jìn)行濾波，然后，使用下采樣器(310，312)進(jìn)行子采樣以獲得半分辨率左眼視圖和右眼視圖。根據(jù)本公開內(nèi)容的其他實(shí)施例，濾波和子采樣可與水平、垂直、梅花形等子采樣方案中的任一個有關(guān)。另外，下采樣濾波器可對于整個序列是固定的，或者可基于特定空間和/或時間區(qū)域的特性而適配。例如，與低紋理化或運(yùn)動區(qū)域相比，高紋理化或運(yùn)動區(qū)域可使用更強(qiáng)的濾波。在編碼器或解碼器處進(jìn)行不同濾波也可應(yīng)用于相對視圖的相應(yīng)區(qū)域中，以更好地開發(fā)立體掩蔽(stereo masking)。假定編解碼器支持這些要求和像素精度準(zhǔn)確性，則可以對濾波后的樣本進(jìn)行量化/調(diào)制以達(dá)到任意適當(dāng)精度。解碼器還提供了去量化/解調(diào)處理，以在應(yīng)用任何處理之前得回濾波后的樣本。
根據(jù)圖3所示的實(shí)施例，接著在3D復(fù)用模塊(314)中對子采樣后的圖像進(jìn)行復(fù)用，該3D復(fù)用模塊(314)可執(zhí)行并排、上下、行交織、列交織、棋盤格等數(shù)據(jù)布置中的任一種以形成幀兼容圖像序列。
另外，在本公 開內(nèi)容的其它實(shí)施例中，可使用另外的“非傳統(tǒng)”子采樣技術(shù)和布置，諸如，例如對一個視圖子采樣以達(dá)到比其它視圖低的分辨率(垂直或水平、或者兩者)，以對于不同視圖提供在一個或多個維度中不等的質(zhì)量。在一個這樣的實(shí)施例中，可以以在一個維度高于其它視圖而在另一維度低于其它視圖的分辨率來對一個視圖進(jìn)行子采樣。
根據(jù)圖3所示的實(shí)施例，使用視頻編碼器(316)對所得到的幀兼容圖像進(jìn)行編碼，該視頻編碼器(316)可與現(xiàn)有的視頻編碼標(biāo)準(zhǔn)和編解碼器(諸如，MPEG-2、H.264/AVC/MPEG-4Part 10、VC1、VP6、VP7和VP8等)以及下一代視頻編碼標(biāo)準(zhǔn)和編解碼器兼容。編解碼器可支持任意輸入顏色和采樣格式，諸如YUV 4:0:0、4:2:0、4:2:2和4:4:4、1 8、乂￥2等，并且可以支持任意位深精度。在層之間可以支持不同的格式和/或精度。在本公開內(nèi)容的另一實(shí)施例中，應(yīng)該可通過符合相同標(biāo)準(zhǔn)的現(xiàn)有解碼器對該編碼器(316)的輸出位流進(jìn)行解碼。在另一實(shí)施例中，可將整個方案視為使得每層的位流和RPU數(shù)據(jù)合并以形成單層位流的一個編解碼器。
根據(jù)圖3所示的實(shí)施例，來自編碼器(316)的重構(gòu)輸出畫面接著被饋送到區(qū)域處理單元(318) (RPU1)(也稱為參考處理單元，但是定義“參考”不暗示該畫面明確地用作完整編碼處理中的參考)。在附錄A和B中描述了 RPU。如果不指定，RPU的以下描述適用于編碼器的RPU和解碼器的RPU。本領(lǐng)域普通技術(shù)人員在閱讀本公開內(nèi)容時將理解并能夠區(qū)分編碼器特定的、解碼器特定和通用的RPU描述、功能和處理。在幀兼容3D編碼系統(tǒng)的上下文中，諸如圖3所示的實(shí)施例，RPU (318)根據(jù)用于選擇不同RPU濾波器的規(guī)則集，獲得低分辨率解碼后3D圖像，并且對圖像進(jìn)行內(nèi)插以獲得對原始高分辨率左眼視圖和右眼視圖的預(yù)測(320)。
RPU使得內(nèi)插處理能夠在區(qū)域級自適應(yīng)，其中根據(jù)該區(qū)域的特征來對畫面/序列的每個區(qū)域進(jìn)行內(nèi)插。在RPU內(nèi)所應(yīng)用的可能區(qū)域相關(guān)濾波器當(dāng)中，可以是水平濾波器、垂直濾波器或2D濾波器、邊緣自適應(yīng)濾波器或基于頻率的濾波器以及像素復(fù)制濾波器或者用于內(nèi)插的其它方法。
例如，一個像素復(fù)制濾波器將僅執(zhí)行零階保持，S卩，內(nèi)插圖像中的每個樣本將等于低分辨率圖像中的相鄰樣本的值。另一像素復(fù)制濾波器可執(zhí)行交叉視圖拷貝操作，即，一個視圖中的每個內(nèi)插樣本將等同于來自相對視圖的非內(nèi)插同位置樣本。另一選擇可以是為內(nèi)插樣本僅分配零值的“零濾波器(zero filter)”(參見圖4)。根據(jù)本公開內(nèi)容的另一實(shí)施例，還可以在RPU中使用“視差補(bǔ)償拷貝”方案。根據(jù)該實(shí)施例，濾波器可拷貝可以使用視差矢量來指定要拷貝區(qū)域的位置的樣本的非同位置區(qū)域，該要拷貝區(qū)域也可以是來自不同視圖的區(qū)域。視差矢量可使用整數(shù)或子像素準(zhǔn)確性來指定并且可涉及簡單的(例如，平移運(yùn)動參數(shù))或更復(fù)雜的運(yùn)動模型(諸如仿射或透視運(yùn)動信息等)。圖3的編碼器(310)處的RPU1濾波器選擇處理將被提供作為輸入數(shù)據(jù)(322)的區(qū)域處理信號(322)輸出到解碼器處的RPU1 (324)。信令以每個區(qū)域?yàn)榛A(chǔ)指定濾波方法，其中，在RPU數(shù)據(jù)報頭中指定區(qū)域的參數(shù)(諸如，數(shù)量、大小、形狀等)。一些濾波器可由固定濾波器系數(shù)構(gòu)成，在該情況下，濾波器系數(shù)不需要由RPU明確地發(fā)信號通知，或者一些濾波器模式可以是要求濾波器系數(shù)(諸如，系數(shù)值、水平/垂直抽頭的數(shù)量等)明確以信號通知的明確模式。濾波器也可按照每個顏色分量來指定。除了線性濾波器之外，在RPU中還可指定諸如邊緣自適應(yīng)濾波器、雙邊濾波器等的非線性濾波器，同時還可以發(fā)信號通知包括指定高級運(yùn)動補(bǔ)償方法的模型(諸如，仿射或透視運(yùn)動模型)的更高級預(yù)測模型。然后，根據(jù)規(guī)則集將來自圖3的RPU1 (318)的預(yù)測圖像(320)與原始的左眼視圖(302)和右眼視圖(304)進(jìn)行比較，并且使用濾波器(330)和F/ (332)來對預(yù)測誤差(326)進(jìn)行濾波和子采樣，以及可選地對該預(yù)測誤差(326)進(jìn)行遞增和量化以適合于目標(biāo)編解碼器支持的適當(dāng)像素精度。根據(jù)圖3所示的實(shí)施例，比較可以是差分計算(328)，以獲得RPU1預(yù)測圖像(320 )與原始圖像(302，304)之間的殘差(326 )。在不同的實(shí)施例中，可采用將RPU1處理后圖像和“殘差”圖像與原始視圖相關(guān)的線性或非線性函數(shù)。這樣的函數(shù)可以是簡單的減法，或者可涉及一些其它的線性或非線性變換，例如，比率計算。注意，盡管在圖3中，來自每個視圖的RPU1預(yù)測圖像(320)被視為分開的圖像，但出于計算的目的，在另一實(shí)施例中，它們可被視為一個圖像。F2中的濾波器(328，330)和子采樣方案(334)可與層I中的濾波器和子采樣方案不同，并且還可自適應(yīng)于每個空間和時間區(qū)域。根據(jù)圖3所示的實(shí)施例，接著在增強(qiáng)層“3D復(fù)用”模塊(336)中對濾波后和子采樣后的圖像進(jìn)行再復(fù)用，以獲得對層2視頻編碼器(338)的輸入。在另一實(shí)施例中，編碼器處的RPU1 (318)的處理可僅提供來自互補(bǔ)位置(諸如，被抽出十分之一以生成基本層圖像的位置)的樣本作為輸出。在這樣的實(shí)施例中，這些樣本與原始視圖之間的殘差可以被復(fù)用并被輸入到層2編碼器(338)，從而避免了在層2編碼時對額外濾波(330，332)和子采樣(334)的需要。層2編碼器(338)和解碼器(340)不必與層I編碼器(338)和解碼器(342)類似。層2編碼器(338)的重構(gòu)輸出畫面(344)被饋送到RPU2 (346)。編碼器處的RPU2(346)在區(qū)域級執(zhí)行優(yōu)化以確定對于來自層2的重構(gòu)畫面(344)的最佳上變頻方案，以使得當(dāng)來自解碼器處的RPU2 (348)的輸出圖像(350)與來自解碼器處的RPU1 (324)的輸出圖像(352)組合時，增強(qiáng)組合圖像質(zhì)量。RPU2 (346)的基于區(qū)域的濾波器還可采取對于RPU1(318)的上述形式中的任一種。在增強(qiáng)層位流中，相關(guān)聯(lián)的信號362被傳送到解碼器，該增強(qiáng)層位流還包含RPU1信令(322)以及來自層2的編碼位流(354)。注意，在另一實(shí)施例中，由于在層I中的編碼樣本與層2中的要編碼樣本之間可能存在高度關(guān)聯(lián)，因此來自層I編碼器(316)的重構(gòu)畫面(356)也可用作層2的視頻編碼器(338)的參考畫面緩沖器中的參考，從而允許層2的一些區(qū)域參考層I的區(qū)域以進(jìn)行空間/時間預(yù)測。根據(jù)另一實(shí)施例，RPU(318，346)還可執(zhí)行抖動處理或者將舒適噪聲引入RPU處理后圖像(320)，以減少取輪廓/條帶偽像，并且提高最終重構(gòu)信號(360)的感知質(zhì)量。
圖5示出了根據(jù)本公開內(nèi)容的另一實(shí)施例的3D立體視頻傳輸系統(tǒng)(500)的框圖。特別地，根據(jù)圖5所示的實(shí)施例，在輸入(506)到層2的編碼器(508)的參考畫面緩沖器之前，來自前一層的參考(504)可使用如在附錄A和B中的基于RPU的技術(shù)來處理。另外，宏塊模式、運(yùn)動矢量等也可從層I編碼器(502)傳遞到層2編碼器(508)。在一個實(shí)施例中，層2可使用層I的信息(諸如，參考畫面、宏塊模式、運(yùn)動矢量等)作為預(yù)測指標(biāo)(predictor)來改進(jìn)層2編碼的壓縮效率。在不同的實(shí)施例中，可獨(dú)立于層I來對層2的圖像進(jìn)行編碼，從而允許簡化的解碼器實(shí)現(xiàn)。注意，即使在該情況下，仍可使用層I的信息以初始化層2的編碼器的編碼決定，從而降低層2編碼的計算復(fù)雜度。
RPU中的上采樣處理可針對不同的顏色分量、根據(jù)要編碼/解碼的層使用對于左眼和右眼不同的采樣偏移以及對于每個畫面不同的采樣偏移。因此，還將在RPU中指定采樣偏移信息。圖6示出了當(dāng)在SbS方案中對低分辨率重構(gòu)圖像進(jìn)行內(nèi)插以達(dá)到全分辨率時，可以用在每個視圖中的采樣偏移的兩個示例?？砂l(fā)信號通知包括非整數(shù)采樣偏移的另外的采樣偏移。同樣，在其它采樣布置中也會出現(xiàn)采樣偏移的類似差別。
對于所提出的系統(tǒng)的解碼處理相對簡單。圖3的基本層(層I)解碼器(342)對層I的位流(358)進(jìn)行解碼，其獨(dú)立地提供可以使用傳統(tǒng)解碼器和現(xiàn)有的3D顯示器來以3D顯示的幀兼容輸出。增強(qiáng)層解碼器(340)對包含RPU1和RPU2信令數(shù)據(jù)(322，362)以及層2編碼位流(354)的增強(qiáng)層位流進(jìn)行解析。然后，每層的解碼輸出被饋送到相應(yīng)的RPU (324，348)以獲得內(nèi)插后的重構(gòu)視圖L1, R1 (352WPL2，R2 (350)。通過將RPU處理后的左圖像和右圖像中的每一個組合在一起來獲得輸出的全分辨率(FR)左右視圖(360)。在本公開內(nèi)容的實(shí)施例中，增強(qiáng)層解碼器在組合處理之前對RPU處理后的左圖像和右圖像進(jìn)行變換。根據(jù)另外的實(shí)施例，這樣的變換可以是偏移調(diào)整、精度調(diào)整和縮放。例如，根據(jù)本公開內(nèi)容的實(shí)施例，增強(qiáng)層解碼器在變換處理中從RPU處理后的左圖像和右圖像的像素值中減去偏移(如128)。在另一實(shí)施例中，增強(qiáng)層解碼器以2對RPU處理后的左圖像和右圖像進(jìn)行縮放。RPU或單獨(dú)的單元可執(zhí)行這樣的變換。在另一實(shí)施例中，解碼器還可執(zhí)行抖動處理或?qū)⑹孢m噪聲引入RPU處理后圖像以減少取輪廓/條帶偽像，并且提高最終重構(gòu)信號(360)的感知質(zhì)量。這樣的抖動處理也可由RPU (324，348)來執(zhí)行。
如圖7和圖8所示，相同的概念也可以適用于非3D圖像/視頻的可調(diào)節(jié)的多層傳輸。根據(jù)圖7和圖8所示的實(shí)施例，對原始圖像進(jìn)行濾波和子采樣，以獲得接著在基本層編碼器(702，802)中編碼的低分辨率圖像。然后，使用RPU1 (704，804)對層I的重構(gòu)圖像進(jìn)行內(nèi)插以達(dá)到全分辨率，并且將其與原始圖像進(jìn)行比較以獲得層2的“殘差”圖像。如上所述，比較可以是簡單的減法，或者可涉及一些其它線性或非線性變換，諸如比率計算。對這些圖像進(jìn)行濾波和子采樣，并且在層2的編碼器(706，806)中進(jìn)行編碼。解碼處理也與對于3D視頻的先前情況類似，并且可以在對每層解碼之后在后處理單元內(nèi)組合兩層。另外，應(yīng)注意，在該情況下以及在如上所述的3D立體視頻編碼的情況下，可以以不同的空間或時間分辨率對每層進(jìn)行編碼，從而允許系統(tǒng)提供的可調(diào)節(jié)性的附加靈活性。
根據(jù)本公開內(nèi)容的另外的實(shí)施例，RI^U數(shù)據(jù)信令可以嵌入編碼位流中，或者分開傳送到解碼器。在實(shí)施例中，隨同對其執(zhí)行RPU處理的層一起，將發(fā)信號通知RPU數(shù)據(jù)。在另一實(shí)施例中，可在一個RPU數(shù)據(jù)包內(nèi)發(fā)信號通知所有層的RPU數(shù)據(jù)，這一個RPU數(shù)據(jù)包嵌入在層2的編碼數(shù)據(jù)之前或之后的位流中。另外，應(yīng)注意，RI3U數(shù)據(jù)的提供對于給定層可以是可選的，并且在RPU數(shù)據(jù)不可用的情況下，默認(rèn)方案可以用于該層的上變頻。類似地，增強(qiáng)層編碼位流的提供也是可選的。所提出的架構(gòu)允許在每個RPU中可選地選擇濾波器和濾波區(qū)域的多種可能方法。多個準(zhǔn)則可分開或結(jié)合用于確定最佳的RPU選擇。這些準(zhǔn)則是基本層位流的解碼質(zhì)量、增強(qiáng)層位流的解碼質(zhì)量、對包括RPU數(shù)據(jù)的每層編碼所需的位速率以及數(shù)據(jù)的解碼和RPU處理的復(fù)雜度。在一個實(shí)施例中，可執(zhí)行優(yōu)化以使得RPU1的優(yōu)化獨(dú)立于增強(qiáng)層中的隨后處理。在該情況下，在一個實(shí)施例中，可確定對于RPU1的最佳濾波器選擇以使得內(nèi)插后的基本層圖像與原始左眼圖像和右眼圖像之間的預(yù)測誤差最小程度受到諸如位速率和濾波器復(fù)雜度的其它限制。在另一實(shí)施例中，類似于在附錄C中描述的方法，可將對于RPU1的濾波器選擇與對于片和V的濾波器選擇組合，以進(jìn)一步增強(qiáng)系統(tǒng)的性能。類似地，可以獨(dú)立于RPU1的優(yōu)化而執(zhí)行RPU2的優(yōu)化，以使得全分辨率解碼后圖像的失真最小程度地受到系統(tǒng)限制。在一個實(shí)施例中，然而，可使用被選擇用于RPU1的濾波器以及用于對層I的編碼的其它編碼器參數(shù)以初始化RPU2的較小濾波器搜索集合，以使編碼器處的濾波器選擇的復(fù)雜度降低。在另一實(shí)施例中，可在可以在對每個位流編碼之前應(yīng)用的“開環(huán)”方案中分別使用層2和層I的預(yù)編碼圖像來優(yōu)化RPU2或RPU1或兩者。在另一實(shí)施例中，可聯(lián)合優(yōu)化層I和層`2的RI3U濾波器選擇以及每層的編碼，以改進(jìn)受到限制的整個系統(tǒng)的性能。在該情況下，可使用迭代處理，其首先優(yōu)化RPU1、然后優(yōu)化受RPU1中選擇的濾波器約束的RPU2,并且接著再優(yōu)化受RPU2中選擇的濾波器約束的RPU1,
坐坐寸寸ο還可以擴(kuò)展所提出的架構(gòu)以實(shí)現(xiàn)對另外的增強(qiáng)層的編碼和傳送，這可以接著用于實(shí)現(xiàn)多視圖(多于兩個視圖)應(yīng)用以及單視圖和多視圖應(yīng)用中的多級可調(diào)節(jié)性。圖9示出了根據(jù)本公開內(nèi)容的一個實(shí)施例的、用于將架構(gòu)擴(kuò)展到多個視圖的一種方法。根據(jù)該實(shí)施例，諸如重構(gòu)畫面的信息從初始的兩層編碼器/解碼器傳遞到后兩層編碼器/解碼器中的相應(yīng)層。在另一實(shí)施例中，還可進(jìn)一步處理參考畫面以將例如每層的視圖之間的不同采樣位置以及視圖之間的視差納入考慮。注意，這也可以擴(kuò)展到當(dāng)僅使用一個或奇數(shù)個附加視圖的情況，在該情況下，將僅需要一個附加編碼器/解碼器。圖10示出了根據(jù)本公開內(nèi)容的一個實(shí)施例的用于將方案擴(kuò)展到另外的層的技術(shù)。根據(jù)圖10所示的實(shí)施例，前兩層相比于第三層可使用較低分辨率編碼器，該第三層在對前兩層解碼之后對殘差信息進(jìn)行編碼。注意，在另一實(shí)施例中，編碼分辨率可在所有層中保持相同。根據(jù)本公開內(nèi)容的另一實(shí)施例，可使用不同的預(yù)測處理或不同的假設(shè)處理來對不同的視圖進(jìn)行編碼和解碼。即，使用一種預(yù)測(假設(shè))處理對第一視圖進(jìn)行編碼和解碼，而使用另一種對第二或第三視圖進(jìn)行編碼和解碼。使用多種預(yù)測或多假設(shè)處理的編解碼器系統(tǒng)能夠通過線性地或非線性地組合假設(shè)處理來分開或聯(lián)合使用兩種或更多種假設(shè)處理。圖11和圖12示出了用于使用多假設(shè)處理的多層編碼的實(shí)施例。根據(jù)實(shí)施例，使用加權(quán)組合來組合層I編碼器和層2編碼器的解碼后的RPU處理輸出，以生成對于至層3編碼器的輸入的預(yù)測?？擅鞔_地或隱含地來指定權(quán)重，并且如果是明確的，則組合權(quán)重還將與層3位流一起被發(fā)送到解碼器。然后，相對于來自層I和層2的預(yù)測，層3對要編碼視圖的殘差信息進(jìn)行編碼。類似地，在解碼器處，對層I和層2的解碼后輸出進(jìn)行組合，然后將層3的解碼后輸出與該結(jié)果相加以獲得最終的解碼后視圖。注意，如之前所述，在不同的實(shí)施例中，層I和層2數(shù)據(jù)可以以不同于減法/加法的方式(諸如，線性/非線性濾波器)與層3數(shù)據(jù)組合，以生成層3的殘差圖像。本公開內(nèi)容中所描述的方法和系統(tǒng)可以以硬件、軟件、固件或其組合來實(shí)現(xiàn)。被描述為塊、模塊或部件的特征可一起(例如，在諸如集成邏輯裝置的邏輯裝置中)或分開(例如，作為分開連接的邏輯裝置)實(shí)現(xiàn)。本公開內(nèi)容的方法的軟件部分可包括計算機(jī)可讀介質(zhì)，該計算機(jī)可讀介質(zhì)包括指令，這些指令在被執(zhí)行時至少部分地執(zhí)行所描述的方法。計算機(jī)可讀介質(zhì)可包括例如隨機(jī)存取存儲器(RAM)和/或只讀存儲器(ROM)。指令可由處理器(例如，數(shù)字信號處理器(DSP)、專用集成電路(ASIC)或現(xiàn)場可編程門陣列(FPGA))來執(zhí)行。本說明書中提及的所有專利和公布可表示本公開內(nèi)容所屬領(lǐng)域內(nèi)的技術(shù)人員的技能水平。本公開內(nèi)容中所引用的所有參考文獻(xiàn)通過引用合并于此，正如每個參考文獻(xiàn)單獨(dú)地通過引用將其全文合并于此一樣。提供上述示例以向本領(lǐng)域的普通技術(shù)人員給出如何得到并利用本公開內(nèi)容的、用于使用參考處理信號進(jìn)行多層圖像和視頻傳輸?shù)南到y(tǒng)和方法的實(shí)施例的完整公開內(nèi)容及描述，并且不旨在限制發(fā)明人視為其公開內(nèi)容的范圍。用于實(shí)現(xiàn)本公開內(nèi)容的上述方式的變型可由本領(lǐng)域技術(shù)人員使用，并且旨在落入所附權(quán)利要求的范圍內(nèi)。說明書中涉及的所有專利和公布可表示本公開內(nèi)容所屬領(lǐng)域內(nèi)的技術(shù)人員的技能水平。本公開內(nèi)容中所引用的所有參考文獻(xiàn)通過引用合并于此，正如每個參考文獻(xiàn)單獨(dú)地通過引用將其全文合并于此一樣。應(yīng)理解，本公開內(nèi)容不限于特定的方法或系統(tǒng)，其當(dāng)然可以變化。應(yīng)理解，這里使用的術(shù)語僅用于描述特定實(shí)施例的目的，并且不旨在進(jìn)行限制。如在本說明書和所附權(quán)利要求中所使用的，單數(shù)形式“一(a)”、“一個(an)”和“所述(the)”包括復(fù)數(shù)的所指對象，除非內(nèi)容清楚地相反指出。除非相反限定，否則這里使用的所有技術(shù)和科學(xué)術(shù)語都具有與本公開內(nèi)容所屬領(lǐng)域的普通技術(shù)人員通常所理解的含義相同的含義。因此，本發(fā)明的實(shí)施例可涉及以下描述的示例實(shí)施例中的一個或多個。因此，本發(fā)明可以以這里描述的任意形式來實(shí)施，包括但不限于以下描述本發(fā)明的一些部分的結(jié)構(gòu)、特征和功能的枚舉示例實(shí)施例(EEE)。因此，本發(fā)明的實(shí)施例可涉及以下描述的示例實(shí)施例中的一個或多個。EEE1.一種用于圖像和視頻傳輸?shù)亩鄬泳幋a方法,包括:通過基本層對至少一個輸入圖像或視頻幀(302，304)進(jìn)行基本層處理，所述基本層處理包括:
通過對所述至少一個輸入圖像或視頻幀(302，304)進(jìn)行處理來獲得至少一個第一較低分辨率圖像或視頻幀(316輸入)；以及通過對所述至少一個第一較低分辨率圖像或視頻幀(314輸入)進(jìn)行編碼來獲得多個基本層編碼位流信號(358);以及通過一個或多個增強(qiáng)層對所述至少一個圖像或視頻幀(302，304)進(jìn)行增強(qiáng)層處理，所述增強(qiáng)層處理包括:通過根據(jù)第一規(guī)則集對至少一個基本層信號(356 )或至少一個第一增強(qiáng)層信號進(jìn)行參考處理來獲得第一多個參考處理信號(322 )和至少一個第一參考處理后圖像或視頻幀(320)；通過根據(jù)第二規(guī)則集對所述至少一個第一參考處理后圖像或視頻幀(320)和所述至少一個輸入圖像或視頻幀(302，304)進(jìn)行處理來獲得至少一個殘差圖像或視頻幀(326)；通過對所述至少一個殘差圖像或視頻幀(326 )進(jìn)行處理來獲得至少一個第二較低分辨率圖像或視頻巾貞(338輸入)；通過對所述至少一個第二較低分辨率圖像或視頻幀(338輸入)進(jìn)行編碼來獲得多個增強(qiáng)層編碼位流信號；以及通過根據(jù)第三規(guī)則集對至少一個第二增強(qiáng)層信號(344)進(jìn)行參考處理來獲得第二多個參考處理信號(362)。EEE2.根據(jù)枚舉示例實(shí)施例1所述的多層編碼方法，其中，所述至少一個輸入圖像或視頻幀(302，304)是多個視圖的圖像或視頻幀。EEE3.根據(jù)枚舉示例實(shí)施例2所述的多層編碼方法，其中，所述多個視圖是第一視圖和第二視圖(302，304)。EEE4.根據(jù)枚舉示例實(shí)施例3所述的多層編碼方法，其中，所述至少一個第一較低分辨率圖像或視頻幀(316輸入)是通過對所述第一視圖和所述第二視圖的圖像或視頻幀(302，304)進(jìn)行基本層濾波(306)、基本層子采樣(310)和基本層3D復(fù)用(314)而獲得的至少一個幀兼容圖像或視頻幀。EEE5.根據(jù)枚舉示例實(shí)施例4所述的多層編碼方法，其中，所述基本層子采樣是水平子采樣、垂直子采樣或梅花形子采樣。EEE6.根據(jù)枚舉示例實(shí)施例4所述的多層編碼方法，其中，所述基本層子采樣為兩個視圖提供在至少一個維度中不等的質(zhì)量。EEE7.根據(jù)枚舉示例實(shí)施例6所述的多層編碼方法，其中，對一個視圖進(jìn)行子采樣以達(dá)到在至少一個第一維度比其它視圖低而在至少一個第二維度比所述其它視圖高的分辨率。EEE8.根據(jù)枚舉示例實(shí)施例4_7中任一項(xiàng)所述的多層編碼方法，其中，所述基本層濾波對于所述第一視圖和所述第二視圖的所有圖像或視頻幀(302，304)是固定的。EEE9.根據(jù)枚舉示例實(shí)施例4-8中任一項(xiàng)所述的多層編碼方法，其中，所述基本層濾波取決于所述第一視圖和所述第二視圖的圖像或視頻幀(302，304)的空間或時間區(qū)域的至少一個特征。EEE10.根據(jù)枚舉示例實(shí)施例4-9中任一項(xiàng)所述的多層編碼方法，其中，所述基本層3D復(fù)用(314)是并排布置、上下布置、行交織布置、列交織布置或棋盤格布置。EEEl1.根據(jù)枚舉示例實(shí)施例4_10中任一項(xiàng)所述的多層編碼方法，其中，所述基本層編碼位流信號(358)能夠由符合多個現(xiàn)有視頻編碼標(biāo)準(zhǔn)和編解碼器之一的解碼器來解碼。EEE12.根據(jù)枚舉示例實(shí)施例4_11中任一項(xiàng)所述的多層編碼方法，其中，對所述至少一個幀兼容圖像或視頻幀(316輸入)的編碼還包括以多個現(xiàn)有顏色和采樣格式之一進(jìn)行編碼。EEE13.根據(jù)枚舉示例實(shí)施例12所述的多層編碼方法，其中，所述多個現(xiàn)有顏色和采樣格式包括 YUV 4:0:0、YUV 4:2:2, YUV 4:4:4、RGB 和 XYZ。EEE14.根據(jù)枚舉示例實(shí)施例11_13中任一項(xiàng)所述的多層編碼方法，其中，所述基本層子采樣根據(jù)所述多個現(xiàn)有視頻編碼標(biāo)準(zhǔn)和編解碼器之一或者所述多個現(xiàn)有顏色和采樣格式之一來提供位深精度。EEE15.根據(jù)枚舉示例實(shí)施例11_13中任一項(xiàng)所述的多層編碼方法，其中，所述增強(qiáng)層子采樣提供比所述基本層子采樣高的位深精度。EEE16.根據(jù)枚舉示例實(shí)施例4_15中任一項(xiàng)所述的多層編碼方法，其中，所述至少一個基本層信號(356)包括來自基本層編碼器(316)的至少一個重構(gòu)輸出畫面。EEE17.根據(jù)枚舉示例實(shí)施例16所述的多層編碼方法，其中，來自所述基本層編碼器(316)的至少一個重構(gòu)輸出畫面包括至少一個低分辨率解碼后3D圖像(356)。EEE18.根據(jù)枚舉示例實(shí)施例4_17中任一項(xiàng)所述的多層編碼方法，其中，對所述至少一個基本層信號(356)進(jìn)行參考處理包括對所述基本層信號(356)進(jìn)行內(nèi)插。EEE19.根據(jù)枚舉示例實(shí)施例4_18中任一項(xiàng)所述的多層編碼方法，其中，所述第一規(guī)則集包括選擇并應(yīng)用參考處理中的至少一個區(qū)域相關(guān)濾波器。EEE20.根據(jù)枚舉示例實(shí)施例19所述的多層編碼方法，其中，所述至少一個區(qū)域相關(guān)濾波器選自水平濾波器、垂直濾波器、2D濾波器、邊緣自適應(yīng)濾波器、基于頻率的濾波器以及像素復(fù)制濾波器。EEE21.根據(jù)枚舉示例實(shí)施例20所述的多層編碼方法，其中，所述像素復(fù)制濾波器是零階保持濾波器。EEE22.根據(jù)枚舉示例實(shí)施例20所述的多層編碼方法，其中，所述像素復(fù)制濾波器是交叉視圖拷貝濾波器。EEE23.根據(jù)枚舉示例實(shí)施例20所述的多層編碼方法，其中，所述像素復(fù)制濾波器是具有交替的零值和非零值的濾波器。EEE24.根據(jù)枚舉示例實(shí)施例4_18中任一項(xiàng)所述的多層編碼方法，其中，所述第一規(guī)則集包括視差補(bǔ)償拷貝，還包括拷貝由視差矢量指定要拷貝區(qū)域的位置的非同位置樣本區(qū)域。EEE25.根據(jù)枚舉示例實(shí)施例24所述的多層編碼方法，其中，使用整數(shù)或子像素準(zhǔn)確性來指定所述視差矢量。EEE26.根據(jù)枚舉示例實(shí)施例4_25中任一項(xiàng)所述的多層編碼方法，還包括提供所述第一多個參考處理信號(322 )作為用于解碼器的參考處理單元(324)的輸入數(shù)據(jù)。EEE27.根據(jù)枚舉不例實(shí)施例4_26中任一項(xiàng)所述的多層編碼方法,其中，所述第一多個參考處理信號(322)包括至少一個基于區(qū)域的濾波參數(shù)。EEE28.根據(jù)枚舉示例實(shí)施例27所述的多層編碼方法，其中，所述至少一個基于區(qū)域的濾波參數(shù)包括選自在參考處理單元數(shù)據(jù)報頭中指定的區(qū)域的數(shù)量、大小、形狀的至少一個參數(shù)。EEE29.根據(jù)枚舉示例實(shí)施例28所述的多層編碼方法，其中，所述至少一個基于區(qū)域的濾波參數(shù)包括選自濾波器系數(shù)值、水平抽頭數(shù)量和垂直抽頭數(shù)量的至少一個參數(shù)。EEE30.根據(jù)枚舉示例實(shí)施例4-29中任一項(xiàng)所述的多層編碼方法，其中，所述第一多個參考處理信號(322)還包括與按照每個顏色分量的至少一個濾波器相關(guān)聯(lián)的至少一個信號。EEE31.根據(jù)枚舉示例實(shí)施例4_30中任一項(xiàng)所述的多層編碼方法，其中，所述第一多個參考處理信號(322)還包括與至少一個非線性濾波器相關(guān)聯(lián)的至少一個信號。EEE32.根據(jù)枚舉示例實(shí)施例31所述的多層編碼方法，其中，所述至少一個非線性濾波器包括選自邊緣自適應(yīng)濾波器和雙邊濾波器的至少一個濾波器。EEE33.根據(jù)枚舉示例實(shí)施例4_32中任一項(xiàng)所述的多層編碼方法，其中，所述第一多個參考處理信號(322)還包括與至少一種高級補(bǔ)償方法相關(guān)聯(lián)的至少一個信號。EEE34.根據(jù)枚舉示例實(shí)施例33所述的多層編碼方法，其中，所述至少一種高級補(bǔ)償方法是仿射運(yùn)動模型或透視運(yùn)動模型。EEE35.根據(jù)枚舉示例實(shí)施例4_34中任一項(xiàng)所述的多層編碼方法，其中，對所述至少一個殘差圖像或視頻幀(326)的處理包括對所述至少一個殘差圖像或視頻幀(326)的增強(qiáng)層濾波、增強(qiáng)層子采樣和增強(qiáng)層3D復(fù)用。EEE36.根據(jù)枚舉示例實(shí)施例4_35中任一項(xiàng)所述的多層編碼方法，其中，根據(jù)第二規(guī)則集對所述至少一個第一參考處理后圖像或視頻幀(320 )和所述至少一個輸入圖像或視頻幀(302，304)的處理包括計算所述至少一個第一參考處理后圖像或視頻幀(320)與至少一個輸入圖像或視頻幀(302，304)之間的差。EEE37.根據(jù)枚舉示例實(shí)施例4_36中任一項(xiàng)所述的多層編碼方法，其中，根據(jù)第二規(guī)則集對所述至少一個第一參考處理后圖像或視頻幀(320)和所述至少一個輸入圖像或視頻幀(302，304)的處理包括根據(jù)線性或非線性函數(shù)來進(jìn)行計算，所述線性或非線性函數(shù)使所述至少一個第一參考處理后圖像或視頻幀(320)和所述至少一個殘差圖像或視頻幀(320)與所述至少一個輸入圖像或視頻幀(302，304)相關(guān)。EEE38.根據(jù)枚舉示例實(shí)施例4_34中任一項(xiàng)所述的多層編碼方法，其中，根據(jù)第一規(guī)則集對所述至少一個基本層信號(356)的參考處理包括提供來自多個互補(bǔ)位置的樣本。EEE39.根據(jù)枚舉示例實(shí)施例38的多層編碼方法，其中，對至少殘差圖像或視頻幀(326)的處理包括對至少殘差圖像或視頻幀(326)進(jìn)行復(fù)用并將其輸入到增強(qiáng)層編碼器(338)。EEE40.根據(jù)枚舉示例實(shí)施例4-39中任一項(xiàng)所述的多層編碼方法，其中，對所述至少一個第一較低分辨率圖像或視頻幀(314輸入)的編碼不同于對所述至少一個第二較低分辨率或視頻幀(338輸入)的編碼。EEE41.根據(jù)枚舉示例實(shí)施例4_40中任一項(xiàng)所述的多層編碼方法，其中，所述至少一個第二增強(qiáng)層信號(344)包括來自增強(qiáng)層編碼器(338)的至少一個重構(gòu)輸出畫面。
EEE42.根據(jù)枚舉示例實(shí)施例4_41中任一項(xiàng)所述的多層編碼方法，其中，根據(jù)第三規(guī)則集對所述至少第二增強(qiáng)層信號(344)的參考處理包括在區(qū)域級進(jìn)行優(yōu)化以確定對于所述至少第二增強(qiáng)層信號(344)的最優(yōu)上變頻方案，以增強(qiáng)解碼器的組合圖像輸出的質(zhì)量。EEE43.根據(jù)枚舉示例實(shí)施例4_41中任一項(xiàng)所述的多層編碼方法，其中，所述第三規(guī)則集包括所述第一規(guī)則集的部分或全部。EEE44.根據(jù)枚舉示例實(shí)施例1_43中任一項(xiàng)所述的多層編碼方法，還包括將多個增強(qiáng)層位流信號提供到解碼器，所述多個增強(qiáng)層位流信號包括所述第一多個參考處理信號(322)、所述多個增強(qiáng)層編碼位流信號以及所述第二多個參考處理信號。EEE45.根據(jù)枚舉示例實(shí)施例1_44中任一項(xiàng)所述的多層編碼方法，其中，對所述至少一個第二較低分辨率圖像或視頻幀(338輸入)的編碼還包括使用通過對所述至少一個第一較低分辨率圖像或視頻幀(314輸入)的編碼而生成的至少一個重構(gòu)圖像或視頻幀作為參考。EEE46.根據(jù)枚舉示例實(shí)施例1_45中任一項(xiàng)所述的多層編碼方法，還包括通過根據(jù)第四規(guī)則集對所述至少一個基本層信號(356 )進(jìn)行參考處理來獲得至少一個第三參考處理后圖像或視頻(506 )。EEE47.根據(jù)枚舉示例實(shí)施例46所述的多層編碼方法，其中，對所述至少一個第二較低分辨率圖像或視頻幀(338輸入)的編碼還包括使用所述至少一個第三參考處理后圖像或視頻(506)作為參考。EEE48.根據(jù)枚舉示例實(shí)施例46或47所述的多層編碼方法，其中，對所述至少一個第二較低分辨率圖像或視頻幀(338輸入)的編碼還包括選擇通過對所述至少一個第一較低分辨率圖像或視頻幀(314輸入)的編碼而生成的運(yùn)動矢量、參考畫面和宏塊模式中的至少一個作為至少一個預(yù)測指標(biāo)。EEE49.根據(jù)枚舉示例實(shí)施例46_48中任一項(xiàng)所述的多層編碼方法，其中，對所述至少一個第二較低分辨率圖像或視頻幀(338輸入)的編碼獨(dú)立于對所述至少一個第一較低分辨率圖像或視頻巾貞(314輸入)的編碼。EEE50.根據(jù)枚舉示例實(shí)施例49所述的多層編碼方法，其中，對所述至少一個第二較低分辨率圖像或視頻幀(338輸入)的編碼還包括使用至少一個第二基本層信號來初始化所述編碼。EEE51.根據(jù)枚舉示例實(shí)施例3_43中任一項(xiàng)所述的多層編碼方法，其中，對所述至少一個基本層信號(356)的參考處理包括使用對于所述第一視圖和所述第二視圖不同的采樣偏移。EEE52.根據(jù)枚舉示例實(shí)施例3_43和51中任一項(xiàng)所述的多層編碼方法，其中，對所述至少一個第二增強(qiáng)層信號(344)的參考處理包括使用對于所述第一視圖和所述第二視圖不同的采樣偏移。EEE53.一種用于圖像和視頻傳輸?shù)亩鄬泳幋a器,包括:基本層處理器，被適配用于至少一個輸入圖像或視頻幀，包括被適配成輸出多個基本層編碼位流信號(358)的基本層編碼器(314);以及至少一個增強(qiáng)層處理器，被適配用于至少一個輸入圖像或視頻幀，包括增強(qiáng)層編碼器(336)和至少兩個參考處理單元(RPU) (318,346),
其中，所述增強(qiáng)層編碼器被適配成輸出多個增強(qiáng)層編碼位流(354)；第一 RPU (318)被適配成根據(jù)第一規(guī)則集，對來自所述基本層編碼器(316)的至少一個輸出(356)或至少一個增強(qiáng)層信號進(jìn)行處理，并且輸出第一多個參考處理數(shù)據(jù)(332)和至少一個第一參考處理后圖像或視頻幀(320);以及第二 RPU (346 )被適配成根據(jù)第二規(guī)則集對來自所述增強(qiáng)層編碼器(338 )的至少一個輸出進(jìn)行處理并輸出第二多個參考處理數(shù)據(jù)(362)。EEE54.根據(jù)枚舉示例實(shí)施例53所述的多層編碼器，其中，所述至少一個輸入圖像或視頻幀(302，304)是多個視圖的圖像或視頻幀。EEE55.根據(jù)枚舉示例實(shí)施例54所述的多層編碼器，其中，所述多個視圖是第一視圖和第二視圖(302，304)。EEE56.根據(jù)枚舉示例實(shí)施例53所述的多層編碼器，其中，所述基本層處理器還包括至少兩個基本層濾波器(306，308)、至少兩個基本層子采樣器(310，312)，所述至少兩個基本層濾波器(306，308)被適配成對所述第一視圖和所述第二視圖(302，304)的圖像或視頻幀進(jìn)行濾波，并且所述至少兩個基本層子采樣器被適配成對所述第一視圖和所述第二視圖的濾波后圖像或視頻幀進(jìn)行子采樣以獲得所述第一視圖和所述第二視圖的半分辨率圖像。EEE57.根據(jù)枚舉示例實(shí)施例56所述的多層編碼器，其中，所述至少兩個基本層濾波器(306，308)和所述至少兩個基本層子采樣器(310，312)是水平、垂直或梅花形子采樣方案。EEE58.根據(jù)枚舉示例實(shí)施例56所述的多層編碼器，其中，所述至少兩個基本層子采樣器(310，312)被適配成對于所述兩個視圖提供在至少一個維度中不等的質(zhì)量。EEE59.根據(jù)枚舉示例實(shí)施例58所述的多層編碼器，其中，所述至少兩個基本層子采樣器(310，312)被適配成對一個視圖進(jìn)行子采樣以達(dá)到在至少一個第一維度比其他視圖低而在至少一個第二維度比所述其他視圖高的分辨率。EEE60.根據(jù)枚舉不例實(shí)施例56_59中任一項(xiàng)所述的多層編碼器,其中，所述至少兩個基本層濾波器(310，312)被適配成對于所述第一視圖和所述第二視圖的所有圖像或視頻幀(302，304)是固定的。EEE61.根據(jù)枚舉不例實(shí)施例56_59中任一項(xiàng)所述的多層編碼器,其中，所述至少兩個基本層濾波器(306，308 )被適配成取決于所述第一視圖和所述第二視圖的圖像或視頻幀(302，304)的空間或時間區(qū)域的至少一個特征。EEE62.根據(jù)枚舉示例實(shí)施例56_61中任一項(xiàng)所述的多層編碼器，其中，所述基本層處理器還包括基本層3D復(fù)用器(314)，所述基本層3D復(fù)用器(314)被適配成使用并排布置、上下布置、行交織布置、列交織布置或棋盤格布置來對圖像或視頻幀進(jìn)行3D復(fù)用。EEE63.根據(jù)枚舉示例實(shí)施例56_61中任一項(xiàng)所述的多層編碼器，其中，所述基本層編碼位流信號(358)能夠由符合多個現(xiàn)有視頻編碼標(biāo)準(zhǔn)和編解碼器之一的解碼器來解碼。EEE64.根據(jù)枚舉示例實(shí)施例56_63中任一項(xiàng)所述的多層編碼器，其中，所述基本層編碼器(316)被適配成根據(jù)多個現(xiàn)有顏色和采樣格式之一對至少一個幀兼容圖像或視頻幀(316輸入)進(jìn)行編碼。EEE65.根據(jù)枚舉示例實(shí)施例64所述的多層編碼器，其中，所述多個現(xiàn)有顏色和采樣格式包括 YUV 4:0:0、YUV 4:2:2, YUV 4:4:4、RGB 和 XYZ。EEE66.根據(jù)枚舉示例實(shí)施例61_65中任一項(xiàng)所述的多層編碼器，其中，所述基本層子采樣器根據(jù)所述多個現(xiàn)有視頻編碼標(biāo)準(zhǔn)和編解碼器之一或者所述多個現(xiàn)有顏色和采樣格式之一來提供位深精度。EEE67.根據(jù)枚舉示例實(shí)施例61_66中任一項(xiàng)所述的多層編碼器，其中，所述增強(qiáng)層子采樣器提供比所述基本層子采樣器高的位深精度。EEE68.根據(jù)枚舉不例實(shí)施例56_66中任一項(xiàng)所述的多層編碼器,其中，所述基本層編碼器(316)的至少一個輸出(356)包括來自所述基本層編碼器(316)的至少一個重構(gòu)輸出畫面。EEE69.根據(jù)枚舉示例實(shí)施例68所述的多層編碼器，其中，來自所述基本層編碼器
(316)的至少一個重構(gòu)輸出畫面包括至少一個低分辨率解碼后3D圖像(356)。EEE70.根據(jù)枚舉不例實(shí)施例56_69中任一項(xiàng)所述的多層編碼器,其中，所述第一RPU (318)被適配成對來自所述基本層編碼器(316)的至少一個輸出(356)進(jìn)行內(nèi)插。EEE71.根據(jù)枚舉示例實(shí)施例56_70中任一項(xiàng)所述的多層編碼器，其中，所述第一規(guī)則集包括在所述第一 RPU (318)中選擇并應(yīng)用至少一個區(qū)域相關(guān)濾波器。EEE72.根據(jù)枚舉示例實(shí)施例71所述的多層編碼器，其中，所述至少一個區(qū)域相關(guān)濾波器是選自水平濾波器、垂直濾波器、2D濾波器、邊緣自適應(yīng)濾波器、基于頻率的濾波器、像素復(fù)制濾波器的至少一個。EEE73.根據(jù)枚舉示例實(shí)施例72所述的多層編碼器，其中，所述像素復(fù)制濾波器是零階保持濾波器。EEE74.根據(jù)枚舉示例實(shí)施例72所述的多層編碼器，其中，所述像素復(fù)制濾波器是交叉視圖拷貝濾波器。EEE75.根據(jù)枚舉示例實(shí)施例72所述的多層編碼器，其中，所述像素復(fù)制濾波器是具有交替的零值和非零值的濾波器。EEE76.根據(jù)枚舉示例實(shí)施例56_75中任一項(xiàng)所述的多層編碼器，其中，所述第一RPU (318)使用視差補(bǔ)償拷貝方案的濾波器，所述濾波器拷貝由視差矢量指定要拷貝區(qū)域的位置的樣本的非同位置區(qū)域。EEE77.根據(jù)枚舉示例實(shí)施例76所述的多層編碼器，其中，所述視差矢量是使用整數(shù)或子像素準(zhǔn)確性來指定的。EEE78.根據(jù)枚舉不例實(shí)施例56_77中任一項(xiàng)所述的多層編碼器,所述第一多個參考處理信號(322)被適配成通過所述第一 RPU (318)的濾波器選擇處理生成并且作為解碼器的參考處理單元(324)的輸入數(shù)據(jù)。EEE79.根據(jù)枚舉不例實(shí)施例56_78中任一項(xiàng)所述的多層編碼器,其中，所述第一多個參考處理信號(322)包括至少一個基于區(qū)域的濾波參數(shù)。EEE80.根據(jù)枚舉示例實(shí)施例79所述的多層編碼器，其中，所述至少一個基于區(qū)域的濾波參數(shù)包括選自在RPU數(shù)據(jù)報頭中指定的區(qū)域的數(shù)量、大小和形狀的至少一個參數(shù)。EEE81.根據(jù)枚舉示例實(shí)施例79所述的多層編碼器，其中，所述至少一個基于區(qū)域的濾波參數(shù)包括選自濾波器系數(shù)值、水平抽頭數(shù)量和垂直抽頭數(shù)量的至少一個參數(shù)。EEE82.根據(jù)枚舉示例實(shí)施例56_81中任一項(xiàng)所述的多層編碼器，其中，所述第一RPU (318)的濾波器是按照每個顏色分量來指定的。EEE83.根據(jù)枚舉示例實(shí)施例56_82中任一項(xiàng)所述的多層編碼器，其中，至少一個非線性濾波器是在所述第一 RPU (318)中指定的。EEE84.根據(jù)枚舉示例實(shí)施例83所述的多層編碼器，其中，所述至少一個非線性濾波器包括選自邊緣自適應(yīng)濾波器和雙邊濾波器的至少一個濾波器。EEE85.根據(jù)枚舉不例實(shí)施例56_84中任一項(xiàng)所述的多層編碼器,其中，所述第一多個參考處理信號(322)還包括與至少一種高級補(bǔ)償方法相關(guān)聯(lián)的至少一個信號。EEE86.根據(jù)枚舉示例實(shí)施例85所述的多層編碼器，其中，所述至少一種高級補(bǔ)償方法是仿射運(yùn)動模型或透視運(yùn)動模型。EEE87.根據(jù)枚舉示例實(shí)施例56_86中任一項(xiàng)所述的多層編碼器，其中，所述增強(qiáng)層處理器還包括至少兩個增強(qiáng)層濾波器(330，332)、至少兩個增強(qiáng)層子采樣器(334)和至少一個增強(qiáng)層3D復(fù)用器(336)。EEE88.根據(jù)枚舉示例實(shí)施例56_87中任一項(xiàng)所述的多層編碼器，其中，所述增強(qiáng)層處理器還包括至少一個比較器(328)，所述至少一個比較器(328)被適配成根據(jù)所述至少一個第一參考處理后圖像或視頻幀(320)與所述至少一個輸入圖像或視頻幀(302，304)之間的差別來計算至少一個殘差圖像或視頻幀。EEE89.根據(jù)枚舉示例實(shí)施例88所述的多層編碼器，其中，所述至少一個比較器(328)被適配成根據(jù)線性或非線性函數(shù)來計算所述至少一個殘差圖像或視頻幀，所述線性或非線性函數(shù)將所述至少一個第一參考處理后圖像或視頻幀(320 )和所述至少一個殘差圖像或視頻幀(320)與所述至少一個輸入圖像或視頻幀(302，304)相關(guān)。EEE90.根據(jù)枚舉不例實(shí)施例88_89中任一項(xiàng)所述的多層編碼器,其中，所述第一RPU (318)被適配成提供來自多個互補(bǔ)位置的樣本。EEE91.根據(jù)枚舉示例實(shí)施例90所述的多層編碼器，其中，所述至少一個殘差圖像或視頻幀被適配成被復(fù)用和輸入到所述增強(qiáng)層編碼器(338)。EEE92.根據(jù)枚舉示例實(shí)施例56_91中任一項(xiàng)所述的多層編碼器，其中，所述基本層編碼器不同于所述增強(qiáng)層編碼器。EEE93.根據(jù)枚舉示例實(shí)施例56_92中任一項(xiàng)所述的多層編碼器，其中，來自所述增強(qiáng)層編碼器(338)的至少一個重構(gòu)輸出畫面被適配成饋送到所述第二 RPU (346)。EEE94.根據(jù)枚舉不例實(shí)施例56_93中任一項(xiàng)所述的多層編碼器,其中，所述第二RPU (346)被適配成在區(qū)域級執(zhí)行優(yōu)化以確定對于來自所述增強(qiáng)層編碼器(338)的重構(gòu)畫面(344)的最優(yōu)上變頻方案，以增強(qiáng)解碼器的組合圖像輸出的質(zhì)量。EEE95.根據(jù)枚舉不例實(shí)施例56_94中任一項(xiàng)所述的多層編碼器,其中，所述第二規(guī)則集包括所述第一規(guī)則集的部分或全部。EEE96.根據(jù)枚舉不例實(shí)施例53_95中任一項(xiàng)所述的多層編碼器,還被適配成將多個增強(qiáng)層位流信號提供到解碼器，所述多個增強(qiáng)層位流信號包括所述第一多個參考處理信號(322)、所述多個增強(qiáng)層編碼位流信號(354)和所述第二多個參考處理信號(362)。EEE97.根據(jù)枚舉示例實(shí)施例53_96中任一項(xiàng)所述的多層編碼器，其中，來自所述基本層編碼器(316)的至少一個重構(gòu)圖像(356)用作所述增強(qiáng)層編碼器(338)的參考。EEE98.根據(jù)枚舉示例實(shí)施例53_97中任一項(xiàng)所述的多層編碼器，還包括第三RPU，所述第三RPU被適配成根據(jù)第三規(guī)則集，對來自所述基本層編碼器的至少一個輸出(504)進(jìn)行處理，并且輸出作為所述增強(qiáng)層編碼器(508)的輸入的至少一個第三參考處理后圖像或視頻(506)。EEE99.根據(jù)枚舉示例實(shí)施例98所述的多層編碼器，其中，所述增強(qiáng)層編碼器(508)被適配成使用所述至少一個第三參考處理后圖像或視頻(506)作為參考。EEE100.根據(jù)枚舉示例實(shí)施例98或99所述的多層編碼器，其中，所述增強(qiáng)層編碼器(508)被適配成使用選自所述基本層編碼器(502)的參考畫面、宏塊模式和運(yùn)動矢量的至少一個預(yù)測指標(biāo)。EEE101.根據(jù)枚舉示例實(shí)施例98-100中任一項(xiàng)所述的多層編碼器，其中，所述增強(qiáng)層編碼器(508 )被配置為獨(dú)立于所述基本層編碼器(502 )。EEE102.根據(jù)枚舉示例實(shí)施例101所述的多層編碼器，其中，所述增強(qiáng)層編碼器(502)被適配成使用來自所述基本層編碼器(508)的至少一個信號來初始化所述編碼。EEE103.根據(jù)枚舉不例實(shí)施例56_95中任一項(xiàng)所述的多層編碼器,其中，所述第一RPU被適配成使用對于所述第一視圖和所述第二視圖不同的采樣偏移。EEE104.根據(jù)枚舉示例實(shí)施例56_95和103中任一項(xiàng)所述的多層編碼器，其中，所述第二 RPU被適配成使用對于所述第一視圖和所述第二視圖不同的采樣偏移。EEE105.根據(jù)枚舉示例實(shí)施例53所述的多層編碼器，其中:所述基本層處理器還包括:基本層濾波器，以及基本層子采樣器；以及所述增強(qiáng)層處理器還包括:增強(qiáng)層濾波器，增強(qiáng)層子采樣器，以及增強(qiáng)層比較器。EEE106.根據(jù)枚舉示例實(shí)施例105所述的多層編碼器，其中，所述基本層濾波器被適配成對所述至少一個輸入圖像或視頻幀進(jìn)行濾波；所述基本層子采樣器被適配成對濾波后的至少一個輸入圖像或視頻幀進(jìn)行子采樣并且輸出至少一個低分辨率圖像或視頻幀；所述基本層編碼器被適配成對所述至少一個低分辨率圖像或視頻幀進(jìn)行編碼；所述第一 RI3U被適配成對來自所述基本層編碼器的至少一個重構(gòu)圖像或視頻幀進(jìn)行內(nèi)插并且輸出至少一個全分辨率圖像或視頻幀；所述增強(qiáng)層比較器被適配成根據(jù)所述至少一個重構(gòu)圖像或視頻幀以及所述至少一個輸入圖像或視頻幀來計算至少一個殘差圖像或視頻幀；所述增強(qiáng)層濾波器被適配成對所述至少一個殘差圖像或視頻幀進(jìn)行濾波；所述增強(qiáng)層子采樣器被適配成對濾波后的至少一個殘差圖像或視頻幀進(jìn)行子采樣；以及所述增強(qiáng)層編碼器被適配成對子采樣后的至少一個殘差圖像或視頻幀進(jìn)行編碼。
EEE107.根據(jù)枚舉示例實(shí)施例106所述的多層編碼器，其中，所述增強(qiáng)層比較器執(zhí)行的計算包括減法、線性變換或非線性變換。EEE108.根據(jù)枚舉示例實(shí)施例105-107中任一項(xiàng)所述的多層編碼器，其中，所述第一多個參考處理數(shù)據(jù)和所述第二多個參考處理數(shù)據(jù)被適配成嵌入所述多個增強(qiáng)層編碼位流號中。EEE109.根據(jù)枚舉示例實(shí)施例105-107中任一項(xiàng)所述的多層編碼器，其中，所述第一多個參考處理數(shù)據(jù)和所述第二多個參考處理數(shù)據(jù)被適配成獨(dú)立于所述多個增強(qiáng)層編碼位流信號而傳遞到解碼器。EEEl 10.根據(jù)枚舉不例實(shí)施例105-109中任一項(xiàng)所述的多層編碼器,其中，同一增強(qiáng)層處理器內(nèi)的所述第一多個參考處理數(shù)據(jù)和所述第二多個參考處理數(shù)據(jù)被適配成一起傳遞。EEEl 11.根據(jù)枚舉示例實(shí)施例106-110中任一項(xiàng)所述的多層編碼器，其中，所述多層編碼器的所述多個參考處理數(shù)據(jù)全部被適配成分組在RPU數(shù)據(jù)包中，所述RPU數(shù)據(jù)包嵌入在所述多個增強(qiáng)層編碼位流信號之前或之后的多個增強(qiáng)層位流信號中。EEEl 12.根據(jù)枚舉示例實(shí)施例105-111中任一項(xiàng)所述的多層編碼器，其中，所述第一規(guī)則集和所述第二規(guī)則集取決于選自以下的至少一個因素:所述多個基本層編碼位流信號的解碼質(zhì)量、所述多個增強(qiáng)層編碼位流信號的解碼質(zhì)量、每層的編碼所需的位速率以及解碼和參考處理的復(fù)雜度。EEEl 13.根據(jù)枚舉示例實(shí)施例105-112中任一項(xiàng)所述的多層編碼器，其中，所述第一規(guī)則集和所述第二規(guī)則集被適配成優(yōu)化所述兩個RPU的濾波器選擇。EEEl 14.根據(jù)枚舉示例實(shí)施例113所述的多層編碼器，其中，所述第一 RPU的優(yōu)化獨(dú)立于所述第二 RPU的優(yōu)化。EEE115.根據(jù)枚舉示例實(shí)施例114所述的多層編碼器，其中，所述第一規(guī)則集被適配成為所述第一 RPU選擇使得所述至少一個內(nèi)插基本層圖像或視頻幀與所述至少一個輸入圖像或視頻幀之間的預(yù)測誤差最小化的濾波器組。EEEl 16.根據(jù)枚舉示例實(shí)施例113所述的多層編碼器，其中，所述第一規(guī)則集被適配成選擇用以增強(qiáng)編碼器性能的、用于所述第一 RPU的濾波器組和用于所述基本層濾波器的濾波器組。EEE117.根據(jù)枚舉示例實(shí)施例113所述的多層編碼器，其中，所述第二規(guī)則集被適配成為所述第二 RPU選擇使得全分辨率解碼后圖像的失真最小化的濾波器組。EEEl 18.根據(jù)枚舉示例實(shí)施例113-117中任一項(xiàng)所述的多層編碼器，其中，為所述第一 RPU選擇的濾波器用于初始化對于所述第二 RPU的較小濾波器搜索。EEEl 19.根據(jù)枚舉示例實(shí)施例113所述的多層編碼器，其中，所述第一規(guī)則集和所述第二規(guī)則集被配置成優(yōu)化所述第一 RPU、所述第二 RPU、所述基本層編碼器和所述增強(qiáng)層編碼器的性能。EEE120.根據(jù)枚舉示例實(shí)施例53所述的多層編碼器，還適配成對多視像或視頻幀進(jìn)行編碼。EEE121.根據(jù)枚舉示例實(shí)施例120所述的多層編碼器，還被適配成通過考慮每層的視圖之間的不同采樣位置和視圖之間的視差來對至少一個參考畫面進(jìn)行處理。
EEE122.根據(jù)枚舉示例實(shí)施例53所述的多層編碼器，包括第二增強(qiáng)層處理器，其中:所述基本層處理器和所述第一增強(qiáng)層處理器的編碼器被適配成具有比所述第二增強(qiáng)層處理器低的分辨率，所述第二增強(qiáng)層處理器在對所述基本層處理器和所述第一增強(qiáng)層處理器的輸出進(jìn)行解碼之后對所述殘差信息進(jìn)行編碼。EEE123.一種使用多假設(shè)處理的多層編碼器，包括:第一層編碼器；第一參考處理單元(RPU)，耦合到所述第一層編碼器；第二層編碼器，耦合到所述第一層編碼器；第二 RPU，耦合到所述第二層編碼器；組合器，耦合到所述第一 RPU和所述第二 RPU ；比較器，耦合到所述組合器；第三層編碼器，耦合到所述第二層編碼器和所述比較器；以及第三RPU，耦合到所述第三層編碼器，其中，所述組合器被適配成通過對所述第一 RPU的輸出和所述第二 RPU的輸出的加權(quán)組合來生成作為所述第三編碼器層的輸入的預(yù)測圖像；所述比較器被適配成根據(jù)所述預(yù)測圖像和原始視像計算殘差圖像；以及所述第三層編碼器被適配成對所述殘差圖像進(jìn)行編碼。EEE124.一種用于圖像和視頻傳輸?shù)亩鄬咏獯a方法,包括:通過基本層對多個基本層編碼位流信號(358)進(jìn)行基本層處理，所述基本層處理包括:通過對所述多個基本層編碼位流信號(358 )進(jìn)行解碼來獲得至少一個第一低分辨率圖像或視頻幀(342的輸出)；以及通過一個或多個增強(qiáng)層對多個增強(qiáng)層位流信號進(jìn)行增強(qiáng)層處理，其中，所述多個增強(qiáng)層位流信號包括:多個增強(qiáng)層編碼位流信號(354)，第一多個參考處理信號(322)，以及第二多個參考處理信號(362);所述增強(qiáng)層處理包括:通過對所述第一多個參考處理信號(322)和所述至少一個第一低分辨率圖像或視頻幀(342的輸出)進(jìn)行參考處理來獲得至少一個第一參考處理后圖像或視頻幀(352)；通過對所述多個增強(qiáng)層編碼位流信號(354)進(jìn)行解碼并且對基本層信號(340的其他輸入)或增強(qiáng)層信號進(jìn)行處理來獲得至少一個增強(qiáng)層解碼信號(340輸出)；通過對所述第二多個參考處理信號(362)和所述至少一個增強(qiáng)層解碼信號(340輸出)進(jìn)行參考處理來獲得至少一個第二參考處理后圖像或視頻幀(350);以及通過對所述至少一個第一參考處理后圖像或視頻幀(352 )和所述至少一個第二參考處理后圖像或視頻幀(350)進(jìn)行組合來獲得至少一個全分辨率圖像或視頻幀。
EEE125.根據(jù)枚舉示例實(shí)施例124所述的多層解碼方法，其中，所述至少一個全分辨率圖像或視頻幀是多個視圖的至少一個圖像或視頻幀。EEE126.根據(jù)枚舉示例實(shí)施例125所述的多層解碼方法，其中，所述多個視圖是第一視圖和第二視圖(302，304)。EEE127.根據(jù)枚舉示例實(shí)施例126所述的多層解碼方法，其中，對所述多個基本層編碼位流信號(358)的解碼包括利用多個現(xiàn)有視頻編碼標(biāo)準(zhǔn)和編解碼器之一進(jìn)行解碼。EEE128.根據(jù)枚舉示例實(shí)施例126所述的多層解碼方法，其中，所述多個現(xiàn)有視頻編碼標(biāo)準(zhǔn)和編解碼器包括 MPEG-2、H.264/AVC/MPEG-4Part 10、VC1、VP6、VP7 和 VP8。EEE129.根據(jù)枚舉示例實(shí)施例127或128所述的多層解碼方法，其中，所述基本層編碼位流信號(358)能夠由符合所述多個現(xiàn)有視頻編碼標(biāo)準(zhǔn)和編解碼器之一的解碼器來解碼。EEE130.根據(jù)枚舉示例實(shí)施例125-129中任一項(xiàng)所述的多層解碼方法，其中，對所述多個基本層編碼位流信號(358)的解碼還包括利用多個現(xiàn)有顏色和采樣格式之一進(jìn)行解碼。EEE131.根據(jù)枚舉示例實(shí)施例130所述的多層解碼方法，其中，所述多個現(xiàn)有顏色和采樣格式包括 YUV 4:0:0、YUV 4:2:2, YUV 4:4:4、RGB 和 XYZ。EEE132.根據(jù)枚舉示例實(shí)施例125-131中任一項(xiàng)所述的多層解碼方法，其中，對所述第一多個參考處理信號(322)和所述至少一個第一低分辨率圖像或視頻幀(342的輸出)的參考處理包括對所述至少一個第一低分辨率圖像或視頻幀(342的輸出)進(jìn)行內(nèi)插。EEE133.根據(jù)枚舉示例實(shí)施例132所述的多層解碼方法，其中，所述至少一個第一低分辨率圖像或視頻幀(342的輸出)的內(nèi)插是并排解包布置、上下解包布置或棋盤格解包布置。EEE134.根據(jù)枚舉示例實(shí)施例126-133中任一項(xiàng)所述的多層解碼方法，其中，所述第一多個參考處理信號(322)包括至少一個基于區(qū)域的濾波參數(shù)。EEE135.根據(jù)枚舉示例實(shí)施例134所述的多層解碼方法，其中，所述至少一個基于區(qū)域的濾波參數(shù)包括選自在參考處理單元數(shù)據(jù)報頭中指定的區(qū)域的數(shù)量、大小、形狀的至少一個參數(shù)。EEE136.根據(jù)枚舉示例實(shí)施例134所述的多層解碼方法，其中，所述至少一個基于區(qū)域的濾波參數(shù)包括選自濾波器系數(shù)值、水平抽頭數(shù)量以及垂直抽頭數(shù)量的至少一個參數(shù)。EEE137.根據(jù)枚舉示例實(shí)施例126-136中任一項(xiàng)所述的多層解碼方法，其中，所述第一多個參考處理信號(322)還包括與按照每個顏色分量的至少一個濾波器相關(guān)聯(lián)的至少
一個信號。EEE138.根據(jù)枚舉示例實(shí)施例126-137中任一項(xiàng)所述的多層解碼方法，其中，所述第一多個參考處理信號(322)還包括與至少一個非線性濾波器相關(guān)聯(lián)的至少一個信號。EEE139.根據(jù)枚舉示例實(shí)施例138所述的多層解碼方法，其中，所述至少一個非線性濾波器包括選自邊緣自適應(yīng)濾波器和雙邊濾波器的至少一個濾波器。EEE140.根據(jù)枚舉示例實(shí)施例126-139中任一項(xiàng)所述的多層解碼方法，其中，所述第一多個參考處理信號(322)還包括與至少一個高級補(bǔ)償方法相關(guān)聯(lián)的至少一個信號。
EEE141.根據(jù)枚舉示例實(shí)施例140所述的多層解碼方法，其中，所述至少一個高級補(bǔ)償方法是仿射運(yùn)動模型或透視運(yùn)動模型。EEE142.根據(jù)枚舉示例實(shí)施例126-141中任一項(xiàng)所述的多層解碼方法，還包括通過對來自對所述多個基本層編碼位流信號的解碼的輸出和第三多個參考處理信號進(jìn)行參考處理來獲得至少一個第三參考處理后圖像或視頻幀。EEE143.根據(jù)枚舉示例實(shí)施例142所述的多層解碼方法，其中，對所述基本層信號或所述增強(qiáng)層信號的處理還包括使用所述至少一個第三參考處理后圖像或視頻作為參考。EEE144.根據(jù)枚舉示例實(shí)施例126-143中任一項(xiàng)所述的多層解碼方法，其中，對所述第一多個參考處理信號(322)和所述至少一個第一低分辨率圖像或視頻幀(342的輸出)的參考處理包括使用對于所述第一視圖和所述第二視圖不同的采樣偏移。EEE145.根據(jù)枚舉示例實(shí)施例126-144中任一項(xiàng)所述的多層編碼方法，其中，對所述第二多個參考處理信號(362)和所述至少一個增強(qiáng)層解碼信號(340輸出)的參考處理包括使用對于所述第一視圖和所述第二視圖不同的采樣偏移。EEE146.一種用于圖像和視頻傳輸?shù)亩鄬咏獯a器,包括:至少一個基本層解碼器(342)，被適配成對多個基本層編碼位流信號(358)進(jìn)行解碼，至少一個增強(qiáng)層處理器，被適配成對多個增強(qiáng)層位流信號進(jìn)行處理，其中，所述多個增強(qiáng)層位流信號包括:多個增強(qiáng)層編碼位流信號(354)，第一多個參考處理信號(322)，以及第二多個參考處理信號(362);所述增強(qiáng)層處理器包括:增強(qiáng)層解碼器(340)，被適配成對所述多個增強(qiáng)層位流信號進(jìn)行解析并對所述多個增強(qiáng)編碼位流信號(354)進(jìn)行解碼；第一參考處理單元(RPU) (324)，被適配成根據(jù)所述第一多個參考處理信號
(322)，對來自所述基本層解碼器(342)的輸出進(jìn)行處理并輸出至少一個第一內(nèi)插重構(gòu)圖像或視頻幀(352)；第二 RPU (348)，被適配成根據(jù)所述第二多個參考處理信號(322)，對來自所述增強(qiáng)層解碼器(340)的輸出進(jìn)行處理并輸出至少一個第二內(nèi)插重構(gòu)圖像或視頻幀(350);以及至少一個組合器，被適配成對所述至少一個第一內(nèi)插重構(gòu)圖像或視頻(352)和所述至少一個第二內(nèi)插重構(gòu)圖像或視頻幀(350 )進(jìn)行組合以獲得至少一個全分辨率圖像或視頻幀(360)。EEE147.根據(jù)枚舉示例實(shí)施例146所述的多層解碼器，其中，所述至少一個全分辨率圖像或視頻幀是多個視圖的至少一個圖像或視頻幀。EEE148.根據(jù)枚舉示例實(shí)施例147所述的多層解碼器，其中，所述多個視圖是第一視圖和第二視圖(302，304)。EEE149.根據(jù)枚舉示例實(shí)施例146-148中任一項(xiàng)所述的多層解碼器，其中，所述基本層解碼器(342 )被適配成根據(jù)多個現(xiàn)有視頻編碼標(biāo)準(zhǔn)和編解碼器之一對所述多個基本層編碼位流信號(358)進(jìn)行解碼。
EEE150.根據(jù)枚舉示例實(shí)施例149所述的多層解碼器，其中，所述多個現(xiàn)有視頻編碼標(biāo)準(zhǔn)和編解碼器包括 MPEG-2、H.264/AVC/MPEGPart 10、VC1、VP6、VP7 和 VP8。EEE151.根據(jù)枚舉示例實(shí)施例146-150中任一項(xiàng)所述的多層解碼器，其中，所述基本層解碼器(342 )被適配成根據(jù)多個現(xiàn)有顏色和采樣格式之一對所述多個基本層編碼位流信號(358)進(jìn)行解碼。EEE152.根據(jù)枚舉示例實(shí)施例151所述的多層解碼器，其中，所述多個現(xiàn)有顏色和采樣格式包括 YUV 4:0:0、YUV 4:2:2, YUV 4:4:4、RGB 和 XYZ。EEE153.根據(jù)枚舉不例實(shí)施例146-152中任一項(xiàng)所述的多層解碼器,其中，所述第一 RPU (324)被適配成對來自所述基本層解碼器(342)的至少一個輸出進(jìn)行內(nèi)插。EEE154.根據(jù)枚舉不例實(shí)施例146-153中任一項(xiàng)所述的多層解碼器,其中，所述第一 RPU (324)還包括至少一個區(qū)域相關(guān)濾波器。EEE155.根據(jù)枚舉示例實(shí)施例154所述的多層解碼器，其中，所述至少一個區(qū)域相關(guān)濾波器是選自水平濾波器、垂直濾波器、2D濾波器、邊緣自適應(yīng)濾波器、基于頻率的濾波器、像素復(fù)制濾波器的至少一個。EEE156.根據(jù)枚舉示例實(shí)施例155所述的多層解碼器，其中，所述像素復(fù)制濾波器是零階保持濾波器。EEE157.根據(jù)枚舉示例實(shí)施例155所述的多層解碼器，其中，所述像素復(fù)制濾波器是交叉視圖拷貝濾波器。EEE158.根據(jù)枚舉示例實(shí)施例155所述的多層解碼器，其中，所述像素復(fù)制濾波器是具有交替的零值和非零值的濾波器。EEE159.根據(jù)枚舉不例實(shí)施例146-158中任一項(xiàng)所述的多層解碼器，其中，所述第一 RPU (342)使用視差補(bǔ)償拷貝方案的濾波器，所述濾波器拷貝由視差矢量指定要拷貝區(qū)域的位置的樣本的非同位置區(qū)域。EEE160.根據(jù)枚舉示例實(shí)施例159所述的多層解碼器，其中，所述視差矢量是使用整數(shù)或子像素準(zhǔn)確性來指定的。EEE161.根據(jù)枚舉不例實(shí)施例146-160中任一項(xiàng)所述的多層解碼器，其中，所述第一多個參考處理信號(322)包括至少一個基于區(qū)域的濾波參數(shù)。EEE162.根據(jù)枚舉示例實(shí)施例161所述的多層解碼器，其中，所述至少一個基于區(qū)域的濾波參數(shù)包括選自在RPU數(shù)據(jù)報頭中指定的區(qū)域的數(shù)量、大小、形狀的至少一個參數(shù)。EEE163.根據(jù)枚舉示例實(shí)施例161所述的多層解碼器，所述至少一個基于區(qū)域的濾波參數(shù)包括選自濾波器系數(shù)值、水平抽頭數(shù)量以及垂直抽頭數(shù)量的至少一個參數(shù)。EEE164.根據(jù)枚舉不例實(shí)施例146-163中任一項(xiàng)所述的多層解碼器,其中，所述第一 RPU (342)的濾波器是按照每個顏色分量來指定的。EEE165.根據(jù)枚舉示例實(shí)施例146-164中任一項(xiàng)所述的多層解碼器，其中，所述至少一個非線性濾波器是在所述第一 RPU (342)中指定的。EEE166.根據(jù)枚舉示例實(shí)施例165所述的多層解碼器，其中，所述至少一個非線性濾波器包括選自邊緣自適應(yīng)濾波器和雙邊濾波器的至少一個濾波器。EEE167.根據(jù)枚舉不例實(shí)施例146-166中任一項(xiàng)所述的多層解碼器，其中，所述第一多個參考處理信號(322)還包括與至少一個高級補(bǔ)償方法相關(guān)聯(lián)的至少一個信號。
EEE168.根據(jù)枚舉示例實(shí)施例167所述的多層解碼器，其中，所述至少一個高級補(bǔ)償方法是仿射運(yùn)動模型或透視運(yùn)動模型。EEE169.根據(jù)枚舉示例實(shí)施例146-168中任一項(xiàng)所述的多層解碼器，其中，所述基本層解碼器不同于所述增強(qiáng)層解碼器。EEE170.根據(jù)枚舉示例實(shí)施例146-169中任一項(xiàng)所述的多層解碼器，其中，來自所述增強(qiáng)層解碼器(340)的至少一個重構(gòu)輸出畫面被適配成饋送到所述第二 RPU (348)。EEE171.根據(jù)枚舉示例實(shí)施例146-170中任一項(xiàng)所述的多層解碼器，其中，來自所述基本層編碼器(342)的至少一個重構(gòu)圖像被用作所述增強(qiáng)層解碼器(340)的參考。EEE172.根據(jù)枚舉示例實(shí)施例146-170中任一項(xiàng)所述的多層解碼器，還包括第三RPU，所述第三RI3U被適配成根據(jù)第三多個參考處理信號，對來自所述基本層解碼器(342)的輸出進(jìn)行處理，并且輸出作為所述增強(qiáng)層解碼器(340)的輸入的至少一個第三參考處理后圖像或視頻。EEE173.根據(jù)枚舉示例實(shí)施例172所述的多層解碼器，其中，所述增強(qiáng)層解碼器被適配成使用所述至少一個第三參考處理后圖像或視頻作為參考。EEE174.根據(jù)枚舉示例實(shí)施例172或173所述的多層解碼器，其中，所述增強(qiáng)層解碼器被適配成使用選自所述基本層解碼器的運(yùn)動矢量、參考畫面以及宏塊模式的至少一個預(yù)測指標(biāo)。EEE175.根據(jù)枚舉示例實(shí)施例172-174中任一項(xiàng)所述的多層解碼器，其中，所述增強(qiáng)層解碼器被配置成獨(dú)立于所述基本層解碼器。EEE176.根據(jù)枚舉示例實(shí)施例175所述的多層解碼器，其中，所述增強(qiáng)層解碼器被適配成使用來自所述基本層解碼器的至少一個信號來初始化所述解碼。EEE177.根據(jù)枚舉不例實(shí)施例148-176中任一項(xiàng)所述的多層解碼器,其中，所述第
一RPU被適配成使用對于所述第一視圖和所述第二視圖不同的采樣偏移。EEE178.根據(jù)枚舉示例實(shí)施例148-177中任一項(xiàng)所述的多層解碼器，其中，所述第
二RPU被適配成使用對于所述第一視圖和所述第二視圖不同的采樣偏移。EEE179.根據(jù)枚舉示例實(shí)施例146所述的多層解碼器，其中，所述增強(qiáng)層組合器執(zhí)行的組合處理包括減法、線性變換或非線性變換。EEE180.根據(jù)枚舉示例實(shí)施例146所述的多層解碼器，還被適配成對多視像或視頻幀進(jìn)行編碼。EEE181.根據(jù)枚舉示例實(shí)施例180所述的多層解碼器，還被適配成通過考慮每層的視圖之間的不同采樣位置以及視圖之間的視差來對至少一個參考畫面進(jìn)行處理。EEE182.一種使用多假設(shè)處理的多層解碼器，包括:第一層解碼器；第一參考處理單元(RPU)，耦合到所述第一層解碼器；第二層解碼器，耦合到所述第一層解碼器；第二 RPU，耦合到所述第二層解碼器；組合器，耦合到所述第一 RPU和所述第二 RPU ；第三層編碼器，耦合到所述第二層編碼器；第三RPU，耦合到所述第三編碼器；以及
加法器，耦合到所述組合器和所述第三RPU。EEE183.一種用于圖像或視頻傳輸?shù)姆椒ǎ?根據(jù)枚舉示例實(shí)施例1-52中的一個或多個所述的方法的編碼處理；以及根據(jù)枚舉示例實(shí)施例124-145中的一個或多個所述的方法的解碼處理。EEE184.一種用于圖像或視頻傳輸?shù)木幗獯a器系統(tǒng),包括:根據(jù)枚舉示例實(shí)施例53-123中任一項(xiàng)所述的多層編碼器；以及根據(jù)枚舉示例實(shí)施例146-181中任一項(xiàng)所述的多層解碼器。EEE185.一種使用多假設(shè)處理的編解碼器系統(tǒng)，包括:根據(jù)枚舉示例實(shí)施例117所述的多層編碼器；以及根據(jù)枚舉示例實(shí)施例182所述的多層解碼器。
權(quán)利要求
1.一種用于圖像和視頻傳輸?shù)亩鄬泳幋a方法，包括: 通過基本層對至少一個輸入圖像或視頻幀(302，304)進(jìn)行基本層處理，所述基本層處理包括: 通過對所述至少一個輸入圖像或視頻幀(302，304)進(jìn)行處理來獲得至少一個第一較低分辨率圖像或視頻幀(316輸入)；以及 通過對所述至少一個第一較低分辨率圖像或視頻幀(314輸入)進(jìn)行編碼來獲得多個基本層編碼位流信號(358); 通過一個或多個增強(qiáng)層對所述至少一個圖像或視頻幀(302，304)進(jìn)行增強(qiáng)層處理，所述增強(qiáng)層處理包括: 通過根據(jù)第一規(guī)則集對至少一個基本層信號(356)或至少一個第一增強(qiáng)層信號進(jìn)行參考處理來獲得第一多個參考處理信號(322)和至少一個第一參考處理后圖像或視頻幀(320)； 通過根據(jù)第二規(guī)則集對所述至少一個第一參考處理后圖像或視頻幀(320 )和所述至少一個輸入圖像或視頻幀(302，304)進(jìn)行處理來獲得至少一個殘差圖像或視頻幀(326)； 通過對所述至少一 個殘差圖像或視頻幀(326)進(jìn)行處理來獲得至少一個第二較低分辨率圖像或視頻幀(338輸入)； 通過對所述至少一個第二較低分辨率圖像或視頻幀(338輸入)進(jìn)行編碼來獲得多個增強(qiáng)層編碼位流信號；以及 通過根據(jù)第三規(guī)則集對至少一個第二增強(qiáng)層信號(344)進(jìn)行參考處理來獲得第二多個參考處理信號(362)。
2.根據(jù)權(quán)利要求1所述的多層編碼方法，其中，所述至少一個輸入圖像或視頻幀(302，304)包括多個視圖的圖像或視頻幀。
3.根據(jù)權(quán)利要求2所述的多層編碼方法，其中，所述多個視圖包括第一視圖和第二視圖(302，304)。
4.根據(jù)權(quán)利要求3所述的多層編碼方法，其中，所述至少一個第一較低分辨率圖像或視頻幀(316輸入)包括通過對所述第一視圖和所述第二視圖的圖像或視頻幀(302，304)進(jìn)行基本層濾波(306)、基本層子采樣(310)和基本層3D復(fù)用(314)而獲得的至少一個幀兼容圖像或視頻幀。
5.根據(jù)權(quán)利要求4所述的多層編碼方法，其中，所述基本層子采樣包括水平子采樣、垂直子采樣或梅花形子采樣。
6.根據(jù)權(quán)利要求4所述的多層編碼方法，其中，所述基本層子采樣對于兩個視圖提供在至少一個維度中不等的質(zhì)量。
7.根據(jù)權(quán)利要求6所述的多層編碼方法，其中，對一個視圖進(jìn)行子采樣以達(dá)到在至少一個第一維度比其他視圖低而在至少一個第二維度比所述其他視圖高的分辨率。
8.根據(jù)權(quán)利要求4-7中任一項(xiàng)所述的多層編碼方法，其中，所述基本層濾波對于所述第一視圖和所述第二視圖的所有圖像或視頻幀(302，304 )是固定的。
9.根據(jù)權(quán)利要求4-8中任一項(xiàng)所述的多層編碼方法，其中，所述基本層濾波取決于所述第一視圖和所述第二視圖的圖像或視頻幀(302，304)的空間或時間區(qū)域的至少一個特征。
10.根據(jù)權(quán)利要求4-9中任一項(xiàng)所述的多層編碼方法，其中，所述基本層3D復(fù)用(314)包括并排布置、上下布置、行交織布置、列交織布置或棋盤格布置。
11.根據(jù)權(quán)利要求4-10中任一項(xiàng)所述的多層編碼方法，其中，所述基本層編碼位流信號(358)能夠由符合多個現(xiàn)有視頻編碼標(biāo)準(zhǔn)和編解碼器之一的解碼器來解碼。
12.根據(jù)權(quán)利要求4-11中任一項(xiàng)所述的多層編碼方法，其中，對所述至少一個幀兼容圖像或視頻幀(316輸入)的編碼還包括利用多個現(xiàn)有顏色和采樣格式之一進(jìn)行編碼。
13.根據(jù)權(quán)利要求12所述的多層編碼方法，其中，所述多個現(xiàn)有顏色和采樣格式包括YUV 4:0:0, YUV 4:2:2, YUV 4:4:4、RGB 和 XYZ。
14.根據(jù)權(quán)利要求11-13中任一項(xiàng)所述的多層編碼方法，其中，所述基本層子采樣根據(jù)所述多個現(xiàn)有視頻編碼標(biāo)準(zhǔn)和編解碼器之一或者所述多個現(xiàn)有顏色和采樣格式之一來提供位深精度。
15.根據(jù)權(quán)利要求11-13中任一項(xiàng)所述的多層編碼方法，其中，所述增強(qiáng)層子采樣提供比所述基本層子采樣高的位深精度。
16.根據(jù)權(quán)利要求1-15中任一項(xiàng)所述的多層編碼方法，還包括將多個增強(qiáng)層位流信號提供到解碼器，所述多個增強(qiáng)層位流信號包括所述第一多個參考處理信號(322)、所述多個增強(qiáng)層編碼位流信號和所述第二多個參考處理信號。
17.根據(jù)權(quán)利要求1-16中任一項(xiàng)所述的多層編碼方法，其中，對所述至少一個第二較低分辨率圖像或視頻幀(338輸入)的編碼還包括使用通過對所述至少一個第一較低分辨率圖像或視頻幀(314輸入)的編碼而生成的至少一個重構(gòu)圖像或視頻幀作為參考。
18.根據(jù)權(quán)利要求1-17中任一項(xiàng)所述的多層編碼方法，還包括:通過根據(jù)第四規(guī)則集對所述至少一個基本層信號(356 )進(jìn)行參考處理來獲得至少一個第三參考處理后圖像或視頻(506)。
19.一種用于圖像和視頻傳輸?shù)亩鄬泳幋a器，包括: 基本層處理器，被適配用于至少一個輸入圖像或視頻幀，包括被適配成輸出多個基本層編碼位流信號(358)的基本層編碼器(314);以及 至少一個增強(qiáng)層處理器，被適配用于至少一個輸入圖像或視頻幀，包括增強(qiáng)層編碼器(336)和至少兩個參考處理單元(RPU) (318，346)， 其中， 所述增強(qiáng)層編碼器被適配成輸出多個增強(qiáng)層編碼位流(354)； 第一 RPU (318)被適配成根據(jù)第一規(guī)則集，對來自所述基本層編碼器(316)的至少一個輸出(356)或至少一 個增強(qiáng)層信號進(jìn)行處理，并且輸出第一多個參考處理數(shù)據(jù)(322)和至少一個第一參考處理后圖像或視頻幀(320);以及 第二 RPU (346)，被適配成根據(jù)第二規(guī)則集對來自所述增強(qiáng)層編碼器(338)的至少一個輸出進(jìn)行處理并輸出第二多個參考處理數(shù)據(jù)(362)。
20.一種使用多假設(shè)處理的多層編碼器，包括: 第一層編碼器； 第一參考處理單元(RPU)，耦合到所述第一層編碼器； 第二層編碼器，耦合到所述第一層編碼器； 第二 RPU，耦合到所述第二層編碼器；組合器，耦合到所述第一 RPU和所述第二 RPU ； 比較器，耦合到所述組合器； 第三層編碼器，耦合到所述第二層編碼器和所述比較器；以及 第三RPU，耦合到所述第三層編碼器， 其中， 所述組合器被適配成通過對所述第一 RPU的輸出和所述第二 RPU的輸出的加權(quán)組合來生成作為所述第三層編碼器的輸入的預(yù)測圖像； 所述比較器被適配成根據(jù)所述預(yù)測圖像和原始視像來計算殘差圖像；以及 所述第三層編碼器被適配成對所述殘差圖像進(jìn)行編碼。
21.一種用于圖像和視頻傳輸?shù)亩鄬咏獯a方法，包括: 通過基本層對多個基本層編碼位流信號(358)進(jìn)行基本層處理，所述基本層處理包括: 通過對所述多個基本層編碼位流信號(358)進(jìn)行解碼來獲得至少一個第一低分辨率圖像或視頻幀(342的輸出)；以及 通過一個或多個增強(qiáng)層對多個增強(qiáng)層位流信號進(jìn)行增強(qiáng)層處理，其中， 所述多個增強(qiáng)層位流信號包括: 多個增強(qiáng)層編碼位流信號(354)； 第一多個參考處理信號(322);以及 第二多個參考處理信號(362)； 所述增強(qiáng)層處理包括: 通過對所述第一多個參考處理信號(322)和所述至少一個第一低分辨率圖像或視頻幀(342的輸出)進(jìn)行參考處理來獲得至少一個第一參考處理后圖像或視頻幀(352)； 通過對所述多個增強(qiáng)層編碼位流信號(354)進(jìn)行解碼并對基本層信號(340的其它輸入)或增強(qiáng)層信號進(jìn)行處理來獲得至少一個增強(qiáng)層解碼信號(340輸出)； 通過對所述第二多個參考處理信號(362)和所述至少一個增強(qiáng)層解碼信號(340輸出)進(jìn)行參考處理來獲得至少一個第二參考處理后圖像或視頻幀(350 );以及 通過對所述至少一個第一參考處理后圖像或視頻幀(352 )和所述至少一個第二參考處理后圖像或視頻幀(350)進(jìn)行組合來獲得至少一個全分辨率圖像或視頻幀。
22.一種用于圖像和視頻傳輸?shù)亩鄬咏獯a器，包括: 至少一個基本層解碼器(342)，被適配成對多個基本層編碼位流信號(358)進(jìn)行解碼； 至少一個增強(qiáng)層處理器，被適配成對多個增強(qiáng)層位流信號進(jìn)行處理，其中， 所述多個增強(qiáng)層位流信號包括: 多個增強(qiáng)層編碼位流信號(354)， 第一多個參考處理信號(322)，以及 第二多個參考處理信號(362)； 所述增強(qiáng)層處理器包括: 增強(qiáng)層解碼器(340)，被適配成對所述多個增強(qiáng)層位流信號進(jìn)行解析并且對所述多個增強(qiáng)編碼位流信號(354)進(jìn)行解碼； 第一參考處理單元(RPU) (324)，被適配成根據(jù)所述第一多個參考處理信號(322)，對來自所述基本層解碼器(342 )的輸出進(jìn)行處理并且輸出至少一個第一內(nèi)插重構(gòu)圖像或視頻幀(352)；第二 RPU (348)，被適配成根據(jù)所述第二多個參考處理信號(322)，對來自所述增強(qiáng)層解碼器(340)的輸出進(jìn)行處理并且輸出至少一個第二內(nèi)插重構(gòu)圖像或視頻幀(350);以及至少一個組合器，被適配成對所述至少一個第一內(nèi)插重構(gòu)圖像或視頻(352)和所述至少一個第二內(nèi)插重構(gòu)圖像或視頻幀(350)進(jìn)行組合，以獲得至少一個全分辨率圖像或視頻幀(360)。
23.一種使用多假設(shè)處理的多層解碼器，包括: 第一層解碼器； 第一參考處理單元(RPU)，耦合到所述第一層解碼器； 第二層解碼器，耦合到所述第一層解碼器； 第二 RPU，耦合到所述第二層解碼器； 組合器，耦合到所述第一 PRU和所述第二 RPU ； 第三層編碼器，耦合到所述第二層編碼器； 第三RPU，耦合到所述第三層編碼器；以及 加法器，耦合到所述組合器和所述第三RPU。
24.一種用于圖像或視頻傳輸?shù)姆椒?，包? 根據(jù)權(quán)利要求1-20中的一個或多個所述的方法中所述的編碼處理；以及 根據(jù)權(quán)利要求21-23中的一個或多個所述的方法中所述的解碼處理。
25.一種用于圖像或視頻傳輸?shù)木幗獯a器系統(tǒng)，包括: 如權(quán)利要求1-21中任一項(xiàng)所述的多層編碼器；以及 如權(quán)利要求21-23中任一項(xiàng)所述的多層解碼器。
26.一種使用多假設(shè)處理的編解碼器系統(tǒng)，包括: 根據(jù)權(quán)利要求22所述的多層編碼器；以及 根據(jù)權(quán)利要求23所述的多層 解碼器。
全文摘要
本公開內(nèi)容描述了一種用于使用參考處理信號進(jìn)行多層圖像和視頻傳輸?shù)南到y(tǒng)和方法。提供了多層編碼器和多層解碼器，二者均包括使用參考處理的至少一個增強(qiáng)層處理器和基本層處理器。還描述了使用參考處理并且能夠進(jìn)行幀兼容3D視頻傳輸?shù)亩鄬泳幋a器和多層解碼器。
文檔編號H04N7/26GK103155568SQ201180033746
公開日2013年6月12日 申請日期2011年7月6日 優(yōu)先權(quán)日2010年7月8日
發(fā)明者佩沙拉·V·帕哈拉瓦達(dá), 亞歷山德羅斯·圖拉皮斯, 沃爾特·J·胡薩克 申請人:杜比實(shí)驗(yàn)室特許公司