在多視圖編碼的視頻中進行錯誤隱藏的方法和裝置制造方法
【專利摘要】本發(fā)明提供一種在多視圖編碼的視頻中進行錯誤隱藏的方法和裝置。所述裝置包括：解碼器(200)，使用基于視圖間畫面信息和視圖間依賴性信息中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼。
【專利說明】在多視圖編碼的視頻中進行錯誤隱藏的方法和裝置
[0001]分案說明
[0002]本申請是申請日為2008年8月11日，申請?zhí)枮?00880102686.8，題為“在多視圖編碼的視頻中進行錯誤隱藏的方法和裝置”的中國專利申請的分案申請。
[0003]相關(guān)申請的交叉引用
[0004]本申請要求2007年8月15日提交的美國臨時申請序列號N0.60/955，899的優(yōu)先權(quán)，其內(nèi)容以全文引用的方式并入本文中。
【技術(shù)領域】
[0005]本原理一般地涉及視頻解碼，更具體地，涉及用于在多視圖編碼的視頻中進行錯誤隱藏的方法和裝置。
【背景技術(shù)】
[0006]多視圖視頻編碼方案是一種將來自多個不同攝像機的畫面相結(jié)合以獲得高編碼效率或者支持特定應用(如三維(3D)電視、自由視點電視等等)的視頻編碼系統(tǒng)。不能始終保證許多視圖的健壯傳輸，從而需要提供如在傳統(tǒng)單視圖編碼中執(zhí)行的對丟失或者損壞的畫面進行隱藏。
[0007]存在多種處理單視圖編碼的現(xiàn)有技術(shù)錯誤隱藏方案。大致上，可以將這些技術(shù)分類為空間糾錯(EC)、時間糾錯、或者空間-時間聯(lián)合糾錯。

【發(fā)明內(nèi)容】

[0008]本原理解決現(xiàn)有技術(shù)的這些和其它缺陷和缺點，涉及在多視圖編碼的視頻中進行錯誤隱藏的方法和裝置。
[0009]根據(jù)本原理的一方面，提供了一種裝置。該裝置包括:解碼器，使用基于視圖間畫面信息和視圖間依賴性信息中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼。
[0010]根據(jù)本原理的另一方面，提供了一種方法。該方法包括:使用基于視圖間畫面信息和視圖間依賴性信息中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼。
[0011]通過下面結(jié)合附圖來閱讀的示例實施例的詳細描述，本原理的這些和其它方面、特征以及優(yōu)點將變得顯而易見。
【專利附圖】

【附圖說明】
[0012]根據(jù)下列示例附圖，可以更好地理解本原理，附圖中:
[0013]圖1是示出了根據(jù)本原理的實施例可以對其應用本原理的示例多視圖視頻編碼(MVC)編碼器的框圖；
[0014]圖2是示出了根據(jù)本原理的實施例可以對其應用本原理的示例多視圖視頻編碼(MVC)解碼器的框圖；
[0015]圖3是示出了根據(jù)本原理的實施例可以對其應用本原理的具有8個視圖的多視圖視頻編碼系統(tǒng)的時間優(yōu)先編碼結(jié)構(gòu)的圖；
[0016]圖4是示出了根據(jù)本原理的實施例在多視圖視頻編碼中進行錯誤隱藏的示例方法的流程圖；
[0017]圖5是示出了根據(jù)本原理的實施例在多視圖視頻編碼中進行錯誤隱藏的另一個示例方法的流程圖；
[0018]圖6是示出了根據(jù)本原理的實施例在多視圖視頻編碼中進行錯誤隱藏的另一個示例方法的流程圖；
[0019]圖7是示出了根據(jù)本原理的實施例在多視圖視頻編碼中進行錯誤隱藏的另一個示例方法的流程圖；
[0020]圖8是示出了根據(jù)本原理的實施例在多視圖視頻編碼中進行錯誤隱藏的另一個示例方法的流程圖；
[0021]圖9是示出了根據(jù)本原理的實施例在多視圖視頻編碼中進行錯誤隱藏的另一個示例方法的流程圖；以及
[0022]圖10是示出了根據(jù)本原理的實施例在多視圖視頻編碼中進行錯誤隱藏的另一個示例方法的流程圖。
【具體實施方式】
[0023]本原理涉及在多視圖編碼視頻中進行錯誤隱藏的方法和裝置。
[0024]本描述說明了本原理。因此，可以認識到，本領域技術(shù)人員能夠想到各種實施本原理的設置，雖然這里沒有顯式地描述或示出這些設置，但是，這些設置包括在本原理的精神和范圍中。
[0025]這里闡述的所有示例和條件語言是為了教導的目的，以幫助讀者理解本原理以及發(fā)明人為了改進現(xiàn)有技術(shù)而貢獻的概念，這些應被解釋為并非將本發(fā)明局限于這樣具體闡述的示例和條件。
[0026]此外，這里闡述本發(fā)明的原理、方面和實施例以及其具體示例的所有表述應包括其結(jié)構(gòu)和功能的等效物。此外，這樣的等效物應包括當前已知的等效物以及未來開發(fā)的等效物，例如，開發(fā)出的執(zhí)行相同功能的任何元件，而不論其結(jié)構(gòu)如何。
[0027]因此，例如，本領域技術(shù)人員應理解，這里呈現(xiàn)的框圖表示了實現(xiàn)本原理的示意電路圖的概念視圖。類似地，可以認識到，任何流程圖、流程圖表、狀態(tài)轉(zhuǎn)移圖、偽代碼等表示了各種過程，所述過程可以被實質(zhì)上表示在計算機可讀介質(zhì)中，并從而由計算機或處理器執(zhí)行，而不論是否顯式地示出了這樣的計算機或處理器。
[0028]可以通過使用專用硬件以及能夠與合適的軟件相關(guān)聯(lián)地執(zhí)行軟件的硬件，來提供圖中所示的各種元件的功能。在由處理器提供時，可以由單個專用處理器、單個共享處理器或多個單處理器(其中一些可以是共享的)來提供該功能。此外，顯式使用的術(shù)語“處理器”或“控制器”不應被解釋為是排他性地指能夠執(zhí)行軟件的硬件，可以隱含地包括但不限于:數(shù)字信號處理器(“DSP”)硬件、用于存儲軟件的只讀存儲器(“ROM”)、隨機存取存儲器(“RAM”)、和永久存儲器。
[0029]也可以包括其他硬件，不論其為傳統(tǒng)的和/或常規(guī)的。類似地，圖中所示的任何開關(guān)僅是概念性的?？梢酝ㄟ^程序邏輯的操作、通過專用邏輯、通過程序控制和專用邏輯的交互，或甚至手動地實施其功能，如從上下文中可以更具體地理解的，實現(xiàn)者可以選擇特定的技術(shù)。
[0030]在權(quán)利要求書中，表述為用于執(zhí)行指定功能的裝置的任何元件應包含執(zhí)行該功能的任何方式，例如包括a)執(zhí)行該功能的電路元件的結(jié)合或者b)任何形式的軟件,從而包括固件、微代碼等，與執(zhí)行該軟件的適當電路相結(jié)合來執(zhí)行該功能。由這樣的權(quán)利要求所限定的本原理在于以下事實:以權(quán)利要求所要求保護的方式，將各種所述裝置所提供的功能結(jié)合并集合在一起。因此，應認為可以提供這些功能的任何裝置都與這樣所示的裝置等效。
[0031]本說明書中對本原理的“一個實施例”或者“實施例”的引用意味著，在本原理的至少一個實施例中包括與該實施例相結(jié)合描述的特定特征、結(jié)構(gòu)、特性等等。因此，出現(xiàn)在本說明書中各處的短語“在一個實施例”或者“在實施例中”不一定都是指相同的實施例。此外，如本領域和相關(guān)領域的普通技術(shù)人員容易理解的，盡管由數(shù)字(例如實施例1、實施例2等等)來指代本文的特定實施例，但是可以單獨或者以任何組合的形式來實現(xiàn)這些實施例，并且維持本原理的精神。
[0032]如本文使用的，“高級語法”是指在層級上位于宏塊層以上的比特流中出現(xiàn)的語法。例如，如文本所使用的，高級語法可以指代但不限于在片(slice)首部級、補充增強信息(SEI)級、畫面參數(shù)集(PPS)級、序列參數(shù)集(SPS)級、視圖參數(shù)集(VPS)級、以及網(wǎng)絡抽象層(NAL)單元首部級的語法。
[0033]此外，如本文中可交換使用的，“跨視圖”以及“視圖間”都是指屬于不同于當前視圖的視圖的畫面。
[0034]此外，如本文所使用的，“多個”指兩個或者更多項。從而例如“多個局部視差向量”指代兩個或者更多局部視差向量。
[0035]此外，如本文所使用的，與當前正在解碼的畫面相關(guān)的術(shù)語“錯誤”指當前畫面中的錯誤(例如損壞)或者當前畫面的丟失(例如，未收到)等等中的任一項。
[0036]應當理解，使用術(shù)語“和/或”以及“至少一個”，例如在“A和/或B”以及“A和B中的至少一個”的情況下，預期包含僅對所列第一選項(A)的選擇、僅對所列第二選項(B)的選擇、或者同時對兩個選項(A和B)的選擇。作為另一個示例，在“A、B和/或C”以及“A、B和C中至少一個”的情況下，這種短語預期包含僅對所列第一選項(A)的選擇、或者僅對所列第二選項(B)的選擇、或者僅對所列第三選項(C)的選擇、或者僅對所列第一和第二選項(A和B)的選擇、或者僅對所列第一和第三的選項(A和C)的選擇、或者僅對所列第二和第三選項(B和C)的選擇、或者對所有三個選項(A和B和C)的選擇。如本領域和相關(guān)領域普通技術(shù)人員容易理解的，這可以擴展用于所列的許多項。
[0037]此外，應當理解，盡管本文針對國際標準化組織/國際電子技術(shù)委員會(IS0/IEC)運動圖像專家組-4(MPEG-4)第10部分高級視頻編碼(AVC標準)/國際電信聯(lián)合會電信部(ITU-T)H.264建議(下文稱作MPEG-4AVC標準)的多視圖視頻編碼(MVC)擴展來描述本原理的一個或者更多實施例，但是本原理并不僅限于該標準，因此可以針對其他視頻編碼標準、建議及其與多視圖視頻編碼相關(guān)的擴展(包括MPEG-4AVC標準的擴展)來利用本原理，并且維持本原理的精神。
[0038]轉(zhuǎn)到圖1，由參考標號100來總體指示示例多視圖視頻編碼(MVC)編碼器。編碼器100包括組合器105，組合器105具有與變換器110的輸入以信號通信方式連接的輸出。變換器110的輸出以信號通信方式與量化器115的輸入相連。量化器115的輸出以信號通信方式與熵編碼器120的輸入以及反量化器125的輸入相連。反量化器125的輸出以信號通信方式與反變換器130的輸入相連。反變換器130的輸出以信號通信方式與組合器135的第一非反相輸入相連。組合器135的輸出以信號通信方式與巾貞內(nèi)預測器145的輸入和解塊濾波器150的輸入相連。解塊濾波器150的輸出以信號通信方式與參考畫面存儲器155 (用于視圖1)的輸入相連。參考畫面存儲器155的輸出以信號通信方式與運動補償器175的第一輸入和運動估計器180的第一輸入相連。運動估計器180的輸出以信號通信方式與運動補償器175的第二輸入相連。
[0039]參考畫面存儲器160 (用于其它視圖)的輸出以信號通信方式與視差/照明估計器170的第一輸入和視差/照明補償器165的第一輸入相連。視差/照明估計器170的輸出以信號通信方式與視差/照明補償器165的第二輸入相連。
[0040]熵解碼器120的輸出可用作編碼器100的輸出。組合器105的非反相輸入可用作編碼器100的輸入，并且以信號通信方式與視差/照明估計器170的第二輸入以及運動估計器180的第二輸入相連。開關(guān)185的輸出以信號通信方式與組合器135的第二非反相輸入以及與組合器105的反相輸入相連。開關(guān)185包括以信號通信方式與運動補償器175的輸出相連的第一輸入、以信號通信方式與視差/照明補償器165的輸出相連的第二輸入、以及以信號通信方式與幀內(nèi)預測器145的輸出相連的第三輸入。
[0041]模式判定模塊140具有與開關(guān)185相連的輸出，用于控制開關(guān)185選擇哪個輸入。
[0042]轉(zhuǎn)到圖2，由參考標號200來總體指示示例多視圖視頻編碼(MVC)解碼器。解碼器200包括熵解碼器205,熵解碼器205具有以信號通信方式與反量化器210的輸入相連的輸出。反量化器的輸出以信號通信方式與反變換器215的輸入相連。反變換器215的輸出以信號通信方式與組合器220的第一非反相輸入相連。組合器220的輸出以信號通信方式與解塊濾波器225的輸入以及幀內(nèi)預測器230的輸入相連。解塊濾波器225的輸出以信號通信方式與參考畫面存儲器240 (用于視圖1)的輸入相連。參考畫面存儲器240的輸出以信號通信方式與運動補償器325的第一輸入相連。
[0043]參考畫面存儲器245 (用于其它視圖)的輸出以信號通信方式與視差/照明補償器250的第一輸入相連。
[0044]熵編碼器205的輸入可用作解碼器200的輸入，用于接收殘余比特流。此外，模式模塊260的輸入也可用作解碼器200的輸入,用于接收控制開關(guān)255選擇哪個輸入的控制語法。此外，運動補償器235的第二輸入可用作解碼器200的輸入，用于接收運動向量。此夕卜，視差/照明補償器250的第二輸入可用作解碼器200的輸入，用于接收視差向量和照明補償語法。
[0045]開關(guān)255的輸出以信號通信方式與組合器220的第二非反相輸入相連。開關(guān)255的第一輸入以信號通信方式與視差/照明補償器250的輸出相連。開關(guān)255的第二輸入以信號通信方式與運動補償器235的輸出相連。開關(guān)255的第三輸入以信號通信方式與巾貞內(nèi)預測器230的輸出相連。模式模塊260的輸出以信號通信方式與開關(guān)255相連,用于控制開關(guān)255選擇哪個輸入。解塊濾波器225的輸出可用作解碼器的輸出。
[0046]多視圖視頻編碼(MVC)序列是從不同視點捕捉相同場景的兩個或者更多視頻序列的集合。我們已經(jīng)認識到，多視圖編碼(MVC)的序列對錯誤隱藏提出了特殊的問題。[0047]相應地并且有利地，本原理涉及一種在多視圖編碼的視頻中進行錯誤隱藏的方法和裝置。在提供這種方法和裝置時，本原理利用不同視圖之間的附加冗余。
[0048]可以利用這些不同視圖之間的冗余來增強并改善用于單視圖編碼的當前錯誤隱藏技術(shù)。我們將所提出的使用視圖信息的糾錯(EC)分類為視圖糾錯。我們提出可以單獨使用或與空間和/或時間糾錯聯(lián)合應用的視圖糾錯。
[0049]正在開發(fā)多視圖編碼系統(tǒng)用于MPEG-4AVC標準。因此，盡管如上所述，本原理并不僅限于MPEG-4AVC標準或者其擴展，但是將在與MPEG-4AVC標準相對應的上下文中描述根據(jù)本原理的一個或者更多實施例的下列描述。
[0050]多視圖視頻編碼(MVC)系統(tǒng)包括從不同位置觀看場景的多個視圖。多視圖視頻編碼系統(tǒng)使用大量攝像機間相關(guān)來提高系統(tǒng)的編碼效率。
[0051]轉(zhuǎn)到圖3，由參考標號300來總體指示具有8個視圖的多視圖視頻編碼系統(tǒng)的時間優(yōu)先編碼結(jié)構(gòu)。在圖3的示例中，連續(xù)地對來自不同視圖的相同時刻的所有畫面進行編碼。從而，首先對在時刻TO的所有畫面(S0-S7)進行編碼，之后是時刻T8處的畫面(S0-S7)，以此類推。這被稱作時間優(yōu)先編碼。
[0052]此外，MPEG-4AVC標準的當前多視圖視頻編碼(MVC)擴展包括僅可以使用在該時刻的畫面來進行視圖間預測的約束。從而，由于丟失的畫面可能不僅用作時間參考還用作視圖參考，因此這使得檢測該時刻的畫面丟失更加相關(guān)。
[0053]如從圖3中可以看到，存在在這種多視圖視頻編碼系統(tǒng)中利用的大量冗余。我們使用這種冗余來改進錯誤隱藏技術(shù)。
[0054]實施例1 (畫面拷貝)
[0055]在MPEG-4AVC標準的多視圖視頻編碼系統(tǒng)中，執(zhí)行時間優(yōu)先編碼，其中首先對特定時刻的所有畫面進行編碼。
[0056]錯誤隱藏中的第一步驟是檢測。在執(zhí)行檢測步驟之后，以最優(yōu)方式來隱藏丟失的畫面?？梢允褂玫姆椒ㄖ械囊环N是畫面拷貝。傳統(tǒng)上，在單視圖情況下，畫面拷貝涉及拷貝來自當前位置的先前時刻的畫面。備選地，更進一步，可以從先前時刻的畫面和后續(xù)時刻的畫面(如果這種畫面可用)對丟失的畫面進行插值。然而，由于引起畫面凍結(jié)效應并且還嚴重影響后續(xù)畫面，因此這不是最優(yōu)的。
[0057]對于多視圖視頻編碼，我們已經(jīng)認識到，可以從不同視圖的相同時刻的已解碼畫面來對畫面進行拷貝或插值。這具有下述優(yōu)點:來自另一個視圖的畫面與隱藏畫面同步，因此潛在地是丟失畫面的更好表示。
[0058]轉(zhuǎn)到圖4，由參考標號400來總體指示在多視圖視頻編碼中進行錯誤隱藏的示例方法。
[0059]方法400包括開始框405，將控制傳遞給功能框410。功能框410檢測與正在針對當前視圖進行解碼的當前畫面相關(guān)的畫面錯誤，并且將控制傳遞給功能框415。功能框415將來自相同或不同時間戳的另一個視圖的畫面拷貝為當前畫面，以獲得當前畫面的隱藏畫面，并且將控制傳遞給功能框417。功能框417聯(lián)合或單獨考慮時間和視圖間錯誤隱藏，并且將控制傳遞給功能框420。功能框420繼續(xù)對其它畫面進行解碼，并且將控制傳遞給判定框425。判定框425解碼確定是否已經(jīng)對所有畫面進行解碼。如果是，將控制傳遞給結(jié)束框499。否則，將控制返回功能框410。[0060]轉(zhuǎn)到圖5，由參考標號500來總體指示在多視圖視頻編碼中進行錯誤隱藏的另一個示例方法。
[0061]方法500包括開始框505，將控制傳遞給功能框510。功能框510檢測正在針對當前視圖進行解碼的當前畫面的畫面錯誤，并且將控制傳遞給功能框515。功能框515對來自與當前視圖相關(guān)的其它視圖的一個或者更多畫面(來自與當前畫面相同或不同的時間戳)進行插值，以生成當前畫面的隱藏畫面，并且將控制傳遞給功能框517。功能框517聯(lián)合或單獨考慮時間和視圖間錯誤隱藏，并且將控制傳遞給功能框520。功能框520繼續(xù)對其它畫面進行解碼，并且將控制傳遞給判定框525。判定框525解碼確定是否已經(jīng)對所有畫面進行解碼。如果是，則將控制傳遞給結(jié)束框599。否則，將控制返回給功能框510。
[0062]實施例2 (視圖生成)
[0063]多視圖編碼視頻可以支持每一個視圖的攝像機參數(shù)的傳輸，以及附加地，支持視圖的每一個畫面的深度信息的傳輸。使用視圖合成以使用攝像機參數(shù)以及深度信息來生成視圖用于視圖預測，或者生成用于自由視點電視的虛擬視圖。視圖生成還可以用于隱藏丟失的畫面。當特定視圖的畫面丟失時，使用高級語法傳輸?shù)臄z像機參數(shù)以及深度信息可以用于生成該視圖。生成的畫面可以是丟失畫面的良好近似。
[0064]轉(zhuǎn)到圖6，由參考標號600來總體指示在多視圖視頻編碼中進行錯誤隱藏的另一個示例方法。
[0065]方法600包括開始框605，將控制傳遞給功能框610。功能框610檢測正在針對當前視圖進行解碼的當前畫面的畫面錯誤，并且將控制傳遞給功能框615。功能框615使用深度和攝像機參數(shù)來執(zhí)行視圖合成，以生成當前畫面的隱藏畫面，并且將控制傳遞給功能框617。功能框617聯(lián)合或獨立考慮時間和視圖間錯誤隱藏，并且將控制傳遞給功能框620。功能框620繼續(xù)對其它畫面進行解碼并且將控制傳遞給判定框625。判定框625解碼確定是否已經(jīng)對所有畫面進行解碼。如果是，則將控制傳遞給結(jié)束框699。否則，將控制返回功能框610。
[0066]實施例3 (全局/局部視差信息)
[0067]可以在多視圖視頻編碼系統(tǒng)中使用高級語法來傳輸全局視差向量(GDV)和/或局部視差向量(RDV)。這些全局視差向量和局部視差向量分別表示當前視圖相對于參考視圖的全局偏移或者局部偏移。對于丟失的畫面，可以使用全局視差向量和/或局部視差向量信息以及畫面拷貝來將畫面偏移該向量。這將導致在偏移之后創(chuàng)建空的空間，使用一個或者更多合適的隱藏技術(shù)來填充該空的空間。
[0068]轉(zhuǎn)到圖7，由參考標號700來總體指示在多視圖視頻編碼中進行錯誤隱藏的另一個示例方法。
[0069]方法700包括開始框705，將控制傳遞給功能框710。功能框710檢測正在針對當前視圖進行解碼的當前畫面的畫面錯誤，并且將控制傳遞給功能框715。功能框715使用相對于相鄰視圖的全局視差向量或者局部視差向量來生成當前畫面的隱藏畫面，并且將控制傳遞給功能框717。功能框717聯(lián)合或獨立考慮時間和視圖間錯誤隱藏，并且將控制傳遞給功能框720。功能框720繼續(xù)對其它畫面進行解碼，并且將控制傳遞給判定框725。判定框725解碼確定是否已經(jīng)對所有畫面進行解碼。如果是，則將控制傳遞給結(jié)束框799。否則將控制返回功能框710。[0070]實施例4 (運動和/或殘差拷貝)
[0071]將運動跳躍(motion skip)作為一個現(xiàn)有技術(shù)方案中的編碼工具提出。根據(jù)該現(xiàn)有技術(shù)方案，從特定宏塊(在比特流中指示)的另一個視圖(基于序列參數(shù)集中指示的依賴性)拷貝運動和模式信息，并且使用該信息在時間畫面上進行運動補償?？梢詫⒃摳拍顢U展至殘差預測，其中，為了編碼效率，將來自另一個視圖的殘差信息繼承用于當前視圖。
[0072]這些技術(shù)可以在畫面丟失的情況下用于錯誤隱藏。當畫面丟失時，我們可以將所有宏塊視為運動跳躍宏塊并且繼承來自相鄰視圖的畫面的運動、模式以及潛在地殘差信息。一旦拷貝了運動、模式以及殘差信息，我們具有使用時間畫面作為參考來對當前畫面進行解碼所需的全部信息。
[0073]本方法的擴展是還將與相鄰視圖相關(guān)聯(lián)的所有存儲器管理控制操作(MMCO)和參考畫面列表重排序(RPLR)命令拷貝到正在隱藏的當前畫面。
[0074]轉(zhuǎn)到圖8，由參考標號800來總體指示在多視圖視頻編碼中進行錯誤隱藏的另一個示例方法。
[0075]方法800包括開始框805，將控制傳遞給功能框810。功能框810檢測正在針對當前視圖進行解碼的當前畫面的畫面錯誤，并且將控制傳遞給功能框815。功能框815通過將當前畫面的所有宏塊視為運動跳躍模式宏塊來生成當前畫面的隱藏畫面以對當前畫面進行解碼，并且將控制傳遞給功能框817。功能框817聯(lián)合或單獨考慮時間和視圖間錯誤隱藏，并且將控制傳遞給功能框820。功能框820繼續(xù)對其它畫面進行解碼，并且將控制傳遞給判定框825。判定框825確定是否已經(jīng)對所有畫面進行解碼。如果是，則將控制傳遞給結(jié)束框899。否則將控制返回功能框810。
[0076]轉(zhuǎn)到圖9，由參考標號900來總體指示在多視圖視頻編碼中進行錯誤隱藏的另一個示例方法。
[0077]方法900包括開始框905，將控制傳遞給功能框910。功能框910檢測正在針對當前視圖進行解碼的當前畫面的畫面錯誤，并且將控制傳遞給功能框913。功能框913通過將當前畫面的所有宏塊(MB)視為運動跳躍模式宏塊來生成當前畫面的隱藏畫面以對當前畫面進行解碼，并且將控制傳遞給功能框916。功能框916考慮來自一個或者更多相鄰視圖的殘差預測以改進隱藏畫面并從而改進錯誤隱藏，并且將控制傳遞給功能框917。功能框917聯(lián)合或獨立考慮時間和視圖間錯誤隱藏，并且將控制傳遞給功能框920。功能框920繼續(xù)對其它畫面進行解碼，并且將控制傳遞給判定框925。判定框925解碼確定是否已經(jīng)對所有畫面進行解碼。如果是，則將控制傳遞給結(jié)束框999。否則將控制返回功能框910。
[0078]轉(zhuǎn)到圖10，由參考標號900來總體指示在多視圖視頻編碼中進行錯誤隱藏的另一個示例方法。
[0079]方法1000包括開始框1005，將控制傳遞給功能框1010。功能框1010檢測正在針對當前視圖進行解碼的當前畫面的畫面錯誤，并且將控制傳遞給功能框1013。功能框1013通過將當前畫面的所有宏塊(MB)視為運動跳躍模式宏塊來生成當前畫面的隱藏畫面以對當前畫面進行解碼，并且將控制傳遞給功能框1016。功能框1016考慮來自一個或者更多相鄰視圖的殘差預測以改進隱藏畫面并從而改進錯誤隱藏，并且將控制傳遞給功能框1018。功能框1018從一個或者更多相鄰視圖拷貝存儲器管理控制操作命令以及RPLR命令，以構(gòu)建并修改當前畫面的參考列表(要由隱藏畫面來表示)，并且將控制傳遞給功能框1019。功能框1019聯(lián)合或獨立考慮時間和視圖間錯誤隱藏，并且將控制傳遞給功能框1020。功能框1020繼續(xù)對其它畫面進行解碼，并且將控制傳遞給判定框1025。判定框1025解碼確定是否已經(jīng)對所有畫面進行解碼。如果是，則將控制傳遞給結(jié)束框1099。否則將控制返回功能框 1010。
[0080]現(xiàn)在將對本發(fā)明的許多附屬優(yōu)點/特征中的一些進行描述，其中一些已經(jīng)在上面提及。例如，一個優(yōu)點/特征是一種裝置，包括:解碼器，使用基于視圖間畫面信息和視圖間依賴性信息中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼。
[0081]另一個優(yōu)點/特征是具有如上所述解碼器的裝置，其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述錯誤隱藏包括:拷貝來自另一個視圖的畫面作為當前畫面的隱藏畫面。
[0082]另一個優(yōu)點/特征是具有如上所述解碼器的裝置，其中，所述錯誤隱藏包括:拷貝來自另一個視圖的畫面作為上述當前畫面的隱藏畫面，其中，來自所述另一個視圖的畫面屬于與當前畫面相同的時刻或者與當前畫面不同的時刻。
[0083]另一個優(yōu)點/特征是具有如上所述解碼器的裝置，其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述錯誤隱藏包括:對來自其它視圖的畫面進行插值，以獲得當前畫面的隱藏畫面。
[0084]另一個優(yōu)點/特征是具有如上所述解碼器的裝置，其中，所述錯誤隱藏包括:對來自其它視圖的畫面進行插值，以獲得上述當前畫面的隱藏畫面，其中，來自所述其它視圖的畫面屬于與當前畫面相同的時刻或者與當前畫面不同的時刻。
[0085]此外，另一個優(yōu)點/特征是具有如上所述解碼器的裝置，其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述錯誤隱藏包括:使用視圖合成以獲得當前畫面的隱藏畫面。
[0086]此外，另一個優(yōu)點/特征是具有如上所述解碼器的裝置，其中，所述錯誤隱藏包括:使用視圖合成以獲得上述當前畫面的隱藏畫面，其中所述視圖合成產(chǎn)生用作隱藏畫面的合成畫面。
[0087]此外，另一個優(yōu)點/特征是具有如上所述解碼器的裝置，其中，所述錯誤隱藏包括:使用視圖合成以獲得上述當前畫面的隱藏畫面，其中，所述視圖合成產(chǎn)生進一步細化的合成畫面，從而使用細化的合成畫面作為隱藏畫面。
[0088]此外，另一個優(yōu)點/特征是具有如上所述解碼器的裝置，其中，所述錯誤隱藏包括:使用視圖合成以獲得上述當前畫面的隱藏畫面，其中，所述視圖合成使用深度信息和攝像機參數(shù)來產(chǎn)生用作隱藏畫面的合成畫面。
[0089]此外，另一個優(yōu)點/特征是具有如上所述解碼器的裝置，其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述錯誤隱藏包括:使用全局視差向量和局部視差向量中的至少一個來對當前畫面的隱藏畫面進行預測操作和插值操作中的至少一個操作。
[0090]此外，另一個優(yōu)點/特征是具有如上所述解碼器的裝置，其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述錯誤隱藏包括:使用運動跳躍模式對當前畫面的所有宏塊進行解碼。
[0091]此外，另一個優(yōu)點/特征是具有如上所述解碼器的裝置，其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述解碼器使用來自另一個視圖的殘差預測來對當前畫面的錯誤隱藏進行細化。
[0092]此外，另一個優(yōu)點/特征是具有如上所述解碼器的裝置，其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述解碼器從另一個視圖拷貝存儲器管理控制操作命令和參考畫面列表重排序命令，以構(gòu)建并修改用于當前畫面的參考列表。
[0093]此外，另一個優(yōu)點/特征是具有如上所述解碼器的裝置，其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述解碼器單獨使用或與空間錯誤隱藏和時間錯誤隱藏中的至少一個聯(lián)合使用視圖錯誤隱藏。
[0094]本領域技術(shù)人員根據(jù)這里的教導可以容易地確定本原理的這些和其他特征以及優(yōu)點。應理解，可以以各種形式的硬件、軟件、固件、專用處理器或其組合來實現(xiàn)本原理的教導。
[0095]最優(yōu)選地，將本原理的教導實現(xiàn)為硬件和軟件的組合。此外，可以將軟件實現(xiàn)為在程序存儲單元上確實實現(xiàn)的應用程序?？梢詫贸绦蚣虞d至包括任何合適體系結(jié)構(gòu)的機器并由其執(zhí)行。優(yōu)選地，在具有如一個或更多個中央處理單元(“CPU”)、隨機存取存儲器(“RAM”)以及輸入/輸出(“I/O”)接口之類的硬件的計算機平臺上實現(xiàn)所述機器。計算機平臺還可以包括操作系統(tǒng)和微指令代碼。這里所描述的各種過程和功能可以是由CPU來執(zhí)行的微指令代碼的一部分或應用程序的一部分或其任何組合。此外，可以將各種其他外圍單元連接到計算機平臺，如附加數(shù)據(jù)存儲單元和打印單元。
[0096]還將理解，因為附圖中所描述的一些系統(tǒng)組成組件和方法優(yōu)選地是以軟件來實現(xiàn)的，所以系統(tǒng)組件或處理功能模塊之間的實際連接可能依對本原理進行編程的方式的不同而不同。在這里所給出的教導的情況下，本領域技術(shù)人員將能夠想到本原理的這些和類似的實現(xiàn)或配置。
[0097]盡管這里參考附圖描述了示意實施例，然而應理解，本原理不限于這些具體實施例，在不脫離本原理的精神和范圍的前提下，本領域技術(shù)人員可以對本原理進行各種改變和修改。所有這些改變和修改應包括在所附權(quán)利要求所闡述的本原理的范圍之內(nèi)。
【權(quán)利要求】
1.一種在多視圖編碼的視頻中進行錯誤隱藏的裝置，包括: 解碼器(200)，使用基于視圖間畫面信息和視圖間依賴性信息中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼， 其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述錯誤隱藏包括:拷貝來自另一個視圖的畫面作為當前畫面的隱藏畫面。
2.根據(jù)權(quán)利要求1所述的裝置，其中，來自所述另一個視圖的畫面屬于與當前畫面相同的時刻或者與當前畫面不同的時刻。
3.一種在多視圖編碼的視頻中進行錯誤隱藏的裝置，包括: 解碼器(200)，使用基于視圖間畫面信息和視圖間依賴性信息中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼， 其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述錯誤隱藏包括:對來自其它視圖的畫面進行插值，以獲得當前畫面的隱藏畫面。
4.一種在多視圖編碼的視頻中進行錯誤隱藏的裝置，包括: 解碼器(200)，使用基于視圖間畫面信息和視圖間依賴性信息中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼， 其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述錯誤隱藏包括:使用全局視差向量和局部視差向量中的至少一個來對當前畫面的隱藏畫面進行預測操作和插值操作中的至少一個操作。
5.一種在多視圖編碼的視`頻中進行錯誤隱藏的裝置，包括: 解碼器(200)，使用基于視圖間畫面信息和視圖間依賴性信息中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼， 其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述錯誤隱藏包括:使用運動跳躍模式對當前畫面的所有宏塊進行解碼。
6.一種在多視圖編碼的視頻中進行錯誤隱藏的裝置，包括: 解碼器(200)，使用基于視圖間畫面信息和視圖間依賴性信息中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼， 其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述解碼器(200)使用來自另一個視圖的殘差預測來對當前畫面的錯誤隱藏進行細化。
7.一種在多視圖編碼的視頻中進行錯誤隱藏的裝置，包括: 解碼器(200)，使用基于視圖間畫面信息和視圖間依賴性信息中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼， 其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述解碼器(200)從另一個視圖拷貝存儲器管理控制操作命令和參考畫面列表重排序命令，以構(gòu)建并修改用于當前畫面的參考列表。
8.一種在多視圖編碼的視頻中進行錯誤隱藏的方法，包括: 使用基于視圖間畫面信息和視圖間依賴性信息(415、515)中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼， 其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述錯誤隱藏包括:拷貝來自另一個視圖的畫面作為當前畫面的隱藏畫面(415)。
9.一種在多視圖編碼的視頻中進行錯誤隱藏的方法，包括: 使用基于視圖間畫面信息和視圖間依賴性信息(415、515)中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼， 其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述錯誤隱藏包括:對來自其它視圖的畫面進行插值，以獲得當前畫面的隱藏畫面(515)。
10.一種在多視圖編碼的視頻中進行錯誤隱藏的方法，包括: 使用基于視圖間畫面信息和視圖間依賴性信息(415、515)中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼， 其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述錯誤隱藏包括:使用全局視差向量和局部視差向量中的至少一個來對當前畫面的隱藏畫面進行預測操作和插值操作中的至少一個操作(715)。
11.一種在多視圖編碼的視頻中進行錯誤隱藏的方法，包括: 使用基于視圖間畫面信息和視圖間依賴性信息(415、515)中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼， 其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述錯誤隱藏包括:使用運動跳躍模式對當前畫面的所有宏塊進行解碼(815)。
12.—種在多視圖編碼的視頻中進行錯誤隱藏的方法，包括: 使用基于視圖間畫面信息和視 圖間依賴性信息(415、515)中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼， 其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述解碼步驟使用來自另一個視圖的殘差預測來對當前畫面的錯誤隱藏進行細化(916)。
13.一種在多視圖編碼的視頻中進行錯誤隱藏的方法，包括: 使用基于視圖間畫面信息和視圖間依賴性信息(415、515)中的至少一個的錯誤隱藏來對多視圖視頻內(nèi)容進行解碼， 其中，對于正在針對當前視圖進行解碼并檢測出具有錯誤的當前畫面，所述解碼步驟從另一個視圖拷貝存儲器管理控制操作命令和參考畫面列表重排序命令，以構(gòu)建并修改用于當前畫面的參考列表(1018)。
【文檔編號】H04N19/895GK103428504SQ201310341550
【公開日】2013年12月4日 申請日期:2008年8月11日 優(yōu)先權(quán)日:2007年8月15日
【發(fā)明者】普爾溫·比貝哈斯·潘迪特, 尹鵬 申請人:湯姆森許可貿(mào)易公司