專(zhuān)利名稱(chēng)：對(duì)多視圖視頻進(jìn)行統(tǒng)一編碼的裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于多視圖視頻的統(tǒng)一編碼/解碼的裝置及其方法；更具體地， 涉及一種用于通過(guò)補(bǔ)償多個(gè)隨機(jī)排列的照相機(jī)的不同特性(例如照相機(jī)參數(shù)、以及每個(gè)照相機(jī)視點(diǎn)的顏色)、并且對(duì)當(dāng)前正在被編碼的視點(diǎn)的畫(huà)面進(jìn)行預(yù)測(cè)編碼以便借助預(yù)測(cè)多視圖視頻而對(duì)多視圖視頻進(jìn)行編碼的統(tǒng)一多視圖視頻編碼裝置及其方法，一種統(tǒng)一多視圖視頻解碼裝置及其方法。
背景技術(shù)：
為了提供現(xiàn)實(shí)的視頻服務(wù)，已經(jīng)在各種應(yīng)用領(lǐng)域普遍使用多視圖視頻。但是，利用常規(guī)的編碼方案，壓縮與編碼多視圖視頻需要寬得多的帶寬，這是因?yàn)槎嘁晥D視頻數(shù)據(jù)為與視點(diǎn)的數(shù)目的倍數(shù)一樣多的海量數(shù)據(jù)。MPEG-2視頻解碼器與H. 264視頻編碼器被廣泛用作單視圖視頻編碼器與解碼器。 MPEG-2視頻解碼器為數(shù)字TV代表的解碼器。另外，H. 264視頻編碼器一般用于高效率壓縮與數(shù)字多媒體廣播(DMB)服務(wù)。但是，此類(lèi)單視圖視頻編碼器不適于傳送多視圖視頻數(shù)據(jù)， 這是因?yàn)閱我晥D編碼器沒(méi)有有效地利用相鄰視點(diǎn)的畫(huà)面之間的冗余信息。已經(jīng)引入了各種常規(guī)編碼技術(shù)來(lái)處理多個(gè)畫(huà)面，例如處理兩個(gè)視點(diǎn)的立體視頻 (stereoscopic video)的編碼方法，以及基于三維對(duì)象、或者不考慮三維對(duì)象地基于多個(gè)照相機(jī)的排列而處理多于3個(gè)視點(diǎn)的多視頻數(shù)據(jù)的另一種編碼方法。使用MPEG-2多視圖簡(jiǎn)檔(multi-view profile MVP)與MPEG-4時(shí)間可擴(kuò)展性 (temporal scalability TS)的常規(guī)編碼技術(shù)被廣泛用于編碼立體視頻。此后，將首先描述主要背景技術(shù)H.沈4，然后描述MPEG-2多視圖簡(jiǎn)檔(MVP)。MPEG-visual與H. 263為視頻壓縮技術(shù)的標(biāo)準(zhǔn)。在頒布H. 263之后，運(yùn)動(dòng)畫(huà)面專(zhuān)家組(MPEG)與視頻編碼專(zhuān)家組(VCEG) —起進(jìn)行了研究，以定義下一代壓縮技術(shù)的新標(biāo)準(zhǔn)，該下一代壓縮技術(shù)提供高壓縮率且同時(shí)滿足高品質(zhì)、低比特率流傳送視頻。在定義H. 263標(biāo)準(zhǔn)之后，ITU-T的VCEG開(kāi)始進(jìn)行研究，以定義H. 263版本2標(biāo)準(zhǔn)以及ITU-T H. 26Lo通過(guò)向H. 263添加補(bǔ)充功能，定義了 H. 263版本2，并且ITU-T H. 26L為用于以低比特率傳送視頻的新標(biāo)準(zhǔn)。該ITU-TH. 26L被MPEG高度強(qiáng)調(diào)。相應(yīng)地，MPEG聯(lián)合 ITU-T的VCEG來(lái)組成聯(lián)合視頻組(JVT)，以將H. 26L模型定義為國(guó)際標(biāo)準(zhǔn)。結(jié)果，引入ISO MPEG4 PartlOJP ITU-T H.洸4 作為國(guó)際標(biāo)準(zhǔn)。圖1為圖示常規(guī)H.沈4編碼器的方框圖。常規(guī)H. 264編碼器包括預(yù)測(cè)塊110、變換與量化塊120、以及熵編碼塊130。預(yù)測(cè)塊110進(jìn)行幀間預(yù)測(cè)與幀內(nèi)預(yù)測(cè)。幀間預(yù)測(cè)為利用通過(guò)解碼與去塊濾波而生成并且存儲(chǔ)在緩沖器中的參考畫(huà)面對(duì)當(dāng)前畫(huà)面進(jìn)行的塊預(yù)測(cè)。即，幀間預(yù)測(cè)利用畫(huà)面之間的信息進(jìn)行預(yù)測(cè)。預(yù)測(cè)塊110包括用于幀間預(yù)測(cè)的運(yùn)動(dòng)估計(jì)塊111與運(yùn)動(dòng)補(bǔ)償塊112。幀內(nèi)預(yù)測(cè)為利用要被解碼的畫(huà)面內(nèi)的、相鄰于要被預(yù)測(cè)的目標(biāo)塊的塊的像素?cái)?shù)據(jù)而進(jìn)行的預(yù)測(cè)。變換與量化塊120通過(guò)變換在預(yù)測(cè)塊110處獲得的預(yù)測(cè)樣本、并且量化變換后的數(shù)據(jù)而壓縮視頻數(shù)據(jù)。熵編碼塊130根據(jù)預(yù)定編碼方案，對(duì)量化后的視頻數(shù)據(jù)進(jìn)行編碼，以生成H. 264比特流。此后將描述MPEG-2多視圖簡(jiǎn)檔(MVP)。圖2為顯示通過(guò)應(yīng)用視頻專(zhuān)家組(MPEG) _2的時(shí)間可擴(kuò)展性而實(shí)現(xiàn)的MPEG-2多視圖簡(jiǎn)檔(MVP)的編碼器與解碼器的方框圖。MPEG-2的可擴(kuò)展性用來(lái)在同一時(shí)間利用單個(gè)裝備對(duì)具有不同分辨率的圖像進(jìn)行解碼?？蓴U(kuò)展性中的時(shí)間可擴(kuò)展性為通過(guò)增加幀速率來(lái)提高視覺(jué)品質(zhì)的技術(shù)。通過(guò)對(duì)立體視頻(stereo viedo)實(shí)現(xiàn)時(shí)間可擴(kuò)展性，來(lái)開(kāi)發(fā)多視圖簡(jiǎn)檔?；诹Ⅲw視頻的編碼器與解碼器一般具有圖2所示的時(shí)間可擴(kuò)展性結(jié)構(gòu)。在常規(guī)立體視頻編碼器中，立體視頻中的左畫(huà)面被輸入到基本視圖編碼器，右畫(huà)面被輸入到時(shí)間輔助視圖編碼器，如圖2所示。常規(guī)立體視頻編碼器一般具有用于時(shí)間可擴(kuò)展性的所示結(jié)構(gòu)。即，其為在基本層的畫(huà)面之間建立畫(huà)面的層間編碼器。相應(yīng)地，如果獨(dú)立地編碼與解碼左畫(huà)面，則可以生成正常視頻。但是，如果同時(shí)編碼與解碼左畫(huà)面與右畫(huà)面，則可以生成三維視頻。此處，需要系統(tǒng)MUX與系統(tǒng)DeMUX來(lái)同步或者分離兩個(gè)畫(huà)面的序列，以傳送或者存儲(chǔ)視頻。圖3為圖示使用MPEG-2多視圖簡(jiǎn)檔(MVP)的立體視頻編碼器/解碼器的方框圖。如圖3所示，由運(yùn)動(dòng)補(bǔ)償DCT編碼器編碼畫(huà)面的基本層，該運(yùn)動(dòng)補(bǔ)償DCT編碼器通過(guò)運(yùn)動(dòng)補(bǔ)償與離散余弦變換(DCT)來(lái)編碼數(shù)據(jù)，并且通過(guò)編碼(即DCT與運(yùn)動(dòng)補(bǔ)償)的逆過(guò)程來(lái)解碼已編碼的基本層。時(shí)間輔助視圖編碼器為時(shí)間層間編碼器，其基于已解碼的基本層畫(huà)面進(jìn)行預(yù)測(cè)。S卩，使用MPEG-2MVP的立體視頻編碼器/解碼器可以使用兩個(gè)視差估計(jì) (disparity estimation)，或者一個(gè)視差估計(jì)與運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。與基本層編碼器與解碼器一樣，時(shí)間輔助視圖編碼器包括視差與運(yùn)動(dòng)補(bǔ)償DCT編碼器與解碼器。與需要運(yùn)動(dòng)估計(jì)器與運(yùn)動(dòng)補(bǔ)償器的運(yùn)動(dòng)估計(jì)與補(bǔ)償編碼步驟一樣，視差補(bǔ)償編碼步驟需要視差估計(jì)器與視差補(bǔ)償器。另外，視差補(bǔ)償編碼步驟包括對(duì)所預(yù)測(cè)的畫(huà)面與原始畫(huà)面之間的差別的DCT、DCT系數(shù)的量化、以及利用基于塊的運(yùn)動(dòng)與視差估計(jì)與補(bǔ)償?shù)目勺冮L(zhǎng)度編碼。相反，對(duì)于視差補(bǔ)償解碼步驟依次執(zhí)行可變長(zhǎng)度解碼、逆量化、以及逆DCT。由于對(duì)雙向預(yù)測(cè)畫(huà)面(B畫(huà)面)的雙向運(yùn)動(dòng)預(yù)測(cè)，MPEG-2編碼為非常有效的壓縮方法。MPEG-2編碼對(duì)于時(shí)間可擴(kuò)展性也非常有效。因此，利用B畫(huà)面來(lái)編碼右畫(huà)面可以獲得高效壓縮。圖4為顯示用于雙向預(yù)測(cè)的、利用兩個(gè)視差估計(jì)且只考慮時(shí)間差別的預(yù)測(cè)編碼的視圖。利用不可擴(kuò)展的MPEG-2編碼器來(lái)編碼左畫(huà)面，并且基于已編碼的左畫(huà)面、利用位于 MPEG-2時(shí)間域的時(shí)間輔助視圖編碼器來(lái)編碼右畫(huà)面。即，利用從兩個(gè)不同的左畫(huà)面獲得的估計(jì)，將原始畫(huà)面編碼為B畫(huà)面。此處，兩個(gè)參考畫(huà)面中的一個(gè)為顯示時(shí)的左畫(huà)面，另一個(gè)為所顯示的左畫(huà)面之后的下一個(gè)畫(huà)面。
根據(jù)兩個(gè)估計(jì)生成三個(gè)估計(jì)模式，例如前向估計(jì)模式、后向估計(jì)模式、以及內(nèi)插估計(jì)模式，這與運(yùn)動(dòng)估計(jì)/補(bǔ)償一樣。此處，前向估計(jì)模式為從同一時(shí)間的左畫(huà)面預(yù)測(cè)的視差，而后向估計(jì)模式為從下一個(gè)左畫(huà)面預(yù)測(cè)的視差。通過(guò)兩個(gè)左畫(huà)面的視差向量而獲得右畫(huà)面的預(yù)測(cè)。因此，其被稱(chēng)為基于視差的預(yù)測(cè)編碼。即，編碼器對(duì)右視頻的每幀估計(jì)兩個(gè)視差向量，并且解碼器利用這兩個(gè)視差向量從左視頻解碼右視頻。圖5為顯示常規(guī)MPEG-2MVP中的用于雙向預(yù)測(cè)的、利用視差向量與運(yùn)動(dòng)向量的預(yù)測(cè)編碼的視圖。即，在圖5中使用單個(gè)視差估計(jì)與單個(gè)運(yùn)動(dòng)估計(jì)，但是其使用通過(guò)圖4所示的雙向預(yù)測(cè)獲得的B畫(huà)面。即，從同一時(shí)間階段的左畫(huà)面進(jìn)行視差估計(jì)，并且對(duì)先前時(shí)間階段的右畫(huà)面進(jìn)行運(yùn)動(dòng)估計(jì)，如圖5所示。雙向預(yù)測(cè)生成三個(gè)估計(jì)模式，例如前向估計(jì)模式、后向估計(jì)模式、以及內(nèi)插估計(jì)模式。此處，前向估計(jì)模式為從已解碼的右畫(huà)面獲得的運(yùn)動(dòng)估計(jì)，而后向模式為從已解碼的左畫(huà)面獲得的視差估計(jì)。因此，MPEG-2MVP的規(guī)范是針對(duì)實(shí)際立體視頻設(shè)計(jì)的，但是對(duì)于多視圖視頻的編碼器結(jié)構(gòu)，沒(méi)有進(jìn)行定義。因此，很需要一種同時(shí)有效地向多個(gè)用戶提供現(xiàn)實(shí)的多視圖視頻的編碼器。MPEG-2提出編碼與解碼視頻的規(guī)范。即，在MPEG-2中，將畫(huà)面歸類(lèi)為幀內(nèi)編碼(I) 畫(huà)面、預(yù)測(cè)編碼(P)畫(huà)面、以及雙向預(yù)測(cè)編碼(B)畫(huà)面。通過(guò)進(jìn)行DCT而不進(jìn)行運(yùn)動(dòng)向量估計(jì)/補(bǔ)償來(lái)編碼畫(huà)面從而獲得I畫(huà)面。P畫(huà)面為通過(guò)基于I畫(huà)面或其他P畫(huà)面進(jìn)行運(yùn)動(dòng)估計(jì)與補(bǔ)償并且通過(guò)對(duì)估計(jì)與補(bǔ)償后的畫(huà)面與原始畫(huà)面之間的差別進(jìn)行DCT來(lái)編碼畫(huà)面而獲得的畫(huà)面。類(lèi)似P畫(huà)面地獲得B畫(huà)面，但是在同一時(shí)間域上對(duì)兩幀進(jìn)行運(yùn)動(dòng)估計(jì)/補(bǔ)償。MPEG-2的畫(huà)面具有B、B、I、B、B、P...的結(jié)構(gòu)。從一個(gè)I畫(huà)面到下一 I畫(huà)面的多個(gè)畫(huà)面被稱(chēng)為一個(gè)畫(huà)面組(GOP)。GOP中畫(huà)面的數(shù)目被定義為N，并且I畫(huà)面與P畫(huà)面之間、 或者P畫(huà)面與P畫(huà)面之間的畫(huà)面的數(shù)目被定義為M。因?yàn)镸PEG-2為用于編碼與解碼單個(gè)視圖中的視頻的標(biāo)準(zhǔn)，所以盡管MPEG-2引入 MVP來(lái)將單視圖型視頻擴(kuò)展到立體型視頻，但是對(duì)于用于多視圖視頻的編碼器仍沒(méi)有規(guī)范。 為了編碼多視圖視頻，需要處理表示多視圖信息的數(shù)據(jù)。在韓國(guó)專(zhuān)利申請(qǐng)第10-2002-0021757號(hào)與韓國(guó)專(zhuān)利申請(qǐng)第10-2003-0002116號(hào)中，介紹了通過(guò)擴(kuò)展MPEG-2MVP的結(jié)構(gòu)來(lái)編碼多視圖視頻的常規(guī)技術(shù)。在韓國(guó)專(zhuān)利申請(qǐng)第10-2002-0021757號(hào)中，引入GGOP(G0P的組)，并且使用基于 MPEG-2配置的編解碼器CODEC。在韓國(guó)專(zhuān)利申請(qǐng)第10-2003-002116號(hào)中，建立中心視圖的比特序列。當(dāng)建立左畫(huà)面與右畫(huà)面的比特序列時(shí)，使用該中心視圖比特序列作為參考。在韓國(guó)專(zhuān)利申請(qǐng)第10-2002-0021757號(hào)中，由于對(duì)MPEG-2的兼容性，所以當(dāng)編碼P 畫(huà)面時(shí)，使用單個(gè)運(yùn)動(dòng)估計(jì)向量。在B畫(huà)面的情況下，使用兩個(gè)向量。因此，使用當(dāng)前時(shí)間上相鄰視點(diǎn)的視差向量與先前幀的運(yùn)動(dòng)向量。在韓國(guó)專(zhuān)利申請(qǐng)第10-2003-002116號(hào)中，當(dāng)編碼左視圖與右視圖的P畫(huà)面時(shí)，使
用單個(gè)運(yùn)動(dòng)向量與單個(gè)視差向量來(lái)參考中心視圖畫(huà)面。這些常規(guī)技術(shù)無(wú)法利用多于兩個(gè)的運(yùn)動(dòng)向量或者視差向量，并且當(dāng)編碼MPEG-2 的B畫(huà)面時(shí)，由于對(duì)MPEG-2或MPEG-4的兼容性，無(wú)法在時(shí)間域上進(jìn)行雙向估計(jì)編碼。另外， 視點(diǎn)之間的距離以及基線的尺寸增加了對(duì)于要被編碼的I畫(huà)面的視圖的數(shù)目。該方法不適于視差向量的估計(jì)。即，必須將相鄰視圖變換到當(dāng)前視點(diǎn)。另外，照相機(jī)的排列限于矩陣型排列，例如平行排列或者二維平行排列。

發(fā)明內(nèi)容
因此，本發(fā)明的一個(gè)目的在于提供一種多視圖視頻編碼與解碼裝置，其用于通過(guò)利用照相機(jī)信息(例如照相機(jī)或多視圖視頻的排列、照相機(jī)參數(shù)與顏色補(bǔ)償)、并且利用由當(dāng)前編碼的畫(huà)面當(dāng)前所參考的相鄰視圖的畫(huà)面作為預(yù)測(cè)編碼的參考畫(huà)面而有效地消除相鄰照相機(jī)之間的冗余信息，從而提高壓縮效率。本發(fā)明的另一個(gè)目的在于提供一種用于通過(guò)變換關(guān)于二維時(shí)空GOP結(jié)構(gòu)的和關(guān)于相鄰視圖的信息到當(dāng)前編碼的視圖、并且利用相關(guān)畫(huà)面作為參考畫(huà)面進(jìn)行有效的預(yù)測(cè)編碼而編碼與解碼多視圖視頻的裝置與方法。本發(fā)明的另一個(gè)目的在于提供一種用于編碼與解碼多視圖視頻的裝置與方法，其將用于單個(gè)視圖畫(huà)面的基于H.沈4的編碼器的特性擴(kuò)展到多個(gè)視圖，該編碼器利用先前時(shí)間階段的多個(gè)畫(huà)面作為參考幀。根據(jù)本發(fā)明的一個(gè)方面，提供了一種多視圖視頻編碼裝置，該多視圖視頻具有預(yù)定的多視圖畫(huà)面，包括GOP信息生成單元，用來(lái)生成時(shí)空畫(huà)面組(GOP)結(jié)構(gòu)信息，該信息表示所述多視圖畫(huà)面之間的參考關(guān)系；以及多視圖編碼單元，用來(lái)根據(jù)所述時(shí)空GOP結(jié)構(gòu)信息對(duì)所述多視圖畫(huà)面進(jìn)行預(yù)測(cè)編碼，其中，所述多視圖畫(huà)面之間的參考關(guān)系具有與單向或雙向參考關(guān)系相關(guān)的信息。根據(jù)本發(fā)明的另一個(gè)方面，提供了一種多視圖視頻編碼方法，該多視圖視頻具有預(yù)定的多視圖畫(huà)面，包括以下步驟a)生成時(shí)空畫(huà)面組(GOP)結(jié)構(gòu)信息，該信息表示所述多視圖畫(huà)面之間的參考關(guān)系；以及b)根據(jù)所述時(shí)空GOP結(jié)構(gòu)信息對(duì)所述多視圖畫(huà)面進(jìn)行預(yù)測(cè)編碼，其中，所述多視圖畫(huà)面之間的參考關(guān)系具有與單向或雙向參考關(guān)系相關(guān)的信息。根據(jù)本發(fā)明的另一個(gè)方面，提供了一種多視圖視頻解碼裝置，該多視圖視頻具有預(yù)定的多視圖畫(huà)面，包括多視點(diǎn)解碼單元，用來(lái)解碼具有時(shí)空畫(huà)面組(GOP)結(jié)構(gòu)信息的畫(huà)面信號(hào)流，該時(shí)空畫(huà)面組(GOP)結(jié)構(gòu)信息表示所述多視圖畫(huà)面之間的參考關(guān)系；以及畫(huà)面再現(xiàn)單元，用來(lái)基于所述時(shí)空GOP結(jié)構(gòu)信息從所述多視點(diǎn)解碼單元解碼的信號(hào)中恢復(fù)多視點(diǎn)畫(huà)面，其中，所述多視圖畫(huà)面之間的參考關(guān)系具有與單向或雙向參考關(guān)系相關(guān)的信息。根據(jù)本發(fā)明的另一個(gè)方面，提供了一種多視圖視頻解碼方法，該多視圖視頻具有預(yù)定的多視圖畫(huà)面，包括以下步驟解碼具有時(shí)空畫(huà)面組(GOP)結(jié)構(gòu)信息的畫(huà)面信號(hào)流，該時(shí)空畫(huà)面組(GOP)結(jié)構(gòu)信息表示所述多視圖畫(huà)面之間的參考關(guān)系；以及基于所述時(shí)空GOP 結(jié)構(gòu)信息從所述解碼步驟解碼的信號(hào)中恢復(fù)多視點(diǎn)畫(huà)面，其中，所述多視圖畫(huà)面之間的參考關(guān)系具有與單向或雙向參考關(guān)系相關(guān)的信息。本發(fā)明還提供一種多視圖視頻編碼裝置，該多視圖視頻具有預(yù)定的多視圖畫(huà)面， 包括時(shí)空畫(huà)面組GOP信息生成單元，用來(lái)通過(guò)表示多視圖之中的參考關(guān)系和時(shí)間參考關(guān)系，生成表示所述多視圖畫(huà)面之中的參考關(guān)系的時(shí)空畫(huà)面組GOP結(jié)構(gòu)信息；以及多視圖編碼單元，用來(lái)根據(jù)所述時(shí)空GOP結(jié)構(gòu)信息對(duì)所述多視圖畫(huà)面進(jìn)行預(yù)測(cè)編碼。本發(fā)明還提供一種多視圖視頻編碼方法，該多視圖視頻具有預(yù)定的多視圖畫(huà)面， 包括以下步驟a)通過(guò)表示多視圖之中的參考關(guān)系和時(shí)間參考關(guān)系，生成表示所述多視圖畫(huà)面之中的參考關(guān)系的時(shí)空畫(huà)面組GOP結(jié)構(gòu)信息；以及b)根據(jù)所述時(shí)空GOP結(jié)構(gòu)信息對(duì)所述多視圖畫(huà)面進(jìn)行預(yù)測(cè)編碼。本發(fā)明還提供一種多視圖視頻解碼裝置，該多視圖視頻具有預(yù)定的多視圖畫(huà)面， 包括多視點(diǎn)解碼單元，用來(lái)通過(guò)表示多視圖之中的參考關(guān)系和時(shí)間參考關(guān)系，解碼具有時(shí)空畫(huà)面組GOP結(jié)構(gòu)信息的畫(huà)面信號(hào)流，該時(shí)空畫(huà)面組GOP結(jié)構(gòu)信息表示所述多視圖畫(huà)面之間的參考關(guān)系；以及畫(huà)面再現(xiàn)單元，用來(lái)基于所述時(shí)空GOP結(jié)構(gòu)信息從所述多視點(diǎn)解碼單元解碼的信號(hào)恢復(fù)所述多視圖畫(huà)面。本發(fā)明還提供一種多視圖視頻解碼方法，該多視圖視頻具有預(yù)定的多視圖畫(huà)面， 包括以下步驟通過(guò)表示多視圖之中的參考關(guān)系和時(shí)間參考關(guān)系，解碼具有時(shí)空畫(huà)面組 GOP結(jié)構(gòu)信息的畫(huà)面信號(hào)流，該時(shí)空畫(huà)面組GOP結(jié)構(gòu)信息表示所述多視圖畫(huà)面之中的參考關(guān)系；基于所述時(shí)空GOP結(jié)構(gòu)信息，從所述解碼步驟解碼的信號(hào)恢復(fù)多視點(diǎn)畫(huà)面。根據(jù)本發(fā)明的用于編碼與解碼多視圖視頻的裝置獲得具有各種照相機(jī)排列的多視圖視頻數(shù)據(jù)，壓縮所獲得的多視圖視頻數(shù)據(jù)，傳送所壓縮的多視圖視頻數(shù)據(jù)，解碼所壓縮的多視圖視頻數(shù)據(jù)，并且顯示所解碼的視頻數(shù)據(jù)，而不受照相機(jī)排列的限制。根據(jù)本發(fā)明的用于編碼與解碼多視圖視頻的裝置可以通過(guò)對(duì)隨機(jī)排列的多視圖信息進(jìn)行預(yù)測(cè)編碼而利用單個(gè)編碼方案提供立體顯示服務(wù)、全向視頻(omni video)服務(wù)、 全景視頻(panoramic video)服務(wù)、以及自由視點(diǎn)TV服務(wù)，并且當(dāng)編碼多視圖畫(huà)面時(shí)，通過(guò)利用相鄰視圖的信息來(lái)提高壓縮效率。另外，根據(jù)本發(fā)明的編碼與解碼多視圖視頻的裝置與方法利用當(dāng)前視點(diǎn)與相鄰照相機(jī)視點(diǎn)之間的冗余信息來(lái)提高壓縮效率。


從以下結(jié)合附圖給出的優(yōu)選實(shí)施例的描述，本發(fā)明的以上與其他目的、特征將變得明顯，附圖中圖1為顯示常規(guī)H. 264編碼器的方框圖；圖2為圖示常規(guī)MPEG-2MVP編碼器與解碼器的方框圖；圖3為顯示使用MPEG-2MVP的常規(guī)立體視頻編碼器的方框圖；圖4為MPEG-2MVP中的用于雙向預(yù)測(cè)的利用兩個(gè)視差估計(jì)且利用視圖差別的常規(guī)預(yù)測(cè)編碼的視圖；圖5為MPEG-2MVP中的用于雙向預(yù)測(cè)的、利用視差向量與運(yùn)動(dòng)向量的常規(guī)預(yù)測(cè)編碼的視圖；圖6為顯示在常規(guī)MPEG-2中定義的畫(huà)面的結(jié)構(gòu)的視圖；圖7為圖示根據(jù)本發(fā)明實(shí)施例的多視圖視頻編碼/解碼系統(tǒng)的方框圖；圖8為顯示根據(jù)本發(fā)明優(yōu)選實(shí)施例的時(shí)空GOP生成單元的方框圖；圖9顯示根據(jù)本發(fā)明的、表示時(shí)空GOP結(jié)構(gòu)中關(guān)系的參考連接類(lèi)型；圖10為描述根據(jù)本發(fā)明優(yōu)選實(shí)施例的時(shí)空GOP的三角排列參考結(jié)構(gòu)的視圖；圖11顯示根據(jù)本發(fā)明實(shí)施例的包括時(shí)間tl處的P畫(huà)面的時(shí)空GOP結(jié)構(gòu)；圖12顯示根據(jù)本發(fā)明實(shí)施例的包括時(shí)間tl處的P畫(huà)面與B畫(huà)面的時(shí)空GOP結(jié)構(gòu)；
圖13為圖示根據(jù)本發(fā)明實(shí)施例的多視圖編碼單元的方框圖；以及圖14為顯示根據(jù)本發(fā)明實(shí)施例的多視圖參考畫(huà)面提供單元的方框圖。
具體實(shí)施例方式從以下提出的、參考附圖對(duì)實(shí)施例的描述，本發(fā)明的其他目的與方面將變得明顯。圖7為圖示根據(jù)本發(fā)明實(shí)施例的多視圖視頻編碼/解碼系統(tǒng)的方框圖。如圖7所示，該多視圖視頻編碼/解碼系統(tǒng)包括多視圖視頻編碼裝置500，用來(lái)接收多視圖視頻數(shù)據(jù)，例如從N個(gè)隨機(jī)排列的照相機(jī)接收N視圖視頻數(shù)據(jù)，將該多視圖視頻數(shù)據(jù)壓縮與編碼為比特序列，并且傳送該比特序列；以及多視圖視頻解碼裝置600，用來(lái)接收該比特序列，并且將該比特序列解碼與同步為多視圖視頻。多視圖視頻編碼裝置500包括時(shí)空GOP生成單元510、以及多視圖編碼單元520。時(shí)空GOP生成單元510從N個(gè)照相機(jī)與用戶接收N個(gè)多視圖視頻與照相機(jī)信息。 照相機(jī)信息包括關(guān)于照相機(jī)特性的N個(gè)視圖的信息、以及關(guān)于照相機(jī)位置與照相機(jī)排列的信息。時(shí)空GOP生成單元510基于所接收到的信息建立時(shí)空GOP信息。多視圖視頻編碼單元520利用所建立的時(shí)空GOP信息以及照相機(jī)信息，對(duì)多視圖視頻進(jìn)行預(yù)測(cè)編碼。多視圖視頻解碼裝置600包括多視圖視頻解碼單元610、基于時(shí)空GOP的視頻再現(xiàn)單元620、以及場(chǎng)景同步單元630。如上所述，多視圖視頻解碼裝置600接收比特序列，通過(guò)多視圖視頻解碼單元610解碼所接收到的比特序列，在基于時(shí)空GOP的畫(huà)面再現(xiàn)單元620 處利用時(shí)空GOP信息恢復(fù)所有多視圖視頻，并且在場(chǎng)景同步單元630處根據(jù)多視圖視頻應(yīng)用適當(dāng)?shù)赝剿謴?fù)的畫(huà)面。然后，這些同步后的視頻被提供給用戶。以下將更詳細(xì)地描述多視圖視頻解碼裝置。多視圖視頻解碼單元610通過(guò)熵解碼、逆重新排列、逆量化、以及逆變換來(lái)處理所接收到的比特序列，并且基于時(shí)空GOP的畫(huà)面再現(xiàn)單元620利用在比特流中包含的時(shí)空GOP 信息，從逆變換后的信號(hào)中重新配置多視圖視頻。另外，場(chǎng)景同步單元630同步在基于時(shí)空 GOP的畫(huà)面再現(xiàn)單元620處恢復(fù)的多視圖畫(huà)面。另外，如果當(dāng)前解碼的畫(huà)面具有與參考畫(huà)面相比相同的視圖，則基于時(shí)空GOP的畫(huà)面再現(xiàn)單元620根據(jù)時(shí)空GOP信息來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償。如果當(dāng)前解碼的畫(huà)面為具有參考畫(huà)面的相鄰視圖的畫(huà)面，則基于時(shí)空GOP的視頻再現(xiàn)單元620進(jìn)行視差/運(yùn)動(dòng)校正。圖8為顯示根據(jù)本發(fā)明優(yōu)選實(shí)施例的時(shí)空GOP生成單元的方框圖。參考圖8，時(shí)空GOP生成單元510包括關(guān)系定義單元511和圖形顯示單元513。關(guān)系定義單元511基于用戶信息或者照相機(jī)信息，定義視圖之間畫(huà)面的預(yù)測(cè)關(guān)系。圖形顯示單元513利用所定義的信息，生成時(shí)空GOP信息，其為表示多視圖畫(huà)面中參考關(guān)系的圖形信息。所生成的時(shí)空GOP信息被輸出到多視圖編碼單元520。可以根據(jù)各種方法定義的一般數(shù)據(jù)結(jié)構(gòu)顯示圖形信息。為了建立用于支持隨機(jī)照相機(jī)視點(diǎn)的時(shí)空GOP信息，時(shí)間GOP的概念必須采用常規(guī)的MPEG-2的GOP概念，并且必須將空間GOP配置為通過(guò)連接每個(gè)表示照相機(jī)位置的節(jié)點(diǎn)而建立的圖形。如果視點(diǎn)彼此參考用于預(yù)測(cè)編碼，則如同雙鏈接列表一樣連接兩個(gè)節(jié)點(diǎn)為彼此參考。如果只按一側(cè)參考視點(diǎn)，則連接節(jié)點(diǎn)為單鏈接列表。如果以環(huán)的形式排列照相機(jī)，則形成節(jié)點(diǎn)為數(shù)據(jù)結(jié)構(gòu)中的環(huán)形隊(duì)列。在平行一維結(jié)構(gòu)的情況下，則如同單鏈接列表或雙鏈接列表一樣形成節(jié)點(diǎn)。在節(jié)點(diǎn)之間存在復(fù)雜參考關(guān)系的情況下，利用初始參考視點(diǎn)作為開(kāi)始節(jié)點(diǎn)、并且利用關(guān)系根據(jù)預(yù)定順序連接節(jié)點(diǎn)以產(chǎn)生生成樹(shù)(spanning tree) 0圖9顯示根據(jù)本發(fā)明的、表示時(shí)空GOP結(jié)構(gòu)中關(guān)系的參考連接類(lèi)型。如圖9所示，根據(jù)本發(fā)明的時(shí)空GOP可以表示多視圖視頻中的所有參考關(guān)系，例如簡(jiǎn)單平行、雙向平行、矩陣排列、環(huán)形排列、以及隨機(jī)排列。圖9中所示的箭頭表示參考的方向，并且參考的方向可以為單向與雙向。如上所述，通過(guò)利用空間排列與視覺(jué)配置建立G0P，多視圖解碼器可以支持隨機(jī)訪問(wèn)功能。圖10為描述根據(jù)本發(fā)明優(yōu)選實(shí)施例的時(shí)空GOP的三角排列參考結(jié)構(gòu)的視圖。虛線箭頭表示照相機(jī)的參考關(guān)系。如圖10所示，在本實(shí)施例中，所有照相機(jī)都具有雙向參考關(guān)系。因?yàn)樵诔跏茧A段畫(huà)面由I畫(huà)面構(gòu)成，所以假定僅使用其他時(shí)間的畫(huà)面作為參考畫(huà)面，而不使用同一時(shí)間關(guān)于相鄰照相機(jī)視點(diǎn)的信息作為參考畫(huà)面。在圖10所示的配置中，當(dāng)將時(shí)間t4處的所有幀編碼為P畫(huà)面時(shí)，使用時(shí)間tl處的畫(huà)面作為參考畫(huà)面。為了編碼時(shí)間t4處的P畫(huà)面Pl與P3，使用時(shí)間tl處的I畫(huà)面II、12、13、以及 14作為參考畫(huà)面。另外，當(dāng)編碼t4處的P畫(huà)面P2時(shí)，參考時(shí)間tl處的I畫(huà)面11、12、以及 13，并且當(dāng)編碼t4的P畫(huà)面P4時(shí)，參考時(shí)間tl處的I畫(huà)面II、13、以及14。時(shí)間t7的編碼方案同樣參考時(shí)間t4處的參考tl處的畫(huà)面的畫(huà)面，但是時(shí)間t7的編碼方案參考P畫(huà)面而非I畫(huà)面。時(shí)間t2與t3處的畫(huà)面中的B畫(huà)面Bl與B3利用時(shí)間tl處的I畫(huà)面II、12、13和 14、以及時(shí)間t4的P畫(huà)面P1、P2、P3和P4作為參考畫(huà)面，進(jìn)行雙向預(yù)測(cè)編碼。B畫(huà)面B2利用時(shí)間tl的I畫(huà)面II、12和13以及時(shí)間t4的P畫(huà)面PI、P2和P3作為參考畫(huà)面，進(jìn)行雙向預(yù)測(cè)編碼，B畫(huà)面B4利用時(shí)間tl的I畫(huà)面II、13和14以及時(shí)間t4的P畫(huà)面PI、P3和 P4作為參考畫(huà)面，進(jìn)行雙向預(yù)測(cè)編碼。根據(jù)圖10右上部顯示的生成樹(shù)，決定每個(gè)節(jié)點(diǎn)處的編碼畫(huà)面的順序。以上描述了參考其他時(shí)間畫(huà)面的關(guān)系。如果因?yàn)楦鶕?jù)生成樹(shù)的順序而預(yù)先編碼其他視點(diǎn)的畫(huà)面從而可以參考當(dāng)前編碼的畫(huà)面的同一時(shí)間處的其他視點(diǎn)的畫(huà)面，則要在時(shí)間t2到t7處預(yù)測(cè)編碼的畫(huà)面另外還可以使用同一時(shí)間處的先前編碼的畫(huà)面作為參考畫(huà)面。例如，如果編碼時(shí)間t4處的畫(huà)面P4，則可以添加時(shí)間t4處的畫(huà)面P3作為參考畫(huà)面。如果編碼畫(huà)面P2，則可以根據(jù)照相機(jī)之間的視點(diǎn)連接信息，使用時(shí)間t4處的畫(huà)面Pl與 P3作為參考畫(huà)面。當(dāng)編碼時(shí)間t4處的畫(huà)面P3時(shí)，無(wú)法使用同一時(shí)間的畫(huà)面作為參考畫(huà)面。只能使用先前時(shí)間的畫(huà)面作為參考畫(huà)面。圖11顯示根據(jù)本發(fā)明實(shí)施例的、在時(shí)間tl處包括P畫(huà)面的時(shí)空GOP結(jié)構(gòu)。
如圖11所示，根據(jù)下一生成樹(shù)，首先編碼I畫(huà)面13，然后編碼P畫(huà)面P4、P1與P2。此處，利用先前已編碼的畫(huà)面中的由照相機(jī)視點(diǎn)連接性信息連接的畫(huà)面，預(yù)測(cè)編碼P畫(huà)面P4、Pl與P2。編碼該時(shí)間之后的畫(huà)面的方法同時(shí)使用圖10的參考畫(huà)面選擇方法以及圖11的參考畫(huà)面選擇方法。圖12顯示根據(jù)本發(fā)明實(shí)施例的包括時(shí)間11處的P畫(huà)面與B畫(huà)面的時(shí)空GOP結(jié)構(gòu)。根據(jù)圖12所示的GOP結(jié)構(gòu)首先編碼畫(huà)面13，然后編碼畫(huà)面P2。此處，P畫(huà)面P2使用I畫(huà)面13作為參考畫(huà)面。B畫(huà)面B4可以使用I畫(huà)面13與12作為參考畫(huà)面，并且僅添加I畫(huà)面13作為參考畫(huà)面，這是因?yàn)檫B接性信息只連接到I畫(huà)面13。然后，使用畫(huà)面13與P2作為參考畫(huà)面，預(yù)測(cè)編碼B畫(huà)面Bi。然后，該編碼畫(huà)面的方法使用圖10和圖11的參考畫(huà)面選擇方法、以及圖12的時(shí)間tl處的參考畫(huà)面選擇方法。如圖10、11、12所示，沒(méi)有根據(jù)先前時(shí)間處或者將來(lái)時(shí)間處的畫(huà)面對(duì)具有I畫(huà)面的時(shí)間處的視點(diǎn)畫(huà)面進(jìn)行編碼。另外，根據(jù)具有I畫(huà)面或者P畫(huà)面的先前時(shí)間處的視點(diǎn)畫(huà)面對(duì)具有P畫(huà)面的時(shí)間處的視圖畫(huà)面進(jìn)行預(yù)測(cè)編碼。另外，根據(jù)過(guò)去時(shí)間或者將來(lái)時(shí)間中具有 I畫(huà)面或者P畫(huà)面的時(shí)間處的視圖畫(huà)面對(duì)具有B畫(huà)面的時(shí)間處的視圖畫(huà)面進(jìn)行預(yù)測(cè)編碼。此處，使用具有I畫(huà)面或者P畫(huà)面的時(shí)間處的視點(diǎn)畫(huà)面中的B畫(huà)面用于對(duì)其他時(shí)間處的畫(huà)面預(yù)測(cè)編碼。如果要求不僅使用近照相機(jī)視點(diǎn)的畫(huà)面、而且使用遠(yuǎn)照相機(jī)視點(diǎn)的畫(huà)面，則可以將它們作為參考畫(huà)面。在這種情況下，定義其連接關(guān)系，并且根據(jù)該連接關(guān)系對(duì)其編碼。如果在P畫(huà)面P2與P4之間設(shè)置連接性信息，則根據(jù)所設(shè)置的連接性信息，編碼與解碼畫(huà)面。圖13為圖示根據(jù)本發(fā)明實(shí)施例的多視圖編碼單元的方框圖。如圖13所示，該多視圖編碼單元包括多視圖參考畫(huà)面提供單元740、估計(jì)單元 710、變換與量化單元720、以及熵編碼單元730。估計(jì)單元710、變換與量化單元720和熵編碼單元730與常規(guī)H. 264編碼器中的那些單元110、120和130相同。但是，當(dāng)輸入的參考畫(huà)面為相同時(shí)間的畫(huà)面時(shí)，視差/運(yùn)動(dòng)估計(jì)器711與視差/運(yùn)動(dòng)補(bǔ)償器713被操作為運(yùn)動(dòng)估計(jì)器與運(yùn)動(dòng)補(bǔ)償器。如果參考畫(huà)面為其他時(shí)間的畫(huà)面，則視差/運(yùn)動(dòng)估計(jì)器711與視差/運(yùn)動(dòng)補(bǔ)償器713被操作為視差估計(jì)器 711與視差補(bǔ)償器713。多視圖參考畫(huà)面提供單元740接收并且存儲(chǔ)通過(guò)逆量化與逆變換而恢復(fù)的多視圖畫(huà)面，以對(duì)通過(guò)變換與量化單元720變換與量化的畫(huà)面信號(hào)進(jìn)行預(yù)測(cè)編碼。另外，多視圖參考畫(huà)面提供單元740根據(jù)從時(shí)空GOP生成單元510輸入的GOP結(jié)構(gòu)信息來(lái)選擇參考畫(huà)面，并且給視差/運(yùn)動(dòng)補(bǔ)償器713與視差/運(yùn)動(dòng)估計(jì)器711提供所選擇的參考畫(huà)面。相應(yīng)地，允許根據(jù)在GOP結(jié)構(gòu)信息中表示的多視圖畫(huà)面的參考關(guān)系進(jìn)行預(yù)測(cè)編碼。通過(guò)給重新排列單元731提供包含時(shí)空GOP結(jié)構(gòu)信息的補(bǔ)充信息、利用當(dāng)前估計(jì)的編碼畫(huà)面信息對(duì)時(shí)空GOP結(jié)構(gòu)信息進(jìn)行熵編碼、以及傳送所編碼的信息，多視圖參考畫(huà)面提供單元740還允許在解碼中使用時(shí)空GOP結(jié)構(gòu)信息。圖14為圖示根據(jù)本發(fā)明實(shí)施例的多視圖參考畫(huà)面提供單元的方框圖。
參考圖14，根據(jù)本實(shí)施例的多視圖參考畫(huà)面提供單元740包括恢復(fù)畫(huà)面緩沖器 741、第一相鄰視點(diǎn)參考畫(huà)面緩沖器742、第二相鄰視點(diǎn)參考畫(huà)面緩沖器743、視點(diǎn)變換器 745與746、以及參考畫(huà)面選擇器747?；謴?fù)畫(huà)面緩沖器741從濾波器接收在其他時(shí)間的當(dāng)前視點(diǎn)處的所恢復(fù)的畫(huà)面，臨時(shí)存儲(chǔ)所接收到的畫(huà)面，并且將所存儲(chǔ)的畫(huà)面輸出到參考畫(huà)面選擇單元747。第一相鄰參考畫(huà)面緩沖器742從濾波器接收先前編碼的、當(dāng)前時(shí)間處的相鄰視點(diǎn)的恢復(fù)畫(huà)面，臨時(shí)存儲(chǔ)所接收到的畫(huà)面作為參考畫(huà)面，并且將所存儲(chǔ)的畫(huà)面輸出到視點(diǎn)變換單元745。第二相鄰參考畫(huà)面緩沖器743從濾波器接收先前編碼的、不同時(shí)間處的相鄰視點(diǎn)的恢復(fù)畫(huà)面，臨時(shí)存儲(chǔ)所接收到的畫(huà)面作為參考畫(huà)面，并且將所存儲(chǔ)的畫(huà)面輸出到視點(diǎn)變換單元746。視點(diǎn)變換單元745與746使用先前輸入的照相機(jī)信息來(lái)分別校正當(dāng)前視點(diǎn)與顏色平衡，以使用從第一相鄰視點(diǎn)參考畫(huà)面緩沖器742輸入的相鄰視點(diǎn)畫(huà)面作為參考畫(huà)面。另外，視點(diǎn)變換單元745與746基于全局運(yùn)動(dòng)補(bǔ)償與糾正來(lái)變換畫(huà)面，并且生成可以用作預(yù)測(cè)編碼的參考畫(huà)面的參考畫(huà)面。所生成的參考畫(huà)面被輸出到參考畫(huà)面選擇單元747。根據(jù)從時(shí)空GOP生成單元510輸入的時(shí)空GOP結(jié)構(gòu)信息，參考畫(huà)面選擇器747選擇所接收到的參考畫(huà)面中的一個(gè)以用于當(dāng)前預(yù)測(cè)編碼，并且輸出所選擇的參考畫(huà)面到視差 /運(yùn)動(dòng)估計(jì)器711與視差/運(yùn)動(dòng)補(bǔ)償器713。另外，參考畫(huà)面選擇單元747生成包含GOP結(jié)構(gòu)信息的補(bǔ)充信息，并且輸出所生成的補(bǔ)充信息到重新排列單元731。根據(jù)本發(fā)明的上述方法可以被實(shí)現(xiàn)為程序，并且存儲(chǔ)在計(jì)算機(jī)可讀記錄介質(zhì)上。 計(jì)算機(jī)可讀記錄介質(zhì)為可以存儲(chǔ)此后可以由計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲(chǔ)設(shè)備。 計(jì)算機(jī)可讀記錄介質(zhì)包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、CD-ROM、軟盤(pán)、硬盤(pán)、 以及磁光盤(pán)。本申請(qǐng)包含與2004年12月10日向韓國(guó)知識(shí)產(chǎn)權(quán)局提交的韓國(guó)專(zhuān)利申請(qǐng)第 10-2004-0104470號(hào)相關(guān)的主題，其全部?jī)?nèi)容通過(guò)引用融入本文。雖然已經(jīng)針對(duì)特定優(yōu)選實(shí)施例描述了本發(fā)明，但是本領(lǐng)域技術(shù)人員應(yīng)該理解在不脫離權(quán)利要求限定的本發(fā)明的范圍的前提下，可以進(jìn)行各種變化與修改。
權(quán)利要求
1.一種多視圖視頻編碼裝置，該多視圖視頻具有預(yù)定的多視圖畫(huà)面，包括時(shí)空畫(huà)面組GOP信息生成單元，用來(lái)通過(guò)表示多視圖之中的參考關(guān)系和時(shí)間參考關(guān)系，生成表示所述多視圖畫(huà)面之中的參考關(guān)系的時(shí)空畫(huà)面組GOP結(jié)構(gòu)信息；以及多視圖編碼單元，用來(lái)根據(jù)所述時(shí)空GOP結(jié)構(gòu)信息對(duì)所述多視圖畫(huà)面進(jìn)行預(yù)測(cè)編碼。
2.如權(quán)利要求1所述的多視圖視頻編碼裝置，其中多視圖之中的參考關(guān)系包括第一多視圖之中的第一參考關(guān)系和第二多視圖之中的第二參考關(guān)系，并且其中第一多視圖是在某時(shí)間處其畫(huà)面不參考其他時(shí)間處的畫(huà)面的多視圖，并且第二多視圖是在某時(shí)間處其畫(huà)面參考其他時(shí)間處的畫(huà)面的多視圖。
3.如權(quán)利要求1所述的多視圖視頻編碼裝置，其中所述時(shí)空GOP信息生成單元包括 預(yù)測(cè)關(guān)系定義單元，用來(lái)定義多視圖之中的預(yù)測(cè)關(guān)系和時(shí)間預(yù)測(cè)關(guān)系；以及預(yù)測(cè)關(guān)系表達(dá)單元，用來(lái)基于由所述預(yù)測(cè)關(guān)系定義單元定義的多視圖之中的預(yù)測(cè)關(guān)系和時(shí)間預(yù)測(cè)關(guān)系，通過(guò)表示多視圖之中的參考關(guān)系和時(shí)間參考關(guān)系，生成所述時(shí)空GOP結(jié)構(gòu)信息。
4.如權(quán)利要求1所述的多視圖視頻編碼裝置，其中所述多視圖之中的參考關(guān)系被表達(dá)為圖形。
5.如權(quán)利要求1所述的多視圖視頻編碼裝置，其中所述時(shí)空GOP結(jié)構(gòu)信息包括多視圖之中的編碼順序信息。
6.如權(quán)利要求4所述的多視圖視頻編碼裝置，其中，所述時(shí)空GOP結(jié)構(gòu)信息包括作為時(shí)間GOP結(jié)構(gòu)信息的MPEG-2G0P結(jié)構(gòu)信息、和作為空間GOP結(jié)構(gòu)信息的多視圖之中的參考關(guān)系fn息。
7.如權(quán)利要求1所述的多視圖視頻編碼裝置，其中所述多視圖編碼單元包括多視圖參考畫(huà)面提供單元，用來(lái)根據(jù)所述時(shí)空GOP結(jié)構(gòu)信息，提供用于預(yù)測(cè)編碼的一個(gè)或多個(gè)參考畫(huà)面；預(yù)測(cè)單元，用來(lái)利用從所述多視圖參考畫(huà)面提供單元提供的一個(gè)或多個(gè)參考畫(huà)面，對(duì)當(dāng)前要被編碼的畫(huà)面進(jìn)行預(yù)測(cè)；變換與量化單元，用來(lái)變換并量化所述預(yù)測(cè)單元預(yù)測(cè)的畫(huà)面；以及熵編碼單元，用來(lái)使用熵編碼方法對(duì)所述變換與量化單元變換并量化的畫(huà)面進(jìn)行編碼。
8.如權(quán)利要求6所述的多視圖視頻編碼裝置，其中所述多視圖參考畫(huà)面提供單元還提供包含所述時(shí)空GOP結(jié)構(gòu)信息的補(bǔ)充信息，并且所述熵編碼單元還對(duì)補(bǔ)充信息進(jìn)行編碼。
9.如權(quán)利要求6所述的多視圖視頻編碼裝置，其中所述預(yù)測(cè)單元包括視差/運(yùn)動(dòng)估計(jì)單元，用來(lái)當(dāng)提供的參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相比相同的視圖時(shí)，進(jìn)行運(yùn)動(dòng)估計(jì)；并且當(dāng)該提供的參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相比不同的視圖時(shí)， 進(jìn)行視差估計(jì)；以及視差/運(yùn)動(dòng)校正單元，用來(lái)當(dāng)提供的參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相比相同的視圖時(shí)，進(jìn)行運(yùn)動(dòng)補(bǔ)償；并且當(dāng)該提供的參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相比不同的視圖時(shí)， 進(jìn)行視差補(bǔ)償。
10.如權(quán)利要求6所述的多視圖視頻編碼裝置，其中所述多視圖參考畫(huà)面提供單元包括恢復(fù)畫(huà)面存儲(chǔ)單元，用來(lái)存儲(chǔ)當(dāng)前視圖的其他時(shí)間的一個(gè)或多個(gè)所恢復(fù)的畫(huà)面； 第一相鄰視點(diǎn)參考畫(huà)面存儲(chǔ)單元，用來(lái)存儲(chǔ)當(dāng)前時(shí)間處相鄰視圖的一個(gè)或多個(gè)所恢復(fù)的畫(huà)面；第二相鄰視點(diǎn)參考畫(huà)面存儲(chǔ)單元，用來(lái)存儲(chǔ)其他時(shí)間處相鄰視圖的一個(gè)或多個(gè)所恢復(fù)的畫(huà)面；視點(diǎn)變換單元，用來(lái)將在所述第一相鄰視點(diǎn)參考畫(huà)面存儲(chǔ)單元以及所述第二相鄰視點(diǎn)參考畫(huà)面存儲(chǔ)單元中存儲(chǔ)的相鄰視圖的畫(huà)面變換為當(dāng)前視圖的各個(gè)畫(huà)面；以及參考畫(huà)面選擇單元，用來(lái)根據(jù)所述時(shí)空GOP結(jié)構(gòu)信息，從所述恢復(fù)畫(huà)面存儲(chǔ)單元以及所述視點(diǎn)變換單元的畫(huà)面中選擇在當(dāng)前編碼中使用的一個(gè)或多個(gè)參考畫(huà)面，并且提供所選擇的一個(gè)或多個(gè)參考畫(huà)面。
11.如權(quán)利要求9所述的多視圖視頻編碼裝置，其中所述視點(diǎn)變換單元通過(guò)對(duì)相鄰視圖畫(huà)面進(jìn)行顏色校正和全局運(yùn)動(dòng)補(bǔ)償，將相鄰視圖畫(huà)面變換為當(dāng)前視圖的各個(gè)畫(huà)面。
12.—種多視圖視頻編碼方法，該多視圖視頻具有預(yù)定的多視圖畫(huà)面，包括以下步驟a)通過(guò)表示多視圖之中的參考關(guān)系和時(shí)間參考關(guān)系，生成表示所述多視圖畫(huà)面之中的參考關(guān)系的時(shí)空畫(huà)面組GOP結(jié)構(gòu)信息；以及b)根據(jù)所述時(shí)空GOP結(jié)構(gòu)信息對(duì)所述多視圖畫(huà)面進(jìn)行預(yù)測(cè)編碼。
13.如權(quán)利要求12所述的多視圖視頻編碼方法，其中多視圖之中的參考關(guān)系包括第一多視圖之中的第一參考關(guān)系和第二多視圖之中的第二參考關(guān)系，以及其中第一多視圖是在某時(shí)間處其畫(huà)面不參考其他時(shí)間處的畫(huà)面的多視圖，并且第二多視圖是在某時(shí)間處其畫(huà)面參考其他時(shí)間處的畫(huà)面的多視圖。
14.如權(quán)利要求12所述的多視圖視頻編碼方法，其中步驟a)包括以下步驟 定義多視圖之中的預(yù)測(cè)關(guān)系和時(shí)間預(yù)測(cè)關(guān)系；以及基于所述定義步驟定義的多視圖之中的預(yù)測(cè)關(guān)系和時(shí)間預(yù)測(cè)關(guān)系，通過(guò)表示多視圖之中的參考關(guān)系和時(shí)間參考關(guān)系生成時(shí)空GOP結(jié)構(gòu)信息。
15.如權(quán)利要求12所述的多視圖視頻編碼方法，其中所述時(shí)空GOP結(jié)構(gòu)信息包括多視圖之中的編碼順序信息。
16.如權(quán)利要求15所述的多視圖視頻編碼方法，其中所述時(shí)空GOP結(jié)構(gòu)信息包括作為時(shí)間GOP信息的MPEG-2G0P結(jié)構(gòu)信息、以及作為空間GOP結(jié)構(gòu)信息的多視圖之中的參考關(guān)系fn息。
17.如權(quán)利要求12所述的多視圖視頻編碼方法，其中步驟b)包括以下步驟 b-Ι)根據(jù)時(shí)空GOP結(jié)構(gòu)信息，提供用于預(yù)測(cè)編碼的一個(gè)或多個(gè)參考畫(huà)面；b-2)利用從所述提供步驟提供的一個(gè)或多個(gè)參考畫(huà)面，預(yù)測(cè)當(dāng)前要被編碼的畫(huà)面；b-3)變換并量化所述預(yù)測(cè)步驟預(yù)測(cè)的畫(huà)面；以及b-4)使用熵編碼方法對(duì)所述變換與量化步驟變換并量化的畫(huà)面進(jìn)行編碼。
18.如權(quán)利要求17所述的多視圖視頻編碼方法，其中步驟b-2)包括以下步驟 當(dāng)提供的參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相比相同的視圖時(shí)，進(jìn)行運(yùn)動(dòng)估計(jì)；并且當(dāng)該提供的參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相比不同的視圖時(shí)，進(jìn)行視差估計(jì)；以及當(dāng)提供的參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相比相同的視圖時(shí)，進(jìn)行運(yùn)動(dòng)補(bǔ)償；并且當(dāng)該提供參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相比不同的視圖時(shí)，進(jìn)行視差補(bǔ)償。
19.如權(quán)利要求17所述的多視圖視頻編碼方法，其中步驟b-Ι)包括以下步驟 存儲(chǔ)當(dāng)前視圖的其他時(shí)間的一個(gè)或多個(gè)所恢復(fù)的畫(huà)面；存儲(chǔ)當(dāng)前時(shí)間處相鄰視圖的一個(gè)或多個(gè)所恢復(fù)的畫(huà)面； 存儲(chǔ)其他時(shí)間處相鄰視圖的一個(gè)或多個(gè)所恢復(fù)的畫(huà)面；將所存儲(chǔ)的當(dāng)前時(shí)間和其他時(shí)間處的相鄰視圖的畫(huà)面變換為當(dāng)前視圖的各個(gè)畫(huà)面；以及根據(jù)時(shí)空GOP結(jié)構(gòu)信息，從當(dāng)前視圖的其他時(shí)間的一個(gè)或多個(gè)所恢復(fù)的畫(huà)面以及被所述變換步驟變換的畫(huà)面中選擇在當(dāng)前編碼中使用的一個(gè)或多個(gè)參考畫(huà)面，并且提供所選擇的一個(gè)或多個(gè)參考畫(huà)面。
20.一種多視圖視頻解碼裝置，該多視圖視頻具有預(yù)定的多視圖畫(huà)面，包括多視點(diǎn)解碼單元，用來(lái)通過(guò)表示多視圖之中的參考關(guān)系和時(shí)間參考關(guān)系，解碼具有時(shí)空畫(huà)面組GOP結(jié)構(gòu)信息的畫(huà)面信號(hào)流，該時(shí)空畫(huà)面組GOP結(jié)構(gòu)信息表示所述多視圖畫(huà)面之間的參考關(guān)系；以及畫(huà)面再現(xiàn)單元，用來(lái)基于所述時(shí)空GOP結(jié)構(gòu)信息從所述多視點(diǎn)解碼單元解碼的信號(hào)恢復(fù)所述多視圖畫(huà)面。
21.如權(quán)利要求20所述的多視圖視頻解碼裝置，其中多視圖之中的參考關(guān)系包括第一多視圖之中的第一參考關(guān)系和第二多視圖之中的第二參考關(guān)系，以及其中第一多視圖是在某時(shí)間處其畫(huà)面不參考其他時(shí)間處的畫(huà)面的多視圖，并且第二多視圖是在某時(shí)間處其畫(huà)面參考其他時(shí)間處的畫(huà)面的多視圖。
22.如權(quán)利要求20所述的多視圖視頻解碼裝置，其中所述時(shí)空GOP結(jié)構(gòu)信息包括多視圖之中的解碼順序信息。
23.如權(quán)利要求22所述的多視圖視頻解碼裝置，其中所述時(shí)空GOP結(jié)構(gòu)信息包括作為時(shí)間GOP結(jié)構(gòu)信息的MPEG-2G0P結(jié)構(gòu)信息、以及作為空間GOP結(jié)構(gòu)信息的多視圖之中的參考關(guān)系信息。
24.一種多視圖視頻解碼方法，該多視圖視頻具有預(yù)定的多視圖畫(huà)面，包括以下步驟 通過(guò)表示多視圖之中的參考關(guān)系和時(shí)間參考關(guān)系，解碼具有時(shí)空畫(huà)面組GOP結(jié)構(gòu)信息的畫(huà)面信號(hào)流，該時(shí)空畫(huà)面組GOP結(jié)構(gòu)信息表示所述多視圖畫(huà)面之中的參考關(guān)系； 基于所述時(shí)空GOP結(jié)構(gòu)信息，從所述解碼步驟解碼的信號(hào)恢復(fù)多視點(diǎn)畫(huà)面。
25.如權(quán)利要求21所述的多視圖視頻解碼方法，其中多視圖之中的參考關(guān)系包括第一多視圖之中的第一參考關(guān)系和第二多視圖之中的第二參考關(guān)系，以及其中第一多視圖是在某時(shí)間處其畫(huà)面不參考其他時(shí)間處的畫(huà)面的多視圖，并且第二多視圖是在某時(shí)間處其畫(huà)面參考其他時(shí)間處的畫(huà)面的多視圖。
26.如權(quán)利要求M所述的多視圖視頻解碼方法，其中所述時(shí)空GOP結(jié)構(gòu)信息包括多視圖之中的解碼順序信息。
27.如權(quán)利要求沈所述的多視圖視頻解碼方法，其中所述時(shí)空GOP結(jié)構(gòu)信息包括作為時(shí)間GOP結(jié)構(gòu)信息的MPEG-2G0P結(jié)構(gòu)信息、以及作為空間GOP結(jié)構(gòu)信息的多視圖之中的參考關(guān)系信息。
全文摘要
提供了一種多視圖視頻編碼/解碼裝置及其方法，該裝置用于壓縮和編碼從按預(yù)定格式排列的多個(gè)照相機(jī)輸入的多視圖視頻、以及解碼壓縮與編碼后的多視圖視頻。該編碼裝置包括GOP信息生成單元，用來(lái)生成時(shí)空GOP結(jié)構(gòu)信息，該信息表示用于預(yù)測(cè)編碼的畫(huà)面之間在時(shí)間與空間上的參考關(guān)系；以及多視圖編碼單元，用來(lái)根據(jù)所述時(shí)空GOP結(jié)構(gòu)信息進(jìn)行預(yù)測(cè)編碼。該解碼裝置包括解碼單元，用來(lái)接收并且解碼來(lái)自外部設(shè)備的信號(hào)；視頻再現(xiàn)單元，用來(lái)利用在來(lái)自解碼單元的解碼信號(hào)中包含的時(shí)空GOP結(jié)構(gòu)信息，恢復(fù)多視圖視頻；以及場(chǎng)景同步單元，用來(lái)同步在基于GOP的視頻再現(xiàn)單元處恢復(fù)的多視圖畫(huà)面，并且輸出同步后的多視圖畫(huà)面。
文檔編號(hào)H04N7/32GK102263962SQ20111021894
公開(kāi)日2011年11月30日 申請(qǐng)日期2005年12月9日 優(yōu)先權(quán)日2004年12月10日
發(fā)明者安忠鉉, 尹國(guó)鎮(zhèn), 曹叔嬉, 李壽寅, 金大熙 申請(qǐng)人:韓國(guó)電子通信研究院