專利名稱：編碼和解碼多視像的方法和裝置的制作方法
技術(shù)領(lǐng)域：
與本發(fā)明一致的方法和裝置一般涉及編碼和解碼多視像，更具體地，涉及編碼和解碼多視像以便執(zhí)行高速編碼和解碼所需的視圖間預(yù)測和時(shí)間預(yù)測。
背景技術(shù)：
在多視像編碼中，同時(shí)編碼從提供多視像的多個(gè)照相機(jī)輸入的圖像。使用時(shí)間相關(guān)性和視圖間空間相關(guān)性來壓縮編碼多視像。圖1示出了根據(jù)現(xiàn)有技術(shù)的多視像的序列。
在圖1中，水平軸為時(shí)間軸，垂直軸為視圖軸。在多視像編碼中，
對于來自于基本視圖和時(shí)間預(yù)測的圖像周期性地產(chǎn)生內(nèi)(I)圖片(picture),或者基于產(chǎn)生的I圖片執(zhí)行視圖間預(yù)測，從而預(yù)測編碼其它的圖片。
使用同一視圖(即，同一行)中的圖像之間的時(shí)間相關(guān)性來執(zhí)行時(shí)間預(yù)測。使用同一時(shí)間點(diǎn)(即，同一列)處的圖像之間的空間相關(guān)性來執(zhí)行視圖間預(yù)測。
在圖1中，每行示出了多視像的每個(gè)視圖隨時(shí)間的圖像序列，每列自上而下依次示出了視圖0、 1、 2到7的圖像序列。視圖0為基本視圖，以及第一行中的圖像序列來自于該基本視圖。僅僅使用時(shí)間預(yù)測而不使用視圖間預(yù)測來對包括在來自于基本視圖的圖像序列中的圖片進(jìn)行預(yù)測編碼。
每列示出了同一時(shí)間點(diǎn)處的多視像。包括在列110、 120和130中的圖片(其中，來自于基本視圖的圖像為I圖片)被稱為錨(anchor)圖片。僅僅使用視圖間預(yù)測來對錨圖片進(jìn)行編碼。
除了包括I圖片的列110、 120和130之外的其余列中包括的圖片被稱為非錨圖片。使用時(shí)間預(yù)測和視圖間預(yù)測二者來對非錨圖片進(jìn)行預(yù)測編碼。
在圖l所示的序列當(dāng)中，將以第二行和第五列中的圖片141作為示例。使用視圖間預(yù)測和時(shí)間預(yù)測二者來對包括在圖片141中的每個(gè)塊進(jìn)行預(yù)測。由于預(yù)測方法可以對于每個(gè)塊都不同，因此將參考位于鄰近于圖片141處的奇數(shù)行中的圖片142和143以及在時(shí)間上在圖片141之前或之后的圖片111和121，以Y更預(yù)測圖片141。
相似地，根據(jù)現(xiàn)有技術(shù)，將不得不使用需要參考四個(gè)圖片的視圖間預(yù)測和時(shí)間預(yù)測來預(yù)測編碼非錨圖片，結(jié)果導(dǎo)致低速的多視像編碼
發(fā)明內(nèi)容
技術(shù)方案
本發(fā)明提供一種用于對多視像進(jìn)行編碼和解碼的方法和裝置以及其上記錄有用于執(zhí)行該方法的程序的計(jì)算機(jī)可讀記錄介質(zhì)，其中可以高效地對多視像序列進(jìn)行高速編碼和解碼。
有益效果
在預(yù)測中，基于提取的信息確定不是用于視圖間預(yù)測的參考圖像的圖片不被參考用于視圖間預(yù)測。由于可以高效地以高速執(zhí)行視圖間預(yù)測，因此多視像解碼的速度也提高了 。
如上所述，根據(jù)本發(fā)明，在多視像的編碼和解碼期間，使用視圖間預(yù)測來對包括在多視像序列中的僅僅一些圖片進(jìn)行預(yù)測編碼和解碼，從而加速了編碼和解碼。
此外，當(dāng)預(yù)測不使用視圖間預(yù)測的圖片時(shí)，僅參考少量圖片，從而使得可以有效利用預(yù)測編碼和解碼所需的存儲(chǔ)器。


通過下面參考附圖對本發(fā)明的示范性實(shí)施例的詳細(xì)描述，本發(fā)明的上述及其它方面將變得更加明顯，其中
圖1示出了根據(jù)現(xiàn)有技術(shù)的多視像的序列；
圖2是示出了根據(jù)本發(fā)明的示范性實(shí)施例的用于編碼多視像的裝置的框圖3示出了根據(jù)本發(fā)明的示范性實(shí)施例的多視像的序列的時(shí)間級別(temporal level);
圖4A示出了根據(jù)本發(fā)明的示范性實(shí)施例的多 一見像的序列；
圖4B示出了根據(jù)本發(fā)明的示范性實(shí)施例的多視像的序列和它們的時(shí)間級別；
圖5示出了根據(jù)本發(fā)明的示范性實(shí)施例的網(wǎng)絡(luò)提取層(NAL)單元報(bào)頭的語法；
圖6A和6B示出了根據(jù)本發(fā)明的示范性實(shí)施例的序列參數(shù)集的語法；圖6C和6D示出了根據(jù)本發(fā)明的示范性實(shí)施例的補(bǔ)充增強(qiáng)信息(SEI)消息的語法；
圖7是根據(jù)本發(fā)明的示范性實(shí)施例的編碼多視像的方法的流程圖；圖8是才艮據(jù)本發(fā)明的另 一個(gè)示范性實(shí)施例的編碼多#見像的方法的流程圖9是示出了根據(jù)本發(fā)明的示范性實(shí)施例的用于解碼多視像的裝置的才匡圖；以及
圖10是根據(jù)本發(fā)明的示范性實(shí)施例的解碼多視像的方法的流程圖。
具體實(shí)施例方式
根據(jù)本發(fā)明的一方面，提供一種編碼多視像的方法。該方法包括確定包括在該多視像的序列(以下將被稱為多視像序列)中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測的參考圖片；以及基于確定結(jié)果^f吏用#見圖間預(yù)測和時(shí)間預(yù)測中的至少 一個(gè)來編碼該圖片。
該圖片的編碼可以包括編碼每個(gè)圖片的參數(shù)，其指示每個(gè)圖片是否為該參考圖片。
根據(jù)本發(fā)明的另一方面，提供一種用于編碼多視像的裝置。該裝置包括確定單元，確定包括在該多視像序列中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測的參考圖片；以及編碼單元，基于確定結(jié)果使用視圖間預(yù)測和時(shí)間預(yù)測中的至少一個(gè)來編碼該圖片。
該編碼單元可以基于該確定結(jié)果編碼關(guān)于被每個(gè)圖片參考以用于視圖間預(yù)測和時(shí)間預(yù)測中的至少 一 個(gè)的參考圖片的信息。
根據(jù)本發(fā)明的另 一方面，提供一種解碼多視像的方法。該方法包括接收比特流，該比特流包括指示包括在多視像序列中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。
該信息可以包括在每個(gè)圖片的參數(shù)中。
根據(jù)本發(fā)明的另一方面，提供一種用于解碼多視像的裝置。該裝置包括提取單元，接收比特流，該比特流包括指示包括在多視像序列中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)，以及/人接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及解碼單元，基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。
根據(jù)本發(fā)明的另一方面，提供一種編碼多視像的方法。該方法包括基于時(shí)間 級別從多視像序列中選擇要使用視圖間預(yù)測和時(shí)間預(yù)測編碼的圖片；以及使用視圖間預(yù)測和時(shí)間預(yù)測編碼所選擇的圖片，并且使用視圖間預(yù)測和時(shí)間預(yù)測中的一個(gè)來編碼包括在該多3見像序列中的其余圖片。
所述選擇圖片可以包括從包括在該多視像序列中的所有圖片當(dāng)中選擇時(shí)間級別小于預(yù)定值的非錨圖片。
所述編碼選擇的圖片可以包括編碼關(guān)于選擇的圖片的信息。
根據(jù)本發(fā)明的另一方面，提供一種用于編碼多視像的裝置。該裝置包括選擇單元，基于時(shí)間級別從多視像序列中選擇要被使用視圖間預(yù)測和時(shí)間預(yù)測編碼的圖片；以及編碼單元，使用視圖間預(yù)測和時(shí)間預(yù)測編碼所選擇的圖片，并且使用視圖間預(yù)測和時(shí)間預(yù)測中的一個(gè)來編碼包括在該多視像序列中的其余圖片。
沖艮據(jù)本發(fā)明的另一方面，提供一種解碼多視像的方法。該方法包括接收比特流，該比特流包括關(guān)于多視像序列中使用視圖間預(yù)測和時(shí)間預(yù)測編碼的圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息；以及基于所提取的信息來解碼關(guān)于該多視像序列的數(shù)據(jù)。
該信息可以包括在序列參數(shù)中或補(bǔ)充增強(qiáng)信息(SEI)消息中。
根據(jù)本發(fā)明的另一方面，提供一種用于解碼多視像的裝置。該裝置包括提取單元，接收比特流，該比特流包括關(guān)于多視像序列中使用視-圖間預(yù)測和時(shí)間預(yù)測編碼的圖片的信息和關(guān)于該多視圖圏像序列的數(shù)據(jù)，以及從接收到的比特流中提取該信息；以及解碼單元，基于所提取的信息來解碼關(guān)于該多視像序列的數(shù)據(jù)。
根據(jù)本發(fā)明的另一方面，提供一種計(jì)算機(jī)可讀記錄介質(zhì)，其上記錄有用 于執(zhí)行編碼多視像的方法和解碼多視像的方法的程序
在下文中，將參考附圖詳細(xì)描述本發(fā)明的示范性實(shí)施例。應(yīng)當(dāng)注意，相 似的參考數(shù)字指代一個(gè)或多個(gè)附圖中所示的相似的元件。在本發(fā)明的以下描 述中，為了簡明清楚，將略去合并于此的已知功能和配置的詳細(xì)說明。
圖2是示出了根據(jù)本發(fā)明的示范性實(shí)施例的用于編碼多視像的裝置
200的框圖。
參考圖2，裝置200包括控制單元210和編碼單元220。
根據(jù)本發(fā)明的示范性實(shí)施例，控制單元210確定包括在多視像的序 列(以下將被稱為多視像序列)中的圖片是否為被包括在該多視像 序列中的其它圖片參考以用于視圖間預(yù)測的參考圖片。
使用時(shí)間上相鄰的圖片之間的時(shí)間相關(guān)性和相鄰的^L圖中的圖片之間 的空間相關(guān)性來預(yù)測編碼多視像序列。多視像序列中的一些可以具 有高的時(shí)間相關(guān)性和低的空間相關(guān)性。在這種情況下，對于如圖l所示的所 有非錨圖片使用空間相關(guān)性進(jìn)行的視圖間預(yù)測僅僅增加了多視像編碼 所需的時(shí)間，而并未有助于壓縮率的改善。
因而，根據(jù)本發(fā)明的示范性實(shí)施例的用于編碼多視像的裝置200通 過僅僅對一些非錨圖片執(zhí)行視圖間預(yù)測而不是對所有非錨圖片執(zhí)行視圖間 預(yù)測來執(zhí)行預(yù)測編碼。為此，控制單元210確定包括在多視像序列中的 每個(gè)圖片是否充當(dāng)用于視圖間預(yù)測的參考圖片。換句話說，控制單元210確 定每個(gè)圖片是否被其它圖片參考以通過視圖間預(yù)測進(jìn)行預(yù)測編碼。
根據(jù)本發(fā)明的另一個(gè)示范性實(shí)施例，控制單元210基于時(shí)間級別從多視 像序列中選擇要被使用視圖間預(yù)測和時(shí)間預(yù)測編碼的圖片?？刂茊卧?210選擇哪一個(gè)圖片將被使用視圖間預(yù)測編碼，而不是確定每個(gè)圖片是否被 其它圖片參考以用于視圖間預(yù)測。根據(jù)現(xiàn)有技術(shù)，使用視圖間預(yù)測和時(shí)間預(yù) 測來預(yù)測編碼所有非錨圖片。但是，根據(jù)本發(fā)明，為了使用視圖間預(yù)測編碼 僅僅一些非錨圖片，基于時(shí)間級別從多視像序列中選擇要被使用視圖間 預(yù)測和時(shí)間預(yù)測編碼的圖片。
時(shí)間級別是用于通過將圖像序列分割成多個(gè)電平(level)來提供時(shí)間可 分級的參數(shù)，以便使得在圖像解碼期間僅僅選擇一些電平并解碼，下面將參考圖3進(jìn)行詳細(xì)描述。
圖3示出了根據(jù)本發(fā)明的示范性實(shí)施例的多視像序列的時(shí)間級別。
參考圖3，多視像序列中的錨圖片310和312的時(shí)間級別為'0，。 插入在錨圖片310和錨圖片312之間的圖片314的時(shí)間級別為T。插入在 時(shí)間級別為'0，的圖片和時(shí)間級別為'1，的圖片之間的圖片316和318的 時(shí)間級別為'2，。多視像序列的其余圖片的時(shí)間級別為'3，。
圖4A示出了根據(jù)本發(fā)明的示范性實(shí)施例的多視像序列。
圖4A所示的多視像序列是通過控制單元210確定包括在多視 像序列中的每個(gè)圖片是否被參考以用于視圖間預(yù)測或通過控制單元210選擇 要被使用視圖間預(yù)測和時(shí)間預(yù)測編碼的圖片來產(chǎn)生的。因而，圖4A所示的 多視像序列不同于根據(jù)圖1所示的現(xiàn)有技術(shù)的多視像序列。
例如，在根據(jù)圖1所示的現(xiàn)有技術(shù)的多視像序列中，第二行和第二 列中的圖片144參考第一行和第二列中的圖片145以及第三行和第二列中的 圖片146用于視圖間預(yù)測。換句話說，第一行和第二列中的圖片145以及第 三行和第二列中的圖片146為用于圖片144的視圖間預(yù)測的參考圖片。
但是，在根據(jù)圖4A所示的本發(fā)明的示范性實(shí)施例的多視像中，第 二行和第二列中的圖片420不參考第一行和第二列中的圖片422以及第三行 和第二列中的圖片用于視圖間預(yù)測。取而代之，圖片420僅參考第二行和第 三列中的圖片426以及第二行和第一列中的圖片428用于時(shí)間預(yù)測。
在根據(jù)圖1所示的現(xiàn)有技術(shù)的多視像序列中，非錨圖片當(dāng)中的所有 奇數(shù)行的圖片被其它圖片參考用于視圖間預(yù)測。但是，在根據(jù)圖4A所示的 本發(fā)明的示范性實(shí)施例的多視像序列中，非錨圖片當(dāng)中的奇數(shù)行的圖片 中的僅僅一些被其它圖片參考用于視圖間預(yù)測。換句話說，在圖4A中，奇 數(shù)行的非錨圖片當(dāng)中的僅僅奇數(shù)列的非錨圖片使用視圖間預(yù)測來編碼。
圖4B示出了根據(jù)本發(fā)明的示范性實(shí)施例的多視像序列和時(shí)間級別。
現(xiàn)在將參考圖4B來描述選擇包括在多視像序列中的一些圖片以用 于如圖4A所示的使用視圖間預(yù)測來編碼僅僅選擇的圖片的方式。
在圖4B中，基于時(shí)間級別來確定要被參考以用于視圖間預(yù)測的圖片。 在圖4B中，確定時(shí)間級別-'3，沖的非錨圖片不使用視圖間預(yù)測來編碼。換 句話說，從非錨圖片當(dāng)中僅僅選擇時(shí)間級別小于預(yù)定值的圖片來使用視圖間預(yù)測和時(shí)間預(yù)測編碼。
充當(dāng)控制單元210的確定或選擇的準(zhǔn)則的時(shí)間級別根據(jù)多視像序列
的特征而變化，不局限于圖4B所示的那些。例如，當(dāng)由于拍才聶多視像 的照相機(jī)之間的距離很大導(dǎo)致視圖之間的空間相關(guān)性不高時(shí)，沒有必要使用 視圖間預(yù)測來預(yù)測所有非錨圖片。在這種情況下，可以使用視圖間預(yù)測僅僅 預(yù)測時(shí)間級別為l或更小的圖片，以及在極端情況下，可以不使用視圖間預(yù) 測來預(yù)測非錨圖片。
反回來參考圖2，根據(jù)本發(fā)明的示范性實(shí)施例，編碼單元220基于控制 單元210的確定或選擇結(jié)果來編碼多視像序列。換句話說，編碼單元220 基于控制單元210的確定或選擇結(jié)果使用視圖間預(yù)測和時(shí)間預(yù)測中的至少一 個(gè)來預(yù)測編碼該多視像序列。
編碼單元220預(yù)測包括在多視像序列中的每個(gè)圖片，并從原始圖片 中減去每個(gè)圖片的預(yù)測值，從而產(chǎn)生多視像序列的殘差數(shù)據(jù)。
為了預(yù)測，編碼單元220將參考圖片存儲(chǔ)在預(yù)定存儲(chǔ)器中，并通過參考 存儲(chǔ)的參考圖片來執(zhí)行視圖間預(yù)測或時(shí)間預(yù)測。根據(jù)現(xiàn)有技術(shù)，當(dāng)預(yù)測非錨 圖片時(shí)，用于視圖間預(yù)測和時(shí)間預(yù)測的所有圖片應(yīng)當(dāng)被存儲(chǔ)在該存儲(chǔ)器中。 但是，根據(jù)本發(fā)明，對于由控制單元210確定不使用視圖間預(yù)測編碼的圖片， 沒有必要將用于視圖間預(yù)測的參考圖片存儲(chǔ)在該存儲(chǔ)器中。
例如，為了編碼圖4A中第二行和第二列中的圖片420,位于與圖片420 的視圖相鄰的視圖處且在圖片420之上和之下的圖片422和424不是用于視 圖間預(yù)測的參考圖片，因而不需要被存儲(chǔ)在存儲(chǔ)器中，從而使得能夠有效利 用存儲(chǔ)器。
由控制單元210確定不被參考用于視圖間預(yù)測的圖片不被參考用于視圖 間預(yù)測，從而加速了預(yù)測。
反回來參考圖2，根據(jù)本發(fā)明的示范性實(shí)施例，當(dāng)編碼單元220預(yù)測編 碼多視像序列時(shí)，它也編碼指示控制單元210的關(guān)于每個(gè)圖片是否為用 于視圖間預(yù)測的參考圖片的確定結(jié)果的參數(shù)，并且將編碼的參數(shù)插入到比特 流中。 一旦控制單元210確定每個(gè)圖片是否被參考用于視圖間預(yù)測，則編碼 單元220編碼關(guān)于控制單元210的確定結(jié)果的信息。
由于執(zhí)行確定以確定每個(gè)圖片是否被其它圖片參考用于視圖間預(yù)測，因—-— 此在每個(gè)圖片的參數(shù)中包括關(guān)于每個(gè)圖片是否被其它圖片參考用于視圖間預(yù)測的信息。
圖f 的語法。
NAL單元是圖像數(shù)據(jù)的分組化的單位。由于一個(gè)NAL單元一般包括 關(guān)于單個(gè)圖片的數(shù)據(jù)，因此在NAL單元報(bào)頭中包括關(guān)于每個(gè)圖片是否被其 它圖片參考用于視圖間預(yù)測的信息，以便被編碼。
參考圖5，根據(jù)現(xiàn)有技術(shù)，將語法元素'nal—ref—idc一view ，添加到NAL 單元報(bào)頭，從而指示每個(gè)圖片是否被其它圖片參考以用于視圖間預(yù)測。例如， 'nal—refjdc一view = 1 ，意思是相應(yīng)的圖片被其它圖片參考用于視圖間預(yù) 觀'J，以及'nal一ref—idc一view = 0，意思是該圖片不被其它圖片參考用于視圖 間預(yù)測。
由于新的比特分配給'nal—ref_idc—view ，，因此也添加i吾法元素 'reserved—zero—four—bits'以改變預(yù)留比特的數(shù)目。
反回來參考圖2，當(dāng)編碼單元220執(zhí)行編碼時(shí)，它也編碼關(guān)于被每個(gè)圖 片參考以用于視圖間預(yù)測和時(shí)間預(yù)測的參考圖片的信息。語法元素 'RefPicList，指示這樣的信息。由于控制單元210確定是否每個(gè)圖片充當(dāng)用 于視圖間預(yù)測的參考圖片，因此當(dāng)編碼單元220編碼多視像序列時(shí)，不 充當(dāng)參考圖片用于視圖間預(yù)測的圖片不被其它圖片參考。
因而，當(dāng)編碼單元220編碼關(guān)于用于每個(gè)圖片的參考圖片的信息時(shí)，它 可以產(chǎn)生'RefPicList，，以排除由控制單元210確定為不被參考用于視圖間 預(yù)測的圖片。
例如，當(dāng)根據(jù)現(xiàn)有技術(shù)編碼圖4A所示的圖片420時(shí)，在與圖片420的 視圖相鄰的視圖處、位于圖片420之上和之下的圖片422和424是參考圖片， 以及關(guān)于圖片422和424的信息包括在'RefPicList'中。但是，根據(jù)本發(fā)明 的示范性實(shí)施例，關(guān)于由控制單元210確定為不是圖片420的參考圖片的圖 片422和424的信息不包括在'RefPicList'中。
根據(jù)本發(fā)明的另一個(gè)示范性實(shí)施例，編碼單元220也編碼關(guān)于由控制單 元210選擇的要^f吏用^L圖間預(yù)測和時(shí)間預(yù)測編碼的圖片的信息，并且將編碼 的信息插入到比特流中，下面將參考圖6A和6B進(jìn)^f亍詳細(xì)描述。
圖6A示出了根據(jù)本發(fā)明的示范性實(shí)施例的序列參數(shù)集的語法-?！?br> 參考圖6A，編碼單元220可以在序列參數(shù)集中包括用于指明由控制單元210選擇的圖片的信息并且編碼該序列參數(shù)集。根據(jù)本發(fā)明的序列參數(shù)集 包 括語 法 元 素 'temporal—level—max ' 和 語 法 元 素 'use—interview_pred_temporal_level[i]，。
'temporalJevel一max，是指示由用于編碼多視像的裝置200編碼的 多視像序列的不同時(shí)間級別的數(shù)目的信息。圖3B所示的多視像序 列具有從'0，到'3，的時(shí)間級別，因而'temporal—level—max'為'3，。
'use—interview_pred—temporal—level[i]，是用于指明要使用視圖間預(yù)測 和時(shí)間預(yù)測預(yù)測編碼的圖片的信息。當(dāng)l義僅對如圖4B所示的時(shí)間級別為'1， 或 '2， 的圖片執(zhí)4亍^見圖間子貞測時(shí)，'use—interview_pred—temporal—level[l]， 為 '1，, 以及 'use—interview_pred—temporal—level[2]' 為 '1，。
'use—interview_pred_temporal—level[3]' 可以被設(shè)置為 '0，。值 '0， 和 '1，為指示是否使用視圖間預(yù)測來預(yù)測相應(yīng)時(shí)間級別的圖片的標(biāo)志信息。 時(shí)間級別為'0，的圖片是錨圖片。由于僅僅使用視圖間預(yù)測來預(yù)測編 碼4苗圖片，因此不單獨(dú)i殳置'use—interview_pred—temporal—level[O]，。
圖6B示出了根據(jù)本發(fā)明的另一個(gè)示范性實(shí)施例的序列參數(shù)集的語法。 在圖4B中，控制單元210基于時(shí)間級別選擇要被使用視圖間預(yù)測和時(shí) 間預(yù)測進(jìn)行預(yù)測編碼的圖片。換句話說，特定時(shí)間級別的圖片不被時(shí)間預(yù)測。 但是，也可以基于視圖以及時(shí)間級別來選擇那些圖片。
例如，視圖1的多視像序列的圖片當(dāng)中的時(shí)間級別為'1，或'2， 的圖片被視圖間預(yù)測和時(shí)間預(yù)測，以及視圖3的多視像序列的圖片當(dāng)中 的時(shí)間級別為1的圖片被視圖間預(yù)測和時(shí)間預(yù)測。換句話說，對于每個(gè)視圖 單獨(dú)地選擇要被視圖間預(yù)測和時(shí)間預(yù)測的圖片。在這種情況下，需要用于指 明對于每個(gè)視圖的選擇的圖片的語法元素。
參考圖6B,序列參數(shù)集包括語法元素 'temporal—level_ max ， 和 'use—interview_pred_temporal_level [i][j]，。
'temporal—level—max' 與圖6A所示的 'temporal—level—max'相同，j旦 是 'use—interviewjpred—temporal—level[i][j]， 不同于圖 6A 所示的 'use—interview_pred—temporal—level[i]，。
在 'use—interview_pred—temporal—level [i] [j]， 中,'i' 指示視圖，'j, 指示時(shí)間級別。如上所述，假定視圖1的多視像序列的圖片當(dāng)中的時(shí)間 級別為'1，或'2，的圖片^皮視圖間預(yù)測和時(shí)間預(yù)測，以及視圖3的多視4象序列的圖片當(dāng)中的時(shí)間級別為'1，的圖片凈皮^L圖間預(yù)測和時(shí)間預(yù)測。
在這種情況下，'use—interview_pred—temporal一level[l][l]， 為 '1，， 'use—interview_pred—temporal一level[ 1 ] [2] 'use—interview_pred—temporal—level[ 1 ] [3] 'use—interview_pred_temporal—level [3 ] [ 1 ] 'use—interview_pred—temporal—level [3 ] [2] 'use—interview_pred—temporal—level [3 ] [3 ] 相應(yīng)視圖的多視像序列中相應(yīng)時(shí)間級別的圖片是否使用視圖間預(yù)測來 預(yù)測的標(biāo)志信息，如圖6A所示。
圖6C示出了根據(jù)本發(fā)明的示范性實(shí)施例的補(bǔ)充增強(qiáng)信息(SEI)消息。 參考圖6C,編碼單元220可以在SEI消息中包括用于指明由控制單元 210選擇的圖片的信息并且編碼該SEI消息。
SEI消息是解碼視頻編碼層所需的附加信息，以及可以包括每個(gè)圖片的 定時(shí)信息、關(guān)于pan/scan功能的信息、和隨機(jī)存取所需的信息。SEI消息也 可以包括用戶單獨(dú)定義的信息。才艮據(jù)本發(fā)明的示范性實(shí)施例的SEI消息包括 用于指明由控制單元210選擇的用于視圖間預(yù)測的圖片的信息。
在 圖 6C 中 ，' temporal—level—max ， 和 'use—interview_prediction—temporal—level [i]， 與圖6A的相同。 圖6D示出了根據(jù)本發(fā)明的另一個(gè)示范性實(shí)施例的SEI消息。 在 圖 6D 中 ,' temporal—level—max ， 和 'use—interviewjprediction—temporal—level [i][j]， 與圖6B的相同。
圖7是示出了根據(jù)本發(fā)明的示范性實(shí)施例的編碼多視像的方法的流 程圖。
參考圖7，在操作710,圖2所示的用于編碼多視像的裝置200確 定包括在多視像序列中的每個(gè)圖片是否是用于視圖間預(yù)測的參考圖片。 換句話說，確定每個(gè)圖片是否被包括在該多視像序列中的其它圖片參考 用于視圖間預(yù)測。
在根據(jù)本發(fā)明的示范性實(shí)施例的編碼多視像的方法中，使用視圖間 預(yù)測來預(yù)測僅僅一些非錨圖片，而不是使用視圖間預(yù)測來預(yù)測編碼所有非錨 國片。因而，僅僅一些圖片被其它S^卓考用于視圖間預(yù)測。為此，在操作 710中確定是否每個(gè)圖片被其它圖片參考用于視圖間預(yù)測?？梢曰跁r(shí)間級
為'r， 為'o，， 為'r, 為'o，， 為'o'。
以及
值'o'和'r為指示別來確定用于視圖間預(yù)測的參考圖片。
在操作720，裝置200基于操作710的確定，使用視圖間預(yù)測和時(shí)間預(yù) 測中的至少一個(gè)來編碼多^f見<象序列中的圖片。
使用視圖間預(yù)測和時(shí)間預(yù)測中的至少 一 個(gè)來預(yù)測多視像序列中的 每個(gè)圖片，并且從原始圖片中減去每個(gè)圖片的預(yù)測值，從而產(chǎn)生多視像 序列的殘差數(shù)據(jù)。
不用參考在操作710中確定為不是用于視圖間預(yù)測的參考圖片的圖片而 執(zhí)行視圖間預(yù)測，從而加速了預(yù)測并且使得能夠高效使用存儲(chǔ)器。
在多視像序列編碼中，關(guān)于在操作710中確定為用于視圖間預(yù)測的
參考圖片的圖片的信息也被編碼并且#:插入到比特流中。更具體地說，將指
示每個(gè)圖片是否為用于視圖間預(yù)測的參考圖片的信息插入到每個(gè)圖片的參 數(shù)中。該信息可以包括在NAL單元報(bào)頭中以便被編碼，如上所述。
圖8是示出了根據(jù)本發(fā)明的另 一個(gè)示范性實(shí)施例的編碼多視像的方 法的流程圖。
參考圖8，在操作810,圖2所示的用于編碼多視像的裝置200基 于時(shí)間級別選擇要被使用視圖間預(yù)測和時(shí)間預(yù)測編碼的圖片。裝置200也可 以對于多視像序列的每個(gè)視圖，選擇要4皮使用視圖間預(yù)測和時(shí)間預(yù)測編 碼的圖片。更具體地說，時(shí)間級別小于預(yù)定值的非錨圖片被選擇作為要被使 用^L圖間預(yù)測和時(shí)間預(yù)測編碼的圖片。
在操作820,裝置200基于操作810的選擇結(jié)果來編碼多視像序列。 更具體地說，使用視圖間預(yù)測和時(shí)間預(yù)測來預(yù)測編碼在操作810中選擇的圖 片，以及使用視圖間預(yù)測和時(shí)間預(yù)測中的一個(gè)來預(yù)測編碼多視像序列中 的其余圖片。根據(jù)現(xiàn)有技術(shù)使用視圖間預(yù)測和時(shí)間預(yù)測來預(yù)測編碼多視 像序列中的所有非錨圖片，而根據(jù)本發(fā)明的示范性實(shí)施例，則使用視圖間預(yù) 測和時(shí)間預(yù)測來預(yù)測編碼非錨圖片中的僅僅一些圖片，從而加速了多視 像編碼。
在多視像序列編碼期間，關(guān)于在操作810中選擇用于視圖間預(yù)測的 圖片的信息也被編碼并被插入到比特流中。如前所述，該信息可以按照序列 參凄史或SEI消息的形式^皮編碼并^皮插入到比特流中。
圖9是示出了根據(jù)本發(fā)明的示范性實(shí)施例的用于解碼多視像的裝置 900的框圖。參考圖9，裝置900包括^提取單元910和解碼單元920。 提取單元910接收比特流，該比特流包括關(guān)于通過才艮據(jù)本發(fā)明的編碼多 視像的方法編碼的多視像序列的數(shù)據(jù)。這里，關(guān)于多視像序列 的數(shù)據(jù)是多視像序列的殘差數(shù)據(jù)，以及該比特流包括關(guān)于多視像序 列中的每個(gè)圖片是否為用于視圖間預(yù)測的參考圖片的信息或關(guān)于每個(gè)圖片 是否已被視圖間預(yù)測和時(shí)間預(yù)測編碼的信息。
在接收到比特流后，提取單元910從接收的比特流中提取信息。更具體 地說，提取單元910提取指示每個(gè)圖片是用于視圖間預(yù)測的參考圖片的參數(shù) 或指示每個(gè)圖片已被使用視圖間預(yù)測和時(shí)間預(yù)測編碼的參數(shù)。優(yōu)選地，但不 是必須地，提取單元910提取包括在NAL單元報(bào)頭、序列參數(shù)或SEI消息 中的信息。
解碼單元920基于提取單元910提取的信息解碼關(guān)于多視像序列的 數(shù)據(jù)。包括在比特流中的關(guān)于多視像序列的數(shù)據(jù)是多視像序列的殘 差數(shù)據(jù)。
因而，解碼單元920基于提取單元910提取的信息，使用視圖間預(yù)測和 時(shí)間預(yù)測中的至少一個(gè)，來預(yù)測多視像序列中的每個(gè)圖片，并且將預(yù)測 結(jié)果添加到多視像序列的殘差數(shù)據(jù)中，從而重構(gòu)多視像序列。
為了預(yù)測，解碼單元920將參考圖片存儲(chǔ)在預(yù)定存儲(chǔ)器中并執(zhí)行預(yù)測。 但是，對于視圖間預(yù)測，裝置卯0基于提取單元910提取的信息，在存儲(chǔ)器 中不存儲(chǔ)不是用于視圖間預(yù)測的參考圖片的圖片。因而，在預(yù)測期間降低了 要被存儲(chǔ)在存儲(chǔ)器中的參考圖片的數(shù)目，從而使得能夠有效地利用存儲(chǔ)器。
此外，不是所有的非錨圖片都被視圖間預(yù)測，從而提高了預(yù)測速度。此 外，可以進(jìn)行快速的隨才幾存取。例如，當(dāng)圖4A中第二^f亍和第二列中的圖片 420被隨機(jī)存取時(shí)，不必要解碼位于與圖片420的視圖相鄰的視圖處且在圖 片420之上和之下的圖片422和424，因?yàn)橐呀?jīng)確定它們不是用于視圖間預(yù) 測的參考圖片。因而，可以進(jìn)行快速的預(yù)測和隨機(jī)存取。
圖10是根據(jù)本發(fā)明的示范性實(shí)施例的解碼多視像的方法的流程圖。
參考圖10,在操作1010,圖9中用于解碼多視像的裝置900接收 包括關(guān)于多視像序列的數(shù)據(jù)的比特流。關(guān)于多視像序列的數(shù)據(jù)是多 視想園像,參H的殘差數(shù)據(jù)。
在操作1020，裝置900從接收的比特流中提取指示包括在多視像序列中的每個(gè)圖片是否為用于視圖間預(yù)測的參考圖片的信息或指示每個(gè)圖片 是否已被使用視圖間預(yù)測和時(shí)間預(yù)測編碼的信息。也提取關(guān)于該多視像
序列的數(shù)據(jù)，即殘差數(shù)據(jù)。為此，可以提取包括在NAL單元報(bào)頭、序列參 數(shù)或SEI消息中的信息。
在操作1030，裝置900基于在操作1020中提取的信息來解碼多視 像序列。更具體地說，基于提取的信息使用視圖間預(yù)測和時(shí)間預(yù)測中的至少 一個(gè)來預(yù)測多視像序列，并且將在操作1020中提取的殘差數(shù)據(jù)添加到 預(yù)測結(jié)果，從而重構(gòu)多視像序列。
同時(shí)，本發(fā)明的示范性實(shí)施例可以被寫為計(jì)算機(jī)程序并且可以被使用計(jì) 算機(jī)可讀記錄介質(zhì)或其它傳輸介質(zhì)執(zhí)行該程序的通用數(shù)字計(jì)算機(jī)實(shí)現(xiàn)。計(jì)算 機(jī)可讀記錄介質(zhì)的例子包括;茲存儲(chǔ)介質(zhì)(例如，ROM、軟盤、硬盤等)和光 記錄介質(zhì)(例如，CD-ROM、或DVD)。其它傳輸介質(zhì)可以包括載波(例如， 通過互聯(lián)網(wǎng)的傳輸)。計(jì)算才幾可讀記錄介質(zhì)也可以-陂分布在網(wǎng)絡(luò)耦合的計(jì)算 機(jī)系統(tǒng)之上以使得計(jì)算機(jī)可讀代碼以分布式被存儲(chǔ)和執(zhí)行。
但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在不脫離由以下權(quán)利要求書所定義的本發(fā)明 的精神和范圍的情況下，可以對本發(fā)明做出形式和細(xì)節(jié)上的各種修改。
權(quán)利要求
1.一種編碼多視像的方法，該方法包括確定包括在多視像序列中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測的參考圖片，以產(chǎn)生確定結(jié)果；以及基于該確定結(jié)果使用視圖間預(yù)測和時(shí)間預(yù)測中的至少一個(gè)來編碼該圖片。
2. 如權(quán)利要求l所述的方法，其中所述編碼圖片步驟包括編碼每個(gè)圖 片的參數(shù)，其指示每個(gè)圖片是否為該參考圖片。
3. 如權(quán)利要求2所述的方法，其中該參數(shù)是每個(gè)圖片的網(wǎng)絡(luò)提取層 (NAL)單元^艮頭。
4. 如權(quán)利要求1所述的方法，其中所述編碼圖片步驟包括基于該確定 結(jié)果編碼關(guān)于被其它圖片參考以用于視圖間預(yù)測和時(shí)間預(yù)測中的至少一個(gè)的參考圖片的信息。
5. 如權(quán)利要求l所述的方法，其中所述確定包括基于每個(gè)圖片的時(shí)間 級別來進(jìn)行該確定。
6. —種用于編碼多視像的裝置，該裝置包括確定單元，確定包括在多視像序列中的每個(gè)圖片是否為被包括在該 多視像序列中的其它圖片參考用于視圖間預(yù)測的參考圖片，以產(chǎn)生確定 結(jié)果；以及編碼單元，基于確定結(jié)果使用視圖間預(yù)測和時(shí)間預(yù)測中的至少一個(gè)來編 碼該圖片。
7. 如權(quán)利要求6所述的裝置，其中該編碼單元編碼每個(gè)圖片的參數(shù)，其 指示每個(gè)圖片是否為該參考圖片。
8. 如權(quán)利要求7所述的裝置，其中該參數(shù)是每個(gè)圖片的網(wǎng)絡(luò)提取層 (NAL)單元報(bào)頭。
9. 如權(quán)利要求6所述的裝置，其中該編碼單元基于該確定結(jié)果編碼關(guān)于 被其它圖片參考以用于視圖間預(yù)測和時(shí)間預(yù)測中的至少一個(gè)的參考圖片的 信息。
10. 如權(quán)利要求6所述的裝置，其中該確定單元基于每個(gè)圖片的時(shí)間級別來進(jìn)4于該確定。
11. 一種解碼多視像的方法，該方法包括接收比特流，該比特流包括指示包括在多視像序列中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。
12. 如權(quán)利要求11所述的方法，其中該信息包括在每個(gè)圖片的參數(shù)中。
13. 如權(quán)利要求12所述的方法，其中該參數(shù)是每個(gè)圖片的網(wǎng)絡(luò)^t是取層(NAL)單元報(bào)頭。
14. 如權(quán)利要求11所述的方法，其中基于每個(gè)圖片的時(shí)間級別來確定包括在該多視像序列中的每個(gè)圖片是否為該參考圖片。
15. —種用于解碼多視像的裝置，該裝置包括提取單元，接收比特流，該比特流包括指示包括在多視像序列中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)，以及從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及解碼單元，基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。
16. 如權(quán)利要求15所述的裝置，其中該信息包括在每個(gè)圖片的參數(shù)中。
17. 如權(quán)利要求16所述的裝置，其中該參數(shù)是每個(gè)圖片的網(wǎng)絡(luò)提取層(NAL)單元報(bào)頭。
18. 如權(quán)利要求15所述的裝置，其中基于每個(gè)圖片的時(shí)間級別來確定包括在該多視像序列中的每個(gè)圖片是否為該參考圖片。
19. 一種編碼多視像的方法，該方法包括基于時(shí)間級別從多視像序列中選擇要被使用視圖間預(yù)測和時(shí)間預(yù)測編碼的圖片；以及使用視圖間預(yù)測和時(shí)間預(yù)測編碼所選擇的圖片，并且使用視圖間預(yù)測和時(shí)間預(yù)測中的一個(gè)來編碼包括在該多視像序列中的其余圖片。
20. 如權(quán)利要求19所述的方法，其中所述選擇圖片步驟包括從包括在該多視像序列中的所有圖片當(dāng)中選擇時(shí)間級別小于給定值的非錨圖片。
21. 如權(quán)利要求19所述的方法，其中所述選擇圖片步驟包括基于該時(shí)間級別，對于該多視像序列的每個(gè)視圖，選擇要被使用視圖間預(yù)測和時(shí)間預(yù)測編碼的圖片。
22. 如權(quán)利要求19所述的方法，其中所述編碼該選擇的圖片包括編碼關(guān)于該選擇的圖片的信息。
23. 如權(quán)利要求22所述的方法，其中所述編碼該選擇的圖片包括編碼包括該信息的序列參數(shù)或補(bǔ)充增強(qiáng)信息(SEI)消息。
24. —種用于編碼多視像的裝置，該裝置包括選擇單元，基于時(shí)間級別從多視像序列中選擇要被使用視圖間預(yù)測和時(shí)間預(yù)測編碼的圖片；以及編碼單元，使用視圖間預(yù)測和時(shí)間預(yù)測來編碼所選擇的圖片，并且使用i見圖間預(yù)測和時(shí)間預(yù)測中的 一個(gè)來編碼包括在該多^f見^f象序列中的其余圖片。
25. 如權(quán)利要求24所述的裝置，其中該選擇單元從包括在該多視像序列中的所有圖片當(dāng)中選擇時(shí)間級別小于給定值的非錨圖片。
26. 如權(quán)利要求24所述的裝置，其中該選擇單元基于該時(shí)間級別，對于該多視像序列的每個(gè)視圖，選擇要凈皮使用視圖間預(yù)測和時(shí)間預(yù)測編碼的圖片。
27. 如權(quán)利要求24所述的裝置，其中該編碼單元編碼關(guān)于該選擇的圖片的信息。
28. 如權(quán)利要求27所述的裝置，其中該編碼單元編碼包括該信息的序列參數(shù)或補(bǔ)充增強(qiáng)信息(SEI)消息。
29. —種解碼多視像的方法，該方法包括接收比特流，該比特流包括關(guān)于多視像序列中使用視圖間預(yù)測和時(shí)間預(yù)測編碼的圖片的信息以及關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及基于所提取的信息來解碼關(guān)于該多視像序列的數(shù)據(jù)。
30. 如權(quán)利要求29所述的方法，其中該編碼的圖片已基于時(shí)間級別被選擇。
31. 如權(quán)利要求29所述的方法，其中該信息包括在序列參數(shù)中或補(bǔ)充增強(qiáng)信息(SEI)消息中。
32. —種用于解碼多視像的裝置，該裝置包括提取單元，接收比特流，該比特流包括關(guān)于多視像序列中使用視圖間預(yù)測和時(shí)間預(yù)測編碼的圖片的信息以及關(guān)于該多視像序列的數(shù)據(jù)，以及從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及解碼單元，基于所提取的信息來解碼關(guān)于該多視像序列的數(shù)據(jù)。
33. 如權(quán)利要求32所述的裝置，其中該編碼的圖片已基于時(shí)間級別被選擇。
34. 如權(quán)利要求32所述的裝置，其中該信息包括在序列參數(shù)中或補(bǔ)充增強(qiáng)信息(SEI)消息中。
35. —種計(jì)算機(jī)可讀記錄介質(zhì)，其上記錄有用于執(zhí)行如權(quán)利要求1所述的方法的程序。
36. —種計(jì)算機(jī)可讀記錄介質(zhì)，其上記錄有用于執(zhí)行如權(quán)利要求11所述的方法的程序。
37. —種計(jì)算機(jī)可讀記錄介質(zhì)，其上記錄有用于執(zhí)4亍如權(quán)利要求19所述的方法的程序。
38. —種計(jì)算機(jī)可讀記錄介質(zhì)，其上記錄有用于執(zhí)行如權(quán)利要求29所述的方法的程序。
全文摘要
提供一種編碼和解碼多視像的方法和裝置。該編碼多視像的方法包括確定包括在多視像序列中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測的參考圖片；以及基于確定結(jié)果使用視圖間預(yù)測和時(shí)間預(yù)測中的至少一個(gè)來編碼該圖片，從而高速高效地編碼和解碼多視像。
文檔編號H04N7/24GK101682779SQ200880019798
公開日2010年3月24日 申請日期2008年3月6日 優(yōu)先權(quán)日2007年4月11日
發(fā)明者宋學(xué)燮, 崔鐘凡, 文榮豪, 沈優(yōu)星 申請人:三星電子株式會(huì)社