專利名稱：用于解碼多視像的裝置的制作方法
用于解碼多視像的裝置
本案是申請日為2008年3月6日、申請?zhí)枮?00880019798. 7、發(fā)明名稱為“編碼和解碼多視像的方法和裝置”的發(fā)明專利申請的分案申請。技術(shù)領(lǐng)域
與本發(fā)明一致的方法和裝置一般涉及編碼和解碼多視像，更具體地，涉及編碼和解碼多視像以便執(zhí)行高速編碼和解碼所需的視圖間預(yù)測和時間預(yù)測。
背景技術(shù)：
在多視像編碼中，同時編碼從提供多視像的多個照相機輸入的圖像。使用時間相關(guān)性和視圖間空間相關(guān)性來壓縮編碼多視像。
圖I示出了根據(jù)現(xiàn)有技術(shù)的多視像的序列。
在圖I中，水平軸為時間軸，垂直軸為視圖軸。在多視像編碼中，對于來自于基本視圖和時間預(yù)測的圖像周期性地產(chǎn)生內(nèi)(I)圖片(picture)，或者基于產(chǎn)生的I圖片執(zhí)行視圖間預(yù)測，從而預(yù)測編碼其它的圖片。
使用同一視圖(S卩，同一行)中的圖像之間的時間相關(guān)性來執(zhí)行時間預(yù)測。使用同一時間點(即，同一列)處的圖像之間的空間相關(guān)性來執(zhí)行視圖間預(yù)測。
在圖I中，每行示出了多視像的每個視圖隨時間的圖像序列，每列自上而下依次示出了視圖0、1、2到7的圖像序列。視圖O為基本視圖，以及第一行中的圖像序列來自于該基本視圖。僅僅使用時間預(yù)測而不使用視圖間預(yù)測來對包括在來自于基本視圖的圖像序列中的圖片進行預(yù)測編碼。
每列示出了同一時間點處的多視像。包括在列110、120和130中的圖片(其中，來自于基本視圖的圖像為I圖片)被稱為錨(anchor)圖片。僅僅使用視圖間預(yù)測來對錨圖片進行編碼。
除了包括I圖片的列110、120和130之外的其余列中包括的圖片被稱為非錨圖片。使用時間預(yù)測和視圖間預(yù)測二者來對非錨圖片進行預(yù)測編碼。
在圖I所示的序列當(dāng)中，將以第二行和第五列中的圖片141作為示例。使用視圖間預(yù)測和時間預(yù)測二者來對包括在圖片141中的每個塊進行預(yù)測。由于預(yù)測方法可以對于每個塊都不同，因此將參考位于鄰近于圖片141處的奇數(shù)行中的圖片142和143以及在時間上在圖片141之前或之后的圖片111和121，以便預(yù)測圖片141。
相似地，根據(jù)現(xiàn)有技術(shù)，將不得不使用需要參考四個圖片的視圖間預(yù)測和時間預(yù)測來預(yù)測編碼非錨圖片，結(jié)果導(dǎo)致低速的多視像編碼。發(fā)明內(nèi)容
技術(shù)方案
本發(fā)明提供一種用于對多視像進行編碼和解碼的方法和裝置以及其上記錄有用于執(zhí)行該方法的程序的計算機可讀記錄介質(zhì)，其中可以高效地對多視像序列進行聞速編碼和解碼。
具體地，本發(fā)明提供一種用于解碼多視像的裝置，該裝置包括提取單元，接收比特流，該比特流包括關(guān)于多視像序列中使用視圖間預(yù)測和時間預(yù)測編碼的圖片的信息以及關(guān)于該多視像序列的數(shù)據(jù)，以及從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及解碼單元，基于所提取的信息來解碼關(guān)于該多視像序列的數(shù)據(jù)，其中，在多視像序列中，僅僅對被其他圖片參考用于視圖間預(yù)測的參考圖片進行視圖間預(yù)測和時間預(yù)測，對其余圖片進行時間預(yù)測。
有益效果
在預(yù)測中，基于提取的信息確定不是用于視圖間預(yù)測的參考圖像的圖片不被參考用于視圖間預(yù)測。由于可以高效地以高速執(zhí)行視圖間預(yù)測，因此多視像解碼的速度也提聞了。
如上所述，根據(jù)本發(fā)明，在多視像的編碼和解碼期間，使用視圖間預(yù)測來對包括在多視像序列中的僅僅一些圖片進行預(yù)測編碼和解碼，從而加速了編碼和解碼。
此外，當(dāng)預(yù)測不使用視圖間預(yù)測的圖片時，僅參考少量圖片，從而使得可以有效利用預(yù)測編碼和解碼所需的存儲器。


通過下面參考附圖對本發(fā)明的示范性實施例的詳細描述，本發(fā)明的上述及其它方面將變得更加明顯，其中
圖I示出了根據(jù)現(xiàn)有技術(shù)的多視像的序列；
圖2是示出了根據(jù)本發(fā)明的示范性實施例的用于編碼多視像的裝置的框圖3示出了根據(jù)本發(fā)明的示范性實施例的多視像的序列的時間級別 (temporal level)；
圖4A示出了根據(jù)本發(fā)明的示范性實施例的多視像的序列；
圖4B示出了根據(jù)本發(fā)明的示范性實施例的多視像的序列和它們的時間級別；
圖5示出了根據(jù)本發(fā)明的示范性實施例的網(wǎng)絡(luò)提取層(NAL)單元報頭的語法；
圖6A和6B示出了根據(jù)本發(fā)明的示范性實施例的序列參數(shù)集的語法；
圖6C和6D示出了根據(jù)本發(fā)明的示范性實施例的補充增強信息(SEI)消息的語法;
圖7是根據(jù)本發(fā)明的示范性實施例的編碼多視像的方法的流程圖8是根據(jù)本發(fā)明的另一個示范性實施例的編碼多視像的方法的流程圖9是示出了根據(jù)本發(fā)明的示范性實施例的用于解碼多視像的裝置的框圖； 以及
圖10是根據(jù)本發(fā)明的示范性實施例的解碼多視像的方法的流程圖。
具體實施方式
根據(jù)本發(fā)明的一方面，提供一種編碼多視像的方法。該方法包括確定包括在該多視像的序列(以下將被稱為多視像序列)中的每個圖片是否為被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測的參考圖片；以及基于確定結(jié)果使用視圖間預(yù)測和時間預(yù)測中的至少一個來編碼該圖片。
該圖片的編碼可以包括編碼每個圖片的參數(shù)，其指示每個圖片是否為該參考圖片。
根據(jù)本發(fā)明的另一方面，提供一種用于編碼多視像的裝置。該裝置包括確定單元，確定包括在該多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測的參考圖片；以及編碼單元，基于確定結(jié)果使用視圖間預(yù)測和時間預(yù)測中的至少一個來編碼該圖片。
該編碼單元可以基于該確定結(jié)果編碼關(guān)于被每個圖片參考以用于視圖間預(yù)測和時間預(yù)測中的至少一個的參考圖片的信息。
根據(jù)本發(fā)明的另一方面，提供一種解碼多視像的方法。該方法包括接收比特流，該比特流包括指示包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。
該信息可以包括在每個圖片的參數(shù)中。
根據(jù)本發(fā)明的另一方面，提供一種用于解碼多視像的裝置。該裝置包括提取單元，接收比特流，該比特流包括指示包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)，以及從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及解碼單元，基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。
根據(jù)本發(fā)明的另一方面，提供一種編碼多視像的方法。該方法包括基于時間級別從多視像序列中選擇要使用視圖間預(yù)測和時間預(yù)測編碼的圖片；以及使用視圖間預(yù)測和時間預(yù)測編碼所選擇的圖片，并且使用視圖間預(yù)測和時間預(yù)測中的一個來編碼包括在該多視像序列中的其余圖片。
所述選擇圖片可以包括從包括在該多視像序列中的所有圖片當(dāng)中選擇時間級別小于預(yù)定值的非錨圖片。
所述編碼選擇的圖片可以包括編碼關(guān)于選擇的圖片的信息。
根據(jù)本發(fā)明的另一方面，提供一種用于編碼多視像的裝置。該裝置包括選擇單元，基于時間級別從多視像序列中選擇要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片；以及編碼單元，使用視圖間預(yù)測和時間預(yù)測編碼所選擇的圖片，并且使用視圖間預(yù)測和時間預(yù)測中的一個來編碼包括在該多視像序列中的其余圖片。
根據(jù)本發(fā)明的另一方面，提供一種解碼多視像的方法。該方法包括接收比特流，該比特流包括關(guān)于多視像序列中使用視圖間預(yù)測和時間預(yù)測編碼的圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息；以及基于所提取的信息來解碼關(guān)于該多視像序列的數(shù)據(jù)。
該信息可以包括在序列參數(shù)中或補充增強信息(SEI)消息中。
根據(jù)本發(fā)明的另一方面，提供一種用于解碼多視像的裝置。該裝置包括提取單元，接收比特流，該比特流包括關(guān)于多視像序列中使用視圖間預(yù)測和時間預(yù)測編碼的圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)，以及從接收到的比特流中提取該信息；以及解碼單元，基于所提取的信息來解碼關(guān)于該多視像序列的數(shù)據(jù)。
根據(jù)本發(fā)明的另一方面，提供一種計算機可讀記錄介質(zhì)，其上記錄有用于執(zhí)行編碼多視像的方法和解碼多視像的方法的程序。
在下文中，將參考附圖詳細描述本發(fā)明的示范性實施例。應(yīng)當(dāng)注意，相似的參考數(shù)字指代一個或多個附圖中所示的相似的元件。在本發(fā)明的以下描述中，為了簡明清楚，將略去合并于此的已知功能和配置的詳細說明。
圖2是示出了根據(jù)本發(fā)明的示范性實施例的用于編碼多視像的裝置200的框圖。
參考圖2，裝置200包括控制單元210和編碼單元220。
根據(jù)本發(fā)明的示范性實施例，控制單元210確定包括在多視像的序列(以下將被稱為多視像序列)中的圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測的參考圖片。
使用時間上相鄰的圖片之間的時間相關(guān)性和相鄰的視圖中的圖片之間的空間相關(guān)性來預(yù)測編碼多視像序列。多視像序列中的一些可以具有高的時間相關(guān)性和低的空間相關(guān)性。在這種情況下，對于如圖I所示的所有非錨圖片使用空間相關(guān)性進行的視圖間預(yù)測僅僅增加了多視像編碼所需的時間，而并未有助于壓縮率的改善。
因而，根據(jù)本發(fā)明的示范性實施例的用于編碼多視像的裝置200通過僅僅對一些非錨圖片執(zhí)行視圖間預(yù)測而不是對所有非錨圖片執(zhí)行視圖間預(yù)測來執(zhí)行預(yù)測編碼。為此，控制單元210確定包括在多視像序列中的每個圖片是否充當(dāng)用于視圖間預(yù)測的參考圖片。換句話說，控制單元210確定每個圖片是否被其它圖片參考以通過視圖間預(yù)測進行預(yù)測編碼。
根據(jù)本發(fā)明的另一個示范性實施例，控制單元210基于時間級別從多視像序列中選擇要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片。控制單元210選擇哪一個圖片將被使用視圖間預(yù)測編碼，而不是確定每個圖片是否被其它圖片參考以用于視圖間預(yù)測。根據(jù)現(xiàn)有技術(shù)，使用視圖間預(yù)測和時間預(yù)測來預(yù)測編碼所有非錨圖片。但是，根據(jù)本發(fā)明，為了使用視圖間預(yù)測編碼僅僅一些非錨圖片，基于時間級別從多視像序列中選擇要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片。
時間級別是用于通過將圖像序列分割成多個電平(level)來提供時間可分級的參數(shù)，以便使得在圖像解碼期間僅僅選擇一些電平并解碼，下面將參考圖3進行詳細描述。
圖3示出了根據(jù)本發(fā)明的示范性實施例的多視像序列的時間級別。
參考圖3，多視像序列中的錨圖片310和312的時間級別為‘O’。插入在錨圖片310和鋪圖片312之間的圖片314的時間級別為‘ I ’。插入在時間級別為‘0’的圖片和時間級別為‘I’的圖片之間的圖片316和318的時間級別為‘2’。多視像序列的其余圖片的時間級別為‘3’。
圖4A示出了根據(jù)本發(fā)明的示范性實施例的多視像序列。
圖4A所示的多視像序列是通過控制單元210確定包括在多視像序列中的每個圖片是否被參考以用于視圖間預(yù)測或通過控制單元210選擇要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片來產(chǎn)生的。因而，圖4A所示的多視像序列不同于根據(jù)圖I所示的現(xiàn)有技術(shù)的多視像序列。
例如，在根據(jù)圖I所示的現(xiàn)有技術(shù)的多視像序列中，第二行和第二列中的圖片144參考第一行和第二列中的圖片145以及第三行和第二列中的圖片146用于視圖間預(yù)測。換句話說，第一行和第二列中的圖片145以及第三行和第二列中的圖片146為用于圖片144的視圖間預(yù)測的參考圖片。
但是，在根據(jù)圖4A所示的本發(fā)明的示范性實施例的多視像中，第二行和第二列中的圖片420不參考第一行和第二列中的圖片422以及第三行和第二列中的圖片用于視圖間預(yù)測。取而代之，圖片420僅參考第二行和第三列中的圖片426以及第二行和第一列中的圖片428用于時間預(yù)測。
在根據(jù)圖I所示的現(xiàn)有技術(shù)的多視像序列中，非錨圖片當(dāng)中的所有奇數(shù)行的圖片被其它圖片參考用于視圖間預(yù)測。但是，在根據(jù)圖4A所示的本發(fā)明的示范性實施例的多視像序列中，非錨圖片當(dāng)中的奇數(shù)行的圖片中的僅僅一些被其它圖片參考用于視圖間預(yù)測。換句話說，在圖4A中，奇數(shù)行的非錨圖片當(dāng)中的僅僅奇數(shù)列的非錨圖片使用視圖間預(yù)測來編碼。
圖4B示出了根據(jù)本發(fā)明的示范性實施例的多視像序列和時間級別。
現(xiàn)在將參考圖4B來描述選擇包括在多視像序列中的一些圖片以用于如圖4A 所示的使用視圖間預(yù)測來編碼僅僅選擇的圖片的方式。
在圖4B中，基于時間級別來確定要被參考以用于視圖間預(yù)測的圖片。在圖4B中， 確定時間級別‘3’中的非錨圖片不使用視圖間預(yù)測來編碼。換句話說，從非錨圖片當(dāng)中僅僅選擇時間級別小于預(yù)定值的圖片來使用視圖間預(yù)測和時間預(yù)測編碼。
充當(dāng)控制單元210的確定或選擇的準則的時間級別根據(jù)多視像序列的特征而變化，不局限于圖4B所示的那些。例如，當(dāng)由于拍攝多視像的照相機之間的距離很大導(dǎo)致視圖之間的空間相關(guān)性不高時，沒有必要使用視圖間預(yù)測來預(yù)測所有非錨圖片。在這種情況下，可以使用視圖間預(yù)測僅僅預(yù)測時間級別為I或更小的圖片，以及在極端情況下，可以不使用視圖間預(yù)測來預(yù)測非錨圖片。
反回來參考圖2，根據(jù)本發(fā)明的示范性實施例，編碼單元220基于控制單元210的確定或選擇結(jié)果來編碼多視像序列。換句話說，編碼單元220基于控制單元210的確定或選擇結(jié)果使用視圖間預(yù)測和時間預(yù)測中的至少一個來預(yù)測編碼該多視像序列。
編碼單元220預(yù)測包括在多視像序列中的每個圖片，并從原始圖片中減去每個圖片的預(yù)測值，從而產(chǎn)生多視像序列的殘差數(shù)據(jù)。
為了預(yù)測，編碼單元220將參考圖片存儲在預(yù)定存儲器中，并通過參考存儲的參考圖片來執(zhí)行視圖間預(yù)測或時間預(yù)測。根據(jù)現(xiàn)有技術(shù)，當(dāng)預(yù)測非錨圖片時，用于視圖間預(yù)測和時間預(yù)測的所有圖片應(yīng)當(dāng)被存儲在該存儲器中。但是，根據(jù)本發(fā)明，對于由控制單元210 確定不使用視圖間預(yù)測編碼的圖片，沒有必要將用于視圖間預(yù)測的參考圖片存儲在該存儲器中。
例如，為了編碼圖4A中第二行和第二列中的圖片420，位于與圖片420的視圖相鄰的視圖處且在圖片420之上和之下的圖片422和424不是用于視圖間預(yù)測的參考圖片，因而不需要被存儲在存儲器中，從而使得能夠有效利用存儲器。
由控制單元210確定不被參考用于視圖間預(yù)測的圖片不被參考用于視圖間預(yù)測，從而加速了預(yù)測。
反回來參考圖2，根據(jù)本發(fā)明的示范性實施例，當(dāng)編碼單元220預(yù)測編碼多視像序列時，它也編碼指示控制單元210的關(guān)于每個圖片是否為用于視圖間預(yù)測的參考圖片的確定結(jié)果的參數(shù)，并且將編碼的參數(shù)插入到比特流中。一旦控制單元210確定每個圖片是否被參考用于視圖間預(yù)測，則編碼單元220編碼關(guān)于控制單元210的確定結(jié)果的信息。
由于執(zhí)行確定以確定每個圖片是否被其它圖片參考用于視圖間預(yù)測，因此在每個圖片的參數(shù)中包括關(guān)于每個圖片是否被其它圖片參考用于視圖間預(yù)測的信息。
圖5示出了根據(jù)本發(fā)明的示范性實施例的網(wǎng)絡(luò)提取層(NAL)單元報頭的語法。
NAL單元是圖像數(shù)據(jù)的分組化的單位。由于一個NAL單元一般包括關(guān)于單個圖片的數(shù)據(jù)，因此在NAL單元報頭中包括關(guān)于每個圖片是否被其它圖片參考用于視圖間預(yù)測的信息，以便被編碼。
參考圖5，根據(jù)現(xiàn)有技術(shù)，將語法元素‘nal_ref_idC_VieW’添加到NAL單元報頭， 從而指示每個圖片是否被其它圖片參考以用于視圖間預(yù)測。例如，‘nal_ref_idc_view=l’ 意思是相應(yīng)的圖片被其它圖片參考用于視圖間預(yù)測，以及‘nal_ref_idC_VieW=0’意思是該圖片不被其它圖片參考用于視圖間預(yù)測。
由于新的比特分配給‘nal_ref_idc_view’，因此也添加語法元素‘reserved_ zero_four_bits’以改變預(yù)留比特的數(shù)目。
反回來參考圖2，當(dāng)編碼單元220執(zhí)行編碼時，它也編碼關(guān)于被每個圖片參考以用于視圖間預(yù)測和時間預(yù)測的參考圖片的信息。語法元素‘RefPicList’指示這樣的信息。由于控制單元210確定是否每個圖片充當(dāng)用于視圖間預(yù)測的參考圖片，因此當(dāng)編碼單元220 編碼多視像序列時，不充當(dāng)參考圖片用于視圖間預(yù)測的圖片不被其它圖片參考。
因而，當(dāng)編碼單元220編碼關(guān)于用于每個圖片的參考圖片的信息時，它可以產(chǎn)生 ‘RefPicList’，以排除由控制單元210確定為不被參考用于視圖間預(yù)測的圖片。
例如，當(dāng)根據(jù)現(xiàn)有技術(shù)編碼圖4A所示的圖片420時，在與圖片420的視圖相鄰的視圖處、位于圖片420之上和之下的圖片422和424是參考圖片，以及關(guān)于圖片422和424 的信息包括在‘RefPicList’中。但是，根據(jù)本發(fā)明的示范性實施例，關(guān)于由控制單元210 確定為不是圖片420的參考圖片的圖片422和424的信息不包括在‘RefPicList’中。
根據(jù)本發(fā)明的另一個示范性實施例，編碼單元220也編碼關(guān)于由控制單元210選擇的要使用視圖間預(yù)測和時間預(yù)測編碼的圖片的信息，并且將編碼的信息插入到比特流中，下面將參考圖6A和6B進行詳細描述。
圖6A示出了根據(jù)本發(fā)明的示范性實施例的序列參數(shù)集的語法。
參考圖6A，編碼單元220可以在序列參數(shù)集中包括用于指明由控制單元210選擇的圖片的信息并且編碼該序列參數(shù)集。根據(jù)本發(fā)明的序列參數(shù)集包括語法元素‘temporal leveljnax’ 和語法兀素 ‘use_interview_pred_temporal_level [i] ’。
‘temporal_level_max’是指示由用于編碼多視像的裝置200編碼的多視像序列的不同時間級別的數(shù)目的信息。圖3B所示的多視像序列具有從‘0’到‘3’ 的時間級別，因而 ‘temporal_level_max’ 為 ‘3’。
‘use_interview_pred_temporal_level [i] ’是用于指明要使用視圖間預(yù)測和時間預(yù)測預(yù)測編碼的圖片的信息。當(dāng)僅僅對如圖4B所示的時間級別為‘I’或‘2’的圖片執(zhí)行視圖間預(yù)測時，‘use_interview_pred_temporal_level [I] ’ 為 ‘1’，以及 ‘use_interview_ pred_temporal_level[2]，為 ‘I，。
‘use_interview_pred_temporal_level [3]，可以被設(shè)置為 ‘O，。值‘O，和 ‘I，為指示是否使用視圖間預(yù)測來預(yù)測相應(yīng)時間級別的圖片的標志信息。
時間級別為‘0’的圖片是錨圖片。由于僅僅使用視圖間預(yù)測來預(yù)測編碼錨圖片， 因此不單獨設(shè)置 ‘use_interview_pred_temporal_level [O] ’。
圖6B示出了根據(jù)本發(fā)明的另一個示范性實施例的序列參數(shù)集的語法。
在圖4B中，控制單元210基于時間級別選擇要被使用視圖間預(yù)測和時間預(yù)測進行預(yù)測編碼的圖片。換句話說，特定時間級別的圖片不被時間預(yù)測。但是，也可以基于視圖以及時間級別來選擇那些圖片。
例如，視圖I的多視像序列的圖片當(dāng)中的時間級別為‘I’或‘2’的圖片被視圖間預(yù)測和時間預(yù)測，以及視圖3的多視像序列的圖片當(dāng)中的時間級別為I的圖片被視圖間預(yù)測和時間預(yù)測。換句話說，對于每個視圖單獨地選擇要被視圖間預(yù)測和時間預(yù)測的圖片。在這種情況下，需要用于指明對于每個視圖的選擇的圖片的語法元素。
參考圖6B,序列參數(shù)集包括語法兀素‘temporal_level_max’和‘use_interview_ pred_temporal_level[i][j] ’。
‘temporal_level_max，與圖 6A 所不的 ‘temporal_level_max，相同，但是 ‘use_ interview_pred_temporal_level [i] [ j] ’ 不同于圖 6A 所不的 <use_interview_pred_ temporal_level[i]，。
在‘use_interview_pred_temporal_level [i] [j]，中，‘i，指不視圖，‘j，指不時間級別。如上所述，假定視圖I的多視像序列的圖片當(dāng)中的時間級別為‘I’或‘2’的圖片被視圖間預(yù)測和時間預(yù)測，以及視圖3的多視像序列的圖片當(dāng)中的時間級別為‘I’ 的圖片被視圖間預(yù)測和時間預(yù)測。
在這種情況下，‘use_interview_pred_temporal_level[I] [I] ’ 為 ‘I，，‘use_ interview_pred_temporal_level[I][2]’ 為 ‘1’， <use_interview_pred_temporal_ level [I] [3]，為 ‘0，，‘use_interview_pred_temporal_level[3][I]’ 為 ‘I，，‘use_ interview_pred_temporal_level [3] [2]，為 ‘0，，以及 <use_interview_pred_temporal_ level [3] [3] ’為‘0’。值‘0’和‘I’為指示相應(yīng)視圖的多視像序列中相應(yīng)時間級別的圖片是否使用視圖間預(yù)測來預(yù)測的標志信息，如圖6A所示。
圖6C示出了根據(jù)本發(fā)明的示范性實施例的補充增強信息(SEI)消息。
參考圖6C，編碼單元220可以在SEI消息中包括用于指明由控制單元210選擇的圖片的信息并且編碼該SEI消息。
SEI消息是解碼視頻編碼層所需的附加信息，以及可以包括每個圖片的定時信息、 關(guān)于pan/scan功能的信息、和隨機存取所需的信息。SEI消息也可以包括用戶單獨定義的信息。根據(jù)本發(fā)明的示范性實施例的SEI消息包括用于指明由控制單元210選擇的用于視圖間預(yù)測的圖片的信息。
在圖6C 中，‘temporal_level_ max’ 和 ‘use_interview—prediction_temporal_ level [i] ’與圖6A的相同。
圖6D示出了根據(jù)本發(fā)明的另一個示范性實施例的SEI消息。
在圖6D 中，‘temporal—level_ jnax’ 和 ‘use_interview_prediction_temporal_ level [i] [j]，與圖6B的相同。
圖7是示出了根據(jù)本發(fā)明的示范性實施例的編碼多視像的方法的流程圖。
參考圖7，在操作710，圖2所示的用于編碼多視像的裝置200確定包括在多視像序列中的每個圖片是否是用于視圖間預(yù)測的參考圖片。換句話說，確定每個圖片是否被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測。
在根據(jù)本發(fā)明的示范性實施例的編碼多視像的方法中，使用視圖間預(yù)測來預(yù)測僅僅一些非錨圖片，而不是使用視圖間預(yù)測來預(yù)測編碼所有非錨圖片。因而，僅僅一些圖片被其它圖片參考用于視圖間預(yù)測。為此，在操作710中確定是否每個圖片被其它圖片參考用于視圖間預(yù)測?？梢曰跁r間級別來確定用于視圖間預(yù)測的參考圖片。
在操作720，裝置200基于操作710的確定，使用視圖間預(yù)測和時間預(yù)測中的至少一個來編碼多視像序列中的圖片。
使用視圖間預(yù)測和時間預(yù)測中的至少一個來預(yù)測多視像序列中的每個圖片， 并且從原始圖片中減去每個圖片的預(yù)測值，從而產(chǎn)生多視像序列的殘差數(shù)據(jù)。
不用參考在操作710中確定為不是用于視圖間預(yù)測的參考圖片的圖片而執(zhí)行視圖間預(yù)測，從而加速了預(yù)測并且使得能夠高效使用存儲器。
在多視像序列編碼中，關(guān)于在操作710中確定為用于視圖間預(yù)測的參考圖片的圖片的信息也被編碼并且被插入到比特流中。更具體地說，將指示每個圖片是否為用于視圖間預(yù)測的參考圖片的信息插入到每個圖片的參數(shù)中。該信息可以包括在NAL單元報頭中以便被編碼，如上所述。
圖8是示出了根據(jù)本發(fā)明的另一個示范性實施例的編碼多視像的方法的流程圖。
參考圖8，在操作810，圖2所示的用于編碼多視像的裝置200基于時間級別選擇要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片。裝置200也可以對于多視像序列的每個視圖，選擇要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片。更具體地說，時間級別小于預(yù)定值的非錨圖片被選擇作為要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片。
在操作820，裝置200基于操作810的選擇結(jié)果來編碼多視像序列。更具體地說，使用視圖間預(yù)測和時間預(yù)測來預(yù)測編碼在操作810中選擇的圖片，以及使用視圖間預(yù)測和時間預(yù)測中的一個來預(yù)測編碼多視像序列中的其余圖片。根據(jù)現(xiàn)有技術(shù)使用視圖間預(yù)測和時間預(yù)測來預(yù)測編碼多視像序列中的所有非錨圖片，而根據(jù)本發(fā)明的示范性實施例，則使用視圖間預(yù)測和時間預(yù)測來預(yù)測編碼非錨圖片中的僅僅一些圖片，從而加速了多視像編碼。
在多視像序列編碼期間，關(guān)于在操作810中選擇用于視圖間預(yù)測的圖片的信息也被編碼并被插入到比特流中。如前所述，該信息可以按照序列參數(shù)或SEI消息的形式被編碼并被插入到比特流中。
圖9是示出了根據(jù)本發(fā)明的示范性實施例的用于解碼多視像的裝置900的框圖。
參考圖9，裝置900包括提取單元910和解碼單元920。
提取單元910接收比特流，該比特流包括關(guān)于通過根據(jù)本發(fā)明的編碼多視像的方法編碼的多視像序列的數(shù)據(jù)。這里，關(guān)于多視像序列的數(shù)據(jù)是多視像序列的殘差數(shù)據(jù)，以及該比特流包括關(guān)于多視像序列中的每個圖片是否為用于視圖間預(yù)測的參考圖片的信息或關(guān)于每個圖片是否已被視圖間預(yù)測和時間預(yù)測編碼的信息。
在接收到比特流后，提取單元910從接收的比特流中提取信息。更具體地說，提取單元910提取指示每個圖片是用于視圖間預(yù)測的參考圖片的參數(shù)或指示每個圖片已被使用視圖間預(yù)測和時間預(yù)測編碼的參數(shù)。優(yōu)選地，但不是必須地，提取單元910提取包括在 NAL單元報頭、序列參數(shù)或SEI消息中的信息。
解碼單元920基于提取單元910提取的信息解碼關(guān)于多視像序列的數(shù)據(jù)。包括在比特流中的關(guān)于多視像序列的數(shù)據(jù)是多視像序列的殘差數(shù)據(jù)。
因而，解碼單元920基于提取單元910提取的信息，使用視圖間預(yù)測和時間預(yù)測中的至少一個，來預(yù)測多視像序列中的每個圖片，并且將預(yù)測結(jié)果添加到多視像序列的殘差數(shù)據(jù)中，從而重構(gòu)多視像序列。
為了預(yù)測，解碼單元920將參考圖片存儲在預(yù)定存儲器中并執(zhí)行預(yù)測。但是，對于視圖間預(yù)測，裝置900基于提取單元910提取的信息，在存儲器中不存儲不是用于視圖間預(yù)測的參考圖片的圖片。因而，在預(yù)測期間降低了要被存儲在存儲器中的參考圖片的數(shù)目，從而使得能夠有效地利用存儲器。
此外，不是所有的非錨圖片都被視圖間預(yù)測，從而提高了預(yù)測速度。此外，可以進行快速的隨機存取。例如，當(dāng)圖4A中第二行和第二列中的圖片420被隨機存取時，不必要解碼位于與圖片420的視圖相鄰的視圖處且在圖片420之上和之下的圖片422和424，因為已經(jīng)確定它們不是用于視圖間預(yù)測的參考圖片。因而，可以進行快速的預(yù)測和隨機存取。
圖10是根據(jù)本發(fā)明的示范性實施例的解碼多視像的方法的流程圖。
參考圖10，在操作1010，圖9中用于解碼多視像的裝置900接收包括關(guān)于多視像序列的數(shù)據(jù)的比特流。關(guān)于多視像序列的數(shù)據(jù)是多視像序列的殘差數(shù)據(jù)。
在操作1020，裝置900從接收的比特流中提取指示包括在多視像序列中的每個圖片是否為用于視圖間預(yù)測的參考圖片的信息或指示每個圖片是否已被使用視圖間預(yù)測和時間預(yù)測編碼的信息。也提取關(guān)于該多視像序列的數(shù)據(jù)，即殘差數(shù)據(jù)。為此，可以提取包括在NAL單元報頭、序列參數(shù)或SEI消息中的信息。
在操作1030，裝置900基于在操作1020中提取的信息來解碼多視像序列。更具體地說，基于提取的信息使用視圖間預(yù)測和時間預(yù)測中的至少一個來預(yù)測多視像序列，并且將在操作1020中提取的殘差數(shù)據(jù)添加到預(yù)測結(jié)果，從而重構(gòu)多視像序列。
同時，本發(fā)明的示范性實施例可以被寫為計算機程序并且可以被使用計算機可讀記錄介質(zhì)或其它傳輸介質(zhì)執(zhí)行該程序的通用數(shù)字計算機實現(xiàn)。計算機可讀記錄介質(zhì)的例子包括磁存儲介質(zhì)(例如，ROM、軟盤、硬盤等)和光記錄介質(zhì)(例如，⑶-ROM、或DVD)。其它傳輸介質(zhì)可以包括載波(例如，通過互聯(lián)網(wǎng)的傳輸)。計算機可讀記錄介質(zhì)也可以被分布在網(wǎng)絡(luò)耦合的計算機系統(tǒng)之上以使得計算機可讀代碼以分布式被存儲和執(zhí)行。
盡管已經(jīng)參考本發(fā)明的示范性實施例對本發(fā)明進行了具體圖示和描述，但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在不脫離由以下權(quán)利要求書所定義的本發(fā)明的精神和范圍的情況下，可以對本發(fā)明做出形式和細節(jié)上的各種修改。
權(quán)利要求
1.一種用于解碼多視像的裝置，該裝置包括 提取單元，接收比特流，該比特流包括關(guān)于多視像序列中使用視圖間預(yù)測和時間預(yù)測編碼的圖片的信息以及關(guān)于該多視像序列的數(shù)據(jù)，以及從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及 解碼單元，基于所提取的信息來解碼關(guān)于該多視像序列的數(shù)據(jù)， 其中，在多視像序列中，僅僅對被其他圖片參考用于視圖間預(yù)測的參考圖片進行視圖間預(yù)測和時間預(yù)測，對其余圖片進行時間預(yù)測。
2.如權(quán)利要求I所述的裝置，其中該編碼的圖片已基于時間級別被選擇，其中時間級別是用于通過將圖像序列分割成多個電平來提供時間可分級的參數(shù)。
3.如權(quán)利要求I所述的裝置，其中該信息包括在序列參數(shù)中或補充增強信息(SEI)消息中。
全文摘要
本發(fā)明提供一種用于解碼多視像的裝置，該裝置包括提取單元，接收比特流，該比特流包括關(guān)于多視像序列中使用視圖間預(yù)測和時間預(yù)測編碼的圖片的信息以及關(guān)于該多視像序列的數(shù)據(jù)，以及從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及解碼單元，基于所提取的信息來解碼關(guān)于該多視像序列的數(shù)據(jù)，其中，在多視像序列中，僅僅對被其他圖片參考用于視圖間預(yù)測的參考圖片進行視圖間預(yù)測和時間預(yù)測，對其余圖片進行時間預(yù)測。
文檔編號H04N7/36GK102984515SQ20121038914
公開日2013年3月20日 申請日期2008年3月6日 優(yōu)先權(quán)日2007年4月11日
發(fā)明者崔鐘凡, 沈優(yōu)星, 宋學(xué)燮, 文榮豪 申請人:三星電子株式會社