專利名稱：：感興趣區(qū)域h.264可分級視頻編碼的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明總體上涉及視頻編碼和解碼，更具體地涉及一種針對可分級視頻編碼和解碼的方法及設(shè)備。
背景技術(shù)：
：感興趣區(qū)域(ROI)分級(scalability)是某些可分級視頻編碼應(yīng)用的基本特征。用戶可能希望獲得ROI之內(nèi)和之外的不同的空間/時間/質(zhì)量分級。已討論采用靈活宏塊排序(FMO)來實現(xiàn)ROI的特征。國際標(biāo)準(zhǔn)化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4(MPEG-4)的第10部分的AdvancedVideoCoding(AVC)標(biāo)準(zhǔn)/國際電信聯(lián)盟電信部(ITU-H)H.264標(biāo)準(zhǔn)(下文中稱為"MPEG4/H.264標(biāo)準(zhǔn)"或簡稱為"H.264標(biāo)準(zhǔn)")要求圖像中的每一個宏塊被包括在像條(slice)組中，而且所有像條組在原始編碼圖像中編碼(盡管無需針對冗余圖像)。H.264標(biāo)準(zhǔn)不允許任何缺失的像條組，這意味著即使對于包括非ROI的像條組，仍需要對這些像條組進行編碼，并將其發(fā)送到網(wǎng)絡(luò)中?？赡苡袪幷摰氖?，編碼器可以有選擇地控制ROI之外的宏塊的比特。例如，在一種現(xiàn)有技術(shù)的實現(xiàn)中，編碼器可以將非ROI的所有宏塊編碼為BL一SKIP或INTRA—BL模式。即使發(fā)信號表明BL—SKIP或INTRA—BL模式所需的比特可能很少，但這仍使得編碼器花費額外的工作對其進行編碼。更重要地，對非ROI進行編碼需要額外的NAL單元，因而需要額外的比特率開銷。例如，在針對四分之一公共中間格式(QCIF)基層和公共中間格式(CIF)增強層(30fps)的ROI與非ROI的關(guān)系((1/4與3/4)和(1/2與1/2))的情況下，通過實時協(xié)議(RTP)來傳輸針對增強層中非ROI區(qū)域的INTRA—BL模式的比特率開銷大約計算為分別是12kbps和9kbps。同時，其增加了路由器對所有這些NAL單元進行解析的負擔(dān)。另外，解碼器仍需要對針對非ROI的這些比特流進行解析。應(yīng)當(dāng)注意，在聯(lián)合可分級視頻模型(JSVM)版本3.0中，支持增強層中所有宏塊的INTRA一BL模式而無需考慮基層宏塊類型需要多循環(huán)解碼，這對于某些簡檔(profile)來說可能是不允許的。這個約束限制了在編碼器僅支持單循環(huán)解碼情況下的INTRA一BL模式的使用。因此，當(dāng)前，無論是單循環(huán)還是多循環(huán)解碼，JSVM版本3.0都不允許針對非ROI中所有MB使用INTRA一BL模式。
發(fā)明內(nèi)容本發(fā)明解決了現(xiàn)有技術(shù)中的這些和其它缺點和不足，本發(fā)明涉及一種用于可分級視頻編碼和解碼的方法和裝置。根據(jù)本發(fā)明的方面，提供了一種可分級視頻編碼器。所述可分級視頻編碼器包括編碼器，用于對圖像進行編碼以形成基層比特流和增強層比特流。通過如下方式來形成基層比特流和增強層比特流把圖像分為多個圖像塊；把多個圖像塊分組為基層比特流中的一個或更多個像條組以及增強層比特流中的兩個或更多個像條組；對基層比特流中的一個或更多個像條組的全部以及增強層中的兩個或更多個像條組的不到全部進行編碼，使得來自兩個或更多個像條組的至少一個像條組在增強層比特流中有意地未被編碼；對報頭中的語法元素進行編碼，以指示增強層中至少一個有意未編碼的像條組。根據(jù)本發(fā)明的另一方面，提供了一種可分級視頻編碼方法。所述方法包括對圖像進行編碼以形成基層比特流和增強層比特流。所述編碼步驟包括把圖像分為多個圖像塊。所述編碼步驟還包括把多個圖像塊分組為基層比特流中的一個或更多個像條組以及增強層比特流中的兩個或更多個像條組。所述編碼步驟還包括對基層比特流中的一個或更多個像條組的全部以及增強層中的兩個或更多個像條組的不到全部進行編碼，使得來自兩個或更多個像條組的至少一個像條組在增強層比特流中有意地未被編碼。所述編碼步驟額外包括對報頭中的語法元素進行編碼，以指示增強層中至少一個有意未編碼的像條組。根據(jù)本發(fā)明的另一方面，提供了一種可分級視頻解碼器。所述可分級視頻解碼器包括解碼器，對基層比特流和增強層比特流進行解碼。用于通過如下方式來對基層比特流和增強層比特流進行解碼讀取語法元素，所述語法元素指示增強層中有意未編碼的多個像條組中至少一個像條組；僅使用針對由所述語法元素所指示的多個像條組中至少一個像條組的基層信息來對增強層比特流進行解碼；以及使用增強層信息來對增強層中多個像條組中任何余下的像條組進行解碼。根據(jù)本發(fā)明的另一方面，提供了一種可分級視頻解碼方法。所述方法包括通過如下方式來對基層比特流和增強層比特流進行解碼讀取語法元素，所述語法元素指示增強層中有意未編碼的多個像條組中至少一個像條組；僅使用針對由所述語法元素所指示的多個像條組中至少一個像條組的基層信息來對增強層比特流進行解碼；以及使用增強層信息來對增強層中多個像條組中任何余下的像條組進行解碼。根據(jù)本發(fā)明的另一方面，提供了一種用于可分級視頻編碼的視頻信號結(jié)構(gòu)。所述視頻信號結(jié)構(gòu)包括圖像，被編碼以形成基層比特流和增強層比特流。通過如下方式來形成基層比特流和增強層比特流-把圖像分為多個圖像塊；把多個圖像塊分組為基層比特流中的一個或更多個像條組以及增強層比特流中的兩個或更多個像條組；對基層比特流中的一個或更多個像條組的全部以及增強層中的兩個或更多個像條組的不到全部進行編碼，使得來自兩個或更多個像條組的至少一個像條組在增強層比特流中有意地未被編碼；對報頭中的語法元素進行編碼，以指示增強層中至少一個有意未編碼的像條組。根據(jù)本發(fā)明的另一方面，提供了一種存儲介質(zhì)，其上編碼有可分級視頻信號數(shù)據(jù)。所述存儲介質(zhì)包括圖像，被編碼以形成基層比特流和增強層比特流。通過如下方式來形成基層比特流和增強層比特流把圖像分為多個圖像塊；把多個圖像塊分組為基層比特流中的一個或更多個像條組以及增強層比特流中的兩個或更多個像條組；對基層比特流中的一個或更多個像條組的全部以及增強層中的兩個或更多個像條組的不到全部進行編碼，使得來自兩個或更多個像條組的至少一個像條組在增強層比特流中有意地未被編碼；對報頭中的語法元素進行編碼，以指示增強層中至少一個有意未編碼的像條組。從將要結(jié)合附圖進行理解的示例性實施例的詳細描述中，本發(fā)明的這些和其它方面、特征以及優(yōu)點將變得顯而易見。根據(jù)以下示例性附圖，可以更好地理解本發(fā)明，在附圖中圖l示出了本發(fā)明原理可應(yīng)用于其中的示例性聯(lián)合可分級視頻模型(JSVM)3.0編碼器的方框圖；圖2示出了本發(fā)明原理可應(yīng)用于其中的示例性解碼器的方框圖；圖3是根據(jù)本發(fā)明實施例利用感興趣區(qū)域的聯(lián)合可分級視頻編碼的示例性方法的流程圖；以及圖4是根據(jù)本發(fā)明實施例利用感興趣區(qū)域的聯(lián)合可分級視頻解碼的示例性方法的流程圖。具體實施方式本發(fā)明涉及針對可分級視頻編碼和解碼的方法及設(shè)備。本描述示出了本發(fā)明的原理。因此，將被理解的是，盡管這里沒有明確描述或示出，然而本領(lǐng)域的技術(shù)人員將能夠設(shè)計出體現(xiàn)本發(fā)明的原理并被包括在本發(fā)明的精神和范圍內(nèi)的多種布置。這里所列舉的所有示例和條件語言旨在針對教導(dǎo)目的，以幫助讀者理解本發(fā)明的原理以及發(fā)明者所貢獻的概念，以便促進本領(lǐng)域，并且這里所列舉的所有示例和條件語言都應(yīng)解釋為不對具體列舉的示例和條件做出限制。此外，這里列舉本發(fā)明的原理、方面和實施例及其特定示例的所有聲明都旨在包括結(jié)構(gòu)和功能等價物。此外，該等價物旨在包括當(dāng)前己知的等價物以及將來所開發(fā)的等價物，即所開發(fā)的執(zhí)行相同功能的任意元件(與結(jié)構(gòu)無關(guān))。因此，例如，本領(lǐng)域的技術(shù)人員將理解，這里所呈現(xiàn)的方框圖表示體現(xiàn)了本發(fā)明原理的示例性電路的概念視圖。類似地，將被理解的是，任何流程圖、流程框圖、狀態(tài)轉(zhuǎn)移圖、偽碼等表示實質(zhì)上可以以計算機可讀介質(zhì)來表示并因而由計算機或處理器來執(zhí)行的各個過程，無論是否明確地示出了該計算機或處理器?？梢酝ㄟ^使用專用硬件以及能夠與適當(dāng)軟件相結(jié)合來執(zhí)行軟件的硬件來提供附圖中所示的各個元件的功能。當(dāng)由處理器提供時，這些功能可以由單個專用處理器、單個共享處理器、或多個單獨的處理器(其中的一些可以共享)來提供。此外，術(shù)語"處理器"或"控制器"的顯式使用不應(yīng)被解釋為專指能夠執(zhí)行軟件的硬件，而且可以隱式地包括(沒有限制)數(shù)字信號處理器("DSP")硬件、用于存儲軟件的只讀存儲器("ROM")、隨機存取存儲器("RAM")、以及非易失性存儲器。還可以包括其它傳統(tǒng)和/或定制的硬件。類似地，附圖中所示的所有開關(guān)僅是概念上的。它們的功能可以通過程序邏輯的操作、通過專用邏輯、通過程序控制和專用邏輯的交互或甚至手動地來實現(xiàn)，可供實施者選擇的特定技術(shù)可從上下文中得到更加具體的理解。在本發(fā)明的權(quán)利要求中，表示成用于執(zhí)行特定功能的裝置的任意元件都旨在包括執(zhí)行該功能的任意方式，例如包括a)執(zhí)行該功能的電路元件的組合，或b)任意形式的軟件，包括固件、微代碼等，以及執(zhí)行該軟件從而執(zhí)行該功能的適當(dāng)電路。由該權(quán)利要求所限定的本發(fā)明在于以下事實以權(quán)利要求所要求的方式來結(jié)合并集合由各個所列舉的裝置所提供的功能。因此，要注意的是，能夠提供那些功能的任意裝置等同于這里所示的那些裝置。轉(zhuǎn)向圖l，由附圖標(biāo)記100總體指示本發(fā)明可應(yīng)用于其中的示例性聯(lián)合可分級視頻模型版本3.0(下文中為"JSVM3.0")編碼器。JSVM3.0編碼器100使用三個空間層和運動補償時間濾波。JSVM編碼器100包括二維(2D)抽取器104、2D抽取器106、以及運動補償時間濾波(MCTF)模塊108，其中的每個都具有用于接收視頻信號數(shù)據(jù)102的輸入端。2D抽取器106的輸出以信號通信的形式與MCTF模塊110的輸入相連。MCTF模塊110的第一輸出以信號通信的形式與運動編碼器112的輸入相連，以及MCTF模塊110的第二輸出以信號通信的形式與預(yù)測模塊I16的輸入相連。運動編碼器112的第一輸出以信號通信的形式與多路復(fù)用器114的第一輸入相連。運動編碼器112的第二輸出以信號通信的形式與運動編碼器124的第一輸入相連。預(yù)測模塊116的第一輸出以信號通信的形式與空間變換器118的輸入相連?？臻g變換器118的輸出以信號通信的形式與多路復(fù)用器114的第二輸入相連。預(yù)測模塊116的第二輸出以信號通信的形式與內(nèi)插器120的輸入相連。內(nèi)插器的輸出以信號通信的形式與預(yù)測模塊122的第一輸入相連。預(yù)測模塊122的第一輸出以信號通信的形式與空間變換器126的輸入相連?？臻g變換器126的輸出以信號通信的形式與多路復(fù)用器114的第二輸入相連。預(yù)測模塊122的第二輸出以信號通信的形式與內(nèi)插器130的輸入相連。內(nèi)插器130的輸出以信號通信的形式與預(yù)測模塊134的第一輸入相連。預(yù)測模塊134的輸出以信號通信的形式與空間變換器136相連?？臻g變換器的輸出以信號通信的形式與多路復(fù)用器114的第二輸入相連。2D抽取器104的輸出以信號通信的形式與MCTF模塊128的輸入相連。MCTF模塊128的第一輸出以信號通信的形式與運動編碼器124的第二輸入相連。運動編碼器124的第一輸出以信號通信的形式與多路復(fù)用器114的第一輸入相連。運動編碼器124的第二輸出以信號通信的形式與運動編碼器132的第一輸入相連。MCTF模塊128的第二輸出以信號通信的形式與預(yù)測模塊122的第二輸入相連。MCTF模塊108的第一輸出以信號通信的形式與運動編碼器132的第二輸入相連。運動編碼器132的輸出以信號通信的形式與多路復(fù)用器114的第一輸入相連。MCTF模塊108的第二輸出以信號通信的形式與預(yù)測模塊134的第二輸入相連。多路復(fù)用器114的輸出提供了輸出比特流138。對于每個空間層，執(zhí)行運動補償時間分解。此分解提供了時間分級?？梢詫碜暂^低空間層的運動信息用于較高層的運動預(yù)測。對于紋理編碼，可以將連續(xù)空間層之間的空間預(yù)測應(yīng)用于消除冗余。對由層內(nèi)預(yù)測或運動補償層間預(yù)測所產(chǎn)生的殘余信號進行轉(zhuǎn)換編碼。質(zhì)量底層殘余在每個空間層都提供了最小重構(gòu)質(zhì)量。如果不應(yīng)用層間預(yù)測，則可以將該質(zhì)量底層編碼到遵從H.264標(biāo)準(zhǔn)的流中。為了質(zhì)量分級，另外對質(zhì)量增強層進行編碼。可以選擇這些增強層用于提供粗?；蚣毩Ｙ|(zhì)量(SNR)分級。轉(zhuǎn)向圖2，由附圖標(biāo)記200總體指示本發(fā)明可應(yīng)用于其中的示例性可分級視頻解碼器。多路分離器202的輸入端可用作到可分級視頻解碼器200的輸入端，用于接收可分級比特流。多路分離器202的第一輸出以信號通信的形式與空間逆變換SNR可分級熵解碼器204的輸入相連?？臻g逆變換SNR可分級熵解碼器204的第一輸出以信號通信的形式與預(yù)測模塊206的第一輸入相連。預(yù)測模塊206的輸出以信號通信的形式與逆MCTF模塊208的第一輸入相連。空間逆變換SNR可分級熵解碼器204的第二輸出以信號通信的形式與運動向量(MV)解碼器210的第一輸入相連。MV解碼器210的輸出以信號通信的形式與逆MCTF模塊208的第二輸入相連。多路分離器202的第二輸出以信號通信的形式與空間逆變換SNR可分級熵解碼器212的輸入相連。空間逆變換SNR可分級熵解碼器212的第一輸出以信號通信的形式與預(yù)測模塊214的第一輸入相連。預(yù)測模塊214的第一輸出以信號通信的形式與內(nèi)插模塊216的輸入相連。內(nèi)插模塊216的輸出以信號通信的形式與預(yù)測模塊206的第二輸入相連。預(yù)測模塊214的第二輸出以信號通信的形式與逆MCTF模塊218的第一輸入相連?？臻g逆變換SNR可分級熵解碼器212的第二輸出以信號通信的形式與MV解碼器220的第一輸入相連。MV解碼器220的第一輸出以信號通信的形式與MV解碼器210的第二輸入相連。MV解碼器220的第二輸出以信號通信的形式與逆MCTF模塊218的第二輸入相連。多路分離器202的第三輸出以信號通信的形式與空間逆變換SNR可分級熵解碼器222的輸入相連?？臻g逆變換SNR可分級熵解碼器222的第一輸出以信號通信的形式與預(yù)測模塊224的輸入相連。預(yù)測模塊224的第一輸出以信號通信的形式與內(nèi)插模塊226的輸入相連。內(nèi)插模塊226的輸出以信號通信的形式與預(yù)測模塊214的第二輸入相連。預(yù)測模塊224的第二輸出以信號通信的形式與逆MCTF模塊228的第一輸入相連?？臻g逆變換SNR可分級熵解碼器222的第二輸出以信號通信的形式與MV解碼器230的輸入相連。MV解碼器230的第一輸出以信號通信的形式與MV解碼器220的第二輸入相連。MV解碼器230的第二輸出以信號通信的形式與逆MCTF模塊228的第二輸入相連。逆MCTF模塊228的輸出端可用作解碼器220的輸出端，用于輸出第O層信號。逆MCTF模塊218的輸出端可用作解碼器200的輸出端，用于輸出第l層信號。逆MCTF模塊208的輸出端可用作解碼器200的輸出端，用于輸出第2層信號。已討論采用FMO(靈活宏塊排序)來實現(xiàn)ROI(感興趣區(qū)域)分級的特征。H.264/AVC規(guī)范不允許任何缺失的像條組，這意味著即使對于包括非ROI的像條組，仍需要對這些像條組進行編碼，并將其發(fā)送到網(wǎng)絡(luò)中。根據(jù)本發(fā)明的實施例，這個要求得到放松，而且允許增強層中出現(xiàn)缺失的像條組，并限定了有意缺失的像條的規(guī)范行為。基層保持與H.264標(biāo)準(zhǔn)兼容。因此，根據(jù)本發(fā)明的實施例，提出放松H.264標(biāo)準(zhǔn)要求，以允許針對ROI應(yīng)用時增強層中出現(xiàn)缺失的像條組。該方法至少提供了以下優(yōu)點(a)節(jié)省了比特率；(b)減小了路由器的負擔(dān)；(C)簡化了解碼器的解析；以及(d)節(jié)省了編碼器針對非ROI區(qū)域的編碼。如果允許增強層中出現(xiàn)缺失的像條組，緊接下來的問題是解碼器如何確定缺失的像條組是有意地不由編碼器來編碼還是由于網(wǎng)絡(luò)出錯而丟失。如果像條組是被有意地省略，那么根據(jù)本發(fā)明，解碼器提供規(guī)范行為，從而解碼器仍能夠?qū)φ麄€圖像(R0I+非R01)進行解碼，解碼過程的輸出在不同解碼器之間的表現(xiàn)是一致的，而且可以維持編碼器/解碼器的比特精確性。然而，如果像條組是由于網(wǎng)絡(luò)出錯而丟失，則會應(yīng)用取決于應(yīng)用的非規(guī)范錯誤隱藏。為了清楚說明像條組是有意還是無意地缺失，提出在<table>tableseeoriginaldocumentpage16</column></row><table>slicegroup—change_direction_flagiu(l)slice—group—change—rate—minusliue(力}elseif(slice—group—map—type==6){pic—size—in_map—units—minusliuc(v)for(i=0;i<=pic_size—in—map—units—minus1;i++)slice—group—id|i1iu(v)if((profile—idc==83)&&(missing—slice—groups—allowed—flag)&&(numslicegroupminusl>0)){num—missing—slice—groupiue(v)if(num—missing—slice—group〉0){if(slice—group一map」ype==011slice—group—map—type==1||slicegroupmaptype==6){for(i=0;i<num—missing—slice—group;{missing一sHce一group一id[iIiu(v)missing—slice—groups—allowed—flag規(guī)定允許比特流中的缺失像條組。當(dāng)missing—slice—groups—allowecLflag不存在時，應(yīng)當(dāng)推斷其等于O。當(dāng)missing—slice—groups—allowed—flag等于1時，基層和增強層之間必須存在"相同像條組映射"。"相同像條組映射"的含義是相同的n畫—slice—groups—minus—l禾卩相同的sameslice—group—map—type。num—missing—slice—groups規(guī)定圖像的缺失像條組的個數(shù)。missing—slice_groupjd[i]表示按照光柵掃描順序的第i個缺失像條組映射單元的缺失像條組。利用所提供的新的語法，解碼器可以決定增強層中的像條組是有意缺失還是由于網(wǎng)絡(luò)出錯而丟失。在決定有意缺失組的解碼處理的規(guī)范行為時，可以考慮如下因素(1)由于缺失像條組應(yīng)用于增強層中的非ROI，因此質(zhì)量不一定很高，但是質(zhì)量應(yīng)當(dāng)是可接受的；以及(2)復(fù)雜度應(yīng)當(dāng)保持較低，而且解碼器應(yīng)當(dāng)重新使用當(dāng)前SVC設(shè)計中的可用的功能。提出可使用當(dāng)前的SVC設(shè)計的兩種可能的方案(1)使用不帶有殘余的INTRA—BL模式，即復(fù)制或上采樣basejayer圖像；以及(2)使用不帶有殘余的BL—SKIP模式。因此，可以使用上述任一方法來選擇對有意缺失的像條組進行解碼的規(guī)范行為。轉(zhuǎn)到圖3，附圖標(biāo)記300大體示出了利用感興趣區(qū)域的聯(lián)合可分級視頻編碼的示例性方法。該方法包括開始塊305，其從對感興趣區(qū)域(ROI)信息的編碼開始，并將控制傳遞給功能塊310。功能塊310取決于ROI信息而創(chuàng)建像條組，并將控制傳遞給決策塊315。決策塊315確定待編碼的當(dāng)前塊是否為基層。如果是，則控制傳遞到功能塊320。否則，控制傳遞到功能塊325。功能塊320對(基層中的)所有像條組進行編碼，并將控制傳遞到結(jié)束塊370。功能塊325把基層像條組映射到增強層像條組，并將控制傳遞給功能塊330。功能塊330把missing—slice—groups—allowed—flag設(shè)置為等于1，并將控制傳遞給決策塊335。決策塊335確定當(dāng)前像條組是否屬于感興趣區(qū)域。如果是，則將控制傳遞到功能塊340。否則，將控制傳遞到功能塊355。根據(jù)塊340使用層間預(yù)測對當(dāng)前像條組進行編碼，并將控制傳遞到?jīng)Q策塊345。功能塊355不對當(dāng)前像條組進行編碼，并把控制傳遞到功能塊360。功能塊360遞增num—missing—slice—groups,并將控制傳遞到?jīng)Q策塊345。決策塊345確定num—missing—slice—group是否大于l。如果是，則將控制傳遞到功能塊350。否則，將控制傳遞到結(jié)束塊370。功能塊350針對每一個缺失像條組i，指出missing—slice—groups—id[i]，并將控制傳遞到結(jié)束塊370。轉(zhuǎn)到圖4，附圖標(biāo)記400大體示出了利用感興趣區(qū)域的聯(lián)合可分級視頻解碼的示例性方法。該方法包括開始塊405，其從對增強層進行解碼而開始，并將控制傳遞到功能塊410。功能塊410獲取missing—slice—groups—allowed—flag，并將控制傳遞到功能塊415。功能塊415針對每一個缺失像條組i，指出missing—slice—group—id[i]，并將控制傳遞到功能塊420。功能塊420獲取num—missing—slice__groups，并將控制傳遞到?jīng)Q策塊425。決策塊425確定num—missing—slice—groups是否大于l。如果是，則將控制傳遞到功能塊430。否則，將控制傳遞到?jīng)Q策塊435。功能塊430針對每一個像條組i，讀取missing—slice—group—id[i]，并將控制傳遞到?jīng)Q策塊435。決策塊435確定是否僅對ROI區(qū)域進行解碼。如果是，則將控制傳遞到?jīng)Q策塊440。否則，將控制傳遞到?jīng)Q策塊450。決策塊440確定像條組(包括ROI區(qū)域)是否為有意缺失。如果是，則將控制傳遞到功能塊445。否則，將控制傳遞到功能塊460。功能塊445對下一個ROI像條組進行解碼，并將控制傳遞到結(jié)束塊480。功能塊460隱藏丟失的ROI像條組，并將控制傳遞到結(jié)束塊480。決策塊450確定該像條組是否屬于RO1。如果是，則將控制傳遞到功能塊455。否則，將控制傳遞到?jīng)Q策塊465。功能塊455對ROI像條組進行解碼，并將控制傳遞到結(jié)束塊480。決策塊465確定該像條組是否為有意缺失。如果是，則將控制傳遞到功能塊470。否則，將控制傳遞到功能塊460。功能塊470在基層中對這個像條組進行解碼，并將控制傳遞到功能塊475。功能塊475使用不帶有殘余的INTRA一BL模式或BL—SKIP模式在增強層中對這個像條組進行解碼，并將控制傳遞到結(jié)束塊480?，F(xiàn)在，將給出對本發(fā)明的多個附帶優(yōu)點/特征中的一些的描述，本發(fā)明的多個附帶優(yōu)點/特征中的一些已經(jīng)在上述提到。例如，一個優(yōu)點/特征是可分級視頻編碼器。該可分級視頻編碼器包括用于對圖像進行編碼以形成基層比特流和增強層比特流的編碼器。通過如下方式來形成基層比特流和增強層比特流把圖像分為多個圖像塊；把多個圖像塊分組為基層比特流中的一個或更多個像條組以及增強層比特流中的兩個或更多個像條組；對基層比特流中的一個或更多個像條組的全部以及增強層中的兩個或更多個像條組的不到全部進行編碼，使得來自兩個或更多個像條組的至少一個像條組在增強層比特流中有意地未被編碼；對報頭中的語法元素進行編碼，以指示增強層中至少一個有意未編碼的像條組。另一個優(yōu)點/特征是上述可分級視頻編碼器，其中，形成增強層比特流以支持至少一個感興趣區(qū)域應(yīng)用，使得增強層中兩個或更多個像條組中包括感興趣區(qū)域的任意像條組在增強層比特流中進行編碼，同時增強層中兩個或更多個像條組中不包括感興趣區(qū)域的任意像條組有意地未被編碼。另一個優(yōu)點/特征是上述可分級視頻編碼器，其中，該編碼器通過在與增強層比特流相對應(yīng)的序列參數(shù)集中添加missing—slice—groups—allowed—flag字段來添力卩語法元素。此外，另一個優(yōu)點/特征是上述添加語法元素的可分級視頻編碼器，其中，增強層比特流和基層比特流之間存在相同像條組映射，當(dāng)missing—slice—groups—aliowed—flag字段等于1時，與num—slice—groups—minus—1字段禾卩slice—group—map—type字段有關(guān)的相同像條組映射分別具有針對基層比特流和增強層比特流的相同值。此外，另一個優(yōu)點/特征是上述可分級視頻編碼器，其中，該編碼器在與增強層比特流相對應(yīng)的圖像參數(shù)集中添加num—missing—slice—groups字段，以規(guī)定針對該圖像有意未編碼的像條組的數(shù)量。此外，另一個優(yōu)點/特征是上述添加了num—missing—slice—groups字段的可分級視頻編碼器，其中，該編碼器在與增強層比特流相對應(yīng)的圖像參數(shù)集中添加missing—slice—groupjd[i]字段，以在其中至少識別針對slice—group—map字段等于0、1或6的情況下按照光柵掃描順序的第i個有意省略的像條組映射單元的有意未編碼的像條組。此夕卜，另一個優(yōu)點/特征是上述添力Qnum—missing—slice—groups字段的可分級視頻編碼器，其中，該編碼器把slice—gr0Up_map字段設(shè)置為等于2、3、4或5，以指示增強層比特流中最后的像條組是至少一個有意未編碼的像條組。本發(fā)明的這些和其它特征及優(yōu)點可以由相關(guān)領(lǐng)域的技術(shù)人員基于這里的教導(dǎo)很容易地確定。應(yīng)理解，本發(fā)明的教導(dǎo)可以以各種形式的硬件、軟件、固件、專用處理器或其組合來實現(xiàn)。最優(yōu)選地，將本發(fā)明的教導(dǎo)實現(xiàn)為硬件和軟件的組合。此外，優(yōu)選地將軟件實現(xiàn)為有形地體現(xiàn)在程序存儲單元上的應(yīng)用程序。該應(yīng)用程序可以上載到包括任意適當(dāng)體系結(jié)構(gòu)的機器并由該機器執(zhí)行。優(yōu)選地，在具有諸如一個或多個中央處理單元("CPU")、隨機存取存儲器("RAM")、以及輸入/輸出("I/O")接口之類的硬件的計算機平臺上實現(xiàn)該機器。該計算機平臺還可以包括操作系統(tǒng)和微指令碼。這里所描述的各個過程和功能可以是微指令碼的一部分或應(yīng)用程序的一部分，或者兩者的任意組合，其可以由CPU來執(zhí)行。此外，可以將各種其它外圍單元與該計算機平臺相連，例如附加的數(shù)據(jù)存儲單元和打印單元。還應(yīng)理解，因為附圖中所描述的組成系統(tǒng)組件和方法中的一些優(yōu)選地以軟件來實現(xiàn)，所以系統(tǒng)組件或過程功能框之間的實際連接可能取決于本發(fā)明的編程方式而不同。在給定這里的教導(dǎo)的情況下，相關(guān)領(lǐng)域的技術(shù)人員將能夠設(shè)想本發(fā)明的這些和類似的實現(xiàn)或配置。盡管這里已經(jīng)參考附圖描述了示例性實施例，應(yīng)理解，本發(fā)明不局限于那些精確的實施例，并且在不背離本發(fā)明的范圍或精神的前提下，可以由相關(guān)領(lǐng)域的技術(shù)人員實現(xiàn)各種變化和修改。所有這些變化和修改都旨在被包括在所附權(quán)利要求中提出的本發(fā)明的范圍內(nèi)。權(quán)利要求1、一種裝置，包括編碼器(100)，用于通過如下方式來對圖像進行編碼以形成基層比特流和增強層比特流把圖像分為多個圖像塊；把多個圖像塊分組為基層比特流中的一個或更多個像條組以及增強層比特流中的兩個或更多個像條組；對基層比特流中的一個或更多個像條組的全部以及增強層中的兩個或更多個像條組的不到全部進行編碼，使得在增強層比特流中，所述兩個或更多個像條組中的至少一個像條組有意地未被編碼；對報頭中的語法元素進行編碼，以指示增強層中至少一個有意未編碼的像條組。2、根據(jù)權(quán)利要求l所述的裝置，其中，形成增強層比特流以支持至少一個感興趣區(qū)域應(yīng)用，使得增強層中兩個或更多個像條組中包括感興趣區(qū)域的任意像條組在增強層比特流中進行編碼，同時增強層中兩個或更多個像條組中不包括感興趣區(qū)域的任意像條組有意地未被編碼。3、根據(jù)權(quán)利要求l所述的裝置，其中，所述編碼器(100)通過在與增強層比特流相對應(yīng)的序列參數(shù)集中添加missing—slice—groups——allowed—flag字段來添加語法元素。4、根據(jù)權(quán)利要求3所述的裝置，其中，增強層比特流和基層比特流之間存在相同像條組映射，當(dāng)missing—slice—groups—allowe(flag字段等于1時，針對基層比特流和增強層比特流，與num—slice—groups—minus—1字段禾口slice—group—map—type字段有關(guān)的相同像條組映射分別具有相同值。5、根據(jù)權(quán)利要求l所述的裝置，其中，所述編碼器(100)在與增強層比特流相對應(yīng)的圖像參數(shù)集中添加num—missing—slice—groups字段，以規(guī)定針對該圖像有意未編碼的像條組的數(shù)量。6、根據(jù)權(quán)利要求5所述的裝置，其中，所述編碼器(100)在與增強層比特流相對應(yīng)的圖像參數(shù)集中添加missing_slice—groupjd[i]字段，以在其中至少識別針對slice—group—map字段等于0、l或6的情況下按照光柵掃描順序的第i個有意省略的像條組映射單元的有意未編碼的像條組。7、根據(jù)權(quán)利要求5所述的裝置，其中，所述編碼器(100)把slice—group—map字段設(shè)置為等于2、3、4或5，以指示增強層比特流中最后的像條組是至少一個有意未編碼的像條組。8、一種可分級視頻編碼方法，包括對圖像進行編碼(355)以形成基層比特流和增強層比特流，其中，所述編碼步驟包括把圖像分為多個圖像塊；把多個圖像塊分組(310)為基層比特流中的一個或更多個像條組以及增強層比特流中的兩個或更多個像條組；對基層比特流中的一個或更多個像條組的全部以及增強層中的兩個或更多個像條組的不到全部進行編碼(320、340、355)，使得在增強層比特流中，所述兩個或更多個像條組中的至少一個像條組有意地未被編碼；對報頭中的語法元素進行編碼(330)，以指示增強層中至少一個有意未編碼的像條組。9、根據(jù)權(quán)利要求8所述的方法，其中，形成增強層比特流以支持至少一個感興趣區(qū)域應(yīng)用，使得增強層中兩個或更多個像條組中包括感興趣區(qū)域的任意像條組在增強層比特流中進行編碼，同時增強層中兩個或更多個像條組中不包括感興趣區(qū)域的任意像條組有意地未被編碼(310)。10、根據(jù)權(quán)利要求8所述的方法，其中，所述編碼步驟包括通過在與增強層比特流相對應(yīng)的序列參數(shù)集中添加missing—slice—groups—allowed—flag字段來添力口(330)語法元素。11、根據(jù)權(quán)利要求10所述的方法，其中，增強層比特流和基層比特流之間存在相同像條組映射，當(dāng)missing—slice—groups—allowed—flag字段等于1時，針對基層比特流和增強層比特流，與num—slice—groups—minus—1字段禾卩slice—group—map—type字段有關(guān)的相同像條組映射分別具有相同值(325)。12、根據(jù)權(quán)利要求8所述的方法，其中，所述編碼步驟包括在與增強層比特流相對應(yīng)的圖像參數(shù)集中添加(360)num—missing—slice—groups字段，以規(guī)定針對該圖像有意未編碼的像條組的數(shù)量。13、根據(jù)權(quán)利要求12所述的方法，其中，所述編碼步驟包括在與增強層比特流相對應(yīng)的圖像參數(shù)集中添加(350)missing—slice—group—id[i]字段，以在其中至少識另U針對slice—group—map字段等于0、l或6的情況下按照光柵掃描順序的第i個有意省略的像條組映射單元的有意未編碼的像條組。14、根據(jù)權(quán)利要求12所述的方法，其中，所述編碼步驟包括把slice—group一map字段設(shè)置為等于2、3、4或5，以指示增強層比特流中最后的像條組是至少一個有意未編碼的像條組。15、一種裝置，包括解碼器(200)，用于通過如下方式來對基層比特流和增強層比特流迸行解碼讀取語法元素，所述語法元素指示增強層中有意未編碼的多個像條組中至少一個像條組；僅使用針對由所述語法元素所指示的多個像條組中至少一個像條組的基層信息來對增強層比特流進行解碼；以及使用增強層信息來對增強層中多個像條組中任何余下的像條組進行解碼。16、根據(jù)權(quán)利要求15所述的裝置，其中，增強層比特流支持感興趣區(qū)域應(yīng)用，使得多個像條組中包括感興趣區(qū)域的任意像條組被包括在增強層比特流中，而多個像條組中不包括感興趣區(qū)域的任意像條組被有意地從中省略。17、根據(jù)權(quán)利要求15所述的裝置，其中，所述解碼器(200)通過如下方式讀取語法元素讀取與增強層比特流相對應(yīng)的序列參數(shù)集中的missing—slice—groups—allowed—flag字段。18、根據(jù)權(quán)利要求17所述的裝置，其中，增強層比特流和基層比特流之間存在相同像條組映射，當(dāng)missing—slice—groups—allowed—flag字段等于1時，針對基層比特流和增強層比特流，與num—slice—groups—minus—1字段禾口slice—group—map—type字段有關(guān)的相同像條組映射分別具有相同值。19、根據(jù)權(quán)利要求15所述的裝置，其中，所述解碼器(200)讀取與增強層比特流相對應(yīng)的圖像參數(shù)集中的num—missing—slice—groups字段，以規(guī)定針對圖像參數(shù)集中的圖像而有意未編碼的多個像條組的數(shù)量。20、根據(jù)權(quán)利要求19所述的裝置，其中，所述解碼器(200)讀取與增強層比特流相對應(yīng)的圖像參數(shù)集中的missing—slice—groupjd[i]字段，以在其中識別針對slice—group—map字段等于0、l或6的情況下按照光柵掃描順序的第i個有意省略的像條組映射單元的至少一個有意未編碼的像條組。21、根據(jù)權(quán)利要求19所述的裝置，其中，當(dāng)slice—group—map字段被設(shè)為等于2、3、4或5時，所述解碼器(200)把增強層比特流中最后的像條組識別為至少一個有意未編碼的像條組。22、根據(jù)權(quán)利要求15所述的裝置，其中，所述解碼器(200)使用INTRA一BL模式對至少一個有意未編碼的像條組進行解碼，而不考慮針對增強層比特流所指示的具體簡檔中是否允許多循環(huán)解碼。23、根據(jù)權(quán)利要求15所述的裝置，其中，所述解碼器(200)使用BL一SKIP模式對至少一個有意未編碼的像條組進行解碼。24、根據(jù)權(quán)利要求15所述的裝置，其中，當(dāng)至少一個有意未編碼的像條組被檢測為缺失但未在與增強層相對應(yīng)的序列參數(shù)集和圖像參數(shù)集中規(guī)定時，所述解碼器(200)執(zhí)行錯誤隱藏方法以隱藏至少一個有意未編碼的像條組。25、一種可分級視頻解碼方法，包括通過如下方式來對基層比特流和增強層比特流進行解碼讀取(410)語法元素，所述語法元素指示增強層中有意未編碼的多個像條組中至少一個像條組；僅使用針對由所述語法元素所指示的多個像條組中至少一個像條組的基層信息來對增強層比特流進行解碼(475);以及使用增強層信息來對增強層中多個像條組中任何余下的像條組進行解碼(455)。26、根據(jù)權(quán)利要求25所述的方法，其中，增強層比特流支持感興趣區(qū)域應(yīng)用，使得多個像條組中包括感興趣區(qū)域的任意像條組被包括在增強層比特流中，而多個像條組中不包括感興趣區(qū)域的任意像條組有意地從中省略。27、根據(jù)權(quán)利要求25所述的方法，其中，所述解碼步驟包括通過讀取與增強層比特流相對應(yīng)的序列參數(shù)集中的missing—slice—groups—allowed—flag字段，以讀取(410)語法元素。28、根據(jù)權(quán)利要求27所述的方法，其中，增強層比特流和基層比特流之間存在相同像條組映射，當(dāng)missing—slice—groups—allowed—flag字段等于1時，針對基層比特流和增強層比特流，與num—slice—groups—minus—1字段禾卩slice—group—map—type字段有關(guān)的相同像條組映射分別具有相同值。29、根據(jù)權(quán)利要求25所述的方法，其中，所述解碼步驟包括讀取(420)與增強層比特流相對應(yīng)的圖像參數(shù)集中的num—missing—slk^groups字段，以規(guī)定針對圖像參數(shù)集中的圖像而有意未編碼的多個像條組的數(shù)量。30、根據(jù)權(quán)利要求29所述的方法，其中，所述解碼步驟包括讀取(430)與增強層比特流相對應(yīng)的圖像參數(shù)集中的missing—slice—group—id[i]字段，以在其中識別針對slice—group—map字段等于0、l或6的情況下按照光柵掃描順序的第i個有意省略的像條組映射單元的至少一個有意缺失的像條組。31、根據(jù)權(quán)利要求29所述的方法，其中，所述解碼步驟包括當(dāng)slice一group一map字段被設(shè)為等于2、3、4或5時，把增強層比特流中最后的像條組識別(4.65)為至少一個有意未編碼的像條組。32、根據(jù)權(quán)利要求25所述的方法，其中，所述解碼步驟使用INTRA—BL模式對至少一個有意未編碼的像條組進行解碼，而不考慮針對增強層比特流所指示的具體簡檔中是否允許多循環(huán)解碼(475)。33、根據(jù)權(quán)利要求25所述的方法，其中，所述解碼步驟使用BL一SKIP模式對至少一個有意未編碼的像條組進行解碼(475)。34、根據(jù)權(quán)利要求25所述的方法，其中，所述解碼步驟包括當(dāng)至少一個有意未編碼的像條組被檢測為缺失但未在與增強層相對應(yīng)的序列參數(shù)集和圖像參數(shù)集中規(guī)定時，執(zhí)行(460)錯誤隱藏方法以隱藏至少一個有意未編碼的像條組。35、一種用于可分級視頻編碼的視頻信號結(jié)構(gòu)，包括圖像，被編碼以形成基層比特流和增強層比特流，其中，通過如下方式來形成基層比特流和增強層比特流把圖像分為多個圖像塊；把多個圖像塊分組為基層比特流中的一個或更多個像條組以及增強層比特流中的兩個或更多個像條組；對基層比特流中的一個或更多個像條組的全部以及增強層中的兩個或更多個像條組的不到全部進行編碼，使得來自兩個或更多個像條組的至少一個像條組在增強層比特流中有意地未被編碼；對報頭中的語法元素進行編碼，以指示增強層中至少一個有意未編碼的像條組。36、一種存儲介質(zhì)，其上具有編碼的可分級視頻信號數(shù)據(jù)，所述存儲介質(zhì)包括圖像，被編碼以形成基層比特流和增強層比特流，其中，通過如下方式來形成基層比特流和增強層比特流把圖像分為多個圖像塊；把多個圖像塊分組為基層比特流中的一個或更多個像條組以及增強層比特流中的兩個或更多個像條組；對基層比特流中的一個或更多個像條組的全部以及增強層中的兩個或更多個像條組的不到全部進行編碼，使得來自兩個或更多個像條組的至少一個像條組在增強層比特流中有意地未被編碼；對報頭中的語法元素進行編碼，以指示增強層中至少一個有意未編碼的像條組。全文摘要提供了用于可分級視頻編碼和解碼的編碼器、解碼器、相應(yīng)的編碼和解碼方法、視頻信號結(jié)構(gòu)以及存儲介質(zhì)。一種可分級視頻編碼器，包括編碼器(100)，用于通過如下方式來對圖像進行編碼以形成基層比特流和增強層比特流把圖像分為多個圖像塊；把多個圖像塊分組為基層比特流中的一個或更多個像條組以及增強層比特流中的兩個或更多個像條組；對基層比特流中的一個或更多個像條組的全部以及增強層中的兩個或更多個像條組的不到全部進行編碼，使得來自兩個或更多個像條組的至少一個像條組在增強層比特流中有意地未被編碼；對報頭中的語法元素進行編碼，以指示增強層中至少一個有意未編碼的像條組。文檔編號H04N7/68GK101283599SQ200680037543公開日2008年10月8日申請日期2006年10月3日優(yōu)先權(quán)日2005年10月12日發(fā)明者吉爾·麥克唐納·布瓦斯,鵬尹,普爾溫·比貝哈斯·潘迪特申請人:湯姆森許可貿(mào)易公司