用于視頻數(shù)據(jù)的有效精細粒度伸縮(fgs)編碼和解碼的方法、裝置和系統(tǒng)的制作方法

文檔序號：7637662閱讀：426來源：國知局

專利名稱：用于視頻數(shù)據(jù)的有效精細粒度伸縮(fgs)編碼和解碼的方法、裝置和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及視頻編碼和解碼領域，且尤其涉及基于精細粒度伸縮的可伸縮視頻數(shù)據(jù)處理。
背景技術：
傳統(tǒng)的視頻編碼標準(例如，MPEG-1, H.261/263/364)結合運動估計和運動補償以消除視頻幀之間的時間冗余。這些概念對于那些對視頻編碼技術有基本了解的技術人員而言是十分熟悉的，將不進4亍^"細4苗述。
目前，對H.264/AVC的可伸縮擴展允許精細粒度的可伸縮性，據(jù)此可以通過以10%或更小的增量來增加比特率，使得視頻序列的質(zhì)量得以提高。根據(jù)傳統(tǒng)實施，每個FGS(精細粒度伸縮)條帶(slice ) 必須與其"基本層圖像"中的對應條帶覆蓋相同的空間區(qū)域，即，一個FGS條帶的開始宏塊和宏塊數(shù)量必須與其"基本層圖像"中的對應條帶相同。因此，每個FGS平面必須具有與其"基本層圖像"
相同的條帶數(shù)量。
根據(jù)現(xiàn)有技術，每個FGS條帶必須與其"基本層圖像"中對應的條帶覆蓋相同空間區(qū)域這一約束，影響了 NAL (網(wǎng)絡提取層)單元的尺寸，因此無法根據(jù)已知的包丟失率和協(xié)議數(shù)據(jù)單元(PDU) 尺寸來進行最優(yōu)傳輸。此外，該約束不允許感興趣區(qū)域(ROI) FGS 增強，其中這些感興趣區(qū)域可具有比其他區(qū)域更好的質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明的目的是分別提供用于有效編碼或解碼的方法、裝置和系統(tǒng)，其克服現(xiàn)有技術的上述問題，并提供有效的和質(zhì)量上有所改
進的編碼。
本發(fā)明的主要優(yōu)勢在于FGS條帶可以被編碼，使得起始宏塊位置和宏塊數(shù)量的大小可以根據(jù)最優(yōu)傳輸?shù)男枰_定，例如，使得條帶的字節(jié)數(shù)接近但決不超過協(xié)議數(shù)據(jù)單元(PDU)的字節(jié)數(shù)，還在于FGS條帶可以被編碼，使得它覆蓋更為重要的感興趣區(qū)域或其部分，并且它以高于不重要區(qū)域的質(zhì)量被編碼，或者，可選地，僅覆蓋感興趣區(qū)域的FGS條帶^C編碼和傳輸。
根據(jù)本發(fā)明，每個FGS條帶必須與其"基本層圖像"中對應條帶覆蓋相同空間區(qū)域這一約束被消除。此外，被一個FGS條帶覆蓋的區(qū)域(即，起始宏塊和宏塊數(shù)量)獨立于其基本層圖像。相應地，應用了支持FGS條帶的可伸縮視頻編碼的任何應用，都可受益于本發(fā)明的創(chuàng)造性。
本發(fā)明的目的由所附獨立權利要求中定義的主題解決。
根據(jù)本發(fā)明的第一方面，提供一種用于編碼視頻數(shù)據(jù)的方法，該方法包括獲取所述視頻數(shù)據(jù)；基于所述獲取的視頻數(shù)據(jù)產(chǎn)生基本層圖像，基本層圖像包括至少一個條帶，所述條帶對應于所述基本層圖像中的區(qū)域；并產(chǎn)生對應于所述基本層圖像的至少一個增強層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮 (FGS)條帶，所述至少一個FGS條帶對應于所述增強層圖像中的區(qū)域，其中所述F G S條帶對應的至少一個區(qū)域不同于所述基本層中的所述條帶對應的區(qū)域，編碼所述基本層圖像和所述至少一個增強層圖像得到編碼的視頻數(shù)據(jù)。
在一個優(yōu)選實施方式中，所述至少一個FGS條帶是如在視頻編碼標準H.264/AVC的可伸縮擴展中說明的漸進細化條帶。
在一個優(yōu)選實施方式中，所述產(chǎn)生所述基本層圖像和所述至少一個增強層圖像是基于所述視頻數(shù)據(jù)中的運動信息，所述運動信息由運動估計過程提供。
優(yōu)選地，至少一個FGS條帶對應于圖像中的感興趣區(qū)域(ROI)。
優(yōu)選地，所述基本層圖像中的條帶數(shù)量不同于增強層圖像中的
FGS條帶數(shù)量。
優(yōu)選地，所述FGS條帶被編碼，使得其具有根據(jù)預定數(shù)值的字節(jié)數(shù)。
根據(jù)本發(fā)明的另一方面，提供一種用于編碼視頻數(shù)據(jù)的可伸縮
解碼的方法，包括以下步驟獲取所述編碼^L頻數(shù)據(jù)；識別所述編碼視頻數(shù)據(jù)中的基本層圖像和至少一個增強層圖像；所述基本層圖像包括至少一個條帶，所述條帶對應于所述基本層圖像中的區(qū)域；以及對應于所述基本層圖像的至少一個增強層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應于所述增強層圖像中的一個區(qū)域，其中所述至少
區(qū)域，以及通過合并所述基本層圖像和所述至少一個增強層圖像解碼所述編碼視頻數(shù)據(jù)，得到解碼視頻數(shù)據(jù)。
優(yōu)選地，所述至少一個FGS條帶是如在稱為H.264/AVC的視頻編碼標準的可伸縮擴展中說明的漸進細化條帶。
優(yōu)選地，所述基本層和所述增強層圖像基于所述編碼視頻數(shù)據(jù) 中的運動信息，所述運動信息在所述編碼視頻數(shù)據(jù)中提供。
優(yōu)選地，所述至少一個FGS條帶涉及所述編碼視頻數(shù)據(jù)中單獨圖像的某些感興趣區(qū)域。
優(yōu)選地，所述編碼視頻數(shù)據(jù)不包括覆蓋非感興趣區(qū)域的FGS條帶。
優(yōu)選地，所述至少一個FGS條帶具有接近但小于預定數(shù)值的字節(jié)數(shù)。
另一方面，提供一種根據(jù)用于編碼的上述方法操作的設備。另一方面，提供一種根據(jù)用于解碼的上述方法操作的設備。另一方面，提供一種系統(tǒng)，所述系統(tǒng)根據(jù)用于編碼的上述方法支持數(shù)據(jù)傳輸。
另一方面，提供一種系統(tǒng)，所述系統(tǒng)根據(jù)用于解碼的上述方法支持數(shù)據(jù)傳輸。
還提供一種數(shù)據(jù)傳輸系統(tǒng)，包括至少一個編碼設備，用于執(zhí)行
可伸縮編碼視頻數(shù)據(jù)的方法，包括步驟獲取所述視頻數(shù)據(jù)；基于所述獲取的視頻數(shù)據(jù)產(chǎn)生基本層圖像，基本層圖像包括至少一個條帶，所述條帶對應于所述基本層圖像中的區(qū)域；并產(chǎn)生對應于所述基本層圖像的至少一個增強層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應于所述增強層圖像中的區(qū)域，其中所述至少一個所述FGS條帶對應的區(qū)域不同于所述基本層圖像中所述條帶對應的區(qū)域，編碼所述基本層圖像和所述至少一個增強層圖像得到編碼視頻數(shù)據(jù)，以及一種解碼設備，用于執(zhí)行編碼視頻數(shù)據(jù)的可伸縮解碼方法，包括步驟獲取所述編碼視頻數(shù)據(jù)，識別所述編碼視頻數(shù)據(jù)中的基本層圖像和至少一個增強層圖像；所述基本層圖像包括至少一個條帶，所述條帶對應于所述基本層圖像中的區(qū)域；以及對應于所述基本層圖像的至少一個增強層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應于所述增強層圖像中的區(qū)域，其中所述至少一個所述FGS條帶對應的區(qū) 域不同于所述基本層中條帶對應的區(qū)域，以及通過合并所述基本層圖像和所述至少一個增強層圖像解碼所述編碼視頻數(shù)據(jù)，得到解碼視頻數(shù)據(jù)。
提供一種計算程序產(chǎn)品，包括計算機可讀存儲結構，其上包含計算機程序代碼，用于由電子設備主控的計算機處理器執(zhí)行，其中所述計算機程序代碼包括用于執(zhí)行上述編碼方法的指令。
還提供一種計算機程序產(chǎn)品，包括計算機可讀存儲結構，其上包含計算機程序代碼，用于由電子設備主控的計算機處理器執(zhí)行，
其中所述計算機程序代碼包括執(zhí)行上述解碼方法的指令。
還提供一種實施在載波中和表示指令的計算機數(shù)據(jù)信號，當其
被處理器執(zhí)行時，導致編碼方法的操作被執(zhí)行。
還提供一種用于視頻數(shù)據(jù)的可伸縮編碼的模塊，包括獲取組
件，用于獲取所述視頻數(shù)據(jù)；產(chǎn)生組件，用于基于獲取的視頻數(shù)據(jù) 產(chǎn)生基本層圖像；產(chǎn)生組件，用于基于所述獲取的視頻數(shù)據(jù)和所述基本層產(chǎn)生至少一個增強層圖像，基本層圖像包括至少一個條帶，
所述條帶對應于所述基本層圖像中的區(qū)域；且至少一個增強層圖像對應于所述基本層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應于所述增強層圖像中的區(qū)域；以及定義組件，用于以如下方式定義所述一個或多個產(chǎn)生的增強層FGS條帶的所述至少一個，即所述FGS條帶對應的區(qū)域不同于所述基本層圖像中條帶對應的區(qū)域；以及編碼組件，用于編碼所述基本層和所述至少一個增強層，得到編碼視頻數(shù) 據(jù)的。
還提供一種用于編碼視頻數(shù)據(jù)的可伸縮解碼的模塊，包括獲取組件，用于獲取所述編碼視頻數(shù)據(jù)；識別組件，用于識別所述編碼視頻數(shù)據(jù)中基本層圖像和至少一個增強層圖像；其中所述基本層圖像包括至少一個條帶，所述條帶對應于所述基本層圖像中的區(qū)域；以及對應于所述基本層圖像的至少一個增強層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應于所述增強層圖像中的區(qū)域，其中所述所述FGS 條帶的至少一個對應的區(qū)域不同于所述基本層圖像中條帶對應的區(qū) 域，以及解碼組件，用于通過合并所述基本層和所述至少一個增強層解碼被編碼的視頻數(shù)據(jù)，得到解碼視頻數(shù)據(jù)。
還提供一種實施在載波中和表示指令的計算機數(shù)據(jù)信號，當其被處理器執(zhí)行時，導致用于解碼的方法的操作被執(zhí)行。
由此，現(xiàn)在提供了一種用于在這樣的意義下對FGS條帶靈活編碼的方法，即由FGS條帶覆蓋的區(qū)域獨立于其基本層圖像。并因此，每個FGS平面可以具有不同于"基本層"的條帶數(shù)量。
本發(fā)明的更多優(yōu)勢將在閱讀本發(fā)明實施方式的詳細說明時明晰，基于此，創(chuàng)造性概念是很容易理解的。
在詳細說明和附圖中，為清晰起見，相同或相似的組件，單元或設備被標以相同的參考數(shù)字。

附圖被用來提供對本發(fā)明的進一步理解，它被引入說明書并組成說明書的一個部分。

了本發(fā)明的實施方式，并與描述一起用來解釋本發(fā)明的原理。在附圖中，
圖1示意性地示出便攜客戶電子設備的示例框圖，其基于蜂窩
終端物設備被典型地實施；
圖2是根據(jù)本發(fā)明的編碼原理的詳細圖示；
圖3是根據(jù)本發(fā)明的解碼原理的詳細圖示；
圖4繪出根據(jù)本發(fā)明表示的編碼側的操作序列；
圖5繪出根據(jù)本發(fā)明表示的解碼側的操作序列；
圖6表示根據(jù)示出所有組件的本發(fā)明的編碼模塊；
圖7表示根據(jù)示出所有組件的本發(fā)明的解碼模塊。
雖然本發(fā)明是參考根據(jù)附圖的實施方式被說明的，但顯然本發(fā)
明并不限于此，而是它可以在所附權利要求的范圍內(nèi)以多種方式修改。
在下文對各種實施方式的描述中將參考附圖，其構成說明書的一部分，并且其中通過圖示本發(fā)明可被實施的各種實施方式來表示。應該理解，其他可能^f吏用的實施方式以及可能f文出的結構性和功能性修改沒有脫離本發(fā)明的范圍。貫穿附圖和說明書，盡可能使用相同的參考編號來指代相似或相同的部分。
具體實施例方式
圖1繪出了根據(jù)本發(fā)明的一個實施方式的一種典型的移動設備。圖1中表示的移動設備10能夠進行蜂窩數(shù)據(jù)和語音通信。應當指出，這種特定實施方式以說明的方式代表了多種實施方式中的一種，本發(fā)明不限于此特定的實施方式。移動設備10包括(主)微處理器或微控制器10 0以及與控制移動設備的操作的微處理器相關聯(lián)的組件。這些組件包括連接到顯示模塊135的顯示控制器130、非易失性存儲
器140、易失性存儲器150 (例如，隨機存取存儲器(RAM))、連接到麥克風161的音頻輸入/輸出(I/O)接口 160、揚聲器162和/ 或聽筒163、連接到小鍵盤175或鍵盤的小鍵盤控制器170、任何輔助輸入/輸出(1/0)4妻口 200、以及短程通信接口 180。這樣的設備還典型地包括被總體示為190的其他設備子系統(tǒng)。
移動設備10可以在語音網(wǎng)絡上通信，和/或在數(shù)據(jù)網(wǎng)絡上同樣地通信，例如，任何公共陸地移動網(wǎng)絡(PLMN)，形式上是例如數(shù)字蜂窩網(wǎng)絡，尤其是GSM (全球移動通信系統(tǒng))或UMTS (通用移動通信系統(tǒng))。典型地，語音和/或數(shù)據(jù)通信通過空中接口被操作，即與基站(BS)或節(jié)點B (沒有示出)的其他部件(如上)協(xié)作的蜂窩通信接口子系統(tǒng)，其中基站(BS)或節(jié)點B是蜂窩網(wǎng)絡基礎設施的無線接入網(wǎng)絡(RAN)的一部分。參考如圖1中說明性描述的蜂窩通信接口子系統(tǒng)，包括蜂窩接口 110、數(shù)字信號處理器(DSPH20、接收器(RX) 121、發(fā)送器(TX) 122、以及一個或多個本地振蕩器 (L〇)123,它支持與一個或多個公共陸地移動網(wǎng)絡(PLMN)的通信。數(shù)字信號處理器(DSP) 120發(fā)送通信信號124到發(fā)送器(TX) 122，并從接收器(RX) 121接收通信信號125。除了處理通信信號之外，數(shù)字信號處理器120還提供接收器控制信號126和發(fā)送器控制信號127。例如，除分別對將要發(fā)送信號的調(diào)制和對接收信號的解調(diào)制外，接收器(RX) 121和發(fā)送器(TX) 122中通信信號所應用的增益水平可以通過實施在數(shù)字信號處理器(DSP) 120中實施的自動增益控制算法自適應地控制。其他收發(fā)器控制算法也可以在數(shù)字信號處理器(DSP) 120中實施，以提供收發(fā)器122更為復雜的控制。當移動設備IO通過PLMN的通信發(fā)生在單一頻率或一組密集分布頻率上時，單個的本地振蕩器(LO) 123可以與發(fā)送器(TX) 122和接收器(RX) 121協(xié)同使用?？蛇x地，如果不同的頻率被用于語音/ 數(shù)據(jù)通信或發(fā)送與接收，則多個本地振蕩器128可被用以產(chǎn)生多個相應的頻率。盡管圖1中描述的天線129可以是不同的天線系統(tǒng)(未示出)，移動設備IO可以如圖所示地使用單天線結構用于信號接收
及發(fā)送。包括語音和數(shù)據(jù)信息兩者在內(nèi)的信息經(jīng)由接口 110與數(shù)字
信號處理器(DSP) 120之間的數(shù)據(jù)鏈路在蜂窩接口 IIO之間往來通信。蜂窩接口 IIO的詳細設計，例如頻帶、組件選擇、功率水平等，將依賴于其中旨在操作移動設備100的無線網(wǎng)絡。
在完成了所有所需的網(wǎng)絡注冊或激活過程之后(該過程可能涉及在蜂窩網(wǎng)絡中注冊所需的訂戶識別模塊(SIM) 210)，然后移動設備10可以通過無線網(wǎng)絡發(fā)送和接收通信信號，包括語音和數(shù)據(jù)信號。由天線129從無線網(wǎng)絡接收到的信號被路由給接收器121，其提供如下操作信號放大、頻率下變頻、濾波、通道選擇以及模數(shù)轉換。接收信號的模數(shù)轉換允許使用數(shù)字信號處理器(DSP) 120執(zhí)行更為復雜的通信功能，例如數(shù)字解調(diào)和解碼。以類似的方式，將要被發(fā)送的信號由例如數(shù)字信號處理器(DSP) 120處理(包括調(diào)制和編碼)，而后提供給發(fā)送器122用于數(shù)模轉換、頻率上變頻、濾波、放大，并經(jīng)由天線129傳輸?shù)綗o線網(wǎng)絡。
可被指定為設備平臺微處理器的微處理器/微控制器(HC) 100 管理移動設備10的功能。由處理器IIO使用的操作系統(tǒng)軟件149優(yōu) 選地在例如非易失性存儲器140中永久地存儲，其可被實施為例如閃存、支持電池的RAM、任何其他的非易失性存儲技術、或其組合。除了控制移動設備10的低層功能和(圖形)基本用戶界面功能的操作系統(tǒng)149之外，非易失性存儲器140還包括多個高層軟件應用程序或模塊，例如語音通信軟件應用程序142、數(shù)據(jù)通信軟件應用程序 141、組織器模塊(未示出)、或其他任何類型的軟件模塊(未示出)。這些模塊被處理器IOO執(zhí)行并提供移動設備IO與其用戶之間的高層接口。該接口典型地包括通過受控于顯示控制器130的顯示器135 提供的圖形組件、以及通過小鍵盤控制器170與處理器100連接的小鍵盤175提供的輸入/輸出組件、輔助輸入/輸出(I/O)接口 200、和/或短程(SR)通信接口 180。輔助1/0接口 200尤其包括USB(通用串行總線)接口、串行接口、 MMC (多媒體卡)接口和相關接口技術/標準、以及其他任何標準化的或私有的數(shù)據(jù)通信總線技術，而短程通信接口射頻(RF)低功率接口尤其包括WLAN(無線局域網(wǎng)) 和藍牙通信技術或IRDA (紅外數(shù)據(jù)接入)接口。這里引入的RF低功率接口應特別纟皮理解為包括任何IEEE 801.xx標準技術，其描述可從電子電氣工程師協(xié)會獲得。此外，輔助1/0接口 200和短程通信接口 180可以分別表示一個和多個接口，這些接口分別支持一個或多個輸入/輸出接口技術和通信接口技術。
操作系統(tǒng)、特定的設備軟件應用或模塊或其部分可以被暫時性地加載到易失性存儲器150中，例如典型地基于DRAM (直接隨機存取存儲器)技術實現(xiàn)的隨機存取存儲器，以便更快地操作。此外，接收到的通信信號在被永久性地寫入文件系統(tǒng)前，也可以被暫時性地保存在易失性存儲器150中，其中文件系統(tǒng)位于非易失性存儲器
儲器上。應當理解，上述組件代表了這里以蜂窩電話形式實施的傳統(tǒng)移動設備10的典型組件。本發(fā)明不限于這些特定組件，對其實現(xiàn) 的描述僅為說明之用及出于完整性考慮。
移動設備10的示例性軟件應用模塊是個人信息管理器應用程序，其提供PDA (個人數(shù)字助理)功能，典型地包括聯(lián)系人管理器、日歷、任務管理器等。這樣的個人信息管理器由處理器100執(zhí)行，可訪問移動設備10的組件，也可與其他軟件應用才莫塊交互。例如，與語音通信軟件應用的交互使其可以管理電話呼叫、語音郵件等，并且與數(shù)據(jù)通信軟件應用程序的交互使其可以管理SMS (短消息服務)、MMS (多媒體服務)、電子郵件通信和其他數(shù)據(jù)傳輸。非易失性存儲器140優(yōu)選地提供文件系統(tǒng)以利于永久保存設備上數(shù)據(jù)項，具體包括日歷條目、聯(lián)系人等。與例如經(jīng)由蜂窩接口、短程通信接口或輔助I/O接口的網(wǎng)絡進行數(shù)據(jù)通信能力支持經(jīng)由這些網(wǎng)絡的上
傳、下載、同步。
應用模塊141到149表示被配置為由處理器IOO執(zhí)行的設備功能或軟件應用。在大多數(shù)已知的移動設備中，單個的處理器管理和控制移動設備的全部操作及所有設備功能和軟件應用。這個概念適
用于今天的移動設備。特別地，增強的多媒體功能的實施驅(qū)動對計算能力的需求，該實施包括例如視頻流重現(xiàn)應用、對由集成地或可拆卸地連接的數(shù)字照相機功能獲取的數(shù)字圖像和視頻序列的才喿作、以及還包括復雜圖形學的游戲應用程序。處理計算能力需求的一種方式是通過實施強大的和通用的處理器內(nèi)核來解決提高計算能力的問題，這種方法在過去被沿用。另一個用于提供計算能力的方法是實現(xiàn)兩個或多個獨立的處理器內(nèi)核，這是本領域內(nèi)眾所周知的方法。
管通用處理器被設計為執(zhí)行多樣性的不同任務，沒有針對事先選定的特殊任務的專門化，但多處理器設置可以包括一個或多個通用處理器、以及被配置為處理預定任務集的一個或多個專用處理器。然而，在一個設備中多個處理器的實施中，特別是在如移動設備10這樣的移動設備中，傳統(tǒng)上需要對組件進行完全和復雜的重新設計。
下文中，本發(fā)明將提出一個概念，它允許附加處理器內(nèi)核與現(xiàn) 有處理設備實施的簡單集成，使得代價高昂的完全和復雜的重新設計可以被省略。將參考片上系統(tǒng)(SoC)設計加以描述創(chuàng)造性。片上系統(tǒng)(SoC)是將處理設備的至少多個(或所有)組件集成在單個的
高集成化芯片上的概念。這樣的片上系統(tǒng)可以包含數(shù)字、模擬、混合信號，并常常包含射頻功能——全部在一個芯片上。典型的處理設備包括執(zhí)行不同任務的多個集成電路。這些集成電路具體包括微
處理器、存儲器、通用異步結接收器-發(fā)送器(UART)、串行/并行端口、直接存儲器存取(DMA)控制器等。通用異步接收器-發(fā)送器 (UART)在數(shù)據(jù)的并行比特和串行比特之間轉換。導致超大規(guī)模集成(VLSI)電路的半導體技術近來的進展實現(xiàn)復雜性方面的重大增長，從而有可能將系統(tǒng)的多個組件集成在單一的芯片上。參考圖1, 其一個或多個組件，例如控制器130和160、存儲器組件150和140、以及接口 200、 180、 IIO中的一個或多個，可以與處理器100—起集成在單個的芯片中，最終形成片上系統(tǒng)(SoC)。
另外，所述設備10配備有用于根據(jù)本發(fā)明的創(chuàng)造性操作視頻數(shù)
據(jù)可伸縮編碼的模塊105和解碼的模塊106。依靠CPU 100，所述模塊105和106可以單獨被使用。然而，所述設備IO被配置為分別執(zhí) 行視頻數(shù)據(jù)編碼或解碼。所述視頻數(shù)據(jù)可能依靠設備的通信模塊被接收，也可以被保存在設備10中的任意可能想到的存儲裝置上。
參考附圖2,根據(jù)本發(fā)明的FGS編碼原理的詳細解釋被描述。原始的未加工—見頻數(shù)據(jù):故用于運動估計，以及還用于編碼基本層EL 和相應的增強層EL。原則上，每個EL包括被編碼的FGS信息，它可以例如實現(xiàn)解碼器側的進一步圖像改進。在進行了所有編碼操作之后，BL數(shù)據(jù)流和(如果需要)具有附加FGS信息的多于一個的 EL數(shù)據(jù)流被提供。根據(jù)本發(fā)明的創(chuàng)造性步驟，F(xiàn)GS信息以如下方式有利地編碼，即，每個FGS條帶可以覆蓋與基本層圖像中其對應條帶覆蓋的區(qū)域不同的區(qū)域。因此，對于沒有被基本層圖像中的一組條帶準確覆蓋的某個區(qū)域，可以基于EL中的FGS信息增強圖像質(zhì) 量，從而可以通過以更高的質(zhì)量編碼覆蓋感興趣區(qū)域的FGS條帶、或只編碼覆蓋感興趣區(qū)域的FGS條帶，從而實現(xiàn)感興趣區(qū)域ROI的圖4象改進。可選地，由運動估計ME產(chǎn)生的運動向量MV可以4皮進一步處理或發(fā)送給接收器。
圖3繪出了根據(jù)本發(fā)明的FGS解碼原理。在接收到BL和EL流之后，F(xiàn)GS解碼器對所述可伸縮編碼的視頻數(shù)據(jù)提供適當?shù)慕獯a。依靠運動向量MV和EL中的FGS條帶，解碼器將根據(jù)FGS信息確定基本層中的哪部分圖像應當被改進。可伸縮解碼技術由此被實現(xiàn)，同時解碼器可以確定哪些圖像區(qū)域應當利用EL的FGS信息。在這個典型的實施方式中，只有一個EL被描述并^皮相應地解碼，^旦可以想像解碼器可以處理多個EL。
圖4示出了操作序列，該操作序列圖示出根據(jù)本發(fā)明的一般FGS 編碼方法。在操作S400中序列開始。這可能對應于編碼器模塊從例如照相機獲取未加工視頻數(shù)據(jù)流的時間，參考操作S410。下一個操作將根據(jù)本操作的創(chuàng)造性步驟使用相應的FGS信息提供可伸縮視頻編碼。操作S420和S430分別象征從基本層BL產(chǎn)生或創(chuàng)建(如果
需要)多于一個的增強層EL。對于每個EL,FGS信息將被定義S440，其中所述信息被包含在對應于基本層圖像某區(qū)域的FGS條帶中。在定義了包含F(xiàn)GS信息的所有相關的FGS條帶之后，編碼器確定基本層圖像中的哪部分表示ROI,并可由此將條帶中的FGS信息專門用于該圖像部分，如參考操作S440所示。本發(fā)明范圍內(nèi)的其他實施同樣也是可以想像到的。
如果不需要進一步處理，則操作序列可以到結束操作S490,也可以才艮據(jù)新的迭^t而一皮重新啟動。
圖5是根據(jù)本發(fā)明的FGS解碼方法的操作序列。操作序列在操作S500被啟動。接下來提供了獲取操作S510，它與例如包含F(xiàn)GS 信息的可伸縮編碼數(shù)據(jù)流的接收相一致?；谒鼋邮盏降木幋a數(shù) 據(jù)流，解碼器導出S520全部所需信息BL、 EL和所謂FGS條帶中包含的FGS信息。
根據(jù)接收到的FGS條帶、基本層和增強層，解碼器被配置為重構原始序列S530。根據(jù)本發(fā)明的創(chuàng)造性步驟，接收到的FGS信息可被用于基本層圖像中的某些感興趣區(qū)域。
如果不需要進一步處理，操作序列可能到達結束操作S590,也可能根據(jù)新的迭代而被重新啟動。
參考圖6和圖7,根據(jù)本發(fā)明的編碼和解碼模塊被描述。所述模塊可以被實施為軟件、硬件等單獨形式或任意組合形式。
圖6示出用于視頻數(shù)據(jù)可伸縮編碼的模塊105。所述模塊105包
括獲取組件600,用于獲取所述視頻數(shù)據(jù)，產(chǎn)生組件610，用于基
于所述獲取的視頻數(shù)據(jù)產(chǎn)生基本層，產(chǎn)生組件620,用于根據(jù)所述視
頻數(shù)據(jù)和所述基本層產(chǎn)生至少一個相應的可伸縮增強層，其中所述至少一個增強層包括基于一個或多個增強FGS條帶的精細粒度伸縮
(FGS)信息，所述FGS條帶描述所述基本層中的某些區(qū)域；以及定義組件630,用于以如下方式定義所述一個或多個產(chǎn)生的增強FGS 條帶的至少一個，即所述至少一個產(chǎn)生的增強FGS條帶覆蓋的區(qū)域不同于基本層圖像中相應條帶覆蓋的區(qū)域；以及編碼組件640,用于
編碼所述基本層和所述至少一個增強層，得到編碼視頻數(shù)據(jù)。
圖7示出了用于編碼視頻數(shù)據(jù)的可伸縮解碼的模塊106，包括獲
取組件700，用于獲取所述編碼視頻數(shù)據(jù)，識別組件710,用于識別所述編碼視頻數(shù)據(jù)中的基本層和多個增強層，確定組件720，用于確定所述多個增強層中關于所述基本層的精細粒度伸縮(FGS)信息，其中所述FGS信息包括描述所述基本層中某區(qū)域的至少一個FGS條帶，且所述FGS條帶的至少一個覆蓋的區(qū)域不同于所述基本層圖像中相應條帶所覆蓋的區(qū)域，解碼組件730,用于通過合并所述基本層、所述多個增強層和所述F G S信息解碼所述編碼視頻數(shù)據(jù)，得到解碼視頻數(shù)據(jù)。
盡管本發(fā)明參考基于附圖的實施方式被描述，顯而易見的是，本發(fā)明并不限于此，其可以在所附權利要求的范圍內(nèi)以多種方式修改。
權利要求
1.一種用于編碼視頻數(shù)據(jù)的方法，該方法包括-獲取所述視頻數(shù)據(jù)；-基于所述獲取的視頻數(shù)據(jù)產(chǎn)生基本層圖像，所述基本層圖像包括至少一個條帶，所述條帶對應于所述基本層圖像中的區(qū)域；以及-產(chǎn)生對應于所述基本層圖像的至少一個增強層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應于所述增強層圖像中的區(qū)域，-其中，所述FGS條帶的至少一個對應的區(qū)域不同于基本層圖像中的所述條帶對應的區(qū)域，-編碼所述基本層圖像和所述至少一個增強層圖像，得到編碼視頻數(shù)據(jù)。
2. 根據(jù)權利要求1所述的方法，其中所述至少一個FGS條帶是視頻編碼標準H.264/AVC的可伸縮擴展中說明的漸進細化條帶。
3. 根據(jù)權利要求1所述的方法，其中所述產(chǎn)生所述基本層圖像和所述至少一個增強層圖像是基于所述視頻數(shù)據(jù)中的運動信息，所述運動信息由運動估計過程提供。
4. 根據(jù)權利要求1所述的方法，其中所述至少一個FGS條帶對應于圖像中的感興趣區(qū)域(ROI)。
5. 根據(jù)權利要求1所述的方法，其中所述基本層圖像中條帶的數(shù)量和增強層圖像中FGS條帶的數(shù)量不同。
6. 根據(jù)權利要求1所述的方法，其中所述FGS條帶被編碼，使得其具有對應于預定數(shù)值的字節(jié)數(shù)。
7. —種用于編碼視頻數(shù)據(jù)的可伸縮解碼的方法，包括步驟 -獲取所述編碼視頻數(shù)據(jù)；-識別所述編碼視頻數(shù)據(jù)中的基本層圖像和至少一個增強層圖所述基本層圖像包括至少一個條帶，所述條帶對應于所述基本層圖像中的區(qū)域；并且至少一個增強層圖像對應于所述基本層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮(F G S )條帶，所述至少一個FGS條帶對應于所述增強層圖像中的區(qū)域，其中所述FGS條帶的所述至少一個對應的區(qū)域不同于所述基本層圖像中的所述條帶對應的區(qū)域，通過合并所述基本層圖像、所述至少一個增強層圖像解碼所述編碼視頻數(shù)據(jù)，得到解碼視頻數(shù)據(jù)。
8. 根據(jù)權利要求7所述的方法，其中所述至少一個FGS條帶是稱作H.264/AVC的視頻編碼標準的可伸縮擴展中說明的漸進細化條帶。
9. 根據(jù)權利要求7所述的方法，其中所述基本層圖像和所述增強層圖像是基于所述編碼視頻數(shù)據(jù)中的運動信息，所述運動信息由所述編碼視頻數(shù)據(jù)提供。
10. 根據(jù)權利要求7所述的方法，其中所述至少一個FGS條帶涉及所述編碼視頻數(shù)據(jù)中單獨圖像的某些感興趣區(qū)域。
11. 根據(jù)權利要求7所述的方法，其中所述編碼^L頻數(shù)據(jù)不包括覆蓋非感興趣區(qū)域的FGS條帶。
12. 根據(jù)權利要求7所述的方法，其中所述至少一個FGS條帶具有接近但小于預定數(shù)值的字節(jié)數(shù)。
13. —種根據(jù)權利要求1所述的方法操作的設備。
14. 一種根據(jù)權利要求7所述的方法操作的設備。
15. —種用于根據(jù)權利要求1所述方法支持數(shù)據(jù)傳輸?shù)南到y(tǒng)。
16. —種用于根據(jù)權利要求7所述方法支持數(shù)據(jù)傳輸?shù)南到y(tǒng)。
17. —種數(shù)據(jù)傳輸系統(tǒng)，包括至少一個編碼設備，用于執(zhí)行視頻數(shù)據(jù)的可伸縮編碼方法，包括步驟-獲取所述視頻數(shù)據(jù)；-基于所述獲取的視頻數(shù)據(jù)產(chǎn)生基本層圖像，所述基本層圖像包括至少一個條帶，所述條帶對應于所述基本層圖像中的區(qū)域；以及-產(chǎn)生對應于所述基本層圖像的至少一個增強層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應于所述增強層圖像中的區(qū)域，-其中所述FGS條帶的所述至少一個對應的區(qū)域不同于所述基本層圖像中的所述條帶對應的區(qū)域。-編碼所述基本層圖像和所述至少一個增強層圖像，得到編碼視頻數(shù)據(jù)，以及一種解碼設備，用于執(zhí)行編碼視頻數(shù)據(jù)的可伸縮解碼方法，包括步驟獲取所述編碼視頻數(shù)據(jù)；識別所述編碼視頻數(shù)據(jù)中的基本層圖像和至少一個增強層圖像；所述基本層圖像包括至少一個條帶，所述條帶對應于所述基本層圖像中的區(qū)域；以及對應于所述基本層圖像的至少一個增強層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮(F G S ) 條帶，所述至少一個FGS條帶對應于所述增強層圖像中的區(qū)域，其中所述FGS條帶的所述至少一個對應的區(qū)域不同于所述基本層圖像中的所述條帶對應的區(qū)域，通過合并所述基本層圖像、所述至少一個增強層圖像解碼所述編碼視頻數(shù)據(jù)，得到解碼視頻數(shù)據(jù)。
18. —種計算機程序產(chǎn)品，包括計算機可讀存儲結構，其上包含計算機程序代碼，用于由電子設備主控的計算機處理器執(zhí)行，其中所述計算機程序代碼包括用于執(zhí)行根據(jù)權利要求1所述的方法的指令。
19. 一種計算機程序產(chǎn)品，包括計算機可讀存儲結構，其上包含計算機程序代碼，用于由電子設備主控的計算機處理器執(zhí)行，其中所述計算機程序代碼包括用于執(zhí)行根據(jù)權利要求7所述的方法的指令。
20. —種實施于載波中并表示指令的計算機數(shù)據(jù)信號，當其被處理器執(zhí)行時，導致權利要求1的操作被執(zhí)行。
21. —種用于視頻數(shù)據(jù)的可伸縮編碼的模塊(105),包括獲取組件(600 ),用于獲取所述視頻數(shù)據(jù)；產(chǎn)生組件(610),用于產(chǎn)生基于所獲取的視頻數(shù)據(jù)的基本層圖像；產(chǎn)生組件(620)，用于基于所述獲取的視頻數(shù)據(jù)和所述基本層產(chǎn)生至少一個增強層圖像，所述基本層圖像包括至少一個條帶，所述條帶對應于所述基本層圖像中的區(qū)域；且至少一個增強層圖像對應于所述基本層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應于所述增強層圖像中的區(qū)域；以及定義組件(630 ),用于以如下方式定義所述一個或多個產(chǎn)生的增強層FGS條帶的至少一個，即所述FGS條帶的所述至少一個對應的區(qū)域不同于所述基本層圖像中的所述條帶對應的區(qū)域；以及編碼組件(640 ),用于編碼所述基本層和所述至少一個增強層，得到編碼視頻數(shù)據(jù)。
22. —種用于編碼視頻數(shù)據(jù)的可伸縮解碼的模塊(106)，包括獲取組件(700)，用于獲取所述編碼視頻數(shù)據(jù)；識別組件(710),用于識別所述編碼視頻數(shù)據(jù)中的基本層圖像和至少一個增強層圖像；其中所述基本層圖像包括至少一個條帶，所述條帶對應于所述基本層圖像中的區(qū)域；且至少一個增強層圖像對應于所述基本層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應于所述增強層圖像中的區(qū)域，其中所述FGS條帶的所述至少一個對應的區(qū)域不同于所述基本層圖像中的所述條帶對應的區(qū)域；以及解碼組件(730 ),用于通過合并所述基本層、所述至少一個增強層解碼被編碼的視頻數(shù)據(jù)，得到解碼視頻數(shù)據(jù)。
23. —種實施于載波中并表示指令的計算機數(shù)據(jù)信號，當其被處理器執(zhí)行時，導致權利要求7的操作被執(zhí)行。
全文摘要
本發(fā)明公開了一種用于基于精細粒度伸縮(FGS)信息的有效的和改進的視頻數(shù)據(jù)可伸縮編碼和/或解碼的方法，裝置和系統(tǒng)。根據(jù)本發(fā)明的第一方面，一種用于視頻數(shù)據(jù)編碼的方法被提出，該方法包括獲取所述視頻數(shù)據(jù)；基于所述獲取的視頻數(shù)據(jù)產(chǎn)生基本層圖像，基本層圖像包括至少一個條帶，所述條帶對應于所述基本層圖像中的區(qū)域；并產(chǎn)生對應于所述基本層圖像的至少一個的增強層圖像，其中，所述至少一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應于所述增強層圖像中的區(qū)域，其中所述FGS條帶對應的所述至少一個區(qū)域不同于所述基礎層中所述條帶對應的區(qū)域，編碼所述基礎層圖像和所述至少一個增強層圖像，得到編碼視頻數(shù)據(jù)。
文檔編號H04N7/26GK101180884SQ200680018048
公開日2008年5月14日申請日期2006年3月22日優(yōu)先權日2005年4月13日
發(fā)明者王業(yè)奎申請人:諾基亞公司

完整全部詳細技術資料下載