專利名稱：使用用于3－d過完備小波視頻編碼框架的聯(lián)合時空預(yù)測進行形態(tài)學(xué)有效位映射編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及數(shù)字信號傳輸系統(tǒng)，并具體而言，本發(fā)明涉及在過完備(overcomplete)小波視頻編碼框架內(nèi)應(yīng)用聯(lián)合時空預(yù)測技術(shù)的系統(tǒng)和方法。
在數(shù)字視頻通信中過完備小波視頻編碼為視頻傳輸提供非常靈活和有效的框架?？梢哉J(rèn)為過完備小波視頻編碼是先前存在的幀間小波編碼技術(shù)的概括。在過完備小波域中的空間分解之后，通過獨立地一個一個子頻帶地執(zhí)行運動補償?shù)臅r間濾波，能夠解決小波變換的移位偏差的問題。
已經(jīng)引入了形態(tài)學(xué)有效位(significance)映射編碼用于圖象編碼，其中使用形態(tài)學(xué)運算將有效的(significant)小波系數(shù)群集(cluster)在一起。已經(jīng)使用二維(2-D)形態(tài)學(xué)運算群集有效的小波系數(shù)并跨不同的空間尺度(scale)預(yù)測有效位。該形態(tài)學(xué)運算已經(jīng)在保持像邊緣之類的重要特征方面顯得更加健壯。
以前存在的應(yīng)用形態(tài)學(xué)有效位編碼給視頻將不同的幀作為獨立的圖象或獨立的殘余幀。所以，現(xiàn)有技術(shù)方法不能有效地利用幀間相關(guān)性。
所以，在本領(lǐng)域中需要能夠?qū)⑿螒B(tài)學(xué)有效位運算應(yīng)用于視頻編碼以提高編碼效率的系統(tǒng)和方法。在本領(lǐng)域中還需要能夠?qū)⑿螒B(tài)學(xué)有效位運算應(yīng)用于視頻編碼以提高基于小波的視頻編碼方案的解碼視頻質(zhì)量的系統(tǒng)和方法。
為了解決上述現(xiàn)有技術(shù)的缺陷，本發(fā)明的系統(tǒng)和方法將使用運動信息的有效小波系數(shù)的時間預(yù)測應(yīng)用于視頻編碼。本發(fā)明的系統(tǒng)和方法組合時間預(yù)測技術(shù)和空間預(yù)測技術(shù)來獲得聯(lián)合時空預(yù)測和形態(tài)學(xué)群集方案。
本發(fā)明的系統(tǒng)和方法包括位于視頻發(fā)送機的視頻編碼器內(nèi)的視頻編碼算法單元。該視頻編碼算法單元定位第一視頻幀中的有效的小波系數(shù)，然后使用運動信息時間預(yù)測第二視頻幀中的有效小波系數(shù)的位置信息。然后，該視頻編碼算法單元形態(tài)學(xué)群集第二視頻幀中的有效小波系數(shù)。通過這種方式，本發(fā)明提供了用于聯(lián)合時空預(yù)測有效小波系數(shù)的系統(tǒng)和方法。
視頻編碼算法單元還能夠從所述第二視頻幀的空間雙親接收并使用空間預(yù)測信息。視頻編碼算法單元還能夠從所述第二視頻幀的其他時間雙親接收并使用時間預(yù)測信息。本發(fā)明的系統(tǒng)和方法還能夠利用雙向濾波和多個參考幀進行操作。
在本發(fā)明的一個有利實施例中，所述視頻編碼算法單元建立有效地編碼有效小波系數(shù)群集的順序。每一群集分配一個成本因子。該成本因子C是表示需要用來編碼群集的比特數(shù)量和失真減小D的速率R的函數(shù)。首先編碼具有小的成本因子值的群集。
本發(fā)明的一個目的是提供將使用運動信息的有效小波系數(shù)的時間預(yù)測應(yīng)用于視頻編碼的系統(tǒng)和方法。
本發(fā)明的另一個目的是在數(shù)字視頻發(fā)送機中提供一種在用于定位有效小波系數(shù)群集的過完備小波視頻編碼框架內(nèi)，使用聯(lián)合時空預(yù)測方法數(shù)字編碼視頻信號的系統(tǒng)和方法。
本發(fā)明的再一個目的是在數(shù)字視頻發(fā)送機中提供一種在用于定位有效小波系數(shù)群集的過完備小波視頻編碼框架內(nèi)，使用空間預(yù)測信息和時間預(yù)測信息數(shù)字編碼視頻信號的系統(tǒng)和方法。
本發(fā)明的又一個目的是提供一種通過經(jīng)由高通濾波器濾波已時空濾波的視頻幀以建立殘余子頻帶的系統(tǒng)和方法。
本發(fā)明的又一個目的是提供一種使用用于每一群集的最小化速率失真成本的成本因子，建立有效地編碼有效小波系數(shù)群集的順序的系統(tǒng)和方法。
以上廣泛地闡述了本發(fā)明的特征和技術(shù)優(yōu)點，以便本領(lǐng)域的普通技術(shù)人員可以更好地理解本發(fā)明的以下詳細(xì)描述。在下文中將描述形成本發(fā)明權(quán)利要求主題的本發(fā)明的其他特征和優(yōu)點。本領(lǐng)域的普通技術(shù)人員應(yīng)該理解他們可以容易地使用這里公開的構(gòu)思和具體實施例，作為修改或設(shè)計用于實現(xiàn)本發(fā)明相同目的的其他結(jié)構(gòu)的基礎(chǔ)。本領(lǐng)域的普通技術(shù)人員還應(yīng)當(dāng)意識到這些等效結(jié)構(gòu)在最廣泛形式方面沒有背離本發(fā)明的精神和范圍。
在本發(fā)明的詳細(xì)描述之前，可以有利地闡述在本專利文獻(xiàn)中通篇使用的某些詞和詞組的定義術(shù)語“包括”和“包含”及其派生詞指包括而沒有限制；術(shù)語“或”是包括性的，指的是和/或；詞組“與...相關(guān)”和“與其相關(guān)”及其派生詞可以指包括、包括在內(nèi)、與...互連、包含、包含在內(nèi)、連接到或與...連接、耦合到或與...耦合、可與...通信、與...互操作、交叉、并列、近似于、限制于、具有、具有特性等等；術(shù)語“控制器”、“處理器”或“設(shè)備”意指任何設(shè)備、系統(tǒng)或其控制至少一種操作的部件，這種設(shè)備可以以硬件、固件或軟件、或其至少兩種的一些組合實現(xiàn)。應(yīng)該注意到與任何特定控制器相關(guān)的功能可以是集中的或分布的，不論其是本地還是遠(yuǎn)程地分布。特別是，控制器可以包括一個或多個數(shù)據(jù)處理器，以及相關(guān)的輸入/輸出設(shè)備和存儲器，所述處理器執(zhí)行一個或多個應(yīng)用程序和/或操作系統(tǒng)程序。在本專利文獻(xiàn)全文中提供某些詞和詞組的定義。本領(lǐng)域的普通技術(shù)人員應(yīng)該明白在許多情況下，否則在絕大多數(shù)情況下，這些定義適用于這些定義詞和詞組先前的使用以及以后的使用。
為了更完整的理解本發(fā)明及其優(yōu)點，現(xiàn)在參考以下結(jié)合附圖的描述，其中相同的附圖標(biāo)記表示相同的對象，其中

圖1是示例了根據(jù)本發(fā)明的有利實施例通過數(shù)據(jù)網(wǎng)絡(luò)從流視頻發(fā)送機到流視頻接收機的流視頻的端到端傳輸?shù)姆娇驁D；圖2是示例了根據(jù)本發(fā)明的有利實施例的示意性視頻編碼器的方框圖；圖3是根據(jù)本發(fā)明有利實施例的示意過完備小波編碼器的方框圖；圖4是示例了本發(fā)明如何在四個示意子頻帶中空間分解之后應(yīng)用時間濾波的實例的圖；圖5是示例了顯示雙向濾波和使用多個參考的本發(fā)明方法的另一個實例的圖；圖6是示例了本發(fā)明方法的另一個實例的圖，該方法顯示可以如何從子頻帶的時間雙親和空間雙親預(yù)測子頻帶中有效小波系數(shù)的位置；圖7是示例了顯示可以如何排序有效小波系數(shù)群集的本發(fā)明方法的另一個實例的圖；圖8示例了顯示本發(fā)明有利實施例的第一方法的步驟的流程圖；圖9示例了顯示本發(fā)明有利實施例的第二方法的步驟的流程圖10示例了可以用于實現(xiàn)本發(fā)明原理的數(shù)字傳輸系統(tǒng)的示意性實施例。
以下討論的圖1到10，以及在本專利文獻(xiàn)中用于描述本發(fā)明原理的各種實施例僅僅通過示例的方式，而不應(yīng)該以任何方式解釋為限制本發(fā)明的范圍。本發(fā)明可以在任何數(shù)字視頻信號編碼器或代碼轉(zhuǎn)換器中使用。
圖1是示例根據(jù)本發(fā)明的有利實施例，通過數(shù)據(jù)網(wǎng)絡(luò)120從流視頻發(fā)送機110到流視頻接收機130的流視頻的端到端傳輸?shù)姆娇驁D。根據(jù)這種應(yīng)用，流視頻發(fā)送機110可以是大量視頻幀源的任何之一，包括數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器、電視臺、電纜網(wǎng)絡(luò)、臺式個人計算機(PC)等等。
流視頻發(fā)送機110包括視頻幀源112、視頻編碼器114和編碼器緩沖器116。視頻幀源112可以是能夠產(chǎn)生未壓縮視頻幀序列的任何設(shè)備，包括電視天線和接收機單元、錄像帶播放機、攝影機、能夠存儲“未加工的”視頻剪輯的盤存儲設(shè)備等等。未壓縮的視頻幀以給定的圖象速率(或“流速率”)進入視頻編碼器114并根據(jù)任何已知的壓縮算法或設(shè)備諸如MPEG-4編碼器來壓縮。視頻編碼器114然后發(fā)送壓縮的視頻幀到用于緩沖的編碼器緩沖器116，以準(zhǔn)備在數(shù)據(jù)網(wǎng)絡(luò)120上進行發(fā)送。數(shù)據(jù)網(wǎng)絡(luò)120可以是任何適當(dāng)?shù)腎P網(wǎng)絡(luò)并且可以包括諸如因特網(wǎng)之類公共數(shù)據(jù)網(wǎng)絡(luò)以及諸如企業(yè)擁有的局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)之類專用數(shù)據(jù)網(wǎng)絡(luò)的一部分。
流視頻接收機130包括解碼器緩沖器132、視頻解碼器134和視頻顯示器136。解碼器緩沖器132從數(shù)據(jù)網(wǎng)絡(luò)120接收和存儲流傳送的壓縮視頻幀。解碼器緩沖器132然后根據(jù)需要發(fā)送該壓縮的視頻幀到視頻解碼器134。視頻解碼器134以和視頻編碼器114壓縮視頻幀相同的速率(理想情況下)解壓縮所述視頻幀。視頻解碼器134發(fā)送該解壓縮的幀到視頻顯示器136，以用于在視頻顯示器136的屏幕上重放。
圖2是示例根據(jù)本發(fā)明的有利實施例的示意視頻編碼器114的方框圖。示意視頻編碼器114包括信源編碼器200和傳輸編碼器230。信源編碼器200包括波形編碼器210和熵編碼器220。從視頻幀源112(圖1所示)提供視頻信號給視頻編碼器114的信源編碼器200。該視頻信號進入波形編碼器210，在該編碼器中根據(jù)本發(fā)明的原理以將會更完整描述的方式處理所述視頻信號。
波形編碼器210是有損設(shè)備，它通過使用變換的變量和應(yīng)用量化表示原始視頻減小了比特率。波形編碼器210可以使用離散余弦變換(DCT)或小波變換執(zhí)行變換編碼。然后發(fā)送來自波形編碼器210的編碼視頻信號到熵編碼器220。
熵編碼器220是無損設(shè)備，它根據(jù)將要編碼的符號的統(tǒng)計分布將來自波形編碼器210的輸出符號映射成二進制碼字。熵編碼方法的實例包括霍夫曼編碼、算術(shù)編碼、和使用DCT和運動補償預(yù)測的混合編碼方法。然后發(fā)送來自熵編碼器220的編碼視頻信號到傳輸編碼器230。
傳輸編碼器230表示使用特定傳輸協(xié)議執(zhí)行信道編碼、打包和/或調(diào)制、以及傳輸電平控制的一組設(shè)備。傳輸編碼器230將來自信源編碼器200的比特流轉(zhuǎn)換成適于傳輸?shù)臄?shù)據(jù)單元。自傳輸編碼器230輸出的視頻信號被發(fā)送到編碼器緩沖器116，以將其最終通過數(shù)據(jù)網(wǎng)絡(luò)120發(fā)送到視頻接收機130。
圖3是示例根據(jù)本發(fā)明有利實施例的示意性過完備小波編碼器210的方框圖。過完備小波編碼器210包括分支，該分支包括產(chǎn)生當(dāng)前幀320的小波變換的離散小波變換單元310，和完備到過完備離散小波變換單元330。完備到過完備離散小波變換單元330的第一輸出被提供給運動估計單元340。完備到過完備離散小波變換單元330的第二輸出被提供給時間濾波單元350。運動估計單元340和時間濾波單元350一起提供運動補償?shù)臅r間濾波(MCTF)。運動估計單元340提供運動向量(和幀參考號碼)給時間濾波單元350。
運動估計單元340還提供運動向量(和幀參考號碼)給運動向量編碼器單元370。運動向量編碼器單元370的輸出被提供給發(fā)送單元390。時間濾波單元350的輸出被提供給子頻帶編碼器360。子頻帶編碼器360包括視頻編碼算法單元365。視頻編碼算法單元365包括操作本發(fā)明視頻編碼算法的示意性結(jié)構(gòu)。子頻帶編碼器360的輸出被提供給熵編碼器380。熵編碼器380的輸出被提供給發(fā)送單元390。過完備小波編碼器210的其他各種單元的結(jié)構(gòu)和操作在本領(lǐng)域中是眾所周知的。
二維(2-D)形態(tài)學(xué)有效位編碼已經(jīng)先前應(yīng)用于視頻。在J.Vass等人的題為“Significance-Linked Connected Component Analysis for VeryLow Bit-Rate Wavelet Video Coding”的論文中闡述和描述了一個實例，該論文在視頻技術(shù)電路和系統(tǒng)IEEE學(xué)報(IEEE Transactions on Circuitsand Systems for Video Technology)1999年6月第9卷第630-647頁中出版。Vass系統(tǒng)首先應(yīng)用時間濾波器，然后通過使用二維(2-D)形態(tài)學(xué)有效位編碼群集時間濾波的幀。Vass系統(tǒng)將不同的視頻幀考慮作為獨立的圖象和獨立的殘余幀。Vass系統(tǒng)沒有有效地利用幀間相關(guān)性。
其他現(xiàn)有技術(shù)的系統(tǒng)已經(jīng)應(yīng)用類似的形態(tài)學(xué)有效位編碼技術(shù)。參見例如，S.D.Servetto等人的題為“Image Coding Based on a MorphologicalRepresentation of Wavelet Data”的論文，該論文在視頻技術(shù)電路和系統(tǒng)IEEE學(xué)報(IEEE Transactions on Circuits and Systems for VideoTechnology)1999年9月第8卷第1161-1174頁中出版，。
與現(xiàn)有技術(shù)不同，本發(fā)明組合了形態(tài)學(xué)有效位編碼技術(shù)和使用運動信息的有效小波系數(shù)的時間預(yù)測。正如將更詳細(xì)描述地，本發(fā)明的系統(tǒng)和方法能夠識別和空間群集第一幀中的有效小波系數(shù)，使用運動信息時間預(yù)測第二幀中群集的位置，然后空間群集第二幀中的有效小波系數(shù)。本發(fā)明的視頻編碼算法(1)增加了編碼效率，和(2)增加了基于小波的視頻編碼方案的解碼視頻質(zhì)量。
為了更好地理解本發(fā)明的操作，考慮以下的實例。圖4示例了可以在空間去分解之后如何應(yīng)用時間濾波的一個有利實施例。圖4示例了在將空間小波變換處理應(yīng)用到四個相繼幀之后以相同的尺度獲得的四個示意性子頻帶。這四個子頻帶表示為子頻帶0、子頻帶1、子頻帶2、和子頻帶3。子頻帶0、子頻帶1、子頻帶2、和子頻帶3也分別用附圖標(biāo)記410、420、430和440表示。在圖4中，子頻帶中的黑點線表示有效小波系數(shù)的群集。有效小波系數(shù)可以在視頻表示中例如表示運動對象的邊緣。
本發(fā)明的方法空間群集幀410中的有效小波系數(shù)(即，獲得幀410中有效小波系數(shù)的有效位映射)。然后該方法使用運動信息(由運動向量MV1表示)來時間預(yù)測幀420中有效小波系數(shù)群集的位置。即，幀410在運動方向被時間濾波。這種時間濾波器可以是現(xiàn)有技術(shù)的時間濾波器，例如時間多分辨率分解濾波器。然后，該方法空間群集幀420中的有效小波系數(shù)(即，獲得幀410中的有效小波系數(shù)的有效位映射)。然后，編碼用于幀410的數(shù)據(jù)。
本方法還空間群集幀430中的有效小波系數(shù)(即，獲得幀430中有效小波系數(shù)的有效位映射)。然后，該方法使用運動信息(由運動向量MV2表示)來時間預(yù)測幀440中有效小波系數(shù)群集的位置。即，幀430在運動方向中被時間濾波。然后，該方法空間群集幀440中的有效小波系數(shù)(即，獲得幀440中的有效小波系數(shù)的有效位映射)。然后，編碼用于幀440的數(shù)據(jù)。
圖4還示例了使用幀410如何定位幀430中有效小波系數(shù)群集的位置。正如上所述，該方法空間群集幀410中的有效小波系數(shù)(即，獲得幀410中有效小波系數(shù)的有效位映射)。然后該方法使用運動信息(由運動向量MV3表示)來時間預(yù)測幀430中有效小波系數(shù)群集的位置。即，幀430在運動方向被時間濾波。然后，該方法空間群集幀430中的有效小波系數(shù)(即，獲得幀430中有效小波數(shù)的有效位映射)。然后，編碼用于幀430的數(shù)據(jù)。
圖4還示例了如何產(chǎn)生時空濾波的子頻帶。提供有關(guān)幀410和幀420中有效小波系數(shù)群集的位置的信息給高通濾波器(HPF)。高通濾波器濾波該信息以產(chǎn)生分解的幀450(還表示為SH1)。幀450表示由從幀410中減去幀420的相減運算產(chǎn)生的殘余(即，從子頻帶0減去子頻帶1的殘余)。然后，編碼用于幀450的數(shù)據(jù)。
同理，提供有關(guān)幀430和幀440中有效小波系數(shù)群集的位置的信息給高通濾波器(HPF)。高通濾波器濾波該信息以產(chǎn)生分解的幀460(還表示為SH3)。幀460表示由從幀430中減去幀440的相減運算產(chǎn)生的殘余(即，從子頻帶2減去子頻帶3的殘余)。然后，編碼用于幀460的數(shù)據(jù)。
殘余子頻帶(幀450和幀460)有可能比原始的子頻帶具有少得多的能量。所以，通過殘余子頻帶中較淺點的線表示有效小波系數(shù)的群集。但是，由于不完善的運動預(yù)測，有效小波系數(shù)繼續(xù)存在于邊緣的周圍(空間細(xì)節(jié))。
圖4還示例了如何從幀410和幀430產(chǎn)生殘余子頻帶(幀470)。提供有關(guān)幀410和幀430中有效小波系數(shù)群集的位置的信息給高通濾波器(HPF)。高通濾波器濾波該信息以產(chǎn)生分解的幀470(還表示為SLH)。幀470表示由從幀410中減去幀430的相減運算產(chǎn)生的殘余(即，從子頻帶0減去子頻帶2的殘余)。然后，編碼用于幀470的數(shù)據(jù)。最后，編碼子頻帶0(還表示為SLL)中幀410的數(shù)據(jù)。
可以在使用時間預(yù)測編碼四個子頻帶(SLL、SLH、SH1、SH3)的偽代碼中闡述上述處理。所述偽代碼如下(1)子頻帶SLL。以隨機種子開始來識別有效小波系數(shù)的位置。使用形態(tài)學(xué)濾波來群集該有效小波系數(shù)。獲得有效位映射。編碼用于SLL的數(shù)據(jù)。
(2)子頻帶SLH。使用運動向量MV3和SLL中的群集位置預(yù)測SLH(子頻帶0)中有效小波系數(shù)的位置。使用該預(yù)測構(gòu)造用于SLH的有效位映射。編碼用于SLH的數(shù)據(jù)。
(3)子頻帶SH1。使用運動向量MV1和SLL中的群集位置預(yù)測子頻帶0中有效小波系數(shù)的位置。使用該預(yù)測構(gòu)造用于SH1的有效位映射。編碼用于SH1的數(shù)據(jù)。
(4)子頻帶SH3。使用運動向量MV2和SLH中的群集位置預(yù)測子頻帶2中有效小波系數(shù)的位置。使用該預(yù)測構(gòu)造用于SH3的有效位映射。編碼用于SH3的數(shù)據(jù)。
本發(fā)明的方法不僅使用形態(tài)學(xué)群集技術(shù)跨不同的尺度進行預(yù)測，還跨幀進行預(yù)測。這更有效地利用了數(shù)據(jù)中的時間冗余。
圖4所示的實例是示例性的。本發(fā)明的方法并不限于圖4的實例中所示的特征。圖4示出了本發(fā)明方法在具有四個幀的二級去分解中的應(yīng)用。本發(fā)明的方法還可應(yīng)用于其他數(shù)量幀的其他級去分解。特別是，本發(fā)明的方法可以應(yīng)用于不止一個子頻帶用作參考(多個參考)的情況。本發(fā)明的方法還可以應(yīng)用于使用雙向濾波的情況。本發(fā)明的方法還可以應(yīng)用于時間濾波網(wǎng)絡(luò)內(nèi)的各種其他情形。
圖5示例了在空間分解之后如何應(yīng)用時間濾波的另一個有利實施例。圖5示例了在應(yīng)用空間小波變換處理給四個相繼幀之后以相同尺度獲得的四個示意性子頻帶。這四個子頻帶表示為子頻帶0、子頻帶1、子頻帶2、和子頻帶3。子頻帶0、子頻帶1、子頻帶2、和子頻帶3也分別用附圖標(biāo)記510、520、530和540表示。在圖5中，子頻帶中的黑點線表示有效小波系數(shù)群集。有效小波系數(shù)可以例如表示為視頻表示中運動對象的邊緣。
圖5示例了本發(fā)明的方法在涉及多個參考幀和雙向濾波的情況下如何進行操作。本發(fā)明的方法空間群集幀510中的有效小波系數(shù)(即，獲得幀510中有效小波系數(shù)的有效位映射)。然后該方法使用運動信息(由運動向量MV1表示)時間預(yù)測幀430中有效小波系數(shù)群集的位置。即，幀510在運動方向被時間濾波。
本發(fā)明的方法空間群集幀520中的有效小波系數(shù)(即，獲得幀520中的有效小波系數(shù)的有效位映射)。然后，該方法使用運動信息(由運動向量MV2表示)時間預(yù)測幀530中有效小波系數(shù)群集的位置。即，幀520在運動方向中被時間濾波。
本發(fā)明的方法空間群集幀540中的有效小波系數(shù)(即，獲得幀540中的有效小波系數(shù)的有效位映射)。然后該方法使用運動信息(由運動向量MV3表示)時間預(yù)測幀530中有效小波系數(shù)群集的位置。即，幀530在運動方向被時間濾波。運動向量MV3從幀540向幀530延伸。運動向量MV3的方向與運動向量MV1和運動向量MV2的方向相反。
有關(guān)幀510、幀520、幀530和幀540中有效小波系數(shù)群集的位置的信息被提供給高通濾波器(HPF)。高通濾波器濾波該信息以產(chǎn)生分解的幀550(還表示為SH3)。本發(fā)明的方法空間群集幀550中的有效小波系數(shù)(即，獲得幀550中有效小波系數(shù)的有效位映射)。然后，編碼用于幀550的數(shù)據(jù)。
可以在使用時間預(yù)測來編碼子頻帶SH3的偽代碼中闡述上述處理。該偽代碼如下(1)子頻帶SH3。使用運動向量MV1、MV2和MV3和幀510、幀520、和幀540中有效小波系數(shù)群集的位置來預(yù)測SH3中有效小波系數(shù)的位置。使用形態(tài)學(xué)濾波來群集有效小波系數(shù)并使用該組合預(yù)測獲得用于SH3的有效位映射。編碼用于SH3的數(shù)據(jù)。
本發(fā)明方法的其他實施例可以擴展到覆蓋包括可變的分解結(jié)構(gòu)、多個參考等等的情況。
圖6示例了在空間分解之后如何應(yīng)用時間濾波并且如何使用它來從子頻帶的時間雙親和空間雙親預(yù)測子頻帶中有效小波系數(shù)的位置的另一個有利實施例。圖6示例了當(dāng)前子頻帶(由幀610表示)、當(dāng)前子頻帶的時間雙親(由幀620表示)以及當(dāng)前子頻帶的空間雙親(由幀630表示)。
本發(fā)明方法的該實施例組合跨空間尺度的有效小波系數(shù)的預(yù)測和跨時間幀的有效小波系數(shù)的預(yù)測。即，從時間雙親(幀620)或空間雙親(幀630)可以預(yù)測幀610中有效小波系數(shù)的位置。組合根據(jù)時間雙親(幀620)或空間雙親(幀630)的預(yù)測以增加預(yù)測的健壯性并提高編碼效率。
可以在三個具體組合中組合時間雙親預(yù)測和空間雙親預(yù)測。
第一種組合是“或”組合。(1)如果所述時間雙親預(yù)測是這些系數(shù)有效，或(2)如果所述空間雙親預(yù)測是這些系數(shù)有效，則將幀610中小波系數(shù)的位置標(biāo)記為“有效”。
第二種是“與”組合。(1)如果所述時間雙親預(yù)測是這些系數(shù)有效并且(2)如果所述空間雙親預(yù)測是這些系數(shù)有效，則將幀610中小波系數(shù)的位置標(biāo)記為“有效”。
第三種組合是“表決”組合。如果大多數(shù)時間雙親預(yù)測是這些系數(shù)有效，則將幀610中小波系數(shù)的位置標(biāo)記為“有效”。這種“表決”組合可應(yīng)用于有不止一個時間雙親的情況。
在現(xiàn)有技術(shù)系統(tǒng)中，表示有效小波系數(shù)的數(shù)據(jù)被組織成像零樹之類固定的空間分層結(jié)構(gòu)或子頻帶被獨立地編碼。在一個有利實施例中，本發(fā)明的方法使用聯(lián)合時空預(yù)測應(yīng)用形態(tài)學(xué)群集。這產(chǎn)生了可以更靈活組織以獲得更好速率失真性能的相關(guān)群集。
成本因子C可以與每一形態(tài)學(xué)群集相關(guān)聯(lián)。成本因子C取決于需要用來編碼群集的比特數(shù)(即，速率R)以及通過編碼該群集獲得的失真減小D。成本因子C根據(jù)R和D的有用表達(dá)式如下C＝R+λD (1)這里系數(shù)lambda(λ)表示拉格朗日乘數(shù)。λ的值可以由用戶設(shè)置或者對于給定的約束條件通過本發(fā)明的視頻編碼算法優(yōu)化。速率R可以以編碼群集所需的比特數(shù)測量。失真減小D可以以質(zhì)量度量諸如均方重構(gòu)誤差進行測量。在替換的實施例中，成本因子C還可以包括群集對整個編碼性能的影響的測量(例如，偏差減小)。
期望確定編碼群集的最優(yōu)順序。為了獲得最大增益和減小失真，應(yīng)該首先編碼(和發(fā)送)具有小成本因子C的群集。在通過編碼群集可以獲得的失真減小D的量和編碼群集所需的比特數(shù)(速率R)之間存在折衷。本發(fā)明的方法以最小化速率-失真成本因子C的順序編碼所述群集?？梢灾饌€位平面執(zhí)行最小化速率-失真成本因子C。
用于對編碼群集排序的本發(fā)明方法給速率R中的變化提供了靈活、有效和微調(diào)粒度的自適應(yīng)，同時保留了視頻編碼方案的嵌入。
在圖7中作為實例示出了用于排序群集的本發(fā)明方法的有利實施例。
圖7示例了當(dāng)前子頻帶S1，1(由幀710表示)、當(dāng)前子頻帶S1，1的時間雙親S0，1(由幀720表示)、當(dāng)前子頻帶S1，1的空間雙親S1，0(由幀730表示)、以及用于空間雙親S1，0和時間雙親S0，1的空間雙親S0，0(由幀740表示)。
運動向量750提供用于時間濾波幀720的運動信息，以定位幀710中的有效小波向量的群集。運動向量760提供用于時間濾波器幀740的運動信息，以定位幀730中有效小波向量的群集。
使用本發(fā)明方法的示意性處理結(jié)合圖7的單元可以通過偽代碼來說明。該偽代碼如下1、定位和編碼幀740內(nèi)的群集M0，0。
2、使用群集M0，0預(yù)測幀720內(nèi)的群集M0，1。
3、使用群集M0，0預(yù)測幀730內(nèi)的群集M1，0。
4、計算用于群集M0，1的成本因子C0，1。
5、計算用于群集M1，0的成本因子C1，0。
6、比較成本因子C0，1和C1，0。
7、如果C0，1小于C1，0，首先編碼M0，1，然后編碼M1，0。
8、如果C1，0小于C0，1，首先編碼M1，0，然后編碼M0，1。
9、使用M1，0和M0，1預(yù)測幀710內(nèi)的群集M1，1。
10、編碼幀710內(nèi)的群集M1，1。
在該偽代碼中描述的示意方法顯示首先編碼具有最小成本因子值的群集。本發(fā)明的方法提供了使用優(yōu)化的速率-失真成本因子，用于對群集的編碼進行排序的有效和靈活的結(jié)構(gòu)。
圖8示例了顯示本發(fā)明有利實施例的第一方法的步驟流程圖。這些步驟統(tǒng)稱為附圖標(biāo)記800。在該方法的第一步驟中，本發(fā)明的視頻編碼算法以光柵掃描的順序掃描子頻帶，直到在第一幀中定位第一有效小波系數(shù)(步驟810)。然后，所述視頻編碼算法空間群集第一幀中的有效小波系數(shù)(步驟820)。
然后該算法使用運動信息時間預(yù)測第二幀中有效小波系數(shù)群集的位置(步驟830)。接著，該算法空間群集第二幀中的有效小波系數(shù)(步驟840)。
圖9示例了示出本發(fā)明有利實施例的提供有效小波系數(shù)的聯(lián)合時空預(yù)測的第二方法的步驟的流程圖。這些步驟統(tǒng)稱為附圖標(biāo)記900。在該方法的第一步驟中，本發(fā)明的視頻編碼算法以光柵掃描的順序掃描子頻帶，直到在第一幀中定位第一有效小波系數(shù)(步驟910)。然后該視頻編碼算法空間群集第一幀中的有效小波系數(shù)(步驟920)。
接著該算法使用運動信息時間預(yù)測第二幀中有效小波系數(shù)群集的位置(步驟930)。再接著該算法從第二幀的空間雙親空間預(yù)測第二幀中的有效小波系數(shù)群集的位置(步驟940)。然后該算法使用時間預(yù)測和/或空間預(yù)測識別第二幀中的有效小波系數(shù)群集的位置(步驟950)。
圖10示例了可以用于實現(xiàn)本發(fā)明原理的系統(tǒng)1000的示意實施例。系統(tǒng)1000可以表示電視機、機頂盒、臺式機、膝上型或掌上型計算機、個人數(shù)字助理(PDA)、視頻/圖象存儲設(shè)備諸如錄像機(VCR)、數(shù)字視頻記錄設(shè)備(DVR)、TiVO設(shè)備等，以及這些和其他設(shè)備的一部分或其組合。系統(tǒng)1000包括一個或多個視頻/圖象源1010、一個或多個輸入/輸出設(shè)備1060、處理器1020以及存儲器1030。視頻/圖象源1010可以表示例如電視接收機、VCR或其他視頻/圖象存儲設(shè)備。視頻/圖象源1010可以可替換地表示用于在例如諸如因特網(wǎng)之類的全球計算機通信網(wǎng)絡(luò)、廣域網(wǎng)、陸地廣播系統(tǒng)、電纜網(wǎng)絡(luò)、衛(wèi)星網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、或電話網(wǎng)絡(luò)、以及這些和其他類型網(wǎng)絡(luò)的一部分或其組合上從服務(wù)器或服務(wù)器所有者接收視頻的一個或多個網(wǎng)絡(luò)連接。
輸入/輸出設(shè)備1060、處理器1020和存儲器1030可以在通信媒介1050上實現(xiàn)通信。通信媒介1050可以表示例如總線、通信網(wǎng)絡(luò)、電路的一個或多個內(nèi)部連接、電路卡或其他設(shè)備、以及這些和其他通信媒介的一部分或其組合。根據(jù)存儲器1030中存儲的一個或多個軟件程序處理來自視頻源1010的輸入視頻數(shù)據(jù)并通過處理器1020執(zhí)行以產(chǎn)生提供給顯示設(shè)備1040的輸出視頻/圖象。
在優(yōu)選實施例中，應(yīng)用本發(fā)明原理的編碼和解碼可以通過所述系統(tǒng)執(zhí)行的計算機可讀代碼實現(xiàn)。該代碼可以存儲在存儲器1030中或從存儲介質(zhì)諸如CD-ROM或軟盤讀取/下載。在其他實施例中，可以代替、或組合軟件指令使用硬件電路來實現(xiàn)本發(fā)明。例如，這里示例的單元還可以實現(xiàn)為單獨的硬件單元。
盡管已經(jīng)參考本發(fā)明的特定實施例詳細(xì)描述了本發(fā)明，但是本領(lǐng)域的普通技術(shù)人員應(yīng)該明白能夠?qū)Ρ景l(fā)明作出各種變化、置換修改、變更和改變，而在其最廣泛形式方面不背離本發(fā)明的構(gòu)思和范圍。
權(quán)利要求
1.一種在數(shù)字視頻發(fā)送機(110)中用于在過完備小波視頻編碼器(210)內(nèi)數(shù)字編碼視頻信號的設(shè)備(365)，所述設(shè)備(365)包括視頻編碼算法單元(365)，該單元能夠使用第一視頻幀中的有效小波系數(shù)的位置信息以及運動信息來時間預(yù)測第二視頻幀中有效小波系數(shù)的位置信息。
2.根據(jù)權(quán)利要求1所述的設(shè)備(365)，其中，所述運動信息包括所述第一視頻幀和所述第二視頻幀之間的運動向量。
3.根據(jù)權(quán)利要求1所述的設(shè)備(365)，其中，所述視頻編碼算法單元(365)還能夠從所述第二幀的空間雙親接收空間預(yù)測信息，并使用以下之一預(yù)測所述第二視頻幀中有效小波系數(shù)的位置信息來自所述空間雙親的空間預(yù)測信息和使用所述運動信息推導(dǎo)得出的時間預(yù)測信息。
4.根據(jù)權(quán)利要求3所述的設(shè)備(365)，其中，當(dāng)所述時間預(yù)測信息預(yù)測所述第二視頻幀中所述有效小波系數(shù)的位置和/或當(dāng)所述空間預(yù)測信息預(yù)測所述第二視頻幀中所述有效小波系數(shù)的位置時，所述視頻編碼算法單元(365)識別所述第二視頻幀中有效小波系數(shù)的位置信息。
5.根據(jù)權(quán)利要求3所述的設(shè)備(365)，其中，所述視頻編碼算法單元(365)能夠從所述第二視頻幀的多個時間雙親接收時間預(yù)測信息，并且，當(dāng)所述多個時間雙親中的大多數(shù)預(yù)測所述第二視頻幀中有效小波系數(shù)的位置時，識別所述第二視頻幀中有效小波系數(shù)的位置信息。
6.根據(jù)權(quán)利要求3所述的設(shè)備(365)，其中，所述視頻編碼算法單元(365)還能夠從多個視頻幀中每一幀接收有效小波系數(shù)的位置信息和用于所述多個視頻幀中每一幀的運動信息，并使用所述位置信息和所述運動信息時間預(yù)測所述第二視頻幀中有效小波系數(shù)的位置信息。
7.根據(jù)權(quán)利要求6所述的設(shè)備(365)，其中，所述多個視頻幀的第一部分出現(xiàn)在所述第二視頻幀之前以及所述多個視頻幀的第二部分出現(xiàn)在所述第二視頻幀之后。
8.根據(jù)權(quán)利要求6所述的設(shè)備(365)，其中，所述視頻編碼算法單元(365)還能夠通過經(jīng)由高通濾波器濾波至少一個時空濾波的視頻幀產(chǎn)生至少一個殘余子頻帶。
9.據(jù)權(quán)利要求1所述的設(shè)備(365)，其中，所述視頻編碼算法單元(365)還能夠使用每一群集的成本因子C建立編碼有效小波系數(shù)群集的順序，其中C表示為C＝R+λD這里R表示編碼群集所需的比特數(shù)，D表示通過編碼所述群集獲得的失真減小D，而lambda(λ)表示拉格朗日乘數(shù)。
10.一種在數(shù)字視頻發(fā)送機(110)中用于在過完備小波視頻編碼器(210)內(nèi)數(shù)字編碼視頻信號的方法，所述方法包括以下步驟定位第一視頻幀中的有效小波系數(shù)；和使用所述第一視頻幀中的所述有效小波系數(shù)的位置信息和運動信息時間預(yù)測第二視頻幀中有效小波系數(shù)的位置信息。
11.根據(jù)權(quán)利要求10所述的方法，其中，所述運動信息包括所述第一視頻幀和所述第二視頻幀之間的運動向量。
12.根據(jù)權(quán)利要求10所述的方法，還包括以下步驟從所述第二幀的空間雙親獲得空間預(yù)測信息；和使用以下之一預(yù)測所述第二視頻幀中有效小波系數(shù)的位置來自所述空間雙親的空間預(yù)測信息和使用所述運動信息推導(dǎo)得出的時間預(yù)測信息。
13.根據(jù)權(quán)利要求12所述的方法，還包括以下步驟確定所述時間預(yù)測信息預(yù)測所述第二視頻幀中所述有效小波系數(shù)的位置和/或確定所述空間預(yù)測信息預(yù)測所述第二視頻幀中所述有效小波系數(shù)的位置；和識別所述第二視頻幀中有效小波系數(shù)的位置信息。
14.根據(jù)權(quán)利要求12所述的方法，還包括以下步驟從所述第二視頻幀的多個時間雙親獲得時間預(yù)測信息；確定所述多個時間雙親中的大多數(shù)預(yù)測所述第二視頻幀中所述有效小波系數(shù)的位置；以及基于所述第二視頻幀的所述大多數(shù)的時間雙親的所述預(yù)測，識別所述第二視頻幀中有效小波系數(shù)的位置信息。
15.根據(jù)權(quán)利要求12所述的方法，還包括以下步驟從多個視頻幀中的每一個幀獲得有效小波系數(shù)的位置信息；獲得用于所述多個視頻幀中的每一個幀的運動信息；和使用所述位置信息和所述運動信息來時間預(yù)測所述第二視頻幀中有效小波系數(shù)的位置信息。
16.根據(jù)權(quán)利要求15所述的方法，其中，所述多個視頻幀的第一部分出現(xiàn)在所述第二視頻幀之前以及所述多個視頻幀的第二部分出現(xiàn)在所述第二視頻幀之后。
17.根據(jù)權(quán)利要求15所述的方法，還包括以下步驟通過經(jīng)由高通濾波器濾波至少一個時空濾波的視頻幀產(chǎn)生至少一個殘余子頻帶。
18.根據(jù)權(quán)利要求10所述的方法，還包括以下步驟使用每一群集的成本因子C建立編碼有效小波系數(shù)群集的順序，其中C表示為C＝R+λD這里R表示編碼群集所需的比特數(shù)，D表示通過編碼所述群集獲得的失真減小D，而lambda(λ)表示拉格朗日乘數(shù)。
19.一種通過用于在數(shù)字視頻發(fā)送機(110)中在過完備小波視頻編碼器(210)內(nèi)數(shù)字編碼視頻信號的方法所產(chǎn)生的數(shù)字編碼的視頻信號，所述方法包括以下步驟定位第一視頻幀中的有效小波系數(shù)；和使用所述第一視頻幀中的所述有效小波系數(shù)的位置信息和運動信息時間預(yù)測第二視頻幀中有效小波系數(shù)的位置信息。
20.根據(jù)權(quán)利要求19所述的數(shù)字編碼的視頻信號，其中，所述運動信息包括所述第一視頻幀和所述第二視頻幀之間的運動向量。
21.根據(jù)權(quán)利要求19所述的數(shù)字編碼的視頻信號，其中，所述方法還包括以下步驟從所述第二幀的空間雙親獲得空間預(yù)測信息；和使用以下之一預(yù)測所述第二視頻幀中有效小波系數(shù)的位置來自所述空間雙親的空間預(yù)測信息和使用所述運動信息推導(dǎo)得出的時間預(yù)測信息。
22.根據(jù)權(quán)利要求21所述的數(shù)字編碼的視頻信號，其中，所述方法還包括以下步驟確定所述時間預(yù)測信息預(yù)測所述第二視頻幀中所述有效小波系數(shù)的位置和/或確定所述空間預(yù)測信息預(yù)測所述第二視頻幀中所述有效小波系數(shù)的位置；和識別所述第二視頻幀中有效小波系數(shù)的位置信息。
23.根據(jù)權(quán)利要求21所述的數(shù)字編碼的視頻信號，其中，所述方法還包括以下步驟從所述第二視頻幀的多個時間雙親獲得時間預(yù)測信息；確定所述多個時間雙親中的大多數(shù)預(yù)測所述第二視頻幀中所述有效小波系數(shù)的位置；以及基于所述第二視頻幀的所述大多數(shù)的時間雙親的所述預(yù)測，識別所述第二視頻幀中有效小波系數(shù)的位置信息。
24.根據(jù)權(quán)利要求21所述的數(shù)字編碼的視頻信號，其中，所述方法還包括以下步驟從多個視頻幀中的每一個幀獲得有效小波系數(shù)的位置信息；獲得用于所述多個視頻幀中的每一個幀的運動信息；和使用所述位置信息和所述運動信息時間預(yù)測所述第二視頻幀中有效小波系數(shù)的位置信息。
25.根據(jù)權(quán)利要求24所述的數(shù)字編碼的視頻信號，其中，所述多個視頻幀的第一部分出現(xiàn)在所述第二視頻幀之前以及所述多個視頻幀的第二部分出現(xiàn)在所述第二視頻幀之后。
26.根據(jù)權(quán)利要求24所述的數(shù)字編碼的視頻信號，所述方法還包括以下步驟通過經(jīng)由高通濾波器濾波至少一個時空濾波的視頻幀產(chǎn)生至少一個殘余子頻帶。
27.根據(jù)權(quán)利要求19所述的數(shù)字編碼的視頻信號，所述方法還包括以下步驟使用每一群集的成本因子C建立編碼有效小波系數(shù)群集的順序，其中C表示為C＝R+λD這里R表示編碼群集所需的比特數(shù)，D表示通過編碼所述群集獲得的失真減小D，而lambda(λ)表示拉格朗日乘數(shù)。
全文摘要
提供用于在過完備小波視頻編碼器中數(shù)字編碼視頻信號的系統(tǒng)和方法。視頻編碼算法單元定位第一視頻幀中的有效小波系數(shù)并使用運動信息時間預(yù)測第二視頻幀中有效小波系數(shù)的位置信息。該視頻編碼算法單元還能夠從所述第二視頻幀的空間雙親接收并使用空間預(yù)測信息。本發(fā)明組合時間預(yù)測和空間預(yù)測以獲得聯(lián)合的時空預(yù)測。本發(fā)明還建立用于編碼有效小波系數(shù)群集的順序。本發(fā)明增加了編碼效率并提供了解碼視頻的增強質(zhì)量。
文檔編號H04N7/36GK1860794SQ200480028094
公開日2006年11月8日 申請日期2004年9月24日 優(yōu)先權(quán)日2003年9月29日
發(fā)明者D·S·圖拉加, M·范德沙爾 申請人:皇家飛利浦電子股份有限公司