專利名稱：一種用于采用了混合方向預(yù)測和上升小波的圖像編碼的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于對圖像數(shù)據(jù)進(jìn)行編碼和解碼的系統(tǒng)和方法。本發(fā)明尤其涉及一種改進(jìn)了的編碼和解碼方法，其通過利用混合方向預(yù)測和上升小波技術(shù)以在一幅圖像內(nèi)使用空間相關(guān)。該編碼方法也可以被用于對視頻序列進(jìn)行幀內(nèi)編碼。
背景技術(shù)：
隨著數(shù)碼相機(jī)數(shù)量的迅速增加，圖像壓縮在現(xiàn)代生活中扮演了重要的角色。在過去的幾十年中，許多壓縮方法都已經(jīng)得到發(fā)展。這些包括早期的基于差分脈碼調(diào)制技術(shù)(DPCM)的壓縮方法[1]，基于離散余弦變換(DCT)的壓縮方法[1]-[4]和基于小波的壓縮方法[5]-[20]?；贒CT的方法，例如JPEG[1]，通常提供了低計算解決辦法，但是它們在實現(xiàn)理想的可伸縮性上有困難。
與基于DCT的壓縮方法比較，基于小波的方法尤其需要更強(qiáng)的計算能力。另一方面，小波變換[21]提供了空間-頻率域中的多尺度的圖像顯示。除了便于壓縮的能量壓縮和去相關(guān)特性，小波變換的一個主要優(yōu)點是它固有的可伸縮性。例如，基于小波的JPEG2000標(biāo)準(zhǔn)[7]不僅提供了優(yōu)于基于DCT的JPEG標(biāo)準(zhǔn)的壓縮性能，而且還提供了速率、質(zhì)量和分辨率上的可伸縮性，這是消費(fèi)者和網(wǎng)絡(luò)應(yīng)用非常希望的。
事實上，自然圖像通常包括豐富的方向特性，它們一般被近似為當(dāng)?shù)厮矫嫔系木€性邊緣。這些邊緣也許既不垂直也不水平。然而，最主流的圖像編碼方法沒有考慮這種因素[1]，[5]-[7]。二維(2D)DCT或小波變換總是在水平和垂直方向執(zhí)行。這導(dǎo)致了高頻系數(shù)的大量級。此外，在低比特率下，在圖像邊緣可以清楚觀察到作為臭名昭著的Gibbs失真的量化效應(yīng)。這個問題已被許多研究人員意識到[3]，[4]，[8]-[20]。Feig等以一種與基于分形的圖像壓縮[3]相似的方式將空間預(yù)測引入到JPEG方法編碼。就綜合考慮PSNR/比特率而言，它并沒有優(yōu)于完全的基于DCT的方法。然而，在非常低的比特率下，它產(chǎn)生了少得多的塊失真和明顯更好的視覺質(zhì)量。Kondo等對DCT塊執(zhí)行方向預(yù)測，它能由四個相鄰的編碼的DCT塊中的一個預(yù)測[4]。新的視頻編碼標(biāo)準(zhǔn)H.264也已經(jīng)成功地將基于塊的空間預(yù)測技術(shù)應(yīng)用到幀內(nèi)編碼。已經(jīng)表明它在編碼效率上具有顯著的效果，是優(yōu)于那些沒進(jìn)行空間預(yù)測的方法的[22]。
有許多人已經(jīng)調(diào)查了小波/子頻段編碼方法的這個問題。Ikonomopoulos等提出了一套確定的適應(yīng)于不同方向的結(jié)構(gòu)相關(guān)性的方向濾波器[8]。Li等將子頻段分解合并到Ikonomopoulos的方法中[9]。Bamberger等使用了基于矩形圖像采樣的濾波器組[10]-[12]。它能將圖像分解成許多不同的方向組成。近來被Candes等發(fā)展的Ridgelet和Curvelet是另一種具有極性采樣的變換[13][14]。Mahesh等將采樣圖像六角形地分解成在頻率和方向上可選擇的子頻段[15]。Taubman等提出了一種方法，其中輸入圖像在小波變換前首先被重采樣[16]。重采樣過程能將圖像邊緣旋轉(zhuǎn)到水平或垂直方向。Wang等采用了類似于Taubman等的想法，但是進(jìn)一步提出重疊的延伸部分避免了不同方向區(qū)域的邊界周圍的編碼失真[17]?；谛〔ò念愃乒ぷ饕惨呀?jīng)得到報道[18][19]。
然而，少數(shù)作者已經(jīng)提出將方向預(yù)測用于基于上升的小波變換。小波變換能用兩種方法實現(xiàn)基于卷積和基于上升。上升實施方式由Daubechies提出。由Daubechies等發(fā)展的上升結(jié)構(gòu)是小波變換的一種有效和流行的實施方式，其中每個有限沖擊響應(yīng)(FIR)小波濾波器能被分解成幾個上升階段[23]。小波變換的卷積實施方式使得空間預(yù)測非常困難地被合并，而小波技術(shù)潛在地慮及了空間預(yù)測的合并。然而，由Daubechies提出的技術(shù)并沒有使用任何空間方向信息。Boulgouris等提出了一種自適應(yīng)上升技術(shù)來使預(yù)測誤差的方差最小化[20]。與Ikonomopoulos的想法類似，它由五點形采樣得到幾個方向濾波器，并用中值運(yùn)算選取它們中的一個。但是，它在無損耗圖像編碼中沒有表現(xiàn)出顯著的效果。
因此，需要的是一種用于對圖像數(shù)據(jù)，例如，比如說視頻數(shù)據(jù)進(jìn)行編碼或解碼的系統(tǒng)和方法，其中通過一種方法使比特流能被編碼，該方法利用了一幅圖像內(nèi)的空間相關(guān)性并且沒有在高頻系數(shù)中產(chǎn)生大的系數(shù)。該系統(tǒng)和方法應(yīng)該也是有計算效率的。
注意在本說明書的剩余部分中，其記載指的是由包含在一對括號內(nèi)的數(shù)字編號標(biāo)識的各個不同的出版物。例如，這種參考文獻(xiàn)可以通過列舉被識別，“參考文獻(xiàn)[1]”或僅僅是“[1]”。在詳細(xì)描述部分的末尾可以發(fā)現(xiàn)與每個編號對應(yīng)的出版物的列表。

發(fā)明內(nèi)容
本發(fā)明涉及一種用于對圖像數(shù)據(jù)進(jìn)行編碼和/或解碼的編解碼器的系統(tǒng)和方法。在本發(fā)明的系統(tǒng)和方法中，方向的空間預(yù)測被合并到傳統(tǒng)的基于上升的小波變換中。本發(fā)明的系統(tǒng)和方法提供了一種新穎、有效和靈活的數(shù)字信號處理(DSP)上升技術(shù)。本發(fā)明的系統(tǒng)和方法的DSP上升能使用流行的Haar，5/3和9/7濾波器，但是具有其它上升方法中不存在的幾個特性。例如，在每個上升階段，預(yù)測或更新信號并不總是如它們在其它上升方法中一樣是來自于水平或垂直采樣。預(yù)測和更新信號能沿圖像線性邊緣被選擇，以減少高通系數(shù)的量級。此外，出于精確的空間預(yù)測的目的，預(yù)測或更新信號可以來自于分形采樣，其能和任何插值方法計算。那就是說，本發(fā)明的DSP上升技術(shù)對插值方法沒有限制。而且，為了保證理想的重建，預(yù)測和更新的采樣用整數(shù)表達(dá)。而且，當(dāng)2D變換被分成兩個1D變換時，這兩個1D變換在DSP上升中不一定是垂直的。然而，在水平和垂直方向進(jìn)行分割以產(chǎn)生四個矩形的子頻段。
本發(fā)明的編碼系統(tǒng)的一個實施方式工作如下。一個二維(2D)信號被輸入到該系統(tǒng)。然后通過使用方向預(yù)測和上升小波，該2D信號被變換。更特別的是，使用方向預(yù)測和上升小波的2D信號的變換包括在垂直方向執(zhí)行1D小波變換以及在水平方向執(zhí)行1D小波變換。每個1D垂直和水平小波變換然后被分割成偶數(shù)和奇數(shù)的多相采樣。通過利用沿圖像中的邊緣選擇的預(yù)測信號，從鄰近的偶數(shù)的多相采樣中預(yù)測奇數(shù)的多相采樣。然后通過利用預(yù)測的奇數(shù)的多相采樣(也被稱作預(yù)測的留數(shù))以更新偶數(shù)的多相采樣，以及預(yù)測的奇數(shù)的多相采樣(例如留數(shù))和更新的偶數(shù)的多相采樣的系數(shù)被輸出并被熵編碼。熵編碼的系數(shù)然后能被輸出到比特流。
本發(fā)明的系統(tǒng)和方法也采用了有效估計和編碼方向數(shù)據(jù)的技術(shù)，因此增加了空間預(yù)測的精度并減少了附加位。這是實現(xiàn)本發(fā)明的DSP上升方法中高性能的關(guān)鍵。本發(fā)明的一個實施方式中的編碼/解碼方法是在JPEG2000方式的編解碼器中實現(xiàn)的，其中DSP上升取代了傳統(tǒng)的上升。
除了剛才描述的優(yōu)點，當(dāng)結(jié)合附圖，從以下詳細(xì)的描述來看，本發(fā)明其它的優(yōu)點將是明顯的。


結(jié)合以下的描述、附加的權(quán)利要求和附圖，本發(fā)明的特別的特征、方面和優(yōu)點將變得更好理解，其中圖1是描述一種組成用來實現(xiàn)本發(fā)明的例舉系統(tǒng)的通用目的計算裝置的框圖。
圖2是本發(fā)明編碼方法的概況的流程圖。
圖3是2D方向的空間預(yù)測上升的示例性的流程圖。
圖4是普通的1D傳統(tǒng)的上升變換的簡化的方框圖，(a)分解方和(b)合成方。
圖5是一個舉例的圖像和四個經(jīng)過傳統(tǒng)的上升分解得到的子頻段。圖5A表示了原始圖像。圖5B表示了低低(LL)子頻段。圖5B表示了低高(LH)子頻段。圖5C表示了高低(HL)子頻段和圖5D表示了高高(HH)子頻段。
圖6表示了對應(yīng)于本發(fā)明系統(tǒng)和方法的DSP上升方法中的垂直變換的角度。
圖7表示了普通的1D的DSP上升變換，(a)分解方和(b)合成方。
圖8A到8D表示了由本發(fā)明的DSP上升分解得到的四個子頻段。圖8A表示了低低(LL)子頻段。圖8B表示了低高(LH)子頻段。圖8C表示了高低(HL)子頻段和圖8D表示了高高(HH)子頻段。
圖9A、9B和9C表示了三個用于估計根據(jù)本發(fā)明的系統(tǒng)和方法的方位角的分區(qū)模式。圖9A是16×16像素塊分區(qū)；圖9B是8×8像素塊分區(qū)。圖9C是4×4像素塊分區(qū)。
圖10表示了根據(jù)本發(fā)明的系統(tǒng)和方法的圖像中的角度估計的過程的流程圖。
圖11表示了根據(jù)本發(fā)明的系統(tǒng)和方法的宏塊處的角度和模式估計的流程圖。
圖12表示了根據(jù)本發(fā)明的系統(tǒng)和方法的方位角的預(yù)測。
優(yōu)選實施方式的詳細(xì)描述在以下本發(fā)明優(yōu)選實施方式的描述中，可以參考形成其組成部分的附圖，而且附圖是通過圖解本發(fā)明可被實踐的具體實施方式
來表示的。應(yīng)該理解，在不偏離本發(fā)明的范圍之下，可以利用其它實施方式并可以作出結(jié)構(gòu)的改變。
1.0例舉的操作環(huán)境圖1表示了一種合適的計算系統(tǒng)環(huán)境100的一個例子，本發(fā)明可以在它上面實現(xiàn)。該計算系統(tǒng)環(huán)境100僅是一種合適的計算環(huán)境的一個例子，目的不在于限制本發(fā)明的使用或功能的范圍。計算環(huán)境100不應(yīng)該被解釋成具有與示例性的操作環(huán)境100中表示的任何一個組成部分或其組成部分的組合相關(guān)的依賴性或規(guī)格。
本發(fā)明對于許多其它通用目的或?qū)Ｓ媚康牡挠嬎阆到y(tǒng)環(huán)境或配置是可操作的。適用于本發(fā)明的眾所周知的計算系統(tǒng)、環(huán)境、和/或配置的例子包括，但不限于，個人電腦、服務(wù)器電腦、手持或膝上型電腦、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、機(jī)頂盒、可編程的消費(fèi)電子產(chǎn)品、網(wǎng)絡(luò)PC、小型計算機(jī)、大型計算機(jī)、包括以上系統(tǒng)或裝置的任何一種的分布式計算環(huán)境，以及諸如此類。
本發(fā)明可以用計算機(jī)可執(zhí)行指令的通用環(huán)境來描述，例如被計算機(jī)執(zhí)行的程序模塊。通常，程序模塊包括子程序、程序、對象、變量、數(shù)據(jù)結(jié)構(gòu)等，程序模塊執(zhí)行特定的任務(wù)或?qū)崿F(xiàn)特定的抽象的數(shù)據(jù)類型。本發(fā)明也可以在分布式計算環(huán)境中被實踐，其中由通過通信網(wǎng)絡(luò)連接的遠(yuǎn)程處理設(shè)備執(zhí)行任務(wù)。在分布式計算環(huán)境中，程序模塊可以處于包括存儲裝置的本地和遠(yuǎn)程計算機(jī)存儲媒體中。
參考圖1，用于實現(xiàn)本發(fā)明的示例性的系統(tǒng)包括一個以計算機(jī)110的形式的通用目的計算裝置。計算機(jī)110的組成部分可以包括，但不限于，處理單元120，系統(tǒng)存儲器130，和將包括系統(tǒng)存儲器的各種系統(tǒng)組成部分連接到處理單元120的系統(tǒng)總線121。系統(tǒng)總線121可以是包括存儲器總線或存儲控制器、外圍總線、和使用多種總線結(jié)構(gòu)的任一種的局部總線的幾種類型的總線結(jié)構(gòu)的任何一種。通過舉例的方式，并不是限制，這種總線結(jié)構(gòu)包括工業(yè)標(biāo)準(zhǔn)結(jié)構(gòu)(ISA)總線，微通道結(jié)構(gòu)(MCA)總線，增強(qiáng)工業(yè)標(biāo)準(zhǔn)結(jié)構(gòu)(EISA)總線，視頻電子標(biāo)準(zhǔn)協(xié)會(VESA)局部總線，和也被知曉為Mezzanine總線的外設(shè)部件互連(PCI)總線。
典型地，計算機(jī)110包括多種計算機(jī)可讀介質(zhì)。計算機(jī)可讀介質(zhì)可以是任何可用的能被計算機(jī)110訪問的介質(zhì)，它包括易失和非易失介質(zhì)，可移動和不可移動介質(zhì)。通過舉例的方式，并沒有限制，計算機(jī)可讀介質(zhì)可以包括計算機(jī)存儲介質(zhì)和傳播介質(zhì)。計算機(jī)存儲介質(zhì)包括易失和非易失、可移動和不可移動存儲器，由用于存儲例如計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)的信息的任何方法或技術(shù)實現(xiàn)。計算機(jī)存儲介質(zhì)包括，但不限于，RAM、ROM、EEPROM、閃存或其它存儲器技術(shù)，CD-ROM、數(shù)字多功能盤(DVD)或其它光盤存儲器，盒式磁帶、磁帶、磁盤存儲器或其它磁性存儲裝置、或任何能被用來存儲所要求的信息并能被計算機(jī)110訪問的其它介質(zhì)。傳播介質(zhì)典型地包括了計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或例如載波或其它傳輸機(jī)制的調(diào)制數(shù)據(jù)信號中的其它數(shù)據(jù)并還包括任何信息傳輸介質(zhì)。術(shù)語“調(diào)制數(shù)據(jù)信號”指的是一種信號，它具有一個或多個特征，該特征以一種對信號中的信息進(jìn)行編碼的方式被設(shè)置或變更。用舉例的方式，并沒有限制，傳播介質(zhì)包括例如有線網(wǎng)絡(luò)或直接有線連接的有線介質(zhì)，和例如聲、RF、紅外和其它無線介質(zhì)的無線介質(zhì)。以上的任意組合應(yīng)該也被包括在計算機(jī)可讀介質(zhì)的范圍內(nèi)。
系統(tǒng)存儲器130包括以例如只讀存儲器(ROM)131和隨機(jī)存儲器(RAM)132的易失和/或非易失存儲器形式的計算機(jī)存儲介質(zhì)。一個基本的輸入/輸出系統(tǒng)133(BIOS)典型地被存儲在ROM131中，它包含了例如在啟動時幫助在計算機(jī)110內(nèi)的元件之間傳輸信息的基本程序。RAM132典型地包含了被處理單元120直接訪問和/或即時操作的數(shù)據(jù)和/或程序模塊。通過舉例的方式，并不是限制，圖1表示了操作系統(tǒng)134、應(yīng)用程序135、其它程序模塊136、和程序數(shù)據(jù)137。
計算機(jī)110也可以包括其它可移動/不可移動、易失/非易失計算機(jī)存儲介質(zhì)。僅通過舉例的方式，圖1表示了從不可移動、非易失的磁性介質(zhì)讀取或?qū)懭氲挠脖P驅(qū)動器141，可從可移動、非易失的磁盤152讀取或?qū)懭氲拇疟P驅(qū)動器151，和從例如CD ROM或其它光學(xué)介質(zhì)的可移動、非易失的光盤156讀取或?qū)懭氲墓獗P驅(qū)動器155。其它能被用于示例性的操作環(huán)境中的可移動/不可移動、易失/非易失的計算機(jī)存儲介質(zhì)包括，但不限于，盒式磁帶、閃存卡、數(shù)字多功能盤、數(shù)字錄象帶、固態(tài)RAM、固態(tài)ROM，以及諸如此類。硬盤驅(qū)動器141典型地通過例如接口140的一個不可移動的存儲器接口被連接到系統(tǒng)總線121，以及磁盤驅(qū)動器151和光盤驅(qū)動器155典型地通過例如接口150的可移動存儲器接口被連接到系統(tǒng)總線121。
上述以及由圖1表示的驅(qū)動器和它們相關(guān)的計算機(jī)存儲介質(zhì)提供計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和用于計算機(jī)110的其它數(shù)據(jù)的存儲。在圖1中，例如，硬盤驅(qū)動器141被表示成存儲操作系統(tǒng)144、應(yīng)用程序145、其它程序模塊146、和程序數(shù)據(jù)147。注意這些組成部分可以與操作系統(tǒng)134、應(yīng)用程序135、其它程序模塊136、和程序數(shù)據(jù)137相同或不同。操作系統(tǒng)144、應(yīng)用程序145、其它程序模塊146、和程序數(shù)據(jù)147在這兒被用不同的數(shù)字表示，表明至少它們是不相同的。一個用戶可以通過例如鍵盤162和被廣泛稱作鼠標(biāo)、跟蹤球或觸摸墊的指示設(shè)備161的輸入裝置將命令和信息輸入到計算機(jī)110中。其它輸入裝置(沒有表示)可以包括麥克風(fēng)、操縱桿、游戲墊、衛(wèi)星反射器、掃描儀，或諸如此類。這些和其它的輸入裝置常常通過被連接到系統(tǒng)總線121的用戶輸入接口160被連接到處理單元120，但是可以通過其它例如并行端口、游戲端口或通用串行總線(USB)的接口或總線結(jié)構(gòu)連接。監(jiān)視器191或其它類型的顯示裝置通過例如視頻接口190的接口也被連接到系統(tǒng)總線121。除了監(jiān)視器，計算機(jī)也可以包括其它例如揚(yáng)聲器197和打印機(jī)196的外圍輸出設(shè)備，其可通過輸出外圍接口195被連接。本發(fā)明的特殊意義在于，能拍攝圖像序列164的照相機(jī)163(例如數(shù)字/電子照相機(jī)或攝像機(jī)，或膠片/相片掃描儀)也能夠被包括作為個人電腦110的輸入裝置。而且，雖然僅描繪了一個照相機(jī)，多個照相機(jī)可以被包括作為個人電腦110的輸入裝置。由一個或多個照相機(jī)拍攝的圖像164通過合適的照相機(jī)接口165被輸入到計算機(jī)110中。這個接口165被連接到系統(tǒng)總線121，由此使得圖像被選擇路徑并存儲到RAM132、或一個其它與計算機(jī)110相關(guān)的數(shù)據(jù)存儲裝置中。然而，注意到圖像數(shù)據(jù)能從任何一個上述的計算機(jī)可讀介質(zhì)被輸入到計算機(jī)110中，而不要求使用照相機(jī)163。
計算機(jī)110可以在對一個或多個例如遠(yuǎn)程計算機(jī)180的遠(yuǎn)程計算機(jī)使用邏輯連接的網(wǎng)絡(luò)環(huán)境中操作。遠(yuǎn)程計算機(jī)180可以是個人電腦、服務(wù)器、路由器、網(wǎng)絡(luò)PC、同等裝置或其它普通的網(wǎng)絡(luò)節(jié)點、并且典型地包括許多或全部上述的與計算機(jī)110相關(guān)的元件，盡管在圖1中只表示了存儲裝置181。圖1表示的邏輯連接包括一個局域網(wǎng)(LAN)171和一個廣域網(wǎng)(WAN)173，但是也包括其它網(wǎng)絡(luò)。這種網(wǎng)絡(luò)環(huán)境在辦公室、企業(yè)計算機(jī)網(wǎng)、內(nèi)聯(lián)網(wǎng)和互聯(lián)網(wǎng)是常見的。
當(dāng)用于LAN網(wǎng)絡(luò)環(huán)境中時，計算機(jī)110通過網(wǎng)絡(luò)接口或適配器170被連接到LAN171。當(dāng)用于WAN網(wǎng)絡(luò)環(huán)境中時，計算機(jī)110典型地包括一個調(diào)制解調(diào)器172或其它在例如互聯(lián)網(wǎng)的WAN173上建立通信的裝置。調(diào)制解調(diào)器172可以是內(nèi)置的或外置的，它可通過用戶輸入接口160、或其它合適的機(jī)制被連接到系統(tǒng)總線121。在網(wǎng)絡(luò)環(huán)境中，被描述的與計算機(jī)110相關(guān)的程序模塊或它的部分可以被存儲在遠(yuǎn)程存儲裝置中。通過舉例的方式，并不是限制，圖1表示了處于存儲裝置181上的遠(yuǎn)程應(yīng)用程序185。應(yīng)該理解表示的網(wǎng)絡(luò)連接是示例性的，以及建立計算機(jī)之間通信連接的其它手段可以被采用。
現(xiàn)在在討論了示例性的操作環(huán)境后，該描述部分的剩余部分將描述體現(xiàn)本發(fā)明的程序模塊。
2.0一種用于采用了混合方向預(yù)測和上升小波的圖像編碼的系統(tǒng)和方法將在以下段落更詳細(xì)地討論本發(fā)明的圖像編碼系統(tǒng)和方法。本發(fā)明的概況和傳統(tǒng)的上升技術(shù)的概況一起提出。然后參考傳統(tǒng)的上升，比較和細(xì)述方向預(yù)測和上升技術(shù)。插值方法、預(yù)測角度估計和編碼也被討論。最后，本發(fā)明示例性的工作環(huán)境也被討論。
2.1發(fā)明概況在圖2中表示了本發(fā)明的系統(tǒng)和方法的概況。如處理操作202所示，表示圖像的二維(2D)信號被輸入到系統(tǒng)中。如處理操作204所示和圖3所細(xì)述的，通過使用基于圖像中的邊緣和上升小波的方向預(yù)測，該2D信號然后被變換。變換的系數(shù)然后被輸出(處理操作206)并被熵編碼(處理操作208)。熵編碼的系數(shù)然后被輸出到如處理操作210所示的比特流。
如圖3所示，使用了方向預(yù)測和上升小波的2D信號的變換包括在垂直方向執(zhí)行1D小波變換(處理操作302)和在水平方向執(zhí)行1D小波變換(處理操作304)。應(yīng)該注意這兩個處理操作順序上可以顛倒。
處理操作302和304的特性如下。如處理操作306所示，第一1D小波變換沿垂直方向(處理操作306)被分成偶數(shù)和奇數(shù)的多相采樣。“預(yù)測留數(shù)”或奇數(shù)的多相采樣通過使用沿圖像中的邊緣選擇的預(yù)測信號由鄰近的偶數(shù)的多相采樣預(yù)測(處理操作308)。然后偶數(shù)的多相采樣通過使用預(yù)測的奇數(shù)的多相采樣被更新，其中沿和在前預(yù)測步驟相同的方向選擇更新的信號(處理操作310)。
類似地，第二1D小波變換被分成沿水平方向的偶數(shù)和奇數(shù)的多相采樣(處理操作312)。“預(yù)測留數(shù)”或奇數(shù)的多相采樣通過使用沿圖像中的邊緣選擇的預(yù)測信號由鄰近的偶數(shù)的多相采樣預(yù)測(處理操作314)。然后偶數(shù)的多相采樣通過使用預(yù)測的奇數(shù)的多相采樣被更新，其中沿和在前預(yù)測步驟相同的方向選擇更新的信號(處理操作316)。如圖2所示，“預(yù)測留數(shù)”和更新的偶數(shù)的多相采樣的系數(shù)然后被輸出。
本發(fā)明的系統(tǒng)和方法將方向的空間預(yù)測合并到傳統(tǒng)的基于上升的小波變換中以提供一種有效和靈活的DSP-上升圖像編碼技術(shù)。在本發(fā)明的一些實施例中，使用了流行的Haar，5/3和9/7濾波器。然而，本發(fā)明的系統(tǒng)和方法具有以下以前沒有被其它上升方法采用的特征。
●在每個上升階段，預(yù)測或更新信號并不總是來自于水平或垂直采樣。它們能沿圖像線性邊緣被選擇以減小高通系數(shù)的量級。
●出于精確的空間預(yù)測的目的，預(yù)測或更新信號可以來自于部分采樣，這可由當(dāng)今的插值技術(shù)計算。本發(fā)明的上升方法對插值方法沒有限制。
●為了保證理想的重建，預(yù)測和更新的采樣總是在整數(shù)位。
●當(dāng)2D變換被分成兩個1D變換，這兩個1D變換在本發(fā)明的DSP-上升中不一定是垂直的。例如，在傳統(tǒng)的上升中，兩個1D變換總是在水平和垂直方向進(jìn)行。默認(rèn)第二1D變換垂直于第一1D變換。但是，在許多情況中，如果第一1D變換沿某一方向進(jìn)行，第二1D變換的垂直方向不一定是最佳預(yù)測。在根據(jù)本發(fā)明的系統(tǒng)和方法中，第二變換能自由選擇最佳預(yù)測方向并不被第一1D變換的方向所限制。但是要在水平和垂直方向?qū)嵭袑⒉蓸臃殖善鏀?shù)和偶數(shù)的多相采樣以產(chǎn)生四個矩形的子頻段。
此外，本發(fā)明的系統(tǒng)和方法也采用了有效地對方向數(shù)據(jù)進(jìn)行估計和編碼的技術(shù)，因此提高了空間預(yù)測的精度并減少了附加位。這對于實現(xiàn)本發(fā)明的DSP-上升方法中的高性能是很關(guān)鍵的。本發(fā)明的一個實施例是在JPEG2000方式的編解碼器中實行的，其中DSP-上升取代了傳統(tǒng)的上升。
為了充分理解本發(fā)明和傳統(tǒng)的上升技術(shù)之間的區(qū)別，以下部分記載和比較了傳統(tǒng)上升的概況。
2.2傳統(tǒng)上升的概況現(xiàn)在將回顧一下作為一個討論根據(jù)本發(fā)明的系統(tǒng)和方法的開端的由Daubechies等在[23]中提出的傳統(tǒng)上升。一個特別的圖像被用來清楚地解釋現(xiàn)有的小波/子頻段圖像編碼方法中存在的問題。小波變換的基本思想是用存在于大部分真實生活信號中的相關(guān)結(jié)構(gòu)來構(gòu)造一個稀疏估計。鄰近的采樣和頻率比那些離得很遠(yuǎn)的要更相關(guān)。
x(m，n)m，n∈Z是2D信號。沒有一般性損耗，可以假定該信號首先在垂直方向上進(jìn)行1D小波變換(例如在圖像中的每行進(jìn)行垂直小波分解)以及然后是在水平方向(例如在圖像中的每列進(jìn)行水平小波分解)。根據(jù)[23]中給出的技術(shù)，每個1D小波變換能被分解成一個或多個上升階段。上升可以被看作一種利用空間域技術(shù)分析和合成給定信號的方法。一般，一個典型的上升階段包括三個階段分割，預(yù)測和更新。在分割階段，輸入信號被分成兩個不相交集，奇數(shù)的和偶數(shù)的采樣。在預(yù)測階段，偶數(shù)的采樣被用來預(yù)測奇數(shù)的系數(shù)。該預(yù)測的值被從奇數(shù)的系數(shù)中減去以給出預(yù)測中的誤差。在更新步驟中，偶數(shù)的系數(shù)和預(yù)測中的誤差結(jié)合，其被通過一個更新函數(shù)以對偶數(shù)的系數(shù)提供更新。上升步驟很容易被顛倒。那就是說，有可能由誤差預(yù)測的系數(shù)和偶數(shù)的系數(shù)的更新來重建原始信號。
更特別的是，以下將更詳細(xì)地描述和垂直1D小波變換相關(guān)的上升階段。
首先，1D垂直小波變換的所有采樣被分成兩個部分偶數(shù)的多相采樣和奇數(shù)的多相采樣，xe(m,n)=x(m,2n)xo(m,n)=x(m,2n+1)---(1)]]>在預(yù)測步驟，從鄰近的偶數(shù)的多相采樣中預(yù)測奇數(shù)的多相采樣。用以下方程計算預(yù)測留數(shù)h(m，n)，h(m,n)=xo(m,n)-Pxe(m,n).---(2)]]>由于現(xiàn)在將討論垂直變換，每個xo(m，n)的預(yù)測是第m列鄰近的偶數(shù)的系數(shù)的線性組合，Pxe(m,n)=Σipixe(m,n+i).---(3)]]>值得注意pi與傳統(tǒng)上升中的變量m無關(guān)。因此，方程(3)的沖擊響應(yīng)函數(shù)可以被簡化成1D形式，即P(z)=Σi=ihiePizi.---(4)]]>其中z是Z域中的變量以及pi是預(yù)測參數(shù)，其由小波濾波器決定。一般，僅當(dāng)有限數(shù)量的系數(shù)pi是非零的情況下才考慮FIR小波濾波器。此處設(shè)ib和ie分別為最小和最大的整數(shù)i，其中pi是非零的。在方程(2)的計算后，通過用預(yù)測留數(shù)h(m，n)代替xo(m，n)來得到x(m，n)的新的表達(dá)式。它等價于x(m，n)。給出奇數(shù)的多相采樣的預(yù)測和預(yù)測留數(shù)，就可用方程(2)理想地重建原始的奇數(shù)的多相采樣。
在更新步驟，偶數(shù)的多相采樣被替換成l(m，n)＝xe(m，n)+Uh(m，n) 0 (5)此處Uh(m，n)是第m列中鄰近的預(yù)測留數(shù)的線性組合，Uh(m,n)=Σjujh(m,n+j).---(6)]]>類似地，以下給出方程(6)的有限沖擊響應(yīng)函數(shù)U(z)=Σj=jhjeujzj.---(7)]]>此處jb和je分別是最小和最大的整數(shù)j，其中uj是非零的。uj是更新參數(shù)，其由小波濾波器所決定。這個步驟一般又是可顛倒的。給出l(m，n)和h(m，n)，就可理想地重建偶數(shù)的多相采樣。
變量pi和uj是濾波參數(shù)。非零濾波參數(shù)的數(shù)目和它們的量級通常依使用的小波濾波器而不同。然而，具有不同濾波器的1D基于上升的變換一般可用圖4所示的框架來描述。圖4(a)是前向的基于上升的變換。圖4(b)是逆向的基于上升的變換。變量K是上升階段的數(shù)目(對于Haar和5/3濾波器K＝1以及對于9/7濾波器K＝2)。濾波器是線性時不變算符并完全由它的沖擊響應(yīng)確定。有限沖擊響應(yīng)濾波器(FIR)是僅當(dāng)有限數(shù)量的濾波器系數(shù)是非零的情況。為了方便比較本發(fā)明的DSP上升技術(shù)和傳統(tǒng)的上升，以下列出Haar、5/3和9/7濾波器的FIR函數(shù)，Haar:P0(z)=-1U0(z)=1/2s0=s1=1---(8)]]>5/3:P0(z)=-(1+z)/2U0(z)=(1+z-1)/4s0=s1=1---(9)]]>
9/7:P0(z)=-1.586134×(1+z)U0(z)=-0.05298×(1+z-1)P1(z)=0.882911×(1+z)U1(z)=0.443506×(1+z-1)s0=1.230174s1=1/s0---(10)]]>1D水平上升變換以和上述關(guān)于垂直上升變換相同的方式被實行，但是它在m維上執(zhí)行。從以上討論中，可以發(fā)現(xiàn)方程(3)和(6)的預(yù)測總是鄰近的整數(shù)采樣或在水平或垂直方向的高通系數(shù)的組合。當(dāng)編碼圖像的許多邊緣既不水平也不垂直時，以下討論的問題出現(xiàn)了。
為了清楚地解釋該問題，如圖5(a)所示，使用了用于2D小波變換一個特別的圖像。它由四行方塊組成第一行具有水平條紋的四個方塊，第二行和第四行具有傾斜條紋的四個方塊，和第三行具有垂直條紋的四個方塊。在傳統(tǒng)的2D上升變換后，得到了圖5(b)、(c)、(d)和(e)表示的四個子頻段。這些子頻段由將2D小波通過低通和高通濾波器所得到。起初，用垂直的1D變換對2D小波進(jìn)行操作，這產(chǎn)生了由低通系數(shù)定義的圖像和由高通系數(shù)定義的圖像。然后用水平的1D變換對2D小波進(jìn)行操作，這產(chǎn)生了由低通系數(shù)和高通系數(shù)定義的圖像。這四個圖像然后被合并成四個被描繪的子頻段。在低高(LH)子頻段，僅第一行被水平變換完全移除。在高低(HL)子頻段，僅第三行被垂直變換完全移除。在高高(HH)子頻段，具有傾斜條紋的行在水平和垂直變換后仍然保持。可以清楚地觀察到，那些高通子頻段包含許多紋理信息。這在低比特率下會產(chǎn)生低的編碼效率和差的視覺質(zhì)量。
2.3采用了本發(fā)明的混合方向預(yù)測和上升小波的圖像編碼的系統(tǒng)和方法的上升結(jié)構(gòu)傳統(tǒng)的上升和根據(jù)本發(fā)明的系統(tǒng)和方法的DSP上升的主要區(qū)別在于方程(3)和(7)。不同于傳統(tǒng)的上升總是在水平或垂直方向產(chǎn)生預(yù)測，本發(fā)明的DSP上升技術(shù)利用了局部空間相關(guān)性。如圖6所示，假定像素在角度θv處具有強(qiáng)相關(guān)性，其中整數(shù)像素由標(biāo)記“”表示，二分之一像素由標(biāo)記“×”表示以及四分之一像素由標(biāo)記“+”表示。在本發(fā)明的DSP上升系統(tǒng)和方法中，x(m，2n+1)的預(yù)測來自于圖6中由箭頭指出的偶數(shù)的多相采樣。這些依如下計算，Pxe(m,n)=Σipixe(m+sign(i-1)tg(θv),n+i)---(11)]]>
其中tg()＝sin()/cos()。
相應(yīng)的有限沖擊響應(yīng)函數(shù)是P(z1,z2)=Σi=ihiepiz1sign(i-1)tg(θv)z2i.---(12)]]>由于預(yù)測總是由偶數(shù)的多相采樣計算，如果方位角已知，DSP上升可以用方程(2)理想地重建奇數(shù)的多相采樣。
在更新步驟，本發(fā)明的DSP上升技術(shù)使用了和預(yù)測步驟相同的方位角以最小化對角度數(shù)據(jù)進(jìn)行編碼的必要的位數(shù)。因此，偶數(shù)的多相采樣的預(yù)測被給作Uh(m,n)=Σjujh(m+sign(j)tg(θv),n+j).---(13)]]>相應(yīng)的有限沖擊響應(yīng)函數(shù)是U(z1,z2)=Σj=jbjeujz1sign(j)tg(θv)z2j.---(14)]]>顯然，它也保證了理想的重建。
本發(fā)明的DSP上升系統(tǒng)和方法可以采用不同的小波濾波器，其同樣可用如圖6所示的框架來描述。如下給出建議的Haar、5/3和9/7濾波器的FIR函數(shù)，Haar:P0(z1,z2)=-z1-tg(θv)U0(z1,z2)=z1tg(θv)/2s0=s1=1---(15)]]>5/3:P0(z1,z2)=-(z1-tg(θv)+z1tg(θv)z2)/2U0(z1,z2)=(z1tg(θv)+z1-tg(θv)z2-1)/4s0=s1=1---(16)]]>9/7:P0(z1,z2)=-1.586134×(z1-tg(θv)+z1tg(θv)z2)U0(z1,z2)=-0.05298×(z1tg(θv)+z1-tg(θv)z2-1)P1(z1,z2)=0.882911×(z1-tg(θv)+z1tg(θv)z2)U1(z1,z2)=0.443506×(z1tg(θv)+z1-tg(θv)z2-1)s0=1.230174s1=1/s0.---(17)]]>與方程(8)、(9)和(10)比較，傳統(tǒng)上升可以被視作本發(fā)明的DSP上升的一個特殊情況，其中θv等于零。特別地，當(dāng)1D小波變換被分解成多于一個的上升階段(例如9/7濾波器)，除了第一上升階段，通過將θv設(shè)置為零可使空間預(yù)測在其它階段無效，這因為在前的上升階段已經(jīng)消除了方向相關(guān)性。
上述討論已經(jīng)敘述了本發(fā)明的DSP上升中的1D垂直變換。水平變換以相似的方式在m維中實行。值得注意的是水平變換的方位角θh并不要求與θv垂直，以使水平變換能找到分解的最佳方向。
圖8表示了本發(fā)明的DSP上升分解之后的結(jié)果。在HL子頻段，在垂直變換后僅具有水平條紋的行保留。在垂直和水平變換后，在HH子頻段沒有任何行保留。由于垂直變換后的下采樣過程，本發(fā)明的DSP上升技術(shù)不能找到準(zhǔn)確的預(yù)測方向。但是即使在這種情況下，LH子頻段的能量比傳統(tǒng)上升分解的要小得多。
2.4插值出于準(zhǔn)確的空間預(yù)測的目的，本發(fā)明的DSP上升允許方位角指向分?jǐn)?shù)像素。換句話說，用于方程(12)和(13)的tg(θ)可以不是整數(shù)。因此，在這種情況下需要插值技術(shù)。
如圖6所示，x(m，2n+1)的預(yù)測使用了x(m-1，2n+2)和x(m，2n+2)之間以及x(m，2n)和x(m+1，2n)之間的二分之一像素。一般，不能求得這些二分之一像素的值。插值是計算分?jǐn)?shù)像素值的方法。有許多方法，例如，線性插值是y＝(x(m-1，2n+2)+x(m，2n+2)+1)＞＞1.
通過使用方程(12)為例來討論插值技術(shù)。首先，為了理想地重建，被用來對分?jǐn)?shù)像素插值的整數(shù)像素應(yīng)該屬于xe(m，n)。該技術(shù)不能使用任何來自xo(m，n)的整數(shù)像素。插值一般可被描述成xe(m+sign(i-1)tg(θ),n+i)=Σkakxe(m+k,n+i).---(18)]]>此處k是sign(i-1)tg(θ)附近的整數(shù)以及ak是插值濾波器的參數(shù)。在方程(18)的z變換之后，得到了z1sign(i-1)tg(θv)=Σk=kbkeakz1k---(19)]]>參數(shù)ak具有有限數(shù)目的非零系數(shù)。在這個實施例中，采用了流行的Sinc插值，其決定了值ak。方程(14)的插值以相同的方式實現(xiàn)。
2.5方向估計每個采樣的方位角θv和θh在給定的塊大小下局部地估計，例如一個16×16的塊。如圖8所示，一個16×16的塊能被劃分成三個模式16×16(圖9A)，8×8(圖9B)和4×4(圖9C)。在16×16的模式中，所有的像素具有相同的方位角。在4×4的模式中，每個方塊具有16個方位角以及在4×4的子塊中的所有像素具有相同的角度。此外，預(yù)測的角度越精確，空間預(yù)測就越準(zhǔn)確。由視頻編碼中的運(yùn)動補(bǔ)償?shù)闹R，本發(fā)明的實施例優(yōu)選于將預(yù)測精度提高到四分之一像素。
大體上，在圖10中表示了圖像中角度估計的過程。如處理操作1002、1004和1006所示，對于圖像中的每個宏塊，可從不同的塊大小和垂直方向中的候選角中找到最佳預(yù)測角和模式。然后實行1D垂直變換(處理操作908)。如處理操作1010、1012和1014所示，對于圖像中的每個宏塊，從不同的塊大小和水平方向中的候選角中找到最佳預(yù)測角和模式。然后執(zhí)行1D垂直變換，如處理操作1016所示。
圖11表示了宏塊中角度和模式估計的過程。如處理操作1102、1104、1106所示，可以找到16×16的宏塊中的最佳角度、8×8的宏塊中的最佳角度和4×4的子塊中的最佳角度。然后基于處于塊模式水平的這三個最佳角度找到最佳模式(處理操作1108)。在用于垂直和水平變換的方程(20)和(21)中給出了確定最佳角度和模式的準(zhǔn)則。
建議用R-D法則來確定每個16×16的塊的預(yù)測模式和方位角。以下給出用于在垂直上升變換中估計模式和方位角的準(zhǔn)則，E=Σm=m0m0+16Σn=n0n0+8|h(m,n)|+λvRv.---(20)]]>此處，h(m，n)是垂直變換后的高通系數(shù)，其可以由方程(2)計算。Rv是對模式和方位角編碼的位數(shù)；λv是拉格朗日因子；以及(m0，n0)是h(m，n)的左上方像素的座標(biāo)。
在對估計的方向數(shù)據(jù)進(jìn)行垂直上升變換后，可以得到低通信號l(m，n)和高通信號h(m，n)。它們繼續(xù)被用水平變換處理。一般而言，h(m，n)具有較少能量。不需要在垂直分解后用另一組預(yù)測模式和角度對高通子頻段進(jìn)行水平變換。因此，h(m，n)在水平方向被分解。
有另一組分解l(m，n)的預(yù)測模式和角度，這與用于垂直分解的不同。以下給出新的準(zhǔn)則，E=Σm=m1m1+8Σn=n1n1+8|lh(m,n)|+λhRh.---(21)]]>此處，lh(m，n)是LH子頻段的系數(shù)。Rh是進(jìn)行模式和方位角編碼的位數(shù)。λh是拉格朗日因子。以及(m1，n1)是lh(m，n)的左上方像素的座標(biāo)。
2.6方位角編碼用固定的但是自適應(yīng)映射的可變長編碼(VLC)表對方位角編碼。如圖12所示，假定當(dāng)前塊的角度c被編碼。即將用鄰近塊的角度a、b和d來預(yù)測編碼角?？捎靡韵聹?zhǔn)則來選擇哪個角度被用作預(yù)測，p=dabs(b-d)>abs(b-a)aabs(b-d)≤abs(b-a).---(22)]]>換句話說，如果角度b和d具有更大的差值，那么角度a被用作預(yù)測；否則角度d被用作預(yù)測。
VLC表的碼元根據(jù)預(yù)測角度被自適應(yīng)分配。預(yù)測角度作為最短碼元被給出，以及從短到長的碼元根據(jù)其它角度和預(yù)測角度之間的絕對差值被分配給這些角度。之后，用預(yù)定義的表對當(dāng)前角度c進(jìn)行編碼。
2.7根據(jù)本發(fā)明的系統(tǒng)和方法的示例性的應(yīng)用除了圖像編碼，提出的DSP上升也能被用于許多其它領(lǐng)域?，F(xiàn)在，討論本發(fā)明的系統(tǒng)和方法的兩個示例性的應(yīng)用空間可縮放視頻編碼和低延遲小波視頻編碼。
2.7.1空間可縮放視頻編碼空間可縮放性是視頻編碼中非常需要的特性，特別是隨著無線網(wǎng)絡(luò)和便攜裝置的增加。這是一個很難解決的難題。許多研究已經(jīng)表明空間可縮放性將會大大地?fù)p害編碼效率。實現(xiàn)空間可縮放性的方案之一首先是將視頻序列分解成幾個四個一組的低分辨率的序列以及然后將它們共同或分別編碼。然而，這些序列的高通序列很難用現(xiàn)有的運(yùn)動補(bǔ)償方法壓縮。在本發(fā)明的DSP上升技術(shù)的幫助下，高通序列具有少得多的能量，這是因為用方向空間變換大大地消除了像素之間的相關(guān)性。用內(nèi)編碼壓縮每個高通序列。
2.7.2低延遲3D小波視頻編碼MPEG需要關(guān)于可縮放視頻編碼的建議。大部分被提議的方法都利用了時域小波分解。這些方法中的一個大問題是由于多層時域分解故延遲是相當(dāng)大的。它不能滿足來自低延遲和實時應(yīng)用的要求。根據(jù)提出的本發(fā)明的DSP上升，3D小波視頻編碼方法能減少時域分解的數(shù)量。用方向空間預(yù)測能消除低頻段的幀之間的相關(guān)性。
出于解釋和說明的目的，已經(jīng)提供了在前的本發(fā)明的描述。它并不是詳盡的或是將本發(fā)明限制于公開的具體形式。鑒于上述思想，許多改進(jìn)和變化是可能的。本發(fā)明的范圍不應(yīng)該被這份詳細(xì)的描述所限制，而是應(yīng)該由此處所附的權(quán)利要求所限制。
權(quán)利要求
1.一種用于對二維(2D)信號進(jìn)行編碼的系統(tǒng)，包括一個通用計算裝置；一個包括了可由通用計算裝置執(zhí)行的程序模塊的計算機(jī)程序，其中計算裝置被計算機(jī)程序的程序模塊命令來執(zhí)行輸入一個二維(2D)信號，通過使用基于一個圖像中邊緣的空間相關(guān)性和至少一個上升小波的方向性預(yù)測來變換所述的2D信號，以此獲得表示二維信號的輸出系數(shù)、基于該圖像中的邊緣的方位角、和表示圖像方塊大小的模式，和對輸出系數(shù)、方位角和模式進(jìn)行熵編碼由此產(chǎn)生輸入信號的編碼形式。
2.如權(quán)利要求1所述的系統(tǒng)，其中對所述的2D信號進(jìn)行變換的程序模塊，包含的子模塊會在垂直方向用子模塊實現(xiàn)一個第一一維小波變換；在垂直方向?qū)⒃摰谝灰痪S小波變換分成偶數(shù)和奇數(shù)的多相采樣；由鄰近的偶數(shù)的多相采樣預(yù)測奇數(shù)的多相采樣，其中在沿該圖像的邊緣的角度定向選擇預(yù)測信號；用所述的預(yù)測的奇數(shù)的多相采樣更新偶數(shù)的多相采樣，其中在沿該圖像的邊緣的角度定向選擇更新信號；和輸出預(yù)測的和偶數(shù)的多相采樣的系數(shù)在水平方向用子模塊實現(xiàn)一個第二一維小波變換；在水平方向?qū)⒃摰诙痪S小波變換分成偶數(shù)和奇數(shù)的多相采樣；由鄰近的偶數(shù)的多相采樣預(yù)測奇數(shù)的多相采樣，其中在沿該圖像的邊緣的角度定向選擇預(yù)測信號；用所述的預(yù)測的奇數(shù)的多相采樣更新偶數(shù)的多相采樣，其中在沿該圖像的邊緣的角度定向選擇更新信號；和輸出預(yù)測的和偶數(shù)的多相采樣的系數(shù)。
3.如權(quán)利要求2所述的系統(tǒng)，其中對于垂直方向的第一一維小波變換和水平方向的第二一維小波變換，用預(yù)測的奇數(shù)的多相采樣更新偶數(shù)的多相采樣，其中沿和預(yù)測奇數(shù)的多相采樣相同的方向的角度選擇更新信號。
4.如權(quán)利要求1所述的系統(tǒng)進(jìn)一步包括將熵編碼系數(shù)、方位角和模式輸出到比特流的程序模塊。
5.如權(quán)利要求2所述的系統(tǒng)，其中第一1D變換的角度不垂直于第二1D變換的角度。
6.如權(quán)利要求2所述的系統(tǒng)，其中用來對輸入信號的熵編碼形式進(jìn)行解碼的有熵解碼輸入信號和方位角和模式的熵編碼形式，將輸入信號分成兩個一維信號，對于用來解碼所述信號的每個一維信號，提取預(yù)測的奇數(shù)的和更新的偶數(shù)的多相采樣的系數(shù)，用預(yù)測的奇數(shù)的多相采樣和更新的偶數(shù)的多相采樣來提取原始的偶數(shù)的多相采樣，其中根據(jù)解碼角度和模式來使用預(yù)測的奇數(shù)的多相采樣，用原始的偶數(shù)的多相采樣和預(yù)測的奇數(shù)的多相采樣來提取原始的奇數(shù)的多相采樣，其中根據(jù)解碼角度和模式來使用原始的偶數(shù)的多相采樣；合并偶數(shù)的和奇數(shù)的多相采樣來創(chuàng)建一個一維小波變換，和創(chuàng)建一個基于解碼的一維信號的圖像。
7.如權(quán)利要求2所述的系統(tǒng)，其中由被方位角和模式定義的偶數(shù)的多相采樣選擇預(yù)測的信號。
8.如權(quán)利要求7所述的系統(tǒng)，其中方位角被用于更新偶數(shù)的多相采樣以使對角度數(shù)據(jù)編碼必需的位數(shù)最小化。
9.如權(quán)利要求2所述的系統(tǒng)，其中預(yù)測的信號或更新的信號來自于分?jǐn)?shù)采樣。
10.如權(quán)利要求9所述的系統(tǒng)，其中分?jǐn)?shù)采樣用插值方法計算。
11.如權(quán)利要求10所述的系統(tǒng)，其中對于屬于xe(m，n)的分?jǐn)?shù)象素，插值被描述成xe(m+sign(i-1)tg(θ),n+i)=Σkakxe(m+k,n+i)]]>其中k是sign(i-1)tg(θ)附近的整數(shù)以及ak是插值濾波器的參數(shù)。
12.如權(quán)利要求2所述的系統(tǒng)，其中預(yù)測的和更新的采樣被表示成整數(shù)。
13.如權(quán)利要求2所述的系統(tǒng)，其中通過采用使用了該圖像中象素塊的方位角估計方向數(shù)據(jù)。
14.如權(quán)利要求13所述的系統(tǒng)，其中用來估計方向數(shù)據(jù)的有將一個圖像塊劃分成三組越來越小的方塊的塊模式，其中第一塊模式是大象素塊，第二塊模式比第一象素塊小以及第三塊模式是第二象素塊的子集，并且其中在第一塊模式中所有象素具有相同的方位角；并且其中第三塊模式的每個塊具有16個方位角以及第三塊模式中的所有象素具有相同的角度；被用來估計用于垂直方向中小波變換的方位角的是Σm+m0m0+16Σn=n0n0+8|h(m,n)|+λvRv]]>其中h(m，n)是在垂直方向中小波變換后的高通系數(shù)；Rv是對塊模式和方位角編碼的位數(shù)；λv是優(yōu)化因子以及(m0，n0)是h(m，n)的左上方象素的坐標(biāo)；和被用來估計用于水平方向中小波變換的方位角的是Σm=m1m1+8Σn=n1n1+8|lh(m,n)|+λhRh.]]>其中l(wèi)h(m，n)是低高子頻段的系數(shù)；Rh是對模式和方位角編碼的位數(shù)；λh是優(yōu)化因子以及(m1，n1)是lh(m，n)的左上方象素的坐標(biāo)。
15.如權(quán)利要求14所述的系統(tǒng)，其中第一塊模式的塊大小是16×16象素，第二塊模式的塊大小是8×8象素以及第三塊模式的塊大小是4×4象素。
16.如權(quán)利要求13所述的系統(tǒng)，其中通過利用鄰近塊的方位角對塊的方位角編碼，其中假定第一行的具有相應(yīng)的角度b和角度d的兩個方塊在所述的具有角度a和角度c的第一行下的第二行方塊之上，如果角度b和d之間的絕對差值大于角度b和a之間的絕對差值，那么角度a被用作預(yù)測；否則角度d被用作預(yù)測。
17.如權(quán)利要求1所述的系統(tǒng)，其中該輸入信號包含一個視頻信號。
18.一種用于對圖像數(shù)據(jù)編碼的計算機(jī)可實現(xiàn)的方法，包括使用接收輸入信號且提供與輸入信號對應(yīng)的量化系數(shù)的輸出的可逆變換部分的處理操作，量化系數(shù)的輸出至少部分基于由矩陣上升和與圖像中的邊緣對應(yīng)的方向預(yù)測獲得的可逆變換。
19.如權(quán)利要求18所述的計算機(jī)可實現(xiàn)的方法，其中使用接收輸入信號且提供與輸入信號一致的量化系數(shù)的輸出的可逆變換部分的處理操作，量化系數(shù)的輸出至少部分基于由矩陣上升和與圖像中的邊緣對應(yīng)的方向預(yù)測獲得的可逆變換，包括輸入二維(2D)信號；以及變換使用了方向預(yù)測和至少一個上升小波的所述的2D信號，包括實行垂直方向中的一維(1D)小波變換；實行水平方向中的一維小波變換；其中每個一維小波變換包括，將垂直方向中的一維小波變換分成偶數(shù)和奇數(shù)的多相采樣；由鄰近的偶數(shù)的多相采樣預(yù)測奇數(shù)的多相采樣，其中以沿圖像中邊緣的角度定向選擇預(yù)測信號；以及用所述的預(yù)測的奇數(shù)的多相采樣更新偶數(shù)的多相采樣，其中以沿圖像中邊緣的角度定向選擇更新信號；輸出預(yù)測的和偶數(shù)的多相采樣的系數(shù)；以及熵編碼輸出系數(shù)和表示圖像中邊緣的角度，由此產(chǎn)生整數(shù)形式的輸入信號的編碼形式。
20.如權(quán)利要求19所述的計算機(jī)可實現(xiàn)的方法，其中用塊狀的圖像數(shù)據(jù)計算表示圖像中邊緣的角度。
21.如權(quán)利要求19所述的計算機(jī)可實現(xiàn)的方法，其中用輸出系數(shù)和表示圖像中邊緣的角度對表示塊狀圖像數(shù)據(jù)的模式進(jìn)行熵編碼。
22.如權(quán)利要求19所述的計算機(jī)可實現(xiàn)的方法，其中所述的處理操作被存儲在計算機(jī)可讀介質(zhì)上。
23.如權(quán)利要求19所述的計算機(jī)可實現(xiàn)的方法，其中輸入信號包含圖像信號。
24.如權(quán)利要求19所述的計算機(jī)可實現(xiàn)的方法，其中輸入信號包含視頻信號。
25.如權(quán)利要求19所述的計算機(jī)可實現(xiàn)的方法，其中Haar濾波器被用于實現(xiàn)垂直方向或水平方向中的一維小波變換中。
26.如權(quán)利要求19所述的計算機(jī)可實現(xiàn)的方法，其中5/3濾波器被用于實現(xiàn)垂直方向或水平方向中的一維小波變換中。
27.如權(quán)利要求19所述的計算機(jī)可實現(xiàn)的方法，其中9/7濾波器被用于實現(xiàn)垂直方向或水平方向中的一維小波變換中。
28.如權(quán)利要求19所述的計算機(jī)可實現(xiàn)的方法，其中用來計算來自偶數(shù)的多相采樣的x(m，2n+1)的預(yù)測的為，Pxc(m,n)=Σipixe(m+sign(i-1)tg(θv),n+i)]]>其中tg()＝sin()/cos()。
29.如權(quán)利要求19所述的計算機(jī)可實現(xiàn)的方法，其中給出偶數(shù)的多相采樣的預(yù)測為Uh(m,n)=Σjujh(m+sign(j)tg(θv),n+j).]]>
30.如權(quán)利要求19所述的計算機(jī)可實現(xiàn)的方法，其中用來估計表示圖像中邊緣的角度的處理操作為對于一組塊狀圖像數(shù)據(jù)的每一個方塊，由一組垂直方向中的候選角和圖像塊大小模式中找到最佳預(yù)測角和圖像塊大小模式；在實行1D垂直變換時使用垂直方向中的最佳預(yù)測角和圖像塊大小模式；由一組水平方向中的候選角和圖像塊大小模式中找到最佳預(yù)測角和圖像塊大小模式；以及在實行1D水平變換時使用水平方向中的最佳預(yù)測角和圖像塊大小模式。
31.一種對由使用基于表示圖像中邊緣的空間相關(guān)性的角度、至少一個上升小波和表示圖像塊大小的模式的方向預(yù)測獲得的輸入信號的熵編碼形式解碼的計算機(jī)可實現(xiàn)的方法，包含的處理操作有對輸入信號和方位角和模式的熵編碼形式進(jìn)行熵解碼，將輸入信號分成兩個一維信號，對于每個一維信號用來對所述信號解碼的有，提取預(yù)測的奇數(shù)的和更新的偶數(shù)的多相采樣的系數(shù)，使用預(yù)測的奇數(shù)的多相采樣和更新的偶數(shù)的多相采樣來提取原始的偶數(shù)的多相采樣，其中根據(jù)解碼的角度和模式來使用預(yù)測的奇數(shù)的多相采樣。使用原始的偶數(shù)的多相采樣和預(yù)測的奇數(shù)的多相采樣來提取原始的奇數(shù)的多相采樣，其中根據(jù)解碼的角度和模式來使用原始的偶數(shù)的多相采樣；結(jié)合偶數(shù)的和奇數(shù)的多相采樣來創(chuàng)建一個一維小波變換，以及創(chuàng)建一個基于解碼的一維信號的圖像。
全文摘要
一種提供了一種使用混合方向預(yù)測和上升小波技術(shù)的對采用了圖像內(nèi)的空間相關(guān)性的圖像和視頻進(jìn)行編碼的有效策略的系統(tǒng)和方法。
文檔編號H04N7/32GK1735213SQ20051009225
公開日2006年2月15日 申請日期2005年7月4日 優(yōu)先權(quán)日2004年7月3日
發(fā)明者吳楓, 李世鵬 申請人:微軟公司