專利名稱：圖像處理方法和采用該圖像處理方法的圖像編碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，具體涉及圖像處理方法和采用該圖像處理方法的圖像編碼裝置。
產(chǎn)生圖像數(shù)據(jù)的數(shù)字攝象機和掃描器這類設(shè)備的技術(shù)進步是如此地顯著，使得人們非常容易取得具有較高分辨率和較高質(zhì)量的圖像。當圖像的分辨率較高時，數(shù)據(jù)量就會增加，而編碼技術(shù)有望在對付這樣大量增加的圖像數(shù)據(jù)的編碼中扮演重要的角色。雖然在一方面，人們正堅持不懈地努力尋求著最佳的數(shù)據(jù)結(jié)構(gòu)，但在另一方面，非常需要在處理編碼壓縮中提高效率，即需要進一步減少處理時間并使硬件資源最小的編碼壓縮處理技術(shù)。
根據(jù)本發(fā)明的較佳實施例涉及圖像處理方法。這個圖像處理方法包括將圖像變換為空間頻率分量；將通過該變換得到的空間頻率分量進行量化，其中所述變換以在隨后處理階段取得圖像低頻分量形式的變換處理方式實現(xiàn)，而其中所述的量化是指在該變換處理中，取得各個時間的較高空間頻率分量，從而將所得的較高空間頻率分量依次進行量化。變換處理的一個例子是，在JPEG2000格式下用于圖像編碼的子波變換的隨后處理階段，取得圖像的較低頻率分量。通過在變換時并行執(zhí)行量化，而不是在完成所有的變換后再轉(zhuǎn)而進行量化，可以縮短編碼處理的時間。此外，由于已完成編碼的空間頻率分量不再需要進行存儲，對應(yīng)于這些空間頻率分量的區(qū)域可被重寫以作它用，從而減少所需存儲容量。
圖像處理方法還包括編碼，通過量化依次進行空間頻率分量數(shù)據(jù)的量化，接著將所得編碼數(shù)據(jù)存儲到存儲器中。該圖像處理方法還包括在完成該變換，量化和編碼后，從較低頻率的空間頻率分量讀取存儲在存儲器存儲的編碼數(shù)據(jù)，然后產(chǎn)生編碼圖像數(shù)據(jù)。通過在存儲器中存儲編碼數(shù)據(jù)，重新處理編碼數(shù)據(jù)的次序可以產(chǎn)生編碼圖像數(shù)據(jù)。
根據(jù)本發(fā)明的另一個較佳實施例圖像編碼裝置。這個圖像編碼裝置包括變換單元，將圖像變換為空間頻率分量；和量化器，將由變換單元得到的空間頻率分量進行量化，其中變換單元完成在取得圖像的高頻分量后再得到圖像的低頻分量形式的變換處理，而其中量化器將從變換單元輸出的空間頻率分量依次進行量化，而不等待變換單元處理的完成。
圖像編碼裝置還包括編碼器，依次對由量化器量化的空間頻率分量的數(shù)據(jù)進行編碼；和編碼數(shù)據(jù)存儲器，暫時存儲由編碼器產(chǎn)生的編碼數(shù)據(jù)，從而以預定的次序重新安排編碼數(shù)據(jù)。該圖像編碼裝置還包括流發(fā)生器，以預定次序讀出存儲在編碼數(shù)據(jù)存儲器中的編碼數(shù)據(jù)并產(chǎn)生編碼圖像數(shù)據(jù)。流發(fā)生器可以產(chǎn)生具有首先出現(xiàn)較低頻率分量的數(shù)據(jù)結(jié)構(gòu)的編碼圖像數(shù)據(jù)。
須注意，上述結(jié)構(gòu)元件的任意替換，以及方法，裝置，系統(tǒng)，計算機程序，記錄介質(zhì)等等間的變換表達都是有效的，并由這些實施例所覆蓋。
另外，該發(fā)明概要不必描述所有的必要特征，這樣本發(fā)明也可以是這些所述特征的子組合。
圖2示出子波變換器怎樣變換原始圖像，并怎樣通過量化和編碼處理將已變換的空間頻率數(shù)據(jù)變換到編碼圖像數(shù)據(jù)。
圖3示出子波變換算是和量化和編碼處理間的時間關(guān)系。
具體實施例方式
現(xiàn)在將根據(jù)較佳的實施例描述本發(fā)明，這并不意味著限制本發(fā)明的范圍，而只是示范而已。在這些實施例中描述的所有特征及其組合對本發(fā)明并不是必需的。
下面的較佳實施例涉及采用JPEG2000作為圖像處理形式的圖像編碼。因為JPE62000眾所周知，下面不再累牘。


圖1示出根據(jù)本發(fā)明較佳實施例的圖像編碼裝置10的結(jié)構(gòu)。在硬件方面，這個結(jié)構(gòu)由CPU，存儲器和其它任意計算機的LSIs實現(xiàn)。在軟件方面，它由存儲器加載程序或由有類似編碼功能的程序?qū)崿F(xiàn)。這里描述和示出了結(jié)合這些部件實現(xiàn)的功能方框。這樣本領(lǐng)域的普通技術(shù)人員須理解，這些功能方框可通過只用硬件，只用軟件，或兩者結(jié)合的各種形式實現(xiàn)。
該圖像編碼裝置10根據(jù)JPEG2000規(guī)范執(zhí)行編碼處理。圖像編碼裝置10原則上包括子波變換器14，幀緩沖器16，量化器18，位-平面編碼器20，算術(shù)編碼器22，編碼數(shù)據(jù)存儲器26和流發(fā)生器24。幀緩沖器16用作圖像編碼處理的工作區(qū)域，而編碼數(shù)據(jù)存儲器26臨時存儲將隨后被重新安排的編碼數(shù)據(jù)。在下面將描述，可用單個公用存儲器代替幀緩沖器16和編碼數(shù)據(jù)存儲器26。
在編碼處理開始時，將原始圖像OI加載到幀緩沖器16中。通過子波變換器14對加載到幀緩沖器16中的原始圖像OI分層。JEPG2000中的子波變換器14使用Daubechies濾波器。參考圖2，該濾波器分別在圖像的x和y方向同時用作低通濾波器和高通濾波器，并把一個圖像分成四個頻率子波段。這些子波段是，在x和y方向都具有低頻分量的LL子波段，在x和y方向的一個方向有低頻分量而在另一個方向有高頻分量的HL子波段和LH子波段，和在x和y方向都有高頻分量的HH子波段。各個子波段的垂直和水平方向中的像素個數(shù)為圖像處理前像數(shù)個數(shù)的1/2，而在一次濾波后產(chǎn)生的子波段圖像其分辨率或圖像尺寸為原始圖像的1/4。
子波變換器14對這樣得到的子波段中的LL子波段圖像執(zhí)行另一次濾波處理，從而把它再分成下一個四個子波段LL，HL，LH和HH。執(zhí)行預定的濾波次數(shù)，最后一次濾波產(chǎn)生的LL子波段為最接近原始圖像OI的DC分量的圖像。在同一層次的四個子波段，(也就是，那些執(zhí)行相同次數(shù)濾波后得到的子波段，)包含從HH到HL和從LH到LL的較低頻率分量。當層次降低到更低的層次時，將產(chǎn)生包括更低頻率分量的圖像。這由圖2的示例示出，當層次位置從右下向左上移動時，可取得包括更低頻率分量的分層圖像。
量化器將子波變換器14輸出的空間頻率分量進行量化。作為編碼器不例的位-平面編碼器20和算術(shù)編碼器22對已量化的空間頻率數(shù)據(jù)編碼。編碼數(shù)據(jù)存儲器26臨時存儲從算術(shù)編碼器22輸出的編碼數(shù)據(jù)，從而將編碼數(shù)據(jù)以預定次序重新安排。流發(fā)生器24以預定次序讀取存儲在編碼數(shù)據(jù)存儲器26中的編碼數(shù)據(jù)，然后產(chǎn)生編碼數(shù)據(jù)流。在這種模式中，輸出最終編碼圖像CI。
圖2示出子波變換器14怎樣變換原始圖像OI，以及怎樣通過量化和編碼處理將已變換的空間頻率數(shù)據(jù)轉(zhuǎn)換為編碼圖像數(shù)據(jù)CI。原始圖像OI通過子波變換器14執(zhí)行的第一次濾波，成為第一層次的圖像WI1。這里，在第n層次的子波段HL，LH，HH分別用nHL，nLH和nHH指示。在這個圖像WI1的LL子波段上執(zhí)行另一次濾波，這樣產(chǎn)生第二層次的圖像WI2。以類似的方式，將重復執(zhí)行另一次濾波。在圖2示出的示例中，執(zhí)行過濾波的圖像送到第三層次的圖像WI3。
如上所述，在最后的濾波處理中產(chǎn)生的LL子波段最接近于原始圖像的DC分量，是最重要的信息。這樣，考慮到在數(shù)據(jù)變換中可能出現(xiàn)的差錯和通信問題，并為了實現(xiàn)逐次浮現(xiàn)的顯示效果，需要這樣一種數(shù)據(jù)結(jié)構(gòu)，使得在具有最高重要性的最終LL子波段開始首先出現(xiàn)低頻分量，然后再出現(xiàn)高頻分量。不過，在子波變換器14的變換處理中，首先取得較高的頻率分量，在隨后階段再得到較低的頻率分量，如圖2所示。這里，如果在子波變換器14執(zhí)行的變換處理都已完成并且輸出最終的LL子波段之后，再執(zhí)行量化和編碼處理，則與變換處理所需時間相同的量化處理和編碼處理將占用從處理開始到處理完成所需的許多時間(特別是當需要處理帶有大量數(shù)據(jù)的圖像時)，這樣就沒有有效完成量化和編碼處理。
考慮到這些問題，根據(jù)本實施例，每當取得更高頻率的空間頻率分量時，就依次將這些分量進行量化并編碼，然后將其臨時存儲在編碼數(shù)據(jù)存儲器26中。換言之，量化和編碼處理與變換處理并列進行，而不是等待變換處理完成后再進行。然后，在各個變換，量化和編碼都完成后，將存儲在編碼數(shù)據(jù)存儲器26中的編碼數(shù)據(jù)，按照從低頻分量到高頻分量的次序依次讀出，(也就是上述處理次序的反轉(zhuǎn)次序)，從而產(chǎn)生編碼圖像數(shù)據(jù)CI。
圖3示出子波變換處理與量化和編碼處理間的時間關(guān)系。在圖像的亮度信號Y，色差信號Cb和Cr上分別執(zhí)行子波變換。首先，子波變換器14執(zhí)行對亮度信號Y的子波變換，如圖2所示，這樣產(chǎn)生第一層次的空間頻率分量Y1。然后，依次產(chǎn)生第二層次的空間頻率分量Y2和第三層次的空間頻率分量Y3。當通過子波變換14產(chǎn)生第一層次的空間頻率分量Y1時，量化器18對Y1進行量化，而不等待變換處理完成。另外，當量化器18的量化處理完成時，位-平面編碼器20和算術(shù)編碼器22對已經(jīng)量化的依次從一級輸出的數(shù)據(jù)編碼，并且把已經(jīng)編碼的量化的數(shù)據(jù)存儲到編碼數(shù)據(jù)存儲器26中。接著，可將頭信息加到編碼數(shù)據(jù)，這樣當接著讀出重新安排的編碼數(shù)據(jù)時能夠識別Y1編碼的數(shù)據(jù)。因為頭信息只在流發(fā)生器24讀出編碼數(shù)據(jù)時使用，而不加到要輸出的編碼圖像數(shù)據(jù)CI中，該頭信息可以是由流發(fā)生器24能識別的任意形式。對于色差信號Cb和Cr，量化和編碼處理以類似的方式并行于子波變換處理而執(zhí)行，這樣編碼數(shù)據(jù)連續(xù)地存儲在編碼數(shù)據(jù)存儲器26中。
在子波變換，量化和編碼都完成并且所有的編碼數(shù)據(jù)都存儲到編碼數(shù)據(jù)存儲器26中后，流發(fā)生器24從低頻分量開始連續(xù)讀出編碼數(shù)據(jù)，從而產(chǎn)生編碼圖像數(shù)據(jù)CI。在圖3示出的例子中，首先讀出具有最低頻率的在第三層次中的亮度信號Y3，色差信號Cb3和Cr3。這樣，這些數(shù)據(jù)以第二層次的Y2，Cb2和Cr2的次序，和第一層次的Y1，Cb1和Cr1的次序重新安排，如圖3所示，從而產(chǎn)生編碼圖像數(shù)據(jù)CI編碼圖像數(shù)據(jù)CI的數(shù)據(jù)結(jié)構(gòu)可以依次為Y3，Y2，Y1，Cb3，Cb2，Cb1，Cr3，Cr2和Cr1。在這個例子中，數(shù)據(jù)結(jié)構(gòu)也是在相同信號中，低頻分量在高頻分量前出現(xiàn)。
根據(jù)圖3示出的過程，在量化和編碼處理中將空間頻率分量轉(zhuǎn)換為編碼數(shù)據(jù)之后，就不需將空間頻率分量存儲到幀緩沖器16中了，這樣隨后可以將那些空間頻率分量從幀緩沖器16中刪除。于是，用其它數(shù)據(jù)重寫存儲已經(jīng)被轉(zhuǎn)換為編碼數(shù)據(jù)的空間頻率分量的存儲區(qū)域的方式，可將幀緩沖器16用于存儲其它數(shù)據(jù)。因此，可減小整個存儲器尺寸。例如，如果通過重寫原始圖像數(shù)據(jù)而存儲新產(chǎn)生的編碼數(shù)據(jù)，就不需要提供更新的編碼數(shù)據(jù)存儲器26而幀緩沖器16可以公共使用，也即不需要編碼數(shù)據(jù)存儲器26。
如上所述，通過根據(jù)本發(fā)明實現(xiàn)圖像編碼裝置，提高了圖像編碼處理的效率，縮短了編碼所需的時間，并明顯減小需要的存儲器容量。
本發(fā)明根據(jù)只起示范作用的一些實施例描述，但并不僅限于那些實施例所描述的范圍。本領(lǐng)域的普通技術(shù)人員須理解上述各部件和處理的組合存在其它各種修改方案，這些方案存在于本發(fā)明的范圍中。
雖然本發(fā)明通過示范實施例進行了描述，須理解，在不背離由附加權(quán)利要求限定的本發(fā)明范圍的情況下，本領(lǐng)域的普通技術(shù)人員可以進行許多的變化和替換。
權(quán)利要求
1.一種圖像處理方法，其特征在于，包括將圖像變換為空間頻率分量；和將通過所述變換得到的空間頻率分量進行量化，所述變換以具有在隨后處理階段取得圖像低頻分量的方式執(zhí)行變換處理，并且所述量化是指在該變換處理中，每次取得較高空間頻率分量，就將所得的較高空間頻率分量依次進行量化。
2.如權(quán)利要求1所述的圖像處理方法，其特征在于，還包括依次編碼由所述量化得到的空間頻率分量的數(shù)據(jù)，然后將編碼數(shù)據(jù)存儲到存儲器中。
3.如權(quán)利要求2所述的圖像處理方法，其特征在于，還包括在完成所述變換、所述量化和所述編碼后，從較低頻率的空間頻率分量開始讀出存儲器中存儲的編碼數(shù)據(jù)，接著產(chǎn)生編碼圖像數(shù)據(jù)。
4.如權(quán)利要求3所述的圖像處理方法，其特征在于，編碼圖像數(shù)據(jù)是符合JPEG2000格式的圖像數(shù)據(jù)。
5.如權(quán)利要求1所述的圖像處理方法，其特征在于，變換處理是子波變換。
6.如權(quán)利要求2所述的圖像處理方法，其特征在于，變換處理是子波變換。
7.如權(quán)利要求3所述的圖像處理方法，其特征在于，變換處理是子波變換。
8.如權(quán)利要求4所述的圖像處理方法，其特征在于，變換處理是子波變換。
9.一種圖像編碼裝置，其特征在于，包括變換單元，將圖像變換為空間頻率分量；和量化器，將由變換單元得到的空間頻率分量進行量化，其中變換單元以具有在取得圖像的高頻分量后再得到圖像的低頻分量的方式執(zhí)行變換處理，所述量化器將從變換單元輸出的空間頻率分量依次進行量化，而不等待所述變換單元的處理過程結(jié)束。
10.如權(quán)利要求9所述的圖像編碼裝置，其特征在于，還包括編碼器，依次對由量化器量化的空間頻率分量的數(shù)據(jù)進行編碼；和編碼數(shù)據(jù)存儲器，臨時存儲由編碼器產(chǎn)生的編碼數(shù)據(jù)，從而以預定的次序重新安排編碼數(shù)據(jù)。
11.如權(quán)利要求10所述的圖像編碼裝置，其特征在于，還包括流發(fā)生器，以所述預定次序讀出存儲在編碼數(shù)據(jù)存儲器中的編碼數(shù)據(jù)并產(chǎn)生編碼圖像數(shù)據(jù)。
12.如權(quán)利要求11所述的圖像編碼裝置，其特征在于，所述流發(fā)生器產(chǎn)生具有首先出現(xiàn)較低頻率分量的數(shù)據(jù)結(jié)構(gòu)的編碼圖像數(shù)據(jù)。
13.如權(quán)利要求11所述的圖像編碼裝置，其特征在于，編碼圖像數(shù)據(jù)是符合JPEG2000格式的圖像數(shù)據(jù)。
14.如權(quán)利要求12所述的圖像編碼裝置，其特征在于，編碼圖像數(shù)據(jù)是符合JPEG2000格式的圖像數(shù)據(jù)。
15.如權(quán)利要求9所述的圖像編碼裝置，其特征在于，所述變換單元執(zhí)行子波變換。
16.如權(quán)利要求10所述的圖像編碼裝置，其特征在于，所述變換單元執(zhí)行子波變換。
17.如權(quán)利要求11所述的圖像編碼裝置，其特征在于，所述變換單元執(zhí)行子波變換。
18.如權(quán)利要求12所述的圖像編碼裝置，其特征在于，所述變換單元執(zhí)行子波變換。
19.如權(quán)利要求13所述的圖像編碼裝置，其特征在于，所述變換單元執(zhí)行子波變換。
20.如權(quán)利要求14所述的圖像編碼裝置，其特征在于，所述變換單元執(zhí)行子波變換。
全文摘要
一種施加到原始圖像的子波變換，產(chǎn)生第一層次的圖像。在第一層次的產(chǎn)生圖像中，各個高頻子波段分量1HL，1LH和1HH直接進行量化和編碼，從而臨時存儲在編碼數(shù)據(jù)存儲器中。對第一層次的圖像中的LL子波段分量進行另一次子波變換，從而產(chǎn)生第二層次的圖像。此后，從第二層次圖像中的LL子波段分量中產(chǎn)生第三層次的圖像。在該處理中，量化和編碼處理與變換處理并行處理。在完成所有的處理并準備好編碼數(shù)據(jù)后，通過從準備好的編碼數(shù)據(jù)中依次首先讀出低頻分量而產(chǎn)生符合JPEG2000標準的編碼圖像數(shù)據(jù)。
文檔編號H04N7/26GK1445997SQ03107468
公開日2003年10月1日 申請日期2003年3月18日 優(yōu)先權(quán)日2002年3月19日
發(fā)明者岡田茂之, 山內(nèi)英樹 申請人:三洋電機株式會社