專利名稱：用于三維小波變換的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維(3D)圖像和/或視頻變換。
背景技術(shù)：
3D子帶(subband)編碼是對(duì)2D子帶編碼的擴(kuò)展，最近至少部分由于以下原因而倍受關(guān)注。首先，通常它產(chǎn)生比較少的區(qū)塊效應(yīng)(blockingartifact)，這是諸如運(yùn)動(dòng)補(bǔ)償(MC)和離散余弦變換(DCT)方法的替代編碼方法所共同具有的問(wèn)題，尤其是在低的比特率時(shí)。其次，不像MC壓縮方法，它不使用單獨(dú)的運(yùn)動(dòng)估計(jì)階段。第三，它在空間和時(shí)間上都是可伸縮的?；谛〔ǖ木幋a效率在于所使用的編碼方案，例如，就如在Shapiro的文章“Embedded Image Coding Using Zerotrees of WaveletCoefficients”，IEEE Transactions on Signal Processing，Vol.41，No.12，pp.3445-3459，1993年12月，中所描述的那樣，其有效地對(duì)小波系數(shù)進(jìn)行編碼。
遺憾的是，在處理低能含量(low energy content)的小波系數(shù)時(shí)，這些技術(shù)的性能可能是比較差的。此外，觀察表明3D小波變換所產(chǎn)生的小波系數(shù)可能是低能含量的。例如，大部分小波變換后的系數(shù)值可能是零或小數(shù)量級(jí)的值。標(biāo)準(zhǔn)方法使幾個(gè)通道來(lái)對(duì)這些幀進(jìn)行編碼，并且在這些通道的每一個(gè)中，將當(dāng)前閾值與該低值的系數(shù)進(jìn)行比較。這可能導(dǎo)致較低的壓縮率和編碼效率。因此，需要一種至少大致維持編碼效率和壓縮率的方法。


說(shuō)明書(shū)的結(jié)束部分具體地指出和明確地確定了主題。但是，所要求保護(hù)的主題，包括操作的結(jié)構(gòu)和方法，以及其目的、特征和優(yōu)點(diǎn)，通過(guò)在使用附圖進(jìn)行閱讀時(shí)參考下面詳細(xì)的敘述可以得到最好地理解，其中圖1是示出具有子塊的3D小波變換的一個(gè)級(jí)別的示意圖；圖2是實(shí)施3D小波變換編碼的方法的一個(gè)實(shí)施例的過(guò)程；圖3是實(shí)施3D小波變換解碼的方法的一個(gè)實(shí)施例的過(guò)程；圖4是圖示說(shuō)明用于3D小波變換的塊和子塊之間的父子關(guān)系的示意圖；以及圖5是圖示說(shuō)明應(yīng)用3D小波變換編碼的方法的一個(gè)實(shí)施例的有代表性結(jié)果的表格。
具體實(shí)施例方式
在下面的詳細(xì)敘述中，為了提供對(duì)所要求保護(hù)的主題全面的理解，闡述了許多特定的細(xì)節(jié)。但是，本領(lǐng)域的普通技術(shù)人員應(yīng)該理解的是，所要求保護(hù)的主題可以在沒(méi)有這些特定的細(xì)節(jié)情形下被實(shí)施。在其他例子中，為了不使所要求保護(hù)的主題變得模糊，沒(méi)有對(duì)公知的方法、過(guò)程、元件以及電路進(jìn)行詳細(xì)地?cái)⑹觥?br> 多分辨率小波表示法可以提供用于解釋(interpret)圖像的簡(jiǎn)單的分級(jí)框架。在不同的分辨率下，圖像的細(xì)節(jié)通?？梢员碚鞒霎?huà)面的不同物理結(jié)構(gòu)特征。例如，一種粗糙至精細(xì)的編碼方法可以通過(guò)有助于有效壓縮而對(duì)經(jīng)過(guò)變換的圖像的編碼有所幫助。當(dāng)對(duì)視頻序列應(yīng)用類似的方法時(shí)，可能涉及到產(chǎn)生3D變換。這樣的表示法也可以指出序列的不同物理結(jié)構(gòu)，可以產(chǎn)生指示隨時(shí)間的邊緣運(yùn)動(dòng)，而不是邊緣信息的子塊。執(zhí)行3D小波變換的過(guò)程的一個(gè)實(shí)施例可以如下所示，盡管所要求保護(hù)的主題并不局限于該具體的方法或?qū)嵤├姆秶?。例如，?duì)多個(gè)視頻圖像應(yīng)用三維離散小波變換(DWT)的方法的實(shí)施例可以包括下面所述的內(nèi)容。多個(gè)視頻圖像可以包括幀，幀可以包括行和列。在這樣的方法中，多個(gè)DWT系數(shù)塊可以由如下的步驟產(chǎn)生沿著多個(gè)視頻圖像的幀序列、列序列和行序列進(jìn)行分別、連續(xù)地濾波；在應(yīng)用了每個(gè)濾波操作后，對(duì)應(yīng)用濾波操作的結(jié)果進(jìn)行重采樣(subsample)；并且在產(chǎn)生DWT系數(shù)塊后，應(yīng)用基于比特的條件編碼來(lái)對(duì)DWT系數(shù)進(jìn)行嵌入零樹(shù)編碼。這將在下面結(jié)合圖2進(jìn)行更加詳細(xì)的敘述。
所輸入的視頻序列，這里用V指代，可以被當(dāng)作具有主要根據(jù)時(shí)間位置排列的不同幀的3D塊。如圖2所示，該具體實(shí)施例中的這一序列可以被輸送給兩條路徑，即圖2中用P1和P2指代的路徑。在該實(shí)施例中使用濾波函數(shù)g(n)，沿一條路徑(這里是P1)可以進(jìn)行沿著時(shí)間軸的濾波。在該具體的實(shí)施例中，經(jīng)過(guò)濾波的數(shù)據(jù)還可以被重采樣，這里為2倍重采樣。因此，在該實(shí)施例中，塊的間隔幀可以被保留。來(lái)自經(jīng)過(guò)約化的塊的幀可以再次被輸送給兩條路徑，即圖2中所示的P3和P4。
沿著一條路徑或子路徑，例如這里的P3，可以再次使用濾波函數(shù)g(n)，沿著行進(jìn)行濾波。在該具體的實(shí)施例中，經(jīng)過(guò)濾波的數(shù)據(jù)還可以被重采樣，這里為2倍重采樣。這里，矩陣或幀的間隔列可以被保留。經(jīng)過(guò)約化的矩陣可以再次被輸送給兩條路徑，即圖2中所示的P5和P6。
這里沿著方向P5，可以使用濾波函數(shù)g(n)沿著列進(jìn)行濾波。經(jīng)過(guò)濾波的數(shù)據(jù)可以進(jìn)行2倍重采樣。矩陣的間隔行可以被保留。這可以產(chǎn)生細(xì)節(jié)信號(hào)D1。
沿著另一個(gè)方向(這里是P6)，在該具體的實(shí)施例中，可以使用濾波函數(shù)h(n)沿著列進(jìn)行濾波。對(duì)于該具體的實(shí)施例，經(jīng)過(guò)濾波的數(shù)據(jù)可以再次進(jìn)行2倍重采樣。矩陣的間隔行可以被保留。這可以產(chǎn)生細(xì)節(jié)信號(hào)D2。
在另一個(gè)子路徑(這里是P4)上，可以使用濾波函數(shù)h(n)沿著行進(jìn)行濾波。經(jīng)過(guò)濾波的數(shù)據(jù)可以進(jìn)行2倍重采樣。矩陣的間隔列可以被保留。經(jīng)過(guò)約化的矩陣可以再次分裂為兩條路徑，即圖2中的P7和PR。
在一個(gè)方向P7上，這里可以使用濾波函數(shù)g(n)沿著列進(jìn)行濾波。經(jīng)過(guò)濾波的數(shù)據(jù)可以再次進(jìn)行2倍重采樣。這里，矩陣的間隔行可以被保留。這可以產(chǎn)生細(xì)節(jié)信號(hào)D3。
在另一個(gè)方向P8上，這里可以使用濾波函數(shù)h(n)沿著列進(jìn)行濾波。經(jīng)過(guò)濾波的數(shù)據(jù)可以再次進(jìn)行2倍重采樣。這里，矩陣的間隔行可以被保留。這可以產(chǎn)生細(xì)節(jié)信號(hào)D4。
在另一條路徑(這里是P2)上，在該實(shí)施例中，這里可以使用濾波函數(shù)h(n)沿著時(shí)間軸進(jìn)行濾波。在該實(shí)施例中，經(jīng)過(guò)濾波的數(shù)據(jù)可以再次進(jìn)行2倍重采樣。塊的間隔幀可以被保留。來(lái)自經(jīng)過(guò)約化的塊的幀可以再次被輸送給兩條路徑，即圖2中的P9和P10。
在一條子路徑P9上，在該實(shí)施例中，可以使用濾波函數(shù)g(n)沿著行進(jìn)行濾波。經(jīng)過(guò)濾波的數(shù)據(jù)可以再次進(jìn)行2倍重采樣。因此，矩陣或幀的間隔列可以被保留。經(jīng)過(guò)約化的矩陣可以再次被輸送給兩條路徑，即圖2中的P11和P12。
在一個(gè)方向(這里是P11)上，這里可以使用濾波函數(shù)g(n)沿著列進(jìn)行濾波。經(jīng)過(guò)濾波的數(shù)據(jù)可以再次進(jìn)行2倍重采樣。因此，矩陣的間隔行可以被保留。這可以產(chǎn)生細(xì)節(jié)信號(hào)D5。
在另一個(gè)方向上(這里是P12)，這里可以使用濾波函數(shù)h(n)沿著列進(jìn)行濾波。經(jīng)過(guò)濾波的數(shù)據(jù)可以再次進(jìn)行2倍重采樣。因此，矩陣的間隔行可以被保留。這可以產(chǎn)生細(xì)節(jié)信號(hào)D6。
在另一條子路徑P10上，這里可以使用h(n)沿著行進(jìn)行濾波。經(jīng)過(guò)濾波的數(shù)據(jù)可以再次進(jìn)行2倍重采樣。矩陣的間隔列可以被保留。經(jīng)過(guò)約化的矩陣可以再次被分裂為兩條路徑，在該實(shí)施例中是P13和P14。
在一個(gè)方向上(這里是P13)，可以使用濾波函數(shù)g(n)沿著列進(jìn)行濾波。經(jīng)過(guò)濾波的數(shù)據(jù)可以再被重采樣，這里是2次。間隔行可以被保留。這可以產(chǎn)生細(xì)節(jié)信號(hào)D7。
在另一個(gè)方向P14上，在該實(shí)施例中，可以使用濾波函數(shù)h(n)沿著列進(jìn)行濾波。經(jīng)過(guò)濾波的數(shù)據(jù)可以再次進(jìn)行2倍重采樣。因此，矩陣的間隔行可以被保留。這可以產(chǎn)生細(xì)節(jié)信號(hào)V’。
因此，可以提取七個(gè)細(xì)節(jié)子塊，它們提供了例如是水平、垂直和對(duì)角邊緣信息隨時(shí)間的變化。在該實(shí)施例中，另一個(gè)或第八子塊或成分(component)由于低通濾波，可以是通過(guò)例如該實(shí)施例中的h(n)在低分辨率下的被應(yīng)用的視頻序列。因此，例如應(yīng)用壓縮產(chǎn)生這些塊可以產(chǎn)生3D編碼，就如下面將更加詳細(xì)描述的那樣。
觀察表明，例如通過(guò)應(yīng)用這樣的3D小波變換所產(chǎn)生的小波系數(shù)通?？赡鼙话l(fā)現(xiàn)為具有低能含量。例如，大部分小波變換后的系數(shù)值是零或小幅的值。標(biāo)準(zhǔn)方法通常使幾個(gè)通道來(lái)對(duì)這些幀進(jìn)行編碼，并將當(dāng)前閾值與低值系數(shù)進(jìn)行比較。這可能導(dǎo)致較低的壓縮比和編碼效率。因此，通過(guò)應(yīng)用解決低能含量系數(shù)的方案或技術(shù)，可以獲得改進(jìn)的結(jié)果。
前述3D小波變換的實(shí)施例的特征可以包括如下所述的內(nèi)容。離散3D小波變換可以將圖像分解為7個(gè)子帶，1個(gè)低頻子帶(LLL)和7個(gè)高頻子帶(LLH，LHL，LHH，HLL，HLH，HHL，HHH)。LLL子帶可以包括原始圖像的特征，并且還可以進(jìn)一步被分解為多級(jí)。例如，在圖4所示的一個(gè)應(yīng)用舉例中，可以對(duì)四分之一公共媒介格式(QCIF)視頻應(yīng)用多達(dá)4級(jí)的分解(尺寸為144*176*X，這里X大小分別是16或32)。
在圖4中，用數(shù)字標(biāo)出了示例性的變換的級(jí)。系數(shù)的掃描模式可能影響到變換的嵌入性質(zhì)。在該具體實(shí)施例中，該系數(shù)可以以這樣的方式被掃描，即，如圖4所示，在較粗糙的級(jí)系數(shù)被掃描之前，不對(duì)較更精細(xì)的級(jí)系數(shù)進(jìn)行掃描。下面在圖4中給出零樹(shù)搜索(ZTR)的父子關(guān)系，就如在前面所述同時(shí)提交的專利申請(qǐng)系列號(hào)為＿＿(代理人案卷號(hào)為042390.P11706)中所應(yīng)用的方法。當(dāng)然，這僅僅是一個(gè)例子，所要求保護(hù)的主題并不局限于該具體的ZTR或掃描方法的范圍。此外，在該特定方法中，LLL帶不是編碼序列的一部分。例如，可以為它的傳輸應(yīng)用無(wú)損編碼方法。在該實(shí)施例中，編碼的起始閾值可以取值為1。在接連的通道中，閾值可以通過(guò)大于1的乘數(shù)因子而增加，例如乘數(shù)因子可以取2。對(duì)于這樣的實(shí)施例，這種通道的總的數(shù)目可以用[log2(max)]+1給出，其中，max指代要被編碼的系數(shù)的量值中的最大值。就如在前面所提到的專利申請(qǐng)系列號(hào)為＿＿(代理人案卷號(hào)為042390.P11706)中一樣，可以應(yīng)用基于比特的條件編碼方案，盡管，同樣地，所要求保護(hù)的主題并不局限于該方面的范圍。但是在這樣的方法中，取決于具體的條件是真或假對(duì)比特1或0進(jìn)行編碼，就如在前面所提到的專利申請(qǐng)中所描述的那樣。
對(duì)于該實(shí)施例，可以對(duì)解碼和重構(gòu)(reconstruction)使用相反的過(guò)程。例如，解碼器可以對(duì)由編碼器所產(chǎn)生的比特流進(jìn)行解碼以重構(gòu)系數(shù)矩陣。這樣的解碼方案在前面提到的專利申請(qǐng)系列號(hào)為＿＿(代理人案卷號(hào)為042390.P11706)中進(jìn)行了更加詳細(xì)的描述，盡管，同樣地，所要求保護(hù)的主題并不局限于該方案的范圍。但是總體說(shuō)來(lái)，用來(lái)對(duì)序列進(jìn)行編碼的方法和用來(lái)對(duì)序列進(jìn)行解碼的方法之間一般可能發(fā)生一定量的對(duì)應(yīng)或關(guān)聯(lián)。
下面所描述和圖3所示的技術(shù)或方法可以被應(yīng)用于再現(xiàn)或解碼。例如，對(duì)于一個(gè)具體的實(shí)施例，一種對(duì)多個(gè)經(jīng)過(guò)變換的視頻圖像子塊應(yīng)用逆三維離散小波變換(3D IDWT)的方法，其中，子塊包括經(jīng)過(guò)變換的幀，幀包括行和列，所述方法可以包括如下的內(nèi)容。經(jīng)過(guò)變換的視頻圖像子塊可以如下被逆變換按行、列和幀對(duì)各個(gè)子塊進(jìn)行上采樣；對(duì)一個(gè)或多個(gè)經(jīng)過(guò)上采樣的各個(gè)子塊對(duì)進(jìn)行濾波和組合，來(lái)產(chǎn)生對(duì)應(yīng)于各個(gè)對(duì)中的每一個(gè)的經(jīng)過(guò)上采樣的子塊；對(duì)任何所產(chǎn)生的經(jīng)過(guò)上采樣的子塊對(duì)再次運(yùn)用前面的處理，直到剩下一個(gè)經(jīng)過(guò)上采樣的子塊；將所剩下的這個(gè)經(jīng)過(guò)上采樣的子塊乘以8來(lái)產(chǎn)生下一更高分辨率的塊。
如下，參考圖3對(duì)該方法進(jìn)行了圖示說(shuō)明，雖然所要求保護(hù)的主題并不局限于該具體方法的范圍?？梢詫?duì)細(xì)節(jié)信號(hào)D1進(jìn)行上采樣。例如，一行零可以被插入到相鄰行之間。接著可以對(duì)該子塊使用濾波函數(shù)g(n)沿著列進(jìn)行濾波。可以對(duì)細(xì)節(jié)信號(hào)D2進(jìn)行上采樣。例如，一行零可以被插入到相鄰行之間。接著可以對(duì)該子塊使用濾波函數(shù)h(n)沿著列進(jìn)行濾波。從對(duì)D1和D2施加前面的處理得到的輸出信號(hào)被相加，如圖3所示。所得到的子塊可以被上采樣。例如，一列零可以被插入到相鄰列之間。然后，該矩陣可以使用濾波函數(shù)g(n)沿著行進(jìn)行濾波以產(chǎn)生臨時(shí)信號(hào)I1。
可以對(duì)細(xì)節(jié)信號(hào)D3進(jìn)行上采樣。例如，一行零可以被插入到行之間。接著可以對(duì)該子塊使用濾波函數(shù)g(n)沿著列進(jìn)行濾波?？梢詫?duì)細(xì)節(jié)信號(hào)D4進(jìn)行上采樣。例如，一行零可以被插入到行之間。接著可以對(duì)該子塊使用濾波函數(shù)h(n)沿著列進(jìn)行濾波。從對(duì)D3和D4施加前面的處理得到的輸出信號(hào)可以被相加。所得到的子塊可以被上采樣。例如，一列零可以被插入到列之間。然后，該矩陣可以使用濾波函數(shù)h(n)沿著行進(jìn)行濾波。這里所得到的輸出信號(hào)可以與臨時(shí)信號(hào)I1相加。所得到的子塊可以被上采樣。例如，一幀零可以被插入到幀之間。然后，該矩陣可以使用濾波函數(shù)g(n)沿著幀進(jìn)行濾波以產(chǎn)生臨時(shí)信號(hào)I2。
可以對(duì)細(xì)節(jié)信號(hào)D5進(jìn)行上采樣。例如，一行零可以被插入到相鄰行之間。接著可以對(duì)該子塊使用濾波函數(shù)g(n)沿著列進(jìn)行濾波。可以對(duì)細(xì)節(jié)信號(hào)D6進(jìn)行上采樣。例如，一行零可以被插入到相鄰行之間。接著可以對(duì)該子塊使用濾波函數(shù)h(n)沿著列進(jìn)行濾波。從對(duì)D5和D6施加前面的處理得到的輸出信號(hào)可以被相加，如圖3所示。所得到的子塊可以被上采樣。例如，一列零可以被插入到相鄰列之間。然后，該矩陣可以使用濾波函數(shù)g(n)沿著行進(jìn)行濾波以產(chǎn)生臨時(shí)信號(hào)I3。
可以對(duì)細(xì)節(jié)信號(hào)D7進(jìn)行上采樣。例如，一行零可以被插入到行之間。接著可以對(duì)該子塊使用濾波函數(shù)g(n)沿著列進(jìn)行濾波?？梢詫?duì)細(xì)節(jié)信號(hào)V’進(jìn)行上采樣。例如，一行零可以被插入到行之間。接著可以對(duì)該子塊使用濾波函數(shù)h(n)沿著列進(jìn)行濾波。所得到的輸出信號(hào)可以被相加。所得到的子塊可以被上采樣。例如，一列零可以被插入到列之間。然后，該矩陣可以使用濾波函數(shù)h(n)沿著行進(jìn)行濾波。所得到的輸出信號(hào)可以與臨時(shí)信號(hào)I3相加。所得到的子塊可以被上采樣。例如，一幀零可以被插入到幀之間。然后，該矩陣可以使用濾波函數(shù)h(n)沿著幀進(jìn)行濾波。所得到的輸出信號(hào)可以與臨時(shí)信號(hào)I2相加。所得到的子塊可以乘以8以得到下一級(jí)分辨率的子矩陣。
實(shí)際上，可以對(duì)再現(xiàn)應(yīng)用逆變換過(guò)程。例如，在該具體的實(shí)施例中，可以應(yīng)用基于比特的條件解碼，就如在前面所提到的專利申請(qǐng)中所描述的那樣。一旦該細(xì)節(jié)信號(hào)可以得到，就可以將細(xì)節(jié)信號(hào)與低分辨率圖像進(jìn)行組合以得到更高分辨率的經(jīng)過(guò)再現(xiàn)的圖像。
前面所描述的具體實(shí)施例已經(jīng)應(yīng)用到兩個(gè)常見(jiàn)的視頻序列MissAmerica(中速運(yùn)動(dòng))和Car序列(快速運(yùn)動(dòng))。在圖5的表格中列出了壓縮性能。該表格也圖示說(shuō)明了，可以獲得明顯較大的壓縮而沒(méi)有明顯的噪聲增加。
盡管所要求保護(hù)的主題不局限于所描述和示出的具體實(shí)施例的范圍，但是這些實(shí)施例提供了許多潛在的優(yōu)點(diǎn)。已經(jīng)示出了一種所應(yīng)用的3D小波變換技術(shù)，其通過(guò)利用空間以及時(shí)間冗余來(lái)減少圖像序列中的冗余。在該具體實(shí)施例中，沒(méi)有使用計(jì)算上復(fù)雜的運(yùn)動(dòng)估計(jì)/補(bǔ)償技術(shù)。類似地，因?yàn)闆](méi)有應(yīng)用基于DCT技術(shù)的運(yùn)動(dòng)估計(jì)/補(bǔ)償，所以所再現(xiàn)的視頻通常具有更少的視覺(jué)上的干擾或區(qū)塊效應(yīng)。對(duì)于大部分而言，前面所述的編碼方案通過(guò)利用更少的比特而在計(jì)算上更快，并能有效地對(duì)3D小波變換的系數(shù)進(jìn)行編碼。因此，它提高了壓縮性能。此外，前面所述的實(shí)施例可以被進(jìn)一步修改來(lái)獲得更大的壓縮，例如，通過(guò)逐漸丟棄初始通道。此外，通過(guò)應(yīng)用位平面(bit plane)處理，如在前面提到的同時(shí)提交的專利申請(qǐng)中所述的那樣，對(duì)前面所述的技術(shù)作很小的改動(dòng)，可以使用并行執(zhí)行。類似地，位平面編碼和解碼方法使這樣的視頻編碼器的實(shí)施例適合于順序編碼環(huán)境。
當(dāng)然，應(yīng)該理解地是，盡管已經(jīng)剛剛描述了具體的實(shí)施例，所要求保護(hù)的主題并不局限于具體實(shí)施例或?qū)嵤┑姆秶?。例如，一個(gè)實(shí)施例可以是硬件方面的，例如被實(shí)現(xiàn)來(lái)在集成電路芯片上進(jìn)行操作，而另一個(gè)實(shí)施例也可以是軟件方面的。類似地，例如，實(shí)施例可以是固件方面的，或者是硬件、軟件和固件的任意組合。類似地，盡管所要求保護(hù)的主題不局限于該方面的范圍，但是一個(gè)實(shí)施例可以包括諸如存儲(chǔ)介質(zhì)的制品。這樣的存儲(chǔ)介質(zhì)，例如可以是CD-ROM或磁盤，它可以在其上已經(jīng)存儲(chǔ)了指令，這些指令在被諸如計(jì)算機(jī)系統(tǒng)或平臺(tái)、或者圖像或視頻系統(tǒng)執(zhí)行時(shí)，可以產(chǎn)生根據(jù)被實(shí)施的要求保護(hù)的主題的一種方法的實(shí)施例，例如，如前面所述的視頻或圖像處理方法的實(shí)施例。例如，圖像或視頻處理平臺(tái)或其他處理系統(tǒng)可以包括視頻或圖像處理單元、視頻或圖像輸入/輸出設(shè)備和/或存儲(chǔ)器。
盡管這里已經(jīng)對(duì)所要求保護(hù)的主題的特定特征進(jìn)行了圖示說(shuō)明和描述，但是本領(lǐng)域的普通技術(shù)人員將想到許多改進(jìn)、替代、變化和等同變換。因此，應(yīng)該理解的是，所附的權(quán)利要求將覆蓋所有這些落入所要求保護(hù)的主題的實(shí)質(zhì)精神中的改進(jìn)和變化。
權(quán)利要求
1.一種對(duì)多個(gè)視頻圖像應(yīng)用三維離散小波變換(DWT)的方法，所述多個(gè)視頻圖像包括幀，所述幀包括行和列，所述方法包括通過(guò)如下步驟產(chǎn)生多個(gè)DWT系數(shù)塊沿著多個(gè)視頻圖像的幀序列、列序列和行序列分別、連續(xù)地濾波；在應(yīng)用每個(gè)濾波操作后，對(duì)應(yīng)用濾波操作的結(jié)果進(jìn)行重采樣；和在產(chǎn)生DWT系數(shù)塊后，應(yīng)用基于比特的條件編碼來(lái)對(duì)DWT系數(shù)進(jìn)行嵌入零樹(shù)編碼。
2.如權(quán)利要求1所述的方法，其中，所述重采樣包括在相應(yīng)的濾波操作之后，丟棄間隔幀、間隔列和間隔行。
3.如權(quán)利要求1所述的方法，其中，所述多個(gè)塊包括8塊。
4.如權(quán)利要求1所述的方法，其中，對(duì)于每個(gè)濾波操作，所述應(yīng)用濾波操作包括應(yīng)用高通濾波器和低通濾波器中的一個(gè)。
5.一種集成電路，包括一種結(jié)構(gòu)，用于對(duì)多個(gè)視頻圖像應(yīng)用三維離散小波變換(DWT)，并產(chǎn)生多個(gè)DWT系數(shù)塊，所述多個(gè)視頻圖像包括幀，并且所述幀包括行和列；所述結(jié)構(gòu)適合于(a)沿著多個(gè)視頻圖像的幀序列、列序列和行序列分別、連續(xù)地濾波，其中對(duì)于每個(gè)濾波操作，使用高通濾波器和低通濾波器中的一個(gè)，(b)在應(yīng)用每個(gè)濾波操作后，對(duì)應(yīng)用濾波操作的結(jié)果進(jìn)行重采樣，和(c)在產(chǎn)生DWT系數(shù)塊后，應(yīng)用基于比特的條件編碼來(lái)對(duì)DWT系數(shù)進(jìn)行嵌入零樹(shù)編碼。
6.如權(quán)利要求5所述的集成電路，其中，所述結(jié)構(gòu)包括硬件、軟件、固件以及它們的任意組合中的至少一個(gè)。
7.如權(quán)利要求6所述的集成電路，其中，所述結(jié)構(gòu)的所述重采樣能力包括適合于在相應(yīng)的濾波操作之后，丟棄間隔幀、間隔列和間隔行。
8.如權(quán)利要求6所述的集成電路，其中，所述多個(gè)塊包括8塊。
9.如權(quán)利要求6所述的集成電路，其中，對(duì)于每個(gè)濾波操作，所述應(yīng)用濾波操作包括應(yīng)用高通濾波器和低通濾波器中的一個(gè)。
10.一種對(duì)多個(gè)經(jīng)過(guò)變換的視頻圖像子塊應(yīng)用逆三維離散小波變換(3D IDWT)的方法，所述子塊包括經(jīng)過(guò)變換的幀，所述幀包括行和列，所述方法包括通過(guò)如下步驟對(duì)經(jīng)過(guò)變換的視頻圖像的子塊進(jìn)行逆變換(1)對(duì)塊的嵌入零樹(shù)編碼的DWT系數(shù)應(yīng)用基于比特的條件解碼來(lái)獲得DWT系數(shù)矩陣；(2)按行、列和幀對(duì)DWT系數(shù)矩陣的各個(gè)子塊進(jìn)行上采樣；(3)對(duì)一個(gè)或多個(gè)經(jīng)過(guò)上采樣的各個(gè)子塊對(duì)進(jìn)行濾波和組合以產(chǎn)生對(duì)應(yīng)于各個(gè)對(duì)中的每一個(gè)的經(jīng)過(guò)上采樣的子塊；(4)對(duì)任何所產(chǎn)生的經(jīng)過(guò)上采樣的子塊對(duì)再次應(yīng)用(3)，直到剩下一個(gè)經(jīng)過(guò)上采樣的子塊；(5)將剩下的一個(gè)經(jīng)過(guò)上采樣的子塊乘以8來(lái)產(chǎn)生下一個(gè)更高分辨率的塊。
11.如權(quán)利要求10所述的方法，其中，所述DWT矩陣的各個(gè)子塊包括8個(gè)子塊。
12.如權(quán)利要求10所述的方法，其中，對(duì)一個(gè)或多個(gè)經(jīng)過(guò)上采樣的各個(gè)子塊對(duì)進(jìn)行濾波和組合包括，對(duì)所述對(duì)的一個(gè)經(jīng)過(guò)上采樣的子塊應(yīng)用反向低通濾波器，并且對(duì)所述對(duì)的另一個(gè)經(jīng)過(guò)上采樣的子塊應(yīng)用高通濾波器。
13.如權(quán)利要求10所述的方法，其中，所述上采樣包括插入間隔幀、間隔列和間隔行。
14.一種集成電路，包括一種結(jié)構(gòu)，用于對(duì)多個(gè)經(jīng)過(guò)變換的視頻圖像的子塊應(yīng)用逆三維離散小波變換(3D IDWT)，所述子塊包括經(jīng)過(guò)變換的幀，并且所述幀包括行和列；所述結(jié)構(gòu)適合于通過(guò)如下步驟對(duì)經(jīng)過(guò)變換的視頻圖像的子塊進(jìn)行逆變換(a)對(duì)塊的嵌入零樹(shù)編碼的DWT系數(shù)應(yīng)用基于比特的條件解碼來(lái)獲得DWT系數(shù)矩陣；(b)按行、列和幀對(duì)DWT系數(shù)矩陣的各個(gè)子塊進(jìn)行上采樣；(c)對(duì)一個(gè)或多個(gè)經(jīng)過(guò)上采樣的各個(gè)子塊對(duì)進(jìn)行濾波和組合以產(chǎn)生對(duì)應(yīng)于各個(gè)對(duì)中的每一個(gè)的經(jīng)過(guò)上采樣的子塊；(d)對(duì)任何所產(chǎn)生的經(jīng)過(guò)上采樣的子塊對(duì)再次應(yīng)用(c)，直到剩下一個(gè)經(jīng)過(guò)上采樣的子塊；(e)將剩下的一個(gè)經(jīng)過(guò)上采樣的子塊乘以8來(lái)產(chǎn)生下一個(gè)更高分辨率的塊。
15.如權(quán)利要求14所述的集成電路，其中，所述結(jié)構(gòu)包括硬件、軟件、固件以及它們的任意組合中的至少一個(gè)。
16.如權(quán)利要求15所述的集成電路，其中，所述DWT系數(shù)矩陣的各個(gè)子塊包括8個(gè)子塊。
17.如權(quán)利要求15所述的集成電路，其中，對(duì)一個(gè)或多個(gè)經(jīng)過(guò)上采樣的各個(gè)子塊對(duì)進(jìn)行濾波和組合包括，對(duì)所述對(duì)的一個(gè)經(jīng)過(guò)上采樣的子塊應(yīng)用反向低通濾波器，并且對(duì)所述對(duì)的另一個(gè)經(jīng)過(guò)上采樣的子塊應(yīng)用高通濾波器。
18.如權(quán)利要求15所述的集成電路，其中，所述上采樣包括插入間隔幀、間隔列和間隔行。
19.一種制品，包括具有存儲(chǔ)于其上的指令的存儲(chǔ)介質(zhì)，所述指令在由計(jì)算平臺(tái)執(zhí)行時(shí)，導(dǎo)致對(duì)多個(gè)視頻圖像應(yīng)用三維離散小波變換(DWT)，所述多個(gè)視頻圖像包括幀，所述幀包括行和列，這通過(guò)通過(guò)如下步驟產(chǎn)生多個(gè)DWT系數(shù)塊沿著多個(gè)視頻圖像的幀序列、列序列和行序列分別、連續(xù)地濾波；在應(yīng)用每個(gè)濾波操作后，對(duì)應(yīng)用濾波操作的結(jié)果進(jìn)行重采樣；和在產(chǎn)生DWT系數(shù)塊后，應(yīng)用基于比特的條件編碼來(lái)對(duì)DWT系數(shù)進(jìn)行嵌入零樹(shù)編碼。
20.如權(quán)利要求19所述的制品，其中，所述多個(gè)子塊包括8個(gè)子塊。
21.如權(quán)利要求19所述的制品，其中，對(duì)一個(gè)或多個(gè)經(jīng)過(guò)上采樣的各個(gè)子塊對(duì)進(jìn)行濾波和組合包括，對(duì)所述對(duì)的一個(gè)經(jīng)過(guò)上采樣的子塊應(yīng)用反向低通濾波器，并且對(duì)所述對(duì)的另一個(gè)經(jīng)過(guò)上采樣的子塊應(yīng)用高通濾波器。
22.一種制品，包括具有存儲(chǔ)于其上的指令的存儲(chǔ)介質(zhì)，所述指令在由計(jì)算平臺(tái)執(zhí)行時(shí)，導(dǎo)致對(duì)多個(gè)經(jīng)過(guò)變換的視頻圖像的子塊應(yīng)用逆三維離散小波變換(3D IDWT)，所述子塊包括經(jīng)過(guò)變換的幀，并且所述幀包括行和列，這通過(guò)(1)對(duì)塊的嵌入零樹(shù)編碼的DWT系數(shù)應(yīng)用基于比特的條件解碼來(lái)獲得DWT系數(shù)矩陣；(2)按行、列和幀對(duì)DWT系數(shù)矩陣的各個(gè)子塊進(jìn)行上采樣；(3)對(duì)一個(gè)或多個(gè)經(jīng)過(guò)上采樣的各個(gè)子塊對(duì)進(jìn)行濾波和組合以產(chǎn)生對(duì)應(yīng)于各個(gè)對(duì)中的每一個(gè)的經(jīng)過(guò)上采樣的子塊；(4)對(duì)任何所產(chǎn)生的經(jīng)過(guò)上采樣的子塊對(duì)再次應(yīng)用(3)，直到剩下一個(gè)經(jīng)過(guò)上采樣的子塊；(5)將剩下的一個(gè)經(jīng)過(guò)上采樣的子塊乘以8來(lái)產(chǎn)生下一個(gè)更高分辨率的塊。
23.如權(quán)利要求22所述的制品，其中，所述DWT系數(shù)矩陣的各個(gè)子塊包括8個(gè)子塊。
24.如權(quán)利要求22所述的制品，其中，對(duì)一個(gè)或多個(gè)經(jīng)過(guò)上采樣的各個(gè)子塊對(duì)進(jìn)行濾波和組合包括，對(duì)所述對(duì)的一個(gè)經(jīng)過(guò)上采樣的子塊應(yīng)用反向低通濾波器，并且對(duì)所述對(duì)的另一個(gè)經(jīng)過(guò)上采樣的子塊應(yīng)用高通濾波器。
25.一種系統(tǒng)，包括集成電路、存儲(chǔ)器以及將所述集成電路和存儲(chǔ)器進(jìn)行耦合的總線；其中，所述集成電路包括一種結(jié)構(gòu)，其對(duì)多個(gè)視頻圖像應(yīng)用三維離散小波變換(DWT)，并產(chǎn)生多個(gè)DWT系數(shù)塊，所述多個(gè)視頻圖像包括幀，并且所述幀包括行和列；所述結(jié)構(gòu)適合于(a)沿著多個(gè)視頻圖像的幀序列、列序列和行序列分別、連續(xù)地濾波，其中對(duì)于每個(gè)濾波操作，使用高通濾波器和低通濾波器中的一個(gè)，(b)在應(yīng)用每個(gè)濾波操作后，對(duì)應(yīng)用濾波操作的結(jié)果進(jìn)行重采樣，和(c)在產(chǎn)生DWT系數(shù)塊后，應(yīng)用基于比特的條件編碼來(lái)對(duì)DWT系數(shù)進(jìn)行嵌入零樹(shù)編碼。
26.如權(quán)利要求25所述的系統(tǒng)，其中，所述結(jié)構(gòu)包括硬件、軟件、固件以及它們的任意組合中的至少一個(gè)。
27.如權(quán)利要求26所述的系統(tǒng)，其中，所述結(jié)構(gòu)的所述重采樣能力包括適合于在相應(yīng)的濾波操作之后，丟棄間隔幀、間隔列和間隔行。
28.如權(quán)利要求26所述的系統(tǒng)，其中，所述多個(gè)塊包括8塊。
29.如權(quán)利要求26所述的系統(tǒng)，其中，對(duì)于每個(gè)濾波操作，所述應(yīng)用濾波操作包括應(yīng)用高通濾波器和低通濾波器中的一個(gè)。
30.一種系統(tǒng)，包括集成電路、存儲(chǔ)器、將所述集成電路和存儲(chǔ)器進(jìn)行耦合的總線；其中，所述集成電路包括一種結(jié)構(gòu)，其對(duì)多個(gè)經(jīng)過(guò)變換的視頻圖像子塊應(yīng)用逆三維離散小波變換(3D IDWT)，所述子塊包括經(jīng)過(guò)變換的幀，并且所述幀包括行和列；所述結(jié)構(gòu)適合于通過(guò)如下步驟對(duì)經(jīng)過(guò)變換的視頻圖像的子塊進(jìn)行逆變換(a)對(duì)塊的嵌入零樹(shù)編碼的DWT系數(shù)應(yīng)用基于比特的條件解碼來(lái)獲得DWT系數(shù)矩陣；(b)按行、列和幀對(duì)DWT系數(shù)矩陣的各個(gè)子塊進(jìn)行上采樣；(c)對(duì)一個(gè)或多個(gè)經(jīng)過(guò)上采樣的各個(gè)子塊對(duì)進(jìn)行濾波和組合以產(chǎn)生對(duì)應(yīng)于各個(gè)對(duì)中的每一個(gè)的經(jīng)過(guò)上采樣的子塊；(d)對(duì)所產(chǎn)生的任何經(jīng)過(guò)上采樣的子塊對(duì)再次應(yīng)用(c)，直到剩下一個(gè)經(jīng)過(guò)上采樣的子塊；(e)將剩下的一個(gè)經(jīng)過(guò)上采樣的子塊乘以8來(lái)產(chǎn)生下一個(gè)更高分辨率的塊。
31.如權(quán)利要求30所述的系統(tǒng)，其中，所述結(jié)構(gòu)包括硬件、軟件、固件以及它們的任意組合中的至少一個(gè)。
32.如權(quán)利要求31所述的系統(tǒng)，其中，所述DWT系數(shù)矩陣的各個(gè)子塊包括8個(gè)子塊。
33.如權(quán)利要求31所述的系統(tǒng)，其中，對(duì)一個(gè)或多個(gè)經(jīng)過(guò)上采樣的各個(gè)子塊對(duì)進(jìn)行濾波和組合包括，對(duì)所述對(duì)的一個(gè)經(jīng)過(guò)上采樣的子塊應(yīng)用反向低通濾波器，并且對(duì)所述對(duì)的另一個(gè)經(jīng)過(guò)上采樣的子塊應(yīng)用高通濾波器。
34.如權(quán)利要求31所述的系統(tǒng)，其中，所述上采樣包括插入間隔幀、間隔列和間隔行。
全文摘要
本發(fā)明提供了對(duì)圖像進(jìn)行三維小波變換的方法、應(yīng)用該方法的集成電路以及存儲(chǔ)有用于執(zhí)行所述變換的指令的制品。
文檔編號(hào)H04N7/30GK1511305SQ02810506
公開(kāi)日2004年7月7日 申請(qǐng)日期2002年5月23日 優(yōu)先權(quán)日2001年5月29日
發(fā)明者廷庫(kù)·阿查里雅, 廷庫(kù) 阿查里雅, 拉古, 科科·拉古, 爾 比斯瓦斯, 普拉比爾·比斯瓦斯 申請(qǐng)人:英特爾公司