專利名稱：基于質(zhì)量的圖像壓縮的制作方法
本申請(qǐng)是申請(qǐng)日2001.01.26，申請(qǐng)?zhí)枮?1807347.6(國(guó)際申請(qǐng)?zhí)枮镻CT/US01/02751)，名稱為“基于質(zhì)量的圖像壓縮”的申請(qǐng)的分案申請(qǐng)。
背景技術(shù)：
一.發(fā)明領(lǐng)域本發(fā)明涉及圖像壓縮。本發(fā)明尤其涉及利用已編碼的離散余弦變換系數(shù)數(shù)據(jù)的自適應(yīng)分大小的塊和子塊的基于質(zhì)量的圖像信號(hào)壓縮方案。
二.相關(guān)技術(shù)說(shuō)明在諸如用于放映“影片”或“電影”的視頻信號(hào)的發(fā)送和接收領(lǐng)域中，正在進(jìn)行對(duì)于圖像壓縮技術(shù)的各種改進(jìn)。許多當(dāng)前的以及建議的視頻系統(tǒng)利用數(shù)字編碼技術(shù)。數(shù)字編碼為通信鏈路提供抵抗諸如多徑衰落和干擾或信號(hào)干擾的損害的健壯性，每種損害將嚴(yán)重降低圖像質(zhì)量。而且數(shù)字技術(shù)促進(jìn)數(shù)字加密技術(shù)的使用，數(shù)字加密技術(shù)對(duì)于政府的以及許多新發(fā)展的商業(yè)廣播應(yīng)用是有用的或甚至是必需的。
高清晰度電視是受益于改進(jìn)的圖像壓縮技術(shù)的領(lǐng)域。當(dāng)最初被提出時(shí)，由于過多的帶寬要求，高清晰度電視的空中傳輸(或即使有線或光纖傳輸)似乎是不實(shí)際的。已設(shè)計(jì)的無(wú)線或其它的傳輸系統(tǒng)一般不能方便地提供足夠的帶寬。然而，已經(jīng)實(shí)現(xiàn)了可以使數(shù)字視頻信號(hào)的壓縮達(dá)到能使用合理的帶寬傳輸?shù)乃?。這樣的信號(hào)壓縮水平，連同信號(hào)的數(shù)字傳輸，使視頻系統(tǒng)能以較小的功率和較大的抗信道損害性進(jìn)行傳輸，而占據(jù)較理想的有用帶寬。
許多可用的壓縮技術(shù)提供顯著水平的壓縮，但是導(dǎo)致視頻信號(hào)的質(zhì)量的降低。一般來(lái)說(shuō)，傳送經(jīng)壓縮的信息的技術(shù)要求以恒定比特速率傳送經(jīng)壓縮的信息。
一種能夠提供顯著水平的壓縮而保留所希望的視頻信號(hào)質(zhì)量的壓縮技術(shù)利用編碼離散余弦變換(DCT)系數(shù)數(shù)據(jù)的自適應(yīng)分大小的塊和子塊。此技術(shù)將在這里稱為塊大小自適應(yīng)離散余弦變換(ABSDCT)方法。此技術(shù)揭示于美國(guó)的專利號(hào)5,021,891，名為“Adaptive Block Size Image Compression MethodAnd System”之中，并轉(zhuǎn)讓給本發(fā)明的受讓人并在此引用作為參考。DCT技術(shù)還揭示于美國(guó)專利號(hào)5,107,345，名為“Adaptive Block Size ImageCompression Method And System”之中，并轉(zhuǎn)讓給本發(fā)明的受讓人并在此引用作為參考。此外，與微分四叉樹變換技術(shù)結(jié)合的ABSDCT技術(shù)的使用揭示于美國(guó)專利號(hào)5,452,104，名為“Adaptive Block Size Image Compression MethodAnd System”之中，并同樣轉(zhuǎn)讓給本發(fā)明的受讓人并在此引用作為參考。這些專利中揭示的系統(tǒng)使用稱為“幀內(nèi)”編碼的方法，其中對(duì)圖像數(shù)據(jù)的每個(gè)幀編碼而不考慮其它任何幀的內(nèi)容。使用ABSDCT技術(shù)，可達(dá)到的數(shù)據(jù)率可以從每秒15億比特左右減少到每秒大約5千萬(wàn)比特而沒有圖像質(zhì)量的可辨別的降低。
可以使用ABSDCT技術(shù)壓縮黑白或彩色圖像或表示圖像的信號(hào)。彩色輸入信號(hào)可以是YIQ格式，其中對(duì)于每個(gè)4×4的象素塊，Y是亮度或亮度抽樣，I和Q是色度或顏色抽樣。還可以使用其它已知的諸如YUV、YCbCy或RGB的格式。由于眼睛對(duì)顏色的空間靈敏度低，大多數(shù)研究都顯示了在水平和垂直方向1/4彩色分量的子采樣是合理的。因此，可以以4個(gè)亮度分量和兩個(gè)色度分量表示視頻信號(hào)。
使用ABSDCT，一般將把視頻信號(hào)分割成象素塊進(jìn)行處理。對(duì)于每一塊，亮度和色度分量被傳送到塊數(shù)字復(fù)用器。例如，16×16(象素)塊將被送到塊數(shù)字復(fù)用器，該數(shù)字復(fù)用器在每個(gè)16×16塊中安排或組織圖像抽樣以產(chǎn)生用于離散余弦變換(DCT)分析的數(shù)據(jù)塊以及合成的子塊。DCT運(yùn)算符是一種將時(shí)間和空間抽樣的信號(hào)變換到同一信號(hào)的頻率表示的方法。通過變換到頻率表示，由于可以把量化器設(shè)計(jì)成利用圖像的頻率分布特性，DCT技術(shù)已被證明是考慮到非常高水平的壓縮。在較佳實(shí)施例中，將一個(gè)16×16 DCT應(yīng)用于第1階，將4個(gè)8×8 DCT應(yīng)用于第2階，將16個(gè)4×4 DCT應(yīng)用于第3階，以及將64個(gè)2×2 DCT應(yīng)用于第4階。
DCT運(yùn)算降低了視頻資源中內(nèi)在的空間冗余度。在進(jìn)行DCT以后，大部分視頻信號(hào)能量就趨向于集中在一些DCT系數(shù)中?？梢允褂靡环N輔助變換，即微分四叉樹變換(DQT)，來(lái)降低DCT系數(shù)中的冗余度。
對(duì)于16×16的塊以及每個(gè)子塊，分析DCT系數(shù)值以及DQT值(如果使用DQT)來(lái)確定編碼塊或子塊所需的比特?cái)?shù)。然后，就選擇需要最少比特?cái)?shù)的塊或子塊的組合來(lái)表示圖像段。例如，可以選擇兩個(gè)8×8子塊、6個(gè)4×4子塊以及8個(gè)2×2子塊來(lái)表示圖像段。
然后在16×16塊中，按次序排列經(jīng)選擇的塊或子塊的組合。然后DCT/DQT系數(shù)值將經(jīng)受頻率加權(quán)、量化以及編碼(諸如可變長(zhǎng)度編碼)以為傳輸作準(zhǔn)備。雖然，上述的ABSDCT技術(shù)執(zhí)行地非常出色，但是計(jì)算密集。從而以緊湊的硬件實(shí)現(xiàn)該技術(shù)可能是困難的。
發(fā)明概述另一些使硬件實(shí)現(xiàn)更有效的技術(shù)提供了某些優(yōu)點(diǎn)。一些系統(tǒng)利用離散余弦變換(DCT)系數(shù)數(shù)據(jù)的自適應(yīng)分大小的塊和子塊。雖然部分基于DCT的系統(tǒng)利用質(zhì)量作為壓縮參數(shù)，但是與使用基于質(zhì)量的尺度相反，其它部分?jǐn)?shù)據(jù)都基于編碼速率。這樣的基于編碼速率的參數(shù)的例子是基于對(duì)比度的塊大小自適應(yīng)圖像壓縮算法的量化步長(zhǎng)選擇。
本發(fā)明是利用離散余弦變換系數(shù)數(shù)據(jù)的自適應(yīng)分大小的塊和子塊以及利用基于質(zhì)量的量化比例因子的基于質(zhì)量的圖像壓縮系統(tǒng)和方法。將象素?cái)?shù)據(jù)塊輸入編碼器。該編碼器由塊大小分配(BSA)元件組成，該元件將輸入塊進(jìn)行分割以用于處理。該塊大小分配基于輸入塊以及被進(jìn)一步再分割的塊的方差?？偟膩?lái)說(shuō)，如果塊和子塊的平均值落入不同的預(yù)定范圍，那么具有較大方差的區(qū)域就被再分割成較小塊，并且具有較小方差的區(qū)域不再分割。這樣，首先根據(jù)其平均值從其標(biāo)稱值上修改塊的方差門限，然后將塊的方差與一門限比較，并且如果該方差大于此門限，那么該塊就再分割。
塊大小分配被饋入變換元件，該變換元件將象素?cái)?shù)據(jù)變換成頻域數(shù)據(jù)。僅對(duì)通過塊大小分配選擇的塊和子塊進(jìn)行變換。然后變換數(shù)據(jù)通過量化和串行化受到換算。變換數(shù)據(jù)的量化是基于圖像質(zhì)量尺度被量化的，諸如在對(duì)比度、系數(shù)計(jì)數(shù)、速率失真、塊大小分配的密度和/或過去的比例因子方面進(jìn)行調(diào)整的比例因子。還可以利用折線掃描使數(shù)據(jù)串行化以產(chǎn)生數(shù)據(jù)流?？梢砸钥勺冮L(zhǎng)度編碼器編碼數(shù)據(jù)流為傳輸作準(zhǔn)備。通過發(fā)送信道將已編碼的數(shù)據(jù)發(fā)送到解碼器，該解碼器處重構(gòu)象素?cái)?shù)據(jù)為顯示作準(zhǔn)備。
提供基于質(zhì)量的圖像壓縮系統(tǒng)是本發(fā)明的一個(gè)特點(diǎn)和優(yōu)點(diǎn)。
通過以逐幀方式管理比特速率允許靈活的圖像質(zhì)量控制是本發(fā)明的另一特點(diǎn)和優(yōu)點(diǎn)。
通過以逐塊方式管理比特速率允許靈活的圖像質(zhì)量控制是本發(fā)明的另一特點(diǎn)和優(yōu)點(diǎn)。
伴隨著諸如突發(fā)運(yùn)動(dòng)的活動(dòng)保持質(zhì)量圖像壓縮和數(shù)據(jù)的比特速率控制是本發(fā)明的另一特點(diǎn)和優(yōu)點(diǎn)。
使用信號(hào)噪聲比參數(shù)以量化圖像質(zhì)量是本發(fā)明的另一特特點(diǎn)和優(yōu)點(diǎn)。
利用在圖像的對(duì)比度方面進(jìn)行調(diào)整的量化比例因子是本發(fā)明的另一特點(diǎn)和優(yōu)點(diǎn)。
利用在包括圖像的DCT塊的AC系數(shù)計(jì)數(shù)方面進(jìn)行調(diào)整的量化比例因子是本發(fā)明的另一特點(diǎn)和優(yōu)點(diǎn)。
利用在失真和幀間比特速率方面進(jìn)行調(diào)整的量化比例因子是本發(fā)明的另一特點(diǎn)和優(yōu)點(diǎn)。
利用在過去的量化比例因子方面進(jìn)行調(diào)整的量化比例因子是本發(fā)明的另一特點(diǎn)和優(yōu)點(diǎn)。
附圖簡(jiǎn)述通過下面結(jié)合附圖闡述的詳細(xì)說(shuō)明，本發(fā)明的特點(diǎn)和優(yōu)點(diǎn)將變得更清楚，附圖中相同的參考符號(hào)在各處均作相同標(biāo)識(shí)并且其中

圖1是基于質(zhì)量的圖像處理系統(tǒng)的編碼器部分的方塊圖，該部分包括本發(fā)明的基于方差的塊大小分配系統(tǒng)和方法；圖2是基于質(zhì)量的圖像處理系統(tǒng)的解碼器部分的方塊圖，該部分包括本發(fā)明的基于方差的塊大小分配系統(tǒng)和方法；圖3是說(shuō)明基于方差的塊大小分配中包含的處理步驟的流程圖；圖4a、4b和4c說(shuō)明了示例性的塊大小分配、相應(yīng)的四叉樹分解以及相應(yīng)的PQR數(shù)據(jù)。
圖5是說(shuō)明量化比例因子對(duì)每象素率平均比特的關(guān)系的曲線圖。
圖6是基于DCT塊的AC系數(shù)計(jì)數(shù)的量化比例因子的流程圖。
圖7a是基于速率失真的量化比例因子的流程圖。
圖7b是圖7a中基于速率失真的量化比例因子的流程圖的延續(xù)。
較佳實(shí)施例的詳細(xì)說(shuō)明為了便于數(shù)字信號(hào)的數(shù)字傳輸以及享受相應(yīng)的好處，通常有必要使用某種信號(hào)壓縮形式。為了達(dá)到最后得到圖像中的高壓縮，保持圖像的高質(zhì)量同樣是重要的。此外，計(jì)算效率是在許多應(yīng)用中都很重要的實(shí)現(xiàn)硬件緊湊所希望的。
本發(fā)明提供基于質(zhì)量的圖像壓縮的系統(tǒng)或裝置和方法，它在進(jìn)行圖像壓縮中考慮到圖像質(zhì)量和計(jì)算效率。根據(jù)保持目標(biāo)比特速率的目的控制真正可變速率系統(tǒng)的比特速率，就抑制了保持圖像質(zhì)量的目的。相反，本發(fā)明致力于基于質(zhì)量的速率控制策略?；谫|(zhì)量的圖像壓縮系統(tǒng)可以在塊級(jí)上或在幀級(jí)上。由于塊級(jí)系統(tǒng)使用較多的附加比特用于特定塊的標(biāo)識(shí)，塊級(jí)系統(tǒng)一般使用比幀級(jí)控制更多的每幀編碼比特?cái)?shù)。
在詳細(xì)描述本發(fā)明的一個(gè)實(shí)施例之前，要認(rèn)識(shí)到本發(fā)明不局限于下面描述中闡明的以及附圖中說(shuō)明的組件的構(gòu)造和裝配的詳細(xì)應(yīng)用。本發(fā)明能適用于其它實(shí)施例并能以各種方式實(shí)現(xiàn)。同樣地，認(rèn)識(shí)到在此使用的措詞和術(shù)語(yǔ)是以描述為目的并且不應(yīng)被視為是限制的。
本發(fā)明的圖像壓縮是基于離散余弦變換(DCT)技術(shù)，諸如揭示于共同待決的美國(guó)專利申請(qǐng)序列號(hào)09/436,085，1999年11月8日申請(qǐng)的“ContrastSensitive Variance Based Adaptive Block Size DCT Image Compression”中的技術(shù)，該專利申請(qǐng)轉(zhuǎn)讓給本發(fā)明的受讓人并在此應(yīng)用作為參考。要在數(shù)字域中處理的圖像一般由分成NxN大小的無(wú)重疊塊的陣列的象素?cái)?shù)據(jù)組成。可以在每個(gè)塊上進(jìn)行二維DCT。由下述關(guān)系式定義二維DCTX(k,l)=α(k)β(l)N*MΣm=0N-1Σn=0N-1x(m,n)cos[(2m+1)πk2N]cos[(2n+1)πl2N],0≤k,l≤N-1]]>其中α(k)， x(m，n)是NxM塊中的位置(m，n)上的象素，X(k，l)是相應(yīng)的DCT系數(shù)。
由于象素值是非負(fù)的，DCT分量X(0，0)總是正的并且通常具有大部分能量。實(shí)際上，對(duì)于典型的圖像，大部分變換能量都集中于分量X(0，0)周圍。此能量壓縮性質(zhì)使DCT技術(shù)成為這樣一種有吸引力的壓縮方法。
該圖像壓縮技術(shù)利用對(duì)比度自適應(yīng)編碼以實(shí)現(xiàn)進(jìn)一步縮減比特速率。已經(jīng)觀察到大多數(shù)自然圖像由相對(duì)緩慢變化的平坦區(qū)域以及諸如對(duì)象邊界和高對(duì)比度紋理的忙區(qū)域組成。對(duì)比度自適應(yīng)編碼方案通過向忙區(qū)域分配較多比特并且向較不忙區(qū)域分配較少比特來(lái)利用此因素。
如上述待決的專利申請(qǐng)序列號(hào)09/436,085中所述，對(duì)比度自適應(yīng)編碼還可用于降低遮擋效應(yīng)。遮擋效應(yīng)在圖像的忙區(qū)域中較易察覺。然而，已經(jīng)認(rèn)識(shí)到當(dāng)使用較小規(guī)模的DCT時(shí)會(huì)降低遮擋效應(yīng)。當(dāng)使用2×2 DCT時(shí)，雖然每幀比特?cái)?shù)性能將遭受損失，但是遮擋效應(yīng)變得實(shí)際上是不可見的。
此外，對(duì)比度自適應(yīng)方法利用幀內(nèi)編碼(空間處理)而不是幀間編碼(時(shí)空編碼)。幀間編碼除了較復(fù)雜的處理電路之外，從本質(zhì)上要求多個(gè)幀緩沖器。在許多應(yīng)用中，實(shí)際實(shí)現(xiàn)需要降低的復(fù)雜性。幀內(nèi)編碼還可用于能使時(shí)空編碼方案受到破壞并拙劣地執(zhí)行的情況下。例如，因?yàn)闄C(jī)械快門造成的積分時(shí)間較短，每秒24幀的影片能屬于此類別。該短積分時(shí)間允許較高度的時(shí)間混疊。由于快速運(yùn)動(dòng)變得急動(dòng)，幀間相關(guān)的假定就遭到破壞。當(dāng)包含50Hz和60Hz電源頻率時(shí)，幀內(nèi)編碼還更易于標(biāo)準(zhǔn)化。當(dāng)前電視以50Hz或60Hz發(fā)送信號(hào)。幀內(nèi)方案的使用，作為一種數(shù)字方法，能夠適應(yīng)50Hz和60Hz操作，或者甚至折衷幀速率與空間分辨率，適應(yīng)每秒24幀影片。
為了圖像處理的目的，DCT運(yùn)算在分割成無(wú)重疊塊的陣列的象素?cái)?shù)據(jù)上進(jìn)行。注意到雖然在此以N×N大小來(lái)討論塊大小，可以想像到可以使用各種塊大小。例如可以利用N×M的塊大小，其中N和M是整數(shù)并且M大于或小于N。另一重要方面是塊可分成至少1級(jí)子塊，諸如N/i×N/i，N/i×N/j，N/i×M/j等等，其中i和j是整數(shù)。而且，在此描述的示例性的塊大小是帶有DCT系數(shù)的相應(yīng)塊和子塊的16×16象素塊。進(jìn)一步想像到可以使用各種其它的諸如兩者皆偶或皆奇的整數(shù)，如9×9。
圖1和圖2說(shuō)明了結(jié)合本發(fā)明的基于質(zhì)量的壓縮系統(tǒng)的圖像處理系統(tǒng)100。該圖像處理系統(tǒng)100由壓縮接收到的視頻信號(hào)的編碼器104組成。經(jīng)壓縮的信號(hào)使用發(fā)送信道108進(jìn)行發(fā)送，并且由解碼器112接收。解碼器112將接收到的信號(hào)解碼成隨后將被顯示的圖像采樣。
一般來(lái)說(shuō)，把圖像分割成象素塊用于處理?？梢允褂肦GB到Y(jié)C1C2變換器116將彩色信號(hào)從RGB空間變換到Y(jié)C1C2空間，其中Y是亮度或亮度分量，C1和C2是色度或色彩分量。由于眼睛對(duì)顏色的空間靈敏度低，許多系統(tǒng)在水平和垂直方向1/4對(duì)C1和C2分量進(jìn)行子采樣。然而，子采樣不是必需的。高分辨率圖像，即被稱為4:4:4格式，在一些諸如那些被稱為覆蓋“數(shù)字電影院”的應(yīng)用中是非常有用的或必需的。兩種可能的YC1C2表示是YIQ表示和YUV表示，兩者在本領(lǐng)域中眾所周知。使用被稱為YCbCr的YUV表示的變體也是可能的。
在較佳實(shí)施例中，處理Y、Cb和Cr分量的每一個(gè)而不進(jìn)行子采樣。從而，象素的16×16塊的每個(gè)分量的輸入被饋入編碼器104。以說(shuō)明為目，說(shuō)明了Y分量的編碼器104。Cb和Cr分量用類似的編碼器。編碼器104由塊大小分配元件120組成，該元件進(jìn)行塊大小分配以為視頻壓縮作準(zhǔn)備。塊大小分配元件120根據(jù)塊中圖像的感知特性確定16×16塊的塊分解。塊大小分配根據(jù)16×16塊中的活動(dòng)性以四叉樹方式將每個(gè)16×16的塊再分割成較小的塊。塊大小分配元件120產(chǎn)生四叉樹數(shù)據(jù)，被稱為PQR數(shù)據(jù)，其長(zhǎng)度可以是介于1至12比特之間。這樣，如果塊大小分配確定要分割16×16的塊，就設(shè)置PQR數(shù)據(jù)的R比特并且繼之以與4個(gè)被分割的8×8的塊相當(dāng)?shù)腝數(shù)據(jù)的4個(gè)附加比特。如果塊大小分配確定要分割任何8×8的塊之一，那么就對(duì)每個(gè)被再分割的8×8塊加入P數(shù)據(jù)的4個(gè)附加比特。
現(xiàn)在參考圖3，給出了顯示塊大小分配元件120的詳細(xì)操作的流程圖。塊的方差被用作再分割判決中的度量。在步驟202開始，讀取16×16象素塊。在步驟204，計(jì)算16×16塊的方差v16。該方差計(jì)算如下 其中N＝16，并且xi，j是N×N塊中第i行、第j列的象素。在步驟206，如果塊的平均值介于兩個(gè)預(yù)定值之間，首先修改方差門限T16以給出新的門限T’16，然后將該塊方差與新門限T’16相比較。
如果該方差v16不大于門限T16，那么在步驟208，16×16塊的起始地址就被寫入臨時(shí)存儲(chǔ)器，并且將PQR數(shù)據(jù)的R比特設(shè)置成0以指出沒有再分割該16×16塊。然后該算法讀取下一16×16象素塊。如果方差v16大于門限T16，那么在步驟210，就將PQR數(shù)據(jù)的R比特設(shè)置成1以指示要將該16×16塊再分割成4個(gè)8×8塊。
如步驟212中所示，順序地考慮4個(gè)8×8塊(i＝1∶4)以便進(jìn)一步再分割。對(duì)于每個(gè)8×8塊，在步驟214計(jì)算方差v8i。在步驟216，如果塊的平均值介于兩個(gè)預(yù)定值之間，首先修改方差門限T8以給出新的門限T’8，然后將該塊方差與該新門限相比較。
如果方差v8i不大于門限T8，那么在步驟218，該8×8塊的起始地址就被寫入臨時(shí)存儲(chǔ)器，并且將相應(yīng)的Q比特Qi設(shè)置成0。然后處理下一8×8塊。如果方差v8i大于門限T8，那么在步驟220，就將相應(yīng)的Q比特Qi設(shè)置成1以指示要將該8×8塊再分割成4個(gè)4×4塊。
如步驟222中所示，順序地考慮4個(gè)4×4塊(ji＝1∶4)用于進(jìn)一步再分割。對(duì)于每個(gè)4×4塊，在步驟224計(jì)算方差v4ij。在步驟226，如果塊的平均值介于兩個(gè)預(yù)定值之間，首先修改方差門限T4以給出新的門限T’4，然后將該塊方差與該新門限相比較。
如果方差v4ij不大于門限T4，那么在步驟228，該4×4塊的起始地址就被寫入臨時(shí)存儲(chǔ)器，并且將相應(yīng)的P比特Pij設(shè)置成0。然后處理下一4×4塊。如果方差v4ij大于門限T4，那么在步驟230，就將相應(yīng)的P比特Pij設(shè)置成1以指示要將該4×4塊再分割成4個(gè)2×2塊。此外，將4個(gè)2×2塊的地址寫入臨時(shí)存儲(chǔ)器。
門限T16、T8和T4可以是預(yù)定常數(shù)。這被稱為硬判決。作為備擇，可以實(shí)現(xiàn)自適應(yīng)或軟判決。例如，軟判決根據(jù)2N×2N塊的平均象素值改變方差門限，其中N可以是8、4或2。從而，可以把平均象素值的函數(shù)作為門限使用。
以說(shuō)明為目的，考慮下述例子。假設(shè)對(duì)16×16、8×8和4×4塊Y分量的預(yù)定方差門限分別是50、1100和880。換句話說(shuō)，T16＝50、T8＝1100以及T4＝880。假設(shè)平均值的范圍是80和100。假定16×16塊的計(jì)算方差是60。由于60大于T16，并且平均值90介于80和100之間，該16×16塊就被再分割成4個(gè)8×8塊。假定8×8塊的計(jì)算方差是1180、935、980以及1210。由于8×8塊中的兩個(gè)塊的方差超過T8，這兩個(gè)塊就被進(jìn)一步再分割以產(chǎn)生全部8個(gè)4×4子塊。最后，假定所述8個(gè)4×4塊的方差是620、630、670、610、590、525、930以及690，以及相應(yīng)的平均值是90、120、110、115。由于第1個(gè)4×4塊的平均值屬于范圍(80，100)，其門限將降低到小于880的T’4＝200。這樣，不但第7個(gè)4×4塊，而且該4×4塊都被再分割。圖4a顯示了最后所得的塊大小分配。圖4b顯示了相應(yīng)的四叉樹分解。另外，圖4c顯示了由該塊大小分配產(chǎn)生的PQR數(shù)據(jù)。
注意到使用類似的過程對(duì)色彩分量C1和C2分配塊大小?？梢运降?、垂直地或兩者皆可地抽取色彩分量。
另外，注意到雖然以自頂向下的方法描述塊大小分配，在該方法中首先計(jì)算最大的塊(本例中的16×16塊)，但是可以使用自底向上的方法作為替代。該自底向上的方法將首先計(jì)算最小的塊(本例中的2×2塊)。
重新參考圖1，PQR數(shù)據(jù)連同所選擇的塊的地址被饋入DCT元件124。該DCT元件124使用所述PQR數(shù)據(jù)在所選擇的塊上進(jìn)行適當(dāng)大小的離散余弦變換。僅所選擇的塊需要經(jīng)受DCT處理。
圖像處理系統(tǒng)100可以隨意地包含DCT元件128來(lái)降低DCT的DC系數(shù)間的冗余。在每個(gè)DCT塊的左上角遇到一個(gè)DC系數(shù)。一般來(lái)說(shuō)，DC系數(shù)比AC系數(shù)大。大小中的差異使得設(shè)計(jì)有效的可變長(zhǎng)度編碼器變得困難。因此，降低DC系數(shù)間的冗余是有利的。
DQT元件128在每次取2×2的DC系數(shù)上進(jìn)行2-D DCT。以4×4塊中的2×2塊為起始，在4個(gè)DC系數(shù)上進(jìn)行2-D DCT。該2×2 DCT被稱為4個(gè)DC系數(shù)的微分四叉樹變換或DQT。接著，連同8×8塊中3個(gè)相鄰的DC系數(shù)一起使用DQT的DC系數(shù)來(lái)計(jì)算下一級(jí)DQT。最后，使用16×16塊中的4個(gè)8×8塊的DC系數(shù)計(jì)算DQT。從而，在一個(gè)16×16塊中相應(yīng)于DCT和DQT，有一個(gè)真正的DC系數(shù)并且剩下的是AC系數(shù)。
變換系數(shù)(DCT和DQT)被饋入量化器量化。在較佳實(shí)施例中，使用頻域加權(quán)掩碼(FWM)以及量化比例因子量化DCT系數(shù)。FWM是與輸入DCT系數(shù)的塊相同維數(shù)的頻率加權(quán)表。所述頻率加權(quán)將不同的加權(quán)應(yīng)用于不同的DCT系數(shù)。設(shè)計(jì)所述加權(quán)用于加重具有人類視覺或光學(xué)系統(tǒng)更為敏感的頻率分量的輸入采樣，并且不加重具有視覺或光學(xué)系統(tǒng)較不敏感的頻率分量的輸入采樣。還可以根據(jù)諸如視距等因素設(shè)計(jì)所述加權(quán)。
根據(jù)經(jīng)驗(yàn)數(shù)據(jù)選擇所述加權(quán)。在這里被引用作為參考的國(guó)際標(biāo)準(zhǔn)組織1994年的ISO/IEC JTC1 CD 10918，“Digital compression and encoding ofcontinuous-tone still images-part 1Requirments and guidelines”中揭示了一種設(shè)計(jì)8×8 DCT系數(shù)的加權(quán)掩碼的方法。一般來(lái)說(shuō)，設(shè)計(jì)兩種FWM，一種用于亮度分量，另一種用于色度分量。通過抽選獲得2×2、4×4塊大小的FWM表，并且通過內(nèi)插8×8塊的表獲得16×16塊的FWM表。所述比例因子控制所量化的系數(shù)的質(zhì)量和比特速率。
從而，根據(jù)下面的關(guān)系式量化每個(gè)DCT系數(shù) 其中DCT(i，j)是輸入DCT系數(shù)，fwm(i，j)是頻率加權(quán)掩碼，q是比例因子并且DCTq(i，j)是所量化的系數(shù)。注意到根據(jù)DCT系數(shù)的符號(hào)，括號(hào)內(nèi)的第一項(xiàng)被上舍入或下舍入。也使用合適的加權(quán)掩碼量化DCT系數(shù)。然而，可以使用多種表或掩碼并將之應(yīng)用于Y、Cb以及Cr分量中的每一個(gè)。
然后用量化比例因子元件換算象素?cái)?shù)據(jù)塊和頻率加權(quán)掩碼。在較佳實(shí)施例中，相應(yīng)于平均比特速率有32個(gè)比例因子。不同于其它諸如MPEG2的壓縮方法，根據(jù)所處理的圖像的質(zhì)量而不是目標(biāo)比特速率及緩沖器狀態(tài)來(lái)控制平均比特速率。在較佳實(shí)施例中，由選擇器130預(yù)選特定的量化比例元件。雖然應(yīng)該注意到本發(fā)明不要求預(yù)選所述量化比例元件。
在一個(gè)基于塊的實(shí)施例中，量化比例因子是基于對(duì)比度(132)。已經(jīng)發(fā)現(xiàn)人類視覺系統(tǒng)對(duì)高對(duì)比度區(qū)域比低對(duì)比度區(qū)域更敏感?；趯?duì)比度的量化比例因子使用比特速率和量化比例因子間的預(yù)定關(guān)系。在實(shí)施例中，塊大小分配功能根據(jù)對(duì)比度將M×N塊分割成子塊，以至在高對(duì)比度塊中有較多子部分而在低對(duì)比度塊中有較少子部分。本發(fā)明量化對(duì)比度作為方差的平方根與平均亮度的比。根據(jù)如下關(guān)系式給出的塊大小分配具體選擇量化比例因子
Ri=R+12log2{σi2Πk=14(σk2)pk},1≤i≤4]]>其中Ri是第i種塊的比特?cái)?shù)，σi2是第i種塊的方差，pi是從塊大小分配功能中獲得的第i種塊的百分比。使用比特速率和量化比例因子間的預(yù)定關(guān)系確定量化比例因子。
圖5說(shuō)明了比特速率和量化比例因子間的關(guān)系。通過估計(jì)一組圖像確定描述象素所必需的平均比特?cái)?shù)來(lái)預(yù)定比特速率和量化比例因子間的關(guān)系。如該圖所示，量化比例因子隨每象素平均比特?cái)?shù)減少而增大。從而，可以為相應(yīng)的Ri值選則具體的比例因子Q。
在另一基于塊的實(shí)施例中，根據(jù)DCT的系數(shù)計(jì)數(shù)(136)選擇量化比例因子。一般地，系數(shù)計(jì)數(shù)系統(tǒng)和方法要求每塊開銷1比特。圖6說(shuō)明了量化器比例因子方法300。在塊大小分配之后，選擇包含N×N數(shù)據(jù)塊的一部分?jǐn)?shù)據(jù)(304)。在較佳實(shí)施例中，該部分?jǐn)?shù)據(jù)包含16行16列象素?cái)?shù)據(jù)的塊。如圖3中所描述，在該數(shù)據(jù)塊上進(jìn)行DCT(308)，并且進(jìn)一步指定子塊。確定每個(gè)數(shù)據(jù)塊的門限(312)。可以在任何處理階段確定該門限。在較佳實(shí)施例中，以經(jīng)驗(yàn)預(yù)定所述門限。然后，由下面的關(guān)系式確定大小上超過預(yù)定門限的AC系數(shù)的數(shù)量(316)M=Σk=0l=0N-1Σk≠0l≠0N-1{|X(k,l)/|/|X(k,l)|>T}]]>其中T是門限，X(k，l)表示N×N塊中位置(k，l)上的DCT系數(shù)，并且M是超過門限的DCT的N×N塊中的AC系數(shù)的數(shù)量。然后根據(jù)超過門限T的AC系數(shù)的數(shù)量分配比例因子(320)。
在估計(jì)一部分?jǐn)?shù)據(jù)中的第1數(shù)據(jù)塊并分配比例因子以后，選擇該部分中的下一N×N數(shù)據(jù)塊(324)。遞增比例因子(328)，并且進(jìn)行另一DCT(332)。確定老的和新的DCT之間的均方誤差(336)。遞減所述比例因子(340)，并且進(jìn)行另一DCT(344)。再次確定老的和新的DCT之間的均方誤差(348)。比較兩個(gè)均方誤差，將與較低均方誤差關(guān)聯(lián)的量化器因子分配給數(shù)據(jù)塊(352)。然后，為該部分?jǐn)?shù)據(jù)中的每個(gè)數(shù)據(jù)塊重復(fù)該循環(huán)(356)。在對(duì)該部分?jǐn)?shù)據(jù)中的每個(gè)數(shù)據(jù)塊分配了量化器之后，選擇下一部分?jǐn)?shù)據(jù)塊并繼續(xù)進(jìn)行所述循環(huán)(360)。
另一個(gè)確定量化比例因子的基于塊的實(shí)施例是基于速率失真的量化器比例器(134)，并且在圖7中(400)加以說(shuō)明。一般地，速率失真量化器以類似于系數(shù)計(jì)數(shù)量化器的方式工作，但是它根據(jù)所細(xì)查的比例因子的多少要求較多的開銷比特。在塊大小分配之后，選擇包含N×N數(shù)據(jù)塊的一部分?jǐn)?shù)據(jù)(404)。在較佳實(shí)施例中，該部分?jǐn)?shù)據(jù)包含16行16列象素?cái)?shù)據(jù)塊。如圖3中所描述，在該數(shù)據(jù)塊上進(jìn)行DCT(408)，并且進(jìn)一步指定子塊。在任何處理階段再次確定每個(gè)數(shù)據(jù)塊的門限(412)。還確定平均失真D和每象素平均比特速率R(416)。然后，使用對(duì)于系數(shù)計(jì)數(shù)方法所描述的關(guān)系式，確定大小上超過預(yù)定門限(M)的AC系數(shù)的數(shù)量(420)。然后根據(jù)超過門限T的AC系數(shù)的數(shù)量分配比例因子(424)。
在估計(jì)一部分?jǐn)?shù)據(jù)中的第1數(shù)據(jù)塊并分配比例因子以后，選擇該部分中的下一N×N數(shù)據(jù)塊(428)。從前一塊的比例因子上遞增比例因子(432)，并且進(jìn)行另一DCT(436)。確定老的和新的DCT之間的均方誤差(440)。然后確定相應(yīng)于與步驟440中的均方誤差速率關(guān)聯(lián)的量化比例因子的平均失真D和每象素平均比特速率R(444)。
然后從前一塊的比例因子上遞減比例因子(448)，并且進(jìn)行另一DCT(452)。再次確定老的和新的DCT之間的均方誤差(MSE)(456)。然后確定相應(yīng)于與步驟456中的均方誤差速率關(guān)聯(lián)的量化比例因子的平均失真D和每象素平均比特速率R(460)。確定兩個(gè)平均失真速率D之間以及兩個(gè)每象素比特速率R之間的差異(464)。然后，通過采取下面的象素速率中的變化量與平均失真速率中的變化量之比來(lái)確定兩個(gè)比例因子(468) 為當(dāng)前塊選擇由最大絕對(duì)比值中獲得的比例因子(472)。然后為該部分?jǐn)?shù)據(jù)中的每個(gè)數(shù)據(jù)塊重復(fù)該循環(huán)(476)。在對(duì)該部分?jǐn)?shù)據(jù)中的每個(gè)數(shù)據(jù)塊分配了量化器之后，選擇下一部分?jǐn)?shù)據(jù)塊并繼續(xù)進(jìn)行所述循環(huán)(480)。
還可以按逐幀方式選擇量化比例因子。然而，基于幀的速率控制一般比上述基于塊的速率控制達(dá)到較低平均比特速率。此外，與以塊間方式相反，由于比特變換以幀間方式發(fā)生，基于幀的速率控制要求較多地使用緩沖器。
在逐幀量化器實(shí)施例中，量化比例因子可以取決于各種塊大小分配的密度(圖1，方塊144)。根據(jù)與圖像的圖像質(zhì)量相關(guān)的度量確定圖像的整個(gè)幀的量化比例因子。通過確定給定幀的16×16塊的數(shù)量和8×8塊的數(shù)量推斷圖像質(zhì)量。也就是說(shuō)，如果給定幀具有的8×8塊比16×16塊多，就認(rèn)為該圖像較復(fù)雜。因此，較復(fù)雜的圖像一般要求較好的量化以保持質(zhì)量。相反地，如果給定幀具有的16×16塊比8×8塊多，就認(rèn)為該圖像較不復(fù)雜。因此，可以使用較低的量化比例因子并仍然保持圖像質(zhì)量。從而，對(duì)每個(gè)幀執(zhí)行塊大小分配算法，并且所述比例因子基于下式L=n16n6,n8≠0]]>其中n16表示幀中的16×16塊數(shù)，n8表示幀中8×8塊數(shù)，并且L表示超過門限的比率。在較佳實(shí)施例中，根據(jù)經(jīng)驗(yàn)預(yù)定所述門限。然后根據(jù)L的值以及給定幀的8×8塊數(shù)選擇比例因子。
作為備擇，基于幀的量化比例因子可以基于前一幀的量化比例因子(148)。在該實(shí)施例中，使用前一幀的比例因子、相應(yīng)于前一幀比例因子系數(shù)+1的比例因子和相應(yīng)于前一幀比例因子系數(shù)-1的比例因子壓縮當(dāng)前幀。在當(dāng)前幀的壓縮期間，如以上逐幀視覺質(zhì)量方法的討論所述，從塊大小分配信息確定實(shí)際比例因子。確定相應(yīng)于最接近當(dāng)前幀的實(shí)際比例因子的比例因子的經(jīng)壓縮的輸出，并且連同其相應(yīng)的比例因子一起使用。也就是 其中q(sn-1)表示前一幀比例因子的系數(shù)，q(sn-1+1)表示前一幀之上的一個(gè)候補(bǔ)比例因子，q(sn-1-1)表示前一幀之下的一個(gè)候補(bǔ)比例因子，以及qn表示當(dāng)前幀的實(shí)際比例因子。
重新參考圖1和圖2，所述經(jīng)量化的系數(shù)饋入折線掃描串化器152。串化器152以折線方式掃描經(jīng)量化的系數(shù)塊以產(chǎn)生經(jīng)量化的系數(shù)的經(jīng)串行化的流。還可以選擇若干不同的折線掃描模式以及除了折線模式之外的模式。雖然可以使用其它大小，但是較佳的技術(shù)是對(duì)折線掃描使用8×8塊大小。
注意到可以把折線掃描串化器152置于量化器132、136、140、144或148之前或之后。最終結(jié)果一般是相同的。
在任何情況下，所述經(jīng)量化的系數(shù)流被饋入可變長(zhǎng)度編碼器156。該可變長(zhǎng)度編碼器156可以利用繼之以哈夫曼編碼的0的游程長(zhǎng)度編碼。在上述美國(guó)專利號(hào)5,021,891、5,107,345以及5,452,104中詳述了此技術(shù)，并在這里加以概括。游程長(zhǎng)度編碼采用經(jīng)量化的系數(shù)并且將0與非0系數(shù)相分離。所述0值被稱為游程長(zhǎng)度值，并且經(jīng)哈夫曼編碼。所述非0值分別經(jīng)哈夫曼編碼。
經(jīng)修正的經(jīng)量化的系數(shù)的哈夫曼編碼也是可能的并且被使用于較佳實(shí)施例中。在此，在折線掃描之后，游程長(zhǎng)度編碼器將確定每個(gè)8×8塊中的游程長(zhǎng)度/大小對(duì)。然后這些游程長(zhǎng)度/大小對(duì)經(jīng)哈夫曼編碼。
從經(jīng)測(cè)量的或理論上的圖像的統(tǒng)計(jì)信息設(shè)計(jì)哈夫曼編碼。已經(jīng)觀察到大多數(shù)自然圖像由平坦的或變化較緩的區(qū)域以及諸如對(duì)象邊界和高對(duì)比度紋理的忙區(qū)域組成。哈夫曼編碼和諸如DCT的頻域變換通過向忙區(qū)域分配較多比特并且向平坦區(qū)域分配較少比特來(lái)利用這些特點(diǎn)。一般來(lái)說(shuō)，哈夫曼編碼利用查表對(duì)游程長(zhǎng)度和非0值進(jìn)行編碼。按照需要，一般使用多個(gè)表，雖然可以使用1或2個(gè)表，本發(fā)明中較佳的是使用3個(gè)表。
使用緩沖器160暫時(shí)存儲(chǔ)由編碼器產(chǎn)生的經(jīng)壓縮的圖像信號(hào)，然后使用發(fā)送信道108將信號(hào)傳送到解碼器112。包含塊大小分配信息的PQR數(shù)據(jù)也被饋入解碼器112。所述解碼器112包括緩沖器164以及對(duì)游程長(zhǎng)度值和非0值進(jìn)行解碼的可變長(zhǎng)度解碼器168。
可變長(zhǎng)度解碼器168的輸出被饋入逆向折線掃描串化器172，該串化器根據(jù)所使用的掃描方案對(duì)所述系數(shù)排序。逆向折線掃描串化器172接收PQR數(shù)據(jù)以協(xié)助將系數(shù)適當(dāng)排序成復(fù)合系數(shù)塊。
使用選擇器174將復(fù)合塊饋入與使用于編碼器104的量化器相應(yīng)的反向量化器176、178、180、182或184，來(lái)解除因使用量化比例因子和頻率加權(quán)掩碼而形成的處理。
如果已經(jīng)應(yīng)用微分四叉樹變換，那么所述系數(shù)塊被饋入繼之以IDCT元件186的IDQT元件186。否則，所述系數(shù)塊被直接饋入IDCT元件190。所述IDQT元件186和IDCT元件190將所述系數(shù)反變換以產(chǎn)生象素?cái)?shù)據(jù)塊。然后必須對(duì)該象素?cái)?shù)據(jù)塊進(jìn)行內(nèi)插，并將之變換成RGB形式后加以存儲(chǔ)，供將來(lái)顯示。
因此，給出了用于圖像壓縮的根據(jù)象素方差進(jìn)行塊大小分配的系統(tǒng)和方法?；诜讲畹膲K大小分配提供了一些優(yōu)點(diǎn)。由于在確定塊大小之后進(jìn)行離散余弦變換，實(shí)現(xiàn)了高效計(jì)算。僅需在所選擇的塊上進(jìn)行計(jì)算密集的變換。此外，由于象素值的方差在數(shù)學(xué)上易于計(jì)算，所述塊選擇處理是高效的?；诜讲畹膲K大小分配的又一優(yōu)點(diǎn)是它是基于感知的。象素方差是塊中活動(dòng)性的測(cè)量，并且給出了存在邊緣、紋理等的表示。它有助于獲取比諸如平均象素值等計(jì)量更詳細(xì)資料。因此，本發(fā)明的基于方差的方案向帶有較多邊緣的區(qū)域分配較小的塊，而向較平坦的區(qū)域分配較大的塊。結(jié)果，在重構(gòu)的圖像中可以獲得卓越的質(zhì)量。
又一重要優(yōu)點(diǎn)是考慮到控制圖像質(zhì)量中的較大精確性和明確性，相對(duì)于幾種量化比例因子進(jìn)行塊大小分配而不管比特速率。通過考慮基于質(zhì)量的量化比例因子，圖像壓縮處于真正可變的比特速率。這就使圖像壓縮系統(tǒng)可保留所有正好可見的門限之上的區(qū)域的詳細(xì)資料。而且，不同于諸如運(yùn)動(dòng)圖象專家組(MPEG)壓縮技術(shù)，基于方差的圖像壓縮提供了圖像質(zhì)量的較少降低。這對(duì)于諸如數(shù)字電影領(lǐng)域中的應(yīng)用是至關(guān)重要的。
由于數(shù)字視頻的高需求，盜版是重大威脅。數(shù)字水印是阻止侵犯版權(quán)和稅收損失的重要要求。由于在感知上重要的圖像區(qū)域中打水印，基于方差的塊大小分配是用于水印的自然候選方案。
給出上述較佳實(shí)施例的說(shuō)明使本領(lǐng)域中的任何普通技術(shù)人員能夠制作和使用本發(fā)明。對(duì)于那些本領(lǐng)域的普通技術(shù)人員，這些實(shí)施例的各種修正將顯而易見，并且在此規(guī)定的一般原理可以適用于其它實(shí)施例而不使用創(chuàng)造能力。這樣，本發(fā)明并不打算局限于在此所示的實(shí)施例，而是要符合在此揭示的原理和新穎特性的最寬泛的范圍。
下述權(quán)利要求提出了本發(fā)明的其它特點(diǎn)和優(yōu)點(diǎn)。
權(quán)利要求
1.一種壓縮由象素?cái)?shù)據(jù)組成的數(shù)字圖像的方法，其特征在于該方法包括以下步驟讀取象素?cái)?shù)據(jù)塊；產(chǎn)生塊大小分配將象素塊分成象素?cái)?shù)據(jù)子塊；把象素?cái)?shù)據(jù)子塊變換成相應(yīng)的頻域表示；將頻域表示換算成數(shù)據(jù)流，其中換算行為基于與圖像質(zhì)量相關(guān)聯(lián)的質(zhì)量度量。
2.如權(quán)利要求1所述方法，其特征在于所述換算行為進(jìn)一步包括向所述象素?cái)?shù)據(jù)子塊提供頻率加權(quán)掩碼的行為，使得所述頻率加權(quán)掩碼加重人類視覺系統(tǒng)較敏感的圖像部分，并且不加重人類視覺系統(tǒng)較不敏感的圖像部分。
3.如權(quán)利要求1所述方法，其特征在于所述換算行為進(jìn)一步包括根據(jù)圖像質(zhì)量量化象素?cái)?shù)據(jù)子塊的行為。
4.如權(quán)利要求1所述方法，其特征在于所述質(zhì)量度量是信號(hào)噪聲比。
5.如權(quán)利要求1所述方法，其特征在于所述變換行為執(zhí)行離散余弦變換。
6.如權(quán)利要求1所述方法，其特征在于所述變換行為執(zhí)行繼之以微分四叉樹變換的離散余弦變換。
7.如權(quán)利要求5所述方法，其特征在于所述換算行為基于逐塊方式。
8.如權(quán)利要求7所述方法，其特征在于所述換算行為基于象素?cái)?shù)據(jù)子塊的對(duì)比度。
9.如權(quán)利要求7所述方法，其特征在于所述換算行為基于大小上超過預(yù)定門限的子塊中AC系數(shù)的數(shù)量。
10.如權(quán)利要求7所述方法，其特征在于所述換算行為基于子塊的均方誤差。
11.如權(quán)利要求5所述方法，其特征在于所述換算行為基于逐幀方式。
12.如權(quán)利要求11所述方法，其特征在于所述換算行為基于每幀的塊大小分配的數(shù)量和大小。
13.如權(quán)利要求11所述方法，其特征在于所述換算行為基于前一幀的比例因子。
14.如權(quán)利要求1所述方法，其特征在于所述產(chǎn)生行為進(jìn)一步包括以下行為確定所述象素?cái)?shù)據(jù)塊的象素值的方差；將所述方差與門限值比較；根據(jù)比較行為的結(jié)果判決6再分割所述塊；如果所述判決為再分割所述塊，那么就對(duì)每個(gè)子塊重復(fù)確定、比較以及產(chǎn)生行為，直到滿足預(yù)定準(zhǔn)則為止；以及指定不再分割的各塊或子塊作為塊大小分配。
15.如權(quán)利要求14所述方法，其特征在于所述判決行為要求如果方差大于門限就再分割塊。
16.如權(quán)利要求15所述方法，其特征在于所述門限是預(yù)定的。
17.如權(quán)利要求15所述方法，其特征在于所述門限是正被估計(jì)的塊或子塊的象素平均值的函數(shù)。
18.如權(quán)利要求15所述方法，其特征在于所述門限為每個(gè)再分割級(jí)別改變。
19.如權(quán)利要求14所述方法，其特征在于所述用于不再重復(fù)確定、比較和判決等步驟的預(yù)定準(zhǔn)則基于預(yù)選的最小象素?cái)?shù)據(jù)塊的大小。
20.如權(quán)利要求1所述方法，其特征在于所述將所述系數(shù)數(shù)據(jù)換算成數(shù)據(jù)流的行為進(jìn)一步包括折線掃描所述系數(shù)數(shù)據(jù)。
21.如權(quán)利要求21所述方法，其特征在于使用8×8象素塊大小進(jìn)行所述折線掃描行為。
22.如權(quán)利要求1所述方法，其特征在于所述換算行為進(jìn)一步包括將數(shù)據(jù)流編碼成串行化的數(shù)據(jù)流以為發(fā)送作準(zhǔn)備。
23.如權(quán)利要求22所述方法，其特征在于所述編碼行為包括哈夫曼編碼器。
24.如權(quán)利要求23所述方法，其特征在于所述哈夫曼編碼器使用多個(gè)查表對(duì)游程長(zhǎng)度和非0值進(jìn)行編碼。
25.如權(quán)利要求24所述方法，其特征在于有3個(gè)查表。
26.如權(quán)利要求1所述方法，其特征在于所述產(chǎn)生行為基于圖像的感知特性。
27.一種基于質(zhì)量的壓縮象素?cái)?shù)據(jù)的圖像壓縮系統(tǒng)，其特征在于該系統(tǒng)包括將象素塊分割成象素?cái)?shù)據(jù)子塊的塊大小分配裝置；將象素?cái)?shù)據(jù)子塊變換成相應(yīng)頻域表示的變換裝置；以及將頻域表示換算成數(shù)據(jù)流的換算裝置，其中所述換算裝置基于與圖像質(zhì)量相關(guān)聯(lián)的質(zhì)量度量。
28.如權(quán)利要求27所述系統(tǒng)，其特征在于所述換算裝置進(jìn)一步包括所述象素?cái)?shù)據(jù)子塊的頻率加權(quán)掩碼裝置，使得所述頻率加權(quán)掩碼加重人類視覺系統(tǒng)較敏感的圖像部分，并且不加重人類視覺系統(tǒng)較不敏感的圖像部分。
29.如權(quán)利要求27所述系統(tǒng)，其特征在于所述換算裝置進(jìn)一步包括根據(jù)圖像質(zhì)量量化所述象素?cái)?shù)據(jù)子塊的量化器。
30.如權(quán)利要求27所述的系統(tǒng)，其特征在于質(zhì)量度量是信號(hào)噪聲比。
31.如權(quán)利要求27所述的系統(tǒng)，其特征在于所述變換裝置執(zhí)行離散余弦變換。
32.如權(quán)利要求27所述的系統(tǒng)，其特征在于所述變換裝置執(zhí)行繼之以微分四叉樹變換的離散余弦變換。
33.如權(quán)利要求31所述的系統(tǒng)，其特征在于所述換算裝置以逐塊方式換算數(shù)據(jù)。
34.如權(quán)利要求33所述的系統(tǒng)，其特征在于所述換算裝置基于象素?cái)?shù)據(jù)子塊的對(duì)比度。
35.如權(quán)利要求33所述的系統(tǒng)，其特征在于所述換算裝置基于大小上超過預(yù)定門限的子塊中AC系數(shù)的數(shù)量。
36.如權(quán)利要求33所述的系統(tǒng)，其特征在于所述換算裝置基于子塊的均方誤差。
37.如權(quán)利要求31所述的系統(tǒng)，其特征在于所述換算裝置基于逐幀方式。
38.如權(quán)利要求37所述的系統(tǒng)，其特征在于所述換算裝置基于每幀的塊大小分配的數(shù)量和大小。
39.如權(quán)利要求37所述的系統(tǒng)，其特征在于所述換算裝置基于前一幀的比例因子。
40.如權(quán)利要求27所述的系統(tǒng)，其特征在于所述塊大小分配裝置確定所述象素?cái)?shù)據(jù)塊的象素值的方差；將所述方差與門限值比較；根據(jù)比較行為的結(jié)果判決再分割所述塊，其中如果所述判決為要再分割所述塊，那么就對(duì)每個(gè)子塊進(jìn)行重復(fù)確定方差、與門限值比較以及判決再分割，直到滿足預(yù)定準(zhǔn)則為止；指定不再分割的各塊或子塊作為塊大小分配。
41.如權(quán)利要求40所述系統(tǒng)，其特征在于所述判決再分割要求如果方差大于門限就再分割塊。
42.如權(quán)利要求41所述系統(tǒng)，其特征在于所述門限是預(yù)定的。
43.如權(quán)利要求41所述系統(tǒng)，其特征在于所述門限是正被估計(jì)的塊或子塊的象素平均值的函數(shù)。
44.如權(quán)利要求41所述系統(tǒng)，其特征在于所述門限為每個(gè)再分割級(jí)別改變。
45.如權(quán)利要求40所述的系統(tǒng)，其特征在于所述不再分割的預(yù)定準(zhǔn)則基于預(yù)選的最小象素?cái)?shù)據(jù)塊的大小。
46.如權(quán)利要求27所述的系統(tǒng)，其特征在于所述換算進(jìn)一步包括折線掃描器。
47.如權(quán)利要求46所述的系統(tǒng)，其特征在于所述折線掃描器為所述折線掃描器使用8×8象素塊大小。
48.如權(quán)利要求47所述的系統(tǒng)，其特征在于所述換算裝置進(jìn)一步包括將數(shù)據(jù)流編碼成串行化的數(shù)據(jù)流以為發(fā)送作準(zhǔn)備的編碼器。
49.如權(quán)利要求48所述的系統(tǒng)，其特征在于所述編碼器是哈夫曼編碼器。
50.如權(quán)利要求49所述的系統(tǒng)，其特征在于所述哈夫曼編碼器使用多個(gè)查表對(duì)游程長(zhǎng)度和非0值進(jìn)行編碼。
51.如權(quán)利要求50所述的系統(tǒng)，其特征在于有3個(gè)查表。
52.如權(quán)利要求27所述的系統(tǒng)，其特征在于所述產(chǎn)生裝置是基于圖像的感知特性。
53.一種壓縮由象素?cái)?shù)據(jù)組成的數(shù)字圖像的方法，其特征在于該方法包括以下步驟讀取象素?cái)?shù)據(jù)塊；產(chǎn)生塊大小分配將象素塊分成象素?cái)?shù)據(jù)子塊；把象素?cái)?shù)據(jù)子塊變換成相應(yīng)的頻域表示；將頻域表示換算成數(shù)據(jù)流，其中換算行為基于與圖像質(zhì)量相關(guān)聯(lián)的質(zhì)量度量；其中所述換算行為進(jìn)一步包括向所述象素?cái)?shù)據(jù)子塊提供頻率加權(quán)掩碼的行為，使得所述頻率加權(quán)掩碼加重人類視覺系統(tǒng)較敏感的圖像部分，并且不加重人類視覺系統(tǒng)較不敏感的圖像部分；并且其中所述換算行為進(jìn)一步包括根據(jù)圖像質(zhì)量量化象素?cái)?shù)據(jù)子塊的行為。
54.如權(quán)利要求53所述方法，其特征在于所述質(zhì)量度量是信號(hào)噪聲比。
55.如權(quán)利要求53所述方法，其特征在于所述變換行為執(zhí)行離散余弦變換。
56.如權(quán)利要求53所述方法，其特征在于所述變換行為執(zhí)行繼之以微分四叉樹變換的離散余弦變換。
57.如權(quán)利要求53所述方法，其特征在于所述換算行為基于逐塊方式。
58.如權(quán)利要求57所述方法，其特征在于所述換算行為基于象素?cái)?shù)據(jù)子塊的對(duì)比度。
59.如權(quán)利要求57所述方法，其特征在于所述換算行為基于大小上超過預(yù)定門限的子塊中AC系數(shù)的數(shù)量。
60.如權(quán)利要求57所述方法，其特征在于所述換算行為基于子塊的均方誤差。
61.如權(quán)利要求55所述方法，其特征在于所述換算行為基于逐幀方式。
62.如權(quán)利要求61所述方法，其特征在于所述換算行為基于每幀的塊大小分配的數(shù)量和大小。
63.如權(quán)利要求61所述方法，其特征在于所述換算行為基于前一幀的比例因子。
64.一種基于質(zhì)量的壓縮象素?cái)?shù)據(jù)的圖像壓縮系統(tǒng)，其特征在于該系統(tǒng)包括將象素塊分割成象素?cái)?shù)據(jù)子塊的塊大小分配裝置；將象素?cái)?shù)據(jù)子塊變換成相應(yīng)頻域表示的變換裝置；以及將頻域表示換算成數(shù)據(jù)流的換算裝置，其中所述換算裝置基于與圖像質(zhì)量相關(guān)聯(lián)的質(zhì)量度量；其中所述換算裝置進(jìn)一步包括所述象素?cái)?shù)據(jù)子塊的頻率加權(quán)掩碼裝置，使得所述頻率加權(quán)掩碼加重人類視覺系統(tǒng)較敏感的圖像部分，并且不加重人類視覺系統(tǒng)較不敏感的圖像部分；并且其中所述換算裝置進(jìn)一步包括根據(jù)圖像質(zhì)量量化所述象素?cái)?shù)據(jù)子塊的量化器。
65.如權(quán)利要求64所述的系統(tǒng)，其特征在于質(zhì)量度量是信號(hào)噪聲比。
66.如權(quán)利要求64所述的系統(tǒng)，其特征在于所述變換裝置執(zhí)行離散余弦變換。
67.如權(quán)利要求64所述的系統(tǒng)，其特征在于所述變換裝置執(zhí)行繼之以微分四叉樹變換的離散余弦變換。
68.如權(quán)利要求67所述的系統(tǒng)，其特征在于所述換算裝置以逐塊方式換算數(shù)據(jù)。
69.如權(quán)利要求67所述的系統(tǒng)，其特征在于所述換算裝置基于象素?cái)?shù)據(jù)子塊的對(duì)比度。
70.如權(quán)利要求67所述的系統(tǒng)，其特征在于所述換算裝置基于大小上超過預(yù)定門限的子塊中AC系數(shù)的數(shù)量。
71.如權(quán)利要求67所述的系統(tǒng)，其特征在于所述換算裝置基于子塊的均方誤差。
72.如權(quán)利要求67所述的系統(tǒng)，其特征在于所述換算裝置基于逐幀方式。
73.如權(quán)利要求72所述的系統(tǒng)，其特征在于所述換算裝置基于每幀的塊大小分配的數(shù)量和大小。
全文摘要
對(duì)一種基于質(zhì)量的圖像壓縮的系統(tǒng)和方法提出權(quán)利要求，其中利用離散余弦變換系數(shù)數(shù)據(jù)的自適應(yīng)大小的塊和子塊和基于質(zhì)量的量化比例因子(100)。編碼元件(104)中的塊大小分配元件(120)選擇要被處理的輸入象素?cái)?shù)據(jù)塊的塊或子塊。再分割方差大于門限的塊，而不再分割方差小于門限的塊。變換元件將所選擇的象素值變換成頻域(124)。以逐塊方式或逐幀方式利用與圖像質(zhì)量相關(guān)的比例因子量化頻域值(132、134、136、144、148)。然后串行化并編碼(152)該數(shù)據(jù)為發(fā)送作準(zhǔn)備。
文檔編號(hào)H04N7/26GK101018336SQ20071000388
公開日2007年8月15日 申請(qǐng)日期2001年1月26日 優(yōu)先權(quán)日2000年1月28日
發(fā)明者K·S·蒂阿格拉堅(jiān), S·A·莫雷 申請(qǐng)人:高通股份有限公司