專利名稱：用于視頻轉(zhuǎn)碼的變換域子采樣的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及處理圖像數(shù)據(jù)，尤其涉及一種在基于預(yù)期分辨率等級(jí)和預(yù)期質(zhì)量等級(jí)提取數(shù)據(jù)之后在變換域中處理圖像數(shù)據(jù)的方法。
背景技術(shù)：
通常，數(shù)字信息是由編碼器使用預(yù)先選擇的格式或處理進(jìn)行壓縮的。但是，傳統(tǒng)的數(shù)字消費(fèi)品格式，如高清晰度電視(HDTV)、數(shù)字多功能盤或影碟(DVD)、先進(jìn)電視系統(tǒng)委員會(huì)(ATSC)、數(shù)字視頻廣播(DVB)、數(shù)字衛(wèi)星系統(tǒng)(DSS)，以不同的預(yù)期分辨率等級(jí)、幀速率和/或比特率和預(yù)期質(zhì)量等級(jí)而工作。移動(dòng)設(shè)備也可能會(huì)使用非標(biāo)準(zhǔn)的分辨率，其中的分辨率基于用戶定義分辨率的屏幕尺寸。相應(yīng)地，為了適應(yīng)圖像的多種預(yù)期分辨率等級(jí)和預(yù)期質(zhì)量等級(jí)，必須開發(fā)各種技術(shù)。
因此，需要一種更多功能、簡(jiǎn)單和/或高效的系統(tǒng)，其能夠在不損失質(zhì)量的前提下生成多種視頻描述。

發(fā)明內(nèi)容
相應(yīng)地，為了解決上述需求，這里公開的實(shí)施例提供了一種用于電子設(shè)備的方法，其基于預(yù)期分辨率等級(jí)和預(yù)期質(zhì)量等級(jí)，提取編碼數(shù)據(jù)，并在變換域中對(duì)所提取的數(shù)據(jù)進(jìn)行子采樣，從而實(shí)現(xiàn)更高的靈活度，而不損失質(zhì)量。
在一個(gè)實(shí)施例中，一種可工作于無(wú)線或有線通信系統(tǒng)中的裝置，如服務(wù)器或基站發(fā)射機(jī)，包括一種用于接收比特流和基于一個(gè)或多個(gè)標(biāo)準(zhǔn)從所述比特流中提取數(shù)據(jù)和在變換域中對(duì)提取出來(lái)的數(shù)據(jù)進(jìn)行子采樣(例如，濾波和抽取)的方法。該服務(wù)器存儲(chǔ)數(shù)據(jù)，以供將來(lái)傳輸，或者將數(shù)據(jù)傳輸?shù)揭粋€(gè)或多個(gè)連接的裝置，如移動(dòng)終端或固定終端。
在一個(gè)實(shí)施例中，一種可工作于無(wú)線或有線通信系統(tǒng)中的裝置，如移動(dòng)終端或固定終端，包括一種用于接收比特流和基于一個(gè)或多個(gè)標(biāo)準(zhǔn)從所述比特流中提取數(shù)據(jù)和在變換域中對(duì)提取出來(lái)的數(shù)據(jù)進(jìn)行子采樣(例如，濾波和抽取)的方法。該裝置可以結(jié)束子采樣數(shù)據(jù)的處理，然后在顯示器上顯示圖像。
根據(jù)附圖、說(shuō)明書和所附的權(quán)利要求書，可以更全面地了解本發(fā)明的所有優(yōu)點(diǎn)和保護(hù)范圍。


圖1A和1B示出了用于自適應(yīng)塊尺寸離散余弦變換的自適應(yīng)尺寸的塊和子塊；圖2是根據(jù)本發(fā)明實(shí)施例的圖形處理系統(tǒng)的部件框圖；圖3示出了根據(jù)本發(fā)明實(shí)施例的比特流的采樣組織；圖4示出了根據(jù)本發(fā)明實(shí)施例的接收中心的任務(wù)流程圖；圖5示出了根據(jù)本發(fā)明實(shí)施例在變換域中進(jìn)行子采樣所執(zhí)行的任務(wù)的高層流程圖。
具體實(shí)施例方式
一般而言，根據(jù)下面描述的實(shí)施例，可以提取壓縮的比特流，并在變換域中進(jìn)行子采樣。在下面的描述中，給出的具體細(xì)節(jié)旨在透徹理解這些實(shí)施例。但是，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，也可以不用這些具體細(xì)節(jié)來(lái)實(shí)施這些實(shí)施例。例如，為了不使不必要的細(xì)節(jié)混淆這些實(shí)施例，可用框圖形式給出電路。但在其他情況下，為了不混淆這些實(shí)施例，也可以詳細(xì)描述公知的電路、結(jié)構(gòu)和技術(shù)。
可以將實(shí)施例描述成用流程圖、結(jié)構(gòu)圖或框圖表示的過(guò)程。盡管流程圖可以將多個(gè)操作描述為有序的過(guò)程，但其中的很多操作可以并行或同時(shí)執(zhí)行。此外，也可以重新排定操作的次序。當(dāng)操作完成時(shí)，過(guò)程結(jié)束。過(guò)程可以對(duì)應(yīng)于方法、函數(shù)、程序、子例程、子程序等。當(dāng)過(guò)程對(duì)應(yīng)于函數(shù)時(shí)，其結(jié)束對(duì)應(yīng)于該函數(shù)返回主調(diào)函數(shù)或主函數(shù)。
此外，如同本申請(qǐng)所披露的那樣，術(shù)語(yǔ)“視頻”指的是多媒體的視覺(jué)部分，且可與術(shù)語(yǔ)“圖像”互換地使用。存儲(chǔ)介質(zhì)可以表示一種或多種用于存儲(chǔ)數(shù)據(jù)的器件，包括只讀存儲(chǔ)器(ROM)、隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)、磁盤存儲(chǔ)介質(zhì)、光存儲(chǔ)介質(zhì)、閃存器件和/或其他用于存儲(chǔ)信息的機(jī)器可讀介質(zhì)。術(shù)語(yǔ)“機(jī)器可讀介質(zhì)”包括、但不限于便攜式或固定存儲(chǔ)器件、光存儲(chǔ)器件、無(wú)線信道和能夠存儲(chǔ)、包含或攜帶指令和/或數(shù)據(jù)的各種其他介質(zhì)。
一個(gè)輸入視頻或圖像數(shù)據(jù)流通常由多個(gè)圖像幀構(gòu)成。通常可以將一張圖像分成多個(gè)切片(slice)，可以將一個(gè)切片分成多個(gè)數(shù)據(jù)塊，可以將一個(gè)數(shù)據(jù)塊分成多個(gè)像素，像素是圖像的最小單位。每個(gè)圖像幀包括整數(shù)個(gè)切片，每個(gè)圖像切片表示16條連續(xù)掃描線集合的圖像信息。在這種情況下，每個(gè)數(shù)據(jù)塊對(duì)應(yīng)于該幀圖像范圍內(nèi)的一個(gè)16×16像素塊。此外，可以將一幀分成偶數(shù)和奇數(shù)切片，從而形成偶數(shù)半幀和奇數(shù)半幀。也可以將一幀分成不同的預(yù)定尺寸，而不偏離本發(fā)明。在一個(gè)實(shí)施例中，半幀是由解碼器進(jìn)行處理的壓縮數(shù)據(jù)信息的基本數(shù)據(jù)包。此外，一個(gè)像素通常可使用紅、綠和藍(lán)(RGB)顏色系統(tǒng)表示。但是，由于人眼對(duì)亮度變化比較敏感，而對(duì)色度變化不太敏感，所以，在視頻壓縮中通常使用YcbCr顏色空間來(lái)表示圖像像素。YcbCr顏色空間是RGB分量的線性變換，其中，Y是亮度分量，Cb和Cr是顏色分量。如果將一個(gè)幀分成偶數(shù)/奇數(shù)幀，將會(huì)有三個(gè)偶數(shù)半幀和三個(gè)奇數(shù)半幀對(duì)應(yīng)于分量Y、Cb和Cr。
在上面的描述中，一個(gè)切片也可以表示除16條連續(xù)掃描線之外的連續(xù)掃描線的集合。此外，根據(jù)本發(fā)明，也可以用具有相同或不同數(shù)量的顏色分量的不同顏色空間來(lái)表示一個(gè)圖像像素。
此外，壓縮技術(shù)通常基于離散余弦變換(DCT)，其中，每個(gè)數(shù)據(jù)塊的尺寸是固定的。當(dāng)然，也可以使用任何可逆的正交變換，如整數(shù)變換。一種動(dòng)態(tài)圖像壓縮技術(shù)能夠提供很可觀的壓縮，同時(shí)還能保證圖像信號(hào)的質(zhì)量，它采用編碼DCT系數(shù)數(shù)據(jù)的自適應(yīng)尺寸塊和子塊。后面將該技術(shù)稱為自適應(yīng)塊尺寸離散余弦變換(ABSDCT)。選擇自適應(yīng)塊尺寸，以便于利用一幀圖像數(shù)據(jù)中存在的信息冗余。題目為“Adaptive Block Size Image Compression Method And System”的美國(guó)專利No.5,021,891中公開了這種技術(shù)。題目為“Adaptive Block SizeImage Compression Method And System”的美國(guó)專利No.5,107,345中公開了DCT技術(shù)，題目為“Adaptive Block Size Image CompressionMethod And System”的美國(guó)專利No.5,452,104介紹了如何將ABSDCT技術(shù)和離散四叉樹(Quadtree)變換技術(shù)組合起來(lái)使用。這些專利中描述的系統(tǒng)利用了幀內(nèi)(intraframe)編碼，其中，對(duì)每幀圖像序列進(jìn)行編碼，而不管其他幀的內(nèi)容。
圖1A和1B示出了用于自適應(yīng)塊尺寸離散余弦變換的自適應(yīng)尺寸塊和子塊。通常，將每個(gè)亮度和色度分量傳遞到塊交織器(未顯示)。將一個(gè)16×16塊提供給塊交織器，后者對(duì)該16×16塊內(nèi)的圖像采樣進(jìn)行排序，從而產(chǎn)生數(shù)據(jù)的塊和復(fù)合子塊，以進(jìn)行DCT分析。在圖1A所示的例子中，將一個(gè)16×16 DCT應(yīng)用于第一排序，將四個(gè)8×8 DCT應(yīng)用于第二排序，將16個(gè)4×4 DCT應(yīng)用于第三排序，將64個(gè)2×2 DCT應(yīng)用于第四排序。DCT操作減少該圖像源中固有的空間冗余。在執(zhí)行DCT之后，大部分圖像信號(hào)能量集中在幾個(gè)DCT系數(shù)中。
對(duì)于該16×16塊和各子塊，分析變換后的系數(shù)，從而確定對(duì)該塊或子塊進(jìn)行編碼所需的比特?cái)?shù)。然后，選擇需要最少數(shù)量的比特進(jìn)行編碼從而表示圖像段的塊和子塊的組合。在圖1B所示的例子中，為了表示圖像段，選擇了兩個(gè)8×8子塊、6個(gè)4×4子塊和8個(gè)2×2子塊。然后，按照次序，適當(dāng)?shù)嘏帕兴x的塊或子塊組合。還可以對(duì)DCT系數(shù)值做進(jìn)一步處理，例如、但不限于量化和變長(zhǎng)編碼。
為便于說(shuō)明，下面結(jié)合ABSDCT算法，討論基于壓縮的變換系統(tǒng)，其用于生成壓縮數(shù)據(jù)的多個(gè)描述或?qū)印５?，?duì)于本領(lǐng)域技術(shù)人員顯而易見(jiàn)的是，本發(fā)明不限于使用ABSDCT。也可以使用其他的數(shù)學(xué)變換，如DCT、Hadamard變換和整數(shù)變換。
一般情況下，基于ABSDCT的壓縮支持最多1920×1080圖像的編碼。但是，ABSDCT算法本身就是可縮放的，并且，能夠用擴(kuò)展的比特寬度處理更高的比特深度。它也可以壓縮任何尺寸的圖像，包括4K×4K，因?yàn)樗腔趬K的壓縮。由于ABSDCT的這種靈活度，例如，系統(tǒng)壓縮4K×2K的圖像，以便于在視覺(jué)上無(wú)損圖像質(zhì)量。如果完全解碼的話，塊式DCT系數(shù)的所得比特流產(chǎn)生DC播放順序。該比特流是分組排列的，所以，可以使用簡(jiǎn)單的剪切操作，提取較低的分辨率順序。
具體而言，可以對(duì)輸入數(shù)據(jù)進(jìn)行一次編碼，從而生成一個(gè)完整的比特流或“主庫(kù)存(Master Inventory)”，在主庫(kù)存內(nèi)，有多個(gè)等級(jí)的庫(kù)存。這里，高等級(jí)的庫(kù)存可以包括一個(gè)或多個(gè)較低等級(jí)的庫(kù)存。通常，最高等級(jí)的庫(kù)存是主庫(kù)存。此外，每個(gè)庫(kù)存包括一個(gè)適應(yīng)不同目標(biāo)應(yīng)用的壓縮比特流。
公開的實(shí)施例導(dǎo)出數(shù)字圖像表示的唯一特征描述以及它們?cè)谙袼睾妥儞Q域中的關(guān)系。應(yīng)用于這些表示的基本變換原理以及標(biāo)準(zhǔn)的多速率DSP技術(shù)提供變換域中圖像數(shù)據(jù)的所需再采樣。本發(fā)明的主要優(yōu)點(diǎn)在于，該方法的復(fù)雜度相比擴(kuò)展的理論方法得到了降低。此外，本發(fā)明可直接擴(kuò)展到量化矩陣，從而在再采樣之后實(shí)現(xiàn)反向量化運(yùn)算。這樣，在再采樣之前就不必解碼和反向量化，從而降低解碼器/轉(zhuǎn)碼器的復(fù)雜度。通常，要涉及兩個(gè)方面1)對(duì)可變塊尺寸的變換矩陣進(jìn)行再采樣；2)在再采樣之后進(jìn)行反向量化，從而實(shí)現(xiàn)標(biāo)準(zhǔn)的反變換運(yùn)算。
更具體地講，再采樣涉及將采樣率提高一個(gè)因數(shù)(插值)或降低一個(gè)因數(shù)(抽取)，從而使用任何整數(shù)或小數(shù)因數(shù)(I/D)——有理數(shù)，對(duì)N點(diǎn)序列進(jìn)行再采樣，，其中，I和D彼此為素?cái)?shù)，用因數(shù)I進(jìn)行插值，產(chǎn)生NI點(diǎn)序列的變換，然后用D進(jìn)行抽取，得到(NI/D)點(diǎn)序列。再采樣之后的可變塊尺寸反向量化需要適當(dāng)?shù)匦薷牧炕瘏?shù)和值?？梢詳U(kuò)展上面的(1)中描述的再采樣方案，產(chǎn)生再采樣量化矩陣。對(duì)圖像進(jìn)行再采樣所用的縮放因數(shù)定義了對(duì)量化矩陣進(jìn)行再采樣所用的濾波器。
可以在編碼器中計(jì)算改進(jìn)的表，并作為元數(shù)據(jù)發(fā)送出去，或者，對(duì)于所需的縮放因數(shù)(由信道或網(wǎng)絡(luò)狀況或QoS確定)，在分配中心處計(jì)算，或者，可由解碼器根據(jù)終端設(shè)備中定義的特定參數(shù)(如用于適當(dāng)再量化的再縮放矩陣)而導(dǎo)出。
圖2是圖像處理系統(tǒng)2100的部件框圖。該圖像處理系統(tǒng)包括分配中心2102，用于對(duì)一個(gè)或多個(gè)圖像進(jìn)行編碼，從而產(chǎn)生比特流2116，并將比特流2116發(fā)送到至少一個(gè)接收中心2118。接收中心(可以是電子移動(dòng)設(shè)備或電子固定設(shè)備)用于對(duì)收到的比特流2116進(jìn)行解碼，并產(chǎn)生圖像數(shù)據(jù)。
分配中心2102包括內(nèi)容數(shù)據(jù)庫(kù)2105、發(fā)射機(jī)2114和編碼處理器2104(后面稱之為“編碼器”)，編碼處理器2104具有可變塊轉(zhuǎn)換器2106、DCT邏輯、量化器和比特流生成器2112。編碼器采用公知的圖像壓縮技術(shù)，產(chǎn)生壓縮的比特流2116，并使用發(fā)射機(jī)2114將其進(jìn)行發(fā)送。比特流生成器2112可使用各種技術(shù)，將圖像數(shù)據(jù)壓縮和組織成比特流，以便于在接收中心2118進(jìn)行高效的提取。下面討論的圖3示出了比特流的這樣一種組織。
接收中心2118包括收發(fā)機(jī)2122、顯示邏輯2132、存儲(chǔ)器2124、解碼處理器2120(后面稱之為“解碼器”)，解碼處理器2120具有比特流提取器2125、子采樣邏輯2126和反向量化器/變換器2128。通常，收發(fā)機(jī)2122接收壓縮的比特流2116。根據(jù)廠商偏好，可以將收到的比特流歸檔在存儲(chǔ)器2124中，以便于以后處理。
在一個(gè)實(shí)施例中，接收中心2118是移動(dòng)電子設(shè)備，如移動(dòng)數(shù)字終端，工作于無(wú)線通信系統(tǒng)(如CDMA、OFDMA、GSM、WCDMA、MPEG系統(tǒng)等無(wú)線系統(tǒng))中。在該實(shí)施例中，可以臨時(shí)存儲(chǔ)比特流，然后可以經(jīng)由基站(未顯示)將其重發(fā)到其他移動(dòng)設(shè)備。
在另一實(shí)施例中，接收中心2118是電子設(shè)備，如通用計(jì)算機(jī)或膝上計(jì)算機(jī)，建立成服務(wù)器。在該實(shí)施例中，可以臨時(shí)存儲(chǔ)比特流，然后將其重發(fā)到與該服務(wù)器無(wú)線或有線相連的其他移動(dòng)設(shè)備。
圖3示出了根據(jù)本發(fā)明實(shí)施例配置的比特流的組織。該比特流是由編碼器2104構(gòu)建和組織的。圖3包括一個(gè)小照片(thumbnail)庫(kù)存，它可以通過(guò)壓縮由塊形成的縮放(1/256)圖像而產(chǎn)生。對(duì)于每秒112×64×24幀(fps)的圖像序列，該層的目標(biāo)比特率是200Kbps。為了滿足目標(biāo)應(yīng)用的要求，需要產(chǎn)生多層(例如0-7)壓縮數(shù)據(jù)。通常，該層與一個(gè)質(zhì)量等級(jí)相關(guān)聯(lián)(例如0-7)。此后，從多層中提取或剪切出必要的層，從而提供目標(biāo)應(yīng)用的壓縮數(shù)據(jù)的具體描述。在另一實(shí)施例中，可以執(zhí)行歸檔壓縮(archival compression)，從而生成一個(gè)歸檔庫(kù)存。為了生成目標(biāo)應(yīng)用的具體庫(kù)存，將比特流解碼到歸檔質(zhì)量播放順序。
圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的接收中心2118的任務(wù)的流程圖4300。在框4302中，接收編碼和分層的比特流。在框4304中，存儲(chǔ)比特流。在框4308中，基于一種或多種標(biāo)準(zhǔn)，確定預(yù)期的分辨率。根據(jù)接收中心的制造商或系統(tǒng)的運(yùn)營(yíng)商，可用多種方法來(lái)確定預(yù)期分辨率。在一個(gè)實(shí)施例中，接收機(jī)可以是一個(gè)服務(wù)器，其使用一種算法來(lái)確定所需數(shù)量的不同分辨率。例如，數(shù)字影院需要1920×1080×24的分辨率，高清晰度電視(HDTV)需要1920×1080×24的分辨率，標(biāo)準(zhǔn)電視(SDTV)需要720×486×24的分辨率，數(shù)字衛(wèi)星系統(tǒng)(DSS)需要352×240×24的分辨率，小照片需要112×64×24的分辨率，工作于不同分辨率和比特率的壓縮比特流。其他應(yīng)用包括、但不限于數(shù)字多功能盤或影碟(DVD)、先進(jìn)電視系統(tǒng)委員會(huì)(ATSC)、數(shù)字視頻廣播(DVB)。在另一實(shí)施例中，接收中心是移動(dòng)終端，其使用基于顯示器尺寸的固定分辨率或基于預(yù)期顯示尺寸或有限屏幕尺寸的可調(diào)整分辨率。在確定預(yù)期分辨率時(shí)，也可以使用預(yù)期的質(zhì)量等級(jí)，下面將對(duì)此進(jìn)行說(shuō)明。
在框4312中，確定預(yù)期質(zhì)量等級(jí)?？梢允褂盟惴ǎ谝环N或多種標(biāo)準(zhǔn)，如可用資源，預(yù)期分辨率、系統(tǒng)資源，預(yù)先確定或確定質(zhì)量。在本發(fā)明的一個(gè)實(shí)施例中，解碼器2120使用從一個(gè)或多個(gè)與接收中心2118相連的設(shè)備中獲取的信息，得到質(zhì)量等級(jí)(例如，從0到7)。所獲取的信息，包括分辨率限制、預(yù)期分辨率、各種系統(tǒng)門限和訂閱等級(jí)，可以限制準(zhǔn)予移動(dòng)設(shè)備使用或能夠使用的帶寬。通常，質(zhì)量等級(jí)越低，所需的比特就低。例如，具有高質(zhì)量等級(jí)的高分辨率需要從比特流中提取出大量的比特。相比之下，具有較低質(zhì)量等級(jí)的較低分辨率只需要從比特流中提取出少量的比特。可以使用不同的標(biāo)準(zhǔn)和門限，來(lái)特定延時(shí)所允許的確定質(zhì)量等級(jí)。例如，可用傳輸帶寬標(biāo)準(zhǔn)可能基于當(dāng)前可用于通信的帶寬。其他標(biāo)準(zhǔn)可能基于系統(tǒng)業(yè)務(wù)流量、與系統(tǒng)相連的用戶的數(shù)量或與接收中心相連的設(shè)備的數(shù)量。
在確定預(yù)期分辨率和預(yù)期質(zhì)量之后，在框4316中，基于確定的分辨率和質(zhì)量，從比特流2116中提取適當(dāng)?shù)臄?shù)據(jù)，以創(chuàng)建一個(gè)或多個(gè)提取流。例如，提取流可以基于DSS分辨率，具有質(zhì)量等級(jí)4。然后，基于DSS分辨率和與最多第四層相關(guān)聯(lián)的所有比特，從比特流中提取出所需的DC和AC系數(shù)。在提取出必要數(shù)據(jù)之后，使用所提取的數(shù)據(jù)，重新構(gòu)建像素塊。
在框4320中，在變換域中，對(duì)塊提取的流進(jìn)行子采樣。通常，提取流是圖像用原始分辨率的塊表示。使用子采樣方法，在變換域中，對(duì)圖像進(jìn)行過(guò)濾和抽取，以得到預(yù)期分辨率，下面將對(duì)此進(jìn)行說(shuō)明。根據(jù)下面描述的方法，抽取可使用二元或非二元縮放，以避免混淆現(xiàn)象。然后，使用公知的技術(shù)，處理調(diào)整后的圖像數(shù)據(jù)，以進(jìn)行反向量化和反向DCT。
在框4328和4332中，通過(guò)反向量化和反向DCT處理數(shù)據(jù)，以產(chǎn)生預(yù)期圖像。在框4336中，可以使用收發(fā)機(jī)2122將預(yù)期圖像傳輸?shù)狡渌噙B設(shè)備和/或使用顯示邏輯2132顯示在顯示器上。
圖5根據(jù)本發(fā)明一個(gè)實(shí)施例示出了在變換域中進(jìn)行子采樣所執(zhí)行的任務(wù)的高級(jí)流程圖5400。在框5402中，過(guò)濾以原始分辨率表示圖像的提取數(shù)據(jù)，在框5404中，抽取過(guò)濾后的數(shù)據(jù)。使用頻率子采樣，執(zhí)行DCT或變換域分辨率縮放。圖像的子采樣可以在圖像域或在頻率域中執(zhí)行。因?yàn)樽硬蓸邮沁^(guò)濾和抽取處理，所以，可以將其概括為將N點(diǎn)1-D序列的采樣率改變?nèi)魏我驍?shù)，該因數(shù)是有理數(shù)--(I/D)，其中，I和D彼此是素?cái)?shù)。一般而言，用因數(shù)I對(duì)N點(diǎn)序列進(jìn)行插值，生成NI點(diǎn)序列的DCT，然后用D進(jìn)行抽取，得到(NI/D)點(diǎn)序列的DCT。這要求N是D的整數(shù)倍(N＝MD)。
假設(shè)原始序列為x(n)(n＝0…MD-1)，則其DCT為X(k)=1MD∑n=0MD-1x(n)cos((2n+1)kπ2MD)0≤k≤MD-1]]>用因數(shù)I進(jìn)行插值，通過(guò)(概念地)串接I份X，并乘以合適的插值濾波器H(k)的IMD點(diǎn)DCTX′(k)=X(kmodMD)H(k)10≤k≤MD-1]]>然后，將結(jié)果用D進(jìn)行抽取，從而生成結(jié)果的IM(＝NI/D)點(diǎn)DCTX′′(k)=1D∑d=0D-1X′(IMD+k)0≤k≤MD-1]]>這是執(zhí)行該運(yùn)算的例程將估計(jì)的表達(dá)式(對(duì)于k＝0…IM-1)X′′(k)=1D∑d=0D-1X((IMD+k)modMD)H(IMD+k)0≤k≤MD-1---(1)]]>該運(yùn)算的2D等價(jià)式用于實(shí)現(xiàn)頻域子采樣。為便于實(shí)現(xiàn)，還可將公式1簡(jiǎn)化為簡(jiǎn)單的加法。
濾波器H(k)是改進(jìn)的Remez低通濾波器。使用的是通帶與阻帶比為10∶1的Parks-McClellan最佳等漣波FIR低通濾波器。它提供了平滑的滾降(roll-off)，但保留足夠高頻率內(nèi)容，從而避免混淆現(xiàn)象。修改該濾波器，以考慮量化對(duì)DCT系數(shù)的影響?？勺儔K尺寸量化重新分配對(duì)低階高頻分量的重視。塊分割決定取決于內(nèi)容中的活動(dòng)。如果濾波器有較快的滾降，一些關(guān)鍵頻率分量可能會(huì)衰減，從而在反向變換之后導(dǎo)致由混淆現(xiàn)象引起的振鈴干擾，。
對(duì)于非二元縮放，I和D不必為素?cái)?shù)，插值因數(shù)[I]是最接近的整數(shù)。對(duì)變換域系數(shù)進(jìn)行零填充，以匹配濾波器長(zhǎng)度，從而避免混淆現(xiàn)象。
這樣的通用濾波器降低圖像中的失真。優(yōu)化基于MMSE，并得到數(shù)據(jù)相關(guān)門限。具有空間域再采樣圖像的PSNR也可用于優(yōu)化。也可以使用統(tǒng)計(jì)導(dǎo)出的Wiener濾波器。
此外，再采樣變換域系數(shù)的反向量化表可如下獲得1)使用與變換域系數(shù)相同的過(guò)程，對(duì)反向量化矩陣進(jìn)行插值和抽??；2)用與采樣縮放因數(shù)相同的因數(shù)，對(duì)DC量化實(shí)數(shù)值進(jìn)行縮放；3)中間DC用子塊的再采樣縮放因數(shù)進(jìn)行縮放。
該技術(shù)能夠?qū)崿F(xiàn)到較低或較高分辨率的直接轉(zhuǎn)碼，而不必在縮放之前在像素域中進(jìn)行解碼。此外，向解碼器發(fā)送縮放因數(shù)、而非全部表數(shù)據(jù)就足夠了，從而可以節(jié)約傳輸帶寬。解碼器能夠重新構(gòu)建新的反向量化表。這也降低了與縮放性相關(guān)的開銷，因?yàn)椴煌敵龇直媛实牟煌砜梢詮南嗤谋忍亓骱驮剂炕碇袑?dǎo)出。
例如，該方法和裝置也可以實(shí)現(xiàn)在移動(dòng)電子裝置中，如移動(dòng)電話、PDA、便攜式電腦以及其他具有無(wú)線連接系統(tǒng)和接收音頻視頻數(shù)據(jù)的裝置。
雖然上面具體結(jié)合優(yōu)選實(shí)施例對(duì)本發(fā)明進(jìn)行了描述和說(shuō)明，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在不脫離所附權(quán)利要求書定義的本發(fā)明保護(hù)范圍的前提下，可以做出形式和細(xì)節(jié)上的各種改變。也就是說(shuō)，根據(jù)前面的公開內(nèi)容，其他修改和變化對(duì)于本領(lǐng)域技術(shù)人員也是顯而易見(jiàn)的。因此，雖然上面只是具體描述了本發(fā)明的特定實(shí)施例，但很顯然，可以做出多種修改，而不脫離本發(fā)明的精神和保護(hù)范圍。
權(quán)利要求
1.一種用于處理圖像數(shù)據(jù)的方法，該方法包括以下動(dòng)作接收根據(jù)第一方案而配置的比特流；基于預(yù)期的分辨率等級(jí)和預(yù)期的質(zhì)量等級(jí)，提取所述比特流的一部分；以及在變換域中對(duì)所述比特流的所述提取部分進(jìn)行子采樣。
2.如權(quán)利要求1所述的方法，其中，所述提取動(dòng)作還包括從多個(gè)分辨率等級(jí)中選擇所述預(yù)期分辨率等級(jí)的動(dòng)作。
3.如權(quán)利要求2所述的方法，其中，所述選擇動(dòng)作還包括基于所述預(yù)期質(zhì)量等級(jí)確定可用的最高分辨率等級(jí)的動(dòng)作。
4.如權(quán)利要求2所述的方法，其中，所述選擇動(dòng)作包括從一個(gè)組中選擇所述預(yù)期分辨率等級(jí)值的動(dòng)作，所述組包括HDTV分辨率、DVD分辨率、ATSC分辨率、DVB分辨率、DSS分辨率和用戶定義分辨率值。
5.如權(quán)利要求1所述的方法，其中，所述提取動(dòng)作還包括從多個(gè)可用的質(zhì)量等級(jí)中選擇所述預(yù)期質(zhì)量等級(jí)的動(dòng)作。
6.如權(quán)利要求5所述的方法，其中，所述選擇動(dòng)作還包括基于所述選擇的質(zhì)量等級(jí)確定可用的最高分辨率等級(jí)的動(dòng)作。
7.如權(quán)利要求1所述的方法，其中，所述提取動(dòng)作包括基于所述預(yù)期分辨率等級(jí)確定可用的最高質(zhì)量等級(jí)的動(dòng)作。
8.如權(quán)利要求1所述的方法，其中，所述提取動(dòng)作還包括確定所述預(yù)期分辨率等級(jí)的動(dòng)作。
9.如權(quán)利要求8所述的方法，其中，所述確定動(dòng)作包括從多個(gè)可用的分辨率等級(jí)中選擇所述預(yù)期分辨率等級(jí)值的動(dòng)作。
10.如權(quán)利要求8所述的方法，其中，所述確定動(dòng)作包括從多個(gè)可用的質(zhì)量等級(jí)值中選擇所述預(yù)期質(zhì)量等級(jí)值的動(dòng)作。
11.如權(quán)利要求8所述的方法，其中，所述確定動(dòng)作包括基于所述預(yù)期質(zhì)量等級(jí)計(jì)算可用的最高分辨率等級(jí)的動(dòng)作。
12.如權(quán)利要求8所述的方法，其中，所述確定動(dòng)作包括從一個(gè)組中選擇所述預(yù)期分辨率等級(jí)的分辨率值的動(dòng)作，所述組包括HDTV分辨率、DVD分辨率、ATSC分辨率、DVB分辨率、DSS分辨率和用戶定義分辨率值。
13.如權(quán)利要求1所述的方法，其中，所述提取動(dòng)作還包括選擇范圍為從0到7的所述預(yù)期質(zhì)量等級(jí)值的動(dòng)作。
14.如權(quán)利要求1所述的方法，其中，所述子采樣動(dòng)作還包括使用非二元方案進(jìn)行縮放的動(dòng)作。
15.如權(quán)利要求1所述的方法，其中，所述子采樣動(dòng)作包括應(yīng)用第一濾波器的動(dòng)作和將所述比特流的所述提取部分抽取到所述預(yù)期分辨率等級(jí)的動(dòng)作。
16.如權(quán)利要求1所述的方法，其中，所述子采樣動(dòng)作包括使用二元方案進(jìn)行縮放的動(dòng)作。
17.如權(quán)利要求1所述的方法，其中，所述接收動(dòng)作包括接收根據(jù)預(yù)定方案而配置的所述比特流的動(dòng)作。
18.如權(quán)利要求1所述的方法，其中，所述接收動(dòng)作包括接收根據(jù)分層方案而配置的所述比特流的動(dòng)作。
19.如權(quán)利要求1所述的方法，還包括在提取所述比特流的所述部分的所述動(dòng)作之前確定分辨率等級(jí)的動(dòng)作。
20.如權(quán)利要求1所述的方法，還包括存儲(chǔ)所述提取比特流以供將來(lái)傳輸?shù)膭?dòng)作。
21.一種用于處理圖像數(shù)據(jù)的裝置，該方法包括接收模塊，用于接收根據(jù)第一方案而配置的比特流；提取模塊，用于基于預(yù)期的分辨率等級(jí)和預(yù)期的質(zhì)量等級(jí)，提取所述比特流的一部分；以及子采樣模塊，用于在變換域中對(duì)所述比特流的所述提取部分進(jìn)行子采樣。
22.如權(quán)利要求21所述的裝置，其中，所述提取模塊還包括從多個(gè)分辨率等級(jí)中選擇所述預(yù)期分辨率等級(jí)的模塊。
23.如權(quán)利要求22所述的裝置，其中，所述選擇模塊還包括基于所述預(yù)期質(zhì)量等級(jí)確定可用的最高分辨率等級(jí)的模塊。
24.如權(quán)利要求22所述的裝置，其中，所述選擇模塊包括從一個(gè)組中選擇所述預(yù)期分辨率等級(jí)的分辨率值的模塊，所述組包括HDTV分辨率、DVD分辨率、ATSC分辨率、DVB分辨率、DSS分辨率和用戶定義分辨率值。
25.如權(quán)利要求21所述的裝置，其中，所述提取模塊還包括從多個(gè)可用的質(zhì)量等級(jí)中選擇所述預(yù)期質(zhì)量等級(jí)的模塊。
26.如權(quán)利要求25所述的裝置，其中，所述選擇模塊還包括基于所述選擇的質(zhì)量等級(jí)確定可用的最高分辨率等級(jí)的模塊。
27.如權(quán)利要求21所述的裝置，其中，所述提取模塊包括基于所述預(yù)期分辨率等級(jí)確定可用的最高質(zhì)量等級(jí)的模塊。
28.如權(quán)利要求21所述的裝置，其中，所述提取模塊還包括確定所述預(yù)期分辨率等級(jí)的模塊。
29.如權(quán)利要求28所述的裝置，其中，所述確定模塊包括從多個(gè)可用的分辨率等級(jí)值中選擇所述預(yù)期分辨率等級(jí)值的動(dòng)作。
30.如權(quán)利要求28所述的裝置，其中，所述確定模塊包括從多個(gè)可用的質(zhì)量等級(jí)值中選擇所述預(yù)期質(zhì)量等級(jí)值的動(dòng)作。
31.如權(quán)利要求28所述的裝置，其中，所述確定模塊包括基于所述預(yù)期質(zhì)量等級(jí)計(jì)算可用的最高分辨率等級(jí)的模塊。
32.如權(quán)利要求28所述的裝置，其中，所述確定模塊包括從一個(gè)組中選擇所述預(yù)期分辨率等級(jí)的分辨率值的模塊，所述組包括HDTV分辨率、DVD分辨率、ATSC分辨率、DVB分辨率、DSS分辨率和用戶定義分辨率。
33.如權(quán)利要求1所述的裝置，其中，所述提取模塊還包括選擇范圍為從0到7的所述預(yù)期質(zhì)量等級(jí)值的模塊。
34.如權(quán)利要求1所述的裝置，其中，所述子采樣模塊還包括使用非二元方案進(jìn)行縮放的模塊。
35.如權(quán)利要求1所述的裝置，其中，所述子采樣模塊包括應(yīng)用第一濾波器的模塊和將所述比特流的所述提取部分抽取到所述預(yù)期分辨率等級(jí)的模塊。
36.如權(quán)利要求1所述的裝置，其中，所述子采樣模塊包括使用二元方案進(jìn)行縮放的模塊。
37.如權(quán)利要求1所述的裝置，其中，所述接收模塊包括接收根據(jù)預(yù)定方案而配置的所述比特流的模塊。
38.如權(quán)利要求1所述的裝置，其中，所述接收模塊包括接收根據(jù)分層方案而配置的所述比特流的模塊。
39.如權(quán)利要求1所述的裝置，還包括在提取所述比特流的所述部分的所述模塊之前確定分辨率等級(jí)的模塊。
40.如權(quán)利要求1所述的裝置，還包括存儲(chǔ)所述提取比特流以供將來(lái)傳輸?shù)哪K。
41.一種計(jì)算機(jī)可讀介質(zhì)，當(dāng)執(zhí)行的時(shí)候，處理圖像數(shù)據(jù)，該計(jì)算機(jī)可讀介質(zhì)包括接收指令，用于接收根據(jù)第一方案而配置的比特流；提取指令，用于基于預(yù)期的分辨率等級(jí)和預(yù)期的質(zhì)量等級(jí)，提取所述比特流的一部分；以及子采樣指令，用于在變換域中對(duì)所述比特流的所述提取部分進(jìn)行子采樣。
42.如權(quán)利要求41所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述提取指令還包括從多個(gè)分辨率等級(jí)中選擇所述預(yù)期分辨率等級(jí)的指令。
43.如權(quán)利要求42所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述選擇指令還包括基于所述預(yù)期質(zhì)量等級(jí)確定可用的最高分辨率等級(jí)的指令。
44.如權(quán)利要求42所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述選擇指令包括從一個(gè)組中選擇所述預(yù)期分辨率等級(jí)的指令，所述組包括HDTV分辨率、DVD分辨率、ATSC分辨率、DVB分辨率、DSS分辨率和用戶定義分辨率。
45.如權(quán)利要求41所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述提取指令還包括從多個(gè)可用的質(zhì)量等級(jí)中選擇所述預(yù)期質(zhì)量等級(jí)的指令。
46.如權(quán)利要求45所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述選擇指令還包括基于所述選擇的質(zhì)量等級(jí)確定可用的最高分辨率等級(jí)的指令。
47.如權(quán)利要求41所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述提取指令包括基于所述預(yù)期分辨率等級(jí)確定可用的最高質(zhì)量等級(jí)的指令。
48.如權(quán)利要求1所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述提取指令還包括確定所述預(yù)期分辨率等級(jí)的指令。
49.如權(quán)利要求48所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述確定指令包括從多個(gè)可用的分辨率等級(jí)值中選擇所述預(yù)期分辨率等級(jí)值的動(dòng)作。
50.如權(quán)利要求48所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述確定指令包括從多個(gè)可用的質(zhì)量等級(jí)值中選擇所述預(yù)期質(zhì)量等級(jí)值的動(dòng)作。
51.如權(quán)利要求48所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述確定指令包括基于所述預(yù)期質(zhì)量等級(jí)計(jì)算可用的最高分辨率等級(jí)的指令。
52.如權(quán)利要求48所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述確定指令包括從一個(gè)組中選擇所述預(yù)期分辨率等級(jí)的分辨率值的指令，所述組包括HDTV分辨率、DVD分辨率、ATSC分辨率、DVB分辨率、DSS分辨率和用戶定義分辨率值。
53.如權(quán)利要求1所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述提取指令還包括選擇范圍為從0到7的所述預(yù)期質(zhì)量等級(jí)值的指令。
54.如權(quán)利要求1所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述子采樣指令還包括使用非二元方案進(jìn)行縮放的指令。
55.如權(quán)利要求1所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述子采樣指令包括應(yīng)用第一濾波器的指令和將所述比特流的所述提取部分抽取到所述預(yù)期分辨率等級(jí)的指令。
56.如權(quán)利要求1所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述子采樣指令包括使用二元方案進(jìn)行縮放的指令。
57.如權(quán)利要求41所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述接收指令包括接收根據(jù)預(yù)定方案而配置的所述比特流的指令。
58.如權(quán)利要求41所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述接收指令包括接收根據(jù)分層方案而配置的所述比特流的指令。
59.如權(quán)利要求1所述的計(jì)算機(jī)可讀介質(zhì)，還包括在提取所述比特流的所述部分的所述模塊之前確定分辨率等級(jí)的指令。
60.如權(quán)利要求1所述的計(jì)算機(jī)可讀介質(zhì)，還包括存儲(chǔ)所述提取比特流以供將來(lái)傳輸?shù)闹噶睢?br> 61.一種用于處理圖像數(shù)據(jù)的裝置，該方法包括處理器，所述處理器接收根據(jù)第一方案而配置的比特流，所述處理器還基于預(yù)期的分辨率等級(jí)和預(yù)期的質(zhì)量等級(jí)，提取所述比特流的一部分，以及，在變換域中對(duì)所述比特流的所述提取部分進(jìn)行子采樣。
62.如權(quán)利要求61所述的裝置，其中，所述比特流是根據(jù)預(yù)定方案而配置的。
63.如權(quán)利要求61所述的裝置，其中，所述比特流是根據(jù)分層方案而配置的。
64.如權(quán)利要求61所述的裝置，其中，所述分辨率等級(jí)具有一個(gè)分辨率值，所述分辨率值是從包括HDTV分辨率、DVD分辨率、ATSC分辨率、DVB分辨率、DSS分辨率和用戶定義分辨率值的組中選擇出來(lái)的。
65.如權(quán)利要求61所述的裝置，其中，所述預(yù)期分辨率等級(jí)包括從多個(gè)分辨率等級(jí)值中選擇出來(lái)的一個(gè)等級(jí)值。
66.如權(quán)利要求65所述的裝置，其中，所述多個(gè)分辨率等級(jí)中的至少一個(gè)分辨率等級(jí)值是基于所述預(yù)期質(zhì)量等級(jí)的。
67.如權(quán)利要求61所述的裝置，其中，所述預(yù)期質(zhì)量等級(jí)包括從多個(gè)質(zhì)量等級(jí)值中選擇出來(lái)的一個(gè)等級(jí)值。
68.如權(quán)利要求67所述的裝置，其中，所述多個(gè)質(zhì)量等級(jí)值中的至少一個(gè)質(zhì)量等級(jí)值是基于所述預(yù)期分辨率等級(jí)的。
69.如權(quán)利要求61所述的裝置，其中，在從所述比特流中提取數(shù)據(jù)之前，所述處理器還確定所述預(yù)期質(zhì)量等級(jí)。
70.如權(quán)利要求61所述的裝置，其中，所述處理器還確定所述預(yù)期分辨率等級(jí)。
71.如權(quán)利要求70所述的裝置，其中，在從所述比特流中提取數(shù)據(jù)之前，所述處理器還確定所述預(yù)期分辨率等級(jí)。
72.如權(quán)利要求61所述的裝置，其中，所述預(yù)期質(zhì)量等級(jí)的范圍是從0到7。
73.如權(quán)利要求61所述的裝置，其中，所述分辨率等級(jí)具有一個(gè)分辨率值，所述分辨率值是從包括HDTV分辨率、DVD分辨率、ATSC分辨率、DVB分辨率、DSS分辨率和用戶定義分辨率值的組中選擇出來(lái)的。
74.如權(quán)利要求61所述的裝置，其中，解碼器使用非二元方案，對(duì)所述提取部分進(jìn)行縮放。
75.如權(quán)利要求61所述的裝置，其中，所述預(yù)期分辨率等級(jí)包括從多個(gè)分辨率等級(jí)中選擇出來(lái)的一個(gè)等級(jí)。
76.如權(quán)利要求61所述的裝置，包括用于存儲(chǔ)所述比特流的所述提取部分的存儲(chǔ)器。
77.如權(quán)利要求61所述的裝置，包括用于發(fā)送所述比特流的所述提取部分的發(fā)射機(jī)。
78.一種用于處理圖像數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括編碼器，所述編碼器基于第一方案生成比特流，并發(fā)送所述比特流；以及解碼器，所述解碼器接收所述發(fā)送的比特流，所述解碼器還基于預(yù)期的分辨率等級(jí)和預(yù)期的質(zhì)量等級(jí)，提取所述比特流的一部分，以及，在變換域中對(duì)所述比特流的所述提取部分進(jìn)行子采樣。
79.如權(quán)利要求78所述的系統(tǒng)，其中，所述第一方案包括分層方案。
80.如權(quán)利要求78所述的系統(tǒng)，其中，所述預(yù)期質(zhì)量等級(jí)包括范圍為從0到7的一個(gè)質(zhì)量等級(jí)值。
81.如權(quán)利要求78所述的系統(tǒng)，所述預(yù)期分辨率等級(jí)值是從包括HDTV分辨率、DVD分辨率、ATSC分辨率、DVB分辨率、DSS分辨率和用戶定義分辨率值的組中選擇出來(lái)的。
82.如權(quán)利要求78所述的系統(tǒng)，其中，所述解碼器使用非二元方案，對(duì)所述提取部分進(jìn)行縮放。
83.如權(quán)利要求78所述的系統(tǒng)，其中還包括用于濾波的濾波器以及用于將所述比特流的所述提取部分抽取到所述預(yù)期分辨率等級(jí)的抽取器。
84.如權(quán)利要求78所述的系統(tǒng)，其中，所述預(yù)期分辨率等級(jí)包括從多個(gè)分辨率等級(jí)中選擇出來(lái)的一個(gè)等級(jí)。
全文摘要
一種用于接收比特流和基于一個(gè)或多個(gè)標(biāo)準(zhǔn)從比特流中提取數(shù)據(jù)和在變換域中對(duì)提取出來(lái)的數(shù)據(jù)進(jìn)行子采樣(例如，濾波和抽取)的方法。該方法存儲(chǔ)數(shù)據(jù)，以供將來(lái)傳輸，或者將數(shù)據(jù)傳輸?shù)揭粋€(gè)或多個(gè)連接的裝置，如移動(dòng)終端或固定終端。
文檔編號(hào)H04N7/12GK1875635SQ200480032548
公開日2006年12月6日 申請(qǐng)日期2004年9月3日 優(yōu)先權(quán)日2003年9月4日
發(fā)明者V·R·拉韋德蘭, A·C·歐文 申請(qǐng)人:高通股份有限公司