運(yùn)動(dòng)圖像壓縮裝置、圖像處理裝置、運(yùn)動(dòng)圖像壓縮方法、圖像處理方法、以及運(yùn)動(dòng)圖像壓縮 ...的制作方法
【專利摘要】將運(yùn)動(dòng)圖像數(shù)據(jù)的幀序列劃分成貼片圖像序列(250)，并轉(zhuǎn)換貼片圖像序列(250)的色空間，從而生成YCbCr圖像序列(252)(S10)。通過(guò)將其長(zhǎng)度和寬度乘以1/2縮小(S12)然后壓縮每個(gè)幀，從而生成參考圖像的壓縮數(shù)據(jù)(260)(S14)。與圖像顯示時(shí)間類似地解碼和解壓縮參考圖像的壓縮數(shù)據(jù)(260)，從而將YCbCr圖像重構(gòu)成參考圖像，生成原始YCbCr圖像序列(252)與參考圖像之間差值圖像序列(262)(S16)。然后，生成差值圖像的壓縮數(shù)據(jù)(266)，并每四個(gè)貼片圖像幀地生成將參考圖像的壓縮數(shù)據(jù)(260)與差值圖像的壓縮數(shù)據(jù)(266)耦合獲得的壓縮數(shù)據(jù)(268)(S20)。
【專利說(shuō)明】運(yùn)動(dòng)圖像壓縮裝置、圖像處理裝置、運(yùn)動(dòng)圖像壓縮方法、圖像處理方法、以及運(yùn)動(dòng)圖像壓縮文件的數(shù)據(jù)結(jié)構(gòu)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及顯示包括運(yùn)動(dòng)畫面的圖像的圖像處理技術(shù)。

【背景技術(shù)】
[0002]人們已經(jīng)提出了不僅執(zhí)行游戲程序，而且可以渲染運(yùn)動(dòng)畫面的家用娛樂(lè)系統(tǒng)。在該家用娛樂(lè)系統(tǒng)中，GPU(圖形處理單元)使用多邊形生成三維圖像(參照，例如，PTL I)。
[0003]如何與圖像是運(yùn)動(dòng)畫面還是靜止圖像無(wú)關(guān)地有效顯示圖像一直是一個(gè)重要問(wèn)題。因此，在像圖像數(shù)據(jù)的壓縮技術(shù)、傳輸技術(shù)、圖像處理技術(shù)和顯示技術(shù)那樣的各種領(lǐng)域中已經(jīng)開發(fā)出了各種技術(shù)并付諸于實(shí)際應(yīng)用，在多種狀況下無(wú)拘無(wú)束地欣賞高清晰度圖像已經(jīng)成為可能。
[0004][引用列表]
[0005][專利文獻(xiàn)]
[0006][PTL I]US 6，563，999 A


【發(fā)明內(nèi)容】

[0007]技術(shù)問(wèn)題
[0008]一直存在對(duì)用戶移動(dòng)視點(diǎn)或游戲的進(jìn)展引起的視角的變化等高響應(yīng)度地顯示高清晰度圖像的需求。例如，為了像以放大尺度顯示整個(gè)顯示圖像當(dāng)中用戶希望關(guān)注的區(qū)域，或轉(zhuǎn)去高響應(yīng)度地顯示不同區(qū)域那樣，實(shí)現(xiàn)具有與視點(diǎn)有關(guān)的自由度的圖像顯示，還有必要在短時(shí)間處理大規(guī)模圖像數(shù)據(jù)的同時(shí)，使隨機(jī)訪問(wèn)大規(guī)模圖像數(shù)據(jù)成為可能。
[0009]具體地說(shuō)，在隨著時(shí)間的流逝依次顯示大量幀的運(yùn)動(dòng)畫面的情況下，由于數(shù)據(jù)規(guī)模增大，所以一般說(shuō)來(lái)優(yōu)先考慮壓縮率。但是，隨著壓縮率升高，解碼時(shí)的算術(shù)運(yùn)算成本增大，以及數(shù)據(jù)訪問(wèn)的粒度也往往增大。其結(jié)果是，即使希望只顯示有限區(qū)域，也可能必需解碼幀的整個(gè)區(qū)域或?qū)⒄麄€(gè)區(qū)域部署在存儲(chǔ)器中。就算術(shù)運(yùn)算成本和存儲(chǔ)成本而言，這是不利的。
[0010]本發(fā)明就是在考慮了像上述那樣的問(wèn)題之后作出的，本發(fā)明的目的在于提供可以以滿足各種需求的高響應(yīng)度顯示運(yùn)動(dòng)畫面的圖像處理技術(shù)。
[0011]問(wèn)題的解決方案
[0012]本發(fā)明的一種具體方式涉及運(yùn)動(dòng)畫面壓縮裝置。該運(yùn)動(dòng)畫面壓縮裝置包括:貼片圖像序列生成部分，配置成生成通過(guò)按圖像平面劃分構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列構(gòu)成的貼片圖像序列；參考圖像壓縮部分，配置成壓縮該貼片圖像序列以生成參考圖像的壓縮數(shù)據(jù)；差值圖像生成部分，配置成生成由差值圖像構(gòu)成的差值圖像序列，該差值圖像代表構(gòu)成貼片圖像序列的貼片圖像與通過(guò)解碼該參考圖像壓縮部分生成的參考圖像的壓縮數(shù)據(jù)獲得和與貼片圖像相對(duì)應(yīng)的圖像之間的差值；差值圖像壓縮部分，配置成以通過(guò)按圖像平面和時(shí)間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮差值圖像序列，以便生成差值圖像的壓縮數(shù)據(jù)；以及壓縮數(shù)據(jù)生成部分，配置成以預(yù)定個(gè)幀的貼片圖像為單位生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)，并將該運(yùn)動(dòng)畫面壓縮數(shù)據(jù)輸出到存儲(chǔ)裝置。
[0013]本發(fā)明的另一種方式涉及數(shù)據(jù)圖像處理裝置。該圖像處理裝置包括:信息處理部分，配置成相繼計(jì)算構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列當(dāng)中要顯示的幀和該幀中要顯示的區(qū)域；裝載部分，配置成根據(jù)該信息處理部分計(jì)算的信息，以貼片圖像為單位將運(yùn)動(dòng)畫面壓縮數(shù)據(jù)從存儲(chǔ)運(yùn)動(dòng)畫面壓縮數(shù)據(jù)的存儲(chǔ)裝置裝載到存儲(chǔ)器中，該運(yùn)動(dòng)畫面壓縮數(shù)據(jù)包括通過(guò)壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數(shù)據(jù)、和代表解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應(yīng)貼片圖像之間的差值的差值圖像的壓縮數(shù)據(jù)；顯示圖像處理部分，配置成從裝載在存儲(chǔ)器中的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)當(dāng)中讀出由該信息處理部分計(jì)算和包括要顯示的幀當(dāng)中要顯示的區(qū)域的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)，并解碼和相加參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便依次渲染要顯示的區(qū)域的圖像；以及顯示部分，配置成依次顯示渲染的圖像。
[0014]本發(fā)明的進(jìn)一步方式涉及運(yùn)動(dòng)畫面壓縮方法。該運(yùn)動(dòng)畫面壓縮方法包括:由運(yùn)動(dòng)畫面壓縮裝置執(zhí)行:生成通過(guò)按圖像平面劃分存儲(chǔ)在存儲(chǔ)裝置中和構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列構(gòu)成的貼片圖像序列的步驟；壓縮該貼片圖像序列以生成參考圖像的壓縮數(shù)據(jù)的步驟；生成由差值圖像構(gòu)成的差值圖像序列的步驟，該差值圖像代表構(gòu)成貼片圖像序列的貼片圖像與通過(guò)解碼所生成參考圖像的壓縮數(shù)據(jù)獲得和與貼片圖像相對(duì)應(yīng)的圖像之間的差值；以通過(guò)按圖像平面和時(shí)間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮差值圖像序列，以便生成差值圖像的壓縮數(shù)據(jù)的步驟；以及以預(yù)定個(gè)幀的貼片圖像為單位生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)，并將該運(yùn)動(dòng)畫面壓縮數(shù)據(jù)輸出到存儲(chǔ)裝置的步驟。
[0015]本發(fā)明的更進(jìn)一步方式涉及圖像處理方法。該圖像處理方法包括:由圖像處理裝置執(zhí)行:相繼計(jì)算構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列當(dāng)中要顯示的幀和該幀中要顯示的區(qū)域的步驟；根據(jù)該計(jì)算步驟計(jì)算的信息，以貼片圖像為單位將運(yùn)動(dòng)畫面壓縮數(shù)據(jù)從存儲(chǔ)運(yùn)動(dòng)畫面壓縮數(shù)據(jù)的存儲(chǔ)裝置裝載到存儲(chǔ)器中的步驟，該運(yùn)動(dòng)畫面壓縮數(shù)據(jù)包括通過(guò)壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數(shù)據(jù)、和代表解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應(yīng)貼片圖像之間的差值的差值圖像的壓縮數(shù)據(jù)；從裝載在存儲(chǔ)器中的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)當(dāng)中讀出通過(guò)計(jì)算步驟計(jì)算和包括要顯示的幀當(dāng)中要顯示的區(qū)域的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)，并解碼和相加參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便依次渲染要顯示的區(qū)域的圖像的步驟；以及依次顯示渲染圖像的步驟。
[0016]本發(fā)明的再進(jìn)一步方式涉及運(yùn)動(dòng)畫面壓縮文件的數(shù)據(jù)結(jié)構(gòu)。在該數(shù)據(jù)結(jié)構(gòu)中，以預(yù)定個(gè)幀的貼片圖像為單位相互聯(lián)系通過(guò)以按圖像平面和時(shí)間軸劃分貼片圖像獲得的數(shù)據(jù)塊為單位壓縮貼片圖像獲得的參考圖像的壓縮數(shù)據(jù)、和通過(guò)以按圖像平面和時(shí)間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮由差值圖像構(gòu)成的差值圖像序列獲得的差值圖像的壓縮數(shù)據(jù)，該貼片圖像構(gòu)成通過(guò)按圖像平面劃分構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列獲得的貼片圖像序列，該差值圖像代表通過(guò)解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應(yīng)貼片圖像之間的差值。在圖像處理裝置中，解碼和相加根據(jù)要顯示的幀和該幀中要顯示的區(qū)域的信息以貼片圖像為單位裝載和與要顯示的幀當(dāng)中要顯示的區(qū)域相對(duì)應(yīng)的數(shù)據(jù)塊的參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便用于依次渲染要顯示的區(qū)域的圖像。
[0017]要注意的是，作為本發(fā)明的方式，上述的組件和通過(guò)方法、裝置、系統(tǒng)、計(jì)算機(jī)程序等的不同幾種之間的轉(zhuǎn)換獲得的本發(fā)明的表示的任意組合也是有效的。
[0018]本發(fā)明的有益效果
[0019]按照本發(fā)明，可以進(jìn)行可以隨機(jī)訪問(wèn)和呈現(xiàn)高吞吐量的三維數(shù)據(jù)輸出

【專利附圖】

【附圖說(shuō)明】
[0020]圖1是描繪按照一個(gè)實(shí)施例的圖像處理裝置的配置的視圖；
[0021]圖2是例示本實(shí)施例中的運(yùn)動(dòng)畫面數(shù)據(jù)的處理單元的視圖；
[0022]圖3是具體描繪本實(shí)施例中具有運(yùn)動(dòng)畫面數(shù)據(jù)壓縮功能的控制部分的配置和硬盤驅(qū)動(dòng)器的配置的視圖；
[0023]圖4是示意性地例示本實(shí)施例中包括控制部分的圖像處理裝置執(zhí)行的運(yùn)動(dòng)畫面數(shù)據(jù)的壓縮過(guò)程的視圖；
[0024]圖5是例示本實(shí)施例中參考圖像壓縮部分執(zhí)行的生成參考圖像的壓縮數(shù)據(jù)的處理過(guò)程的流程圖；
[0025]圖6是示意性地例示本實(shí)施例中通過(guò)冗余判定壓縮空間劃分貼片圖像序列的過(guò)程的視圖；
[0026]圖7是例示本實(shí)施例中進(jìn)一步劃分進(jìn)行壓縮判定之后的數(shù)據(jù)塊形成量化單元以便量化像素值的方式的視圖；
[0027]圖8是例示本實(shí)施例中從Y圖像的量化單元中生成調(diào)色板和索引的數(shù)據(jù)的方法的視圖；
[0028]圖9是例示本實(shí)施例中從CbCr圖像的量化單元中生成調(diào)色板和索引的數(shù)據(jù)的方法的視圖；
[0029]圖10是例示本實(shí)施例中要存儲(chǔ)到劃分模式存儲(chǔ)部分中以便形成由16個(gè)像素構(gòu)成的量化單元的劃分模式的變種的視圖；
[0030]圖11是例示本實(shí)施例中在未進(jìn)行通過(guò)冗余的壓縮的情況下從數(shù)據(jù)塊中生成量化單元時(shí)的劃分模式的視圖；
[0031]圖12是例示本實(shí)施例中從利用冗余進(jìn)行壓縮的數(shù)據(jù)塊中生成量化單元時(shí)的劃分模式的視圖；
[0032]圖13是例示本實(shí)施例中從利用冗余進(jìn)行壓縮的數(shù)據(jù)塊中生成量化單元時(shí)的劃分模式的視圖；
[0033]圖14是示意性地例示本實(shí)施例中參考圖像的壓縮數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的視圖；
[0034]圖15是例示本實(shí)施例中以調(diào)色板的形式表示代表壓縮模式和劃分模式的標(biāo)識(shí)號(hào)的方法的視圖；
[0035]圖16是示意性地例示本實(shí)施例中差值圖像生成部分執(zhí)行的生成差值圖像的過(guò)程的視圖；
[0036]圖17是示意性地例示本實(shí)施例中解碼參考圖像時(shí)的圖像的放大處理的視圖；
[0037]圖18是例示本實(shí)施例中通過(guò)調(diào)色板表示解碼存儲(chǔ)在調(diào)色板中的數(shù)值時(shí)的放大率的標(biāo)識(shí)號(hào)的方法的視圖；
[0038]圖19是例示本實(shí)施例中通過(guò)差值圖像的Y圖像表示代表壓縮模式和劃分模式的標(biāo)識(shí)號(hào)的方法的視圖；
[0039]圖20是示意性地例示本實(shí)施例中生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的最終壓縮數(shù)據(jù)的處理過(guò)程的視圖；
[0040]圖21是具體描繪本實(shí)施例中具有圖像顯示功能的控制部分的配置的視圖；
[0041]圖22是例示本實(shí)施例中解碼部分執(zhí)行的解碼處理的過(guò)程的流程圖；以及
[0042]圖23是概念性地例示本實(shí)施例中運(yùn)動(dòng)畫面由分層數(shù)據(jù)構(gòu)成的數(shù)據(jù)結(jié)構(gòu)的視圖。

【具體實(shí)施方式】
[0043]在本實(shí)施例中，不增加算術(shù)運(yùn)算成本和存儲(chǔ)成本地按圖像平面和隨著時(shí)間軸為對(duì)其的隨機(jī)訪問(wèn)顯示運(yùn)動(dòng)畫面。這里取作顯示目標(biāo)的運(yùn)動(dòng)畫面可以是本身構(gòu)成主要內(nèi)容的電影、動(dòng)畫或用戶拍攝的運(yùn)動(dòng)畫面等，或可以是表示成像映射在游戲等的計(jì)算機(jī)圖形中的視頻紋理那樣的圖像構(gòu)件的運(yùn)動(dòng)畫面。
[0044]在靜止圖像的情況下，作為壓縮方法，JPEG(聯(lián)合圖像專家組)、S3TC(S3紋理壓縮)等已經(jīng)付諸于實(shí)際應(yīng)用。前者呈現(xiàn)高壓縮率，但存儲(chǔ)成本相對(duì)較高，因?yàn)樵陲@示時(shí)需要將解碼目標(biāo)的數(shù)據(jù)部署在存儲(chǔ)器中。后者的壓縮率相對(duì)較低。但是，由于不需要部署解碼數(shù)據(jù)，尤其在局部顯示圖像的情況下，所以存儲(chǔ)成本較低。于是，可以響應(yīng)取決于顯示環(huán)境等的壓縮率和存儲(chǔ)負(fù)載的優(yōu)先次序適當(dāng)選擇壓縮方法之一。
[0045]同時(shí)，傳統(tǒng)上，運(yùn)動(dòng)畫面的壓縮方法引起了像如下面所述那樣的問(wèn)題，因?yàn)镸PEG (運(yùn)動(dòng)圖像專家組)、AVC (高級(jí)視頻編碼)等都強(qiáng)調(diào)提高壓縮率。尤其，在運(yùn)動(dòng)畫面被用作視頻紋理的情況下，即使只映射運(yùn)動(dòng)畫面的一部分，也需要將整個(gè)區(qū)域部署在存儲(chǔ)器中，這需要無(wú)用的存儲(chǔ)成本。這類似地不僅適用于視頻紋理，而且適用于這樣以放大尺度只顯示運(yùn)動(dòng)畫面的一部分的情況。
[0046]尤其，在幀間預(yù)測(cè)編碼方法的情況下，也需要將參考圖像部署在存儲(chǔ)器中的整個(gè)區(qū)域上。進(jìn)一步，源于高壓縮率，解碼整個(gè)區(qū)域上的數(shù)據(jù)的算術(shù)運(yùn)算成本也很高。更進(jìn)一步，甚至在視頻紋理表達(dá)的區(qū)域在視角之外的時(shí)段內(nèi)，也必須繼續(xù)解碼，為隨后進(jìn)入視角內(nèi)作準(zhǔn)備。因此，甚至從這一點(diǎn)來(lái)看，也無(wú)用地需要解碼的處理成本和存儲(chǔ)成本。
[0047]因此，在本實(shí)施例中，壓縮運(yùn)動(dòng)畫面的數(shù)據(jù)以便，即使在保持在壓縮狀態(tài)下的同時(shí)將運(yùn)動(dòng)畫面的數(shù)據(jù)存儲(chǔ)到存儲(chǔ)器中，也可以只提取必要區(qū)域中的數(shù)據(jù)，并獨(dú)立地解碼和顯示數(shù)據(jù)，從而降低算術(shù)運(yùn)算成本和存儲(chǔ)成本。此時(shí)，考慮到幀中或幀間冗余地壓縮運(yùn)動(dòng)畫面的數(shù)據(jù)，以便考慮到圖像的內(nèi)容地實(shí)現(xiàn)高畫面質(zhì)量和高壓縮率。
[0048]首先，描述本實(shí)施例中生成運(yùn)動(dòng)畫面的壓縮數(shù)據(jù)的技術(shù)。圖1描繪了本實(shí)施例的圖像處理裝置的配置。圖像處理裝置10包括無(wú)線接口 40、輸入裝置20、顯示處理部分44、顯示裝置12、硬盤驅(qū)動(dòng)器50、記錄介質(zhì)安裝部分52、盤驅(qū)動(dòng)器54、主存儲(chǔ)器60和控制部分100。
[0049]顯示裝置12包括像液晶顯示單元、EL (電致發(fā)光)顯示單元和等離子顯示單元那樣的一般顯示單元之一。顯示裝置12可以與圖像處理裝置10的一些其它模塊集成地配備，或可以使用線纜、無(wú)線LAN(局域網(wǎng))等通過(guò)有線或無(wú)線連接來(lái)連接。顯示處理部分44含有緩存要顯示在顯示裝置12的顯示單元上的數(shù)據(jù)的幀存儲(chǔ)器(未示出)。
[0050]無(wú)線接口 40被配置成通過(guò)依照預(yù)定無(wú)線通信協(xié)議將無(wú)線接口 40與外部裝置或網(wǎng)絡(luò)連接，可以從服務(wù)器接收像圖像數(shù)據(jù)那樣各種類型的數(shù)據(jù)。輸入裝置20由像操縱桿、觸摸面板、鼠標(biāo)、鍵盤、按鈕等那樣的普通輸入裝置構(gòu)成。輸入裝置20包括接受像選擇處理目標(biāo)的圖像數(shù)據(jù)、開始生成壓縮數(shù)據(jù)等那樣用戶的請(qǐng)求的操作部件。將用戶輸入到輸入裝置20中的各種請(qǐng)求信號(hào)供應(yīng)給控制部分100。
[0051]硬盤驅(qū)動(dòng)器50起存儲(chǔ)數(shù)據(jù)的存儲(chǔ)裝置的作用。將從服務(wù)器接收的各種類型數(shù)據(jù)一次性存儲(chǔ)到硬盤驅(qū)動(dòng)器50中。當(dāng)像存儲(chǔ)卡那樣的可換式記錄介質(zhì)安裝在上面時(shí)，記錄介質(zhì)安裝部分52從可換式記錄介質(zhì)中讀出數(shù)據(jù)。當(dāng)用于只讀的ROM盤安裝在上面時(shí)，盤驅(qū)動(dòng)器54驅(qū)動(dòng)ROM盤，并識(shí)別它以便讀出數(shù)據(jù)。ROM盤可以是光盤、磁光盤等?？梢詫⑾駡D像數(shù)據(jù)那樣各種類型的數(shù)據(jù)存儲(chǔ)在那些記錄介質(zhì)中。
[0052]控制部分100包括多核CPU，在一個(gè)CPU中配備一個(gè)通用處理器核心和多個(gè)簡(jiǎn)單處理器核心。通用處理器核心被稱為pro (PowerPC處理器單元)，而其余處理器核心的每一個(gè)被稱為SPU (協(xié)同處理器單元)。PPU含有寄存器，包括作為進(jìn)行算術(shù)運(yùn)算的實(shí)體的主處理器以及有效地將作為要執(zhí)行的應(yīng)用的其余處理單元的任務(wù)分配給SPU。要注意的是，PTO本身也可以執(zhí)行任務(wù)。每個(gè)SPU都含有寄存器，以及包括作為進(jìn)行算術(shù)運(yùn)算的實(shí)體的分處理器和作為本地存儲(chǔ)區(qū)的本地存儲(chǔ)器。
[0053]主存儲(chǔ)器60是存儲(chǔ)裝置，被配置成RAM (隨機(jī)訪問(wèn)存儲(chǔ)器)。每個(gè)SPU都含有專門用作控制單元的DMA(直接存儲(chǔ)器訪問(wèn))控制器，并且可以實(shí)現(xiàn)顯示處理部分44的幀存儲(chǔ)器與主存儲(chǔ)器60之間的高速數(shù)據(jù)傳送。本實(shí)施例中的控制部分100通過(guò)使多個(gè)SPU相互并行地工作實(shí)現(xiàn)高速圖像處理功能。顯示處理部分44與顯示裝置12連接，輸出菜單屏幕圖像的屏幕數(shù)據(jù)等。
[0054]圖2是例示本實(shí)施例中的運(yùn)動(dòng)畫面數(shù)據(jù)的處理單元的視圖。在本實(shí)施例中，將構(gòu)成壓縮目標(biāo)的運(yùn)動(dòng)畫面的圖像幀80的每一個(gè)劃分成預(yù)定尺寸，以便生成多個(gè)貼片圖像(例如，貼片圖像(tile image)82)。由于運(yùn)動(dòng)畫面的圖像幀80隨著在圖2中沿著垂直方向表示的時(shí)間軸構(gòu)成圖像序列，所以貼片圖像也構(gòu)成與該圖像序列相對(duì)應(yīng)的圖像序列(例如，貼片圖像序列84)。在本實(shí)施例中，將貼片圖像序列用作處理單元地生成壓縮數(shù)據(jù)。在圖像顯示時(shí)，隨機(jī)應(yīng)變地相互連接解碼的貼片圖像來(lái)顯示圖像。要注意的是，在如下描述中，構(gòu)成貼片圖像序列的貼片圖像的每一個(gè)也被稱為“幀”。要注意的是，在原始圖像幀的像素的數(shù)量小于預(yù)定數(shù)量的情況下，或在類似情況下，可以將整個(gè)圖像幀當(dāng)作一個(gè)貼片地不進(jìn)行貼片圖像劃分。
[0055]圖3具體描繪了本實(shí)施例中具有運(yùn)動(dòng)畫面數(shù)據(jù)壓縮功能的控制部分10a的配置和硬盤驅(qū)動(dòng)器50的配置?？刂撇糠?0a包括貼片圖像序列生成部分120、參考圖像壓縮部分122、差值圖像生成部分124、差值圖像壓縮部分126、和壓縮數(shù)據(jù)生成部分128。貼片圖像序列生成部分120從壓縮目標(biāo)的運(yùn)動(dòng)畫面數(shù)據(jù)中生成貼片圖像序列，并將色空間從RGB色空間轉(zhuǎn)換成YCbCr色空間。參考圖像壓縮部分122減少轉(zhuǎn)換之后的幀，并將幀壓縮成參考圖像。差值圖像生成部分124根據(jù)參考圖像生成幀的差值圖像。差值圖像壓縮部分126壓縮差值圖像。壓縮數(shù)據(jù)生成部分128生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的最終壓縮數(shù)據(jù)。
[0056]參照?qǐng)D3和下文所述的圖21，描述成進(jìn)行各種處理的功能塊的組件在硬件上可以由CPU(中央處理單元)、存儲(chǔ)器和其它LSI (大規(guī)模集成電路)構(gòu)成，在軟件上可以用裝載在存儲(chǔ)器等中的程序來(lái)實(shí)現(xiàn)。如下文所述，控制部分100含有一個(gè)PI3U和多個(gè)SPU，PPU和SPU可以單個(gè)地或組合地分別構(gòu)成功能塊。于是，本領(lǐng)域的普通技術(shù)人員可以認(rèn)識(shí)到，功能塊可以只通過(guò)硬件，只通過(guò)軟件，或通過(guò)硬件和軟件的組合件地以各種形式實(shí)現(xiàn)，它們不局限于硬件、軟件和組合件之一。
[0057]硬盤驅(qū)動(dòng)器50包括運(yùn)動(dòng)畫面數(shù)據(jù)存儲(chǔ)部分130、劃分模式存儲(chǔ)部分132和壓縮數(shù)據(jù)存儲(chǔ)部分134。運(yùn)動(dòng)畫面數(shù)據(jù)存儲(chǔ)部分130含有存儲(chǔ)在其中的壓縮目標(biāo)的運(yùn)動(dòng)畫面數(shù)據(jù)。劃分模式存儲(chǔ)部分132存儲(chǔ)參考圖像壓縮部分122和差值圖像壓縮部分126形成量化單元的劃分模式。壓縮數(shù)據(jù)存儲(chǔ)部分134存儲(chǔ)壓縮數(shù)據(jù)生成部分128生成的壓縮數(shù)據(jù)。
[0058]貼片圖像序列生成部分120從輸入裝置20獲取用戶指定和與壓縮目標(biāo)的運(yùn)動(dòng)畫面數(shù)據(jù)有關(guān)的信息，并從運(yùn)動(dòng)畫面數(shù)據(jù)存儲(chǔ)部分130中依次讀出構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀的數(shù)據(jù)。然后，貼片圖像序列生成部分120將幀劃分成預(yù)定尺寸，以便生成貼片圖像序列，并將作為像素值的RGB值轉(zhuǎn)換成亮度Y和色差Cb和Cr，以便生成具有作為像素值的YCbCr值的YCbCr圖像。色空間從RGB色空間到Y(jié)CbCr色空間的轉(zhuǎn)換可以應(yīng)用現(xiàn)有方法來(lái)實(shí)現(xiàn)。
[0059]參考圖像壓縮部分122以預(yù)定比率縮短貼片圖像序列生成部分120生成的貼片圖像序列，然后壓縮縮短的貼片圖像序列。尤其，參考圖像壓縮部分122沿著空間和時(shí)間方向?qū)①N片圖像序列劃分成預(yù)定尺寸，并且在劃分之后量化數(shù)據(jù)塊。在量化時(shí)，參考圖像壓縮部分122利用存儲(chǔ)在劃分模式存儲(chǔ)部分132的劃分模式之一進(jìn)一步對(duì)每個(gè)數(shù)據(jù)塊進(jìn)行空時(shí)劃分，以便形成由預(yù)定個(gè)像素的數(shù)據(jù)構(gòu)成的量化單元。盡管下文描述其細(xì)節(jié)，但由于最佳劃分模式隨圖像的內(nèi)容而異，參考圖像壓縮部分122從存儲(chǔ)在劃分模式存儲(chǔ)部分132中的多種劃分模式當(dāng)中選擇一種最佳模式。
[0060]然后，參考圖像壓縮部分122通過(guò)為每個(gè)量化單元生成代表兩個(gè)代表性值的調(diào)色板和將兩個(gè)代表性值和通過(guò)代表性值的線性內(nèi)插獲得的多個(gè)中間值之一指定成像素值的索引進(jìn)行量化。分別為預(yù)定個(gè)量化單元收集每一個(gè)由調(diào)色板和索引構(gòu)成的數(shù)據(jù)，以便形成一個(gè)存儲(chǔ)單元。
[0061]差值圖像生成部分124分別為每個(gè)相應(yīng)像素計(jì)算貼片圖像序列生成部分120生成的貼片圖像序列的每個(gè)幀與通過(guò)解碼參考圖像壓縮部分122壓縮的參考圖像的數(shù)據(jù)恢復(fù)的相應(yīng)幀之間的差值，以便生成貼片圖像序列的差值圖像。差值圖像壓縮部分126壓縮差值圖像生成部分124生成的貼片圖像序列的差值圖像。
[0062]該壓縮處理的大致流程與參考圖像壓縮部分122進(jìn)行的上述壓縮處理的大致流程類似。但是，由于參考圖像的像素值的范圍是有限的，所以將該壓縮處理配置成使其特點(diǎn)作為優(yōu)點(diǎn)反映在渲染處理的數(shù)據(jù)尺寸或效率上。尤其，只由絕對(duì)值等于或低于預(yù)定閾值的像素值構(gòu)成的數(shù)據(jù)塊的所有像素值被認(rèn)為是O。進(jìn)一步，關(guān)于量化時(shí)的調(diào)色板，減少分層的數(shù)量，以便代表四個(gè)具體值，以便在圖像顯示時(shí)不進(jìn)行線性內(nèi)插。下面描述細(xì)節(jié)。
[0063]壓縮數(shù)據(jù)生成部分128以預(yù)定單元收集參考圖像壓縮部分122壓縮的參考圖像的數(shù)據(jù)和差值圖像壓縮部分126壓縮的差值圖像的數(shù)據(jù)，然后將指針加入每個(gè)數(shù)據(jù)中生成壓縮數(shù)據(jù)，以便在圖像顯示時(shí)可以引用數(shù)據(jù)。將生成的壓縮數(shù)據(jù)存儲(chǔ)到壓縮數(shù)據(jù)存儲(chǔ)部分134中。
[0064]圖4示意性地描繪了包括控制部分10a的圖像處理裝置10執(zhí)行的運(yùn)動(dòng)畫面數(shù)據(jù)的壓縮過(guò)程。首先，由貼片圖像序列生成部分120將從運(yùn)動(dòng)畫面數(shù)據(jù)存儲(chǔ)部分130中讀出的運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列劃分成貼片圖像序列250。這里，貼片圖像具有256X256個(gè)像素的尺寸，以及每次對(duì)貼片圖像的四個(gè)幀進(jìn)行后面的壓縮處理。盡管下面根據(jù)剛才所述的例子描述壓縮處理，但可以各種各樣地改變貼片圖像的像素的數(shù)量、處理單元的幀的數(shù)量和在隨后級(jí)上進(jìn)行的處理的單元。
[0065]然后，貼片圖像序列生成部分120將貼片圖像序列250的色空間從RGB色空間轉(zhuǎn)換到Y(jié)CbCr色空間，以便生成具有256X256個(gè)像素的YCbCr圖像序列252(S10)。然后，參考圖像壓縮部分122通過(guò)沿著垂直和水平方向?qū)⑺鼈兂艘?/2縮小YCbCr圖像序列的幀，以便生成具有128X128個(gè)像素的YCbCr圖像序列256 (S12)。進(jìn)一步，參考圖像壓縮部分122以像下文詳細(xì)所述那樣的方式進(jìn)行壓縮處理，并相繼地收集量化單元形成存儲(chǔ)單元，以便生成參考圖像的壓縮數(shù)據(jù)260 (S14)。
[0066]另一方面，差值圖像生成部分124像在圖像顯示時(shí)的情況那樣類似地解碼和解壓參考圖像的壓縮數(shù)據(jù)260，以便恢復(fù)具有256X256個(gè)像素的YCbCr圖像作為參考圖像。然后，差值圖像生成部分124計(jì)算參考圖像與具有256 X 256個(gè)像素和貼片圖像序列生成部分120生成的YCbCr圖像序列252的相應(yīng)幀的差值，以便生成256X256個(gè)像素的YCbCr的差值圖像序列262。
[0067]然后，差值圖像壓縮部分126以像下文詳細(xì)所述那樣的方式相繼進(jìn)行壓縮處理，并收集量化單元形成存儲(chǔ)單元，以便生成差值圖像的壓縮數(shù)據(jù)266 (S18)。然后，壓縮數(shù)據(jù)生成部分128生成通過(guò)連接參考圖像的壓縮數(shù)據(jù)260和差值圖像的壓縮數(shù)據(jù)266獲得的壓縮數(shù)據(jù)268，并將生成的壓縮數(shù)據(jù)存儲(chǔ)到壓縮數(shù)據(jù)存儲(chǔ)部分134中(S20)。
[0068]在壓縮數(shù)據(jù)268中，包括指針信息作為首標(biāo)269，以便在圖像顯示時(shí)可以找到原始運(yùn)動(dòng)畫面的幀中數(shù)據(jù)塊的位置與壓縮數(shù)據(jù)的對(duì)應(yīng)關(guān)系。對(duì)圖像序列的整個(gè)其余部分的四個(gè)幀重復(fù)進(jìn)行圖4中的處理。進(jìn)一步，通過(guò)隨后每次對(duì)四個(gè)幀重復(fù)進(jìn)行上述處理，壓縮整個(gè)運(yùn)動(dòng)畫面數(shù)據(jù)。
[0069]接著參考圖5到15描述參考圖像的壓縮數(shù)據(jù)生成處理。圖5是例示圖4的步驟S14中參考圖像壓縮部分122生成參考圖像的壓縮數(shù)據(jù)260的處理過(guò)程的流程圖。首先，沿著空間方向?qū)⒃趫D4的步驟S12中縮小的四個(gè)幀的YCbCr圖像序列256劃分成預(yù)定尺寸，以便生成處理單元的數(shù)據(jù)塊(S30)。這里，空間方向?qū)?yīng)于圖像的平面。另一方面，時(shí)間方向?qū)?yīng)于巾貞的數(shù)量。
[0070]然后，對(duì)每個(gè)數(shù)據(jù)塊確認(rèn)沿著空間方向和時(shí)間方向是否存在某種冗余，并且，如果判定存在冗余，貝1J沿著判定存在冗余的方向壓縮數(shù)據(jù)(S32)。尤其,如果沿著空間方向存在冗余，則縮小圖像。如果沿著時(shí)間方向存在冗余，則對(duì)多個(gè)相繼圖像求平均以減少幀的數(shù)量。然后，利用存儲(chǔ)在劃分模式存儲(chǔ)部分132中的劃分模式之一進(jìn)行時(shí)間-空間劃分，以形成由相等數(shù)量的像素構(gòu)成的量化單元并量化數(shù)據(jù)(S34)。
[0071]此時(shí),將YCbCr圖像分解成亮度Y是像素值的Y圖像和具有作為一個(gè)元素的色差(Cb,Cr)的矢量值是像素值的CbCr圖像，并通過(guò)預(yù)定放大率縮小CbCr圖像。然后，像上述的方式那樣類似地由Y圖像和CbCr圖像形成量化單元，以便分別量化圖像。如上文所述，量化是通過(guò)調(diào)色板和索引表示包括在量化單元中的像素值的處理。
[0072]其結(jié)果是，為每個(gè)數(shù)據(jù)塊生成包括Y圖像的調(diào)色板和索引的量化單元的一個(gè)或多個(gè)數(shù)據(jù)和包括與Y圖像相對(duì)應(yīng)的CbCr圖像的調(diào)色板和索引的量化單元的一個(gè)或多個(gè)數(shù)據(jù)。這里，構(gòu)成一個(gè)數(shù)據(jù)塊的那些量化單元的數(shù)量隨步驟S32中的壓縮量而不同。通過(guò)每次對(duì)預(yù)定數(shù)量的量化單元收集以像上述那樣的方式生成的數(shù)據(jù)形成存儲(chǔ)單元，生成原始貼片圖像的四個(gè)幀的參考圖像的壓縮數(shù)據(jù)(S36)。
[0073]圖6示意性地例示了通過(guò)步驟S32中的冗余判定壓縮在圖5的步驟S30中空間劃分的貼片圖像序列的過(guò)程。在圖6的例子中，在步驟S30中將YCbCr圖像序列劃分成8X8個(gè)像素以形成數(shù)據(jù)塊。尤其，沿著垂直和水平兩個(gè)方向?qū)⒕哂?28X128個(gè)像素的四個(gè)幀的YCbCr圖像劃分成16個(gè)塊。在圖6中，在每個(gè)數(shù)據(jù)塊下面以“水平方向的像素?cái)?shù)量X垂直方向的像素?cái)?shù)量X幀數(shù)”的形式指示數(shù)據(jù)尺寸。這也類似地適用于隨后畫面。
[0074]對(duì)以像上述那樣的方式形成的每個(gè)數(shù)據(jù)塊272判定冗余。在圖6中，首先進(jìn)行沿著空間方向的冗余判定(S32a)。尤其，沿著預(yù)定方向通過(guò)預(yù)定放大率縮小圖像，以及針對(duì)每個(gè)幀相互比較使縮小圖像的尺寸返回到原始尺寸獲得的圖像和縮小之前的圖像。如果像素值之間的差值的總和等于或低于閾值，則判定在空間方向存在一些冗余。然后，通過(guò)按總和等于或低于閾值的那些縮小放大率當(dāng)中縮小量比較大的放大率縮小圖像來(lái)壓縮圖像。在圖6的例子中，將沿著垂直方向的1/2、沿著水平方向的1/2、和沿著垂直和水平方向的1/2設(shè)置成縮小放大率的候選者。
[0075]于是，如圖6所描繪，取決于步驟S32a中的判定，出現(xiàn)在原始圖像中沒有冗余和8X8個(gè)像素的圖像保持原樣的情況和將圖像縮小成8X4個(gè)像素、4X 8個(gè)像素或4X4個(gè)像素的不同情況。由于每四個(gè)幀為一組地進(jìn)行判定，所以可以確定，如果當(dāng)針對(duì)每個(gè)幀將像素值之間的差值的總和與閾值相比較時(shí)，發(fā)現(xiàn)對(duì)于所有四個(gè)幀該總和都等于或低于閾值，則可以縮小原始圖像?？商娲兀梢葬槍?duì)四個(gè)幀的像素值之間的差值的總和進(jìn)行閾值判定。
[0076]接著，對(duì)設(shè)置在上文所述的四種狀態(tài)之一下的圖像進(jìn)行沿著時(shí)間方向的冗余判定(S32b)。尤其，通過(guò)對(duì)預(yù)定數(shù)量的相繼幀求平均生成圖像，將生成的圖像與原始幀的圖像相比較。如果像素值之間的差值的總和等于或低于閾值，則判定在時(shí)間方向存在冗余。在這種情況下，由于等效地判定可以用一個(gè)平均圖像總體表示多個(gè)幀，所以用總和等于或低于閾值的平均圖像當(dāng)中可以收集到最大數(shù)量的幀的平均圖像取代這些幀以便壓縮圖像。在圖6的例子中，設(shè)置了每?jī)蓚€(gè)幀進(jìn)行平均以生成兩個(gè)平均圖像的一種情況和每四個(gè)幀進(jìn)行平均以生成一個(gè)平均圖像的另一種情況。
[0077]但是，由于不要求未滿足下文所述的一個(gè)存儲(chǔ)單元的程度的壓縮，所以在圖6的例子中，對(duì)具有8X8個(gè)像素的圖像只設(shè)置用一個(gè)平均圖像表示四個(gè)幀的圖像的情況。進(jìn)一步，不對(duì)具有4X4個(gè)像素的圖像進(jìn)行沿著時(shí)間方向的壓縮。作為S32b中的判定的結(jié)果，如圖6所描繪，存在也包括不進(jìn)行沿著時(shí)間方向的壓縮的情況、出現(xiàn)8X8個(gè)像素X4個(gè)幀、8X8個(gè)像素X2個(gè)幀、8X8個(gè)像素Xl個(gè)幀、8X4個(gè)像素X4個(gè)幀、8X4個(gè)像素X2個(gè)幀、4X8個(gè)像素X4個(gè)幀、4X8個(gè)像素X2個(gè)幀和4X4個(gè)像素X4個(gè)幀的八種類型數(shù)據(jù)結(jié)構(gòu)的情況。
[0078]與有關(guān)沿著空間方向的冗余的判定類似，可以進(jìn)行這樣的判定，即針對(duì)原始圖像的每個(gè)幀將像素值之間的差值的總和與閾值相比較，并在對(duì)于所有四個(gè)幀該總和都等于或低于閾值的條件下允許壓縮?？商娲兀梢葬槍?duì)四個(gè)幀的像素值之間的差值的總和進(jìn)行閾值判定。要注意的是，縮小放大率和減少幀數(shù)的選擇不局限于描繪在圖6中的那些，而是可以，例如，響應(yīng)原始數(shù)據(jù)塊的尺寸、存儲(chǔ)單元的數(shù)據(jù)尺寸等適當(dāng)確定。此外，沿著空間方向的冗余判定和沿著時(shí)間方向的冗余判定的次序可以與描繪在圖6中的次序相反?？商娲兀ㄟ^(guò)以各種組合一次性地進(jìn)行幀的縮小和幀數(shù)的減少，可以同時(shí)進(jìn)行兩種判定?？商娲?，可以只進(jìn)行一種判定。
[0079]圖7示意性地例示了在圖5的步驟S34中進(jìn)一步劃分像上述那樣的壓縮判定之后的數(shù)據(jù)塊形成量化單元以便量化像素值的方式。每個(gè)量化單元是沿著空間方向、沿著時(shí)間方向、或沿著空間和時(shí)間方向兩者劃分?jǐn)?shù)據(jù)塊獲得的一組預(yù)定數(shù)量像素。為每個(gè)量化單元生成代表兩個(gè)代表性值的一對(duì)調(diào)色板和將指示調(diào)色板和調(diào)色板之間的中間值之一的標(biāo)識(shí)信息與像素相聯(lián)系的索引。該調(diào)色板和索引基本上類似于在S3TC紋理壓縮方法中從RGB圖像中生成的那些。另一方面，在本實(shí)施例中，參數(shù)的維數(shù)不同于一般S3TC的維數(shù)。
[0080]要注意的是，在進(jìn)行上文所述的量化之前，將YCbCr圖像劃分成Y圖像和CbCr圖像，然后縮小CbCr圖像。在如下描述中的例子中，假設(shè)沿著垂直和水平方向兩者將CbCr圖像縮小到1/2。在圖7的左側(cè)，一個(gè)矩形代表Y圖像的量化單元280或CbCr圖像的量化單元282。在如下描述中，假設(shè)量化單元包括16個(gè)像素?？商娲?，雖然在圖7中象征性地將量化單元表示成4X4個(gè)像素的圖像，但取決于劃分模式，在量化單元中可能混合著不同幀的一些像素。
[0081]通過(guò)量化，從Y圖像的量化單元280中生成調(diào)色板284和索引286，而從CbCr圖像的量化單元282中生成調(diào)色板288和索引290。由于CbCr圖像相對(duì)于Y圖像具有1/4尺寸，所以Y圖像的四個(gè)量化單元對(duì)應(yīng)于CbCr圖像的一個(gè)量化單元。于是，如圖7所描繪，收集從相應(yīng)量化單元中生成的調(diào)色板和索引以生成一個(gè)存儲(chǔ)單元292。在顯示時(shí)，可以將一個(gè)存儲(chǔ)單元的數(shù)據(jù)用于恢復(fù)相應(yīng)區(qū)域中的像素值。
[0082]圖8是例示從Y圖像的量化單元中生成調(diào)色板和索引的數(shù)據(jù)的方法。如上文所述，一個(gè)量化單元包括16個(gè)像素。在圖8中，用一個(gè)圓圈示意性地表示每個(gè)像素。在將通過(guò)每個(gè)像素保存成像素值的亮度Y的值表示在有關(guān)亮度Y的軸上的情況下，獲得像描繪在圖8中那樣的分布300。從標(biāo)繪在分布300上的16個(gè)像素值當(dāng)中選擇兩個(gè)代表性值。例如，選擇最小值(min)和最大值(max)作為代表性值，并將保存兩個(gè)所選值的數(shù)據(jù)確定為調(diào)色板。
[0083]進(jìn)一步，在將亮度Y的軸上最小值與最大值之間的線段內(nèi)分成1:2的亮度Y的值確定為第一中間值(midi)和將該線段內(nèi)分成2:1的亮度Y的值確定為第二中間值(mid2)的情況下，將為每個(gè)像素保存指定最小值、第一中間值、第二中間值和最大值的四個(gè)值之一的信息的數(shù)據(jù)確定為索引。其結(jié)果是，關(guān)于Y圖像的量化單元，該調(diào)色板是代表亮度Y的8個(gè)位X2個(gè)值=2個(gè)字節(jié)的數(shù)據(jù)，該索引是將四個(gè)值的標(biāo)識(shí)號(hào)表示成O到3的信息的2個(gè)位X 16個(gè)像素=4個(gè)字節(jié)的數(shù)據(jù)。
[0084]圖9是例示從CbCr圖像的量化單元中生成調(diào)色板和索引的數(shù)據(jù)的方法。與Y圖像的量化類似，一個(gè)量化單元包括16個(gè)像素。但是，每個(gè)像素保存的值是具有作為元素的(Cb, Cr)的二維矢量值。在將像素值表示在具有色差Cb和Cr的軸的二維平面上的情況下，獲得像描繪在圖9中那樣的分布302。
[0085]從標(biāo)繪在分布302上的16個(gè)像素值當(dāng)中選擇兩個(gè)代表性值。例如，在用直線近似表示分布302的情況下，分別將直線左端和右端的色差確定為最小值(min)和最大值(max)，并確定為代表性值。將保存兩個(gè)計(jì)算值的數(shù)據(jù)確定為調(diào)色板。此時(shí)，每個(gè)代表性值是具有作為元素的(cb，Cr)的矢量值。
[0086]進(jìn)一步，在將近似直線上最小值與最大值之間的線段內(nèi)分成1:2的色差確定為第一中間值(midi)和將該線段內(nèi)分成2:1的色差確定為第二中間值(mid2)的情況下，將為每個(gè)像素保存指定最小值、第一中間值、第二中間值和最大值的四個(gè)值之一的信息的數(shù)據(jù)確定為索引。其結(jié)果是，關(guān)于CbCr圖像的量化單元，該調(diào)色板是色差Cb和Cr的2個(gè)元素X代表色差的8個(gè)位X2個(gè)值=4個(gè)字節(jié)的數(shù)據(jù)，而該索引是將四個(gè)值的標(biāo)識(shí)號(hào)表示成O到3的信息的2個(gè)位X 16個(gè)像素=4個(gè)字節(jié)的數(shù)據(jù)。
[0087]如果以像上述那樣的方式壓縮數(shù)據(jù)，則由于描繪在圖7中的存儲(chǔ)單元292包括Y圖像的調(diào)色板的2個(gè)字節(jié)X 4個(gè)量化單元=8個(gè)字節(jié)、Y圖像的索引的4個(gè)字節(jié)X 4個(gè)量化單元=16個(gè)字節(jié)、CbCr圖像的調(diào)色板的4個(gè)字節(jié)和CbCr圖像的索引的4個(gè)字節(jié),所以存儲(chǔ)單元292是總共32個(gè)字節(jié)的數(shù)據(jù)。由于一個(gè)存儲(chǔ)單元292保存16個(gè)像素X4個(gè)量化單元=64個(gè)像素的數(shù)據(jù)，所以量化之后的數(shù)據(jù)中的一個(gè)像素對(duì)應(yīng)于0.5個(gè)字節(jié)。
[0088]如上所述，在本實(shí)施例中，在將原始RGB圖像分解成保存一維參數(shù)的Y圖像和保存二維參數(shù)的CbCr圖像之后，生成調(diào)色板和索引。因此，在一維Y圖像的情況下，所有樣本值分布在直線上，此外，在二維CbCr圖像中，只在相關(guān)近似直線的法線方向存在偏移近似直線的樣本。于是，與用直線近似表示然后量化保存三維參數(shù)的RGB圖像的一般S3TC方法相比，可以將量化誤差抑制得很小。
[0089]圖10例示了要存儲(chǔ)到劃分模式存儲(chǔ)部分132中以便形成由16個(gè)像素構(gòu)成的量化單元的劃分模式的變種。圖10中的變種從左側(cè)開始，稱為模式(A)、模式(B)、模式(C)和模式(D)，對(duì)于上級(jí)的Y圖像和下級(jí)的CbCr圖像，用直線表示空間劃分的分界線，以及用陰影部分代表性地表達(dá)一個(gè)量化單元。要注意的是，在圖10中，例示了對(duì)于Y圖像和CbCr圖像兩者，劃分不受通過(guò)冗余的壓縮支配的數(shù)據(jù)塊，即，8 X 8個(gè)像素X 4個(gè)幀的Y幀和4 X 4個(gè)像素X4個(gè)幀的CbCr圖像的方式。
[0090]在模式(A)中，每4 X 4個(gè)像素X I個(gè)幀地劃分圖像。在模式(B)中，每4 X 2個(gè)像素X2個(gè)幀地劃分圖像。在模式(C)中，每2X4個(gè)像素X2個(gè)幀地劃分圖像。在模式(D)中，每2X2個(gè)像素X4個(gè)幀地劃分圖像。從模式⑶到模式㈧進(jìn)行更詳細(xì)時(shí)間劃分，從模式(A)到模式(D)進(jìn)行更詳細(xì)空間劃分。準(zhǔn)備好像上述那樣的劃分模式，并依照有關(guān)圖像沿著空間方向存在冗余還是沿著時(shí)間方向存在冗余的圖像特性選擇劃分模式之一。
[0091]尤其，在像包括很大像天空或草坪那樣顏色接近一種顏色的區(qū)域的情況那樣圖像具有空間冗余的情況下，該區(qū)域中的像素值有可能在空間方面變得更加一致。因此，即使空間劃分?jǐn)?shù)減少了，也較不可能包括量化引起的誤差，因此選擇接近模式(A)的劃分模式。另一方面，在像通過(guò)定點(diǎn)觀察來(lái)觀察包括較不運(yùn)動(dòng)的風(fēng)景的情況或類似情況那樣圖像具有時(shí)間冗余的情況下，像素值有可能沿著時(shí)間方向變得一致。因此，即使時(shí)間劃分?jǐn)?shù)減少了，也由于較不可能包括量化引起的誤差，所以選擇接近模式(D)的劃分模式。
[0092]由于劃分之前的數(shù)據(jù)塊的數(shù)據(jù)結(jié)構(gòu)實(shí)際上是例示在圖6中的八種類型之一，所以可以取的劃分模式可以隨數(shù)據(jù)結(jié)構(gòu)而不同。圖11例示了當(dāng)未進(jìn)行通過(guò)冗余的壓縮時(shí)從8X8個(gè)像素X4個(gè)幀的數(shù)據(jù)塊中生成量化單元時(shí)的劃分模式。
[0093]在這種情況下，由于生成8X8個(gè)像素X4個(gè)幀的Y圖像和4X4個(gè)像素X4個(gè)幀的CbCr圖像，所以可以從如圖10所描繪的所有劃分模式㈧、⑶、(C)和⑶當(dāng)中選擇劃分模式。在所有劃分模式中，每一個(gè)數(shù)據(jù)塊生成四個(gè)存儲(chǔ)單元(例如，存儲(chǔ)單元304a、304b、304c和304d)。對(duì)這種情況下的劃分模式分別應(yīng)用標(biāo)識(shí)號(hào)“ O ”、“ I ”、“ 2 ”和“ 3 ”。
[0094]圖12例示了作為進(jìn)行使用冗余的壓縮時(shí)的結(jié)果，當(dāng)數(shù)據(jù)塊是8X4個(gè)像素X4個(gè)幀時(shí)，當(dāng)數(shù)據(jù)塊是4 X 8個(gè)像素X 4個(gè)幀時(shí)，以及當(dāng)數(shù)據(jù)塊是8 X 8個(gè)像素X 2個(gè)幀時(shí)生成量化單元的劃分模式。首先，在數(shù)據(jù)塊是8X4個(gè)像素X4個(gè)幀的情況下，由于生成8X4個(gè)像素X4個(gè)幀的Y圖像和4X2個(gè)像素X4個(gè)幀的CbCr圖像，所以選擇劃分模式⑶和(D)之一。在數(shù)據(jù)塊是4X8個(gè)像素X4個(gè)幀的情況下，生成4X8個(gè)像素X4個(gè)幀的Y圖像和2X4個(gè)像素X4個(gè)幀的CbCr圖像。因此，選擇劃分模式(C)和⑶之一。
[0095]在數(shù)據(jù)塊是8X8個(gè)像素X2個(gè)幀的情況下，生成8X8個(gè)像素X2個(gè)幀的Y圖像和4X4個(gè)像素X2個(gè)幀的CbCr圖像。因此，選擇劃分模式㈧、⑶和(C)之一。在圖12的所有劃分模式中，每一個(gè)數(shù)據(jù)塊形成兩個(gè)存儲(chǔ)單元(例如，存儲(chǔ)單元306a和306b)。對(duì)這種情況下的劃分模式分別應(yīng)用標(biāo)識(shí)號(hào)“4”、“ 5 ”、“6 ”、“ 7 ”、“8 ”、“9 ”和“ 10 ”。
[0096]圖13例示了作為進(jìn)行使用冗余的壓縮時(shí)的結(jié)果，當(dāng)數(shù)據(jù)塊是4X4個(gè)像素X4個(gè)幀時(shí)，當(dāng)數(shù)據(jù)塊是4 X 8個(gè)像素X 2個(gè)幀時(shí)，當(dāng)數(shù)據(jù)塊是8 X 4個(gè)像素X 2個(gè)幀時(shí)，以及當(dāng)數(shù)據(jù)塊是8X8個(gè)像素X I個(gè)幀時(shí)生成量化單元的劃分模式。首先，在數(shù)據(jù)塊是4X4個(gè)像素X4個(gè)幀的情況下，生成4X4個(gè)像素X4個(gè)幀的Y圖像和2X2個(gè)像素X4個(gè)幀的CbCr圖像。因此，該選擇局限于模式(D)。在數(shù)據(jù)塊是4X8個(gè)像素X2個(gè)幀的情況下，生成4X8個(gè)像素X2個(gè)幀的Y圖像和2X4個(gè)像素X2個(gè)幀的CbCr圖像。因此，該選擇局限于模式(C)。
[0097]在數(shù)據(jù)塊是8X4個(gè)像素X 2個(gè)幀的情況下，生成8X4個(gè)像素X 2個(gè)幀的Y圖像和4X2個(gè)像素X2個(gè)幀的CbCr圖像。因此，該選擇局限于模式(B)。在數(shù)據(jù)塊是8X8個(gè)像素X I個(gè)幀的情況下,生成8X8個(gè)像素X I個(gè)幀的Y圖像和4X4個(gè)像素X I個(gè)幀的CbCr圖像。因此，該選擇局限于模式(A)。在所有劃分模式中，每一個(gè)數(shù)據(jù)塊形成一個(gè)存儲(chǔ)單元(例如，存儲(chǔ)單元308)。對(duì)這種情況下的劃分模式分別應(yīng)用標(biāo)識(shí)號(hào)“ 11 ”、“ 12 ”、“ 13 ”和“14”。
[0098]如果以像上述那樣的方式應(yīng)用標(biāo)識(shí)號(hào)，則每個(gè)標(biāo)識(shí)號(hào)最終包括利用冗余的壓縮模式和形成量化單元的劃分模式作為信息。將四種類型的劃分模式(A)到(D)和標(biāo)識(shí)它們的信息事先以相互聯(lián)系的關(guān)系存儲(chǔ)到劃分模式存儲(chǔ)部分132中。參考圖像壓縮部分122根據(jù)壓縮模式和所選劃分模式的組合確定與每個(gè)數(shù)據(jù)塊相對(duì)應(yīng)的標(biāo)識(shí)號(hào)。使標(biāo)識(shí)號(hào)包括到壓縮數(shù)據(jù)中并加以引用，以便在圖像顯示時(shí)在顯示區(qū)中指定像素值的數(shù)據(jù)。
[0099]在對(duì)量化單元的劃分模式可作多種選擇的情況下，應(yīng)用所有劃分模式對(duì)每個(gè)數(shù)據(jù)塊進(jìn)行量化然后加以解碼。然后，選擇解碼結(jié)果相對(duì)于原始圖像指示最小誤差的那一種劃分模式。可替代地，可以使用含有相似內(nèi)容的測(cè)試圖像為每個(gè)區(qū)域事先設(shè)置劃分模式。
[0100]現(xiàn)在，描述參考圖像壓縮部分122生成的參考圖像的壓縮數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。與S3TC的紋理壓縮方法類似，在本實(shí)施例中生成的壓縮數(shù)據(jù)由調(diào)色板和索引構(gòu)成。因此，可以按原樣使用常見GPU的加陰影功能進(jìn)行解碼處理。
[0101]為此，優(yōu)選的是可以與普通紋理圖像類似地讀出和解碼通過(guò)量化Y圖像的數(shù)據(jù)生成的索引和調(diào)色板和通過(guò)量化CbCr圖像的數(shù)據(jù)生成的索引和調(diào)色板。因此，當(dāng)存儲(chǔ)壓縮數(shù)據(jù)時(shí)，如上所述地將代表相同區(qū)域的Y圖像的量化數(shù)據(jù)和CbCr圖像的量化數(shù)據(jù)收集成單個(gè)存儲(chǔ)單元，以便可以通過(guò)少數(shù)幾次數(shù)據(jù)訪問(wèn)恢復(fù)像素。
[0102]圖14示意性地例示了參考圖像的壓縮數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。圖14中的左側(cè)代表一個(gè)存儲(chǔ)單元314，其中如圖14的右側(cè)所描繪地存儲(chǔ)著代表相同區(qū)域的Y圖像的壓縮數(shù)據(jù)310和CbCr圖像的壓縮數(shù)據(jù)312。Y圖像的壓縮數(shù)據(jù)310當(dāng)中用“I”表示的每個(gè)長(zhǎng)方體代表一個(gè)量化單元的索引，用“P”表示的每個(gè)長(zhǎng)方體代表一個(gè)量化單元的調(diào)色板。這也類似地適用于CbCr圖像的壓縮數(shù)據(jù)312。如上文所述，Y圖像的索引和調(diào)色板分別是每個(gè)量化單元四個(gè)字節(jié)和兩個(gè)字節(jié)的數(shù)據(jù)。CbCr圖像的索引和調(diào)色板兩者都是每個(gè)編碼單元四個(gè)字節(jié)的數(shù)據(jù)。
[0103]因此，如圖14所描繪，將代表相同區(qū)域的Y圖像的四個(gè)量化單元和CbCr圖像的一個(gè)量化單元的數(shù)據(jù)集體排列成深度為四個(gè)字節(jié)的存儲(chǔ)區(qū)。這里，由于Y圖像的壓縮數(shù)據(jù)310當(dāng)中的調(diào)色板是兩個(gè)字節(jié)的數(shù)據(jù)，所以如圖14所描繪將兩個(gè)調(diào)色板沿著深度方向布置。其結(jié)果是，一個(gè)存儲(chǔ)單元314包括4X2X4個(gè)字節(jié)的數(shù)據(jù)。
[0104]如果以這種方式收集數(shù)據(jù)，則可以將一個(gè)存儲(chǔ)單元314按原樣存儲(chǔ)到存儲(chǔ)4 X 2個(gè)像素的RGBA圖像的數(shù)據(jù)的存儲(chǔ)區(qū)中。由于從8X8個(gè)像素X4個(gè)幀的數(shù)據(jù)塊中最多形成四個(gè)存儲(chǔ)單元，所以一個(gè)數(shù)據(jù)塊的數(shù)據(jù)尺寸變成最多等于4X2個(gè)像素X4 = 32個(gè)像素的RGBA圖像的數(shù)據(jù)尺寸。如果將冗余用于壓縮，則數(shù)據(jù)量進(jìn)一步減少到1/2或1/4。
[0105]這里，描述將代表壓縮模式和劃分模式的標(biāo)識(shí)號(hào)包括到上文所述的壓縮數(shù)據(jù)中的方法。該標(biāo)識(shí)號(hào)是四個(gè)位的信息，因?yàn)樗侨缟纤龅摹癘”到“14”的15種類型之一。同時(shí)，如圖14所例示將Y圖像的四個(gè)調(diào)色板存儲(chǔ)到一個(gè)存儲(chǔ)單元中。在每個(gè)調(diào)色板中，存儲(chǔ)著代表亮度Y的數(shù)值的兩個(gè)值。因此，通過(guò)四個(gè)調(diào)色板的每一個(gè)保存的兩個(gè)值的存儲(chǔ)次序和它們之間的幅度的關(guān)系表示四個(gè)位的標(biāo)識(shí)信息。
[0106]圖15是例示通過(guò)調(diào)色板表示標(biāo)識(shí)號(hào)的方法的視圖。如果將作為如圖14所描繪的Y圖像的四個(gè)調(diào)色板之一的調(diào)色板315取作例子，則從圖15的這一側(cè)的最高地址開始依次存儲(chǔ)兩個(gè)代表性值“PO”和“P1”。此時(shí)，用數(shù)值“PO”和“P1”的幅度的關(guān)系表示一個(gè)位的信息。事先設(shè)置成，例如，如果P0>P1，則這代表1，而“PO”和“P1”的幅度的任何其它關(guān)系都代表O。
[0107]由于一個(gè)存儲(chǔ)單元包括Y圖像的四個(gè)調(diào)色板，所以如果利用所有四個(gè)調(diào)色板以及事先確定了與位序列相對(duì)應(yīng)的調(diào)色板的次序，則可以表示四個(gè)位的信息。與將值的哪一個(gè)存儲(chǔ)到前一個(gè)地址中無(wú)關(guān)，取決于值的幅度的關(guān)系，調(diào)色板保存的兩個(gè)值的哪一個(gè)是最小值或最大值是顯而易見的，因此，該次序不影響解碼處理。因此，如果從每個(gè)數(shù)據(jù)塊的壓縮模式和劃分模式中確定了一個(gè)標(biāo)識(shí)號(hào)，則參考圖像壓縮部分122響應(yīng)該標(biāo)識(shí)號(hào)確定要將每個(gè)調(diào)色板的較高值存儲(chǔ)到哪一個(gè)地址。
[0108]要注意的是，當(dāng)一個(gè)數(shù)據(jù)塊形成多個(gè)存儲(chǔ)單元時(shí)，所有存儲(chǔ)單元表示相同標(biāo)識(shí)信息。這使得不必與壓縮數(shù)據(jù)的主體分開地生成壓縮模式和/或劃分模式的信息，可以整體地縮小數(shù)據(jù)尺寸。進(jìn)一步，由于為相應(yīng)區(qū)域的每個(gè)壓縮數(shù)據(jù)嵌入壓縮模式和劃分模式的信息，所以引用該信息的效率是高的。
[0109]現(xiàn)在，參考圖16到19描述差值圖像的壓縮數(shù)據(jù)生成處理。圖16示意性地例示了差值圖像生成部分124在圖4的步驟S16中生成差值圖像的過(guò)程。在圖16中，與圖4中的那些相同的數(shù)據(jù)用相同標(biāo)號(hào)表示。首先，將貼片圖像序列生成部分120生成的256X256個(gè)像素的YCbCr圖像序列252和參考圖像壓縮部分122使用YCbCr圖像序列252生成的參考圖像的壓縮數(shù)據(jù)260用作輸入數(shù)據(jù)。
[0110]差值圖像生成部分124首先解碼參考圖像的壓縮數(shù)據(jù)260 (S40)。尤其，差值圖像生成部分124讀出構(gòu)成包括在相同貼片圖像序列中的數(shù)據(jù)塊的存儲(chǔ)單元的所有數(shù)據(jù)，并從調(diào)色板和索引中恢復(fù)Y圖像和CbCr圖像。此時(shí)，可以通過(guò)獲取Y圖像的調(diào)色板所代表的標(biāo)識(shí)號(hào)指定像素的陣列。
[0111]尤其，由于從每個(gè)數(shù)據(jù)塊的標(biāo)識(shí)號(hào)中識(shí)別利用冗余的壓縮模式和形成量化單元時(shí)的劃分模式，所以根據(jù)壓縮模式和劃分模式通過(guò)與劃分處理相反的處理連接包括在量化單元中的數(shù)據(jù)。然后，沿著垂直和水平方向?qū)bCr圖像放大成兩倍，然后與Y圖像合成以生成YCbCr圖像。接著，增加幀數(shù)或通過(guò)與例示在圖6中的壓縮處理相反的處理擴(kuò)大圖像。進(jìn)一步連接以像上述那樣的方式恢復(fù)的數(shù)據(jù)塊，以生成128X128個(gè)像素X4個(gè)幀的YCbCr圖像序列400。
[0112]然后，沿著垂直和水平方向?qū)?28X128個(gè)像素X4個(gè)幀的YCbCr圖像序列400放大成兩倍，以生成256X256個(gè)像素X 4個(gè)幀的YCbCr貼片圖像序列402 (S42)。然后，計(jì)算YCbCr貼片圖像序列402的像素值與貼片圖像序列生成部分120生成的原始貼片圖像的YCbCr圖像序列252的那些像素值的差值，以生成差值圖像序列262 (S44)。
[0113]步驟S40和S42中的處理基本上是與例示在圖4和5中的參考圖像的壓縮處理的過(guò)程的那些相反的處理。但是，由于這個(gè)壓縮處理是進(jìn)行圖像縮小、通過(guò)求平均和量化的幀數(shù)減少的不可逆處理，所以存在恢復(fù)的貼片圖像序列402可能包括誤差的可能性。將這個(gè)誤差表示成差值圖像，以滿足壓縮率和畫面質(zhì)量?jī)烧叩囊蟆?br> [0114]差值圖像是當(dāng)在圖像顯示時(shí)解碼和解壓縮參考圖像的壓縮數(shù)據(jù)時(shí)彌補(bǔ)壓縮引起的誤差的圖像。于是，有必要使差值圖像生成部分124在步驟S40和S42中解碼和解壓縮參考圖像的壓縮數(shù)據(jù)260的處理與圖像顯示時(shí)的那些相同。另一方面，在本實(shí)施例中，以量化單元收集壓縮數(shù)據(jù)260，使以量化單元的數(shù)據(jù)訪問(wèn)成為可能，因此不進(jìn)行無(wú)用數(shù)據(jù)裝載或解碼地沿著空間方向和時(shí)間方向?qū)崿F(xiàn)隨機(jī)訪問(wèn)。
[0115]于是，在圖像顯示時(shí)，必須引用不同量化單元以便解碼或解壓縮某個(gè)量化單元不是優(yōu)選的。因此，當(dāng)在步驟S40中在連接了量化單元的數(shù)據(jù)之后在沿著垂直和水平方向?qū)bCr圖像擴(kuò)大成兩倍的處理、依照壓縮模式擴(kuò)大圖像以便將數(shù)據(jù)塊的尺寸改變到原始尺寸的處理、和在步驟S42中沿著垂直和水平方向?qū)⑼ㄟ^(guò)連接數(shù)據(jù)塊形成的YCbCr圖像序列400擴(kuò)大成兩倍的處理中在像素之間生成新像素時(shí)，獨(dú)立于量化單元的劃分模式地在相關(guān)量化單元內(nèi)完成擴(kuò)大處理。
[0116]尤其，將擴(kuò)大目標(biāo)的圖像劃分成2X2個(gè)像素，并通過(guò)內(nèi)插計(jì)算像素之間的像素的像素值，而2X2個(gè)像素之外的像素值通過(guò)外推來(lái)計(jì)算。圖17示意性地例示以這種方式擴(kuò)大圖像的處理。在圖17中的左側(cè)，用白色圓圈指示將擴(kuò)大之前的圖像劃分成2X2個(gè)像素的區(qū)域404中的每個(gè)像素。當(dāng)將這些像素用于生成由4X4個(gè)像素構(gòu)成的擴(kuò)大區(qū)域406時(shí)，通過(guò)內(nèi)插白色圓圈的像素的像素值獲取原來(lái)具有像素值的白色圓圈之間的像素(陰影圓圈)的像素值。
[0117]通過(guò)使用白色圓圈的像素及其內(nèi)插值進(jìn)行外推獲取原來(lái)具有像素值的白色圓圈的外側(cè)的像素(黑色圓圈)的像素值。由于量化單元與量化單元具有的劃分模式無(wú)關(guān)地包括2X2個(gè)像素的區(qū)域，所以如果以這種方式進(jìn)行擴(kuò)大處理，則與劃分模式無(wú)關(guān)地在量化單元內(nèi)完成擴(kuò)大處理。于是，當(dāng)差值圖像生成部分124如上所述擴(kuò)大CbCr圖像或擴(kuò)大YCbCr圖像時(shí)，也以這種方式進(jìn)行擴(kuò)大處理。要注意的是，對(duì)于外推值，取決于像素值的灰度級(jí)地設(shè)置下限值和上限值，以便將像素值調(diào)整成不超過(guò)灰度級(jí)范圍。由于參考圖像的解碼處理的細(xì)節(jié)與進(jìn)行圖像顯示的裝置中的解碼處理的那些類似，所以下文對(duì)它們加以描述。
[0118]差值圖像壓縮部分126壓縮以像上述那樣的方式生成的差值圖像(圖4中的S18)。這種處理基本上類似于例示在圖5中的參考圖像的壓縮處理。在下文中，把注意力放在與參考圖像的差值上地加以描述。首先，與圖5的步驟S30類似，沿著空間方向?qū)⒉钪祱D像序列262劃分成與參考圖像的尺寸相同的尺寸，以形成處理單元的數(shù)據(jù)塊。這里，如圖6所例示，一個(gè)數(shù)據(jù)塊由8X8個(gè)像素X4個(gè)幀構(gòu)成。但是，與參考圖像不同，差值圖像仍然是256X256個(gè)像素的圖像，因此，沿著垂直和水平方向兩者將差值圖像劃分成32個(gè)部分。
[0119]進(jìn)一步，針對(duì)差值圖像，每個(gè)數(shù)據(jù)塊地進(jìn)行是否認(rèn)為像素值是O的判定，并將認(rèn)為像素值是O的數(shù)據(jù)塊確定為NULL (空)塊。例如，對(duì)于構(gòu)成數(shù)據(jù)塊的所有像素值，進(jìn)行像素值的絕對(duì)值與事先確定的閾值之間的比較。如果所有像素值的絕對(duì)值都等于或低于閾值，則將該數(shù)據(jù)塊確定為NULL塊。
[0120]在圖像顯示時(shí)的解碼中處理確定為NULL塊的數(shù)據(jù)塊，以便使所有像素值都是O。例如，事先生成所有像素值都是O的一個(gè)存儲(chǔ)單元，以及當(dāng)生成最終壓縮數(shù)據(jù)時(shí)，將確定為NULL塊的所有數(shù)據(jù)塊和該存儲(chǔ)單元相互聯(lián)系。在也可以與其它塊類似地處理NULL塊的情況下，使圖像顯示時(shí)的解碼處理得到簡(jiǎn)化并使處理效率得到提高。
[0121]由于差值圖像是如上文所述代表壓縮參考圖像引起的誤差的圖像，所以像素值可能接近O的可能性很高。在像，例如，藍(lán)天或草坪那樣圖像頻率低的區(qū)域中，較不可能出現(xiàn)像上述那樣的誤差。如果通過(guò)上述的處理找出這樣的圖像性質(zhì)，并將差值圖像的像素值處理成0，則可以提高圖像顯示時(shí)的處理效率以及可以提高數(shù)據(jù)壓縮率。
[0122]然后，差值圖像壓縮部分126與圖5的步驟S32類似地確認(rèn)每個(gè)數(shù)據(jù)塊沿著空間方向和時(shí)間方向是否存在冗余，并且當(dāng)判定數(shù)據(jù)塊具有冗余時(shí)，沿著一個(gè)或多個(gè)方向壓縮數(shù)據(jù)。這種處理可能類似于對(duì)參考圖像的處理。差值圖像壓縮部分126然后與圖5的步驟S34類似地將YCbCr圖像分解成Y圖像和CbCr圖像。差值圖像壓縮部分126縮小CbCr圖像并利用劃分模式之一在時(shí)間-空間上劃分縮小的CbCr圖像，以形成由數(shù)量相等的像素構(gòu)成的量化單元，然后量化該數(shù)據(jù)。
[0123]此時(shí)的劃分處理可能類似于對(duì)參考圖像的處理。另一方面，由于差值圖像具有如上所述像素值的范圍比參考圖像更受限制的性質(zhì)，所以將這種性質(zhì)用于使信息由相互不同的調(diào)色板保存。具體地說(shuō)，取代降低調(diào)色板保存的數(shù)值的灰度級(jí)，不是將兩個(gè)值而是將四個(gè)值保存成代表性值。尤其，雖然參考圖像的調(diào)色板每個(gè)元素由8個(gè)位X2個(gè)值=2個(gè)字節(jié)構(gòu)成，但差值圖像的調(diào)色板同等地利用兩個(gè)字節(jié)表示4個(gè)位X4個(gè)值。索引保存為每個(gè)像素指定四個(gè)值之一的信息。這樣在圖像顯示時(shí)的解碼中就不用進(jìn)行確定第一中間值和第二中間值的線性內(nèi)插，提高了處理效率。進(jìn)一步，消除了在最大值和最小值之間將第一中間值和第二中間值選成2:1和1:2的內(nèi)插值的限制。因此，可以更靈活地選擇第一中間值和第二中間值，并且可以預(yù)計(jì)畫面質(zhì)量會(huì)有所提高。
[0124]調(diào)色板要保存的四個(gè)值根據(jù)例示在圖8和9中的Y圖像和CbCr圖像的最小值、最大值、第一中間值和第二中間值來(lái)確定。尤其，如果每個(gè)元素可以用四個(gè)位的數(shù)據(jù)尺寸來(lái)表示四個(gè)值，則將四個(gè)值按原樣存儲(chǔ)到調(diào)色板中。另一方面，如果用四個(gè)位不能充分表示表示四個(gè)值所需的灰度級(jí)，則相繼地將所有數(shù)值乘以1/2、1/4和1/8，以確定可以用四個(gè)位表示的放大率，然后將四個(gè)值乘以確定的放大率并存儲(chǔ)到調(diào)色板中。要注意的是，由于CbCr圖像的調(diào)色板是由(Cb，Cr)的兩個(gè)元素構(gòu)成的矢量值，所以用八個(gè)位表示四個(gè)值的每一個(gè)。
[0125]在圖像顯示時(shí)，將四個(gè)位的數(shù)值轉(zhuǎn)換成并用作八個(gè)位的數(shù)值。此時(shí)，為了從調(diào)色板的數(shù)值中恢復(fù)最小值、最大值、第一中間值和第二中間值，需要為每個(gè)調(diào)色板指示要相乘的放大率。在要將以像上述那樣的方式乘以1、1/2、1/4或1/8獲得的數(shù)值存儲(chǔ)到調(diào)色板中的情況下，一倍、兩倍、四倍和八倍的四種選擇可用作恢復(fù)的放大率。因此，將代表標(biāo)識(shí)四種選擇的標(biāo)識(shí)號(hào)“O”到“3”的兩個(gè)位的信息嵌入壓縮數(shù)據(jù)中。圖18是例示通過(guò)調(diào)色板表示放大率的標(biāo)識(shí)號(hào)的視圖。
[0126]在圖18中，從圖18的這一側(cè)的最高地址開始依次將Y圖像的四個(gè)位的四個(gè)值“ PO ”、“ PI ”、“ P2 ”和“ P3 ”、或CbCr圖像的兩個(gè)元素的總共八個(gè)位的四個(gè)值“ PO ”、“ PI ”、“ P2 ”和“P3”存儲(chǔ)到調(diào)色板中。此時(shí)，通過(guò)包括取決于前兩個(gè)值“PO”和“P1”之間的幅度關(guān)系的一個(gè)位和取決于后兩個(gè)值“P2”和“P3”之間的幅度關(guān)系的另一個(gè)位的總共兩個(gè)位表示標(biāo)識(shí)號(hào)。事先設(shè)置這樣的規(guī)則，例如，如果P0>P1，則這代表1，而數(shù)值PO和Pl之間的任何其它關(guān)系都代表0，以及如果P2>P3，則這代表1，而數(shù)值P2和P3之間的任何其它關(guān)系都代表O。
[0127]要注意的是，在CbCr圖像的情況下，將通過(guò)位序列連接作為矢量值(Cb，Cr)的元素的Cb的四個(gè)位的值和Cr的四個(gè)位的值時(shí)的八個(gè)位的信息確定為“P0”、“P1”、“P2”和“Ρ3”。于是，如果可以從(Cb，Cr)對(duì)中獲取八個(gè)位的值，則可以不將這些值存儲(chǔ)在八個(gè)位的相繼區(qū)域中。由于有關(guān)CbCr圖像的四個(gè)值用矢量值表示，所以如果對(duì)總共八個(gè)位的信息進(jìn)行比較，則即使元素之一具有相等值，八個(gè)位的值也不會(huì)變成相等。
[0128]對(duì)于每個(gè)調(diào)色板可以通過(guò)上述的總共兩個(gè)位的信息表示標(biāo)識(shí)號(hào)“O”到“3”。調(diào)色板保存的四個(gè)值不影響解碼處理，因?yàn)樽钚≈?、最大值、第一中間值和第二中間值可以與存儲(chǔ)次序無(wú)關(guān)、取決于值之間的幅度關(guān)系地決定。在圖像顯示時(shí)的解碼中，首先指定標(biāo)識(shí)號(hào)(S50)，然后當(dāng)將四個(gè)值P0、P1、P2和P3從四個(gè)位轉(zhuǎn)換成八個(gè)位時(shí)，將它們乘以通過(guò)標(biāo)識(shí)信息表示的放大率，以確定PO'、P1'、P2'和P3',以便恢復(fù)最小值、最大值、第一中間值和第二中間值(S52)。
[0129]這樣，在差值圖像的Y圖像的調(diào)色板中，存儲(chǔ)四個(gè)位的四個(gè)值。在參考圖像的調(diào)色板中，通過(guò)八個(gè)位的兩個(gè)值的存儲(chǔ)次序和它們之間的幅度關(guān)系表示每一個(gè)代表壓縮模式和劃分模式的15個(gè)不同標(biāo)識(shí)號(hào)“O”到“14”。圖19是例示通過(guò)差值圖像的Y圖像的調(diào)色板進(jìn)一步表示15個(gè)不同標(biāo)識(shí)號(hào)的方法的視圖。如上文參考圖18所述，將四個(gè)值“P0”、“P1”、“P2”和“P3”存儲(chǔ)到一個(gè)調(diào)色板408中。這里，通過(guò)由連接“PO”和“P1”的位序列形成的八個(gè)位的值(在圖19中表示成“P01”)和由連接“P2”和“P3”的位序列形成的八個(gè)位的值(在圖19中表示成“P23”)之間的幅度關(guān)系表示一個(gè)位的信息。
[0130]事先設(shè)置這樣的規(guī)則，例如，如果P0DP23，則這代表1，而數(shù)值POl和P23之間的任何其它關(guān)系都代表O。其結(jié)果是，這種處理與參考圖像的情況相同，因?yàn)閷⒄{(diào)色板的高地址的八個(gè)位的值和低地址的八個(gè)位的數(shù)值相互比較，以判定這些數(shù)值之間的幅度關(guān)系。于是，與參考圖像的情況類似，可以用四個(gè)調(diào)色板表示代表壓縮模式和劃分模式的標(biāo)識(shí)號(hào)。差值圖像壓縮部分126確定要存儲(chǔ)到Y(jié)圖像的調(diào)色板中的四個(gè)值的存儲(chǔ)次序，以便使這四個(gè)值表示代表將調(diào)色板的數(shù)值恢復(fù)成原始數(shù)值的放大率的標(biāo)識(shí)號(hào)和代表壓縮模式和劃分模式的標(biāo)識(shí)號(hào)兩者。
[0131]現(xiàn)在，描述壓縮數(shù)據(jù)生成部分128生成最終壓縮數(shù)據(jù)的處理。圖20示意性地例示了在圖4的步驟S20中生成包括參考圖像的壓縮數(shù)據(jù)260和差值圖像的壓縮數(shù)據(jù)266的最終壓縮數(shù)據(jù)268的處理過(guò)程。如上文所述，參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)分別以數(shù)據(jù)塊為單位形成。
[0132]尤其，在上文所述的例子的情況下，從通過(guò)將原始運(yùn)動(dòng)畫面的幀序列劃分成256X256個(gè)像素獲得的貼片圖像序列的四個(gè)幀中生成參考圖像的數(shù)據(jù)塊陣列410和差值圖像的數(shù)據(jù)塊陣列411。參考圖像的數(shù)據(jù)塊陣列410由16X16個(gè)數(shù)據(jù)塊的壓縮數(shù)據(jù)構(gòu)成，而差值圖像的數(shù)據(jù)塊陣列411由32X32個(gè)數(shù)據(jù)塊的壓縮數(shù)據(jù)構(gòu)成。數(shù)據(jù)塊的壓縮數(shù)據(jù)的尺寸在長(zhǎng)度上是可變的，對(duì)應(yīng)于一個(gè)、兩個(gè)或四個(gè)存儲(chǔ)單元之一。要注意的是，在差值圖像中,取決于其值,將數(shù)據(jù)塊處理成NULL塊。
[0133]每個(gè)存儲(chǔ)單元具有等于如上文所述的4X2個(gè)像素的RGBA圖像的數(shù)據(jù)的數(shù)據(jù)尺寸。壓縮數(shù)據(jù)生成部分128針對(duì)每個(gè)存儲(chǔ)單元沿著預(yù)定方向以數(shù)據(jù)塊陣列的預(yù)定次序連接數(shù)據(jù)塊的存儲(chǔ)單元的壓縮數(shù)據(jù)。然后，壓縮數(shù)據(jù)生成部分128加入將陣列上的數(shù)據(jù)塊的位置和存儲(chǔ)單元的存儲(chǔ)地點(diǎn)相互聯(lián)系的指針信息。在圖20中的壓縮數(shù)據(jù)42的例子中，參考圖像數(shù)據(jù)的指針信息414、差值圖像數(shù)據(jù)的指針信息416、參考圖像的壓縮數(shù)據(jù)418、差值圖像的NULL塊的壓縮數(shù)據(jù)420和差值圖像的壓縮數(shù)據(jù)422沿著柵格方向按這個(gè)次序并置。
[0134]此外，在與存儲(chǔ)單元類似地垂直并置每一個(gè)四個(gè)字節(jié)的兩個(gè)數(shù)據(jù)的同時(shí)，水平地相繼解壓縮參考圖像數(shù)據(jù)的指針信息414和差值圖像數(shù)據(jù)的指針信息416。使這種情況下指針信息的存儲(chǔ)次序與陣列上的相應(yīng)數(shù)據(jù)塊的次序相同，以便通過(guò)指針相互聯(lián)系陣列上的每個(gè)數(shù)據(jù)塊的位置和每個(gè)存儲(chǔ)單元的存儲(chǔ)位置。
[0135]在以這種方式相繼生成壓縮數(shù)據(jù)的情況下，生成具有兩個(gè)像素的寬度的帶狀行沿著垂直方向相互連接的圖像平面。因此，壓縮數(shù)據(jù)412被理解成圖像平面，并且通過(guò)存儲(chǔ)單元與每個(gè)數(shù)據(jù)塊相對(duì)應(yīng)的區(qū)域的左上角的坐標(biāo)表示指針信息。例如，如果該坐標(biāo)通過(guò)UV坐標(biāo)表示以及U坐標(biāo)和V坐標(biāo)分別用一個(gè)字節(jié)表示，則一個(gè)存儲(chǔ)單元的指針變成總共兩個(gè)字節(jié)的信息。其結(jié)果是，在壓縮數(shù)據(jù)412是圖像平面的情況下，兩個(gè)數(shù)據(jù)塊的指針可以用一個(gè)像素來(lái)表示。
[0136]即使原始運(yùn)動(dòng)畫面是8000 X 4000個(gè)像素等的高清晰度圖像，如果壓縮數(shù)據(jù)412本身被縮小成256 X 256個(gè)像素或更小，則指針信息可以用如上所述的分別一個(gè)字節(jié)的U坐標(biāo)和V坐標(biāo)來(lái)表示。在這種情況下，參考圖像數(shù)據(jù)的指針信息414變成代表16X16 = 256個(gè)數(shù)據(jù)塊的128個(gè)像素的區(qū)域，而差值圖像數(shù)據(jù)的指針信息416變成代表32X32 = 1024個(gè)數(shù)據(jù)塊的512個(gè)像素的區(qū)域。要注意的是，如果不能通過(guò)分別一個(gè)字節(jié)的U坐標(biāo)和V坐標(biāo)滿意地表示指針信息，則可以通過(guò)分別具有更大數(shù)據(jù)長(zhǎng)度的U坐標(biāo)和V坐標(biāo)來(lái)表示，以便，例如，U坐標(biāo)和V坐標(biāo)分別用兩個(gè)字節(jié)來(lái)表示。可替代地，可以改變劃分的貼片的尺寸，以便一個(gè)字節(jié)可以充分表示指針信息。
[0137]例如，參考圖像數(shù)據(jù)的指針信息414的區(qū)域內(nèi)通過(guò)某個(gè)像素424表示的兩個(gè)指針信息的每一個(gè)都指示包括在參考圖像的壓縮數(shù)據(jù)418中的某個(gè)存儲(chǔ)單元的區(qū)域的左上角的坐標(biāo)。該存儲(chǔ)單元是構(gòu)成與指針相對(duì)應(yīng)的數(shù)據(jù)塊的存儲(chǔ)單元的頂部上的那些存儲(chǔ)單元。同時(shí)，在差值圖像數(shù)據(jù)的指針信息416內(nèi)，通過(guò)某個(gè)像素426表示的兩個(gè)指針信息之一代表NULL塊的壓縮數(shù)據(jù)420，而兩個(gè)指針信息的另一個(gè)代表包括在差值圖像的壓縮數(shù)據(jù)422中的某個(gè)存儲(chǔ)單元的區(qū)域的左上角的坐標(biāo)。此外，該存儲(chǔ)單元是構(gòu)成與指針相對(duì)應(yīng)的數(shù)據(jù)塊的存儲(chǔ)單元的頂部上的那些存儲(chǔ)單元。
[0138]必要時(shí)每貼片圖像序列的四個(gè)幀一個(gè)地準(zhǔn)備NULL塊的壓縮數(shù)據(jù)420，以便將其與多個(gè)數(shù)據(jù)塊相聯(lián)系。通過(guò)對(duì)所有貼片圖像序列每預(yù)定個(gè)幀(在上文所述的例子中，每四個(gè)幀)地生成這樣的壓縮數(shù)據(jù)，可以類似地壓縮整個(gè)原始運(yùn)動(dòng)畫面。將貼片圖像序列的壓縮數(shù)據(jù)按時(shí)間次序作為幀地存儲(chǔ)到壓縮數(shù)據(jù)存儲(chǔ)部分134中。進(jìn)一步，事先進(jìn)行原始運(yùn)動(dòng)畫面的幀中的貼片圖像的位置與每個(gè)貼片圖像序列的壓縮數(shù)據(jù)的聯(lián)系。例如，將代表位置的標(biāo)識(shí)信息應(yīng)用于貼片圖像序列的壓縮數(shù)據(jù)。這使得可以從運(yùn)動(dòng)畫面的整個(gè)壓縮數(shù)據(jù)中指定必要數(shù)據(jù)。
[0139]現(xiàn)在，描述使用通過(guò)上文所述的方法壓縮的數(shù)據(jù)進(jìn)行圖像顯示的技術(shù)。此外，本技術(shù)中進(jìn)行圖像顯示的裝置可以通過(guò)與顯示在圖1中的圖像處理裝置10類似的配置來(lái)實(shí)現(xiàn)。在下文中，主要對(duì)控制部分100的配置加以描述。圖21具體描繪了本實(shí)施例中具有圖像顯示功能的控制部分10b的配置。包括控制部分10b的圖像處理裝置10基本上是使用以像上述那樣的方式壓縮的運(yùn)動(dòng)畫面數(shù)據(jù)的至少一部分進(jìn)行圖像顯示的裝置。但是，對(duì)顯示運(yùn)動(dòng)畫面的目的或顯示模式?jīng)]有具體限制。
[0140]例如，圖像處理裝置10可以顯示存儲(chǔ)在硬盤驅(qū)動(dòng)器50等中的電影或撮取運(yùn)動(dòng)畫面、實(shí)時(shí)分發(fā)的運(yùn)動(dòng)畫面流、計(jì)算機(jī)圖形中的視頻紋理等的任何一種?？商娲?，可以同時(shí)顯示多種運(yùn)動(dòng)畫面，或在顯示圖像的局部區(qū)域中可以只使用一種運(yùn)動(dòng)畫面。于是，在硬盤驅(qū)動(dòng)器50中，不僅可以存儲(chǔ)像上述那樣的壓縮運(yùn)動(dòng)畫面，而且可以存儲(chǔ)像實(shí)現(xiàn)各種功能的程序和其它圖像數(shù)據(jù)那樣的各種數(shù)據(jù)。
[0141]控制部分10b包括輸入信息獲取部分502、信息處理部分504、裝載部分506和顯示圖像處理部分508。輸入信息獲取部分502從輸入裝置20獲取用戶輸入的信息。信息處理裝置504響應(yīng)用戶的輸入等進(jìn)行信息處理。裝載部分506裝載運(yùn)動(dòng)畫面的必要壓縮數(shù)據(jù)。顯示圖像處理部分508渲染圖像幀。
[0142]輸入信息獲取部分502獲取圖像處理裝置10提供的功能的起點(diǎn)/終點(diǎn)、和用戶輸入到輸入裝置20中、該功能接受的各種類型的輸入信息。輸入信息獲取部分502將所獲信息通知信息處理部分504。圖像處理裝置10提供的功能可以是運(yùn)動(dòng)畫面顯示功能或游戲的各種功能的任何一種、通信等。于是，輸入信息獲取部分502獲取的輸入信息也取決于功能地多種多樣。
[0143]在本實(shí)施例中，容易地實(shí)現(xiàn)了沿著空間方向和時(shí)間方向?qū)\(yùn)動(dòng)畫面的隨機(jī)訪問(wèn)。于是，用于接受牽涉到改變運(yùn)動(dòng)畫面的顯示區(qū)的操作一諸如用戶為了放大、縮小或滾動(dòng)正在顯示的運(yùn)動(dòng)畫面而作的視點(diǎn)移動(dòng)操作、或顯示映射視頻紋理的計(jì)算機(jī)圖形的游戲操作——的模式是特別有效的。
[0144]信息處理部分504根據(jù)輸入信息獲取部分502獲取的輸入信息，依照信息處理裝置提供的功能進(jìn)行信息處理。例如，當(dāng)接受視點(diǎn)移動(dòng)操作時(shí)，信息處理部分504根據(jù)視點(diǎn)移動(dòng)操作的操作量，在每個(gè)時(shí)步之后確定顯示區(qū)的移動(dòng)量，并依次計(jì)算下一次顯示區(qū)的坐標(biāo)。在要進(jìn)行游戲的情況下，信息處理部分504依照游戲的內(nèi)容生成三維對(duì)象或依照游戲程序進(jìn)級(jí)。由于可以應(yīng)用常見技術(shù)進(jìn)行處理，所以如下描述主要針對(duì)與顯示運(yùn)動(dòng)畫面有關(guān)的處理給出，而適當(dāng)省略對(duì)其它處理的描述。
[0145]在有必要顯示運(yùn)動(dòng)畫面或作為進(jìn)行像上述那樣的信息處理的結(jié)果有必要改變運(yùn)動(dòng)畫面的顯示區(qū)的情況下，信息處理部分504計(jì)算顯示區(qū)的幀坐標(biāo)。信息處理部分504然后將計(jì)算的幀坐標(biāo)通知裝載部分506和顯示圖像處理部分508。在本實(shí)施例中，由于以貼片圖像為單位或以預(yù)定個(gè)幀為單位生成各種壓縮數(shù)據(jù)，所以也可以以此為單位進(jìn)行從硬盤驅(qū)動(dòng)器50到主存儲(chǔ)器60的裝載。
[0146]因此，信息處理部分504測(cè)量從開始顯示運(yùn)動(dòng)畫面的時(shí)刻開始經(jīng)過(guò)的時(shí)間，并與幀坐標(biāo)的信息一起發(fā)出基于所經(jīng)過(guò)時(shí)間的幀數(shù)的通知。因此，裝載部分506和顯示圖像處理部分508可以與相關(guān)貼片圖像直到那時(shí)是否已經(jīng)是處理目標(biāo)無(wú)關(guān)地指定裝載目標(biāo)或解碼目標(biāo)的壓縮數(shù)據(jù)。裝載部分506根據(jù)來(lái)自信息處理部分504的通知確認(rèn)在主存儲(chǔ)器60中是否存儲(chǔ)著必要壓縮數(shù)據(jù)。
[0147]這里的必要壓縮數(shù)據(jù)不僅包括下一次顯示所需的壓縮數(shù)據(jù)，而且包括為以后需要估計(jì)的壓縮數(shù)據(jù)。以后的數(shù)據(jù)是代表在視角固定的情況下，相同顯示區(qū)和時(shí)間軸上以后的幀內(nèi)圍繞相同顯示區(qū)預(yù)定范圍的區(qū)域的數(shù)據(jù)。另一方面，在作為移動(dòng)視點(diǎn)等的結(jié)果使視角發(fā)生變化的情況下，上述以后的數(shù)據(jù)是代表從視角的變化中預(yù)測(cè)的移動(dòng)目的地的顯示區(qū)和以后的幀內(nèi)圍繞該顯示區(qū)預(yù)定范圍的區(qū)域的數(shù)據(jù)。如果在主存儲(chǔ)器60中未存儲(chǔ)著必要數(shù)據(jù)，則裝載部分506從硬盤驅(qū)動(dòng)器50裝載壓縮數(shù)據(jù)并將壓縮數(shù)據(jù)存儲(chǔ)到主存儲(chǔ)器60中。
[0148]顯示圖像處理部分508包括數(shù)據(jù)讀出部分510、解碼部分512和渲染部分514。數(shù)據(jù)讀出部分510根據(jù)從信息處理部分504接收的幀坐標(biāo)，從壓縮數(shù)據(jù)的標(biāo)識(shí)信息等中指定包括下一顯示區(qū)的數(shù)據(jù)的貼片圖像序列的壓縮數(shù)據(jù)。數(shù)據(jù)讀出部分510然后從主存儲(chǔ)器60中讀出指定的壓縮數(shù)據(jù)。解碼部分512根據(jù)幀坐標(biāo)，從包括在讀出壓縮數(shù)據(jù)中的指針信息中指定渲染所需的數(shù)據(jù)塊的壓縮數(shù)據(jù)，并解碼指定的壓縮數(shù)據(jù)。
[0149]盡管這種處理基本上是相反地遵循上文所述的壓縮處理的處理，但可以對(duì)代表顯示區(qū)的每個(gè)像素進(jìn)行像素值的恢復(fù)。渲染部分514使用解碼的數(shù)據(jù)渲染顯示處理部分44的幀存儲(chǔ)器中的整個(gè)顯示圖像。這種處理可以是渲染由幀坐標(biāo)所代表的區(qū)域構(gòu)成的顯示圖像的處理,或可以是包括視頻紋理的映射處理的渲染處理。
[0150]圖22是例示主要由解碼部分512執(zhí)行的解碼處理的過(guò)程的流程圖。首先，解碼部分512參考包括在貼片圖像的讀出壓縮數(shù)據(jù)中的指針信息當(dāng)中參考圖像數(shù)據(jù)的指針信息，以便指定包括渲染顯示區(qū)所需的參考圖像的數(shù)據(jù)的數(shù)據(jù)塊的壓縮數(shù)據(jù)(S60)。要注意的是，由于如上文所述以可變長(zhǎng)度進(jìn)行了壓縮，所以多個(gè)存儲(chǔ)單元可能是相關(guān)的。
[0151]然后，解碼部分512從參考圖像的壓縮數(shù)據(jù)中讀出相關(guān)壓縮數(shù)據(jù)，并根據(jù)包括在存儲(chǔ)單元中的Y圖像的四個(gè)調(diào)色板的每一個(gè)所代表的兩個(gè)值的幅度關(guān)系，獲取代表壓縮模式和劃分模式的四個(gè)位的標(biāo)識(shí)號(hào)(S62)。由于可以從標(biāo)識(shí)號(hào)中確定構(gòu)成顯示區(qū)的像素與包括在壓縮數(shù)據(jù)中的量化單元中的索引之間的對(duì)應(yīng)關(guān)系，所以解碼部分512根據(jù)該對(duì)應(yīng)關(guān)系指定保存必要數(shù)據(jù)的量化單元(S64)。
[0152]然后，解碼部分512從通過(guò)線性內(nèi)插調(diào)色板所代表的兩個(gè)值獲得的四個(gè)值中獲取索引所指的值，以確定每個(gè)像素的Y值、Cb值和Cr值。解碼部分512然后沿著垂直和水平方向?qū)bCr圖像擴(kuò)大成兩倍以生成YCbCr圖像。如果已經(jīng)將壓縮模式之一用于進(jìn)行壓縮，則解碼部分512沿著相反方向擴(kuò)大YCbCr圖像或插入幀。幀的插入可以通過(guò)復(fù)制平均圖像來(lái)進(jìn)行。然后，解碼部分512進(jìn)一步沿著垂直和水平方向?qū)CbCr圖像擴(kuò)大成兩倍，以生成原始貼片圖像尺寸的YCbCr圖像的參考圖像(S66)。此時(shí)的擴(kuò)大處理通過(guò)內(nèi)插和外推來(lái)進(jìn)行，以便可以如上文所述以2X2個(gè)像素為單位完成處理。
[0153]接著，解碼部分512對(duì)差值圖像進(jìn)行類似處理，從差值圖像的壓縮數(shù)據(jù)中生成YCbCr圖像的差值圖像(步驟S68中的“否”，S60到S66)。但是，要注意的是，在步驟S62中，從分別連接Y圖像的四個(gè)調(diào)色板的每一個(gè)所代表的四個(gè)值的前一半的地址上的兩個(gè)值和后一半的地址上的兩個(gè)值獲得的數(shù)值的幅度關(guān)系中，獲取代表壓縮模式和劃分模式的標(biāo)識(shí)信息。當(dāng)在步驟S66中要確定每個(gè)像素的的Y值、Cb值和Cr值時(shí)，解碼部分512首先將調(diào)色板所代表的四個(gè)位的四個(gè)值轉(zhuǎn)換成八個(gè)位，并根據(jù)前一半地址的兩個(gè)值和后一半地址的兩個(gè)值的幅度關(guān)系的組合所代表的標(biāo)識(shí)信息將八個(gè)位乘以一個(gè)放大率。然后，解碼部分512獲取每個(gè)像素的索引所指的數(shù)值，以確定Y值、Cb值和Cr值。
[0154]如果該指針指示NULL塊的壓縮數(shù)據(jù)，則解碼部分512將相應(yīng)區(qū)域中的所有像素設(shè)置成O。但是，要注意的是，由于通過(guò)使NULL塊的壓縮數(shù)據(jù)具有與其它數(shù)據(jù)塊的壓縮數(shù)據(jù)相同的結(jié)構(gòu)，可以對(duì)其它壓縮數(shù)據(jù)類似地進(jìn)行這種處理，所以不需要特殊處理。在成功生成分別代表顯示區(qū)的參考圖像和差值圖像的YCbCr圖像之后(S68中的“是”)，解碼部分512為各自相應(yīng)像素相加它們(S70)，并將色空間轉(zhuǎn)換成RGB色空間，以生成顯示區(qū)的RGB圖像(S72)。
[0155]由于在本實(shí)施例中生成的壓縮數(shù)據(jù)具有與各自數(shù)據(jù)塊相對(duì)應(yīng)的數(shù)據(jù)的變長(zhǎng)尺寸，所以需要為每個(gè)數(shù)據(jù)塊指示代表存儲(chǔ)單元的存儲(chǔ)區(qū)的指針。如上所述，對(duì)于256X256個(gè)像素的貼片圖像的四個(gè)巾貞，指針的數(shù)量是包括參考圖像的256個(gè)指針和差值圖像的1024個(gè)指針的總共1280個(gè)。如果一個(gè)指針用兩個(gè)字節(jié)的UV坐標(biāo)表示，則指針?biāo)璧臄?shù)據(jù)尺寸是(2個(gè)字節(jié)X 1280)/(256 X 256個(gè)像素X 4個(gè)幀)?0.08個(gè)位每原始貼片圖像的一個(gè)像素，非常小。
[0156]關(guān)于壓縮數(shù)據(jù)，四個(gè)幀的數(shù)據(jù)塊用一個(gè)、兩個(gè)或四個(gè)4X2個(gè)像素X4個(gè)字節(jié)=32個(gè)字節(jié)的存儲(chǔ)單元來(lái)表示。在以最高壓縮率壓縮壓縮數(shù)據(jù)的情況下，一個(gè)數(shù)據(jù)塊可以用參考圖像數(shù)據(jù)和差值圖像數(shù)據(jù)的NULL塊的壓縮數(shù)據(jù)的一個(gè)存儲(chǔ)單元來(lái)表示。如果考慮到參考圖像是通過(guò)將原始圖像縮小到1/4獲得的，以及NULL塊的壓縮數(shù)據(jù)可以被其它共享，則數(shù)據(jù)尺寸是(32個(gè)字節(jié)X I X 0.25+0個(gè)字節(jié))/ (8 X 8個(gè)像素X 4個(gè)幀)=0.25個(gè)位每個(gè)像素。另一方面，在以最低壓縮率壓縮一個(gè)數(shù)據(jù)塊的情況下，一個(gè)數(shù)據(jù)塊用參考圖像數(shù)據(jù)和差值圖像數(shù)據(jù)兩者的四個(gè)存儲(chǔ)單元表示。于是，在這種情況下的數(shù)據(jù)尺寸是(32個(gè)字節(jié)X 4 X 0.25+32個(gè)字節(jié)X 4) / (8 X 8個(gè)像素X 4個(gè)幀)=5個(gè)位每個(gè)像素。
[0157]簡(jiǎn)而言之，本實(shí)施例生成和解碼的壓縮數(shù)據(jù)具有近似0.33到5.08個(gè)位每個(gè)像素的尺寸。由于通過(guò)S3TC紋理壓縮的數(shù)據(jù)具有四個(gè)位/像素的數(shù)據(jù)尺寸，所以通過(guò)本實(shí)施例的運(yùn)動(dòng)畫面的壓縮數(shù)據(jù)具有等于或小于剛才所述的數(shù)據(jù)尺寸的尺寸。其結(jié)果是，可以以足夠低存儲(chǔ)成本顯示可以沿著空間方向和時(shí)間方向隨機(jī)訪問(wèn)的運(yùn)動(dòng)畫面。
[0158]要注意的是，本實(shí)施例中的壓縮數(shù)據(jù)的壓縮率隨與沿著時(shí)間-空間方向的冗余和出現(xiàn)量化誤差的可能性有關(guān)的實(shí)際圖像而變。另一方面，通過(guò)調(diào)整涉及起因于像剛才所述那樣的因素、是否可以沿著時(shí)間-空間方向進(jìn)行壓縮或是否進(jìn)行到NULL塊的轉(zhuǎn)換的判定的閾值，可以減緩起因于圖像的壓縮率的下降。通過(guò)響應(yīng)裝置環(huán)境和顯示時(shí)的圖像自適應(yīng)地改變閾值，可以在利用給定環(huán)境的同時(shí)以最高圖像質(zhì)量顯示運(yùn)動(dòng)畫面。例如，可以事先準(zhǔn)備將顯示裝置的資源量或通信環(huán)境與最佳閾值相互聯(lián)系的表格，以便使用符合實(shí)際顯示環(huán)境的閾值生成壓縮數(shù)據(jù)。
[0159]盡管在上面的描述中確定為處理目標(biāo)的運(yùn)動(dòng)畫面數(shù)據(jù)的數(shù)量在每個(gè)時(shí)刻是一個(gè)幀，但另一方面每個(gè)時(shí)刻的圖像可以由以不同分辨率表示的多個(gè)幀序列構(gòu)成。如果依照來(lái)自用戶的視點(diǎn)移動(dòng)請(qǐng)求改變要使用的幀序列，則可以在應(yīng)用運(yùn)動(dòng)畫面的同時(shí)顯著擴(kuò)大分辨率的變化范圍。此時(shí)，按分辨率次序?qū)⒉煌直媛实亩鄠€(gè)幀序列分層以建立分層結(jié)構(gòu)。下文將具有像剛才所述那樣的分層結(jié)構(gòu)的運(yùn)動(dòng)畫面數(shù)據(jù)稱為“分層數(shù)據(jù)”。
[0160]圖23概念性地例示了用分層數(shù)據(jù)表示運(yùn)動(dòng)畫面的數(shù)據(jù)結(jié)構(gòu)。在圖23中該分層數(shù)據(jù)具有沿著從頂部到底部的z方向由第O層30、第I層32、第2層34和第3層36構(gòu)成的分層結(jié)構(gòu)。要注意的是，盡管在圖23中只描繪了四個(gè)層，但層數(shù)不局限于此。如上文所述，每個(gè)層由按時(shí)間次序排列通過(guò)不同分辨率表示一個(gè)運(yùn)動(dòng)畫面的幀的幀序列構(gòu)成。在圖23中，每個(gè)層象征性地用四個(gè)幀來(lái)表示。但是，該幀數(shù)當(dāng)然隨運(yùn)動(dòng)畫面的再生時(shí)間或幀速率而不同。
[0161]該分層數(shù)據(jù)具有，例如，四叉樹的分層結(jié)構(gòu)，假設(shè)第O層30包括一個(gè)貼片圖像；第I層32包括2X2個(gè)貼片圖像；第2層34包括4X4個(gè)貼片圖像；以及第3層36包括8X8個(gè)貼片圖像。此時(shí)，第N層(N是等于或大于O的整數(shù))的分辨率在圖像平面上沿著向左和向右(X軸)方向和向上和向下(y軸)方向兩者是第(N+1)層的分辨率的1/2。該分層數(shù)據(jù)可以通過(guò)根據(jù)具有最高分辨率的第3層36的運(yùn)動(dòng)畫面將每個(gè)幀折算成多個(gè)階層或通過(guò)類似處理生成。
[0162]如圖23所描繪，運(yùn)動(dòng)畫面顯示時(shí)的視點(diǎn)坐標(biāo)和相應(yīng)顯示區(qū)可以通過(guò)虛擬三維空間來(lái)表不，該虛擬三維空間由代表圖像的向左和向右方向的X軸、代表向上和向下方向的y軸和代表分辨率的z軸構(gòu)成。要注意的是，由于每個(gè)層由分別代表運(yùn)動(dòng)畫面的幀序列構(gòu)成，所以實(shí)際顯示的圖像也依賴于開始顯示之后的時(shí)間，在圖23中，為每個(gè)層表示了時(shí)間軸t。
[0163]基本上，圖像處理裝置10以預(yù)定幀速率沿著時(shí)間軸t依次渲染一個(gè)層的幀序列。例如，將第O層30的分辨率的運(yùn)動(dòng)畫面顯示在參考圖像。如果在顯示的過(guò)程中，從輸入裝置20供應(yīng)顯示區(qū)移動(dòng)請(qǐng)求信號(hào)，則圖像處理裝置10從該信號(hào)中導(dǎo)出顯示圖像的改變量，并使用該改變量導(dǎo)出虛擬空間中下一個(gè)幀的四個(gè)角的坐標(biāo)(幀坐標(biāo))。圖像處理裝置10然后渲染與該幀坐標(biāo)相對(duì)應(yīng)的圖像幀。據(jù)此，為z軸提供分層的切換邊界，以便響應(yīng)幀坐標(biāo)的z值適當(dāng)切換要用于幀渲染的運(yùn)動(dòng)畫面數(shù)據(jù)的分層。
[0164]例如，當(dāng)顯示圖像所需的分辨率在第I層32與第2層34之間的切換邊界與第2層34與第3層36之間的切換邊界之間，則利用第2層34的圖像數(shù)據(jù)渲染顯示區(qū)。在第I層32與第2層34之間的切換邊界與第2層34之間的分辨率上，以縮小尺度顯示第2層34的圖像幀。在第2層34與第3層36之間的切換邊界與第2層34之間的分辨率上，以擴(kuò)大尺度顯示第2層34的圖像幀。
[0165]與上文所述類似，以貼片圖像序列為單位將分層數(shù)據(jù)壓縮成壓縮數(shù)據(jù)。要注意的是，在這種情況下，不僅將貼片圖像序列的壓縮數(shù)據(jù)與圖像平面上的位置相聯(lián)系，而且與沿著分辨率方向的位置相聯(lián)系。
[0166]當(dāng)像上述那樣的分層數(shù)據(jù)用于接受包括擴(kuò)大或縮小的對(duì)正在顯示的運(yùn)動(dòng)畫面的顯示區(qū)的移動(dòng)請(qǐng)求時(shí)，如果應(yīng)用本實(shí)施例的數(shù)據(jù)壓縮技術(shù)，則可以只裝載必要貼片圖像的壓縮數(shù)據(jù)，并且可以只解碼必要區(qū)域。因此，與裝載或解碼整個(gè)圖像的可替代情況相比，在裝載處理和解碼處理的成本、傳送成本和存儲(chǔ)成本方面減少了浪費(fèi)。例如，當(dāng)將第3層36的數(shù)據(jù)用于進(jìn)行圖像顯示時(shí)，由于只使用數(shù)據(jù)的一小部分給出顯示區(qū)，所以成本節(jié)省效果特別好。其結(jié)果是，通?？梢圆灰蕾囉陲@示的分辨率地以相等成本使處理繼續(xù)下去，并且可以實(shí)現(xiàn)流暢的運(yùn)動(dòng)畫面顯示。
[0167]進(jìn)一步，當(dāng)在使用分層數(shù)據(jù)顯示運(yùn)動(dòng)畫面期間，要依照視點(diǎn)移動(dòng)請(qǐng)求切換分層時(shí)，需要針對(duì)直到那時(shí)還不是解碼目標(biāo)的切換之后的分層馬上獲取下一個(gè)時(shí)刻的數(shù)據(jù)。由于本實(shí)施例中的壓縮數(shù)據(jù)對(duì)于像每四個(gè)幀那樣的每預(yù)定個(gè)幀是相互獨(dú)立的，所以它們?cè)谘刂鴷r(shí)間方向的可隨機(jī)訪問(wèn)性方面也是出眾的，這樣的分層切換可以無(wú)縫地進(jìn)行。
[0168]按照上述的本實(shí)施例，為預(yù)定個(gè)幀收集將構(gòu)成運(yùn)動(dòng)畫面的幀劃分成預(yù)定尺寸形成的貼片圖像，以形成貼片圖像序列。進(jìn)一步，以通過(guò)空間劃分貼片圖像序列獲得的數(shù)據(jù)塊為單位生成壓縮數(shù)據(jù)。這使得可以在裝載處理和圖像顯示時(shí)的解碼處理中，沿著空間方向和時(shí)間方向兩者隨機(jī)訪問(wèn)壓縮數(shù)據(jù)。其結(jié)果是，降低了裝載處理和解碼處理的成本，此外，由于省去了將圖像部署在存儲(chǔ)器中，所以也降低了存儲(chǔ)成本。
[0169]在傳統(tǒng)運(yùn)動(dòng)畫面壓縮技術(shù)中，當(dāng)顯示將運(yùn)動(dòng)畫面映射成視頻紋理的圖像時(shí)，即使紋理區(qū)非常小或由于用戶的操作或游戲的進(jìn)行位移到視角之外，為了準(zhǔn)備下一次顯示，也需要繼續(xù)解碼不顯示的運(yùn)動(dòng)畫面。在本實(shí)施例中，由于可以只處理與實(shí)際顯示相對(duì)應(yīng)的數(shù)據(jù)，所以可以顯著提高處理效率。于是，在希望將運(yùn)動(dòng)畫面合成成像體育館的廣告牌、顯示、天空或遠(yuǎn)處的風(fēng)景那樣游戲或視頻的背景的情況下，本實(shí)施例特別有效。
[0170]進(jìn)一步，不僅可以將運(yùn)動(dòng)畫面而且可以將像其間存在冗余那樣的圖像序列用作壓縮目標(biāo)。例如，在使用攝像機(jī)陣列攝取的數(shù)據(jù)(光場(chǎng)數(shù)據(jù))中，可以預(yù)計(jì)在攝像機(jī)的相鄰幾個(gè)的攝取圖像之間存在冗余。因此，可以預(yù)料能夠有效壓縮將多個(gè)攝取圖像布置在時(shí)間軸上的運(yùn)動(dòng)畫面。進(jìn)一步，本實(shí)施例也可應(yīng)用于響應(yīng)觀看圖像的角度改變要顯示的紋理圖像的技術(shù)(視點(diǎn)相關(guān)統(tǒng)計(jì)量)。換句話說(shuō)，將可能顯示的圖像壓縮成布置在時(shí)間軸上的運(yùn)動(dòng)畫面，并在渲染時(shí)，隨機(jī)訪問(wèn)和顯示任意一個(gè)圖像。
[0171]進(jìn)一步，對(duì)于縮小貼片圖像序列獲得的參考圖像和代表通過(guò)解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與原始貼片圖像之間的差值的差值圖像，分開壓縮每個(gè)貼片圖像序列。在縮小尺寸或減少幀數(shù)，沿著空間方向和時(shí)間方向確認(rèn)其冗余之后，將每個(gè)圖像劃分成量化單元，然后通過(guò)用調(diào)色板和索引表示每個(gè)像素值加以量化。
[0172]盡管調(diào)色板和索引的概念由S3TC的壓縮方法引入，但在本實(shí)施例中，調(diào)色板的兩個(gè)值保存亮度Y、色差Cb和色差Cr的任何一個(gè)的八個(gè)位，因此，畫面質(zhì)量較不容易變差。進(jìn)一步，由于對(duì)Y圖像序列和CbCr圖像序列分開進(jìn)行量化，所以與量化RGB的三維參數(shù)的那些相比，參數(shù)的維數(shù)少，量化誤差量也小。進(jìn)一步，通過(guò)在形成編碼單元時(shí)改變空間劃分?jǐn)?shù)和時(shí)間劃分?jǐn)?shù)的組合，所以可以靈活地提供適合沿著空間方向的冗余和沿著時(shí)間方向的冗余的數(shù)據(jù)結(jié)構(gòu)。
[0173]進(jìn)一步，由于差值圖像的像素值的范圍是有限的，所以如果可以認(rèn)為像素值是0，則將數(shù)據(jù)塊處理成NULL塊，以便壓縮數(shù)據(jù)由多個(gè)數(shù)據(jù)塊共享。進(jìn)一步，與使用沿著空間方向和時(shí)間方向的冗余的壓縮和形成量化單元的劃分模式有關(guān)的信息通過(guò)Y圖像的調(diào)色板保存的數(shù)值的幅度的比較來(lái)表示。據(jù)此，在響應(yīng)實(shí)際圖像保持畫面質(zhì)量的同時(shí)，可以盡可能大的提高壓縮率。進(jìn)一步，在圖像顯示時(shí)，可以與一般紋理映射的處理類似地進(jìn)行渲染處理，因此，可以預(yù)計(jì)高吞吐量。其結(jié)果是，可以在抑制算術(shù)運(yùn)算成本和存儲(chǔ)成本的同時(shí)顯示高清晰度運(yùn)動(dòng)畫面。
[0174]上面結(jié)合其實(shí)施例對(duì)本發(fā)明作了描述，上述的實(shí)施例是示范性的，本領(lǐng)域的普通技術(shù)人員可以識(shí)別到，可以對(duì)該實(shí)施例的部件和處理過(guò)程的組合作出各種修改，并且這樣的修改仍然在本發(fā)明的范圍之內(nèi)。
[0175]例如，在本實(shí)施例中，生成和壓縮用預(yù)定放大率縮小原始圖像獲得的參考圖像，然后使其包括在最終壓縮數(shù)據(jù)中。通過(guò)按原樣使用參考圖像，可以進(jìn)行兩個(gè)級(jí)別小型映射(mipmap)圖像的渲染。進(jìn)一步，通過(guò)提高參考圖像的縮小率可以進(jìn)一步提高壓縮率。此時(shí)，可以利用一個(gè)參考圖像構(gòu)成三個(gè)或更多級(jí)別的小型映射圖像以便，例如，第一級(jí)的小型映射圖像由參考圖像構(gòu)成，第二級(jí)的小型映射圖像通過(guò)擴(kuò)大第一級(jí)的小型映射圖像，并將擴(kuò)大的小型映射圖像加入差值圖像中構(gòu)成，第三級(jí)的小型映射圖像通過(guò)進(jìn)一步擴(kuò)大第一級(jí)的參考圖像，并將進(jìn)一步擴(kuò)大的參考圖像加入差值圖像中構(gòu)成，依此類推。
[0176]在這種情況下，可以形成壓縮單元，以便可以像第一級(jí)的參考圖像、第二級(jí)的差值圖像和第三級(jí)的差值圖像那樣，相互獨(dú)立地管理參考圖像和差值圖像。進(jìn)一步，可以間接利用第一級(jí)的參考圖像，以便將第二級(jí)的圖像用作第三級(jí)的參考圖像。由此，可以在可隨機(jī)訪問(wèn)狀態(tài)下以及不增大數(shù)據(jù)尺寸地實(shí)現(xiàn)引入小型映像的圖像渲染技術(shù)。
[0177]標(biāo)號(hào)列表
[0178]10圖像處理裝置；12顯示裝置；20輸入裝置；44顯示處理部分；50硬盤驅(qū)動(dòng)器；60主存儲(chǔ)器；100控制部分；120貼片圖像序列生成部分；122參考圖像壓縮部分；124差值圖像生成部分；126差值圖像壓縮部分；128壓縮數(shù)據(jù)生成部分；130運(yùn)動(dòng)畫面數(shù)據(jù)存儲(chǔ)部分；132劃分模式存儲(chǔ)部分；134壓縮數(shù)據(jù)存儲(chǔ)部分；502輸入信息獲取部分；504信息處理部分；506裝載部分；508顯示圖像處理部分；510數(shù)據(jù)讀出部分；512解碼部分；514渲染部分
[0179]工業(yè)可應(yīng)用性
[0180]如上所述，本發(fā)明可以用于像計(jì)算機(jī)、圖像處理裝置、圖像顯示裝置和游戲機(jī)那樣的信息處理裝置。
【權(quán)利要求】
1.一種運(yùn)動(dòng)畫面壓縮裝置，包含: 貼片圖像序列生成部分，配置成生成通過(guò)按圖像平面劃分構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列構(gòu)成的貼片圖像序列； 參考圖像壓縮部分，配置成壓縮該貼片圖像序列以生成參考圖像的壓縮數(shù)據(jù)； 差值圖像生成部分，配置成生成由差值圖像構(gòu)成的差值圖像序列，該差值圖像代表構(gòu)成貼片圖像序列的貼片圖像、與通過(guò)解碼該參考圖像壓縮部分生成的參考圖像的壓縮數(shù)據(jù)獲得和與貼片圖像相對(duì)應(yīng)的圖像之間的差值； 差值圖像壓縮部分，配置成以通過(guò)按圖像平面和時(shí)間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮差值圖像序列，以便生成差值圖像的壓縮數(shù)據(jù)；以及 壓縮數(shù)據(jù)生成部分，配置成以預(yù)定個(gè)幀的貼片圖像為單位生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)，并將該運(yùn)動(dòng)畫面壓縮數(shù)據(jù)輸出到存儲(chǔ)裝置。
2.按照權(quán)利要求1所述的運(yùn)動(dòng)畫面壓縮裝置， 其中該參考圖像壓縮部分以通過(guò)按圖像平面和時(shí)間軸劃分參考圖像獲得的數(shù)據(jù)塊為單位壓縮參考圖像； 當(dāng)在壓縮處理中通過(guò)按預(yù)定放大率縮小一次然后放大包括在數(shù)據(jù)塊中的圖像獲得的圖像、與原始圖像之間的像素值的差值的總和等于或低于預(yù)定閾值時(shí)，該參考圖像壓縮部分和該差值圖像壓縮部分按相關(guān)放大率縮小包括在數(shù)據(jù)塊中的圖像；以及 該壓縮數(shù)據(jù)生成部分將使貼片圖像中的每個(gè)數(shù)據(jù)塊的位置和與該位置相對(duì)應(yīng)的參考圖像和差值圖像的壓縮數(shù)據(jù)相互聯(lián)系的指針信息包括到運(yùn)動(dòng)畫面壓縮數(shù)據(jù)中。
3.按照權(quán)利要求2所述的運(yùn)動(dòng)畫面壓縮裝置， 其中當(dāng)在壓縮處理中通過(guò)每預(yù)定個(gè)地對(duì)包括在數(shù)據(jù)塊中的圖像序列求平均獲得的圖像與原始圖像之間的像素值的差值的總和等于或低于預(yù)定閾值時(shí)，該參考圖像壓縮部分和該差值圖像壓縮部分用平均圖像取代原始圖像以減少圖像的數(shù)量。
4.按照權(quán)利要求1到3的任何一項(xiàng)所述的運(yùn)動(dòng)畫面壓縮裝置， 其中當(dāng)構(gòu)成每個(gè)數(shù)據(jù)塊的像素值的絕對(duì)值等于或低于預(yù)定閾值時(shí)，該差值圖像壓縮部分確定該數(shù)據(jù)塊的所有像素值以便變成零；以及 該壓縮數(shù)據(jù)生成部分將數(shù)據(jù)塊和壓縮數(shù)據(jù)相互聯(lián)系，以便像素值是零的壓縮數(shù)據(jù)被運(yùn)動(dòng)畫面壓縮數(shù)據(jù)中的多個(gè)數(shù)據(jù)塊共享。
5.按照權(quán)利要求1到4的任何一項(xiàng)所述的運(yùn)動(dòng)畫面壓縮裝置， 其中該參考圖像壓縮部分為通過(guò)按圖像平面和時(shí)間軸劃分參考圖像獲得的參考圖像的數(shù)據(jù)塊的每預(yù)定個(gè)像素，生成保存像素值當(dāng)中作為代表性值的兩個(gè)值的調(diào)色板、和取代像素值保存指定通過(guò)線性內(nèi)插代表性值確定的多個(gè)中間值和代表性值之一的信息的索引，以便量化像素值。
6.按照權(quán)利要求1到5的任何一項(xiàng)所述的運(yùn)動(dòng)畫面壓縮裝置， 其中該差值圖像壓縮部分為差值圖像的數(shù)據(jù)塊的每預(yù)定個(gè)像素生成保存將像素的像素值當(dāng)中作為代表性值的四個(gè)值乘以1/N(N是自然數(shù))獲得的四個(gè)值的調(diào)色板、和取代像素值保存指定調(diào)色板保存的四個(gè)值之一的信息的索引，以便量化像素值。
7.按照權(quán)利要求6所述的運(yùn)動(dòng)畫面壓縮裝置， 其中該差值圖像壓縮部分通過(guò)調(diào)色板保存的四個(gè)值當(dāng)中存儲(chǔ)在前半地址中的兩個(gè)值之間的幅度關(guān)系和存儲(chǔ)次序、和存儲(chǔ)在后半地址中的兩個(gè)值之間的幅度關(guān)系和存儲(chǔ)次序，表示代表要乘以調(diào)色板保存的值以便恢復(fù)代表性值的放大率N的標(biāo)識(shí)號(hào)。
8.按照權(quán)利要求5到7的任何一項(xiàng)所述的運(yùn)動(dòng)畫面壓縮裝置， 其中該參考圖像壓縮部分和該差值圖像壓縮部分通過(guò)相應(yīng)調(diào)色板的存儲(chǔ)在前半地址中的值和存儲(chǔ)在后半地址中的值之間的幅度關(guān)系，表示指定該索引與原始數(shù)據(jù)塊的像素的位置之間的對(duì)應(yīng)關(guān)系的標(biāo)識(shí)號(hào)。
9.按照權(quán)利要求5到8的任何一項(xiàng)所述的運(yùn)動(dòng)畫面壓縮裝置， 其中當(dāng)該差值圖像生成部分在解碼參考圖像的壓縮數(shù)據(jù)的處理中放大圖像時(shí)，該差值圖像生成部分以等于或小于作為生成調(diào)色板和索引時(shí)的單位的由預(yù)定個(gè)像素構(gòu)成的圖像中的像素的陣列的單位進(jìn)行內(nèi)插和外推以便生成新像素。
10.一種圖像處理裝置，包含: 信息處理部分，配置成相繼計(jì)算構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列當(dāng)中要顯示的幀和該幀中要顯示的區(qū)域； 裝載部分，配置成根據(jù)該信息處理部分計(jì)算的信息，以貼片圖像為單位將運(yùn)動(dòng)畫面壓縮數(shù)據(jù)從存儲(chǔ)運(yùn)動(dòng)畫面壓縮數(shù)據(jù)的存儲(chǔ)裝置裝載到存儲(chǔ)器中，該運(yùn)動(dòng)畫面壓縮數(shù)據(jù)包括通過(guò)壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數(shù)據(jù)、和代表解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應(yīng)貼片圖像之間的差值的差值圖像的壓縮數(shù)據(jù)； 顯示圖像處理部分，配置成從裝載在存儲(chǔ)器中的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)當(dāng)中讀出由該信息處理部分計(jì)算和包括要顯示的幀當(dāng)中要顯示的區(qū)域的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)，并解碼和相加參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便依次渲染要顯示的區(qū)域的圖像；以及 顯示部分，配置成依次顯示渲染的圖像。
11.按照權(quán)利要求10所述的圖像處理裝置， 其中參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)是以通過(guò)按圖像平面和時(shí)間軸劃分壓縮數(shù)據(jù)獲得的數(shù)據(jù)塊為單位，以可變長(zhǎng)度壓縮的數(shù)據(jù)；以及 該顯示圖像處理部分參考包括在運(yùn)動(dòng)畫面壓縮數(shù)據(jù)中、和將貼片圖像中的每個(gè)數(shù)據(jù)塊的位置和與該位置相對(duì)應(yīng)的參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)相互聯(lián)系的指針信息，以便指定與要顯示的區(qū)域相對(duì)應(yīng)的數(shù)據(jù)塊的參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)。
12.按照權(quán)利要求10或11所述的圖像處理裝置， 其中對(duì)于每預(yù)定個(gè)像素，差值圖像的壓縮數(shù)據(jù)由調(diào)色板和索引構(gòu)成，該調(diào)色板保存將像素的像素值當(dāng)中作為代表性值的四個(gè)值乘以1/N(N是自然數(shù))獲得的四個(gè)值，以及該索引取代像素值保存指定調(diào)色板保存的四個(gè)值之一的信息；以及 該顯示圖像處理部分從調(diào)色板保存的四個(gè)值當(dāng)中存儲(chǔ)在前半地址中的兩個(gè)值之間的幅度關(guān)系和存儲(chǔ)次序、以及存儲(chǔ)在后半地址中的兩個(gè)值之間的幅度關(guān)系和存儲(chǔ)次序中指定代表要乘以調(diào)色板保存的值的放大率N的標(biāo)識(shí)號(hào)以便恢復(fù)代表性值。
13.按照權(quán)利要求12所述的圖像處理裝置， 其中該顯示圖像處理部分從相應(yīng)調(diào)色板的存儲(chǔ)在前半地址中的值和存儲(chǔ)在后半地址中的值之間的幅度關(guān)系中指定差值圖像的壓縮數(shù)據(jù)中指定該索引與原始像素的位置之間的對(duì)應(yīng)關(guān)系的標(biāo)識(shí)號(hào)，并根據(jù)指定的標(biāo)識(shí)號(hào)指定構(gòu)成要顯示的區(qū)域的像素的索引。
14.按照權(quán)利要求10到13的任何一項(xiàng)所述的圖像處理裝置， 其中參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)是每預(yù)定個(gè)像素地量化像素值獲得的數(shù)據(jù)；以及 當(dāng)在解碼參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的處理中要放大圖像時(shí)，該顯示圖像處理部分以等于或小于作為進(jìn)行量化時(shí)的單位的由預(yù)定個(gè)像素構(gòu)成的圖像中的像素的陣列的單位進(jìn)行內(nèi)插和外推以便生成新像素。
15.—種運(yùn)動(dòng)畫面壓縮方法,包含: 由運(yùn)動(dòng)畫面壓縮裝置執(zhí)行: 生成通過(guò)按圖像平面劃分存儲(chǔ)在存儲(chǔ)裝置中和構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列構(gòu)成的貼片圖像序列的步驟； 壓縮該貼片圖像序列以生成參考圖像的壓縮數(shù)據(jù)的步驟； 生成由差值圖像構(gòu)成的差值圖像序列的步驟，該差值圖像代表構(gòu)成貼片圖像序列的貼片圖像與通過(guò)解碼所生成參考圖像的壓縮數(shù)據(jù)獲得和與貼片圖像相對(duì)應(yīng)的圖像之間的差值； 以通過(guò)按圖像平面和時(shí)間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮差值圖像序列，以便生成差值圖像的壓縮數(shù)據(jù)的步驟；以及 以預(yù)定個(gè)幀的貼片圖像為單位生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)，并將該運(yùn)動(dòng)畫面壓縮數(shù)據(jù)輸出到存儲(chǔ)裝置的步驟。
16.—種圖像處理方法,包含: 由圖像處理裝置執(zhí)行: 相繼計(jì)算構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列當(dāng)中要顯示的幀和該幀中要顯示的區(qū)域的步驟； 根據(jù)該計(jì)算步驟計(jì)算的信息，以貼片圖像為單位將運(yùn)動(dòng)畫面壓縮數(shù)據(jù)從存儲(chǔ)運(yùn)動(dòng)畫面壓縮數(shù)據(jù)的存儲(chǔ)裝置裝載到存儲(chǔ)器中的步驟，該運(yùn)動(dòng)畫面壓縮數(shù)據(jù)包括通過(guò)壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數(shù)據(jù)、和代表解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應(yīng)貼片圖像之間的差值的差值圖像的壓縮數(shù)據(jù)； 從裝載在存儲(chǔ)器中的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)當(dāng)中讀出通過(guò)計(jì)算步驟計(jì)算和包括要顯示的幀當(dāng)中要顯示的區(qū)域的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)，并解碼和相加參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便依次渲染要顯示的區(qū)域的圖像的步驟；以及依次顯示渲染圖像的步驟。
17.一種使計(jì)算機(jī)實(shí)現(xiàn)如下功能的計(jì)算機(jī)程序: 生成通過(guò)按圖像平面劃分構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列構(gòu)成的貼片圖像序列的功能； 壓縮該貼片圖像序列以生成參考圖像的壓縮數(shù)據(jù)的功能； 生成由差值圖像構(gòu)成的差值圖像序列的功能，該差值圖像代表構(gòu)成貼片圖像序列的貼片圖像與通過(guò)解碼該參考圖像壓縮部分生成的參考圖像的壓縮數(shù)據(jù)獲得和與貼片圖像相對(duì)應(yīng)的圖像之間的差值； 以通過(guò)按圖像平面和時(shí)間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮差值圖像序列，以便生成差值圖像的壓縮數(shù)據(jù)的功能；以及 以預(yù)定個(gè)幀的貼片圖像為單位生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)，并將該運(yùn)動(dòng)畫面壓縮數(shù)據(jù)輸出到存儲(chǔ)裝置的功能。
18.一種使計(jì)算機(jī)實(shí)現(xiàn)如下功能的計(jì)算機(jī)程序: 相繼計(jì)算構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列當(dāng)中要顯示的幀和該幀中要顯示的區(qū)域的功倉(cāng)泛; 根據(jù)該信息處理部分計(jì)算的信息，以貼片圖像為單位將運(yùn)動(dòng)畫面壓縮數(shù)據(jù)從存儲(chǔ)運(yùn)動(dòng)畫面壓縮數(shù)據(jù)的存儲(chǔ)裝置裝載到存儲(chǔ)器中的功能，該運(yùn)動(dòng)畫面壓縮數(shù)據(jù)包括通過(guò)壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數(shù)據(jù)、和代表解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應(yīng)貼片圖像之間的差值的差值圖像的壓縮數(shù)據(jù)； 從裝載在存儲(chǔ)器中的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)當(dāng)中讀出由該信息處理部分計(jì)算和包括要顯示的幀當(dāng)中要顯示的區(qū)域的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)，并解碼和相加參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便依次渲染要顯示的區(qū)域的圖像的功能；以及依次顯示渲染的圖像的功能。
19.一種記錄計(jì)算機(jī)程序的記錄介質(zhì),該計(jì)算機(jī)程序使計(jì)算機(jī)實(shí)現(xiàn)如下功能: 生成通過(guò)按圖像平面劃分構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列構(gòu)成的貼片圖像序列的功能； 壓縮該貼片圖像序列以生成參考圖像的壓縮數(shù)據(jù)的功能； 生成由差值圖像構(gòu)成的差值圖像序列的功能，該差值圖像代表構(gòu)成貼片圖像序列的貼片圖像與通過(guò)解碼該參考圖像壓縮部分生成的參考圖像的壓縮數(shù)據(jù)獲得和與貼片圖像相對(duì)應(yīng)的圖像之間的差值； 以通過(guò)按圖像平面和時(shí)間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮差值圖像序列，以便生成差值圖像的壓縮數(shù)據(jù)的功能；以及 以預(yù)定個(gè)幀的貼片圖像為單位生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)，并將該運(yùn)動(dòng)畫面壓縮數(shù)據(jù)輸出到存儲(chǔ)裝置的功能。
20.一種記錄計(jì)算機(jī)程序的記錄介質(zhì),該計(jì)算機(jī)程序使計(jì)算機(jī)實(shí)現(xiàn)如下功能: 相繼計(jì)算構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列當(dāng)中要顯示的幀和該幀中要顯示的區(qū)域的功倉(cāng)泛; 根據(jù)該信息處理部分計(jì)算的信息，以貼片圖像為單位將運(yùn)動(dòng)畫面壓縮數(shù)據(jù)從存儲(chǔ)運(yùn)動(dòng)畫面壓縮數(shù)據(jù)的存儲(chǔ)裝置裝載到存儲(chǔ)器中的功能，該運(yùn)動(dòng)畫面壓縮數(shù)據(jù)包括通過(guò)壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數(shù)據(jù)、和代表解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應(yīng)貼片圖像之間的差值的差值圖像的壓縮數(shù)據(jù)； 從裝載在存儲(chǔ)器中的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)當(dāng)中讀出由該信息處理部分計(jì)算和包括要顯示的幀當(dāng)中要顯示的區(qū)域的運(yùn)動(dòng)畫面壓縮數(shù)據(jù)，并解碼和相加參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便依次渲染要顯示的區(qū)域的圖像的功能；以及依次顯示渲染的圖像的功能。
21.—種運(yùn)動(dòng)畫面壓縮文件的數(shù)據(jù)結(jié)構(gòu)，其中以預(yù)定個(gè)幀的貼片圖像為單位相互聯(lián)系通過(guò)以按圖像平面和時(shí)間軸劃分貼片圖像序列獲得的數(shù)據(jù)塊為單位壓縮貼片圖像獲得的參考圖像的壓縮數(shù)據(jù)、和通過(guò)以按圖像平面和時(shí)間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮由差值圖像構(gòu)成的差值圖像序列獲得的差值圖像的壓縮數(shù)據(jù)，該貼片圖像構(gòu)成通過(guò)按圖像平面劃分構(gòu)成運(yùn)動(dòng)畫面數(shù)據(jù)的幀序列獲得的貼片圖像序列，該差值圖像代表通過(guò)解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應(yīng)貼片圖像之間的差值；以及 在圖像處理裝置中，解碼和相加根據(jù)要顯示的幀和該幀中要顯示的區(qū)域的信息以貼片圖像為單位裝載和與要顯示的幀當(dāng)中要顯示的區(qū)域相對(duì)應(yīng)的數(shù)據(jù)塊的參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便用于依次渲染要顯示的區(qū)域的圖像。
22.一種記錄具有按照權(quán)利要求21所述的數(shù)據(jù)結(jié)構(gòu)的運(yùn)動(dòng)畫面壓縮文件的記錄介質(zhì)。
【文檔編號(hào)】H04N19/124GK104137548SQ201280070242
【公開日】2014年11月5日 申請(qǐng)日期:2012年10月24日 優(yōu)先權(quán)日:2011年12月27日
【發(fā)明者】稻田徹悟, 大場(chǎng)章男, 勢(shì)川博之 申請(qǐng)人:索尼電腦娛樂(lè)公司