專利名稱：圖像處理顯示裝置和圖像處理顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理顯示裝置和圖像處理顯示方法，尤其是涉及實(shí)時(shí)地對(duì)拍攝到的數(shù)字圖像進(jìn)行加工、顯示的圖像處理顯示裝置和圖像處理顯示方法。
背景技術(shù)：
通常，在數(shù)碼相機(jī)中，在液晶顯示器等的顯示裝置上實(shí)時(shí)地顯示拍攝到的圖像。由此，顯示裝置發(fā)揮取景器的功能。另外，在數(shù)碼相機(jī)中，有些具有對(duì)輸入圖像實(shí)施某種加工處理后輸出的功能。作為對(duì)輸入圖像進(jìn)行的加工處理，例如有將圖像旋轉(zhuǎn)后顯示、或?qū)D像左右反轉(zhuǎn)后顯示的處理。
在實(shí)時(shí)地對(duì)拍攝到的圖像進(jìn)行加工的情況下，將圖像暫時(shí)存儲(chǔ)在存儲(chǔ)器中，在該存儲(chǔ)器上實(shí)施圖像的變換處理。之后，在顯示裝置上顯示加工后的圖像，由此來(lái)顯示加工后的圖像。
但是，近年來(lái)，對(duì)數(shù)碼相機(jī)要求的圖像質(zhì)量提高，由數(shù)碼相機(jī)拍攝的圖像的像素?cái)?shù)進(jìn)一步增加。并且，即使在作為便攜電話機(jī)等電子設(shè)備的附加功能而搭載數(shù)碼相機(jī)的情況下，也在推進(jìn)高分辯率化。例如，即使是作為便攜電話機(jī)的附屬功能而搭載的數(shù)碼相機(jī)，多數(shù)也具有大于等于100萬(wàn)像素的像素?cái)?shù)。但是，若圖像的像素?cái)?shù)增加，則加工該圖像所需的存儲(chǔ)器容量也增加，導(dǎo)致裝置整體的成本上升。
例如，還考慮將圖像壓縮后存儲(chǔ)在存儲(chǔ)器中、在將該壓縮數(shù)據(jù)全部解碼后對(duì)圖像整體實(shí)施處理的方法。但是，該方法中，不僅需要大容量的存儲(chǔ)器，處理的等待時(shí)間(latency)(從照相機(jī)捕捉圖像至顯示該圖像所花費(fèi)的延遲時(shí)間)也增大。而這對(duì)于上述取景動(dòng)作而言非常不恰當(dāng)。
這樣，在復(fù)原原始圖像之后加工該圖像時(shí)，需要保存復(fù)原后的圖像的存儲(chǔ)器。因此，期望在對(duì)壓縮數(shù)據(jù)進(jìn)行解壓的同時(shí)，不保存復(fù)原后的圖像而實(shí)施加工處理的功能。此時(shí)，必須能從任意的塊開(kāi)始對(duì)由塊等的單位圖像構(gòu)成的壓縮數(shù)據(jù)進(jìn)行解壓。
但是，壓縮數(shù)據(jù)中具有對(duì)每個(gè)塊進(jìn)行編碼得到的編碼成分，并且有時(shí)編碼成分中包含關(guān)于與其它塊的差分的信息。例如，在JPEG(JointPhotographic Coding Experts Group，聯(lián)合圖像編碼專家組)方式中，雖然對(duì)每個(gè)塊進(jìn)行編碼，但編碼后的數(shù)據(jù)的一部分變?yōu)镈C(直流)成分。將該DC成分編碼為與其它塊的差分值。這樣，在具有被編碼為差分值的值的情況下，即使僅解碼某個(gè)特定區(qū)域的數(shù)據(jù)時(shí)，如果不從開(kāi)始第一塊的圖像數(shù)據(jù)開(kāi)始按順序解碼，也得不到該信息。
因此，考慮可從壓縮數(shù)據(jù)的任意塊開(kāi)始復(fù)原的技術(shù)。具體而言，為了從中途開(kāi)始復(fù)原被壓縮的圖像文件，預(yù)先確定“起點(diǎn)塊”。起點(diǎn)塊是在加工后(例如旋轉(zhuǎn)90度后)排在上端的行上的塊。之后，在復(fù)原壓縮后的圖像文件的同時(shí)，存儲(chǔ)起點(diǎn)塊的文件指針與DC成分(編碼前的值)。之后，從壓縮數(shù)據(jù)的起點(diǎn)塊開(kāi)始，執(zhí)行圖像的復(fù)原。關(guān)于起點(diǎn)塊，由于已存儲(chǔ)DC成分，所以不采用與其它塊的差分即可復(fù)原(例如參照專利文獻(xiàn)1)。
專利文獻(xiàn)1日本特開(kāi)2001-86318號(hào)公報(bào)但是，在專利文獻(xiàn)1公開(kāi)的技術(shù)中，為了存儲(chǔ)起點(diǎn)塊的DC成分，必須暫時(shí)將壓縮數(shù)據(jù)復(fù)原。因此，可減少所需的存儲(chǔ)器容量，而另一方面，卻會(huì)導(dǎo)致處理等待時(shí)間的增大。因此，不適合于實(shí)時(shí)處理。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述問(wèn)題而提出的，其目的在于提供能夠以少的存儲(chǔ)器容量來(lái)實(shí)現(xiàn)對(duì)拍攝的圖像的實(shí)時(shí)加工處理的圖像處理顯示裝置和圖像處理顯示方法。
在本發(fā)明中，為了解決上述問(wèn)題，提供圖1所示的圖像處理顯示裝置。本發(fā)明的圖像處理顯示裝置用于實(shí)時(shí)地執(zhí)行圖像的壓縮、解壓和加工。圖1所示的各要素具有如下功能。
壓縮數(shù)據(jù)緩存1是用于存儲(chǔ)壓縮后的數(shù)據(jù)的緩存。參照?qǐng)D像緩存2是用于存儲(chǔ)在對(duì)數(shù)據(jù)進(jìn)行解壓時(shí)所參照的信息的緩存。圖像壓縮裝置3按各個(gè)單位圖像91、92、……來(lái)壓縮輸入的原始圖像90，對(duì)于壓縮后的一個(gè)以上的單位圖像92、……，將預(yù)定的基準(zhǔn)數(shù)據(jù)變換為對(duì)應(yīng)于與其它單位圖像內(nèi)的預(yù)定數(shù)據(jù)的比較結(jié)果的值，由此生成原圖像90的壓縮數(shù)據(jù)90a，將壓縮數(shù)據(jù)90a存儲(chǔ)在壓縮數(shù)據(jù)緩存1中。參照信息生成裝置4從圖像壓縮裝置3取得執(zhí)行了基準(zhǔn)數(shù)據(jù)變換的單位圖像92、……各自的變換前的基準(zhǔn)數(shù)據(jù)，將取得的基準(zhǔn)數(shù)據(jù)與對(duì)應(yīng)的單位圖像92、……關(guān)聯(lián)起來(lái)存儲(chǔ)在參照?qǐng)D像緩存2中。圖像解壓裝置5按照與預(yù)先指定的圖像處理內(nèi)容對(duì)應(yīng)的順序，取得存儲(chǔ)在壓縮數(shù)據(jù)緩存1中的已壓縮的多個(gè)單位圖像91、92a、……，同時(shí)，從參照?qǐng)D像緩存2中取得與取得的單位圖像對(duì)應(yīng)的變換前的基準(zhǔn)數(shù)據(jù)，并使用取得的基準(zhǔn)數(shù)據(jù)來(lái)對(duì)所取得的已壓縮的單位圖像91、92a、……進(jìn)行解壓。圖像處理裝置6對(duì)由圖像解壓裝置5解壓后的單位圖像實(shí)施與預(yù)先指定的圖像處理內(nèi)容對(duì)應(yīng)的加工后輸出。
根據(jù)這種圖像處理顯示裝置，當(dāng)輸入原始圖像90時(shí)，由圖像壓縮裝置3對(duì)各個(gè)單位圖像91、92、……進(jìn)行壓縮。另外，利用圖像壓縮裝置3，對(duì)于壓縮后的一個(gè)以上的單位圖像92、……，將預(yù)定的基準(zhǔn)數(shù)據(jù)變換為對(duì)應(yīng)于與其它單位圖像內(nèi)的預(yù)定數(shù)據(jù)的比較結(jié)果的值，由此生成原始圖像90的壓縮數(shù)據(jù)90a。將壓縮數(shù)據(jù)90a存儲(chǔ)在壓縮數(shù)據(jù)緩存1中。通過(guò)參照信息生成裝置4將執(zhí)行了基準(zhǔn)數(shù)據(jù)的變換的單位圖像92、……各自的基準(zhǔn)數(shù)據(jù)與對(duì)應(yīng)的單位圖像92、……關(guān)聯(lián)起來(lái)存儲(chǔ)在參照?qǐng)D像緩存2中。這樣，通過(guò)圖像解壓裝置5，按照與預(yù)先指定的圖像處理內(nèi)容對(duì)應(yīng)的順序，取得存儲(chǔ)在壓縮數(shù)據(jù)緩存1中的已壓縮的多個(gè)單位圖像91、92a、……。使用對(duì)應(yīng)的變換前的基準(zhǔn)數(shù)據(jù)來(lái)對(duì)所取得的單位圖像進(jìn)行解壓。之后，通過(guò)圖像處理裝置6，對(duì)由圖像解壓裝置5解壓后的單位圖像，實(shí)施與預(yù)先指定的圖像處理內(nèi)容對(duì)應(yīng)的加工并輸出。
如上所述，在本發(fā)明中，在壓縮原始圖像90時(shí)，存儲(chǔ)單位圖像的變換前的基準(zhǔn)數(shù)據(jù)，使用該基準(zhǔn)數(shù)據(jù)來(lái)對(duì)各單位圖像進(jìn)行解壓，所以可按任意的順序來(lái)對(duì)單位圖像進(jìn)行解壓。結(jié)果，在根據(jù)預(yù)先指定的圖像處理內(nèi)容進(jìn)行加工時(shí)，也按照與圖像處理內(nèi)容相應(yīng)的順序來(lái)對(duì)單位圖像進(jìn)行解壓，從而不設(shè)置用于存儲(chǔ)整個(gè)圖像的存儲(chǔ)器等即可實(shí)時(shí)地加工圖像。
通過(guò)結(jié)合表示作為本發(fā)明的示例的優(yōu)選實(shí)施方式的附圖進(jìn)行的說(shuō)明，本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)會(huì)變得顯而易見(jiàn)。


圖1是應(yīng)用于實(shí)施方式的發(fā)明的示意圖。
圖2是表示圖像處理顯示裝置的內(nèi)部結(jié)構(gòu)的框圖。
圖3是表示圖像壓縮裝置與參照信息生成裝置的內(nèi)部結(jié)構(gòu)的圖。
圖4是表示構(gòu)成原始圖像的塊的圖。
圖5是表示構(gòu)成原始圖像的成分的圖。
圖6是表示DCT處理后的圖像的圖。
圖7是表示壓縮數(shù)據(jù)緩存的數(shù)據(jù)結(jié)構(gòu)例的圖。
圖8是表示參照?qǐng)D像緩存的數(shù)據(jù)結(jié)構(gòu)例的圖。
圖9是表示圖像解壓裝置與圖像處理裝置的內(nèi)部結(jié)構(gòu)的圖。
圖10是說(shuō)明旋轉(zhuǎn)90度時(shí)的MCU計(jì)數(shù)器的輸出順序的圖。
圖11是表示MCU圖像的旋轉(zhuǎn)處理的圖。
圖12是第2實(shí)施方式的圖像處理顯示裝置的內(nèi)部框圖。
圖13是第3實(shí)施方式的圖像處理顯示裝置的內(nèi)部框圖。
具體實(shí)施例方式
下面，參照附圖來(lái)說(shuō)明本發(fā)明的實(shí)施方式。
首先，說(shuō)明應(yīng)用于實(shí)施方式的發(fā)明的概要，之后，說(shuō)明實(shí)施方式的具體內(nèi)容。
圖1是應(yīng)用于實(shí)施方式的發(fā)明的示意圖。本發(fā)明的圖像處理顯示裝置用于實(shí)時(shí)地執(zhí)行圖像的壓縮、解壓和加工，具有壓縮數(shù)據(jù)緩存1、參照?qǐng)D像緩存2、圖像壓縮裝置3、參照信息生成裝置4、圖像解壓裝置5和圖像處理裝置6。
壓縮數(shù)據(jù)緩存1是用于存儲(chǔ)壓縮后的數(shù)據(jù)的存儲(chǔ)裝置。壓縮數(shù)據(jù)緩存1只要至少具有能存儲(chǔ)壓縮原始圖像90時(shí)的數(shù)據(jù)量的存儲(chǔ)容量即可。
參照?qǐng)D像緩存2是用于存儲(chǔ)在對(duì)數(shù)據(jù)進(jìn)行解壓時(shí)所參照的信息的存儲(chǔ)裝置。參照?qǐng)D像緩存2只要至少具有能存儲(chǔ)原始圖像90的單位圖像91、92、……中包含的基準(zhǔn)數(shù)據(jù)、和用于將該基準(zhǔn)數(shù)據(jù)與單位圖像關(guān)聯(lián)起來(lái)的信息的存儲(chǔ)容量即可?；鶞?zhǔn)數(shù)據(jù)例如是表示單位圖像內(nèi)的各像素的級(jí)別(像素值)的平均值的數(shù)據(jù)。
圖像壓縮裝置3按每個(gè)單位圖像91、92、……來(lái)壓縮所輸入的原始圖像90。并且，圖像壓縮裝置3對(duì)于壓縮后的一個(gè)以上的單位圖像92、……，將預(yù)定的基準(zhǔn)數(shù)據(jù)變換為對(duì)應(yīng)于與其它單位圖像內(nèi)的預(yù)定數(shù)據(jù)的比較結(jié)果的值，由此生成原始圖像90的壓縮數(shù)據(jù)90a。所謂單位圖像的基準(zhǔn)數(shù)據(jù)的變換處理是例如將單位圖像92的基準(zhǔn)數(shù)據(jù)置換成與其它單位圖像91的基準(zhǔn)數(shù)據(jù)之間的差分的處理。另外，也可對(duì)置換成差分的基準(zhǔn)數(shù)據(jù)進(jìn)行編碼。圖像壓縮裝置3將壓縮數(shù)據(jù)90a存儲(chǔ)在壓縮數(shù)據(jù)緩存1中。壓縮數(shù)據(jù)90a由不需要基準(zhǔn)數(shù)據(jù)變換的單位圖像91和已變換了基準(zhǔn)數(shù)據(jù)的單位圖像92a、……構(gòu)成。
參照信息生成裝置4從圖像壓縮裝置3取得執(zhí)行了基準(zhǔn)數(shù)據(jù)變換的單位圖像92、……各自的變換前的基準(zhǔn)數(shù)據(jù)，將取得的基準(zhǔn)數(shù)據(jù)與對(duì)應(yīng)的單位圖像92、……關(guān)聯(lián)起來(lái)，存儲(chǔ)在參照?qǐng)D像緩存2中。另外，未執(zhí)行基準(zhǔn)數(shù)據(jù)變換的單位圖像91的基準(zhǔn)數(shù)據(jù)也可存儲(chǔ)在參照?qǐng)D像緩存2中。若將剛壓縮后的全部單位圖像91、92、……的基準(zhǔn)數(shù)據(jù)存儲(chǔ)在參照?qǐng)D像緩存2中，則可以簡(jiǎn)化解壓時(shí)的處理過(guò)程。另外，基準(zhǔn)數(shù)據(jù)與單位圖像92a的關(guān)聯(lián)例如可使用壓縮數(shù)據(jù)緩存1內(nèi)的存儲(chǔ)單位圖像92a的區(qū)域的地址。即，只要將單位圖像92a的地址與單位圖像92a的變換前的基準(zhǔn)數(shù)據(jù)成組地存儲(chǔ)在參照?qǐng)D像緩存2中即可。
圖像解壓裝置5按照與預(yù)先指定的圖像處理內(nèi)容對(duì)應(yīng)的順序，取得存儲(chǔ)在壓縮數(shù)據(jù)緩存1中的已壓縮的多個(gè)單位圖像91、92a、……。例如，圖像解壓裝置5每當(dāng)在壓縮數(shù)據(jù)緩存1中存儲(chǔ)了1個(gè)畫面的壓縮數(shù)據(jù)90a時(shí)，立即開(kāi)始圖像解壓用的數(shù)據(jù)獲取。
另外，圖像解壓裝置5從參照?qǐng)D像緩存2中取得與所取得的單位圖像對(duì)應(yīng)的變換前的基準(zhǔn)數(shù)據(jù)。之后，圖像解壓裝置5使用所取得的基準(zhǔn)數(shù)據(jù)來(lái)對(duì)取得的已壓縮的單位圖像91、92a、……進(jìn)行解壓。另外，對(duì)于未執(zhí)行基準(zhǔn)數(shù)據(jù)變換的單位圖像91，即使不從參照?qǐng)D像緩存2中取得基準(zhǔn)數(shù)據(jù)，也可進(jìn)行解壓。另外，所謂預(yù)先指定的圖像處理內(nèi)容是例如圖像的旋轉(zhuǎn)、鏡像畫面變換、縮小圖像(縮略圖像)的生成、馬賽克圖像的生成等。
圖像處理裝置6對(duì)由圖像解壓裝置5解壓后的單位圖像，實(shí)施與預(yù)先指定的圖像處理內(nèi)容相應(yīng)的加工后輸出。
根據(jù)這種圖像處理顯示裝置，當(dāng)輸入原始圖像90時(shí)，由圖像壓縮裝置3對(duì)每個(gè)單位圖像91、92、……進(jìn)行壓縮。另外，利用圖像壓縮裝置3，對(duì)于壓縮后的一個(gè)以上的單位圖像92、……，將預(yù)定的基準(zhǔn)數(shù)據(jù)變換為對(duì)應(yīng)于與其它單位圖像內(nèi)的預(yù)定數(shù)據(jù)之間的比較結(jié)果的值，由此生成原始圖像90的壓縮數(shù)據(jù)90a。將壓縮數(shù)據(jù)90a存儲(chǔ)在壓縮數(shù)據(jù)緩存1中。通過(guò)參照信息生成裝置4將執(zhí)行了基準(zhǔn)數(shù)據(jù)變換的單位圖像92、……各自的基準(zhǔn)數(shù)據(jù)與對(duì)應(yīng)的單位圖像92、……關(guān)聯(lián)起來(lái)存儲(chǔ)在參照?qǐng)D像緩存2中。這樣，圖像解壓裝置5按照與預(yù)先指定的圖像處理內(nèi)容相應(yīng)的順序，取得存儲(chǔ)在壓縮數(shù)據(jù)緩存1中的已壓縮的多個(gè)單位圖像91、92a、……。使用對(duì)應(yīng)的變換前的基準(zhǔn)數(shù)據(jù)來(lái)對(duì)所取得的單位圖像進(jìn)行解壓。之后，圖像處理裝置6對(duì)由圖像解壓裝置5解壓后的單位圖像，實(shí)施與預(yù)先指定的圖像處理內(nèi)容相應(yīng)的加工，并輸出。結(jié)果，顯示出加工后的圖像90b。
這樣，在壓縮原始圖像90時(shí)，存儲(chǔ)單位圖像的變換前的基準(zhǔn)數(shù)據(jù)，使用該基準(zhǔn)數(shù)據(jù)來(lái)對(duì)各單位圖像進(jìn)行解壓，由此可按任意的順序來(lái)對(duì)單位圖像進(jìn)行解壓。在根據(jù)預(yù)先指定的圖像處理內(nèi)容來(lái)實(shí)施加工時(shí)，也按照與圖像處理內(nèi)容相應(yīng)的順序?qū)挝粓D像進(jìn)行解壓，從而不設(shè)置用于存儲(chǔ)整個(gè)圖像的存儲(chǔ)器等即可實(shí)時(shí)地加工圖像。
因此，本發(fā)明可用于執(zhí)行JPEG壓縮、解壓的數(shù)碼相機(jī)(包括安裝了數(shù)碼相機(jī)的便攜電話機(jī)等電子設(shè)備)中。例如，在實(shí)現(xiàn)數(shù)碼相機(jī)的取景動(dòng)作中使圖像旋轉(zhuǎn)的功能的情況下，執(zhí)行“圖像傳感器→圖像數(shù)據(jù)輸入→JPEG壓縮→解壓+旋轉(zhuǎn)→旋轉(zhuǎn)后的圖像→顯示輸出裝置”等一連串的動(dòng)作。
下面，說(shuō)明JPEG壓縮、解壓。
通常，圖像數(shù)據(jù)是利用每個(gè)像素的級(jí)別(在彩色的情況下，考慮分成R(紅)、G(綠)、B(藍(lán))、或Y、Cb、Cr等每個(gè)成分)來(lái)表示的。JPEG的壓縮動(dòng)作按如下步驟進(jìn)行。
(a)將圖像數(shù)據(jù)分成由8×8像素構(gòu)成的塊。然后，把一個(gè)或多個(gè)塊作為一個(gè)MCU(Minimum Coded Unit，最小編碼單位)。MCU是保存壓縮數(shù)據(jù)時(shí)的單位數(shù)據(jù)。在以YCbCr420形式進(jìn)行壓縮的情況下，由于Cb成分與Cr成分是對(duì)于4個(gè)像素生成一個(gè)數(shù)據(jù)，所以將4個(gè)塊作為一個(gè)MCU。這里，對(duì)各個(gè)塊實(shí)施離散余弦變換(DCTDiscrete Cosine Transform)。在輸入數(shù)據(jù)的尺寸不是8的倍數(shù)的情況下，為了能構(gòu)成MCU，必要時(shí)在圖像的右邊與下邊附加像素。
(b)對(duì)得到的DCT系數(shù)進(jìn)行量化，舍棄不要的高次頻率成分的系數(shù)。
(c)Z字形地掃描量化后的數(shù)據(jù)(Z字形順序)，對(duì)值為0的數(shù)據(jù)使用游程(并排了多少個(gè)相同的值)來(lái)進(jìn)行編碼。
(d)根據(jù)哈夫曼(Huffman)編碼表，進(jìn)行熵編碼。
按以上步驟執(zhí)行圖像數(shù)據(jù)的壓縮。而解壓操作按相反順序執(zhí)行以上的(a)-(d)步驟。
另外，JPEG數(shù)據(jù)中有DC成分與AC成分。在上述(a)中，DCT變換后的成分中，(0，0)成分(圖像左上端的DCT系數(shù))為DC成分。DC成分表示整個(gè)塊的級(jí)別的平均值。將其余的63個(gè)成分稱為AC成分。對(duì)于DC成分，僅存儲(chǔ)與前一個(gè)塊的數(shù)據(jù)之間的差分信息。對(duì)于AC成分，存儲(chǔ)DCT系數(shù)本身。
如上所述可知，以由8×8像素構(gòu)成的塊為單位、針對(duì)每個(gè)成分壓縮JPEG數(shù)據(jù)，集合成各個(gè)MCU后存儲(chǔ)。為了旋轉(zhuǎn)圖像，必須改變MCU的排列方法，并且還必須改變構(gòu)成各MCU的塊內(nèi)的數(shù)據(jù)的排列。
因此，如果在以往，在按照輸出的順序局部地對(duì)必要的MCU進(jìn)行解碼的情況下，為了得到各個(gè)MCU的DC成分，必須從最開(kāi)始一次解碼全部MCU。由于對(duì)于特定的MCU要一個(gè)個(gè)地解碼該特定的MCU之前的全部MCU，所以效率不高，因此，在以下說(shuō)明的實(shí)施方式中，對(duì)于特定的MCU，在進(jìn)行JPEG壓縮時(shí)生成提供1、表示MCU的存儲(chǔ)區(qū)域的開(kāi)頭的地址指針2、DC成分的值等信息的MCU信息表。
在進(jìn)行局部解碼時(shí)，為了對(duì)應(yīng)于處理的內(nèi)容、按正確的順序得到輸出圖像，按照依據(jù)該MCU信息表的順序來(lái)解碼想要的MCU，將每個(gè)MCU旋轉(zhuǎn)，然后輸出。
這樣，本發(fā)明可應(yīng)用于根據(jù)JPEG執(zhí)行圖像壓縮的裝置。下面，以將本發(fā)明應(yīng)用于根據(jù)JPEG方式進(jìn)行圖像壓縮的裝置的情況為例，具體說(shuō)明本發(fā)明的實(shí)施方式。
(第1實(shí)施方式)下面，具體說(shuō)明本發(fā)明的實(shí)施方式的圖像處理顯示裝置。在以下的實(shí)施方式中，詳細(xì)說(shuō)明實(shí)時(shí)地旋轉(zhuǎn)圖像的功能。把實(shí)時(shí)圖像旋轉(zhuǎn)作為便攜電話或數(shù)碼相機(jī)等中的取景器用的圖像顯示功能是有用的。另外，在以下的實(shí)施方式中，假定執(zhí)行JPEG的YCbCr420形式的圖像壓縮。另外，在YCbCr中，彩色圖像用Y成分、Cr成分、Cb成分來(lái)表現(xiàn)。Y成分是亮度成分，表示亮度。Cr成分是色差成分，表示R(紅)成分與Y成分的差。Cb成分是色差成分，表示B(藍(lán))成分與Y成分的差。
圖2是表示圖像處理顯示裝置的內(nèi)部結(jié)構(gòu)的框圖。如圖2所示，在圖像處理顯示裝置100上連接照相機(jī)11與顯示器12。照相機(jī)11是具有圖像傳感器的裝置。即，照相機(jī)11利用CCD(Charge-Coupled Devices，電荷耦合器件)接受經(jīng)鏡頭入射的光，并變換為電信號(hào)。根據(jù)由各CCD變換的電信號(hào)，生成圖像。將照相機(jī)11生成的圖像輸入圖像處理顯示裝置100。顯示器12從圖像處理顯示裝置100取得圖像數(shù)據(jù)，進(jìn)行畫面顯示。
圖像處理顯示裝置100具有輸入緩存110、圖像壓縮裝置120、壓縮數(shù)據(jù)緩存130、參照信息生成裝置140、參照?qǐng)D像緩存150、圖像解壓裝置160、圖像處理裝置170和輸出緩存180。
輸入緩存110是接收照相機(jī)11生成的圖像的數(shù)據(jù)、暫時(shí)存儲(chǔ)的存儲(chǔ)裝置。作為輸入緩存110，例如使用半導(dǎo)體存儲(chǔ)器。輸入緩存110將所存儲(chǔ)的數(shù)據(jù)傳遞到圖像壓縮裝置120。
圖像壓縮裝置120以塊為單位來(lái)接收存儲(chǔ)在輸入緩存110中的圖像，針對(duì)每個(gè)塊以JPE6方式來(lái)對(duì)圖像進(jìn)行壓縮。1塊是8×8像素的圖像。壓縮按DCT、量化、哈夫曼編碼這樣的步驟來(lái)進(jìn)行。圖像壓縮裝置120以MCU為單位將壓縮后的圖像數(shù)據(jù)寫入到壓縮數(shù)據(jù)緩存130中。MCU是單位圖像的再現(xiàn)所必需的數(shù)據(jù)。在第1實(shí)施方式中，MCU由4Y(4塊的Y成分)+1Cb(1塊的Cb成分)+1Cr(1塊的Cr成分)6個(gè)值構(gòu)成。另外，若以YcbCr422形式來(lái)進(jìn)行圖像壓縮，則DC成分為4個(gè)值。
壓縮數(shù)據(jù)緩存130是存儲(chǔ)壓縮后的圖像數(shù)據(jù)的存儲(chǔ)區(qū)域。壓縮數(shù)據(jù)緩存130可存儲(chǔ)1幀的壓縮圖像數(shù)據(jù)。
參照信息生成裝置140從由圖像壓縮裝置120進(jìn)行了DCT的圖像中取出DC成分，存儲(chǔ)在參照?qǐng)D像緩存150中。另外，參照信息生成裝置140取得將壓縮后的MCU存儲(chǔ)在壓縮數(shù)據(jù)緩存130中時(shí)的寫入?yún)^(qū)域的地址。并且，參照信息生成裝置140將MCU的寫入?yún)^(qū)域的地址與該圖像的DC成分關(guān)聯(lián)起來(lái)、存儲(chǔ)在參照?qǐng)D像緩存150中。
參照?qǐng)D像緩存150是存儲(chǔ)1幀的各個(gè)MCU的DC成分與地址的組的存儲(chǔ)區(qū)域。
圖像解壓裝置160按照每個(gè)MCU，對(duì)存儲(chǔ)在壓縮數(shù)據(jù)緩存130中的壓縮數(shù)據(jù)進(jìn)行解壓。具體而言，圖像解壓裝置160按預(yù)定的順序從壓縮數(shù)據(jù)緩存130中讀出MCU。之后，圖像解壓裝置160從參照?qǐng)D像緩存150中讀出與所讀出的MCU的地址關(guān)聯(lián)的DC成分。之后，圖像解壓裝置160使用所讀出的DC成分對(duì)MCU進(jìn)行解壓。將解壓后的圖像傳遞給圖像處理裝置170。
圖像處理裝置170根據(jù)加工內(nèi)容來(lái)加工由圖像解壓裝置160解壓后的圖像，寫入到輸出緩存180中。
輸出緩存180是存儲(chǔ)被顯示的圖像數(shù)據(jù)的存儲(chǔ)區(qū)域。作為輸出緩存180，例如使用半導(dǎo)體存儲(chǔ)器。將存儲(chǔ)在輸出緩存180中的圖像數(shù)據(jù)傳遞到顯示器12，進(jìn)行畫面顯示。
根據(jù)這種圖像處理顯示裝置100，將照相機(jī)11拍攝到的圖像存儲(chǔ)在輸入緩存110中。圖像壓縮裝置120讀出存儲(chǔ)在輸入緩存110中的圖像，實(shí)施基于JPEG形式的壓縮。將壓縮后的圖像數(shù)據(jù)(壓縮數(shù)據(jù))存儲(chǔ)在壓縮數(shù)據(jù)緩存130中。另外，對(duì)于壓縮數(shù)據(jù)的每個(gè)MCU，由參照信息生成裝置140從圖像壓縮裝置120中取出DC成分與MCU存儲(chǔ)地址的組。將取出的DC成分與地址相互關(guān)聯(lián)起來(lái)，存儲(chǔ)在參照?qǐng)D像緩存150中。
由圖像解壓裝置160針對(duì)每個(gè)MCU讀出存儲(chǔ)在壓縮數(shù)據(jù)緩存130中的壓縮數(shù)據(jù)。此時(shí)，由圖像解壓裝置160從參照?qǐng)D像緩存150中讀出所讀出的MCU的DC成分。之后，圖像解壓裝置160使用DC成分來(lái)解壓MCU，將解壓后的圖像數(shù)據(jù)傳遞給圖像處理裝置170。圖像處理裝置170按照與圖像的加工內(nèi)容對(duì)應(yīng)的配置，將圖像數(shù)據(jù)寫入到輸出緩存180中。根據(jù)寫入到輸出緩存180中的圖像數(shù)據(jù)，在顯示器12上顯示圖像。
下面，詳細(xì)說(shuō)明圖像壓縮處理。
圖3是表示圖像壓縮裝置與參照信息生成裝置的內(nèi)部結(jié)構(gòu)的圖。圖像壓縮裝置120具有DCT電路121、量化電路122、哈夫曼編碼電路123、和MCU單位圖像寫入電路124。
DCT電路121對(duì)輸入的圖像數(shù)據(jù)實(shí)施離散余弦變換(DCT)處理。通過(guò)DCT處理，根據(jù)圖像的像素值(表示像素的亮度的數(shù)值)得到DCT系數(shù)。得到與像素?cái)?shù)相同個(gè)數(shù)的DCT系數(shù)。在第1實(shí)施方式中，對(duì)每個(gè)8×8像素的塊進(jìn)行DCT處理，所以得到8×8個(gè)DCT系數(shù)。此時(shí)，左上的DCT系數(shù)為DC成分。將1個(gè)塊的DCT系數(shù)傳遞給量化電路122。
當(dāng)從DCT電路121取得了1個(gè)塊的DCT系數(shù)時(shí)，量化電路122進(jìn)行DCT系數(shù)的量化。量化是指用預(yù)定的數(shù)來(lái)除DCT系數(shù)而置換成代表值。例如，即使在原始圖像用8比特來(lái)表示每1個(gè)像素的情況下，DCT系數(shù)也為-1024～1023之間的值，若對(duì)小數(shù)點(diǎn)后面的值進(jìn)行四舍五入，則用11位的整數(shù)來(lái)表示。為了減少至每1個(gè)像素為8比特，只要用2的3次方(＝8)來(lái)除DCT系數(shù)即可。另外，關(guān)于對(duì)DCT系數(shù)進(jìn)行除法運(yùn)算時(shí)的小數(shù)點(diǎn)后面的值，進(jìn)行四舍五入。將量化后的DCT系數(shù)(近似DCT系數(shù))傳遞給哈夫曼編碼電路123。
哈夫曼編碼電路123根據(jù)預(yù)先準(zhǔn)備的代碼表，將量化后的DCT系數(shù)置換成哈夫曼代碼(1，0代碼)。這也被稱為熵編碼。此時(shí)，還進(jìn)行塊左上端的DC成分的編碼。DC成分的編碼僅排列多個(gè)塊(例如8×8)的DC成分，生成縮小圖像。之后，對(duì)該縮小圖像進(jìn)行編碼。例如，進(jìn)行DPCM(Differential PCM，差分脈沖編碼調(diào)制)編碼等。DPCM編碼是用圖像的差分(例如與左側(cè)像素的差分)來(lái)表現(xiàn)的編碼方式。將編碼后的圖像數(shù)據(jù)(壓縮數(shù)據(jù))傳遞給MCU單位圖像寫入電路124。此時(shí)，從哈夫曼編碼電路123向MCU單位圖像寫入電路124傳遞應(yīng)存儲(chǔ)該壓縮數(shù)據(jù)的區(qū)域的地址(指針)。
MCU單位圖像寫入電路124以MCU為單位將從哈夫曼編碼電路123接收到的壓縮數(shù)據(jù)寫入到壓縮數(shù)據(jù)緩存130中。具體而言，MCU單位圖像寫入電路124將4塊的壓縮數(shù)據(jù)(4塊的Y成分、1塊的Cb成分、1塊的Cr成分)集合為一個(gè)MCU，寫入到由哈夫曼編碼電路123指定的壓縮數(shù)據(jù)緩存130上的地址中。
參照信息生成裝置140具有參照數(shù)據(jù)提取電路141與MCU指針提取電路142。
參照數(shù)據(jù)提取電路141取得從圖像壓縮裝置120內(nèi)的DCT電路121傳遞到量化電路122的DCT系數(shù)，從中提取DC成分。參照數(shù)據(jù)提取電路141按從上到下的順序，將所提取的DC成分存儲(chǔ)在參照?qǐng)D像緩存150的DC成分的項(xiàng)中。
MCU指針提取電路142提取從圖像壓縮裝置120內(nèi)的哈夫曼編碼電路123傳遞到MCU單位圖像寫入電路124的指針。并且，按從上到下的順序，將所提取的指針存儲(chǔ)在參照?qǐng)D像緩存150的指針的項(xiàng)中。
這樣，執(zhí)行圖像壓縮、將MCU存儲(chǔ)在壓縮數(shù)據(jù)緩存130中，并且將參照信息(DC成分與指針的組)存儲(chǔ)在參照?qǐng)D像緩存150中。
下面，說(shuō)明到根據(jù)原始圖像來(lái)生成MCU、并且提取DC成分為止的流程。
圖4是表示構(gòu)成原始圖像的塊的圖。如圖4所示，原始圖像200被分為多個(gè)塊211～214、221～224。各個(gè)塊211～214、221～224由8×8個(gè)像素構(gòu)成。若壓縮該原始圖像200，則由4個(gè)塊211～214生成一個(gè)MCU210。同樣，由4個(gè)塊221～224生成一個(gè)MCU 220。
另外，原始圖像200是彩色圖像，由Y成分、Cb成分、Cr成分構(gòu)成。
圖5是表示構(gòu)成原始圖像的成分的圖。構(gòu)成MCU 210的塊211～214可分解成Y成分30、Cb成分41、Cr成分42。Y成分30由分別對(duì)應(yīng)于4個(gè)塊211～214的4個(gè)塊31～34構(gòu)成。即，關(guān)于Y成分，對(duì)應(yīng)于原始圖像200的一個(gè)像素的數(shù)據(jù)，存在一個(gè)數(shù)據(jù)。
另外，關(guān)于Cb成分41，對(duì)于4個(gè)塊211～214存在一個(gè)塊。同樣，關(guān)于Cr成分42，對(duì)于4個(gè)塊211～214存在一個(gè)塊。即，關(guān)于Cb成分與Cr成分，對(duì)應(yīng)于原始圖像200的4個(gè)像素的數(shù)據(jù)，存在一個(gè)數(shù)據(jù)。
當(dāng)壓縮這種結(jié)構(gòu)的數(shù)據(jù)時(shí)，首先對(duì)原始圖像200實(shí)施DCT處理，將各像素的各成分的數(shù)據(jù)置換成DCT系數(shù)。
圖6是表示DCT處理后的圖像的圖。另外，圖6中示出了DCT處理后的Y成分50。對(duì)于DCT處理后的Y成分50，把表示原始圖像的各像素的亮度的值變換為DCT系數(shù)。構(gòu)成Y成分50的各個(gè)塊內(nèi)的左上端的DCT系數(shù)是在塊內(nèi)不變化的直流(DC)成分。DC成分表示塊內(nèi)的各像素值的平均(實(shí)際上偏移了級(jí)別偏移量)。例如，塊51的左上端的DCT系數(shù)51a是DC成分。
這里，假設(shè)僅由各塊的DC成分排列而成的圖像60。該圖像60與原始圖像相比，是像素?cái)?shù)為1/8×1/8的縮小圖像(也稱為縮略圖像)。
對(duì)DCT處理后的Y成分50內(nèi)的各DCT系數(shù)進(jìn)行量化，但此時(shí)，對(duì)DC成分執(zhí)行編碼處理。例如，在對(duì)某個(gè)塊的DC成分進(jìn)行編碼的情況下，取與鄰接塊的DC成分之間的差分。將各塊的DC成分置換成差分值，通過(guò)哈夫曼編碼等來(lái)分配識(shí)別碼。
另外，圖6中僅示出了Y成分50，但對(duì)于Cr成分與Cb成分也同樣進(jìn)行DCT系數(shù)的量化和DC成分的編碼。以MCU為單位將針對(duì)這些成分分別進(jìn)行編碼得到的數(shù)據(jù)存儲(chǔ)到壓縮數(shù)據(jù)緩存130中。
圖7是表示壓縮數(shù)據(jù)緩存的數(shù)據(jù)結(jié)構(gòu)例的圖。在壓縮數(shù)據(jù)緩存130中，存儲(chǔ)有MCU 131、132、……的數(shù)據(jù)。在第1實(shí)施方式中，假定以YCbCr420形式來(lái)進(jìn)行壓縮，可輸出至多64KB的壓縮數(shù)據(jù)。因此，壓縮數(shù)據(jù)緩存130具有64KB的存儲(chǔ)容量。此時(shí)，存儲(chǔ)MCU 131、132、……的區(qū)域的地址(地址#1、地址#2、……)可用16位來(lái)表現(xiàn)。
MCU 131由4個(gè)Y成分塊(Y成分塊#1、Y成分塊#2、Y成分塊#3、Y成分塊#4)、一個(gè)Cb成分塊、一個(gè)Cr成分塊構(gòu)成。從這些成分各自的塊中分別提取DC成分，存儲(chǔ)在參照?qǐng)D像緩存150中。
圖8是表示參照?qǐng)D像緩存的數(shù)據(jù)結(jié)構(gòu)例的圖。參照?qǐng)D像緩存150設(shè)置了DC成分項(xiàng)與指針項(xiàng)。參照數(shù)據(jù)提取電路141取得最開(kāi)始的MCU(MCU#1)的DC成分時(shí)，將其存儲(chǔ)在DC成分項(xiàng)的開(kāi)頭。作為MCU#1的DC成分，包含4個(gè)塊的Y成分、1個(gè)塊的Cb成分、1個(gè)塊的Cr成分各自的DC成分。之后，每當(dāng)取得后續(xù)的MCU(MCU#2、MCU#3、MCU#4、……)的DC成分時(shí)，接在MCU#1的DC成分后面存儲(chǔ)這些DC成分。
另外，當(dāng)將最開(kāi)始的MCU(MCU#1)存儲(chǔ)在壓縮數(shù)據(jù)緩存130中時(shí)，通過(guò)MCU指針提取電路142將存儲(chǔ)MCU#1的區(qū)域的開(kāi)頭地址(地址#1)存儲(chǔ)在指針項(xiàng)中。之后，每當(dāng)將后續(xù)的MCU(MCU#2、MCU#3、MCU#4、……)存儲(chǔ)在壓縮數(shù)據(jù)緩存130中時(shí)，將這些MCU的存儲(chǔ)區(qū)域的地址(地址#2、地址#3、地址#4、……)存儲(chǔ)在指針項(xiàng)中。
這樣，對(duì)于DC成分與指針(地址)，從參照?qǐng)D像緩存150內(nèi)的存儲(chǔ)區(qū)域的上位開(kāi)始按順序存儲(chǔ)。由此，將與各MCU對(duì)應(yīng)的DC成分與地址存儲(chǔ)在參照?qǐng)D像緩存150的DC成分項(xiàng)與指針項(xiàng)的相同序號(hào)的區(qū)域中。
在參照?qǐng)D像緩存150中保存有變換為差分值之前的DC成分，從而可單獨(dú)地將任意的MCU復(fù)原成原始的圖像。即，對(duì)于MCU內(nèi)包含的DC成分，除去一部分塊的DC成分，其它都被置換成與鄰接塊之間的差分。因此，在不使用參照?qǐng)D像緩存150的情況下，通過(guò)從包含未執(zhí)行差分值置換的DC成分的MCU開(kāi)始按順序復(fù)原，可將被置換成差分值的DC成分恢復(fù)成原始值，復(fù)原其它MCU。因此，若沒(méi)有參照?qǐng)D像緩存150，則不能單獨(dú)地復(fù)原任意的MCU。
由于能夠這樣單獨(dú)地復(fù)原任意的MCU，因而復(fù)原后的圖像的旋轉(zhuǎn)等加工處理變得容易。
下面，說(shuō)明基于壓縮數(shù)據(jù)的圖像顯示處理。
圖9是表示圖像解壓裝置與圖像處理裝置的內(nèi)部結(jié)構(gòu)的圖。在圖像處理顯示裝置100中，利用圖像解壓裝置160與圖像處理裝置170來(lái)執(zhí)行基于壓縮數(shù)據(jù)的圖像顯示。當(dāng)顯示圖像時(shí)，預(yù)先指定實(shí)施哪種加工。在第1實(shí)施方式中，由顯示數(shù)據(jù)尺寸與處理模式來(lái)指定。顯示數(shù)據(jù)尺寸例如由待顯示的圖像的縱向與橫向的像素?cái)?shù)來(lái)指定。處理模式例如是指定旋轉(zhuǎn)、鏡像、縮略、馬賽克等加工內(nèi)容的信息。在旋轉(zhuǎn)處理模式中，可指定旋轉(zhuǎn)角度(例如90度、180度、270度等)。
將顯示數(shù)據(jù)尺寸與處理模式輸入到圖像處理裝置170。圖像處理裝置170根據(jù)存儲(chǔ)在壓縮數(shù)據(jù)緩存130中的圖像，生成由顯示數(shù)據(jù)尺寸與處理模式所指定的圖像數(shù)據(jù)，寫入到輸出緩存180中。具體而言，圖像處理裝置170具有MCU計(jì)數(shù)輸出電路171與MCU單位圖像處理電路172。
MCU計(jì)數(shù)輸出電路171根據(jù)顯示數(shù)據(jù)尺寸與處理模式，確定MCU的讀出順序，依次輸出對(duì)應(yīng)于讀出順序的MCU計(jì)數(shù)。MCU計(jì)數(shù)是指定將MCU存儲(chǔ)在壓縮數(shù)據(jù)緩存130中的順序的數(shù)據(jù)。利用MCU計(jì)數(shù)來(lái)唯一地確定壓縮數(shù)據(jù)緩存130內(nèi)的MCU。
MCU單位圖像處理電路172根據(jù)顯示數(shù)據(jù)尺寸與處理模式來(lái)加工從圖像解壓裝置160傳遞來(lái)的MCU原始圖像，輸出到輸出緩存180。
圖像解壓裝置160具有參照數(shù)據(jù)提取電路161與MCU單位圖像解壓電路162。
參照數(shù)據(jù)提取電路161從MCU計(jì)數(shù)輸出電路171接收MCU計(jì)數(shù)值，從參照?qǐng)D像緩存150中取出與MCU計(jì)數(shù)值對(duì)應(yīng)的DC成分與地址。具體而言，參照數(shù)據(jù)提取電路161從參照?qǐng)D像緩存150的上位開(kāi)始，提取相當(dāng)于與MCU計(jì)數(shù)值對(duì)應(yīng)的序號(hào)的記錄(DC成分與地址)。并且，參照數(shù)據(jù)提取電路161讀出所提取的DC成分與地址，傳遞到MCU單位圖像解壓電路162。
MCU單位圖像解壓電路162從壓縮數(shù)據(jù)緩存130中取出與從參照數(shù)據(jù)提取電路161接收到的地址對(duì)應(yīng)的MCU。MCU單位圖像解壓電路162使用從參照數(shù)據(jù)提取電路161接收到的DC成分來(lái)對(duì)所讀出的MCU進(jìn)行解壓。具體而言，MCU單位圖像解壓電路162將所取得的MCU內(nèi)所包含的DC成分(已編碼)置換成從參照數(shù)據(jù)提取電路161接收到的DC成分(編碼前)。并且，MCU單位圖像解壓電路162對(duì)MCU進(jìn)行解壓，生成MCU解壓圖像，并傳遞給圖像處理裝置170。
根據(jù)該結(jié)構(gòu)，每當(dāng)將壓縮數(shù)據(jù)存儲(chǔ)在壓縮數(shù)據(jù)緩存130中時(shí)，進(jìn)行圖像顯示處理。即，當(dāng)將壓縮數(shù)據(jù)存儲(chǔ)在壓縮數(shù)據(jù)緩存130中時(shí)，從MCU計(jì)數(shù)輸出電路171輸出與顯示數(shù)據(jù)尺寸和處理模式對(duì)應(yīng)的MCU計(jì)數(shù)值。每當(dāng)從圖像解壓裝置160中輸出MCU解壓圖像時(shí)，更新輸出的MCU計(jì)數(shù)值，并依次輸出。
參照數(shù)據(jù)提取電路161接收從MCU計(jì)數(shù)輸出電路171輸出的MCU計(jì)數(shù)值。并且，由參照數(shù)據(jù)提取電路161從參照?qǐng)D像緩存150中取得與MCU計(jì)數(shù)值對(duì)應(yīng)的DC成分與地址，傳遞到MCU單位圖像解壓電路162。
MCU單位圖像解壓電路162從壓縮數(shù)據(jù)緩存130取得存儲(chǔ)在由接收到的地址所表示的區(qū)域中的MCU。使用從參照數(shù)據(jù)提取電路161傳遞來(lái)的DC成分對(duì)該MCU進(jìn)行解壓，輸出MCU解壓圖像。
將MCU解壓圖像傳遞給MCU單位圖像處理電路172。這樣，在MCU單位圖像處理電路172中對(duì)MCU解壓圖像實(shí)施與顯示數(shù)據(jù)尺寸和處理模式對(duì)應(yīng)的加工，寫入到輸出緩存180中。
這樣，可以對(duì)壓縮圖像數(shù)據(jù)進(jìn)行加工、顯示。下面，具體說(shuō)明使圖像旋轉(zhuǎn)90度時(shí)的加工例。
圖10是說(shuō)明旋轉(zhuǎn)90度時(shí)的MCU計(jì)數(shù)的輸出順序的圖。如圖10所示，假定了使圖像70順時(shí)針旋轉(zhuǎn)90度的情況。
圖像70由多個(gè)MCU構(gòu)成，橫向的MCU個(gè)數(shù)為m(m為大于等于1的整數(shù))，縱向的MCU個(gè)數(shù)為n(n為大于等于1的整數(shù))。在壓縮該圖像70時(shí)，MCU的位置在圖像70中越靠上，則越被優(yōu)先壓縮。另外，若在圖像70內(nèi)的上下方向的位置相同，則越靠左，越被優(yōu)先壓縮。
因此，從圖像70的左上端的MCU開(kāi)始?jí)嚎s，壓縮對(duì)象的MCU依次向相鄰的右邊移動(dòng)。并且，若壓縮了同一行(橫向的相同排列)的右端的MCU，則接著壓縮其下面的行的左端的MCU。
圖10中，對(duì)圖像70內(nèi)的MCU，用數(shù)字表示壓縮的序號(hào)。左上端的MCU的壓縮序號(hào)為第1，連接于其右側(cè)的MCU的壓縮序號(hào)依次為第2、第3、……。左下端的MCU的壓縮序號(hào)為第“m(n-1)+1”。右下端的MCU的壓縮序號(hào)為第mn。
將壓縮后的MCU按壓縮的順序存儲(chǔ)在壓縮數(shù)據(jù)緩存130中。同樣，按MCU的壓縮順序，將與該MCU對(duì)應(yīng)的DC成分與地址存儲(chǔ)在參照?qǐng)D像緩存150中。因此，為了按任意順序讀出MCU來(lái)進(jìn)行解壓，只要指定壓縮、存儲(chǔ)該MCU的順序(存儲(chǔ)順序)即可。
因此，MCU計(jì)數(shù)輸出電路171利用MCU計(jì)數(shù)來(lái)指定應(yīng)解壓的MCU的存儲(chǔ)順序。若根據(jù)處理模式(加工內(nèi)容)來(lái)定義MCU計(jì)數(shù)的初始值和更新方法，則可按照與處理模式對(duì)應(yīng)的預(yù)定順序來(lái)對(duì)MCU進(jìn)行解壓。
在圖10的例子中，在生成加工后的圖像80時(shí)，假定從圖像80左上端的MCU開(kāi)始，按順序生成圖像，并寫入到輸出緩存180中。此時(shí)，為了使圖像70旋轉(zhuǎn)90度，必須從在圖像70中的位置為左下端的MCU開(kāi)始，按順序向上執(zhí)行MCU單位圖像的解壓。因此，MCU計(jì)數(shù)的初始值為第“m(n-1)+1”。
當(dāng)更新MCU計(jì)數(shù)時(shí)，從之前的MCU計(jì)數(shù)值中減去m。由此，接著對(duì)在原始圖像70中與剛解壓的MCU的上方相鄰的MCU進(jìn)行解壓。另外，當(dāng)剛才的MCU計(jì)數(shù)值不足m時(shí)，由于圖像70中同一列(縱向上的相同排列)的處理結(jié)束，所以必須接著對(duì)右鄰列的下端的MCU進(jìn)行解壓。因此，若剛才的MCU計(jì)數(shù)值為“k”(k為大于等于1小于m的整數(shù))，則將MCU計(jì)數(shù)值更新為第“m(n-1)+(k+1)”。另外，若MCU計(jì)數(shù)值變?yōu)閙，則MCU計(jì)數(shù)的更新結(jié)束。
如此更新MCU計(jì)數(shù)值的結(jié)果，輸出的MCU計(jì)數(shù)為“m(n-1)+1、m(n-2)+1、……、1、m(n-1)+2、m(n-2)+2、……、mn、m(n-1)、……、m”。通過(guò)按此順序依次解壓，得到旋轉(zhuǎn)90度后的圖像80。
另外，為了得到旋轉(zhuǎn)90度后的圖像80，還必須旋轉(zhuǎn)各MCU的圖像。
圖11是表示MCU圖像的旋轉(zhuǎn)處理的圖。另外，圖11中，示出MCU由一個(gè)塊(8×8像素)構(gòu)成的情況下，旋轉(zhuǎn)90度前的MCU圖像71與旋轉(zhuǎn)后的MCU圖像81。旋轉(zhuǎn)前的圖像71的尺寸為8×8像素。圖中，向各像素分配1～64的序號(hào)。利用該像素的序號(hào)來(lái)表示各像素的數(shù)據(jù)通過(guò)圖像71的旋轉(zhuǎn)而移動(dòng)到圖像81中的何處。例如，圖像71中的左上端的像素移動(dòng)到了圖81的右上端。
在由4個(gè)塊構(gòu)成一個(gè)MCU的情況下，考慮使圖11的縱橫像素?cái)?shù)量變?yōu)?倍，也可容易地進(jìn)行旋轉(zhuǎn)處理。另外，在輸出180度旋轉(zhuǎn)圖像、270度旋轉(zhuǎn)圖像、鏡像圖像等的情況下，與90度旋轉(zhuǎn)圖像一樣，指定輸出各MCU的順序，并且也對(duì)各MCU內(nèi)的64×4(塊數(shù))個(gè)圖像數(shù)據(jù)執(zhí)行旋轉(zhuǎn)處理并輸出。
對(duì)輸入到MCU單位圖像處理電路172中的各MCU執(zhí)行這種像素的重新排列。由此，寫入到輸出緩存180中的圖像數(shù)據(jù)為對(duì)寫入到壓縮數(shù)據(jù)緩存130中的壓縮數(shù)據(jù)進(jìn)行解壓、并旋轉(zhuǎn)90度后的圖像。
如上所述，通過(guò)將壓縮數(shù)據(jù)的各MCU的DC成分與地址存儲(chǔ)在參照?qǐng)D像緩存150中，可對(duì)每個(gè)塊依次執(zhí)行壓縮數(shù)據(jù)的展開(kāi)、解壓、處理。結(jié)果，可以利用很少的存儲(chǔ)器容量來(lái)實(shí)時(shí)地執(zhí)行旋轉(zhuǎn)等的圖像加工。即，由于以MCU為單位對(duì)壓縮數(shù)據(jù)實(shí)施展開(kāi)、解壓、處理，所以不需要大容量存儲(chǔ)器，并可抑制從圖像輸入至輸出為止的等待時(shí)間。
即，以往，復(fù)原JPEG數(shù)據(jù)全體，旋轉(zhuǎn)復(fù)原后的圖像，在該現(xiàn)有方法中需要暫時(shí)保存復(fù)原后的圖像全體的存儲(chǔ)器。并且，與其它電路的處理速度相比，向存儲(chǔ)器寫入或讀出圖像要花費(fèi)時(shí)間。因此，由于增加了介入的存儲(chǔ)器，使得等待時(shí)間也增長(zhǎng)。
另一方面，如第1實(shí)施方式所示，由于直接取出壓縮后的數(shù)據(jù)的一部分，使之旋轉(zhuǎn)預(yù)定角度后依次輸出，因而不需要用于復(fù)原壓縮數(shù)據(jù)全體、存儲(chǔ)復(fù)原后的圖像的存儲(chǔ)器。另外，通過(guò)減少?gòu)膱D像的拍攝到顯示之間介入的存儲(chǔ)器，可減少等待時(shí)間。另外，由于可與MCU向壓縮數(shù)據(jù)緩存130的寫入同時(shí)并行地執(zhí)行向參照?qǐng)D像緩存150寫入DC成分與地址，所以不會(huì)對(duì)等待時(shí)間造成壞影響。
(第2實(shí)施方式)第2實(shí)施方式可容易地生成八分之一的縮略圖像。
作為圖像的加工處理，有縮略圖像的生成處理。在生成縮略圖像的情況下，只要適當(dāng)?shù)貙?duì)MCU內(nèi)的數(shù)據(jù)進(jìn)行抽取顯示即可。尤其是輸出八分之一尺寸的縮略圖像時(shí)，可以僅輸出各MCU的DC成分來(lái)生成圖像。
圖12是第2實(shí)施方式的圖像處理顯示裝置的內(nèi)部框圖。在圖像處理顯示裝置100a上，與第1實(shí)施方式一樣，連接著照相機(jī)11和顯示器12。另外，圖像處理顯示裝置100a具有輸入緩存110a、圖像壓縮裝置120a、壓縮數(shù)據(jù)緩存130a、參照信息生成裝置140a、參照?qǐng)D像緩存150a、圖像解壓裝置160a、圖像處理裝置170a、輸出緩存180a和DC成分提取裝置191。這些各要素除DC成分提取裝置191外，其它均具有與圖2所示第1實(shí)施方式中的同名要素相同的功能。但是，參照信息生成裝置140a還具有將取得的DC成分傳遞給DC成分提取裝置191的功能。另外，圖像處理裝置170a還具有在處理模式是八分之一縮略圖像顯示模式時(shí)停止自己的處理功能的功能。
DC成分提取裝置191將從參照信息生成裝置140a接收到的DC成分作為一個(gè)像素的數(shù)據(jù)，寫入到輸出緩存180a中。僅由各MCU的DC成分排列而成的圖像就是八分之一尺寸縮小圖像。因此，通過(guò)在顯示器12上顯示由DC成分提取裝置191寫入到輸出緩存180a中的圖像，來(lái)顯示縮略圖像。
這樣，通過(guò)由DC成分提取裝置191將僅由DC成分構(gòu)成的圖像寫入到輸出緩存180a中，可容易地制作縮略圖像。
另外，使用第2實(shí)施方式所示的結(jié)構(gòu)，還可顯示馬賽克圖像。為了顯示馬賽克圖像，DC成分提取裝置191只要用DC成分來(lái)填充MCU內(nèi)的數(shù)據(jù)即可。
另外，在圖12的例子中，假定了通過(guò)處理模式的切換來(lái)顯示縮略圖像的情況，但在僅顯示縮略圖像的情況下，不需要壓縮數(shù)據(jù)緩存130a、參照?qǐng)D像緩存150a、圖像解壓裝置160a和圖像處理裝置170a。
(第3實(shí)施方式)另外，還可旋轉(zhuǎn)八分之一尺寸的縮略圖像。
圖13是第3實(shí)施方式的圖像處理顯示裝置的內(nèi)部框圖。在圖像處理顯示裝置100b上，與第1實(shí)施方式一樣，連接著照相機(jī)11和顯示器12。另外，圖像處理顯示裝置100b具有輸入緩存110b、圖像壓縮裝置120b、壓縮數(shù)據(jù)緩存130b、參照信息生成裝置140b、參照?qǐng)D像緩存150b、圖像解壓裝置160b、圖像處理裝置170b、輸出緩存180b、DC成分提取裝置191b和圖像旋轉(zhuǎn)電路192。這些各要素除參照信息生成裝置140b與圖像旋轉(zhuǎn)電路192外，其它均具有與圖12所示第2實(shí)施方式中的同名要素相同的功能。參照信息生成裝置140b具有與圖2所示的第1實(shí)施方式中的參照信息生成裝置140相同的功能。
在處理模式是執(zhí)行八分之一尺寸縮略圖像的90度旋轉(zhuǎn)顯示的模式時(shí)，圖像旋轉(zhuǎn)電路192從參照?qǐng)D像緩存150中按預(yù)定順序取得DC成分，傳遞到DC成分提取裝置191b。DC成分的取得順序的確定方法與圖10所示的方法一樣。
這樣，當(dāng)提取DC成分時(shí)，僅變更數(shù)據(jù)的取出順序，就可使縮略圖像旋轉(zhuǎn)。
另外，在圖13的例子中，假定了通過(guò)處理模式的切換來(lái)旋轉(zhuǎn)顯示縮略圖像的情況，但在僅旋轉(zhuǎn)顯示縮略圖像的情況下，不需要壓縮數(shù)據(jù)緩存130b、參照?qǐng)D像緩存150b、圖像解壓裝置160b和圖像處理裝置170b。
但是，在第1～第3實(shí)施方式中，僅說(shuō)明了實(shí)時(shí)顯示壓縮數(shù)據(jù)的結(jié)構(gòu)，但在作為數(shù)碼相機(jī)發(fā)揮功能的情況下，附加了在按下快門時(shí)將存儲(chǔ)在壓縮數(shù)據(jù)緩存中的壓縮數(shù)據(jù)存儲(chǔ)到其它存儲(chǔ)器中的功能。若將第1～第3實(shí)施方式所示的圖像處理顯示裝置應(yīng)用于數(shù)碼相機(jī)，則由于到圖像顯示為止的等待時(shí)間少，所以可將顯示器用作取景器。此時(shí)，如果按下快門，則記錄與顯示器上顯示的圖像大致相同的圖像。
即，顯示器上顯示的圖像是等待時(shí)間之前拍攝到的圖像。因此，若象以往那樣，等待時(shí)間長(zhǎng)，則顯示器上顯示的圖像與按下快門時(shí)拍攝的圖像之間的差異變大。另一方面，若應(yīng)用上述實(shí)施方式所示的圖像處理顯示裝置，則等待時(shí)間少，所以顯示器上顯示的圖像與按下快門時(shí)拍攝的圖像之間的差異變小。結(jié)果，可拍攝用戶所預(yù)期的圖像。
另外，通過(guò)向第2和第3實(shí)施方式那樣具有生成縮略圖像的功能的圖像處理顯示裝置追加縮略圖像輸出用的輸出緩存，則可在多個(gè)顯示器上同時(shí)實(shí)時(shí)地顯示正常大小的圖像與縮略圖像。即，分成由圖像處理裝置進(jìn)行寫入的輸出緩存和由DC成分提取裝置進(jìn)行寫入的輸出緩存。由此，可在通過(guò)圖像處理裝置對(duì)正常尺寸的圖像進(jìn)行加工而顯示的同時(shí)，通過(guò)DC成分提取裝置顯示縮略圖像。這可有效運(yùn)用于具有多個(gè)畫面的便攜電話機(jī)等中。例如，在折疊式便攜電話機(jī)折疊時(shí)位于內(nèi)側(cè)的顯示器上顯示正常尺寸的畫面，在折疊時(shí)位于外側(cè)的顯示器上顯示縮略圖像。
另外，在上述各實(shí)施方式中，在參照?qǐng)D像緩存150中將每個(gè)MCU的DC成分的組與MCU的指針關(guān)聯(lián)起來(lái)進(jìn)行存儲(chǔ)，但也可將指針與每個(gè)DC成分關(guān)聯(lián)起來(lái)存儲(chǔ)到參照?qǐng)D像緩存150中。此時(shí)，與DC成分相關(guān)聯(lián)的指針指示與該DC成分對(duì)應(yīng)的塊的AC成分的開(kāi)頭地址。即，在解壓時(shí)，將參照?qǐng)D像緩存150的DC成分追加到相關(guān)聯(lián)的指針?biāo)镜腁C成分之前。由此，可以進(jìn)行每個(gè)塊的解壓。
另外，在上述各實(shí)施方式中，假定了在壓縮數(shù)據(jù)緩存130中存儲(chǔ)可直接解壓的JPEG數(shù)據(jù)(包含編碼后的DC成分)的情況，但也可將不包含DC成分的狀態(tài)下的圖像數(shù)據(jù)存儲(chǔ)在壓縮數(shù)據(jù)緩存130中。此時(shí)，即使不實(shí)施圖像的旋轉(zhuǎn)等加工時(shí)，也可使用保存在參照?qǐng)D像緩存150中的DC成分來(lái)進(jìn)行JPEG數(shù)據(jù)的解壓。
上述僅示出本發(fā)明的原理。并且，對(duì)本領(lǐng)域的技術(shù)人員而言，可進(jìn)行多種變形、變更，本發(fā)明不限于上述示出、說(shuō)明的確切的結(jié)構(gòu)和應(yīng)用例，對(duì)應(yīng)的所有變形例和等同物均視為落在所附權(quán)利要求及其等同物所限定的本發(fā)明的范圍內(nèi)。
權(quán)利要求
1.一種實(shí)時(shí)地執(zhí)行圖像的壓縮、解壓和加工的圖像處理顯示裝置，其特征在于具有壓縮數(shù)據(jù)緩存，其用于存儲(chǔ)壓縮后的數(shù)據(jù)；參照?qǐng)D像緩存，其用于存儲(chǔ)在對(duì)數(shù)據(jù)進(jìn)行解壓時(shí)參照的信息；圖像壓縮裝置，其按各個(gè)單位圖像來(lái)對(duì)所輸入的原始圖像進(jìn)行壓縮，對(duì)于壓縮后的一個(gè)以上的所述單位圖像，將預(yù)定的基準(zhǔn)數(shù)據(jù)變換為對(duì)應(yīng)于與其它單位圖像內(nèi)的預(yù)定數(shù)據(jù)的比較結(jié)果的值，由此生成所述原始圖像的壓縮數(shù)據(jù)，將所述壓縮數(shù)據(jù)存儲(chǔ)在所述壓縮數(shù)據(jù)緩存中；參照信息生成裝置，其從所述圖像壓縮裝置取得執(zhí)行了所述基準(zhǔn)數(shù)據(jù)變換的所述單位圖像各自的變換前的所述基準(zhǔn)數(shù)據(jù)，將取得的所述基準(zhǔn)數(shù)據(jù)與對(duì)應(yīng)的所述單位圖像關(guān)聯(lián)起來(lái)存儲(chǔ)在所述參照?qǐng)D像緩存中；圖像解壓裝置，其按照與預(yù)先指定的圖像處理內(nèi)容對(duì)應(yīng)的順序，取得存儲(chǔ)在所述壓縮數(shù)據(jù)緩存中的已壓縮的多個(gè)所述單位圖像，并且從所述參照?qǐng)D像緩存中取得與所取得的所述單位圖像對(duì)應(yīng)的變換前的所述基準(zhǔn)數(shù)據(jù)，并使用所取得的所述基準(zhǔn)數(shù)據(jù)來(lái)對(duì)所取得的已壓縮的所述單位圖像進(jìn)行解壓；和圖像處理裝置，其對(duì)由所述圖像解壓裝置解壓后的所述單位圖像，實(shí)施與所述預(yù)先指定的圖像處理內(nèi)容對(duì)應(yīng)的加工后輸出。
2.根據(jù)權(quán)利要求1所述的圖像處理顯示裝置，其特征在于所述圖像壓縮裝置對(duì)于壓縮后的一個(gè)以上的所述單位圖像，將預(yù)定的所述基準(zhǔn)數(shù)據(jù)變換為對(duì)應(yīng)于與其它單位圖像內(nèi)的所述基準(zhǔn)數(shù)據(jù)的差分的值。
3.根據(jù)權(quán)利要求1所述的圖像處理顯示裝置，其特征在于指定圖像的旋轉(zhuǎn)處理作為所述圖像處理內(nèi)容。
4.根據(jù)權(quán)利要求1所述的圖像處理顯示裝置，其特征在于所述圖像壓縮裝置按預(yù)定的順序壓縮構(gòu)成所述原始圖像的所述單位圖像，每次執(zhí)行所述單位圖像的壓縮時(shí)，所述參照信息生成裝置取得所述基準(zhǔn)數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的圖像處理顯示裝置，其特征在于所述基準(zhǔn)數(shù)據(jù)是表示所述單位圖像內(nèi)的各像素值的平均的數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的圖像處理顯示裝置，其特征在于所述參照信息生成裝置利用存儲(chǔ)了所述單位圖像的所述壓縮數(shù)據(jù)緩存內(nèi)的存儲(chǔ)區(qū)域的地址，來(lái)將所取得的所述基準(zhǔn)數(shù)據(jù)和對(duì)應(yīng)的所述單位圖像關(guān)聯(lián)起來(lái)。
7.根據(jù)權(quán)利要求1所述的圖像處理顯示裝置，其特征在于每當(dāng)將一個(gè)畫面的數(shù)據(jù)存儲(chǔ)到所述壓縮數(shù)據(jù)緩存中時(shí)，所述圖像解壓裝置就開(kāi)始所述單位圖像的解壓處理。
8.一種實(shí)時(shí)地執(zhí)行圖像的壓縮、解壓和加工的圖像處理顯示裝置，其特征在于具有壓縮數(shù)據(jù)緩存，其用于存儲(chǔ)壓縮后的數(shù)據(jù)；圖像壓縮裝置，其按各個(gè)單位圖像來(lái)對(duì)所輸入的原始圖像進(jìn)行壓縮，對(duì)于壓縮后的一個(gè)以上的所述單位圖像，將表示所述單位圖像內(nèi)的各像素值的平均的基準(zhǔn)數(shù)據(jù)變換為對(duì)應(yīng)于與其它單位圖像內(nèi)的預(yù)定數(shù)據(jù)的比較結(jié)果的值，由此生成所述原始圖像的壓縮數(shù)據(jù)，將所述壓縮數(shù)據(jù)寫入到所述壓縮數(shù)據(jù)緩存中；參照信息生成裝置，其從所述圖像壓縮裝置取得執(zhí)行了所述基準(zhǔn)數(shù)據(jù)變換的所述單位圖像各自的變換前的所述基準(zhǔn)數(shù)據(jù)；和縮小圖像生成裝置，其排列由所述參照信息生成裝置取得的所述基準(zhǔn)數(shù)據(jù)，生成縮小圖像。
9.根據(jù)權(quán)利要求8所述的圖像處理顯示裝置，其特征在于還具有參照?qǐng)D像緩存，其用于存儲(chǔ)在對(duì)數(shù)據(jù)進(jìn)行解壓時(shí)參照的信息，所述參照信息生成裝置將取得的所述基準(zhǔn)數(shù)據(jù)與對(duì)應(yīng)的所述單位圖像關(guān)聯(lián)起來(lái)存儲(chǔ)到所述參照?qǐng)D像緩存中，所述縮小圖像生成裝置按照與預(yù)先指定的圖像處理內(nèi)容對(duì)應(yīng)的順序，經(jīng)由所述參照?qǐng)D像緩存取得所述基準(zhǔn)數(shù)據(jù)。
10.一種實(shí)時(shí)地執(zhí)行圖像的壓縮、解壓和加工的圖像處理顯示方法，其特征在于當(dāng)輸入原始圖像時(shí)，按各個(gè)單位圖像來(lái)壓縮所述原始圖像；對(duì)于壓縮后的一個(gè)以上的所述單位圖像，將預(yù)定的基準(zhǔn)數(shù)據(jù)變換為對(duì)應(yīng)于與其它單位圖像內(nèi)的預(yù)定數(shù)據(jù)的比較結(jié)果的值，由此生成所述原始圖像的壓縮數(shù)據(jù)，將所述壓縮數(shù)據(jù)存儲(chǔ)在壓縮數(shù)據(jù)緩存中；取得執(zhí)行了所述基準(zhǔn)數(shù)據(jù)變換的所述單位圖像的變換前的所述基準(zhǔn)數(shù)據(jù)；將取得的所述基準(zhǔn)數(shù)據(jù)與對(duì)應(yīng)的所述單位圖像關(guān)聯(lián)起來(lái)存儲(chǔ)到參照?qǐng)D像緩存中；按照與預(yù)先指定的圖像處理內(nèi)容對(duì)應(yīng)的順序，取得存儲(chǔ)在所述壓縮數(shù)據(jù)緩存中的已壓縮的多個(gè)所述單位圖像，并且從所述參照?qǐng)D像緩存中取得與所取得的所述單位圖像對(duì)應(yīng)的變換前的所述基準(zhǔn)數(shù)據(jù)；使用取得的所述基準(zhǔn)數(shù)據(jù)來(lái)對(duì)所取得的已壓縮的所述單位圖像進(jìn)行解壓；對(duì)解壓后的所述單位圖像，實(shí)施與所述預(yù)先指定的圖像處理內(nèi)容對(duì)應(yīng)的加工后輸出。
全文摘要
可以利用很少的存儲(chǔ)器容量來(lái)實(shí)現(xiàn)對(duì)所拍攝的圖像的實(shí)時(shí)加工處理。圖像壓縮裝置(3)按各個(gè)單位圖像(91)、(92)、……對(duì)所輸入的原始圖像(90)進(jìn)行壓縮，對(duì)于單位圖像(92)、……，通過(guò)變換預(yù)定的基準(zhǔn)數(shù)據(jù)而生成原始圖像(90)的壓縮數(shù)據(jù)(90a)。參照信息生成裝置(4)從圖像壓縮裝置(3)取得執(zhí)行了基準(zhǔn)數(shù)據(jù)變換的單位圖像(92)、……各自的變換前的基準(zhǔn)數(shù)據(jù)。圖像解壓裝置(5)按照與圖像處理內(nèi)容對(duì)應(yīng)的順序，取得壓縮后的單位圖像(91)、(92a)、……，使用變換前的基準(zhǔn)數(shù)據(jù)來(lái)進(jìn)行解壓。圖像處理裝置(6)對(duì)解壓后的單位圖像實(shí)施與預(yù)先指定的圖像處理內(nèi)容對(duì)應(yīng)的加工后輸出。
文檔編號(hào)H04N5/232GK1820509SQ0382692
公開(kāi)日2006年8月16日 申請(qǐng)日期2003年9月16日 優(yōu)先權(quán)日2003年9月16日
發(fā)明者黑木健一郎, 但馬裕二, 山岸伸貴 申請(qǐng)人:富士通株式會(huì)社