專利名稱：圖像編碼裝置以及圖像編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像編碼技術(shù)及圖像譯碼技術(shù)，特別是將圖像的一部分區(qū)域優(yōu)先編碼或譯碼的裝置及方法。而且，本發(fā)明還涉及圖像顯示裝置及圖像顯示方法、再生圖像流的裝置以及圖像處理裝置。
背景技術(shù)：
在ISO/ITU-T中，作為靜止圖像的壓縮編碼的標(biāo)準(zhǔn)技術(shù)JPEG(JointPhotgraphic Expert Group)的后繼，正在進(jìn)行采用了離散小波變換(DWT)的JPEG2000的標(biāo)準(zhǔn)化。在JPEG2000中，從低位延遲編碼到無(wú)損壓縮，可以以高性能對(duì)廣范圍的圖像質(zhì)量進(jìn)行編碼，也容易實(shí)現(xiàn)緩緩提高圖像質(zhì)量的可擴(kuò)縮性(scalability)功能。而且，在JPEG2000中，準(zhǔn)備有現(xiàn)有的JPEG標(biāo)準(zhǔn)中沒(méi)有的多種功能。
作為JPEG2000的功能之一，將圖像的注目區(qū)域(Region of Interest；ROI)比其他區(qū)域優(yōu)先編碼，傳送的ROI編碼被標(biāo)準(zhǔn)化。根據(jù)ROI編碼，當(dāng)在編碼延遲中存在上限時(shí)，除可優(yōu)先使注目區(qū)域的再生圖像質(zhì)量成為高品質(zhì)外，當(dāng)依次將編碼圖像流譯碼時(shí)，可提早以高品質(zhì)再生注目區(qū)域。
作為ROI編碼，有將對(duì)應(yīng)于圖像注目區(qū)域的小波變換系數(shù)(以下稱為ROI變換系數(shù))的位平面只尺度放大對(duì)應(yīng)于非注目區(qū)域的小波變換系數(shù)(以下稱為非ROI變換系數(shù))的位平面的最大位數(shù)的最大位移法，根據(jù)該方法，ROI變換系數(shù)的所有位平面都比任何一個(gè)非ROI變換系數(shù)的位平面先進(jìn)行編碼。而且，也公知通過(guò)將ROI變換系數(shù)的位平面只尺度放大規(guī)定位數(shù)，從而使ROI變換系數(shù)的一部分高位位比非ROI變換系數(shù)還優(yōu)先進(jìn)行編碼的方法。在專利文獻(xiàn)1中，提出了這些ROI編碼方法的改良技術(shù)。
圖1是現(xiàn)有的圖像編碼裝置100的構(gòu)成圖。該圖像編碼裝置100利用最大位移法進(jìn)行ROI編碼。小波變換部10將輸入的原圖像進(jìn)行小波變換，輸出小波變換系數(shù)。量子化部12將原圖像的小波變換系數(shù)量子化。圖2(a)表示量子化后的小波變換系數(shù)50，包括從最高位(Most Significant Bit；MSB)到最低位(Least Signifcant Bit；LSB)的5位的各位平面。
ROI選擇部18選擇原圖像上的注目區(qū)域，ROI掩碼生成部20生成用于特定對(duì)應(yīng)于被選擇的注目區(qū)域的小波變換系數(shù)即ROI變換系數(shù)的ROI掩碼。ROI變換系數(shù)在圖2(a)的小波變換系數(shù)50中以斜線表示。
ROI尺度放大部22參照ROI掩碼，將被量子化的ROI變換系數(shù)只尺度放大S位。即，將ROI變換系數(shù)的值只左移S位。在此，尺度放大量S是比對(duì)應(yīng)于非注目區(qū)域的小波變換系數(shù)即ROI變換系數(shù)的量子化值的最大值位數(shù)還大的自然數(shù)。圖2(b)表示ROI變換系數(shù)只被尺度放大5位后的狀態(tài)的小波變換系數(shù)52。在尺度放大后的變換系數(shù)52中，對(duì)通過(guò)尺度放大而新產(chǎn)生的位充零值。
平均信息量編碼部14如圖2(c)的箭頭所示，將尺度放大后的小波變換系數(shù)52的量子化值從高位位平面依次進(jìn)行掃描的同時(shí)進(jìn)行平均信息量編碼。編碼數(shù)據(jù)生成部16將平均信息量編碼后的數(shù)據(jù)與量子化幅度等編碼參數(shù)、表示注目區(qū)域位置的ROI位置信息及尺度放大量一起進(jìn)行流化，以作為編碼圖像輸出。
圖3是現(xiàn)有的圖像譯碼裝置110的構(gòu)成圖。該圖像譯碼裝置110利用最大位移法對(duì)ROI編碼后的圖像進(jìn)行譯碼。編碼數(shù)據(jù)提取部30從輸入的編碼圖像提取編碼數(shù)據(jù)、各種編碼參數(shù)、ROI位置信息及尺度放大量。平均信息量譯碼部32按每個(gè)位平面對(duì)編碼數(shù)據(jù)進(jìn)行譯碼，并將得到的小波變換系數(shù)的量子化值存儲(chǔ)到存儲(chǔ)器中。圖4(a)表示平均信息量譯碼后的小波變換系數(shù)54。對(duì)應(yīng)于圖2(a)～(c)的示例，尺度放大量S是5位，平均信息量譯碼后的小波變換系數(shù)54總共包含10位平面。
ROI掩碼生成部38以ROI位置信息為基礎(chǔ)，生成特定ROI變換系數(shù)的掩碼。ROI尺度縮小部40參照ROI掩碼，將被量子化的小波變換系數(shù)中的ROI變換系數(shù)只尺度縮小S位。圖4(b)表示ROI變換系數(shù)只被尺度縮小5位后額狀態(tài)的小波變換系數(shù)56。通過(guò)尺度縮小而剩余的非ROI變換系數(shù)的高位5位被舍棄，得到總共5位平面的被量子化后的小波變換系數(shù)56。
逆量子化部34將包含被尺度縮小的ROI變換系數(shù)的小波變換系數(shù)的量子化值進(jìn)行逆量子化，小波逆變換部36對(duì)被逆量子化后的小波變換系數(shù)進(jìn)行小波變換，并輸出得到的譯碼圖像。
再者，Motion-JPEG2000與MPEG(Motion Picture Coding ExpertsGroup)等動(dòng)態(tài)圖像編碼規(guī)格相比，因?yàn)椴皇褂脦嚓P(guān)，所以盡管壓縮率差，但具有以幀為單位的編輯功能、可逆編碼功能方面的優(yōu)點(diǎn)，可以說(shuō)隱藏了較大的可能性。
作為靈活應(yīng)用該JPEG2000特性的技術(shù)示例，在專利文獻(xiàn)2中公開(kāi)了在圖像譯碼的各階段，比較經(jīng)過(guò)時(shí)間和限制時(shí)間，并根據(jù)需要簡(jiǎn)化譯碼處理的技術(shù)。據(jù)此，可以以比較小的規(guī)模構(gòu)成，對(duì)比較高的圖像質(zhì)量的圖像進(jìn)行譯碼。
專利文獻(xiàn)1特開(kāi)2001-45484號(hào)公報(bào)專利文獻(xiàn)2特開(kāi)2002-325257號(hào)公報(bào)在以上的現(xiàn)有的ROI編碼中，因?yàn)樵诰幋a時(shí)將對(duì)應(yīng)于注目區(qū)域的小波變換系數(shù)尺度放大之后，進(jìn)行位平面的編碼，故為了存儲(chǔ)尺度放大后的位平面，存儲(chǔ)器容量需要有余量。而且，因?yàn)楸仨氈粚⒊叨确糯蠛蟮奈黄矫娌糠肿鳛橛嗔坎糠诌M(jìn)行編碼，故在編碼處理中要花費(fèi)時(shí)間。
在將被ROI編碼后的編碼圖像進(jìn)行譯碼時(shí)，為了按每個(gè)位平面對(duì)編碼圖像進(jìn)行譯碼，根據(jù)尺度放大量需要多余的存儲(chǔ)器容量。而且，需要進(jìn)行由編碼圖像數(shù)據(jù)取得ROI位置信息，并特定對(duì)應(yīng)于注目區(qū)域的小波變換系數(shù)，將特定的注目區(qū)域的小波變換系數(shù)進(jìn)行尺度縮小、的處理。
這樣，現(xiàn)有的ROI編碼由于伴隨尺度放大處理，故需要存儲(chǔ)器容量有余量，存在運(yùn)算量也增加的問(wèn)題。
在上述現(xiàn)有的ROI編碼中，當(dāng)有多個(gè)注目區(qū)域時(shí)，存在在這些注目區(qū)域間不能設(shè)置圖像質(zhì)量的差異的問(wèn)題。
今后，期待廣泛實(shí)行利用JPEG2000的圖像內(nèi)容的配送和有效使用。被配送的圖像中、例如監(jiān)視照相機(jī)，有時(shí)只有其一部分需要高圖像質(zhì)量，但在除此之外的區(qū)域不需要那樣高的圖像質(zhì)量。而且，將由使用者指定的區(qū)域高圖像質(zhì)量化時(shí)，有時(shí)其處理量的增加會(huì)超過(guò)圖像處理裝置的能力，而產(chǎn)生彗差降落等。

發(fā)明內(nèi)容
本發(fā)明是鑒于這樣的課題而進(jìn)行的，其目的在于提供一種不增加多余的成本，而可以將一部分區(qū)域優(yōu)先編碼，將編碼后的圖像數(shù)據(jù)譯碼的圖像編碼及譯碼技術(shù)。
另一目的在于提供一種可以將包含不同圖像質(zhì)量的多個(gè)區(qū)域圖像編碼、譯碼及顯示的圖像編碼技術(shù)、圖像譯碼技術(shù)及圖像顯示技術(shù)。
再者，另一目的在于提供一種在不超過(guò)譯碼處理能力的范圍內(nèi)調(diào)整圖像質(zhì)量的技術(shù)。
本發(fā)明的一種圖像編碼方法，其特征在于，用于對(duì)在動(dòng)態(tài)圖像上定義的注目區(qū)域進(jìn)行特定的信息被記述在包含所述動(dòng)態(tài)圖像的編碼數(shù)據(jù)的編碼流中。
本發(fā)明的另一種圖像編碼方法，其特征在于，用于對(duì)在圖像上定義的多個(gè)注目區(qū)域進(jìn)行特定的信息被記述在包含所述圖像的編碼數(shù)據(jù)的編碼流中。
本發(fā)明的一種圖像編碼裝置，包括選擇單元，選擇動(dòng)態(tài)圖像上的注目區(qū)域；編碼單元，對(duì)所述動(dòng)態(tài)圖像進(jìn)行編碼；和生成單元，生成編碼流，該編碼流包括編碼動(dòng)態(tài)圖像和用于特定所述注目區(qū)域的信息。
本發(fā)明的另一種圖像編碼裝置，包括選擇單元，選擇圖像上的多個(gè)注目區(qū)域；編碼單元，對(duì)所述圖像進(jìn)行編碼；和生成單元，生成編碼流，該編碼流包括編碼圖像和用于特定所述多個(gè)注目區(qū)域的信息。
本發(fā)明的某種形態(tài)涉及圖像編碼裝置。該裝置包括將圖像變換為空間頻率區(qū)域并生成變換系數(shù)的變換部；在對(duì)應(yīng)于上述圖像上的一部分區(qū)域的上述變換系數(shù)的位列中，只將低位位的規(guī)定位數(shù)置換為零值的置換部；和由上述置換部置換后，將上述圖像整體的上述變換系數(shù)的位列從高位位依次進(jìn)行壓縮編碼的編碼部。還可以包括生成用于特定對(duì)應(yīng)于上述圖像上的一部分區(qū)域的上述變換系數(shù)的掩碼的掩碼生成部。
在此，置換為零值的低位位也可以是從上述變換系數(shù)的最低位位數(shù)開(kāi)始數(shù)，規(guī)定位數(shù)的連續(xù)的位部分列。
圖像上的一部分區(qū)域也可以是設(shè)于圖像上的非注目區(qū)域。該非注目區(qū)域也可以通過(guò)在圖像上設(shè)置注目區(qū)域而相對(duì)地設(shè)定。注目區(qū)域和非注目區(qū)域存在如將一個(gè)區(qū)域確定為注目，則另一個(gè)區(qū)域成為非注目區(qū)域的相對(duì)關(guān)系，作為一例，也可以是優(yōu)先度相對(duì)不同的某個(gè)區(qū)域、特別是對(duì)圖像質(zhì)量的要求水平相對(duì)不同的某個(gè)區(qū)域。注目區(qū)域是與其他區(qū)域相比優(yōu)先度高、特別是圖像質(zhì)量要求高的區(qū)域，非注目區(qū)域也可以是與其他區(qū)域相比優(yōu)先度低、特別是圖像質(zhì)量要求低的區(qū)域。
根據(jù)該構(gòu)成，將圖像所在的區(qū)域比其他區(qū)域優(yōu)先進(jìn)行編碼，在譯碼再生時(shí)可相對(duì)提高該區(qū)域的圖像質(zhì)量。而且，通過(guò)將其他區(qū)域的低位信息降低，從而可以以高壓縮率對(duì)圖像進(jìn)行編碼。
本發(fā)明的另一形態(tài)也涉及圖像編碼裝置。該裝置包括將圖像變換為空間頻率區(qū)域，以生成變換系數(shù)的變換部；在分別對(duì)應(yīng)于上述圖像上的多個(gè)區(qū)域的上述變換系數(shù)的位列中，只將低位位的對(duì)應(yīng)于各區(qū)域優(yōu)先度位數(shù)置換為零值的置換部；由上述置換部置換后，將上述圖像整體的上述變換系數(shù)的位列從高位位依次進(jìn)行壓縮編碼的編碼部。還可以包括生成用于特定對(duì)應(yīng)于上述圖像上的多個(gè)區(qū)域的上述變換系數(shù)的掩碼的掩碼生成部。
根據(jù)上述構(gòu)成，可使在多個(gè)區(qū)域間再生時(shí)的圖像質(zhì)量有差異。上述置換部，當(dāng)在上述多個(gè)區(qū)域間有重復(fù)區(qū)域時(shí)，在上述重復(fù)區(qū)域中，也可以根據(jù)優(yōu)先度高的區(qū)域的優(yōu)先度來(lái)決定置換為零值的低位位。
本發(fā)明的另一形態(tài)也涉及圖像編碼裝置。該裝置包括將圖像進(jìn)行小波變換并生成小波變換系數(shù)的變換部；在對(duì)應(yīng)于上述圖像上的一部分區(qū)域的上述小波變換系數(shù)的位列中，只將低位位的規(guī)定位數(shù)置換為零值的置換部；由上述置換部置換后，將上述圖像整體的上述小波變換系數(shù)的位列從高位位平面依次進(jìn)行壓縮編碼的編碼部。還可以包括生成用于特定對(duì)應(yīng)于上述圖像上的一部分區(qū)域的上述小波變換系數(shù)的掩碼的掩碼生成部。
本發(fā)明的又一形態(tài)涉及圖像譯碼裝置。該裝置包括將壓縮編碼后的圖像進(jìn)行譯碼，以取得空間頻率區(qū)域中的變換系數(shù)的譯碼部；在對(duì)應(yīng)于上述圖像上的一部分區(qū)域的上述變換系數(shù)的位列中，只將低位位的規(guī)定位數(shù)置換為零值的置換部；由上述置換部置換后，將上述圖像整體的上述變換系數(shù)的位列進(jìn)行逆變換，以還原圖像的逆變換部。還可以包括生成用于特定對(duì)應(yīng)于上述圖像上的一部分區(qū)域的上述變換系數(shù)的掩碼的掩碼生成部。
根據(jù)該構(gòu)成，當(dāng)譯碼編碼圖像時(shí)，將圖像所在的區(qū)域比其他區(qū)域優(yōu)先進(jìn)行譯碼，可以以高品質(zhì)再生該區(qū)域。換言之，通過(guò)將其他區(qū)域的低位位信息降低而降低品質(zhì)，從而可相對(duì)提高該區(qū)域的圖像質(zhì)量并再生圖像。
本發(fā)明的另一形態(tài)也涉及圖像譯碼裝置。該裝置包括將壓縮編碼過(guò)的圖像進(jìn)行譯碼，以取得空間頻率區(qū)域的變換系數(shù)的譯碼部；在對(duì)應(yīng)于上述圖像上的多個(gè)區(qū)域的上述變換系數(shù)的位列中，只將低位位的對(duì)應(yīng)于各區(qū)域的優(yōu)先度的位數(shù)置換為零值的置換部；由上述置換部置換后，將上述圖像整體的上述變換系數(shù)的位列進(jìn)行逆變換，以還原圖像的逆變換部。還可以包括生成用于特定對(duì)應(yīng)于上述圖像上的多個(gè)區(qū)域的上述變換系數(shù)的掩碼的掩碼生成部。
根據(jù)該構(gòu)成，在多個(gè)區(qū)域間也可以在再生圖像質(zhì)量中存在差異。
本發(fā)明的另一形態(tài)也涉及圖像譯碼裝置。該裝置包括將壓縮編碼后的圖像進(jìn)行譯碼，以取得小波變換系數(shù)的譯碼部；在對(duì)應(yīng)于上述圖像上的一部分區(qū)域的上述小波變換系數(shù)的位列中，只將低位位的規(guī)定位數(shù)置換為零值的置換部；由上述置換部置換后，將上述圖像整體的上述小波變換系數(shù)的位列進(jìn)行逆變換，以還原圖像的逆變換部。還可以包括生成用于特定對(duì)應(yīng)于上述圖像上的一部分區(qū)域的上述小波變換系數(shù)的掩碼的掩碼生成部。
本發(fā)明的另一形態(tài)涉及圖像編碼方法。該方法是在圖像的空間頻率區(qū)域的變換系數(shù)中，特定對(duì)應(yīng)于上述圖像上的一部分區(qū)域的上述變換系數(shù)；在對(duì)應(yīng)于特定的上述一部分區(qū)域的上述變換系數(shù)的位列中，只將低位位的規(guī)定位數(shù)置換為零值；在此基礎(chǔ)上，匯總上述圖像整體的上述變換系數(shù)的位列，并從高位位依次進(jìn)行壓縮編碼。
本發(fā)明的另一形態(tài)涉及圖像譯碼方法。該方法是在將壓縮編碼過(guò)的圖像進(jìn)行譯碼而取得的上述圖像的空間頻率區(qū)域的變換系數(shù)中，特定對(duì)應(yīng)于上述圖像上的一部分區(qū)域的上述變換系數(shù)；在對(duì)應(yīng)于特定的上述一部分區(qū)域的上述變換系數(shù)的位列中，只將低位位的規(guī)定位數(shù)置換為零值，在此基礎(chǔ)上，將上述圖像整體的上述變換系數(shù)的位列進(jìn)行逆變換并還原圖像。
本發(fā)明的又一形態(tài)也涉及圖像編碼方法。該方法是在圖像的空間頻率區(qū)域的變換系數(shù)中，特定對(duì)應(yīng)于上述圖像上的多個(gè)區(qū)域的上述變換系數(shù)；在對(duì)應(yīng)于特定的上述多個(gè)區(qū)域的上述變換系數(shù)的位列中，只將低位位的對(duì)應(yīng)于各區(qū)域的優(yōu)先度的位數(shù)置換為零值，在此基礎(chǔ)上，匯總上述圖像整體的上述變換系數(shù)的位列并從高位位依次進(jìn)行壓縮編碼。
本發(fā)明還有一種形態(tài)也涉及圖像譯碼方法。該方法是在將壓縮編碼過(guò)的圖像進(jìn)行譯碼而取得的上述圖像的空間頻率區(qū)域的變換系數(shù)中，特定對(duì)應(yīng)于上述圖像上的多個(gè)區(qū)域的上述變換系數(shù)；在對(duì)應(yīng)于特定的上述多個(gè)區(qū)域的上述變換系數(shù)的位列中，只將低位位的對(duì)應(yīng)于各區(qū)域優(yōu)先度的位數(shù)置換為零值，在此基礎(chǔ)上，將上述圖像整體的上述變換系數(shù)的位列進(jìn)行逆變換并還原圖像。
本發(fā)明還有另一形態(tài)涉及圖像顯示裝置。該裝置包括顯示部，按對(duì)畫面設(shè)定的多個(gè)區(qū)域，將圖像質(zhì)量不同的動(dòng)態(tài)圖像顯示在所述畫面上。
可以進(jìn)一步包括相對(duì)上述畫面指定注目區(qū)域和非注目區(qū)域的至少一方的指定部，通過(guò)上述注目區(qū)域和上述非注目區(qū)域的至少一方的指定，從而相對(duì)上述畫面設(shè)定多個(gè)區(qū)域。例如，通過(guò)相對(duì)畫面指定一個(gè)注目區(qū)域，從而可以相對(duì)畫面設(shè)定注目區(qū)域和除此之外的區(qū)域的2個(gè)區(qū)域。而且，通過(guò)相對(duì)畫面指定一個(gè)非注目區(qū)域，從而可以相對(duì)畫面設(shè)定非注目區(qū)域和除此之外的區(qū)域的2個(gè)區(qū)域。注目區(qū)域或非注目區(qū)域也可以被指定多個(gè)，而且，可通過(guò)組合注目區(qū)域和非注目區(qū)域而設(shè)定，來(lái)設(shè)定注目區(qū)域、非注目區(qū)域、除此之外的區(qū)域的多個(gè)區(qū)域。
在此，所謂“使顯示在畫面上的顯示部”是指在同時(shí)包含顯示器等畫面、和進(jìn)行供給到畫面的圖像信號(hào)的輸出控制的顯示控制部的形式外，還包含具有與顯示器連接的接口、不含顯示器而只有顯示控制部的形式。這其中的任何形式均被包括在該技術(shù)范圍內(nèi)。
本發(fā)明還有另一形態(tài)也涉及圖像顯示裝置。該裝置包括顯示部，具有圖像質(zhì)量不同的多個(gè)區(qū)域，將與這些區(qū)域有重疊的動(dòng)態(tài)圖像顯示在畫面上。
本發(fā)明還有另一形態(tài)也涉及圖像顯示裝置。該裝置包括顯示部，將具有保持可視性且圖像質(zhì)量不同的多個(gè)區(qū)域的動(dòng)態(tài)圖像顯示在畫面上。在此，所謂“保持可視性且圖像質(zhì)量不同”是在可以作為對(duì)象物的圖像識(shí)別范圍內(nèi)調(diào)整圖像質(zhì)量，包括在可以把握對(duì)象物的范圍內(nèi)，降低圖像質(zhì)量，或者相反，使注目區(qū)域比其他區(qū)域提高圖像質(zhì)量。
本發(fā)明的另一形態(tài)也涉及圖像顯示裝置。該裝置包括相對(duì)顯示動(dòng)態(tài)圖像的畫面，選擇注目區(qū)域和非注目區(qū)域的至少一方的選擇部；通過(guò)選擇上述注目區(qū)域和上述非注目區(qū)域的至少一方，從而使圖像質(zhì)量在每個(gè)相對(duì)上述畫面而設(shè)定的多個(gè)區(qū)域中不同的上述動(dòng)態(tài)圖像顯示在上述畫面上的顯示部。根據(jù)該構(gòu)成，可以按意愿改變多個(gè)區(qū)域的圖像質(zhì)量并使其顯示。
在此，使用者可以通過(guò)相對(duì)畫面指定區(qū)域來(lái)選擇多個(gè)區(qū)域。再者，多個(gè)區(qū)域還可以通過(guò)以某方法提取特定對(duì)象物存在的區(qū)域來(lái)進(jìn)行選擇。例如，通過(guò)圖像識(shí)別方法，可以將寫有文字的區(qū)域、寫有人物的區(qū)域以及其他區(qū)域作為多個(gè)區(qū)域提取。再者，可以預(yù)先設(shè)定畫面的中心部及其周邊、外周部等特定位置被預(yù)先設(shè)定，將該被設(shè)定的位置作為多個(gè)區(qū)域來(lái)選擇。
上述選擇部對(duì)上述每個(gè)區(qū)域設(shè)定優(yōu)先度，上述顯示部也可以將上述多個(gè)區(qū)域以對(duì)應(yīng)于優(yōu)先度的圖像質(zhì)量顯示。在上述多個(gè)區(qū)域間有重復(fù)時(shí)，也可以在重復(fù)的部分中按照優(yōu)先度高的一方?jīng)Q定圖像質(zhì)量。優(yōu)先度可以在使用者對(duì)畫面指定區(qū)域時(shí)進(jìn)行指定。而且，提高畫面中心部的優(yōu)先度或提高寫有文字的區(qū)域的優(yōu)先度等，可以預(yù)先確定優(yōu)先度。
本發(fā)明還有另一形態(tài)也涉及圖像顯示裝置。該裝置包括相對(duì)顯示動(dòng)態(tài)圖像的畫面選擇注目區(qū)域的選擇部；和在沒(méi)有選擇上述注目區(qū)域的狀態(tài)下，以規(guī)定的圖像質(zhì)量顯示整個(gè)畫面，在選擇了上述注目區(qū)域的狀態(tài)下，使該注目區(qū)域的圖像質(zhì)量比其他區(qū)域的圖像質(zhì)量還高地進(jìn)行顯示的顯示部。根據(jù)該構(gòu)成，當(dāng)動(dòng)態(tài)圖像正常再生時(shí)，例如以低圖像質(zhì)量進(jìn)行簡(jiǎn)易再生，在選擇了注目區(qū)域的情況下，可提高該注目區(qū)域的圖像質(zhì)量，以進(jìn)行再生。
上述顯示部在選擇多個(gè)上述注目區(qū)域時(shí)，可使在圖像質(zhì)量每個(gè)上述注目區(qū)域中不同地進(jìn)行顯示。上述選擇部，可以將存在時(shí)間變化的區(qū)域作為上述注目區(qū)域來(lái)選擇。當(dāng)存在時(shí)間變化的區(qū)域有多個(gè)時(shí)，顯示部可以根據(jù)時(shí)間變化的程度來(lái)改變圖像質(zhì)量。
本發(fā)明的另一形態(tài)涉及圖像顯示方法。該方法是按對(duì)畫面設(shè)定的多個(gè)區(qū)域，讓圖像質(zhì)量不同，并將動(dòng)態(tài)圖像顯示在所述畫面上。該動(dòng)態(tài)圖像可以從存儲(chǔ)裝置讀出，也可以通過(guò)網(wǎng)絡(luò)輸入。
本發(fā)明的其他形態(tài)涉及圖像編碼裝置。該裝置包括將圖像變換為空間頻率區(qū)域并生成變換系數(shù)的變換部；將分別對(duì)應(yīng)于上述多個(gè)區(qū)域的上述變換系數(shù)位列，只尺度放大對(duì)應(yīng)于各區(qū)域的優(yōu)先度的位數(shù)的尺度放大部；由上述尺度放大部進(jìn)行尺度放大后，將上述圖像整體的上述變換系數(shù)從高位位依次進(jìn)行壓縮編碼的編碼部。還可以包括生成用于特定對(duì)應(yīng)于上述圖像上的多個(gè)區(qū)域的上述變換系數(shù)的掩碼的掩碼生成部。
本發(fā)明的又一形態(tài)也涉及圖像編碼裝置。該裝置包括將圖像進(jìn)行小波變換并生成小波變換系數(shù)的變換部；將分別對(duì)應(yīng)于上述多個(gè)區(qū)域的上述小波變換系數(shù)的位列，只尺度放大對(duì)應(yīng)于各區(qū)域的優(yōu)先度的位數(shù)的尺度放大部；由上述尺度放大部進(jìn)行了尺度放大后，將上述圖像整體的上述小波變換系數(shù)從高位位平面依次進(jìn)行壓縮編碼的編碼部。還可以包括生成用于特定對(duì)應(yīng)于上述圖像上的多個(gè)區(qū)域的上述小波變換系數(shù)的掩碼的掩碼生成部。
本發(fā)明的再一形態(tài)涉及圖像編碼方法。該方法是在圖像的小波變換系數(shù)中，特定對(duì)應(yīng)于上述圖像上的多個(gè)區(qū)域的上述小波變換系數(shù)，將對(duì)應(yīng)于特定的上述多個(gè)區(qū)域的上述小波變換系數(shù)的位列，只尺度放大對(duì)應(yīng)于各區(qū)域的優(yōu)先度的位數(shù)，在此基礎(chǔ)上，匯總上述圖像整體的上述小波變換系數(shù)位列并從高位位平面依次進(jìn)行壓縮編碼。
本發(fā)明的另一形態(tài)也涉及圖像編碼裝置。該裝置包括在圖像上選擇優(yōu)先度不同的多個(gè)區(qū)域的區(qū)域選擇部；根據(jù)上述多個(gè)區(qū)域的各自優(yōu)先度對(duì)上述圖像進(jìn)行壓縮編碼，以生成包含圖像質(zhì)量不同的多個(gè)區(qū)域的編碼圖像的編碼部。還包括將圖像變換為空間頻率區(qū)域，以生成變換系數(shù)的變換部；生成用于特定對(duì)應(yīng)于由上述區(qū)域選擇部選擇的上述多個(gè)區(qū)域的上述變換系數(shù)的掩碼的掩碼生成部，上述編碼部可以參照上述掩碼，對(duì)設(shè)有上述多個(gè)區(qū)域的上述圖像進(jìn)行壓縮編碼。
本發(fā)明的其他形態(tài)涉及圖像譯碼裝置。該裝置包括在圖像上選擇優(yōu)先度不同的多個(gè)區(qū)域的區(qū)域選擇部；和根據(jù)上述多個(gè)區(qū)域的各自優(yōu)先度，對(duì)上述壓縮編碼后的圖像進(jìn)行逆變換，以還原包含圖像質(zhì)量不同的多個(gè)區(qū)域圖像的逆變換部。還包括將壓縮編碼后的圖像進(jìn)行譯碼，以取得空間頻率區(qū)域的變換系數(shù)的譯碼部；和生成用于特定對(duì)應(yīng)于由上述區(qū)域選擇部選擇的上述多個(gè)區(qū)域的上述變換系數(shù)的掩碼的掩碼生成部，上述逆變換部可以參照上述掩碼，對(duì)設(shè)有上述多個(gè)區(qū)域的上述壓縮編碼后的圖像進(jìn)行逆變換。
本發(fā)明的另一形態(tài)涉及圖像處理裝置。該裝置對(duì)動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行譯碼，以使畫面上的多個(gè)區(qū)域的圖像質(zhì)量帶有差異地顯示，分別調(diào)整上述多個(gè)區(qū)域的圖像質(zhì)量，以使整個(gè)譯碼處理的處理量不超過(guò)規(guī)定值。根據(jù)該形態(tài)，可以使畫面上的多個(gè)區(qū)域的圖像質(zhì)量不同，并可將顯示動(dòng)態(tài)圖像時(shí)的處理量抑制在恒定值以下。
本發(fā)明的另一形態(tài)也涉及圖像處理裝置。該裝置具有相對(duì)畫面指定注目區(qū)域的區(qū)域指定部；和在注目區(qū)域與其以外的通常區(qū)域之間的圖像質(zhì)量上帶有差異地譯碼圖像，以輸出動(dòng)態(tài)圖像數(shù)據(jù)的譯碼部。在此，所謂“注目區(qū)域”是指使用者在圖像中想通過(guò)提高分辨率而再生的區(qū)域，使用指示器(pointing device)等輸入裝置進(jìn)行指定。根據(jù)該形態(tài)，可以以所希望的圖像質(zhì)量只對(duì)由使用者指定的注目區(qū)域進(jìn)行再生。
譯碼部可分別調(diào)整上述注目區(qū)域和上述通常區(qū)域的圖像質(zhì)量，以使整個(gè)譯碼處理的處理量不超過(guò)規(guī)定的閾值。或者，譯碼部使上述注目區(qū)域的圖像質(zhì)量提高，另一方面也可使上述通常區(qū)域的圖像質(zhì)量降低。據(jù)此，不增加圖像處理裝置的處理量，即可以高圖像質(zhì)量再生使用者關(guān)心的某注目區(qū)域。
區(qū)域指定部也可以包括在使上述注目區(qū)域的圖像質(zhì)量提高時(shí)，判斷譯碼處理整體的處理量是否超過(guò)規(guī)定閾值的判斷部；和根據(jù)判斷結(jié)果決定是否允許提高上述注目區(qū)域的圖像質(zhì)量的圖像質(zhì)量指示部。據(jù)此，在欲增加譯碼處理量、提高圖像處理裝置的處理能力時(shí)，由于不允許提高注目區(qū)域的圖像質(zhì)量，故可避免處理量因提高圖像處理裝置的上限處理能力而導(dǎo)致的彗差產(chǎn)生。
代替其，區(qū)域指定部也可包括使上述注目區(qū)域圖像質(zhì)量提高的圖像質(zhì)量指示部；和通過(guò)提高上述注目區(qū)域的圖像質(zhì)量，來(lái)判斷與譯碼相關(guān)的處理量是否超過(guò)規(guī)定閾值的判定部。這種情況下，上述圖像質(zhì)量指示部在根據(jù)判定部的判定結(jié)果，判明為上述處理量超過(guò)閾值時(shí)，使通常區(qū)域的圖像質(zhì)量降低。據(jù)此，隨著增加注目區(qū)域的編碼處理量并提高圖像質(zhì)量，這樣通過(guò)減小通常區(qū)域的編碼處理量，從而可使圖像處理裝置整體的處理量為上限處理能力以下。
圖像質(zhì)量指示部在判明上述處理量超過(guò)閾值時(shí)，也可對(duì)使用者發(fā)出通常區(qū)域的圖像質(zhì)量降低的警告顯示。于是，使用者可預(yù)先了解通常區(qū)域成為低圖像質(zhì)量的狀況。
圖像質(zhì)量指示部在判明上述處理量超過(guò)閾值時(shí)，也可對(duì)使用者發(fā)出是否執(zhí)行上述注目區(qū)域圖像質(zhì)量提高的詢問(wèn)顯示。據(jù)此，使用者可以根據(jù)重要程度，來(lái)判斷是否應(yīng)特意執(zhí)行注目區(qū)域的圖像質(zhì)量提高。
而且，上述編碼圖像數(shù)據(jù)可以根據(jù)分辨率而被復(fù)用。在一例中，編碼圖像數(shù)據(jù)是依據(jù)連續(xù)傳送按每幀被壓縮的圖像的Motion-JPEG2000的數(shù)據(jù)。據(jù)此，因?yàn)榫幋a圖像數(shù)據(jù)可以根據(jù)分辨率而被復(fù)用，故很容易提取譯碼過(guò)程中生成的中間圖像，以用作低分辨率的圖像。
另外，以上構(gòu)成要素的任意組合、在方法、裝置、系統(tǒng)、計(jì)算機(jī)程序、記錄介質(zhì)等之間變換本發(fā)明的表現(xiàn)的形態(tài)，作為本發(fā)明的方式也是有效的。


圖1是現(xiàn)有的圖像編碼裝置100的構(gòu)成圖。
圖2是說(shuō)明原圖像的小波變換系數(shù)被尺度放大的情況的圖。
圖3是現(xiàn)有的圖像譯碼裝置的構(gòu)成圖。
圖4是說(shuō)明編碼圖像譯碼后的小波變換系數(shù)被尺度縮小的情況的圖。
圖5是實(shí)施方式1涉及的圖像編碼裝置的構(gòu)成圖。
圖6是說(shuō)明用于特定對(duì)應(yīng)于原圖像的注目區(qū)域的小波變換系數(shù)的掩碼的圖。
圖7是說(shuō)明原圖像的小波變換系數(shù)的低位位被零置換的情況的圖。
圖8是說(shuō)明原圖像上不存在注目區(qū)域情況下、小波變換系數(shù)的低位位被零置換的情況的圖。
圖9是實(shí)施方式1涉及的圖像譯碼裝置的構(gòu)成圖。
圖10是實(shí)施方式2涉及的圖像譯碼裝置的構(gòu)成圖。
圖11是說(shuō)明編碼圖像譯碼后的小波變換系數(shù)的低位位被零置換的情況的圖。
圖12是實(shí)施方式3涉及的圖像編碼裝置的構(gòu)成圖。
圖13是說(shuō)明在原圖像中設(shè)定多個(gè)注目區(qū)域時(shí)的優(yōu)先度設(shè)定例的圖。
圖14是說(shuō)明原圖像的小波變換系數(shù)的低位位被零置換的情況的圖。
圖15是說(shuō)明在原圖像上設(shè)置的多個(gè)注目區(qū)域中存在重復(fù)時(shí)優(yōu)先度設(shè)定的例子的圖。
圖16是說(shuō)明在設(shè)定于原圖像上的多個(gè)注目區(qū)域中存在重疊，在注目區(qū)域內(nèi)包含非注目區(qū)域的情況下的優(yōu)先度設(shè)定例的圖。
圖17是說(shuō)明在圖16的例子中、原圖像的小波變換系數(shù)的低位位被零置換的情況的圖。
圖18是實(shí)施方式4涉及的圖像譯碼裝置的構(gòu)成圖。
圖19是說(shuō)明編碼圖像譯碼后的小波變換系數(shù)的低位位被零置換的情況的圖。
圖20是實(shí)施方式5涉及的圖像編碼裝置的構(gòu)成圖。
圖21是說(shuō)明原圖像的小波變換系數(shù)被尺度放大的情況的圖。
圖22是實(shí)施方式5涉及的圖像譯碼裝置的構(gòu)成圖。
圖23是說(shuō)明編碼圖像譯碼后的小波變換系數(shù)被尺度放大的情況的圖。
圖24是實(shí)施方式6涉及的圖像顯示裝置的構(gòu)成圖。
圖25是表示圖像編碼處理順序的圖。
圖26是實(shí)施方式7涉及的圖像處理裝置的構(gòu)成圖。
圖27是表示圖像譯碼處理順序的圖。
圖28是說(shuō)明根據(jù)圖像處理裝置進(jìn)行的幀處理的圖。
圖29是說(shuō)明存儲(chǔ)器控制部的處理的流程圖。
圖30是實(shí)施方式8涉及的圖像顯示裝置的構(gòu)成圖。
圖31是實(shí)施方式9涉及的圖像處理裝置的構(gòu)成圖。
圖32(a)～(c)是說(shuō)明用于特定對(duì)應(yīng)于原圖像的注目區(qū)域的小波變換系數(shù)的掩碼的圖。
圖33(a)、(b)是說(shuō)明小波變換系數(shù)的低位位被零置換的情況的圖。
圖34(a)～(c)是說(shuō)明在原圖像中指定注目區(qū)域時(shí)的小波變換系數(shù)的圖。
圖35是說(shuō)明判定部的處理的流程圖。
圖36(a)、(b)是表示提高注目區(qū)域的圖像質(zhì)量的情況的圖。
圖37(a)～(c)是說(shuō)明在原圖像中指定注目區(qū)域且處理量大的情況下，小波變換系數(shù)的低位位被零置換的情況的圖。
圖38是說(shuō)明判定部處理的另一實(shí)施例的流程圖。
圖39(a)、(b)是表示提高注目區(qū)域圖像質(zhì)量而降低通常區(qū)域圖像質(zhì)量的情況的圖。
圖40(a)、(b)是表示維持注目區(qū)域圖像質(zhì)量不變而降低通常區(qū)域圖像質(zhì)量的情況的圖。
圖41是實(shí)施方式10涉及的圖像顯示裝置的構(gòu)成圖。
圖42是實(shí)施方式11涉及的圖像顯示系統(tǒng)的構(gòu)成圖。
具體實(shí)施例方式
(實(shí)施方式1)圖5是實(shí)施方式1涉及的圖像編碼裝置200的構(gòu)成圖。圖像編碼裝置200的構(gòu)成，在硬件上可由任意計(jì)算機(jī)的CPU、存儲(chǔ)器、其他LSI來(lái)實(shí)現(xiàn)，在軟件上可由裝載在存儲(chǔ)器中的具有編碼功能的程序等來(lái)實(shí)現(xiàn)，而在此，描述通過(guò)上述的協(xié)作來(lái)實(shí)現(xiàn)的功能塊。因此，這些功能塊可僅由硬件、僅由軟件或這些的組合而以各種形式實(shí)現(xiàn)，這一點(diǎn)本領(lǐng)域的技術(shù)人員是可以理解的。
圖像編碼裝置200以輸入的原圖像作為一例，通過(guò)JPEG2000方式進(jìn)行壓縮編碼。輸入圖像編碼裝置200的原圖像也可以是動(dòng)態(tài)圖像的幀。圖像編碼裝置200可以以JPEG2000方式對(duì)動(dòng)態(tài)圖像的各幀連續(xù)進(jìn)行編碼，生成動(dòng)態(tài)圖像的編碼流。
小波變換部10對(duì)輸入的原圖像進(jìn)行部分波段分割，并計(jì)算各部分波段(subband)圖像的小波變換系數(shù)，生成被分級(jí)后的小波變換系數(shù)。
小波變換部10在原圖像的x、y各方向應(yīng)用低通濾波器及高通濾波器，分割為4個(gè)頻率部分波段并進(jìn)行小波變換。這些部分波段是在x、y兩個(gè)方向具有低頻成分的LL部分波段；在x、y任何一個(gè)方向有低頻成份，而且在另一方的方向上具有高頻成分的HL及LH部分波段；和在x、y兩個(gè)方向上具有高頻成分的HH部分波段。各部分波段的縱橫像素?cái)?shù)分別是處理前圖像的1/2，通過(guò)一次濾波，分辨率即圖像尺寸得到1/4的部分波段圖像。
小波變換部10對(duì)如此得到的部分波段中的LL部分波段再次進(jìn)行濾波處理，將其更進(jìn)一步分割為L(zhǎng)L、HL、LH、HH4個(gè)部分波段并進(jìn)行小波變換。小波變換部10按規(guī)定次數(shù)進(jìn)行該濾波，將原圖像分級(jí)為部分波段圖像，輸出各部分波段的小波變換系數(shù)。量子化部12按照規(guī)定的量子化幅度對(duì)從小波變換部10輸出的小波變換系數(shù)進(jìn)行量子化。
ROI選擇部18選擇原圖像上的注目區(qū)域，將表示注目區(qū)域位置的ROI位置信息提供給ROI掩碼生成部20。當(dāng)以矩形選擇注目區(qū)域時(shí)，ROI位置信息由矩形區(qū)域的左上角的像素坐標(biāo)值和矩形區(qū)域的縱橫像素給出。
注目區(qū)域可以通過(guò)使用者指定原圖像上的特定區(qū)域來(lái)進(jìn)行選擇，也可以選擇原圖像中心區(qū)域等預(yù)先確定的區(qū)域。再者，可以將顯示有人物或文字的區(qū)域等重要區(qū)域作為注目區(qū)域而自動(dòng)提取。在動(dòng)態(tài)圖像的幀被連續(xù)輸入到圖像編碼裝置200時(shí)，也可以通過(guò)跟蹤圖像幀上的特定區(qū)域的動(dòng)作，而自動(dòng)地選擇注目區(qū)域。
ROI掩碼生成部20以ROI位置信息為基礎(chǔ)，生成用于特定對(duì)應(yīng)于注目區(qū)域的小波變換系數(shù)即ROI變換系數(shù)的ROI掩碼。
圖6(a)～(c)是說(shuō)明由ROI掩碼生成部20生成的ROI掩碼的圖。如圖6(a)所示，由ROI選擇部18在原圖像80上選擇注目區(qū)域90。ROI掩碼生成部20在各部分波段中特定還原原圖像80上選擇的注目區(qū)域90所需的小波變換系數(shù)。
圖6(b)表示通過(guò)對(duì)原圖像80只進(jìn)行1次小波變換而得到的第1級(jí)變換圖像82。第1級(jí)變換圖像82由第1層次的4個(gè)部分波段LL1、HL1、LH1、HH1構(gòu)成。ROI掩碼生成部20在第1層次的各部分波段LL1、HL1、LH1、HH1中特定還原原圖像80的注目區(qū)域90所必要的第1級(jí)變換圖像82的小波變換即ROI變換系數(shù)91～94。
圖6(c)表示通過(guò)對(duì)圖6(b)的變換圖像82的最低頻率成分的部分波段LL1進(jìn)一步進(jìn)行小波變換而得到的第2級(jí)變換圖像84。第2級(jí)變換圖像84如同圖所示，除第1層次的3個(gè)部分波段HL1、LH1、HH1外，還包括第2層次的4個(gè)部分波段LL2、HL2、LH2、HH2。ROI掩碼生成部20在第2層的各部分波段LL2、HL2、LH2、HH2特定還原第1級(jí)變換圖像82的部分波段LL1的ROI變換系數(shù)91所必要的第2級(jí)變換圖像84的小波變換系數(shù)即ROI變換系數(shù)95～98。
同樣，通過(guò)只以小波變換的次數(shù)在各級(jí)中特定對(duì)應(yīng)于注目區(qū)域90的ROI變換系數(shù)，從而在最終級(jí)的變換圖像中，可以全部特定還原注目區(qū)域90所需的ROI變換系數(shù)。ROI掩碼生成部20生成在該最終級(jí)的變換圖像上特定該最終特定的ROI變換系數(shù)位置用的ROI掩碼。例如，當(dāng)只進(jìn)行2次小波變換時(shí)，生成可特定圖6(c)中虛線所示的7個(gè)ROI變換系數(shù)92～98的位置的ROI掩碼。
圖5的低位位零置換部24根據(jù)相對(duì)于非注目區(qū)域的注目區(qū)域的相對(duì)優(yōu)先度，在對(duì)應(yīng)于非注目區(qū)域的上述小波變換系數(shù)的位列中，調(diào)整置換為零值的低位位數(shù)，參照由ROI掩碼生成部20生成的ROI掩碼，在不由ROI掩碼進(jìn)行掩碼的非ROI變換系數(shù)的位列中，只將從最低位位開(kāi)始數(shù)的S位置換為零。在此，零置換位數(shù)S與相對(duì)于非注目區(qū)域的注目區(qū)域的相對(duì)優(yōu)先度相當(dāng)，是以非注目區(qū)域的量子化值的最大位數(shù)為上限的任意自然數(shù)。通過(guò)改變?cè)摿阒脫Q位數(shù)S，從而可連續(xù)調(diào)整應(yīng)注目區(qū)域的非注目區(qū)域的再生圖像質(zhì)量的劣化程度。
圖7(a)～(c)是說(shuō)明通過(guò)低位位零置換部24來(lái)零置換原圖像的小波變換系數(shù)60的低位位的情況的圖。圖7(a)表示由量子化部12量子化后的小波變換系數(shù)60，包含5位平面，ROI變換系數(shù)以斜線表示。
如圖7(b)所示，低位位零置換部24將不由ROI掩碼進(jìn)行掩碼的非ROI變換系數(shù)LSB側(cè)的S位置換為零。在該例中，S＝2，如符號(hào)64中所示，可得到非ROI變換系數(shù)LSB側(cè)的2位被置換為零的小波變換系數(shù)62。
圖5的平均信息量編碼部14如圖7(c)的箭頭所示，一面從高位位平面依次對(duì)包含被零置換為ROI變換系數(shù)的非ROI變換系數(shù)的小波變換系數(shù)62進(jìn)行掃描，一面進(jìn)行平均信息量編碼。
圖8(a)～(c)是說(shuō)明在原圖像上不存在注目區(qū)域情況下、小波變換系數(shù)的低位位被零置換的情況的圖。圖8(a)表示由于在原圖像上沒(méi)有設(shè)定注目區(qū)域、故只由非ROI變換系數(shù)形成的5位平面的小波變換系數(shù)70。低位位零置換部24，在零置換位數(shù)S為2時(shí)，如圖8(b)所示，生成將5位平面內(nèi)的LSB側(cè)的低位2位平面置換為零的小波變換系數(shù)72。
平均信息量編碼部14如圖8(c)所示，從上開(kāi)始依次對(duì)零置換后的小波變換系數(shù)72的高位3位平面進(jìn)行平均信息量編碼。此時(shí)，被零置換后的低位2位平面不進(jìn)行編碼。而且，代替將低位2位平面進(jìn)行零置換，也可簡(jiǎn)單放棄低位2位平面。
編碼數(shù)據(jù)生成部16將被平均信息量編碼后的數(shù)據(jù)與量子化幅度等編碼參數(shù)一起進(jìn)行流化，以作為編碼圖像輸出。
一般，在由于存儲(chǔ)容量或傳送速率的限制等，而對(duì)最終編碼圖像的數(shù)據(jù)大小設(shè)定有上限的情況下，平均信息量編碼部14在從高位位平面依次對(duì)被量子化的小波變換系數(shù)進(jìn)行編碼時(shí)，有時(shí)在應(yīng)遵守?cái)?shù)據(jù)大小上限的過(guò)程中由位平面結(jié)束編碼。或者，當(dāng)編碼數(shù)據(jù)生成部16輸出從高位平面依次進(jìn)行流化的編碼數(shù)據(jù)時(shí)，有時(shí)在應(yīng)遵守傳送速率限制的過(guò)程中由位平面結(jié)束流輸出。
這樣，即使在編碼圖像的數(shù)據(jù)大小存在限制的情況下，在本實(shí)施方式中，由于在低位位平面中，對(duì)應(yīng)于非注目區(qū)域的小波變換系數(shù)被零置換，只有對(duì)應(yīng)于注目區(qū)域的小波變換系數(shù)作為有意義的信息而成為編碼對(duì)象，故低位位平面的壓縮率高，即使編碼到最低位位平面，數(shù)據(jù)大小也不會(huì)增大。
圖9是實(shí)施方式1涉及的圖像譯碼裝置210的構(gòu)成圖。由實(shí)施方式1涉及的圖像編碼裝置200而使ROI被優(yōu)先編碼的圖像是沒(méi)有進(jìn)行ROI變換系數(shù)的尺度放大的通常編碼圖像，故圖像譯碼裝置210可以通過(guò)通常的JPEG2000的譯碼方式簡(jiǎn)單地對(duì)編碼圖像進(jìn)行譯碼。
編碼數(shù)據(jù)提取部30從輸入的編碼圖像提取編碼數(shù)據(jù)。作為一例，如圖7(c)所示，對(duì)5位平面從上依次取得編碼數(shù)據(jù)。在此，應(yīng)注意編碼數(shù)據(jù)提取部30不需要特別提取提供注目區(qū)域位置的ROI位置信息。平均信息量譯碼部32對(duì)每個(gè)位平面譯碼編碼數(shù)據(jù)。在圖7(c)的例子中，5位平面被譯碼，量子化數(shù)據(jù)被存儲(chǔ)到存儲(chǔ)器中。
逆量子化部34對(duì)譯碼的量子化數(shù)據(jù)進(jìn)行逆量子化，小波逆量子化部36對(duì)逆量子化后的小波變換系數(shù)進(jìn)行逆變換，并輸出所得到的譯碼圖像。
如上所說(shuō)明的，本實(shí)施方式的圖像編碼裝置200通過(guò)對(duì)非ROI變換系數(shù)進(jìn)行零置換，從而相對(duì)提高ROI變換系數(shù)的優(yōu)先度，并優(yōu)先對(duì)注目區(qū)域進(jìn)行編碼。因?yàn)椴贿M(jìn)行ROI變換系數(shù)的尺度放大處理，故可高效進(jìn)行編碼運(yùn)算。而且，因?yàn)閼?yīng)編碼的位平面數(shù)不增加，故不需要設(shè)置存儲(chǔ)區(qū)域余量，可降低硬件成本。
再者，因?yàn)椴恍枰g碼時(shí)的尺度縮小處理，故在編碼數(shù)據(jù)中不需要附加ROI位置信息和尺度放大量。而且，由本實(shí)施方式的圖像編碼裝置200而被ROI編碼的圖像與通常的編碼圖像在格式上沒(méi)有區(qū)別，故可以以與通常的編碼圖像的譯碼處理完全相同的處理進(jìn)行譯碼，且可以保持譯碼處理的互換性。
(實(shí)施方式2)圖10是實(shí)施方式2涉及的圖像譯碼裝置220的構(gòu)成圖。在本實(shí)施方式中，輸入到圖像譯碼裝置220的編碼圖像是沒(méi)有進(jìn)行ROI編碼的通常編碼圖像。本實(shí)施方式的圖像譯碼裝置220在譯碼時(shí)指定注目區(qū)域，優(yōu)先對(duì)注目區(qū)域進(jìn)行譯碼。
輸入圖像譯碼裝置220的編碼圖像也可以是動(dòng)態(tài)圖像的編碼幀。通過(guò)連續(xù)譯碼作為編碼流而輸入的動(dòng)態(tài)圖像的各編碼幀，從而可以再生動(dòng)態(tài)圖像。
編碼數(shù)據(jù)提取部30從輸入的編碼圖像中提取編碼數(shù)據(jù)，平均信息量譯碼部32在每個(gè)位平面譯碼編碼數(shù)據(jù)，將譯碼結(jié)果得到的量子化的小波變換系數(shù)存儲(chǔ)到存儲(chǔ)器中。
ROI選擇部18選擇圖像上的注目區(qū)域，將表示注目區(qū)域位置的ROI位置信息提供給ROI掩碼生成部。注目區(qū)域可以通過(guò)指定圖像的中心區(qū)域等圖像位置來(lái)進(jìn)行選擇，也可通過(guò)自動(dòng)提取顯示有人物和文字的區(qū)域等重要區(qū)域或使用者指定來(lái)進(jìn)行選擇。當(dāng)動(dòng)態(tài)圖像的編碼幀被連續(xù)輸入到圖像譯碼裝置220時(shí)，也可以在從圖像譯碼裝置220輸出的譯碼后圖像幀中指定或提取注目區(qū)域，將指定或提取的注目區(qū)域作為編碼幀的注目區(qū)域進(jìn)行選擇。
ROI掩碼生成部20以ROI位置信息為基礎(chǔ)，生成用于特定對(duì)應(yīng)于注目區(qū)域的小波變換系數(shù)即ROI變換系數(shù)的ROI掩碼。低位位零置換部24根據(jù)相對(duì)于非注目區(qū)域的注目區(qū)域的相對(duì)優(yōu)先度，在對(duì)應(yīng)于非注目區(qū)域的上述小波變換系數(shù)的位列中調(diào)整置換為零值的低位位數(shù)，參照ROI掩碼，進(jìn)行從由平均信息量譯碼部32譯碼的小波變換系數(shù)內(nèi)、非ROI變換系數(shù)的LSB側(cè)將規(guī)定位數(shù)份置換為零的處理。
圖11(a)～(c)表示由低位位零置換部24進(jìn)行編碼圖像的譯碼后小波變換系數(shù)的低位位零置換的情況。圖11(a)是進(jìn)行平均信息量譯碼后的圖像的小波變換系數(shù)74，包含5位平面。在圖11(b)中，由斜線表示對(duì)應(yīng)于由ROI選擇部18指定的注目區(qū)域的ROI變換系數(shù)。低位位零置換部24如圖11(c)所示，生成將非ROI變換系數(shù)的低位位置換為零的小波變換系數(shù)76。
逆量子化部34將包含ROI變換系數(shù)和低位位被零置換后的非ROI變換系數(shù)的小波變換系數(shù)進(jìn)行逆量子化，小波逆變換部36逆變換被逆量子化后的小波變換系數(shù)，并輸出所得到的譯碼圖像。
而且，ROI選擇部18代替選擇注目區(qū)域，也可以選擇非注目區(qū)域。例如，當(dāng)要在顯示有人物面部和車的號(hào)碼牌等個(gè)人信息的區(qū)域輸入暈色時(shí)，將該區(qū)域選擇為注目區(qū)域。此時(shí)，ROI掩碼生成部20將特定非ROI變換系數(shù)的掩碼反轉(zhuǎn)，可以生成特定非ROI變換系數(shù)的掩碼?；蛘?，ROI掩碼生成部20也可以將特定非ROI變換系數(shù)的掩碼提供給低位位零置換部24。
當(dāng)動(dòng)態(tài)圖像的編碼幀被連續(xù)輸入到圖像譯碼裝置220時(shí)，可以使圖像譯碼裝置220進(jìn)行如下動(dòng)作。圖像譯碼裝置220通常情況下為了減小處理負(fù)荷，適當(dāng)廢棄小波變換系數(shù)的低位位平面以進(jìn)行簡(jiǎn)易再生。據(jù)此，即使在圖像譯碼裝置220的處理性能存在限制的情況下，因?yàn)閺U棄低位位，故可例如以30幀/秒進(jìn)行簡(jiǎn)易再生。
在簡(jiǎn)易再生中，當(dāng)圖像上的注目區(qū)域被選擇時(shí)，圖像譯碼裝置220對(duì)由低位位零置換部24將非注目區(qū)域的低位位進(jìn)行了零置換的狀態(tài)的小波變換系數(shù)，譯碼到最低位的位平面，以再生圖像。此時(shí)，因?yàn)樘幚碡?fù)荷變高，故也有時(shí)雖然彗差降為15幀/秒等的狀態(tài)或延遲再生狀態(tài)，但也可以以高圖像質(zhì)量再生注目區(qū)域。
這樣，當(dāng)選擇注目區(qū)域時(shí)，非注目區(qū)域可以保持與簡(jiǎn)易再生同程度的品質(zhì)，以更高的品質(zhì)只對(duì)注目區(qū)域進(jìn)行再生。如監(jiān)視圖像，通常不要求高品質(zhì)，只有異常時(shí)需要以高品質(zhì)再生注目位置時(shí)有用。另外，在用移動(dòng)終端再生圖像時(shí)，從電池壽命角度出發(fā)也可應(yīng)用以下方法在節(jié)電模式下以低品質(zhì)再生動(dòng)態(tài)圖像，根據(jù)需要只對(duì)注目區(qū)域以高品質(zhì)進(jìn)行再生。
根據(jù)本實(shí)施方式的圖像譯碼裝置220，對(duì)于沒(méi)有進(jìn)行ROI編碼的通常編碼圖像，通過(guò)將對(duì)應(yīng)于非注目區(qū)域的小波變換系數(shù)的低位位進(jìn)行零置換，從而可以相對(duì)地將注目區(qū)域的圖像質(zhì)量提高到比非注目區(qū)域還高，以進(jìn)行譯碼。由于以高品質(zhì)進(jìn)行圖像整體再生使運(yùn)算量增加，但在本實(shí)施方式中只對(duì)注目區(qū)域優(yōu)先進(jìn)行譯碼，故可抑制運(yùn)算量的增加。
(實(shí)施方式3)圖12是實(shí)施方式3涉及的圖像編碼裝置200構(gòu)成圖。在實(shí)施方式1涉及的圖像編碼裝置200中，只選擇一個(gè)注目區(qū)域，但本實(shí)施方式的圖像編碼裝置200在圖像中選擇優(yōu)先度不同的多個(gè)區(qū)域，根據(jù)各區(qū)域的優(yōu)先度對(duì)圖像進(jìn)行壓縮編碼，生成包含圖像質(zhì)量不同的多個(gè)區(qū)域的編碼圖像。對(duì)于與實(shí)施方式1相同的構(gòu)成賦予相同符號(hào)，說(shuō)明與實(shí)施方式1不相同的構(gòu)成和動(dòng)作。
ROI選擇部18選擇原圖像上的多個(gè)注目區(qū)域，將表示各注目區(qū)域位置的ROI位置信息提供給ROI掩碼生成部20。既可以在多個(gè)注目區(qū)域存在重疊，也可以在注目區(qū)域的內(nèi)部包含非注目區(qū)域。ROI掩碼生成部20以ROI位置信息為基礎(chǔ)，生成用于特定對(duì)應(yīng)于各注目區(qū)域的小波變換系數(shù)即ROI變換系數(shù)的ROI掩碼。
ROI掩碼生成部20對(duì)由ROI選擇部18選擇的各個(gè)多個(gè)注目區(qū)域進(jìn)行特定在實(shí)施方式1中所述的ROI變換系數(shù)的處理，相對(duì)各注目區(qū)域生成ROI掩碼。
ROI優(yōu)先度設(shè)定部19在多個(gè)注目區(qū)域間設(shè)定優(yōu)先度。例如，作為多個(gè)注目區(qū)域，選擇圖像中心部及中心部周邊，除此之外的外周邊部作為非注目區(qū)域時(shí)，將圖像的中心部的優(yōu)先度設(shè)定為高，以便以高圖像質(zhì)量進(jìn)行再生；將中心部的周邊的優(yōu)先度設(shè)定為低，以便以標(biāo)準(zhǔn)圖像質(zhì)量進(jìn)行再生。作為另一例，作為多個(gè)注目區(qū)域，當(dāng)選擇顯示有文字的區(qū)域和顯示有人物面部的區(qū)域時(shí)，文字區(qū)域以達(dá)到最高圖像質(zhì)量的方式將優(yōu)先度設(shè)定為最高，面部區(qū)域以達(dá)到高圖像質(zhì)量的方式而將優(yōu)先度設(shè)定為僅次于其，除此之外的區(qū)域以達(dá)到標(biāo)準(zhǔn)圖像質(zhì)量的方式而設(shè)為非注目區(qū)域。以保護(hù)隱私的目的，顯示有人物面部的區(qū)域可以以達(dá)到低圖像質(zhì)量的方式設(shè)定為低優(yōu)先度，或設(shè)定為非注目區(qū)域。
圖13是說(shuō)明在原圖像80中設(shè)定多個(gè)注目區(qū)域時(shí)的優(yōu)先度設(shè)定例的圖。如該圖所示，在原圖像80中設(shè)定2個(gè)注目區(qū)域81、83時(shí)，ROI優(yōu)先度設(shè)定部19例如按照第1注目區(qū)域81(以下設(shè)為ROI1)、第2注目區(qū)域83(以下設(shè)為ROI2)、除此之外的非注目區(qū)域(以下稱為非ROI)的順序設(shè)定優(yōu)先順序，以便降低優(yōu)先度。
ROI優(yōu)先度設(shè)定部19根據(jù)設(shè)定過(guò)的優(yōu)先度，決定在對(duì)應(yīng)于非注目區(qū)域的小波變化系數(shù)即非ROI變換系數(shù)的位列中進(jìn)行零置換的低位位S0；和在對(duì)應(yīng)于多個(gè)注目區(qū)域的每一個(gè)的小波變換系數(shù)即ROI變換系數(shù)的位列中進(jìn)行零置換的低位位數(shù)Si(i＝1，…，N；N是注目區(qū)域數(shù))。
在圖13的例子中，ROI優(yōu)先度設(shè)定部19例如在原圖像的小波變換系數(shù)由7位平面形成時(shí)，針對(duì)第1優(yōu)先的注目區(qū)域ROI1，將零置換位數(shù)S1設(shè)定為0；針對(duì)第2優(yōu)先的注目區(qū)域ROI，2將零置換位數(shù)S2設(shè)定為2；針對(duì)非注目區(qū)域，將零置換位數(shù)S0設(shè)定為4。即優(yōu)先度越低，零置換位數(shù)取的越大。
圖12的低位位零置換部24參照相對(duì)于由ROI掩碼生成部20生成的各注目區(qū)域的ROI掩碼，在不由ROI掩碼進(jìn)行掩碼的非ROI變換系數(shù)的位列中，只將從最低位位開(kāi)始數(shù)的S0位進(jìn)行零置換，同時(shí)在由ROI掩碼進(jìn)行掩碼的ROI變換系數(shù)的位列中，只將從最低位位開(kāi)始數(shù)的Si位進(jìn)行零置換。
在此，非ROI變換系數(shù)中的零置換位數(shù)S0、ROI變換系數(shù)中的零置換位Si分別由ROI優(yōu)先度設(shè)定部19根據(jù)非注目區(qū)域及多個(gè)注目區(qū)域間的相對(duì)優(yōu)先度來(lái)決定，是以小波變換系數(shù)的位平面數(shù)為上限的任意自然數(shù)，滿足S0＞Si。ROI優(yōu)先度設(shè)定部19通過(guò)改變?cè)摿阒脫Q位S0、Si，從而可連續(xù)調(diào)整相對(duì)于注目區(qū)域的非注目區(qū)域的再生圖像質(zhì)量的劣化程度、及多個(gè)注目區(qū)域間的再生圖像質(zhì)量的優(yōu)劣。多個(gè)注目區(qū)域可保持對(duì)象物可以識(shí)別程度的圖像質(zhì)量地進(jìn)行再生。
圖14(a)～(c)是說(shuō)明原圖像的小波變換系數(shù)60的低位位由低位位零置換部24進(jìn)行零置換的情況的圖。圖14(a)表示由量子化部12量子化后的小波變換系數(shù)60，包含7位平面，以斜線表示ROI變換系數(shù)。該圖是在包含圖1 3的2個(gè)注目區(qū)域ROI1、ROI2的原圖像80的例子中，圖示對(duì)應(yīng)于P1-P2線上像素的小波變換系數(shù)的位列。
如圖14(b)所示，低位位零置換部24將不由ROI掩碼進(jìn)行掩碼的非ROI變換系數(shù)的LSB側(cè)的S0位置換為零。在該例中，S0＝4，如符號(hào)64中所示，非ROI變換系數(shù)的LSB側(cè)的4位被置換為零。而且，低位位零置換部24將由ROI掩碼進(jìn)行了掩碼的ROI變換系數(shù)的LSB側(cè)的Si位置換為零。在該例中，設(shè)定有2個(gè)注目區(qū)域ROI1、ROI2，各自的零置換位數(shù)S1、S2為S1＝0、S2＝2，如符號(hào)66所示，對(duì)應(yīng)于ROI2的ROI變換系數(shù)LSB側(cè)的2位被置換為零。這樣，可得到由低位位零置換部24進(jìn)行零置換后的小波變換系數(shù)62。
圖12的平均信息量編碼部14如圖14(c)的箭頭所示，從高位位平面依次掃描包含ROI變換系數(shù)和零置換后的非ROI變換系數(shù)的小波變換系數(shù)62，同時(shí)進(jìn)行平均信息量編碼。
而且，在原圖像上不存在注目區(qū)域的情況下，將小波變換系數(shù)的低位位整體進(jìn)行零置換并編碼的處理與實(shí)施方式1相同。
編碼數(shù)據(jù)生成部16將進(jìn)行過(guò)平均信息量編碼的數(shù)據(jù)與量子化幅度等編碼參數(shù)一起進(jìn)行流化，以作為編碼圖像輸出。該編碼圖像包含再生時(shí)圖像質(zhì)量不同的多個(gè)區(qū)域，通過(guò)輸出部提供給存儲(chǔ)裝置或網(wǎng)絡(luò)等，由包含譯碼機(jī)構(gòu)的圖像顯示裝置進(jìn)行譯碼并在畫面上再生。
如實(shí)施方式1所說(shuō)明的，在根據(jù)存儲(chǔ)容量和傳送速率的限制等而對(duì)最終編碼圖像數(shù)據(jù)大小設(shè)定有上限的情況下，平均信息量編碼部14在從高位位平面依次進(jìn)行編碼時(shí)，有時(shí)在位平面中止編碼，或在編碼數(shù)據(jù)生成部16輸出從高位平面依次進(jìn)行流化的編碼數(shù)據(jù)時(shí)，在位平面中間中止流輸出。
這樣，即使在編碼圖像的數(shù)據(jù)大小存在限制的情況下，在本實(shí)施方式中，也由于在低位位平面中，可以將對(duì)應(yīng)于非注目區(qū)域及優(yōu)先度低的注目區(qū)域的小波變換系數(shù)零置換，只有對(duì)應(yīng)于優(yōu)先度高的注目區(qū)域的小波變換系數(shù)作為有意義信息而成為編碼對(duì)象，故低位位平面的壓縮率高，即使編碼到最低位位平面，數(shù)據(jù)大小也不會(huì)增大。
圖15是說(shuō)明在原圖像80上設(shè)置的多個(gè)注目區(qū)域中存在重復(fù)時(shí)優(yōu)先度設(shè)定的例子。如圖所示，當(dāng)在原圖像80上設(shè)置2個(gè)注目區(qū)域81、83時(shí)，與圖13的例子相同，ROI優(yōu)先度設(shè)定部19設(shè)定第1注目區(qū)域81(ROI1)的零置換位數(shù)S1、第2注目區(qū)域83(ROI2)的零置換位數(shù)S2、除此之外的非注目區(qū)域(非ROI)的零置換位數(shù)S0。
低位位零置換部24在非ROI變換系數(shù)中從LSB側(cè)將S0位置換為0，同時(shí)在對(duì)應(yīng)于2個(gè)注目區(qū)域ROI1、ROI2的各自ROI變換系數(shù)中從LSB側(cè)將Si位置換為零，但對(duì)于2個(gè)注目區(qū)域ROI1、ROI2的重復(fù)區(qū)域，優(yōu)先應(yīng)用優(yōu)先度高的一方的注目區(qū)域的零置換位數(shù)Si。
圖16是說(shuō)明在設(shè)定于原圖像上的多個(gè)注目區(qū)域中存在重疊，在注目區(qū)域內(nèi)包含非注目區(qū)域的情況下的優(yōu)先度設(shè)定例的圖。如圖所示，在原圖像80中，設(shè)定第1注目區(qū)域81(ROI1)、第2注目區(qū)域83(ROI2)、第3注目區(qū)域85(ROI3)，按照該順序優(yōu)先度下降。形成ROI1在ROI2內(nèi)、ROI2在ROI3內(nèi)的嵌套結(jié)構(gòu)，在ROI3的一部分中包含有非注目區(qū)域(非ROI)。而且，ROI3的外部也是非ROI。
此時(shí)，低位位零置換部24與圖15的情況相同，對(duì)于重復(fù)區(qū)域，因適用優(yōu)先度高的一方的零置換位數(shù)，故對(duì)于ROI1優(yōu)先適用ROI1的零置換位數(shù)S1，對(duì)于ROI2(但除去ROI1)優(yōu)先適用ROI2的零置換位數(shù)S2，對(duì)于ROI3(但除去ROI2)優(yōu)先適用ROI3的零置換位數(shù)S3。但對(duì)于ROI3內(nèi)部的非ROI，例外地適用非ROI的零置換位S0。這是因?yàn)楫?dāng)在注目區(qū)域內(nèi)設(shè)定非注目區(qū)域時(shí)，以在非注目區(qū)域包含個(gè)人信息等理由，即使是注目區(qū)域內(nèi)也有想使該區(qū)域模糊的目的的緣故。
圖17(a)、(b)是說(shuō)明在圖16的例中，由低位位零置換部24零置換原圖像的小波變換系數(shù)60的低位位的情況的圖。圖17(a)表示由量子化部12進(jìn)行量子化后的小波變換系數(shù)60，包含7位平面，以斜線表示ROI變換系數(shù)。該圖是在包含圖16的3個(gè)注目區(qū)域ROI1-3原圖像80的例中，圖示對(duì)應(yīng)于P1-P2線上像素的小波變換系數(shù)的位列。
圖17(b)是由低位位零置換部24零置換后的小波變換系數(shù)62。與位于ROI3的外部和內(nèi)部的非ROI對(duì)應(yīng)的非ROI變換系數(shù)LSB側(cè)的S0位被置換為零。在該例中，S0＝6。而且，對(duì)應(yīng)于R0I1～3的ROI變換系數(shù)LSB側(cè)的Si位被置換為零。在該例中，S1＝0、S2＝2、S3＝4。
在譯碼時(shí)，與實(shí)施方式1的圖像譯碼裝置210相同構(gòu)成的圖像譯碼裝置，將由本實(shí)施方式的圖像編碼裝置200編碼的圖像按照通常的JPEG2000的譯碼方式進(jìn)行譯碼。譯碼后的圖像包含圖像質(zhì)量不同的多個(gè)區(qū)域，通過(guò)輸出部提供給圖像顯示裝置等，在畫面上進(jìn)行再生。
如上所說(shuō)明的，本實(shí)施方式的圖像編碼裝置200在將非ROI變換系數(shù)進(jìn)行零置換的同時(shí)，通過(guò)使對(duì)應(yīng)于多個(gè)注目區(qū)域的ROI變換系數(shù)也只零置換對(duì)應(yīng)于優(yōu)先度的位數(shù)，從而使多個(gè)注目區(qū)域具有優(yōu)先度并進(jìn)行編碼。而且，由于在多個(gè)注目區(qū)域間設(shè)定不同的優(yōu)先度并編碼，故在多個(gè)注目區(qū)域間可以具有再生圖像質(zhì)量的差異。
(實(shí)施方式4)圖18是實(shí)施方式4涉及的圖像譯碼裝置220的構(gòu)成圖。在本實(shí)施方式中，輸入圖像譯碼裝置220的編碼圖像是沒(méi)有進(jìn)行過(guò)ROI編碼的通常編碼圖像。在實(shí)施方式2的圖像譯碼裝置220中，在譯碼時(shí)僅指定一個(gè)注目區(qū)域，但本實(shí)施方式的圖像譯碼裝置220在譯碼時(shí)指定多個(gè)注目區(qū)域，根據(jù)優(yōu)先度對(duì)多個(gè)注目區(qū)域進(jìn)行譯碼。對(duì)應(yīng)與實(shí)施方式2相同構(gòu)成附加相同符號(hào)，說(shuō)明與實(shí)施方式2不同的構(gòu)成和動(dòng)作。
ROI選擇部18選擇圖像上的多個(gè)注目區(qū)域，將表示各注目區(qū)域的ROI位置信息提供給ROI掩碼生成部20。
當(dāng)動(dòng)態(tài)圖像的編碼幀被連續(xù)輸入到圖像譯碼裝置220時(shí)，在從圖像譯碼裝置220輸出的譯碼后的圖像幀中指定或提取注目區(qū)域，也可以將指定或提取的注目區(qū)域作為下一個(gè)編碼幀的注目區(qū)域來(lái)選擇。這種情況下，也可以根據(jù)變化的程度來(lái)選擇隨時(shí)間變化的多個(gè)區(qū)域。例如，將變化最大的區(qū)域、變化次大的區(qū)域、除此之外的區(qū)域分別作為第1優(yōu)先注目區(qū)域、第2優(yōu)先注目區(qū)域、非注目區(qū)域來(lái)選擇。
ROI掩碼生成部20以ROI位置信息為基礎(chǔ)，生成用于特定對(duì)應(yīng)于各注目區(qū)域的小波變換系數(shù)即ROI變換系數(shù)的ROI掩碼。ROI優(yōu)先度設(shè)定部19設(shè)定各注目區(qū)域的優(yōu)先度，根據(jù)該優(yōu)先度決定非注目區(qū)域的零置換位數(shù)S0和各注目區(qū)域的零置換位數(shù)Si。低位位零置換部24參照ROI掩碼，從由平均信息量譯碼部32進(jìn)行譯碼后的小波變換系數(shù)內(nèi)、非ROI變換系數(shù)的LSB側(cè)開(kāi)始將S0位份置換為零，同時(shí)從ROI變換系數(shù)的LSB側(cè)開(kāi)始將Si位份置換為零。
圖19(a)～(c)表示由低位位零置換部24將編碼圖像譯碼后小波變換系數(shù)的低位位進(jìn)行零置換的情況。圖19(a)是進(jìn)行過(guò)平均信息量譯碼的圖像小波變換系數(shù)74，包含7位平面。在圖19(b)中，用斜線表示對(duì)應(yīng)于由ROI選擇部18指定的多個(gè)注目區(qū)域的ROI變換系數(shù)。在該例中，設(shè)有2個(gè)注目區(qū)域ROI1、ROI2，ROI1的優(yōu)先度高。圖19(c)是由低位位零置換部24零置換后的小波變換系數(shù)76。在該例中，非ROI變換系數(shù)的低位4位被置換為零，ROI1的ROI變換系數(shù)原封不動(dòng)，ROI2的ROI變換系數(shù)的低位2位被置換為零。
在簡(jiǎn)易再生中，在選擇圖像上的多個(gè)區(qū)域時(shí)，圖像譯碼裝置220針對(duì)由低位位零置換部24零置換了非注目區(qū)域的低位位和多個(gè)注目區(qū)域的至少1個(gè)低位位的狀態(tài)的小波變換系數(shù)，譯碼到最低位的位平面，以再生圖像。此時(shí)，因處理負(fù)荷變高，故也有時(shí)使彗差降低為15幀/秒等的狀態(tài)或延遲再生狀態(tài)，但可以根據(jù)優(yōu)先度以高圖像質(zhì)量對(duì)多個(gè)注目區(qū)域進(jìn)行再生。
這樣，在選擇多個(gè)注目區(qū)域時(shí)，非注目區(qū)域保持與簡(jiǎn)易再生同程度的品質(zhì)，可以以對(duì)應(yīng)于優(yōu)先度的高品質(zhì)對(duì)多個(gè)注目區(qū)域進(jìn)行再生。
根據(jù)本實(shí)施方式的圖像譯碼裝置220，對(duì)沒(méi)有被ROI編碼的通常編碼圖像，在將對(duì)應(yīng)于非注目區(qū)域的小波變換系數(shù)的低位位進(jìn)行零置換的同時(shí)，通過(guò)根據(jù)優(yōu)先度對(duì)對(duì)應(yīng)于多個(gè)注目區(qū)域的小波變換系數(shù)的低位位進(jìn)行零置換，從而可以根據(jù)優(yōu)先度將多個(gè)注目區(qū)域的圖像質(zhì)量相對(duì)提高得比非注目區(qū)域還高，并進(jìn)行編碼。雖然為了以高品質(zhì)再生整個(gè)圖像而使運(yùn)算量增加，但因在本實(shí)施方式中根據(jù)優(yōu)先度對(duì)多個(gè)注目區(qū)域進(jìn)行譯碼，故可抑制運(yùn)算量增加。
(實(shí)施方式5)圖20是實(shí)施方式5涉及的圖像編碼裝置300的構(gòu)成圖。在本實(shí)施方式中，根據(jù)優(yōu)先度對(duì)對(duì)應(yīng)于多個(gè)注目區(qū)域的ROI變換系數(shù)進(jìn)行尺度放大。對(duì)于與實(shí)施方式3不同的構(gòu)成和動(dòng)作進(jìn)行說(shuō)明。
ROI優(yōu)先度設(shè)定部19設(shè)定由ROI選擇部18選擇的多個(gè)注目區(qū)域的優(yōu)先度，根據(jù)該優(yōu)先度決定對(duì)應(yīng)于多個(gè)注目區(qū)域的各個(gè)ROI變換系數(shù)的尺度放大量Si。設(shè)定為優(yōu)先度越高的注目區(qū)域，ROI變換系數(shù)的尺度放大量Si越大。
ROI尺度放大部22根據(jù)由ROI優(yōu)先度設(shè)定部19確定的尺度放大量Si，尺度放大對(duì)應(yīng)于各注目區(qū)域的ROI變換系數(shù)。
圖21(a)、(b)是說(shuō)明由ROI尺度放大部22尺度放大原圖像的小波變換系數(shù)320的情況的圖。圖21(a)表示由量子化部12量子化后的小波變換系數(shù)320，包含7位平面，由斜線表示ROI變換系數(shù)。在該例中，設(shè)有3個(gè)注目區(qū)域ROI1、ROI2、ROI3，按照該順序優(yōu)先度降低。ROI優(yōu)先度設(shè)定部19根據(jù)該優(yōu)先度，將ROI1、ROI2、ROI3的尺度放大量S1、S2、S3分別設(shè)定為S1＝7、S2＝5、S3＝3。
圖21(b)表示由ROI尺度放大部22進(jìn)行尺度放大后的小波變換系數(shù)322。ROI尺度放大部22將ROI1的ROI變換系數(shù)只尺度放大7位，將ROI2的ROI變換系數(shù)只尺度放大5位，將ROI3的ROI變換系數(shù)只尺度放大3位。在尺度放大后的小波變換系數(shù)322中，對(duì)由尺度放大重新生成的位數(shù)充零值。這樣，得到全體14位平面的小波變換系數(shù)322。
圖22是實(shí)施方式5涉及的圖像譯碼裝置310的構(gòu)成圖。本實(shí)施方式的圖像譯碼裝置310對(duì)由圖像編碼裝置300進(jìn)行ROI編碼后的圖像進(jìn)行譯碼。
編碼數(shù)據(jù)提取部30從輸入的編碼圖像提取編碼數(shù)據(jù)、各種編碼參數(shù)、ROI位置信息及尺度放大量。平均信息量譯碼部32在每個(gè)位平面對(duì)編碼數(shù)據(jù)進(jìn)行譯碼，并將得到的小波變換系數(shù)的量子化值存儲(chǔ)到存儲(chǔ)器中。
圖23(a)表示平均信息量譯碼后的小波變換系數(shù)324。對(duì)應(yīng)于圖21(b)的例子，平均信息量譯碼后的小波變換系數(shù)324總共包含14位平面。ROI尺度縮小部40參照各注目區(qū)域的ROI掩碼，根據(jù)由編碼數(shù)據(jù)提取部30提取的各注目區(qū)域的尺度放大量Si，將各注目區(qū)域的ROI變換系數(shù)只尺度縮小Si位。在該例中，注目區(qū)域ROI1、ROI2、ROI3的尺度放大量分別為S1＝7、S2＝5、S3＝3，如圖23(b)所示，ROI1、ROI2、ROI3的ROI變換系數(shù)分別只尺度縮小7位、5位、3位，由尺度縮小而剩余的位被廢棄，總體得到7位平面的量子化小波變換系數(shù)326。
(實(shí)施方式6)圖24是實(shí)施方式6涉及的圖像顯示裝置400的構(gòu)成圖。圖像顯示裝置400是將動(dòng)態(tài)圖像顯示在顯示器上的裝置，作為一例，是DVD(digitalvideo disk)播放機(jī)、電視接收機(jī)、監(jiān)視照相機(jī)等顯示控制部。
編碼塊420將輸入的原圖像進(jìn)行編碼，并將編碼后的圖像存儲(chǔ)在存儲(chǔ)部440。輸入到編碼塊420的原圖像是動(dòng)態(tài)圖像幀，連續(xù)編碼動(dòng)態(tài)圖像幀，并存儲(chǔ)到存儲(chǔ)部440。
編碼塊420具有實(shí)施方式1、3、5的任何一種圖像編碼裝置200的構(gòu)成，從區(qū)域選擇部450接受設(shè)定于畫面上的注目區(qū)域的信息，根據(jù)注目區(qū)域的優(yōu)先度，對(duì)原圖像進(jìn)行壓縮編碼，生成注目區(qū)域的圖像質(zhì)量不同的編碼圖像。
譯碼塊430從存儲(chǔ)部440讀出編碼圖像，進(jìn)行譯碼并提供給顯示部410。從存儲(chǔ)部440讀出的編碼圖像是動(dòng)態(tài)圖像的編碼幀，編碼幀被連續(xù)譯碼，并提供給顯示部410。而且，譯碼塊430可以經(jīng)由無(wú)線或有線網(wǎng)絡(luò)的通信接口取得編碼圖像，也可以經(jīng)由接收廣播電波的接收塊取得編碼圖像。
譯碼塊430具有實(shí)施方式1～5中任一種圖像譯碼裝置220的構(gòu)成，對(duì)存儲(chǔ)在存儲(chǔ)部440的編碼圖像進(jìn)行譯碼。在此，當(dāng)在編碼階段已經(jīng)選擇注目區(qū)域并調(diào)整注目區(qū)域的圖像質(zhì)量時(shí)，直接進(jìn)行譯碼，但當(dāng)編碼階段沒(méi)有選擇注目區(qū)域時(shí)，譯碼塊430從區(qū)域選擇部450接收設(shè)定于畫面上的注目區(qū)域的信息，優(yōu)先譯碼注目區(qū)域，以生成注目區(qū)域的圖像質(zhì)量不同的譯碼圖像。
顯示部410從譯碼塊430接收譯碼圖像，并輸出到顯示器。在顯示器畫面上連續(xù)顯示由譯碼塊430譯碼的圖像幀，再生動(dòng)態(tài)圖像。
區(qū)域選擇部450在顯示器的畫面上選擇注目區(qū)域。注目區(qū)域可由使用者自由地指定，也可預(yù)先設(shè)定于畫面的中央和上部等。在區(qū)域選擇部450中，可以設(shè)置使用者在畫面上指定注目區(qū)域用的指定機(jī)構(gòu)。例如，應(yīng)用鼠標(biāo)等指示器來(lái)指定區(qū)域，或應(yīng)用觸摸面板等觸摸方式的顯示裝置來(lái)指定區(qū)域。區(qū)域選擇部450從使用者接收注目區(qū)域的指定信息，或從顯示部410接收預(yù)先設(shè)定的注目區(qū)域的指定信息，將該注目區(qū)域信息提供給編碼塊420、譯碼塊430。
將由區(qū)域選擇部450供給到編碼塊420、譯碼塊430的注目區(qū)域的位置信息提供給各塊的ROI選擇部18，之后，在各塊中注目區(qū)域被優(yōu)先進(jìn)行編碼或譯碼。而且，也可以由區(qū)域選擇部450選擇非注目區(qū)域來(lái)代替注目區(qū)域，這種情況下，在編碼塊420及譯碼塊430中，將非注目區(qū)域以外的區(qū)域作為注目區(qū)域而優(yōu)先被編碼或譯碼。
以上說(shuō)明的本發(fā)明的實(shí)施方式1～6是示例，本領(lǐng)域的技術(shù)人員可以理解這些各構(gòu)成要素或各處理過(guò)程的組合能形成各種變形例，這樣的變形例也屬于本發(fā)明的范圍。以下示出這種變形例。
在上述實(shí)施方式中，僅對(duì)非ROI變換系數(shù)的低位位進(jìn)行零置換，不全部進(jìn)行ROI變換系數(shù)的尺度放大，但也可以組合實(shí)施ROI變換系數(shù)的尺度放大和非ROI變換系數(shù)的低位位的零置換。
在任何實(shí)施方式中，作為用于圖像編碼的空間濾波，說(shuō)明了小波變換，但也可以應(yīng)用其他空間頻率變換。例如，即使在以JPEG標(biāo)準(zhǔn)應(yīng)用的離散余弦變換的情況下，也可通過(guò)以同樣方法對(duì)非注目區(qū)域變換系數(shù)的低位位進(jìn)行零置換，從而犧牲非注目區(qū)域的圖像質(zhì)量來(lái)提高圖像整體的壓縮率，同時(shí)相對(duì)提高注目區(qū)域的圖像質(zhì)量。
通過(guò)將上述實(shí)施方式的圖像編碼裝置及圖像譯碼裝置組裝入監(jiān)視照相機(jī)的信號(hào)處理部，從而可將應(yīng)監(jiān)視的注目區(qū)域優(yōu)先進(jìn)行編碼或譯碼。由監(jiān)視照相機(jī)拍攝并編碼后的圖像數(shù)據(jù)也可以經(jīng)由網(wǎng)絡(luò)來(lái)發(fā)送，此時(shí)，連接于網(wǎng)絡(luò)的圖像譯碼裝置對(duì)從網(wǎng)絡(luò)接收的編碼圖像數(shù)據(jù)進(jìn)行譯碼并再生。
在上述說(shuō)明中，將圖像分為非注目區(qū)域和多個(gè)注目區(qū)域，也可以不作注目區(qū)域、非注目區(qū)域這一區(qū)別，將圖像分為對(duì)應(yīng)于優(yōu)先度的多個(gè)區(qū)域。在上述實(shí)施方式中，因在非注目區(qū)域和多個(gè)注目區(qū)域中設(shè)有優(yōu)先順序，故實(shí)質(zhì)上也可捕捉非注目區(qū)域和注目區(qū)域只不過(guò)存在優(yōu)先度的不同，消除非注目區(qū)域和注目區(qū)域的區(qū)別，即使在優(yōu)先度外劃分區(qū)域時(shí)，也可進(jìn)行同樣的處理。
再者，本發(fā)明是涉及由編碼圖像數(shù)據(jù)流生成分辨率或圖像質(zhì)量不同的動(dòng)態(tài)圖像的技術(shù)。以下，說(shuō)明本發(fā)明的更優(yōu)選的實(shí)施方式。在實(shí)施方式中，作為圖像處理，以譯碼依據(jù)Motion-JPEG2000的編碼圖像數(shù)據(jù)流的圖像處理裝置為例進(jìn)行研究。
首先，參照?qǐng)D25，對(duì)根據(jù)Motion-JPEG2000方式編碼動(dòng)態(tài)圖像的方法進(jìn)行簡(jiǎn)單說(shuō)明。圖中未示出的圖像編碼裝置以幀為單位對(duì)動(dòng)態(tài)圖像的各幀進(jìn)行連續(xù)編碼，以生成動(dòng)態(tài)圖像的編碼數(shù)據(jù)流。當(dāng)編碼處理開(kāi)始時(shí)，相當(dāng)于動(dòng)態(tài)畫像的1幀的原圖像OI(Original Image)1102被讀入幀緩沖器中。被讀入幀緩沖器的原圖像OI由小波變換器進(jìn)行分級(jí)。
JPEG2000中的小波變換器利用Daubechies濾波器。該濾波器在圖像的x、y方向同時(shí)發(fā)揮高通濾波及低通濾波作用，將一個(gè)圖像分割成4個(gè)頻率部分波段。這些部分波段是在x、y兩個(gè)方向上具有低頻成分的LL部分波段；在x、y中的任何一個(gè)方向上具有低頻成分、且在另一個(gè)方向上具有高頻成分的HL部分波段及LH部分波段；和在x、y兩個(gè)方向上具有高頻成分的HH部分波段。而且，該濾波器在x、y兩個(gè)方向上還同時(shí)具有將像素?cái)?shù)減少為1/2的作用。也就是說(shuō)，各部分波段的縱軸的像素?cái)?shù)分別是處理前圖像的1/2，通過(guò)一次濾波，分辨率即圖像大小得到1/4部分波段圖像。在本說(shuō)明書中，針對(duì)原圖像OI，將接受1次小波變換的圖像稱為第1級(jí)圖像WI1，以下根據(jù)接受小波變換的次數(shù)稱為第n級(jí)圖像WIn。
如圖25中所示意的，在第1級(jí)圖像WI11104中，生成4個(gè)部分波段LL1、HL1、LH1、HH1。在第1級(jí)圖像WI11104中實(shí)施小波變換，并生成第2級(jí)圖像WI21106。在此，第2次以后的小波變換只對(duì)眼前級(jí)圖像中LL部分波段成分實(shí)施。因此，在第2級(jí)圖像WI21106中，第1級(jí)圖像WI11104的LL1部分波段被分解為4個(gè)部分波段LL2、HL2、LH2、HH2。小波變換器執(zhí)行規(guī)定次數(shù)的該濾波，輸出各部分波段的小波變換系數(shù)。圖像編碼裝置之后實(shí)施量子化等其他處理，最終輸出編碼圖像數(shù)據(jù)CI(Coded Image)。
為了說(shuō)明簡(jiǎn)單，在該例中，圖像編碼裝置對(duì)原圖像OI實(shí)施3次小波變換。因此，例如，如果原圖像OI1102為1440×960像素，則第1級(jí)圖像WI11104的LL1部分波段大小是720×480、第2級(jí)圖像WI21106的LL2部分波段大小是360×240、第3級(jí)圖像WI31108的LL3部分波段大小是180×120。
對(duì)于分級(jí)后的圖像應(yīng)注意的是原圖像OI的低頻成分在圖25中在最左上出現(xiàn)。圖25的情況下，第3級(jí)圖像WI3的左上角的LL3部分波段是最低頻率，反之，只要能獲得該LL3部分波段，就可以再現(xiàn)原圖像OI最基本的性質(zhì)。該發(fā)現(xiàn)在以下的實(shí)施方式中被利用。
編碼數(shù)據(jù)流，除Motion-JPEG2000以外，例如可以是在1個(gè)流中同時(shí)具有高圖像質(zhì)量的HD流和低圖像質(zhì)量的SD流的SVC(Scalable VideoCodec)，也可以是Motion-JPEG。在JPEG中，由于各幀從付里葉系數(shù)的低次項(xiàng)被傳送來(lái)，故可以通過(guò)應(yīng)用并譯碼到任何次數(shù)項(xiàng)來(lái)選擇圖像質(zhì)量。
(實(shí)施方式7)實(shí)施方式7是接受由分辨率分級(jí)的編碼圖像數(shù)據(jù)流并能向多個(gè)顯示裝置提供不同分辨率的動(dòng)態(tài)圖像的圖像處理裝置。
圖26表示實(shí)施方式7涉及的圖像處理裝置1100的構(gòu)成。該構(gòu)成在硬件上可由任意計(jì)算機(jī)的CPU、存儲(chǔ)器、其他LSI來(lái)實(shí)現(xiàn)，在軟件上可由裝載在存儲(chǔ)器中的具有譯碼功能的程序等來(lái)實(shí)現(xiàn)，但在此描述由這些的協(xié)同來(lái)實(shí)現(xiàn)的功能塊。因此，本領(lǐng)域的技術(shù)人員可以理解這些功能塊可以只由硬件、只由軟件或由這些的組合，以各種形式來(lái)實(shí)現(xiàn)。
在圖像處理裝置1100的譯碼單元1150中，輸入編碼圖像數(shù)據(jù)CI的流。譯碼單元1150包括接受編碼圖像數(shù)據(jù)CI并分析該數(shù)據(jù)流的流分析部1010；對(duì)分析結(jié)果判明的應(yīng)譯碼的數(shù)據(jù)列，實(shí)施算術(shù)譯碼的算術(shù)譯碼部1012；將該結(jié)果得到的數(shù)據(jù)按照每個(gè)顏色成分以位平面的形式進(jìn)行譯碼的位平面譯碼部1014；將譯碼后的量子化數(shù)據(jù)進(jìn)行逆量子化的逆量子化部1018；和對(duì)逆量子化結(jié)果得到的第n級(jí)圖像Win實(shí)施小波逆變換的小波逆變換部1020。每次由小波逆變換部1020對(duì)編碼圖像數(shù)據(jù)CI實(shí)施小波逆變換，可得到更高位級(jí)的圖像，最終可得到譯碼圖像數(shù)據(jù)DI(DecodedImage)。
本實(shí)施方式具有以下特征在小波逆變換部1020中，將在得到譯碼圖像DI的小波逆變換過(guò)程中產(chǎn)生的第n級(jí)圖像輸出到低分辨率幀緩沖器1030。圖像處理裝置1100進(jìn)行動(dòng)作，以便對(duì)顯示低分辨率的低分辨率顯示裝置1036及顯示高分辨率的高分辨率顯示裝置1046提供具有各自分辨率的圖像數(shù)據(jù)。因此，存儲(chǔ)器控制部1022取得由低分辨率顯示裝置1036及高分辨率顯示裝置1046顯示的動(dòng)態(tài)圖像的分辨率信息，判斷對(duì)編碼圖像CI實(shí)施幾次小波變才與各自的分辨率相當(dāng)，并將該結(jié)果傳送到小波逆變換部1020。小波逆變換部1020根據(jù)該信息，將小波逆變換處理過(guò)程中的第n級(jí)圖像WIn的LL部分波段、或作為完全譯碼結(jié)果的譯碼圖像數(shù)據(jù)DI寫入到低分辨率幀緩沖器1030或高分辨率幀緩沖器1040中。關(guān)于該動(dòng)作，參照?qǐng)D29在后面敘述。而且，低分辨率幀緩沖器1030和高分辨率幀緩沖器1040簡(jiǎn)單地進(jìn)行區(qū)別，不一定需要具有不同規(guī)模的緩沖器。
寫入低分辨率幀緩沖器1030的圖像數(shù)據(jù)由低分辨率顯示電路1032生成顯示信號(hào)，并顯示在低分辨率顯示裝置1036上。同樣，寫入高分辨率幀緩沖器1040的圖像數(shù)據(jù)由高分辨率顯示電路1042生成顯示信號(hào)，并顯示在高分辨率顯示裝置1046上。這樣，根據(jù)圖像處理裝置1100，應(yīng)用編碼圖像數(shù)據(jù)流，可將分辨率不同的動(dòng)態(tài)圖像同時(shí)顯示在多個(gè)顯示裝置上。
低分辨率顯示電路1032或高分辨率顯示電路1042的任何一個(gè)，或這兩個(gè)還可備有分辨率變換部1034、1044。據(jù)此，當(dāng)由譯碼單元1150的小波逆變換處理得到的分辨率與各顯示裝置1036、1046顯示的動(dòng)態(tài)圖像的分辨率不同時(shí)，譯碼到具有最近分辨率級(jí)的圖像，之后，可以由分辨率變換部1034、1044變換為所希望的分辨率。這些分辨率變換部1034、1044是可任選的，如果不希望顯示具有由小波變換處理得到的分辨率以外的分辨率的動(dòng)態(tài)圖像，則低分辨率顯示電路1032或高分辨率顯示電路1042也可不具有各自的分辨率變換部1034、1044。
圖27表示譯碼單元1150的處理順序。在此說(shuō)明如上所述，對(duì)原圖像OI實(shí)施3次小波變換的編碼圖像數(shù)據(jù)流被提供給圖像處理裝置110。
首先，輸入圖像處理裝置1100的編碼圖像數(shù)據(jù)CI經(jīng)過(guò)流分析部1010、算術(shù)譯碼部1012、位平面譯碼部1014及逆量子化部1018，恢復(fù)第3級(jí)圖像WI31122的狀態(tài)。接著，通過(guò)根據(jù)小波逆變換部1020的第1次小波逆變換得到第2級(jí)圖像WI21124；通過(guò)2次小波逆變換得到與第1級(jí)相當(dāng)?shù)膱D像WI11126；最后，通過(guò)3次小波逆變換得到譯碼圖像DI1128。
但是，如上所述，各級(jí)的LL部分波段是提取該級(jí)圖像中的低頻成分而形成的，而且，大小是前面級(jí)圖像的1/4，因此，這些與原圖像OI相比，可以說(shuō)是低分辨率的圖像。因此，作為一例，將通過(guò)2次小波逆變換得到的第1級(jí)圖像WI11126的LL1部分波段(720×480)作為低分辨率的圖像數(shù)據(jù)輸出到低分辨率幀緩沖器1030；可將通過(guò)3次小波逆變換得到的譯碼圖像DI(1140×960)作為高分辨率圖像數(shù)據(jù)輸出到高分辨率幀緩沖器1040。由于通過(guò)實(shí)施小波變換，圖像的x、y方向大小分別變?yōu)?/2，故由圖像編碼裝置的小波變換實(shí)施的小波變換次數(shù)越多，就越可以對(duì)應(yīng)于具有更多種類分辨率的動(dòng)態(tài)圖像的顯示。
圖28是說(shuō)明由各幀生成分辨率不同動(dòng)態(tài)圖像的概念圖。根據(jù)來(lái)自存儲(chǔ)器控制部1022的指令，小波逆變換部1020對(duì)各編碼圖像幀實(shí)施必要的譯碼處理，并將低分辨率的圖像輸出到低分辨率幀緩沖器1030，將高分辨率的圖像輸出到高分辨率幀緩沖器1040。于是，通過(guò)將低分辨率或高分辨率的圖像以所期望的幀速率連續(xù)輸出，從而可由同一編碼圖像數(shù)據(jù)流形成低分辨率或高分辨率的動(dòng)態(tài)圖像。
圖29是說(shuō)明存儲(chǔ)器控制部1022的動(dòng)作的流程圖。首先，存儲(chǔ)器控制部1022取得由低分辨率顯示裝置1036及高分辨率顯示裝置1046顯示的動(dòng)態(tài)圖像的分辨率信息(S10)。代替其，也可以由使用者輸入以各自顯示裝置顯示的動(dòng)態(tài)圖像的分辨率信息。其次，存儲(chǔ)器控制部1022判定由低分辨率顯示裝置1036顯示的低分辨率圖像，相對(duì)編碼圖像CI，相當(dāng)于第幾級(jí)的LL部分波段(S12)。接著，存儲(chǔ)器控制部1022判定由高分辨率顯示裝置1046顯示的高分辨率圖像，相當(dāng)于第幾級(jí)圖像的LL部分波段還是相當(dāng)于完全譯碼后的譯碼圖像DI(S14)。而且，存儲(chǔ)器控制部1022，向小波逆變換部1020發(fā)出指令，以便在得到分別在S12及S14中判定的級(jí)的圖像的小波逆變換處理結(jié)束時(shí)，將部分波段圖像LL或譯碼圖像DI寫入低分辨率幀緩沖器1030或高分辨率幀緩沖器1040(S16)。當(dāng)然，在應(yīng)從圖像處理裝置輸出圖像數(shù)據(jù)的顯示裝置只有1個(gè)的情況下，可采用低分辨率幀緩沖器1030或高分辨率幀緩沖器1040的任何一方。
如上所述，在JPEG2000中，因LL部分波段的分辨率相對(duì)原圖像縱向減少1/2、橫向減少1/2，故有時(shí)也出現(xiàn)不能得到與所希望的顯示裝置的分辨率一致的適合的分辨率圖像的情況。因此，當(dāng)存儲(chǔ)器控制部1022判定在S12或S14中不能得到適合的分辨率時(shí)，可以向分別設(shè)置于低分辨率顯示電路1032或高分辨率顯示電路1042的分辨率變換部1034、1044發(fā)出指令，執(zhí)行適合分辨率的插補(bǔ)處理。
再者，圖像處理裝置1100也可以通過(guò)增加幀緩沖器數(shù)量，從而在三臺(tái)以上的顯示裝置中顯示各自不同的分辨率的動(dòng)態(tài)圖像。例如，如果使用上述例子，可以分別將由1次小波逆變換得到的第2級(jí)圖像WI21124的LL2部分波段(360×240)輸出到低分辨率幀緩沖器；將由2次小波逆變換得到的第1級(jí)圖像WI11126的LL1部分波段(720×480)輸出到中分辨率幀緩沖器；將由3次小波逆變換得到的譯碼圖像DI1128(1440×960)輸出到高分辨率幀緩沖器。由對(duì)應(yīng)的顯示電路可將低分辨率、中分辨率、高分辨率的動(dòng)態(tài)圖像顯示在顯示裝置上。
如以上所說(shuō)明的，根據(jù)本實(shí)施方式7，應(yīng)用單一的編碼圖像數(shù)據(jù)流，可同時(shí)將分辨率不同的動(dòng)態(tài)圖像顯示在2個(gè)以上的顯示裝置上。相對(duì)于現(xiàn)有的根據(jù)目的分辨率進(jìn)行每次譯碼的情況，可通過(guò)將譯碼處理過(guò)程中的分級(jí)圖像輸出到幀緩沖器，從而以單一的譯碼單元生成多個(gè)分辨率的圖像數(shù)據(jù)，提高了效率。
(實(shí)施方式8)圖30表示實(shí)施方式8所涉及的圖像顯示裝置1200的構(gòu)成。圖像顯示裝置1200具有顯示器、投影儀等顯示高分辨率動(dòng)態(tài)圖像的第1顯示裝置1222和顯示低分辨率動(dòng)態(tài)圖像的第2顯示裝置1224、這2個(gè)顯示裝置。
處理塊1210的圖像譯碼器1212與CPU1214及存儲(chǔ)器1216協(xié)同，對(duì)輸入的編碼圖像數(shù)據(jù)流進(jìn)行連續(xù)譯碼。圖像譯碼器1212具有實(shí)施方式7的圖像處理裝置1100的構(gòu)成。而且，高分辨率的圖像數(shù)據(jù)通過(guò)顯示電路1218被輸出到第1顯示裝置1222，低分辨率的圖像數(shù)據(jù)通過(guò)顯示電路1220被輸出到第2顯示裝置1224。在各畫面上由圖像譯碼器1212譯碼的圖像數(shù)據(jù)按照所給出的幀速率被連續(xù)顯示，并再生動(dòng)態(tài)圖像。處理塊1210可以經(jīng)由無(wú)線或有線網(wǎng)絡(luò)通信接口來(lái)取得編碼圖像數(shù)據(jù)流，也可以經(jīng)由接受廣播電波的接收塊來(lái)取得編碼圖像數(shù)據(jù)流。
由該圖像顯示裝置1200例如可以實(shí)現(xiàn)以下的動(dòng)作。
1.飛機(jī)上的機(jī)艙內(nèi)放映在飛機(jī)的機(jī)艙內(nèi)，當(dāng)在機(jī)艙的前方備有大畫面的屏幕、在各座位的阿背面?zhèn)溆袀€(gè)人用小型液晶顯示器時(shí)，只準(zhǔn)備單一的編碼圖像數(shù)據(jù)流，即可在屏幕和液晶顯示器兩方上再生動(dòng)態(tài)圖像。
2.展示(presentation)在展示時(shí)，只要準(zhǔn)備單一的編碼圖像數(shù)據(jù)流，就能在由投影儀投影的大畫面屏幕和PC畫面兩方上再生動(dòng)態(tài)圖像。
3.雙畫面移動(dòng)電話通過(guò)在具有主顯示器和副顯示器的移動(dòng)電話機(jī)中組裝入上述畫面顯示裝置，從而可接收單一的編碼圖像數(shù)據(jù)流，并可在主顯示器和副顯示器雙方上再生動(dòng)畫內(nèi)容。
而且，圖像顯示裝置1200根據(jù)目的，當(dāng)然還可以具有3個(gè)以上分別顯示分辨率不同的動(dòng)態(tài)圖像的顯示裝置。
(實(shí)施方式9)實(shí)施方式9是在將根據(jù)分辨率及圖像質(zhì)量被分級(jí)的圖像流譯碼并顯示在顯示裝置上的圖像處理裝置中，當(dāng)由使用者發(fā)出使圖像的一部分區(qū)域的圖像質(zhì)量提高的指令時(shí)，進(jìn)行控制，以使處理量不超過(guò)圖像處理裝置的最大能力的圖像處理裝置。
圖13是表示實(shí)施方式9涉及的圖像處理裝置1300的構(gòu)成圖。圖像處理裝置1300包括輸入編碼圖像數(shù)據(jù)CI的流，對(duì)圖像進(jìn)行譯碼的譯碼單元1310；和執(zhí)行由使用者指定圖像中的注目區(qū)域相關(guān)的處理的區(qū)域指定單元1320。包含于譯碼單元1310的流分析部1010、算術(shù)譯碼部1012、位平面譯碼部1014、逆量子化部1018、小波逆變換部1020與實(shí)施方式7中所述的相同。
由譯碼單元1310譯碼的圖像數(shù)據(jù)通過(guò)顯示電路顯示在顯示裝置1062上。使用者應(yīng)用圖中未示出的指示器等輸入裝置，指定想在圖像中提高圖像質(zhì)量并再生的區(qū)域(以下將其稱為“注目區(qū)域ROI(Region of Interest)”)。于是，區(qū)域指定單元1320中的位置信息形成部1050生成表示注目區(qū)域ROI的位置的ROI位置信息。該ROI位置信息，在注目區(qū)域ROI被指定為矩型時(shí)，由矩形區(qū)域左上角的像素座標(biāo)值和矩形區(qū)域的縱軸像素?cái)?shù)給出。在以圓等來(lái)進(jìn)行使用者的注目區(qū)域指定時(shí)，也可以將其外接長(zhǎng)方形設(shè)定為注目區(qū)域。注目區(qū)域通常也可以被設(shè)定為原圖像的中心區(qū)域等預(yù)先確定的區(qū)域。
判定部1052根據(jù)生成的ROI位置信息，計(jì)算提高注目區(qū)域的圖像質(zhì)量所需的數(shù)據(jù)處理增加量，并判斷當(dāng)前時(shí)點(diǎn)的處理量和增加的整個(gè)譯碼處理的處理量是否在圖像處理裝置1300的最大處理能力以內(nèi)。圖像質(zhì)量指示部1054根據(jù)該判定結(jié)果，決定是否允許提高注目區(qū)域的圖像質(zhì)量，或降低注目區(qū)域以外的區(qū)域(以下將其稱為“通常區(qū)域”)的圖像質(zhì)量，并將該指示輸出到ROI掩碼生成部1056。其處理的詳細(xì)情況參照?qǐng)D35或38將在后敘述。
ROI掩碼生成部1056以來(lái)自位置信息形成部1050的ROI位置信息為基礎(chǔ)，生成用于特定對(duì)應(yīng)于小波變換系數(shù)中的注目區(qū)域部分的ROI掩碼。生成的ROI掩碼通過(guò)低位零置換部1058，被用于調(diào)整上述小波變換系數(shù)的位列中置換為零值的低位位數(shù)。通過(guò)將其進(jìn)行逆小波變換，從而可得到提高注目區(qū)域圖像質(zhì)量后的圖像。關(guān)于此將在后面敘述。
在此，參照?qǐng)D32(a)～(c)，對(duì)由ROI掩碼生成部1056以ROI位置信息為基礎(chǔ)生成ROI掩碼的方法進(jìn)行說(shuō)明。如圖32(a)所示，在由圖像處理裝置1300譯碼并顯示的圖像1080上，由使用者指定注目區(qū)域1090。ROI掩碼生成部1056在各部分波段中特定還原圖像1080上選擇的注目區(qū)域1090所必要的小波變換系數(shù)。
圖32(b)表示通過(guò)對(duì)圖像1080只進(jìn)行1次小波變換而得到的第1級(jí)變換圖像1082。第1級(jí)變換圖像1082由第1層次的4個(gè)部分波段LL1、HL1、LH1、HH1構(gòu)成。ROI掩碼生成部1056在第1層次的各部分波段LL1、HL1、LH1、HH1中特定還原圖像1080的注目區(qū)域1090所必要的第1級(jí)變換圖像1082上的小波變換系數(shù)(以下將其稱為“ROI變換系數(shù)”)1091～1094。
圖32(c)表示通過(guò)對(duì)圖32(b)的變換圖像82的部分波段LL1進(jìn)一步進(jìn)行小波變換而得到的第2級(jí)變換圖像1084。第2級(jí)變換圖像1084如圖所示，除第1層次的3個(gè)部分波段HL1、LH1、HH1外，還包括第2層次的4個(gè)部分波段LL2、HL2、LH2、HH2。ROI掩碼生成部1056在第2層的各部分波段LL2、HL2、LH2、HH2中特定還原第1級(jí)變換圖像1082的部分波段LL1的ROI變換系數(shù)1091所必要的第2級(jí)變換圖像1084的小波變換、即ROI變換系數(shù)1095～1098。
同樣，通過(guò)只以小波變換的次數(shù)在各級(jí)遞歸特定對(duì)應(yīng)于注目區(qū)域1090的ROI變換系數(shù)，從而在最終級(jí)的變換圖像中，可以特定所有還原注目區(qū)域1090所必要的ROI變換系數(shù)。ROI掩碼生成部1056在最終級(jí)的變換圖像上生成用于特定該最終特定ROI變換系數(shù)位置的ROI掩碼。例如，當(dāng)只進(jìn)行2次小波變換時(shí)，生成可特定圖32(c)中虛線所示的7個(gè)ROI變換系數(shù)1092～1098的位置的ROI掩碼。
其次，參照?qǐng)D33、34，對(duì)使注目區(qū)域高圖像質(zhì)量化的方法進(jìn)行說(shuō)明。而且在此，如圖33(a)所示，編碼圖像數(shù)據(jù)CI由從MSB(Most SignifcantBit)到LSB(Least Significan Bit)的5位平面構(gòu)成。
圖像處理裝置1300在沒(méi)有由使用者指定注目區(qū)域的通常情況下，為了減輕處理負(fù)荷，進(jìn)行適當(dāng)廢棄并再生小波變換系數(shù)的低位位平面的簡(jiǎn)易再生。將此時(shí)的圖像質(zhì)量叫作“中圖像質(zhì)量”。此時(shí)，低位零置換部1058如圖33(b)所示，將由位平面譯碼部1014譯碼的位平面中、例如低位2位部分置換為零，并只對(duì)3位平面進(jìn)行譯碼。為了由該狀態(tài)只提高注目區(qū)域圖像質(zhì)量，可以只對(duì)注目區(qū)域譯碼更多的位平面。
圖34(a)～(c)表示提高注目區(qū)域的圖像質(zhì)量的處理的一例。如圖34(a)所示，在簡(jiǎn)易再生時(shí)，通過(guò)低位零置換部1058從LSB側(cè)卡開(kāi)始低位2位被零置換。ROI掩碼生成部1056，如果由使用者指定注目區(qū)域，則生成對(duì)應(yīng)于該注目區(qū)域的ROI掩碼。將其情況由圖34(b)的斜線表示。于是，如圖34(c)中所示，低位零置換部1058，參照ROI掩碼，并生成只將沒(méi)有被ROI掩碼的非ROI部分的低位2位置換為零的小波變換系數(shù)。
逆量子化部1018將生成的小波變換系數(shù)進(jìn)行逆量子化，小波逆變換部1020對(duì)逆量子化后的小波變換系數(shù)進(jìn)行逆變換。據(jù)此，得到只有注目區(qū)域ROI被提高了圖像質(zhì)量的圖像數(shù)據(jù)。
接著，參照?qǐng)D35的流程，說(shuō)明判定部1052的處理。作為前提，在使用者沒(méi)有指定注目區(qū)域的通常情況下，以上述的中圖像質(zhì)量顯示動(dòng)態(tài)圖像。
首先，判定部1052從位置信息生成部1050接收注目區(qū)域的ROI位置信息(S30)。其次。根據(jù)ROI位置信息計(jì)算出注目區(qū)域的面積(或像素?cái)?shù))，并計(jì)算圖像處理裝置1300的整體譯碼處理量P(S32)。
在此，譯碼處理量P可以由(各圖像質(zhì)量的處理量)×(各圖像質(zhì)量的面積)的總和表示。如果將低圖像質(zhì)量時(shí)的每單位面積處理量設(shè)為lL，將中圖像質(zhì)量時(shí)的每單位面積處理量設(shè)為lM，將高圖像質(zhì)量時(shí)的每單位面積處理量設(shè)為lH，將圖像整體面積設(shè)為S，則通常時(shí)的譯碼處理量為P＝lM·S(1)將由使用者指定的注目區(qū)域的面積設(shè)為sH，可由下式計(jì)算提高該注目區(qū)域圖像質(zhì)量時(shí)的譯碼處理量PP＝lH·sH+lM(S-sH)(2)判定部1052判定由式(2)計(jì)算出的譯碼處理量P是否超過(guò)圖像處理裝置1300在1幀期間內(nèi)可以處理的上限處理能力Pmax(S34)。如果譯碼處理量P在上限處理能力Pmax以下(S34的否)，則圖像質(zhì)量指示部1054允許注目區(qū)域提高圖像質(zhì)量(S36)。如果譯碼處理量P超過(guò)上限處理能力Pmax(S34的是)，則由于在圖像處理裝置1300中未剩余只高圖像質(zhì)量譯碼的處理能力，因此，圖像質(zhì)量指示部1054不允許注目區(qū)域提高圖像質(zhì)量(S38)。
圖36(a)、(b)是在圖35的流程的S34中，示意性顯示在判定譯碼處理量P為上限處理能力Pmax以下時(shí)的畫面的情況。在圖中，「L」表示低圖像質(zhì)量的區(qū)域、「M」表示中圖像質(zhì)量的區(qū)域、「H」表示高圖像質(zhì)量的區(qū)域。如圖36(a)所示，當(dāng)以中圖像質(zhì)量對(duì)整體圖像進(jìn)行譯碼時(shí)，如果使用者在畫面中指定注目區(qū)域，則如圖36(b)所示，僅注目區(qū)域被提高圖像質(zhì)量(H)，除此之外的通常區(qū)域原封不動(dòng)地保持中圖像質(zhì)量(M)。
如以上所說(shuō)明的，根據(jù)本實(shí)施方式的圖像處理裝置，在譯碼顯示的圖像中，如果使用者指定要以高圖像質(zhì)量再生的區(qū)域，則在圖像處理裝置的譯碼處理能力存在余量時(shí)，注目區(qū)域被提高圖像質(zhì)量；當(dāng)譯碼處理能力不存在余量時(shí)，注目區(qū)域不被提高圖像質(zhì)量。
這樣，如果指定注目區(qū)域，則通常區(qū)域直接以與簡(jiǎn)易再生同程度的品質(zhì)，可以以更高品質(zhì)僅對(duì)注目區(qū)域進(jìn)行再生。這如監(jiān)視圖像所示，在通常時(shí)不要求高品質(zhì)、只在異常時(shí)想以高品質(zhì)再生注目位置的情況下特別有用。
其次，如果提高注目區(qū)域的圖像質(zhì)量，則參照?qǐng)D37(a)～(c)來(lái)說(shuō)明圖像處理裝置1300的處理能力不足時(shí)的處理的另一例。
如圖37(a)所示，在簡(jiǎn)易再生時(shí)，由低位零置換部1058從LSB側(cè)開(kāi)始低位2位被零置換。ROI掩碼生成部1056，如果使用者指定注目區(qū)域，則生成對(duì)應(yīng)于該注目區(qū)域的ROI掩碼。由圖37(b)的斜線表示該情況。本次注目區(qū)域的面積比圖34(b)的情況還多，若提高注目區(qū)域質(zhì)量，則圖像處理裝置1300的處理能力不足。此時(shí)，如圖37(c)所示，低位零置換部1058，參照ROI掩碼，對(duì)于未ROI掩碼的非ROI部分，生成不是將低位2位而是將低位3位置換為零的小波變換系數(shù)。
于是，逆量子化部1018將生成的小波變換系數(shù)進(jìn)行逆量子化，小波逆變換部1020對(duì)逆量子化后的小波變換系數(shù)進(jìn)行逆變換。據(jù)此，可得到注目區(qū)域ROI被提高圖像質(zhì)量、通常區(qū)域被降低圖像質(zhì)量的圖像數(shù)據(jù)。這樣，在提高了被ROI掩碼的注目區(qū)域的圖像質(zhì)量、即增加了位平面數(shù)的情況下，在圖像處理裝置的處理能力不足時(shí)，通過(guò)減少未被ROI掩碼的通常區(qū)域的位平面數(shù)，從而取得圖像處理裝置整體的處理量的平衡。
接著，參照?qǐng)D38的流程，說(shuō)明托提高注目區(qū)域圖像質(zhì)量、則圖像處理裝置1300的處理能力不足時(shí)的判定部1052的處理。與圖35的情況相同，在使用者未指定注目區(qū)域的通常情況下，以上述的中圖像質(zhì)量顯示動(dòng)態(tài)圖像為前提。
接收注目區(qū)域(S50)及圖像處理裝置1300的整體譯碼處理量P的計(jì)算(S52)與圖35的S30、S32相同。判定部1052判定在S52中計(jì)算出的譯碼處理量P是否超過(guò)圖像處理裝置1300在1幀期間內(nèi)可以處理的上限處理能力Pmax(S54)。如果譯碼處理量P在上限處理能力Pmax以下(S54的否)，則圖像質(zhì)量指示部1054允許注目區(qū)域提高圖像質(zhì)量(S64)。
當(dāng)譯碼處理量P超過(guò)上限處理能力Pmax時(shí)，判定部1052計(jì)算滿足下式的處理量，并決定通常區(qū)域的圖像質(zhì)量(S56)。
P＝lH·sH+lL(S-sH)(3)于是，圖像質(zhì)量指示部1054針對(duì)使用者，在顯示裝置上顯示是否允許降低注目區(qū)域以外的通常區(qū)域的圖像質(zhì)量的警告畫面(S58)。當(dāng)使用者由圖中未示的輸入裝置表達(dá)不允許的意思時(shí)(S60的否)，圖像質(zhì)量指示部1054不允許提高注目區(qū)域的圖像質(zhì)量(S66)。當(dāng)使用者表示允許的意思時(shí)(S60的是)，圖像質(zhì)量指示部1054在提高注目區(qū)域的圖像質(zhì)量的同時(shí)，發(fā)出降低通常區(qū)域圖像質(zhì)量的指示(S62)。據(jù)此，譯碼處理量P變?yōu)樯舷尢幚砟芰max以下。
圖39(a)、(b)是示意性表示在圖38流程的S60中、使用者容忍注目區(qū)域以外的通常區(qū)域圖像質(zhì)量降低時(shí)的畫面的情況。如圖39(a)所示，在以中圖像質(zhì)量(M)對(duì)整個(gè)圖像進(jìn)行譯碼時(shí)，如果使用者在畫面中指定注目區(qū)域，則如圖39(b)所示，在注目區(qū)域被提高圖像質(zhì)量(H)的同時(shí)，除此之外的通常區(qū)域被降低圖像質(zhì)量(L)。
在該實(shí)施例中，若使用者指定希望以高圖像質(zhì)量再生的注目區(qū)域，則在增加其注目區(qū)域的譯碼處理量并提高圖像質(zhì)量的同時(shí)，通過(guò)降低注目區(qū)域以外的通常區(qū)域的譯碼處理量，從而可將圖像處理裝置整體的處理量降為上限處理能力以下。據(jù)此，不增加圖像處理裝置的處理量，即可以高圖像質(zhì)量對(duì)使用者關(guān)心的某區(qū)域進(jìn)行再生。而且，可避免因譯碼處理量超過(guò)圖像處理裝置的能力而產(chǎn)生的彗差降落的產(chǎn)生。
作為另外的實(shí)施例，當(dāng)使用者指定了注目區(qū)域時(shí)，注目區(qū)域的圖像質(zhì)量也可以直接維持中圖像質(zhì)量、并使注目區(qū)域以外的通常區(qū)域降為低圖像質(zhì)量。這種情況下，低位位零置換部1058通過(guò)對(duì)對(duì)應(yīng)于非ROI區(qū)域的小波變換系數(shù)的低位位進(jìn)行零置換，從而可將注目區(qū)域的圖像質(zhì)量相對(duì)提高得比通常區(qū)域還高，以進(jìn)行譯碼。該情況示于圖40中。如圖40(a)所示，在以中圖像質(zhì)量(M)對(duì)整圖像進(jìn)行譯碼時(shí)，若使用者在畫面中指定注目區(qū)域，則如圖40(b)所示，注目區(qū)域原封保持中圖像質(zhì)量，通常區(qū)域被降低圖像質(zhì)量(L)。由此得到只有注目區(qū)域清晰的顯示畫面，故使用者的主觀品質(zhì)增加。
在以上的說(shuō)明中，將圖像質(zhì)量設(shè)為高中低3個(gè)等級(jí)進(jìn)行了說(shuō)明，當(dāng)也可以根據(jù)零置換的低位位數(shù)而有其以上的圖像質(zhì)量等級(jí)。
使用者指定的注目區(qū)域也可以是多個(gè)。當(dāng)指定2個(gè)注目區(qū)域時(shí)，圖像質(zhì)量指示部1054可以根據(jù)譯碼處理量，提高一個(gè)注目區(qū)域的圖像質(zhì)量，原封保持另一個(gè)區(qū)域的圖像質(zhì)量不變。代替由使用者指定，注目區(qū)域可由位置信息形成部1050，通過(guò)自動(dòng)提取顯示有人物和文字的區(qū)域等重要區(qū)域而設(shè)定。
按照使注目區(qū)域?yàn)楦邎D像質(zhì)量時(shí)的判定，在譯碼處理量超過(guò)上限處理能力Pmax時(shí)，圖像質(zhì)量指示部1054也可以對(duì)譯碼單元1310發(fā)出指令，以使輸出的動(dòng)態(tài)圖像的幀速率降低。據(jù)此，降低圖像處理裝置整體的每單位時(shí)間的譯碼處理量，故盡管時(shí)間分辨率降低，但也可形成注目區(qū)域的高圖像質(zhì)量。
(實(shí)施方式10)圖41是實(shí)施方式10涉及的圖像處理裝置1400的構(gòu)成圖。圖像處理裝置1400將動(dòng)態(tài)圖像顯示在顯示器等顯示裝置中，作為一例，相當(dāng)于電視接收機(jī)、監(jiān)視照相機(jī)等顯示控制裝置。
處理塊1410內(nèi)的圖像譯碼器1412與CPU1414及存儲(chǔ)器1416協(xié)同，對(duì)輸入的編碼圖像數(shù)據(jù)流連續(xù)進(jìn)行譯碼。圖像譯碼器1412具有實(shí)施方式9的圖像處理裝置1300的構(gòu)成。而且，處理塊1410可經(jīng)由無(wú)線或有線網(wǎng)絡(luò)通信接口，以取得編碼圖像數(shù)據(jù)流，還可以經(jīng)由接收廣播電波的接收塊取得編碼圖像數(shù)據(jù)流。
顯示電路1418從處理塊1410取得譯碼圖像，并輸出到顯示裝置1420。顯示裝置1420連續(xù)顯示譯碼奇偶的圖像幀，以再生動(dòng)態(tài)圖像。
使用者應(yīng)用指示器等輸入裝置1424指定在顯示裝置1420中顯示的圖像中的注目區(qū)域，或利用觸摸面板等接觸式顯示設(shè)備指定注目區(qū)域。注目區(qū)域的信息通過(guò)接口1422被輸入到處理塊1410中。處理塊1410取得注目區(qū)域的信息并生成使注目區(qū)域圖像質(zhì)量不同的譯碼圖像。
根據(jù)該圖像顯示裝置1410，對(duì)于來(lái)自電影和監(jiān)視照相機(jī)的圖像，可只高質(zhì)量顯示使用者選擇的區(qū)域。
(實(shí)施方式11)本發(fā)明的實(shí)施方式11是一種圖像顯示裝置，其接受根據(jù)分辨率而被分級(jí)的編碼圖像數(shù)據(jù)流，用譯碼單元連續(xù)對(duì)各編碼幀進(jìn)行譯碼，對(duì)顯示低分辨率動(dòng)態(tài)圖像的顯示裝置、和顯示高分辨率動(dòng)態(tài)圖像的顯示裝置雙方提供動(dòng)態(tài)圖像數(shù)據(jù)，其中在任何一方的顯示裝置中，當(dāng)使用者發(fā)出使圖像一部分區(qū)域的圖像質(zhì)量提高的指令時(shí)，在低分辨率的動(dòng)態(tài)圖像和高分辨率的動(dòng)態(tài)圖像雙方執(zhí)行圖像質(zhì)量的提高。
圖42表示實(shí)施方式11涉及的圖像顯示系統(tǒng)1500的構(gòu)成。關(guān)于顯示電路1218、1220、第1顯示裝置1222及第2顯示裝置1224，因與實(shí)施方式8相同，故賦予相同的符號(hào)。譯碼單元1512及區(qū)域指定單元1514采取與圖31所示的實(shí)施方式9的譯碼單元1310及區(qū)域指定單元1320同樣的構(gòu)成。
圖像處理裝置1510的譯碼單元1512對(duì)輸入的編碼圖像數(shù)據(jù)流連續(xù)譯碼。而且，高分辨率圖像數(shù)據(jù)通過(guò)幀緩沖器1516、顯示電路1218被輸出到顯示高分辨率動(dòng)態(tài)圖像的第1顯示裝置1222，低分辨率圖像數(shù)據(jù)通過(guò)幀緩沖器1518、顯示電路1220被輸出到顯示低分辨率動(dòng)態(tài)圖像的第2顯示裝置1224。該處理按照實(shí)施方式7所示的順序執(zhí)行。而且，在第1顯示裝置1222及第2顯示裝置1224中，譯碼的圖像數(shù)據(jù)以規(guī)定的幀速率被連續(xù)顯示，以再生動(dòng)態(tài)圖像。圖像處理裝置1510可以經(jīng)由有線或無(wú)線的網(wǎng)絡(luò)通信接口取得編碼圖像數(shù)據(jù)流，也可以經(jīng)由接收廣播電波的接收塊取得編碼圖像數(shù)據(jù)流。
使用者使用指示器等輸入裝置1524，指定在第1顯示裝置1222或第2顯示裝置1224上顯示的圖像中的注目區(qū)域，或利用觸摸屏等接觸式顯示設(shè)備指定注目區(qū)域。注目區(qū)域的信息通過(guò)接口1522被輸入到圖像處理裝置1510中。區(qū)域指定單元1514接受注目區(qū)域的信息，并判定是否應(yīng)提高注目區(qū)域的圖像質(zhì)量，并將其結(jié)果傳送到譯碼單元1512。譯碼單元1512根據(jù)判定結(jié)果，分別對(duì)高分辨率的圖像數(shù)據(jù)及低分辨率的圖像數(shù)據(jù)，生成在注目區(qū)域和其以外通常區(qū)域之間形成差異的圖像數(shù)據(jù)。該處理按照實(shí)施方式9所示的順序執(zhí)行。以下，與上述相同，在第1顯示裝置1222、第2顯示裝置1224中再生動(dòng)態(tài)圖像。
根據(jù)該實(shí)施方式，當(dāng)在多個(gè)顯示裝置上同時(shí)顯示分辨率不同的動(dòng)態(tài)圖像時(shí)，若在任何一個(gè)顯示裝置中指定注目區(qū)域，則在其他裝置中也可提高注目區(qū)域的圖像質(zhì)量。例如，在展示中，當(dāng)在由投影儀投影的大畫面屏幕和PC畫面雙方上再生動(dòng)態(tài)圖像時(shí)，可進(jìn)行將要強(qiáng)調(diào)的圖像告訴參加者這樣的演出。另外，在監(jiān)視照相系統(tǒng)中，當(dāng)將同一監(jiān)視圖像流顯示在多個(gè)監(jiān)視室的顯示器上時(shí)，也可以提醒其他監(jiān)視員應(yīng)注意的圖像區(qū)域。
而且，圖像顯示系統(tǒng)1500根據(jù)目的，當(dāng)然可具有3個(gè)以上分別顯示分辨率不同的動(dòng)態(tài)圖像的顯示裝置。
以上所說(shuō)明的本發(fā)明實(shí)施方式7至11是示例，本領(lǐng)域的技術(shù)人員可以理解為這些各構(gòu)成要素或處理過(guò)程的組合能夠進(jìn)行各種變形例，而且這樣的變形例也屬于本發(fā)明的范圍。
即使在任何一種實(shí)施方式中，作為用于圖像編碼的空間濾波，都說(shuō)明了小波變換，但也可以采用其他的空間頻率變換。例如，即使在JPEG標(biāo)準(zhǔn)中所應(yīng)用的離散余弦變換的情況下，通過(guò)以同樣方法對(duì)通常區(qū)域的變換系數(shù)的低位位進(jìn)行零置換，從而可相對(duì)提高注目區(qū)域的圖像質(zhì)量，另一方面，通過(guò)犧牲通常區(qū)域的圖像質(zhì)量，從而可以減小圖像處理裝置整體的處理量。
權(quán)利要求
1.一種圖像編碼方法，其特征在于，用于對(duì)在動(dòng)態(tài)圖像上定義的注目區(qū)域進(jìn)行特定的信息被記述在包含所述動(dòng)態(tài)圖像的編碼數(shù)據(jù)的編碼流中。
2.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于，當(dāng)在所述動(dòng)態(tài)圖像上定義有多個(gè)注目區(qū)域時(shí)，所述用于特定所述注目區(qū)域的信息包括優(yōu)先度。
3.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于，按照在所述動(dòng)態(tài)圖像上定義的所述注目區(qū)域的圖像質(zhì)量不同于其他區(qū)域的方式對(duì)所述動(dòng)態(tài)圖像進(jìn)行編碼。
4.根據(jù)權(quán)利要求3所述的圖像編碼方法，其特征在于，當(dāng)在所述動(dòng)態(tài)圖像上定義有多個(gè)注目區(qū)域時(shí)，所述用于特定所述注目區(qū)域的信息包括各自的優(yōu)先度；按照在所述動(dòng)態(tài)圖像上定義的所述多個(gè)注目區(qū)域的圖像質(zhì)量根據(jù)各自的優(yōu)先度而相互不同的方式對(duì)所述動(dòng)態(tài)圖像進(jìn)行編碼。
5.一種圖像編碼方法，其特征在于，用于對(duì)在圖像上定義的多個(gè)注目區(qū)域進(jìn)行特定的信息被記述在包含所述圖像的編碼數(shù)據(jù)的編碼流中。
6.根據(jù)權(quán)利要求5所述的圖像編碼方法，其特征在于，所述用于特定所述多個(gè)注目區(qū)域的信息包括各個(gè)所述注目區(qū)域的優(yōu)先度。
7.根據(jù)權(quán)利要求5所述的圖像編碼方法，其特征在于，按照所述多個(gè)注目區(qū)域的圖像質(zhì)量相互不同的方式對(duì)所述圖像進(jìn)行編碼。
8.根據(jù)權(quán)利要求6所述的圖像編碼方法，其特征在于，按照所述多個(gè)注目區(qū)域的圖像質(zhì)量根據(jù)各自的優(yōu)先度而相互不同的方式對(duì)所述圖像進(jìn)行編碼。
9.一種圖像編碼裝置，其特征在于，包括選擇單元，選擇動(dòng)態(tài)圖像上的注目區(qū)域；編碼單元，對(duì)所述動(dòng)態(tài)圖像進(jìn)行編碼；和生成單元，生成編碼流，該編碼流包括編碼動(dòng)態(tài)圖像和用于特定所述注目區(qū)域的信息。
10.根據(jù)權(quán)利要求9所述的圖像編碼裝置，其特征在于，當(dāng)在所述動(dòng)態(tài)圖像上定義有多個(gè)注目區(qū)域時(shí)，在所述用于特定所述注目區(qū)域的信息中包括各自的優(yōu)先度。
11.根據(jù)權(quán)利要求9所述的圖像編碼裝置，其特征在于，所述編碼單元，按照在所述動(dòng)態(tài)圖像上定義的所述注目區(qū)域的圖像質(zhì)量與其他區(qū)域不同的方式對(duì)所述動(dòng)態(tài)圖像進(jìn)行編碼。
12.根據(jù)權(quán)利要求11所述的圖像編碼裝置，其特征在于，當(dāng)在所述動(dòng)態(tài)圖像上定義有多個(gè)注目區(qū)域時(shí)，所述用于特定所述注目區(qū)域的信息包括各自的優(yōu)先度；所述編碼單元，按照在所述動(dòng)態(tài)圖像上定義的所述多個(gè)注目區(qū)域的圖像質(zhì)量相互不同的方式對(duì)所述動(dòng)態(tài)圖像進(jìn)行編碼。
13.一種圖像編碼裝置，其特征在于，包括選擇單元，選擇圖像上的多個(gè)注目區(qū)域；編碼單元，對(duì)所述圖像進(jìn)行編碼；和生成單元，生成編碼流，該編碼流包括編碼圖像和用于特定所述多個(gè)注目區(qū)域的信息。
14.根據(jù)權(quán)利要求13所述的圖像編碼裝置，其特征在于，所述生成單元，按照包括各個(gè)所述注目區(qū)域的優(yōu)先度的方式生成所述編碼流。
15.根據(jù)權(quán)利要求13所述的圖像編碼裝置，其特征在于，所述編碼單元，按照在所述圖像上定義的所述多個(gè)注目區(qū)域的圖像質(zhì)量相互不同的方式對(duì)所述圖像進(jìn)行編碼。
16.根據(jù)權(quán)利要求14所述的圖像編碼裝置，其特征在于，所述編碼單元，按照在所述圖像上定義的所述多個(gè)注目區(qū)域的圖像質(zhì)量根據(jù)各自的優(yōu)先度而相互不同的方式對(duì)所述圖像進(jìn)行編碼。
全文摘要
本發(fā)明提供一種圖像編碼裝置，包括選擇單元，選擇動(dòng)態(tài)圖像上的注目區(qū)域；編碼單元，對(duì)所述動(dòng)態(tài)圖像進(jìn)行編碼；和生成單元，生成編碼流，該編碼流包括編碼動(dòng)態(tài)圖像和用于特定所述注目區(qū)域的信息。
文檔編號(hào)H04N1/41GK101072354SQ20071010885
公開(kāi)日2007年11月14日 申請(qǐng)日期2005年2月5日 優(yōu)先權(quán)日2004年2月9日
發(fā)明者武田和彥, 岡田茂之 申請(qǐng)人:三洋電機(jī)株式會(huì)社