專利名稱：圖像信息編碼裝置和方法,以及圖像信息解碼裝置和方法
技術領域：
本發(fā)明涉及圖像信息編碼裝置和方法以及圖像信息解碼裝置和方法，用于通過諸如衛(wèi)星廣播服務，有線TV(電視)或因特網等網絡媒體接收或在諸如光盤，磁盤或閃存等存儲媒體上處理圖像壓縮信息(比特流)，該圖像壓縮信息通過諸如離散余弦變換或Karhunen-Loeve變換等正交變換以及如MPEG(運動圖像專家組)、H.26x等那樣的運動預測/補償而被壓縮。

背景技術：
近年來，依照諸如MPEG等系統(tǒng)的裝置已普遍用于廣播臺等的信息分配(遞送)和普通家庭的信息接收，在這些裝置中圖像信息作為數(shù)字信息被處理，利用圖像信息特有的冗性通過諸如離散余弦變換等正交變換和的運動預測/補償來圖像壓縮信息，以達到高效傳輸/存儲信息的目的。
特別是MPEG2(ISO/IEC 13818-2)被確定為通用圖像編碼系統(tǒng)，并且目前已廣泛應用于專業(yè)和消費領域作為標準，包括隔行掃描圖像和順序掃描圖像，以及標準清晰度圖像和高清晰度圖像。通過應用MPEG2壓縮系統(tǒng)，在具有例如720×480像素的標準清晰度隔行掃描圖像的情況下指配4至8Mbps的碼量(比特率)，在具有1920×1088像素的高清晰度隔行掃描圖像的情況下指配18至22Mbps的碼量(比特率)，從而可以實現(xiàn)高壓縮率和滿意的圖像質量。
MPEG2主要針對主要適合廣播用編碼系統(tǒng)的高圖像質量編碼，而不符合比MPEG1碼量(比特率)更低即壓縮率更高的編碼系統(tǒng)。然而，相信對這種編碼系統(tǒng)的需求將來會隨著便攜(移動)終端的普及而增長。與此對應，MPEG4編碼系統(tǒng)的標準化已經完成。關于圖像編碼系統(tǒng)，它的標準已經作為國際標準ISO/IEC 14496-2在1998年12月被批準。
此外，近年來隨著實現(xiàn)用于電視會議的圖像編碼作為當初的目的，H.264標準(ITU-T Q6/16 VCEG)正在開發(fā)中。已經知道，H.264比MPEG2或MPEG4等常規(guī)編碼系統(tǒng)需要更大的運算量來進行編碼/解碼，可以實現(xiàn)更高的編碼效率。另外，其中具有不被H.264支持的功能并以H.264作為基礎來實現(xiàn)更高編碼效率的標準化目前正在被JVT(聯(lián)合視頻組)執(zhí)行，作為MPEG4工作的一部分。
圖1示出用于通過諸如離散余弦變換或Karhnen-Loeve變換等正交變換和運動預測/補償實現(xiàn)圖像壓縮的圖像信息編碼系統(tǒng)結構示意圖。如圖1所示，圖像信息編碼裝置100包括一個A/D(模擬/數(shù)字)變換單元101，一個圖像分類緩沖器102，一個相加器103，一個正交變換單元104，一個量化單元105，一個可逆編碼單元106，一個存儲緩沖器107，一個逆量化單元108，一個逆正交變換單元109，一個相加器110，一個幀存儲器111，一個運動預測/補償單元112，一個幀內預測單元113和一個速率控制單元114。
圖1中A/D變換單元101變換輸入的圖像信號為數(shù)字信號。圖像分類緩沖器102根據(jù)圖像信息編碼裝置100輸出的圖像壓縮信息的GOP(圖像組)結構進行幀的分類。
在此例中，圖像分類緩沖器102對于進行幀內(圖像內)編碼的圖像提供全部幀的圖像信息到正交變換單元104。正交變換單元104對圖像信息進行諸如離散余弦變換或Karhnen-Loeve變換等正交變換，提供變換系數(shù)到量化單元105。量化單元105對正交變換單元104所提供的變換系數(shù)進行量化處理。
可逆編碼單元106對量化的變換系數(shù)進行諸如可變長度編碼或算術編碼等可逆編碼，提供已編碼變換系數(shù)給存儲緩沖器107，在那里將它們存儲起來。獲得的已編碼變換系數(shù)作為圖像壓縮信息輸出。
量化單元105的操作受速率控制單元114的控制。量化單元105還提供已量化的變換系數(shù)到逆量化單元108。此逆量化單元108對所提供的變換系數(shù)進行逆量化。逆正交變換單元109對逆量化的變換系數(shù)進行逆正交變換處理，產生解碼的圖像信息，提供所產生的信息給幀存儲器111，將信息存儲在那里。
另一方面，圖像分類緩沖器102對于進行幀間(圖像間)編碼的圖像提供圖像信息給運動預測/補償單元112。運動預測/補償單元112同時從幀存儲器111取出參考圖像信息進行運動預測/補償，從而產生參考圖像信息。運動預測/補償單元112將它產生的參考圖像信息提供給相加器103。相加器103變換參考圖像信息為一個參考圖像信息和被提供的圖像信息之間的差信號。此外，運動預測/補償單元112同時提供運動矢量信息給可逆編碼單元106。
可逆編碼單元106對被提供的運動矢量信息進行諸如可變長度編碼或算術編碼等可逆編碼處理，形成插入到圖像壓縮信息的頭部的信息。應指出，因為其它的處理相同于對進行幀內編碼的圖像壓縮信息的處理，對它們的說明被省略。
這里，在實現(xiàn)上面說明的JVT標準(下面稱為JVT編解碼)的編碼系統(tǒng)中應用幀內預測編碼，在進行幀內編碼時由塊四周的像素產生預測圖像，再對與預測圖像的預測圖像差值進行編碼。即對于進行幀內編碼的圖像，預測圖像由已完成編碼的像素塊附近的像素產生，相對預測圖像的差值然后被編碼。逆量化單元108和逆正交變換單元109分別對已幀內編碼的像素進行逆量化和逆正交變換。相加器110將逆正交變換單元109的輸與用于對像素塊編碼的預測圖像相加，提供得到的相加值給幀存儲器111，將它們存儲在那里。在像素塊被幀內編碼的情況下，幀內預測單元113讀出已經編碼的、存儲在幀存儲器111中的相鄰像素以產生預測圖像。這時，根據(jù)用于產生預測圖像的幀內預測方式，可逆編碼單元106完成可逆編碼處理，輸出被處理信息到圖像壓縮信息中。
接著，對應于上面所述圖像信息編碼裝置100的圖像信息解碼裝置的結構示意圖被示于圖2中。如圖2所示，圖像信息解碼裝置120包括一個存儲緩沖器121，一個可逆解碼單元122，一個逆量化單元123，一個逆正交變換單元124，一個相加器125，一個圖像分類緩沖器126，一個D/A(數(shù)字/模擬)變換單元127，一個運動預測/補償單元128，一個幀存儲器129，以及一個幀內預測單元130。
圖2中，存儲緩沖器121暫時存儲輸入的圖像壓縮信息，然后傳送圖像壓縮信息到可逆解碼單元122?？赡娼獯a單元122基于預先規(guī)定的圖像壓縮信息格式對圖像壓縮信息進行諸如可變長度解碼或算術解碼等處理，并提供量化的變換系數(shù)給逆量化單元123。在對應的幀是幀間編碼幀的情況下，可逆解碼單元122還解碼存儲在圖像壓縮信息頭部的運動矢量信息，提供此被解碼信息給運動預測/補償單元128。
逆量化單元123對可逆解碼單元122提供的量化的變換系數(shù)進行逆量化，提供所獲得的變換系數(shù)給逆正交變換單元124。逆正交變換單元124基于預先規(guī)定的圖像壓縮信息格式對變換系數(shù)進行諸如逆離散余弦變換或逆Karhunen-Loeve變換等逆正交變換。
在相應幀為幀內編碼幀的情況下，已經完成逆正交變換處理的圖像信息被存儲到圖像分類緩沖器126，并在D/A變換單元127中經D/A變換處理后被輸出。
另一方面，在相應幀為幀間編碼幀的情況下，運動預測/補償單元128基于可逆解碼處理已得到的運動矢量和存儲在幀存儲器129中的圖像信息產生參考圖像，并將所產生的參考圖像提供給相加器125。相加器125合成參考圖像和可逆正交變換單元124的輸出。應指出，因為其它處理相同于對幀內編碼幀的處理，它們的說明被省略。
在此例中，因為幀內預測編碼系統(tǒng)在JVT編解碼中被采用，在相應幀是幀內編碼幀的情況下，幀內預測單元130從幀存儲器129讀出圖像，按照在可逆解碼單元122實現(xiàn)的可逆解碼處理所得到的幀內預測方式產生預測圖像。相加器125將逆正交變換單元124的輸出與預測圖像相加。
上面已經說明的圖像信息編碼裝置100和圖像信息解碼裝置120已在例如日本專利申請公報No.2001-199818和No.2002-20953公開。
如上所述，在JVT編解碼(H.264|MPEG-4 AVC)實現(xiàn)的幀內編碼中采用了所述一個幀內預測編碼系統(tǒng)，從塊四周的像素產生預測圖像并編碼與預測圖像的差值。
這里，對于亮度分量，應用兩種預測系統(tǒng)一個是幀內4×4預測方式，其中預測基于4×4像素塊進行；另一個是幀內16×16預測方式，其中預測基于16×16像素塊(宏塊)進行。
另一方面，對于色差分量，基于Cb，Cr各8×8塊進行預測。這個預測編碼方法相同于幀內16×16預測方式的編碼方法，只是預測方式改變?yōu)?×8塊單位的預測方式。圖3示出色差分量幀內預測編碼中的預測方式。如圖3所示，在JVT編解碼中規(guī)定了以下4種預測方式 (a)垂直方式(方式0)(b)水平方式(方式1) (c)DC方式(方式2) (d)面預測方式(方式3) 按照具有最小預測差(殘留)的預測方式產生預測圖像。下面說明4種預測方式中產生預測圖像的方法。
(a)垂直方式(方式0) 在垂直方式中，色差塊的上邊相鄰色差塊(在4:2:0格式的情況下，上宏塊)的像素被復制，被復制的像素作為相應塊的預測圖像，若上邊相鄰塊的像素表示為P[X，-1]，色差塊的預測圖像predc則由下面式(1)表示。注意此方式只用在上邊相鄰塊存在的情況下。
predc[x，y]＝p[x，-1] (x，y＝0..7)… (1) (b)水平方式(方式1) 在水平方式中，色差塊的左邊相鄰塊(在4:2:0格式的情況下，左宏塊)的像素被復制，復制的像素作為相應塊的預測圖像。若左邊相鄰塊的像素表示為P[-1，Y]，則色差塊的預測圖像predc由下面式(2)表示。注意此方式只用在左邊相鄰塊存在的情況下。
predc[x，y]＝P[-1，y] (x，y＝0..7) … (2) (c)DC方式(方式2) 在DC方式中，色差塊的上邊和左邊相鄰塊的像素被使用，它們的平均值構成預測圖像。注意，在相鄰像素不存在的情況下，值128被用作預測信號。
換言之，在X，Y＝0...3的情況下，預測圖像predc[X，Y]用相鄰的上邊像素P[X，-1]和相鄰的左邊像素P[-1，Y]產生(在此例中，X，Y＝0...3)。具體說在以下四種情況下預測圖像分別用下面的式(3)至(6)產生情況(i)像素P[X，-1]和像素P[-1，Y]都存在；情況(ii)像素P[X，-1]存在，像素P[-1，Y]不存在；情況(iii)像素P[X，-1]不存在，像素P[-1，Y]存在；情況(iv)像素P[X，-1]和像素P[-1，Y]都不存在。
(x，y＝0..3) …(3) (x，y＝0..3) …(4) (x，y＝0..3) …(5) predc[x，y]＝128 (x，y＝0..3) …(6) 類似地，在X＝4...7，Y＝0...3的情況下，預測圖像predc[X，Y]用相鄰的上邊像素P[X，-1]和相鄰的左邊像素P[-1，Y]產生(在此例中，X＝4...7，Y＝0...3)。具體說，在以下三種情況下預測圖像分別用以下式(7)至(9)產生情況(i)像素P[X，-1]存在；情況(ii)像素P[X，-1]不存在，且像素P[-1，Y]存在；情況(iii)像素P[X，-1]和像素P[-1，Y]都不存在。
(x＝4..7，y＝0..3) …(7) (x＝4..7，y＝0..3) …(8) predc＝128 (x＝4..7，y＝0..3) …(9) 類似地，在X＝0...3，Y＝4...7的情況下，預測圖像predc[X，Y]用相鄰的上邊像素P[X，-1]和相鄰的左邊像素P[-1，Y]產生(在此例中，X＝0...3，Y＝4...7)。具體說，在以下三種情況下預測圖像分別用以下式(10)至(12)產生情況(i)像素P[-1，Y]存在；情況(ii)像素P[X，-1]存在，且像素P[-1，Y]不存在；情況(iii)像素P[X，-1]和像素P[-1，Y]都不存在。
(x＝0..3，y＝4..7)…(10) (x＝0..3，y＝4..7)…(11) predc＝128 (x＝0..3，y＝4..7)…(12) 類似地，在X，Y＝4...7的情況下，預測圖像predc[X，Y]用相鄰的上邊像素P[X，-1]和相鄰的左邊像素P[-1，Y]產生(在此例中，X，Y＝4...7)。具體說，在以下四種情況下預測圖像分別用以下式(13)至(16)產生情況(i)像素P[X，-1]和像素P[-1，Y]都存在；情況(ii)像素P[X，-1]存在，像素P[-1，Y]不存在；情況(iii)像素P[X，-1]不存在，像素P[-1，Y]存在；情況(iv)像素P[X，-1]和像素P[-1，Y]都不存在。
(x，y＝4..7)…(13) (x，y＝4..7)…(14) (x，y＝4..7)…(15) predc[x，y]＝128 (x，y＝4..7) … (16) (d)面預測方式(方式3) 在面預測方式中，預測圖像是色差塊相鄰的左邊塊(在4:2:0格式的情況下，左宏塊)的像素和相鄰的上邊塊的像素的面近似。若相鄰的左邊塊的像素和相鄰的上邊塊的像素分別用P[-1，Y]和P[X，-1]表示，則色差預測圖像predc由式(17)表示。其中Clip1表示限制到0至255的范圍內。
predc[x，y]＝Clip1((a+b×(x-3)+c×(y-3)+16)＞＞5) (x，y＝0..7)…(17) 其中 上述方式中，在色差分量的幀內預測用四種預測方式中的任一種完成，產生預測圖像后，在相加器103中產生當前圖像塊與預測圖像間的差信號。正交變換單元104基于4×4像素塊對8×8塊的差信號進行4×4整數(shù)變換。若通過從當前像素塊中減去預測圖像得到的差信號用F4×4表示，則4×4整數(shù)變換由下面的式(18)表示。
其中 此外，在JVT編解碼中在4×4整數(shù)變換完成后，在8×8塊中的4個4×4塊的(0，0)系數(shù)(DC系數(shù))如圖4所示那樣被集合起來構成2×2塊，并對2×2塊進行2×2 Hadmard變換。這是因為用在色差中的幀內預測效率不太高，并且相鄰4×4塊的(0，0)系數(shù)仍存在相關。為了利用此相關性進一步改善(提高)編碼效率，只將4×4塊中的(0，0)系數(shù)集合起來構成2×2塊并對其進行2×2 Hadamard變換。若2×2的色度DC塊用fdc2×2表示，經2×2 Hadamard變換后的色度DC塊f’dc2×2由下面式(19)表示。
其中 在整數(shù)變換處理后相應的系數(shù)被量化。如果用于確定亮度量化系數(shù)的參數(shù)是Qpy，則用于確定色差量化系數(shù)的參數(shù)Qpc以下述方法計算出。
首先，按照下面的式(20)由編碼在圖像壓縮信息中的Qpy(它取0至51范圍內的值)和色差量化系數(shù)的偏置值chroma-qp-offset計算QPi。在此情況下QPi是被限制到0到51的范圍內。
QPi＝QPy+chroma_qp_offset …(20) 然后，此QPi被用來從下面列出的表1確定色差的參數(shù)QPc。
表1 如果量化前對應AC系數(shù)值是f，量化后相應AC系數(shù)值是f’，量化系數(shù)值由下面式(21)表示。
f′[i，j]＝(f[i，j]×Q(QPc％6，i，j)+r)＞＞(15+QPc/6) (i，j＝0..3)…(21) 其中 另一方面，若量化前對應DC系數(shù)值是fdc，量化后相應DC系數(shù)是fdc’，量化系數(shù)值由下面式(22)表示。在此情況下式(22)中的r是用于取整處理的常數(shù)。
fdc′[i，j]＝(fdc[i，j]×Q(QPc％6，0，0)+r)＞＞(16+QPc/6)(i，j＝0..1) …(22) 此外，若逆量化后的AC系數(shù)是f”，AC系數(shù)的逆量化由下面式(23)表示。
f″[i，j]＝(f′[i，j]×IQ(QPc％6，i，j)+r)＜＜(QPc/6) (i，j＝0..3) …(23) 其中 另一方面，若逆量化后的DC系數(shù)是fdc”，DC系數(shù)的逆量化在QPc為6或更大的情況下由下面式(24)表示，在QPc小于6的情況下由下面式(25)表示。
fdc″[i，j]＝(fdc′[i，j]×IQ(QPc％6，i，j))＜＜(QPc/6-1) (i，j＝0..3) …(24) fdc″[i，j]＝(fdc′[i，j]×IQ(QPc％6，i，j))＞＞1 (i，j＝0..3) …(25) 當幀內預測編碼處理以上述方式在JVT編解碼中進行時，存在以下問題即使應用上面所述的方法，由于在色差的幀內預測編碼中塊大小較小，編碼效率比亮度的低。
此外，還存在以下問題上述方法僅適用于4:2:0格式和YCbCr彩色空間，因而不能在4:2:2格式，4:4:4格式，RGB彩色空間，XYZ彩色空間等情況下進行編碼。


發(fā)明內容
本發(fā)明所解決的問題 本發(fā)明是針對上述傳統(tǒng)的實際情況提出的，本發(fā)明的目的在于提供一種圖像信息編碼裝置和方法以及一種圖像信息解碼裝置和方法，它們能更高效地實現(xiàn)甚至包括4:2:2格式，4:4:4格式，RGB彩色空間和/或XYZ彩色空間等在內的圖像的編碼/解碼。
解決問題的手段 本發(fā)明的圖像信息編碼裝置是指這樣的圖像信息編碼裝置它將輸入圖像信號分塊，基于塊進行正交變換，并進行量化，它包括圖像內預測裝置-它用于基于一個指示彩色信號分辨率的色度格式信號和一個指示彩色空間的彩色空間信號適應地改變塊大小，產生一個進行彩色信號的圖像內編碼的預測圖像；變換裝置-用于基于規(guī)定的塊大小對圖像內預測裝置產生的預測圖像與原始圖像的差信號進行整數(shù)變換；量化裝置-用于按照變換裝置進行的變換處理相應地改變量化方法，對變換裝置產生的變換系數(shù)進行量化；以及編碼裝置-用于對量化裝置所量化的變換系數(shù)，色度格式信號和彩色空間信號進行編碼。
此外，本發(fā)明的圖像信息編碼方法是指這樣的圖像信息編碼方法將輸入圖像信號分塊，基于塊進行正交變換，并進行量化，它包括一個圖像內預測步驟-它基于一個指示彩色信號分辨率的色度格式信號和一個指示彩色空間的彩色空間信號適應地改變塊大小產生一個進行彩色信號的幀內預測編碼的預測圖像；一個變換步驟-它基于規(guī)定的塊大小對圖像內預測步驟中產生的預測圖像與原始圖像的差信號進行整數(shù)變換；一個量化步驟-它按照在變換步驟中進行的變換處理相應地改變量化方法，對變換步驟中產生的變換系數(shù)進行量化；以及一個編碼步驟-對量化步驟中所量化的變換系數(shù)，色度格式信號和彩色空間信號進行編碼。
在這種圖像信息編碼裝置和方法中進行輸入圖像信號的圖像內預測編碼中，產生預測圖像中的塊大小是基于色度格式信號-它指示彩色分量的分辨率是例如4:2:0格式，4:2:2格式和4:4:4格式等中的哪一個-和彩色空間信號-它指示彩色空間是例如YCbCr，RGB和XYZ等中的哪一個-而適應地變化。此外，在圖像信息編碼裝置和方法中，色度格式信號和彩色空間信號與已量化的變換系數(shù)一起被編碼。
此外，本發(fā)明的圖像信息解碼裝置是指這樣的圖像信息解碼裝置它解碼通過對圖像壓縮信息-其中輸入圖像信號被分塊，基于塊進行正交變換和量化-進行逆量化和逆正交變換而獲得的信息，它包括解碼裝置-它用于對已量化和編碼的變換系數(shù)，指示彩色信號分辨率的色度格式信號和指示彩色空間的彩色空間信號進行解碼；逆量化裝置-它用于按照色度格式信號和彩色空間信號適應地改變逆量化方法，對解碼裝置解碼的變換系數(shù)進行逆量化；逆變換裝置-它用于對已逆量化的塊進行整數(shù)變換；以及圖像內預測裝置-它通過應用逆變換裝置的輸出信號以對應于色度格式信號和彩色空間信號的塊大小實現(xiàn)彩色信號的幀內預測解碼，產生一個預測圖像。
此外，本發(fā)明的圖像信息解碼方法是指這樣的圖像信息解碼方法；它解碼通過對圖像壓縮信息-其中輸入圖像信號被分塊，基于塊進行正交變換和量化-進行逆量化和逆正交變換而獲得的信息，它包括一個解碼步驟-它對已量化和編碼的變換系數(shù)，指示彩色信號分辨率的色度格式信號和指示彩色空間的彩色空間信號進行解碼；一個逆量化步驟-它按照色度格式信號和彩色空間信號適應地改變逆量化方法，對解碼步驟中解碼的變換系數(shù)進行逆量化；一個逆變換步驟-它對已逆量化的塊進行整數(shù)變換；以及一個圖像內預測步驟-它通過應用逆變換步驟中的輸出信號以對應于色度格式信號和彩色空間信號的塊大小實現(xiàn)彩色信號的幀內預測解碼，產生一個預測圖像。
在這種圖像信息解碼裝置和方法中，色度格式信號-它指示彩色分量的分辨率是例如4:2:0格式，4:2:2格式和4:4:4格式等中的哪一個-和彩色空間信號-它指示彩色空間是例如YCbCr，RGB和XYZ等中的哪一個-被解碼，以對應于色度格式信號和彩色空間信號的塊大小實現(xiàn)彩色信號的幀內預測解碼，產生預測圖像。
本發(fā)明的效果/優(yōu)點 按照本發(fā)明的圖像信息編碼裝置和方法以及本發(fā)明的圖像信息解碼裝置和方法，編碼/解碼可以通過圖像內預測而有效地實現(xiàn)，不僅對于4:2:0格式和YCbCr彩色空間的情況，而且對于4:2:2格式，4:4:4格式，RGB彩色空間和/或XYZ彩色空間等都可以高效實現(xiàn)編碼/解碼。
由以下結合附圖對實施例的說明將更清楚地看出本發(fā)明進一步的目的和本發(fā)明的優(yōu)點。



圖1是一個方框圖，它簡要示出一個傳統(tǒng)的圖像信息編碼裝置，它通過諸如離散余弦變換或Karhnen-Loeve變換等正交變換和運動預測/補償實現(xiàn)圖像壓縮。
圖2是一個方框圖，它簡要示出一個傳統(tǒng)的圖像信息解碼裝置，此裝置對應于圖1所示圖像信息編碼裝置。
圖3用于說明JVT編解碼中的四種幀內預測方式。
圖4示出在8×8塊中的4個4×4塊的DC系數(shù)被集合構成2×2塊的情況。
圖5示出本發(fā)明的一個圖像信息編碼裝置的結構方框圖。
圖6是示出本發(fā)明的圖像信息編碼裝置中幀內預測單元結構例的方框圖。
圖7示出本發(fā)明的圖像信息編碼裝置中正交變換單元結構例。
圖8示出兩個8×8塊中在縱向上連續(xù)的8個4×4塊的DC系數(shù)被集合，構成2×4塊。
圖9是示出本發(fā)明的圖像信息編碼裝置中量化單元結構例的方框圖。
圖10是示出本發(fā)明的圖像信息編碼裝置中逆量化單元結構例的方框圖。
圖11是示出本發(fā)明的圖像信息編碼裝置中逆正交變換單元結構例的方框圖。
圖12是示出本發(fā)明的圖像信息解碼裝置結構的方框圖。

具體實施例方式 現(xiàn)在借助附圖詳細說明本發(fā)明實施例，應該指出，本發(fā)明不限制于這些實施例，當然，在不脫離本發(fā)明的要點的范圍內可以做各種變化或改動。
(1)圖像信息編碼裝置的結構和工作 首先，圖5示出本發(fā)明的圖像信息編碼裝置的結構概要。如圖5所示，圖像信息編碼裝置10包括一個A/D(模擬/數(shù)字)變換單元11，一個圖像分類緩沖器12，一個相加器13，一個正交變換單元14，一個量化單元15，一個可逆編碼單元16，一個存儲緩沖器17，一個逆量化單元18，一個逆正交變換單元19，一個相加器20，一個幀存儲器21，一個運動預測/補償單元32，一個幀內預測單元23，以及一個速率控制單元24。
圖5中，A/D變換單元11將輸入的圖像信號變換為一個數(shù)字信號。然后，圖像分類緩沖器12按照圖像信息編碼裝置10輸出的圖像壓縮信息的GOP(圖像組)結構進行幀的分類。在這個例子中，對于進行幀內(圖像內)編碼的圖像，圖像分類緩沖器12提供全部幀的圖像信息給正交變換單元14，正交變換單元14對圖像信息進行諸如離散余弦變換或Karhunen-Loeve變換等正交變換，提供變換系數(shù)給量化單元15，量化單元15對正交變換單元14提供的變換系數(shù)進行量化處理。
可逆編碼單元16對量化的變換系數(shù)進行諸如可變長度編碼或算術編碼等可逆編碼，提供編碼的變換系數(shù)給存儲緩沖器17，將它們存儲在緩沖器中。編碼的變換系數(shù)作為圖像壓縮信息被輸出。
量化單元15的操作受速率控制單元24控制。而且，量化單元15提供量化的變換系數(shù)給逆量化單元18。逆量化單元18將提供給它的變換系數(shù)逆量化。逆正交變換單元19對經過逆量化的變換系數(shù)進行逆正交變換處理，產生解碼的圖像信息，提供所產生的信息給幀存儲器21，將它們存儲在幀存儲器中。
另一方面，對于進行幀間(圖像間)編碼的圖像，圖像分類緩沖器12提供圖像信息給運動預測/補償單元22。運動預測/補償單元22同時從幀存儲器21取出被參考的圖像信息，產生參考圖像信息。運動預測/補償單元22提供所產生的參考圖像信息給相加器13。相加器13變換參考圖像信息為參考圖像信息與相應圖像信息之間的差信號。此外，運動預測/補償單元22同時提供運動矢量信息給可逆編碼單元16。
可逆編碼單元16對所輸入的運動矢量信息進行諸如可變長度編碼或算術編碼等可逆編碼處理，形成插入到圖像壓縮信息頭部的信息。應指出，因為其它的處理相同于進行幀內編碼的圖像壓縮信息的處理，對它們的說明被省略。
在這個例子中，在上述JVT編解碼中實現(xiàn)幀內編碼時采用幀內預測編碼系統(tǒng)，它由塊四周的像素產生預測圖像，以便對圖像之間的差值進行編碼。也就是說，對于進行幀內編碼的圖像(I圖像，I片，幀內宏塊等)，由被編碼像素塊附近的已編碼像素值產生預測圖像，與預測圖像的差值被編碼。逆量化單元18和逆正交變換單元19分別對已進行幀內編碼的像素進行逆量化和逆正交變換。相加器20將逆正交變換單元19的輸出和編碼相應像素塊所用的預測圖像相加，獲得的相加值提供給幀存儲器21，存儲此相加值到幀存儲器中。在要幀內編碼像素塊的情況下，幀內預測單元23讀出存儲在幀存儲器21中的已編碼相鄰像素，以產生預測圖像。這時，可逆編碼單元16對產生預測圖像所用的幀內預測方式進行可逆編碼處理，提供一個輸出到圖像壓縮信息中。
(2)圖像信息編碼裝置中應用本發(fā)明的部分 (2-1)幀內預測單元 幀內預測單元23的一個結構例示于圖6。幀內預測單元23基于色度格式信號-它指示彩色分量的分辨率是4:2:0格式，4:2:2格式和4:4:4格式等中的哪一個-和彩色空間信號-它指示彩色空間是YCbCr，RGB和XYZ等中的哪一個-切換預測方法。在比例中，色度格式信號和彩色空間信號預先被外部使用者等設置并提供給圖像信息編碼裝置10。
在圖6所示幀內預測單元23中，色度格式信號和彩色空間信號被提供給開關30，32。開關30，32基于色度格式信號和彩色空間信號選擇一個幀內預測器31a，31b，31c，提供已從幀存儲器21讀出的幀信號到所選擇的幀內預測器，并從所選擇的幀內預測器輸出預測圖像。開關30，32選擇同一個幀內預測器。應指出上述對圖6的說明基于三種幀內預測器31a，31b，31c中的任一個被選擇，然而幀內預測器的數(shù)目，即預測系統(tǒng)的數(shù)目可以任意設置。
(2-1-1) 首先，幀內預測器31a的工作將被解釋。幀內預測器31a對8×8塊進行預測，對于色度格式信號指示4:2:0格式且彩色空間信號指示YCbCr的圖像信號，以8×8塊作為一個單元。應指出，因為幀內預測器31a的工作相同于前面所述預測器的工作，對它的詳細說明被省略。
(2-1-2) 下面說明幀內預測器31b的工作。在幀內預測器31b上存在四種幀內色差預測方式垂直方式，水平方式，DC方式和面預測方式。幀內預測器31b對8×16塊進行預測，此8×16塊通過集合宏塊中在縱向上連續(xù)的兩個8×8塊而構成，對于色度格式信號指示4:2:2格式且彩色空間信號指示YCbCr的圖像信號，8×16塊作為一個單元。在幀內預測器31b上根據(jù)四種預測方式產生預測圖像的方法將在下面被說明。
(a)垂直方式(方式0) 在垂直方式中，色差塊上邊相鄰塊的像素被復制，被復制的像素作為相應塊的預測圖像，如果上邊相鄰塊的像素用P[X，-1]表示，則色差的預測圖像predc由下面的式(26)表示。注意此方式僅用于上邊相鄰塊存在的情況下。
predc[x，y]＝p[x，-1] (x＝0..7，y＝0..15) …(26) (b)水平方式(方式1) 在水平方式中，色差塊的左邊相鄰塊的像素被復制，被復制的像素作為相應塊的預測圖像。如果左邊相鄰塊的像素用P[-1，Y]表示，則色差的預測圖像predc由下面的式(27)表示。注意此方式僅用于左邊相鄰塊存在的情況下。
predc[x，y]＝p[-1，y] (x＝0..7，y＝0..15) …(27) (c)DC方式(方式2) 在DC方式中，色差塊的上邊和左邊相鄰塊的像素被使用，它們的平均值構成預測圖像。注意，在相鄰像素不存在的情況下，值128被用作預測信號。
換言之，在X，Y＝0...3的情況下，預測圖像predc[X，Y]用上邊相鄰像素P[X，-1]和左邊相鄰像素P[-1，Y]產生(在此例中X，Y＝0...3)。具體說，在以下四種情況下預測圖像分別用下面的式(28)至(31)產生情況(i)像素P[X，-1]和像素P[-1，Y]都存在；情況(ii)像素P[X，-1]存在，像素P[-1，Y]不存在；情況(iii)像素P[X，-1]不存在，像素P[-1，Y]存在；情況(iv)像素P[X，-1]和像素P[-1，Y]都不存在。
(x，y＝0..3)…(28) (x，y＝0..3)…(29) (x，y＝0..3)…(30) predc[x，y]＝128 (x，y＝0..3) …(31) 類似地，在X＝4...7，Y＝0...3的情況下，預測圖像predc[X，Y]用上邊相鄰像素P[X，-1]和左邊相鄰像素P[-1，Y]產生(在此例中X＝4...7，Y＝0...3)。具體說，在以下三種情況下預測圖像分別用下面的式(32)至(34)產生情況(i)像素P[X，-1]存在；情況(ii)像素P[X，-1]不存在，像素P[-1，Y]存在；情況(iii)像素P[X，-1]和像素P[-1，Y]都不存在。
(x＝4..7，y＝0..3) …(32) (x＝4..7，y＝0..3) …(33) predc＝128 (x＝4..7，y＝0..3) …(34) 類似地，在X＝0...3，Y＝4...7的情況下，預測圖像predc[X，Y]用上邊相鄰像素P[X，-1]和左邊相鄰像素P[-1，Y]產生(在此例中，X＝0...3，Y＝4...7)。具體說，在以下三種情況下預測圖像分別用下面的式(35)至(37)產生情況(i)像素P[-1，Y]存在；情況(ii)像素P[X，-1]存在，像素P[-1，Y]不存在；情況(iii)像素P[X，-1]和像素P[-1，Y]都不存在。
(x＝0..3，y＝4..7) …(35) (x＝0..3，y＝4..7) …(36) predc＝128 (x＝0..3，y＝4..7) …(37) 類似地，在X，Y＝4...7的情況下，預測圖像predc[X，Y]用上邊相鄰像素P[X，-1]和左邊相鄰像素P[-1，Y]產生(在此例中，X，Y＝4...7)。具體說，在以下四種情況下預測圖像分別用下面的式(38)至(41)產生情況(i)像素P[X，-1]和像素P[1-，Y]都存在；情況(ii)像素P[X，-1]存在，像素P[-1，Y]不存在；情況(iii)像素P[X，-1]不存在，像素P[-1，Y]存在；情況(iv)像素P[X，-1]和像素P[-1，Y]都不存在。
(x，y＝4..7) …(38) (x，y＝4..7) …(39) (x，y＝4..7) …(40) predc[x，y]＝128 (x，y＝4..7)…(41) 類似地，在X＝0...3，Y＝8...11的情況下，預測圖像predc[X，Y]用上邊相鄰像素P[X，-1]和左邊相鄰像素P[-1，Y]產生(在此例中，X＝0...3，Y＝8...11)。具體說，在以下三種情況下預測圖像分別用下面的式(42)至(44)產生情況(i)像素P[-1，Y]存在；情況(ii)像素P[X，-1]存在，像素P[-1，Y]不存在；情況(iii)像素P[X，-1]和像素P[-1，Y]都不存在。
(x＝0..3，y＝8..11) …(42) (x＝0..3，y＝8..11) …(43) predc＝128 (x＝0..3，y＝8..11) …(44) 類似地，在X＝4...7，Y＝8...11的情況下，預測圖像predc[X，Y]用上邊相鄰像素P[X，-1]和左邊相鄰像素P[-1，Y]產生(在此例中，X＝4...7，Y＝8...11)。具體說，在以下四種情況下預測圖像分別用下面的式(45)至(48)產生情況(i)像素P[X，-1]和像素P[-1，Y]都存在；情況(ii)像素P[X，-1]存在，像素P[-1，Y]不存在；情況(iii)像素P[X，-1]不存在，像素P[-1，Y]存在；情況(iv)像素P[X，-1]和像素P[-1，Y]都不存在。
(x＝4..7，y＝8..11) …(45) (x＝4..7，y＝8..11) …(46) (x＝4..7，y＝8..11)…(47) predc[x，y]＝128 (x＝4..7，y＝8..11) …(48) 類似地，在X＝0...3，Y＝12...15的情況下，預測圖像predc[X，Y]用上邊相鄰像素P[X，-1]和左邊相鄰像素P[-1，Y]產生(在此例中，X＝0...3，Y＝12...15)。具體說，在以下三種情況下預測圖像分別用下面的式(49)至(51)產生情況(i)像素P[-1，Y]存在；情況(ii)像素P[X，-1]存在，像素P[-1，Y]不存在；情況(iii)像素P[X，-1]和像素P[-1，Y]都不存在。
(x＝0..3，y＝12..15)…(49) (x＝0..3，y＝12..15)…(50) predc＝128 (x＝0..3，y＝12..15) …(51) 類似地，在X＝4...7，Y＝12...15的情況下，預測圖像predc[X，Y]用上邊相鄰像素P[X，-1]和左邊相鄰像素P[-1，Y]產生(在此例中，X＝4...7，Y＝12...15)。具體說，在以下四種情況下預測圖像分別用下面的式(52)至(55)產生情況(i)像素P[X，-1]和像素P[-1，Y]都存在；情況(ii)像素P[X，-1]存在，像素P[-1，Y]不存在；情況(iii)像素P[X，-1]不存在，像素P[-1，Y]存在；情況(iv)像素P[X，-1]和像素P[-1，Y]都不存在。
(x＝4..7，y＝12..15) …(52) (x＝4..7，y＝12..15) …(53) (x＝4..7，y＝12..15) …(54) predc[x，y]＝128 (x＝4..7，y＝12..15) …(55) 這里，在上面所述的預測方法中，因為上邊塊的8個像素和左邊塊的16個像素的平均值被簡單地作為預測圖像，求此平均值必需實現(xiàn)被24除的除法。這樣就存在運算量變大的問題。為此預測方法改變?yōu)橄旅嫠龅姆椒ǎ钩ㄗ優(yōu)楸?6(＝24)除的除法，這樣做可減小運算量。
也就是說，在X，Y＝0...7的情況下，預測圖像predc[X，Y]用相鄰的上邊像素P[X，-1]和左邊像素P[-1，Y]產生(在比例中，X，Y＝0...7)。具體說，在以下四種情況下預測圖像分別用下面的式(56)至(59)產生情況(i)像素P[X，-1]和像素P[-1，Y]都存在；情況(ii)像素P[X，-1]存在，像素P[-1，Y]不存在；情況(iii)像素P[X，-1]不存在，像素P[-1，Y]存在；情況(iv)像素P[X，-1]和像素P[-1，Y]都不存在。
(x，y＝0..7) …(56) (x，y＝0..7) …(57) (x，y＝0..7) …(58) predc[x，y]＝128 (x，y＝0..7) …(59) 類似地，在X＝0...7，Y＝8...15的情況下，預測圖像predc[X，Y]用上邊相鄰像素P[X，-1]和左邊相鄰像素P[-1，Y]產生(在此例中，X＝0...7，Y＝8...15)。具體說，在以下三種情況下預測圖像分別用下面的式(60)至(62)產生情況(i)像素P[-1，Y]存在；情況(ii)像素P[X，-1]存在，像素P[-1，Y]不存在；情況(iii)像素P[X，-1]和像素P[-1，Y]都不存在。
(x＝0..7，y＝8..15) …(60) (x＝0..7，y＝8..15) …(61) predc[x，y]＝128 (x＝0..7，y＝8..15)…(62) (d)面預測方式(方式3) 在面預測方式中，預測圖像是色差塊相鄰的左邊塊像素和上邊塊像素的面近似。若相鄰的左邊和上邊塊像素分別用P[-1，Y]和P[X，-1]表示，則色差的預測圖像predc由下面的式(63)表示。式(63)中的Clip1表示限制到0至255的范圍內。
predc[x，y]＝Clip1((a+b×(x-3)+c×(y-7)+16)＞＞5) (x＝0..7，y＝0..15)…(63) 其中 (2-1-3) 下面說明幀內預測器31c的工作。在幀內預測器31c上存在四種幀內色差預測方式垂直方式，水平方式，DC方式和面預測方式。幀內預測器31c對16×16塊進行預測，此16×16塊通過集合宏塊中縱向和橫向上連續(xù)的4個8×8塊而構成，對于色度格式信號指示4:4:4格式且彩色空間信號指示YCbCr，RGB或XYZ的圖像信號，16×16塊作為一個單元。在幀內預測器31c上根據(jù)四種預測方式產生預測圖像的方法將在下面被說明。
(a)垂直方式(方式0) 在垂直方式中，色差塊上邊相鄰塊的像素被復制，被復制的像素作為相應塊的預測圖像，如果上邊相鄰塊的像素用P[X，-1]表示，則色差的預測圖像predc由下面的式(64)表示。注意此方式僅用于上邊相鄰塊存在的情況下。
predc[x，y]＝p[x，-1] (x，y＝0..15) …(64) (b)水平方式(方式1) 在水平方式中，色差塊的左邊相鄰塊的像素被復制，被復制的像素作為相應塊的預測圖像。如果左邊相鄰塊的像素用P[-1，Y]表示，則色差塊的預測圖像predc由下面的式(65)表示。注意此方式僅用于左邊相鄰塊存在的情況下。
predc[x，y]＝p[-1，y] (x，y＝0..15) …(65) (c)DC方式(方式2) 在DC方式中，色差塊的上邊和左邊相鄰塊的像素被使用，它們的平均值構成預測圖像。注意，在相鄰像素不存在的情況下，值128被用作預測信號。
換言之，在X，Y＝0...15的情況下，預測圖像predc[X，Y]用上邊相鄰像素P[X，-1]和左邊相鄰像素P[-1，Y]產生(在此例中X，Y＝0...15)。具體說，在以下四種情況下預測圖像分別用下面的式(66)至(69)產生情況(i)像素P[X，-1]和像素P[-1，Y]都存在；情況(ii)像素P[X，-1]存在，像素P[-1，Y]不存在；情況(iii)像素P[X，-1]不存在，像素P[-1，Y]存在；情況(iv)像素P[X，-1]和像素P[-1，Y]都不存在。
(x，y＝0..15) …(66) (x，y＝0..15) …(67) (x，y＝0..15) …(68) predc[x，y]＝128 (x，y＝0..15) …(69) (d)面預測方式(方式3) 在面預測方式中，預測圖像是色差塊相鄰的左邊塊像素和上邊塊像素的面近似。若相鄰的左邊和上邊塊像素分別用P[-1，Y]和P[X，-1]表示，則色差的預測圖像predc由下面的式(70)表示。式(70)中的Clip1表示限制到0至255的范圍內。
predc[x，y]＝Clip1((a+b×(x-7)+c×(y-7)+16)＞＞5) (x，y＝0..15)… (70) 其中 (2-2)正交變換單元 色度格式信號和彩色空間信號也被提供給正交變換單元14。
圖7示出正交變換單元14的一個結構例。正交變換單元14基于色度格式信號-它指示彩色分量的分辨率是4:2:0格式，4:2:2格式和4:4:4格式等中的哪一個-和彩色空間信號-它指示彩色空間是YCbCr，RGB和XYZ等中的哪一個-切換正交變換系統(tǒng)。
在圖7所示正交變換單元14中，色度格式信號和彩色空間信號被提供給開關40，42。開關40，42根據(jù)色度格式信號和彩色空間信號選擇正交變換元件41a，41b，41c中的一個，提供相加器13的輸出給所選擇的正交變換元件，并從所選擇的正交變換元件輸出信號。開關40，42選擇同一個正交變換元件。應指出上述對圖7的說明基于三種正交變換元件41a，41b，41c中的任一個被選擇，然而正交變換元件的數(shù)目，即正交變換系統(tǒng)的數(shù)目可以任意設置。
(2-2-1) 首先說明正交變換元件41a的工作。正交變換元件41a對于色度格式信號指示4:2:0格式且彩色空間信號指示YCbCr的圖像信號進行正交變換。應指出，因為正交變換元件41a的工作相同于以前說明的現(xiàn)有技術的工作，詳細說明被省略。
(2-2-2) 下面說明正交變換元件41b的工作。正交變換元件41b對于色度格式信號指示4:2:2格式且彩色空間信號指示YCbCr的圖像信號進行正交變換。
具體說，在色差幀內預測完成后，基于8×8塊中的4×4像素塊進行4×4整數(shù)變換。若通過相應像素塊減去預測圖像而得到的差信號表示為f4×4，4×4正交變換處理由下面的式(71)表示。
其中 在4×4整數(shù)變換處理完成后，兩個8×8塊中在縱向上連續(xù)的8個4×4塊的(0，0)系數(shù)被集合，構成2×4塊，對此2×4塊進行2×4變換處理。這是因為絕差中所用的幀內預測效率不夠高，在相鄰4×4塊的(0，0)系數(shù)間仍存在相關。為了進一步通過利用此相關性來改善(提高)編碼效率，只有4×4塊的(0，0)系數(shù)被集合構成2×4塊，然后對它進行2×4變換處理。若2×4色度DC塊表示為fdc2×4，對色度DC塊的變換處理由下面的式(72)表示。
其中 (2-2-3) 接著說明正交變換元件41c的工作。正交變換元件41c對色度格式信號指示4:4:4格式且彩色空間信號指示YCbCr，RGB或XYZ的圖像信號進行正交變換。
具體說，進行指示4:4:4格式，YCbCr，RGB或XYZ的色差的4×4整數(shù)變換后，以與亮度相同的方法集合宏塊中的16個(0，0)系數(shù)，構成4×4DC塊，再對它進行4×4變換處理。此變換處理由下面的式(73)表示。
其中 (2-3)量化單元 色度格式信號和彩色空間信號也被提供給量化單元15。
一個量化單元15的結構例示于圖9。量化單元15基于色度格式信號-它指示彩色分量的分辨率是4:2:0格式，4:2:2格式和4:4:4格式等中的哪一個-和彩色空間信號-它指示彩色空間是YCbCr，RGB和XYZ等中的哪一個-切換量化系統(tǒng)。
在圖9所示量化單元15中，色度格式信號和彩色空間信號被提供給開關50，52。開關50，52基于色度格式信號和彩色空間信號選擇量化器51a，51b，51c中的一個，提供正交變換單元14的輸出給所選擇的量化器，并從所選擇的量化器輸出信號。開關50，52選擇同一個量化器。應指出，上述對圖9的說明基于三種量化器51a，51b，51c中的任一個被選擇，然而量化器的數(shù)目，即量化系統(tǒng)的數(shù)目可以任意設置。
(2-3-1) 首先說明量化器51a的工作。量化器51a對色度格式信號指示4:2:0格式且彩色空間信號指示YCbCr的圖像信號進行量化。應指出，因為量化器51a的工作相同于前面所述的現(xiàn)有技術的工作，其詳細說明被省略。
(2-3-2) 下面說明量化器51b的工作。量化器51b對色度格式信號指示4:2:2格式且彩色空間信號指示YCbCr的圖像信號進行量化。
這里，用于4:2:0格式情況下色度DC變換處理中的Hadamard變換由下面的式(74)表示。
其中 另一方面，用于4:2:2格式情況下色度DC變換處理中的2×4變換由下面的式(75)表示 其中 相應地，在4:2:0格式中變換處理的歸一化系數(shù)是1/2，而在4:2:2格式中變換處理的歸一化系數(shù)是1/2

然而，因為在此情況下包含實數(shù)運算，2×4變換像以下的式(76)所示那樣被簡化。
因為歸一化系數(shù)與量化標度一起計算，如下面所述在4:2:2格式的變換處理情況下改變量化方法是必要的。
若量化的DC系數(shù)是Qfdc’[i，j]，則2×4色度DC塊的量化系數(shù)值由例如下面的式(77)給出。這里，式(77)中的r是用于改變取整處理的參數(shù)。應指出，因為對于AC系數(shù)的量化相同于4:2:0格式的情況，其說明被省略。
Qfdc′[i，j]＝(fdc′[i，j]×Q(QPc％6，0，0)+r)＞＞(15+QPc/6) (i＝0..1，j＝0..3)…(77) (2-3-3) 接著說明量化器51c的工作。量化器51c對色度格式信號指示4:4:4且彩色空間信號指示YCbCr，RGB或XYZ的圖像信號進行量化。
這里，用在色度DC變換處理中的Hadamard變換由下面的式(78)表示。相應地，在此情況下變換處理的歸一化系數(shù)等于1/4。
其中 若量化的直流系數(shù)是Qfdc’[i，j]，4×4色度DC塊的量化系數(shù)值由例如下面的式(79)給出。這里，式(79)中的r是用于改變取整處理的參數(shù)。
Qfdc′[i，j]＝(fdc′[i，j]×Q(QPc％6，0，0)+r)＞＞(15+QPc/6) (i，j＝0..3) …(79) (2-4)逆量化單元 色度格式信號和彩色空間信號也被提供給逆量化單元18。
逆量化單元18的一個結構例示于圖10。逆量化單元18基于色度格式信號-它指示彩色分量的分辨率是4:2:0格式，4:2:2格式和4:4:4格式等中的哪一個-和彩色空間信號-它指示彩色空間是YCbCr，RGB和XYZ等中的哪一個-切換逆量化系統(tǒng)。
在圖10所示逆量化單元18中，色度格式信號和彩色空間信號被提供給開關60，62。開關60，62基于色度格式信號和彩色空間信號選擇逆量化器61a，61b，61c中的一個，提供量化單元15的輸出給所選擇的逆量化器，并從所選擇的逆量化器輸出信號。開關60，62選擇同一個逆量化器。應指出，上述對圖10的說明基于三種逆量化器61a，61b，61c中的任一個被選擇，然而逆量化器的數(shù)目，即逆量化系統(tǒng)的數(shù)目可以任意設置。
(2-4-1) 首先說明逆量化器61a的工作。逆量化器61a對色度格式信號指示4:2:0格式且彩色空間信號指示YCbCr的圖像信號進行逆量化。應指出，因為逆量化器61a的工作相同于前面所述現(xiàn)有技術的工作，其詳細說明被省略。
(2-4-2) 下面說明逆量化器61b的工作。逆量化器61b對色度格式信號指示4:2:2格式且彩色空間信號指示YCbCr的圖像信號進行逆量化。
具體說，若逆量化的DC系數(shù)是fdc”，則在QPc為6或更大的情況下，2×2色度DC塊的逆量化DC系數(shù)值由下面的式(80)表示，在QPc小于6的情況下由下面的式(81)表示。應指出，因為對于AC系數(shù)的逆量化相同于4:2:0格式的情況，其說明被省略。
fdc″[i，j]＝(fdc′[i，j]×Q(QPc％6，0，0))＜＜(QPc/6-2) (i＝0..1，j＝0..3) …(80) fdc″[i，j]＝(fdc′[i，j]×Q(QPc％6，0，0))＞＞(2-QPc/6) (i＝0..1，j＝0..3) …(81) (2-4-3) 接著說明逆量化器61c的工作。逆量化器61c對色度格式信號指示4:4:4且彩色空間信號指示YCbCr，RGB或XYZ的圖像信號進行逆量化。
具體說，若逆量化的DC系數(shù)是fdc”，則在QPc為6或更大的情況下，4×4色度DC塊的逆量化系數(shù)值由下面的式(82)表示，在QPc小于6的情況下由下面的式(83)表示。應指出，對于AC系數(shù)的逆量化相同于4:2:0格式的情況，其說明被省略。
fdc″[i，j]＝(fdc′[i，j]×Q(QPc％6，0，0))＜＜(QPc/6-2) (i，j＝0..3) …(82) fdc″[i，j]＝(fdc′[i，j]×Q(QPc％6，0，0))＞＞(2-QPc/6)(i，j＝0..3) …(83) (2-5)逆正交變換單元 色度格式信號和彩色空間信號也被提供給逆正交變換單元19。
逆正交變換單元19的一個結構例示于圖11。逆正交變換單元19基于色度格式信號-它指示彩色分量的分辨率是4:2:0格式，4:2:2格式和4:4:4格式等中的哪一個-和彩色空間信號-它指示彩色空間是YCbCr，RGB和XYZ等中的哪一個-切換逆正交變換系統(tǒng)。
在圖11所示逆正交變換單元19中，色度格式信號和彩色空間信號被提供給開關70，72。開關70，72基于色度格式信號和彩色空間信號選擇逆正交變換元件71a，71b，71c中的一個，提供逆量化單元18的輸出到所選擇的逆正交變換元件，從所選擇的逆正交變換元件輸出信號。開關70，72選擇同一個逆正交變換元件。應指出，上述對圖11的說明基于三種逆正交變換元件71a，71b，71c中的任一個被選擇，然而逆正交變換元件的數(shù)目，即逆正交變換系統(tǒng)的數(shù)目可以任意設置。
(2-5-1) 首先說明逆正交變換元件71a的工作。逆正交變換元件71a對色度格式信號指示4:2:0格式且彩色空間信號指示YCbCr的圖像信號進行逆正交變換。應指出，因為逆正交變換元件71a的工作相同于前面所述現(xiàn)有裝置的工作，其詳細說明被省略。
(2-5-2) 下面說明逆正交變換元件71b的工作。逆正交變換元件71b對色度格式信號指示4:2:2格式且彩色空間信號指示YCbCr的圖像信號進行逆正交變換。
具體說，對2×4 DC塊進行2×4逆變換處理。若逆變換后的2×4色度DC塊表示為fdc”’2×4，對于色度DC塊的逆變換由下面的式(84)表示。
其中 若色度DC系數(shù)是如圖8所示4×4塊的(0，0)系數(shù)，各4×4塊的逆變換被進行。若4×4塊-其中逆變換后的色度DC fdc”’2×4為(0，0)系數(shù)-的相應系數(shù)表示為F’4×4，而對應逆變換后4×4塊的解碼差信號表示為F”4×4，則逆變換處理由下面的式(85)表示。
其中 (2-5-3) 接著說明逆正交變換元件71c的工作。逆正交變換元件71c對色度格式信號指示4:4:4且彩色空間信號指示YCbCr，RGB或XYZ的圖像信號進行逆正交變換。
具體說，對4×4 DC塊進行4×4逆變換處理。若逆變換后4×4色度DC塊表示為fdc”’4×4，則對色度DC塊的逆變換處理由以下式(86)表示。
其中 若色度DC系數(shù)是AC系數(shù)4×4塊的(0，0)系數(shù)，逆變換處理對相應的4×4塊進行。若4×4塊-其中逆變換后的色度DC fdc”’4×4為(0，0)系數(shù)-的相應系數(shù)表示為F’4×4，而對應逆變換后4×4塊的解碼差信號表示為F”4×4，則逆變換處理由下面的式(87)表示。
其中 (2-6)其它功能塊 色度格式信號和彩色空間信號也被提供給可逆編碼單元16，在此單元這些信號被進行可變長度編碼或算術編碼。編碼所得到的信號輸出到圖像壓縮信息中。
色度格式信號和彩色空間信號例如以下面所示的語法被編碼 seq_parameter_set_rbsp(){ chroma_format_idc u(2) color_space_idcu(2) } 這里作為u(2)被編碼的語法被可變長度碼例如“001x1x0”編碼。其中x1和x0對應于被編碼語法的兩個比特。
(3)圖像信息解碼裝置的結構和工作 對應于上面已說明的圖像信息編碼裝置10的圖像信息解碼裝置的結構簡示于圖12中。如圖12所示，圖像信息解碼裝置80包括一個存儲緩沖器81，一個可逆解碼單元82，一個逆量化單元83，一個逆正交變換單元84，一個相加器85，一個圖像分類緩沖器86，一個D/A(數(shù)字/模擬)變換單元87，一個運動預測/補償單元88，一個幀存儲器89和一個幀內預測單元90。
圖12中，作為輸入的圖像壓縮信息首先存儲到存儲緩沖器81中，然后被傳遞給可逆解碼單元82?？赡娼獯a單元82基于預定的圖像壓縮信息格式進行可變長度解碼或算術解碼等。在對應幀是幀間編碼幀的情況下，可逆解碼單元82也對存儲在圖像壓縮信息頭部的運動矢量信息進行解碼，將獲得的已解碼信息傳遞到運動預測/補償單元88。而且，可逆解碼單元82將色度格式信息和彩色空間信號解碼，提供所獲得的已解碼信號給逆量化單元83，逆正交變換單元84和幀內預測單元90。
可逆解碼單元82輸出的量化的變換系數(shù)被提供給逆量化單元83，在其上它們被作為變換系數(shù)輸出。逆正交變換單元84基于預定的圖像壓縮信息格式對變換系數(shù)進行諸如逆離散余弦變換或逆Karhunen-Loeve變換等逆變換。在相應的幀是幀內編碼幀的情況下，已經進行逆正交變換的圖像信息被存儲到圖像分類緩沖器86中，并在進行D/A變換處理后輸出。
這里，在對應幀或宏塊是幀內編碼的幀或宏塊的情況下，解碼處理利用與上面說明過的相同的逆量化方法、逆正交變換方法和幀內預測方法基于已在可逆解碼單元82中解碼的色度格式信號和彩色空間信號進行。
另一方面，在對應幀是幀間編碼幀的情況下，基于已進行可逆解碼處理的運動矢量信息和存儲在幀存儲器89中的圖像信息產生參考圖像。所產生的參考圖像和逆正交變換單元84的輸出在相加器85中合成。因為其它的處理相同于幀內編碼幀的處理，其說明被省略。
應指出，本發(fā)明已按照附圖所示并在上面詳細說明的某些優(yōu)選的實施例而被說明，然而本發(fā)明不限于這些實施例，各種改動、替代的結構或等價物可以被實現(xiàn)，而不脫離如后附權利要求所述的本發(fā)明的范圍和精神。
工業(yè)應用性 本發(fā)明可以不僅對相應格式為4:2:0格式且彩色空間為YCbCr的輸入圖像信號，而且對于相應格式為4:2:2格式或4:4:4格式，而彩色空間是RGB或XYZ等的輸入圖像信號，通過圖像內預測編碼而高效地實現(xiàn)編碼處理。
權利要求
1.一種圖像信息編碼裝置，用于對輸入圖像信號分塊，以基于塊對其進行正交變換并進行量化，該圖像信息編碼裝置包括
圖像內預測裝置，用于基于一個指示彩色信號分辨率的色度格式信號和一個指示彩色空間的彩色空間信號適應地改變塊大小，以在執(zhí)行該彩色信號的圖像內預測編碼時，根據(jù)存儲在幀存儲器中的圖像信號產生一個預測圖像；
變換裝置，用于基于預定的塊大小，對圖像內預測裝置所產生的預測圖像與原始圖像之間的差信號進行整數(shù)變換；
量化裝置，用于按照變換裝置所進行的變換處理適應地改變量化方法，以對變換裝置所產生的變換系數(shù)進行量化；以及
編碼裝置，用于對量化裝置所量化的變換系數(shù)、所述色度格式信號和彩色空間信號進行編碼。
2.如權利要求1所述的圖像信息編碼裝置，其特征在于，變換裝置還在基于預定的塊大小進行整數(shù)變換之后對通過只集合DC分量而構成的塊進行整數(shù)變換。
3.如權利要求2所述的圖像信息編碼裝置，其特征在于，色度格式信號至少包括4:2:0格式，4:2:2格式和4:4:4格式，且彩色空間信號至少包括YCbCr，RGB和XYZ。
4.如權利要求3所述的圖像信息編碼裝置，其特征在于，在色度格式信號為4:2:0格式且彩色空間信號為YCbCr的情況下，圖像內預測裝置基于8×8像素塊產生預測圖像。
5.如權利要求3所述的圖像信息編碼裝置，其特征在于，在色度格式信號為4:2:2格式且彩色空間信號為YCbCr的情況下，圖像內預測裝置基于8×16像素塊產生預測圖像，在8×16像素塊中8×8像素塊排列在縱向上。
6.如權利要求3所述的圖像信息編碼裝置，其特征在于，在色度格式信號為4:4:4格式且彩色空間信號為YCbCr，RGB或XYZ的情況下，圖像內預測裝置基于16×16像素塊產生預測圖像，在16×16像素塊中8×8像素塊排列在縱向和橫向上。
7.如權利要求4所述的圖像信息編碼裝置，其特征在于，在色度格式信號為4:2:0格式且彩色空間信號為YCbCr的情況下，變換裝置基于4×4像素進行差信號的整數(shù)變換，以進一步對通過集合已變換DC分量所構成的2×2像素單位塊進行整數(shù)變換。
8.如權利要求7所述的圖像信息編碼裝置，其特征在于，若2×2像素單位塊的相應系數(shù)被表示為fdc2×2，對應塊進行整數(shù)變換之后的相應系數(shù)fdc’2×2由下面公式表示
其中
9.如權利要求5所述的圖像信息編碼裝置，其特征在于，在色度格式信號為4:2:2格式且彩色空間信號為YCbCr的情況下，變換裝置基于4×4像素進行差信號的整數(shù)變換，以進一步對通過集合已變換DC分量所構成的2×4像素單位塊進行整數(shù)變換。
10.如權利要求9所述的圖像信息編碼裝置，其特征在于，若2×4像素單位塊的相應系數(shù)被表示為fdc2×4，對應塊進行整數(shù)變換后的相應系數(shù)fdc’2×4由下面公式表示
其中
11.如權利要求10所述的圖像信息編碼裝置，其特征在于，fdc2×4和fdc’2×4的關系近似由下面公式表示
12.如權利要求6所述的圖像信息編碼裝置，其特征在于，在色度格式信號為4:4:4格式且彩色空間信號是YCbCr，RGB或XYZ的情況下，變換裝置基于4×4像素進行差信號的整數(shù)變換，以進一步對通過集合已變換DC分量所構成的4×4像素單位塊進行整數(shù)變換。
13.如權利要求12所述的圖像信息編碼裝置，其特征在于，若4×4像素單位塊的相應系數(shù)被表示為fdc4×4，對應塊進行整數(shù)變換后的相應系數(shù)fdc’4×4由下面公式表示
其中
14.一種圖像信息編碼方法，對輸入圖像信號分塊，以基于塊對其進行正交變換并進行量化，該圖像信息編碼方法包括
圖像內預測步驟，基于一個指示彩色信號分辨率的色度格式信號和一個指示彩色空間的彩色空間信號適應地改變塊大小，以在執(zhí)行該彩色信號的圖像內預測編碼時，根據(jù)存儲在幀存儲器中的圖像信號產生一個預測圖像；
變換步驟，基于預定的塊大小，對圖像內預測步驟中所產生的預測圖像與原始圖像之間的差信號進行整數(shù)變換；
量化步驟，按照變換步驟中所進行的變換處理適應地改變量化方法，以對變換步驟中所產生的變換系數(shù)進行量化；以及
編碼步驟，對量化步驟中所量化的變換系數(shù)、所述色度格式信號和彩色空間信號進行編碼。
15.如權利要求14所述的圖像信息編碼方法，其特征在于，在變換步驟中，在基于預定的塊大小進行整數(shù)變換之后還對通過只集合DC分量而構成的塊進行整數(shù)變換。
16.如權利要求14所述的圖像信息編碼方法，其特征在于，色度格式信號至少包括4:2:0格式，4:2:2格式和4:4:4格式，且彩色空間信號至少包括YCbCr，RGB和XYZ。
17.一種圖像信息解碼裝置，用于解碼通過對圖像壓縮信息-其中輸入圖像信號被分塊以基于塊對其進行正交變換并進行量化-進行逆量化和逆正交變換而獲得的信息，該圖像信息解碼裝置包括
解碼裝置，用于對量化和編碼的變換系數(shù)、指示彩色信號分辨率的色度格式信號和指示彩色空間的彩色空間信號進行解碼；
逆量化裝置，用于根據(jù)色度格式信號和彩色空間信號適應地改變逆量化方法，以對由解碼裝置解碼的變換系數(shù)進行逆量化；
逆變換裝置，用于進行已經逆量化的塊的整數(shù)變換；以及
圖像內預測裝置，用于通過利用逆變換裝置的輸出信號，以對應于色度格式信號和彩色空間信號的塊大小，在進行該彩色信號的圖像內預測解碼時，根據(jù)存儲在幀存儲器中的圖像信號產生一個預測圖像。
18.如權利要求17所述的圖像信息解碼裝置，其特征在于，逆變換裝置進行已經逆量化的塊的整數(shù)變換，以進一步將相應系數(shù)作為預定塊大小的塊的相應DC分量基于預定塊大小進行整數(shù)變換。
19.如權利要求18所述的圖像信息解碼裝置，其特征在于，色度格式信號至少包括4:2:0格式，4:2:2格式和4:4:4格式，且彩色空間信號至少包括YCbCr，RGB和XYZ。
20.如權利要求19所述的圖像信息解碼裝置，其特征在于，在色度格式信號為4:2:0格式且彩色空間信號為YCbCr的情況下，逆變換裝置進行已經逆量化的2×2像素單位塊的整數(shù)變換，以進一步將變換后的相應系數(shù)作為構成8×8像素塊的4個4×4像素單位塊的相應DC系數(shù)進行整數(shù)變換。
21.如權利要求19所述的圖像信息解碼裝置，其特征在于，在色度格式信號為4:2:2格式且彩色空間信號為YCbCr的情況下，逆變換裝置進行已經逆量化的2×4像素單位塊的整數(shù)變換，以進一步將變換后的相應系數(shù)作為構成8×16像素塊的8個4×4像素單位塊的相應DC系數(shù)進行整數(shù)變換。
22.如權利要求19所述的圖像信息解碼裝置，其特征在于，在色度格式信號為4:4:4格式且彩色空間信號為YCbCr，RGB或XYZ的情況下，逆變換裝置進行已經逆量化的4×4像素單位塊的整數(shù)變換，以進一步將變換后的相應系數(shù)作為構成16×16像素塊的16個4×4像素單位塊的相應DC系數(shù)進行整數(shù)變換。
23.一種圖像信息解碼方法，解碼通過對圖像壓縮信息-其中輸入圖像信號被分塊以基于塊對其進行正交變換并進行量化-進行逆量化和逆正交變換而獲得的信息，該圖像信息解碼方法包括
解碼步驟，對量化和編碼的變換系數(shù)、指示彩色信號分辨率的色度格式信號和指示彩色空間的彩色空間信號進行解碼；
逆量化步驟，根據(jù)色度格式信號和彩色空間信號適應地改變逆量化方法，以對解碼步驟中解碼的變換系數(shù)進行逆量化；
逆變換步驟，對已經逆量化的塊進行整數(shù)變換，以進一步將相應系數(shù)作為預定塊大小的塊的相應DC分量基于預定塊大小進行整數(shù)變換；以及
圖像內預測步驟，通過利用逆變換步驟的輸出信號，以對應于色度格式信號和彩色空間信號的塊大小，在進行該彩色信號的圖像內預測解碼時，根據(jù)存儲在幀存儲器中的圖像信號產生一個預測圖像。
24.如權利要求23所述的圖像信息解碼方法，其特征在于，在逆變換步驟中，對已經逆量化的塊進行整數(shù)變換，以進一步將相應系數(shù)作為預定塊大小的塊的相應DC分量基于預定塊大小進行整數(shù)變換。
25.如權利要求24所述的圖像信息解碼方法，其特征在于，色度格式信號至少包括4:2:0格式，4:2:2格式和4:4:4格式，且彩色空間信號至少包括YCbCr，RGB和XYZ。
全文摘要
本發(fā)明涉及圖像信息編碼裝置和方法、以及圖像信息解碼裝置和方法。提供一種基于輸入圖像信號的色度分量分辨率和彩色空間進行圖像內預測編碼的圖像信息編碼裝置。在此圖像信息編碼裝置(10)中，一個幀內預測單元(23)基于色度格式信號—它指示彩色分量的分辨率是4:2:0格式，4:2:2格式和4:4:4格式等中的哪一個—和彩色空間信號—它指示彩色空間是YCbCr，RGB和XYZ等中的哪一個—適應地改變塊大小，產生一個預測圖像。此外，正交變換單元(14)和量化單元(15)也按照色度格式信號和彩色空間信號改變正交變換方法和量化方法?？赡婢幋a單元(16)對色度格式信號和彩色空間信號進行編碼，將所獲得的已編碼信號包含在圖像壓縮信息中。
文檔編號H04N11/04GK101646085SQ20091016049
公開日2010年2月10日 申請日期2004年7月20日 優(yōu)先權日2003年7月18日
發(fā)明者鈴木輝彥, 杉山晃, 小藪恭平 申請人:索尼株式會社