專利名稱：圖像編碼裝置和圖像編碼方法及圖像解碼裝置和圖像解碼方法以及記錄媒體的制作方法
技術領域：
本發(fā)明涉及圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法以及記錄媒體。特別涉及為了能得到與原圖像幾乎相同的解碼圖像而對圖像進行間抽并進行壓縮編碼的圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法以及記錄媒體。
背景技術：
例如，在將標準清晰度或者低清晰度的圖像(下面，稱為SD圖像)變換成高清晰度的圖像(下面，稱為HD圖像)，或者對圖像進行放大的場合，利用所謂的插入濾波器等進行不足的象素的象素值的插入(補償)。
但是，即使利用插入濾波器進行象素的插入，也因不能恢復不包含在SD圖像中的HD圖像的成分(高頻成分)，所以難于得到高清晰度的圖像。
因此，本申請人先前建議有將SD圖像變換成也包含有SD圖像中不包含的高頻成分的HD圖像的圖像變換裝置(圖像變換電路)。
在這種圖像變換裝置中，利用SD圖像和規(guī)定的預測系數(shù)的線性組合，進行求出HD圖像的象素的預測值的自適應處理，恢復在SD圖像中不包含的高頻成分。
也就是說，例如現(xiàn)在考慮利用由若干個SD象素(構成SD圖像的象素)的象素值(下面稱為學習數(shù)據(jù))x1,x2,…和規(guī)定的預測系數(shù)w1,w2,…的線性組合所確定的線性1次組合模式，求得構成HD圖像的象素(下面稱為HD象素)的象素值y的預測值E[y]。這種場合，預測值E[y]能用式(1)表示。
E[y]=w1x1+w2x2+…(1)這里，為一般化起見，若用式(2)定義由預測系數(shù)w的集合形成的矩陣W，用式(3)定義由學習數(shù)據(jù)的集合形成的矩陣X，用式(4)定義由預測值E[y]的集合形成的矩陣Y’，則成立式(5)那樣的觀察方程式。X=x11x12…x1nx21x22…x2n…………xm1xm2…xmn]]>(2)W=w1w2…wn]]>(3)Y'=E[y1]E[y2]…E[ym]]]>(4)XW=Y’(5)并且，考慮將最小二乘法用于這種觀察方程式，求得接近于HD象素的象素值y的預測值E[y]。這種場合，若用式(6)定義由成為教師數(shù)據(jù)的HD象素的真正的象素值y的集合形成的矩陣Y，用式(7)定義由對于HD象素的象素值Y的預測值E[y]的殘差e的集合形成的矩陣E，Y=y1y2…ym]]>(6)E=e1e2…em]]>(7)
則根據(jù)式(5)、成立式(8)那樣的殘差方程式。
XW=Y+E(8)這種場合，用于求得接近于HD象素的象素值y的預測值E[y]的預測系數(shù)w能通過使式(9)所示的平方誤差為最小來求得。Σi=1mei2--------(9)]]>因此，在前述式(9)所示的平方誤差對預測系數(shù)wi進行微分后成為0的場合，即滿足式(10)的預測系數(shù)wi，成為用于求得接近于HD象素的象素值y的預測值E[y]的最優(yōu)值。e1∂e1∂wi+e2∂e2∂wi+…+em∂em∂wi=0(i=1,2,…,n)(10)]]>因此，首先用預測系數(shù)wi對式(8)進行微分，則式(11)成立。∂e1∂w1=x11,∂ei∂w2=x12,…,ei∂wn=xin(i=1,2,…,m)(11)]]>由式(10)和式(11)能得到式(12)。Σi=1meixi1=0,Σi=1meixi2=0,…,Σi=1meixin=0---(12)]]>此外，如考慮式(8)的殘差方程式的學習數(shù)據(jù)x，預測系數(shù)w，教師數(shù)據(jù)y和殘差e的關系，則由式(12)能得到式(13)那樣的正規(guī)方程式。(Σi=1mxi1xi1)w1+(Σi=1mxi1xi2)w2+…,+(Σi=1mxi1xin)wn=Σi=1mxi1yi1]]>(Σi=1mxi2xi1)w1+(Σi=1mxi2xi2)w2+…+(Σi=1mxi2xin)wn=Σi=1mxi2yi]]>……(Σi=1mxinxi1)w1+(Σi=1mxinxi2)w2+…+(Σi=1mxinxin)wn=Σi=1mxinyi---(13)]]>式(13)的正規(guī)方程式僅能產(chǎn)生與應該求得的預測系數(shù)w的數(shù)相同的數(shù)，因此，求解式(13)(其中，為了求解式(13)，在式(13)中用與預測系數(shù)w相關的系數(shù)構成矩陣必須是正則的)，能求得最優(yōu)的預測系數(shù)w。此外，在求解式(13)時，能運用例如清除法(Gauss-Jordan消去法)等。
如前所述，求得最優(yōu)預測系數(shù)w的集合并且利用式(1)并用該預測系數(shù)w的集合求得接近于HD象素值y的預測值E[y]，是適應處理(其中求得預測系數(shù)w的集合并從該預測系數(shù)w的集合求得預測值，也包含在適應處理中)。
此外，適應處理與插入處理不同的是重現(xiàn)不包含在SD圖像中的包含在HD圖像中的成分。也就是說，雖然在適應處理中若僅僅限于看式(1)，與用所謂的插入濾波器的插入處理是相同的，但因用教師數(shù)據(jù)y，可以說利用學習，能求得與該插入濾波器的抽頭(tap)系數(shù)相當?shù)念A測系數(shù)w，所以能重現(xiàn)包含在HD圖像中的成分。也就是說，能容易地得到高清晰度的圖像。因此，適應處理可以說是具有圖像的創(chuàng)作作用的處理。
圖22示出了利用基于圖像特征(類別)的前述適應處理、將SD圖像變換成HD圖像的圖像變換裝置的結構例。
將SD圖像供給到類別分類電路101和延遲電路102中，在類別分類電路101中將構成SD圖像的SD象素依次作為注目象素并將這種注目象素類別分類成規(guī)定的類別。
也就是說，類別分類電路101首先一開始收集若干個在注目象素周圍的SD象素構成塊(下面稱為處理塊)，以構成該處理塊的例如全部SD象素的象素值模式預先分配的值作為注目象素類別，供給到系數(shù)ROM104的地址端(AD)上。
具體地說，例如圖23中虛線四邊形圍住的部分所示，類別分類電路101從SD圖像提取以注目象素為中心的5×5的SD象素(在圖中用“○”表示)組成的處理塊，并輸出對應于這些25個SD象素的象素值的模式的值作為注目象素的類別。
這里，為了表示各SD象素的象素值，在例如用8位(bit)等的多位數(shù)的場合，25個SD象素的象素值的模式數(shù)成為(28)25極大的數(shù)，難于對其進行高速處理。
因此，作為進行類別分類前的前置處理，對處理塊施行例如ADRC(AdaptiveDynamic Range Coding)處理等，以減少構成其的SD象素的位數(shù)。
也就是說，在ADRC處理中，首先從構成處理塊的25個SD象素中檢測出其象素值最大的象素(下面稱為最大象素)和最小的象素(下面稱為最小象素)。并且，運算最大象素的象素值MAX和最小象素的象素值MIN的差DR(=MAX-MIN)，并以這種DR作為處理塊的局部的動態(tài)范圍?；谶@種動態(tài)范圍DR將構成處理塊的各象素值重新量化成比原來的分配位數(shù)少的K位。也就是說，從構成處理塊的各象素值減去最小象素的象素值MIN并用DR/2k除以各減后的值。
其結果，就成為用K位表示構成處理塊的各象素值。因此，在例如K=1的場合，25個SD象素的象素值的模式數(shù)為(21)25，與不進行ADRC處理的場合比較，能使模式數(shù)大大減少。下面，稱這樣使象素值成為K位的ADRC處理為K位ADRC處理。
系數(shù)ROM104將借助于預先學習求得的預測系數(shù)的按每個類別集合存儲，當從類別分類電路101供給類別時，就讀出存儲在對應于該類別的地址中的預測系數(shù)的集合，并供給到預測運算電路105中。
另一方面，在延遲電路102中，為了對于預測運算電路105使由系數(shù)ROM104供給預測系數(shù)的集合的時間與后述的預測抽頭生成電路103供給預測抽頭的時間一致，將SD圖像延遲必要的時間并供給到預測抽頭生成電路103中。
在預測抽頭生成電路103中，從供給其的SD圖像提取用于在預測運算電路105中求出規(guī)定的HD象素的預測值的SD象素，將其作為預測抽頭供給到預測運算電路105中。也就是說，在預測抽頭生成電路103中，從SD圖像提取例如與在類別分類電路101中提取的相同的處理塊，并將構成該處理塊的SD象素作為預測抽頭，供給到預測運算電路105中。
在預測運算電路105中，用來自系數(shù)ROM104的預測系數(shù)w1,w2,...和來自預測抽頭生成電路103的預測抽頭x1,x2,...，利用式(1)所示的運算、即進行適應處理，求得注目象素y的預測值E[y]，并輸出其作為HD象素的象素值。
也就是說，在這里，從1個預測抽頭求出例如在圖23中用實線四邊形圍住的以注目象素為中心的3×3的HD象素(在同一圖中用“●”表示)的預測值，這種場合，在預測運算電路105中對于這種9個HD象素進行式(1)的運算。因此，在系數(shù)ROM104中，在對應于1個類別的地址中存儲9組預測系數(shù)的集合。
以其它的SD圖像作為注目象素進行下面相同的處理，由此將SD圖像變換成HD圖像。
接著，圖24示出了進行算出存儲在圖22中系數(shù)ROM104中的每個類別的預測系數(shù)集合的學習處理的學習裝置結構例。
將應該成為學習中的教師數(shù)據(jù)y的HD圖像供給到間抽電路111和延遲電路114中，在間抽電路111中，HD圖像例如其象素數(shù)由于間抽而減少，并由此成為SD圖像。將這種SD圖像供給到類別分類電路112和預測抽頭生成電路113中。
在類別分類電路112或者預測抽頭生成電路113中進行與圖22中類別分類電路101或者預測抽頭生成電路103的場合相同的處理，并由此分別輸出注目象素的類別或者預測抽頭。將類別分類電路112輸出的類別供給到預測抽頭存儲器115和教師數(shù)據(jù)存儲器116的地址端(AD)上，將預測抽頭生成電路113輸出的預測抽頭供給到預測抽頭存儲器115中。
在預測抽頭存儲器115中，在對應于由類別分類電路112供給的類別的地址中存儲由預測抽頭生成電路113供給的預測抽頭。
另一方面，在延遲電路114中，使HD圖像僅延遲對應于注目象素的類別從類別分類電路112供給到教師數(shù)據(jù)存儲器116中的時間，對于其中的預測抽頭，僅將圖23所示的位置關系的HD象素的象素值作為教師數(shù)據(jù)供給到教師數(shù)據(jù)存儲器116中。
并且，在教師數(shù)據(jù)存儲器116中，在對應于由類別分類電路112供給的類別的地址中存儲由延遲電路114供給的教師數(shù)據(jù)。
重復下面相同的處理，直到將構成由預先學習用準備的全部的HD圖像得到的SD圖像的全部的SD象素作為注目象素為止。
這樣，在預測抽頭存儲器115和教師數(shù)據(jù)存儲器116的同一個地址中存儲分別與在圖23中用“○”表示的SD象素或者在圖23中用“●”表示的HD象素有同一位置關系的SD象素或者HD象素作為學習數(shù)據(jù)x或者教師數(shù)據(jù)y。
此外，在預測抽頭存儲器115和教師數(shù)據(jù)存儲器116中，能在同一地址中存儲多個信息，因此，在同一地址中，能存儲屬于同一類別的多個學習數(shù)據(jù)x和教師數(shù)據(jù)y。
然后，運算電路117從預測抽頭存儲器115或者教師數(shù)據(jù)存儲器116讀出存儲在同一地址中的作為學習數(shù)據(jù)的預測抽頭或者作為教師數(shù)據(jù)的HD象素的象素值，并用它們根據(jù)最小二乘法算出使預測值和教師數(shù)據(jù)間的誤差為最小的預測系數(shù)的集合。也就是說，在運算電路117中，對每個類別建立式(13)所示的正規(guī)方程式，借助于求解該方程式求得每個類別的預測系數(shù)的集合。
這樣，在運算電路117求得的每個類別的預測系數(shù)的集合，存儲在圖22中系數(shù)ROM104的對應于該類別的地址中。
此外，在前述的學習處理中，雖然也可能產(chǎn)生不能得到用于求得預測系數(shù)的集合所必須數(shù)量的正規(guī)方程式的類別，但對于這種類別，例如借助于忽略類別建立并求解正規(guī)方程式得到的預測系數(shù)的集合等，可以作為缺省的預測系數(shù)的集合使用。
但是，采用圖22的圖像變換裝置，通過間抽HD圖像的象素值等使象素值減少而得到SD圖像，如前所述，從該得到的SD圖像能得到還包含有SD圖像不包含的高頻成分的HD圖像，但對于接近原來的HD圖像還有一定限制。其理由是，為了復原到原來的HD圖像，僅間抽HD圖像的象素值后的SD圖像的象素(SD象素)的象素值不是最優(yōu)的。
因此，本申請人為了能得到更加接近于原來的HD圖像的畫面質量的解碼圖像，先前建議有關于利用適應處理的圖像壓縮(編碼)(例如已公開的日本特愿平8-206552號公報等所示)。
也就是說，為了能根據(jù)適應處理得到更加接近于原來的HD圖像的解碼圖像，圖25示出了將其HD圖像壓縮(編碼)成最優(yōu)SD圖像的圖像編碼裝置的結構例。
將編碼對象的HD圖像供給到間抽單元121和誤差算出單元43中。
在間抽單元121利用例如單純地間抽使HD圖像成為SD圖像，并供給到校正單元41中。校正單元41一從間抽單元121接收到SD圖像，開始原樣地將該SD圖像輸出到局部解碼單元122中。局部解碼單元122具有與例如圖22所示的圖像變換裝置相同的結構，用來自校正單元41的SD圖像并借助于進行前述的適應處理，算出HD象素的預測值并輸出到誤差算出單元43中。誤差算出單元43算出來自局部解碼單元122的HD象素的預測值的相對于原來的HD象素的預測誤差(誤差信息)，并輸出到控制單元44中?？刂茊卧?4對應于來自誤差算出單元43的預測誤差對校正單元41進行控制。
也就是說，由此，校正單元41按照來自控制單元44的控制，校正來自間抽單元121的SD圖像的象素值，并輸出到局部解碼單元122中。在局部解碼單元122中，用由校正單元41供給的校正后的SD圖像再次求得HD圖像的預測值。
下面，重復相同的處理，直到誤差算出單元43輸出的預測誤差達到規(guī)定值以下為止。
當誤差算出單元43輸出的預測誤差達到規(guī)定值以下時，控制單元44控制校正單元41，由此，輸出預測誤差在規(guī)定值以下時的校正后的SD圖像作為HD圖像的最優(yōu)編碼結果。
因此，采用這種校正后的SD圖像，則借助于對其進行適應處理，能得到預測誤差在規(guī)定值以下的HD圖像。
因此，如前所述，因從圖25的圖像編碼裝置輸出的SD圖像可說是為得到更加接近于原來HD圖像的解碼圖像的最優(yōu)圖像，所以用這種圖像編碼裝置的校正單元41、局部解碼單元122、誤差算出單元43和控制單元44構成的系統(tǒng)進行的處理是最優(yōu)處理。
但是，適應處理可以說是用HD象素的周圍的SD象素構成預測抽頭，用這種預測抽頭求得HD象素的預測值，但作為預測抽頭使用的SD象素的選擇與象素無關而形成。
也就是說，用圖22的圖像變換裝置的預測抽頭生成電路103和與這種圖像變換裝置相同結構的圖25的局部解碼單元122，能不斷地生成(形成)一定模式的預測抽頭。
但是，圖像的局部特性不同的場合很多，因此，如果特性不同，則用與其對應的預測抽頭進行適應處理，能得到更加接近于原來的HD特性的畫面質量的解碼圖像。
發(fā)明概述本發(fā)明鑒于前述的狀況，其目的是能得到進一步改善畫面質量的解碼圖像。
與本發(fā)明相關的對圖像信號進行編碼的圖像編碼裝置，包括發(fā)生象素數(shù)比原圖像信號的象素數(shù)少的壓縮圖像信號的壓縮單元；對于作為構成所述壓縮圖像信號的象素之一的注目象素，用該注目象素的附近象素，形成多個模式的預測象素的第1形成單元；由所述多個模式的各個預測象素和規(guī)定的預測系數(shù)預測所述原圖像信號，并分別輸出對于這些多個模式的預測象素的預測值的第1預測單元；算出對于所述多個模式的預測象素的各個預測值的、對于所述原圖像信號的預測誤差的第1算出單元；將所述多個模式的預測象素中對應于得到最小的預測誤差的預測象素的模式碼附加在所述注目象素的象素值上的附加單元。
與本發(fā)明相關的對圖像信號進行編碼的圖像編碼方法，包括發(fā)生象素數(shù)比原圖像信號的象素數(shù)少的壓縮圖像信號的壓縮步驟；對于作為構成所述壓縮圖像信號的象素之一的注目象素，用該注目象素的附近象素，形成多個模式的預測象素的第1形成步驟；由所述多個模式的各個預測象素和規(guī)定的預測系數(shù)預測所述原圖像信號，并分別輸出對于這些多個模式的預測象素的預測值的第1預測步驟；算出對于所述多個模式的預測象素的各個預測值的、對于所述原圖像信號的預測誤差的第1算出步驟；將所述多個模式的預測象素中對應于得到最小的預測誤差的預測象素的模式碼附加在所述注目象素的象素值上的附加步驟。
與本發(fā)明相關的將壓縮圖像信號解碼成原來圖像信號的圖像解碼裝置，包括接收所述壓縮圖像信號的接收單元；形成對應于附加在所述壓縮圖像信號的注目象素的象素值上的模式碼的模式預測象素的形成單元；由在所述形成單元形成的所述預測象素和規(guī)定的預測系數(shù)對原圖像信號進行預測，并輸出所述原圖像信號的預測單元。
與本發(fā)明相關的將壓縮圖像信號解碼成原來圖像信號的圖像解碼方法，包括接收所述壓縮圖像信號的接收步驟；形成對應于附加在所述壓縮圖像信號的注目象素的象素值上的模式碼的模式預測象素的形成步驟；由在所述形成步驟形成的所述預測象素和規(guī)定的預測系數(shù)對原圖像信號進行預測，并輸出所述原圖像信號的預測步驟。
在與本發(fā)明相關的記錄媒體中，記錄利用圖像解碼裝置能解碼的壓縮圖像信號。利用發(fā)生象素數(shù)比原圖像信號的象素數(shù)少的壓縮圖像信號的壓縮步驟；對于作為構成所述壓縮圖像信號的象素之一的注目象素，用該注目象素的附近象素，形成多個模式的預測象素的形成步驟；由所述多個模式的各個預測象素和規(guī)定的預測系數(shù)預測所述原圖像信號，并分別輸出對于這些多個模式的預測象素的預測值的預測步驟；算出對于所述多個模式的預測象素的各個預測值的、對于所述原圖像信號的預測誤差的算出步驟；將所述多個模式的預測象素中對應于得到最小的預測誤差的預測象素的模式碼附加在所述注目象素的象素值上的附加步驟，形成這種壓縮圖像信號。
附圖簡要說明

圖1是表示采用本發(fā)明的圖像處理裝置的一實施形態(tài)的結構方框圖。
圖2是表示圖1中發(fā)送裝置1的結構例的方框圖。
圖3是表示圖2中發(fā)送裝置1的功能的結構例的方框圖。
圖4是用于說明圖3中發(fā)送裝置1的動作的流程圖。
圖5是表示圖3中前置處理單元21的結構例的方框圖。
圖6是用于說明圖5中間抽電路31的處理的圖。
圖7是表示預測抽頭的結構例的圖。
圖8是表示預測抽頭的結構例的圖。
圖9是表示預測抽頭的結構例的圖。
圖10是表示預測抽頭的結構例的圖。
圖11是用于說明圖5中前置處理單元21的處理的流程圖。
圖12是用于更詳細地說明圖11的步驟S11的處理的流程圖。
圖13A-圖13B是表示用于進行類別分類的抽頭類型的結構例的圖。
圖14是表示圖3中最優(yōu)化單元23的結構例的方框圖。
圖15是用于說明圖14中最適化單元23的處理的流程圖。
圖16是用于說明圖15中的步驟S33的處理的圖。
圖17是表示圖3中自適應處理單元24的結構例的方框圖。
圖18是用于說明圖17中適應處理單元24的處理的流程圖。
圖19是表示圖3中預測抽頭模式判定單元26的結構例的方框圖。
圖20是用于說明圖19中預測抽頭模式判定單元26的處理的流程圖。
圖21是表示圖1中接收裝置4的結構例的方框圖。
圖22是表示本申請人先前提議了的圖像變換裝置的結構例的方框圖。
圖23是用于說明圖22中類別分類電路101的處理的圖。
圖24是表示本申請人先前提議了的學習裝置的結構例的方框圖。
圖25是表示本申請人在先提議了的圖像編碼裝置的結構例的方框圖。
圖26是表示類別分類適應處理電路(預測系數(shù)、預測值算出)電路33的一部分的結構的一例的方框圖。
圖27是表示類別分類適應處理電路(預測系數(shù)、預測值算出)電路33的其它的一部分的結構的一例的方框圖。
圖28是表示類別分類適應處理電路42B和74的結構的一例的方框圖。
實施發(fā)明的最佳方式下面，參照附圖對與發(fā)明相關的圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法以及記錄媒體的實施形態(tài)進行說明。
圖1示出了采用本發(fā)明的圖像處理裝置的一實施形態(tài)的結構。將數(shù)字化的HD圖像的圖像數(shù)據(jù)供給到發(fā)送裝置1中。發(fā)送裝置1利用間抽被輸入的圖像數(shù)據(jù)(減少其象素數(shù))進行壓縮、編碼，并將其結果得到的SD圖像的圖像數(shù)據(jù)作為HD圖像的編碼數(shù)據(jù)，記錄在例如光盤、光磁盤、磁帶等構成的記錄媒體2上，或者通過例如地面波、衛(wèi)星線路、電話線路、CATV網(wǎng)等的傳送通道3進行傳送。
在接收裝置4中重放記錄在記錄媒體2中的編碼數(shù)據(jù)，或者接收通過傳送通道3傳送來的編碼數(shù)據(jù)，擴展并解碼該編碼數(shù)據(jù)，并將其結果得到的HD圖像的解碼圖像供給到未圖示的顯示器上進行顯示。
此外，前述的圖像處理裝置適用于例如光盤裝置、光磁盤裝置、磁帶等的進行圖像的記錄/重放的裝置，或者例如電視電話裝置、電視廣播系統(tǒng)、CATV系統(tǒng)等的進行圖像傳送的裝置。此外，如后所述，因發(fā)送裝置1輸出的編碼數(shù)據(jù)的數(shù)據(jù)量少，所以圖1的圖像處理裝置也能適用于傳輸速率低的、例如手機等的便于移動的便攜式終端等。
圖2表示發(fā)送裝置1的結構例。
I/F(InterFace接口)11進行由外部供給的HD圖像的圖像數(shù)據(jù)的接收處理和對于發(fā)送機/記錄裝置16的編碼數(shù)據(jù)的發(fā)送處理。ROM(Read Only Memory只讀存儲器)12存儲IPL(Initial Program Loading初始程序裝載)用的程序等。RAM(Random Access Memory隨機存儲器)13存儲記錄在外部存儲裝置15中的系統(tǒng)程序(OS(Operating System操作系統(tǒng)))和應用程序，并存儲CPU(CentralProcessing Unit中央處理單元)14動作的必要的數(shù)據(jù)。CPU14按照存儲在ROM12中的IPL程序，從外部存儲器15將系統(tǒng)程序和應用程序展開到RAM13中，并在該系統(tǒng)程序的控制下執(zhí)行應用程序，通過這樣對由I/F11供給的圖像數(shù)據(jù)進行后述的編碼處理。外部存儲裝置15、例如磁盤裝置等，如前所述除存儲CPU14執(zhí)行的系統(tǒng)程序和應用程序外，還存儲CPU14動作上必要的數(shù)據(jù)。發(fā)送機/記錄裝置16將由I/F11供給的編碼數(shù)據(jù)記錄在記錄媒體2中，或者通過傳輸通道3進行傳輸。
此外，通過總線互相連接I/F11、ROM12、RAM13、CPU14和外部存儲裝置15。在圖2中，雖然發(fā)送裝置1用CPU14構成，但也可以用硬線連接邏輯構成。
在如前所述結構的發(fā)送裝置1中，HD圖像的圖像數(shù)據(jù)一供給到I/F11中，其圖像數(shù)據(jù)就供給到CPU14中。CPU14對圖像數(shù)據(jù)進行編碼，并將作為該結果得到的編碼數(shù)據(jù)的SD圖像供給到I/F11中。I/F11一接收到編碼數(shù)據(jù)，就將其供給到發(fā)送機/記錄裝置16中。發(fā)送機/記錄裝置16將來自I/F11的編碼數(shù)據(jù)記錄在記錄媒體2中，或者通過傳輸通道3進行傳輸。
圖3是表示圖2中發(fā)送裝置1的、除去發(fā)送機/記錄裝置16部分的功能的方框圖。
將作為應該編碼的圖像數(shù)據(jù)的HD圖像供給到前置處理單元21、最優(yōu)化單元23、自適應處理單元24和預測抽頭模式判定單元26中。
前置處理單元21對于供給它的HD圖像，用例如1幀(或者1場)為單位施行后述的前置處理，并將關于其結果得到的SD圖像或者多個模式的預測抽頭的每個類別的預測系數(shù)w的集合，分別供給到開關22或者25的端a上。將前置處理單元21或者預測抽頭模式判定單元26輸出的SD圖像，分別供給到開關22的端a或者b上。只有在前置處理單元22中對某個HD圖像施行前置處理、并由此輸出SD圖像時，開關22選擇端a，在其它時間選擇端b，并將前置處理單元21或者預測抽頭模式判定單元26輸出的SD圖像供給到最優(yōu)化單元23中。
最優(yōu)化單元23對于由開關22供給的SD圖像，施行在前述圖25說明了的最優(yōu)化處理，并將其結果得到的最優(yōu)化SD圖像供給到自適應處理單元25、預測抽頭模式判定單元26和多路化單元27中。自適應處理單元24借助于用來自最優(yōu)化單元23的最適合SD圖像和原來的HD圖像進行自適應處理，對多個模式的每個類型算出減小由最優(yōu)SD圖像的象素值的線性組合求得的HD圖像的預測值的預測誤差的每個類別的預測系數(shù)w的集合，并輸出到開關25的端b上。
只有在前置處理單元21中對某個HD圖像施行前置處理、并由此輸出關于多個模式的預測抽頭的每個類別的預測系數(shù)w的集合時，開關25選擇端a，在其它時間選擇端b，并將前置處理單元21或者自適應處理單元24輸出的關于多個模式的預測抽頭的每個類別的預測系數(shù)w的集合，供給到最優(yōu)化單元23、預測抽頭模式判定單元26和多路化單元27中。
預測抽頭模式判定單元26由最優(yōu)化單元23供給的自適應SD圖像，形成多個模式的預測抽頭，并分別用該多個模式的預測抽頭進行自適應處理，求得多個HD圖像的預測值。此外，預測抽頭模式判定單元26在多個模式的預測抽頭中，判定多個HD圖像的預測值的預測誤差最小的，對應其判定結果將后述的模式碼附加到來自最優(yōu)化單元23的最適SD圖像的象素值上，并供給到開關22的端b上。
多路化單元27在規(guī)定的場合，將由最優(yōu)化單元23供給的最適SD圖像和通過開關25供給的多個模式的預測抽頭的每個類別的預測系數(shù)w的集合進行多路化處，并以其多路化結果作為編碼數(shù)據(jù)輸出到發(fā)送機/記錄裝置16(圖2)中。
接著，參照圖4的流程圖對其動作進行說明。
當應該編碼的HD圖像一供給到前置處理單元21、最優(yōu)化單元23、自適應處理單元24和預測抽頭模式判定單元26中，在前置處理單元21就在步驟S1列HD圖像施行前置處理。
也就是說，前置處理單元21借助于減少HD圖像的象素數(shù)并進行壓縮，構成SD圖像，并分別以構成其SD圖像的SD象素依次地作為注目象素，對于各注目象素形成多個模式的預測抽頭。此外，前置處理單元21分別對于其多個模式的預測抽頭，借助于用式(13)所示的正規(guī)方程式求解，求得每個類別的預測系數(shù)w的集合。并且，前置處理單元21借助于用多個模式的預測抽頭和與其相關求得的每個類別的預測系數(shù)w的集合的規(guī)定的類別的預測系數(shù)的集合，對式(1)所示的線性一次方程式進行計算，求得從多個模式的各個預測抽頭得到的多個HD圖像的預測值。此外，前置處理單元21檢測多個模式的預測抽頭中的多個HD圖像的預測值的預測誤差為最小的，并將預先對應于其預測抽頭的模式的、例如作為2位碼的抽頭模式碼，附加在成為注目象素的SD象素上并進行輸出。
如前所述，分別將附加抽頭模式碼的SD圖像輸出到開關22的端a上，或者將關于求解正規(guī)方程式得到的多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合輸出到開關25的端a上。
如前所述，開關22和25在從前置處理單元21輸出SD圖像和多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合時，都選擇端a，因此，前置處理單元21輸出的SD圖像，通過開關22供給到最優(yōu)化單元23中，前置處理單元21輸出的多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合，通過開關25輸出到最優(yōu)化單元23和預測抽頭模式判定單元26中。
最優(yōu)化單元23一接收到SD圖像和關于多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合，就在步驟S2中用它們進行最優(yōu)化處理。即最優(yōu)化單元23用SD圖像和關于多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合進行自適應處理，并校正SD圖像的象素值，以便其結果得到的HD圖像的預測值的預測誤差小。并且，將其結果得到的最適SD圖像供給到自適應處理單元24和預測抽頭模式判定單元26中。
自適應處理單元24從最優(yōu)化單元23一接收到最適SD圖像，就在步驟S3中借助于進行自適應處理算出關于減小用最適SD圖像得到的HD圖像的預測值的預測誤差的多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合。即自適應處理單元24分別以構成最適SD圖像的SD象素依次地作為注目象素，并對于各注目象素形成預測抽頭。此外，這時預測抽頭形成對應于附加在注目象素上的抽頭模式碼的模式。并且，自適應處理單元24借助于對于多個模式的每個預測抽頭，由預測抽頭建立正規(guī)方程式并對其求解，求得多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合。并將這些多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合，供給到開關25的端b上。
經(jīng)前述處理后，進入到步驟S4中，開關22和25都從端a切換到端b，由此，通過開關25將在自適應處理單元24中求得的關于多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合，供給到最優(yōu)化單元23和預測抽頭模式判定單元26中。
預測抽頭模式判定單元26從最優(yōu)化單元23接收最適SD圖像，并且從自適應處理單元24一接收到關于多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合，就在步驟S5中決定以構成最適SD圖像的各個SD象素作為注目象素形成的預測抽頭的最優(yōu)模式。
也就是說，預測抽頭模式判定單元26以構成最適SD圖像的各個SD象素依次地作為注目象素，對于各注目象素形成多個模式的預測抽頭。此外，預測抽頭模式判定單元26，借助于對于其多個模式的每個預測抽頭、用對應于來自自適應處理單元24的其預測抽頭的每個類別的預測系數(shù)w的集合中規(guī)定的類別的預測系數(shù)w的集合，對式(1)所示的線性一次方程式進行計算，求得從多個模式的各個預測抽頭得到的多個HD圖像的預測值。此外，預測抽頭模式判定單元26檢測多個模式的預測抽頭中的多個HD圖像的預測值的預測誤差為最小的，并將已經(jīng)附加在成為注目象素的SD象素上的抽頭模式碼變更成對應于其預測抽頭的抽頭模式碼。也就是說，在現(xiàn)在的場合因在SD象素上已經(jīng)附加抽頭模式碼，所以能用附加使預測誤差為最小的預測抽頭的抽頭模式碼代替。
如前所述，將變更抽頭模式碼后的SD圖像輸出到開關22的端b上。
因在步驟S4中切換開關22并選擇端b，所以預測抽頭模式判定單元26輸出的SD圖像通過開關22供給到最優(yōu)化單元23中。在步驟S6中與步驟S2的場合相同，最優(yōu)化單元23進行最優(yōu)化處理，并由此輸出最適合SD圖像。此外，這種場合，在最優(yōu)化單元23雖然進行如在步驟S2說明了的自適應處理，但這種自適應處理是通過開關25用由自適應處理單元供給的關于多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合進行。
將從最優(yōu)化單元23輸出的最適合SD圖像供給到自適應處理單元24和預測抽頭模式判定單元26中，在步驟S7中與步驟S3的場合相同，在自適應處理單元24中借助于用最優(yōu)化單元23輸出的最適合SD圖像進行自適應處理，求得關于多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合，并通過開關25輸出到最優(yōu)化單元23和預測抽頭模式判定單元26中。
然后，進入到步驟S8，判定是否僅以規(guī)定的規(guī)定次數(shù)進行步驟S5至步驟S8的處理。在步驟S8中，在判定還沒有以規(guī)定的規(guī)定次數(shù)進行步驟S5至步驟S8的處理的場合，返回到步驟S5，并重復前述的處理。在步驟S8中，在判定以規(guī)定的規(guī)定次數(shù)進行步驟S5至步驟S8的處理的場合，進入到步驟S9，多路化單元27對在前次的步驟S6的處理中，最優(yōu)化單元23輸出的最適合SD圖像和那時使用的多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合進行多路化處理，作為編碼數(shù)據(jù)輸出，并結束處理。
前述的處理用例如1幀為單位等重復進行。
此外，在前述的場合的步驟S8中，判定是否以規(guī)定的規(guī)定次數(shù)進行步驟S5至步驟S8的處理，但也可以在步驟S8中，判定借助于用例如在該時刻從最優(yōu)化單元23輸出的最適合SD圖像進行自適應處理所得到的HD圖像的預測值的預測誤差的1幀部分的絕對值之和是否在規(guī)定的閾值以下，在閾值以下的場合進入到步驟9，在不是閾值以下的場合中返回到步驟S5。也就是說，步驟S5至步驟S8的處理能夠重復進行，一直到借助于用最適合SD圖像進行自適應處理所得到的HD圖像的預測值的預測誤差的1幀部分的絕對值之和達到規(guī)定的閾值以下為止。
圖5示出了圖3中前置處理單元21的結構例。
將應該編碼的HD圖像供給到間抽電路31、類別分類自適應處理(預測系數(shù)、預測值算出)電路33和預測誤差算出電路34中。
間抽電路31例如利用間抽減少HD圖像的象素數(shù)構成SD圖像，并供給到預測抽頭生成電路32和抽頭模式碼附加電路36中。也就是說，間抽電路31將HD圖像分割成長×寬為3×3象素的9象素的正方形塊，以各塊的9象素的平均值作為其中心的象素的象素值構成SD圖像。由此，在間抽電路31中，由例如在圖6中用“·”所示的HD象素組成的HD圖像，構成同圖中用“○”所示的SD象素組成的SD圖像。
此外，在間抽電路31中，也可以例如僅提取前述塊的中心的象素，構成SD圖像。
預測抽頭生成電路32以來自間抽電路31的構成SD圖像的各象素(在圖6中用“○”表示的部分)作為依次注目象素，并對于各注目象素構成多個模式的預測抽頭。也就是說，在本實施形態(tài)中，分別如圖7至圖10所示，形成以注目象素為中心的3×3象素、5×3象素、3×5象素或者7×5象素的4種模式的預測抽頭。將這些4種模式的預測抽頭供給到類別分類自適應處理(預測系數(shù)、預測值算出)電路33中。
類別分類自適應處理(預測系數(shù)、預測值算出)電路33分別對于由預測抽頭生成電路32供給的4種模式的預測抽頭進行類別分類，而且，對于各類別借助于用HD圖像求解式(13)所示的正規(guī)方程式，能求得關于4種模式的各個預測抽頭的每個類別的預測系數(shù)w的集合。此外，類別分類自適應處理(預測系數(shù)、預測值算出)電路33借助于運算式(1)所示的線性一次方程式，從關于求得的4種模式的各個預測抽頭的每個類別的預測系數(shù)w的集合中各個規(guī)定類別的預測系數(shù)w和4種模式的各個預測抽頭，求得由4種模式的各個預測抽頭得到的多個HD圖像的預測值，并輸出到預測誤差算出電路34中。
此外，在類別分類自適應處理(預測系數(shù)、預測值算出)電路33中，將對于4種模式的各個預測抽頭求得的每個類別的預測系數(shù)w的集合，供給到存儲器35中。
此外，在本實施形態(tài)中，在類別分類自適應處理(預測系數(shù)、預測值算出)電路33中對于4種模式的各個預測抽頭，建立正規(guī)方程式求得如在圖6中用虛線圍住的那樣以成為注目象素的SD象素為中心的3×3的HD象素的預測值，而與預測抽頭的模式無關。因此，能求得用于生成3×3的HD象素的預測值的對于4種模式的各個預測抽頭的每種類別的預測系數(shù)w的集合。關于這種類別分類自適應處理(預測系數(shù)、預測值算出)電路33的詳細的結構將在后面說明。
預測誤差算出電路34對于各注目象素求得由4種模式的各個預測抽頭得到的HD圖像的預測值的對于原來的HD圖像的象素值的預測誤差。也就是說，例如對于4種模式的各個預測抽頭，運算HD圖像的9象素的預測值和原來的HD圖像的9象素的象素值的差的平方和。并且，預測誤差算出電路34檢測出4種模式的預測抽頭中預測誤差(差的平方和)為最小的。并且，將對應于預測誤差最小的預測抽頭的模式的2位抽頭模式碼輸出到存儲器35和抽頭模式碼附加電路36中。
存儲器35暫時存儲由類別分類自適應處理(預測系數(shù)、預測值算出)電路33供給的、對于4種模式的各個預測抽頭求得的每個類別的預測系數(shù)w的集合。并且，存儲器35當例如1幀(或者1場)的HD圖像的處理一結束(即在全部的SD象素上附加抽頭模式碼)，就讀出對于4種模式的各個預測抽頭求得的每個類別的預測系數(shù)w的集合，并輸出到開關25的端a上。
抽頭模式碼附加電路36對于供給它的SD圖像，附加由預測誤差算出電路34供給的抽頭模式碼。即抽頭模式碼附加電路36刪除成為注目象素的SD象素的象素值(例如用8位等構成)的LSB(Least Significant Bit最低有效位)側的2位，并在那里配置2位的抽頭模式碼。在抽頭模式碼附加電路36中，將附加抽頭模式碼的SD圖像輸出到開關22的端a上。
下面，對類別分類自適應處理(預測系數(shù)、預測值算出)電路33的結構進行說明。這種類別分類自適應處理(預測系數(shù)、預測值算出)電路33分別對于4種模式的預測抽頭，具有類別分類自適應處理(預測系數(shù)、預測值算出)電路。也就是說，類別分類自適應處理(預測系數(shù)、預測值算出)電路33具有用于4種模式的預測抽頭的獨立的4個類別分類自適應處理電路。圖26和圖27示出了這種1個類別分類自適應處理電路。此外，4個類別分類自適應處理電路因除了供給不同的4類預測抽頭外具有相同的結構，所以說明1個類別分類自適應處理電路，省略其它的說明。
圖26所示的類別分類自適應處理電路包括類別分類電路112、延遲電路114、預測抽頭存儲器115、教師數(shù)據(jù)存儲器116、運算電路117和延遲電路118(圖25)，圖27所示的類別分類自適應處理電路包括類別分類電路201、系數(shù)RAM204和預測運算電路205。
構成圖26所示的類別分類自適應處理電路的一部分的各電路除延遲電路118外，分別與圖24所示的學習裝置的類別分類電路112、延遲電路114、預測抽頭存儲器115、教師數(shù)據(jù)存儲器116、運算電路117、延遲電路118、以及圖22所示的圖像變換裝置的結構相同。其中因預測抽頭由預測抽頭生成電路32供給，所以代替圖24所示的預測抽頭生成電路113，將預測抽頭供給到延遲電路118中。并且，在延遲電路118中與延遲電路114相同，延遲時間為對于注目象素的類別從類別分類電路112供給到預測抽頭存儲器中的時間，對預測抽頭進行延遲，并存儲到預測抽頭存儲器115中。
在將對于1幀的HD象素的數(shù)據(jù)存儲在預測抽頭存儲器115和教師數(shù)據(jù)存儲器116中后，利用與圖24的學習裝置的動作相同的動作生成每個類別的預測系數(shù)的集合。在將這種生成的每個類別的預測系數(shù)的集合存儲在圖27所示的系數(shù)RAM204中的同時，供給并存儲在圖5的前置處理單元21的存儲器35中。此外，如前所述，因用獨立的電路生成對于4種模式的各個預測抽頭求得的每個類別的預測系數(shù)w的集合，所以在將對于4種模式的各個預測抽頭求得的每個類別的預測系數(shù)w的集合存儲在圖27的系數(shù)RAM204中的同時，供給并存儲在圖5的前置處理單元21的存儲器35中。
在將對于4種模式的各個預測抽頭求得的每個類別的預測系數(shù)w的集合存儲在圖27的系數(shù)RAM204中后，在類別分類電路201中進行類別分類，并將類別信息供給到系數(shù)RAM204中。系數(shù)RAM204輸出對應于被供給的類別信息的預測系數(shù)的集合，并供給到預測運算電路205中。預測運算電路205借助于運算式(1)所示的線性一次方程式，從被供給的預測抽頭和預測系數(shù)的集合求出多個HD圖像的預測值。此外，構成圖27所示的類別分類自適應處理電路的一部分的各電路在存儲每個類別的預測系數(shù)的集合到系數(shù)RAM204中后的動作，與執(zhí)行與圖22的圖像變換裝置的類別分類電路101、系數(shù)RAM104和預測運算電路105的動作相同。此外，因類別分類電路112和類別分類電路201結構相同，所以也可以作為1個結構。
下面，參照圖11的流程圖對前置處理單元21的處理進行說明。
前置處理單元21一輸入應該編碼的HD圖像，就將該HD圖像供給到間抽電路31、類別分類自適應處理(預測系數(shù)、預測值算出)電路33和預測誤差算出電路34中。間抽電路31一接收到HD圖像，就在步驟S11中間抽其象素數(shù)，構成SD圖像。
也就是說，在步驟S11中，如圖12的流程圖所示，首先一開始在步驟S21中將HD圖像分割成例如3×3象素的HD圖像塊，并進入到步驟S22中。
此外，在本實施例中，由例如亮度信號Y和色差信號U、V構成HD圖像，在步驟S21中，構成亮度信號塊和色差信號塊。
在步驟S22中，取任何一個塊為注目塊，并計算構成該注目塊的3×3的HD象素的象素值的平均值。此外，在步驟S22中，取該平均值為注目塊的中心的象素(SD象素)的象素值，并進入到步驟S23中。
在步驟S23中，判定注目塊是否為亮度信號塊。在步驟S23中判定注目塊是亮度信號塊的場合，進入到步驟S24，為了附加抽頭模式碼而將作為SD象素的注目塊的中心的象素的象素值(這里為亮度信號)的LSB側的2位例如清零成0，并進入到步驟S25中。此外，在步驟S23中判定注目塊不是亮度信號塊的場合，即注目塊是色差信號塊的場合，跳過步驟S24，進入到步驟S25中。
這里，在本實施形態(tài)中，僅對于亮度信號準備多個模式的預測抽頭，對于色差信號用固定模式的預測抽頭。因此，因僅對于亮度信號附加抽頭模式碼而對于色差信號不附加抽頭模式碼，所以不必對其LSB側的2位進行清零。
在步驟S25中，判定是否將在步驟S21構成的全部塊作為注目塊進行處理，在判定沒有將全部塊作為注目塊進行處理的場合，返回到步驟S22，并將沒有作為注目塊的塊重新作為注目塊重復同樣的處理。在步驟S25中，在判定將全部塊作為注目塊進行處理的場合、即構成SD圖像的場合，返回。
回到圖11，在步驟S11中，將如前所述構成的SD圖像從間抽電路31供給到預測抽頭生成電路32和抽頭模式碼附加電路36中。預測抽頭生成電路32從間抽電路31一接收到SD圖像，就在步驟S12中，以構成它的SD象素中的1個作為注目象素，并對于該注目象素形成(生成)圖7至圖10所示的4種模式的預測抽頭，并供給到類別分類自適應處理(預測系數(shù)、預測值算出)電路33中。
此外，如前所述，僅對于亮度信號形成4種模式的預測抽頭，對于色差信號經(jīng)常僅形成例如圖10所示的7×5象素的預測抽頭。
類別分類自適應處理(預測系數(shù)、預測值算出)電路33在步驟S13中，首先對于各個從預測抽頭生成電路32供給的4種模式的預測抽頭(亮度信號的場合)，用各自的類別分類自適應處理電路進行分類。
這里，在本實施形態(tài)中，對于4種模式的各個預測抽頭構成例如下面所述的類別分類用的抽頭(下面稱為類別抽頭)，進行類別分類。
也就是說，如圖13A中用虛線圍住的部分所示，對于亮度信號，即使與4種模式的各個預測抽頭的任何一個相關，也能基于以注目象素為中心的菱形的范圍的5個SD象素，構成類別抽頭。并且，以這種5象素的象素值中的最大值和最小值之差作為動態(tài)范圍DR，并用這種動態(tài)范圍DR對類別抽頭中的縱向排列的3象素(在圖13A中用實線圍住的3象素)進行1位ADRC處理。
并且，在這種3象素的象素值的模式中附加對應于預測抽頭的抽頭碼取作注目象素的類別。因此，這種場合，用3位表示類別抽頭中的對縱向排列的3象素進行1位ADRC處理所得到的象素值的模式，此外，因抽頭碼是2位，所以能將亮度信號分類成32(=25)類別中的任何一類。
另一方面，如圖13B中用虛線圍住的部分所示，對于色差信號，基于以注目象素為中心的正方形的范圍的9個SD象素，構成類別抽頭。并且，以這種9象素的象素值中的最大值和最小值之差作為動態(tài)范圍DR，并用這種動態(tài)范圍DR對類別抽頭中的以注目象素為中心的菱形范圍的5個SD象素(在圖13B中用實線圍住的5象素)進行1位ADRC處理。并且，將這種5象素的象素值的模式取作注目象素的類別。因此，這種場合，用5位表示類別抽頭中的對以注目象素為中心的5象素進行1位ADRC處理所得到的象素值的模式，此外，與亮度信號相同也能將色差信號分類成32(=25)類別中的任何一類。
如前所述，在類別分類自適應處理電路(預測系數(shù)、預測值算出)電路33中，決定注目象素的類別后，對于4種模式的各個預測抽頭，借助于對每個類別用預測抽頭和HD圖像建立式(13)所示的正規(guī)方程式并對其進行求解，能求得對于4種模式的各個預測抽頭求得的每個類別的預測系數(shù)w的集合。用4種模式的各個預測抽頭求得的對于4種模式的各個預測抽頭的每個類別的預測系數(shù)w的集合都供給并存儲到存儲器35中。
此外，類別分類自適應處理電路(預測系數(shù)、預測值算出)電路33，借助于運算式(1)所示的線性一次方程式從分別用4種模式的預測抽頭得到的對于4種模式的各個預測抽頭的每個類別的預測系數(shù)w的集合和4種模式的各個預測抽頭，求得從4種模式的各個預測抽頭得到的HD圖像的預測值，并輸出到預測誤差算出電路34中。
在步驟S14中，預測誤差算出電路34求得由類別分類自適應處理電路(預測系數(shù)、預測值算出)電路33供給的、4種模式的各個預測抽頭的HD圖像的預測值的、對于原來的HD圖像的象素值的預測誤差。也就是說，例如以HD圖像的9象素的預測值和原來的HD圖像的象素的象素值的差的平方和為預測誤差，求得對于4種模式的各個預測抽頭。然后，進入到步驟S15中，并且對于注目象素檢測出預測誤差最小的預測抽頭。然后，將對應于這種預測抽頭的抽頭模式碼輸出到抽頭模式碼附加電路36中。
在步驟S16中，在抽頭模式碼附加電路36中輸出來自間抽電路31的構成SD圖像的SD象素中的注目象素的象素值(在本實施形態(tài)中僅對于亮度信號)的LSB側的2位，作為抽頭模式碼。
然后，進入到步驟S17中，并判定是否將抽頭模式碼附加到全部的SD象素上，在判定沒有將抽頭模式碼附加到全部的SD象素上的場合，返回到步驟S12，并以沒有附加抽頭模式碼的SD象素中的任何一個作為新的注目象素，重復相同的處理。另一方面，在步驟17判定已將抽頭模式碼附加到全部的SD象素上的場合，在步驟S18中，存儲器35輸出對于4種模式的各個預測抽頭的每個類別的預測系數(shù)w的集合，并結束處理。
如前所述，在前置處理單元21中，對于各個間抽電路31輸出的構成SD圖像的SD象素(如前所述，這里具有以3×3的HD象素的平均值作為象素值的象素)，可以說是臨時附加預測誤差為最小的預測抽頭的抽頭模式碼。
圖14示出了圖3的最優(yōu)化單元23的結構例。在圖中，對于與圖25的場合基本上結構相同的部分，附以相同的標號。也就是說，最優(yōu)化23沒有間抽單元121，并且除設置局部解碼單元42代替局部解碼單元122外，與圖25的圖像編碼裝置基本上結構相同。
局部解碼單元42由預測抽頭生成電路42A和類別分類自適應處理電路42B構成，在這里，由校正單元41供給SD圖像。預測抽頭生成電路42A對應于配置在由校正單元41供給的SD圖像的SD象素的LSB側上的抽頭模式碼，形成(生成)預測抽頭，并供給到類別分類自適應處理電路42B中。對于類別分類自適應處理電路42B，除了供給預測抽頭外，還供給類別分類用的SD象素的對于4種模式的各個預測抽頭的每個類別的預測系數(shù)w的集合。類別分類自適應處理電路42B如圖13中說明了的那樣、用類別分類用的SD象素，對構成預測抽頭的注目象素進行類別分類，并借助于運算式(1)所示的線性一次方程式從對應于該類別預測系數(shù)w的集合和預測抽頭，求得在圖6中用虛線圍住的部分所示的、以成為注目象素的SD象素為中心的3×3的HD象素的象素值的預測值，并將這種預測值供給到誤差算出單元43中。
這里，對圖28所示的類別分類自適應處理電路42B的構成進行說明。圖28所示的類別分類自適應處理電路42B由類別分類電路201、系數(shù)RAM204和預測運算電路205構成。這種類別分類自適應處理電路42B與圖26所示的類別分類自適應處理電路(預測系數(shù)、預測值算出)電路33中的1個類別分類自適應處理電路的一部分結構相同，并在相同的部分上附以相同的標號并省略對于其結構的說明。
下面，參照圖15的流程圖對其動作進行說明。
最優(yōu)化單元23一接收到SD圖像，就以構成其SD圖像的SD象素中的1個作為注目象素，在步驟S31中，將表示校正注目象素的象素值的校正量的變量Δ初始化例如成為0。在步驟S31中，將作為初始值的例如4或者1對表示使校正量變化的變化量(下面稱為偏移量)的變量S進行置數(shù)。
也就是說，如前所述，對于亮度信號，因其LSB側的2位是抽頭模式碼，不是構成象素值的成分，所以對偏移量S置數(shù)4(=22)。對于色差信號，與亮度信號不同，因全部的位構成象素值，所以對偏移量S置數(shù)1(=20)。
此外，在步驟S31中，對注目象素的校正次數(shù)進行計數(shù)的變量i置數(shù)為初始值的-1，并進入到步驟S32。在步驟S32中，次數(shù)i僅增加1，并進入到步驟S33中，在僅用校正量Δ校正注目象素的象素值的校正值進行自適應處理的場合，算出由于該校正而受到影響的HD象素的預測值的預測誤差E。
也就是說，這種場合，校正單元41在注目象素的象素值例如上加上校正量Δ，并以其加法后的值作為注目象素的象素值輸出到局部解碼單元42中。這里，對于注目象素在最初施行步驟S33的處理的場合，即次數(shù)i=0的場合，因校正量Δ仍是是保持在步驟S31置位的初始值0，所以從校正單元41原樣地輸出注目象素的象素值。
在局部解碼單元42中，在預測抽頭生成電路42A中對應于配置在注目象素的象素值的LSB側的2位上的抽頭模式碼，形成預測抽頭，并輸出到類別分類自適應處理電路42B中，在類別分類自適應處理電路42B中，首先與圖5的類別分類自適應處理(預測系數(shù)、預測值算出)電路33的場合相同對注目象素進行類別分類。此外，在類別分類自適應處理電路42B中，借助于運算式(1)所示的線性一次方程式從對應于該類別的預測系數(shù)和來自預測抽頭生成電路42A的預測抽頭，求得HD象素的象素值的預測值。
此外，在類別分類自適應處理電路42B中，在僅用校正量Δ校正注目象素的象素值的的場合，對于由于該校正而受到影響的HD象素，也同樣能求得預測值。
也就是說，如圖16所示，例如以SD象素A作為注目象素進行校正。在本實施形態(tài)中，如圖10所示，預測抽頭的范圍最寬為用7×5的SD象素構成預測抽頭的場合，這樣，在用7×5的SD象素構成預測抽頭的場合，當該預測抽頭中包含SD象素A的情況時，以離開SD象素A最遠的SD象素作為注目象素是以SD象素B、C、D、E為注目象素構成7×5象素的預測抽頭的情況。并且，在以SD象素B、C、D、E為注目象素構成7×5象素的預測抽頭的場合，在本實施形態(tài)中分別求得同圖中用實線圍住的范圍b、c、d、e中的3×3的HD象素的預測值。因此，在以SD象素A作為注目象素校正其象素值的場合，由于該校正而受到影響的最差的情況是包含范圍b、c、d、e的最小的長方形為圖16中用虛線所示的范圍內的21×15的HD象素的預測值。
因此，在本實施形態(tài)中，在類別分類自適應處理電路42B中，能求得這種21×15的HD象素的預測值。
將用在類別分類自適應處理電路42B中求得的HD象素的預測值供給到誤差算出電路單元43中。在誤差算出電路單元43從類別分類自適應處理電路42B的HD象素的預測值減去對應的HD象素的原來的象素值，求得例如作為其減去后的值的預測誤差的平方和。并且，將這種平方和供給到控制單元44中，作為誤差信息E。
控制單元44一從誤差算出單元43接收到誤差信息，就在步驟S34判定次數(shù)i是否為0。在步驟S34中判定次數(shù)i是0的場合、即未進行注目象素的校正而得到控制單元44接收到的誤差信息E的場合，進入到步驟S35中，并在未進行注目象素的校正而得到的誤差信息(未校正時的誤差信息)的變量E0中置數(shù)誤差信息E，另外，對于存儲前次得到的誤差信息的變量E’中也置數(shù)誤差信息E。此外，在步驟S35中，校正量Δ僅增加偏移量S，控制單元44控制校正單元41以便僅由其得到的校正量Δ校正注目象素的象素值。然后，返回到步驟S32，并在后面重復同樣的處理。
這種場合，在步驟S32中，因次數(shù)i僅增加1而成為1，所以在步驟S34中，判定次數(shù)不是0，進入到步驟S36中。在步驟S36中，判定次數(shù)i是否為1。這種場合，因次數(shù)i變?yōu)?，所以在步驟S36中，判定次數(shù)i為1，進入到步驟S37中，判定前次的誤差信息E’是否大于本次的誤差信息E。在步驟S37中判定前次的誤差信息E’不大于本次的誤差信息E的場合、即借助于僅校正量Δ校正注目象素的象素值、本次的誤差信息E比前次的誤差信息E’(這里是不進行校正的場合的誤差信息)增加的場合，進入到步驟S38中，控制單元44以在偏移量S上乘以-1后作為新的偏移量S，此外，將校正量Δ僅增加偏移量的2倍，返回到步驟S32中。
也就是說，借助于僅校正量Δ(這種場合，校正量Δ=S)校正注目象素的象素值，在比沒有校正時誤差增加的場合，反轉偏移量S的符號(在本實施形態(tài)中，在步驟S31中，因將偏移量S置位成正的值，所以在步驟S38中，偏移量的符號由正變成負)。此外，當前次是S時，校正量Δ成為-S。
在步驟S37中判定前次的誤差信息E’大于本次的誤差信息E的場合、即借助于僅校正量Δ校正注目象素的象素值、本次的誤差信息E比前次的誤差信息E’減小的場合(或者與前次的誤差信息E’相同的場合)，進入到步驟S39中，控制單元44將校正量Δ僅增加偏移量S，同時借助于置位本次的誤差信息E，對前次的誤差信息E’進行更新，返回到步驟S32中。
這種場合，在步驟S32中，次數(shù)i再加1成為2，在步驟S34或者步驟S36中，分別判定次數(shù)i不是0或者1，其結果，從步驟S36進入到步驟40。在步驟S40中判定次數(shù)是否為2。因當前的次數(shù)i變?yōu)?，所以在步驟S40中判定次數(shù)是2，進入到步驟S41，并判定是否未校正時的誤差信息E0在當前的誤差信息E以下而且偏移量S為負。
在步驟S40中，在判定為未校正時的誤差信息E0在當前的誤差信息以下而且偏移量S為負的場合，也就是說，在即使將注目象素僅校正+S或者即使僅校正-S，也比沒有校正時誤差增加的場合，進入到步驟S42，校正量Δ成為0，并進入到步驟S47。
在步驟S40中在判定為未校正時的誤差信息E0不在當前的誤差信息E以下、或者偏移量S不是負的場合，進入到步驟S44，判定前次的誤差信息E’是否在本次的誤差信息E以上。在步驟S44中判定前次的誤差信息E’在本次的誤差信息E以上的場合，即借助于僅校正量Δ校正注目象素的象素值、本次的誤差信息E比前次的誤差信息E’減小的場合，進入到步驟S45中，將校正量Δ僅增加偏移量S，同時借助于置位本次的誤差信息E，對前次的誤差信息E’進行更新，返回到步驟S32中。
這種場合，在步驟S32中，次數(shù)i再加1成為3，在步驟S34、步驟36或者步驟S40中，分別判定次數(shù)i不是0、1或者2，其結果，從步驟S40進入到步驟44。因此，在步驟S44中重復步驟S32至S34、S36、S40、S44、S45的循環(huán)處理，直到判定前次的誤差信息E’不在本次的誤差信息E以上為止。
在步驟S44中判定前次的誤差信息E’不在本次的誤差信息E以上的場合，即借助于僅校正量Δ校正注目象素的象素值、本次的誤差信息E比前次的誤差信息E，增加的場合，進入到步驟S46中，控制單元44將校正量Δ僅減少偏移量S，并進入到步驟S47中。即這種場合，校正量Δ成為誤差增加前的值。
在步驟S47中，控制單元44借助于控制校正單元41，僅用步驟S42或者S46得到的校正量Δ校正注目象素的象素值，由此，為了基于自適應處理得到預測值，將注目象素的象素值校正成預測誤差為最小的最優(yōu)象素值。
然后，進入到步驟S48，判定是否將全部的SD象素作為注目象素進行處理。在步驟S48中判定還沒有將全部的SD象素作為注目象素進行處理的場合，返回到步驟S31，并將沒有作為注目象素的SD象素作為新的注目象素，重復相同的處理。在步驟S48中判定將全部的SD象素作為注目象素進行處理的場合，結束處理。
如前所述，為了求得HD圖像的預測值，將SD圖像的象素值最優(yōu)化成為最優(yōu)象素值。
圖17示出了圖3的自適應處理單元24的結構例。
將來自最優(yōu)化單元23的最適合SD圖像供給到在預測抽頭生成電路51中，這里，與圖14的預測抽頭生成電路42A的場合相同，檢測配置在該象素值的LSB側的2位上的抽頭模式碼，按照其抽頭模式碼構成預測抽頭，并供給到類別分類自適應處理電路52中。
在類別分類自適應處理電路52中，除預測抽頭外還供給在類別分類中使用的最優(yōu)SD圖像和原來的HD圖像，這里，用與例如圖13說明了的場合相同地進行構成預測抽頭的注目象素的類別分類，而且，對于其結果得到的各個類別，用預測抽頭和HD圖像建立式(13)所示的正規(guī)方程式。并且，類別分類自適應處理電路52借助于求解其每個類別的正規(guī)方程式，求得并輸出對于新的4種模式的各個預測抽頭的預測系數(shù)w的集合。
下面，參照圖18的流程圖對其動作進行說明。預測抽頭生成電路51一接收到最適合SD圖像，就在步驟S51中檢測(提取)附加在構成其最適合SD圖像的各SD象素上的抽頭模式碼，并進入到步驟S52，基于其提取的抽頭模式碼，形成預測抽頭。并且，預測抽頭生成電路51將形成的預測抽頭輸出到類別分類自適應處理電路52中。在步驟S53中，類別分類自適應處理電路52進行構成預測抽頭的注目象素的類別分類，并對于其結果得到的各個類別，借助于用預測抽頭和HD圖像建立并求解正規(guī)方程式，求出并輸出預測系數(shù)w，并結束處理。
由此，在自適應處理單元24中，為了從最適合SD圖像得到原來的HD圖像，求出預測誤差最小的對于4種模式的各個預測抽頭的每個類別的預測系數(shù)w的集合。如前所述，將這些對于4種模式的各個預測抽頭的每個類別的預測系數(shù)w的集合供給到最優(yōu)化單元23和預測抽頭模式判定單元26中，并用于自適應處理(式(1)所示的線性1次方程式的計算)。
下面，對自適應處理單元24的其它的實施例進行說明。在其它的實施例中，與圖5的前置處理單元21的預測抽頭生成電路32相同地構成預測抽頭生成電路51。也就是說，不是檢測象素值的LSB側的2位所配置的抽頭模式碼、并按照該抽頭模式碼構成預測抽頭，而是用全部來構成4種模式的預測抽頭，并供給到類別分類自適應處理電路52中。類別分類自適應處理電路52包括用于算出對于4種模式的各個預測抽頭的4個預測系數(shù)w的類別分類自適應處理電路(亮度信號用)，這種各個類別分類自適應處理電路的結構，與圖26所示的類別分類自適應處理(預測系數(shù)、預測值算出)電路33中的1個類別分類自適應處理電路的一部分相同。
也就是說，將對于各個HD圖像的各模式的預測抽頭和類別分類用的最適合SD象素供給到各類別分類自適應處理電路中，并分別進行類別分類。并且，在各類別分類自適應處理電路中，分別對于每個類別將1幀的HD象素和對于該HD象素的預測抽頭存儲在教師數(shù)據(jù)存儲器和預測抽頭存儲器中。然后，在各個類別分類自適應處理電路中，利用與圖24的學習裝置的動作相同的動作，生成對于4種模式的各個預測抽頭求得的新的每個類別的預測系數(shù)w的集合。
下面，圖19示出了圖3的預測抽頭模式判定單元26的結構例。
如圖19所示，預測抽頭模式判定單元26由預測抽頭生成電路61、類別分類自適應處理電路62、預測誤差算出電路63和抽頭模式碼變更電路64構成，這些預測抽頭生成電路61、類別分類自適應處理電路62、預測誤差算出電路63或者抽頭模式碼變更電路64的結構與圖5的前置處理單元21的預測抽頭生成電路32、類別分類自適應處理(預測系數(shù)、預測值算出)電路33、預測誤差算出電路34或者抽頭模式碼附加電路36基本上相同。
下面，參照圖20的流程圖對其動作進行說明。
將最適合SD圖像、對于4種模式的各個預測抽頭的每個類別的預測系數(shù)w的集合及HD圖像供給到預測抽頭模式判定電路26中，將最適合SD圖像供給到預測抽頭生成電路61和抽頭模式碼變更電路64中，并將對于4種模式的各個預測抽頭的每個類別的預測系數(shù)w的集合和HD圖像分別供給到類別分類自適應處理電路62或者預測誤差算出電路63中。
在步驟S61中，預測抽頭生成電路61一接收到最適合SD圖像，就與圖5的預測抽頭生成電路32相同，以其中的一個作為注目象素，對于該注目象素，形成圖7至圖10所示的4種模式的預測抽頭。并且，將這種4種模式的預測抽頭輸出到類別分類自適應處理電路62中。
在步驟S62中，類別分類自適應處理電路62一接收到以注目象素為對象形成的4種模式的預測抽頭，就用其各個4種模式的預測抽頭和對應的每個類別的各個預測系數(shù)w的集合，計算式(1)表示的線性1次方程式，由此求得從4種模式的各個預測抽頭得到的HD圖像的象素的預測值，并輸出到預測誤差算出電路63中。
在步驟S63或者步驟S64中，在預測誤差算出電路63進行分別與圖5的預測誤差生成電路34進行的圖11的步驟S14或者S15的場合相同的處理，由此，將4種模式的預測抽頭中的預測誤差最小的抽頭模式碼輸出到抽頭模式碼變更電路64中。
在步驟S65中，在抽頭模式碼變更電路64將附加在注目象素(最適合SD圖像的SD象素)的LSB測的2位上的抽頭模式碼變更成由預測誤差算出電路63供給的抽頭模式碼，并進入到步驟S66中。
在步驟S66中，判定是否以全部的SD象素作為注目象素進行處理，在判定沒有以全部的SD象素作為注目象素進行處理的場合，返回到步驟61，再以沒有取為注目象素的SD象素重新作為注目象素，重復同樣的處理。另一方面，在步驟S66中，在判定以全部的SD象素作為注目象素進行處理的場合，結束處理。
如前所述，在預測抽頭模式判定單元26中，用自適應處理單元24得到的對于4種模式的各個預測抽頭的預測系數(shù)w的集合，將預測模式碼變更成與預測誤差更小的預測抽頭相對應。
下面，圖21示出了圖1的接收裝置4的結構例。
在接收機/重放裝置71中，重放記錄在記錄媒體2中的編碼數(shù)據(jù)，或者接收通過傳輸通道3傳輸來的編碼數(shù)據(jù)，并供給到分離單元72中。在分離單元72將編碼數(shù)據(jù)分離成SD圖像的圖像數(shù)據(jù)和對于4種模式的各個預測抽頭的每個類別的預測系數(shù)w的集合，將SD圖像的圖像數(shù)據(jù)供給到預測抽頭生成電路73中，并將對于4種模式的各個預測抽頭的每個類別的預測系數(shù)w的集合供給到類別分類自適應處理電路74中。
預測抽頭生成電路73或者類別分類自適應處理電路74分別與構成圖14所示的最優(yōu)化單元23的局部解碼單元42的預測抽頭生成電路42A或者類別分類自適應處理電路42B(圖27)的結構相同。因此，與局部解碼單元42的場合相同，求得HD圖像的預測值并將其作為解碼圖像進行輸出。如前所述，這種解碼圖像為與原來的圖像幾乎同一的圖像。
此外，在接收側即使不是圖21所示的接收裝置4，也能由利用單純的插入對被間抽的圖像進行解碼的裝置、不用預測系數(shù)而用通常的插入，得到解碼圖像。但是，這種場合得到的解碼圖像其畫面質量(清晰度)變得較差。
如前所述，由于以構成由壓縮HD圖像得到的SD圖像的象素中的1個作為注目象素，對于該注目象素形成多個模式的預測抽頭，利用預測抽頭和預測系數(shù)的線性組合進行求得HD圖像的預測值的自適應處理，算出從多個模式的各個預測抽頭得到的預測值的預測誤差，并將多個模式的預測抽頭中對應于最小預測誤差得到的抽頭模式碼附加到注目象素的象素值上，因此用對應于圖像的局部特性的預測抽頭進行自適應處理，其結果，能得到畫面質量更好的解碼圖像。
此外，因配置2位抽頭模式碼代替象素值的LSB側的2位，所以能防止數(shù)據(jù)量的增加。因抽頭模式碼配置在象素值的LSB側，所以不會有很大的畫面質量的劣化。
再有，在最優(yōu)化單元23中，利用使誤差為最小的預測抽頭進行自適應處理，使SD圖像進行最優(yōu)化處理，因此能夠得到基本上與原來的HD圖像相同的解碼圖像。
此外，在自適應處理單元24中用最適合SD圖像進行自適應處理，將對于多個模式的各個預測抽頭的每個類別的預測系數(shù)w的集合更新成所謂的更適合預測系數(shù)的集合，在預測抽頭模式判定單元26中，因用其被更新的多個模式的各個預測抽頭的每個類別的預測系數(shù)的集合決定并校正預測抽頭，所以能進一步得到畫面質量改善的解碼圖像。
以上，就適用于對HD圖像進行編碼/解碼的圖像處理裝置的場合對本發(fā)明進行了說明，但本發(fā)明也能適用于對其它的SD圖像等的標準清晰度的圖像進行編碼/解碼的場合。即能適用于對例如NTSC方式等的標準方式的電視信號進行編碼/解碼的場合。其中，本發(fā)明特別適用于對數(shù)據(jù)量多的所謂的高清晰度(high vision)方式的電視信號等進行編碼/解碼的場合。此外，本發(fā)明還適用于所謂的分層編碼的場合等。
在本實施形態(tài)中，僅對于亮度信號準備多個模式的預測抽頭、對于色差信號僅用5×7象素的預測抽頭，但對于色差信號也能與亮度信號相同地進行處理。
在本實施形態(tài)中，抽頭模式碼做成2位，但抽頭模式碼不限于2位。其中希望望位數(shù)更少。
此外，在本實施形態(tài)中，配置抽頭模式碼代替象素值的LSB側的2位，但抽頭模式碼也能與象素值分別記錄或者傳輸。
在本實施形態(tài)中，采用在前置處理單元21進行前置處理、在最優(yōu)化單元23最優(yōu)化處理的最適合SD圖像更新預測系數(shù)，并用其預測系數(shù)再次決定并校正抽頭模式碼，但也可以將在前置處理單元21進行前置處理、在最優(yōu)化單元23最優(yōu)化處理的最適合SD圖像，原樣地作為編碼數(shù)據(jù)。這種場合，解碼圖像的畫面質量(S/N)與決定并校正抽頭模式碼的場合進行比較，雖然多少差一點但能實現(xiàn)處理的高速化。
此外，在本實施形態(tài)中，用3×3、5×3、3×5、7×5象素的4種模式的預測抽頭，但也可以用這些以外的例如1×5和5×1象素等的預測抽頭。此外，預測抽頭的模式當然也不限于4種。
此外，雖然在本實施形態(tài)中沒有特別提到，但也可以在象素值上附加抽頭模式碼后，以將附加該抽頭模式碼后的LSB側的2位做成固定值作為象素值進行處理。此外，也可以包含抽頭模式碼作為象素值進行處理。此外，采用本發(fā)明者進行的實驗，則在包含抽頭模式碼作為象素值的場合，與以其抽頭模式碼的一部分作為規(guī)定值的0的場合相比，雖然S/N多少差一點，但有多少能改善色調的結果。
在圖15中，借助于以注目象素的象素值作為偏移量S的每4或者1進行校正，預測誤差E檢測出最初成為極小的校正量Δ，但也能對于其它的例如對于取得注目象素的象素值的全部的值求得預測誤差E，檢測其最小值，并基于這種場合的校正量Δ校正注目象素的象素值。這種場合，雖然在處理中花費時間，但能得到S/N更高的解碼圖像。
此外，在這種對于取得注目象素的象素值的全部的值求得預測誤差E的場合，注目象素的象素值的初始值也可以是任何的值(注目象素的象素值取得的范圍內的值)、也就是說，這種場合，無論初始值是什么樣的值都能求得預測誤差E為最小的校正量Δ。
工業(yè)上的實用性在與本發(fā)明相關的圖像編碼裝置和圖像編碼方法中，發(fā)生象素數(shù)比原圖像信號的象素數(shù)少的壓縮圖像信號，對于作為構成壓縮圖像信號的象素之一的注目象素，用該注目象素的附近象素，形成多個模式的預測象素，由多個模式的各個預測象素和規(guī)定的預測系數(shù)預測原圖像信號，并分別輸出對于這些多個模式的預測象素的預測值，算出對于多個模式的預測象素的各個預測值的、對于原圖像信號的預測誤差，將多個模式的預測象素中對應于得到最小的預測誤差的預測象素的模式碼附加在注目象素的象素值上。因此，按照這種模式碼形成預測抽頭并進行解碼，能得到進一步改善畫面質量的解碼圖像。
在與本發(fā)明相關的圖像解碼裝置和圖像解碼方法中，接收壓縮圖像信號，形成對應于附加在壓縮圖像信號的注目象素的象素值上的模式碼的模式預測圖像，由在形成部形成的預測象素和規(guī)定的預測系數(shù)，預測原圖像信號，并輸出原圖像信號。因此，能得到更加接近于原圖像的預測值。
在與本發(fā)明相關的記錄媒體中，記錄利用圖像解碼裝置、能解碼的壓縮圖像信號。借助于發(fā)生象素數(shù)比原圖像信號的象素數(shù)少的壓縮圖像信號，對于作為構成壓縮圖像信號的象素之一的注目象素，用該注目象素的附近象素，形成多個模式的預測象素，由多個模式的各個預測象素和規(guī)定的預測系數(shù)預測原圖像信號，并分別輸出對于這些多個模式的預測象素的預測值，算出對于多個模式的預測象素的各個預測值的、對于原圖像信號的預測誤差，將多個模式的預測象素中對應于得到最小的預測誤差的預測象素的模式碼附加在注目象素的象素值上，形成這種壓縮圖像信號。因此，按照這種模式碼形成預測抽頭并進行解碼，能得到進一步改善畫面質量的解碼圖像。
此外，在不脫離本發(fā)明主題的范圍內，可以考慮種種的變形和應用例。因此，本發(fā)明的要點不限于實施例中所述的內容。
權利要求
1．一種圖像編碼裝置，對圖像信號進行編碼，其特征在于，包括發(fā)生象素數(shù)比原圖像信號的象素數(shù)少的壓縮圖像信號的壓縮單元；對于作為構成所述壓縮圖像信號的象素之一的注目象素，用該注目象素的附近象素，形成多個模式的預測象素的第1形成單元；由所述多個模式的各個預測象素和規(guī)定的預測系數(shù)預測所述原圖像信號，并分別輸出對于這些多個模式的預測象素的預測值的第1預測單元；算出對于所述多個模式的預測象素的各個預測值的、對于所述原圖像信號的預測誤差的第1算出單元；將所述多個模式的預測象素中對應于得到最小的預測誤差的預測象素的模式碼附加在所述注目象素的象素值上的附加單元。
2．如權利要求1所述的圖像編碼裝置，其特征在于，所述附加單元配置所述模式碼，代替所述注目象素的象素值的LSB(LeastSignificant Bit最低有效位)側的N位。
3．如權利要求1所述的圖像編碼裝置，其特征在于，所述第1預測單元包括基于所述原圖像信號和所述壓縮圖像信號對所述規(guī)定的預測系數(shù)進行運算的運算單元。
4．如權利要求3所述的圖像編碼裝置，其特征在于，所述第1預測單元包括將所述注目象素分類成規(guī)定的類別的類別分類單元；所述運算單元基于所述原圖像信號和所述壓縮圖像信號、對每個類別運算所述規(guī)定的預測系數(shù)；所述第1預測單元由對應于所述注目象素的類別的預測系數(shù)和預測抽頭、預測所述預測值。
5．如權利要求3所述的圖像編碼裝置，其特征在于，所述運算單元分別對于多個模式的預測象素、運算所述規(guī)定的預測系數(shù)。
6．如權利要求4所述的圖像編碼裝置，其特征在于，所述運算單元分別對于多個模式的預測象素、對每個類別運算所述規(guī)定的預測系數(shù)；所述第1預測單元分別對于多個模式的預測象素、由對應于所述注目象素的類別的預測系數(shù)和預測抽頭、預測所述預測值。
7．如權利要求1至6任一項所述的圖像編碼裝置，其特征在于，還包括將所述壓縮圖像信號變換成最優(yōu)壓縮圖像信號的最優(yōu)化單元，所述最優(yōu)化單元包括形成對應于附加在所述注目象素的象素值上的所述模式碼的模式的預測象素的第2形成單元；由在所述第2形成單元形成的所述預測象素和所述規(guī)定的預測系數(shù)、預測所述原圖像信號并輸出所述原圖像信號的預測值的第2預測單元；算出在所述第2預測單元預測的所述原圖像信號的預測值的、對于所述原圖像信號的預測誤差的第2算出單元；對應于在所述第2算出單元算出的預測誤差，校正所述注目象素的象素值的校正單元。
8．如權利要求7所述的圖像編碼裝置，其特征在于，所述最優(yōu)化單元重復所述第2最優(yōu)化單元的動作，直到所述壓縮圖像信號成為最優(yōu)壓縮圖像信號為止。
9．如權利要求8所述的圖像編碼裝置，其特征在于，還包括在所述最優(yōu)化單元重復動作期間，基于重復動作中的壓縮圖像信號和所述原圖像信號，修正所述規(guī)定的預測系數(shù)，使在所述第2預測單元預測的所述原圖像信號的預測值的、對于所述原圖像信號的預測誤差減小，并輸出被修正的規(guī)定的預測系數(shù)的修正單元，所述第1預測單元和所述第2預測單元用所述被修正的規(guī)定的預測系數(shù)對預測值進行預測。
10．如權利要求1或權利要求3至6任一項所述的圖像編碼裝置，其特征在于，還包括輸出所述壓縮圖像信號和所述規(guī)定的預測系數(shù)的輸出單元。
11．如權利要求9所述的圖像編碼裝置，其特征在于，還包括輸出所述壓縮圖像信號和所述規(guī)定的預測系數(shù)的輸出單元。
12．一種圖像編碼方法，對圖像信號進行編碼，其特征在于，包括發(fā)生象素數(shù)比原圖像信號的象素數(shù)少的壓縮圖像信號的壓縮步驟；對于作為構成所述壓縮圖像信號的象素之一的注目象素，用該注目象素的附近象素，形成多個模式的預測象素的第1形成步驟；由所述多個模式的各個預測象素和規(guī)定的預測系數(shù)預測所述原圖像信號，并分別輸出對于這些多個模式的預測象素的預測值的第1預測步驟；算出對于所述多個模式的預測象素的各個預測值的、對于所述原圖像信號的預測誤差的第1算出步驟；將所述多個模式的預測象素中對應于得到最小的預測誤差的預測象素的模式碼附加在所述注目象素的象素值上的附加步驟。
13．如權利要求12所述的圖像編碼方法，其特征在于，所述附加步驟配置所述模式碼，代替所述注目象素的象素值的LSB(LeastSignificant Bit最低有效位)側的N位。
14．如權利要求12所述的圖像編碼方法，其特征在于，所述第1預測步驟包括基于所述原圖像信號和所述壓縮圖像信號對所述規(guī)定的預測系數(shù)進行運算的運算步驟。
15．如權利要求14所述的圖像編碼方法，其特征在于，所述第1預測步驟包括將所述注目象素分類成規(guī)定的類別的類別分類步驟；所述運算步驟基于所述原圖像信號和所述壓縮圖像信號、對每個類別運算所述規(guī)定的預測系數(shù)；所述第1預測步驟由對應于所述注目象素的類別的預測系數(shù)和預測抽頭、預測所述預測值。
16．如權利要求14所述的圖像編碼方法，其特征在于，所述運算步驟分別對于多個模式的預測象素、運算所述規(guī)定的預測系數(shù)。
17．如權利要求15所述的圖像編碼方法，其特征在于，所述運算單元分別對于多個模式的預測象素、對每個類別運算所述預測系數(shù)；所述第1預測步驟分別對于多個模式的預測象素、由對應于所述注目象素的類別的預測系數(shù)和預測抽頭、預測所述預測值。
18．如權利要求12至17任一項所述的圖像編碼方法，其特征在于，還包括將所述壓縮圖像信號變換成最優(yōu)壓縮圖像信號的最優(yōu)化步驟，所述最優(yōu)化步驟包括形成對應于附加在所述注目象素的象素值上的所述模式碼的模式的預測象素的第2形成步驟；由在所述第2形成步驟形成的所述預測象素和所述規(guī)定的預測系數(shù)、預測所述原圖像信號并輸出所述原圖像信號的預測值的第2預測步驟；算出在所述第2預測步驟預測的所述原圖像信號的預測值的、對于所述原圖像信號的預測誤差的第2算出步驟；對應于在所述第2算出步驟算出的預測誤差，校正所述注目象素的象素值的校正步驟。
19．如權利要求18所述的圖像編碼方法，其特征在于，所述最優(yōu)化步驟重復所述第2最優(yōu)化步驟的動作，直到所述壓縮圖像信號成為最優(yōu)壓縮圖像信號為止。
20．如權利要求19所述的圖像編碼方法，其特征在于，還包括在所述最優(yōu)化步驟重復動作期間，基于重復動作中的壓縮圖像信號和所述原圖像信號，修正所述規(guī)定的預測系數(shù)，使在所述第2預測步驟預測的所述原圖像信號的預測值的、對于所述原圖像信號的預測誤差減小，并輸出被修正的規(guī)定的預測系數(shù)的修正步驟，所述第1預測步驟和所述第2預測步驟用所述被修正的規(guī)定的預測系數(shù)對預測值進行預測。
21．如權利要求12至17任一項所述的圖像編碼方法，其特征在于，還包括輸出所述壓縮圖像信號和所述規(guī)定的預測系數(shù)的輸出步驟。
22．如權利要求20所述的圖像編碼方法，其特征在于，還包括輸出所述壓縮圖像信號和所述規(guī)定的預測系數(shù)的輸出步驟。
23．如權利要求1至6任一項所述的圖像編碼裝置，其特征在于，還包括將所述壓縮圖像信號變換成最優(yōu)壓縮圖像信號的最優(yōu)化單元。
24．如權利要求12至17任一項所述的圖像編碼方法，其特征在于，還包括將所述壓縮圖像信號變換成最優(yōu)壓縮圖像信號的最優(yōu)化步驟。
25．一種圖像解碼裝置，將壓縮圖像信號解碼成原來的圖像信號，其特征在于，包括接收所述壓縮圖像信號的接收單元；形成對應于附加在所述壓縮圖像信號的注目象素的象素值上的模式碼的模式預測象素的形成單元；由在所述形成單元形成的所述預測象素和規(guī)定的預測系數(shù)對原圖像信號進行預測，并輸出所述原圖像信號的預測單元。
26．如權利要求25所述的圖像解碼裝置，其特征在于，代替所述注目象素的象素值的LSB(Least Significant Bit最低有效位)側的N位，在所述注目象素上配置所述模式碼。
27．如權利要求25所述的圖像解碼裝置，其特征在于，基于所述原圖像信號和所述壓縮圖像信號，運算所述規(guī)定的預測系數(shù)。
28．如權利要求27所述的圖像解碼裝置，其特征在于，所述預測單元包括將所述注目象素分類成規(guī)定的類別的類別分類單元；基于所述原圖像信號和所述壓縮圖像信號、對每個類別運算所述規(guī)定的預測系數(shù)；所述預測單元由對應于所述注目象素的類別的預測系數(shù)和預測抽頭、預測所述預測值。
29．如權利要求27所述的圖像解碼裝置，其特征在于，分別對于多個模式的預測值、運算所述規(guī)定的預測系數(shù)。
30．如權利要求29所述的圖像解碼裝置，其特征在于，分別對于多個模式的預測值、對每個類別運算所述規(guī)定的預測系數(shù)；所述預測單元分別對于多個模式的預測象素、由對應于所述注目象素的類別的預測系數(shù)和預測抽頭、預測所述預測值。
31．如權利要求25至30任一項所述的圖像解碼裝置，其特征在于，所述壓縮圖像信號包含所述規(guī)定的預測系數(shù)，并且還包括分離所述壓縮圖像信號和所述規(guī)定的預測系數(shù)，將所述規(guī)定的預測系數(shù)供給到預測單元中的分離單元。
32．一種圖像解碼方法，將壓縮圖像信號解碼成原來的圖像信號，其特征在于，包括接收所述壓縮圖像信號的接收步驟；形成對應于附加在所述壓縮圖像信號的注目象素的象素值上的模式碼的模式預測象素的形成步驟；由在所述形成步驟形成的所述預測象素和規(guī)定的預測系數(shù)、預測原圖像信號，并輸出所述原圖像信號的預測步驟。
33．如權利要求32所述的圖像解碼方法，其特征在于，代替所述注目象素的象素值的LSB(Least Significant Bit最低有效位)側的N位，在所述注目象素上配置所述模式碼。
34．如權利要求32所述的圖像解碼方法，其特征在于，基于所述原圖像信號和所述壓縮圖像信號、運算所述規(guī)定的預測系數(shù)。
35．如權利要求34所述的圖像解碼方法，其特征在于，所述預測步驟包括將所述注目象素分類成規(guī)定的類別的類別分類步驟；基于所述原圖像信號和所述壓縮圖像信號、對每個類別運算所述規(guī)定的預測系數(shù)；所述預測步驟由對應于所述注目象素的類別的預測系數(shù)和預測抽頭、預測所述預測值。
36．如權利要求34所述的圖像解碼方法，其特征在于，分別對于多個模式的預測象素、運算所述規(guī)定的預測系數(shù)。
37．如權利要求36所述的圖像解碼方法，其特征在于，分別對于多個模式的預測象素、對每個類別運算所述規(guī)定的預測系數(shù)；所述預測步驟分別對于多個模式的預測象素、由對應于所述注目象素的類別的預測系數(shù)和預測抽頭、預測所述預測值。
38．如權利要求32至37任一項所述的圖像解碼方法，其特征在于，所述壓縮圖像信號包含所述規(guī)定的預測系數(shù)，并且還包括分離所述壓縮圖像信號和所述規(guī)定的預測系數(shù)的分離步驟。
39．一種記錄媒體，記錄利用圖像解碼裝置能解碼的壓縮圖像信號，其特征在于，根據(jù)發(fā)生象素數(shù)比原圖像信號的象素數(shù)少的壓縮圖像信號的壓縮步驟；對于作為構成所述壓縮圖像信號的象素之一的注目象素，用該注目象素的附近象素，形成多個模式的預測象素的形成步驟；由所述多個模式的各個預測象素和規(guī)定的預測系數(shù)、預測所述原圖像信號，并分別輸出對于這些多個模式的預測象素的預測值的預測步驟；算出對于所述多個模式的預測象素的各個預測值的、對于所述原圖像信號的預測誤差的算出步驟；將所述多個模式的預測象素中對應于得到最小的預測誤差的預測象素的模式碼附加在所述注目象素的象素值上的附加步驟，形成所述壓縮圖像信號。
40．如權利要求39所述的記錄媒體，其特征在于，將所述規(guī)定的預測系數(shù)記錄在所述記錄媒體上。
全文摘要
本發(fā)明揭示一種圖像編碼裝置和圖像編碼方法及圖像解碼裝置和圖像解碼方法以及記錄媒體,包括在預測抽頭生成電路(32)中,以構成借助于用間抽電路(31)間抽HD圖像得到的SD圖像的象素之一作為注目象素,對于該注目象素形成多個模式的預測抽頭,在類別分類自適應處理電路(33)中,利用預測抽頭和規(guī)定的預測系數(shù)的線性組合,進行求出HD圖像的預測值的自適應處理,在預測誤差算出電路(34)中,算出對于分別由多個模式的預測抽頭得到的預測值的、對于HD圖像的預測誤差,在抽頭模式碼附加電路(36)中,將多個模式的預測抽頭中的、對應于得到最小的預測誤差的模式碼,附加在注目象素的象素值上。因此,按照該模式碼形成預測抽頭并進行解碼,能得到進一步改善畫面質量的解碼圖像。
文檔編號H04N7/34GK1215529SQ97193646
公開日1999年4月28日 申請日期1997年12月26日 優(yōu)先權日1996年12月26日
發(fā)明者近藤哲二郎, 高橋健治 申請人:索尼株式會社