專利名稱：動態(tài)圖像的編碼方法及解碼方法
技術領域：
本發(fā)明涉及動態(tài)圖像的編碼方法及解碼方法，特別涉及參照已經(jīng)已編碼完畢的圖像進行畫面間預測的編碼方法及解碼方法。
背景技術：
近年來隨著多媒體應用的發(fā)展，統(tǒng)一處理圖像、聲音、文本等所有媒體的信息的方式已普遍起來。此時，通過將所有的媒體數(shù)字化來統(tǒng)一處理媒體成為可能。但是，由于數(shù)字化的圖像擁有膨大的數(shù)據(jù)量，為了便于存儲、發(fā)送，圖像信息的壓縮技術必不可少。而另一方面，為了能夠相互使用壓縮的圖像數(shù)據(jù)，壓縮技術的標準化也變得十分重要。圖像壓縮技術的標準規(guī)格，包括有ITU-T(國際電信聯(lián)合 電信標準部門)的H.261、H.263、ISO(國際標準化機構)的MPEG-1、MPEG-4等。并且，在ITU中，現(xiàn)在作為最新的圖像編碼規(guī)格H.26L正在標準化過程中。
一般在動態(tài)圖像的編碼中，通過削減時間方向及空間方向的冗長性來進行信息量的壓縮。于是在以削減時間的冗長性為目的的圖像間預測編碼中，參照前方或后方的圖像以塊單位進行移動的檢測及預測圖像的制作，并對得到的預測圖像與現(xiàn)在的圖像的差分值進行編碼。
在這里，圖像(picture)表示一幅畫面，而在漸進的圖像中是表示幀的意思，在隔行掃描圖像中則表示幀或者半幀的意思。隔行掃描(interlace)圖像是一幀由不同時刻的2個半幀(field)構成的圖像。在隔行掃描圖像的編碼和解碼處理中，可以將1幀原封不動作為幀進行處理，也可作為2個半幀進行處理，幀內(nèi)部的每個塊也可以作為幀構造或半幀構造進行處理。
以下所示圖像將以漸進圖像中的幀的意義進行說明，對于隔行掃描圖像中的幀或半幀也同樣能夠進行說明。
圖30為圖像種類和其參照關系的說明圖。
像圖像I1一樣不用參照圖像而進行圖像內(nèi)預測編碼的圖像稱作I圖像。并且，如圖像P10一樣只參照一幅圖像進行圖像間預測編碼的圖像稱作P圖像。并且，將同時參照2幅圖像進行圖像間預測編碼的圖像稱作B圖像。
B圖像能夠像圖像B6、B12、B18那樣同時參照在時間上為任意方向上的2張圖像。參照圖像能對每個移動檢測單位的塊進行指定，在進行編碼的代碼串中，將前面記述的參照圖像作為第1參照圖像、將后面記述的參照圖像作為第2參照圖像進行區(qū)別。
但是，作為這些圖像的編碼及解碼時的條件，參照圖像必須已經(jīng)進行過編碼及解碼。圖31是對B圖像進行編碼及解碼時的順序的例子。圖31(a)為顯示的順序，圖31(b)是將(a)重新排列成進行編碼及解碼的順序的例子。由此可以看出，被圖像B3、B6參照的圖像全部被重新排列，以便先進行編碼及解碼。
下面用圖32就編碼所述B圖像時，同時參照2張圖像作成預測圖像的方法進行詳細說明。而且在解碼時制作預測圖像的方法也是完全一樣的。
圖像B4是作為現(xiàn)在編碼對象的B圖像，塊(block)BL01及塊BL02是屬于上述B圖像的編碼對象的塊。BL01將第1參照圖像作為圖像P2、將第2參照圖像作為圖像P3、并參照屬于各自圖像的塊BL11及BL21制作預測圖像。同樣，BL02將第1參照圖像作為圖像P2、將第2參照圖像作為圖像P1、并參照屬于各自圖像的塊BL12及BL22制作預測圖像。(參照非專利文獻1)圖33是用來說明用參照的2個塊BL11及BL21制作編碼對象的塊BL01的預測圖像的方法的說明圖。這里假定各塊的尺寸為4×4像素進行說明。Q1(i)為BL11的像素值，Q2(i)為BL21的像素值，若將P(i)設為所求BL01的預測圖像的像素值，則像素值P(i)能夠通過公式1的線性預測式計算出來。i表示像素的位置，在這里的例子中其可以是從0到15的值。
P(i)＝(w1×Q1(i)+w2×Q2(i))/pow(2，d)+c(公式1)(pow(2，d)表示2的d次方)w1、w2、c、d是用來進行線性預測的系數(shù)，可將4個作為1組的加權系數(shù)組對待。這些加權系數(shù)組由指定各塊所參照的圖像的參照索引來決定，如BL01的情況下使用w1_1、w2_1、c_1、d_1，在BL02的情況下使用w1_2、w2_2、c_2、d_2這4個值。
下面將用圖34、圖35對指定參照圖像的參照索引進行說明。在各個圖像中每向存儲器進行存儲時就會被分配有逐一增加的圖像編號的值。即，付與新存儲的圖像具有從已存圖像編號的最大值增加1的值的圖像編號。但是，實際上指定參照圖像的并不是該圖像編號，而是使用另外定義的參照索引。表示第1參照圖像的稱作第1參照索引，表示第2參照圖像的稱作第2參照索引。
圖34為用來說明給圖像編號分配2個參照索引的方法的圖。在如圖所示順序排列的圖像列時，圖像編號按編碼順序進行分配。用來將參照索引分配到圖像編號中的指令描述在將圖像進一步分割的編碼單位即片段(slice)的片頭中，每編碼一個片段分配方法就會更新一次。上述指令是將參照索引的數(shù)連續(xù)指示，其連續(xù)的數(shù)量為前面分配給參照索引的圖像編號與現(xiàn)在正在進行分配的圖像編號之間的差分值。
以圖34的第1參照索引為例，由于首先付與“-1”作為指令，通過從作為現(xiàn)在編碼對象的圖像編號16中減去1，圖像編號15就被分配給參照索引0號。接下來由于被付與“-4”，通過從前面進行了分配的圖像編號15號中減去4，圖像編號11號被分配給參照索引1號。以下通過同樣的處理進行各圖像編號的分配。第2參照索引的情況也是同樣。
圖35表示的是進行參照索引分配后的結果。第1參照索引及第2參照索引都分別被獨立分配給各個圖像編號，如果只看各自的參照索引，就會明白一個參照索引被分配一個圖像編號。
下面用圖36及圖37說明使用的加權系數(shù)組的決定方法。
1個圖像的代碼串由圖像共同信息區(qū)域及多個片段數(shù)據(jù)區(qū)域構成。圖36表示的是其中的片段數(shù)據(jù)區(qū)域的結構。而片段數(shù)據(jù)區(qū)域是由片頭區(qū)域及多個塊區(qū)域構成的。這里作為塊區(qū)域的例子，如圖32中的與BL01、BL02相對應的各塊的區(qū)域所示。
包含在BL01中的ref1及ref2分別指示指定該塊所參照的2張圖像的第1參照索引及第2參照索引。并且在片頭區(qū)域中，用來決定進行上述線性預測的加權系數(shù)組的數(shù)據(jù)(pset0、pset1、pset2、pset3、pset4)分別被描述為ref1用及ref2用。圖37為用表格來表示上述片頭區(qū)域中包含的所述數(shù)據(jù)的例子。
用標識符pset表示的各個數(shù)據(jù)擁有w1、w2、c、d這4個值，通過ref1及ref2的值可以直接進行參照。并且，在片頭區(qū)域中描述有用來將所述參照索引分配給圖像符號的指令列idx_cmd1及idx_cmd2。
通過圖36的BL01中所述的ref1及ref2，可以從圖37的ref1用及ref2用圖表中，分別選擇每1組的加權系數(shù)組。通過使用各個加權系數(shù)組進行公式1的線性預測，生成2個預測圖像。通過對此2個預測圖像分別按每個像素取平均值，能夠得到所求的預測圖像。
并且，也有不使用上述由線性預測系數(shù)的加權系數(shù)求得的預測式生成預測圖像，而使用預先決定的固定式求得預測圖像的方法。此種方法在由第1參照索引指定的圖像的顯示順序落后于由第2參照索引指定的圖像的情況下，選擇由固定系數(shù)組成的固定公式2a，除此之外，選擇由固定系數(shù)組成的固定公式2b，生成預測圖像。
P(i)＝2×Q1(i)-Q2(i) (公式2a)P(i)＝(Q1(i)+Q2(i))/2(公式2b)這樣一來，由于預測式是固定的，所以其優(yōu)點在于沒有必要對計算預測圖像時的加權系數(shù)組進行編碼并傳送。并且，由于根據(jù)圖像的位置關系選擇固定式，所以其優(yōu)點在于沒有必要編碼用來指定線性預測系數(shù)的加權系數(shù)組的標記并傳送。并且，由于線形的計算式很簡單，所以能夠以很小的處理量大幅度削減線性預測。
在用加權系數(shù)組通過公式1制作預測圖像的方法中，由于將參照索引分配給參照圖像的指令的數(shù)與參照圖像的張數(shù)是同一個數(shù)，所以1個參照索引只能分配給一幅參照圖像，參照相同參照圖像的塊中線性預測使用的加權系數(shù)組完全是同一個值。雖然在圖像內(nèi)部發(fā)生一樣的圖像變化的情況下沒有問題，但在各個部分圖像變化不同的情況下，不會生成最合適的預測圖像的可能性非常高。并且，由于式中包含有使用乘法的運算，所以會造成線性預測的處理量變大的問題。
(非專利文獻1)ITU-T Rec.H.264 ISO/IEC 14496-10 AVCJoint Committee Draft(CD)(2002-5-10)(P.34 8.4.3 Re-Mapping of frame numbers indicator，P.105 11.5 Prediction signal generation procedure)發(fā)明內(nèi)容本發(fā)明的目的是提供一種能夠將多幅參照圖像分配給1幅參照圖像，同時無論是在分配到了多個參照索引的情況下還是在分配到1個參照索引的情況下，都能提高參照索引的編碼效率的圖像編碼方法、圖像解碼方法及其裝置和程序。
技術方案為達到此目的，本發(fā)明的圖像編碼方法包括以下步驟將通過圖像編號標識的已編碼完畢的圖像作為參照圖像存儲在存儲單元中的參照圖像存儲步驟；生成將用于生成預測圖像的系數(shù)及指定所述參照圖像的參照索引與所述圖像編號對應起來的指令的指令生成步驟；用所述參照索引指定對編碼對象圖像上的塊進行移動補償時的參照圖像的參照圖像指定步驟；通過使用與所述參照索引相對應的所述系數(shù)，對通過檢測在所述參照圖像指定步驟中指定的參照圖像內(nèi)的移動得到的塊進行線性預測，由此生成預測圖像的預測圖像生成步驟；輸出包括將輸入的編碼對象圖像內(nèi)的塊與所述預測圖像的差即預測誤差、所述指令、所述參照索引以及所述系數(shù)進行編碼后的編碼信號在內(nèi)的圖像編碼信號的編碼信號輸出步驟；上述編碼信號輸出步驟將所述圖像編碼信號中的表示所述參照索引的最大值的信息進行編碼。
這其中，表示所述參照索引的最大值的信息也可以包含在所述圖像編碼信號所包含的圖像共同信息區(qū)域中。
如果采用這樣的結構，在解碼裝置中，當根據(jù)指令使圖像編號與參照索引對應起來時，由于表示參照索引的最大值的信息包含在編碼信號中，所以能夠根據(jù)指令進行使圖像編號與參照索引對應起來的處理，直至達到所述最大值，能夠容易地使所有的參照索引和圖像編號對應起來。結果，在能夠給1幅參照圖像分配多幅參照圖像的同時，無論是被分配給多個參照索引的情況，還是被分配給1個參照索引的情況，都能夠使參照索引的編碼效率提高。
這里，也可以在上述參照圖像指定步驟中，在上述參照圖像的圖像編號與多個參照索引相對應的情況下，根據(jù)與該多個參照索引分別對應的系數(shù)，選擇其中的1個參照索引；在上述預測圖像生成步驟中，使用與在指定步驟中選擇的參照索引相對應的系數(shù)進行線性預測。
如果采用這種結構，可以給1個圖像編號對應多個參照索引，所以在使用與指定參照圖像的所述參照索引相對應的所述系數(shù)進行線性預測時，能夠從多個系數(shù)中選擇該系數(shù)。即，能夠選擇最適合用于線性預測的系數(shù)。從而可以達到提高編碼效率的目的。
在上述預測圖像生成步驟中，也可以只使用位移運算、加法運算及減法運算進行所述線性預測。
如果采用這種結構，由于不使用處理負荷的重乘除算法，而只使用處理負荷輕的位置運算、加法及減法，所以能夠減少線性預測的處理量。
在上述預測圖像生成步驟中所述線性預測所使用的系數(shù)也可以只有線性預測公式中表示直流成分的值與上述參照索引相對應。
如果采用這種結構，作為系數(shù)可以不用將表示直流成分以外值編碼，所以能夠提高編碼效率。并且，不使用處理負荷的重乘除算法，而只使用處理負荷輕的位置運算、加法及減法，所以能夠減少線性預測的處理量。
所述參照索引包括表示第1參照圖像的第1參照索引和表示第2參照圖像的第2參照索引，在使用由各參照圖像所具有的顯示順序信息生成系數(shù)的方法作為在上述預測圖像生成步驟中進行上述線性預測的方法的情況下，在第1參照索引指定的參照圖像與第2參照索引指定的參照圖像擁有相同顯示順序信息時，也可以使用預先設定的系數(shù)作為代替進行線性預測。并且，上述預先設定的系數(shù)擁有相同的權重。
如果采用這種結構，即使在2幅參照圖像在擁有相同顯示順序信息的情況下也能夠決定系數(shù)進行線性預測，從而能夠提高編碼效率。
并且，本發(fā)明的圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程序及圖像編碼數(shù)據(jù)具有與上述相同的結構、作用及效果。
本發(fā)明的圖像編碼方法能夠采取(1)～(14)中任意一個結構。
(1)本發(fā)明的圖像編碼方法包括以下步驟將由圖像編號識別的已編碼完畢的圖像儲存在存儲部的參照圖像存儲步驟；生成下述指令的指令生成步驟，該指令使上述圖像編號與對編碼對象圖像上的塊進行移動補償時所參照的、從存儲在存儲單元中的多個已編碼完畢的圖像中任意選擇的、表示參照圖像和生成預測圖像時所用的系數(shù)這樣的參照索引對應起來，能夠使多個參照索引參照同一圖像；用所述參照索引指定對編碼對象圖像上的塊進行移動補償時的參照圖像的參照圖像指定步驟；用與指定該參照圖像的所述參照索引相對應的所述系數(shù)對通過檢測所述參照圖像指定步驟中選擇的參照圖像上的移動得到的塊進行線性預測，由此生成預測圖像的預測圖像生成步驟；輸出包括將輸入的編碼對象幀和所述預測圖像的差即預測誤差、所述指令、所述參照索引、所述系數(shù)進行編碼后的編碼信號在內(nèi)的圖像編碼信號的編碼信號輸出步驟。
(2)本發(fā)明的其他圖像編碼方法能夠將多個參照索引分配給所述參照圖像擁有的圖像編號，在所述參照圖像指定步驟中從與各已編碼完畢的圖像相對應的1個以上的參照索引中選擇1個參照索引，決定在所述預測圖像生成步驟中的線性預測中所使用的系數(shù)。
(3)本發(fā)明的其他圖像編碼方法在由1個片段參照的多幅參照圖像中，至少有1幅擁有分配到多個參照索引的圖像編號的參照圖像。
(4)在本發(fā)明的其他圖像編碼方法中，所述參照索引由表示從所述多個已編碼完畢的圖像中任意指定的第1參照圖像的第1參照索引和表示從所述多個已編碼完畢的幀中任意指定的第2參照幀的第2參照索引組成。在所述預測圖像生成步驟中，用與所述第1參照索引相對應的系數(shù)對所述塊進行線性預測，同時用與所述第2參照索引相對應的系數(shù)進行線性預測，求在各自的線性預測中得到的2個預測圖像中的像素的平均值，由此生成與所述塊相對的最終預測圖像。
(5)在本發(fā)明的其他圖像編碼方法中，所述參照索引由表示從所述多個已編碼完畢的圖像中任意指定的第1參照圖像的第1參照索引和表示從所述多個已編碼完畢的幀中任意指定的第2參照幀的第2參照索引組成。在所述預測圖像生成步驟中的所述線性預測所用的系數(shù)的決定是通過求取所選擇的第1參照索引和第2參照索引各自指示的所述系數(shù)的平均值來求得。
(6)在本發(fā)明的其他圖像編碼方法中，所述參照索引由表示從所述多個已編碼完畢的圖像中任意指定的第1參照圖像的第1參照索引和表示從所述多個已編碼完畢的幀中任意指定的第2參照幀的第2參照索引組成，所述第1及第2參照索引與由多個系數(shù)組成的組對應起來，在所述預測圖像生成步驟中，使用與一方的參照索引相對應的系數(shù)組中的一部分和與另一方的參照索引相對應的系數(shù)組的一部分生成所述預測圖像。
(7)本發(fā)明的其他圖像編碼方法，在所述預測圖像生成步驟中所述線性預測使用的計算式，不使用乘法及除法，只使用位移運算及加法和減法，由此能夠只通過很少的運算處理進行線性預測。
(8)在本發(fā)明的其他圖像編碼方法中，所述參照索引由表示從所述多個已編碼完畢的圖像中任意指定的第1參照圖像的第1參照索引和表示從所述多個已編碼完畢的幀中任意指定的第2參照幀的第2參照索引組成，在所述預測圖像生成步驟中，所述位移運算使用的系數(shù)從與所述第1及第2參照索引相對應的系數(shù)組中選擇與所述第1及第2參照索引任意對應的系數(shù)，其他的運算所使用的系數(shù)使用分別與所述第1及第2參照索引對應的系數(shù)的平均值，生成所述預測圖像。
(9)在本發(fā)明的其他圖像編碼方法中，所述參照索引由表示從所述多個已編碼完畢的圖像中任意指定的第1參照圖像的第1參照索引和表示從所述多個已編碼完畢的幀中任意指定的第2參照幀的第2參照索引組成，所述預測圖像生成步驟中的所述線性預測所使用的系數(shù)只使用表示線性預測式中直流成分的值，并與第1參照索引及第2參照索引分別逐一對應。
(10)本發(fā)明的其他圖像編碼方法包括以下步驟將由圖像編號識別的已編碼完畢的圖像儲存在存儲部的參照圖像存儲步驟；生成以下指令的指令生成步驟，該指令使上述圖像編號與對編碼對象圖像上的塊進行移動補償時所參照的、表示從存儲在存儲單元中的多個已編碼完畢的圖像中任意選擇的參照圖像的參照索引對應起來，使多個參照索引能夠參照同一圖像；由所述參照索引指定對編碼對象圖像上的塊進行移動補償時的參照圖像的參照圖像指定步驟；由各參照圖像擁有的顯示順序信息生成系數(shù)，用所述系數(shù)對通過檢測所述參照圖像指定步驟中選擇的參照圖像上的移動得到的塊進行線性預測，由此生成預測圖像的預測圖像生成步驟；包括將輸入的編碼對象幀和所述預測圖像的差即預測誤差、所述指令、所述參照索引、所述系數(shù)進行編碼后的編碼信號在內(nèi)的圖像編碼信號的編碼信號輸出步驟。
(11)在本發(fā)明的其他圖像編碼方法中，可以根據(jù)第1參照索引指定的參照圖像及第2參照索引指定的參照圖像的各自擁有的顯示順序信息的前后關系交替使用使用由所述顯示順序的信息生成的系數(shù)的方法和使用預先設定的固定式的方法作為所述預測圖像生成步驟中的進行所述線性預測的方法。
(12)在本發(fā)明的其他圖像編碼方法中，當使用由所述顯示順序信息生成的系數(shù)的方法時，在第1參照索引指定的參照圖像與第2參照索引指定的參照圖像擁有相同顯示順序信息的情況下，可以使用預先設定的系數(shù)代替作為所述預測圖像生成步驟中的進行所述線性預測的方法，進行線性預測。
(13)在本發(fā)明的其他圖像編碼方法中，當所述預測圖像生成步驟使用所述顯示順序信息生成系數(shù)時，用所述系數(shù)的2次逼近，以便使所述線性預測不使用乘法及除法而只使用位移運算及加法和減法。
(14)在本發(fā)明的其他圖像編碼方法中，在進行所述逼近時，根據(jù)第1參照索引指定的參照圖像及第2參照索引指定的參照圖像的各自擁有的顯示順序信息的前后關系，交替使用入或舍的方法逼近。
(15)本發(fā)明的程序可以采用使所述(1)～(14)中的記載的任何一項圖像編碼方法在計算機中執(zhí)行的結構。
并且，本發(fā)明的計算機可讀取記錄媒體，能夠采用(16)～(25)中的任何一種結構。
(16)一種記錄有編碼后的動態(tài)圖像信號的編碼信號的計算機可讀取記錄媒體，所述編碼信號為將以下的數(shù)據(jù)進行了編碼生成預測圖像時使用的系數(shù)；一種指令，該指令使所述圖像編號與從儲存在存儲由圖像編號識別的已編碼完畢的圖像的儲存單元中的多個已編碼完畢的圖像中任意選擇的、對編碼對象圖像上的塊進行移動補償時所參照的、表示參照圖像和生成預測圖像時所用的所述系數(shù)這樣的參照索引對應起來，能夠將多個參照索引分配給同一圖像編號；指定對編碼對象圖像上的塊進行移動補償時所參照的參照圖像和生成預測圖像時所使用的系數(shù)這樣的參照索引；用與指定此參照圖像的所述參照索引相對應的所述系數(shù)對通過檢測選擇的參照圖像上的移動得到的塊進行線性預測，由此生成的預測圖像。
(17)所述編碼信號包含有所述參照索引的最大值。
(18)所述最大值包含在所述編碼信號所包含的圖像的共同信息區(qū)域中。
(19)由所述編碼信號所包含的塊的集合組成的片頭、圖像共同信息區(qū)域或各塊的片頭中包含有塊中的表示用來通過線性預測生成預測圖像的系數(shù)是否被編譯的標記。
(20)由所述編碼信號所包含的塊的集合組成的片頭、圖像共同信息區(qū)域或各塊的片頭中包含有塊中的表示是不使用系數(shù)而使用預先設定的固定式生成預測圖像，還是只使用表示直流成分的系數(shù)并使用預先設定的固定式生成預測圖像的標記。
(21)由所述編碼信號所包含的塊的集合組成的片頭、圖像共同信息區(qū)域或各塊的片頭中包含有塊中的表示在使用由預先設定的2個式結構的固定式生成預測圖像的情況下，是交替使用所述2個公式還是不交替只使用單個公式的標記。
(22)由所述編碼信號所包含的塊的集合組成的片頭、圖像共同信息區(qū)域或各塊的片頭中包含有塊中的表示通過線性預測生成預測圖像所用的系數(shù)是否是用參照圖像的顯示順序信息進行制作的的標記。
(23)由所述編碼信號所包含的塊的集合組成的片頭、圖像共同信息區(qū)域或各塊的片頭中包含有塊中的表示通過線性預測生成預測圖像所用的系數(shù)是否是2次逼近的的標記。
(24)所述編碼信號中包含有表示能夠不使用乘法及除法而只使用位移運算及加法和減法進行線性預測計算的標記。
(25)所述編碼信號中包含有表示能夠只用表示直流成分的值進行線性預測計算的標記。
本發(fā)明的圖像解碼方法，可以采取(26)～(39)中任何一種結構。
(26)本發(fā)明的圖像解碼方法包含有以下步驟將包括生成預測圖像時使用的系數(shù)、一種指令、所述參照索引和預測誤差的編碼信號這樣的圖像編碼信號進行解碼，獲得圖像編碼信息的步驟，所述指令為將所述圖像編號與對編碼對象圖像上的塊進行移動補償時所參照的、從儲存在存儲部中的多個已編碼完畢的圖像中任意選擇的、表示參照圖像和所述系數(shù)這樣的參照索引對應起來的指令，使多個參照索引能夠參照同一圖像；用解碼后的所述指令和解碼后的所述參照索引決定對解碼對象圖像上的塊進行移動補償時所參照的參照圖像的參照圖像指定步驟；用與指定該參照圖像的所述參照系數(shù)相對應的系數(shù)對通過檢測決定的所述參照圖像上的移動得到的塊進行線性預測，由此生成預測圖像的預測圖像生成步驟；根據(jù)所述預測圖像與解碼后的預測誤差生成解碼圖像的解碼圖像生成步驟。
(27)本發(fā)明的其他圖像解碼方法能夠將多個參照索引分配給所述參照圖像所擁有的圖像編號，在所述參照圖像指定步驟中使用解碼后的所述參照索引決定所述預測圖像生成步驟中線性預測所用的系數(shù)。
(28)本發(fā)明的其他圖像解碼方法在由1個片段參照的多幅參照圖像中可以至少有1幅擁有分配到多個參照索引的圖像編號參照圖像。
(29)本發(fā)明的其他圖像解碼方法中的所述參照索引有表示由所述多個解碼完畢的圖像指定的第1參照圖像的第1參照索引和表示由所述多個解碼完畢的圖像指定的第2參照圖像的第2參照索引，在所述預測圖像生成步驟中，用與所述第1參照索引相對應的系數(shù)對所述塊進行線性預測，同時用與所述第2參照索引相對應的系數(shù)進行線性預測，求取各自的線性預測中所得到的2個預測圖像中的像素平均值，由此生成與所述塊相對的最終的預測圖像。
(30)本發(fā)明的其他圖像解碼方法中的所述參照索引有表示由所述多個解碼完畢的圖像指定的第1參照圖像的第1參照索引和表示由所述多個解碼完畢的圖像指定的第2參照圖像的第2參照索引，所述預測圖像生成步驟中的所述線性預測使用的系數(shù)的決定是通過求取所選擇的參照索引各自擁有的系數(shù)的平均值求得的。
(31)本發(fā)明的其他圖像解碼方法中的所述參照索引有表示由所述多個解碼完畢的圖像指定的第1參照圖像的第1參照索引和表示由所述多個解碼完畢的圖像指定的第2參照圖像的第2參照索引，所述第1及第2參照索引與由多個系數(shù)組成的組對應，所述預測圖像生成步驟中使用與一方的參照索引相對應的系數(shù)組中的一部分和與另一方的參照索引相對應的系數(shù)組的一部分生成所述預測圖像。
(32)本發(fā)明的其他圖像解碼方法在所述預測圖像生成步驟中所述線性預測使用的計算式，不使用乘法及除法，只使用位移運算及加法和減法，由此能夠只通過很少的運算處理進行線性預測。
(33)本發(fā)明的其他圖像解碼方法中的所述參照索引有表示由所述多個解碼完畢的圖像指定的第1參照圖像的第1參照索引和表示由所述多個解碼完畢的圖像指定的第2參照圖像的第2參照索引，在所述預測圖像生成步驟中，所述位移運算使用的系數(shù)從與所述第1及第2參照索引相對應的系數(shù)組中選擇使用與所述第1及第2參照索引的某個相對應的系數(shù)，其他的運算所使用的系數(shù)使用分別與所述第1及第2參照索引相對應的系數(shù)的平均值，生成所述預測圖像。
(34)本發(fā)明的其他圖像解碼方法中的所述參照索引由表示所述多個解碼完畢的圖像指定的第1參照圖像的第1參照索引和表示所述多個解碼完畢的圖像指定的第2參照圖像的第2參照索引組成，只使用表示線性預測式中直流成分的值作為所述預測圖像生成步驟中所述線性預測所使用的系數(shù)，并分別與第1參照索引及第2參照索引逐一對應。
(35)本發(fā)明的其他圖像解碼方法包括以下步驟將包括一種指令、所述參照索引和預測誤差的編碼信號的圖像編碼信號進行解碼的第1步驟，所述指令一種將所述圖像編號與對編碼對象圖像上的塊進行移動補償時參照的、從儲存在存儲部中的多個已編碼完畢的圖像中任意選擇的、表示參照圖像的參照索引對應起來的指令，能夠使多個參照索引參照同一圖像；用解碼后的所述指令和解碼后的所述參照索引決定對解碼對象圖像上的塊進行移動補償時參照的參照圖像的參照圖像指定步驟；由各參照圖像擁有的顯示順序信息生成系數(shù)，用所述系數(shù)對通過檢測決定的所述參照圖像上的移動得到的塊進行線性預測，由此生成預測圖像的預測圖像生成步驟；根據(jù)所述預測圖像和解碼后的預測誤差生成解碼圖像的解碼圖像生成步驟。
(36)根據(jù)第1參照索引指定的參照圖像及第2參照索引指定的參照圖像的各自擁有的顯示順序信息的前后關系交替使用使用由所述顯示順序的信息生成的系數(shù)的方法和使用預先設定的固定式的方法作為進行所述預測圖像中所述線性預測的方法。
(37)在本發(fā)明的其他圖像解碼方法中，在使用由所述顯示順序信息生成的系數(shù)的方法時，在第1參照索引指定的參照圖像與第2參照索引指定的參照圖像擁有相同顯示順序信息的情況下，可以使用預先設定的系數(shù)作為代替進行線性預測，以此作為進行所述預測圖像中所述線性預測的方法。
(38)在本發(fā)明的其他圖像解碼方法中，在所述預測圖像生成步驟中使用所述系數(shù)的2次逼近，以便在使用所述顯示順序信息生成系數(shù)時所述線性預測不使用乘法及除法，只使用位移運算及加法和減法。
(39)在本發(fā)明的其他圖像解碼方法中，在進行所述逼近時，根據(jù)第1參照索引指定的參照圖像及第2參照索引指定的參照圖像各自擁有的顯示順序信息的前后關系交替使用入或舍的近似方法。
(40)本發(fā)明的程序可以采用使所述(26)～(39)中的記載的任何一項圖像解碼方法在計算機中執(zhí)行的結構。
發(fā)明效果本發(fā)明生成將生成預測圖像所使用的系數(shù)及指定參照圖像的參照索引與圖像編號對應起來的指令，用上述參照索引指定對編碼對象圖像內(nèi)的塊進行移動補償時應該參照的參照圖像，用與上述參照索引相對應的上述系數(shù)對通過檢測指定的參照圖像上的移動得到的塊實施線性預測，由此生成預測圖像。本發(fā)明適用于對這樣的畫面進行編碼的圖像編碼裝置。并且，也適合于將圖像編碼裝置編碼過的信號進行解碼的圖像解碼裝置。
附圖的簡要說明

圖1表示本發(fā)明的實施形態(tài)1編碼裝置的結構的方框2表示本發(fā)明的實施形態(tài)6的編碼裝置的結構的方框3用來說明將圖像編號分配給參照索引的方法的模式4用來表示參照索引中圖像編號的關系的例子的模式5用來說明移動補償?shù)膭幼鞯哪Ｊ?用來說明代碼串的結構的模式7用來表示線性預測系數(shù)的加權系數(shù)組的例子的模式8表示編碼裝置中生成預測圖像的功能的方框9表示編碼裝置中生成預測圖像的其他功能的方框10(a)(b)都是表示編碼裝置中生成預測圖像的其他功能的方框11表示編碼裝置中生成預測圖像的其他功能的方框12用來說明代碼串的結構的模式13用來表示線性預測系數(shù)的加權系數(shù)組的例子的模式14用來說明代碼串的結構的模式15用來表示線性預測系數(shù)的加權系數(shù)組的例子的模式16表示編碼裝置中生成預測圖像的功能的方框17用來說明代碼串的結構及標記的例子的模式18表示解碼裝置中生成預測圖像的功能的方框19表示解碼裝置中生成預測圖像的其他功能的方框20(a)(b)都是表示解碼裝置中生成預測圖像的其他功能的方框21表示解碼裝置中生成預測圖像的再其他的功能的方框22表示解碼裝置中生成預測圖像的其他功能的方框23用來說明代碼串的結構的模式24用來說明代碼串的結構的模式25保存了用計算機系統(tǒng)實現(xiàn)所述各實施形態(tài)的動態(tài)圖像的編碼方法及解碼方法的程序的記錄媒體的說明26表示內(nèi)容提供系統(tǒng)的全體結構的方框27移動電話機的外觀28表示移動電話機結構的方框29表示數(shù)字播放用系統(tǒng)的例子的30說明現(xiàn)有例的圖像的參照關系的模式31用來說明重新排列現(xiàn)有例的圖像的模式32用來說明現(xiàn)有例的移動補償?shù)膭幼鞯哪Ｊ?3用來說明現(xiàn)有例的線性預測處理動作的模式34用來說明將圖像編號分配給現(xiàn)有例的參照索引的方法的模式35表示現(xiàn)有例的參照索引中圖像編號的關系的例子的模式36用來說明現(xiàn)有例的代碼串的結構的模式37表示現(xiàn)有例的線性預測系數(shù)的加權系數(shù)組的例子的模式38用來說明現(xiàn)有例的代碼串的結構的模式39用來說明圖像編號與顯示順序信息的關系的模式40用來說明代碼串的結構及標記的例子的模式41用來說明代碼串的結構及標記的例子的模式圖本發(fā)明的最佳實施形態(tài)(實施形態(tài)1)圖1為表示本發(fā)明實施形態(tài)1中動態(tài)圖像編碼裝置的結構的方框圖。下面將使用圖1所示的方框圖按照(1)編碼的概要、(2)參照索引分配方法、(3)預測圖像生成方法的順序對本動態(tài)圖像編碼裝置中的動態(tài)圖像編碼方法進行說明。
(1)編碼的概要將成為編碼對象的動態(tài)圖像按照顯示順序以圖像單位輸入圖像存儲器101中，并按編碼順序進行圖像的重新排列。圖31為表示重新排列的例子。圖31(a)為按顯示順序排列的圖像，圖31(b)為按編碼進行順序重新排列的圖像例子。這里由于B3、B6在時間上參照前方及后方兩方，在將這些圖像編碼之前有必要先將成為參照對象的圖像進行編碼，所以在圖31(b)中為了使P4、P7先被編碼而進行重新排列。而且各個圖像被稱作宏塊的例如水平16×垂直16像素的塊所分割，并以塊單位進行以后的處理。
從圖像存儲器101中讀取的輸入圖像信號被輸入到差分運算部112中，將通過獲取與作為移動補償編碼單元107的輸出的預測圖像信號的差分得到的差分圖像信號輸出到預測誤差編碼單元102中。在預測誤差編碼單元102中，進行頻率變換、量化等的圖像編碼處理并輸出誤差編碼信號。誤差編碼信號被輸入到預測誤差解碼單元部104中，進行逆量化、逆頻率變換等的圖像解碼處理并輸出誤差解碼信號。在加法運算部113中，進行所述誤差解碼信號和預測圖像信號的加法運算并生成再構成圖像信號，將得到的再構成圖像信號中有可能在以后的畫面間預測中被參照的信號儲存在存儲器105中。
另一方面，從圖像存儲器101中讀取的宏塊單位的輸入圖像信號被輸入到移動矢量檢測單元106中。在這里，將儲存在圖像存儲器105中的再構成圖像信號作為探索對象，通過檢測距輸入圖像信號最近的圖像區(qū)域，決定指示其位置的移動矢量。移動矢量檢測在將宏塊進一步分割的塊單位進行，得到的移動矢量被存儲在移動矢量存儲單元108中。
此時，由于在現(xiàn)在標準化進程中的H.26L能夠將多個圖像作為參照對象使用，所以每個塊都要有指定參照圖像的識別號碼。將其中的識別號碼稱作參照索引，在參照索引·圖像編號變換單元111中，通過獲取與圖像存儲器105中的圖像擁有的圖像編號的對應，能夠指定參照圖像。參照索引·圖像編號變換單元111中的移動的詳細內(nèi)容在(2)中進行詳細說明。
在移動補償編碼單元107中，使用由上述處理檢測出的移動矢量及參照索引，從存儲在圖像存儲部105中的再構成圖像信號中選出最適合于預測圖像的圖像區(qū)域。對得到的圖像區(qū)域的像素值進行線性預測的插值處理等的像素值變換處理，并據(jù)此得最終的預測圖像。此時使用的線性預測系數(shù)由線性預測系數(shù)生成單元110生成，并被存儲在線性預測系數(shù)存儲單元109中。對于此預測圖像生成方法，在(3)中進行詳細說明。
對于由上述一系列的處理輸出的線性預測系數(shù)、參照索引、移動矢量、誤差編碼信號等編碼信息，可通過在代碼串生成單元103中進行可變長編碼，得到此編碼裝置輸出的代碼串。
以上的處理流程是在進行畫面間預測編碼情況下的動作，可以通過開關114及開關115進行和畫面內(nèi)預測編碼的切換。在進行畫面內(nèi)編碼的情況下，不通過移動補償進行預測圖像的生成，通過從同一畫面內(nèi)的已編碼完畢區(qū)域中生成編碼對象區(qū)域的預測圖像、并獲取差分來生成差分圖像信號。差分圖像信號與畫面間預測編碼的情況相同，在預測誤差編碼單元102中變換為誤差編碼信號，在代碼串生成單元103中通過實施可變長編碼得到輸出的代碼串。
(2)參照索引分配方法下面使用圖3、圖4對圖1的參照索引·圖像編號變換單元111中參照索引分配方法進行說明。
圖3是說明與圖像編號相對的2個參照索引的分配方法的圖。在出現(xiàn)如圖所示順序排列的圖像列時，圖像編號按照編碼順序被分配。將參照索引分配給圖像編號的指令，在將圖像進一步分割的編碼單位片頭中有所記述，每編碼一個片段分配方法就會被更新一次。所述指令，其連續(xù)指示的參照索引的數(shù)量，為前面分配給參照索引的圖像編號和現(xiàn)在正在進行分配的圖像編號之間的差分值。
使用圖3的第1參照索引的例子，首先由于作為指令被付與“-1”，通過從作為現(xiàn)在編碼對象的圖像編號16中減去1，圖像編號15號被分配給參照索引0號。接下來由于被付與“-4”，通過從剛剛進行分配的圖像編號15號中減去4，圖像編號11號被分配給參照索引1號。以下通過同樣的處理進行各圖像編號的分配。第2參照索引的情況也是同樣。
在由圖34所示的以往的方法參照索引分配方法中，所有的參照索引都分別與各自的圖像編號相對應。另一方面，在圖3的例子中，分配方法使用的是與以往完全相同的方法，通過變換指令的值，對相同的圖像編號對應多個參照索引號碼。
圖4表示進行參照索引的分配的結果。第1參照索引及第2參照索引都分別獨立被分配給各個圖像編號，可以看到一個圖像編號被分配有多個參照索引。在本發(fā)明的編碼方法中，像該例子那樣分配有多個參照索引的圖像編號至少有1個以上。
如果在只使用參照索引決定參照圖像的情況下，像以往方法那樣一個參照索引分配給一個圖像編號的分配方法是編碼效率最好的方法。但是，在使用參照索引選擇預測圖像生成線性預測系數(shù)的加權系數(shù)組的情況下，以往的方法在擁有相同參照圖像的所有塊中必須使用相同的線性預測系數(shù)，所以無法生成最適合的預測圖像的可能性非常高。
而在本發(fā)明中通過能夠將多個參照索引分配給1個圖像編號，即使是在擁有相同參照圖像的情況下，也能從每個塊中多個線性預測系數(shù)的加權系數(shù)組的候選中選擇出最適合的系數(shù)，進而能夠生成編碼效率更高的預測圖像。
在以上的說明中，舉例說明了被付與圖像編號的情況下，所有的參照圖像都儲存在參照用存儲器中，圖像編號只在進行編碼之前的圖像被存儲的情況下，將值增加1的圖像編號付與給該圖像，即使在出現(xiàn)無法存儲的圖像的情況下也能夠保持參照存儲器內(nèi)的圖像編號的連續(xù)性，能夠原封不動的使用上述方法。
(3)預測圖像生成方法下面將使用圖5對圖1的移動補償編碼單元107中的預測圖像生成方法進行說明。由線性預測進行的預測圖像生成方法與以往的方法完全相同，但由于能夠讓同一圖像對應多個參照索引號碼，可以提高選擇線性預測系數(shù)時的自由度。
圖像B16是作為現(xiàn)在編碼的對象的B圖像，塊BL01及塊BL02是屬于所述B圖像的編碼對象的塊。BL01將第1參照圖像作為圖像P1、將第2參照圖像作為圖像B15、并參照屬于各自圖像的塊BL11及BL21制作預測圖像。同樣，BL02將第1參照圖像作為圖像P11、將第2參照圖像作為圖像B15、并參照屬于各自圖像的塊BL12及BL22制作預測圖像。
第1參照圖像及第2參照圖像參照和BL01、BL02一起參照相同的內(nèi)容，通過使用(2)中說明的參照索引的分配方法，第1參照索引ref1及第2參照索引ref2可以由BL01和BL02取得不同的值。以圖4為例，與圖像編號11對應的第1參照索引分配有1和3，與圖像編號15對應的第2參照索引分配有1和6。
結果，這些參照索引的組合如(ref1、ref2)＝(1、1)、(1、6)、(3、1)、(3、6)所示，能夠對每塊選擇從其中導出最適合的加權系數(shù)組的組合。圖5中的例子，BL01設定為ref1＝1、ref2＝1、BL02設定為ref1＝3、ref2＝6。
在由圖35中以往的方法對應的參照索引的組合中，在圖5所示例中由于BL01、BL02共同只能選擇(ref1、ref2)＝(1、1)的組合，能夠選擇的線性預測系數(shù)的加權系數(shù)組也只有1種。另一方面，由于本發(fā)明中選擇范圍擴展到了4種，所以選擇最適合的加權系數(shù)組的可能性變得更高。
1個圖像代碼串，由圖像共同信息區(qū)域及多個片段數(shù)據(jù)區(qū)域構成。圖6表示的是其中的片段數(shù)據(jù)區(qū)域的結構。而片段數(shù)據(jù)區(qū)域是由片頭區(qū)域及多個塊數(shù)據(jù)區(qū)域構成。這里作為塊數(shù)據(jù)區(qū)域的例子，如圖5中所示的與BL01、BL02相對應的各塊的區(qū)域。包含在BL01中的ref1及ref2，分別指示該塊指定參照的2張圖像的第1參照索引及第2參照索引。
并且，為分配給片頭區(qū)域進行所述線性預測的加權系數(shù)組的數(shù)據(jù)(pset0、pset1、pset2、……)在ref1用及ref2用中分別有記述。此時的pset能夠只設定為與(2)中說明的參照索引的個數(shù)相同的數(shù)。即，如圖3所示，使第1參照索引、第2參照索引共同使用從0到9的10個數(shù)字的情況下，pset也可以與ref1用、ref2用共同設定為從0到9的10個數(shù)字。
圖7表示的是包含在所述片頭區(qū)域內(nèi)的所述加權系數(shù)組的例子。由標識符pset表示的各個數(shù)據(jù)擁有w1、w2、c、d的4個值，并且通過ref1及ref2的值可以直接進行參照。并且，在片頭區(qū)域中記載有為將所述參照索引分配到圖像符號中的指令列idx_cmd1及idx_cmd2。
通過圖6的BL01中所述的ref1及ref2，可以從圖7的ref1用及ref2用圖表中分別選擇1組的加權系數(shù)組。通過使用該2組加權系數(shù)組對參照圖像的像素值進行線性預測生成預測圖像。
這樣通過使用與1個圖像編號相對多個參照索引分配的編碼方法，能夠制作多個線性預測系數(shù)的加權系數(shù)組的候選，并能夠從中選擇最適合的系數(shù)。例如，在第1參照索引被分配2個，第2參照索引被分配2個的情況下能夠選擇4種加權系數(shù)組作為候選；在第1參照索引被分配3個，第2參照索引被分配3個的情況下能夠選擇9種加權系數(shù)組作為候選。
這種線性預測方法在象漸變和閃光一樣畫面全體或一部分的亮度變化很大的情況下，能夠得到特別大的效果。在大多數(shù)情況下，其亮度變化的程度根據(jù)畫面部分不同而不同。因此，如本發(fā)明中的能夠從多個加權系數(shù)組中每個塊選擇最適合的系數(shù)的構成在圖像編碼中是非常有效的。
這里將對到?jīng)Q定加權系數(shù)組生成預測圖像為止的處理流程進行詳細說明。
圖8是表示在圖1的線性預測系數(shù)生成單元110、線性預測系數(shù)存儲單元109、及移動補償編碼單元107中生成預測圖像的功能結構的功能方框圖。
通過線性預測系數(shù)生成單元110、線性預測系數(shù)存儲單元109a、線性預測系數(shù)存儲單元109b、平均值計算單元107a、及線性預測計算單元107b生成預測圖像。
由線性預測系數(shù)生成單元110生成的加權系數(shù)組，被存儲在線性預測系數(shù)存儲單元109a及線性預測系數(shù)存儲單元109b中。平均值計算單元107a，從線性預測系數(shù)存儲單元109a中獲得通過由移動檢測處理決定的第1參照索引ref1選擇的1組加權系數(shù)組(w1_1、w2_1、c_1、d_1)，同樣從線性預測系數(shù)存儲單元109b中獲得通過第2參照索引ref2選擇的1組加權系數(shù)組(w1_2、w2_2、c_2、d_2)。
平均值計算單元107a，取由線性預測系數(shù)存儲單元109a、109b獲得的各自的加權系數(shù)組的每個參數(shù)的平均值，作為實際線性預測使用的加權系數(shù)組(w1、w2、c、d)，輸出到線性預測計算單元107b中。線性預測計算單元107b，以得到的加權系數(shù)組(w1、w2、c、d)為基礎，使用公式1運算預測圖像并輸出。
并且，圖9是表示生成預測圖像的其他功能結構的功能方框圖。通過線性預測系數(shù)生成單元110、線性預測系數(shù)存儲單元109a、線性預測系數(shù)存儲單元109b、線性預測計算單元107c、線性預測計算單元107d、及平均值計算單元107e生成預測圖像。
由線性預測系數(shù)生成單元110生成的加權系數(shù)組，被存儲在線性預測系數(shù)存儲單元109a及線性預測系數(shù)存儲單元109b中。線性預測計算單元107c，從線性預測系數(shù)存儲單元109a中獲得通過由移動檢測處理決定的第1參照索引ref1選擇的1組加權系數(shù)組(w1_1、w2_1、c_1、d_1)，以其加權系數(shù)組為基礎，使用公式1運算預測圖像并輸出到平均值計算單元107e中。
同樣，線性預測計算單元107d，從線性預測系數(shù)存儲單元109b獲得以通過移動檢測處理決定的第2參照索引ref2為基礎選擇的1組加權系數(shù)組(w1_2、w2_2、c_2、d_2)，以其加權系數(shù)組為基礎使用公式1運算預測圖像，并輸出到平均值計算單元107e中。
平均值計算單元107e，取分別由線性預測計算單元107c、線性預測計算單元107d輸出的預測圖像的各像素的平均值，生成最終的預測圖像并輸出。
圖10(a)是表示生成預測圖像的其他功能結構的功能方框圖。通過線性預測系數(shù)生成單元110、線性預測系數(shù)存儲單元109c、線性預測系數(shù)存儲單元109d、平均值計算單元107f、線性預測計算單元107g生成預測圖像。
由線性預測系數(shù)生成單元110生成的加權系數(shù)組被存儲在線性預測系數(shù)存儲單元109c及線性預測系數(shù)存儲單元109d中。平均值計算單元107f，從通過由移動檢測處理決定的第1參照索引ref1所選擇的1組加權系數(shù)組(w1_1、w2_1、c_1、d_1)中，由線性預測系數(shù)存儲單元109c獲得c_1、d_1的參數(shù)，同樣在通過第2參照索引ref2選擇的1組加權系數(shù)組(w1_2、w2_2、c_2、d_2)中，c_2、d_2的參數(shù)由線性預測系數(shù)存儲單元109d獲得。平均值計算單元107f，計算出由線性預測系數(shù)存儲單元109c及線性預測系數(shù)存儲單元109d獲得的c_1和c_2的平均值，d_1和d_2的平均值，求出c、d并輸出到線性預測計算單元107g中。
并且，線性預測計算單元107g，在所述加權系數(shù)組(w1_1、w2_1、c_1、d_1)中，由線性預測系數(shù)存儲單元109c獲得w1_1的參數(shù)，在所述加權系數(shù)組(w1_2、w2_2、c_2、d_2)中，由線性預測系數(shù)存儲單元109d獲得w2_2的參數(shù)，由平均值計算單元107f求得各自的平均值獲得c、d，并使用公式1運算預測圖像并輸出。
即，線性預測計算單元107g，在由線性預測系數(shù)存儲單元109c得到的加權系數(shù)組(w1_1、w2_1、c_1、d_1)和由線性預測系數(shù)存儲單元109d得到的加權系數(shù)組(w1_2、w2_2、c_2、d_2)中，在實際決定線性預測中使用的加權系數(shù)組(w1、w2、c、d)時，使用下述的規(guī)則。
w1＝w1_1，w2＝w2_2，c＝(c_1和c_2的平均值)，d＝(d_1和d_2的平均值)這樣在圖10(a)中說明的預測圖像的生成中，線性預測系數(shù)存儲單元109c不需要加權系數(shù)組中的w2_1。因此，ref1用的加權系數(shù)組中也不再需要w2。由此可以縮小代碼串。
并且，線性預測系數(shù)存儲單元109d在加權系數(shù)組中不再需要w1_2。因此，ref2用的加權系數(shù)組中也不再需要w1。由此可以縮小代碼串。
圖10(b)是表示生成預測圖像的其他功能結構的功能方框圖。通過線性預測系數(shù)生成單元110、線性預測系數(shù)存儲單元109e、線性預測系數(shù)存儲單元109f、線性預測計算單元107h生成預測圖像。
由線性預測系數(shù)生成單元110生成的加權系數(shù)組被存儲在線性預測系數(shù)存儲單元109e及線性預測系數(shù)存儲單元109f中。線性預測計算單元107h，在通過由移動檢測處理決定的第1參照索引ref1所選擇的1組加權系數(shù)組(w1_1、w2_1、c_1、d_1)中，一部分的w1_1、c_1、d_1的參數(shù)由線性預測系數(shù)存儲單元109e獲得，同樣在通過第2參照索引ref2選擇的1組加權系數(shù)組(w1_2、w2_2、c_2、d_2)中，一部分的w2_2的參數(shù)由線性預測系數(shù)存儲單元109f獲得。線性預測計算單元107h，以通過線性預測系數(shù)存儲單元109e及線性預測系數(shù)存儲單元109f獲得的w1_1、c_1、d_1、w2_2為基礎，使用公式1運算預測圖像并輸出。
即，線性預測計算單元107h，在由線性預測系數(shù)存儲單元109e得到的加權系數(shù)組(w1_1、w2_1、c_1、d_1)和由線性預測系數(shù)存儲單元109f得到的加權系數(shù)組(w1_2、w2_2、c_2、d_2)中，在實際決定線性預測中使用的加權系數(shù)組(w1、w2、c、d)時，使用下述的規(guī)則。
w1＝w1_1，w2＝w2_2，c＝c_1，d＝d_1并且，在圖10(b)中說明的預測圖像的生成中，線性預測系數(shù)存儲單元109e在加權系數(shù)組中不再需要w2_1。因此，ref1用的加權系數(shù)組中也不再需要w2。由此可以縮小代碼串。
并且，線性預測系數(shù)存儲單元109f在加權系數(shù)組中不再需要w1_2、c_2、d_2。因此，ref2用的加權系數(shù)組中也不再需要w1、c、d。由此可以縮小代碼串。
并且，能夠將w1、w2、c、d的參數(shù)中的1個或多個作為固定值使用。圖11表示的是與圖10(a)中的功能結構相對，只將d作為固定值使用的情況下的功能方框圖。通過線性預測系數(shù)生成單元110、線性預測系數(shù)存儲單元109i、線性預測系數(shù)存儲單元109j、平均值計算單元107j、線性預測計算單元107k生成預測圖像。
通過第1參照索引ref1從線性預測系數(shù)存儲單元109i中選擇的系數(shù)只有(w1_1、c_1)，通過第2參照索引ref2從線性預測系數(shù)存儲單元109j中選擇的系數(shù)只有(w2_2、c_2)。平均值計算單元107j計算出由線性預測系數(shù)存儲單元109i及線性預測系數(shù)存儲單元109j獲得的c_1和c_2的平均值，求出c并輸出到線性預測計算單元107k中。
并且，線性預測計算單元107k，通過線性預測系數(shù)存儲單元109i獲得w1_1的參數(shù)，通過線性預測系數(shù)存儲單元109j獲得w2_2的參數(shù)，通過平均值計算單元107j獲得c的參數(shù)，作為d的參數(shù)使用事先決定的固定值，并使用公式1計算預測圖像并輸出。即，在公式1的系數(shù)(w1、w2、c、d)中輸入下列值。
w1＝w1_1、w2＝w2_2、c＝(c_1和c_2的平均值)、d＝(固定值)將該值代入到公式1中得到下述的公式1a。
P(i)＝(w1_1×Q1(i)+w2_2×Q2(i))/pow(2，d)+(c_1+c_2)/2(公式1a)(pow(2，d)表示2的d次方)通過進一步將公式1a變形得到如公式1b一樣的。在線性預測計算單元107k中的線性預測運算方法，能夠與在公式1b的形式下使用的情況及在公式1的形式下使用的情況同樣對待。
P(i)＝(w1_1×Q1(i)/pow(2，d-1)+c_1+w2_2×Q2(i)/pow(2，d-1)+c_2)/2(公式1b)(pow(2，d-1)表示的是2的d-1次方)由于在公式1b中為pow(2，d-1)，d為固定值，所以也可以采用通過將作為d’＝d-1的d向線性預測計算單元107k中輸入，構成作業(yè)pow(2，d’)的系統(tǒng)。
并且，在圖11說明的預測圖像的生成中，因為線性預測系數(shù)存儲單元109i只需要加權系數(shù)組中的w1_1和c_1，線性預測系數(shù)存儲單元109j只需要加權系數(shù)組中的w2_2和c_2，所以不需要再將除此以外的參數(shù)編碼。進而能夠縮小代碼串。
作為d的值使用的預先決定的固定值，通?？梢允褂孟嗤闹担軌蛲ㄟ^將上述固定值記述在片頭中對每個片段進行替換。同樣，能夠通過將其記述在圖像共同信息區(qū)域或序列共同信息區(qū)域中對每個圖像或每個序列進行替換。
圖12表示的是使用上述線性預測方法時的片段數(shù)據(jù)區(qū)域的結構。與圖6的不同點是，d只有一個記述在片頭區(qū)域中這一點，和作為ref1用的pset只有w1_1和c_1被記述的這一點。圖13表示的是包含在所述片頭區(qū)域內(nèi)的所述加權系數(shù)組的例子。在標識符pset中顯示的各個數(shù)據(jù)擁有w1_1、c_1或w2_2、c_2的2個值，并能夠通過ref1及ref2的值直接進行參照。
在線性預測系數(shù)生成單元110中，通過調(diào)查圖像的特征生成加權系數(shù)組，在移動補償編碼單元107中，使用圖8、圖9、圖10、圖11中說明的方法制作預測圖像，并決定為使預測誤差達到最小的2個參照索引ref1及ref2的組合。在如圖10(a)、(b)、圖11所示在使用不需要所有的參數(shù)的方法的情況下，在編碼裝置的線性預測系數(shù)生成單元110中制作加權系數(shù)組的階段，能夠省去沒有必要的參數(shù)制作處理。
并且，在圖10(a)、(b)、圖11所示的方法中，在線性預測系數(shù)生成單元110中生成加權系數(shù)組時，例如w1_1、w2_2一樣，能夠使ref1用的加權系數(shù)組和ref2用的加權系數(shù)組分別獨立探索并生成最適合的對象。即，使用此種方法能夠削減在編碼裝置中生成加權系數(shù)組的處理量。
所述編碼方法是與擁有2幅參照圖像的B圖像相關，但在只擁有1幅參照圖像的P圖像及B圖像中的單一圖像參照編碼模式中也能夠進行同樣的處理。在這種情況下只使用第1參照索引或第2參照索引的任何一方，圖6的代碼串中的片頭區(qū)域中的pset及idx_cmd，根據(jù)塊數(shù)據(jù)區(qū)域中記述的參照索引，只記述為ref1用或ref2用。
并且，線性預測的方法使用下述的公式3替換以往方法中說明的公式1。此時，Q1(i)作為參照塊的像素值，P(i)作為編碼對象塊的預測圖像的像素值，w1、w2、c、d為由所選加權系數(shù)組得到的線性預測系數(shù)。
P(i)＝(w1×Q1(i)+w2×Q1(i))/pow(2，d)+c(公式3)(pow(2，d)表示的是2的d次方)作為線性預測的式子還可以使用公式4代替公式3。此時，Q1(i)作為參照塊的像素值，P(i)作為編碼對象塊的預測圖像的像素值，w1、w2、c、d為由所選加權系數(shù)組得到的線性預測系數(shù)。
P(i)＝(w1×Q1(i))/pow(2，d)+c(公式4)(pow(2，d)表示的是2的d次方)在使用公式1及公式3的情況下，需要w1、w2、c、d的4個參數(shù)，在使用公式4的情況下，能夠只由w1、c、d的3個參數(shù)進行線性預測。即，象P圖像一樣在圖像全體中只使用第1參照索引或第2參照索引的任何一方的情況下，能夠使記述在片頭區(qū)域內(nèi)的加權系數(shù)組的數(shù)據(jù)的項目數(shù)分別以每3個減少。
在使用公式3的情況下，能夠在B圖像和P圖像中不改變結構而實現(xiàn)與兩方對應的線性預測。并且，在使用公式4的情況下，能夠削減記述在P圖像的片頭區(qū)域內(nèi)的數(shù)據(jù)量，進而能夠削減處理量達到使計算簡單化的目的。但是，由于無論在哪種方法中，都能夠原封不動地適用本發(fā)明中提出的參照索引的分配方法，所以能夠生成編碼效率較高的預測圖像，對圖像的編碼非常有效。
但是，在移動補償中的參照圖像，是由指定被分配到各個圖像中的參照索引決定的。此時，將可能參照的圖像的最大張數(shù)記述在代碼串的圖像共同信息部分。
圖38是記述能夠參照的圖像的最大張數(shù)的代碼串的模式圖。如圖所示在代碼串的圖像共同信息中，記述ref1用的圖像的最大數(shù)Max_pic1和ref2用的圖像的最大數(shù)Max_pic2。
編碼中必要的信息，并不是實際中圖像的最大張數(shù)，而是為指定圖像使用的參照索引的能夠取得的最大值。
在以往的方法中，由于1個圖像中只被分配給1個參照索引，所以通過記述所述的圖像的最大張數(shù)不會產(chǎn)生矛盾，但特別像本發(fā)明一樣，在多個參照索引被分配給圖像編號的情況下，其差異會造成很大影響。
如上文所述，代碼串中記述有為將參照索引分配到圖像編號中的指令列idx_cmd1、及idx_cmd2。以該指令列idx_cmd1、及idx_cmd2和各個指令為基礎，使圖像編號和參照索引相對應。此時，通過得知參照索引的最大值，能夠明白所有的參照索引與圖像編號都已進行了對應，能夠得知指令列idx_cmd1、及idx_cmd2中的指令的終端。
在本發(fā)明的實施形態(tài)中，將可利用的參照索引的最大數(shù)代替以往的圖像最大張數(shù)，記述在圖像的開頭的圖像共同信息部分。
圖23表示的是將參照索引的最大數(shù)記述在圖像的代碼串的圖像共同信息中的狀態(tài)。在圖像的共同信息部分中，記述有ref1用的可利用參照索引的最大數(shù)Max_idx1和ref2用的可利用參照索引的最大數(shù)Max_idx2。
在圖23中，在圖像共同信息中記述有參照索引的最大數(shù)，在此之上，也可以采用在片段數(shù)據(jù)區(qū)域內(nèi)記述參照索引最大數(shù)的結構。例如，圖像的參照索引的最大數(shù)是8，該圖像的片段1中必要的參照索引的最大數(shù)是8，片段2中必要的參照索引的最大值是4，在根據(jù)片段必要的參照索引的最大數(shù)與被記述到圖像共同信息區(qū)域中的最大數(shù)不同的情況下，能夠明確表示每個片段必要的參照索引的最大數(shù)。
即，將記述在圖像共同信息中的參照索引的最大數(shù)作為圖像中的各個片段中共同的默認值，必要的參照索引的最大數(shù)對于與默認值不同的片段也可以記述在片頭中。
圖23及圖38表示的是將圖像共同信息區(qū)域和片段數(shù)據(jù)區(qū)域總括到一起作為代碼串的例子，但圖像共同信息區(qū)域和片段數(shù)據(jù)區(qū)域能夠分別作為獨立的代碼串，這種情況下也能夠進行完全相同的處理。
(實施形態(tài)2)對本發(fā)明的實施形態(tài)2中的動態(tài)圖像編碼方法進行說明。由于編碼裝置的結構及編碼的處理流程及參照索引的分配方法與實施形態(tài)1完全相同，這里就省略了具體的說明。
在實施形態(tài)1中，在移動補償中生成預測圖像之際，使用公式1或公式3或公式4進行每個像素的線性預測。但是，這些式子中都包含有乘法運算處理，若對所有的像素進行這樣的運算，處理量會變得非常大。
這里將使用公式5代替公式1、使用公式6代替公式3、公式7代替公式4。因為這些式子不使用乘法運算而只進行位移運算，所以能夠縮小處理量。此時，Q1(i)、Q2(i)是參照塊的像素值，P(i)是編碼對象塊的預測圖像的像素值，m、n、c是由選擇的加權系數(shù)組得到的線性預測系數(shù)。
P(i)＝±pow(2，m)×Q1(i)±pow(2，n)×Q2(i)+c(公式5)P(i)＝±pow(2，m)×Q1(i)±pow(2，n)×Q1(i)+c(公式6)P(i)＝±pow(2，m)×Q1(i)+c(公式7)(pow(2，m)表示2的m次方，pow(2，n)表示2的n次方)與實施形態(tài)1相同，在同時參照2張圖像生成預測圖像時使用公式5，在只參照1張圖像生成預測圖像時使用公式6或公式7。由于在這些式子中需要表示正負的符號的標識符，所以預測運算必要的加權系數(shù)組，在公式5及公式6的情況下為(sign1、m、sign2、n、c)，在公式7的情況下為(sign1、m、c)。sign1是識別第1個正負符號的參數(shù)，sign2是識別第2個正負符號的參數(shù)。參數(shù)的個數(shù)比實施形態(tài)1有所增加，但由于sign1及sign2分別以1比特的形式出現(xiàn)，所以代碼量幾乎沒有增加。
在這里對到?jīng)Q定加權系數(shù)組，使用公式5同時參照2張圖像生成預測圖像為止的處理流程進行詳細說明。
首先，對生成預測圖像的功能結構的圖8的情況進行說明。平均值計算單元107a，通過線性預測系數(shù)存儲單元109a得到加權系數(shù)組(sign1_1、m_1、sign2_1、n_1、c_1)。并且，平均值計算單元107a，通過線性預測系數(shù)存儲單元109b得到加權系數(shù)組(sign1_2、m_2、sign2_2、n_2、c_2)。
平均值計算單元107a，求出通過線性預測系數(shù)存儲單元109a、線性預測系數(shù)存儲單元109b得到的加權系數(shù)組的每個參數(shù)的平均值，作為加權系數(shù)組(sign1、m、sign2、n、c)。線性預測計算單元107b，以平均值計算單元107a輸出的加權系數(shù)組(sign1、m、sign2、n、c)為基礎，使用公式5運算預測圖像。
圖8中記載的由線性預測系數(shù)存儲單元109a等得到的加權系數(shù)組(w1_1、w2_1、c_1、d_1)等，是實施形態(tài)1中說明的公式1的情況下的例子，雖說圖中未顯示對于使用公式5求預測圖像的情況下參數(shù)，但可以原封不動地直接替換。在以下說明的圖9、圖10的情況中也是一樣。
下面，將對生成預測圖像的功能結構的圖9的情況進行說明。線性預測計算單元107c，以由線性預測系數(shù)存儲單元109a得到的加權系數(shù)組(sign1_1、m_1、sign2_1、n_1、c_1)為基礎運算預測圖像。線性預測計算單元107d，以由線性預測系數(shù)存儲單元109b得到的加權系數(shù)組(sign1_2、m_2、sign2_2、n_2、c_2)為基礎運算預測圖像。平均值計算單元107e，求出線性預測計算單元107c、107d各自運算的預測圖像的各像素的平均值，作為預測圖像。
在這種情況下，線性預測計算單元107c，由于以加權系數(shù)組(sign1_1、m_1、sign2_1、n_1、c_1)為基礎使用公式5，最初運算預測圖像，能夠不使用乘法運算，通過位移運算進行計算。線性預測計算單元107d也是同樣。另一方面，在圖8的情況下，由于最初求得加權系數(shù)組(sign1_1、m_1、sign2_1、n_1、c_1)和加權系數(shù)組(sign1_2、m_2、sign2_2、n_2、c_2)的平均值，會出現(xiàn)m_1和m_2的平均值或n_1和n_2的平均值不是整數(shù)的情況下，即由于2的指數(shù)部分不是整數(shù)，很有可能導致處理量增多。并且，為了使2的指數(shù)部分成為整數(shù)而進行舍入處理，也會導致誤差增大。
下面將對生成預測圖像的功能結構的圖10(a)的情況進行說明。線性預測計算單元107g，將由線性預測系數(shù)存儲單元109c得到的用于位移運算的系數(shù)的參數(shù)sign1_1、m_1，由線性預測系數(shù)存儲單元109c得到的用于位移運算的系數(shù)的參數(shù)sign2_2、n_2，由各線性預測系數(shù)存儲單元109c、109d得到的參數(shù)c_1和c_2，以平均值計算單元107f平均求得的平均值c為基礎，使用公式5運算預測圖像。
在這種情況下，因為用于位移運算的系數(shù)，是直接由線性預測系數(shù)存儲單元109c或線性預測系數(shù)存儲單元109d得到的值，所以公式5中2的指數(shù)部分是整數(shù)。因此，能夠通過位移運算進行計算，可以縮小處理量。
下面將對生成預測圖像的功能結構的圖10(b)的情況進行說明。線性預測計算單元107h，以由線性預測系數(shù)存儲單元109e得到的參數(shù)sign1_1、m_1、c_1，和由線性預測系數(shù)存儲單元109f得到的參數(shù)sign2_2、n_2為基礎，使用公式5運算預測圖像。
在這種情況下，因為用于位移運算的系數(shù)，是直接由線性預測系數(shù)存儲單元109e或線性預測系數(shù)存儲單元109f得到的值，所以公式5中2的指數(shù)部分是整數(shù)。因此，能夠通過位移運算進行計算，可以縮小處理量。
在圖10(a)(b)的情況下，和實施形態(tài)1中的圖10(a)(b)的說明一樣，有不用附加在代碼串中發(fā)送的參數(shù)，能夠縮小代碼串。
以上是使用實施形態(tài)2中說明的線性預測式，能夠不使用乘法運算通過位移運算進行計算，因此與實施形態(tài)1相比能夠大幅度削減處理量。
在上述實施形態(tài)中，旨在通過使用公式5、公式6、公式7代替公式1、公式3、公式4，編碼參數(shù)組合也使用(sign1、m、sign2、n、c)代替(w1、w2、c、d)，進行線性預測，實現(xiàn)只通過位移運算削減處理量的目的。作為其他的方法，原封不動地使用公式1、公式3、公式4及(w1、w2、c、d)，通過限制將w1及w2作為選擇只可進行位移運算的可能值，也能夠實現(xiàn)只通過位移運算削減處理量的目的。
在圖1的線性預測系數(shù)生成單元110中記載有，在決定w1及w2的各個值時，作為其選項只能選擇位移運算可能的值，對于圖6及圖12的代碼串中的w1及w2則可原封不動地選擇。由此能夠以同實施形態(tài)1完全相同的結構，達到削減線性預測處理量的目的，且通過限制系數(shù)的選項能夠更加容易地進行系數(shù)的決定。
并且，作為進一步限定的方法，通常將w1及w2作為1選擇進行限制，能夠在線性預測系數(shù)生成單元110中生成直流成分的c1及c2最適合的值。以圖11的結構的情況為例，將作為ref1用的(1、c_1)、作為ref2用的(1、c_2)作為參數(shù)組合進行編碼。在這種情況下，預測圖像的像素值P(i)，將由(公式1a)中的w1_1及w2_2替換1的下面的式子求出。
P(i)＝(Q1(i)+Q2(i))/pow(2，d)+(c_1+c_2)/2(pow(2，d)表示的是2的d次方)由此能夠以同實施形態(tài)1完全相同的結構，達到削減線性預測處理量的目的，進而由于不確定的系數(shù)只為c_1及c_2，所以能夠使系數(shù)的決定方法大幅度簡單化。
圖24表示的是在圖像的代碼串的圖像共同信息中記述有表示是否可能只通過位移運算進行線性預測的標記sft_flg，及表示是否可能只通過直流成分c進行線性預測的標記dc_flg的例子。在解碼裝置中可以不參照這些標記進行解碼，但是通過參照這些標記，能夠利用適合于只通過位移運算進行線性預測的結構進行解碼，能夠利用適合于只通過直流成分進行線性預測的結構進行解碼，因此根據(jù)解碼裝置的結構能夠成為非常重要的信息。
在圖24中表示的是將圖像共同信息區(qū)域和片段數(shù)據(jù)區(qū)域總括起來作為代碼串的例子，但圖像共同信息區(qū)域和片段數(shù)據(jù)區(qū)域能夠分別作為獨立的代碼串，這種情況下也能夠進行完全相同的處理。并且，在圖24的例子中，在圖像共同信息區(qū)域內(nèi)記述有sft_flg及dc_flg，在記述在序列共同信息區(qū)域及其他獨立的共同信息區(qū)域內(nèi)的情況也能夠進行同樣的處理。并且，不僅在兩方同時使用這2個兩標記的情況，也可以只使用sft_flg或dc_flg，在那些情況下也能夠進行同樣的處理。
(實施形態(tài)3)對本發(fā)明實施形態(tài)3中的動態(tài)圖像編碼方法進行說明。由于編碼裝置的結構及編碼的處理流程及參照索引的分配方法與實施形態(tài)1完全相同，這里就省略了具體的說明。
如以往技術中說明的那樣，并不是使用實施形態(tài)1及實施形態(tài)2那樣由線性預測系數(shù)的加權系數(shù)組求得的預測式生成預測圖像，而是采用使用公式2a及公式2b那樣預先決定的固定式求出預測圖像的方法。使用這種方法，其優(yōu)點在于不必將求預測圖像時的加權系數(shù)組編碼并發(fā)送，所以能夠減少編碼量。并且，由于線性預測的計算式簡單，只通過很少的處理量就能夠大幅度削減線性預測。但是，由于使用這種固定的方法，能夠選擇的線性預測式只有公式2a及公式2b兩種，所以存在預測精度變差的問題。
于是在本實施形態(tài)中使用公式8a、8b代替公式2a、公式2b。這些式子在公式2a、公式2b中加入了C1及C2。因為在運算上只是增加了加法運算的次數(shù)，與原式相比處理量幾乎沒有增加。此時，Q1(i)、Q2(i)是參照塊的像素值，P(i)是編碼對象塊的預測圖像的像素值，C1、C2是由選擇的加權系數(shù)組得到的線性預測系數(shù)。
P(i)＝2×(Q1(i)+C1)-(Q2(i)+C2)(公式8a)P(i)＝(Q1(i)+C1+Q2(i)+C2)/2 (公式8b)公式8a、8b是同時參照2張圖像生成預測圖像時的預測式，在參照1張圖像生成預測圖像時，本實施形態(tài)中將使用公式9代替說明的公式3、公式4。
P(i)＝Q1(i)+C1(公式9)使用這種方法所必需的加權系數(shù)組，只有作為ref1用的(C1)和作為ref2用的(C2)。因此，在使用這種方法情況下的圖像的代碼串的例子如圖14所示，在片頭區(qū)域中分別記述有ref1用和ref2用進行線性預測的加權系數(shù)組(pset0、pset1、pset2、……)，各個加權系數(shù)組的內(nèi)容只成為C。同樣，圖15表示的是包含在所述片頭區(qū)域內(nèi)的加權系數(shù)組的例子，與圖7不同，各個加權系數(shù)組的要素只是C。
圖16是表示圖1的線性預測系數(shù)生成單元110、線性預測系數(shù)存儲單元109、及移動補償編碼單元107中生成預測圖像的功能結構的功能方框圖。
通過線形系數(shù)生成部110、線性預測系數(shù)存儲單元109g、線性預測系數(shù)存儲單元109h、及線性預測計算單元107i生成預測圖像。
由線性預測系數(shù)生成單元110生成的加權系數(shù)組被存儲在線性預測系數(shù)存儲單元109g及線性預測系數(shù)存儲單元109h中。通過由移動檢測處理決定的第1參照索引ref1及第2參照索引ref2獲得分別擁有線性預測系數(shù)存儲單元109g及109h的1個結構要素的加權系數(shù)組(C1)及(C2)。那些值被輸入到線性預測計算單元107i中，使用公式8a、8b進行線性預測，并生成預測圖像。
同樣，在只參照1張圖像進行線性預測的情況下，只由圖16的ref1或ref2的任何一個獲得加權系數(shù)組(C1)或(C2)，使用公式9進行線性預測，生成預測圖像。
在線性預測系數(shù)生成單元110中，通過調(diào)查圖像的特征生成加權系數(shù)組(C1)及(C2)，使用圖16中說明的方法制作預測圖像，并決定為使預測誤差達到最小的2個參照索引ref1及ref2的組合。
這樣，由于本實施形態(tài)使用的參數(shù)的數(shù)量只要ref1用、ref2用每個有一個就可以，所以能夠使在編碼裝置中決定參數(shù)值的處理變得更加容易，并可以削減記述在代碼串中的數(shù)據(jù)量。并且，因為線性預測式不需要采用乘法運算等復雜的運算，能夠將運算量抑制在最小限度。并且通過使用C1及C2系數(shù)可以大幅度改善使用以往的固定式的方法中預測精度差的缺點。
本實施形態(tài)中說明的線性預測方法，與多個參照索引是否能夠參照同一圖像無關，都可以使用。
(實施形態(tài)4)對本發(fā)明的實施形態(tài)4中的動態(tài)圖像編碼方法進行說明。由于編碼裝置的結構及編碼的處理流程及參照索引的分配方法與實施形態(tài)1完全相同，這里就省略了具體的說明。
各個圖像和圖像編號一起被分配給顯示的時間或表示代替其對象的顯示順序信息。圖39是并列表示其中1例的圖像編號和顯示順序信息的圖。顯示順序信息根據(jù)顯示順序被分配某個值。在該圖中的例子中，使用的是每1個圖像增加1的值。使用這些顯示順序信息生成進行線性預測所用系數(shù)的值的方法在實施形態(tài)4中進行說明。
在實施形態(tài)1中，在移動補償中生成預測圖像之際，使用公式1或公式3或公式4對每個像素進行線性預測。但是，為進行這些線性預測需要有系數(shù)的數(shù)據(jù)，在上述實施形態(tài)中，作為片頭區(qū)域中的加權系數(shù)組在代碼串中記述有系數(shù)的數(shù)據(jù)，并用于預測圖像的制作。但是，在得到較高的編碼效率的反面，有必要進行制作加權系數(shù)組的數(shù)據(jù)的處理，并且，將加權系數(shù)組記述在代碼串中會導致比特量的增加。
于是可以使用公式10、公式11a、公式12a代替公式1進行線性預測。由于這些式子可以只從各幅參照圖像擁有的顯示順序信息中決定加權系數(shù)，所以沒有必要另外將加權系數(shù)組編碼。
此時，Q1(i)、Q2(i)是參照塊的像素值，P(i)是編碼對象塊的預測圖像的像素值，V0、V1是加權系數(shù)、T0是編碼對象圖像的顯示順序信息、T1是由第1參照索引指定的圖像的顯示順序信息、T2是由第2參照索引指定的圖像的顯示順序信息。
P(i)＝V1×Q1(i)+V2×Q2(i)(公式10)V1＝(T2-T0)/(T2-T1) (公式11a)V2＝(T0-T1)/(T2-T1) (公式12a)舉個例子，在圖39中，設定編碼對象圖像為16號、由第1參照索引指定的圖像為11號、由第2參照索引指定的圖像為10號，各自的圖像的顯示順序信息則為15、13、10，所以成為下列的線性預測式。
V1＝(10-15)/(10-13)＝5/3V2＝(15-13)/(10-13)＝-2/3P(i)＝5/3×Q1(i)-2/3×Q2(i)與利用使用公式1的加權系數(shù)組進行線性預測的方法比較系數(shù)值的自由度較低，所以可以說很難生成最適合的預測圖像，但是與通過2張參照圖像的位置關系切換由使用公式2a、公式2b兩個式子組成的固定式的方法相比較，能夠生成效率更高的線性預測式。
在第1參照索引及第2參照索引參照同一圖像的情況下，T1＝T2，所以公式11a、公式12a不成立。于是，參照的2張圖像擁有同一顯示順序信息的情況下作為V1及V2的值使用1/2進行線性預測。這種情況下的線性預測式如下文所述。
V1＝1/2V2＝1/2P(i)＝1/2×Q1(i)+1/2×Q2(i)并且，在第1參照索引及第2參照索引參照不同的圖像，那些圖像擁有同一顯示順序信息的情況下，T1＝T2，所以公式11a、公式12a不成立。這樣，參照的2張圖像擁有同一顯示順序信息的情況下作為V1及V2的值使用1/2進行線性預測。
這樣，在參照的2張圖像擁有同一顯示順序信息的情況下，可以采用將預先設定的值作為系數(shù)使用的結構。將預先設定的值作為系數(shù)，可以是如上述的1/2的例子中所示擁有相同的權的系數(shù)。
但是，如上述實施形態(tài)中使用公式10，進行線性預測就必須要有乘法運算及除法運算。因為由公式10進行的線性預測運算對編碼對象塊內(nèi)的所有像素都進行運算，所以加上乘法運算會使處理量大幅度增加。
于是，同實施形態(tài)2的考慮方法一樣，通過使V1及V2近似于2次方，能夠使線性預測的運算只通過位移運算進行，從而達到削減處理量的目的。這種情況下的線性預測式使用公式11b、公式12b代替公式11a、公式12a。其中，v1及v2要取整數(shù)。
V1＝±pow(2，v1)＝ap×((T2-T0)/(T2-T1))(公式1 1b)V2＝±pow(2，v2)＝ap×((T0-T1)/(T2-T1))(公式12b)(pow(2，v1)表示2的v1次方，pow(2，v2)表示2的v2次方)(＝ap×()表示()內(nèi)的值與左邊的值相近似)也可以使用公式11c、公式12c代替公式11a、公式12a。其中，v1要取整數(shù)。
V1＝±pow(2，v1)＝ap×((T2-T0)/(T2-T1))(公式11c)V2＝1-V1(公式12c)(pow(2，v1)表示2的v1次方)(＝ap×()表示()內(nèi)的值與左邊的值相近似)也可以使用公式11d、公式12d代替公式11a、公式12a。其中，v1取整數(shù)。
V1＝1-V2 (公式11d)V2＝±pow(2，v2)＝ap×((T0-T1)/(T2-T1))(公式12d)(pow(2，v2)表示2的v2次方)(＝ap×()表示()內(nèi)的值與左邊的值相近似)2的平方的近似值方法，以公式11b為例，使v1的值逐一變化時，以±pow(2，v1)和(T2-T0)/(T2-T1)最近時的±pow(2，v1)作為所求值。
例如在圖39中，設定編碼對象圖像為16號，由第1參照索引指定的圖像為11號，由第2參照索引指定的圖像為10號，各自的圖像的顯示順序信息則為15、13、10，所以(T2-T0)/(T2-T1)及±pow(2，v1)如下所示。
(T2-T0)/(T2-T1)＝(10-15)/(10-13)＝5/3+pow(2，0)＝1、+pow(2，1)＝25/3與1相比與2的值較近，所以近似的結果V1＝2。
并且，作為其他的近似值的方法，通過顯示順序信息T1及T2的2個值的關系，可轉換使用增值的近似值和降值的近似值。
這種情況下，T1較T2在時間上落后的情況下，對于V1及V2的兩者取增值的近似值，在T1較T2在時間上領先的情況下，對于V1及V2的兩者取舍去的近似值。相反，在T1較T2在時間上落后的情況下，對V1及V2的兩者取舍去的近似值，在T1較T2在時間上領先的情況下，對于V1及V2的兩者取增值的近似值。
并且，作為使用其他的顯示順序信息取近似值的方法，在T1較T2在時間上落后的情況下，在與V1相關的式子中取增值的近似值，在與V2相關的式子中取舍去的近似值。由此因為2個系數(shù)的值相互分離，能夠容易得到適合的外插值。相反，在T1較T2在時間上領先的情況下，在將與V1相關的式子和與V2相關的式子得到的兩者的值進行比較時，在值小的一方取往上進的近似值，在值大的一方取舍去的近似值。由此因為2個系數(shù)的值相互接近，所以容易得到適合的內(nèi)插值。
舉個例子，在圖39中，設定編碼對象圖像為16號、由第1參照索引指定的圖像為11號、由第2參照索引指定的圖像為10號，各自的圖像的顯示順序信息則為15、13、10，由于T1較T2在時間上落后，所以在與V1相關的式子中取往上進的近似值，在與V1相關的式子中取舍去的近似值。結果，公式11b及12b如下所示進行計算。
(1)對于公式11b(T2-T0)/(T2-T1)＝(10-15)/(10-13)＝5/3+pow(2，0)＝1、+pow(2，1)＝2取往上進的近似值的結果V1＝2。
(2)對于公式12b(T0-T1)/(T2-T1)＝(15-13)/(10-13)＝-2/3-pow(2，0)＝-1、-pow(2，-1)＝-1/2取舍去的近似值的結果V2＝-1。上述實施形態(tài)中，線性預測式只有公式10的一個，但也可以與以往的技術中說明的由公式2a及公式2b的2個式子組成的固定式的線性預測方法組合起來使用。在這種情況下，使用公式10代替公式2a，公式2b原封不動進行使用。即，在由第1參照索引指定的圖像在顯示順序中落后于由第2參照索引指定的圖像的情況下使用公式10，除此以外的情況使用公式2b。
并且，相反，也可以使用公式10代替公式2b，原封不動地使用公式2a。即，在由第1參照索引指定的圖像在顯示順序中落后于由第2參照索引指定的圖像的情況下使用公式2a，除此以外的情況使用公式10。但是，此時參照的2張圖像擁有同一顯示順序信息的情況下，使用1/2作為V1及V2的值進行線性預測。
并且，與實施形態(tài)3的考慮方法同樣，可以只將系數(shù)C記述在片頭區(qū)域中用于線性預測。這種情況下使用公式13代替公式10。V1及V2的求值方法與上述實施形態(tài)相同。
P(i)＝V1×(Q1(i)+C1)+V2×(Q2(i)+C2)(公式13)必須進行生成系數(shù)的處理，而且，有必要在片頭區(qū)域內(nèi)將系數(shù)數(shù)據(jù)編碼，但是即使是在V1及V2的精度較低的情況下也能夠通過使用C1及C2進行精度較高的線性預測。特別是在使V1及V2取與2次方近似的值進行線性預測的情況中非常有效。
在使用公式13的情況下的線性預測中，無論是在1個圖像中分配有1個參照索引的情況下，還是在1個圖像中分配有多個參照索引的情況，都可以同樣對待。
在公式11a、公式12a、公式11b、公式12b、公式11c、公式12c、公式11d、公式12d各式的值的計算中，所得值的組合在每個片段中都受到某種程度的限制，所以最好將片段編碼再進行一次運算，由于沒有必要像公式10，公式13那樣對塊的所有像素都進行運算，因此對全體處理量的影響很小。
本發(fā)明的實施形態(tài)中的顯示順序信息，不僅局限于顯示的順序，實施的顯示的時間、以隨著顯示的時間值變大的規(guī)定的圖像為基準的各個圖像的參照順序也可以。
(實施形態(tài)5)對本發(fā)明的實施形態(tài)5中的動態(tài)圖像編碼方法進行說明。由于編碼裝置的結構及編碼的處理流程及參照索引的分配方法與實施形態(tài)1完全相同，這里就省略了具體的說明。
在以往的方法中使用固定式生成預測圖像的情況，和使用線性預測系數(shù)的加權系數(shù)組生成預測圖像的情況下，可以通過記述在代碼串的圖像共同信息部中的標記根據(jù)必要進行替換。
本實施形態(tài)中，對使用標記替換實施形態(tài)1至實施形態(tài)4中說明的各種線性預測方法的方法進行說明。
圖17(a)為將控制上述替換的5個標記(p_flag、c_flag、d_flag、t_flag、s_flag)記述在代碼串中的片頭區(qū)域內(nèi)情況下的結構。
如圖17(b)所示，p_flag是表示加權系數(shù)是否編碼后的標記。并且，c_flag是表示在ref1用及ref2用的參數(shù)中，是否只有與參數(shù)C(C1及C2)相關的數(shù)據(jù)編碼后的標記。并且，t_flag是表示是否使用參照圖像的顯示順序信息生成線性預測的加權系數(shù)的標記。并且，s_flag是表示為了能夠通過位移運算計算線性預測的加權系數(shù)，是否取與2次方近似的值的標記。
并且，d_flag表示的是如公式2a及2b所示，在使用預先設定的2個固定式進行線性預測之際，是否通過由ref1指定的圖像和由ref2指定的圖像的時間上的位置關系進行2式的切換的標記。即，在指定由此標記進行替換的情況下，與以往的方法相同，在由ref1指定的圖像在顯示順序中落后于由ref2指定的圖像的情況下，使用公式2a，除此以外的情況使用公式2b進行線性預測。另一方面，在指定不由此標記進行替換的情況下，與由ref1指定的圖像和由ref2指定的圖像的位置關系無關，通常使用公式2b進行線性預測。
在不替換使用的式子中還可以使用公式2a代替公式2b，在這種情況下能夠采取相同處理。
在圖1所示的編碼裝置中的移動補償編碼單元107中，決定各個片段中與加權系數(shù)組相關的數(shù)據(jù)是否編碼，并據(jù)此將標記p_flag的信息輸出到代碼串生成單元103中，并如圖17(a)所示記述在代碼串中。由此，能夠分別在處理能力高的裝置中使用加權系數(shù)組進行線性預測，在處理能力低的裝置中不使用加權系數(shù)組進行線性預測。
同樣，在圖1所示的編碼裝置中的移動補償編碼單元107中，決定各個片段中是否只有與相當于圖像數(shù)據(jù)的DC成分的參數(shù)C(C1及C2)相關的數(shù)據(jù)編碼，并據(jù)此將標記c_flag的信息輸出到代碼串生成單元103中，并如圖17(a)所示記述在代碼串中。由此，能夠分別在處理能力高的裝置中使用加權系數(shù)組進行線性預測，在處理能力低的裝置中只使用直流成分進行線性預測。
同樣，在圖1所示的編碼裝置中的移動補償編碼單元107中，決定各個片段中使用固定式進行線性預測的情況下，是否替換使用2個式子進行編碼，并據(jù)此將標記d_flag的信息輸出到代碼串生成單元103中，并如圖17(a)所示記述在代碼串中。由此，能夠分別在圖像的亮度在時間上并不變化的情況下只使用單個固定式進行線性預測，在圖像的亮度隨時間變化的情況下替換使用2個固定式進行線性預測。
同樣，在圖1所示的編碼裝置中的移動補償編碼單元107中，決定各個片段中是否使用參照圖像的顯示順序信息生成進行線性預測的系數(shù)，并據(jù)此將標記t_flag的信息輸出到代碼串生成單元103中，并如圖17(a)所示記述在代碼串中。由此，能夠分別在代碼量中尚有空余的情況下將加權系數(shù)組編碼進行線性預測，在代碼量中沒有空余的情況下從顯示順序信息中生成系數(shù)進行線性預測。
同樣，在圖1所示的編碼裝置中的移動補償編碼單元107中，決定各個片段中為了能夠通過位移運算計算線性預測的加權系數(shù)，是否取與2次方近似的值，并據(jù)此將標記s_flag的信息輸出到代碼串生成單元103中，并如圖17(a)所示記述在代碼串中。由此，能夠分別在處理能力高的裝置中不取加權系數(shù)的近似值直接使用進行線性預測，在處理能力低的裝置中使加權系數(shù)使用與2次方近似的值實現(xiàn)通過位移運算進行線性預測。
例如，(1)在(p、c、d、t、s_flag)＝(1、0、0、0、1)的情況下，所有的加權系數(shù)組經(jīng)過編碼，如實施形態(tài)2中說明的那樣，通過用2次方表示系數(shù)，只由位移運算進行線性預測，并生成預測圖像。
并且，(2)在(p、c、d、t、s_flag)＝(1、1、1、0、0)的情況下，只有與參數(shù)C(C1及C2)相關的數(shù)據(jù)經(jīng)過編碼，使用通過實施形態(tài)3中說明的向固定式中加入系數(shù)C生成預測圖像的方法，而且替換使用2個固定式。
并且，(3)在(p、c、d、t、s_flag)＝(0、0、0、0、0)的情況下，加權系數(shù)組不經(jīng)過編碼。即，使用只使用以往方法的固定式中的2b生成預測圖像的方法。
并且，(4)在(p、c、d、t、s_flag)＝(0、0、1、1、1)的情況下，加權系數(shù)組不經(jīng)過編碼，但如實施形態(tài)2說明的那樣，從參照圖像的顯示順序信息中生成加權系數(shù)，而且通過使系數(shù)與2次方近似只由位移運算進行線性預測，而且替換使用2個固定式生成預測圖像。
在上述實施形態(tài)中使用每個由1比特組成的5個標記(p_flag、c_flag、d_flag、t_flag、s_flag)進行判別，也可以1個由5比特組成的標記代替5個標記進行判別。并且，在這種情況下，并不是表示現(xiàn)為5比特而能夠使用可變長編碼進行編碼。
在上述實施形態(tài)中全部使用每個由1比特組成的5個標記(p_flag、c_flag、d_flag、t_flag、s_flag)，在只使用其中1部分的標記進行線性預測方法的切換的情況下也能夠同樣對待。這種情況下，圖17(a)所示標記只將必要的對象編碼并記述。
在以往的方法中，替換使用固定式的預測圖像的生成和使用線性預測系數(shù)的加權系數(shù)組的預測圖像的生成的標記設置在代碼串的圖像共同信息部分，能夠以圖像單位進行替換。但是，這種方法只能每個圖像切換一次預測圖像的生成方法。
但是，在本實施形態(tài)中，將該切換標記設置在代碼串的片頭，對于構成圖像的每一個片段都能夠以任意方法替換生成預測圖像，例如，在擁有復雜圖像的片段中進行使用加權系數(shù)組的預測圖像的生成，在擁有簡單圖像的片段中進行使用固定式的預測圖像的生成，由此能夠一直將處理量的增加限制在最小值并達到提高畫面質(zhì)量的目的。
在上述實施形態(tài)中，將5個標記(p_flag、c_flag、d_flag、t_flag、s_flag)記述在片頭區(qū)域內(nèi)對每個片段進行判別，通過將這些標記記述在圖像共同信息區(qū)域內(nèi)，能夠以圖像單位進行切換。并且，通過在每個構成片段的塊中設置切換標記，從而能夠以塊單位通過最適合的方法進行預測圖像的生成。
本發(fā)明的實施形態(tài)中的顯示順序信息，不僅局限于顯示的順序，實施的顯示的時間、以隨著顯示的時間值變大的規(guī)定的圖像為基準的各個圖像的參照順序也可以。
(實施形態(tài)6)圖2是表示本發(fā)明實施形態(tài)6中的動態(tài)圖像解碼裝置的結構的方框圖。下面將使用圖2所示的方框圖對該動態(tài)圖像解碼裝置中的動態(tài)圖像解碼方法以(1)解碼的概要(2)參照索引的分配方法(3)預測圖像的生成方法的順序進行說明。但是，在以下的說明中，將以實施形態(tài)1的動態(tài)圖像編碼方法中生成的代碼串作為輸入對象。
(1)解碼的概要首先從輸入的代碼串中通過代碼串解析單元201，從片頭區(qū)域中將線預測用加權系數(shù)組的數(shù)據(jù)列、及參照索引分配用指令列，從塊編碼信息區(qū)域中將參照索引及移動矢量信息及預測誤差編碼數(shù)據(jù)等各種信息抽出。圖6是表示上述編碼信息包含在代碼串中的情況的圖。
由代碼串解析單元201中抽出的線性預測用的加權系數(shù)組的數(shù)據(jù)列被輸出到線性預測系數(shù)存儲單元206中、參照索引分配用指令列被輸出到參照索引·圖像編號變換單元207中、參照索引被輸出到移動補償解碼單元204中、移動矢量信息被輸出到移動矢量存儲單元205中，預測誤差編碼信號被輸出到預測誤差解碼單元部202中。
在預測誤差解碼單元部202中對輸入的誤差編碼信號實施逆量化、逆頻率變換等圖像解碼處理，并輸出誤差解碼信號。在加法運算部208中進行上述誤差解碼信號和從移動補償解碼單元204輸出的預測圖像信號的加法運算生成再構成圖像信號，得到的再構成圖像信號為在以后的畫面間預測中用于參照、及表示用輸出，被存儲在圖像存儲器203中。
在移動補償解碼單元204中，使用從移動矢量存儲單元205中輸入的移動矢量及從代碼串解析單元201中輸入的參照索引，從存儲在圖像存儲器203中的再構成圖像信號中取出最適合于預測圖像的圖像區(qū)域。此時，在參照索引·圖像編號變換單元207中，通過對應由代碼串解析單元201中得到參照索引和圖像編號，指定圖像存儲器203中的參照圖像。
參照索引·圖像編號變換單元207中動作的詳細情況在(2)中進行詳細說明。對于得到的圖像區(qū)域的像素值在移動補償解碼單元204中通過實施線性預測的插值處理等像素值變換處理生成最終的預測圖像。此時使用的線性預測系數(shù)通過從存儲在線性預測系數(shù)存儲單元206的數(shù)據(jù)中以參照索引作為檢索線索獲得。
對于這種預測圖像生成方法，將在(3)中詳細說明。
由上述一系列處理生成的解碼圖像被存儲在圖像存儲器203中，并根據(jù)表示的時間作為表示用圖像信號輸出。
以上的處理流程是在進行畫面間預測解碼情況下的動作，由開關209進行和畫面內(nèi)預測解碼的切換。在進行畫面內(nèi)解碼的情況下，不進行由移動補償?shù)念A測圖像的生成，通過從同一畫面內(nèi)的解碼完畢區(qū)域生成解碼對象區(qū)域的預測圖像并進行加法運算生成解碼圖像。解碼圖像同畫面間預測解碼的情況一樣，被存儲在圖像存儲器203中，并根據(jù)表示的時間作為表示用圖像信號輸出。
(2)參照索引的分配方法下面使用圖3、圖4對圖2中的參照索引·圖像編號變換單元207中的參照索引分配方法進行說明。
圖3是說明與圖像編號相對的2個參照索引的分配方法的圖。在出現(xiàn)如圖所示顯示順序排列的圖像列時，圖像編號被分配給解碼順序。將圖像指數(shù)分配給圖像編號的指令記述在將圖像進一步分割的解碼單位的片頭中，每對一個片段進行解碼分配方法就會更新一次。上述指令只通過參照索引的數(shù)連續(xù)指示剛剛分配給參照索引的圖像編號和現(xiàn)在正在進行分配的圖像編號之間的差分值。
使用圖3的第1參照索引的例子，首先由于作為指令被付與“-1”，通過從作為現(xiàn)在編碼對象的圖像編號16中減去1，圖像編號15號被分配給參照索引0號。接下來由于被付與“-4”，通過從剛剛進行分配的圖像編號15號中減去4，圖像編號11號被分配給參照索引1號。以下通過同樣的處理進行各圖像編號的分配。第2參照索引的情況也是同樣。
在圖34所示的由以往的方法進行的參照索引分配方法中，所有的參照索引分別與各自的圖像編號相對應。另一方面，在圖3的例子中，分配方法使用與以往完全相同的方法，通過變更指令的值使多個參照索引號碼對應同一圖像編號。
圖4表示進行參照索引分配的結果。第1參照索引及第2參照索引都分別獨立被分配在各個圖像編號中，可以看到一個圖像編號被分配有多個參照索引。在本發(fā)明的解碼方法中，像該例子那樣分配有多個參照索引的圖像編號至少有1個以上。
如果在只使用參照索引決定參照圖像的情況下，像以往方法那樣一個參照索引分配給一個圖像編號的分配方法是解碼效率最好的方法。但是，在使用參照索引選擇預測圖像生成中線性預測系數(shù)的加權系數(shù)組的情況下，以往的方法在擁有相同參照圖像的所有塊中必須使用相同的線性預測系數(shù)，所以無法生成最適合的預測圖像的可能性非常高。而在本發(fā)明中通過能夠將多個參照索引分配給1個圖像編號，即使是在擁有相同參照圖像的情況下，也能從每個塊中多個線性預測系數(shù)的加權系數(shù)組的候選中選擇出最適合的系數(shù)，進而能夠生成預測精度更高的預測圖像。
在以上的說明中，在被付與圖像編號的情況下，所有的參照圖像都儲存在參照用存儲器中，圖像編號只在進行編碼之前的圖像被存儲的情況下，值逐一增加，即使在出現(xiàn)無法存儲的圖像的情況下，也能夠保持參照存儲器內(nèi)的圖像編號的連續(xù)性，能夠原封不動的使用上述方法。
(3)預測圖像的生成方法下面將使用圖5對圖2的移動補償解碼單元204中的預測圖像生成方法進行說明。由線性預測進行的預測圖像生成方法與以往的方法完全相同，但由于能夠讓同一圖像對應多個參照索引號碼，可以提高選擇線性預測系數(shù)時的自由度。
圖像B16是作為現(xiàn)在解碼的對象的B圖像，塊BL01及塊BL02是屬于所述B圖像的解碼對象的塊。BL01將第1參照圖像作為圖像P1、將第2參照圖像作為圖像B15、并參照屬于各自圖像的塊BL11及BL21制作預測圖像。同樣，BL02將第1參照圖像作為圖像P11、將第2參照圖像作為圖像B15、并參照屬于各自圖像的塊BL12及BL22制作預測圖像。
第1參照圖像及第2參照圖像參照和BL01、BL02一起參照相同的內(nèi)容，通過使用(2)中說明的參照索引的分配方法，第1參照索引ref1及第2參照索引ref2可以由BL01和BL02取得不同的值。以圖4為例，與圖像編號11對應的第1參照索引分配有1和3，與圖像編號15對應的第2參照索引分配有1和6。結果，這些參照索引的組合如(ref1、ref2)＝(1、1)、(1、6)、(3、1)、(3、6)所示4種，能夠每塊選擇從其中導出最適合的加權系數(shù)組的組合。圖5中的例子，BL01設定為ref1＝1、ref2＝1、BL02設定為ref1＝3、ref2＝6。
在由圖35中以往的方法對應的參照索引的組合中，在圖5所示例中由于BL01、BL02共同只能選擇(ref1、ref2)＝(1、1)的組合，能夠選擇的線性預測系數(shù)的加權系數(shù)組也只有1種。另一方面，由于本發(fā)明中選擇范圍擴展到了4種，所以選擇最適合的加權系數(shù)組的可能性變得更高。
1個圖像代碼串，由圖像共同信息區(qū)域及多個片段數(shù)據(jù)區(qū)域結構。圖6表示的是其中的片段數(shù)據(jù)區(qū)域的結構。而片段數(shù)據(jù)區(qū)域是由片頭區(qū)域及多個塊數(shù)據(jù)區(qū)域結構。這里作為塊數(shù)據(jù)區(qū)域的例子，如圖5中所示的與BL01、BL02相對應的各塊的區(qū)域。
包含在BL01中的ref1及ref2，分別指示該塊指定參照的2張圖像的第1參照索引及第2參照索引。并且，為分配給片頭區(qū)域進行所述線性預測的加權系數(shù)組的數(shù)據(jù)(pset0、pset1、pset2、……)在ref1用及ref2用中分別有記述。此時的pset能夠只設定為與(2)中說明的參照索引的個數(shù)相同的數(shù)。即，如圖3所示使第1參照索引、第2參照索引共同使用從0到9的10個數(shù)字的情況下，pset也可以與ref1用、ref2用共同設定為從0到9的10個數(shù)字。
圖7表示的是包含在所述片頭區(qū)域內(nèi)的所述加權系數(shù)組的例子。由標識符pset表示的各個數(shù)據(jù)擁有w1、w2、c、d的4個值，并且通過ref1及ref2的值可以直接進行參照。并且，在片頭區(qū)域中記載有為將所述參照索引分配到圖像符號中的指令列idx_cmd1及idx_cmd2。
通過圖6的BL01中所述的ref1及ref2，可以從圖7的ref1用及ref2用圖表中分別選擇1組的加權系數(shù)組。通過使用該2組加權系數(shù)組對參照圖像的像素值進行線性預測生成預測圖像。
這里，將對決定加權系數(shù)組生成預測圖像為止的處理流程進行詳細說明。
圖18是表示在圖2的線性預測系數(shù)存儲單元206及移動補償解碼單元204中生成預測圖像的功能結構的功能方框圖。
通過線性預測系數(shù)存儲單元206a、線性預測系數(shù)存儲單元206b、平均值計算單元204a、及線性預測計算單元204b生成預測圖像。
平均值計算單元204a通過線性預測系數(shù)存儲單元206a獲得根據(jù)代碼串解析單元201中輸出的ref1所選擇的1組加權系數(shù)組(w1_1、w2_1、c_1、d_1)，同樣從線性預測系數(shù)存儲單元206b獲得根據(jù)代碼串解析單元201輸出的ref2所選擇的1組加權系數(shù)組(w1_2、w2_2、c_2、d_2)。
平均值計算單元204a，取由線性預測系數(shù)存儲單元206a、206b獲得的各自的加權系數(shù)組的每個參數(shù)的平均值，作為實際線性預測使用的加權系數(shù)組(w1、w2、c、d)，輸出到線性預測計算單元204b中。線性預測計算單元204b以得到的加權系數(shù)組(w1、w2、c、d)為基礎，使用公式1運算預測圖像并輸出。
并且，圖19是表示生成預測圖像的其他功能結構的功能方框圖。通過線性預測系數(shù)存儲單元206a、線性預測系數(shù)存儲單元206b、線性預測計算單元204c、線性預測計算單元204d、及平均值計算單元204e生成預測圖像。
線性預測計算單元204c通過線性預測系數(shù)存儲單元206a獲得根據(jù)代碼串解析單元201輸出的ref1所選擇的1組加權系數(shù)組(w1_1、w2_1、c_1、d_1)，以其加權系數(shù)組為基礎，使用公式1運算預測圖像并輸出到平均值計算單元204e中。
同樣，線性預測計算單元204d通過線性預測系數(shù)存儲單元206b獲得根據(jù)代碼串解析單元201輸出的ref2所選擇的1組加權系數(shù)組(w1_2、w2_2、c_2、d_2)，以其加權系數(shù)組為基礎使用公式1運算預測圖像，并輸出到平均值計算單元204e中。
平均值計算單元204e，取分別由線性預測計算單元204c、線性預測計算單元204d輸出的預測圖像的各像素的平均值，生成最終的預測圖像并輸出。
圖20(a)是表示生成預測圖像的其他功能結構的功能方框圖。通過線性預測系數(shù)存儲單元206c、線性預測系數(shù)存儲單元206d、平均值計算單元204f、線性預測計算單元204g生成預測圖像。
平均值計算單元204f，在根據(jù)代碼串解析單元201輸出的ref1所選擇的1組加權系數(shù)組(w1_1、w2_1、c_1、d_1)中，c_1、d_1的參數(shù)由線性預測系數(shù)存儲單元206c獲得，同樣在根據(jù)代碼串解析單元201輸出的ref2所選擇的1組加權系數(shù)組(w1_2、w2_2、c_2、d_2)中，c_2、d_2的參數(shù)由線性預測系數(shù)存儲單元206d獲得。平均值計算單元204f，計算出由線性預測系數(shù)存儲單元206c及線性預測系數(shù)存儲單元206d獲得的c_1和c_2的平均值，d_1和d_2的平均值，求出c、d并輸出到線性預測計算單元204g中。
并且，線性預測計算單元204g，在所述加權系數(shù)組(w1_1、w2_1、c_1、d_1)中，由線性預測系數(shù)存儲單元206c獲得w1_1的參數(shù)，在所述加權系數(shù)組(w1_2、w2_2、c_2、d_2)中，由線性預測系數(shù)存儲單元206d獲得w2_2的參數(shù)，由平均值計算單元204f求得各自的平均值獲得c、d，并使用公式1運算預測圖像并輸出。
即，線性預測計算單元204g，在由線性預測系數(shù)存儲單元206c得到的加權系數(shù)組(w1_1、w2_1、c_1、d_1)和由線性預測系數(shù)存儲單元206d得到的加權系數(shù)組(w1_2、w2_2、c_2、d_2)中，在實際中決定線性預測中使用的加權系數(shù)組(w1、w2、c、d)時，使用下述的規(guī)則。
w1＝w1_1，w2＝w2_2，c＝(c_1和c_2的平均值)，d＝(d_1和d_2的平均值)圖20(b)是表示生成預測圖像的其他功能結構的功能方框圖。通過線性預測系數(shù)存儲單元206e、線性預測系數(shù)存儲單元206f、線性預測計算單元204h生成預測圖像。
線性預測計算單元204h，在根據(jù)代碼串解析單元201輸出的ref1所選擇的1組加權系數(shù)組(w1_1、w2_1、c_1、d_1)中，一部分的w1_1、c_1、d_1的參數(shù)由線性預測系數(shù)存儲單元206e獲得，同樣在根據(jù)代碼串解析單元201輸出的ref2所選擇的1組加權系數(shù)組(w1_2、w2_2、c_2、d_2)中，一部分的w2_2的參數(shù)由線性預測系數(shù)存儲單元206f獲得。線性預測計算單元204h，以通過線性預測系數(shù)存儲單元206e及線性預測系數(shù)存儲單元206f獲得的w1_1、c_1、d_1、w2_2為基礎，使用公式1運算預測圖像并輸出。
即，線性預測計算單元204h，在由線性預測系數(shù)存儲單元206e得到的加權系數(shù)組(w1_1、w2_1、c_1、d_1)和由線性預測系數(shù)存儲單元206f得到的加權系數(shù)組(w1_2、w2_2、c_2、d_2)中，在實際決定線性預測中使用的加權系數(shù)組(w1、w2、c、d)時，使用下述的規(guī)則。
w1＝w1_1，w2＝w2_2，c＝c_1，d＝d_1并且，能夠將w1、w2、c、d的參數(shù)中的1個或多個作為固定值使用。圖21表示的是與圖20(a)中的功能結構相對，只將d作為固定值使用的情況下的功能方框圖。通過線性預測系數(shù)存儲單元206g、線性預測系數(shù)存儲單元206h、平均值計算單元204i、線性預測計算單元204j生成預測圖像。
通過第1參照索引ref1從線性預測系數(shù)存儲單元206g中選擇的系數(shù)只有(w1_1、c_1)，通過第2參照索引ref2從線性預測系數(shù)存儲單元206h中選擇的系數(shù)只有(w2_2、c_2)。平均值計算單元204i，計算出由線性預測系數(shù)存儲單元206g及線性預測系數(shù)存儲單元206h獲得的c_1和c_2的平均值，求出c并輸出到線性預測計算單元204j中。
并且，線性預測計算單元204j，通過線性預測系數(shù)存儲單元206g獲得w1_1的參數(shù)，通過線性預測系數(shù)存儲單元206h獲得w2_2的參數(shù)，通過平均值計算單元204i獲得c的參數(shù)，作為d的參數(shù)使用事先決定的固定值，并使用公式1計算預測圖像并輸出。這種情況下，公式1可以如實施形態(tài)1說明的那樣，如公式1b一樣變形進行處理。
作為d的值使用的預先決定的固定值，通?？梢允褂孟嗤闹担诰幋a裝置中的片頭中記述有所述固定值的情況下，能夠通過在編碼列解析部201中抽出所述固定值對每個片段進行替換。同樣，能夠通過將其記述在圖像共同信息區(qū)域或序列共同信息區(qū)域中對每個圖像或每個序列進行替換。
所述解碼方法是與擁有2幅參照圖像的B圖像相關，但在只擁有1幅參照圖像的P圖像及B圖像中的單一圖像參照解碼模式中也能夠進行同樣的處理。在這種情況下只使用第1參照索引或第2參照索引的任何一方，圖6的代碼串中的片頭區(qū)域中的pset及idx_cmd，根據(jù)塊數(shù)據(jù)區(qū)域中記述的參照索引，只記述為ref1用或ref2用。并且，線性預測的方法使用下述的公式3或公式4替換以往方法中說明的公式1。
在使用公式1及公式3的情況下，需要w1、w2、c、d的4個參數(shù)，在使用公式4的情況下，能夠只由w1、c、d的3個參數(shù)進行線性預測。即，象P圖像一樣在圖像全體中只使用第1參照索引或第2參照索引的任何一方的情況下，能夠使記述在片頭區(qū)域內(nèi)的加權系數(shù)組的數(shù)據(jù)的項目數(shù)分別以每3個減少。
在使用公式3的情況下，能夠在B圖像和P圖像中不改變結構而實現(xiàn)與兩方對應的線性預測。并且，在使用公式4的情況下，能夠削減記述在P圖像的片頭區(qū)域內(nèi)的數(shù)據(jù)量，進而能夠削減處理量達到使計算簡單化的目的。但是，由于無論在哪種方法中，都能夠原封不動地適用本發(fā)明中提出的參照索引的分配方法，所以能夠生成解碼效率較高的預測圖像，對圖像的解碼非常有效。
但是，在移動補償中的參照圖像，是由指定被分配到各個圖像中的參照索引決定的。此時，將可能參照的圖像的最大張數(shù)記述在代碼串的圖像共同信息部分。
圖38是記述能夠參照的圖像的最大張數(shù)的代碼串的模式圖。如圖所示在代碼串的圖像共同信息中記述ref1用的圖像的最大數(shù)Max_pic1和ref2用的圖像的最大數(shù)Max_pic2。
解碼中必要的信息，并不是實際中圖像的最大張數(shù)，而是為指定圖像而使用的參照索引的取得最大值。
在以往的方法中，由于1個圖像中只被分配給1個參照索引，通過記述所述的圖像的最大張數(shù)不會產(chǎn)生矛盾，特別象本發(fā)明一樣，在多個參照索引被分配給圖像編號的情況下，其差異會造成很大影響。
如上文所述，代碼串中記述有為將參照索引分配到圖像編號中的指令列idx_cmd1、及idx_cmd2。以該指令列idx_cmd1、及idx_cmd2和各個指令為基礎，使圖像編號和參照索引相對應。此時，通過得知參照索引的最大值，能夠明白所有的參照索引與圖像編號都已進行了對應，能夠得知指令列idx_cmd1、及idx_cmd2中的指令的終端。
在本發(fā)明的實施形態(tài)中，將可利用的參照索引的最大數(shù)代替以往的圖像最大張數(shù)記述在圖像的開頭的圖像共同信息部分。
圖23表示的是將參照索引的最大數(shù)記述在圖像的代碼串的圖像共同信息中的狀態(tài)。在圖像的共同信息部分中，記述有ref1用的可利用參照索引的最大數(shù)Max_idx1和ref2用的可利用參照索引的最大數(shù)Max_idx2。
在圖23中，在圖像共同信息中記述有參照索引的最大數(shù)，在此之上，也可以采用在片段數(shù)據(jù)區(qū)域內(nèi)記述參照索引最大數(shù)的結構。例如，圖像的參照索引的最大數(shù)是8，該圖像的片段1中必要的參照索引的最大數(shù)是8，片段2中必要的參照索引的最大值是4，在根據(jù)片段必要的參照索引的最大數(shù)與被記述到圖像共同信息區(qū)域中的最大數(shù)不同的情況下，能夠明確表示每個片段必要的參照索引的最大數(shù)。
即，將記述在圖像共同信息中的參照索引的最大數(shù)作為圖像中的各個片段中共同的默認值，必要的參照索引的最大數(shù)對于與默認值不同的片段也可以記述在片頭中。
圖23及圖38表示的是將圖像共同信息區(qū)域和片段數(shù)據(jù)區(qū)域總括到一起作為代碼串的例子，但圖像共同信息區(qū)域和片段數(shù)據(jù)區(qū)域能夠分別作為獨立的代碼串，這種情況下也能夠進行完全相同的處理。
(實施形態(tài)7)將對本發(fā)明的實施形態(tài)7中的動態(tài)圖像解碼方法進行說明。由于解碼裝置的結構及解碼的處理流程及參照索引的分配方法與實施形態(tài)6完全相同，這里就省略了具體的說明。
在實施形態(tài)6中，在移動補償中生成預測圖像之際，使用公式1或公式3或公式4進行每個像素的線性預測。但是，這些式子中都包含有乘法運算處理，若對所有的像素進行這樣的運算，處理量會變得非常大。
于是使用公式5代替公式1、使用公式6代替公式3、公式7代替公式4。因為這些式子不使用乘法運算而只進行位移運算，所以能夠縮小處理量。
與實施形態(tài)6相同，在同時參照2張圖像生成預測圖像時使用公式5，在只參照1張圖像生成預測圖像時使用公式6或公式7。由于在這些式子中需要表示正負的符號的標識符，所以預測運算必要的加權系數(shù)組，在公式5及公式6的情況下為(sign1、m、sign2、n、c)，在公式7的情況下為(sign1、m、c)。sign1是識別第1個正負符號的參數(shù)，sign2是識別第2個正負符號的參數(shù)。參數(shù)的個數(shù)比實施形態(tài)3有所增加，但由于sign1及sign2分別以1比特的形式出現(xiàn)，所以代碼量幾乎沒有增加。
在這里對到?jīng)Q定加權系數(shù)組，使用公式5同時參照2張圖像生成預測圖像為止的處理流程進行詳細說明。
首先，對生成預測圖像的功能結構的圖18的情況進行說明。平均值計算單元204a，通過線性預測系數(shù)存儲單元206a得到加權系數(shù)組(sign1_1、m_1、sign2_1、n_1、c_1)。并且，平均值計算單元204a，通過線性預測系數(shù)存儲單元206b得到加權系數(shù)組(sign1_2、m_2、sign2_2、n_2、c_2)。
平均值計算單元204a，求出通過線性預測系數(shù)存儲單元206a、線性預測系數(shù)存儲單元206b得到的加權系數(shù)組的每個參數(shù)的平均值，作為加權系數(shù)組(sign1、m、sign2、n、c)。線性預測計算單元204b，以平均值計算單元204a輸出的加權系數(shù)組(sign1、m、sign2、n、c)為基礎，使用公式5運算預測圖像。
圖18中記載的由線性預測系數(shù)存儲單元206a等得到的加權系數(shù)組(w1_1、w2_1、c_1、d_1)等，是實施形態(tài)6中說明的公式1的情況下的例子，雖說圖中未顯示對于使用公式5求預測圖像的情況下參數(shù)，但可以原封不動地直接替換。在以下說明的圖19、圖20的情況中也是一樣。
下面，將對生成預測圖像的功能結構的圖19的情況進行說明。線性預測計算單元204c，以由線性預測系數(shù)存儲單元206a得到的加權系數(shù)組(sign1_1、m_1、sign2_1、n_1、c_1)為基礎運算預測圖像。線性預測計算單元204d，以由線性預測系數(shù)存儲單元206b得到的加權系數(shù)組(sign1_2、m_2、sign2_2、n_2、c_2)為基礎運算預測圖像。平均值計算單元204e，求出線性預測計算單元204c、204d各自運算的預測圖像的各像素的平均值，作為預測圖像。
在這種情況下，線性預測計算單元204c，由于以加權系數(shù)組(sign1_1、m_1、sign2_1、n_1、c_1)為基礎使用公式5，最初運算預測圖像，能夠不使用乘法運算，通過位移運算進行計算。線性預測計算單元204d也是同樣。另一方面，在圖18的情況下，由于最初求得加權系數(shù)組(sign1_1、m_1、sign2_1、n_1、c_1)和加權系數(shù)組(sign1_2、m_2、sign2_2、n_2、c_2)的平均值，會出現(xiàn)m_1和m_2的平均值或n_1和n_2的平均值不是整數(shù)的情況下，即由于2的指數(shù)部分不是整數(shù)，很有可能導致處理量增多。并且，為了使2的指數(shù)部分成為整數(shù)而進行舍入處理，也會導致誤差增大。
下面將對生成預測圖像的功能結構的圖20(a)的情況進行說明。線性預測計算單元204g，將由線性預測系數(shù)存儲單元206c得到的用于位移運算的系數(shù)的參數(shù)sign1_1、m_1，由線性預測系數(shù)存儲單元206c得到的用于位移運算的系數(shù)的參數(shù)sign2_2、n_2，由各線性預測系數(shù)存儲單元206c、206d得到的參數(shù)c_1和c_2，以平均值計算單元204f平均求得的平均值c為基礎，使用公式9運算預測圖像。
在這種情況下，因為用于位移運算的系數(shù)，是直接由線性預測系數(shù)存儲單元206c或線性預測系數(shù)存儲單元206d得到的值，所以公式5中2的指數(shù)部分是整數(shù)。因此，能夠通過位移運算進行計算，可以縮小處理量。
下面將對生成預測圖像的功能結構的圖20(b)的情況進行說明。線性預測計算單元204h，以由線性預測系數(shù)存儲單元206e得到的參數(shù)sign1_1、m_1、c_1，和由線性預測系數(shù)存儲單元206f得到的參數(shù)sign2_2、n_2為基礎，使用公式9運算預測圖像。
在這種情況下，因為用于位移運算的系數(shù)，是直接由線性預測系數(shù)存儲單元206e或線性預測系數(shù)存儲單元206f得到的值，所以公式5中2的指數(shù)部分是整數(shù)。因此，能夠通過位移運算進行計算，可以縮小處理量。
在圖20(a)(b)的情況下，有和實施形態(tài)3中的圖10(a)(b)的說明一樣的不用附加在代碼串中發(fā)送的參數(shù)，能夠縮小代碼串。
以上是使用實施形態(tài)7中說明的線性預測式，能夠不使用乘法運算通過位移運算進行計算，因此與實施形態(tài)6相比能夠大幅度削減處理量。
在上述實施形態(tài)中，旨在通過使用公式5、公式6、公式7代替公式1、公式3、公式4，編碼參數(shù)組合也使用(sign1、m、sign2、n、c)代替(w1、w2、c、d)，進行線性預測，實現(xiàn)只通過位移運算削減處理量的目的。作為其他的方法，原封不動地使用公式1、公式3、公式4及(w1、w2、c、d)，通過限制將w1及w2作為只可選擇的位移運算的可能值，采用與實施形態(tài)6完全相同的結構也能夠實現(xiàn)只通過位移運算削減處理量的目的。
并且，作為進一步限定的方法，通常將w1及w2作為1選擇進行限制，能夠輸入只擁有直流成分的c1及c2中任意一值的代碼串。以圖21的結構的情況為例，將作為ref1用的(1、c_1)、作為ref2用的(1、c_2)作為參數(shù)組合進行編碼。在這種情況下，預測圖像的像素值P(i)，將由(公式1a)中的w1_1及w2_2替換1的下面的式子求出。
P(i)＝(Q1(i)+Q2(i))/pow(2，d)+(c_1+c_2)/2(pow(2，d)表示的是2的d次方)由此能夠以同實施形態(tài)6完全相同的結構，達到削減線性預測處理量的目的。
圖24表示的是在圖像的代碼串的圖像共同信息中記述有表示是否可能只通過位移運算進行線性預測的標記sft_flg，及表示是否可能只通過直流成分c進行線性預測的標記dc_flg的情況下，在解碼裝置中通過參照這些標記，能夠利用適合于只通過位移運算進行線性預測的結構進行解碼，能夠利用適合于只通過直流成分進行線性預測的結構進行解碼，因此根據(jù)解碼裝置的結構能夠大幅度削減處理量。
(實施形態(tài)8)將對本發(fā)明的實施形態(tài)8中的動態(tài)圖像解碼方法進行說明。由于解碼裝置的結構及解碼的處理流程及參照索引的分配方法與實施形態(tài)6完全相同，這里就省略了具體的說明。
如以往技術中說明的那樣，并不是使用實施形態(tài)6及實施形態(tài)7那樣由線性預測系數(shù)的加權系數(shù)組求得的預測式生成預測圖像，而是采用使用公式2a及公式2b那樣預先決定的固定式求出預測圖像的方法。使用這種方法，其優(yōu)點在于不必將求預測圖像時的加權系數(shù)組編碼并發(fā)送，所以能夠減少編碼量。并且，由于線性預測的計算式簡單，只通過很少的處理量就能夠大幅度削減線性預測。但是，由于使用這種固定的方法，能夠選擇的線性預測式只有公式2a及公式2b兩種，所以存在預測精度變差的問題。
于是在本實施形態(tài)中使用公式8a、8b代替公式2a、公式2b。這些式子在公式2a、公式2b中加入了C1及C2。因為在運算上只是增加了加法運算的次數(shù)，與原式相比處理量幾乎沒有增加。
公式8a、8b是同時參照2張圖像生成預測圖像時的預測式，在參照1張圖像生成預測圖像時，本實施形態(tài)中將使用公式9代替說明的公式3、公式4。
使用這種方法所必需的加權系數(shù)組，只有作為ref1用的(C1)和作為ref2用的(C2)。因此，在使用這種方法情況下的圖像的代碼串的例子如圖14所示，在片頭區(qū)域中分別記述有ref1用和ref2用進行線性預測的加權系數(shù)組(pset0、pset1、pset2、……)，各個加權系數(shù)組的內(nèi)容只成為C。同樣，圖15表示的是包含在所述片頭區(qū)域內(nèi)的加權系數(shù)組的例子，與圖7不同，各個加權系數(shù)組的要素只是C。
圖22是表示圖2的線性預測系數(shù)存儲單元206、及移動補償解碼單元204中生成預測圖像的功能結構的功能方框圖。
通過線性預測系數(shù)存儲單元206a、線性預測系數(shù)存儲單元206b、及線性預測計算單元204a生成預測圖像。
根據(jù)代碼串解析單元201輸出的第1參照索引ref1及第2參照索引ref2，獲得分別擁有線性預測系數(shù)存儲單元206a及206b的1個結構要素的加權系數(shù)組(C1)及(C2)。將那些值輸入到線性預測計算單元204a中，使用公式8a、8b進行線性預測，并生成預測圖像。
同樣，在只參照1張圖像進行線性預測的情況下，只由圖22的ref1或ref2的任何一個獲得加權系數(shù)組(C1)或(C2)，使用公式9進行線性預測，生成預測圖像。
這樣，由于本實施形態(tài)使用的參數(shù)的數(shù)量只要ref1用、ref2用每個有一個就可以，所以能夠削減記述在代碼串中的數(shù)據(jù)量。并且，因為線性預測式不需要采用乘法運算等復雜的運算，能夠將運算量抑制在最小限度。并且通過使用C1及C2系數(shù)可以大幅度改善使用以往的固定式的方法中預測精度差的缺點。
本實施形態(tài)中說明的線性預測方法，與多個參照索引是否能夠參照同一圖像無關，都可以使用。
(實施形態(tài)9)對本發(fā)明的實施形態(tài)9中的動態(tài)圖像解碼方法進行說明。由于解碼裝置的結構及解碼的處理流程及參照索引的分配方法與實施形態(tài)6完全相同，這里就省略了具體的說明。
各個圖像和圖像編號一起被分配給顯示的時間或表示代替其對象的顯示順序信息。圖39是并列表示其中1例的圖像編號和顯示順序信息的圖。顯示順序信息根據(jù)顯示順序被分配某個值。在該圖中的例子中，使用的是每1個圖像增加1的值。使用這些顯示順序信息生成進行線性預測所用系數(shù)的值的方法在實施形態(tài)9中進行說明。
在實施形態(tài)6中，在移動補償中生成預測圖像之際，使用公式1或公式3或公式4對每個像素進行線性預測。但是，為進行這些線性預測需要有系數(shù)的數(shù)據(jù)，在上述實施形態(tài)中，作為片頭區(qū)域中的加權系數(shù)組在代碼串中記述有系數(shù)的數(shù)據(jù)，并用于預測圖像的制作。但是，在得到較高的編碼效率的反面，有必要進行制作加權系數(shù)組的數(shù)據(jù)的處理，并且，由于將加權系數(shù)組記述在代碼串中，會出現(xiàn)導致比特量增加的現(xiàn)象。
于是可以使用公式10、公式11a、公式12a代替公式1進行線性預測。由于這些式子可以只從各幅參照圖像擁有的顯示順序信息中決定加權系數(shù)，所以沒有必要另外將加權系數(shù)組編碼。
舉個例子在圖39中，設定編碼對象圖像為16號、由第1參照索引指定的圖像為11號、由第2參照索引指定的圖像為10號，各自的圖像的顯示順序信息則為15、13、10，所以成為下列的線性預測式。
V1＝(10-15)/(10-13)＝5/3V2＝(15-13)/(10-13)＝-2/3P(i)＝5/3×Q1(i)-2/3×Q2(i)與利用使用公式1的加權系數(shù)組進行線性預測的方法比較系數(shù)值的自由度較低，所以可以說很難生成最適合的預測圖像，但是與通過2張參照圖像的位置關系切換由使用公式2a、公式2b兩個式子組成的固定式的方法相比較，能夠生成效率更高的線性預測式。
在第1參照索引及第2參照索引參照同一圖像的情況下，T1＝T2，所以公式11a、公式12a不成立。于是，參照的2張圖像擁有同一顯示順序信息的情況下作為V1及V2的值使用1/2進行線性預測。這種情況下的線性預測式如下文所述。
V1＝1/2V2＝1/2P(i)＝1/2×Q1(i)+1/2×Q2(i)
并且，在第1參照索引及第2參照索引參照不同的圖像，那些圖像擁有同一顯示順序信息的情況下，T1＝T2，所以公式11a、公式12a不成立。這樣，參照的2張圖像擁有同一顯示順序信息的情況下作為V1及V2的值使用1/2進行線性預測。
這樣，在參照的2張圖像擁有同一顯示順序信息的情況下，可以采用將預先設定的值作為系數(shù)使用的結構。將預先設定的值作為系數(shù)，可以是如上述的1/2的例子中所示擁有相同的權的系數(shù)。
但是，如上述實施形態(tài)中使用公式10，進行線性預測就必須要有乘法運算及除法運算。因為由公式10進行的線性預測運算對編碼對象塊內(nèi)的所有像素都進行運算，所以加上乘法運算會使處理量大幅度增加。
于是，同實施形態(tài)7的考慮方法一樣，通過使V1及V2近似于2次方，能夠使線性預測的運算只通過位移運算進行，從而達到削減處理量的目的。這種情況下的線性預測式使用公式11b、公式12b代替公式11a、公式12a。
而且，也可使用公式11c、公式12c代替公式11a、公式12a。
而且，也可使用公式11d、公式12d代替公式11a、公式12a。
而且，2次方的近似值方法，以公式11b為例，使v1的值逐一變化時，以±pow(2，v1)和(T2-T0)/(T2-T1)最近時的±pow(2，v1)作為所求值。
例如在圖39中，設定編碼對象圖像為16號，由第1參照索引指定的圖像為11號，由第2參照索引指定的圖像為10號，各自的圖像的顯示順序信息則為15、13、10，所以(T2-T0)/(T2-T1)及±pow(2，v1)如下所示。
(T2-T0)/(T2-T1)＝(10-15)/(10-13)＝5/3+pow(2，0)＝1、+pow(2，1)＝25/3與1相比離2的值較近，所以近似的結果V1＝2。
并且，作為其他的近似值的方法，通過顯示順序信息T1及T2的2個值的關系，可轉換使用增值的近似值和降值的近似值。
這種情況下，T1較T2在時間上落后的情況下，對于V1及V2的兩者取增值的近似值，在T1較T2在時間上領先的情況下，對于V1及V2的兩者取舍去的近似值。相反，在T1較T2在時間上落后的情況下，對V1及V2的兩者取舍去的近似值，在T1較T2在時間上領先的情況下，對于V1及V2的兩者取增值的近似值。
并且，作為使用其他的顯示順序信息取近似值的方法，在T1較T2在時間上落后的情況下，在與V1相關的式子中取增值的近似值，在與V2相關的式子中取舍去的近似值。由此因為2個系數(shù)的值相互分離，能夠容易得到適合的外插值。相反，在T1較T2在時間上領先的情況下，在將與V1相關的式子和與V2相關的式子得到的兩者的值進行比較時，在值小的一方取往上進的近似值，在值大的一方取舍去的近似值。由此因為2個系數(shù)的值相互接近，所以容易得到適合的內(nèi)插值。
舉個例子在圖39中，設定編碼對象圖像為16號、由第1參照索引指定的圖像為11號、由第2參照索引指定的圖像為10號，各自的圖像的顯示順序信息則為15、13、10，由于T1較T2在時間上落后，所以在與V1相關的式子中取往上進的近似值，在與V1相關的式子中取舍去的近似值。結果，公式11b及12b如下所示進行計算。
(1)對于公式11b(T2-T0)/(T2-T1)＝(10-15)/(10-13)＝5/3+pow(2，0)＝1、+pow(2，1)＝2取往上進的近似值的結果V1＝2。
(2)對于公式12b(T0-T1)/(T2-T1)＝(15-13)/(10-13)＝-2/3-pow(2，0)＝-1、-pow(2，1)＝-1/2取舍去的近似值的結果V2＝-1。
上述實施形態(tài)中，線性預測式只有公式10的一個，但也可以與以往的技術中說明的由公式2a及公式2b的2個式子組成的固定式的線性預測方法組合起來使用。在這種情況下，使用公式10代替公式2a，公式2b原封不動進行使用。即，在由第1參照索引指定的圖像在顯示順序中落后于由第2參照索引指定的圖像的情況下使用公式10，除此以外的情況使用公式2b。
并且，相反，也可以使用公式10代替公式2b，原封不動地使用公式2a。即，在由第1參照索引指定的圖像在顯示順序中落后于由第2參照索引指定的圖像的情況下使用公式2a，除此以外的情況使用公式10。但是，此時參照的2張圖像擁有同一顯示順序信息的情況下，使用1/2作為V1及V2的值進行線性預測。
并且，與實施形態(tài)8的考慮方法同樣，可以只將系數(shù)C記述在片頭區(qū)域中用于線性預測。這種情況下使用公式13代替公式10。V1及V2的求值方法與上述實施形態(tài)相同。
有必要進行生成系數(shù)的處理，而且，有必要在片頭區(qū)域內(nèi)將系數(shù)數(shù)據(jù)編碼，但是即使是在V1及V2的精度較低的情況下也能夠通過使用C1及C2進行精度較高的線性預測。特別是在使V1及V2取與2次方近似的值進行線性預測的情況中非常有效。
在使用公式13的情況下的線性預測中，無論是在1個圖像中分配有1個參照索引的情況下，還是在1個圖像中分配有多個參照索引的情況，都可以同樣對待。
在公式11a、公式12a、公式11b、公式12b、公式11c、公式12c、公式11d、公式12d各式的值的計算中，所得值的組合在每個片段中都受到某種程度的限制，所以最好將片段編碼再進行一次運算，由于沒有必要像公式10，公式13那樣對塊的所有像素都進行運算，因此對全體處理量的影響很小。
本發(fā)明的實施形態(tài)中的顯示順序信息，不僅局限于顯示的順序，實施的顯示的時間、以隨著顯示的時間值變大的規(guī)定的圖像為基準的各個圖像的參照順序也可以。
(實施形態(tài)10)對本發(fā)明的實施形態(tài)10中的動態(tài)圖像解碼方法進行說明。由于解碼裝置的結構及解碼的處理流程及參照索引的分配方法與實施形態(tài)6完全相同，這里就省略了具體的說明。
在以往的方法中使用固定式生成預測圖像的情況，和使用線性預測系數(shù)的加權系數(shù)組生成預測圖像的情況下，可以通過記述在代碼串的圖像共同信息部中的標記根據(jù)必要進行替換。
本實施形態(tài)中，對使用標記替換實施形態(tài)6至實施形態(tài)9中說明的各種線性預測方法的方法進行說明。
圖17(a)為將控制上述替換的5個標記(p_flag、c_flag、d_flag、t_flag、s_flag)記述在代碼串中的片頭區(qū)域內(nèi)情況下的結構。
如圖17(b)所示，p_flag是表示加權系數(shù)是否編碼后的標記。并且，c_flag是表示在ref1用及ref2用的參數(shù)中，是否只有與參數(shù)C(C1及C2)相關的數(shù)據(jù)編碼后的標記。并且，t_flag是表示是否使用參照圖像的顯示順序信息生成線性預測的加權系數(shù)的標記。并且，s_flag是表示為了能夠通過位移運算計算線性預測的加權系數(shù)，是否取與2次方近似的值的標記。
并且，d_flag表示的是如公式2a及2b所示，在使用預先設定的2個固定式進行線性預測之際，是否通過由ref1指定的圖像和由ref2指定的圖像的時間上的位置關系進行2式的切換的標記。即，在指定由此標記進行替換的情況下，與以往的方法相同，在由ref1指定的圖像在顯示順序中落后于由ref2指定的圖像的情況下，使用公式2a，除此以外的情況使用公式2b進行線性預測。另一方面，在指定不由此標記進行替換的情況下，與由ref1指定的圖像和由ref2指定的圖像的位置關系無關，通常使用公式2b進行線性預測。
在不替換使用的式子中還可以使用公式2a代替公式2b，在這種情況下能夠采取相同處理。
在圖2所示的解碼裝置中的代碼串解析單元201中解析p_flag的值，根據(jù)結果，把是否將與加權系數(shù)組相關的數(shù)據(jù)解碼并進行預測圖像的生成的指示輸出到移動補償解碼單元204中，進行線性預測的移動補償。由此，能夠分別在處理能力高的裝置中使用加權系數(shù)組進行線性預測，在處理能力低的裝置中不使用加權系數(shù)組進行線性預測。
同樣，在圖2所示的解碼裝置中的代碼串解析單元201中解析c_flag的值，根據(jù)結果，把是否將與相當于圖像數(shù)據(jù)的DC成分的參數(shù)C(C1及C2)相關的數(shù)據(jù)解碼并由固定進行預測圖像的生成的指示輸出到移動補償解碼單元204中，進行線性預測的移動補償。由此，能夠分別在處理能力高的裝置中使用加權系數(shù)組進行線性預測，在處理能力低的裝置中只使用直流成分進行線性預測。
同樣，在圖2所示的解碼裝置中的代碼串解析單元201中解析d_flag的值，根據(jù)結果，在使用固定式進行線性預測的情況下，把是否替換使用2個式子進行編碼的指示輸出到移動補償解碼單元204中，進行線性預測的移動補償。由此，能夠分別在圖像的亮度在時間上并不變化的情況下只使用單個固定式進行線性預測，在圖像的亮度隨時間變化的情況下替換使用2個固定式進行線性預測。
同樣，在圖2所示的解碼裝置中的代碼串解析單元201中解析t_flag的值，根據(jù)結果，把是否使用參照圖像的顯示順序信息生成進行線性預測的系數(shù)的指示輸出到移動補償解碼單元204中，進行線性預測的移動補償。由此，能夠分別在代碼量中尚有空余的情況下將加權系數(shù)組編碼進行線性預測，在代碼量中沒有空余的情況下從顯示順序信息中生成系數(shù)進行線性預測。
同樣，在圖2所示的解碼裝置中的代碼串解析單元201中解析s_flag的值，根據(jù)結果，把為了能夠通過位移運算進行計算，進行線性預測的系數(shù)是否取與2次方近似的值的指示輸出到移動補償解碼單元，進行線性預測的移動補償。由此，能夠分別在處理能力高的裝置中不取加權系數(shù)的近似值直接使用進行線性預測，在處理能力低的裝置中使加權系數(shù)使用與2次方近似的值實現(xiàn)通過位移運算進行線性預測。
例如，(1)在(p、c、d、t、s_flag)＝(1、0、0、0、1)的情況下，所有的加權系數(shù)組經(jīng)過解碼，如實施形態(tài)7中說明的那樣，通過用2次方表示系數(shù)，只由位移運算進行線性預測，并生成預測圖像。
并且，(2)在(p、c、d、t、s_flag)＝(1、1、1、0、0)的情況下，只有與參數(shù)C(C1及C2)相關的數(shù)據(jù)經(jīng)過解碼，使用通過實施形態(tài)8中說明的向固定式中加入系數(shù)C生成預測圖像的方法，而且替換使用2個固定式。
并且，(3)在(p、c、d、t、s_flag)＝(0、0、0、0、0)的情況下，加權系數(shù)組不經(jīng)過解碼。即，使用只使用以往方法的固定式中的2b生成預測圖像的方法。
并且，(4)在(p、c、d、t、s_flag)＝(0、0、1、1、1)的情況下，加權系數(shù)組不經(jīng)過解碼，但如實施形態(tài)9說明的那樣，從參照圖像的顯示順序信息中生成加權系數(shù)，而且通過使系數(shù)與2次方近似只由位移運算進行線性預測，而且替換使用2個固定式生成預測圖像。
在上述實施形態(tài)中使用每個由1比特組成的5個標記(p_flag、c_flag、d_flag、t_flag、s_flag)進行判別，也可以1個由5比特組成的標記代替5個標記進行判別。并且，在這種情況下，并不是表示現(xiàn)為5比特而能夠使用可變長解碼進行解碼。
在上述實施形態(tài)中全部使用每個由1比特組成的5個標記(p_flag、c_flag、d_flag、t_flag、s_flag)，在只使用其中1部分的標記進行線性預測方法的切換的情況下也能夠同樣對待。這種情況下，圖17(a)所示標記只將必要的對象編碼并記述。
在以往的方法中，替換使用固定式的預測圖像的生成和使用線性預測系數(shù)的加權系數(shù)組的預測圖像的生成的標記設置在代碼串的圖像共同信息部分，能夠以圖像單位進行替換。但是，這種方法只能每個圖像切換一次預測圖像的生成方法。
但是，在本實施形態(tài)中，將該切換標記設置在代碼串的片頭，對于構成圖像的每一個片段都能夠以任意方法替換生成預測圖像，例如，在擁有復雜圖像的片段中進行使用加權系數(shù)組的預測圖像的生成，在擁有簡單圖像的片段中進行使用固定式的預測圖像的生成，由此能夠一直將處理量的增加限制在最小值并達到提高畫面質(zhì)量的目的。
在上述實施形態(tài)中，將5個標記(p_flag、c_flag、d_flag、t_flag、s_flag)記述在片頭區(qū)域內(nèi)對每個片段進行判別，通過將這些標記記述在圖像共同信息區(qū)域內(nèi)，能夠以圖像單位進行切換。并且，通過在每個構成片段的塊中設置切換標記，進而能夠以塊單位通過最適合的方法進行預測圖像的生成。
本發(fā)明的實施形態(tài)中的顯示順序信息，不僅局限于顯示的順序，實施的顯示的時間、以隨著顯示的時間值變大的規(guī)定的圖像為基準的各個圖像的參照順序也可以。
(實施形態(tài)11)下面對本發(fā)明的實施形態(tài)11中的動態(tài)圖像的編碼方法及解碼方法進行說明。由于編碼裝置及解碼裝置的結構和編碼及解碼的處理流程及參照索引的分配方法與實施形態(tài)1及實施形態(tài)6完全相同，這里就省略了具體的說明。
本實施形態(tài)是與實施形態(tài)5及實施形態(tài)10中說明的內(nèi)容和同樣的技術相關的說明。
在每個片段中都表示有，表示參數(shù)組合是否編碼后的標記p_flag，和表示在ref1用及ref2用的參數(shù)中，是否只有與參數(shù)C(C1及C2)相關的數(shù)據(jù)編碼后的標記c_flag。
在圖1所示的編碼裝置中的移動補償編碼單元107中，決定每個片段或塊中是否將與參數(shù)組合相關的數(shù)據(jù)編碼，并據(jù)此將標記p_flag的信息輸出到代碼串生成單元103中，如圖40(a)所示記述在代碼串中。
同樣，在圖1所示的編碼裝置中的移動補償編碼單元107中，決定每個片段或塊中是否只將與相當于圖像數(shù)據(jù)的DC成分的參數(shù)C(C1、C2)相關的數(shù)據(jù)編碼，并據(jù)此將標記c_flag的信息輸出到代碼串生成單元103中，如圖40(a)所示記述在代碼串中。
另一方面，在圖2所示解碼裝置中的代碼串解析單元201中，將上述切換標記p_flag和標記c_flag的值解析，并根據(jù)其結果，將例如是使用下載的參數(shù)組合生成預測圖像，或是使用固定式生成預測圖像的指示輸出到移動補償解碼單元204中，進行線性預測的移動補償。
例如，如圖40(b)所示，(1)在標記p_flag為1，標記c_flag為0的情況下，編碼裝置中的所有參數(shù)組合都經(jīng)過編碼。并且，(2)在標記p_flag為1，標記c_flag為1的情況下，編碼裝置中只有與參數(shù)C(C1及C2)相關的數(shù)據(jù)經(jīng)過編碼。并且，(3)在標記p_flag為0，標記c_flag為0的情況下，編碼裝置中的參數(shù)組合都沒有經(jīng)過編碼。如圖40(b)所示決定標記的值，通過標記p_flag能夠判別圖像數(shù)據(jù)的DC成分是否經(jīng)過編碼。
在編碼裝置中，上述(1)的情況下，按例如從圖8到圖10中說明的那樣處理參數(shù)。在上述(2)的情況下，按例如圖16說明的那樣處理參數(shù)。在上述(3)的情況下，例如使用固定式處理參數(shù)。
在解碼裝置中，上述(1)的情況下，按例如從圖18到圖20中說明的那樣處理參數(shù)。在上述(2)的情況下，按例如圖22說明的那樣處理參數(shù)。在上述(3)的情況下，例如使用固定式處理參數(shù)。
并且，對于組合情況不同的例子，以下進行具體的說明。
在上述的例子中，替換使用標記p_flag、標記c_flag明確對參數(shù)進行編碼(是否使其接收)，也可以不使用上述標記，而使用可變長編碼圖表(VLC圖表)。
如圖41所示，也能夠更加明確地進行是否切換固定公式2a和固定公式2b的選擇。
這里，不進行固定2的切換，其意思如下。例如，在上述以往的技術中，在由第1參照索引指定的圖像在顯示順序上落后于由第2參照索引指定的圖像的情況下，選擇由固定系數(shù)組成的固定公式2a，除此以外選擇由固定系數(shù)組成的固定公式2b，生成預測圖像。另一方面，在圖41所示例中，在被指示不進行切換的情況下，在由第1參照索引指定的圖像在編碼順序上落后于由第2參照索引指定的圖像的情況下，選擇由固定系數(shù)組成的固定公式2b，生成預測圖像。
為明確進行是否切換固定公式2a和固定公式2b的選擇的標記v_flag的信息由代碼串生成單元103輸出，并如圖41(a)所示記述在代碼串中。
圖41(b)表示的是由標記v_flag進行處理的例子。如圖41(b)所示在標記v_flag為1的時候，不進行參數(shù)的編碼(在編碼裝置中參數(shù)不被下載。以下同樣)，不進行固定公式2的切換。并且，在標記v_flag為01的時候，不進行參數(shù)的編碼，進行固定公式2的切換。并且，在標記v_flag為0000的時候，只進行參數(shù)C的編碼，不進行固定公式2的切換。
并且，在標記v_flag為0001的時候，只進行參數(shù)C的編碼，并進行固定公式2的切換。并且，在v_flag為0010的時候，進行所有參數(shù)的編碼，不進行固定公式12的切換。并且，在v_flag為0011的時候，進行所有參數(shù)的編碼，并進行固定公式12的切換。
因為在標記v_fag為0010及0011時，所有參數(shù)都經(jīng)過編碼，所以能夠不使用固定式，使用加權參數(shù)進行線性預測，在這種情況下可以無視是否替換使用固定式的判別。
標記v_flag的切換，能夠在圖1所示編碼裝置中的移動補償編碼單元107中進行，在圖2所示解碼裝置中的移動補償解碼單元204中進行。并且，不使用標記v_flag，使用上述的標記p_flag和標記c_flag，及表示是否替換固定式的標記d_flag也可以。
如以上所示，通過使用標記，能夠將參數(shù)在編碼裝置中編碼，能夠替換是否在解碼裝置中接收(下載)編碼后的參數(shù)。由此，通過應用的特性、解碼裝置的處理能力，能夠明確切換編碼(使接收)的參數(shù)。
并且，由于能夠明確變更固定式的切換，所以能夠增加提高畫面質(zhì)量的方法，進而達到提高編碼效率的目的。并且，在解碼裝置中出現(xiàn)不曾擁有的固定式的情況下，通過明確變更固定式，能夠由明確選擇的固定式生成預測圖像。
圖40中的標記的配置不僅局限于圖中所示對象。并且，標記的值也不僅局限于上述說明的值。并且，因為如果使用2種標記，能夠明確4種參數(shù)的使用方法，所以也可以分配上述說明以外的參數(shù)的使用方法。并且，在上述例子中說明發(fā)送所有參數(shù)，也可以如圖10及圖20所示將必要的參數(shù)組合全部發(fā)送。
(實施形態(tài)12)將為實現(xiàn)上述各個實施形態(tài)中所示的圖像編碼方法或圖像解碼方法的結構的程序記錄在軟盤等存儲媒體中，由此能夠將上述各個實施形態(tài)中所示的處理在獨立的計算機系統(tǒng)中簡單實施。
圖25是使用存儲有從上述實施形態(tài)1到實施形態(tài)11的圖像編碼方法或圖像解碼方法的軟盤，通過計算機系統(tǒng)實施的情況下的說明圖。
圖25(b)表示的是從軟盤的正面來看的外觀、剖面構造以及軟盤，圖25(a)表示的是記錄媒體本體的軟盤的物理格式的例子。軟盤FD內(nèi)藏在外盒F內(nèi)，在該盤的表面上，從同心圓狀的外周向內(nèi)周形成有多個磁跡Tr，各個磁跡沿角度方向分割為16個扇區(qū)。因此，在存儲有上述程序的軟盤中，在被分配給上述軟盤FD上的區(qū)域中，記錄有上述程序的圖像編碼方法。
并且，圖25(c)表示的是重新讀取記錄在軟盤FD上的程序的結構。在將上述程序記錄到軟盤FD中的情況下，從計算機系統(tǒng)Cs上將作為上述程序的圖像編碼方法或圖像解碼方法通過軟驅寫入軟盤。并且，在通過軟盤內(nèi)的程序將上述圖像編碼方法輸入到計算機系統(tǒng)中的情況下，通過軟驅從軟盤中讀取程序，并傳送到計算機系統(tǒng)中。
在上述說明中，是使用作為記錄媒體的軟盤進行說明的，同樣也可以使用光盤作為記錄媒體。并且，記錄媒體不僅局限于此，IC卡、ROM盒同樣都可以作為記錄程序的媒體進行使用。
(實施形態(tài)13)圖26至圖29是說明進行上述實施形態(tài)中所示編碼處理或解碼處理的機器、及使用該機器的系統(tǒng)的說明圖。
圖26是表示實現(xiàn)內(nèi)容配信服務的內(nèi)容供給系統(tǒng)ex100的全體結構的功能圖。按照所需大小分割通信服務的提供區(qū)域，在各個單元中分別設置有固定無線局的基站ex107～ex110。
該內(nèi)容供給系統(tǒng)ex100，例如，在因特網(wǎng)ex101中通過因特網(wǎng)服務器ex102及電話網(wǎng)ex104、及基站ex107～ex110，與計算機ex111、PDA(個人數(shù)字助理)ex112、攝像機ex113、移動電話機ex114、帶攝像頭的移動電話機ex115等個機器相連接。
但是，內(nèi)容供給系統(tǒng)ex100并不僅局限于圖26所示的組合，采取任意組合進行連接都可以。并且，不通過固定無線局的基站ex107～ex110，各個機器直接與電話網(wǎng)ex104連接也可以。
攝像機ex113為數(shù)字錄像機等能夠進行動態(tài)圖像攝影的機器。并且，移動電話機可以是PDC(Personal Digital Communications)方式、CDMA(Code Division Access)方式、W-CDMA(Wideband-Code DivisionMultiple Access)方式、或是GSM(Global System for MobileCommunications)方式的手提電話機，或者PHS(Personal HandyphoneSystem)也可以。
并且，流服務器ex103，從攝像機ex113通過基站ex109、電話網(wǎng)ex104連接，根據(jù)用戶使用攝像機ex113發(fā)送的經(jīng)過編碼處理的數(shù)據(jù)能夠進行實況配信。攝影數(shù)據(jù)的編碼處理可以攝像機ex113中進行，也可以在進行數(shù)據(jù)發(fā)送處理的服務器中進行。
并且，由相機ex116拍攝的動態(tài)圖像數(shù)據(jù)通過計算機ex111被發(fā)送到流服務器ex103中。相機ex116是能夠拍攝數(shù)據(jù)錄像等靜止圖像、動態(tài)圖像的機器。在這種情況下，動態(tài)圖像數(shù)據(jù)的編碼既可以在相機ex116中進行，也可以在計算機ex111中進行。并且，編碼處理在計算機ex111及攝像機116所擁有的Siex117中進行的。
而且，圖像編碼·解碼用的軟件可以安裝在能夠通過計算機ex111等讀取的記錄媒體的任何一種存儲媒體(CD-ROM、軟盤、硬盤等)中。而且，也可以通過帶攝像頭的移動電話機ex115發(fā)送動態(tài)圖像數(shù)據(jù)。此時的動態(tài)圖像數(shù)據(jù)是在移動電話機ex115中的LSI中經(jīng)過編碼處理的數(shù)據(jù)。
在此內(nèi)容供給系統(tǒng)ex100中，將用戶通過攝像機ex113、相機ex116等拍攝的內(nèi)容(如，拍攝音樂實況等圖像)與上述實施形態(tài)相同進行編碼處理并發(fā)送到流服務器ex103中，另一方面流(stream)服務器ex103將上述內(nèi)容數(shù)據(jù)對要求的委托對象進行流動配信。委托對象可以是能夠對上述經(jīng)過編碼處理的數(shù)據(jù)進行解碼的計算機ex111、PDAex112、攝像機113、移動電話機ex114等。這樣一來，內(nèi)容供給系統(tǒng)ex100能夠將編碼后的數(shù)據(jù)在委托對象中接收并再生，進而通過在委托對象中實時接收并解碼之后再生，從而能夠實現(xiàn)個人播放。
為進行構成該系統(tǒng)的各機器的編碼、解碼，可以使用上述實施形態(tài)中所示的動態(tài)圖像編碼裝置或動態(tài)圖像解碼裝置。
下面以移動電話機為例進行說明。
圖27是表示使用上述實施形態(tài)中說明的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法的移動電話機ex115的示意圖。移動電話機ex115擁有，和基站ex110之間發(fā)送接收電波的天線ex201、能夠拍攝CCD錄像等圖像、靜止圖像的攝像頭部ex203、顯示由攝像頭部ex203拍攝的圖像、由天線ex201接收的圖像經(jīng)過解碼后的數(shù)據(jù)的液晶顯示屏等顯示單元ex202、由動作鍵ex204組結構的本體部、用于聲音輸出的揚聲器等聲音輸出單元ex208、用于聲音輸入的麥克風等聲音輸入單元ex205、用于保存拍攝的動態(tài)圖像或靜止圖像的數(shù)據(jù)、接收的電子郵件的數(shù)據(jù)、動態(tài)圖像數(shù)據(jù)或靜止圖像數(shù)據(jù)等、編碼數(shù)據(jù)或解碼數(shù)據(jù)的記錄媒體ex207、能夠在移動電話機ex115上安裝記錄媒體ex207用的開口部ex206。記錄媒體是在SD卡等塑料盒內(nèi)存儲能夠進行電力改寫及刪除的不揮發(fā)性存儲器EEPROM(Electrically Erasable and ProgrammableRead Only Memory)的一種閃存單元。
使用圖28對移動電話機ex115進行說明。移動電話機ex115，對于將裝備有顯示單元ex202及動作鍵ex204本體部的各個部分統(tǒng)一進行控制的主控制單元ex311，電源電路ex310、動作輸入控制單元ex304、圖像編碼單元ex312、攝像機接口部ex303、LCD(液晶顯示器)控制單元ex302、圖像解碼單元ex309、多路分離單元ex308、記錄再生單元ex307、調(diào)制解調(diào)電路ex306及聲音處理單元ex305通過同步總線ex313相互連接。
電源電路ex310，在通過用戶動作結果通話并使電源鍵處于ON的狀態(tài)下，通過由備用電池對各部進行電力供給，啟動帶有攝像頭的數(shù)字化移動電話機ex115的可動作狀態(tài)。
移動電話機ex115，根據(jù)CPU、ROM及RAM等主控制單元ex311的控制，將在聲音通話模式時在聲音輸入單元ex205中收集的聲音信號通過聲音處理單元ex305轉換成數(shù)字聲音數(shù)據(jù)，并在調(diào)制解調(diào)電路ex306中進行擴頻處理，并在接收發(fā)送回路部ex301中實施數(shù)字-模擬變換處理及頻率變換處理之后，通過天線ex201發(fā)送。并且移動電話機ex115，將在聲音通話模式時由天線ex201接收的接收信號增幅，并實施頻率變換處理及模擬-數(shù)字變換處理，在調(diào)制解調(diào)電路ex306中進行光譜逆擴散處理，在由聲音處理單元ex305轉換成模擬聲音信號之后，通過聲音輸出單元ex208輸出。
而且，在數(shù)據(jù)通信模式時發(fā)送電子郵件的情況下，由本體部的動作鍵ex204的動作輸入的電子郵件的文本數(shù)據(jù)，通過動作輸入控制單元ex304發(fā)送到主控制單元ex311中。主控制單元ex311，將文本數(shù)據(jù)在調(diào)制解調(diào)電路ex306中進行擴頻處理，并在收發(fā)電路ex301中實施數(shù)字模擬變換處理及頻率變換處理之后，通過天線ex201向基站ex110發(fā)送。
在數(shù)據(jù)通信模式時發(fā)送圖像數(shù)據(jù)的情況下，將由相機單元ex203拍攝的圖像數(shù)據(jù)通過攝像機接口部ex303供給圖像編碼單元ex312。并且，在不發(fā)送圖像數(shù)據(jù)的情況下，能夠將由相機單元ex203拍攝的圖像數(shù)據(jù)通過攝像機接口部ex303及LCD控制部ex302直接顯示在顯示單元ex202上。
圖像編碼單元ex312，采用裝備有本發(fā)明中說明的圖像編碼裝置的結構，通過使用上述實施形態(tài)中所示圖像編碼裝置的編碼方法將由相機單元ex203提供的圖像數(shù)據(jù)進行壓縮編碼，由此轉換成編碼圖像數(shù)據(jù)，并將此數(shù)據(jù)發(fā)送至多路分離單元ex308中。并且，在此同時，移動電話機ex115，在相機單元ex203中攝像過程中由聲音輸入單元ex205收集的聲音，通過聲音處理單元ex305作為數(shù)字聲音數(shù)據(jù)發(fā)送到多路分離單元ex308中。
多路分離單元308，將由圖像編碼單元ex312供給的編碼圖像數(shù)據(jù)和由聲音處理單元ex305供給的聲音數(shù)據(jù)按照規(guī)定的方式進行多重化，結果將得到的多重化數(shù)據(jù)在調(diào)制解調(diào)電路ex306中進行擴頻處理，并在收發(fā)電路ex301中實施數(shù)字模擬變換處理及頻率變換處理之后通過天線ex201進行發(fā)送。
在數(shù)據(jù)通信模式時接收與主頁等連接的動態(tài)圖像文件的數(shù)據(jù)的情況下，通過天線ex201在調(diào)制解調(diào)電路ex306中將從基站ex110接收的接收信號進行光譜逆擴散處理，結果將得到的多重化數(shù)據(jù)發(fā)送到多路分離單元ex308中。
并且，為了將通過天線ex201接收的多重化數(shù)據(jù)解碼，多路分離單元ex308，通過分離多重化數(shù)據(jù)分為圖像數(shù)據(jù)的編碼位流和聲音數(shù)據(jù)的編碼位流，并通過同步總線ex313將此編碼圖像數(shù)據(jù)供給給圖像解碼單元ex309，同時將此聲音數(shù)據(jù)供給聲音處理單元ex305。
下面，圖像解碼單元ex309，采用裝備有本發(fā)明中說明的圖像解碼裝置的結構，通過與上述實施形態(tài)中所示編碼方法相對應的解碼方法將圖像數(shù)據(jù)的編碼位流進行解碼并生成再生動態(tài)圖像數(shù)據(jù)，將此數(shù)據(jù)通過LCD控制部ex302供給顯示單元ex202，由此，能夠顯示出如包括與主頁連接的動態(tài)圖像文件在內(nèi)的動態(tài)圖像數(shù)據(jù)。與此同時，聲音處理單元ex305，在將聲音數(shù)據(jù)變換成模擬聲音信號之后，將此信號供給聲音輸出單元ex208，由此能夠播放包括與主頁連接的動態(tài)圖像文件在內(nèi)的動態(tài)圖像數(shù)據(jù)。
而且，不僅局限于上述系統(tǒng)的例子，最近由衛(wèi)星、地波進行數(shù)字廣播已成為人們議論的話題，在如圖29所示數(shù)字播放用系統(tǒng)中至少裝備有上述實施形態(tài)中的圖像編碼裝置或圖像解碼裝置的任一項。具體為，在電臺ex409中將圖像信息的編碼位流通過電波傳送給通信或廣播衛(wèi)星ex410。接收該電波的廣播衛(wèi)星ex410，發(fā)送廣播用電波，通過擁有衛(wèi)星廣播接收設備的家庭的天線ex406接收此電波，通過電視機(接收機)ex401或機頂盒(STB)ex407等裝置將編碼位流解碼并再生。
并且，讀取記錄在記錄媒體CD及DVD等存儲媒體ex402上的編碼位流，能夠在解碼再生裝置ex403上安裝上述實施形態(tài)中所示的圖像解碼裝置。在這種情況下，再生的圖像信號顯示在監(jiān)視器ex404上。并且，在與有線電視用的電纜ex405或衛(wèi)星/地波廣播的天線ex406相連接的機頂盒ex407內(nèi)安裝有圖像解碼裝置，采用的是能夠在電視機的監(jiān)視器ex408上使用信號再生的結構。此時不是在機頂盒內(nèi)，最好是在電視機內(nèi)安裝有圖像解碼裝置。并且，在擁有天線ex411的車ex412中接收從衛(wèi)星ex410或基站ex107發(fā)射的信號，能夠在車ex412擁有的車載導航設備ex413等的表示裝置中再現(xiàn)動態(tài)圖像畫面。
而且，能夠將圖像信號在上述實施形態(tài)中所示的圖像編碼裝置中編碼，并記錄在記錄媒體上。具體的例子有，在DVD光盤ex421中記錄圖像信號的DVD記錄裝置、記錄在硬盤中的硬盤記錄裝置等記錄裝置ex420。并且還能夠記錄在SD卡ex422中。記錄裝置ex420上若裝備有上述實施形態(tài)中所示的圖像解碼裝置，就能夠將記錄在DVD光盤ex421及SD卡ex422上的圖像信號再生，并顯示在監(jiān)視器ex408上。
車載導航設備ex413的結構在如圖28所示的結構中，考慮采用除去相機單元ex203和攝像機接口部ex303、圖像編碼單元ex312之外的結構，同樣也考慮到計算機ex111及電視機(接收機)ex401等。
并且，上述移動電話機ex114等的末端，除擁有雙方編碼器·解碼器的發(fā)送接收型末端之外，還可以考慮只有編碼器的發(fā)送末端、只有解碼器的接收末端的3種安裝形式。
這樣，可以將上述實施形態(tài)中所示的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法應用在上述的任何機器·系統(tǒng)中，由此能夠得到上述實施形態(tài)中說明的效果。
工業(yè)應用性如以上所示，用本發(fā)明的動態(tài)圖像編碼方法及解碼方法，能夠制作多個在生成預測圖像時的線性預測所使用的加權系數(shù)組的候選，并可以選擇最適合每個塊的系數(shù)。其結果，無論是在分配到多個參照索引的情況下，還是在分配到1個參照索引的情況，都能夠提高參照索引的解碼效率。并且，由于能夠較大地提高解碼效率，所以在動態(tài)圖像的編碼及解碼中都是非常有效的。
權利要求
1.一種圖像編碼方法，其特征在于，包括以下步驟將通過圖像編號標識的已編碼完畢的圖像作為參照圖像存儲在存儲單元中的參照圖像存儲步驟；生成使在生成預測圖像中所使用的系數(shù)及指定所述參照圖像的參照索引與所述圖像編號對應起來的指令的指令生成步驟；用所述參照索引指定對編碼對象圖像上的塊進行移動補償時的參照圖像的參照圖像指定步驟；通過使用與所述參照索引相對應的所述系數(shù)，對通過檢測在所述參照圖像指定步驟中指定的參照圖像內(nèi)的移動所得到的塊進行線性預測，由此生成預測圖像的預測圖像生成步驟；輸出包括將輸入的編碼對象圖像內(nèi)的塊與所述預測圖像的差即預測誤差、所述指令、所述參照索引以及所述系數(shù)進行編碼后的編碼信號在內(nèi)的圖像編碼信號的編碼信號輸出步驟；上述編碼信號輸出步驟將所述圖像編碼信號中的表示所述參照索引的最大值的信息進行編碼。
2.如權利要求1所述的圖像編碼方法，其特征在于，表示上述參照索引的最大值的信息包含在上述圖像編碼信號所包含的圖像共同信息區(qū)域內(nèi)。
3.如權利要求1所述的圖像編碼方法，其特征在于，在上述指令生成步驟中，生成指令，以便使存儲在存儲單元中的多幅參照圖像中，至少包括1幅以上的擁有對應于多個參照索引的圖像編號的參照圖像。
4.如權利要求3所述的圖像編碼方法，其特征在于，在上述參照圖像指定步驟中，在上述參照圖像的圖像編號與多個參照索引相對應的情況下，根據(jù)與該多個參照索引分別對應的系數(shù)，選擇其中的1個參照索引；在上述預測圖像生成步驟中，使用與在指定步驟中選擇的參照索引相對應的系數(shù)進行線性預測。
5.如權利要求1所述的圖像編碼方法，其特征在于，在上述預測圖像生成步驟中，只使用位移運算、加法運算及減法運算進行所述線性預測。
6.如權利要求1所述的圖像編碼方法，其特征在于，在上述預測圖像生成步驟中所述線性預測所使用的系數(shù)只有表示線性預測公式中直流成分的值與上述參照索引相對應。
7.如權利要求1所述的圖像編碼方法，其特征在于，包括表示第1參照圖像的第1參照索引和表示第2參照圖像的第2參照索引，在使用根據(jù)各參照圖像所具有的顯示順序信息生成系數(shù)的方法，作為在上述預測圖像生成步驟中進行上述線性預測的方法的情況下，在第1參照索引指定的參照圖像與第2參照索引指定的參照圖像擁有相同顯示順序信息時，替換使用預先設定的系數(shù)，進行線性預測。
8.如權利要求7所述的圖像編碼方法，其特征在于，上述預先設定的系數(shù)擁有相同的權重。
9.一種圖像解碼方法，其特征在于，包括以下步驟對具有使生成預測圖像所使用的系數(shù)及指定參照圖像的參照索引與圖像編號對應起來的指令、參照索引、預測殘差的編碼信號的圖像編碼信號進行解碼，得到所述指令、所述參照索引和所述預測誤差的圖像編碼信息獲得步驟；根據(jù)解碼后的所述指令和解碼后的所述參照索引，指定對解碼對象圖像內(nèi)的塊進行移動補償時的參照圖像的參照圖像指定步驟；使用與所述參照索引相對應的所述系數(shù)，對通過檢測在所述參照圖像指定步驟中指定的參照圖像內(nèi)的移動所得到的塊進行線性預測，由此生成預測圖像的預測圖像生成步驟；根據(jù)所述預測圖像和解碼后的預測殘差，生成解碼圖像的解碼圖像生成步驟；將用圖像編號識別的已解碼完畢的圖像存儲到存儲單元中，作為參照圖像的參照圖像存儲步驟；上述圖像編碼信息獲得步驟將表示上述圖像編碼信號中的上述參照索引的最大值的信息進行解碼。
10.如權利要求9所述的圖像解碼方法，其特征在于，表示上述參照索引的最大值的信息包含在上述圖像編碼信號所包含的圖像共同信息區(qū)域內(nèi)。
11.如權利要求9所述的圖像解碼方法，其特征在于，上述指令使參照索引與圖像編號對應起來，以便使存儲在存儲單元中的多幅參照圖像中，至少包括1幅以上擁有對應于多個參照索引的圖像編號的參照圖像。
12.如權利要求11中所述的圖像解碼方法，其特征在于，在上述參照圖像指定步驟中，使用上述指令指定與解碼后的參照索引相對應的上述圖像編號，將預測圖像生成步驟中進行線性預測所使用的系數(shù)，確定為與上述參照索引相對應的系數(shù)。
13.如權利要求9所述的圖像解碼方法，其特征在于，在上述預測圖像生成步驟中，只使用位移運算、加法運算及減法運算進行線性預測。
14.如權利要求9所述的圖像編碼方法，其特征在于，上述預測圖像生成步驟中所述線性預測所使用的系數(shù)只有表示線性預測公式中的直流成分的值與上述參照索引相對應。
15.如權利要求9所述的圖像編碼方法，其特征在于，上述參照索引包括表示第1參照圖像的第1參照索引和表示第2參照圖像的第2參照索引，在使用根據(jù)各參照圖像所具有的顯示順序信息生成系數(shù)的方法，作為在上述預測圖像生成步驟中進行上述線性預測的方法的情況下，在第1參照索引指定的參照圖像與第2參照索引指定的參照圖像擁有相同顯示順序信息時，替換使用預先設定的系數(shù)進行線性預測。
16.如權利要求15所述的圖像解碼方法，其特征在于，上述預先設定的系數(shù)擁有相同的權重。
17.一種圖像編碼裝置，其特征在于，包括以下單元將通過圖像編號標識的已編碼完畢的圖像作為參照圖像存儲在存儲單元中的參照圖像存儲單元；生成指令的指令生成單元，使生成預測圖像所使用的系數(shù)及指定所述參照圖像的參照索引與所述圖像編號對應起來；用所述參照索引指定對編碼對象圖像上的塊進行移動補償時的參照圖像的參照圖像指定單元；通過使用與所述參照索引相對應的所述系數(shù)，對通過檢測在所述參照圖像指定步驟中指定的參照圖像內(nèi)的移動所得到的塊進行線性預測，由此生成預測圖像的預測圖像生成單元；輸出包括將輸入的編碼對象圖像內(nèi)的塊與所述預測圖像的差即預測誤差、所述指令、所述參照索引以及所述系數(shù)進行編碼后的編碼信號在內(nèi)的圖像編碼信號的編碼信號輸出單元；上述編碼信號輸出單元將所述圖像編碼信號中表示所述參照索引的最大值的信息進行編碼。
18.一種圖像解碼裝置，其特征在于，包括以下單元將包括使生成預測圖像所使用的系數(shù)及指定參照圖像的參照索引與圖像編號對應起來的指令、上述參照索引、預測誤差的編碼信號的圖像編碼信號進行解碼，得到所述指令、所述參照索引和所述預測誤差的圖像編碼信息獲得單元；根據(jù)解碼后的所述指令和解碼后的所述參照索引，指定對解碼對象圖像上的塊進行移動補償時的參照圖像的參照圖像指定單元；使用與所述參照索引相對應的所述系數(shù)，對通過檢測在所述參照圖像指定步驟中指定的參照圖像內(nèi)的移動所得到的塊進行線性預測，由此生成預測圖像的預測圖像生成單元；根據(jù)所述預測圖像和解碼后的預測誤差生成解碼圖像的解碼圖像生成單元；將用圖像編號識別的已解碼完畢的圖像存儲到存儲單元中作為參照圖像的參照圖像存儲單元；上述圖像編碼信息獲得單元將表示上述圖像編碼信號中的上述參照索引的最大值的信息進行解碼。
19.一種程序，其特征在于，使計算機執(zhí)行權利要求1到8中任何一項記載的圖像編碼方法或權利要求9到16中任何一項記載的圖像解碼方法。
20.一種編碼數(shù)據(jù)，表示具有多幅編碼的圖像的動態(tài)圖像，具有能夠由計算機進行解碼的數(shù)據(jù)結構，其特征在于，上述編碼數(shù)據(jù)將以下的數(shù)據(jù)進行編碼用于生成預測圖像的系數(shù)；指定上述系數(shù)和對解碼圖像上的塊進行移動補償時的參照圖像的參照索引；使上述參照索引與圖像編號對應起來的指令；預測圖像與輸入的編碼對象圖像內(nèi)的塊之差即預測誤差，該預測圖像對通過檢測由上述參照索引指定的參照圖像內(nèi)的移動所得到的塊，用與上述參照索引相對應的上述系數(shù)進行線性預測而生成；表示上述參照索引的最大值的信息。
21.如權利要求20所述的編碼數(shù)據(jù)，其特征在于，表示上述最大值的信息包于在上述編碼數(shù)據(jù)所包含的圖像共同信息區(qū)域內(nèi)。
全文摘要
本發(fā)明的圖像編碼方法，將由圖像編號識別的已編碼完畢的圖像存儲在存儲單元中作為參照圖像，生成使生成預測圖像所使用的系數(shù)及指定參照圖像的參照索引與圖像編號對應起來的指令，用上述參照索引指定對編碼對象圖像內(nèi)的塊進行移動補償時的參照圖像，用與上述參照索引相對應的上述系數(shù)對通過檢測指定的參照圖像上的移動得到的塊實施線性預測，由此生成預測圖像，輸出包括將所述指令、所述參照索引、所述系數(shù)和輸入的編碼對象圖像內(nèi)的塊與所述預測圖像的差即預測誤差進行編碼后的編碼信號在內(nèi)的圖像編碼信號，此時，將表示上述圖像編碼信號中的上述參照索引的最大值的信息進行編碼，并且生成將多個參照索引與1個以上的圖像編號對應起來的指令。
文檔編號G06T9/00GK1568622SQ0380125
公開日2005年1月19日 申請日期2003年7月22日 優(yōu)先權日2002年8月8日
發(fā)明者安倍清史, 野真也, 近藤敏志, 羽飼誠 申請人:松下電器產(chǎn)業(yè)株式會社