專利名稱：動態(tài)圖象預測方式的制作方法
技術領域：
本發(fā)明涉及例如在電視電話、電視會議等中用于圖象通信的便攜式及固定式圖象通信機器等中使用的動態(tài)圖象編碼/譯碼裝置，在數(shù)字VTR、視頻服務器等圖象存儲、記錄裝置等中用的動態(tài)圖象編碼/譯碼裝置，在以單獨軟件或DSP(Digital Signal Processor)固件形式安裝的動態(tài)圖象編碼/譯碼程序等中用的動態(tài)圖象的預測。
背景技術：
作為現(xiàn)有的動態(tài)圖象編碼/譯碼方式中的預測編碼/譯碼例可以舉出ISO/IEC JTC1/SC29/WG11中進行標準化作業(yè)的MPEG-4(MovingPicture Experts Group Phase-4)的視頻編碼/譯碼參照方式(Verification Model，以下稱VM)。VM伴隨MPEG-4的標準化作業(yè)的進行，方式的內容發(fā)生變化，但這里設想VM Version5.0，以下只表為VM。
VM是將動態(tài)圖象順序取作在時間/空間上取任意形狀的圖象目標的集合體，以各圖象目標為單元進行編碼/譯碼的方式。圖29中示出了VM中的視頻數(shù)據(jù)結構。在VM中，將包含時間軸的動態(tài)圖象目標稱為VideoObjedt(VO)，將表示VO在各時刻的狀態(tài)、成為編碼單元的圖象數(shù)據(jù)稱為Video Objedt Plane(VOP)。當VO在時間/空間上具有層次性時，在VO和VOP之間特別設有稱為Video Objedt Layer(VOL)的單元，表現(xiàn)VO內的層次結構。各VOP被分為形狀信息和結構信息。但是，在動態(tài)圖象順序中當VO為1個時，各VOP便與幀同義。這時，不存在形狀信息，只進行結構信息的編碼/譯碼。
如圖30所示，VOP具有由表現(xiàn)形狀信息的初始數(shù)據(jù)和表現(xiàn)結構信息的結構數(shù)據(jù)構成的結構。各數(shù)據(jù)被分別定義為由16×16個樣本構成的塊(初始塊、宏塊)的集合體。初始塊內的各樣本用8位表現(xiàn)。宏塊伴隨16×16個樣本的輝度信號，包含與其對應的色差信號。根據(jù)動態(tài)圖象順序制作VOP數(shù)據(jù)的處理是在本編碼裝置以外進行的。
圖31表示采用VM編碼/譯碼方式的VOP編碼裝置的結構。該圖中，P1是輸入的原VOP數(shù)據(jù)，P2是表現(xiàn)VOP的形狀信息的初始塊，P3a是傳送輸入的原VOP數(shù)據(jù)的形狀信息的有無用的開關，P4是對初始塊進行壓縮編碼的形狀編碼部，P5是壓縮的初始塊數(shù)據(jù)，P6是局部譯碼初始塊，P7是結構數(shù)據(jù)(宏塊)，P8是移動檢測部，P9是移動參數(shù)，P10是移動補償部，P11是預測圖象候選，P12是預測方式選擇部，P13是預測方式，P14是預測圖象，P15是預測誤差信號，P16是結構編碼部，P17是結構編碼信息，P18是局部譯碼預測誤差信號，P19是局部譯碼宏塊，P20是子畫面存儲器更新部，P21是VOP存儲器，P22是子畫面存儲器，P23是長度可變編碼。多路復用部，P24是緩沖器，P25是編碼位流。
另外，圖32示出了簡要說明該編碼裝置的工作的流程。
在圖31所示的編碼裝置中，原VOP數(shù)據(jù)P1首先被分成初始塊P2和宏塊P7(步PS2、步PS3)，初始塊P2被送到形狀編碼部P4，宏塊P7被送到移動檢測部P8。形狀編碼部P4是進行初始塊P2的數(shù)據(jù)壓縮的處理塊(步PS4)，本發(fā)明不是關于形狀信息的壓縮方法，所以該處理的詳細說明從略。。
形狀編碼部P4的輸出是壓縮初始塊數(shù)據(jù)P5和局部譯碼初始塊P6，前者被送給長度可變編碼·多路復用部P23，后者被分別送給移動檢測部P8、移動補償部P10、預測方式選擇部P12和結構編碼部P16。
移動檢測部P8(步PS5)接收宏塊P7，利用VOP存儲器P21中存儲的參照圖象數(shù)據(jù)和局部譯碼初始塊P6，檢測每個宏塊局部的移動矢量。這里，移動矢量是移動參數(shù)的一個例子。已經編碼的VOP的局部譯碼圖象被存入VOP存儲器P21。每次宏塊的編碼結束后，便依次用該局部譯碼圖象更新VOP存儲器P21的內容。另外移動檢測部P8還同時具有接收全部原VOP的結構數(shù)據(jù)，利用子畫面存儲器P22中存儲的參照圖象數(shù)據(jù)和局部譯碼初始數(shù)據(jù)，檢測全局的彎曲參數(shù)的功能。后文將詳細說明子畫面存儲器P22。
移動補償部P10(步PS6)利用由移動檢測部P8檢測的移動參數(shù)P9和局部譯碼初始塊P6，生成預測圖象候選P11。其次，在預測方式選擇部P12中，用預測誤差信號電力和原信號電力，確定該宏塊最后的預測方式P13及預測圖象P14(步PS7)。由預測方式選擇部P12進行是內部幀編碼/中間幀編碼兩者中的哪一種編碼的判斷。
在結構編碼部P16中，根據(jù)預測方式P13，預測DCT(DiscreteCosine Transform)、量子化、得到的量子化DCT系數(shù)后，或直接將預測誤差信號P15或原宏塊本身送給長度可變編碼部·多路復用部P23，進行編碼(步PS8、步PS9)。長度可變編碼·多路復用部P23根據(jù)預定的語法和長度可變編碼代碼，將接收的數(shù)據(jù)變換成位流，進行多路復用(步PS10)。量子化DCT系數(shù)經過逆量子化、逆DCT，變成局部譯碼預測誤差信號P18后，與預測圖象P14相加后得到局部譯碼宏塊P19(步PS11)。局部譯碼宏塊P19被寫入VOP存儲器P21及子畫面存儲器P22，用于以后的VOP的預測(步PS12)。
以下，詳細說明進行預測的部分、特別是預測方式和移動補償、子畫面存儲器P22及VOP存儲器P21的更新控制。
(1)VM中的預測方式如圖33所示，在VM中通常有4種VOP編碼類型，能對每一宏塊選擇各類型中用○表示的預測方式。采用I-VOP時完全不進行預測，全部進行內部幀編碼。P-VOP能進行從過去的VOP開始的預測。B-VOP在預測中能使用過去及未來的VOP。
以上的預測是全部由移動矢量進行的預測。另一方面，Sprite-VOP是可以使用子畫面存儲器的預測。所謂子畫面是指這樣一種圖象空間，即在VOP單元中檢測下式x’＝(ax+by+c)/(gx+hy+1)y’＝(dx+ey+f)/(gx+hy+1)所示的彎曲參數(shù)集α→=(a,b,c,d,e,f,g,h)]]>(→表示矢量。以下同)以此為根據(jù)，通過依次混合VOP而生成的圖象空間，并被存入子畫面存儲器P22。
這里，(x，y)是原VOP在二維坐標上的象素位置，(x’，y’)是根據(jù)彎曲參數(shù)而與(x，y)對應的子畫面存儲器中的象素位置。在Sprite-VOP的各宏塊中，統(tǒng)一地使用該彎曲參數(shù)集，確定子畫面存儲器中的(x’，y’)，能生成預測圖象進行預測。嚴格地說，子畫面中預測用的″動態(tài)子畫面″和用于預測的同時在譯碼側以近似地合成VOP為目的用的″靜態(tài)子畫面″是有區(qū)別的。但在下述的圖34～圖37中，按″子畫面″的意義使用動態(tài)子畫面。
用移動檢測部P8檢測以上用于預測的移動矢量及彎曲參數(shù)。將它們統(tǒng)稱為移動參數(shù)P9。
(2)移動補償部移動補償部P10例如取圖34所示的內部結構。在該圖中，P26是彎曲參數(shù)，P27是移動矢量，P28是全局移動補償部，P29是局部移動補償部，P30是由彎曲參數(shù)決定的預測圖象候選，P31是由移動矢量決定的預測圖象候選。將由彎曲參數(shù)決定的預測圖象候選P30及由移動矢量決定的預測圖象候選P31總稱為預測圖象候選P11。
圖35中的步PS14至步PS21簡要地示出了移動補償部P10的工作流程。
在移動補償部P10中，利用由移動檢測部P8對每個宏塊P7檢測的VOP總體的彎曲參數(shù)P26或宏塊單元的移動矢量P27，生成預測圖象候選P11。在全局移動補償部P28中進行使用彎曲參數(shù)P26的移動補償，在局部移動補償部P29中進行使用移動矢量P27的移動補償。
在I-VOP的情況下，移動補償部P10不工作(步PS14至步PS21)。在I-VOP以外的情況下，局部移動補償部P29工作，利用移動矢量P27，從VOP存儲器P21內的過去的VOP局部譯碼圖象取出預測圖象候選(PR1)(步PS15)。在I-VOP的情況下，只使用該預測圖象候選(PR1)。
在步PS16中，在B-VOP的情況下，再在局部移動補償部P29中，利用移動矢量P27從VOP存儲器P21內的未來的VOP局部譯碼圖象取出預測圖象候選(PR2)(步PS17)，同時將從過去及未來的VOP局部譯碼圖象得到的預測圖象候選相加后取平均，獲得預測圖象候選(PR3)(步PS18)。
另外，即使是直接預測(根據(jù)相當于ITU-T勸告H.263編碼方式中的B幀的預測方式的預測。根據(jù)成為組的P-VOP的矢量作成B幀用的矢量。在此詳細說明從略)，也同樣生成預測圖象候選(PR4)(步PS19)。在圖34中，由移動矢量決定的預測圖象候選P31也是從上述預測圖象候選PR1至PR4的一部分或全部的總稱。
當既不是I-VOP，也不是B-VOP，而是Sprite-VOP時，利用移動矢量從VOP存儲器取出預測圖象候選(PR1)，同時在步PS2O中，在全局移動補償部P28中用彎曲參數(shù)P26，從子畫面存儲器P22取出預測圖象候選P30。
全局移動補償部P28根據(jù)彎曲參數(shù)P26，計算子畫面存儲器P22中的預測圖象候選存在的地址，根據(jù)該地址從子畫面存儲器P22中取出并輸出預測圖象候選P30。局部移動補償部P29根據(jù)移動矢量P27，計算VOP存儲器P21中的預測圖象存在的地址，根據(jù)該地址從VOP存儲器P21中取出并輸出預測圖象候選P31。
在預測方式選擇部P12中，對這些預測圖象候選P11并包括結構數(shù)據(jù)P7的內部幀編碼信號進行評價，選擇預測誤差信號電力最小的預測圖象候選和預測方式。
(3)存儲器更新由存儲器更新部P20進行存儲器更新控制(步PS12)，進行VOP存儲器P21及子畫面存儲器P22的更新。這些存儲器內容的更新與在宏塊單元中選擇的預測方式P13無關地進行。
存儲器更新部P20的內部結構示于圖36，表示存儲器更新部P20的工作的流程示于圖37中的步PS22至步PS28。
在圖36中，P32是從外部供給的VOP編碼類型，P33表示是否使用子畫面進行預測，是從外部供給的子畫面預測識別符，P34是使用子畫面存儲器的預測中用的從外部供給的布萊特系數(shù)，P35是開關，P36是開關，P37是子畫面合成部，P38是子畫面變形處理部，P39是VOP存儲器更新信號，P40子畫面存儲器更新信號。
首先，利用子畫面預測識別符P33檢查是否指定在該VO或VOL中使用子畫面(步PS22)，不使用子畫面時，檢查B-VOP(步PS27)，如果是B-VOP，完全不進行VOP存儲器P21的更新。在I-VOP或P-VOP的情況下，對每一宏塊將局部譯碼宏塊P19寫入VOP存儲器21(步PS28)。
另一方面，在步PS22的檢查中，在使用子畫面的情況下，首先進行與上述同樣的VOP存儲器P21的更新后(步PS23，步PS24)，按照以下的順序進行子畫面存儲器P22的更新。
a)子畫面的彎曲(步PS25)首先，在子畫面變形處理部P38中，利用彎曲參數(shù)α→=(a,b,c,d,e,f,g,h)]]>使子畫面存儲器上的區(qū)域(該VOP的時刻為t時，與將子畫面存儲器上的位置作為原點的VOP面積相同的區(qū)域)M(R→,t-1)]]>
彎曲(變形)。
b)子畫面的布萊特系數(shù)(步PS26)利用上述a)的結果得到的彎曲圖象，在子畫面合成部P37中，根據(jù)下式求出新的子畫面存儲器區(qū)M→(R,t)=(1-α)·Wb[M(R→,t-1),α→]+α·VO(r→,t)]]>式中α布萊特系數(shù)P34Wb[M,α→]]]>上述(α)的結果得到的彎曲圖象VO(r→,t)]]>局部譯碼VOP的位置 及時刻t時的象素值。
但在局部譯碼宏塊中不屬于VOP的區(qū)域看作VO(r→,t)=O]]>布萊特系數(shù)α是以VOP單元給出的，所以局部譯碼VOP不管VOP區(qū)的內容如何，根據(jù)α且按比重，一并在子畫面存儲器中合成。
在以上這種現(xiàn)有的編碼方式中的預測方式中，進行動態(tài)圖象目標的預測時，由于最大只能一個畫面一個畫面地使用只進行動矢量檢測的存儲器和只進行彎曲參數(shù)檢測的存儲器，所以只能以極其有限的方法使用能用于預測的參照圖象，不能充分地提高預測效率。
另外，在同時對多個動態(tài)圖象目標進行編碼的系統(tǒng)中，由于在這些存儲器中只包含表示預測的動態(tài)圖象目標本身的歷史的參照圖象，所以限定了參照圖象的變化，同時不能利用動態(tài)圖象目標之間的相關關系進行預測。
再者，即使進行存儲器的更新時，由于與動態(tài)圖象目標的內部結構、性質及歷史等無關地改寫存儲器的內容，所以不能將對于預測動態(tài)圖象目標有用的重要知識充分地存入存儲器，存在不能謀求提高預測效率的問題。
本發(fā)明就是為了解決上述問題而完成的，其目的在于提供這樣一種靈活的預測方式，即在對圖象數(shù)據(jù)進行編碼/譯碼的情況下，設置多個存儲器，考慮動態(tài)圖象順序的內部結構、性質等，將動態(tài)圖象順序的歷史有效地存入多個存儲器中，提高預測及編碼/譯碼的效率，同時能在多個動態(tài)圖象目標之間進行預測。
發(fā)明的公開本發(fā)明是一種預測動態(tài)圖象的動態(tài)圖象預測方式，其特征在于備有存儲預測時參照的圖象數(shù)據(jù)、同時分別與個別的變形方法對應的多個存儲器；以及輸入表示被預測圖象區(qū)域的移動的參數(shù)，利用該被預測圖象區(qū)域的預測中使用的存儲器中存儲的圖象數(shù)據(jù)，根據(jù)上述參數(shù)和與該存儲器對應的變形方法，生成預測圖象的預測圖象生成部，至少用于編碼裝置及譯碼裝置兩者中的一者。
特征在于上述編碼裝置生成表示上述預測圖象的生成中使用的該存儲器的預測存儲器指示信息信號，將上述預測存儲器指示信息信號和上述參數(shù)送給譯碼側，以便在譯碼側也能使用該存儲器中存儲的圖象數(shù)據(jù)，根據(jù)與該存儲器對應的變更方法，生成上述預測圖象。
特征在于上述譯碼裝置從編碼側接收上述參數(shù)和表示上述預測圖象的生成中使用的存儲器的預測存儲器指示信息信號，上述預測圖象生成部根據(jù)上述參數(shù)和與該存儲器對應的變形方法，利用該存儲器中存儲的圖象數(shù)據(jù)，生成上述預測圖象。
另外，本發(fā)明是一種預測動態(tài)圖象的動態(tài)圖象預測方式，其特征在于備有存儲預測時參照的圖象數(shù)據(jù)、同時分別與個別的參數(shù)有效值區(qū)對應分配的多個存儲器；以及輸入表示被預測圖象區(qū)域的移動的參數(shù)，選擇包含該參數(shù)值的與上述參數(shù)有效值區(qū)對應分配的存儲器，利用所選擇的存儲器中存儲的圖象數(shù)據(jù)，生成預測圖象的預測圖象生成部，至少用于編碼及譯碼兩者中的一者。
另外，本發(fā)明是一種預測動態(tài)圖象的動態(tài)圖象預測方式，其特征在于備有存儲預測時參照的圖象數(shù)據(jù)的多個存儲器；輸入表示被預測圖象區(qū)域的移動的參數(shù)，根據(jù)該參數(shù)，利用上述多個存儲器中存儲的圖象數(shù)據(jù)，生成預測圖象的移動補償部，以及預測圖象生成部，它有在任意時刻更新上述多個存儲器中的至少一個存儲器中存儲的圖象數(shù)據(jù)的存儲器更新部，至少用于編碼及譯碼兩者中的一者。
特征在于上述動態(tài)圖象預測方式是預測有第一和第二動態(tài)圖象目標的動態(tài)圖象順序上的動態(tài)圖象，上述多個存儲器備有與上述第一和第二動態(tài)圖象目標對應的第一和第二個別的多個存儲器，上述預測圖象生成部備有與上述第一和第二動態(tài)圖象目標對應的第一和第二個別的生成部，上述第一生成部在預測上述第一目標的情況下，至少使用上述第一和第二多個存儲器中的某一個存儲器中存儲的圖象數(shù)據(jù)，生成上述預測圖象，同時為了附加在預測圖象上而生成表示在第一目標的預測中是否使用第二多個存儲器的信息。
特征在于上述預測圖象生成部根據(jù)動態(tài)圖象在各個時刻的變化，通過增減上述多個存儲器的個數(shù)或尺寸，生成預測圖象。
特征在于上述預測圖象生成部根據(jù)動態(tài)圖象在各個時刻的變化，通過限定在預測中使用的存儲器，生成預測圖象。
特征在于上述預測圖象生成部通過計算利用上述多個存儲器中存儲的上述圖象數(shù)據(jù)分別生成的多個預測圖象，生成預測圖象。
特征在于上述動態(tài)圖象預測方式備有檢測表示被預測圖象區(qū)的重要程度的特征量參數(shù)的重要程度檢測部，上述預測圖象生成部根據(jù)上述特征量參數(shù)，通過至少從多個預測方式、多個存儲器、多個存儲器更新方法這多個選擇分支中至少選擇一個，生成預測圖象。
特征在于上述動態(tài)圖象預測方式備有檢測至少表示被預測圖象區(qū)可利用的編碼量、在各個時刻該圖象區(qū)的變化量、以及該圖象區(qū)的重要程度三者中的某一個的參數(shù)的重要程度檢測部，上述預測圖象生成部根據(jù)上述參數(shù)，通過至少選擇多個預測方式、多個存儲器、多個存儲器更新方法這多個選擇分支中的至少一個，生成預測圖象。
特征在于上述動態(tài)圖象預測方式按動態(tài)圖象目標單元預測動態(tài)圖象，上述動態(tài)圖象預測方式備有檢測至少表示被預測動態(tài)圖象區(qū)可利用的編碼量、在各個時刻該動態(tài)圖象目標的變化量、以及該動態(tài)圖象目標的重要程度三者中的某一個的參數(shù)的重要程度檢測部，上述預測圖象生成部根據(jù)上述參數(shù)，通過至少選擇多個預測方式、多個存儲器、多個存儲器更新方法這多個選擇分支中的至少一個，生成預測圖象。
特征在于上述動態(tài)圖象預測方式備有在動態(tài)圖象編碼中對與預測有關的信息進行編碼的預測信息編碼部，上述預測圖象生成部計數(shù)預測中使用的存儲器的使用頻度數(shù)，根據(jù)所計數(shù)的使用頻度數(shù)，確定上述多個存儲器的等級，上述預測信息編碼部根據(jù)預測中使用的存儲器的等級，將碼長分配給與預測有關的信息，對與預測有關的信息進行編碼。
特征在于上述多個存儲器至少有以幀為單元存儲圖象數(shù)據(jù)的幀存儲器，以及存儲子畫面圖象的子畫面存儲器。
特征在于上述子畫面存儲器至少有伴隨逐次更新的動態(tài)子畫面存儲器和不伴隨逐次更新的靜態(tài)子畫面存儲器兩者中的任意一者。
特征在于上述多個存儲器至少可變更地對應分配到平行移動、仿射變換、遠近法變換中的某一種變換方法。
另外，本發(fā)明是一種預測動態(tài)圖象的方法，其特征在于包括以下工序預測時將參照的圖象數(shù)據(jù)存入多個存儲器的工序；將各個個別的變形方法分別對應分配給上述多個存儲器的工序；輸入表示被預測圖象區(qū)的移動的參數(shù)的工序；以及利用在上述被預測圖象區(qū)的預測中使用的存儲器中存儲的圖象數(shù)據(jù)，根據(jù)上述參數(shù)和與該存儲器對應分配的變形方法，生成預測圖象的工序，至少用于編碼及譯碼兩者中的一者。
特征在于上述預測動態(tài)圖象的方法還包括生成表示上述預測圖象生成中使用的該存儲器的預測存儲器指示信息信號的工序；以及將上述預測存儲器信息信號和上述參數(shù)送給譯碼側的工序。
特征在于上述預測動態(tài)圖象的方法還包括從編碼側接收表示預測圖象生成中使用的存儲器的預測存儲器指示信息信號和表示被預測圖象區(qū)的移動的參數(shù)的工序，在譯碼中使用。
另外，本發(fā)明是一種預測動態(tài)圖象的方法，其特征在于包括以下工序預測時將參照的圖象數(shù)據(jù)存入多個存儲器的工序；將各個個別的參數(shù)有效值區(qū)分別對應分配給上述多個存儲器的工序；輸入表示被預測圖象區(qū)的移動的參數(shù)的工序；選擇包含上述參數(shù)值的上述參數(shù)有效值區(qū)域對應分配的存儲器的工序；以及利用所選擇的存儲器中存儲的圖象數(shù)據(jù)生成預測圖象的工序，至少用于編碼及譯碼兩者中的一者。
另外，本發(fā)明是一種預測動態(tài)圖象的方法，其特征在于包括以下工序預測時將參照的圖象數(shù)據(jù)存入多個存儲器的工序；輸入表示被預測圖象區(qū)的移動的參數(shù)的工序；根據(jù)上述參數(shù)，利用上述多個存儲器中存儲的圖象數(shù)據(jù)生成預測圖象的工序；以及在任意時刻更新上述多個存儲器中的至少一個存儲器中存儲的圖象數(shù)據(jù)的工序， 至少用于編碼及譯碼兩者中的一者。
附圖的簡單說明

圖1是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象編碼裝置的結構圖。
圖2是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象編碼裝置的工作流程圖。
圖3是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象編碼裝置的移動補償部的結構圖。
圖4是表示移動補償部的工作流程圖。
圖5是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象編碼裝置的存儲器更新部的結構圖。
圖6是表示存儲器更新部的工作流程圖。
圖7是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象編碼裝置的移動補償部的結構圖。
圖8是表示圖7中的移動補償部的工作流程圖。
圖9是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象編碼裝置的移動補償部的結構圖。
圖10是表示圖9中的移動補償部的工作流程圖。
圖11是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象編碼裝置的結構圖。
圖12是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象編碼裝置的移動補償部的結構圖。
圖13是表示圖12中的移動補償部的工作流程圖。
圖14是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象編碼裝置的存儲器更新部的結構圖。
圖15是表示圖14中的存儲器更新部的工作流程圖。
圖16是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象編碼裝置的結構圖。
圖17是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象編碼裝置的結構圖。
圖18是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象編碼裝置的結構圖。
圖19是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象編碼裝置的結構圖。
圖20是表示本發(fā)明的實施形態(tài)1的位流21的示意圖。
圖21是表示本發(fā)明的實施形態(tài)2的位流21的示意圖。
圖22是表示本發(fā)明的實施形態(tài)3的位流21的示意圖。
圖23是表示本發(fā)明的實施形態(tài)6的位流21的示意圖。
圖24是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象譯碼裝置的結構圖。
圖25是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象譯碼裝置的移動補償部的結構圖。
圖26是表示移動補償部的工作流程圖。
圖27是說明內插處理的說明圖。
圖28是表示本發(fā)明的實施形態(tài)中的動態(tài)圖象譯碼裝置的存儲器更新部的工作流程圖。
圖29是表示VM編碼方式中的視頻數(shù)據(jù)結構的說明圖。
圖30是表示VOP數(shù)據(jù)結構的說明圖。
圖31是表示VM編碼裝置的結構的結構圖。
圖32是表示圖31中的編碼裝置的工作流程圖。
圖33是表示與VOP編碼類型對應的預測種類的說明圖。
圖34是表示圖31所示的編碼裝置中的移動補償部的結構圖。
圖35是表示圖34中的移動補償部的工作流程圖。
圖36是表示圖31所示的編碼裝置中的存儲器更新部的結構圖。
圖37是表示圖36中的存儲器更新部的工作流程圖。
實施發(fā)明用的最佳形態(tài)實施形態(tài)1圖1是表示實施形態(tài)1的及下述的實施形態(tài)中的編碼裝置的結構框圖。該圖中，1是輸入動態(tài)圖象信號，2是結構數(shù)據(jù)，3是移動檢測部，4是移動參數(shù)，5是移動補償部，6是預測圖象候選，7是預測方式選擇部，8是預測方式，9是預測圖象，10是預測誤差圖象，11是結構編碼部，12是量子化DCT系數(shù)，13是局部譯碼的預測誤差圖象，14是局部譯碼圖象，15是存儲器更新部，16是存儲器a，17是存儲器b，18是存儲器c，19是長度可變編碼·多路復用部，20是發(fā)信緩沖器，21是位流，80是場面變換檢測部，81是計時器。其中移動補償部5及存儲器更新部15是實現(xiàn)預測方式的預測圖象生成部100。另外，存儲器a、b、c是存儲器區(qū)200。圖中在本實施形態(tài)中未涉及的部分將在以后的實施形態(tài)中說明。圖2是表示該編碼裝置的工作流程的流程圖。
在該實施形態(tài)中，根據(jù)以輸入動態(tài)圖象的移動量·色度等圖象的特征為依據(jù)的重要程度，分別使用多個例如3個存儲器，而且設有以任意時間間隔更新任意的存儲器(區(qū)域)例如存儲器a的內容的結構。另外，動態(tài)圖象順序是被輸入幀單元的順序。
(1)輸入信號如上所述，上述編碼裝置將動態(tài)圖象順序中表示各時刻的圖象的幀輸入單元中，幀被分割成被預測圖象區(qū)之一例的成為編碼單元的宏塊(步S1)。
(2)分別使用存儲器的方法過去譯過碼的圖象或預先固定給出的圖象被存入存儲器中，但在該實施形態(tài)中，根據(jù)幀中的部分區(qū)的重要程度，如下分別使用3個存儲器。
存儲器a存儲重要程度小的圖象區(qū)(＝靜止或均勻移動，而且結構均勻的背景的圖象區(qū))。
存儲器b存儲重要程度中等的圖象區(qū)(＝被攝物體移動，移動較小的圖象區(qū))。
存儲器c存儲重要程度大的圖象區(qū)(＝被攝物體移動，移動大的圖象區(qū))。
存儲器a中存儲的重要程度小的圖象區(qū)可以考慮電視會議的場面等中出現(xiàn)的背景圖象區(qū)。另外，包括伴隨某種微小移動的被攝物體，也相當于包括通過操作攝象機使畫面整體均勻移動的場面中的背景區(qū)。如果代替這些移動，預先從稱為宏塊的小單元求出幀全體的移動，將其作為宏塊的移動，則是有效的。這可以這樣做，即求出相當于在現(xiàn)有例中說明過的子畫面中的彎曲參數(shù)的變形參數(shù)，將幀全體的變形參數(shù)看作宏塊的移動參數(shù)。移動參數(shù)可以只是平行移動參數(shù)(＝與移動矢量同義)，也可以是包含變形的仿射參數(shù)、遠近法移動參數(shù)等。這里，移動矢量是移動參數(shù)之一例。
存儲器b中存儲的重要程度中等的圖象區(qū)可以考慮例如在電視會議的場面中不發(fā)言、只是身體移動的人物圖象區(qū)，畫面中注意程度低的被攝物體區(qū)。存儲器c中存儲的重要程度大的圖象區(qū)可以考慮例如電視會議的場面中的發(fā)言者等注意程度最高的被攝物體區(qū)。
存儲器b、c中存儲的區(qū)由于具有被攝物體本身的動作，所以當然要考慮每個宏塊中具有不同的移動參數(shù)。這時的移動參數(shù)可以只是平行移動參數(shù)(＝與移動矢量同義)，也可以是包含變形的仿射參數(shù)、遠近法移動參數(shù)等。
(3)移動檢測(步S2)本實施形態(tài)中的移動檢測部3去掉現(xiàn)有例中的那種移動矢量和彎曲參數(shù)的區(qū)別，能在宏塊單元中檢測全部3個存儲器的任意的變形參數(shù)。另外，移動檢測部3備有用存儲器a檢測幀全體的變形參數(shù)的全局移動參數(shù)檢測功能，以及用存儲器a至c檢測每個宏塊的變形參數(shù)的局部移動參數(shù)檢測功能。
(4)移動補償(步S3)本實施形態(tài)中的移動補償部5的內部結構示于圖3。在該圖中，22是預測圖象存儲器地址計算部，23是預測圖象存儲器地址，24是存儲器讀出部，25是從外部供給的參照存儲器指示信號。這里，參照存儲器指示信號25用來指示使用存儲器a、b、c。記述該移動補償部5的工作的流程示于圖4中的步S11至步S16。
首先，如果是I(內部)-幀，不進行移動補償(步S11)。如果不是I-幀，則將由移動檢測部3檢測的全局移動參數(shù)和來自各存儲器的局部移動參數(shù)一起生成預測圖象候選(步S12至步S15)。具體地說，預測圖象存儲器地址計算部22中根據(jù)移動參數(shù)4，計算由參照存儲器指示信號25指示的存儲器中的預測圖象候選存在的預測圖象存儲器地址23，根據(jù)預測圖象存儲器地址23，存儲器讀出部24從對應的存儲器取出并輸出預測圖象候選6。
在該實施形態(tài)中，由于全局移動參數(shù)或局部移動參數(shù)都是基于同一變形方式，所以生成任何預測圖象都能共同使用圖3中的移動移動補償部5。另外，用全局移動參數(shù)生成預測圖象候選6時(步S15)，經常將存儲器a作為參照存儲器用。
(5)預測方式的選擇(步S4)該實施形態(tài)中的預測方式有以下幾種(a)使用存儲器a的方式；(b)使用存儲器b的方式；(c)使用存儲器c的方式；(d)使用內部幀編碼信號的方式。
預測方式選擇部7如現(xiàn)有例所示，包括由移動補償部5生成的全部預測圖象候選6和內部幀編碼信號，選擇預測誤差信號的電力(振幅)最小的預測圖象候選6作為預測圖象9輸出。另外，還輸出與所選擇的預測圖象9對應的預測方式8。在該預測方式8的信息中含有表示預測了所選擇的預測圖象9的存儲器的存儲器選擇信息。預測方式8被送給長度可變編碼·多路復用部19，用所分配的碼長，在位流21中進行編碼，作為預測存儲器指示信息800。
(6)存儲器的更新存儲器的更新由存儲器更新部15進行控制。該實施形態(tài)中的存儲器更新部15的內部結構示于圖5。在該圖中，26是存儲器a更新時用的活動性(將在后面詳細說明)，27是存儲器a更新判斷部，28是參照存儲器選擇部，29、30是開關，31是更新存儲器a的圖象數(shù)據(jù)，32是更新存儲器b的圖象數(shù)據(jù)，33是更新存儲器c的圖象數(shù)據(jù)，34是更新存儲器a的全局預測圖象數(shù)據(jù)。另外，將存儲器更新的工作流程示于圖6。
該實施形態(tài)中的存儲器更新按以下順序進行。如果存儲器更新部15輸入了局部譯碼圖象14，則在存儲器a更新判斷部27中判斷更新存儲器a對于該局部譯碼圖象14所屬的幀的必要性(步S17)，在參照存儲器選擇部28中根據(jù)預測方式8，選擇預測中使用的存儲器(步S18、S19)，使用更新該局部譯碼圖象14的存儲器a的圖象數(shù)據(jù)31、更新存儲器b的圖象數(shù)據(jù)32、更新存儲器c的圖象數(shù)據(jù)33、更新存儲器a的全局預測圖象數(shù)據(jù)34中的一種數(shù)據(jù)，按照下述的規(guī)則更新所選擇的存儲器內的參照圖象。另外，按預測單元(宏塊單元)對每一幀進行該存儲器更新。
(1)存儲器b、c的每一幀更新(步S20、S21)將局部譯碼圖象14寫入該圖象的預測中使用的存儲器b或存儲器c。
(2)存儲器a的任意幀更新(步S22、S23)根據(jù)步S17中的存儲器a更新判斷結果1000，只對任意幀或以任意的時間間隔，將局部譯碼圖象14寫入該圖象的預測中使用的存儲器a。
存儲器a的內容可以說是背景圖象等的不隨時間變化的圖象區(qū)的歷史，除非區(qū)域的內容隨著場面的變化或畫面整體的大的移動等而發(fā)生很大的變化，否則存儲器的內容就沒有必要更新。
如上所述，如果備有對被攝物體等的活動區(qū)以幀為單元逐次更新，而存儲器a的內容以較長的時間間隔進行更新的結構，則能有效地根據(jù)被攝物體的移動，預測影影綽綽的背景圖象。
在該實施形態(tài)中，根據(jù)以上觀點，設有以任意的時間間隔進行存儲器a的更新的結構。具體地說，例如可以考慮a.根據(jù)全局移動參數(shù)的大小，當移動大時將畫面全體內容一起更新，移動小時不更新內容的方法；b.不受幀之間的時間間隔的限定，每隔某一定的時間一起更新畫面全體內容的方法；c.檢測到場面變化時，對場面變化后的幀將畫面全體內容一起更新的方法等任意更新判斷基準。
在該實施形態(tài)中，將成為以上這樣的任意更新判斷基準的數(shù)據(jù)統(tǒng)稱為存儲器a更新用的活動性26。首先，存儲器a更新判斷部27用活動性26判斷是否更新存儲器a的內容(步S22)。在上述任意更新判斷基準a的情況下，由移動檢測部3檢測到的全局移動參數(shù)值成為活動性，在任意更新判斷基準b的情況下，來自計時器81的該幀的計時標記相當于活動性26，在任意更新判斷基準c的情況下，從場面變化檢測部80輸出的通知場面變化檢測的標記相當于活動性26。
在斷定了要更新存儲器a的內容時，局部譯碼圖象14的內容被作為全局預測圖象數(shù)據(jù)34輸出，改寫存儲器a的內容(步S23)。在未斷定更新存儲器a的內容時，不進行存儲器a的更新。
另外，該幀中的存儲器a更新判斷結果1000能進行與在譯碼側同樣的任意更新而被多路化在位流21中，送給譯碼側。
圖20是表示該實施例的位流21的示意圖。
在圖20中，示意性地示出了幀數(shù)據(jù)按順序編碼后被輸送的情況。將標題信息作為幀單元的附加信息加在各幀數(shù)據(jù)的開頭。另外，在標題信息中，存儲器a更新判斷結果1000被多路化，并被傳送給譯碼側。繼標題信息之后的是構成該幀的宏塊數(shù)據(jù)。在宏塊數(shù)據(jù)的內部包含表示預測該宏塊數(shù)據(jù)用的存儲器的預測存儲器指示信息800。在譯碼裝置中，根據(jù)各宏塊數(shù)據(jù)的預測存儲器指示信息800，特定預測圖象的存儲器，生成預測圖象。
另外，雖然圖中未示出，但也可以將存儲器b更新信息及/或存儲器c更新信息與存儲器a更新判斷結果1000一起或代替該存儲器a更新判斷結果1000輸送到譯碼側。
利用上述編碼裝置，根據(jù)動態(tài)圖象順序的內容，供給有效地分別使用多個存儲器的結構，能提高預測效率。即，進行動態(tài)圖象順序的預測時，根據(jù)動態(tài)圖象順序的內容或性質，分別使用多個存儲器，進行以任意的變形參數(shù)為依據(jù)的預測，所以即使包括復雜的移動，也能進行與局部圖象性質相符的有效的動態(tài)圖象預測，能提高預測效率，能構成既能保證編碼圖象的品質，又能減少編碼數(shù)據(jù)的發(fā)送量的編碼裝置。另外，在根據(jù)本發(fā)明的預測方式對編碼后的位流進行譯碼的譯碼裝置中，也能用同樣的預測方式構成。
在該實施形態(tài)中，說明了對每個幀進行編碼的裝置，但即使是對具有任意形狀的動態(tài)圖象目標(VOP)進行編碼的裝置，也能獲得同樣的效果。
另外，在該實施形態(tài)中，作為被預測圖象區(qū)的一個例子說明了以宏塊為單元的編碼裝置，但即使是按照由具有任意形狀的局部圖象等圖象單元或多個固定尺寸塊的組合構成的形狀可變的塊等的圖象單元對圖象進行編碼的裝置，也能獲得同樣的效果。
另外，在該實施形態(tài)中，使用了利用存儲器a的全局移動參數(shù)檢測，但當然也可以不用它，即使是只使用局部移動檢測的結構，也能適用。在不進行全局移動檢測時，作為預測方式，不需要傳送全局/局部預測的判斷信息。
另外，在該實施形態(tài)中，設有預先存儲根據(jù)動態(tài)圖象順序的內容生成的參照圖象數(shù)據(jù)、在編碼過程中不進行更新的存儲器，將其用于預測。
另外，在該實施形態(tài)中，說明了在對存儲器a、b、c各自的部分區(qū)域進行存儲后，由存儲器更新部15對存儲器a、b、c中的任意一個存儲器進行更新的情況，但在存儲器a、b、c共有圖象的一部分或全部而存儲圖象的情況下，存儲器更新部15更新存儲器a、b、c中的兩個存儲器或全部存儲器。例如，在存儲器a是存儲1幀的參照圖象數(shù)據(jù)的幀存儲器、存儲器b是不伴隨逐次更新的靜態(tài)子畫面存儲器、存儲器c是伴隨逐次更新的動態(tài)子畫面存儲器的情況下，由于靜態(tài)子畫面存儲器將預先固定的數(shù)據(jù)作為參照圖象數(shù)據(jù)存儲，所以存儲器b不會被存儲器更新部15更新，但在存儲器a和存儲器c存儲同一區(qū)域的參照圖象數(shù)據(jù)的情況下，存儲器更新部15同時更新存儲器a和存儲器c。這樣，存儲器a、b、c在重復存儲參照圖象數(shù)據(jù)的情況下，存儲器更新部15分別更新重復的區(qū)域。
在以下所述的實施形態(tài)中也與以上的情況相同。
另外，在該實施形態(tài)中，說明了使用3個存儲器a、b、c的情況，但即使使用任意兩個存儲器時也沒關系。
另外，還可以用具有與在該實施形態(tài)中說明的移動補償部5、存儲器更新部15完全相同的構件的預測圖象生成部100構成譯碼裝置。在用于譯碼裝置的情況下，移動補償部不需要生成全部3個預測圖象候選，只生成與譯過碼的移動參數(shù)有關的預測圖象即可。
實施形態(tài)2其次，給出在圖1所示構成的編碼裝置中只使移動補償部5的結構不同而構成的譯碼裝置的實施形態(tài)，并說明實施形態(tài)2的移動補償部5a的結構和工作情況。
將該實施形態(tài)的移動補償部5a的內部結構示于圖7。在該圖中，35是參照存儲器確定部。另外，將記述該移動補償部5a的詳細工作情況的流程示于圖8。
首先，如果是I-幀，則不進行移動補償(步S24)。如果不是I-幀，則參照存儲器確定部35根據(jù)移動參數(shù)4的值，確定參照存儲器(步S25)。參照存儲器確定部35保持著分配給各存儲器a、b、c的有效移動參數(shù)值范圍(將在后面詳細說明)，通過與移動參數(shù)4的值進行比較，判斷該移動參數(shù)4指的是哪個存儲器，輸出識別存儲器a、b、c的參照存儲器指示信號25a。
所謂有效移動參數(shù)值范圍，是指例如在檢測移動矢量時，假定其探索范圍為±15個象素，則各存儲器的有效探索范圍為在±0至3個象素范圍中將存儲器a用于預測，在±4至8個象素范圍中將存儲器b用于預測，在±9至15個象素范圍中將存儲器c用于預測。但是，在用全局移動參數(shù)生成預測圖象時，參照存儲器認定為存儲器a，所以在只使用局部移動參數(shù)時，才起動參照存儲器確定部35。這樣，所謂用移動矢量的值特定用于預測的存儲器，是指基于背景圖象移動小、而注意程度越高的圖象移動越大這樣的前提進行特定。這樣，在用移動矢量的值特定用于預測的存儲器時，不需要對預測方式進行編碼傳送。
其次，隨著所選擇的參照存儲器指示信號25a，生成預測圖象候選6(步S26至步S30)。具體地說，在預測圖象存儲器地址計算部22中根據(jù)移動參數(shù)4，計算由參照存儲器指示信號25a指示的存儲器中的預測圖象候選6存在的預測圖象存儲器地址23，存儲器讀出部24根據(jù)預測圖象存儲器地址23，從對應的存儲器取出并輸出預測圖象候選6。
在該實施形態(tài)中，由于全局移動參數(shù)或是局部移動參數(shù)都是基于同一變形方式，所以生成任何預測圖象都能共同使用圖7所示的移動補償部5a。另外，用全局移動參數(shù)取出預測圖象候選6時(步S31)，經常將存儲器a作為參照存儲器用。
雖然有效移動參數(shù)值區(qū)域對每個動態(tài)圖象順序來說也可以是一定的數(shù)值區(qū)域，但例如也可以按各幀進行變更。在按各幀進行變更時，該幀中的各存儲器的有效移動參數(shù)值區(qū)域被多路化在位流中，送給譯碼側，能在譯碼側進行同樣的存儲器選擇。
圖21是表示該實施形態(tài)的位流21的示意圖。
在該位流的開頭有附加在動態(tài)圖象順序單元中的標題信息。該標題信息有各存儲器的有效移動參數(shù)值區(qū)域指示信息。這樣，通過在動態(tài)圖象順序的開頭指定有效移動參數(shù)值區(qū)域指示信息，能在譯碼裝置中對該動態(tài)圖象順序執(zhí)行采用了一定數(shù)值區(qū)域的有效移動參數(shù)值區(qū)域的預測方式。
在對每一幀變更有效移動參數(shù)值區(qū)域的情況下，在附加在幀單元中的標題信息中也可以包含有效移動參數(shù)值區(qū)域的指示信息。
利用上述的具有移動補償部5a的結構的編碼裝置，根據(jù)幀的局部移動程度，供給有效地分別使用多個存儲器的結構，能提高預測效率。
在該實施形態(tài)中，說明了對每個幀進行編碼的裝置，但即使是對具有任意形狀的動態(tài)圖象目標(VOP)進行編碼的裝置，也能獲得同樣的效果。
另外，在該實施形態(tài)中，說明了以宏塊為單元的編碼裝置，但即使是按照由具有任意形狀的局部圖象等的圖象單元或多個固定尺寸塊的組合構成的形狀可變的塊等的圖象單元對圖象進行編碼的裝置，也能獲得同樣的效果。
另外，在該實施形態(tài)中，使用了利用存儲器a的全局移動參數(shù)檢測，但當然也可以不用它，即使是只使用局部移動檢測的結構，也能適用。在不進行全局移動檢測時，作為預測方式，不需要傳送全局/局部預測的判斷信息。
另外，還可以用具有與在該實施形態(tài)中說明的移動補償部5a完全相同的構件的預測圖象生成部100構成譯碼裝置。在用于譯碼裝置的情況下，移動補償部只生成與譯過碼的移動參數(shù)有關的預測圖象即可。
實施形態(tài)3其次，給出在圖1所示構成的編碼裝置中只使移動補償部5的結構不同而構成的譯碼裝置的實施形態(tài)，并說明移動補償部5b的結構和工作情況。該實施形態(tài)中的移動檢測部3a分別輸出平行移動量、仿射參數(shù)、遠近法參數(shù)作為移動參數(shù)4a。
另外，假定該實施形態(tài)中的存儲器a是存儲1幀大小的參照圖象的幀存儲器，存儲器b是靜態(tài)子畫面存儲器，存儲器c是動態(tài)子畫面存儲器。
將該實施形態(tài)的移動補償部5b的內部結構示于圖9。在該圖中，36是平行移動量(＝移動矢量)，37是仿射參數(shù)，38是遠近法參數(shù)，39是基于平行移動量的預測圖象存儲器地址計算部，40是基于仿射參數(shù)的預測圖象存儲器地址計算部，41基于遠近法參數(shù)的預測圖象存儲器地址計算部。另外，將記述該移動補償部5b的詳細工作情況的流程示于圖10。
首先，如果是I-幀，則不進行移動補償(步S33)。如果不是I-幀時，則預測圖象存儲器地址計算部39至41根據(jù)各移動參數(shù)4a的值，計算預測圖象存儲器地址23(步S34)。
各預測圖象存儲器地址計算部根據(jù)分配給對應的各存儲器的圖象變形方式進行地址計算。在該實施形態(tài)中，將平行移動用于存儲器a，將伴隨某種程度的旋轉或放大、縮小等單純的變形的仿射參數(shù)用于存儲器b，將伴隨3維復雜的移動的遠近法參數(shù)用于存儲器c。這些變形方式用下列變換式表示。
平行移動量(a，b)x’＝x+ay’＝y(tǒng)+b[仿射變換]仿射參數(shù)(a，b，c，θ)x’＝a(cosθ)x+a(sinθ)y+by’＝a(-sinθ)x+a(cosθ)y+c[遠近法變換]遠近法參數(shù)(a，b，c，d，e，f)
x’＝(ax+by+c)/(gx+hy+1)y’＝(dx+ey+f)/(gx+hy+1)式中，二維坐標上的(x，y)是原宏塊的象素位置，(x’，y’)是根據(jù)各參數(shù)而與(x，y)對應的存儲器中的象素位置。即，根據(jù)這些參數(shù)，計算(x’，y’)在存儲器上的位置。利用該結構，能從各宏塊中移動的性質都適合的存儲器進行預測。利用根據(jù)各移動參數(shù)36、37、38計算的預測圖象存儲器地址23，存儲器讀出部24從對應的存儲器取出并輸出預測圖象候選6(步S35至步S39)。
另外，該幀中的各存儲器的變形方式的類型作為移動檢測方法指示信息被多路化在位流21中，送給譯碼側，能在譯碼側進行同樣的移動補償。
圖22是表示該實施形態(tài)的位流21的示意圖。
在動態(tài)圖象順序的開頭附加的標題信息中包含移動檢測方法指示信息。在編碼裝置中，各存儲器中使用的變形方式的類型是可以變更的，將表示其對應關系的移動檢測方法指示信息作為動態(tài)圖象順序的標題信息送給譯碼裝置。這樣在譯碼裝置中就能識別各存儲器中使用的變形方式的類型。
在譯碼裝置中，該識別的變形方式的類型動態(tài)地對應于各存儲器。
利用上述具有移動補償部5b的結構的編碼裝置，根據(jù)幀的局部移動性質，供給有效地分別使用多個存儲器的結構，能提高預測效率。
在該實施形態(tài)中，說明了對每個幀進行編碼的裝置，但即使是對具有任意形狀的動態(tài)圖象目標(VOP)進行編碼的裝置，也能獲得同樣的效果。
另外，在該實施形態(tài)中，說明了以宏塊為單元的編碼裝置，但即使是按照由具有任意形狀的局部圖象等的圖象單元或多個固定尺寸塊的組合構成的形狀可變的塊等的圖象單元對圖象進行編碼的裝置，也能獲得同樣的效果.
另外，在該實施形態(tài)中，使用了利用存儲器a的全局移動參數(shù)檢測，但當然也可以不用它，即使是只使用局部移動檢測的結構，也能適用。在不進行全局移動參數(shù)檢測時，作為預測方式，不需要傳送全局/局部預測的判斷信息。
另外，在該實施形態(tài)中，給出了使用存儲器a、b、c的情況，但即使是只使用存儲器a和b的情況、或只使用存儲器a和c的情況、或只使用存儲器b和c的情況也沒關系。
另外，還可以用具有與在該實施形態(tài)中說明的移動補償部5b完全相同的構件的預測圖象生成部100構成譯碼裝置。在用于譯碼裝置的情況下，移動補償部只生成與譯過碼的移動參數(shù)有關的預測圖象即可。
實施形態(tài)4其次，說明以具有形狀信息的多個、例如2個不同的動態(tài)圖象目標混合存在的動態(tài)圖象順序為對象，對這些動態(tài)圖象目標一并進行編碼的裝置的實施形態(tài)。圖11示出了該實施形態(tài)中的編碼裝置的結構。
該圖中，42是輸入圖象幀，43是目標分離部，44a、44b是目標數(shù)據(jù)，45a、45b是形狀塊，46a、46b是開關，47a、47b是形狀編碼部，48a、48b是壓縮形狀塊數(shù)據(jù)，49a、49b是局部譯碼形狀塊，50a、50b是結構數(shù)據(jù)(宏塊)，51a、51b是移動檢測部，52a、52b是移動參數(shù)，53a、53b是移動補償部，54a、54b是預測圖象候選，55a、55b是預測方式選擇部，56a、56b是預測方式信息，57a、57b是預測圖象，58a、58b是預測誤差信號，59a、59b是結構編碼部，60a、60b是壓縮結構數(shù)據(jù)，61a、61b是局部譯碼預測誤差信號，62a、62b是局部譯碼宏塊，63是存儲器更新部，64是存儲器a，65是存儲器b，66是存儲器c，67是存儲器d，68是存儲器e，69是存儲器f，70a、70b是長度可變編碼部，71是多路復用部，72緩沖器，73位流，94是存儲部，88a是對A目標編碼的A目標編碼部，88b是對B目標編碼的B目標編碼部。目標編碼部88a、88b具有由同一種材料構成的同樣的內部結構。
該編碼裝置輸入圖象幀42，它在目標分離部43中被分成編碼單元的目標。目標分離部43的處理可以采用任意的方法。
目標形狀信息以形狀塊45a、45b的形式被送給形狀編碼部47a、47b進行編碼，作為壓縮形狀塊數(shù)據(jù)48a、48b送給長度可變編碼部70a、70b。
移動檢測部51a、51b與VM編碼方式一樣，考慮局部譯碼形狀塊49a、49b，進行移動參數(shù)的檢測。移動參數(shù)檢測可以用全部存儲器a至f，在宏塊單元中進行。
但是，作為原則，對于在目標A編碼部88a中進行編碼的目標A來說，使用存儲器a至c，對于在目標B編碼部88b中進行編碼的目標B來說，使用存儲器d至f。
另外，作為移動的種類，去掉移動矢量和彎曲參數(shù)的區(qū)別，對于存儲部94的全部存儲器都能在宏塊單元中檢測任意的變形參數(shù)。
在移動補償部53a、53b中根據(jù)各移動參數(shù)52a、52b，生成全部預測圖象候選54a、54b后，由預測方式選擇部55a、55b獲得預測圖象57a、57b和預測方式信息56a、56b。取原信號或結構數(shù)據(jù)50a、50b和預測圖象57a、57b的差分，獲得預測誤差信號58a、58b，它在結構編碼部59a、59b中編碼后，被送給長度可變編碼部70a、70b。另外，進行過局部譯碼的預測誤差信號61a、61b與預測圖象57a、57b相加，成為局部譯碼宏塊62a、62b，根據(jù)存儲器更新部的指示，被寫入存儲器a至f。
在上述A/B目標編碼部88a、88b中，被編碼的A/B目標數(shù)據(jù)在多路復用部71中被多路化在1個位流73中，通過緩沖器72進行輸送。
以下以進行主要工作的移動補償部53a、53b為中心，說明該實施形態(tài)中的預測。
該實施形態(tài)中的移動補償部53a、53b根據(jù)由移動檢測部51a、51b檢測的移動參數(shù)52a、52b，生成預測圖象候選。移動補償部53a的內部結構示于圖12。另外，A目標編碼部88a中的移動補償部53a的工作流程示于圖13。另外，移動補償部53b也同樣構成、同樣工作。
在圖12中，74a是B目標參照判斷部，75a是B目標參照指示標記。
這里，移動參數(shù)52a還包括檢測用的存儲器信息。與實施形態(tài)1一樣，根據(jù)參數(shù)值并利用預測存儲器地址計算部22a、存儲器讀出部24a，生成預測圖象候選(步S44至步S49)。另外，B目標參照判斷部74a根據(jù)移動參數(shù)52a中的參照用的存儲器信息，判斷在該宏塊的預測中是否使用目標B用的存儲器(步S43)。
B目標參照判斷部74a將判斷結果作為B目標參照指示標記75a輸出，用于判斷在譯碼側該目標是否能只用本身的存儲器a、b、c單獨再生，所以被多路化在位流73中，送給譯碼側。編碼時可以這樣控制，即根據(jù)從外部供給的信號85a，便能經常在譯碼側進行該目標的單獨再生，檢測移動參數(shù)時，可以這樣控制，即只使用本身預測用的存儲器(只a、b、c)。
利用具有上述移動補償部53a、53b的結構的編碼裝置，根據(jù)幀的局部移動性質，供給有效地分別使用多個存儲器的結構，能提高預測效率。
另外，在該實施形態(tài)中，說明了在宏塊單元中對目標進行編碼的裝置，但即使是按照由具有任意形狀的局部圖象或多個固定尺寸塊的組合構成的形狀可變的塊等單元進行編碼的裝置，也能獲得同樣的效果。
另外，還可以使用與在該實施形態(tài)中說明的移動補償部53a、53b完全相同的構件構成譯碼裝置。在用于譯碼裝置的情況下，移動補償部53只生成與譯過碼的移動參數(shù)有關的預測圖象即可。另外，如果這樣構成，即根據(jù)位流，對相當于另一目標參照指示標記75a、75b的位進行譯碼，并能識別譯碼中的目標是否能單獨再生，這樣就能無誤地對目標數(shù)據(jù)進行譯碼再生。
實施形態(tài)5其次，說明對應于動態(tài)圖象目標隨時間的變化，能使存儲器的數(shù)量及容量任意地變化的編碼裝置的實施形態(tài)。在實施形態(tài)5中，考慮將圖1所示結構的編碼裝置中的存儲器更新部15的結構更換后的編碼裝置。
圖14示出了該實施形態(tài)中的存儲器更新部15a的內部結構。在該圖中，76是存儲器展開判斷部，77是存儲器展開指示信號，78是存儲器退縮判斷部，79是存儲器退縮指示信號。圖15示出了存儲器更新部15a的工作流程(步S51至步S63)。
當由于場面變化等而出現(xiàn)與存儲器中存儲的動態(tài)圖象順序的歷史顯著不同的圖象時，在場面變化后的預測中，只用原有的存儲器中含有的參照圖象時預測效率往往下降。在這種情況下，如果能由場面的變化檢測部80檢測場面的變化，對場面變化后的幀進行內部幀編碼等，并將其作為新的參照圖象追加存入存儲器中，則能提高以后的預測效率。
另外，由于能追加的存儲器的容量有物理性的極限，所以具有能使存儲器上的參照圖象中預測時幾乎不使用的部分逐漸退縮的結構。使之具有這樣的結構，即根據(jù)預測方式8，由存儲器更新部15a測量存儲器a、b、c的各存儲區(qū)預測時使用的頻度，在存儲器更新部中將頻度小的存儲區(qū)域從使用區(qū)展開的結構。如果采用該實施形態(tài)，例如在用軟件構成編碼裝置時，能有效地利用有限的RAM(隨機存取存儲器)資源。
根據(jù)上述觀點，該實施形態(tài)中的存儲器更新部15a具有根據(jù)動態(tài)圖象順序隨時間變化的狀態(tài)，或使存儲區(qū)增加，或使含有預測時不怎么使用的參照圖象的存儲區(qū)退縮的功能。
存儲器a與實施形態(tài)1相同，在存儲器a更新判斷部27中確定是否可以更新(步S50)，更新時將局部譯碼圖象14寫入存儲器a(步S56，步S57)。另外，根據(jù)預測方式8，將局部譯碼圖象14寫入各存儲器(步S51至步S55)。
這些存儲器內容的更新是根據(jù)存儲器展開/退縮的判斷進行的。在存儲器展開判斷部76中，根據(jù)存儲器a更新時使用的活動性26，判斷是否增加存儲器a(或存儲器b、c)的容量(步S58至步S60)。如果由于場面變化等而斷定可以增加，便用存儲器展開指示信號77指示存儲器展開。另外，在存儲器退縮判斷部78中，根據(jù)預測方式8進行預測中用的存儲區(qū)的計數(shù)，只對規(guī)定次數(shù)以下的預測中用的存儲區(qū)，用存儲器退縮指示信號79指示存儲器的退縮(步S61至步S63)。
利用具有上述存儲器更新部15a的結構的編碼裝置，能隨著動態(tài)圖象順序隨時間變化而有效地進行預測，同時供給將預測時所必要的存儲區(qū)按時間分配的結構，能提高預測效率，同時能有效地利用存儲器資源。
另外，在該實施形態(tài)中，說明了對每個幀進行編碼的裝置，但即使是對具有任意形狀的動態(tài)圖象目標(VOP)進行編碼的裝置，也能獲得同樣的效果。
另外，在該實施形態(tài)中，說明了在宏塊單元中對幀進行編碼的裝置，但即使是按照由具有任意形狀的局部圖象等的圖象單元或多個固定尺寸塊的組合構成的形狀可變的塊區(qū)等圖象單元進行編碼的裝置，也能獲得同樣的效果。
另外，還可以使用與在該實施形態(tài)中說明的存儲器更新部15a完全相同的構件構成譯碼裝置。
實施形態(tài)6
在上述各實施形態(tài)中，說明了變更宏塊單位預測中使用的存儲器的情況，但也可以采用變更幀或動態(tài)圖象目標單元預測中使用的存儲器，進行預測的結構。因此，不需要對應按幀或動態(tài)圖象目標單元編碼的存儲器相關的信息及應按宏塊單元編碼的存儲器選擇信息(包括預測方式8)進行編碼，能有效地進行編碼。
例如在實施形態(tài)1的圖1所示的編碼裝置中，由于能切換宏塊單元預測中使用的存儲器，所以必須傳送表示預測中使用了宏塊單元的哪個存儲器的附加信息。與此不同，在本實施形態(tài)中，通過將該使用的存儲器的切換單元限制在幀或動態(tài)圖象目標內進行預測，所以能有效地減少應傳送給宏塊單元的附加信息。圖23示出了圖20所示的實施形態(tài)1的傳送位流21和本實施形態(tài)的傳送位流21的不同。圖23所示的例表示變更幀單元預測中使用的存儲器的情況，預測存儲器指示信息800包含在幀單元的標題信息中。圖23所示的例在例如動態(tài)圖象順序的圖象性質經常不變、宏塊電平的局部變化小的情況下有效。另外，能構成對如上編碼后的位流進行譯碼、使幀或動態(tài)圖象目標再生的譯碼裝置。
實施形態(tài)7在上述各實施形態(tài)中，還能這樣構成，即將從多個存儲器中的任意的2個存儲器(例如存儲器a和b)取出的2個預測圖象候選相加，并將平均后的圖象作為預測圖象候選6中的一個或作為預測圖象9用。另外，能構成對如上編碼后的位流進行譯碼、使幀或動態(tài)圖象目標再生的譯碼裝置。
實施形態(tài)8在上述各實施形態(tài)所示的編碼裝置中，還能這樣構成，即預先檢測規(guī)定成為進行預測單元的圖象區(qū)的空間的復雜性、注視程度等的特征量參數(shù)，將它們作為確定預測方式，更新存儲器時的判斷尺度利用。
例如，想像一種包括復雜的移動、在給定的編碼量內進行達到允許品質的編碼有困難的動態(tài)圖象。在這種情況下，確定每個被預測圖象區(qū)(宏塊、任意形狀圖象區(qū)、任意形狀塊等)的重要程度，對于重要程度低的區(qū)可在一定程度上降低品質，減少編碼量，將這部分編碼量分配給重要程度高的區(qū)，能提高總體品質。象本發(fā)明這樣在任意的時刻切換多個存儲器進行預測的裝置中，通過檢測表示被預測圖象區(qū)的重要程度的特征量參數(shù)，根據(jù)該參數(shù)動態(tài)地確定存儲器的使用方法，能進行更適合于圖象性質的預測。例如，如圖16所示，設置區(qū)重要程度檢測部95，用來檢測每個區(qū)的特征量參數(shù)，確定重要程度。區(qū)重要程度檢測部95將區(qū)重要程度傳送給預測方式選擇部7a，同時根據(jù)區(qū)重要程度，將量化參數(shù)傳送給結構編碼部11a。被重要程度檢測部95判斷為重要程度高的區(qū)，用所準備的多個預測方式中最復雜的方式進行預測。例如，利用來自各存儲器a、b、c的參照圖象，根據(jù)各種復雜的移動模型，求出移動參數(shù)和預測圖象，在預測方式選擇部7a中，包括這些預測圖象的任意組合(相加后平均等)在內選擇預測效率最高的預測方式。這時，相對在預測中使用的全部存儲器更新參照圖象。進而在結構編碼部11a中，利用量化級差小的量化參數(shù)進行編碼。另一方面，在重要程度低的區(qū)，利用簡易的預測方式(只用一個存儲器的平行移動量檢測)進行預測，利用量化級差大的量化參數(shù)進行編碼，以便成為與所獲得的預測誤差信號的振幅無關的小的碼量。通過進行以上的控制，重要程度低的區(qū)即使在某種程度上降低了品質，但重要程度高的區(qū)通過高精度預測，能確保品質，能用給定的碼量提高全體品質。
實施形態(tài)9在利用多個存儲器，對動態(tài)圖象順序進行預測編碼的裝置中能這樣構成，即在動態(tài)圖象順序的各時刻，檢測可使用的碼的數(shù)量、或該時刻的場面變化量(場面變化檢測等)、實施形態(tài)8中所述的被預測圖象區(qū)的特征量或重要程度等的參數(shù)，將這些值用作選擇在該時刻的圖象預測中能使用的預測方式或參照存儲區(qū)選擇時的判斷尺度。例如，如圖17所示，可以考慮這樣一種裝置結構，即設置按幀單元確定重要程度的幀重要程度檢測部96，檢測該幀相對于前幀的變化量(檢測來自場面變化檢測部80的場面變化)、新目標的出現(xiàn)·隱蔽的有無等，考慮從發(fā)信緩沖器20通知的能在該幀中使用的碼量，確定最后的幀重要程度。據(jù)此，在重要程度高的幀的情況下，利用所準備的全部預測方式和參照存儲區(qū)，最大限度地提高預測效率，在重要程度低的幀的情況下，限定使用預測方式或參照存儲區(qū)，簡化編碼處理，減少處理量。另外，還可以考慮在場面變化時不進行預測，而全部進行內部幀編碼的裝置。再者，如果與實施形態(tài)8中說明過的區(qū)重要程度檢測部95一并使用，則能進行相當細的品質控制。通過進行以上的控制，重要程度低的幀即使在某種程度上降低了品質，但重要程度高的幀卻由于高精度預測而確保了品質，能用所供給的碼量提高全體的品質。
本實施形態(tài)的想法也能適用于下述情況處理程序或可以使用的存儲器的數(shù)量在由流動式的軟件進行編碼時，最大限度地應用所能利用的資源，有效地進行編碼處理。能減少重要程度低的幀的處理量，能提高總體的處理速度。
實施形態(tài)10可以采用如圖11所示的結構，在用多個存儲器對由多個動態(tài)圖象目標構成的動態(tài)圖象順序進行預測、編碼的裝置中，檢測能作為順序使用的總碼數(shù)量、能在各動態(tài)圖象目標的各個時刻使用的碼的數(shù)量、或在該時刻的動態(tài)圖象目標的變化量(目標的出現(xiàn)、隱蔽等)、各動態(tài)圖象目標在場面中的重要程度/注視程度的等級、實施形態(tài)8或9所述的被預測圖象區(qū)的特征量或重要程度等參數(shù)，將這些值用作選擇在該時刻的動態(tài)圖象目標的預測中能使用的預測方式或參照存儲區(qū)時的判斷尺度。
例如，如圖18所示，可以考慮這樣一種裝置結構，即設置與各目標1～n對應的重要程度檢測部97a～97n，檢測表示目標在各個時刻的變化量或目標的出現(xiàn)、隱蔽等有無的參數(shù)，同時考慮存儲全部目標的編碼數(shù)據(jù)的全部緩沖器72x的占有率、以及各目標的虛擬緩沖器72a～72n的占有率，確定目標在各個時刻的重要程度。例如，在目標內作為其它目標的一部分重疊等的結果而出現(xiàn)新型區(qū)的情況下，這對以后的預測效率有很大的影響，所以即使在某種程度上目標的虛擬緩沖器內沒有余裕的情況下，也要考慮提高重要程度、使編碼圖象優(yōu)異等的控制。由重要程度檢測部97a～97n檢測的重要程度被送給目標1～N編碼部98a～98n，在重要程度高的目標的情況下，利用所準備的全部預測方式和參照存儲區(qū)，最大限度地提高預測效率，在重要程度低的目標的情況下，限定使用預測方式或參照存儲區(qū)，簡化編碼處理，減少處理量。另外，在實時地使目標從幀分離后進行編碼的裝置中，在由于新的目標的出現(xiàn)或現(xiàn)有目標的隱蔽等使得該目標的內容顯著變化的情況下，還可以考慮不進行預測，全部進行內部幀編碼的裝置。再者，在目標1～N編碼部98a～98n中如果與實施形態(tài)8中說明過的區(qū)重要程度檢測部95一并使用，則能進行比目標內的各被預測對象區(qū)單元更細的品質控制。通過進行以上的控制，重要程度低的目標即使在某種程度上降低了品質，但重要程度高的目標卻由于高精度預測而確保了品質，能用所供給的碼量提高全體的品質。
實施形態(tài)11另外，如圖19所示，有時設置進行有關預測的編碼信息(參照存儲器編號等)的碼分配(編碼)的預測信息編碼部91。
可以采用這樣的結構在用多個存儲器a、b、c對動態(tài)圖象順序或動態(tài)圖象目標進行預測、編碼的裝置中，根據(jù)預測時用的存儲器的使用頻度，給多個存儲器加上等級，而且在編碼過程中能動態(tài)地變更所加的該等級，根據(jù)預測時用的多個存儲器的等級，進行上述預測信息編碼部91中的有關預測的編碼信息(參照存儲器編號等)的碼分配。
例如在圖19所示的編碼裝置中，在存儲器更新部15b中設置分別計數(shù)存儲器a、b、c在預測時被使用的頻度的計數(shù)器92，根據(jù)其計數(shù)值，給存儲器a、b、c加上等級，輸出等級信息90。該等級的施加可以例如以1幀或動態(tài)圖象目標在某時刻的圖象(VOP)為單元進行，也可以在更細的單元即在每一被預測圖象區(qū)(宏塊、任意形狀區(qū)、任意形狀塊等)中進行。
因此，能知道哪個存儲器在預測中以怎樣的頻度被使用。預測中頻繁使用的存儲器是進行預測時重要程度高的存儲器，參照頻度越高，等級也越高。
這樣一來，在各被預測圖象區(qū)單元中對預測時使用的存儲器的頻度信息進行編碼時，將碼的長度短的碼分配給頻繁參照的存儲器(＝等級高的存儲器)，這樣能提高編碼效率。
另外，如果在各被預測圖象區(qū)單元中檢測的移動參數(shù)也能與參照的存儲器的等級對應地分配碼長，則能將碼的長度短的碼分配給頻繁發(fā)生的移動參數(shù)值，能有效地進行預測信息的編碼。這些結構能這樣實現(xiàn)，即長度可變編碼·多路復用部19的預測信息編碼部91從存儲器更新部15b的計數(shù)器92接收各存儲器的等級，根據(jù)其等級信息90，改變碼長度，進行預測信息的編碼。
實施形態(tài)12圖24表示本實施形態(tài)中的將壓縮編碼后的數(shù)字圖象展開再生的圖象譯碼裝置的結構。該圖中，21是編過碼的位流，119是長度可變譯碼部，12是量子化DCT系數(shù)，12a是量子化正交變換系數(shù)，12b是量子化步長，111是結構譯碼部，111a是逆量子化部，111b是逆正交變換部，190是譯碼加法部，101是譯碼圖象，191是顯示控制部，8是預測方式，1001是存儲器b更新信息，1002是存儲器c更新信息，4是移動矢量(移動參數(shù))，800是預測存儲器指示信息，195是被預測圖象區(qū)在畫面內的位置，105是移動補償部，116是存儲器a，117是存儲器b，118是存儲器c，115是存儲器更新部，106是預測圖象。由移動補償部105和存儲器更新部115構成預測圖象生成部100a。另外，由存儲器a、b、c構成存儲區(qū)200a。
在該實施形態(tài)中，假定存儲器a是存儲1幀的圖象數(shù)據(jù)的幀存儲器，存儲器b是靜態(tài)子畫面存儲器，存儲器c是動態(tài)子畫面存儲器。另外，該實施形態(tài)的譯碼裝置假定輸入圖22所示的位流21。另外，雖然在圖22中未示出，但存儲器b更新信息1001及存儲器c更新信息1002被送到位流中。在存儲器b更新信息1001中包含全面更新靜態(tài)子畫面存儲器用的更新指示和進行全面更新用的圖象數(shù)據(jù)。同樣，在存儲器c更新信息1002中包含全面更新動態(tài)子畫面存儲器用的更新指示和進行全面更新用的圖象數(shù)據(jù)。
以下說明如上構成的裝置的工作情況。首先，在長度可變譯碼部119中分析位流21，將其分成各個編碼數(shù)據(jù)。量子化正交變換系數(shù)12a被送給逆量子化部111a，用量子化步長12b進行逆量子化。其結果，在逆正交變換部111b中進行逆正交變換，結構被譯碼，并送給譯碼加法部190。正交變換采用DCT(離散余弦變換)等與在編碼裝置一側所用的相同。
由長度可變譯碼部119根據(jù)位流進行過譯碼后的移動矢量4、預測存儲器指示信息800、以及表示被預測圖象區(qū)在畫面內的位置195的信息被輸入移動補償部105中。移動補償部105根據(jù)這3種信息，從存儲在多個存儲器a、b、c中的參照圖象取出所希望的預測圖象。被預測圖象區(qū)在畫面內的位置195不是包含在位流中的信息，而是通過計數(shù)宏塊數(shù)能計算出來。關于預測圖象生成的處理方法，將在以下說明移動補償部105的工作情況的部分加以詳細說明。
譯碼加法部190根據(jù)預測方式8的信息，如果是內部幀編碼的塊，則將逆正交變換部111b的輸出直接作為譯碼圖象101輸出，如果是中間幀編碼的塊，便將預測圖象106加在逆正交變換部111b的輸出中，作為譯碼圖象101輸出。譯碼圖象101被送給顯示控制部191，并被輸出給顯示裝置，同時在以后的譯碼處理中作為參照圖象用，所以被寫入存儲器a～c。根據(jù)預測方式8，由存儲器更新部115控制向存儲器的寫入。
其次，說明預測圖象生成部100a的移動補償部105中的預測圖象生成處理方法。在本實施形態(tài)中，圖象的預測方式根據(jù)預測存儲器指示信息800來確定。在本實施形態(tài)的譯碼裝置中生成預測圖象時，根據(jù)移動矢量4和預測存儲器指示信息800，通過規(guī)定的坐標變換處理及內插處理，從參照圖象生成預測圖象。坐標變換處理的方法預先就對應地分配給了預測中使用的存儲器。例如，可以考慮與在實施形態(tài)3中說明過的圖象變形方式相同的如下的變形方法例。
(1)預測中使用存儲器a的情況(＝預測存儲器指示信息800指示使用存儲器a的情況)根據(jù)移動矢量，使被預測對象區(qū)的各象素的坐標平行移動，將存儲器a中對應位置的圖象數(shù)據(jù)作為預測圖象取出。
(2)預測中使用存儲器b的情況(＝預測存儲器指示信息指示使用存儲器b的情況)根據(jù)移動矢量，求仿射變換式，根據(jù)該變換式使被預測對象區(qū)的各象素的坐標位移，將存儲器b中對應位置的圖象數(shù)據(jù)作為預測圖象取出。
(3)預測中使用存儲器c的情況(＝預測存儲器指示信息指示使用存儲器c的情況)根據(jù)移動矢量，求遠近法變換式，根據(jù)該變換式使被預測對象區(qū)的各象素的坐標位移，將存儲器c中對應位置的圖象數(shù)據(jù)作為預測圖象取出。
將移動補償部105的內部結構示于圖25。在該圖中，161是開關，162是存儲器a用對應點確定部，163是存儲器b用對應點確定部，164是存儲器c用對應點確定部，165是存儲器讀出地址生成部，166是開關，167是內插處理部。另外，圖26是表示其工作狀況的流程圖。
以下，根據(jù)圖25及圖26說明本實施形態(tài)的移動補償部105的工作情況。
1)對應點的確定首先，根據(jù)預測存儲器指示信息800，由開關161選擇對應的存儲器用的對應點確定部，將移動矢量4輸入所選擇的對應點確定部。在這里進行與各存儲器對應的預測圖象位置的計算。以下對應于存儲器進行說明。
1-1)預測存儲器指示信息800指示使用存儲器a的情況(步S100)根據(jù)由移動矢量進行的平行移動，算出預測圖象位置(步S101)。具體地說，根據(jù)移動矢量(a，b)，由下式確定被預測圖象區(qū)的位置(x，y)的象素的預測圖象位置(x’，y’)。
x’＝x+ay’＝y(tǒng)+b將所確定的預測圖象位置輸出給存儲器讀出地址生成部165。
1-2)預測存儲器指示信息800指示使用存儲器b的情況(步S103)根據(jù)移動矢量4確定仿射變換式。具體地說，用包圍被預測圖象區(qū)的矩形區(qū)的頂點的移動矢量，確定下式中的仿射參數(shù)(a，b，c，θ)。
x’＝a(cosθ)x+a(sinθ)y+by’＝a(-sinθ)x+a(cosθ)y+c據(jù)此，求出被預測圖象區(qū)的位置(x，y)的象素的預測圖象位置(x’，y’)，輸出給存儲器讀出地址生成部165(步S104)。
1-3)預測存儲器指示信息800指示使用存儲器c的情況(步S106)根據(jù)移動矢量確定遠近法變換式。具體地說，用包圍被預測圖象區(qū)的矩形區(qū)的頂點的移動矢量，確定下式中的遠近法參數(shù)(a，b，c，d，e，f)。
x’＝(ax+by+c)/(gx+hy+1)y’＝(dx+ey+f)/(gx+hy+1)據(jù)此，求出被預測圖象區(qū)的位置(x，y)的象素的預測圖象位置(x’，y’)，輸出給存儲器讀出地址生成部(步S107)。
2)預測圖象生成用數(shù)據(jù)的讀出根據(jù)從所選擇的對應點確定部輸出的預測圖象位置(x’，y’)，存儲器讀出地址生成部165生成特定存儲器中存儲的參照圖象中的預測圖象生成時所必要的圖象數(shù)據(jù)的位置用的存儲器地址，讀出預測圖象生成用數(shù)據(jù)(步S102、S105、S108)。
3)預測圖象的生成構成預測圖象的象素中如果是整數(shù)象素位置的象素，則預測圖象生成用數(shù)據(jù)就直接成為預測圖象構成象素。另一方面，在實數(shù)精度的象素位置的象素的情況下，通過由內插處理部167進行預測圖象生成用數(shù)據(jù)的內插處理，生成內插象素值(步S109、S110、S111)。內插象素值的生成按照圖27進行。在圖27中，(ip，jp)表示整數(shù)象素位置，(i’，j’)表示實數(shù)精度的象素位置，w表示權重。
4)存儲器(參照圖象)的更新圖28示出了存儲器更新部115的控制程序。在存儲器更新部115中，根據(jù)預測方式8(或預測存儲器指示信息800)，按預測圖象取出單元(例如宏塊單元)控制各存儲器的更新。用存儲器a進行預測時(步S112)，根據(jù)譯碼圖象101逐次更新存儲器a及c的內容(步S113)。用存儲器b進行預測時(步S114)，由于存儲器b是靜態(tài)子畫面存儲器，所以存儲器b的參照圖象不按預測圖象取出單元進行更新。可是，根據(jù)譯碼圖象101逐次更新存儲器a及c的內容(步S115)。另一方面，在收到存儲器b更新信息1001的更新指示后，接收存儲器b更新信息1001中包含的圖象數(shù)據(jù)，全面更新存儲器b的內容(步S116)。另外，在用存儲器c進行預測時(步S117)，根據(jù)譯碼圖象101逐次更新存儲器a及c的內容(步S118)。另外，在由存儲器更新信息收到更新指示后，接收存儲器c更新信息1002中包含的圖象數(shù)據(jù)，更新存儲器c的內容(步S119)。
在該實施形態(tài)中，說明了使用3個存儲器a、b、c的情況，但即使使用2個存儲器也沒關系。例如，即使使用存儲器a和b、即使用幀存儲器和靜態(tài)子畫面存儲器時也沒關系?；蛘呒词故褂么鎯ζ鱝和c、即使用幀存儲器和動態(tài)子畫面存儲器時也沒關系。
如上所述，如果采用本實施形態(tài)的譯碼裝置，則對應于圖象的移動，能使用各種類型的移動參數(shù)，對有效地進行過預測的已編碼的位流21進行譯碼，同時由于能與在編碼側規(guī)定的時刻任意地更新參照圖象的內容的結構相對應，所以能進行更適應于圖象性質的譯碼處理。
在本實施形態(tài)中，即使是采用正交變換編碼以外的其它編碼方式對預測誤差信號進行編碼的位流，通過變更移動補償部·存儲器更新部以外的預測誤差信號譯碼處理用的構件，能獲得同樣的效果。
另外，本實施形態(tài)不僅能適用于以固定尺寸塊為單元進行譯碼處理的以通常的視頻信號的幀為單元的譯碼裝置，而且也能適用于不將被預測對象區(qū)限定在固定尺寸塊、而以任意形狀圖象目標(例如在ISO/IEC JTC1/SC29/WG11/N1902中公開的Video Object Plane等)為單元的譯碼裝置。
工業(yè)上利用的可能性如上所述，如果采用本發(fā)明，由于具有多個存儲參照用圖象的存儲區(qū)，所以能根據(jù)動態(tài)圖象順序的性質，分配存入存儲器，另外，由于能在任意時刻更新多個存儲區(qū)中的1個以上的存儲區(qū)的內容，所以背景圖象等不隨時間變化的圖象內容長時間內不進行內容的更新，從而能進行局部變化的圖象區(qū)頻繁地更新存儲器內容等的控制，能進行產生動態(tài)圖象順序的歷史的有效地預測。
另外，由于對多個存儲器分別設定使各存儲器成為有效區(qū)的變形參數(shù)值范圍，根據(jù)被預測圖象區(qū)的變形參數(shù)值，切換并在預測中使用存儲區(qū)，所以能根據(jù)動態(tài)圖象順序的局部的/大范圍的移動的大小，進行有效的預測。同時應對每個被預測圖象區(qū)進行編碼的移動參數(shù)能在參照存儲區(qū)的有效移動參數(shù)值區(qū)的范圍內有效地進行編碼。
另外，由于對多個存儲區(qū)分別設定使各存儲器成為有效的變形方法，根據(jù)被預測圖象區(qū)的變形參數(shù)的種類，能切換并預測存儲器，所以能根據(jù)動態(tài)圖象順序的局部的/大范圍的移動的復雜性，進行有效的預測。同時與被預測圖象區(qū)的移動性質一致地適當?shù)剡x擇變形方法，能有效地對移動參數(shù)進行編碼。
權利要求
1.一種動態(tài)圖象譯碼裝置，輸入壓縮圖象并使用預測圖像將圖像譯碼，其特征在于具有存儲器，存儲在產生預測圖象時參照的圖象；輸入部，輸入表示變換方法的指示信息和壓縮圖象；和預測圖象生成部，具有作與多個變換方法對應的變換處理的處理部，并對上述存儲器上的參照圖象，作與輸入部輸入的指示信息所示出的變換方法對應的變換處理，生成預測圖象。
2.根據(jù)權利要求1所述的動態(tài)圖象譯碼裝置，其特征在于上述處理部根據(jù)平行移動變換方法、仿射變換方法、透視變換方法中的任何一種的變換方法，生成預測圖象。
3.根據(jù)權利要求1所述的動態(tài)圖象譯碼裝置，其特征在于上述動態(tài)圖象譯碼裝置還具有多個存儲器，存儲在產生預測圖象時參照的圖象，并且與上述多種變換方法之中至少一種以上的變換方法對應；上述處理部參照在與變換方法對應的存儲器中存儲的圖象，生成預測圖象。
4.一種動態(tài)圖象譯碼裝置，輸入壓縮圖象并使用預測圖像將圖像譯碼，其特征在于具有多個存儲器，存儲在產生預測圖象時參照的圖象，并且與上述多種變換方法之中至少一種以上的變換方法對應；輸入部，輸入表示上述多個存儲器之中應使用的存儲器的存儲器信息和壓縮圖象；和預測圖象生成部，從上述多個存儲器中，選擇輸入部所輸入的存儲器信息表示的存儲器，并通過參照在所選擇的存儲器中存儲的圖象，生成預測圖象。
5.根據(jù)權利要求4所述的動態(tài)圖象譯碼裝置，其特征在于上述預測圖象生成部具有根據(jù)多種變換方法作變換處理的處理部；上述多個存儲器中的各個存儲器，與規(guī)定的變換方法的對應；上述處理部根據(jù)與所選擇的存儲器對應的變換方法作變換處理并生成預測圖象。
6.根據(jù)權利要求5所述的動態(tài)圖象譯碼裝置，其特征在于上述處理部根據(jù)平行移動變換方法、仿射變換方法、透視變換方法中的任何一種的變換方法，生成預測圖象。
7.一種動態(tài)圖象譯碼裝置，輸入壓縮圖象并使用預測圖像將圖像譯碼，其特征在于具有存儲器，存儲在產生預測圖象時參照的圖象；和預測圖象生成部，輸入指示多種變換方法之中，為生成壓縮圖象所使用的變換方法的指示信息和壓縮圖象，并使用上述存儲器上的參照圖象，根據(jù)指示信息表示的變換方法，生成預測圖象。
8.根據(jù)權利要求7所述的動態(tài)圖象譯碼裝置，其特征在于上述預測圖象生成部根據(jù)平行移動變換方法、仿射變換方法、透視變換方法中的任何一種的變換方法，生成預測圖象。
9.根據(jù)權利要求7所述的動態(tài)圖象譯碼裝置，其特征在于上述動態(tài)圖象譯碼裝置還具有多個存儲器，存儲在產生預測圖象時參照的圖象，并且與上述多種變換方法之中至少一種以上的變換方法對應；上述預測圖象生成部參照在與上述變換方法對應的存儲器中存儲的圖象，生成預測圖象。
10.一種動態(tài)圖象譯碼方法，輸入壓縮圖象并使用預測圖像將圖像譯碼，其特征在于具有存儲工序，存儲在產生預測圖象時參照的圖象；輸入工序，輸入表示變換方法的指示信息和壓縮圖象；和預測圖象生成工序，具有作與多個變換方法對應的變換處理的處理工序，并對由上述存儲工序所存儲的參照圖象，作與輸入工序所輸入的指示信息所示出變換方法對應的變換處理，生成預測圖象。
11.根據(jù)權利要求10所述的動態(tài)圖象譯碼方法，其特征在于上述處理工序根據(jù)平行移動變換方法、仿射變換方法、透視變換方法中的任何一種的變換方法，生成預測圖象。
12.根據(jù)權利要求10所述的動態(tài)圖象譯碼方法，其特征在于上述動態(tài)圖象譯碼方法還具有在與上述多種變換方法之中至少一種以上的變換方法對應的多個存儲器中，存儲在產生預測圖象時參照的圖象的工序；上述處理工序參照在與變換方法對應的存儲器中存儲的圖象，生成預測圖象。
13.一種動態(tài)圖象譯碼方法，輸入壓縮圖象并使用預測圖像將圖像譯碼，其特征在于具有在與上述多種變換方法之中至少一種以上的變換方法對應的多個存儲器中，存儲在產生預測圖象時參照的圖象的工序；輸入工序，輸入表示上述多個存儲器之中應使用的存儲器的存儲器信息和壓縮圖象；和預測圖象生成工序，從上述多個存儲器中，選擇輸入工序所輸入的存儲器信息表示的存儲器，并通過參照在所選擇的存儲器中存儲的圖象，生成預測圖象。
14.根據(jù)權利要求13所述的動態(tài)圖象譯碼裝置，其特征在于上述預測圖象生成工序具有根據(jù)多種變換方法作變換處理的處理工序；上述多個存儲器中的各個存儲器，與規(guī)定的變換方法的對應；上述處理工序根據(jù)與所選擇的存儲器對應的變換方法作變換處理并生成預測圖象。
15.根據(jù)權利要求14所述的動態(tài)圖象譯碼方法，其特征在于上述處理工序根據(jù)平行移動變換方法、仿射變換方法、透視變換方法中的任何一種的變換方法，生成預測圖象。
16.一種動態(tài)圖象譯碼方法，輸入壓縮圖象并使用預測圖像將圖像譯碼，其特征在于具有存儲在產生預測圖象時參照的圖象的工序；和預測圖象生成工序，輸入指示多種變換方法之中，為在生成壓縮圖象使用的變換方法的指示信息和壓縮圖象，并使用由上述存儲工序所存儲的參照圖象，根據(jù)指示信息表示的變換方法，生成預測圖象。
17.根據(jù)權利要求16所述的動態(tài)圖象譯碼方法，其特征在于上述預測圖象生成工序根據(jù)平行移動變換方法、仿射變換方法、透視變換方法中的任何一種的變換方法，生成預測圖象。
18.根據(jù)權利要求16所述的動態(tài)圖象譯碼方法，其特征在于上述動態(tài)圖象譯碼方法還具有在與上述多種變換方法之中至少一種以上的變換方法對應的多個存儲器中，存儲在產生預測圖象時參照的圖象的工序；上述預測圖象生成部參照在與上述變換方法對應的存儲器中存儲的圖象，生成預測圖象。
全文摘要
為了獲得一種根據(jù)動態(tài)圖象的場面內容和重要程度、移動的性質等，進行高精度的預測的編碼方式，而備有存儲參照的圖象數(shù)據(jù)的多個存儲器a、b、c；能與表現(xiàn)被預測圖象區(qū)的移動的任意的變形參數(shù)對應，根據(jù)該變形參數(shù)，利用上述多個存儲器a、b、c中的任意數(shù)據(jù)生成預測圖象的移動補償部5；以及能在任意時間間隔內更新上述多個存儲器a、b、c中1個以上存儲器的內容的存儲器更新部15。
文檔編號H04N7/24GK1510928SQ20031012456
公開日2004年7月7日 申請日期1998年1月22日 優(yōu)先權日1997年2月13日
發(fā)明者關口俊一, 太郎, 淺井光太郎, 村上篤道, 道, 文, 西川博文, 一, 黑田慎一, 井須芳美, 美, 由里, 長谷川由里 申請人:三菱電機株式會社