專利名稱：畫面編碼和解碼裝置及其方法
技術領域：
本發(fā)明涉及一種畫面編碼和解碼技術、畫面處理技術、記錄技術以及記錄介質(zhì)；尤其涉及一種這樣的技術和記錄介質(zhì)，即，將運動畫面數(shù)據(jù)記錄到諸如磁光盤或者磁帶介質(zhì)上，再現(xiàn)所記錄的數(shù)據(jù)以在顯示系統(tǒng)上顯示，或者把運動的畫面數(shù)據(jù)經(jīng)過傳輸通道從發(fā)射機傳輸至接收機，并且由接收機接收和顯示所傳輸?shù)臄?shù)據(jù)，或者為了記錄而編輯所接收的數(shù)據(jù)(如同在電視會議系統(tǒng)、視頻電話系統(tǒng)、廣播設備、以及多媒介數(shù)據(jù)庫檢索系統(tǒng)中那樣)。
背景技術：
在向一個遠程的地方傳輸運動畫面數(shù)據(jù)的系統(tǒng)中，如在電視會議系統(tǒng)或者視頻電話系統(tǒng)中，通過使用或者利用線性相關性和幀間相關性，畫面數(shù)據(jù)可以被編碼(壓縮)。用于運動畫面的高效編碼系統(tǒng)由運動畫面專家小組(MPEG)建議。在ISO-1EC/JTC 1/SC2/WG11討論之后，這樣的系統(tǒng)作為一個標準的草案被建議，它是由運動補償預測編碼與離散余弦轉(zhuǎn)變(DCT)結(jié)合的混合系統(tǒng)。
在MPEG中，若干框架和級別被定義以便處理各種類型的應用和功能。最基本的是主要框架主要級別(運動畫面ML(主要級別上的主要框架)(Main Profile@at main level))。
在MPEG系統(tǒng)中，圖1說明了MP@ ML編碼單元。在這樣的編碼單元中，將要編碼的畫面數(shù)據(jù)提供給幀存儲器31，以瞬時地存儲在其中。以1616個象素宏-塊為基礎，運動矢量檢測器32讀出存儲在幀存儲器31中的畫面數(shù)據(jù)，以便檢測它的運動矢量。運動矢量檢測器32處理每一種幀比如I-畫面，P-畫面，以及B-畫面的畫面數(shù)據(jù)。每個依次進入的幀的畫面被以預定方式處理為I-、P-或者B-畫面之一，諸如I，B，P，B，P，...，B，P的序列，。即，運動矢量檢測器32參考存儲在幀存儲器31中的一系列畫面中預定參考幀，并且檢測宏塊的運動矢量，即，該幀的16象素乘16行的一個小塊通過在宏-塊和參考幀之間的模式匹配(塊匹配)而被編碼，以檢測宏-塊的運動矢量。
在MPEG中，有四種畫面預測方式，即，內(nèi)編碼(幀內(nèi)編碼)，前向預測編碼，后向預測編碼，以及雙向預測編碼。I-畫面是幀內(nèi)編碼的畫面，P-畫面是幀內(nèi)編碼的或者前向預測編碼或者后向預測編碼畫面，而且B-畫面是幀內(nèi)編碼的，前向預測編碼的，或者雙向預測編碼的畫面。
回到圖1，運動矢量檢測器32在P-畫面上進行前向預測，以檢測它的運動矢量。運動矢量檢測器32把通過前向預測所產(chǎn)生的預測誤差與，例如，被編碼的宏-塊的變化(P-畫面的宏-塊)進行比較。如果宏-塊的變化比預測誤差更小，幀內(nèi)編碼方式被設置為預測方式，并且輸出至可變長度編碼(VLC)單元36和運動補償器42。另一方面，如果由前向預測編碼產(chǎn)生的預測誤差更小，運動矢量檢測器32設置前向預測編碼方式作為預測方式，并且與檢測的運動矢量一同輸出設定的方式到VLC單元36和運動補償器42。另外，對于B-畫面，運動矢量檢測器32完成前向預測，后向的預測，以及雙向預測，以檢測各自的運動矢量。運動矢量檢測器32檢測前向預測，后向的預測，和雙向預測的最小的預測誤差(在這里被認作為最小預測誤差)，并且比較最小預測誤差與，例如，被編碼的宏-塊的變化(B-畫面的宏-塊)。如果，這樣比較產(chǎn)生的結(jié)果是，宏-塊的變化比最小預測誤差更小，則運動矢量檢測器32設置幀內(nèi)編碼方式作為預測方式，并且輸出設定的方式到VLC單元36和運動補償器42。如果，另一方面，最小預測誤差更小，運動矢量檢測器32設置已經(jīng)獲得了最小預測誤差的預測方式，并且與運動矢量一同輸出這樣設定的預測方式到VLC單元36和運動補償器42。
當從運動矢量檢測器32接收預測方式和運動矢量時，依據(jù)預測方式和運動矢量，運動補償器42可以讀出存儲在幀存儲器41中的編碼的和已經(jīng)局部解碼的的畫面數(shù)據(jù)，并且可以提供讀取的數(shù)據(jù)作為預測畫面到運算單元33和40。運算單元33也接收與由運動矢量檢測器32從幀存儲器31讀出的畫面數(shù)據(jù)相同的宏-塊，并且計算宏-塊和從運動補償器42來的預測畫面之間的差別。這樣的差別值提供到一個離散余弦變換(DCT)單元34。
如果從運動矢量檢測器32僅僅接收預測方式，即，如果預測方式是幀內(nèi)編碼方式，運動補償器42不會輸出預測畫面。在這樣的情形中，運算單元33不會完成上述-畫面處理任務，但是可以直接輸出從幀存儲器31讀出的宏-塊到DCT單元34。而且，在這樣的情形中，運算單元40可以以一種類似的方式完成任務。
DCT單元34在運算單元33的輸出信號上完成DCT處理，以獲得向量化器35提供的DCT系數(shù)。依據(jù)作為緩沖器反饋而接收的在緩沖器37中的數(shù)據(jù)存儲數(shù)量(被存儲在緩沖器37中的數(shù)據(jù)量)，量化器35設置量化步長(量化規(guī)模)，并且利用量化步長量化從DCT單元34來的DCT系數(shù)。與設定的量化步長一同提供量化的DCT系數(shù)(在這里有時被認作為量化系數(shù))到VLC單元36。
依據(jù)從量化器35所提供的量化步長，VLC單元36把從量化器35所提供的量化系數(shù)轉(zhuǎn)化成為一個可變長度碼，比如哈夫曼(Huffman)編碼。所轉(zhuǎn)化的量化系數(shù)輸出至緩沖器37。VLC單元36也可對從量化器35來的量化步長、從運動矢量檢測器32來的預測方式以及從運動矢量檢測器32來的運動矢量進行可變長度地編碼，并且輸出所編碼的數(shù)據(jù)至緩沖器37。應該注意，預測方式是這樣的方式，它說明，幀內(nèi)編碼，前向預測編碼，后向預測編碼，或者雙向預測編碼中的哪一種被設置了。
緩沖器37瞬時地存儲從VLC單元36來的數(shù)據(jù)，并且整平數(shù)據(jù)量，以使所整平的數(shù)據(jù)能夠從其中輸出，并且向傳輸通道提供或者記錄在記錄介質(zhì)上等等。緩沖器37也可以向量化器35提供所存儲的數(shù)據(jù)量，與此相應它又設置量化步長。如此，在緩沖器37的將近溢出的情況下，量化器35增加量化步長以減少量化系數(shù)的數(shù)據(jù)量規(guī)模。相反地，在緩沖器37的將近下溢的情況下，量化器35減少量化步長以增加量化系數(shù)的數(shù)據(jù)量規(guī)模。如同應理解的，這個過程可以阻止緩沖器37的溢出和下溢。
不僅向VLC單元36，而且向去量化器38提供由量化器35輸出的量化系數(shù)和量化步長，去量化器38依據(jù)量化步長對量化系數(shù)進行去量化，以將它轉(zhuǎn)化成DCT系數(shù)。這樣的DCT系數(shù)提供到IDCT(逆DCT)單元39，它在DCT系數(shù)上完成逆DCT。向運算單元40提供所獲得的逆DCT系數(shù)。
運算單元40接收從IDCT單元39來的反面DCT系數(shù)以及來自運動補償器42的數(shù)據(jù)(它們與送到運算單元33的預測畫面相同)。運算單元40將來自IDCT單元39的信號(預測冗余)加到從運動補償器42來的預測的畫面上，以局部地解碼原來的畫面。然而，如果預測方式表明是幀內(nèi)編碼，IDCT單元39的輸出可以直接反饋到幀存儲器41。由運算單元40獲得的解碼的畫面(局部地被解碼的畫面)被送到并且被存儲在幀存儲器41中，稍后用作為幀內(nèi)-編碼畫面、前向預測編碼的畫面、后向預測編碼畫面、或者雙向預測編碼畫面的參考畫面。
從運算單元40所獲得的解碼的畫面與從接收機或者解碼單元(在圖1中未顯示)獲得畫面相同。
圖2說明MPEG系統(tǒng)中MP@ ML解碼器，其用以解碼諸如由圖1的編碼器輸出的編碼數(shù)據(jù)。在這樣的解碼器中，經(jīng)由傳輸通道所傳輸?shù)木幋a數(shù)據(jù)可以由接收機(未顯示)接收，或者記錄在記錄介質(zhì)上的編碼數(shù)據(jù)可以被一種再現(xiàn)的裝置(未顯示)再現(xiàn)，并且向緩沖器101提供，并且存儲在其中。IVLC單元(逆VLC單元)102讀出存儲在緩沖器101中的所編碼的數(shù)據(jù)，而且可變長度地解碼它們，以分離所編碼的數(shù)據(jù)成為運動矢量，預測方式，量化步長和量化系數(shù)。在它們中，向運動補償器107提供運動矢量和預測方式，而向去量化器103提供量化步長與量化系數(shù)。依據(jù)量化步長去量化器103將量化系數(shù)去量化，以獲得提供到IDCT(逆DCT)單元104的DCT系數(shù)。IDCT單元104在所接收的IDCT系數(shù)上完成反面DCT操作，并且向運算單元105提供結(jié)果信號。除IDCT單元104的輸出之外，運算單元105也接收從運動補償器107來的輸出。即，運動補償器107依據(jù)預測方式讀出存儲在幀存儲器106中的一幅以前解碼的畫面并且以類似于圖1的運動補償器42的方式讀出從IVLC單元102來的運動矢量，并且提供所解碼的畫面作為預測畫面到運算單元105。運算單元105將從IDCT單元104來的信號(預測剩余)加到從運動補償器107來的預測畫面，以解碼原來的畫面。如果IDCT單元104的輸出是幀內(nèi)編碼的，這樣的輸出可以直接提供并且被存儲在幀存儲器106中。存儲在幀存儲器106中的解碼的畫面可以用作為其后解碼畫面的參考畫面，并且也可以讀出，并且提供到用于顯示的顯示器(未顯示)。然而，如果解碼的畫面是B-畫面，這樣的B-畫面不存儲在編碼單元或者解碼器中的存儲器41(圖1)或者106(圖2)中，因為在MPEG1和MPEG2中B-畫面不用作為參考畫面。
在MPEG中，除上述的MP@ML之外，各種框架和級別以及各種工具被定義了。MPEG工具的例子是定標(scalability)。更具體地，MPEG采取用以對付不同的畫面尺寸或者不同幀尺寸的一個可定標的編碼系統(tǒng)。在空間定標中，如果將被解碼的僅僅是下-層比特流，例如，僅僅獲得具有小畫面尺寸的畫面，因而，如果將被解碼的是下-層和上-層比特流兩者，就獲得一個大畫面尺寸的畫面。
圖3說明提供空間定標的編碼單元。在空間定標中，下層和上層分別與一個小的畫面尺寸的畫面信號和一個大的畫面尺寸的畫面信號對應。為了編碼，上-層編碼單元201可以接收上-層畫面，而下-層編碼單元202可以接收從用于減少象素的數(shù)量的稀疏處理(thinning out process)產(chǎn)生的畫面作為下-層畫面(因此為了降低其尺寸，畫面的分辨率降低)。下-層編碼單元202以類似于圖1的方式預測地編碼下-層畫面，形成和輸出下-層比特流。下-層編碼單元202也產(chǎn)生與局部解碼的下-層畫面相應的畫面，該下-層畫面被放大至與上-層畫面尺寸相同的尺寸(在這里有時稱作為放大的畫面)。這幅所放大的畫面被提供到上-層編碼單元201。上-層編碼單元201以類似于圖1的方式預測編碼上-層畫面，形成和輸出上-層比特流。上層編碼單元201也把從下-層編碼單元202所接收的放大的畫面用作為執(zhí)行預測編碼的參考畫面。上層比特流與下層比特流復用以形成輸出的編碼數(shù)據(jù)。
圖4說明圖3的下層編碼單元202的例子。這樣的的下層編碼單元202與圖1的編碼器類似地構(gòu)成，除了上采樣(upsampling)單元211之外。因此，在圖4中，象在圖1中所顯示的那些相應的部件或者組成部分由相同的參考數(shù)字描述。上采樣單元211上采樣(內(nèi)插)由運算單元40輸出的局部解碼的下-層畫面以將畫面放大到與上-層畫面尺寸一樣大小，并且提供產(chǎn)生的放大畫面至上層編碼單元201。
圖5說明圖3的上層編碼單元201的例子。這樣的的上層編碼單元201與圖1的編碼器類似地構(gòu)成，除了加權(quán)單元221，222，以及一運算單元223之外。因此，在圖5中，與圖1的那些相應的部件或者組成部分由相同的參考數(shù)字指示。加權(quán)加法單元221將由運動補償器42輸出的預測畫面乘以權(quán)重W，并且向運算單元223輸出結(jié)果信號。加權(quán)加法單元222把從下層編碼單元202所提供的放大的畫面乘以權(quán)重(I-W)，并提供結(jié)果到運算單元223。運算單元223將從加權(quán)加法電路221，222接收的輸出求和，并且向運算單元33，40輸出結(jié)果的總和，作為一幅預測的畫面。如同權(quán)重(1-W)用于加權(quán)加法單元222一樣，用于加權(quán)加法單元221的權(quán)重W被預置。向VLC單元36提供權(quán)重W，以進行可變長度編碼。上層編碼單元201完成類似于圖1處理任務。
這樣，上層編碼單元201不僅利用上層畫面而且利用下層編碼單元202來的放大畫面(即，下層畫面)作為參考畫面完成預測編碼。
圖6說明用以執(zhí)行空間定標的解碼器的例子。從圖3的編碼器輸出的編碼數(shù)據(jù)被分離成上層比特流和下層比特流，它們分別提供到上層解碼單元231和下層解碼單元232。下層解碼單元232解碼如同在圖2中顯示的下層比特流，并且輸出下層畫面產(chǎn)生的解碼畫面。此外，下層解碼單元232放大下層所解碼的畫面成為與上層畫面相同的尺寸，以產(chǎn)生一所放大的畫面并將它們提供上層解碼單元231。上層解碼單元231同樣地解碼上層比特流，如同在圖2中顯示的。然而，上層解碼單元231利用從下層解碼單元232來的放大畫面作為參考畫面而解碼比特流。
圖7說明下層解碼單元232的例子。下層解碼單元232與圖2的解碼器同樣地構(gòu)成，除了上采樣單元241之外。因此，在圖7中，與圖2的那些相應的部分或者組成部分由相同的參考數(shù)字描述。上采樣單元241上采樣(內(nèi)插)由運算單元105輸出的解碼的下層畫面，以放大下層畫面至與上層畫面尺寸相同的尺寸，并且向上層解碼器231輸出放大的畫面。
圖8說明圖6的上層解碼單元231的例子。上層解碼單元231與圖2的編碼器同樣地構(gòu)成，除了加權(quán)加法單元251、252以及一運算單元253之外。因此，在圖7中，與圖2的那些相應的部分或者組成部分由相同的參考數(shù)字描述。除完成參考圖2描述的處理之外，IVLC單元102從所編碼的數(shù)據(jù)中提取權(quán)重W，并且輸出提取的權(quán)重W到加權(quán)加法單元251，252。加權(quán)加法單元251將由運動補償器107輸出的預測畫面乘以權(quán)重W，并且向運算單元253輸出結(jié)果。運算單元253也接收從加權(quán)加法單元252來的輸出。將從下層解碼單元232所提供的放大的畫面乘以權(quán)重(1-W)就獲得了這樣的輸出。運算單元253將加權(quán)加法單元251、252的輸出求和，并且向運算單元105提供求和的輸出，作為預測畫面。因此，運算單元253利用上層畫面和從下層編碼單元232來的放大的畫面(即，下層畫面)作為解碼用的參考畫面來解碼。在亮度信號和色度信號兩者上完成這樣的處理。色度信號的運動矢量可以是亮度信號的運動矢量的一半。
除上述MPEG系統(tǒng)之外，對于運動畫面，各種高-效率編碼系統(tǒng)被標準化了。在ITU-T中，例如，系統(tǒng)諸如H.261或者1.263主要被描述為用于通信的編碼系統(tǒng)。類似于MPEG系統(tǒng)，這些H.261和H.263系統(tǒng)基本上包括運動補償預測編碼和DCT編碼的組合。具體地，H.261和H.263系統(tǒng)結(jié)構(gòu)上可以與MPEG系統(tǒng)的編碼器或者解碼器的結(jié)構(gòu)基本上類似，雖然其結(jié)構(gòu)或細節(jié)諸如開頭信息可能存在差別。
在通過合成多個畫面來構(gòu)成畫面的畫面合成系統(tǒng)中，稱為色度的關鍵技術可以被利用。這種技術對在所規(guī)定的統(tǒng)一顏色諸如藍色的背景之前的目標照相，從其提取不同于藍色的區(qū)域，并將所提取的區(qū)域合成到另一個畫面。規(guī)定所提取的區(qū)域的信號是所稱的關鍵信號。
圖9說明用于合成畫面的方法，其中F1是背景畫面，F(xiàn)2是前景畫面。畫面F2通過對一個目標(這里是人)照相而獲得，并且提取不同于這種顏色的區(qū)域。色度信號K1規(guī)定所提取的區(qū)域。在畫面合成系統(tǒng)中，背景畫面F1和前景畫面F2依據(jù)關鍵信號K1被合成，以產(chǎn)生合成的畫面F3。這幅合成畫面諸如用MPEG技術編碼，并且被傳輸。
如果合成的畫面F3被編碼和傳輸，如上所述，僅僅傳輸在合成的畫面F3上所編碼的數(shù)據(jù)，那么信息諸如關鍵信號K1會失去。這樣，畫面-再編輯或者-再合成，以使前景F2完整，只有背景F1變化，這在接收側(cè)是困難的。
考慮這樣一種方法，其中畫面F1、F2以及關鍵信號K1將單獨地被編碼，而且產(chǎn)生的各個比特流被復用，例如，象在圖10中顯示的。在這樣的情況中，接收側(cè)分解該復用的數(shù)據(jù)，以解碼各自的比特流，并且產(chǎn)生畫面F1、F2或者關鍵信號K1。畫面F1、F2或者關鍵信號K1的所解碼的結(jié)果可以被合成，以產(chǎn)生合成的畫面F3。在這樣的情況中，接收側(cè)可以完成畫面-再編輯或者-再合成，這樣前景F2成為完整的，而且僅僅背景F1改變。
因此，合成的畫面F3由畫面F1與F2組成。按一種類似的方式，任何畫面可以被認作為被由多個畫面或者目標組成。如果構(gòu)成畫面的單元被定義為視頻目標(VOs)，基于編碼系統(tǒng)，用于使VO標準化的操作作為MPEG 4在ISO-IEC JTCI SC29 WG1 1中正在進行。然而，現(xiàn)在，用于把VO有效地編碼或者把關鍵信號編碼的方法目前還未建立并處于一種未決的狀態(tài)。在任何情況下，雖然MPEG 4規(guī)定定標的功能，還沒有一種特定的技術來實現(xiàn)VO的定標，其中位置與尺寸隨時間變化。作為例子，如果VO是從一個遠距離的地方接近的人，該VO位置以及尺寸隨時間變化。因此，在上層畫面預測編碼時，如果一個下層畫面用作為參考畫面，必須說清作為參考畫面的上層與下層畫面之間的相對位置。另一方面，在利用VO-為基礎的定標中，下層的跳躍宏-塊的條件不必要直接應用于下層的跳躍宏-塊。

發(fā)明內(nèi)容
因此，本發(fā)明的目的是提供一種技術，它能使以VO為基礎的編碼容易實現(xiàn)。
根據(jù)本發(fā)明的一個方面，提供一種畫面處理裝置，對形成畫面的、任意被成形的目標的數(shù)據(jù)進行編碼，所述畫面處理裝置包括預測編碼裝置，用于通過使用前向預測、后向預測、雙向預測、直接或幀內(nèi)編碼模式中的一種來對于每個目標的數(shù)據(jù)進行預測編碼，并且用于輸出第一編碼后的信號；和可變長度編碼裝置，用于通過使用兩個或多個可變長度表來對所述第一編碼后的信號進行可變長度編碼，其中所述可變長度編碼裝置根據(jù)被編碼的目標是否與在最近的將來將要被解碼的參考目標具有相同的大小，選擇所述可變長度表。
根據(jù)本發(fā)明的另一個方面，提供一種畫面處理裝置，對形成畫面的、任意被成形的目標的編碼后的數(shù)據(jù)進行解碼，所述畫面處理裝置包括逆可變長度編碼裝置，用于通過使用兩個或多個可變長度表，來對每個目標的編碼后的數(shù)據(jù)進行逆可變長度編碼；和預測解碼裝置，用于對每個目標的逆可變長度編碼后的數(shù)據(jù)進行預測解碼，通過使用前向預測、后向預測、雙向預測、直接或幀內(nèi)編碼模式中的一種對該目標已經(jīng)進行了預測編碼，其中所述逆可變長度編碼裝置根據(jù)被編碼的目標是否與在最近的將來將要被解碼的參考目標具有相同的大小，改變所述可變長度表。
根據(jù)本發(fā)明的另一個方面，提供一種畫面處理裝置，對形成畫面的目標的數(shù)據(jù)進行編碼，所述畫面處理裝置包括畫面放置裝置，用于將所述目標放置到較低層或者較高層中；第一預測編碼裝置，用于對較低層目標的數(shù)據(jù)進行預測編碼；第二預測編碼裝置，用于對較高層目標的數(shù)據(jù)進行預測編碼；和可變長度編碼裝置，用于通過使用每個目標的兩個或多個可變長度表來對預測編碼后的數(shù)據(jù)進行可變長度編碼，其中所述可變長度編碼裝置根據(jù)是否將在較低層的同一時間中的目標用于在所述第二預測編碼中的參考目標，改變所述可變長度表。
根據(jù)本發(fā)明的另一個方面，提供一種畫面處理裝置，對形成畫面的目標的編碼后的數(shù)據(jù)進行解碼，所述畫面處理裝置包括逆可變長度編碼裝置，用于通過使用兩個或多個可變長度表，來對畫面數(shù)目的編碼后的數(shù)據(jù)進行逆可變長度編碼；第一預測解碼裝置，用于對較低層目標的逆可變長度編碼后的數(shù)據(jù)進行預測解碼；第二預測解碼裝置，用于對較高層目標的逆可變長度編碼后的數(shù)據(jù)進行預測解碼；和其中所述逆可變長度編碼裝置根據(jù)是否將在較低層的同一時間中的目標用于在所述第二預測解碼中的參考目標，改變所述可變長度表。
根據(jù)本發(fā)明的另一個方面，提供一種畫面處理方法，對形成畫面的、任意被成形的目標的數(shù)據(jù)進行編碼，所述方法包括步驟通過使用前向預測、后向預測、雙向預測、直接或幀內(nèi)編碼模式中的一種來對于每個目標的數(shù)據(jù)進行預測編碼，并且用于輸出第一編碼后的信號；和通過使用兩個或多個可變長度表，來對所述第一編碼后的信號進行可變長度編碼，其中根據(jù)被編碼的目標是否與在最近的將來將要被解碼的參考目標具有相同的大小，選擇所述可變長度表。
根據(jù)本發(fā)明的另一個方面，提供一種畫面處理方法，對形成畫面的、任意被成形的目標的編碼后的數(shù)據(jù)進行解碼，所述方法包括步驟通過使用兩個或多個可變長度表，來對每個目標的編碼后的數(shù)據(jù)進行逆可變長度編碼；和對每個目標的逆可變長度編碼后的數(shù)據(jù)進行預測解碼，通過使用前向預測、后向預測、雙向預測、直接或幀內(nèi)編碼模式中的一種對該目標已經(jīng)進行了預測編碼，其中根據(jù)被編碼的目標是否與在最近的將來將要被解碼的參考目標具有相同的大小，改變所述可變長度表。
根據(jù)本發(fā)明的另一個方面，提供一種畫面處理方法，對形成畫面的目標的數(shù)據(jù)進行編碼，所述方法包括步驟將所述目標放置到較低層或者較高層中；通過使用第一預測編碼裝置，對較低層目標進行預測編碼；通過使用第二預測編碼裝置，對較高層目標進行預測編碼；和通過使用每個目標的兩個或多個可變長度表來對預測編碼后的目標進行可變長度編碼，其中根據(jù)是否將在較低層的同一時間中的目標用于在所述第二預測編碼中的參考目標，改變所述可變長度表。
根據(jù)本發(fā)明的另一個方面，提供一種畫面處理方法，對形成畫面的目標的編碼后的數(shù)據(jù)進行解碼，所述方法包括步驟通過使用兩個或多個可變長度表，來對畫面數(shù)目的編碼后的數(shù)據(jù)進行逆可變長度編碼；通過使用第一預測解碼裝置，對較低層目標的逆可變長度編碼后的數(shù)據(jù)進行預測解碼；通過使用第二預測解碼裝置，對較高層目標的逆可變長度編碼后的數(shù)據(jù)進行預測解碼；和其中根據(jù)是否將在較低層的同一時間中的目標用于在所述第二預測解碼中的參考目標，改變所述可變長度表。
根據(jù)本發(fā)明的另一個方面，所提供的畫面編碼裝置，包括放大/壓縮裝置(比如象在圖15中顯示的分辨率轉(zhuǎn)化器24)，基于第一和第二畫面之間的分辨率差別，用以放大或者壓縮第二畫面；第一畫面編碼裝置(比如圖15中顯示的上層編碼單元23)，用放大/壓縮裝置的輸出作為參考畫面來預測編碼第一幅畫面；第二畫面編碼裝置(諸如下層編碼單元25)，用于編碼第二幅畫面；位置設置裝置(比如象在圖15中顯示的畫面分層單元21)，用以設置在預定絕對坐標系中的第一幅畫面與第二畫面的位置，并且分別輸出在第一或者第二畫面的位置上的第一或者第二位置信息；以及復用裝置(諸如圖15中顯示的復用器26)，用于復用第一畫面編碼裝置、第二畫面編碼裝置以及位置設置裝置的輸出。第一畫面編碼裝置基于第一個位置信息識別第一幅畫面的位置，并且按照一種放大比或一種壓縮比轉(zhuǎn)化第二個位置信息，用這些比率放大/壓縮裝置放大或者壓縮第二幅畫面。第一畫面編碼裝置也識別作為參考畫面的位置的，與轉(zhuǎn)化的結(jié)果相應的位置，以完成預測編碼。
根據(jù)本發(fā)明的另一個方面，提供了一種用于編碼的畫面編碼方法，其利用分辨率與第一畫面不同的第二畫面來編碼所述第一畫面，所述畫面編碼方法包括步驟利用放大/壓縮裝置，基于第一和第二畫面之間的分辨率差別，放大或者壓縮第二畫面；利用第一畫面編碼裝置，用放大/壓縮裝置的輸出作為參考畫面來預測編碼第一幅畫面；利用第二畫面編碼裝置編碼所述第二畫面；利用位置設置裝置，設置在預定絕對坐標系中的第一幅畫面與第二畫面的位置，并且分別輸出在第一或者第二畫面的位置上的第一或者第二位置信息；以及復用所述第一畫面編碼裝置，所述第二畫面編碼裝置，以及所述位置設置裝置的輸出；其中使所述第一畫面編碼裝置基于所述第一個位置信息識別第一幅畫面的位置，并且按照一種放大比或一種壓縮比轉(zhuǎn)化第二個位置信息，所述放大/壓縮裝置用這些比率放大或者壓縮第二幅畫面，以獲得所述參考畫面的位置，以完成預測編碼。
根據(jù)本上述的畫面編碼裝置和畫面編碼方法，放大/壓縮裝置基于第一和第二畫面之間的分辨率差別放大或者壓縮第二畫面；而第一畫面編碼裝置用放大/壓縮裝置的輸出作為參考畫面來預測編碼第一幅畫面。位置設置裝置設置在預定絕對坐標系中的第一幅畫面與第二畫面的位置，并且分別輸出在第一或者第二畫面的位置上的第一或者第二位置信息；第一畫面編碼裝置基于第一個位置信息識別第一幅畫面的位置，并且按照一種放大比或一種壓縮比轉(zhuǎn)化第二個位置信息，用這些比率放大/壓縮裝置放大或者壓縮第二幅畫面。第一畫面編碼裝置識別作為參考畫面的位置的，與轉(zhuǎn)化的結(jié)果相應的位置，以完成預測編碼。
根據(jù)本發(fā)明的另一個方面，所提供的畫面解碼裝置，包括第二畫面解碼裝置(諸如下層解碼單元95)，用于解碼第二幅畫面；放大/壓縮裝置(比如象在圖29中顯示的分辨率轉(zhuǎn)化器94)，基于第一和第二畫面之間的分辨率差別，用以放大或者壓縮由第二畫面解碼裝置解碼的第二畫面；第一畫面解碼裝置(比如圖29中顯示的上層解碼單元93)，用放大/壓縮裝置的輸出作為參考畫面來解碼第一幅畫面；在預定絕對坐標系中，該編碼的數(shù)據(jù)包括分別在第一或者第二畫面的位置上的第一或者第二位置信息。第一畫面解碼裝置基于第一個位置信息識別第一幅畫面的位置，并且按照一種放大比或一種壓縮比轉(zhuǎn)化第二個位置信息，用這些比率放大/壓縮裝置放大或者壓縮第二幅畫面。第一畫面解碼裝置識別作為參考畫面的位置的，與轉(zhuǎn)化的結(jié)果相應的位置，以解碼該第一畫面。
上述畫面解碼裝置可以包括用于顯示第一畫面解碼裝置的解碼結(jié)果的顯示裝置(諸如圖27中所顯示監(jiān)控器74)。
根據(jù)本發(fā)明的另一個方面所提供的畫面解碼方法，用于解碼編碼的數(shù)據(jù)，該編碼數(shù)據(jù)是利用分辨率與第一畫面不同的第二畫面來預測編碼第一畫面而獲得的，所述畫面解碼方法包括步驟利用第二畫面解碼裝置，解碼所述第二幅畫面；利用放大/壓縮裝置，基于第一和第二畫面之間的分辨率差別，放大或者壓縮由所述第二畫面解碼裝置解碼的所述第二畫面；利用第一畫面解碼裝置，用所述放大/壓縮裝置的輸出作為參考畫面來解碼所述第一幅畫面；其中在預定絕對坐標系中，所述編碼的數(shù)據(jù)包括分別在第一或者第二畫面的位置上的第一或者第二位置信息；和其中使所述第一畫面解碼裝置基于第一個位置信息識別第一幅畫面的位置，并且按照一種放大比或一種壓縮比來轉(zhuǎn)化所述第二個位置信息，放大/壓縮裝置用這些比率放大或者壓縮第二幅畫面，以獲得所述參考畫面的位置，從而解碼所述第一畫面。
根據(jù)上述的畫面解碼裝置和畫面解碼方法，放大/壓縮裝置，基于第一和第二畫面之間的分辨率差別，放大或者壓縮由第二畫面解碼裝置解碼的第二畫面；第一畫面解碼裝置，用放大/壓縮裝置的輸出作為參考畫面來解碼第一幅畫面；在預定絕對坐標系中，如果該編碼的數(shù)據(jù)包括分別在第一或者第二畫面的位置上的第一或者第二位置信息，第一畫面解碼裝置基于第一個位置信息識別第一幅畫面的位置，并且按照一種放大比或一種壓縮比轉(zhuǎn)化第二個位置信息，用這些比率放大/壓縮裝置放大或者壓縮第二幅畫面。第一畫面解碼裝置識別作為參考畫面的位置的，與轉(zhuǎn)化的結(jié)果相應的位置，以解碼該第一畫面。
根據(jù)本發(fā)明的另一個方面，提供了一種記錄介質(zhì)，其上記錄了編碼的數(shù)據(jù)，該編碼的數(shù)據(jù)包括第一數(shù)據(jù)，它是利用，基于第一和第二畫面之間的分辨率差別放大或者壓縮第二畫面而獲得的放大/壓縮結(jié)果，作為參考畫面，對第一畫面進行預測編碼而獲得的；第二數(shù)據(jù)，它是對第二畫面進行編碼而獲得的；以及第一個位置信息或第二個位置信息，它是通過在預定的絕對坐標系中設置第一和第二畫面位置而獲得的。第一數(shù)據(jù)是這樣獲得的，即基于第一位置信息識別第一幅畫面的位置，按照一種放大比或一種壓縮比轉(zhuǎn)化第二個位置信息，用這些比率第二幅畫面被放大或者壓縮，并且，識別作為參考畫面位置的，與轉(zhuǎn)化的結(jié)果相應的位置，以對該第一畫面進行預測編碼。
根據(jù)本發(fā)明的另一個方面，提供了一種記錄編碼的數(shù)據(jù)的方法，其中編碼的數(shù)據(jù)包括第一數(shù)據(jù)，它是利用，基于第一和第二畫面之間的分辨率差別放大或者壓縮第二畫面而獲得的放大/壓縮結(jié)果，作為參考畫面，對第一畫面進行預測編碼而獲得的；第二數(shù)據(jù)，它是對第二畫面進行編碼而獲得的；以及第一個位置信息或第二個位置信息，它是通過在預定的絕對坐標系中設置第一和第二畫面位置而獲得的。第一數(shù)據(jù)是這樣獲得的，即基于第一位置信息識別第一幅畫面的位置，按照一種放大比或一種壓縮比轉(zhuǎn)化第二個位置信息，用這些比率第二幅畫面被放大或者壓縮，并且，識別作為參考畫面位置的，與轉(zhuǎn)化的結(jié)果相應的位置，以進行第一預測編碼。
根據(jù)本發(fā)明的一個方面，提供了一種畫面編碼裝置，包括放大/壓縮裝置(比如象在圖15中顯示的分辨率轉(zhuǎn)化器24)，基于第一和第二畫面之間的分辨率差別，用以放大或者壓縮第二畫面；第一畫面編碼裝置(比如圖15中顯示的上層編碼單元23)，用放大/壓縮裝置的輸出作為參考畫面來預測編碼第一幅畫面；第二畫面編碼裝置(諸如象在圖15中顯示的下層編碼單元25)，用于編碼第二幅畫面；位置設置裝置(比如圖15中顯示的畫面分層單元21)，用以設置在預定絕對坐標系中的第一幅畫面與第二畫面的位置，并且分別輸出在第一或者第二畫面的位置上的第一或者第二位置信息；以及復用裝置(諸如圖15中顯示的復用器26)，用于復用第一畫面編碼裝置，第二畫面編碼裝置，以及位置設置裝置的輸出。位置設置裝置設置第一和第二畫面的位置，因此在預定絕對座標系統(tǒng)中參考畫面的位置與預定位置重合。第一畫面編碼裝置基于第一個位置信息識別第一幅畫面的位置，并且也識別作為參考畫面位置的預定位置，以完成預測編碼。
根據(jù)本發(fā)明的一個方面，提供了一種用于編碼的畫面編碼方法，其利用分辨率與第一畫面不同的第二畫面來編碼第一畫面，所述畫面編碼方法包括步驟利用放大/壓縮裝置，基于第一和第二畫面之間的分辨率差別，放大或者壓縮第二畫面；利用第一畫面編碼裝置，用所述放大/壓縮裝置的輸出作為參考畫面來預測編碼所述第一幅畫面；利用第二畫面編碼裝置，編碼第二幅畫面；利用位置設置裝置，設置在預定絕對坐標系中的第一幅畫面與第二畫面的位置，并且分別輸出在第一或者第二畫面的位置上的第一或者第二位置信息；以及復用所述第一畫面編碼裝置，所述第二畫面編碼裝置，以及所述位置設置裝置的輸出；其中，使所述位置設置裝置設置第一和第二畫面的位置，因此在預定絕對座標系統(tǒng)中所述參考畫面的位置與預定位置重合；和其中，使所述第一畫面編碼裝置基于第一個位置信息識別第一幅畫面的位置，并且識別預定位置以得到所述參考畫面的位置，從而完成預測編碼。
根據(jù)本上述的畫面編碼裝置和畫面編碼方法，放大/壓縮裝置基于第一和第二畫面之間的分辨率差別放大或者壓縮第二畫面；而第一畫面編碼裝置用放大/壓縮裝置的輸出作為參考畫面來預測編碼第一幅畫面。位置設置裝置設置在預定絕對坐標系中的第一幅畫面與第二畫面的位置，并且分別輸出在第一或者第二畫面的位置上的第一或者第二位置信息。位置設置裝置設置第一和第二畫面的位置，因此在預定絕對座標系統(tǒng)中參考畫面的位置與預定位置重合。第一畫面編碼裝置基于第一個位置信息識別第一幅畫面的位置，并且也識別作為參考畫面位置的預定位置，以完成預測編碼。
根據(jù)本發(fā)明的另一個方面，提供了一種用于解碼編碼的畫面的畫面解碼裝置，包括第二畫面解碼裝置(諸如圖29中顯示的上層解碼單元93)，用于解碼第二幅畫面；放大/壓縮裝置(比如圖29中顯示的分辨率轉(zhuǎn)化器94)，基于第一和第二畫面之間的分辨率差別，用以放大或者壓縮由第二畫面解碼裝置解碼的第二畫面；第一畫面解碼裝置(比如圖29中顯示的下層解碼單元95)，用放大/壓縮裝置的輸出作為參考畫面來解碼第一幅畫面；在預定絕對坐標系中，該編碼的數(shù)據(jù)包括分別在第一或者第二畫面的位置上的第一或者第二位置信息，其中在預定絕對座標系統(tǒng)中的參考畫面的位置被設置成與預定位置重合。第一畫面解碼裝置基于第一個位置信息識別第一幅畫面的位置，并且也識別作為參考畫面位置的預定位置，以解碼第一畫面。
上述畫面解碼裝置可以包括用于顯示第一畫面解碼裝置的解碼結(jié)果的顯示裝置(諸如圖27中所顯示監(jiān)控器74)。
根據(jù)本發(fā)明的另一個方面，提供了一種解碼方法，用于解碼編碼的數(shù)據(jù)，該數(shù)據(jù)是利用分辨率與第一畫面不同的第二畫面來預測編碼第一畫面而獲得的，所述畫面解碼方法包括步驟利用第二畫面解碼裝置，解碼所述第二幅畫面；利用放大/壓縮裝置，基于第一和第二畫面之間的分辨率差別，放大或者壓縮由第二畫面解碼裝置解碼的第二畫面；利用第一畫面解碼裝置，用放大/壓縮裝置的輸出作為參考畫面來解碼第一幅畫面；其中，在預定絕對坐標系中，該編碼的數(shù)據(jù)包括分別在第一或者第二畫面的位置上的第一或者第二位置信息；其中在預定絕對座標系統(tǒng)中參考畫面的位置被設置成與預定位置重合；其中，使所述第一畫面解碼裝置基于第一個位置信息識別第一幅畫面的位置，并且識別預定位置，以得到參考畫面位置，從而解碼第一畫面。
根據(jù)上述的畫面解碼裝置和畫面解碼方法，放大/壓縮裝置，基于第一和第二畫面之間的分辨率差別，放大或者壓縮由第二畫面解碼裝置解碼的第二畫面；在預定絕對坐標系中，如果該編碼的數(shù)據(jù)包括分別在第一或者第二畫面的位置上的第一或者第二位置信息，其中在預定絕對座標系統(tǒng)中參考畫面的位置被設置成與預定位置重合，第一畫面解碼裝置基于第一個位置信息識別第一幅畫面的位置，并且識別作為參考畫面位置的預定位置，以解碼第一畫面。
根據(jù)本發(fā)明的另一個方面，提供了一種記錄介質(zhì)，其上記錄了編碼的數(shù)據(jù)，它包括第一數(shù)據(jù)，它是利用，基于第一和第二畫面之間的分辨率差別放大或者壓縮第二畫面而獲得的放大/壓縮結(jié)果，作為參考畫面，對第一畫面進行預測編碼而獲得的；第二數(shù)據(jù)，它是對第二畫面進行編碼而獲得的；以及第一個位置信息或第二個位置信息，它是通過在預定的絕對坐標系中設置第一和第二畫面位置而獲得的。第一位置和第二位置信息被設置以使在絕對座標系統(tǒng)中參考畫面的位置將與預定位置重合。
根據(jù)本發(fā)明的另一個方面，提供了一種記錄編碼的數(shù)據(jù)的方法，其中編碼的數(shù)據(jù)包括第一數(shù)據(jù)，它是利用，基于第一和第二畫面之間的分辨率差別放大或者壓縮第二畫面而獲得的放大/壓縮結(jié)果，作為參考畫面，對第一畫面進行預測編碼而獲得的；第二數(shù)據(jù)，它是對第二畫面進行編碼而獲得的；以及第一個位置信息或第二個位置信息，它是通過在預定的絕對坐標系中設置第一和第二畫面位置而獲得的。第一位置和第二位置信息被設置以使在絕對座標系統(tǒng)中參考畫面的位置將與預定位置重合。
根據(jù)本發(fā)明的另一個方面，提供了一種畫面編碼裝置，它包括第一預測編碼裝置(比如在圖15中顯示的下層編碼單元25)，用于預測編碼一個畫面；局部解碼裝置(諸如下層編碼單元25)，用于局部地解碼第一預測編碼裝置預測編碼的結(jié)果；第二預測編碼裝置(諸如圖15中顯示的上層編碼單元23)，利用由局部解碼裝置輸出的局部解碼的畫面作為參考畫面來預測編碼該畫面；以及復用裝置(比如圖15所示的復用器26)，用于將第一和第二預測編碼裝置預測編碼的結(jié)果進行復用，只用了在進行預測編碼中由第一預測編碼裝置使用的運動矢量。
根據(jù)本發(fā)明的另一個方面，提供了一種畫面編碼方法，它包括預測地編碼一個畫面，以輸出第一編碼的數(shù)據(jù)；局部地解碼第一編碼的數(shù)據(jù)；用所獲得的局部解碼的畫面作為局部解碼的結(jié)果來預測地編碼該畫面，以輸出第二編碼的數(shù)據(jù)；以及，只用為了獲得第一編碼的數(shù)據(jù)而使用的運動矢量來復用第一編碼的數(shù)據(jù)和第二編碼的數(shù)據(jù)。
根據(jù)上述的畫面編碼裝置和畫面編碼方法，一個畫面被預測地編碼，以輸出第一編碼的數(shù)據(jù)，第一編碼的數(shù)據(jù)被局部地解碼，并且利用作為參考畫面的，局部解碼所獲得的局部解碼的畫面，對該畫面預測編碼以輸出第二編碼的數(shù)據(jù)。只利用為獲得第一編碼的數(shù)據(jù)所使用的運動矢量來復用第一和第二編碼的數(shù)據(jù)。
根據(jù)本發(fā)明的另一個方面，提供了一種用于解碼編碼的數(shù)據(jù)的畫面解碼裝置，它包括分離裝置(比如圖29所示的分路器91)，用于從編碼的數(shù)據(jù)中分離第一和第二數(shù)據(jù)；第一解碼裝置(比如圖29所示的下層解碼單元95)，用于解碼第一數(shù)據(jù)；以及，第二解碼裝置(比如圖29所示的上層解碼單元93)，用于用第一解碼裝置的輸出作為參考畫面來解碼第二數(shù)據(jù)。該編碼的數(shù)據(jù)只包括在預測編碼第一數(shù)據(jù)時所使用的運動矢量。第二解碼裝置按照為獲得第一編碼的數(shù)據(jù)所使用的運動矢量來解碼第二數(shù)據(jù)。
根據(jù)本發(fā)明的另一個方面，提供了一種用于解碼編碼的數(shù)據(jù)的畫面解碼方法，所述畫面解碼方法包括步驟利用分離裝置，從所述編碼的數(shù)據(jù)中分離第一和第二數(shù)據(jù)；利用第一解碼裝置，解碼所述第一數(shù)據(jù)；以及利用第二解碼裝置，用第一解碼裝置的輸出作為參考畫面來解碼所述第二數(shù)據(jù)；其中，所述編碼的數(shù)據(jù)只包括在預測編碼所述第一數(shù)據(jù)時所使用的運動矢量，而且其中使所述第二解碼裝置按照預測編碼所述第一數(shù)據(jù)所使用的運動矢量來解碼所述第二數(shù)據(jù)。
根據(jù)上述的畫面解碼裝置和畫面解碼方法，第一解碼裝置解碼第一數(shù)據(jù)，第二解碼裝置用第一解碼裝置的輸出作為參考畫面來解碼第二數(shù)據(jù)。如果編碼的數(shù)據(jù)只包括在預測編碼第一數(shù)據(jù)時所使用的運動矢量，第二解碼裝置按照為獲得第一編碼的數(shù)據(jù)所使用的運動矢量來解碼第二數(shù)據(jù)。
根據(jù)本發(fā)明的另一個方面，提供了一種記錄介質(zhì)，其上記錄了編碼的數(shù)據(jù)，它是這樣獲得的，預測地編碼一個畫面，以輸出第一編碼的數(shù)據(jù)；局部地解碼第一編碼的數(shù)據(jù)；用所獲得的局部解碼的畫面作為局部解碼的結(jié)果來預測地編碼該畫面，以輸出第二編碼的數(shù)據(jù)；以及，只用為了獲得第一編碼的數(shù)據(jù)而使用的運動矢量來復用第一編碼的數(shù)據(jù)和第二編碼的數(shù)據(jù)。
根據(jù)本發(fā)明的另一個方面，提供了一種記錄編碼的數(shù)據(jù)的方法，其中編碼的數(shù)據(jù)被如此獲得，預測地編碼一個畫面，以輸出第一編碼的數(shù)據(jù)；局部地解碼第一編碼的數(shù)據(jù)；用所獲得的局部解碼的畫面作為局部解碼的結(jié)果來預測地編碼該畫面，以輸出第二編碼的數(shù)據(jù)；以及，只用為了獲得第一編碼的數(shù)據(jù)而使用的運動矢量來復用第一編碼的數(shù)據(jù)和第二編碼的數(shù)據(jù)。
根據(jù)本發(fā)明的另一個方面，提供了一種畫面編碼裝置，其中，根據(jù)說明參考畫面的參考畫面信息來確定一個宏塊是否為跳躍宏-塊，該參考畫面是在用前向預測編碼、后向預測編碼或雙向預測編碼中的一種編碼方法對B畫面的一個宏塊進行編碼中所使用的。
根據(jù)本發(fā)明的另一個方面，提供了一種畫面編碼方法，其中，根據(jù)說明參考畫面的參考畫面信息來確定一個宏塊是否為跳躍宏-塊，該參考畫面是在用前向預測編碼，后向預測編碼或雙向預測編碼中一種編碼方法對B畫面的一個宏塊進行編碼中所使用的。
根據(jù)本發(fā)明的另一個方面，提供了一種畫面解碼裝置，其中，根據(jù)說明參考畫面的參考畫面信息來確定一個宏塊是否為跳躍宏-塊，該參考畫面是在用前向預測編碼，后向預測編碼或雙向預測編碼中的一種方法對B畫面的一個宏塊進行編碼中所使用的。
根據(jù)本發(fā)明的另一個方面，提供了一種畫面解碼方法，其中，根據(jù)說明參考畫面的參考畫面信息來確定一個宏塊是否為跳躍宏-塊，該參考畫面是在用前向預測編碼，后向預測編碼或雙向預測編碼中的一種方法對B畫面的一個宏塊進行編碼中所使用的。
根據(jù)本發(fā)明的另一個方面，提供了一種其上記錄了編碼的數(shù)據(jù)的記錄介質(zhì)，其中，根據(jù)說明參考畫面的參考畫面信息來確定一個宏塊是否為跳躍宏-塊，該參考畫面是在用前向預測編碼，后向預測編碼或雙向預測編碼中的一種方法對B畫面的一個宏塊進行編碼中所使用的。
根據(jù)本發(fā)明的另一個方面，提供了一種記錄編碼的數(shù)據(jù)的記錄方法，其中，根據(jù)說明參考畫面的參考畫面信息來確定一個宏塊是否為跳躍宏-塊，該參考畫面是在用前向預測編碼，后向預測編碼或雙向預測編碼中的一種方法對B畫面的一個宏塊進行編碼中所使用的。
根據(jù)本發(fā)明的另一個方面，提供了一種畫面處理裝置，其中用于可變長度編碼或者可變長度解碼的預定表被修改以與在畫面尺寸方面的變化相一致。
根據(jù)本發(fā)明的另一個方面，提供了一種畫面處理方法，其中它判斷畫面是否在尺寸方面變化，并且使用于可變長度編碼或者可變長度解碼的預定表被修改以與在畫面尺寸方面的變化相一致。
根據(jù)本發(fā)明的另一個方面，提供了一種畫面處理裝置，其中，根據(jù)與正被編碼的畫面層不同的層但定時相同的畫面是否被用作為參考畫面，來修改用于可變長度編碼或者可變長度解碼的預定表。
根據(jù)本發(fā)明的另一個方面，提供了一種畫面處理方法，其中，根據(jù)與正被編碼的畫面層不同的層但定時相同的畫面是否被用作為參考畫面，來修改用于可變長度編碼或者可變長度解碼的預定表。
根據(jù)本發(fā)明的另一個方面，提供了一種畫面編碼裝置，其中，如果一個預定塊中象素值的所有量化結(jié)果并不都是相同值，則只有預定量化步長被量化。
上述的至少用一預定的量化步長量化一個畫面的畫面編碼裝置包括復用裝置(比如圖22和23所示的VLC單元)，該復用裝置用于使該畫面的量化結(jié)果和預定的量化步長復用。
根據(jù)本發(fā)明的另一個方面，提供了一種畫面編碼方法，其中，如果一個畫面的預定塊中象素值的所有量化結(jié)果并不都是相同值，只有預定量化步長被量化。
根據(jù)本發(fā)明的另一個方面，提供了一種用于解碼編碼的數(shù)據(jù)的畫面解碼裝置，其中，如果一個畫面的預定塊中象素值的所有量化結(jié)果并不都是相同值，編碼的數(shù)據(jù)只包括預定量化步長。
根據(jù)本發(fā)明的另一個方面，提供了一種用于解碼編碼的數(shù)據(jù)的畫面解碼方法，其中，如果一個畫面的預定塊中象素值的所有量化結(jié)果并不都是相同值，編碼的數(shù)據(jù)只包括預定量化步長。
根據(jù)本發(fā)明的另一個方面，提供了一種其中記錄了編碼的數(shù)據(jù)的記錄介質(zhì)，其中，如果一個畫面的預定塊中象素值的所有量化結(jié)果并不都是相同值，編碼的數(shù)據(jù)只包括預定量化步長。
根據(jù)本發(fā)明的另一個方面，提供了一種記錄編碼的數(shù)據(jù)的記錄方法，其中，如果一個畫面的預定塊中象素值的所有量化結(jié)果并不都是相同值，編碼的數(shù)據(jù)只包括預定量化步長。


圖1是一個常規(guī)編碼器的示意圖；圖2是一個常規(guī)解碼器的示意圖；圖3是實行常規(guī)可定標編碼的編碼器的例子的示意圖；圖4是圖3的一下層編碼單元202的一種說明性的結(jié)構(gòu)的示意圖；圖5是圖3的一上層編碼單元202的一種說明性的結(jié)構(gòu)的示意圖；圖6是用以實行常規(guī)可定標解碼的解碼器的例子的示意圖；圖7是圖6的一下層解碼單元232的一種說明性的結(jié)構(gòu)的示意圖；
圖8是圖6的一上層解碼單元231的一種說明性的結(jié)構(gòu)的示意圖；圖9是在解釋一種常規(guī)畫面合成方法中用于參考的示意圖；圖10是在解釋一種能使畫面-再編輯和-再合成的編碼方法中用于參考的示意圖；圖11是在解釋能夠使畫面-再編輯和-再合成的一種解碼的方法中用于參考的示意圖；圖12是根據(jù)本發(fā)明的實施例的編碼器的示意圖；圖13是在解釋VO位置與尺寸如何隨時間改變中用于參考的示意圖；圖14是在解釋圖12的VOP編碼單元31至3N的結(jié)構(gòu)的示意圖；圖15是圖12VOP編碼單元31至3N的另一說明性的結(jié)構(gòu)的示意圖；圖16A和16B是在解釋空間定標中用于參考的示意圖；圖17A和17B是在解釋空間定標中用于參考的示意圖；圖18A和18B是在解釋空間定標中用于參考的示意圖；圖19A和19B是在解釋空間定標中用于參考的示意圖；圖20A和20B是在解釋用于決定VOP尺寸數(shù)據(jù)和偏移數(shù)據(jù)的方法中用于參考的示意圖；圖21A和21B是在解釋用于決定VOP尺寸數(shù)據(jù)和偏移數(shù)據(jù)的方法中用于參考的示意圖；圖22是圖15的一下層編碼單元25的示意圖；圖23是圖15的一下層編碼單元23的示意圖；圖24A和24B是在解釋空間定標中用于參考的示意圖；圖25A和25B是在解釋空間定標中用于參考的示意圖；圖26A和26B說明了ref_select_code(ref_select_code)；圖27是根據(jù)本發(fā)明的實施例的解碼器的示意圖；圖28是VOP解碼單元721至72N的示意圖；圖29是另一VOP解碼單元721至72N的說明性的結(jié)構(gòu)的示意圖；圖30是圖29的一下層解碼單元95的示意圖；圖31是圖29的一上層解碼單元936的示意圖；圖32說明在可定標的編碼上所獲得的比特流的句法；圖33說明VS句法；圖34說明VO句法；
圖35說明VOL句法；圖36說明VOP句法；圖37說明VOP句法；圖38顯示diff_size_horiontal(差別_尺寸_水平線)和diff_size_vertical(差別_尺寸_垂直)的可變長度碼；圖39顯示diff_VOP_horiontal_ref(差別_VOP_水平線_參考)和diff_VOP_vertical_ref(差別_VOP_垂直_參考)的可變長度碼；圖40A和40B說明宏-塊句法；圖41A和41B說明MODV可變長度碼；圖42說明宏-塊；圖43A和43B顯示MBTYPE的可變長度碼；圖44說明用一直接方式的預測編碼；圖45說明一個上層的B-畫面的預測編碼；圖46A和46B是在解釋半直接方式中用于參考的示意圖；圖47是在解釋用于決定下層的一可變長度表的方法中參考的流程圖；圖48是在解釋用于決定上層的一可變長度表的方法中參考的流程圖；圖49是在解釋下層的跳躍宏-塊的處理中用于參考的流程圖；圖50是在解釋下層的跳躍宏-塊的處理中用于參考的流程圖；圖51A至51C說明跳躍宏-塊的處理；以及，圖52是在解釋量化步長DQUANT中用于參考的流程圖。
具體實施例方式
圖12說明根據(jù)本發(fā)明的實施例的編碼器。在這樣的編碼器中，用于編碼的畫面數(shù)據(jù)進入VO(視頻目標)構(gòu)成單元1，它提取提供到其上的畫面的目標，以構(gòu)成VO。VO構(gòu)成單元1可以為每一VO產(chǎn)生關鍵信號，并且將所產(chǎn)生的關鍵信號與相關的VO信號一同向VOP(視頻目標面板)構(gòu)成單元21至2N輸出。即，如果在VO構(gòu)成單元1中構(gòu)成N個VO(VOI至VO#N)，這N個VO與相關的關鍵信號一同輸出至VOP構(gòu)成單元21至2N。更具體地，用于編碼的畫面數(shù)據(jù)可以包括背景F1，前景F2，以及關鍵信號K1。進一步，假定合成的畫面能利用色度關鍵而從其中產(chǎn)生。在這種情形之下，VO構(gòu)成單元1可以向VOP構(gòu)成單元21輸出作為VO1的前景F2和作為VO1的關鍵信號的關鍵信號K1，而且VO構(gòu)成單元1可以將背景F1作為VO2輸出到VOP構(gòu)成單元22。對于背景，關鍵信號可以不被要求；因此也不會產(chǎn)生和輸出。
如果用于編碼的畫面數(shù)據(jù)不包含任何關鍵信號，例如，如果該用于編碼的畫面數(shù)據(jù)是以前合成的畫面，根據(jù)預定算法畫面被劃分，以提取一個或更多區(qū)域并產(chǎn)生與所提取的區(qū)域相關的關鍵信號。VO構(gòu)成單元1把一系列所提取的區(qū)域設置到VO，這序列與產(chǎn)生的關鍵信號一同輸出到相應的VOP構(gòu)成單元2N，其中N＝I，2，...，N。
VOP構(gòu)成單元2N，從VO構(gòu)成單元1的輸出中構(gòu)成VO平面(VOP)，這樣水平象素和垂直象素的數(shù)量都等于預定倍數(shù)，諸如16。如果VOP被構(gòu)成，則VOP構(gòu)成單元2N將VOP與關鍵信號一同輸出到VOP編碼單元3N(其中N＝1，2，...N)，以提取包含在VOP中的目標部分的畫面數(shù)據(jù)，諸如亮度或者色度信號。這個關鍵信號從VO構(gòu)成單元1提供，如上所述。VOP構(gòu)成單元2N，檢測尺寸數(shù)據(jù)(VOP尺寸)，該尺寸數(shù)據(jù)代表VOP的尺寸(比如縱向長度和橫向長度)，并檢測偏移數(shù)據(jù)(VOP移動)，該偏移數(shù)據(jù)代表在該幀中VOP的位置(例如，該幀的左邊最高點的座標作為起始點)，并且向VOP編碼單元3N提供這樣的數(shù)據(jù)。
VOP編碼單元3N，根據(jù)一個所預定的標準，諸如MPEG或者H.263標準，編碼VOP構(gòu)成單元2的輸出，并且向一復用單元4輸出產(chǎn)生的比特流。復用單元4復用從VOP編碼單元31至3N來的比特流，并且將產(chǎn)生的復用數(shù)據(jù)作為地面波或者經(jīng)由衛(wèi)星網(wǎng)絡，CATV網(wǎng)絡或者類似的傳輸通道5傳輸，或者在記錄介質(zhì)6(諸如一個磁盤，磁-光盤，光盤，磁帶等等)中記錄復用的數(shù)據(jù)。
現(xiàn)在VO和VOP將進一步被解釋。
只要有用于合成的畫面序列，VO可以是構(gòu)成合成畫面的相應目標的序列，而VOP是在一個所給定的時間點處的VO。即，如果有從畫面F1和F2合成的合成畫面F3，按時序排列的畫面F1或F2都是VO，而在給定的時間點的畫面F1或F2都是VOP。因此，VO可以是在不同的時間點處相同目標的一組VOP。
如果畫面F1是背景，而畫面F2是前景，利用用以提取畫面F2的關鍵信號，通過合成畫面F1和F2，就獲得了合成的畫面F3。在這種情形之下，畫面F2的VOP不僅包括構(gòu)成畫面F2(亮度和色度信號)的畫面數(shù)據(jù)，還包括相應的關鍵信號。
雖然畫面幀(屏幕幀)的序列在尺寸或者位置方面不會改變。但是VO可以在尺寸和/或者位置方面改變。即，構(gòu)成同一VO的各VOP可以隨時間在尺寸和/或者位置方面變化。例如，圖13顯示了由作為背景的畫面F1以及作為前景的畫面F2組成的合成畫面。畫面F1是拍攝的地形，其中整個畫面序列代表VO(定義的VO0)，而畫面F2作為拍攝的一個行走的人，其中包圍該人的一個最小矩形的序列代表VO(定義的VO1)。在這個例子中，VO0(它是地形)在位置或者尺寸方面基本上不變化，如同是一種通常的畫面或者屏幕幀。另一方面，當他或她向著圖面的前言或后方運動時，VO1(人的畫面)在尺寸或者位置方面變化。因此，雖然圖13顯示在相同時間點的VO0和VO1，而兩者的位置和尺寸不必是相同的。結(jié)果，VOP編碼單元3N(圖12)。提供的輸出比特流不僅有編碼的VOP，還有關于在預定的絕對坐標系中VOP的位置(坐標)和尺寸的信息。圖13說明在一所給定的時間點規(guī)定VO0(VOP)的位置的矢量OST0，以及在相同時間點規(guī)定VO1(VOP)的位置的矢量OST1。
圖14說明圖12的VOP編碼單元3N的一種基本的結(jié)構(gòu)。象在圖14中所顯示的，來自VOP構(gòu)成單元2N的畫面信號(畫面數(shù)據(jù))(構(gòu)成VOP的亮度信號以及色度信號)向畫面信號編碼單元11提供，它的結(jié)構(gòu)類似于圖1的上述編碼器，其中根據(jù)符合MPEG或者H.263標準的系統(tǒng)對VOP進行編碼。由畫面信號編碼單元11對VOP進行編碼時獲得的運動和結(jié)構(gòu)信息提供到復用器13。象在圖14中進一步顯示的，從VOP構(gòu)成單元2N來的關鍵信號，提供到關鍵信號編碼單元12，其中它由例如差分脈沖編碼調(diào)制(DPCM)進行編碼。由關鍵信號編碼單元12進行編碼所獲得的關鍵信號信息也提供到復用器13。除畫面信號編碼單元11和關鍵信號編碼單元12的輸出之外，復用器13還需要來自VOP構(gòu)成單元2N的尺寸數(shù)據(jù)(VOP尺寸)和偏移數(shù)據(jù)(VOP移動)。復用器13復用所接收的數(shù)據(jù)，并且輸出復用數(shù)據(jù)到瞬時地存儲這些輸出數(shù)據(jù)的緩沖器14，和整平數(shù)據(jù)量以輸出所整平的數(shù)據(jù)。
關鍵信號編碼單元12不僅完成DPCM，而且還根據(jù)比如通過由畫面信號編碼單元11進行預測編碼檢測的運動矢量，完成關鍵信號的運動補償，以計算運動補償之前或者之后關鍵信號的差別，以編碼該關鍵信號。進一步，在關鍵信號編碼單元12(緩沖器反饋)中關鍵信號的編碼的結(jié)果的數(shù)據(jù)量能提供到畫面信號編碼單元11。在畫面信號編碼單元11中，量化步長可以從這樣接收的數(shù)據(jù)量中確定。
圖15說明圖12的VOP編碼單元3N的一種結(jié)構(gòu)，它的構(gòu)成用于實現(xiàn)定標。象在圖15中顯示的，來自VOP構(gòu)成單元2N的VOP畫面數(shù)據(jù)，其關鍵信號，尺寸數(shù)據(jù)(VOP尺寸)，和偏移數(shù)據(jù)(VOP移動)全都提供到畫面分層單元21，它產(chǎn)生多層畫面數(shù)據(jù)，即，對VOP進行分層。更具體地，在編碼空間定標中，畫面分層單元21可以將加到其上的畫面數(shù)據(jù)和關鍵信號直接作為一個上層(上級層次)的畫面數(shù)據(jù)和關鍵信號而輸出，而對構(gòu)成低分辨率的畫面數(shù)據(jù)和關鍵信號的象素進行稀疏，以便輸出一個下層(低級層次)的結(jié)果的畫面數(shù)據(jù)和關鍵信號。輸入的VOP也可以是下層數(shù)據(jù)，而它的分辨率可以被提高(其象素的數(shù)量可以被增加)，以便成為上層數(shù)據(jù)。
將進一步描述上述的定標操作。在這描述中，僅僅兩個層被利用和描述了，雖然層的數(shù)量可以是三或者更多。
在時間定標的編碼的情況下，畫面分層單元21可以根據(jù)時間點將畫面信號和關鍵信號作為上層數(shù)據(jù)或者下層數(shù)據(jù)交替地輸出。如果構(gòu)成VO的VOP以VOP0，VOP1，VOP2，VOP3，...的序列進入畫面分層單元21，其后輸出的多個VOP，VOP0、VOP2、VOP4、VOP6，...，作為下層數(shù)據(jù)，而輸出的多個VOP，VOP1、VOP3、VOP5、VOP7，...，作為上層數(shù)據(jù)。在時間定標中，簡單稀疏出來的VOP可以是下層數(shù)據(jù)和上層數(shù)據(jù)，而畫面數(shù)據(jù)不是放大的也不是壓縮的，即，不進行分辨率轉(zhuǎn)化，雖然這樣的分辨率轉(zhuǎn)化能被完成。
在利用編碼的SNR(信噪比)定標的情況下，輸入畫面信號和關鍵信號直接作為上層數(shù)據(jù)或者下層數(shù)據(jù)輸出。即，在這種情況下，上層和下層的輸入畫面信號和關鍵信號可以是相同的數(shù)據(jù)。
在以VOP為基礎的編碼的情況下，下列三種類型的空間定標可以發(fā)生。
如果由象在圖13中顯示的畫面F1和F2組成的合成的畫面作為VOP提供，第一空間定標要將輸入的VOP整體地轉(zhuǎn)變成為象在圖16A中顯示的一個上層(增強層)，而將壓縮的VOP整體地轉(zhuǎn)變成象在圖16B中顯示的一個下層(基礎層)。
第二空間定標要提取構(gòu)成與畫面F2相應的輸入VOP的部分的目標，并且把它轉(zhuǎn)變成為象在圖17A中所顯示的一個上層，而將該VOP整體地轉(zhuǎn)變成為象在圖I7B中顯示的一個下層(基礎層)。這種抽取可以在VOP構(gòu)成單元2中完成，這樣以這種方式所提取的目標可以被認作為一個VOP。
第三空間定標要提取構(gòu)成輸入VOP的多個目標(多個VOP)，以基于VOP而產(chǎn)生一個上層和一個下層，象在圖18A，18B，19A，以及19B中顯示的。在圖18A和18B中，從構(gòu)成圖13的VOP的背景(畫面F1)中產(chǎn)生上層和下層；而在圖19A和19B中，上層和下層從構(gòu)成圖13的VOP的前景(畫面F2)中產(chǎn)生。
從上述三種類型中間可以選擇或者預定一種所需的空間定標，這樣畫面分層單元21對多個VOP進行分層，使能用預定的定標來編碼。
根據(jù)提供到畫面分層單元21的多個VOP的尺寸數(shù)據(jù)和偏移數(shù)據(jù)(這里被分別作為初始的尺寸數(shù)據(jù)和初始偏移數(shù)據(jù))，畫面分層單元21計算(設定)在所產(chǎn)生的下層與上層多個VOP的預定絕對坐標系中分別規(guī)定位置與尺寸的偏移數(shù)據(jù)和尺寸數(shù)據(jù)。
根據(jù)上述的第二定標(圖17A和17B)來解釋設置上層與下層的偏移數(shù)據(jù)(位置信息)和尺寸數(shù)據(jù)的方式。在這種情況下，下層的偏移數(shù)據(jù)FPOS_B被如此設置，如果基于來自上層的分辨率以及分辨率的差別，下層的畫面數(shù)據(jù)被放大(內(nèi)插)，即如果該下層畫面以一種放大比(乘法系數(shù)FR)放大，在放大的畫面的絕對坐標系中的偏移數(shù)據(jù)將與初始的偏移數(shù)據(jù)一致。放大比是壓縮比的倒數(shù)，用它來壓縮上層畫面，以便產(chǎn)生下層的畫面。同樣地，下層的尺寸數(shù)據(jù)FSZ_B被如此設置，用乘法系數(shù)FR放大下層畫面時所獲得的放大的畫面的尺寸數(shù)據(jù)將與初始的尺寸數(shù)據(jù)一致。另一方面，上層的偏移數(shù)據(jù)FPOS_E被設置一坐標值，諸如，圍繞從輸入VOP提取的目標的16元組最小矩形(VOP)的左上頂點的座標，正如基于初始偏移數(shù)據(jù)而找到的，如圖20B中顯示的。另外，上層的尺寸數(shù)據(jù)FSZ_E可以設置為圍繞從輸入VOP所提取的目標的16元組最小矩形(VOP)的橫向長度和縱向長度。
因此，如果根據(jù)乘法系數(shù)FR來轉(zhuǎn)化下層的偏移數(shù)據(jù)FPOS_B和尺寸數(shù)據(jù)FSZ_B，則與所轉(zhuǎn)化的尺寸數(shù)據(jù)FSZ_B相應的尺寸的畫面幀在絕對的坐標系中可以被認為在與被轉(zhuǎn)化的偏移數(shù)據(jù)FPOS_B相應的位置，由FR乘以下層畫面數(shù)據(jù)獲得的一幅放大畫面可被安排如圖20A中顯示的，根據(jù)在絕對的坐標系中的上層的偏移數(shù)據(jù)FPOS_E和尺寸數(shù)據(jù)FSZ_E，在上層中的畫面可以同樣地被安排(圖20B)，其中放大的畫面與上層畫面的相關象素是一對一的關系。即，在這種情況下，在上層畫面中的人處于與放大畫面中的人相同的位置，象在圖20A和20B中顯示的。
在利用第一和第三種定標時，偏移數(shù)據(jù)FPOS_B或者FPOS_E和尺寸數(shù)據(jù)FZS_B和FZS_E被這樣確定在絕對坐標系中下層所放大的畫面和上層所放大的畫面的相關的象素將被安排在相同的位置。
偏移數(shù)據(jù)FPOS_B、FPOS_E和尺寸數(shù)據(jù)FZS_B、FZS_E可以確定如下。即，可以確定下層的偏移數(shù)據(jù)FPOS_B，從而下層的放大畫面的偏移數(shù)據(jù)與在絕對的坐標系中的預定位置(如原始點)一致，如圖21A中顯示的。另一方面，上層的偏移數(shù)據(jù)FPOS_E設置到一個坐標值，諸如圍繞從輸入VOP所提取的目標的16元組最小矩形(VOP)的左上頂點，如基于初始的偏移數(shù)據(jù)找到的，小于初始的偏移數(shù)據(jù)，象在圖21B中顯示的。在圖21A和21B中，下層的尺寸數(shù)據(jù)FSZ_B和上層的尺寸數(shù)據(jù)FZS_E可以類似于圖20A和20B中所解釋的方式而設置。
如上所述，當偏移數(shù)據(jù)FPOS_B和FPOS_E被設置時，組成下層的放大畫面和上層的畫面的相關象素在絕對的坐標系中被安排在相關的位置上。
回到圖15，在畫面分層單元21中所產(chǎn)生的上層的畫面數(shù)據(jù)，關鍵信號，偏移數(shù)據(jù)FPOS_E，以及尺寸數(shù)據(jù)FSZ_E提供到稍后將要解釋的延遲電路22，在其中它的延遲量對應于在下層編碼單元25中的處理時間。從延遲電路22的輸出信號提供到上層編碼單元23。下層的畫面數(shù)據(jù)，關鍵信號，偏移數(shù)據(jù)FPOS_B，以及尺寸數(shù)據(jù)FSZ_B提供到一下層編碼單元25。經(jīng)由延遲電路22向上層編碼單元23和分辨率轉(zhuǎn)化器24提供乘法系數(shù)FR。
下層編碼單元25編碼下層的畫面數(shù)據(jù)(第二幅畫面)和關鍵信號。偏移數(shù)據(jù)FPOS_B和尺寸數(shù)據(jù)FSZ_B被包含在向復用器26提供的所產(chǎn)生的編碼數(shù)據(jù)(比特流)中。下層編碼單元25局部地解碼所編碼的數(shù)據(jù)，并且輸出下層的局部解碼的畫面數(shù)據(jù)到分辨率轉(zhuǎn)化器24。根據(jù)乘法系數(shù)FR，分辨率轉(zhuǎn)化器24將從下層編碼單元25所接收的畫面數(shù)據(jù)放大或者壓縮以回到原來的尺寸。產(chǎn)生的畫面，可以是一幅所放大的畫面，輸出至上層編碼單元23。
上層編碼單元23將畫面數(shù)據(jù)(第一畫面)和上層的關鍵信號編碼。偏移數(shù)據(jù)FPOS_E和尺寸數(shù)據(jù)FSZ_E被包含在產(chǎn)生的編碼數(shù)據(jù)(比特流)中，該編碼數(shù)據(jù)被提供到復用器26。上層編碼單元23利用從分辨率轉(zhuǎn)化器24提供的放大的畫面將畫面數(shù)據(jù)編碼。
下層編碼單元25和上層編碼單元23被提供有尺寸數(shù)據(jù)FSZ_B，偏移數(shù)據(jù)FPOS_B，運動矢量MV，以及標志COD。上層編碼單元23參考或者使用這種在處理期間適當或者需要的數(shù)據(jù)或信息，如同將在下文更充分描述的。
復用器26復用從上層編碼單元23和下層編碼單元25的輸出，并且由此提供產(chǎn)生的復用信號。
圖22說明下層編碼單元25的例子。在圖22中，與圖1中與那些相應的部分或者組成部分由相同的參考數(shù)字表示。即，下層編碼單元25與圖1的編碼器同樣地構(gòu)成，除了新提供的關鍵信號編碼單元43和關鍵信號解碼單元44之外。
在圖22的下層編碼單元25中，從分層單元21(圖15)來的畫面數(shù)據(jù)，即，下層的多個VOP，被提供并且被存儲在幀存儲器31中。在運動矢量檢測器32中，以宏-塊為基礎，運動矢量可以被檢測。這樣的運動矢量檢測器32接收下-層VOP的偏移數(shù)據(jù)FPOS_B和尺寸數(shù)據(jù)FSZ_B，并且基于的這樣的數(shù)據(jù)來檢測宏-塊的運動矢量。由于在檢測運動矢量中，VOP的尺寸和位置隨時間(幀)而變化，坐標系應該被設置為用于檢測的參考，而且在該坐標系中檢測的運動。至此，由于參考畫面可以安排在用以檢測運動矢量的絕對坐標系中，上述的絕對坐標系可以用作為運動矢量檢測器32的參考坐標系和用于編碼的VOP以及VOP。
運動矢量檢測器32從關鍵信號解碼單元44接收一個所解碼的關鍵信號，它是通過編碼下層的關鍵信號并解碼該編碼的結(jié)果而獲得的。運動矢量檢測器32通過利用解碼的關鍵信號從VOP提取目標，以檢測運動矢量。解碼的關鍵信號用于替代為原來的關鍵信號(在編碼之前的關鍵信號)，以提取目標，因為解碼的關鍵信號被用在接收一側(cè)。
同時，檢測的運動矢量(MV)與預測方式一同不僅提供到VLC單元36和運動補償器42而且還提供到上層編碼單元23(圖15)。
對于運動補償，在參考坐標系中運動應該以類似于以上所描述的方式被檢測。這樣，尺寸數(shù)據(jù)FSZ_B以及偏移數(shù)據(jù)FPOS_B提供給運動補償器42，該運動補償器42還從關鍵信號解碼單元44接收一個所解碼的關鍵信號，其道理與所連接的運動矢量檢測器32相同。
其運動矢量被檢測了的VOP如圖1中那樣被量化，該產(chǎn)生的量化數(shù)據(jù)向VLC單元36提供。這個VLC單元不僅接收量化的數(shù)據(jù)、量化步長、運動矢量以及預測方式，而且還從畫面層單元21(圖15)接收偏移數(shù)據(jù)FPOS_B和尺寸數(shù)據(jù)FSZ_B，這樣這種數(shù)據(jù)也可以被量化。VLC單元36也從關鍵信號編碼單元43接收編碼的關鍵信號(關鍵信號的比特流)，這樣編碼的關鍵信號也用可變長度編碼來編碼。即，關鍵信號編碼單元43編碼從畫面分層單元21來的關鍵信號，如參考圖14所解釋的。該編碼的關鍵信號輸出至VLC單元36和關鍵信號解碼單元44。關鍵信號解碼單元44解碼編碼的關鍵信號，輸出解碼的關鍵信號到運動矢量檢測器32、運動補償器42，和分辨率轉(zhuǎn)化器24(圖15)。
關鍵信號編碼單元43不僅提供有下層的關鍵信號而且還有尺寸數(shù)據(jù)FSZ_B以及偏移數(shù)據(jù)FPOS_B，這樣，類似于運動矢量檢測器32，關鍵信號編碼單元43根據(jù)該數(shù)據(jù)識別在絕對的坐標系中關鍵信號的位置和范圍。
其運動矢量被檢測了的VOP被編碼，如上所述，并且如同圖1所示被局部地被解碼，以存儲在幀存儲器41中。以如上所述方式解碼的畫面可以用作為參考畫面，并且輸出至分辨率轉(zhuǎn)化器24。
與MPEG1和MPEG2不同，MPEG4也可以用B-畫面作為參考畫面，這樣B-畫面也被局部地解碼并和存儲在幀存儲器41中。然而，現(xiàn)在，B-畫面只可以用作為上層的參考畫面。
VLC單元36檢查I-，P-和B-畫面的宏-塊，根據(jù)其結(jié)果決定這些宏塊是否應該轉(zhuǎn)變成為跳躍宏-塊，設置標志COD和MODB。對標志COD和MODB進行同樣地可變長度編碼，以便傳輸。標志COD也提供給上層編碼單元23。
圖23說明圖15的上層編碼單元23的結(jié)構(gòu)。在圖23中，與圖1和22中所顯示的那些相應的部分或者組成部分由相同的參考數(shù)字表示。即，上層編碼單元23與圖22的下層編碼單元25或者圖1的編碼器類似地被構(gòu)成，除了新具有的關鍵信號編碼單元51，幀存儲器52，以及關鍵信號解碼單元53之外。
在圖15的上層編碼單元23中，來自畫面層單元21(圖15)的畫面數(shù)據(jù)，即是上層的VOP，提供到如圖1所示的幀存儲器31，以便以宏-塊為基礎，在運動矢量檢測器32中檢測運動矢量。除上層VOP之外，運動矢量檢測器32按類似于圖22中的方式接收上層的VOP，尺寸數(shù)據(jù)FSZ_E，以及偏移數(shù)據(jù)FPOS_E，并且從關鍵信號解碼器53接收解碼的關鍵信號。如同在上述情況之下，基于尺寸數(shù)據(jù)FSZ_E和偏移數(shù)據(jù)PPOS_E，運動矢量檢測器32識別在絕對的坐標系中上層的VOP的安置位置，并且基于解碼的關鍵信號提取包含在VOP中的目標從而以宏-塊為基礎檢測該運動矢量。
在上層編碼單元23和下層編碼單元25中的運動矢量檢測器32以在圖1中所解釋的預定序列處理VOP。這種序列可以被如下設置。
在空間定標的情況下，以分別象在圖24A或者24B中顯示的序列P，B，B，B，...，或I，P，P，P，...，處理上層或者下層VOP。在這種情況下，在上層中，利用相同時間點處的下層的VOP，在這里為I-畫面，作為參考畫面，來編碼作為上層的第一VOP的P畫面。利用相同時間點的上層的前面最近的VOP以及下層的VOP作為參考畫面，對上層的第二和后面的多個VOP(B-畫面)編碼。類似于下層的P-畫面，上層的B-畫面在對其它的VOP編碼中用作為參考畫面。如同在MPEG1或者MPEG2的情況下或者在H.263中那樣對下層進行編碼。
SNR定標可以認為是等同于其中乘法系數(shù)FR等于整數(shù)的空間定標，因此它可以以類似于以上所描述的空間定標的方式被處理。
在利用時間定標的情況下，即，如果VO由VOP0，VOP1，VOP2，VOP3等組成，VOP1，VOP3，VOP5，VOP7...為上層(圖2 5A)，而VOP0，VOP2，VOP4，VOP6...為下層(圖25B)，上層和下層的各VOP可以用B，B，B，...or I，P，P，的序列來處理，象在圖25A和25B中顯示的。在這種情況下，利用下層的VOP0(I-畫面)和VOP2(P-畫面)作為參考畫面，對上層的第一VOP1(B-畫面)進行編碼。利用作為B-畫面剛被編碼的上層VOP1和下層的VOP4(P-畫面)作為參考畫面，對上層的第二VOP3進行編碼，所述下層的VOP4(P-畫面)是VOP3下一個定時(幀)的畫面。類似于VOP3，利用作為B-畫面剛被編碼的上層VOP3和下層的VOP6(P-畫面)作為參考畫面，對上層的第三VOP5編碼，所述下層的VOP 6(P-畫面)是VOP5下一個定時(幀)的畫面。
如上所述，其它層的VOP，在這里為下層(可定標的層)被用作為參考畫面，以便編碼。即，如果，為了預測編碼上層VOP，其它層的VOP用作為參考畫面(即，下層的VOP用作為參考畫面，以預測編碼上層的VOP)，上層編碼單元23(圖23)的運動矢量檢測器32設置和輸出說明這種使用的標志。例如，如果有三個或者更多層，標志ref_layer_id(參考_層_標識符)可以說明用作為參考畫面的VOP屬于的那一層。另外，上層編碼單元23的運動矢量檢測器32專用于根據(jù)VOP的標志ref_layer_id，設置和輸出標志ref_select_code(參考_選擇_碼)(參考畫面信息)，標志ref_select_code說明哪一個層VOP能在執(zhí)行前向預測編碼或后向預測編碼中用作為參考畫面。
圖26A和26B為P畫面和B畫面的規(guī)定標志ref_select_code的值。
象在圖26A中被顯示的，如果，例如，利用前面最近解碼的并且其屬于與該上層的P畫面相同的層的VOP作為參考畫面來編碼一個上層(增強層)的P-畫面，該標志ref_select_code被設置為′00′。另外，如果利用前面最近顯示的并且其屬于與該P畫面不同的層的VOP作為參考畫面來編碼一個P-畫面，則該標志ref_select_code被設置為′01′。如果利用后面最近顯示的并且其屬于不同層的VOP作為參考畫面來編碼一P-畫面，則該標志ref_select_code被設置為′10′。如果利用屬于不同層的共同或重合的VOP作為參考畫面來編碼一個P-畫面，該標志ref_select_code被設置為′11′。
象在圖26B中顯示的，另一方面，如果利用不同層的共同VOP作為前向預測的參考畫面來編碼一個上層的B-畫面，或者利用前面最近解碼的并且其屬于與后向預測的參考畫面相同層的VOP作為前向預測的參考畫面來編碼一個上層的B-畫面，則該標志ref_select_code被設置為′00′。另外，如果利用屬于相同層的VOP作為前向預測的參考畫面來編碼一個上層的B-畫面，或者利用前面最近顯示的并且其屬于不同層的VOP作為后向預測的參考畫面來編碼一個上層的B-畫面，則該標志ref_select_code被設置為′01′。此外，如果利用相同層的前面最近解碼的VOP作為參考畫面來編碼一個上層的B-畫面，或者利用不同層的后面最近顯示的VOP作為參考畫面來編碼一個上層的B-畫面，該標志ref_select_code被設置為′10′。最后，如果利用不同層的后面最近顯示的VOP作為前向預測的參考畫面來編碼一個上層的B-畫面，或者利用不同層的后面最近顯示的VOP作為后向預測的參考畫面來編碼一個上層的B-畫面，該標志ref_select_code被設置為′11′。
參考圖24A，24B，25A，以及25B所解釋的預測編碼的方法僅僅用于說明，而且，應理解到，在參考圖26A和26B所解釋的范圍之內(nèi)，它可以自由地設置哪個層的哪個VOP將要用作為前向預測編碼，后向預測編碼或者雙向預測編碼的參考畫面。
在上面的畫面中，為了方便，使用了術語空間定標，時間定標和SNR定標。然而，象參考圖26A和26B所解釋的，如果用于預測編碼的參考畫面被設置，即，如果象在圖26A和26B中所顯示的句法被利用，利用標志ref_select_code，空間定標，時間定標和SNR定標之間很難有明顯的差異。反過來說，利用標志ref_select_code，不必要完成上述的定標差異。然而，定標和標志ref_select_code，能相互相關，如下所述在P-畫面的情況下，標志ref_select_code′11′與由標志參考_選擇_碼說明的一層的共用VOP的參考畫面(用于前向預測的參考畫面)的使用相關，其中定標是空間定標或者SNR定標。如果標志ref_select_code不是′11′，則定標是時間定標。
在B-畫面的情況下，標志ref_select_code′00′與由標志參考_選擇_標識符說明的一層的共用VOP的參考畫面(用于前向預測的參考畫面)的使用相關，其中定標是空間定標或者SNR定標。如果標志ref_select_code不同于′00′，則定標是時間定標。
如果一個不同層的一共用VOP，在這里是一個下層，被用為上層的VOP的預測編碼的參考畫面，在兩VOP之間沒有任何運動，這樣運動矢量在任何時候都是0(0，0)。
回到圖23，上述的標志ref_layer_id和ref_select_code可以在上層編碼單元23的運動檢測器32中被設置，并且提供給運動補償器42和VLC單元36。根據(jù)標志ref_layer_id和參考_選擇_碼，通過不僅使用幀存儲器31，如果需要，還可使用幀存儲器52，運動矢量檢測器32檢測運動矢量。局部地解碼的放大的下層畫面可以從分辨率轉(zhuǎn)化器24(圖15)提供給幀存儲器52。即，分辨率轉(zhuǎn)化器24可以放大局部解碼的下層VOP，例如，內(nèi)插濾波器，以產(chǎn)生與VOP相應的一幅所放大的畫面，其放大系數(shù)為FR，它是一幅所放大的具有與上層的VOP相同的尺寸的畫面，其中上層的VOP與下層VOP相關。在幀存儲器52中存儲從分辨率轉(zhuǎn)化器24提供的放大的畫面。然而，如果乘法系數(shù)是1，分辨率轉(zhuǎn)化器24直接提供來自下層編碼單元25的局部解碼的VOP到上層編碼單元23，無須進行任何規(guī)定的處理。
運動矢量檢測器32從下層編碼單元25接收尺寸數(shù)據(jù)FSZ_B以及偏移數(shù)據(jù)FPOS_B，并且從延遲電路22(圖15)接收乘法系數(shù)FR。這樣，如果存儲在幀存儲器52中的放大的畫面用作為參考畫面，即，如果與上層VOP共用的下層VOP用作為上層VOP的預測編碼的參考畫面，運動矢量檢測器32用乘法系數(shù)FR乘以與放大的畫面對應的尺寸數(shù)據(jù)FSZ_B和偏移數(shù)據(jù)FPOS_B。在這種情況下，標志ref_select_code被設置′11′，象參考圖26A所解釋，并為P-畫面和B-畫面設置到′00′，參考圖26B解釋的。運動矢量檢測器32根據(jù)用于檢測運動矢量的相乘的結(jié)果，識別在絕對坐標系中的放大的畫面的位置。
運動矢量檢測器32也可以接收下層的預測方式和運動矢量。這些可以被如下利用。如果上層的B-畫面的標志ref_select_code是′00′，并且乘法系數(shù)FR是1，即，如果定標是SNR定標，其中上層VOP用于上層的預測編碼，這樣SNR定標在這里不同于在MPEG2中所規(guī)定的，上層和下層具有相同的畫面，從而公用的下層畫面的運動矢量和預測方式能直接用于上層的B-畫面預測編碼。在這種情況下，既沒有運動矢量也沒有預測方式從運動矢量檢測器32輸出或者傳輸?shù)絍LC單元36，因為接收側(cè)能從下層的解碼的結(jié)果識別上層的預測方式和運動矢量。
如上所述，運動矢量檢測器32可以不僅利用一個上層的VOP而且利用一幅所放大的畫面作為檢測運動矢量的參考畫面。此外，運動矢量檢測器32可以設置預測方式，它最大限度地減少預測誤差或者變化，如參考圖1解釋的。進而，運動矢量檢測器32也可以設置和輸出其它信息，諸如標記ref_select_code和/或者ref_layer_id。
象在圖15和23中顯示的，說明構(gòu)成下層的I-或者P-畫面的宏-塊是否是跳躍宏-塊的標志COD從下層編碼單元25提供到運動矢量檢測器32，VLC單元36，以及運動補償器42，如同其后將要解釋的。
其運動矢量已被檢測的一個宏-塊，如上所述地進行編碼，因此VOL單元36輸出一個可變長度碼作為編碼的結(jié)果。如同在下層編碼單元25中，上層編碼單元23的VLC單元36可以設置和輸出標志COD，該標志COD說明I-或者P-畫面的宏-塊是否是上述的跳躍宏-塊；并輸出標志MODB，該標志MODB說明B-畫面的宏-塊是否是跳躍宏-塊。除量化系數(shù)，量化步長，運動矢量，以及預測方式之外，VLC單元36也可以接收乘法系數(shù)FR，標志ref_secret_code(參考_秘密_碼)以及ref_layer_id，尺寸數(shù)據(jù)FSZ_E，偏移數(shù)據(jù)FPOS_E，以及關鍵信號編碼單元51的輸出?？勺?長度VLC單元36編碼和輸出所有這種數(shù)據(jù)。
進一步，其運動矢量已檢測的宏-塊，被編碼和局部地解碼，如上所述，并且被存儲在幀存儲器41中。在運動補償器42中，實行運動補償，從而不僅利用存儲在幀存儲器41中的上層的局部解碼的VOP而且利用存儲在幀存儲器52中的下層的局部解碼和放大的VOP中來產(chǎn)生預測畫面。即，運動補償器42不僅接收運動矢量和預測方式而且接收標志ref_select_code和ref_layer_id，解碼的關鍵信號，乘法系數(shù)FR，尺寸數(shù)據(jù)FSZ-B和FsZ_E，以及偏移數(shù)據(jù)FPOS_B和FPOS_E。運動補償器42基于標志ref_select_code和ref_layer_id來識別用于運動補償?shù)膮⒖籍嬅?。如果上層的或者放大畫面的一局部解碼的VOP用作為參考畫面，則運動補償器42基于尺寸數(shù)據(jù)FSZ_E和偏移數(shù)據(jù)FPOS_E或者基于尺寸數(shù)據(jù)FSZ_B和偏移數(shù)據(jù)FPOS_B，并且可以利用乘法系數(shù)FR和解碼的關鍵信號，識別在絕對的坐標系中的畫面的位置和尺寸，以產(chǎn)生預測畫面。
向關鍵信號編碼單元51提供上層的VOP的關鍵信號，關鍵信號編碼單元51(以類似圖22的關鍵信號編碼單元43的方式)將關鍵信號編碼，并且向VLC單元36和關鍵信號解碼單元53提供該編碼的關鍵信號。關鍵信號解碼單元53解碼該接收的編碼的關鍵信號，并且向運動矢量檢測器32和運動補償器42提供解碼的關鍵信號，如上所述，以用來提取上層的VOP。
圖27說明解碼由圖12的編碼器輸出的比特流的解碼器的實施例。
由圖12的編碼器輸出的比特流可以在傳輸通道5上傳輸，從而由一種接收的裝置(未顯示)接收，或者這種輸出的比特流可以記錄在記錄介質(zhì)6上，從而由一種再現(xiàn)裝置(未顯示)再現(xiàn)。在任何情況下，提供所接收的比特流到多路分解器71，其中它被分離成構(gòu)成VO的比特流VO1，VO2，...，并且提供到一相關的VOP解碼器72N。VOP解碼器72N，解碼構(gòu)成VO的VOP(畫面數(shù)據(jù))，關鍵信號，尺寸數(shù)據(jù)(VOP尺寸)，以及偏移數(shù)據(jù)(VOP移動)，并且提供所解碼的數(shù)據(jù)或者信號到畫面重建單元73?；赩OP解碼器721至72N的輸出，畫面重建單元73重建可以提供到監(jiān)控器74的原來畫面，以便顯示。
圖28說明圖27的VOP解碼器72N的一種基本的結(jié)構(gòu)。象在圖25中顯示的，來自多路分解器71(圖27)的比特流提供到多路分解器81，其中關鍵信號信息以及關于運動和結(jié)構(gòu)的信息被提取。關鍵信號信息送到關鍵信號解碼單元82，而向畫面信號解碼單元83提供關于運動和結(jié)構(gòu)的信息。關鍵信號解碼單元82和畫面信號解碼單元83分別解碼關鍵信號和關于運動和結(jié)構(gòu)信息，并且向畫面重建單元73提供所產(chǎn)生的關鍵信號與VOP畫面數(shù)據(jù)(亮度和色度信號)。進一步，尺寸數(shù)據(jù)(VOP尺寸)和偏移數(shù)據(jù)(VOP的移動)也從輸入比特流中提取，并且提供到畫面重建單元73(圖27)。
如果根據(jù)在畫面信號編碼單元11(圖14)中檢測的運動矢量，關鍵信號編碼單元12(圖14)對關鍵信號進行運動-補償以編碼該關鍵信號，則用于在畫面信號解碼單元83中解碼畫面的運動矢量被送到關鍵信號解碼單元82，以利用該運動矢量來解碼該關鍵信號。
圖29說明圖27的VOP解碼單元72N執(zhí)行定標的結(jié)構(gòu)。象在圖29中顯示的，比特流從多路分解器71(圖27)提供到多路分解器91，其中該比特流被分離成一上層VOP比特流和一下層VOP比特流。下層VOP比特流提供到一下層解碼單元95，該下層解碼單元95解碼下層比特流，并且向分辨率轉(zhuǎn)化器94提供所產(chǎn)生的解碼的下層畫面數(shù)據(jù)和關鍵信號。另外，下層解碼單元95還向上層解碼單元93提供在解碼下層比特流時獲得的用于編碼上層VOP的信息，諸如尺寸數(shù)據(jù)FSZ_B偏移數(shù)據(jù)FPOS_B，運動矢量MV，預測方式和/或者標志COD。來自多路分解器91的上層VOP比特流在延遲電路92中延遲一段時間(該時間與下層解碼單元95中的處理的時間對應)，然后提供到上層解碼單元93。上層解碼單元93通過利用下層解碼單元95和分辨率轉(zhuǎn)化器94的輸出(如果需要的話)解碼經(jīng)由延遲電路92所提供的上層比特流，并且輸出產(chǎn)生的上層解碼畫面，關鍵信號，尺寸數(shù)據(jù)FSZ-E，以及偏移數(shù)據(jù)FPOS-E。上層解碼單元93還可以輸出乘法系數(shù)FR(在解碼上層的比特流時獲得的)到分辨率轉(zhuǎn)化器94。通過利用接收的乘法系數(shù)FR，分辨率轉(zhuǎn)化器94可以將下層的解碼畫面轉(zhuǎn)化成為一幅放大的畫面，正如分辨率轉(zhuǎn)化器24(圖15)中那樣。從這種轉(zhuǎn)化而來的放大畫面送到上層解碼單元93，從而在解碼上層比特流時使用。
圖30說明在圖29中所顯示的下層解碼單元95的結(jié)構(gòu)。下層解碼單元95與圖2的解碼器類似地構(gòu)成，除了有關鍵信號解碼單元108作為一種新的裝置之外。因此，在圖30中，與圖2的解碼器的那些相應的部分或組成部分由相同的參考數(shù)字表示。
象在圖30中顯示的，來自多路分解器91(圖29)的下層比特流傳送到緩沖器101，以便在其中存儲。IVLC單元102從緩沖器101讀出比特流，而且對讀出的比特流進行可變長度編碼，以分離量化系數(shù)，運動矢量，預測方式，量化步長，編碼的關鍵信號，尺寸數(shù)據(jù)FSZ_B，偏移數(shù)據(jù)FPOS_B，以及標志COD。量化系數(shù)和量化步長送到去量化器103；運動矢量和預測方式送到運動補償器107和上層解碼單元93(圖29)，尺寸數(shù)據(jù)FSZ_B和偏移數(shù)據(jù)FPOSB被送到運動補償器107，關鍵信號解碼單元108，畫面重建單元73(圖27)和上層解碼單元93；標志COD送到上層解碼單元93；而編碼的關鍵信號數(shù)據(jù)送到關鍵信號解碼單元108。
去量化器103，IDCT單元104，運算單元105，幀存儲器106，以及運動補償器107可以進行類似于圖22的去量化器38，IDCT單元37，運算單元40，幀存儲器41，以及運動補償器42所進行的處理，以解碼下層VOP。所解碼的下層VOP送到畫面重建單元73(圖27)，上層解碼單元93(圖29)，以及分辨率轉(zhuǎn)化器94(圖29)。
關鍵信號解碼單元108可以進行類似于圖22的下層編碼單元25的關鍵信號解碼單元44所完成的處理，以解碼該編碼的關鍵信號數(shù)據(jù)。產(chǎn)生的解碼的關鍵信號被送到畫面重建單元73，上層解碼單元93，以及分辨率轉(zhuǎn)化器94。
圖31說明圖29的上層解碼單元93的結(jié)構(gòu)。這樣的的上層解碼單元93與圖2的編碼器類似地被構(gòu)成。因此，對應于圖2中所顯示的那些相應的部分或者組成部分由相同的參考數(shù)字表示。
象在圖31中顯示的，來自多路分解器91和延遲電路92(圖29)的上層比特流經(jīng)由緩沖器101送到IVLC單元102。IVLC單元102對所接收的比特流進行可變長度解碼，以分離量化系數(shù)、運動矢量、預測方式、量化步長、編碼關鍵信號數(shù)據(jù)、尺寸數(shù)據(jù)FSZ_E、偏移數(shù)據(jù)FPOS_E、乘法系數(shù)FR和標記ref_layer_id、ref_select_code、COD以及MODB。量化系數(shù)和量化步長送到去量化器103，如同圖30中那樣；運動矢量和預測方式送到運動補償器107；尺寸數(shù)據(jù)FSZ_E和偏移數(shù)據(jù)FPOS_E送到運動補償器107，關鍵信號解碼單元111，以及畫面重建單元73(圖27)；標志COD、MODB、ref_layer_id、以及ref_select_code送到運動補償器107；編碼的關鍵信號數(shù)據(jù)送到關鍵信號解碼單元111；而乘法系數(shù)FR送到運動補償器107和分辨率轉(zhuǎn)化器94(圖29)。
運動補償器107不僅接收上述數(shù)據(jù)而且接收運動矢量，標志COD，以及來自下層的解碼單元95(圖29)的下層尺寸數(shù)據(jù)FSZ_B和偏移數(shù)據(jù)FPOS_B。幀存儲器112從分辨率轉(zhuǎn)化器94接收放大的畫面。去量化器103，IDCT單元104，運算單元105，幀存儲器106，運動補償器107以及幀存儲器112可以進行類似于上層編碼單元23(圖23)的去量化器38，IDCT單元39，運算單元40，幀存儲器41，運動補償器42，以及幀存儲器52所完成的處理，以解碼上層VOP。所解碼的下層VOP送到畫面重建單元73。關鍵信號解碼單元完成類似于上層編碼單元23(圖23)的關鍵信號單元53所完成的處理，以解碼該編碼的關鍵信號數(shù)據(jù)。所產(chǎn)生的關鍵信號送到畫面重建單元73。
在上述VOP解碼單元72的上層解碼單元93和下層解碼單元95中，生成稱作為上層數(shù)據(jù)的解碼畫面，關鍵信號，尺寸數(shù)據(jù)FSZ_E和偏移數(shù)據(jù)FPOS-E，以及生成稱作為下層數(shù)據(jù)的解碼畫面、關鍵信號、尺寸數(shù)據(jù)FSB、和偏移數(shù)據(jù)即OS-B。畫面重建單元73可以由上層數(shù)據(jù)和/或者下層數(shù)據(jù)重建畫面，如下所述。
在利用象在圖16A和16B中顯示的第一空間定標的情況下，即，如果輸入的VOP整個都是上層，而且在尺寸上壓縮或者減少的整個VOP是下層，即如果下層數(shù)據(jù)和上層數(shù)據(jù)兩者被解碼，則畫面重建單元73僅僅基于上層數(shù)據(jù)，通過關鍵信號(如果需要的話)，提取與尺寸數(shù)據(jù)FS_E相應的尺寸的所解碼的上層畫面(VOP)，并且在偏移數(shù)據(jù)FPOS_E規(guī)定的位置安排提取的畫面。如果在下層比特流之中發(fā)生誤差或者只有下層數(shù)據(jù)被解碼(因為監(jiān)控器74僅僅能處理低分辨率畫面)，則畫面重建單元73僅僅基于下層數(shù)據(jù)，利用關鍵信號(如果需要的話)，提取其尺寸與尺寸數(shù)據(jù)FSZ-B相應的上層解碼的畫面(VOP)，并且在偏移數(shù)據(jù)FPOS_B規(guī)定的位置安排提取的畫面。
在利用第二空間定標的情況下，象在圖17A和17B中顯示的，即，如果輸入的VOP整個為上層，而且在尺寸上壓縮或者減少的整個VOP為下層，即，如果下層數(shù)據(jù)和上層數(shù)據(jù)兩者被解碼，畫面重建單元73用乘法系數(shù)FR放大其尺寸與尺寸數(shù)據(jù)FSZ_B相應的下層解碼的畫面，以產(chǎn)生一幅相應的放大的畫面。畫面重建單元73將偏移數(shù)據(jù)FPOS_B乘以FR，并且在與結(jié)果的值相應的位置安排放大的畫面。另外，畫面重建單元73在由偏移數(shù)據(jù)FPOS_E規(guī)定的位置安排上層所解碼畫面，其尺寸與畫面尺寸數(shù)據(jù)FSZ-E相應。在這種情況下，解碼的畫面的上層部分所顯示的分辨率比其它的部分高。
在安排上層所解碼的畫面中，解碼的畫面與一幅所放大的畫面合成。這種合成可以利用上層的關鍵信號實行。
上述的數(shù)據(jù)和乘法系數(shù)FR可以從上層解碼單元93(VOP解碼單元72N)向畫面重建單元73提供。利用這樣的數(shù)據(jù)，畫面重建單元73產(chǎn)生一幅所放大的畫面。
如果，在運用第二空間定標的情況下，僅僅下層數(shù)據(jù)被解碼，如同在運用上述空間定標的情況下，可以實行畫面重建。
如果，在運用第三空間定標(圖18A，18B，19A，19B)的情況下，即，如果每一個構(gòu)成輸入VOP的目標全部為上層并且稀疏出來的整個目標是下層，則如同運用上述第二空間定標的情況，畫面可以被重建。
利用偏移數(shù)據(jù)FPOS_B以及FPOS_E，如上所述，所放大的下層畫面和上層畫面的相應象素可以在絕對的坐標系中被安排在相同的位置。另外，上述畫面重建生成一幅正確的畫面，(即，畫面基本上沒有位置偏差)。
現(xiàn)在結(jié)合MPEG4VM驗正方法解釋在定標中的句法。
圖32說明在定標編碼時所獲得的比特流結(jié)構(gòu)。更具體地，比特流以視頻對話(VS)級別作為一個單元而構(gòu)成，而且每一VO由一或更多視頻目標層(VOL)級別組成。如果畫面不分層，VOL可以是唯一的VOL，而，如果畫面被分層，它由等于層數(shù)的一些VOL組成。
圖33和34分別顯示VS和VO的句法。VO是與整個畫面或者它(目標)的一部分的序列相應的比特流，這樣VS由一組這樣的序列構(gòu)成。作為例子，VS可以對應于一個廣播節(jié)目。
圖35顯示了VOL的句法。VOL是定標的級別，并且可以由video_object_layer_id(視頻_目標_層_標識符)規(guī)定的數(shù)量識別(圖35中的A1顯示的部分)。即，下層的VOL的video_object_id(視頻_目標_標識符)可以為0，而上層的VOL的video_object_layer_id可以是1?？啥说膶拥臄?shù)量并不限制于2，而是可以是任何等于或者比3更大的任意數(shù)。不論每個VOL是整個畫面或是其一部分都可由規(guī)定VOL形狀的video_object_layer_shape(視頻_目標_層_形狀)識別或確定。這樣的video_object_layer_shape可以被如下設置。如果VOL的形狀為矩形，視頻_目標_層_形狀可以是′00′。如果VOL具有由硬鍵(值0或者1的二進制信號)提取的區(qū)域的形狀，視頻_目標_層_形狀可以是′01′。如果VOL具有由硬鍵提取的區(qū)域的形狀(具有從0至1連續(xù)值(灰度的信號))，即如果VOL能用軟鍵來合成，video_object_layer_shape可以是′10′。
考慮到這種情況，其中video_object_layer_shape是′00′，當VOL的形狀為矩形時并且在絕對的坐標系中VOL的位置與量級是恒定的或不隨時間而變化。在這種情況下，量級(橫向長度和縱向長度)可以由video_object_layer_width(視頻_目標_層_寬度)和video_object_layer_height(視頻_目標_層_高度)規(guī)定(在圖35中由A7顯示的部分)。video_object_layer_width和video_object_layer_height每個都可以是10-比特固定-長度的標志；而且，如果例如video_object_layer_shape是′00′，則在開始時該10-比特的標志可以只傳輸一次，因為VOL在絕對坐標系中具有固定的尺寸(即，video_object_layer_shape是′00′)。
進一步，一比特的標志定標(象在圖35中的A3顯示的部分)規(guī)定下層和上層哪個是VOL。例如，如果VOL是下層，標志定標可以設置到0；而，如果VOL是上層，標志定標可以設置到1。
如果VOL使用另一個VOL中的畫面作為參考畫面，該參考畫面所屬的VUL由參考_層_標識符(象在圖35中的A4顯示的部分)表示，它只為上層傳輸。
在圖35中，在象在圖35中的A5中顯示的hor_sampling_factor_n(水平_取樣_因素_n)和hor_sampling_factor_m(水平_取樣_因素_m)分別規(guī)定與下層中的VOP的水平長度相應的值和與上層中的VOP的水平長度相應的值。因此，上層水平方向長度至下層的水平方向長度由hor_sampling_factor_n/hor_sampling_factor_m(在垂直方向中分辨率的系數(shù))給出。另外，在象在圖35中的A6中顯示的ver_sampling_factor_n(垂直_取樣_因素_n)和ver_sampling_factor_m(垂直_取樣_因素_m)分別規(guī)定與下層中的VOP的垂直長度相應的值和與上層中的VOP的垂直長度相應的值。因此，上層的垂直方向中的長度至下層的垂直方向中的長度由ver_sampling_factor_n/ver_sampling_factor_m(在垂直方向中乘以分辨率的系數(shù))給出。
圖36顯示視頻目標平面(VOP)級別的句法的例子。VOP(橫向和縱向長度)的尺寸可以由VOP_width和VOP_height表示，每個都有10-比特的固定長度，象在圖36中的B1顯示的。在VOP的絕對坐標系中的位置可以由10-比特的固定長度的VOP_horizonal_sptial_mc_ref(象在圖36中所示的部分B2)和VOP_vertical_mc_ref(象在圖36中所顯示的部分B3)表示。在垂直方向中，上述VOP_width和VOP_height分別表示水平方向的長度和垂直方向的長度，與上述的尺寸數(shù)據(jù)FSZ_B和FSZ_E相應。另一方面，上述VOP_horizonal_spitial_mc_ref和VOP_vertical_mc_ref分別表示水平方向與垂直方向中的坐標(X和Y坐標)，它們與坐標FPOS_B和FPOS_E對應。
只有當video_object_layer_shape不是′00′時，發(fā)射VOP_width，VOP__height，如果video_object_layer_shape是′00′，VOP的尺寸和位置兩者是常數(shù)，這樣不必要傳輸VOP_width，VOP_height，VOP_horizontial_spitial_mc_ref或者VOP_vertical_mc_ref。在接收側(cè)，VOP的左上頂點被安排得與絕對坐標系起始點對應，而參考圖35所描述的video_object_layer_width和video_object_layer_height可識別其尺寸。
象在圖36中的B4所顯示的ref_select_code表示用作為參考畫面的畫面參考，象參考圖26A和26B所解釋的。這樣的ref_select_code可以用圖36中所顯示的VOP句法規(guī)定。
圖37顯示另一個視頻目標平面(VOP)級別的句法的例子。在本實施例中，類似于圖36的實施例，如果視頻_目標_層_形狀不同于′00′，則關于VOP的尺寸和位置的信息將被傳輸。然而，如果，在本實施例中，視頻_目標_層_形狀不同于′00′，可以傳輸1比特的標志load_VOP_size(象在圖37中的C1顯示的部分)，它表明此刻所傳輸?shù)腣OP的尺寸是否等于以前所傳輸?shù)腣OP的尺寸。如果當前的VOP的尺寸分別等于或者不等于以前所解碼的VOP的尺寸，load_VOP_size可以設置到0或者1。如果load_VOP_size為0，VOP_width或者VOP_height(象在圖37中的C2顯示的)不被傳輸，而，如果load_VOP_size是1，VOP_width和VOP_height被傳輸。這樣的VOP_width或者VOP_height類似于參考圖36所解釋的那樣。
在圖36和37中，當前的VOP的橫向長度或者縱向長度與前面最近解碼的VOP的橫向長度或縱向長度之間的差別(有時被稱作尺寸差別)可以被分別用作為VOP_width或者VOP_height。在實際的畫面中，VOP尺寸不會經(jīng)常地變化，這樣當load_VOP_size為1時，通過只傳輸VOP寬度和VOP_高度可減少多余的比特。
如果尺寸差別被利用，信息量可進一步減少。
這樣的尺寸差別可以被計算并由圖22和23中的VLC單元36進行可變長度編碼，并且輸出結(jié)果。在本情況之下，IVLC單元102將該尺寸差別加到前面最近解碼的VOP的尺寸上，以識別或者決定當前解碼的VOP的尺寸。
關于VOP的位置信息，絕對坐標系中坐標值和代替絕對坐標系中坐標值的前面最近解碼的VOP(以前的VOP)的坐標值之間的差別(有時被稱作位置差別)通過diff_VOP_horizonal_ref和diff_VOP_vertical_ref(由象在圖37中的C3顯示的部分)傳輸。
如果在前面最近解碼的VOP的絕對坐標系中的X或者Y坐標由VOP_horizonal_mc_spatial_ref_prev或者VOP_vertical_mc_spatial_ref_prev表示，diff_VOP_horizontal_ref或者diff_VOP_vertical_ref可以由VLC單元36(圖22和23)根據(jù)下列方程式計算diff_VOP_horizontal_ref＝VOP_horizontal_mc_spatial_ref-VOP_horizontal_mc_spatial_ref_prevdiff_VOP_vertical_ref＝VOP_vertical_mc_spatial_ref-VOP_vertical_mc_spatial_ref_prev利用了圖36中的VOP_horizontal_mc_spatial_ref或者VOP_vertical_mc_spatial_ref。進一步，同時，VLC單元36對所計算的diff_VOP_horizontal_ref和diff_VOP_vertical_ref進行可變長度編碼并輸出它們。具體地，參考在圖38中所顯示的與diff_VOP_horizontal_ref和diff_VOP_vertical_ref相關的表，VLC單元36找到圖37中的C4處的diff_size_horizontal或者diff_size_vertical，而且對這樣找到的diff_size_horizontal或者diff_size_vertical進行可變長度編碼。而且，參考圖39中所顯示的表，VLC單元36將diff_VOP_horizontal_ref或者diff_VOP_vertical_ref轉(zhuǎn)化成為與diff_size_horizontal或者diff_size_vertical相關的可變長度碼。轉(zhuǎn)化為可變長度碼的diff_VOP_ho rizontal_ref，diff_VOP_vertical_ref，diff_size_horizontal或者diff_size_vertical的可以復用在其它的數(shù)據(jù)上，以便傳輸。在這種情況下，圖30和31的IVLC單元102從diff_size_horizontal或者diff_size_vertical中識別diff_VOP_horizontal_ref或者diff_VOP_vertical_ref的可變長度碼的長度，并基于這種識別的結(jié)果，完成可變長度解碼。
如果位置差別被傳輸，與圖36的情況相比，則信息量能被減少。
象在圖37中的C5處所顯示的參考_選擇_碼基本上類似于參考圖36所解釋的。
圖40A和40B顯示宏-塊的句法。
圖40A顯示I-或者P-畫面(VOP)的宏-塊的句法。標志COD，它被安排在緊接著first_MMR_code的后面，它規(guī)定在COD后面是否有數(shù)據(jù)。如果從I-畫面或者P-畫面的宏-塊獲得的DCT系數(shù)(DCT系數(shù)的量化結(jié)果)都為零而且運動矢量是零，則下層編碼單元25(圖22)和上層編碼單元23(圖23)的VLC單元36設置I-畫面或者P-畫面的宏-塊作為跳躍宏-塊，并且設置COD為1。因此，如果COD是1，沒有任何數(shù)據(jù)將要為宏-塊而傳輸，從而在I-標志之后的數(shù)據(jù)不被傳輸。另一方面，如果不同于0的ac組成部分出現(xiàn)在I-或者P-畫面的DCT系數(shù)中，VLC單元36將標志COD設置為0，并且可以傳輸其后的數(shù)據(jù)。進一步，安排到標志COD后面的MCBPC規(guī)定宏塊的類型，而且可以根據(jù)MCBPC傳輸后續(xù)數(shù)據(jù)。進而，由于I-畫面基本上不變成跳躍宏-塊，所以該I-畫面的COD不被傳輸或指定不被傳輸。
″COD″只出現(xiàn)在多個VOP中，對于它，VOP_預測_類型表明P-VOP，而且相應的宏塊不是透明的。宏塊層結(jié)構(gòu)象在圖40A中所顯示的。″COD″在宏塊層中可以是一比特標志，當它設置為″0″信號時，該宏塊被編碼。如果設置為″1″，對于該宏塊不再傳輸信息；在那種情況下，對于P-VOP，在整個宏塊的運動矢量等于零而且沒有系數(shù)數(shù)據(jù)時將宏塊作為′P(inter)′宏塊處理。B-VOP(VOP_prediction_type＝′10′)的宏塊層結(jié)構(gòu)如圖40B所示。如果該COD表明最近解碼的I-或P-VOP中的MB是被跳過的(COD＝“1”)，則在B-VOP中過渡的MB也是跳躍的。(沒有信息包括在比特流中)。另外，宏塊層象如圖40B中所顯示的。然而，在空間定標的增強層的情況下(ref_select_code＝′00′&&定標＝“1”)，不論最近解碼的I-或者P-VOP中的MB的COD是什么，宏塊層被顯示在圖40B中。
圖40B顯示了B-畫面(VOP)的宏-塊的句法。安排在first_MMR_code后面的標志MODB與在圖40A中的標志COD相關，并且規(guī)定是否有數(shù)據(jù)被安排在MODB之后(即，規(guī)定B-畫面的宏-塊類型)。
對于在B-VOP中每個編碼的(非跳躍)宏塊，都有″MODB″標志。不論MBTYPE和/或者CBPB信息是否存在，它可以是一可變長度的碼字。在不存在MBTYPE的情況之下，缺省值可以設置為“Direct(H.26 3B)″。在空間定標的增強層的情況下(ref_select_code＝＝′00′&&定標＝1)，MBTYPE的缺省值可以設置為″向前的MC″(在相同的參考層上從最后解碼的VOP來預測)。MODB的碼字如在圖41A和41B中被定義。
VLC單元36(圖22和23)可以用可變長度編碼將MODB編碼，例如，象在圖41A和41B中顯示的，以便傳輸。即，在本實施例中，該MODB的兩種可變長度編碼被顯示在圖41A和41B中。(在這里術語″可變長度表″用于表示可變長度編碼表和可變長度解碼表兩者)。圖41A的可變長度表(在這里有時稱作為MODB表A)為MODB分配三個可變長度碼，而圖41B的可變長度表(在這里有時稱作為MODB表B)為MODB分配兩個可變長度碼。如果，使用MODB表A，則僅僅利用在解碼一B-畫面的宏-塊之前解碼的另一個幀的宏-塊的數(shù)據(jù)(諸如量化系數(shù)或者運動矢量)，就能解碼該B-畫面的宏-塊，或者在前面最近解碼的I或者P-畫面的相應位置的宏-塊(即，與正被處理的宏-塊相同位置的I-或者P-畫面的宏-塊)是跳躍宏-塊，其COD為零，VLC單元36(圖22和23)設置B-畫面的宏-塊作為跳躍宏-塊，其MODB為零。在這種情況下，緊跟著MODB的數(shù)據(jù)，諸如MBTYPE和CBPB不會被傳輸。
然而，如果宏塊的DCT系數(shù)(量化的DCT系數(shù))全都有相同的值(諸如0)，但宏-塊的運動矢量存在，則運動矢量應該被傳輸，MODB被設置為′10′，后面的MBTYPE被傳輸。另一方面，如果宏-塊的DCT系數(shù)至少之一不是零(即，如果存在DCT系數(shù))，而且宏-塊的運動矢量存在，MODB被設置′11′，后面的MBTYPE和CBPB被傳輸。
MBTYPE規(guī)定宏-塊的預測方式和包含在該宏-塊中的數(shù)據(jù)(標志)，CBPB是6-比特的標志，它規(guī)定其中存在DCT系數(shù)的宏-塊的塊。具體地，每一宏-塊可以包括亮度信號的四個88象素塊，色度信號Cb的一個88象素塊，和色度信號Cr的一個88象素塊，總共六個塊，如圖42所示。DCT單元34(圖22和23)可以為每一塊執(zhí)行DCT處理，而且VLC單元36(圖11和23)可以根據(jù)在六個塊的每一塊中是否有DCT系數(shù)，設置6比特的CBPB為0或者1。即，假設為構(gòu)成一宏塊的6個塊設置了塊號碼為1至6，象在圖42中顯示的。如果在塊號為N的塊中存在或不存在DCT系數(shù)，VLC單元36可以分別將CBPB的第N個比特設置為1或者0。這里假設LSB與MSB分別是第一比特與第六比特。因此，如果CBPB為0(′000000′)，則在宏-塊中沒有任何DCT系數(shù)。
另一方面，如果MODB表B(圖41B)或者MODB表A分別用于VLC單元36(圖22和23)，則標志MODB可以被設置為′0′或者′1′。因此，如果MODB表B被利用，跳躍宏-塊不會產(chǎn)生。
其次，MBTYPE由VLC單元36(圖22和23)按可變長度編碼被編碼，并且被傳輸。即，在本實施例中，圖43A和43B中顯示了MBTYPE的兩種可變長度編碼。圖43A的可變長度表(在這里有時稱作為MBTYPE表A)為MBTYPE分配四個可變長度碼，而圖43B的可變長度表(在這里有時稱作為MBTYPE表B)為MBTYPE分配三個可變長度碼。
如果MBTYPE表A被利用，并且如果預測方式是雙向預測編碼方式(內(nèi)插MC+Q)，VLC單元36可變長度編碼MBTYPE為′01′。在這樣的情況中，DQUANT，MVDf，以及MVDb被傳輸，其中DQUANT指示量化步長，而MVDf和MVDb分別指示用于前向預測和用于后向預測的運動矢量。另外，當前的量化步長和以前的量化步長之間的差別可以用作為DQUANT，本身代替量化步長。如果預測方式是后向預測編碼方式(后向的MC+q)，MBTYPE被可變長度編碼成′001′，并且傳輸DQUANT和MVD。如果預測方式是前向預測編碼方式(前方的MC+q)，MBTYPE被可變長度編碼成′0001′，并且傳輸DQUANT和MVDb。如果預測方式是在H.263(直接編碼方式)中規(guī)定的直接方式，MBTYPE被設置為′1′，而且MVDB被傳輸。
在上面的情況中，只解釋了三種類型的幀間編碼方式(即，前向預測編碼方式，后向預測編碼方式，以及雙向預測編碼方式)。然而，MPEG4提供四種類型，即上述三種類型和一直接方式。因此，圖22和23的運動矢量檢測器32設置其中一種幀內(nèi)編碼方式(即，前向預測編碼方式，后向預測編碼方式，雙向預測編碼方式，和直接方式)作為預測方式，將最大限度地減少預測誤差。直接方式將進一步在這里解釋如下。
在VLC單元36(圖22和23)中，當MBTYPE表B(圖43B)被利用時，MBTYPE可以是′1′，′01′或者′001′，當MBTYPE表A被利用時，它可以是′1′，′01′，′001′或者′0001′。因此，如果MBTYPE表B被利用，直接方式不會被設置為預測方式。
現(xiàn)在參考圖44解釋直接方式。
假定存在四個VOP(即VOP0，VOP1，VOP2和VOP3)，并以這個次序顯示，VOP0和VOP3是P-畫面(P-VOP)，而VOP1與VOP2是B畫面(B-VOP)。另外，假定VOP0，VOP1，VOP2和VOP3以VOP0，VOP3，VOP1和VOP2的次序編碼/解碼。
在上述的所采取的條件下，在直接方式下VOP1的預測編碼的出現(xiàn)如下所述。即，如果，在VOP1之前最近被編碼(解碼)的P-畫面中(即，象在圖44的實施例中的VOP3)，在與當前編碼的VOP1的宏-塊(正編碼的宏-塊)相同位置處的宏-塊的運動矢量是MV，根據(jù)下列方程式，從運動矢量MV和預定矢量MVDB，用于前向預測編碼正被編碼的宏-塊的運動矢量MVF以及用于后向預測編碼正被編碼的宏塊的運動矢量MVB可被計算。
MVF＝(TRB×MV)/TRD+MVDBMVB＝(TRB-TRD)×MV/TRD然而，當矢量MVDB為0時，運動矢量MVB能由上述方程式計算。如果矢量MVDB不是0，根據(jù)下列方程式可計算運動矢量MVBMVB＝MVF-MV.
TRB指示到前面最近顯示的I-或者P-畫面的距離(圖44的實施例中的VOP0)，而TRD指示顯示序列中位于VOP1前面最近和后面最近的I-或者P-畫面的間隔(圖44的實施例中的VOP1和VOP3)。
如果，在B-畫面的VOP的矢量MVDB的值正在變化的情況下，在用據(jù)上述方程式所獲得的運動矢量MVF和MVB進行預測編碼時產(chǎn)生的預測誤差小于在幀內(nèi)編碼方式(前向預測編碼方式，后向預測編碼方式或者雙向預測編碼方式)中獲得的預測誤差，圖22和23的運動矢量檢測器32可以設置一直接方式作為預測方式。在上述情況中，矢量MVDB可以具有與運動矢量MV相同的方向。
在圖44的實施例中，TRB＝1和TRD＝3，這樣運動矢量MVF是MV/3+MVDB。另一方面，如果MVDB是0和不是0，運動矢量MVB分別是2MV/3和-2MV/3+MVDB。
如果預測方式是直接方式，在在未來編碼/解碼的最鄰近P-畫面中的相應宏-塊(象在圖44的實施例中的VOP3)的運動矢量MV可以用于正被編碼的宏-塊的編碼/解碼。
如上所述，VOP可以在尺寸或者位置方面改變(如果視頻_目標_層_形狀是′10′或者′01′)。在這樣一種情況之下，相應的宏-塊不能使用。因此，如果直接方式用于編碼/解碼其在尺寸或者位置方面變化的VOP，處理是不能實現(xiàn)的。這樣，在本實施例中，只有當具有正被編碼的宏塊的VOP(B-畫面的VOP)在尺寸上與在未來解碼的最鄰近的P-畫面的VOP相同時，直接方式才是可用的。具體地，只有當由如上所述的VOP_width和VOP_height表示的VOP尺寸不改變時，才允許使用直接方式。
因此，如果具有正被編碼的宏塊的B-畫面的VOP具有的尺寸與在將來解碼的最鄰近的P-畫面的VOP相同，包括一直接方式的MBTYPE的一個可變長度碼的MBTYPE表A(圖43A)將被利用。
另外，如果MPEG4中提供了MODB表A(圖41A)，其規(guī)定如果這個MODB表A被利用，則預測方式是直接方式，如果MODB是0，而圖26A和26B的ref_select_code不是′00′的話。這樣，MODB A表可以被利用，如果具有正被編碼的宏塊的B-畫面的VOP具有的尺寸與在將來解碼的最鄰近的P-畫面的VOP相同的話。
這樣，如果MODB表A和MBTYPE表A被利用，并且如果MODB為′0′或者MBTYPE是′1′，則預測方式是直接方式。
如果視頻-目標-層-形狀是′00′，VOP在尺寸方面不改變，這樣在這種情況下，使用MODB表A和MBTYPE表A。
另一方面，如果具有正被編碼的宏塊的B-畫面的VOP具有的尺寸與在將來解碼的最鄰近的P-畫面的VOP不同，則直接方式不會被利用。在這種情況下，利用MBTYPE表B對MBTYPE進行可變長度編碼/解碼。
如果具有正被編碼的宏塊的B-畫面的VOP具有的尺寸與在將來解碼的最鄰近的P-畫面的VOP不同的話，至少應該傳輸MPTYPE。換句話說，在這樣的情形中，不必要傳輸MBTYPE和CBPB兩者。這樣，不利用MODB表A(圖41A)(它提供不傳輸MBTYPE和CBPB兩者的情況)，而是利用MODB表B(圖41B)(它不提供不傳輸MBTYPE和CBPB兩者的情況)，對MODB進行可變長度編碼/解碼。
通過根據(jù)在VOP尺寸方面變化來選擇或者改變所用的可變長度表，作為編碼結(jié)果所獲得的數(shù)據(jù)量可以被減少。即，如果僅僅MODB表A(圖41A)被利用，MODB可以被編碼在1-比特可變長度碼或者兩2-比特可變長度碼中。另一方面，如果MODB表B(圖41B)被利用，MODB被編碼在1-比特可變長度碼或者2-比特可變長度碼中。因此，如果MODB表A和B兩者被利用，在兩比特可變長度碼中編碼MODB用的頻率被減少，其結(jié)果導致數(shù)據(jù)量可以減少。
類似地，MBTYPE可以在MBTYPE表A(圖43A)中表明的4比特或者更少的可變長度碼中被編碼。然而，象在MBTYPE表B(圖43B)中表明的，MBTYPE可以在3或者更少的比特可變長度碼中被編碼，這樣數(shù)據(jù)量能被縮小。
對于ref_select_code不是′00′的下層或者上層，多個MODB表和MBTYPE表可以被利用，如上所述。然而，對于參考_選擇_碼等于′00′的上層，可能會出現(xiàn)問題。具體地，B-畫面宏-塊的標志ref_select_code被處理為′00′，相同的層(這里為上層)的I-或者P-畫面以及相同時間點處不同層(這里為下層)中的畫面(放大的畫面)，如圖45所示，可以用作為參考畫面，象在圖26A和26B中顯示的。另一方面，利用前面最近解碼的P-畫面的運動矢量，直接方式可預測地編碼在不同時間點的I-或者P-畫面兩者之間的B-畫面。這樣，如果參考_選擇_碼是00，直接方式不會被應用。然而如果MBTYPE表A被利用，直接方式可以被設置作為預測方式。
在本實施例中，如果在上層中所處理的B-畫面宏-塊的標志ref_select_code是′00′，用下列兩種方法之一對MBTYPE進行可變長度編碼/解碼。
按第一種方法，如果在上層中所處理的B-畫面宏-塊的標志ref_select_code是′00′，MBTYPE表B被用來替代MBTYPE表A。由于在MBTYPE表B中沒有定義直接方式，在圖45所示的情況中，直接方式不會被設置為預測方式。
按第二種方法，準-直接方式可以用作為預測方式。在這樣的情形中，如果在上層中所處理的B-畫面宏-塊的標志ref_select_code是′00′，并且MBTYPE表A被使用，則對于MBTYPE，準-直接方式(代替直接方式)具有可變長度碼′1′。在準-直接方式，象在圖45的情況下，利用由一乘法系數(shù)FR放大的一個下層(不同的層)的畫面作為參考畫面來完成前向預測，而且對于上層(相同層)利用以前最近編碼的被解碼的畫面作為參考畫面來完成后向預測。
如果用作為前向預測的參考畫面的放大的畫面中的相應宏-塊(與正被編碼的宏塊相同的位置的宏塊)的運動矢量是MV，運動矢量MVB可以用于后向的預測，其中MVB由下列方程式定義MVB＝MV×FR+MVDB即，用FR乘以下層的相應宏-塊的運動矢量MV并將一個矢量MVDB加到該結(jié)果上所獲得的矢量，可用于后向預測的運動矢量MVB。在這種情形之下，矢量MVDB不會被傳輸，因為運動矢量MVB能從運動矢量MV，乘法系數(shù)FR，以及MVDB中獲得。這樣，如果，在接收側(cè)(解碼側(cè))，在上層所處理的B-畫面宏-塊的標志ref_select_code是′00′，并且MBTYPE表A用于可變長度解碼，具有MBTYPE為′1′的宏-塊的運動矢量MVB從下層的相應宏-塊的運動矢量MV，乘法系數(shù)FR，以及矢量MVDB中被檢測。
因此，被認為是冗余數(shù)據(jù)的矢量MVDB可以不被傳輸，這樣提高了編碼的效率。
下面將參考圖47和48的流程圖解釋在圖22和23的VLC單元36中和在圖30和31的IVLC單元102中用于確定可變長度表的方法(用于確定是MODB表A還是B，以及MBTYPE A還是B被利用的方法)。
圖4 7顯示用于決定下層中所用的的可變長度表的方法。在步驟S31，它判斷(通過參考圖36中所解釋的video_object_layer_shape，VOP_width或VOP_height或者參考圖31解釋的load_VOP_size)VOP尺寸是否被改變了。如果VOP尺寸還沒有被改變，過程進入步驟S32，其中MODB表A和MBTYPE表A被利用。過程然后可以被終止。相反地，如果步驟S31表明VOP尺寸變化了，過程進入步驟S33，其中MODB表B和MBTYPE B被利用。過程然后可以被終止。
圖48顯示用于確定上層中所用的可變長度表的方法。在步驟S41，確定ref_select_code是否是′00′。如果ref_select_code是′00′(即，如果相同時間點處，下層中的VOP用作為正要處理的上層的VOP的參考畫面)，過程進入到步驟S42，其中MODB表A和MBTYPE表B可以被利用。如果準-直接方式將被利用，MBTYPE表A可以被用來替代MBTYPE表B。即，在步驟S42，按照應用的是第一種還是第二方法，來分別選擇MBTYPE表B或者MBTYPE表A。過程然后可以被終止。
另一方面，如果，在步驟S41，ref_select_code不是′00′，過程進入到步驟S43。然后在步驟S43至S45中，可以實行類似于在圖47中的步驟S31至S33中實行處理，以決定MODB表和MBTYPE表哪一個將要被利用。
現(xiàn)在將參考圖49至51A，51B，和51C來解釋在圖22的下層編碼單元25，圖23的上層編碼單元23，圖30的下層解碼單元95，以及圖31的上層解碼單元93中的跳躍宏-塊的處理。
假定I-畫面宏-塊基本上不變成跳躍宏-塊。基于這樣的假定，下列畫面適合于P-和B-畫面。進一步，如果MODB表B被利用，跳躍宏-塊不會被產(chǎn)生，如上所述。因此，只有當利用MODB表A時，跳躍宏-塊可以被處理。
圖49顯示了一個流程圖，它說明在圖22的下層編碼單元25和圖30的下層解碼單元95中的跳躍宏-塊的處理。
在步驟S1，判斷正被處理的宏-塊是P-畫面還是B-畫面。如果這樣的宏-塊是P-畫面，處理過程進入步驟S2，以確定宏-塊的COD是否為1。如果這樣的COD是1，過程進入步驟S3，其中確定宏-塊是跳躍宏-塊，因此，該宏-塊被如此處理。即，在這種情況下，正被處理的宏-塊的量化系數(shù)(DCT系數(shù))假定全為零，而且它的運動矢量也被假定為零。
另一方面，如果在步驟S2發(fā)現(xiàn)正被處理的宏-塊的COD不是1，過程進入步驟S4，因此該宏-塊以一種通常的方式被處理。即，在這種情況下，P-畫面的宏-塊被作為具有不為0的DCT系數(shù)或者具有不為0的運動矢量處理。
返回步驟S1，如果它確定了正被處理的宏-塊是B-畫面，過程進入步驟S5，以確定在解碼B-畫面的宏塊之前最近解碼的I-或者P-畫面中，在相同的位置處的宏-塊(相應的宏塊)的COD是否為1。(注意-相同位置處的宏塊被稱作為相應的宏-塊)如果，在步驟S5，正被處理的宏塊的相應宏塊的COD被檢測為1，過程進入到步驟S6，其中確定正被處理的宏-塊是跳躍宏-塊，因此該宏-塊被如此處理。
即，現(xiàn)在假設要處理的畫面(多個VOP)由序列I/P，B，I/P(其中I/P表示I-或者P-畫面)表示，象在圖51A中例子所示的，并且這些畫面圖51A中所示的以最左邊是I/P、最右邊是I/P，以及從左側(cè)第二個是B的序列被編碼/解碼。假設從左邊的第二B-畫面的宏塊正被處理。在這樣的情形中，利用最左邊的I/P畫面作為參考畫面來編碼/解碼最右邊的I/P畫面。對于正被處理的B-畫面的宏-塊，如果最右I/P畫面的相應宏-塊的COD是1(即，如果相應宏-塊是跳躍宏-塊)，則在最左邊I/P畫面至最右I/P畫面之間沒有任何畫面變化。這樣，如果正被處理的宏-塊是B-畫面，以及如果相應宏-塊的COD是1，則正被處理的宏-塊是跳躍宏-塊。在這種情況下，正被處理的B-畫面宏-塊的處理(預測編碼/解碼)類似于最右I/P畫面的相應宏-塊的處理，這樣它的運動矢量與DCT系數(shù)作為全為0來處理。編碼器側(cè)只傳輸MODB，如上所述，而且隨后的CBPB或者MBTYPE不被傳輸。
回到圖49，如果在步驟S5發(fā)現(xiàn)相應宏-塊的COD不是1，則處理過程進入步驟S7，以判斷正被處理的B-畫面的宏-塊的MODB是否是0。如果這樣的MODB被檢測為0，過程進入到步驟S8，其中，正被處理的宏-塊是跳躍宏-塊，因此該宏-塊被如此處理。
具體地，象在圖51B中所假定的，正被處理的畫面(VOP)以與在圖51A中顯示的相同的序列來顯示和編碼/解碼，并且來自左邊的第二幅畫面的宏-塊正被處理。在這種情況下，由于與正被處理的B-畫面的宏-塊對應的最右I/P畫面的宏-塊不是1(即，相應宏-塊不是跳躍宏-塊)，則在最左I/P畫面和最右I/P畫面之間有畫面變化。另一方面，由于正被處理的B-畫面的的宏-塊的標志MODB為0，只利用在解碼該B-畫面的宏-塊之前所解碼的其它幀的宏-塊的數(shù)據(jù)，宏-塊就能被解碼，或者在前面最近解碼的I-或者P-畫面中的相應宏-塊是跳躍宏-塊(即，COD是1)。然而，由于COD不相等于1，如上所述，利用在解碼該宏-塊之前所解碼的其它幀的宏-塊的數(shù)據(jù)，正被處理的B-畫面的宏-塊就能被解碼。在解碼該宏-塊之前所解碼的其它幀的宏-塊的數(shù)據(jù)在這里可以被表示為先前解碼的數(shù)據(jù)。
現(xiàn)在考慮這種情形(其中，在最左I/P畫面和最右IP畫面之間出現(xiàn)了畫面變化，而且，其中僅僅利用先前解碼的數(shù)據(jù)，正被處理的B-畫面的宏-塊能被解碼)。這對應于這樣的情形，其中，如果象在圖51B中顯示的，最左I/P畫面或者最右I/P畫面利用運動矢量MV2或者MV3被運動-補償了，以產(chǎn)生預測畫面(圖51B)，在圖51B中由虛線所示的部分具有與正被處理的宏-塊一致的平均值，不產(chǎn)生任何預測誤差。用例如1/2或1-1/2乘以運動矢量MV1時獲得了運動矢量MV2與MV3。當利用最左I/P畫面作為參考畫面來處理最右I/P畫面中的相應宏塊(象在圖51B中實線顯示的)，利用了運動矢量MV1。
以此觀點，利用從最右上畫面中相應宏-塊的運動矢量MV1找到的運動矢量MV2(MVF)與MV3(MVB)作為運動矢量，利用上述預測畫面的平均價值作為象素值(象素數(shù)據(jù))，正被處理的B-畫面(預測編碼/解碼)的宏-塊的處理在圖49的步驟S8被實行。
在這樣的情形中，正處理的宏-塊的預測方式可以是上述的直接方式。在H.263中，直接方式僅僅可以運用于PB畫面。這樣，在本實施例中，B-畫面可以包含或者包括MPEG1和MPEG2標準中的B-畫面以及H.263標準的PB畫面。
另一方面，如果在步驟S7發(fā)現(xiàn)正處理的B-畫面的宏-塊的MODB不是0，過程進入步驟S9，其中過程以如同在步驟S4那樣的通常方式進行。
圖50顯示流程圖，說明由圖23的上層編碼單元23和圖31的上層解碼的單元93在跳躍宏-塊上進行的處理。
在步驟S11到S14，類似于在圖49中的步驟S1至S4的處理被完成。換句話說，在P-畫面的上層和下層兩者上類似的處理被完成。
如果，在步驟S11，發(fā)現(xiàn)正被處理的宏-塊是B-畫面，處理過程進入到步驟S15，以判斷所處理的宏-塊的標志ref_select_code是否是′00′。如果發(fā)現(xiàn)該宏-塊的這種標記ref_select_code不是′00′(即，如果不是利用下層的相同時間點的畫面作為參考畫面來處理B-畫面的宏-塊)，處理過程進入步驟S16至S20，其中類似于圖49中步驟S5至S9可以被完成。
如果，在步驟S15，所處理的B-畫面的宏-塊的標志參考_選擇的_碼被發(fā)現(xiàn)為′00′(即，如果用相同時間點處的下層畫面作為參考畫面)，處理過程進入步驟S21，以確定正被處理的B畫面的宏-塊的MODB是否為0。如果發(fā)現(xiàn)MODB為0，處理過程進入步驟S22，其中正被處理的宏塊被確定為跳躍宏-塊，并且如此處理。相反地，如果在步驟S21發(fā)現(xiàn)MODB不是0，處理過程進入步驟S23，其中過程類似于圖49中的步驟S3。
即，現(xiàn)在，假設將要處理的上層的畫面(VOP)是由圖51C所示的序列I/P，B，B，...，表示，并且下層的畫面由類似的序列表示。還假設下層和上層的畫面交替地被編碼/解碼。如果上層的B-畫面的ref_select_code是′00′，它與上述的畫面編碼/解碼序列相同。
在這樣的情形中，假定在步驟S15中不判斷ref_select_code的值(即，類似于參考圖49所解釋的處理被完成)。即，不管這樣的事實即用相同時間點處的下層畫面(放大的畫面)或上層的前面最近解碼的畫面(最左的I/P畫面)而不參考后序的B畫面的幀來編碼/解碼正被處理的上層的B畫面的宏塊，在這種序列幀中的相應宏塊的COD或MODB控制正被處理的宏塊是否應該為跳躍宏-塊。然而，不需要根據(jù)當編碼/解碼這樣的宏-塊時不被當作參考的幀來確定正被處理的宏塊是否應為跳躍宏-塊。
因此，在圖50的實施例中，如果上層的B-畫面的ref_select_code是′00′，(即，如果用下層的相同時間點處的畫面(放大的畫面)或者上層中前面最近解碼的畫面(最左的I/P畫面)作為參考畫面來處理該B畫面的宏塊，象在圖51C中顯示的)，依據(jù)與正被處理的B畫面的宏-塊相關的MODB而不依據(jù)與其后幀中相應宏塊的COD或MODB，可確定正被處理的宏塊為跳躍宏-塊。
如果ref_select_code是′00′，當所用的參考畫面是上層中前面最近解碼的畫面(最左I/P的畫面)而不是相同時間點處下層的畫面時，正被處理的B-畫面的宏-塊的MODB通常為0。因此，在這種情形之下，利用前面最近解碼的畫面作為參考畫面，用被設置到零的運動矢量來完成這種宏-塊(預測編碼/解碼)的處理。
跳躍宏-塊可以象上文描述的那樣被處理。在這樣的處理中，基于參考圖35解釋的定標標志，可以確定出正被處理的宏-塊屬于上層還是下層。
下面將解釋下層COD提供到運動矢量檢測器32，VLC單元36，以及運動補償器42的理由。即，在象在圖25A和25B中顯示的時間定標的情況下，一個下層畫面用作為一個上層預測的參考畫面，如以前解釋的。由于下層的VOPO，上層的VOP1，以及下層的VOP2是時間連續(xù)不斷的畫面，所以如果這三個MOP(VOP1，VOP2，和VOP3)符合參考圖51A解釋的條件，則上層的VOP1的宏-塊變成跳躍宏-塊。如果宏-塊為跳躍宏-塊，則該宏-塊不必特別地處理。另一方面，下層的VOP2的COD被用以提供關于參考圖51A所解釋的條件是否符合這樣的決策信息。這樣，下層的COD提供到運動矢量檢測器32，VLC單元36，以及運動補償器42，象在圖23中所顯示的。
MPEG 4提供量化步長的DQUANT(除非預測方式是直接方式)作為量化的結(jié)果傳輸，即使其中該宏-塊的所有DCT系數(shù)都變成預定值，諸如0，(即，如果沒有DCT系數(shù)出現(xiàn))。然而，在缺少宏-塊的DCT系數(shù)的情況下，傳輸DQUANT是多余的。這樣，在圖22和23的VLC單元36中和圖30和31的IVLC單元102中，量化步長DQUANT可以如下文參考圖52描述的那樣被處理。
在步驟S51，確定CBPB是否是0。如果CBPB為0，則沒有宏-塊的DCT系數(shù)存在。在這種情形之下，處理過程進入到步驟S56，其中量化步長被忽略，并且過程被終止。即，編碼器側(cè)不傳輸量化步長DQUANT，而解碼器側(cè)不(不能)從一接收的比特流提取量化步長DQUANT。這樣，處理將要結(jié)束。
存在這樣的場合，其中CBPB不被傳輸，象參考圖41A和41B所解釋的。在這樣的情形中，過程可以跳過步驟S51并在步驟S52處重新啟動。
如果，在步驟551發(fā)現(xiàn)CBPB不是零，處理過程進入步驟S52，以決定MODB是否是零。如果MODB被判斷為0，則CBPB不被傳輸(象參考圖41A和41B解釋的)，從而沒有宏-塊的DCT系數(shù)存在。結(jié)果，處理過程進入步驟S56，其中量化步長被忽略，并且處理過程被終止。
如果在步驟S52發(fā)現(xiàn)MODB不是′0′，則處理過程進入步驟S53，以確定用MODB表A還是B來進行MODB的可變長度編碼/解碼。如果，在步驟S53，確定了要使用MODB表B，過程跳過步驟S54，并且進入步驟S55。如果，在步驟S53，確定了要使用MODB表A，過程進入到步驟S54，確定MODB是否為′10′。
如果，在步驟S54，MODB被判斷為′10′(即，如果MODB表A被利用，而且MODB是′10′)，則CBPB不被傳輸，象參考圖41A和41B所解釋的。因此，不存在宏-塊的DCT系數(shù)，這樣處理過程進入步驟S56，其中量化步長忽略，并且過程被終止。
另一方面，如果在步驟S54判斷MODB為′10′，處理過程進入步驟S55，編碼器側(cè)的量化步長DQUANT被傳輸，并從所接收的比特流中提取量化步長DQUANT。此后，過程被終止。
如上所述，如果沒有宏-塊的DCT系數(shù)(即，如果MODB為′0′，或者如果MODB表A被利用而且MODB為′0′或者′10′，以及如果在MODB表B被利用的情況下MODB是′0′，并且如果CBPB是′000000′)，量化步長被忽略，這樣減少了數(shù)據(jù)冗余。
進一步，在CBPB被傳輸?shù)那樾沃?，盡管它的值是′0′，利用MODB表A或者B可將MODB設置為′11′或者′10′。這樣的情形不會發(fā)生，因為′10′或者′0′可以用于MODB。因此，盡管在圖52的實施例中在初始步驟S51判斷CBPB的值，但是鑒于處理過程的效率，最好是在步驟S55前面完成該決策過程。
不論是第一或者第二種方法被利用，圖52的處理過程都可以被應用。
由于在位置或者尺寸方面變化的VO為了處理被安排在絕對坐標系中，以VO為基礎的預測編碼/解碼變得切實可行，而直接對VO的定標也變得切實可行。
此外，由于考慮到規(guī)定用于跳躍宏-塊的參考畫面的標志參考_選擇_碼而確定跳躍宏-塊的處理，所以有效處理變得切實可行。
如果上層的畫面與下層的畫面相同，而且在相同時間點的下層的解碼畫面用作為上層預測編碼的參考畫面，則僅僅下層的運動矢量被傳輸，而無須傳輸上層的運動矢量，這樣減少了數(shù)據(jù)量。
雖然在上面的描述中，處理被解釋為以宏塊為基礎，但處理也可根據(jù)宏塊之外的其它單元來完成。
雖然在上面的描述中，兩種MODB表被提供，而且其中之一被選擇性地利用，但三個或者更多的MODB表可以利用。類似地，除在這里所描述的那些之外，其它數(shù)量的MBTYPE表可以將被利用。
利用本畫面的編碼裝置或者方法，根據(jù)在第一和第二畫面之間的分辨率的差別可以放大或者壓縮第二畫面，而且利用放大或者壓縮的畫面作為參考畫面來預測編碼第一畫面。另一方面，在預定絕對坐標系中的第一幅畫面與第二畫面的位置被設置，以分別輸出在第一幅或者第二畫面的位置的第一個位置信息或者第二個位置信息。在這種情況下，將基于第一個位置信息識別第一幅畫面的位置，而按照一種放大比或壓縮比來轉(zhuǎn)換第二個位置信息，利用該放大比或壓縮比來放大或壓縮第二畫面，并且與轉(zhuǎn)換結(jié)果相應的位置被認為是參考畫面的位置，以便完成預測編碼。這樣，對于其位置隨時間變化的畫面，定標可以完成。
在本畫面解碼裝置或者方法中，根據(jù)在第一和第二畫面之間的分辨率的差別可以放大或者壓縮解碼的第二畫面，而且利用放大或者壓縮的第二畫面作為參考畫面來解碼第一畫面。如果編碼的數(shù)據(jù)包括分別在第一幅或者第二畫面的位置的第一個位置信息或者第二個位置信息，在預定絕對坐標系中，第一幅畫面的位置可依據(jù)第一位置信息來識別，而按照一種放大比或壓縮比來轉(zhuǎn)換第二個位置信息，利用該放大比或壓縮比來放大或壓縮第二畫面。并且與轉(zhuǎn)換結(jié)果相應的位置被認為是參考畫面的位置，以便解碼第一畫面。結(jié)果，對于其位置隨時間變化的畫面，定標可以完成。
在本記錄介質(zhì)或者記錄方法中，編碼的數(shù)據(jù)至少包括第一數(shù)據(jù)，它是在用放大或壓縮的結(jié)果作為參考畫面來預測編碼第一畫面而獲得的，所述放大或壓縮結(jié)果是根據(jù)在第一和第二畫面之間的分辨率的差別放大或者壓縮第二畫面而獲得的；和第二數(shù)據(jù)，它是在編碼該第二畫面時獲得的，以及第一位置信息或第二位置信息，其是在絕對座標系中設置第一和第二畫面的位置時獲得的。第一數(shù)據(jù)根據(jù)第一位置信息來識別第一畫面的位置，并按照一種放大比或壓縮比來轉(zhuǎn)換第二個位置信息，其中利用該放大比或壓縮比來放大或壓縮第二畫面，同時與轉(zhuǎn)換結(jié)果相應的位置被認為是參考畫面的位置，以便完成預測編碼。
在本畫面編碼裝置或者畫面編碼方法中，根據(jù)在第一和第二畫面之間的分辨率的差別放大或者壓縮第二畫面，而且利用放大或者壓縮的第二畫面作為參考畫面來解碼第一畫面。另一方面，在預定絕對坐標系中的第一幅畫面與第二畫面的位置被設置，而且分別輸出在第一幅或者第二畫面的位置的第一個位置信息或者第二個位置信息。在這種情況下，設置第一和第二畫面的位置以便預先設定的絕對坐標系中的參考畫面的位置與預定位置一致?；诘谝粋€位置信息來設置第一幅畫面的位置，而預定位置被認為是參考畫面的位置，以便完成預測編碼。結(jié)果，對于其位置隨時間變化的畫面，定標可以完成。
在本畫面解碼裝置或者方法中，根據(jù)在第一和第二畫面之間的分辨率的差別放大或者壓縮解碼第二畫面，而且利用放大或者壓縮的第二畫面作為參考畫面來解碼第一畫面。如果編碼的數(shù)據(jù)包括分別在預定絕對坐標系中第一幅或者第二畫面的位置上的第一個位置信息或者第二個位置信息，其中在絕對座標系中的參考畫面的位置被如此設置，使得它與預定位置重合。第一幅畫面的位置可依據(jù)第一位置信息來識別，而預定位置被認為是參考畫面的位置，以便解碼第一畫面。結(jié)果，對于其位置隨時間變化的畫面，定標可以完成。
在本記錄介質(zhì)或者記錄方法中，編碼的數(shù)據(jù)至少包括第一數(shù)據(jù)，它是在用放大或壓縮的結(jié)果作為參考畫面來預測編碼第一畫面而獲得的，所述放大或壓縮結(jié)果是根據(jù)在第一和第二畫面之間的分辨率的差別放大或者壓縮第二畫面而獲得的；第二數(shù)據(jù)是在編碼該第二畫面時獲得的，以及第一位置信息或第二位置信息，是在絕對座標系中設置第一和第二畫面的位置時獲得的。第一位置信息和第二位置信息被如此設置，使得在絕對座標系中參考畫面的位置與預定位置重合。
結(jié)果，對于其位置隨時間變化的畫面，定標可以完成。
在本畫面編碼裝置和畫面編碼方法中，畫面被預測編碼，并且輸出第一編碼的數(shù)據(jù)以進行局部解碼。利用一幅局部解碼的畫面作為參考畫面來預測編碼該畫面，以輸出第二編碼的數(shù)據(jù)，它只與用于產(chǎn)生第一編碼數(shù)據(jù)的運動矢量復用。結(jié)果，解碼效率可以提高，換句話說，數(shù)據(jù)量可以減少。
在本畫面解碼裝置和畫面解碼方法中，第一數(shù)據(jù)被解碼，并且利用解碼的第一數(shù)據(jù)作為參考畫面來解碼第二數(shù)據(jù)，如果編碼的數(shù)據(jù)只包括用于預測編碼第一數(shù)據(jù)的運動矢量；第二數(shù)據(jù)按照用于預測編碼第一數(shù)據(jù)的運動矢量來解碼。這就確保了要從數(shù)據(jù)中被解碼的畫面具有小的數(shù)據(jù)量。
在本記錄介質(zhì)和記錄方法中，編碼的數(shù)據(jù)是如此獲得的，即預測編碼該畫面，用以輸出第一編碼的數(shù)據(jù)；局部地解碼第一編碼的數(shù)據(jù)；利用局部解碼作為局部解碼結(jié)果而獲得的畫面來預測編碼該畫面，以便輸出第二編碼的數(shù)據(jù)；并且只利用用于獲得第一編碼數(shù)據(jù)的運動矢量來復用第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)。這就減少了要記錄的數(shù)據(jù)塊的數(shù)量。
在本畫面編碼裝置，畫面編碼方法，畫面解碼裝置，以及畫面解碼方法中，根據(jù)規(guī)定用于編碼B畫面的宏-塊的參考畫面的參考畫面信息，用前向預測編碼，后向預測編碼或者雙向預測編碼中的一個來確定一個宏塊是否是跳躍宏-塊。這避免了這樣的情況，即不根據(jù)用作為參考畫面的畫面來完成跳躍宏-塊的處理。
在本記錄介質(zhì)和記錄方法中，根據(jù)規(guī)定用于編碼B畫面的一個宏-塊的參考畫面，用前向預測編碼，后向預測編碼或者雙向預測編碼中的一個，將一個宏-塊設置為跳躍宏-塊。這避免了這樣的情況，即不根據(jù)用作為參考畫面的畫面來完成跳躍宏-塊的處理。
在本畫面處理裝置和畫面處理方法中，按照畫面尺寸方面的變化相應地改變用于可變長度編碼或者可變長度解碼的預定表。這就減少了由可變長度編碼所獲得的數(shù)據(jù)的數(shù)據(jù)量，從而確保了這種數(shù)據(jù)的可變長度解碼。
在本畫面處理裝置和畫面處理方法中，根據(jù)與正被編碼的畫面不同的層但定時相同的畫面是否被用作參考畫面來改變用于可變長度編碼或者可變長度解碼的預定表。這就減少了由可變長度編碼所獲得的數(shù)據(jù)的數(shù)據(jù)量，從而確保了這種數(shù)據(jù)的可變長度解碼。
在本畫面編碼裝置和畫面編碼方法中，只有在該畫面的預定塊中的象素值的量化結(jié)果不全是相同的值時，預定的量化步長才被量化。這就減少了數(shù)據(jù)量。
在本畫面解碼裝置，畫面解碼方法，畫面記錄介質(zhì)，以及畫面記錄方法中，只有該畫面的預定塊中的象素值的量化結(jié)果不全都是相同值時，編碼的數(shù)據(jù)包含預定的量化步長。這就減少了數(shù)據(jù)量。
權(quán)利要求
1.一種畫面處理裝置，對形成畫面的、任意被成形的目標的數(shù)據(jù)進行編碼，所述畫面處理裝置包括預測編碼裝置，用于通過使用前向預測、后向預測、雙向預測、直接或幀內(nèi)編碼模式中的一種來對于每個目標的數(shù)據(jù)進行預測編碼，并且用于輸出第一編碼后的信號；和可變長度編碼裝置，用于通過使用兩個或多個可變長度表來對所述第一編碼后的信號進行可變長度編碼，其中所述可變長度編碼裝置根據(jù)被編碼的目標是否與在最近的將來將要被解碼的參考目標具有相同的大小，選擇所述可變長度表。
2.一種畫面處理裝置，對形成畫面的、任意被成形的目標的編碼后的數(shù)據(jù)進行解碼，所述畫面處理裝置包括逆可變長度編碼裝置，用于通過使用兩個或多個可變長度表，來對每個目標的編碼后的數(shù)據(jù)進行逆可變長度編碼；和預測解碼裝置，用于對每個目標的逆可變長度編碼后的數(shù)據(jù)進行預測解碼，通過使用前向預測、后向預測、雙向預測、直接或幀內(nèi)編碼模式中的一種對該目標已經(jīng)進行了預測編碼，其中所述逆可變長度編碼裝置根據(jù)被編碼的目標是否與在最近的將來將要被解碼的參考目標具有相同的大小，改變所述可變長度表。
3.一種畫面處理裝置，對形成畫面的目標的數(shù)據(jù)進行編碼，所述畫面處理裝置包括畫面放置裝置，用于將所述目標放置到較低層或者較高層中；第一預測編碼裝置，用于對較低層目標的數(shù)據(jù)進行預測編碼；第二預測編碼裝置，用于對較高層目標的數(shù)據(jù)進行預測編碼；和可變長度編碼裝置，用于通過使用每個目標的兩個或多個可變長度表來對預測編碼后的數(shù)據(jù)進行可變長度編碼，其中所述可變長度編碼裝置根據(jù)是否將在較低層的同一時間中的目標用于在所述第二預測編碼中的參考目標，改變所述可變長度表。
4.一種畫面處理裝置，對形成畫面的目標的編碼后的數(shù)據(jù)進行解碼，所述畫面處理裝置包括逆可變長度編碼裝置，用于通過使用兩個或多個可變長度表，來對畫面數(shù)目的編碼后的數(shù)據(jù)進行逆可變長度編碼；第一預測解碼裝置，用于對較低層目標的逆可變長度編碼后的數(shù)據(jù)進行預測解碼；第二預測解碼裝置，用于對較高層目標的逆可變長度編碼后的數(shù)據(jù)進行預測解碼；和其中所述逆可變長度編碼裝置根據(jù)是否將在較低層的同一時間中的目標用于在所述第二預測解碼中的參考目標，改變所述可變長度表。
5.一種畫面處理方法，對形成畫面的、任意被成形的目標的數(shù)據(jù)進行編碼，所述方法包括步驟通過使用前向預測、后向預測、雙向預測、直接或幀內(nèi)編碼模式中的一種來對于每個目標的數(shù)據(jù)進行預測編碼，并且用于輸出第一編碼后的信號；和通過使用兩個或多個可變長度表，來對所述第一編碼后的信號進行可變長度編碼，其中根據(jù)被編碼的目標是否與在最近的將來將要被解碼的參考目標具有相同的大小，選擇所述可變長度表。
6.一種畫面處理方法，對形成畫面的、任意被成形的目標的編碼后的數(shù)據(jù)進行解碼，所述方法包括步驟通過使用兩個或多個可變長度表，來對每個目標的編碼后的數(shù)據(jù)進行逆可變長度編碼；和對每個目標的逆可變長度編碼后的數(shù)據(jù)進行預測解碼，通過使用前向預測、后向預測、雙向預測、直接或幀內(nèi)編碼模式中的一種對該目標已經(jīng)進行了預測編碼，其中根據(jù)被編碼的目標是否與在最近的將來將要被解碼的參考目標具有相同的大小，改變所述可變長度表。
7.一種畫面處理方法，對形成畫面的目標的數(shù)據(jù)進行編碼，所述方法包括步驟將所述目標放置到較低層或者較高層中；通過使用第一預測編碼裝置，對較低層目標進行預測編碼；通過使用第二預測編碼裝置，對較高層目標進行預測編碼；和通過使用每個目標的兩個或多個可變長度表來對預測編碼后的目標進行可變長度編碼，其中根據(jù)是否將在較低層的同一時間中的目標用于在所述第二預測編碼中的參考目標，改變所述可變長度表。
8.一種畫面處理方法，對形成畫面的目標的編碼后的數(shù)據(jù)進行解碼，所述方法包括步驟通過使用兩個或多個可變長度表，來對畫面數(shù)目的編碼后的數(shù)據(jù)進行逆可變長度編碼；通過使用第一預測解碼裝置，對較低層目標的逆可變長度編碼后的數(shù)據(jù)進行預測解碼；通過使用第二預測解碼裝置，對較高層目標的逆可變長度編碼后的數(shù)據(jù)進行預測解碼；和其中根據(jù)是否將在較低層的同一時間中的目標用于在所述第二預測解碼中的參考目標，改變所述可變長度表。
全文摘要
一種用于獲得視頻目標(VO)的定標裝置和方法，該視頻目標的位置和/或尺寸隨時間而變化。在絕對座標系中一個上層畫面的位置和下層畫面的位置被如此確定，以使得在放大的畫面中以及上層畫面中的相應象素被安排在絕對座標系中的相同位置處。
文檔編號G06T11/80GK1476251SQ03145109
公開日2004年2月18日 申請日期1997年9月9日 優(yōu)先權(quán)日1996年9月9日
發(fā)明者鈴木輝彥, 一, 矢崎陽一 申請人:索尼公司