專利名稱：視頻編輯緩沖器管理的制作方法
技術領域：
本發(fā)明涉及音頻和視頻信號的編碼和編輯，特別涉及產(chǎn)生可即時地連在一起的視頻材料的段。
典型地在兩個視頻剪切片斷一個接一個地播放時，解碼器在解碼第二剪切片斷之前被復位到其開始狀態(tài)。這導致在解碼器重新初始化它本身和開始解碼下一個剪切片斷時該使用者看到固定在屏幕上的第一剪切片斷的最后一幀。這類字幕特性對使用者是有妨礙的，在該字幕內減少他們熱衷的感情。
因此，需要無縫的連接，在其中一個剪切片斷的末尾和下一個剪切片斷的開頭之間的轉換對于解碼器是不明顯的。這意味著從使用者的觀點，在觀看的幀速率中沒有可覺察到的變化和聲音是連續(xù)不中斷的。無縫圖像的應用是很多的，從CD-i方面的一些例子包括子圖面(計算機傳送的圖像)的視頻序列背景；使用這個技術的一個例子是在MPEG編碼的視頻序列前面運行的活動字符。另一個例子是以短的無縫剪切片斷表示的一系列字符-使用者相互作用，該相互作用的結果將確定下面出現(xiàn)哪一個剪切片斷。這個例子的發(fā)展是交互式運動圖像，使用者(觀看者)可影響故事概況。使用者沿著該路徑選擇通過交互式影片的分支點應是無縫的，否則使用者將丟失通常與觀看影片有關的懷疑的懸念。
因此，本發(fā)明的一個目的是允許以這樣的方式編碼視頻幀序列這種方式允許它們接合而不產(chǎn)生可覺察到的干擾。
根據(jù)本發(fā)明提供以段的形式和在一個編碼裝置中編碼數(shù)字視頻信號的方法，每段包括兩個或多個圖像，該編碼裝置有一個編碼級和一個編碼器緩沖器，該方法包括步驟根據(jù)預定的編碼方案連續(xù)地編碼一段的圖像；將該編碼的圖像讀入該緩沖器；和以基本上恒定的比特率從該緩沖器讀出編碼的段；其特征在于預定的緩沖器占用是規(guī)定的，和用于編碼一個圖像的目標比特數(shù)是可控制地變化的，使得在該段的最后圖像已讀入該緩沖器的時刻產(chǎn)生基本上等于所述預定緩沖器占用的一個編碼器緩沖器占用。
通過確定所有段的緩沖器占用的目標，不管它們的長度，在任何段的開頭的占用基本上相同，使得無縫連接是相當簡單的任務。
不改變一段的最后圖像，可對一段的最后k圖像的每個圖像規(guī)定相應的目標比特數(shù)，這里k是整數(shù)。這可允許在多個圖像中引入變化以避免看得見的失真，如果要求只對改該段的最后圖像進行大的改變，可能出現(xiàn)這種失真。
適當?shù)?，該編碼器根據(jù)MPEG標準和以很多量化電平可操作地編碼圖像，所用的量化電平選擇與目標電平設定相關。如果需要的話，例如，如果這樣的量化電平被限制，則該編碼級可將一個或多個零值比特加在編碼的圖像中以達到該目標數(shù)，如果該編碼的圖像中的比特數(shù)低于該目標數(shù)的話。
而且根據(jù)本發(fā)明提供一種數(shù)字視頻信號編碼器裝置，它被構成用于圖像段的編碼，每段包含兩個或多個圖像，該裝置包括一個編碼級，被安排用于接收一段的連續(xù)圖像和根據(jù)預定的編碼方案將它們編碼；和一個緩沖器，被連接用于以該編碼級接收連續(xù)的編碼圖像和被安排以基本上恒定的比特率輸出一個編碼的段；其特征在于該編碼級以可控制的變化的比特數(shù)可操作地編碼圖像，該裝置還包括目標設定裝置，被安排用于監(jiān)視編碼級輸出和在該基礎上控制編碼級的每個圖像的比特數(shù)，以便在一段的最后圖像被讀入該緩沖器的時刻產(chǎn)生預定的緩沖器占用。
目標設定裝置可適當?shù)匕才趴刂迫缟纤龅囊欢蔚淖詈髃圖像的每個圖像的比特數(shù)，而編碼級可適當?shù)貥嫵蓪⒘阒当忍丶拥揭粋€編碼的圖像構成由目標設定裝置規(guī)定的數(shù)目。
根據(jù)本發(fā)明還提供由上述方法編碼的數(shù)字視頻圖像段和載有多個這樣編碼的段的一個光盤，如在所附權利要求書中所限定的，現(xiàn)在應該參考。
現(xiàn)在僅僅通過舉例和參照附圖敘述優(yōu)選的實施例，其中

圖1表示MPEG編碼器/解碼器關系的理想化的模型；圖2代表一序列圖像的編碼器及解碼器緩沖器內容；圖3代表在兩個序列的連續(xù)處編碼器及解碼器緩沖器內容；和圖4是實現(xiàn)本發(fā)明的編碼器裝置的方框圖。
下面的敘述根據(jù)MPEG標準(對于MPEG1為ISO 11172-2，而對于MPEG2為ISO 13818-2)考慮視頻編碼器操作，雖然熟練的技術人員認識到本發(fā)明在其它視頻編碼方案的應用性與MPEG標準不相符。
任何編碼標準必須以編碼器和解碼器彼此如何接口的模型進行開發(fā)。當編碼器運行時，它必須模擬在該解碼器中將出現(xiàn)什么情況，使得它絕不傳送該解碼器到非法(溢出或下溢)狀態(tài)。類似地，解碼器必須支持該解碼器使用的相同模型，以致它仍在合法狀態(tài)并且產(chǎn)生編碼器想要的輸出。MPEG是這個規(guī)則不希望的。在MPEG中的解碼器的模型稱為視頻緩沖檢驗程序(VBV)。
圖1表示MPEG編碼器/解碼器關系的理想化模型。假定系統(tǒng)是實時地工作和信道延遲是可忽略的，則出現(xiàn)以下事件序列1.數(shù)字化的幀以恒定的幀速率F饋送到編碼器。
2.編碼器編碼這些幀，引入tc秒的可變延遲。
3.編碼的幀以恒定的比特率R轉移到該解碼器。
4.解碼器解碼這些幀，引入td秒的可變延遲。
5.解碼的幀以相同的恒定的幀速率F被顯示。
現(xiàn)在應該懂得為了上述系統(tǒng)工作，在編碼-解碼周期中引入的延遲必須是恒定的，以便保持解碼器輸出的恒定幀速率。這以等式1表示為tc＋td＝T(1)式中T是常數(shù)。
圖2表示緩沖器占用B與時間t的關系曲線圖，表示編碼器和解碼器是如何相關的。下面的討論將集中在由粗線表示的包含P比特的圖像。該系統(tǒng)的數(shù)據(jù)速率是每秒恒定R比特。注意，P是在編碼的序列內的任意圖像和當它被引入時，認為緩沖器是不空的。而是該緩沖器包含很多比特，代表在已完全注滿的緩沖器中存放的先前的圖像。
首先討論編碼器緩沖器，在軟件編碼器中使用的模型是編碼器瞬時地引入圖像到其輸出緩沖器，和該緩沖器以每秒恒定的R比特注入。考慮圖像P，編碼器將圖像P引入緩沖器，使其占用達到BC比特，緩沖器以每秒R比特排空，而在一定的時間tc之后，在P中的所有比特都從該緩沖器中除去。出現(xiàn)的時間在圖2中為te。因此，圖像P的編碼器緩沖器的延遲可從緩沖器占用和排空率計算出。
利用時間te，構成P的所有比特已離開該編碼器的緩沖器并且進入解碼器的緩沖器。在進入解碼器的緩沖器所有比特和被除去的圖像之間有應該延遲td，如果Bd是P在已被除去之后的解碼器緩沖器的占用，則解碼器緩沖器延遲也可從該緩沖器占用和排空率進行計算。
將這些延遲值代入等式(1)，我們可寫成tc＋td＝T＝Bc/R＋Bd/R(2)為了得到T的值，假定td接近于零。在這時，tc必須具有其最大值并且等于T。查看圖2我們可看到最大值(tc.max)為tc.max＝T＝Bmax/R(3)式中Bmax是該編碼器所用的最大緩沖器容量。
聯(lián)解(2)和(3)得到Bmax＝Bc＋Bd(4)等式(4)表示在圖像已引入之后的時刻編碼器緩沖器的狀態(tài)和在該相同的圖像已移去之后的時刻的解碼器緩沖器的狀態(tài)之間的關系。這稱為互補緩沖器關系。
在MPEG標準的(ISO 11172-2)2.4.3.4節(jié)規(guī)定VBV延遲為在其初始的空狀態(tài)以目標比特率R填充VBV緩沖器到緊在當前圖像從該緩沖器移去之前的正確電平所需要的時間。參見圖2，可看到，VBV延遲可被認為是兩個值T和td的和。已知td并記住T是它以比特率R傳遞構成P的比特所用的時間，VBV延遲由下式給出T＋td＝VBV延遲＝(P＋Bd)/R (5)它相應于ISO的VBV延遲定義?？紤]另一個方式，VBV延遲是它傳遞構成加到緩沖器中引入的延遲的圖像的比特所用的時間。
圖3表示在一序列圖像A結束和另一個序列圖像B開始時編碼器和解碼器緩沖器狀態(tài)會出現(xiàn)什么情況的曲線圖。LA指示序列A的最后的圖像；FB指示序列B的第一圖像。從序列A到序列B傳遞數(shù)據(jù)的變化以緩沖器占用線的寬度的變化表示，而點劃線指示從序列A來的圖像。在某個時間tx，序列A的所有數(shù)據(jù)已被傳遞(即從編碼器緩沖器清除)和解碼器緩沖器具有Bx比特的占用。從這個時間開始，傳遞到該解碼器緩沖器的所有數(shù)據(jù)是給序列B的。雖然從序列A末尾的一些圖像仍在解碼器緩沖器中，但是在該緩沖器具有Bl比特的占用時所有的圖像都由時間tl移去。
術語(編碼器確定)目標是指當編碼器試圖取得在VBV緩沖器中的一定占用時它所經(jīng)過的過程。在確定編碼器的目標時假定在它已編碼的第一圖像放入該緩沖器時VBV緩沖器具有一定的目標占用。這提出了第一圖像尺寸的上限。在編碼運行結束時，編碼器確定剛好在下一序列的第一圖像該緩沖器移去的時間(在圖3中的點Bt)的VBV占用目標。編碼器通過在它編碼最后的或最后幾個圖像時改變它們的尺寸確定這個狀態(tài)的目標。
現(xiàn)在敘述當產(chǎn)生具有確定目標的VBV狀態(tài)的編碼的視頻塊時編碼器通過的過程。在圖3所示的例子中，編碼器已被設定確定編碼器緩沖器的目標狀態(tài)Bt。這個狀態(tài)代表剛好在新序列的第一圖像被移去之前的時間VBV緩沖器的占用。假定先前的序列以相同的比特率和幀速率工作，則剛好在先前序列的最后圖像被移去之后的時間的緩沖器的占用由以下得到Bl＝Bt-RT(6)式中Bl和Bt如在圖3中所示的，R是比特率，而T是幀周期。
使用式(4)我們可以得到Bt和Bl在編碼器輸出緩沖器中的相應狀態(tài)Btc＝Bmax-Bt(7)Blc＝Bmax-Bl(8)由于恒定的比特率R，與這些狀態(tài)相關的延遲為ttc＝Btc/R (9)tlc＝Blc/R (10)當編碼器運行時，它通常從解碼器分開并且根據(jù)其輸出緩沖器的狀態(tài)管理圖像尺寸而不是轉變到VBV緩沖器狀態(tài)和從該狀態(tài)轉變。因此，下面的討論是指緩沖器電平Btc和Blc(圖3)。
當確定開始狀態(tài)目標時，在它引入第一圖像時的點上編碼器在其緩沖區(qū)中呈現(xiàn)一定的占用。這個緩沖區(qū)占用為Btc比特，如在式(7)中所導出的，它代表從先前序列的末尾的駐留比特。這些比特的出現(xiàn)限制第一圖像的最大尺寸Bt為比特并且繼續(xù)對另外的圖像尺寸的限制有影響，直到在時間ttc之后所有的比特已被移去為止。
從編碼器的觀點，開始狀態(tài)確定目標是非常簡單的，因為對它的所有的要求是設定它的初始占用為Btc而不是常規(guī)的開始狀態(tài)為空的。
當該編碼器接近一段的末尾時，它嘗試確定點Blc目標。換句話說，該編碼器迫使最后圖像的尺寸為在它將圖像放入該緩沖器時該占用將增加到Blc比特。為了達到正確的圖像尺寸可通過交互式的過程得到
1.編碼器首先進行編碼該圖像。
2.如果該圖像太大，它以增加量化重新編碼。
3.如果該圖像太小，它可以用零字節(jié)填充。如將會知道的，如果要求大量的固定尺寸和全都出現(xiàn)在最后的圖像上，則將產(chǎn)生質量差的圖像。為了避免這種情況，編碼器可具有在該段內的最后的GOP(圖像組)的目標比特數(shù)和在GOP內K圖像的每個圖像的的目標比特數(shù)。這允許編碼器逐漸地接近希望的緩沖器狀態(tài)。
緩沖器占用目標必須是足夠地大，以致對于構成該目標的圖像，圖像量化甚至于不具有對圖像質量的不利的影響。該目標必須足夠地大，使得編碼器實際上能夠使圖像適應個緩沖器而不產(chǎn)生緩沖器下溢。
解碼器緩沖器目標尺寸正比于到達那個目標它所用的時間，因為在該模型中我們是以恒定的比特率工作的。對于一些交互式的應用中，填充時間是重要的，因為這是出現(xiàn)在屏幕上的剪切片斷和圖像的開始播放之間的延遲。從對使用者的交互作用的反應速度的觀點，該目標越小越好。實驗已經(jīng)表明確定VBV占用目標的最大充滿度為大約75％給出好的結果。根據(jù)限定的系統(tǒng)參數(shù)流(覆蓋CD應用的MPEG標準的子集)轉換為典型序列的約245760比特。但是，在實際上，在較低級確定目標是可能的，典型地為204000比特。
在圖4中表示該解碼器的圖解表示。接收的視頻信號(以恒定的幀速率F)傳送到編碼級10，以便根據(jù)MPEG標準編碼。輸入視頻信號的幀控制FC也輸入到目標設定級12。該目標設定級確定由編碼級10加到當前圖像的量化電平(或零比特插入的數(shù)量)，以便得到在該段末尾的緩沖器占用Blc。以GOP形式具有控制比特分配的編碼信號被讀入編碼器緩沖器16和輸出到數(shù)據(jù)傳輸率R的傳輸信道。從編碼器輸出到目標設定級12的反饋通路14使能夠確認目標電平得到了。
閱讀本說明，其它變化對于本領域的技術人員是明顯的。這樣的變化涉及其它的特性，這些特性在用于編輯音頻和/或視頻信號以及其分量部分的方法和裝置中已經(jīng)知道了，和可以使用這些特性代替或者增加到這里已敘述的特性中。雖然在本申請中權利要求書已提出這些特性的特定組合，應該懂得，本申請的公開范圍也包括任何新穎特性或這里隱含地或明確地公開的任何新穎特性的組合或者其任何綜合，總之它涉及在任何權利要求在目前提出的相同發(fā)明和它與本發(fā)明一樣減輕了任一個或所有的相同技術問題。因此本申請給予注意，在本申請或由此導出的任何進一步的申請的實現(xiàn)期間可以對這些特性和/或這些特性的組合提出新的權利要求。
權利要求
1.一種以段的形式和在一個編碼裝置中編碼數(shù)字視頻信號的方法，每段包括兩個或多個圖像，該編碼裝置有一個編碼級和一個編碼器緩沖器，該方法包括步驟根據(jù)預定的編碼方案連續(xù)地編碼一段的圖像；將該編碼的圖像讀入該緩沖器；和以基本上恒定的比特率從該緩沖器讀出編碼的段；其特征在于預定的緩沖器占用是規(guī)定的，和用于編碼一個圖像的目標比特數(shù)是可控制地變化的，使得在該段的最后圖像已讀入該緩沖器的時刻產(chǎn)生基本上等于所述預定緩沖器占用的一個編碼器緩沖器占用。
2.根據(jù)權利要求1的方法，其中可對一段的最后k圖像的每個圖像規(guī)定相應的目標比特數(shù)，這里k是整數(shù)。
3.根據(jù)權利要求1的方法，其中編碼級以多個量化電平可操作地編碼圖像，和所用的量化電平的選擇與該目標電平設定無關。
4.根據(jù)權利要求1的方法，其中該編碼的圖像中的比特數(shù)低于該目標數(shù)，該編碼級將一個或多個零值比特加在編碼的圖像中以達到該目標數(shù)。
5.根據(jù)權利要求1的方法，其中根據(jù)MPEG標準編碼一段的圖像。
6.一種數(shù)字視頻信號編碼器裝置，它被構成用于圖像段的編碼，每段包含兩個或多個圖像，該裝置包括一個編碼級，被安排用于接收一段的連續(xù)圖像和根據(jù)預定的編碼方案將它們編碼；和一個緩沖器，被連接用于以該編碼級接收連續(xù)的編碼圖像和被安排以基本上恒定的比特率輸出一個編碼的段；其特征在于該編碼級以可控制的變化的比特數(shù)可操作地編碼圖像，該裝置還包括目標設定裝置，被安排用于監(jiān)視編碼級輸出和在該基礎上控制編碼級的每個圖像的比特數(shù)，以便在一段的最后圖像被讀入該緩沖器的時刻產(chǎn)生預定的緩沖器占用。
7.根據(jù)權利要求6的裝置，其中該目標設定裝置被安排用于控制一段的最后k圖像的每個圖像的比特數(shù)，這里k是整數(shù)。
8.根據(jù)權利要求6的裝置，其中該編碼級被構成將零值比特加在編碼的圖像以構成該目標設定裝置規(guī)定的數(shù)量，這里該預定的編碼方案要求的比特比用于編碼那個圖像的目標設定裝置規(guī)定的比特少。
9.一個由權利要求1的方法編碼的數(shù)字視頻圖像段，該段包括根據(jù)預定編碼方案編碼的一系列圖像，其中該段的最后K圖像(這里K是一個整數(shù))的每個圖像以相應的比特數(shù)編碼，使得在該編碼段以基本上恒定的比特率被讀入解碼器緩沖器時，連續(xù)的圖像從該緩沖器中移去以便以實時顯示速率解碼，預定的緩沖器占用在該段的最后圖像的數(shù)據(jù)已被讀入該緩沖器的時刻出現(xiàn)。
10.一種載有根據(jù)權利要求9的多個編碼的視頻圖像段的光盤，其中在讀出相應的最后圖像之后所有的段都提供相同的預定的緩沖器占用。
全文摘要
本發(fā)明提供一種方法和裝置，用于以視頻剪切片斷(A，B)的形式編碼數(shù)字視頻信號使它們能夠無縫地連接而不要求解碼器復位到開始狀態(tài)。該系統(tǒng)使用具有一個編碼級和一個編碼器緩沖器的編碼器，和包括根據(jù)預定的編碼方案(適合地根據(jù)MPEG標準)連續(xù)地編碼剪切的圖像，將編碼的圖像讀入該緩沖器和以基本上恒定的比特率從該緩沖器讀出該編碼的剪切片斷。為了能夠簡單的連接剪切片斷，以用于編碼圖像的可控制地變化的目標比特數(shù)規(guī)定預定的編碼器緩沖器占用。該目標產(chǎn)生基本上等于在該段的最后圖像被讀入該緩沖器的時刻的預定緩沖器占用。特別是該技術是在交互式視頻系統(tǒng)中的，使用者可影響所述的流程而在所述流程的顯示中沒有不連續(xù)性。
文檔編號H04N7/24GK1143439SQ95191951
公開日1997年2月19日 申請日期1995年11月29日 優(yōu)先權日1994年12月2日
發(fā)明者S·布蘭查 申請人:菲利浦電子有限公司