專利名稱：利用非逐行虛擬預(yù)測圖像的快速運動特技模式的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的裝置通常涉及視頻系統(tǒng)，尤其涉及記錄或播放數(shù)字編碼視頻序列的視頻系統(tǒng)。
背景技術(shù)：
數(shù)字電視(DTV)和高清晰度電視(HDTV)在當今的消費者電子設(shè)備市場中日益受到歡迎。為了觀看以前記錄的節(jié)目或記錄他們喜愛的節(jié)目，這些類型電視的多數(shù)購買者還會購買數(shù)字視頻錄像機或播放器，諸如數(shù)字視頻光盤(DVD)錄像機或播放器。值得注意的是，DTV(或HDTV)和數(shù)字視頻錄像機或播放器的組合可以作為家庭電影院娛樂系統(tǒng)的主要部分。
數(shù)字視頻錄像機或播放器典型地包含運動圖像專家組(MPEG)解碼器，其對存儲在錄像機或播放器所播放盤上的數(shù)字編碼多媒體數(shù)據(jù)進行解碼。如果數(shù)字視頻錄像機或播放器連接于傳統(tǒng)的(非數(shù)字電視或非高清晰度電視)電視上，那么在傳統(tǒng)的電視上顯示數(shù)字編碼信號之前，將由數(shù)字視頻錄像機或播放器的MPEG解碼器對該數(shù)字編碼信號進行解碼。然而，相當多的DTV都包含他們自己的MPEG解碼器。就這點而論，如果數(shù)字視頻錄像機或播放器連接于數(shù)字電視上，那么使用該DTV解碼器來遠距離地解碼從盤上讀取的視頻信號。這個結(jié)構(gòu)可以稱為遠程解碼器結(jié)構(gòu)。
然而，在利用遠程DTV解碼器解碼數(shù)字編碼信號方面存在嚴重的缺點。，很難在這類結(jié)構(gòu)中執(zhí)行特技模式(trick mode)。特技模式可以為視頻的任何回放，其中不是以正常速度或正向回放。時常地，特技模式包括跳過在視頻信號中的多個圖像，諸如在快速特技模式期間。跳過被傳輸?shù)竭h程解碼器的圖像可以實際地增加信號的平均比特率。由于數(shù)字視頻錄像機或播放器和DTV之間的帶寬有限，所以執(zhí)行快速運動特技模式也許會致使信號超過該傳輸通道的最大比特率。
例如，在MPEG視頻信號中，存在三種獨立的數(shù)字編碼圖像內(nèi)部(I)圖像，預(yù)示(P)圖像和雙向預(yù)示(B)圖像。如已知技術(shù)那樣，至少相對于B圖像，I和P圖像包含相對大量的編碼數(shù)據(jù)。在快速運動特技模式期間，要被跳過的一組圖像(GOP)中的第一個圖像典型地為B圖像。然而，由于跳過了B圖像，所以在GOP中的剩余圖像的編碼數(shù)據(jù)的平均數(shù)量或每個圖像的比特平均數(shù)將增加。這樣的缺點可以在顯示特技模式視頻信號期間導(dǎo)致緩沖器溢出和圖像損失。
除了比特率問題之外，還存在另一個遠程解碼視頻信號的缺點如果重復(fù)的圖像包含運動對象，那么在這樣一個結(jié)構(gòu)中非逐行圖像的重復(fù)顯示可能在顯示中導(dǎo)致振動效應(yīng)。為了解釋這個缺點，因此簡要說明隔行掃描來證明。
多數(shù)電視使用隔行掃描技術(shù)。在此格式下，視頻信號典型地分為預(yù)定數(shù)目的水平行。在各個場周期期間，僅掃描這些行的二分之一；通常，在第一場周期期間掃描奇數(shù)行，而在下一個場周期期間掃描偶數(shù)行。每個掃描稱為場，并且當被結(jié)合時，兩個場形成完整圖像或幀。對于NTSC系統(tǒng)來說，每秒顯示六十場，其導(dǎo)致一個每秒三十幀的速率。
當運動對象橫移過隔行掃描電視中的屏幕時，每個場將僅顯示該運動對象的一部分。此部分顯示的發(fā)生是因為場僅顯示整個圖像的每隔一水平行的圖像。例如，對于特定的場n，僅掃描奇數(shù)水平行，并且將要顯示在場n的一部分運動對象是對于場n的在奇數(shù)水平行掃描期間掃描的那部分。下一個場，即場n+1，在1/60秒以后產(chǎn)生并且將顯示圖像的偶數(shù)水平行圖像。因此，顯示在場n+1中的一部分運動對象為在場n+1的偶數(shù)水平行掃描期間掃描的那部分。每個場臨時是獨立的，但是由于顯示場的速度而使人眼感覺該場的連續(xù)顯示為平滑運動。
如果電視觀眾激活了特技模式，那么該特技模式視頻信號可以包含重復(fù)圖像，該圖像在隔行掃描格式下被記錄。例如，如果電視觀眾在特定的圖像上啟動了定格特技模式(freeze trick mode)，那么可以重復(fù)地將圖像傳輸?shù)桨h程解碼器的DTV上并且在該DTV上被解碼及顯示。然而，重復(fù)圖像的顯示要符合非逐行圖像的正常顯示，也就是交替地顯示構(gòu)成該非逐行圖像的場。
如果以隔行掃描格式所記錄的圖像中出現(xiàn)運動對象，每個場將在一個特定的位置中顯示運動對象。因此，如同在定格特技模式期間交替地顯示這些場一樣，顯示器中的運動對象迅速地從顯示器中的一個位置運動到另一個位置；事實上，運動對象似乎顯得顫動。產(chǎn)生顫動的原因是因為隔行掃描場暫時不同，以及運動對象出現(xiàn)在每個場的不同的位置。
這個問題也存在于包括去隔行掃描器(deinterlacer)的DTV中。本領(lǐng)域已知的是，去隔行掃描器可以根據(jù)隔行掃描場構(gòu)成完整的幀。因此，去隔行掃描器可以從包含重復(fù)的非逐行幀的場中構(gòu)成完整的幀。然而，根據(jù)隔行掃描場而構(gòu)成的這些完整的幀也將以交替方式來顯示，由此產(chǎn)生了顫動人為圖像污染的可能性。另外，這些顫動效應(yīng)不僅出現(xiàn)在定格特技模式中而且還存在于其中重復(fù)非逐行圖像的任何其他特技模式中。因此，期望在不增加系統(tǒng)成本或復(fù)雜度的情況下消除比特率問題以及顫動人為圖像污染。

發(fā)明內(nèi)容
本發(fā)明涉及在包含大量原始圖像的視頻信號上執(zhí)行特技模式的方法。該方法包括步驟響應(yīng)特技模式命令而有選擇地跳過至少一個原始圖像以將視頻信號轉(zhuǎn)換為特技模式視頻信號，以及使用基于場的預(yù)測而有選擇地將至少一個虛擬預(yù)測圖像插入在特技模式視頻信號中。該方法還可以包括步驟監(jiān)視特技模式視頻信號，以及如果該特技模式視頻信號的比特率超過了預(yù)定的閾值，則有選擇地將至少一個虛擬預(yù)測圖像插入特技模式信號中。
在一個布置中，有選擇地插入的步驟可以包括使用基于場的預(yù)測而有選擇地將至少第一虛擬預(yù)測圖像插入特技模式視頻信號中，以及使用基于幀的預(yù)測而將隨后的虛擬預(yù)測圖像插入特技模式視頻信號中。該方法可以進一步地包括對來自單一場的與參考圖像相關(guān)的至少第一虛擬預(yù)測圖像進行預(yù)測的步驟。
該參考圖像可以為內(nèi)部圖像或預(yù)測圖像。另外，該參考圖像可以是非逐行圖像、逐行圖像或場圖像。另一個布置中，大量的原始圖像可以包含在一組圖像中，并且用于預(yù)測至少第一虛擬預(yù)測圖像的參考圖像可以是該組圖像中的最后的原始圖像，因此從已插入的虛擬預(yù)測圖像中預(yù)測不出其他的原始圖像。同樣，特技模式可以是快速運動特技模式。
在本發(fā)明的一個方面，大量的原始圖像中的每一個原始圖像可以包含顯示指示器，并且本方法可以進一步地包括步驟有選擇地修改至少一部分大量的原始圖像的顯示指示器，以當跳過原始圖像時反映預(yù)定的顯示順序。顯示指示器可以為時間參考場。另外，每個時間參考場可以具有整數(shù)值，并且有選擇地修改至少一部分大量的原始圖像的時間參考場的步驟可以包括每當跳過原始圖像時，逐漸地將時間參考場的整數(shù)值減1的步驟。
在另一個方面，本方法進一步地包括使用遠程解碼器對至少一部分特技模式視頻信號進行解碼的步驟。在另一方面，大量的原始圖像可以處于一組圖像中，并且本方法可以進一步地包括步驟每當跳過剩余的原始圖像時將虛擬預(yù)測圖像插入特技模式視頻信號中，以便這組圖像中的最后的圖像為虛擬預(yù)測圖像而且按照插入的虛擬預(yù)測圖像來保持期望的重復(fù)速度。
本發(fā)明還涉及在包含大量原始圖像的視頻信號上執(zhí)行特技模式的方法。該方法包括步驟響應(yīng)特技模式命令而有選擇地跳過至少一個原始圖像，以將視頻信號轉(zhuǎn)換成特技模式視頻信號；以及使用基于幀的預(yù)測，而有選擇地將至少一個非逐行的虛擬預(yù)測圖像插入特技模式視頻信號中。
本發(fā)明還涉及在包含大量原始圖像的視頻信號上執(zhí)行特技模式的系統(tǒng)。本系統(tǒng)包括控制器和處理器，控制器用于從存儲介質(zhì)讀取表示視頻信號的數(shù)據(jù)并且輸出包含大量原始圖像的視頻信號；并且對所述處理器進行編程以便響應(yīng)特技模式命令而有選擇地跳過至少一個原始圖像，以將視頻信號轉(zhuǎn)換到特技模式視頻信號，以及使用基于場的預(yù)測而有選擇地將至少一個虛擬預(yù)測圖像插入特技模式視頻信號中。本系統(tǒng)還包括適當?shù)能浖碗娐芬詧?zhí)行如上所述的方法。


圖1為根據(jù)本發(fā)明結(jié)構(gòu)的可以使用虛擬預(yù)測圖像執(zhí)行快速運動特技模式的系統(tǒng)的結(jié)構(gòu)圖。
圖2是說明根據(jù)本發(fā)明結(jié)構(gòu)的使用虛擬預(yù)測圖像執(zhí)行快速運動特技模式的操作的流程圖。
圖3說明在包含非逐行圖像的MPEG視頻信號中的典型的一組圖像結(jié)構(gòu)。
圖4A說明根據(jù)發(fā)明結(jié)構(gòu)將虛擬預(yù)測圖像插入特技模式視頻信號中的一個實例。
圖4B說明根據(jù)發(fā)明結(jié)構(gòu)將虛擬預(yù)測圖像插入特技模式視頻信號中的另一個實例。
圖4C說明根據(jù)發(fā)明結(jié)構(gòu)將虛擬預(yù)測圖像插入特技模式視頻信號中的另一個實例。
圖4D說明根據(jù)發(fā)明結(jié)構(gòu)將虛擬預(yù)測圖像插入特技模式視頻信號中的另一個實例。
具體實施例方式
在圖1構(gòu)成的結(jié)構(gòu)圖中示出了根據(jù)發(fā)明結(jié)構(gòu)的用于實現(xiàn)各種高級操作特征的系統(tǒng)100。然而，由于可以使用任何其他的能夠接收數(shù)字編碼信號以及將信號傳遞給顯示裝置的系統(tǒng)來實施本發(fā)明，所以本發(fā)明并不限于圖1所示的特定系統(tǒng)。另外，由于任何存儲介質(zhì)能夠存儲能被系統(tǒng)100使用的數(shù)字編碼數(shù)據(jù)，所以并不限制系統(tǒng)100在任何特定類型的存儲介質(zhì)中讀取或?qū)懭霐?shù)據(jù)。
系統(tǒng)100可以包括控制器110，用于從存儲介質(zhì)12讀取數(shù)據(jù)和將數(shù)據(jù)寫入該存儲介質(zhì)中。系統(tǒng)100還可以具有搜索引擎114、微處理器116、傳輸緩沖器117以及顯示裝置118。搜索引擎114可以包含適當?shù)能浖陀糜诙ㄎ辉趶拇鎯橘|(zhì)112中讀取的視頻信號中的一個或多個特定類型的圖像的電路。還可以控制和數(shù)據(jù)接口提供以允許微處理器116控制控制器110和搜索引擎114的操作。可以在存儲器中提供適當?shù)能浖蚬碳杂糜谟晌⑻幚砥?16執(zhí)行的傳統(tǒng)操作。進一步地，根據(jù)本發(fā)明的結(jié)構(gòu)可以為微處理器116提供例行程序。
應(yīng)理解，全部或部分搜索引擎114和微處理器116可以為本發(fā)明意圖內(nèi)的處理器120。進一步地，全部或部分控制器110、搜索引擎114、微處理器116和傳輸緩沖器117可以為本發(fā)明意圖內(nèi)的比特流源(bitstream source)122。在一個結(jié)構(gòu)中，顯示裝置118可以包含它自己的解碼器119，其用于對從存儲介質(zhì)112讀取且由比特流源122處理的全部或部分任何視頻信號進行解碼。在這個特定的結(jié)構(gòu)中，在比特流源122中的解碼器(未示出)一般不對從存儲介質(zhì)112讀取的視頻信號進行解碼。該特定的具體實施例可以稱為一遠程解碼器結(jié)構(gòu)。但是，應(yīng)當指出的是，由于本發(fā)明可以在其他的適當?shù)南到y(tǒng)中實施，所以本發(fā)明并不限于此結(jié)構(gòu)。
在操作中，控制器110可以從存儲介質(zhì)112讀取包含大量原始圖像的視頻信號。這些原始圖像可以為非逐行的圖像、逐行的圖像或場圖像。在一個結(jié)構(gòu)中，如果微處理器116接收諸如快速運動命令此類之特技模式命令，那么微處理器116因此可以通知搜索引擎114定位在特技模式視頻信號中的一個或多個合適的原始圖像，以便跳過該圖像。一旦定位到適當?shù)膱D像，搜索引擎114就可以通知微處理器116，并且微處理器116可以有選擇地跳過至少一個原始圖像以將視頻信號轉(zhuǎn)換為特技模式視頻信號。特技模式視頻信號中的一個或多個適當?shù)脑紙D像，以便跳過這樣的圖像。在特技模式期間將不會被解碼也不將顯示跳過的圖像。
另外，在特技模式命令期間，微處理器116可以通知搜索引擎114以定位另一組的一個或多個適當?shù)脑紙D像，以便將虛擬預(yù)測圖像(虛擬P圖像)插入特技模式視頻信號中。虛擬P圖像是從確定的圖像中可以預(yù)測的P圖像，在該確定的圖像中虛擬P圖像的運動矢量設(shè)置為零以及它的剩余信號設(shè)置為零或不被編碼。
一旦定位了適當?shù)脑紙D像，搜索引擎114可以通知微處理器116，以及微處理器116可以產(chǎn)生相應(yīng)的從已定位的原始圖像中預(yù)測的虛擬P圖像。然后微處理器116可以有選擇地插入至少一個相應(yīng)的虛擬P圖像，從而將虛擬P圖像發(fā)送給傳輸緩沖存儲器117和顯示裝置118和解碼器119之上。由于虛擬P圖像包含相對小數(shù)量的編碼數(shù)據(jù)，因此將虛擬P圖像插入在特技模式視頻信號中可以促使信號的整個比特率減少。
以這種方式產(chǎn)生虛擬P圖像，即當微處理器116接收到特技模式命令時，被稱為″運行″(on-the-fly)產(chǎn)生虛擬P圖像。換句話說，微處理器116可以在啟動特技模式命令之前產(chǎn)生虛擬P圖像，其中一個或多個虛擬P圖像可以保存在存儲器中(未顯示)。一旦微處理器116接收到特技模式命令，微處理器116就可以從存儲器檢索一個或多個虛擬P圖像以及將它們插入到特技模式視頻信號中。在任一結(jié)構(gòu)中，虛擬P圖像可用于再現(xiàn)原始圖像，因此將虛擬P圖像傳輸?shù)斤@示裝置118并在其上顯示。
在本發(fā)明的另一個方面，微處理器116可以監(jiān)視特技模式視頻信號的比特率。如果特技模式視頻信號的比特率超過預(yù)定的閾值，那么微處理器116可以和搜索引擎114一起執(zhí)行上述有選擇地插入步驟，在該插入步驟中至少一個虛擬P圖像可以插入到特技模式視頻信號中。同樣，微處理器116可以將構(gòu)成的虛擬P圖像插入特技模式視頻信號中以避免圖像顫動的問題，其中至少第一虛擬P圖像可以使用基于場的預(yù)測方式來產(chǎn)生。在一個結(jié)構(gòu)中，隨后的虛擬P圖像可以使用基于幀的預(yù)測來預(yù)測。后面將詳述幾種不同的技術(shù)。在另一個結(jié)構(gòu)中，當將虛擬P圖像插入特技模式視頻信號時，微處理器116還可以跳過剩余的原始圖像，以維持期望的重復(fù)速度。
在另一個結(jié)構(gòu)中，微處理器116可以修改包含在大量原始圖像的一個或多個中的信息的確定部分以反映已計劃的顯示順序，該大量原始圖像包含在特技模式視頻信號中。當跳過原始圖像時，可以執(zhí)行這個修改步驟。以下將詳述本發(fā)明的整個操作。
使用非逐行虛擬預(yù)測圖像的快速運動特技模式圖2說明了方法200，該方法200演示利用非逐行虛擬P圖像以諸如快速運動特技模式的特技模式操作的一個方式。在一個結(jié)構(gòu)中，本發(fā)明可以實施在遠程解碼器結(jié)構(gòu)中。對本發(fā)明來說，遠程解碼器結(jié)構(gòu)可以為其中視頻信號中的至少一部分圖像可以由一解碼器解碼的任何系統(tǒng)，該解碼器在正將圖像提供給解碼器的比特流源之外且不受其控制。
舉例來說，比特流源可以為光存儲介質(zhì)播放器或錄像機，其從光存儲介質(zhì)讀取多媒體數(shù)據(jù)并將此數(shù)據(jù)經(jīng)由傳輸通道傳送給包含它自己的解碼器的數(shù)字電視。但是，應(yīng)理解由于本發(fā)明能夠以任何其他的適當?shù)南到y(tǒng)或結(jié)構(gòu)來實施，所以本發(fā)明并不限于該實例乃至遠程解碼器結(jié)構(gòu)。
在步驟21O中，可以讀取包含大量原始圖像的視頻信號。原始圖像可以為非逐行圖像、逐行圖像或場圖像。在步驟212，可以接收特技模式命令。對本發(fā)明來說，特技模式命令可以為其中將跳過一個或多個原始圖像的任何命令，其包括諸如快進或快退的快速運動命令。如步驟214所示，可以有選擇地跳過至少一個原始圖像。圖像的選擇跳過將視頻信號轉(zhuǎn)換為特技模式視頻信號。
在一個結(jié)構(gòu)中，將要跳過的第一原始圖像可以為B圖像。請參考圖3，該圖以顯示順序示出了包含非逐行圖像的典型的一組圖像(GOP)300。下標編號指明何時將相對于GOP中的其他圖像以正常的重放速度來顯示每個圖像。小寫字母“t”可以表示頂端場(top field)，而小寫字母“b”可以表示底場(bottom field)。該GOP 300可以為視頻信號中的許多GOP之一。雖然本發(fā)明并不限于這個特定的GOP結(jié)構(gòu)，但是GOP 300將用來說明如何可以執(zhí)行快速運動特技模式。例如，如果要求3X(1X表示正常重放)的快進重放，那么GOP 300中的所有B圖像將被跳過。因此，對于該特定GOP來說，僅僅將傳輸和/或解碼以及顯示圖像I2和P圖像。
對于較快的特技模式速度，可以跳過一些P圖像，并且在特定的速度可以跳過全部的GOP 300(包括圖像I2)。如果將跳過P圖像，那么本領(lǐng)域熟練技術(shù)人員將意識到最后首先跳過GOP尾部的P圖像。在這個實例中，首先將跳過圖像P14，然后將跳過圖像P11等。用這樣的方式跳過圖像可以保存解碼這些圖像所必需的正確的解碼序列，這些圖像將在特技模式期間被顯示。
在另一個具體實施例中，大量原始圖像中的每一個原始圖像都可以包含顯示指示器。如步驟218所示，如果在判定塊216中確定了將有選擇地修改這些圖像的顯示指示器，那么可以對大量原始圖像中的至少一部分原始圖像的顯示指示器進行有選擇地修改。值得注意的是，當跳過原始圖像時，這些顯示指示器的修改可以反映大量原始圖像的預(yù)定顯示順序。如果不修改顯示指示器，那么在步驟220可以繼續(xù)方法200。
在一個結(jié)構(gòu)中，顯示指示器可以為時間參考場。時間參考場典型地為十比特場，其位于數(shù)字編碼圖像的圖像頭部。某些解碼器依靠時間參考場來確定何時將相對于視頻信號中其他的圖像來顯示視頻信號中的特定圖像。這個場一般地具有整數(shù)值。
舉例來說，請再次參考圖3，GOP 300包含十五個圖像。在GOP 300中的圖像的下標編號可以相應(yīng)于每個圖像的各自的時間參考場的整數(shù)值。例如，圖像B0時間參考場可以具有整數(shù)值零，該圖像是該GOP中的第一個圖像。要被顯示的下一個圖像B1的時間參考場可以具有整數(shù)值1。如此，每個隨后的要被顯示的圖像的時間參考場的整數(shù)值可以為每個加1直至圖像P14，該圖像P14的時間參考場可以具有整數(shù)值14。為了方便起見，詞組″時間參考場的整數(shù)值″還可以稱為″整數(shù)值″。
然而，當跳過原始圖像時，根據(jù)原始圖像的時間參考場的顯示順序?qū)⒉辉儆行?。因此，跟隨在已跳過的原始圖像之后的原始圖像的時間參考場的整數(shù)值可以被修改，以指示正確的顯示順序。
例如，如果跳過了圖像B9和B10，那么隨后的原始圖像的整數(shù)值可以每個減去值2。所以，可以將圖像P11的時間參考場的整數(shù)值從11修改為9，而可以將圖像B12的時間參考場的整數(shù)值從12修改為10，等等。這個修改處理將持續(xù)，直到到達GOP 300的結(jié)尾以及可以保證以正確的順序來顯示GOP 300中的剩余圖像。如此，每當跳過GOP中的原始圖像時，在GOP中的跟隨在已跳過的圖像之后的剩余圖像的時間參考場的整數(shù)值就可以減1。
修改在特技模式視頻信號中的其他GOP中的未跳過圖像的時間參考場的整數(shù)值的步驟可以按照這些實例來執(zhí)行。然而，應(yīng)當指出的是，由于能夠以任何其他適當?shù)姆绞絹韴?zhí)行修改有關(guān)臨時場的整數(shù)值以反映預(yù)定顯示順序的其他方法，所以本發(fā)明并不限于該特定實例。此外，應(yīng)注意由于在任一個上述具體實施例中可以修改任何其他適當?shù)娘@示指示器以反映預(yù)定顯示順序，所以本發(fā)明并不限于使用時間參考場。
請返回參考圖2的方法200，在步驟220，在特技模式命令期間可以監(jiān)視特技模式視頻信號的比特率。因為如前所述，跳過圖像可以導(dǎo)致增加平均比特率的后果，因此在快速運動特技模式期間監(jiān)視特技模式視頻信號的比特率是必需的。在某些情況下，這個增加的比特率可以超過傳送視頻信號的傳輸通道的最大允許比特率。對于本發(fā)明來說，傳輸通道的這個最大允許比特率可以稱為預(yù)定閾值。
在判定塊222，可以確定特技模式視頻信號的比特率是否已經(jīng)超過這個預(yù)定閾值。如果比特率還沒有達到預(yù)定閾值，那么方法200可以繼續(xù)到判定塊230。請回頭參考步驟222，如果比特率已經(jīng)超過預(yù)定閾值，那么可以將一個或多個虛擬P圖像插入特技模式視頻信號中，如步驟224所示。在一個結(jié)構(gòu)中的，可以使用基于場的預(yù)測來預(yù)測虛擬P圖像，或者替代地可以使用基于場和基于幀的預(yù)測的結(jié)合來預(yù)測虛擬P圖像。也就是說，虛擬P圖像可以包含一個或多個場，并且每個場可以從另一個幀或場圖像中預(yù)測，這些場包括任何構(gòu)成幀圖像的場。如以下將要說明的那樣，將虛擬P圖像插入特技模式視頻信號可以幫助降低這種信號的比特率。
如先前所述，虛擬P圖像為可以從確定的圖像中預(yù)測的P圖像，在該確定的圖像中虛擬P圖像的運動矢量被設(shè)置為零并且它的剩余信號被設(shè)置為零或者未被編碼。例如，在MPEG信號中，可以將虛擬P圖像的離散余弦變換(DCT)系數(shù)設(shè)置為零或者可以不被編碼。因而，虛擬P圖像幾乎不包含信息。虛擬P圖像的主要意圖是為復(fù)制或再現(xiàn)圖像或圖像的場，從其中使用少數(shù)幾個比特預(yù)測圖像。從而，當將虛擬P圖像置入快速運動特技模式視頻信號中時，將減少GOP中的每個圖像的比特的平均數(shù)量，因此降低平均比特率。
從其預(yù)測虛擬P圖像的圖像通常稱為參考圖像，而且任何數(shù)量的原始圖像都可以為參考圖像。在一個結(jié)構(gòu)中，參考圖像可以為I圖像或P圖像。事實上，本領(lǐng)域普通技術(shù)人員將完全理解可以將這些虛擬P圖像本身認為是參考圖像，如其他的虛擬P圖像可以從它們中預(yù)測。另外，參考圖像可以是非逐行圖像、逐行圖像或者為場圖像。
為了說明將虛擬P圖像插入特技模式視頻信號中的實例，請再次將注意力集中于圖3中的GOP 300。如果跳過了全部的B圖像并且也跳過了圖像P14和P11(回放速度為5X)，那么可以將任何數(shù)量的虛擬P圖像插入特技模式視頻信號中以幫助降低比特率。根據(jù)以下所述可以從圖像I2、P5或P8中預(yù)測這些虛擬P圖像的第一個。
將虛擬P圖像插入特技模式視頻信號中存在幾個優(yōu)選的方法。根據(jù)這些優(yōu)選的方法插入虛擬P圖像可以降低比特率并且可以在大體上不降低圖像質(zhì)量的情況下幫助控制顫動圖像顫動人為圖像污染。圖4A就示出了一個這樣的實例。
如特技模式GOP 400中所示，可以將兩個虛擬P幀圖像插入特技模式視頻信號中(小寫字母″d″表示P圖像為虛擬P圖像)。根據(jù)本發(fā)明的發(fā)明的結(jié)構(gòu)，可以從參考圖像中預(yù)測第一個虛擬P幀圖像，而該參考圖像為GOP中的最后原始圖像，以便沒有其他原始圖像從已插入的虛擬預(yù)測圖像被預(yù)測。此時，例如可以從參考圖像P8預(yù)測第一個虛擬P幀圖像。
另外，包括第一個虛擬P幀圖像的場可以從與參考圖像，在這種情況下是與圖像P8的場P8b有關(guān)的單一場中預(yù)測。雖然說明為從第一個虛擬P幀圖像的第二場中預(yù)測第二虛擬P幀圖像的場，但是可以從第一個虛擬P幀圖像的任一的場中預(yù)測第二虛擬P幀圖像的場。事實上，隨后的虛擬P幀圖像的場并不局限于從在前的虛擬P幀圖像的單一場的預(yù)測。盡管如此，因為第一個虛擬P幀圖像是使用單一場預(yù)測預(yù)測的，所以第二虛擬P幀圖像的場以及任何隨后的虛擬P圖像可以為從其預(yù)測第一個虛擬P幀圖像的場的復(fù)制品。
請參考圖4B，說明根據(jù)本發(fā)明結(jié)構(gòu)的將虛擬P圖像插入特技模式視頻信號中的另一個實例。如GOP 410所示并類似于圖4A的GOP 400，可以使用基于單一場的預(yù)測來預(yù)測第一個虛擬P幀圖像。然而，這里可以使用基于幀的預(yù)測來預(yù)測隨后的虛擬P圖像。也就是說，跟隨第一個虛擬P幀圖像的每個連續(xù)的虛擬P幀圖像可以使用基于幀的預(yù)測來從在前虛擬P幀圖像中預(yù)測。例如，遵循第一個虛擬P幀圖像的基于場的預(yù)測，第二虛擬P幀圖像的場可以使用基于幀的預(yù)測從第一個虛擬P幀圖像中預(yù)測。
當然，由于可以將從一個或多個其他的適當?shù)膮⒖紙D像中預(yù)測的任何適當數(shù)量的虛擬P幀圖像插入特技模式視頻信號中，所以本發(fā)明并不局限于這些特定的實例。此外，每個虛擬P幀圖像的每個場可以從與其相應(yīng)的參考圖像的任何適當?shù)膱鲱A(yù)測，并且本發(fā)明也不局限于從與參考圖像有關(guān)的單一場中預(yù)測第一個虛擬P幀圖像。
然而，使用如下的特定預(yù)測方案，即其中第一個虛擬P幀圖像的場是從與相應(yīng)的參考圖像有關(guān)的單一場預(yù)測的，特別在參考圖像為GOP中的最后原始圖像時，可以幫助控制圖像顫動人為圖像污染并且除了將信號的比特率保持在可接受的程度之外，還提供適當?shù)膱D像顯示。具體地說，如果在特技模式期間使用虛擬P幀圖像，那么從參考圖像的單一場中預(yù)測第一個虛擬P幀圖像的場可以產(chǎn)生一顯示，在該顯示中運動對象出現(xiàn)在要被顯示的虛擬P幀圖像的每一個場的特定位置。
也就是說，如果運動對象出現(xiàn)在參考圖像中(其中從所述參考圖像預(yù)測第一個虛擬P幀圖像并且從這個參考圖像的單一場中預(yù)測第一個虛擬P幀圖像的場)，那么隨后的虛擬P幀圖像的每個場將包括其位置與它在單一參考場中的位置相同的運動對象。因此，當在特技模式期間顯示虛擬P幀圖像時，運動對象并不顯得顫動。
同樣，因為第一個虛擬P幀圖像是從參考圖像中預(yù)測的，而該參考圖像為GOP中的最后的原始圖像，所以單一場預(yù)測將不降低圖像質(zhì)量。如果從虛擬P圖像預(yù)測原始圖像(其中該虛擬P圖像的場是從與參考圖像有關(guān)的單一場預(yù)測的)，因為虛擬P圖像不是從完整的圖像中預(yù)測的，所以這樣的預(yù)測方案可能會在原始圖像和隨后的原始圖像中導(dǎo)致問題。然而，跟隨在最后的原始參考圖像之后插入虛擬P圖像可以避免這個難題。
除了插入虛擬P幀圖像之外，根據(jù)以上描述還可以將虛擬P場圖像插入到特技模式視頻信號中。依據(jù)這些場圖像的屬性，可以從在前的參考圖像的單一場中預(yù)測其每一個場圖像。對于本發(fā)明以及鑒于以上描述，除特別指示之外，術(shù)語″虛擬P圖像″可以包括虛擬P幀圖像和虛擬P場圖像。
同樣應(yīng)理解，當將虛擬P圖像插入特技模式視頻信號中時，本發(fā)明不局限于使用基于場的預(yù)測。例如，如果將要插入虛擬P幀圖像，那么可以僅使用基于幀的預(yù)測來預(yù)測虛擬P幀圖像。舉例來說，即使參考圖像為非逐行圖像，要插入的第一個虛擬幀圖像可以從參考圖像的全部幀中預(yù)測。只要這樣的插入符合相應(yīng)的壓縮格式標準，這類預(yù)測就可以允許將虛擬P幀圖像插入GOP中的任何位置。
請返回參考圖2的方法200，必要時，有幾個其他的可以執(zhí)行的步驟以保持所期望的回放速度。每當將虛擬P圖像插入特技模式視頻信號中時，回放速度將降低，而這不是所希望的。如在判定塊226和步驟228中所示，為了克服回放速度的下降，當插入虛擬P圖像時可以跳過剩余的原始圖像。如果沒有要跳過的原始圖像，那么方法200可以重返步驟222。跳過原始圖像可以以某種方式實施，以便GOP中的最后的圖像為虛擬P圖像并且跟隨虛擬P圖像的插入而保持所要求的回放速度。
圖4C示出根據(jù)圖2的步驟230的實例。類似于GOP 400，GOP 420為其中已跳過B圖像和最后的兩個P圖像的GOP。例如從圖像P5的場P5b預(yù)測的第一個虛擬P幀圖像可以插入到GOP 420中，并且可以跳過圖像P8(虛線表示已跳過的或刪除的圖像)。這一對一的插入/刪除通信可以保證保持預(yù)定的特技模式速度。
請返回參考圖2的方法200，在判定塊222，可以確定第一個虛擬P幀圖像的插入是否將特技模式視頻信號的比特率降到預(yù)定閾值之下。如步驟224所示，如果比特率沒有降到預(yù)定閾值之下，那么可以將第二個虛擬P幀圖像插入特技模式視頻信號中。使用任何適當?shù)念A(yù)測方法(諸如關(guān)于圖4A和4B所描述的方法)可以預(yù)測第二個虛擬P幀圖像。也就是說，可以使用基于場的預(yù)測來產(chǎn)生第二個虛擬P幀圖像，其中它的場例如從第一個虛擬P幀圖像的第二個場中預(yù)測。替代地，可以從第一個虛擬P幀圖像使用基于幀的預(yù)測來預(yù)測第二個虛擬P幀圖像的場。這個實例說明在圖4D的GOP430中。
為了保持所期望的回放速度并且如圖4D所示那樣，可以跳過圖像P5。就這點而論，第一個虛擬P幀圖像可以從圖像I2中預(yù)測。根據(jù)本發(fā)明的結(jié)構(gòu)，第一個虛擬P幀圖像的場例如可以從場I2b中預(yù)測。請返回參考圖2，方法200可以重返步驟222以保證特技模式視頻信號的比特率不超過預(yù)定閾值。一旦比特率已經(jīng)減少到可接受的程度，方法200可以進行到判定塊230，在這里可以確定是否繼續(xù)特技模式。如果是，方法200可以重返步驟214。如果不，那么正常的回放可以重返步驟232。當然，由于判定塊230位于方法200中的任一其他的適當?shù)奈恢锰?，所以方?00并不限于這方面。
如圖4C所示，插入的虛擬P圖像的數(shù)量可以等于已跳過的原始圖像的數(shù)量，并且這些虛擬P圖像可以插入GOP中，以便虛擬P圖像為GOP中的最后的圖像。策略地以這種方式將虛擬P圖像插入特技模式視頻信號將降低比特率，保持預(yù)定的回放速度以及將虛擬P圖像定位為GOP中的最后的圖像，以便防止GOP中的未來的預(yù)測問題的發(fā)生。應(yīng)當理解，由于根據(jù)本發(fā)明的結(jié)構(gòu)可以實現(xiàn)其他的插入順序，所以本發(fā)明并不局限于這些特定的實例。
虛擬P圖像的插入還可以減少特技模式視頻信號的顯示的不連貫，其對于非?？焖龠\動特技模式來說尤其傷腦筋。請返回參考圖3中的GOP300，例如，要執(zhí)行15X的回放(向前或者反向)，那么將僅對圖像I2進行解碼以及顯示。這些工作步驟還可以應(yīng)用于特技模式視頻信號中的其他15個圖像GOP。因此，僅僅將對于快進特技模式的隨后的GOP中的以及對于快退特技模式的在前的GOP中的I圖像進行解碼和顯示。然而，這樣的顯示可能是非常不連貫的以及可能導(dǎo)致不舒服的觀看感受，這是由于顯示中對象突然出現(xiàn)或消失，或者場景變化，致使從圖像I高速地跳到圖像I可能難于跟隨。
然而，繼續(xù)本實例，在每個圖像I之后將一個或多個虛擬P圖像插入特技模式視頻信號中可以提高特技模式的顯示。例如，可以將從圖像I2預(yù)測的多個虛擬P圖像插入特技模式視頻信號中。這樣的插入可以按照與圖4A和4B中所示的用以控制顫動圖像人為圖像污染的實例有關(guān)的描述或采用其他任何適當?shù)念A(yù)測方案。
因為它們是圖像I2的重復(fù)，所以虛擬P圖像將增加被顯示的圖像I2中的信息的時間量，藉此減少顯示的不連貫。這些插入步驟還可以降低特技模式視頻信號的平均比特率，由于在這些實例中僅傳輸I圖像，所以信號將具有比較高的比特率。為了保持期望的回放速度，跟隨虛擬P圖像的插入，可以跳過隨后的或在前的GOP。應(yīng)理解的是，由于這些過程還可以應(yīng)用于其他任何GOP(包括12個圖像GOP)，所以本發(fā)明并不局限于這些實例。
雖然連同在此公開的具體實施例已描述了本發(fā)明，但是應(yīng)理解以上描述只是用來說明而并非限制由權(quán)利要求所定義的本發(fā)明的范圍。
權(quán)利要求
1.一種在包含大量原始圖像的視頻信號上執(zhí)行特技模式的方法，包括步驟響應(yīng)特技模式命令，有選擇地跳過至少一個原始圖像以將視頻信號轉(zhuǎn)換為特技模式視頻信號；以及使用基于場的預(yù)測，有選擇地將至少一個虛擬預(yù)測圖像插入特技模式視頻信號中。
2.根據(jù)權(quán)利要求1的方法，還包括步驟監(jiān)視特技模式視頻信號；以及其中如果特技模式視頻信號的比特率超過了預(yù)定閾值，則進行有選擇地將至少一個虛擬預(yù)測圖像插入特技模式視頻信號中的步驟。
3.根據(jù)權(quán)利要求1的方法，其中所述有選擇地插入步驟包括步驟使用基于場的預(yù)測有選擇地將至少第一個虛擬預(yù)測圖像插入特技模式視頻信號中，以及使用基于幀的預(yù)測，將隨后的虛擬預(yù)測圖像插入特技模式視頻信號中。
4.根據(jù)權(quán)利要求3的方法，還包括步驟從與參考圖像相關(guān)的單一場中預(yù)測至少第一個虛擬預(yù)測圖像。
5.根據(jù)權(quán)利要求4的方法，其中參考圖像是從包含內(nèi)部圖像和預(yù)測圖像的組中選出的圖像。
6.根據(jù)權(quán)利要求4的方法，其中參考圖像是從包含非逐行圖像、逐行圖像和場圖像的組中選出的圖像。
7.根據(jù)權(quán)利要求4的方法，其中大量的原始圖形包含在一組圖像中，并且其中用于預(yù)測至少第一個虛擬預(yù)測圖像的參考圖像是一組圖像的最后原始圖像，以便沒有其他原始圖像從已插入的虛擬預(yù)測圖像被預(yù)測。
8.根據(jù)權(quán)利要求1的方法，其中特技模式命令為快速運動特技模式。
9.根據(jù)權(quán)利要求1的方法，其中大量原始圖像中的每一個原始圖像包含顯示指示器，并且該方法還包括步驟當跳過原始圖像時，有選擇地修改至少一部分大量原始圖像的顯示指示器以反映預(yù)定的顯示順序。
10.根據(jù)權(quán)利要求9的方法，其中顯示指示器為時間參考場。
11.根據(jù)權(quán)利要求10的方法，其中每個時間參考場都有整數(shù)值，并且有選擇地修改至少一部分大量的原始圖像的時間參考場的步驟包括步驟每當跳過原始圖像時，時間參考場的整數(shù)值遞減1。
12.根據(jù)權(quán)利要求1的方法，還包括步驟使用遠程解碼器對至少一部分特技模式視頻信號進行解碼。
13.根據(jù)權(quán)利要求1的方法，其中大量原始圖像位于一組圖像中，并且其中該方法還包括步驟每當將虛擬預(yù)測圖像插入特技模式視頻信號中時跳過剩余的原始圖像，以便該組圖像的最后的圖像為虛擬預(yù)測圖像以及跟隨虛擬預(yù)測圖像的插入而保持期望的回放速度。
14.在一種遠程解碼器結(jié)構(gòu)中，在包含有大量原始圖像的視頻信號上執(zhí)行特技模式的方法，其中大量原始圖像中的每一個原始圖像都包含顯示指示器，該方法包括步驟響應(yīng)特技模式命令，有選擇地跳過至少一個原始圖像以將視頻信號轉(zhuǎn)換為特技模式視頻信號；監(jiān)視特技模式視頻信號的比特率；如果比特率超過了預(yù)定閾值，則使用基于場的預(yù)測，有選擇地將至少一個虛擬預(yù)測圖像插入特技模式視頻信號中；以及當跳過原始圖像時，有選擇地修改至少一部分大量原始圖像的顯示指示器，以反映預(yù)定的顯示順序。
15.一種在包含大量原始圖像的視頻信號上執(zhí)行特技模式的方法，包括步驟響應(yīng)特技模式命令，有選擇地跳過至少一個原始圖像以將視頻信號轉(zhuǎn)換為特技模式視頻信號；以及使用基于幀的預(yù)測，有選擇地將至少一個非逐行虛擬預(yù)測圖像插入特技模式視頻信號中。
16.一種在包含大量原始圖像的視頻信號上執(zhí)行特技模式的系統(tǒng)，包括控制器，用于從存儲介質(zhì)讀取數(shù)據(jù)以及輸出包含大量原始圖像的視頻信號；處理器，其中對處理器編程以使其響應(yīng)特技模式命令，有選擇地跳過至少一個原始圖像以將視頻信號轉(zhuǎn)換為特技模式視頻信號；以及使用基于場的預(yù)測，有選擇地將至少一個虛擬預(yù)測圖像插入特技模式視頻信號中。
17.根據(jù)權(quán)利要求16的系統(tǒng)，其中對處理器進一步地編程以使其監(jiān)視特技模式視頻信號；以及如果特技模式視頻信號的比特率超過了預(yù)定閾值時，有選擇地將至少一個虛擬預(yù)測圖像插入特技模式視頻信號中。
18.根據(jù)權(quán)利要求16的系統(tǒng)，其中對處理器進一步編程以使其使用基于場的預(yù)測有選擇地將至少第一個虛擬預(yù)測圖像插入特技模式視頻信號中，并且使用基于幀的預(yù)測將隨后的虛擬預(yù)測圖像插入特技模式視頻信號中。
19.根據(jù)權(quán)利要求18的系統(tǒng)，其中對處理器進一步地編程以從與參考圖像相關(guān)的單一場預(yù)測至少第一個虛擬預(yù)測圖像。
20.根據(jù)權(quán)利要求19的系統(tǒng)，其中參考圖像是從包含內(nèi)部圖像和預(yù)測圖像的組中選出的圖像。
21.根據(jù)權(quán)利要求19的系統(tǒng)，其中參考圖像是從包含非逐行圖像、逐行圖像或場圖像的組中選出的圖像。
22.根據(jù)權(quán)利要求19的系統(tǒng)，其中大量的原始圖形包含在一組圖像中，并且其中用于預(yù)測至少第一個虛擬預(yù)測圖像的參考圖像為一組圖像的最后原始圖像，以便沒有其他原始圖像從已插入的虛擬預(yù)測圖像被預(yù)測。
23.根據(jù)權(quán)利要求16的系統(tǒng)，其中特技模式命令包括快速運動特技模式。
24.根據(jù)權(quán)利要求16的系統(tǒng)，其中大量原始圖像中的每一個圖像都含有顯示指示器，并且對處理器進一步地編程以便當跳過原始圖像時，有選擇地修改至少一部分大量原始圖像的顯示指示器，以反映預(yù)定的顯示順序。
25.根據(jù)權(quán)利要求24的系統(tǒng)，其中顯示指示器包括時間參考場。
26.根據(jù)權(quán)利要求25的系統(tǒng)，其中每個時間參考場都具有整數(shù)值，并且對處理器進一步地編程以便每當跳過原始圖像時，通過將時間參考場的整數(shù)值遞減1，有選擇地修改至少一部分大量原始圖像的時間參考場。
27.根據(jù)權(quán)利要求16的系統(tǒng)，還包括用于對至少一部分特技模式視頻信號進行遠程解碼的遠程解碼器。
28.根據(jù)權(quán)利要求16的系統(tǒng)，其中大量原始圖像是在一組圖像中，并且其中對處理器進一步編程，以便每當將虛擬預(yù)測圖像插入特技模式視頻信號中時跳過剩余的原始圖像，以便該組圖像中的最后的圖像為虛擬預(yù)測圖像，并且跟隨虛擬預(yù)測圖像的插入保持期望的回放速度。
29.在遠程解碼器結(jié)構(gòu)中，一種用于在包含有大量原始圖像的視頻信號上執(zhí)行特技模式的系統(tǒng)，其中大量原始圖像中的每一個原始圖像都含有顯示指示器，該系統(tǒng)包括控制器，用于從存儲介質(zhì)讀取數(shù)據(jù)以及輸出包含大量原始圖像的視頻信號；和處理器，其中對處理器編程以使其響應(yīng)特技模式命令，有選擇地跳過至少一個原始圖像以將視頻信號轉(zhuǎn)換為特技模式視頻信號；監(jiān)視特技模式視頻信號的比特率；如果比特率超過了預(yù)定閾值，則使用基于場的預(yù)測，有選擇地將至少一個虛擬預(yù)測圖像插入特技模式視頻信號中；以及當跳過原始圖像時，有選擇地修改至少一部分大量原始圖像的顯示指示器，以反映預(yù)定的顯示順序。
30.一種用于在包含有大量原始圖像的視頻信號上執(zhí)行特技模式的系統(tǒng)，包括控制器，用于從存儲介質(zhì)讀取數(shù)據(jù)以及輸出包含大量原始圖像的視頻信號；以及處理器，其中對處理器編程以使其響應(yīng)特技模式命令，有選擇地跳過至少一個原始圖像，以將視頻信號轉(zhuǎn)換為特技模式視頻信號；以及使用基于幀的預(yù)測，有選擇地將至少一個非逐行虛擬圖像插入特技模式視頻信號中。
全文摘要
本發(fā)明涉及一種在包含大量原始圖像的視頻信號上執(zhí)行特技模式的方法(200)和系統(tǒng)(100)。該方法包括步驟響應(yīng)于特技模式命令，有選擇地跳過至少一個原始信號以將視頻信號轉(zhuǎn)換為特技模式視頻信號(214)，以及使用基于場的預(yù)測有選擇地將至少一個虛擬預(yù)測圖像插入特技模式信號中(224)。該方法還包括步驟監(jiān)視特技模式視頻信號(220)，其中如果特技模式視頻信號的比特率超過預(yù)定的閾值，可以執(zhí)行有選擇地將至少一個虛擬預(yù)測圖像插入特技模式視頻信號中。
文檔編號G11B20/10GK1575593SQ02821156
公開日2005年2月2日 申請日期2002年10月22日 優(yōu)先權(quán)日2001年10月23日
發(fā)明者林書, 唐納德·H·威利斯 申請人:湯姆森特許公司