專利名稱：多道數(shù)據(jù)壓縮方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是視頻信號(hào)壓縮系統(tǒng)，尤其是用動(dòng)態(tài)估算方法對(duì)視頻數(shù)據(jù)進(jìn)行壓縮的系統(tǒng)。
圖像壓縮可以通過(guò)消除圖像信息中空間和/或時(shí)間上的冗余的方式來(lái)降低表示數(shù)字圖像所必須的數(shù)據(jù)量。例如，要在互聯(lián)網(wǎng)上有效地存儲(chǔ)及傳輸視頻圖像信息，就必須進(jìn)行壓縮。不壓縮，存儲(chǔ)和/或傳輸圖像信息的大部分應(yīng)用項(xiàng)目就變得無(wú)法進(jìn)行或不可能。幾秒鐘的原始視頻數(shù)據(jù)就會(huì)輕易地填滿并覆蓋一臺(tái)普通個(gè)人電腦的硬盤。
在技術(shù)上，單路視頻信號(hào)的壓縮可以通過(guò)對(duì)未經(jīng)壓縮的一幀原始視頻信號(hào)進(jìn)行采樣，并將其作為對(duì)后續(xù)幀的視頻信息進(jìn)行編碼的基準(zhǔn)幀這一方式來(lái)實(shí)現(xiàn)。與其對(duì)每一幀所包含的全部視頻信號(hào)進(jìn)行編碼和傳輸，倒不如通過(guò)在一開(kāi)始就對(duì)包括一幅所預(yù)測(cè)的幀在內(nèi)的一個(gè)序段中預(yù)定的幀之間的差別進(jìn)行測(cè)定的方式對(duì)這些幀進(jìn)行壓縮，然后，僅將這些差別傳輸?shù)浇獯a器。接著，解碼器根據(jù)這些差別至少對(duì)視頻信號(hào)幀的一部分進(jìn)行再現(xiàn)。這種動(dòng)態(tài)測(cè)算系統(tǒng)還要“跳”過(guò)一些容易測(cè)算的幀(中間幀)，因?yàn)橐话銇?lái)說(shuō)同前一幀相比變化較小。因此，實(shí)際上只對(duì)一定量的幀，例如每隔三幀只對(duì)一幀的視頻信號(hào)內(nèi)容進(jìn)行分析。為了對(duì)生成的間隔進(jìn)行調(diào)整，要基于預(yù)定幀與預(yù)定幀間的差別之間的關(guān)系對(duì)中間幀進(jìn)行預(yù)測(cè)。利用這種動(dòng)態(tài)測(cè)算方法就可以傳輸和再現(xiàn)高圖像質(zhì)量而且傳輸帶寬較低的完整的視頻信號(hào)，而這正是傳輸視頻數(shù)據(jù)的關(guān)鍵特征。例如，假定視頻信號(hào)的象素5122，灰度級(jí)為8位，全動(dòng)態(tài)視頻為30Hz，則需要60Mbps的帶寬。為將視頻數(shù)據(jù)從未經(jīng)壓縮的帶寬為60Mbps的完整視頻信號(hào)壓縮為所要求的數(shù)據(jù)傳輸率為128Kbps的信號(hào)，就需要468∶1的圖像壓縮比。而且，對(duì)于VGA全動(dòng)態(tài)視頻信號(hào)而言，這一壓縮比要擴(kuò)大四倍。
視頻信號(hào)壓縮的另一必備的特征涉及到對(duì)幀序列中大的動(dòng)態(tài)變化的計(jì)算。例如，MPEG視頻信號(hào)壓縮就能夠通過(guò)異步地發(fā)送一幅“I幀”(實(shí)質(zhì)上是一幅新的基準(zhǔn)幀)的方式來(lái)對(duì)單路視頻信號(hào)中的這種變化進(jìn)行計(jì)算。然而，無(wú)論視頻信號(hào)內(nèi)容如何，這些I幀每隔15幀被插入一個(gè)。由于將I幀非同步地引入經(jīng)過(guò)編碼的視頻信號(hào)位流，這樣的系統(tǒng)就無(wú)效地增加了信號(hào)帶寬。例如，當(dāng)一幅I幀被引入沒(méi)有明顯動(dòng)態(tài)的編碼幀系列時(shí)，就無(wú)必要使用了帶寬，因?yàn)橐粋€(gè)完整的新幀的傳輸是沒(méi)有必要的。相反，當(dāng)幀系列確有一些動(dòng)態(tài)而I幀未被插入視頻信號(hào)位流時(shí)，就會(huì)出現(xiàn)明顯的差錯(cuò)。
上面對(duì)單路壓縮方法籠統(tǒng)地進(jìn)行了直接的討論，在下文中還將結(jié)合附圖進(jìn)行更專門的敘述。如

圖1中所示，用于形成單路視頻信號(hào)的經(jīng)過(guò)壓縮的視頻數(shù)據(jù)流的方法10包括對(duì)來(lái)自單源諸如攝像機(jī)的原位幀S1進(jìn)行采樣，并用標(biāo)準(zhǔn)的壓縮技術(shù)對(duì)S1進(jìn)行典型的壓縮。接著，方法10跳過(guò)或者說(shuō)忽略預(yù)定數(shù)量的后續(xù)幀，如在圖1中用虛線表示的兩幅幀，并對(duì)下一幀P11進(jìn)行預(yù)測(cè)。這樣，就得出了幀S1與預(yù)測(cè)幀(在這種情況下是第三個(gè)后續(xù)幀)P11之間的差錯(cuò)差別Δ11。
接著，方法10要算出“填充器”幀B11和B21并對(duì)其進(jìn)行編碼，以預(yù)測(cè)出被跳過(guò)的幀的格式，在圖1中為第二幀及第三幀。預(yù)測(cè)出的幀B是基于幀S1和P11(在圖1中用虛線雙頭箭表示)以及它們之間的差Δ11，用已知的技術(shù)推導(dǎo)出來(lái)的。通過(guò)這種方法對(duì)幀信號(hào)進(jìn)行壓縮，編碼器只要對(duì)差Δ11與原始幀S1的全部視頻內(nèi)容(處于經(jīng)過(guò)壓縮的形式)進(jìn)行編碼，這樣就可為重現(xiàn)S1和P11提供足夠的信息。對(duì)預(yù)測(cè)出的中間幀B11和B21的經(jīng)過(guò)高度編碼的主要部分也可以進(jìn)行編碼；值得注意的是，無(wú)論如何，傳輸時(shí)這一信息都不會(huì)對(duì)信號(hào)帶寬造成顯著的影響。
如上所述，一個(gè)增加的編碼步驟涉及到對(duì)連續(xù)幀之間的顯著的動(dòng)態(tài)變化的計(jì)算，這種計(jì)算或者是通過(guò)將一幅I幀異步地插入視頻數(shù)據(jù)流這一方式來(lái)實(shí)現(xiàn)，或者是通過(guò)如上面作為參考的應(yīng)用項(xiàng)目No.08/901,832中所顯示和描述的那樣，用專門設(shè)計(jì)的“smart”軟件來(lái)確定是否根據(jù)幀序列中的動(dòng)態(tài)變化而插入一幅I幀這一方式來(lái)實(shí)現(xiàn)。后一方法典型地涉及到將幀分成檢索區(qū)并對(duì)原始的S幀相對(duì)應(yīng)的區(qū)和它們對(duì)應(yīng)的P幀之間的誤差進(jìn)行累加，即對(duì)第三個(gè)后續(xù)幀進(jìn)行預(yù)測(cè)。
當(dāng)累加的差超過(guò)預(yù)定的閾值時(shí)，一個(gè)新的I幀作為下一個(gè)后續(xù)幀前來(lái)取代，而正如上面描述的那樣，通過(guò)計(jì)算新的基準(zhǔn)原始幀I1和下一個(gè)預(yù)測(cè)幀P之間的差來(lái)開(kāi)始編碼，然后處理第三個(gè)后續(xù)幀。如前面討論的那樣，在根據(jù)已知技術(shù)對(duì)中間幀B11′和B21′進(jìn)行計(jì)算的同時(shí)，用I幀作為新的基準(zhǔn)原始幀，編碼器確定出幀I1和下一個(gè)預(yù)測(cè)P幀，即P21之間的動(dòng)態(tài)差Δ21。如果誤差未達(dá)到閾值，則意味著目標(biāo)幀之間圖像的相互關(guān)系高于閾值，則當(dāng)前的P幀信號(hào)為幀的第二個(gè)連續(xù)組的開(kāi)始而保留，以備編碼。在這種情況下，P11幀成為下一組幀的基準(zhǔn)原始幀。系統(tǒng)則繼續(xù)對(duì)按照這種連續(xù)分組的方式劃分的幀進(jìn)行編碼，以提供一個(gè)經(jīng)過(guò)壓縮的代表完整視頻信號(hào)的數(shù)據(jù)位流。
下面參見(jiàn)圖2，經(jīng)過(guò)編碼的信號(hào)能夠在序列12(僅表示視頻信號(hào)幀的一個(gè)部分)中傳輸?shù)揭粋€(gè)解碼器。注意，圖2中所示的傳輸序列中的信號(hào)系列并未反映序列中出現(xiàn)任何明顯的移位，即并未對(duì)I幀進(jìn)行編碼。
一開(kāi)始，在第14步驟，編碼器將第一組經(jīng)過(guò)編碼的信號(hào)組Ⅰ送往解碼器。這些信號(hào)包括經(jīng)過(guò)編碼的原始基準(zhǔn)幀S1和Δ11信號(hào)，以及按照那種順序典型傳輸?shù)腂幀。接著，在步驟16，編碼器傳輸?shù)诙M信號(hào)(組Ⅱ)，當(dāng)I幀未被按順序編碼時(shí)，組Ⅱ僅包括隨之的Δ21信號(hào)，適當(dāng)?shù)臅r(shí)候，還包括中間幀B11′和B21′。與包括經(jīng)過(guò)壓縮的基準(zhǔn)原始幀S1的組Ⅰ信號(hào)不同，與組Ⅱ?qū)?yīng)的基準(zhǔn)原始幀P11無(wú)需發(fā)送，因?yàn)樵诮獯a器對(duì)組Ⅰ信號(hào)進(jìn)行解碼時(shí)，已經(jīng)對(duì)P11幀進(jìn)行了解碼并將其儲(chǔ)存在存儲(chǔ)器中?？傊?，當(dāng)一個(gè)I幀未被編碼時(shí)，下一組信號(hào)的新的基準(zhǔn)幀將不必發(fā)送，因?yàn)樾碌幕鶞?zhǔn)幀將被解碼而且存儲(chǔ)來(lái)自前一組的P幀。
接著，在步驟18，編碼器開(kāi)始發(fā)送組Ⅲ信號(hào)，其中包括Δ31信號(hào)，后隨的是B11″幀和B21″幀的經(jīng)過(guò)壓縮的主體形式的表達(dá)信號(hào)。與此相似，接著方法10傳輸信號(hào)的后續(xù)組直至視頻信號(hào)的所有經(jīng)過(guò)編碼的幀傳輸完畢為止。注意，序列12僅僅是為了解說(shuō)的目的而設(shè)置的，而且實(shí)際上，視頻信號(hào)通常至少要呈現(xiàn)出一些明顯的動(dòng)態(tài)變化，這將通過(guò)在經(jīng)過(guò)壓縮的視頻數(shù)據(jù)流中插入經(jīng)過(guò)編碼的I幀而反映出來(lái)。
然后如圖3所述，接收器/解碼器執(zhí)行方法24來(lái)重建單路視頻信號(hào)的幀序列。(注意，符號(hào)表達(dá)式{x,y}→w表示按著專門設(shè)計(jì)的算法以預(yù)編程序的方法將“x”和“y”組合起來(lái)以產(chǎn)生信號(hào)“w”。)在步驟26中接收組Ⅰ的經(jīng)過(guò)編碼的信號(hào)之后，在步驟28中方法24對(duì)基準(zhǔn)原始幀S1進(jìn)行解壓。然后，方法24通過(guò)對(duì)Δ11進(jìn)行解壓來(lái)執(zhí)行步驟30，Δ11信號(hào)對(duì)于組Ⅰ而言表示基準(zhǔn)原始幀S1與預(yù)測(cè)幀P11之間的動(dòng)態(tài)差。用步驟28及30中的方法進(jìn)行的解壓是在編碼流程中用標(biāo)準(zhǔn)壓縮技術(shù)進(jìn)行過(guò)壓縮的相應(yīng)信號(hào)的標(biāo)準(zhǔn)解壓；例如，象前面提到過(guò)的MPEG就可以使用壓縮/解壓。
然后，在步驟32，方法24將組Ⅰ的信號(hào)S1和Δ11組合以再現(xiàn)幀P11，被用于與S1和Δ11組合以再現(xiàn)預(yù)測(cè)幀B11和B21。如步驟36中所述，解碼器能夠?qū)⑦@些幀指示信號(hào)，即用這種方法恢復(fù)的幀S1和再現(xiàn)的幀P11，按照所示的順序，即S1,B11,B21，最后是P11的順序傳輸?shù)揭粋€(gè)顯示單元(未示出)。
接著，方法24執(zhí)行步驟38以確定I幀是否被編碼并進(jìn)入第二組幀(組Ⅱ)的視頻信號(hào)位流。再者，在標(biāo)準(zhǔn)的視頻信號(hào)壓縮中，無(wú)論視頻信號(hào)內(nèi)容如何，每15幀中只將1個(gè)I幀插入視頻信號(hào)位流，而在本文中引入的在前面作為參考的未定的應(yīng)用項(xiàng)目中，其方法是僅在出現(xiàn)大的位移內(nèi)容時(shí)才插入一個(gè)I幀。建議采用后一方法。
在I幀未被編碼的情況下(如在連同圖1和圖2一起描述的例中)，方法24通過(guò)對(duì)Δ21進(jìn)行解壓的方式執(zhí)行步驟40，比如使用MPEG解壓算法來(lái)解壓。在步驟42中，方法24通過(guò)將Δ21與組Ⅱ的基準(zhǔn)原始幀P11(在步驟32中當(dāng)組Ⅰ信號(hào)被解碼時(shí)存于存儲(chǔ)器中)進(jìn)行組合的方式用Δ21再現(xiàn)下一個(gè)P幀P11。
再現(xiàn)P幀P21之后，在步驟44中，方法24將新的基準(zhǔn)原始幀即組Ⅰ的P幀P11與剛剛建立的P幀(基準(zhǔn)預(yù)期幀)P21和動(dòng)態(tài)差別信號(hào)Δ21進(jìn)行組合以建立B幀B11′和B21′。前述的信號(hào)一經(jīng)建立，解碼器就按照步驟46中所示的順序，即B11′，接著是B21′，最后是P21(在此例中代表視頻信號(hào)的第七幀)，將經(jīng)過(guò)解碼的信號(hào)傳輸?shù)斤@示單元。信號(hào)組的這種再現(xiàn)，傳輸及顯示將重復(fù)進(jìn)行，直到全部的視頻信號(hào)均被顯示為止(步驟48)。
在I幀作為下一個(gè)后續(xù)幀被編碼并引入視頻信號(hào)位流的情況下，解碼器以I1代替S1，并從一開(kāi)始執(zhí)行方法24的步驟。特別是，在步驟50中方法24用標(biāo)準(zhǔn)的解壓算法對(duì)I1解壓，然后在步驟52中對(duì)與I1和與I1相關(guān)的P幀P1(新)1之間的差有關(guān)的經(jīng)過(guò)編碼的信號(hào)P1(新)1進(jìn)行解壓。接著，通過(guò)將I1與P1(新)1組合來(lái)再現(xiàn)P1(新)1(步驟54)。然后，以預(yù)編程序的方式，按照將I1,Δ1(新)1和P1(新)1組合的算法對(duì)高度編碼的B幀B1(新)1和B2(新)1進(jìn)行再現(xiàn)(步驟56)。在步驟58，解碼器把經(jīng)過(guò)解碼的信號(hào)I1,B1(新)1，B2(新)1和P1(新)1傳輸至顯示單元，以便按照這種順序進(jìn)行顯示。
雖然上述系統(tǒng)為單路系統(tǒng)提供了在不犧牲視頻信號(hào)質(zhì)量的情況下高效利用帶寬的優(yōu)勢(shì)，但是，視頻信號(hào)壓縮技術(shù)在能夠?yàn)槎嘣匆曨l信號(hào)提供數(shù)據(jù)壓縮的系統(tǒng)中也是需要的。當(dāng)一個(gè)系統(tǒng)不僅能夠確定一個(gè)通路中的幀之間的差，而且也能夠使來(lái)自多源的幀之間產(chǎn)生交互作用的時(shí)候，該系統(tǒng)即處于迫切需求之中。這樣的系統(tǒng)對(duì)于那些從每個(gè)源中獲得的信息之間存在著高度相似的應(yīng)用項(xiàng)目而言是非常有利的，因?yàn)樵谀抢餅榱嗽佻F(xiàn)來(lái)自每個(gè)源的視頻信號(hào)并不需要傳輸視頻信號(hào)的全部?jī)?nèi)容。
這樣的多路應(yīng)用項(xiàng)目種類繁多。例如，由多路輸入，尤其是為了形成三維圖像而從兩個(gè)視點(diǎn)對(duì)物體著眼的雙源形成的輸入構(gòu)成的立體數(shù)據(jù)。顯然，在兩個(gè)信息源之間存在著大量的冗余信息。另一個(gè)十分普遍的應(yīng)用項(xiàng)目是在一種“巡視”的環(huán)境中撲獲視頻信號(hào)，這里，用多部攝像機(jī)來(lái)注視一大片場(chǎng)景或一個(gè)指定的物體，每部攝像機(jī)負(fù)責(zé)代表指定物體或風(fēng)光的一個(gè)特定視角的一路數(shù)據(jù)，比如說(shuō)從各種不同的角度撲獲數(shù)據(jù)。在這兩種情況中的任何一種情況下，最好是對(duì)多個(gè)源進(jìn)行協(xié)調(diào)以便對(duì)每個(gè)源的全部視頻信號(hào)進(jìn)行再現(xiàn)時(shí)不必對(duì)各源間的冗余信息進(jìn)行編碼和傳輸，這樣就易于充分?jǐn)U大數(shù)據(jù)吞吐量并節(jié)省信號(hào)帶寬。
在此外的另一種應(yīng)用項(xiàng)目中，可以用單臺(tái)攝像機(jī)來(lái)觀察光圖像，用濾光鏡經(jīng)窄帶光窗將撲獲的信號(hào)分成獨(dú)立的幾路。對(duì)這種圖像進(jìn)行考查可以發(fā)現(xiàn)，在幾納米之間實(shí)現(xiàn)的路數(shù)達(dá)到數(shù)百個(gè)。特別是，這樣的每路圖像數(shù)據(jù)中與鄰路即帶寬稍有不同的路相比，均含有數(shù)量驚人的相關(guān)數(shù)據(jù)。對(duì)這些通路的每一路的全部視頻信號(hào)都進(jìn)行傳輸是非常低效的。
在另一個(gè)應(yīng)用項(xiàng)目中，通過(guò)單獨(dú)在不同時(shí)間撲獲的數(shù)據(jù)中可能會(huì)有數(shù)量頗豐的相關(guān)數(shù)據(jù)，用可視電話通過(guò)互聯(lián)網(wǎng)從一個(gè)特定的環(huán)境中發(fā)送信息可能就是這種情況。例如，如果用戶象前一天一樣在接下來(lái)的第二天從同一場(chǎng)合通過(guò)互聯(lián)網(wǎng)傳送一條可視電話消息，則大部分周邊信息將保持相同，只有某些方面的傳輸會(huì)變化，如用戶的面部表情。由于每次傳輸存在相同的數(shù)據(jù)，對(duì)含于每條消息中的全部信息均進(jìn)行編碼和傳輸是效率不同的。
在這些應(yīng)用的每一項(xiàng)中，沒(méi)有必要對(duì)撲獲的信息全部進(jìn)行編碼，因?yàn)閺拿總€(gè)源收集的信息均存在相當(dāng)高度的相似。因此，好系統(tǒng)是與標(biāo)準(zhǔn)的壓縮技術(shù)接軌，利用這些冗余信息的系統(tǒng)。
本項(xiàng)發(fā)明為多路視頻信號(hào)更好地提供了有效的數(shù)據(jù)壓縮方法。本系統(tǒng)是通過(guò)只對(duì)每個(gè)通道的幀之間的差進(jìn)行編碼(通道內(nèi)壓縮)和只對(duì)各獨(dú)立通道的相對(duì)應(yīng)幀之間的差進(jìn)行編碼(通道間壓縮)的方式來(lái)利用存在于各種視頻信號(hào)應(yīng)用中的大量冗余信息的。
根據(jù)本發(fā)明所介紹的具體實(shí)例，壓縮多個(gè)視頻信號(hào)通道的方法包括對(duì)每個(gè)通道的原始幀進(jìn)行采樣并對(duì)多個(gè)后續(xù)幀進(jìn)行預(yù)測(cè)等步驟，這里每個(gè)預(yù)測(cè)幀均與一個(gè)原始幀相對(duì)應(yīng)。然后，該方法對(duì)每個(gè)原始幀與它的對(duì)應(yīng)的預(yù)測(cè)幀之間的差進(jìn)行計(jì)算，并將得出的差與預(yù)定的閾值比較。在原始與其對(duì)應(yīng)的預(yù)測(cè)幀間的任何一個(gè)差達(dá)到閾值的情況下，該方法在已編碼的視頻信號(hào)序列中插入一個(gè)I幀作為每個(gè)通道的下一個(gè)后續(xù)幀。
根據(jù)本發(fā)明的另一個(gè)方面，對(duì)于每個(gè)通道來(lái)說(shuō)，每個(gè)原始幀及每個(gè)相應(yīng)的預(yù)測(cè)幀均被分成檢索區(qū)。然后，確定原始幀的每個(gè)區(qū)與對(duì)應(yīng)的預(yù)測(cè)幀的對(duì)應(yīng)區(qū)之間的差。對(duì)每個(gè)通道的區(qū)進(jìn)行累加并將累加的區(qū)差與一個(gè)閾值比較。如果任何一個(gè)累加的區(qū)差達(dá)到所述的閾值，該方法則插入一個(gè)I幀或者是作為所有通道的或者是只作為那個(gè)特定通道的下一個(gè)后續(xù)幀。
根據(jù)本發(fā)明的再一個(gè)方面，該方法包括對(duì)包括每個(gè)通道的預(yù)定數(shù)量的連續(xù)幀在內(nèi)的一組視頻信號(hào)幀進(jìn)行編碼。尤其是，對(duì)視頻信號(hào)幀的編碼包括對(duì)每個(gè)通道的一個(gè)原始幀進(jìn)行采樣，而每個(gè)通道包括一個(gè)具有一個(gè)基準(zhǔn)原始幀的基準(zhǔn)通道，繼而對(duì)一個(gè)后續(xù)幀進(jìn)行預(yù)測(cè)，該后續(xù)幀包括每個(gè)通道的一個(gè)基準(zhǔn)預(yù)測(cè)幀，這里每個(gè)預(yù)測(cè)幀與一個(gè)原始幀相對(duì)應(yīng)。然后，該方法在每個(gè)原始幀與其相對(duì)應(yīng)的預(yù)測(cè)幀之間為每個(gè)通道確定一個(gè)通道內(nèi)的差。另外，該方法在基準(zhǔn)原始幀和余下的通道的每個(gè)原始幀之間確定一個(gè)原始的通道間的差。然后，該方法在基準(zhǔn)預(yù)測(cè)幀和余下通道的每個(gè)預(yù)測(cè)幀之間確定一個(gè)預(yù)測(cè)的通道間的差。如果任何一個(gè)通道內(nèi)的差，原始的通道間的差或者預(yù)測(cè)的通道間的差超過(guò)一個(gè)相應(yīng)的預(yù)定閾值，則該方法對(duì)一個(gè)具有全部視頻信號(hào)內(nèi)容的I幀進(jìn)行編碼，重新開(kāi)始編碼過(guò)程。對(duì)于通道間的兩個(gè)差的確定。該方法都要生成一個(gè)信號(hào)以表示各自的通道間的差。
根據(jù)本發(fā)明的又一個(gè)方面，該壓縮法包括用一個(gè)解碼器和再現(xiàn)每個(gè)視頻信號(hào)通道之諸幀。一開(kāi)始，該方法用標(biāo)準(zhǔn)的解壓技術(shù)對(duì)基準(zhǔn)通道的全部視頻信號(hào)內(nèi)容均經(jīng)過(guò)編碼的基準(zhǔn)原始幀進(jìn)行解壓，而這種標(biāo)準(zhǔn)技術(shù)，例如MPEG幀內(nèi)解壓技術(shù)，是利用幀本身的信息來(lái)工作的。然后，根據(jù)基準(zhǔn)原始幀和原始通道間差信號(hào)中的一個(gè)相應(yīng)信號(hào)來(lái)再現(xiàn)每個(gè)原始幀。然后，根據(jù)基準(zhǔn)原始幀和通道內(nèi)的差信號(hào)中的一個(gè)相應(yīng)信號(hào)來(lái)再現(xiàn)基準(zhǔn)預(yù)測(cè)幀。最后，該方法通過(guò)對(duì)經(jīng)過(guò)再現(xiàn)的基準(zhǔn)預(yù)測(cè)幀和預(yù)測(cè)幀間差的信號(hào)中的一個(gè)相應(yīng)信號(hào)進(jìn)行處理的方式再現(xiàn)除基準(zhǔn)預(yù)測(cè)幀之外的每一個(gè)預(yù)測(cè)幀。這一解碼過(guò)程對(duì)經(jīng)過(guò)編碼的幀的每個(gè)連續(xù)組反復(fù)進(jìn)行，每個(gè)組中可以包括一個(gè)或多個(gè)重新開(kāi)始編碼過(guò)程的I幀。照這樣，解碼器則能夠按照適當(dāng)?shù)捻樞驅(qū)⒔?jīng)過(guò)解碼的信號(hào)傳輸?shù)揭粋€(gè)顯示單元以供顯示。
通過(guò)下面結(jié)合相應(yīng)附圖的詳細(xì)描述，會(huì)對(duì)本發(fā)明的上述的和其他的目的、優(yōu)點(diǎn)有更清楚的認(rèn)識(shí)和了解。
圖1為一個(gè)簡(jiǎn)圖，對(duì)視頻數(shù)據(jù)的一個(gè)單通道的幀的壓縮方法進(jìn)行圖解；圖2為一個(gè)流程圖，對(duì)圖1中已編碼數(shù)據(jù)的傳輸順序進(jìn)行圖解。
圖3為一個(gè)流程圖，對(duì)象在圖2中所示的那樣傳輸?shù)臄?shù)據(jù)進(jìn)行解碼的方法進(jìn)行圖解，還圖解了對(duì)一個(gè)I幀進(jìn)行解碼的方法步驟；圖4為一個(gè)方塊圖，對(duì)本發(fā)明的用于對(duì)視頻數(shù)據(jù)的多個(gè)通道進(jìn)行編碼、傳輸、解碼以及顯示的一個(gè)系統(tǒng)進(jìn)行圖解；圖5-10為均為簡(jiǎn)圖，對(duì)利用圖4中所示的系統(tǒng)在序列中沒(méi)有被編碼的高位移信息的情況下對(duì)視頻數(shù)據(jù)的多個(gè)通道進(jìn)行編碼的方法的步驟進(jìn)行圖解。
圖11為一個(gè)流程圖，對(duì)如圖5-10中所示的那樣根據(jù)本發(fā)明對(duì)已編碼數(shù)據(jù)進(jìn)行傳輸?shù)囊粋€(gè)傳輸序列進(jìn)行圖解。
圖12為一個(gè)流程圖，對(duì)如圖11中所示的那樣對(duì)所傳輸?shù)囊曨l數(shù)據(jù)進(jìn)行編碼的方法進(jìn)行圖解，而且還對(duì)在對(duì)一個(gè)I幀進(jìn)行編碼和傳輸?shù)臅r(shí)候該編碼方法的步驟進(jìn)行圖解。
參見(jiàn)圖4，所示為根據(jù)本發(fā)明對(duì)視頻數(shù)據(jù)的多個(gè)通道進(jìn)行編碼的系統(tǒng)70。系統(tǒng)70包括一個(gè)編碼器74，有從多源或多通道72接收視頻數(shù)據(jù)信號(hào)S1,S2,…SN的多路輸入端。編碼器74對(duì)來(lái)自通道72的視頻數(shù)據(jù)信號(hào)進(jìn)行處理，其方式是將來(lái)自每個(gè)通道的幀按預(yù)定數(shù)量分組而按組進(jìn)行的。固化操作系統(tǒng)76更是一種人工智能(AI)模糊邏輯軟件，用來(lái)控制包括確定何時(shí)插入I幀在內(nèi)的編碼過(guò)程進(jìn)行控制。人工智能/模糊邏輯軟件能夠?qū)崿F(xiàn)視頻信號(hào)的高吞吐量，因而能夠?qū)崿F(xiàn)更高的分辨率。編碼器74還包括軟件78，用標(biāo)準(zhǔn)的視頻信號(hào)壓縮技術(shù)，比如MPEG幀內(nèi)視頻數(shù)據(jù)壓縮技術(shù)，對(duì)經(jīng)過(guò)編碼的視頻數(shù)據(jù)的特殊部分作進(jìn)一步的壓縮。該級(jí)輔助的數(shù)據(jù)壓縮能夠在不犧牲視頻信號(hào)質(zhì)量的前提下擴(kuò)大對(duì)現(xiàn)有帶寬的有效利用。
在某些應(yīng)用項(xiàng)目中，在至少對(duì)來(lái)自每個(gè)通道的視頻數(shù)據(jù)的一部分進(jìn)行編碼之后，編碼器74按照適當(dāng)?shù)捻樞驅(qū)⒔Y(jié)果信號(hào)傳輸?shù)揭粋€(gè)包括固化操作系統(tǒng)77在內(nèi)的接收/解碼器80，以重建視頻圖像。在以經(jīng)過(guò)編碼并被傳輸?shù)男盘?hào)為基準(zhǔn)重建每個(gè)通道72的視頻圖像之后，解碼器80將被解碼的信號(hào)傳輸以一個(gè)顯示單元82以供用戶觀看。
轉(zhuǎn)至圖5-10，這里示出了用動(dòng)態(tài)估算技術(shù)對(duì)多道視頻數(shù)據(jù)進(jìn)行編碼的一個(gè)新穎方法。在圖5中，所選應(yīng)用實(shí)例的編碼方法包括確定每個(gè)通道C1,…,CN的原始幀(S1,…SN)之間的原始通道間的動(dòng)態(tài)差S21，S31…SN1的第一步驟84。特別是，源C1(C1是基準(zhǔn)源)的原始幀S1是一個(gè)基準(zhǔn)幀，可以用它計(jì)算出它與每個(gè)其它源C1-CN的第一幀S2-SN之間的差。例如算出源C2的原始幀S2和基準(zhǔn)源始幀S1之間的差，該差被指定為S21。相類似，對(duì)于每個(gè)其他源直至第N個(gè)源的差均可計(jì)算出來(lái)，這里，第N個(gè)源CN的第一個(gè)幀SN與基準(zhǔn)幀S1之間的差被指定為SN1。
因?yàn)楸景l(fā)明所規(guī)劃的特定應(yīng)用項(xiàng)目利用多源來(lái)提供視頻數(shù)據(jù)信號(hào)，而這些信號(hào)含有相當(dāng)大量的冗余成份，因此，需要傳輸?shù)浇獯a器80(圖4)以重建所有通道的第一幀的僅有信息是基準(zhǔn)幀S1的全部視頻信號(hào)內(nèi)容和該幀(S1)與余下的每個(gè)原始幀S2-SN之間的差。換言之，在本發(fā)明的動(dòng)態(tài)估算方法中，沒(méi)有必要對(duì)通道間的冗余成份進(jìn)行編碼來(lái)再生高質(zhì)量的視頻圖像。例如，正如下面要進(jìn)一步詳述的那樣，解碼器80能夠通過(guò)把計(jì)算出的差S21與基準(zhǔn)幀S1(兩者均被用標(biāo)準(zhǔn)的壓縮技術(shù)如MPEG幀內(nèi)壓縮技術(shù)做更進(jìn)一步的壓縮)相加的方式來(lái)重建這些原始圖像，以便獲得源C2的第一幀S2。
轉(zhuǎn)至圖6，在所選應(yīng)用實(shí)例的編碼方法的第二步驟86中包括確定每個(gè)通道C1-CN的原始幀S1-SN和一個(gè)后續(xù)的對(duì)應(yīng)幀P11-P1N之間的一個(gè)通道內(nèi)的動(dòng)態(tài)差(Δ11,……,Δ1N),P11-P1N是系統(tǒng)的編碼結(jié)束時(shí)的實(shí)際幀，被標(biāo)識(shí)為“P”幀。這一步與在發(fā)明的背景一節(jié)中所述的為單通道壓縮所作的計(jì)算相似。也就是說(shuō)，對(duì)于基準(zhǔn)通道C1而言，Δ11是通過(guò)確定基準(zhǔn)原始幀S1和基準(zhǔn)預(yù)測(cè)幀P11之間的差而算出的。通過(guò)計(jì)算每個(gè)源的原始幀和它的相關(guān)P幀之間的動(dòng)態(tài)差，只有通道內(nèi)的差必須編碼，因?yàn)樗梢暂p易地與原始幀相加以重建P幀。準(zhǔn)確地講，解碼時(shí)，差Δ11-Δ1N與每個(gè)源的相應(yīng)的原始幀S1-SN相加以產(chǎn)生P幀，而完全不必對(duì)每個(gè)P幀的全部視頻內(nèi)容進(jìn)行編碼。特別是，利用標(biāo)準(zhǔn)的壓縮技術(shù)，比如MPEG幀內(nèi)壓縮技術(shù)對(duì)差信號(hào)Δ11-Δ1N進(jìn)行了更進(jìn)一步的壓縮。
注意，與利用動(dòng)態(tài)估算的標(biāo)準(zhǔn)單通道視頻信號(hào)壓縮相似，所選用實(shí)例的方法跳過(guò)每個(gè)通道的預(yù)定數(shù)量的幀88，這就進(jìn)一步減少了需要編碼的數(shù)據(jù)。被跳過(guò)的幀88的數(shù)量通常取決于被壓縮的視頻信號(hào)的類型，對(duì)于具有高動(dòng)作的視頻信號(hào)，每個(gè)通道的連續(xù)幀之間的差相當(dāng)大，以致沒(méi)有多少幀會(huì)被跳過(guò)，因?yàn)榇嬖谥行?shù)據(jù)會(huì)被丟失的高風(fēng)險(xiǎn)，這就會(huì)影響視頻信號(hào)的質(zhì)量。如圖6中所示，在每個(gè)通道S1-SN中有兩個(gè)幀88被跳過(guò)，這樣P幀就成了原始幀之后三個(gè)后續(xù)幀(這四幀構(gòu)成了一個(gè)“組”)。
在連續(xù)逐個(gè)地確定對(duì)于每個(gè)源的原始幀和一個(gè)相關(guān)的P幀之間的每個(gè)通道內(nèi)的差(Δ11-Δ1N)(步驟86)之后，系統(tǒng)70的編碼器通過(guò)確定基準(zhǔn)通道C1的基準(zhǔn)預(yù)測(cè)幀P11和其他通道C2-CN的每個(gè)P幀P12-P1N之間的一個(gè)預(yù)測(cè)通道間的動(dòng)態(tài)差(δ211…,δN11)的方式來(lái)執(zhí)行圖7中所示的步驟90。結(jié)果，通過(guò)僅對(duì)P幀之間而不是全部幀之間的差δ211-δN11進(jìn)行編碼的方式使動(dòng)態(tài)估算壓縮在眾通道之間實(shí)現(xiàn)。由之些預(yù)測(cè)通道間的差，連同基準(zhǔn)預(yù)測(cè)幀P11(必須首先時(shí)基本身進(jìn)行重建)一起，幀P12-P1N就能得到再生。
接著轉(zhuǎn)至圖8，解碼器通過(guò)為每個(gè)通道C1-CN計(jì)算若干個(gè)預(yù)測(cè)“B”幀來(lái)執(zhí)行步驟92，而“B”幀的數(shù)量是與被跳過(guò)的幀88的數(shù)量相對(duì)應(yīng)的，而且該“B”幀是幀88的估算“填充”幀。正象圖8中用虛線表示的雙箭所指示的那樣，與基準(zhǔn)幀S1和相關(guān)的P幀P11有關(guān)的視頻數(shù)據(jù)被用于建立通道C1的B幀B11和B21。特別是，基于原始基準(zhǔn)幀S1的視頻數(shù)據(jù)，相關(guān)的幀P11，以及這兩個(gè)幀之間的差Δ11的關(guān)系，就可以對(duì)與基準(zhǔn)通道相對(duì)應(yīng)的第一對(duì)B幀進(jìn)行計(jì)算。
顯然B幀要全部經(jīng)過(guò)預(yù)測(cè)，但為了保證適當(dāng)?shù)臏?zhǔn)確度，它們還是與被跳過(guò)的幀88相關(guān)聯(lián)。精于此技術(shù)的人士對(duì)于B幀編碼的更詳盡的細(xì)節(jié)是了解的，因此在這里并不需要作進(jìn)一步的討論。而且，象前面討論的那樣，傳輸時(shí)只發(fā)送經(jīng)過(guò)高度編碼的B幀主體，這樣就沒(méi)有必要再對(duì)與跳過(guò)幀的88相關(guān)的任何有數(shù)據(jù)進(jìn)行編碼。在步驟92中，編碼器連續(xù)地為每個(gè)源計(jì)算這些B幀B11B21,…B1NB2N，這樣就完成了第一組幀的原始編碼。
編碼時(shí)，P幀的壓縮大約是基準(zhǔn)原始幀的10倍以上(10∶1壓縮比)，而B(niǎo)幀的壓縮大約是基準(zhǔn)原始幀的20倍以上(20∶1壓縮比)。注意，圖6-8中所示，原始組的幀包括原始幀S1-SN，跳過(guò)的幀，各獨(dú)立通道的P幀P11-P1N，它們共同構(gòu)成幀的第一個(gè)序列(組Ⅰ)，而且在下文中仍將如此提及。
如圖5-8中所示對(duì)組Ⅰ的幀進(jìn)行編碼之后，編碼器74利用固化操作系統(tǒng)76(圖4)來(lái)確定每個(gè)通道的每一組的幀的系列中是否有幀呈現(xiàn)出數(shù)量明顯的位移，也就是說(shuō)，任何通道C1-CN的P幀P11-P1N和原始幀S1-SN之間的差是否達(dá)超過(guò)一個(gè)預(yù)定閾值E0(正如在上面參照的正在進(jìn)行中的應(yīng)用項(xiàng)目中所描述，而在這里被縮合參照的)，這樣就要求對(duì)一個(gè)I幀進(jìn)行編碼，而該編碼過(guò)程將以步驟84為起點(diǎn)重新開(kāi)始。另一方面，如果E0未被任何通道內(nèi)的差超過(guò)，則組Ⅱ的通道內(nèi)的差(Δ21-Δ2N)要被編碼，而且如上所述，對(duì)每個(gè)組而言編碼過(guò)程均要繼續(xù)，直到E0被任一個(gè)后續(xù)的通道內(nèi)的差超過(guò)為止。
注意，閾值E0是根據(jù)視頻信號(hào)的內(nèi)容或類型比如動(dòng)作或特征而預(yù)置的，例如，由于在一個(gè)動(dòng)作視頻信號(hào)的后續(xù)幀中有明顯的差異，如果閾值E0被置得太高，因而在信號(hào)序列中一個(gè)新的I幀未被編碼(即，盡管情形需要編碼)，則在僅對(duì)預(yù)測(cè)幀(P或B)進(jìn)行的編碼中有效數(shù)據(jù)就能丟失，因?yàn)楦鶕?jù)定義預(yù)測(cè)幀包含的信息少于一個(gè)完整幀的信息。
在本發(fā)明的另一個(gè)應(yīng)用實(shí)例中，不僅一個(gè)幀內(nèi)差Δ××能夠激發(fā)I幀的編碼，而且一個(gè)原始幀間差S××，或者一個(gè)預(yù)測(cè)幀間差δ×××也能夠激發(fā)一個(gè)I幀的插入。當(dāng)一個(gè)原始幀間差達(dá)到一個(gè)第二預(yù)定閾值E0′時(shí)，或者當(dāng)一個(gè)預(yù)測(cè)幀間差達(dá)到一個(gè)第三預(yù)定閾值E0″時(shí)，則該序列中的一個(gè)I幀就能被編碼。而且，如前面所提，編碼器74(圖4)的固化操作系統(tǒng)76已經(jīng)圓滿地填裝了人工智能(AI)/模糊邏輯軟件，可以提供一個(gè)優(yōu)秀的I幀插入系統(tǒng)。
注意，如在綜合應(yīng)用中所述，S與P幀可以分成檢索區(qū)或段，而且一個(gè)通道內(nèi)的差可以計(jì)算出來(lái)以代替每個(gè)通道的S和P幀的相應(yīng)區(qū)。與一個(gè)特定通道對(duì)應(yīng)的每個(gè)通道區(qū)間差(區(qū)差)可以為該通道累加并與E0進(jìn)行比較以確定是否對(duì)一個(gè)I幀進(jìn)行編碼，是為每個(gè)通道編碼還是僅為該通道編碼。
根據(jù)本發(fā)明的另一個(gè)方面，可以用固化操作系統(tǒng)76中專門設(shè)計(jì)的算法來(lái)執(zhí)行“誤差空間分布”法，以確定這些區(qū)在幀中的位置。如果這些區(qū)在幀中位于不重要的部位，編碼過(guò)程將在不插入I幀的情況下繼續(xù)進(jìn)行，即使與該特定通道相關(guān)的通道內(nèi)的差證明插入I幀是正確的也是如此?？梢杂靡粋€(gè)方法為所查找的區(qū)指定一個(gè)預(yù)定的加權(quán)值，用來(lái)確定它的相關(guān)的通道間的差是否有效。如果有效，該方法將為該通道累加有效的通道區(qū)內(nèi)差以確定是否應(yīng)該插入一個(gè)I幀。確定差的空間分布的方法通過(guò)人工智能或模糊邏輯而得以更好執(zhí)行并準(zhǔn)確地協(xié)調(diào)I幀的插入。
在閾值E0未被累加的差超過(guò)的情況下(即，一個(gè)I幀未被編碼)，編碼方法執(zhí)行圖9中所示的步驟94來(lái)開(kāi)始對(duì)組Ⅱ的幀進(jìn)行編碼，其中包括用組Ⅰ的預(yù)測(cè)基準(zhǔn)幀P11作為組Ⅱ的基準(zhǔn)原始幀。更準(zhǔn)確地說(shuō)，因?yàn)樵谶@種情況下不必通過(guò)編碼器74來(lái)發(fā)送一個(gè)完整的新I幀，每個(gè)獨(dú)立通道C1-CN的現(xiàn)存P幀信號(hào)P11-P1N被保留并在編碼過(guò)程中取代組Ⅰ(圖5-8)的原始幀S1-SN的位置。另外，基準(zhǔn)通道C1的第三個(gè)后續(xù)幀，現(xiàn)在是第七幀，將根據(jù)已知的方法進(jìn)行預(yù)測(cè)，并成為組Ⅱ的基準(zhǔn)預(yù)測(cè)幀P21。
對(duì)組Ⅱ幀的編碼過(guò)程與上面敘述的組Ⅰ幀編碼的過(guò)程的區(qū)別在于圖5中所示的步驟84不再執(zhí)行，因?yàn)榻MⅡ的原始幀是組Ⅰ和P幀P11-P1N(下面描述)。換言之，基準(zhǔn)通道C1的P11幀和余下的通道的每個(gè)P幀之間的差δ211-δPN11將被編碼并保留在存儲(chǔ)器中(例如，在解碼器存儲(chǔ)器中)。結(jié)果，在重建組Ⅱ的時(shí)候P11-P1N將容易得到。
在圖6(步驟86)，圖7(步驟90)，和圖8(步驟92)中所示的編碼過(guò)程余下步驟的執(zhí)行將作為步驟96一并顯示在圖10中，這里來(lái)自通道C1的新的原始基準(zhǔn)幀是P11而新的P幀是P21,…P2N，更好地成為每個(gè)通道C2-CN的第七幀。根據(jù)這些幀，新的通道內(nèi)的動(dòng)態(tài)差Δ21-Δ2N以及新的通道間的動(dòng)態(tài)差δ221…,δ2N1可被確定并編碼。另外，與組Ⅱ相關(guān)的B幀也作為跳過(guò)的幀95(圖9)的填充器而被建立。(注意，圖9和10中使用的符號(hào)規(guī)則形成一條水平虛線，設(shè)置在該水平各端的向上垂直伸展的箭頭表明通常圍繞在其附近的信息不必編碼，因?yàn)樵撔畔⑹窃诰o挨著的前一組中編碼的。)對(duì)每個(gè)組的編碼過(guò)程象上面在步驟84-86中陳述的那樣繼續(xù)進(jìn)行，在這種情況下每個(gè)組由各有4個(gè)幀的N個(gè)通道組成。在每個(gè)獨(dú)立的組中，P幀以及它們之間的差，都是如上所述那樣編過(guò)碼的，只要該差不超過(guò)預(yù)置的閾值E0，都將作為下一個(gè)連續(xù)組的原始基準(zhǔn)幀。當(dāng)編碼器74(圖4)的系統(tǒng)固化操作系統(tǒng)76確定圖像的對(duì)比降至閾值E0以下時(shí)，即當(dāng)固化操作系統(tǒng)76確定連續(xù)幀呈現(xiàn)出足夠量的位移時(shí)，就插入一個(gè)I幀。如果圖像對(duì)比維持在閾值E0以上，則源C1-CN的每個(gè)當(dāng)前幀被保留而幀的編碼在步驟84(圖5)重新開(kāi)始。
轉(zhuǎn)至圖11，一旦視頻數(shù)據(jù)如上所述般被編碼，則編碼信號(hào)能被傳輸?shù)叫蛄?00中的解碼器(至少是部分地)。準(zhǔn)確地說(shuō)，組Ⅰ被傳輸，一開(kāi)始時(shí)包括基準(zhǔn)通道數(shù)據(jù)信號(hào)。更準(zhǔn)確地說(shuō)，編碼器傳輸一個(gè)指示原始基準(zhǔn)幀S1的全部視頻內(nèi)容的信號(hào)，連同S1和它的相關(guān)P幀P11(圖6-8)之間的差和表達(dá)預(yù)測(cè)B幀B11和B21的高度編碼的信號(hào)(一般是主體形式)。注意，因?yàn)镻11能夠根據(jù)S1和Δ11重建，因而不必發(fā)送。然而，為降低差的計(jì)算數(shù)量，P11可以不明顯地增加序列信號(hào)帶寬的情況下完整地傳輸。盡管如此，在所選的應(yīng)用實(shí)例中，P11幀并未以其完整形式傳輸，因?yàn)樗梢栽诓粻奚曨l信號(hào)質(zhì)量的前提下根據(jù)無(wú)論如何必須發(fā)送的信息(S1和Δ11)來(lái)重建。
然后，余下的組Ⅰ的編碼通道被傳到解碼器。例如，通道2的編碼信息被傳送，這些信息包括S21Δ12δ121B12B22，將用于重建原始幀S2，以及幀B12,B22和P12。每個(gè)N通道的組Ⅰ的傳輸繼續(xù)進(jìn)行，而最后一個(gè)被傳輸?shù)男蛄惺荢N1Δ1Nδ1N1B1NB2N。
注意，圖4的編碼/傳輸器圓滿地應(yīng)用了并行處理，乃至在前面的經(jīng)過(guò)編碼的數(shù)據(jù)通道正在傳輸?shù)耐瑫r(shí)，視頻數(shù)據(jù)的后續(xù)通道則正在被編碼。而且，雖然該方法是按照一次編碼及傳輸一個(gè)數(shù)據(jù)通道來(lái)描述的，但是由應(yīng)用項(xiàng)目決定，通道(C1-CN)能夠成對(duì)地編碼/傳輸以增大吞吐量。
此后，組Ⅱ和Ⅲ，分別標(biāo)準(zhǔn)為108與110，以與組Ⅰ相同的方式傳送到解碼器。當(dāng)然，構(gòu)成完整視頻信號(hào)的有更多組的視頻數(shù)據(jù)，而且每組均象上面敘述的那樣進(jìn)行編碼和傳輸，當(dāng)然必要時(shí)包括I幀的插入。
轉(zhuǎn)至圖12，一個(gè)流程圖，顯示的是描繪通過(guò)接收/解碼器80(圖4)來(lái)應(yīng)用方法114以便為多通道中的每個(gè)通道重建視頻信號(hào)的步驟。接收信號(hào)(步驟116)之后，方法114執(zhí)行步驟118開(kāi)始對(duì)原始幀S1即基準(zhǔn)原始幀(如前面所述包括其全部視頻信號(hào)內(nèi)容)進(jìn)行壓縮。注意，除表示B幀的信號(hào)外，在傳輸之前編碼器通常用在MPEG幀內(nèi)壓縮(圖4中的78)中使用的標(biāo)準(zhǔn)視頻信號(hào)壓縮技術(shù)對(duì)信號(hào)進(jìn)行壓縮。這一數(shù)據(jù)壓縮被加于本發(fā)明的新穎壓縮法中。因此，在步驟118中方法114應(yīng)用相應(yīng)的標(biāo)準(zhǔn)解壓技術(shù)。
接著，在步驟120中，根據(jù)標(biāo)準(zhǔn)的解壓方法對(duì)S1和P11幀之間的經(jīng)過(guò)編碼的通道內(nèi)的差即信號(hào)Δ11進(jìn)行解壓。然后，在步驟122中方法114利用S1和Δ11的經(jīng)過(guò)解壓的版本，更準(zhǔn)確地說(shuō)，利用求Δ11與S1之和，開(kāi)始重建與組Ⅰ的第一通道相關(guān)的P幀P11。換句話說(shuō)，如上面提到的，完整的P11幀能夠用常的壓縮法壓縮，以編碼的型式傳輸，用相應(yīng)的方法解壓。盡管如此，還是選擇前面的重建P11的方法。此后，在步驟124中方法114利用S1,Δ11和P11之間的關(guān)系來(lái)重建預(yù)測(cè)幀B11和B21。在步驟126，方法114傳輸基準(zhǔn)幀S1，并為顯示單元82(圖4)重建幀P11，B11,B21以便按表明的次序，即S1B11B21P11來(lái)顯示。
接下來(lái)談組工序列，在步驟128中方法114用例舉的標(biāo)準(zhǔn)MPEG解壓技術(shù)對(duì)通道2的經(jīng)過(guò)編碼的信息，其中包括δ211,Δ11和S21信號(hào)進(jìn)行解壓縮(注意，δ,Δ和S也可被先作信號(hào)集)。然后，在步驟130，基準(zhǔn)原始幀S1和S1與S2之間的原始通道間的差(S21)被用來(lái)重建第二通道的原始幀S2。按照這一新穎的方式，方法114在不必發(fā)送S2幀的全部視頻內(nèi)容的情況下重建S2。再者，這是可能的，而且是有利的，因?yàn)樵诟鞣N通道的相應(yīng)幀的數(shù)據(jù)中存在足夠數(shù)量的冗余信息。
然后，在步驟132中，組Ⅰ的預(yù)測(cè)基準(zhǔn)幀P11，以及它和通道2的P幀(P12)之間的通道間的差δ121被用來(lái)在步驟132中為通道2重建P幀(P12)。在步驟134中通過(guò)使用經(jīng)過(guò)解壓的/Δ12(表示組Ⅰ中第二個(gè)通道的S和P幀之間的通道內(nèi)的差)，連同經(jīng)過(guò)解碼的S2和P12，方法114重建預(yù)測(cè)幀B12,B22。然后，在步驟136中S2B12B22P12被傳至顯示單元。
對(duì)于每個(gè)通道，該過(guò)程持續(xù)進(jìn)行，直至第N通道，借此，在步驟137中方法114用標(biāo)準(zhǔn)解壓技術(shù)對(duì)δ1N1,SN1以及Δ1N進(jìn)行解壓，并且在標(biāo)準(zhǔn)步驟138中利用S1和SN與S1之間的經(jīng)過(guò)編碼的差SN1來(lái)建立SN。然后，在步驟140中通過(guò)求預(yù)測(cè)通道間的差δN11與P11的和的方式來(lái)建立第N通道的P幀P1N。然后，在步驟142，方法114使δN11與剛建立的幀SN和P1N組合來(lái)建立B1N和B2N。為了完成組Ⅰ信號(hào)的解碼在步驟144中方法114將這些信號(hào)傳至顯示單元，這樣，這些信號(hào)即可按下面的順序SNB1NB2NP1N來(lái)顯示。總之，本發(fā)明允許在不必對(duì)這些幀的全部視頻內(nèi)容進(jìn)行編碼和傳輸?shù)那闆r下，以一個(gè)基準(zhǔn)通道的經(jīng)過(guò)編碼的幀和相關(guān)的經(jīng)過(guò)編碼的通道間的差和通道內(nèi)的差為基礎(chǔ)對(duì)后續(xù)通道的相應(yīng)幀進(jìn)行重建。
一旦組Ⅰ的幀被編碼，方法114就根據(jù)當(dāng)前幀和下一個(gè)預(yù)測(cè)幀之間的累加誤差是否超過(guò)預(yù)置的閾值E0，即根據(jù)一個(gè)I幀是否被編碼送來(lái)執(zhí)行一個(gè)特定序列的步驟。(步驟146在圖12B中)轉(zhuǎn)至圖12B，在一個(gè)I幀未被編碼并發(fā)送的情況下，第一組的P幀P11是通道1的新的原始基準(zhǔn)幀。和組Ⅰ的原始幀(S1)不同，表示新的原始基準(zhǔn)幀的P11信號(hào)不需被解碼并顯示，因?yàn)樵诮MⅠ信號(hào)(包括預(yù)測(cè)基準(zhǔn)幀P11)被解碼的時(shí)候，它已被存于存儲(chǔ)器中。在組Ⅱ中，P11幀只被用作相應(yīng)幀的基準(zhǔn)幀，即它不再被顯示。
下面方法114重建新的預(yù)測(cè)幀P21。因?yàn)閮蓚€(gè)幀被跳過(guò)，新的P幀即是第七幀。在步驟148方法114將Δ21解壓，然后在步驟150，通過(guò)將新的基準(zhǔn)原始幀P11與Δ21信號(hào)組合的方式來(lái)建立P21。然后在步驟152中P21與P11及21組合以建立新的預(yù)測(cè)幀B11′和B21′。然后在步驟154中方法114把新的重建的P幀P21，和預(yù)測(cè)幀B11′及B21′傳至顯示單元，象下面這樣顯示基準(zhǔn)通道的幀B11′B21′P21。這些幀是通道1C1的第五、第六和第七幀。
在步驟156中，高至并包括第N通道的后續(xù)通道的幀象在步驟128-144中那樣被解碼。最后，在步驟158中方法114象上面描述的那樣持續(xù)對(duì)已編碼的視頻數(shù)據(jù)的后續(xù)組進(jìn)行解碼，以首先確定那個(gè)組的I幀是否被編碼(步驟146)。
另一方面，在圖12C的步驟160中，在每個(gè)通道的一個(gè)I幀被編碼并發(fā)送的情況下，(例如任何通道的一個(gè)通道內(nèi)的累加的差達(dá)到或超過(guò)預(yù)置的閾值E0時(shí)，就會(huì)出現(xiàn)這種情況，而在這種情況下，考慮到區(qū)的加權(quán)值，誤差空間分布法被執(zhí)行)，方法114開(kāi)始用標(biāo)準(zhǔn)解壓技術(shù)對(duì)基準(zhǔn)通道C1的I幀I1(新的基準(zhǔn)最原始幀一一它的全部視頻內(nèi)容均被編碼)進(jìn)行解壓。相類似，在步驟162，方法114對(duì)新的基準(zhǔn)預(yù)測(cè)幀P1(新)1和新的基準(zhǔn)原始幀I1之間的的差Δ1(新)1進(jìn)行解壓。然后，在步驟164，方法114通過(guò)把I1與Δ1(新)1組合來(lái)建立P1(新)1。接著，在步驟168，該方法把I1，Δ1(新)1和P1(新)1與重建的預(yù)測(cè)幀B1(新)1和B2(新)1組合。然后在步驟166方法114把經(jīng)過(guò)解碼的信號(hào)傳至顯示單元按下面的順序來(lái)顯示這些幀；I1B1(新)1B2(新)1P1(新)1。
然后象在步驟128-144中那樣，方法114持續(xù)對(duì)后續(xù)通道進(jìn)行解碼，直至第N通道。而且，在步驟172，方法114持續(xù)對(duì)輸入的視頻數(shù)據(jù)的后續(xù)組進(jìn)行解碼，以首先確定對(duì)于這個(gè)組來(lái)說(shuō)I幀是否被編碼或者對(duì)于每個(gè)通道來(lái)說(shuō)前面建立的P幀是否會(huì)是新的原始幀(步驟146)。
雖然對(duì)本發(fā)明的方法，連同對(duì)視頻數(shù)據(jù)的壓縮一道已加以描述，這里描述的技術(shù)應(yīng)能用于壓縮其它類型的信號(hào)。例如，多種語(yǔ)言版本的電影應(yīng)包括多個(gè)數(shù)據(jù)通道，每個(gè)通道與影片的一個(gè)不同語(yǔ)言版本對(duì)應(yīng)。利用本發(fā)明的技術(shù)來(lái)互交每個(gè)這樣的通道的信息以便壓縮數(shù)據(jù)儲(chǔ)存或傳輸，這是可能的。
為實(shí)現(xiàn)該項(xiàng)發(fā)明，已考慮了各種各樣的方式，如在下面的權(quán)利要求中引出的那樣，這些要求特別指明了被認(rèn)為是該項(xiàng)發(fā)明的要點(diǎn)并明確地提出了對(duì)這些要點(diǎn)的權(quán)利保護(hù)要求。
權(quán)利要求
1．對(duì)多個(gè)視頻信號(hào)通道進(jìn)行壓縮的方法，所述的方法包括以下步驟對(duì)包括每個(gè)通道的預(yù)定數(shù)量的連續(xù)幀在內(nèi)的一組視頻幀進(jìn)行編碼，所述的編碼步驟包括子步驟；(a)對(duì)每個(gè)通道的一個(gè)原始幀進(jìn)行采樣，包括一個(gè)基準(zhǔn)通道的基準(zhǔn)原始幀；(b)對(duì)每個(gè)通道的包括一個(gè)基準(zhǔn)預(yù)測(cè)幀在內(nèi)的后續(xù)幀進(jìn)行預(yù)測(cè)，每個(gè)所述的預(yù)測(cè)幀與一個(gè)所述的原始幀對(duì)應(yīng)；(c)確定每個(gè)所述的原始幀和所述的對(duì)應(yīng)的預(yù)測(cè)幀之間的一個(gè)通道內(nèi)的差；(d)確定所述的基準(zhǔn)原始和其它通道的每個(gè)所述的原始幀之間的一個(gè)原始通道間的差；(e)確定所述的基準(zhǔn)預(yù)測(cè)幀和其它通道的每個(gè)所述的預(yù)測(cè)幀之間的一個(gè)預(yù)測(cè)通道間的差。
2．根據(jù)權(quán)利要求1所述的方法，其特征在于所述的編碼步驟還包括子步驟(f)將每個(gè)所述的通道內(nèi)的差與一個(gè)預(yù)定的閾值比較；(g)如果任何一個(gè)所述的通道內(nèi)的差達(dá)到所述的閾值，則插入一個(gè)I幀作為與這個(gè)通道內(nèi)的差相關(guān)的通道的下一個(gè)后續(xù)幀。
3．根據(jù)權(quán)利要求1所述的的方法，其特征在于所述的編碼步驟還包括子步驟(f)將每個(gè)所述的通道內(nèi)的差與一個(gè)預(yù)定的閾值比較；(g)如果任何一個(gè)所述的通道內(nèi)的差達(dá)到所述的閾值，則插入一個(gè)I幀為與每個(gè)通道內(nèi)的下一個(gè)后續(xù)幀。
4．根據(jù)權(quán)利要求3所述的方法，其特征在于所述的編碼步驟還包括子步驟(h)將每個(gè)所述的原始通道間的差與一個(gè)第二閾值比較；(i)將每個(gè)所述的預(yù)測(cè)通道間的差與一個(gè)第三閾值比較；(j)如果任何一個(gè)所述的原始通道間的差達(dá)到所述的第二閾值，或者如果任何一個(gè)所述的預(yù)測(cè)通道間的差達(dá)到所述的第三閾值，則插入一個(gè)I幀作為每個(gè)通道的下一個(gè)后序幀。
5．根據(jù)權(quán)利要求4中的方法，其特征在于還包括重復(fù)對(duì)多個(gè)所述的幀組進(jìn)行編碼的編碼步驟(b)-(j)的步驟，所述的組是相互連續(xù)的。
6．根據(jù)權(quán)利要求5所述的方法，其特征在于這里所述的數(shù)目是4，而第4幀是所述的預(yù)測(cè)幀。
7．根據(jù)權(quán)利要求1所述的方法，還包括以下步驟生成一個(gè)表示所述的基準(zhǔn)原始幀的信號(hào)，和一個(gè)表示用于所述的基準(zhǔn)通道的所述的通道內(nèi)的差信號(hào)；為除了所述的基準(zhǔn)通道之外的每個(gè)通道生成一個(gè)信號(hào)集，包括一個(gè)表示一個(gè)相應(yīng)的原始通道間的差的信號(hào)，一個(gè)表示一個(gè)相應(yīng)的通道內(nèi)的差的信號(hào)，和一個(gè)表示一個(gè)相應(yīng)的預(yù)測(cè)通道間的差的信號(hào)；把所述的基準(zhǔn)原始幀信號(hào)，所述的基準(zhǔn)通道內(nèi)的差信號(hào)和每個(gè)所述的信號(hào)集傳至一個(gè)解碼器。
8．根據(jù)權(quán)利要求6所述的方法，其特征在于還包括在所述的傳輸步驟之前用標(biāo)準(zhǔn)MPEG壓縮技術(shù)對(duì)所述的基準(zhǔn)原始幀信號(hào)，所述的基準(zhǔn)通道內(nèi)的差信號(hào)和每個(gè)所述的信號(hào)集進(jìn)行壓縮的步驟。
9．根據(jù)權(quán)利要求8所述的方法，這里對(duì)所述的預(yù)測(cè)幀的壓縮要比對(duì)所述的基準(zhǔn)原始幀的壓縮高10倍。
10．根據(jù)權(quán)利要求7所述的方法，還包括以下步驟在所述的解碼器中重建(1)所述的基準(zhǔn)原始幀，用所述的基準(zhǔn)原始幀信號(hào)；(2)除所述的基準(zhǔn)原始幀之外的每個(gè)所述的原始幀，用所述的基準(zhǔn)原始幀和所述的原始通道間的差的信號(hào)中的一個(gè)相應(yīng)的信號(hào)；(3)所述的基準(zhǔn)預(yù)測(cè)幀，用所述的基準(zhǔn)原始幀和所述的基準(zhǔn)通道內(nèi)的差信號(hào)；(4)除所述的基準(zhǔn)預(yù)測(cè)幀之外的每個(gè)所述的預(yù)測(cè)幀，用所述的重建的基準(zhǔn)預(yù)測(cè)幀和所述的基準(zhǔn)通道間的差信號(hào)的一個(gè)相應(yīng)的信號(hào)。
11．根據(jù)權(quán)利要求10所述的方法，其特征在于還包括以下步驟將所述的基準(zhǔn)原始幀和每個(gè)所述的重建的幀傳至一個(gè)顯示單元；顯示所述的基準(zhǔn)原始幀和所述的重建的幀。
12．根據(jù)權(quán)利要求4所述的方法，其特征在于這里所述的編碼步驟(a)-(j)是通過(guò)人工智能或模糊邏輯軟件完成的。
13．根據(jù)權(quán)利要求10所述的方法，其特征在于這里所述的重建步驟是通過(guò)人工智能或模糊邏輯軟件完成的。
14．對(duì)多個(gè)視頻信號(hào)通道進(jìn)行壓縮的方法，包括一個(gè)基準(zhǔn)通道，所述的方法包括以下步驟對(duì)一組視頻信號(hào)幀進(jìn)行編碼，所述的組包括每個(gè)通道的預(yù)定數(shù)量的幀，所述的編碼步驟包括以下子步驟(a)對(duì)每個(gè)通道的一個(gè)原始幀進(jìn)行采樣；(b)對(duì)每個(gè)通道的一個(gè)后續(xù)幀進(jìn)行預(yù)測(cè)，每個(gè)所述的預(yù)測(cè)幀與一個(gè)所述的原始幀對(duì)應(yīng)；(c)確定每個(gè)所述的原始幀和所述的對(duì)應(yīng)預(yù)測(cè)幀之間的每個(gè)通道內(nèi)的差；(d)將每個(gè)所述的通道內(nèi)的差與一個(gè)閾值比較；(e)如果任何一個(gè)所述的通道內(nèi)的差達(dá)到所述的閾值，則插入一個(gè)I幀作為每個(gè)通道的下一個(gè)后續(xù)幀。
15．根據(jù)權(quán)利要求14所述的方法，其特征在于還包括將每個(gè)所述的原始幀和每個(gè)所述的對(duì)應(yīng)的預(yù)測(cè)幀分成區(qū)的步驟。
16．根據(jù)權(quán)利要求15所述的方法，其特征在于還包括步驟確定所述的原始幀的每個(gè)區(qū)和所述的對(duì)應(yīng)預(yù)測(cè)幀的一個(gè)對(duì)應(yīng)的區(qū)之間的一個(gè)區(qū)差。
17．根據(jù)權(quán)利要求16所述的方法，其特征在于還包括以下步驟對(duì)每個(gè)通道而言，將與該通道對(duì)應(yīng)的每個(gè)所述的區(qū)差進(jìn)行累加；將每個(gè)所述的累加區(qū)差與一個(gè)閾值比較，如果所述的累加區(qū)差中的任一個(gè)達(dá)到所述的閾值，則插入一個(gè)I幀作為每個(gè)通道的下一個(gè)后續(xù)幀。
18．根據(jù)權(quán)利要求16所述的方法，其特征在于還包括為每個(gè)所述的區(qū)差指定一個(gè)加權(quán)值的步驟。
19．根據(jù)權(quán)利要求18所述的方法，還包括以下步驟基于與每個(gè)所述的區(qū)差相關(guān)的加權(quán)值，確定每個(gè)所述的區(qū)差是否有效；對(duì)每個(gè)通道而言，將每個(gè)所述的有效區(qū)差累加起來(lái)；將每個(gè)所述的累加區(qū)差與一個(gè)閾值比較，如果任一個(gè)累加的區(qū)差達(dá)到所述的閾值，則插入一個(gè)I幀作為那個(gè)通道的下一個(gè)后續(xù)幀。
20．根據(jù)權(quán)利要求18所述的方法，其特征在于還包括以下步驟基于與每個(gè)所述的區(qū)差相關(guān)的加權(quán)值，確定每個(gè)所述的區(qū)差是否有效；對(duì)每個(gè)通道而言，將每個(gè)所述的有效區(qū)差累加起來(lái)；將每個(gè)所述的累加區(qū)差與一個(gè)閾值比較，如果任一個(gè)累加的區(qū)差達(dá)到所述的閾值，則插入一個(gè)I幀作為每個(gè)通道的下一個(gè)后續(xù)幀。
21．根據(jù)權(quán)利要求14所述的方法，其特征在于這里所述的數(shù)字等于4，而第四個(gè)幀是所述的預(yù)測(cè)幀。
22．根據(jù)權(quán)利要求14所述的方法，其特征在于還包括以下步驟重復(fù)執(zhí)行對(duì)多個(gè)所述的幀組進(jìn)行編碼的所述編碼步驟的(b)-(e)步驟，所述的組是相互后續(xù)的。
23．對(duì)多個(gè)視頻信號(hào)通道進(jìn)行編碼的方法，每個(gè)通道有多個(gè)連續(xù)幀，該方法包括以下步驟對(duì)包括一個(gè)基準(zhǔn)通道的每個(gè)通道的一個(gè)原始幀進(jìn)行采樣；預(yù)測(cè)每個(gè)通道的一個(gè)后續(xù)幀，每個(gè)所述的預(yù)測(cè)幀與所述的原始幀中的一個(gè)幀相對(duì)應(yīng)；確定每個(gè)所述的原始幀和所述的對(duì)應(yīng)的預(yù)測(cè)幀之間的一個(gè)通道內(nèi)的差；確定所述的基準(zhǔn)原始幀和每個(gè)其它原始幀之間的一個(gè)原始通道間的差；確定所述的基準(zhǔn)通道的一個(gè)基準(zhǔn)預(yù)測(cè)幀和基它通道的每個(gè)所述的預(yù)測(cè)幀之間的一個(gè)預(yù)測(cè)通道間的差；將每個(gè)所述的通道內(nèi)的差和多個(gè)所述的原始通道間的差，每個(gè)所述的預(yù)測(cè)通道間的差，和所述的原始基準(zhǔn)幀傳至一個(gè)解碼器，以供重建視頻信號(hào)。
24．對(duì)多個(gè)視頻信號(hào)通道進(jìn)行壓縮的方法，所述的方法包括以下步驟確定每個(gè)通道的一個(gè)當(dāng)前幀和一個(gè)預(yù)測(cè)幀之間的一個(gè)通道內(nèi)的差；如果任一所述的通道內(nèi)的差達(dá)到一個(gè)預(yù)定閾值，則在每個(gè)通道的當(dāng)前幀之后插入一個(gè)I作為下一個(gè)后續(xù)幀。
25．對(duì)多個(gè)視頻信號(hào)通道的經(jīng)過(guò)壓縮的視頻信號(hào)進(jìn)行傳輸?shù)姆椒ǎ摲椒òㄒ韵虏襟E對(duì)每個(gè)通道的原始幀進(jìn)行采樣；將對(duì)每個(gè)所述的原始幀分成區(qū)；對(duì)接續(xù)在每個(gè)所述的原始幀后面的一個(gè)相應(yīng)的P幀進(jìn)行預(yù)測(cè)；將每個(gè)所述的對(duì)應(yīng)的P幀分成區(qū)；確定每個(gè)所述的原始幀中的每個(gè)區(qū)與每個(gè)所述的對(duì)應(yīng)的預(yù)測(cè)P幀中的每個(gè)區(qū)之間的一個(gè)通道內(nèi)的差；對(duì)每個(gè)通道而言，對(duì)每個(gè)區(qū)的所述的通道內(nèi)的差進(jìn)行累加；將每個(gè)所述的經(jīng)過(guò)累加的通道內(nèi)的差與一個(gè)閾值比較；如果任何一個(gè)所述的經(jīng)過(guò)累加的通道內(nèi)的差達(dá)到所述的閾值，則插入一個(gè)I幀作為每個(gè)通道的下一個(gè)后續(xù)幀。
26．用動(dòng)態(tài)估算的方式對(duì)多個(gè)視頻信號(hào)通道的視頻信號(hào)進(jìn)行壓縮的方法，包括以下步驟(a)對(duì)于每個(gè)通道而言，把將被編碼的一個(gè)當(dāng)前幀的一個(gè)區(qū)段與前一幀的一個(gè)相應(yīng)區(qū)段進(jìn)行比較，以獲得一個(gè)通道內(nèi)的差；(b)重復(fù)執(zhí)行比較步驟(a)，直到每個(gè)通道的所述當(dāng)前幀的所有區(qū)段的所述通道內(nèi)的差均被確定為止；(c)對(duì)于每個(gè)通道而言，求所述的通道內(nèi)的差的總和以為每個(gè)通道獲得一個(gè)累加的通道內(nèi)差；(d)將每個(gè)通道的所述經(jīng)過(guò)累加的通道內(nèi)的差與一個(gè)閾值比較，以確定是否應(yīng)插入一個(gè)新的I幀作為將被編碼的下一個(gè)后續(xù)幀。
27．對(duì)多個(gè)通道的視頻信號(hào)進(jìn)行壓縮的方法，其中包括一個(gè)基準(zhǔn)通道，而所述的方法包括以下步驟對(duì)一組幀進(jìn)行編碼，所述的組包括每個(gè)通道的預(yù)定數(shù)量的幀，所述的編碼步驟包括以下子步驟(a)對(duì)一對(duì)通道的一對(duì)原始幀進(jìn)行采樣；(b)對(duì)每對(duì)所述的通道的一對(duì)后續(xù)幀進(jìn)行預(yù)測(cè)，每對(duì)所述的預(yù)測(cè)幀與一對(duì)所述的原始幀對(duì)應(yīng)。(c)在每個(gè)所述的原始幀與所述的對(duì)應(yīng)的預(yù)測(cè)幀之間確定一個(gè)通道內(nèi)的差；(d)將每個(gè)所述的通道內(nèi)的差與一個(gè)閾值比較；(e)如果任一所述的通道內(nèi)的差達(dá)到所述的閾值，則插入一個(gè)I幀作為每個(gè)通道的下一個(gè)后續(xù)幀。
全文摘要
用MPEG兼容技術(shù)對(duì)多通道進(jìn)行壓縮的方法(方塊圖96)。該方法對(duì)每個(gè)通道內(nèi)及間的幀之間的差進(jìn)行編碼(方塊圖C
文檔編號(hào)H04N7/32GK1323426SQ99812322
公開(kāi)日2001年11月21日 申請(qǐng)日期1999年8月19日 優(yōu)先權(quán)日1998年8月19日
發(fā)明者安德魯·A·考斯托佐夫斯基, 米切爾·A·皮利安文 申請(qǐng)人:物理光學(xué)公司