專利名稱：控制和傳遞異類通信網(wǎng)中數(shù)字壓縮可視數(shù)據(jù)的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及自動管理數(shù)字壓縮可視數(shù)據(jù)的傳遞，特別涉及用于控制在異類通信網(wǎng)絡(luò)中的數(shù)字壓縮可視數(shù)據(jù)的比特率和容錯性(error robustness)的設(shè)備和方法。
隨著新的通信系統(tǒng)的出現(xiàn)，除了高效的聲音服務(wù)之外，還可以傳送數(shù)字可視信息和數(shù)據(jù)。這種新通信系統(tǒng)既包括有線網(wǎng)絡(luò)，也包括無線網(wǎng)絡(luò)。在有線網(wǎng)絡(luò)的環(huán)境中，在個人和公共領(lǐng)域中都開發(fā)了分組和電路交換通信系統(tǒng)，用于廣域和局域覆蓋。作為基于分組的通信的一部分，在諸如作為公司基礎(chǔ)結(jié)構(gòu)的一部分的局域網(wǎng)和諸如公共因特網(wǎng)的廣域網(wǎng)之間交換相當(dāng)多的數(shù)據(jù)。在這個領(lǐng)域中已經(jīng)出現(xiàn)了對服務(wù)質(zhì)量(QoS)擔(dān)保的服務(wù)，以支持可視和多媒體通信。
也已經(jīng)開發(fā)出新的無線系統(tǒng)來支持比以前具有更高比特率的信息傳輸。這些無線系統(tǒng)與國際蜂窩式通信標(biāo)準(zhǔn)相一致，包括使用了時分多路訪問(TDMA)和碼分多路訪問(CDMA)的數(shù)字通信空中接口標(biāo)準(zhǔn)。廣泛使用的TDMA通信的一個例子是全球移動通信系統(tǒng)(GSM)。CDMA形成了第三代蜂窩式通信標(biāo)準(zhǔn)IMT-2000的基礎(chǔ)。
這些通信系統(tǒng)(有線和無線的)的大多數(shù)都已經(jīng)被設(shè)計為允許在每個系統(tǒng)的基礎(chǔ)結(jié)構(gòu)內(nèi)相連的用戶和那些使用基礎(chǔ)結(jié)構(gòu)之外的設(shè)備的用戶之間進(jìn)行最大量信息的交換。例如，IMT-2000協(xié)議可以支持從無線終端到位于分組交換有線系統(tǒng)上的終端的數(shù)據(jù)通信。此外，在這些通信系統(tǒng)內(nèi)，終端或客戶可以作為服務(wù)器根據(jù)它們在每個系統(tǒng)中的位置以不同的比特率連接到其他終端。這產(chǎn)生了異類通信網(wǎng)絡(luò)的概念，異類通信網(wǎng)絡(luò)是包括不同的或不相似的連接但常常傳送相似信息的網(wǎng)絡(luò)。
當(dāng)考慮異類通信網(wǎng)絡(luò)中的可視信息的通信時，則出現(xiàn)了問題。出現(xiàn)的第一個問題是可視信息、特別是數(shù)字壓縮可視信號比在相同時間間隔上壓縮的同等語音信號需要大得多的帶寬。在具有不同標(biāo)稱傳輸比特率的系統(tǒng)之間傳輸可視信息會出現(xiàn)很多困難，因為從這些不兼容的比特率中會產(chǎn)生時延。另外，異類網(wǎng)絡(luò)中的不同通信系統(tǒng)的各種誤差特性也產(chǎn)生可視信息傳輸?shù)膯栴}，因為很難在視覺空間中遮蓋這些誤差。
并不僅僅是這些問題組成了在不同系統(tǒng)上傳送可視信息的困難。被設(shè)計為在異類網(wǎng)絡(luò)中開發(fā)可視信息的通信的服務(wù)必須并且必然依賴于數(shù)字壓縮視頻的存在。因此，不僅產(chǎn)生新內(nèi)容還要利用現(xiàn)有內(nèi)容則是這些服務(wù)的進(jìn)一步開發(fā)和成功的主要焦點。對于單行的視覺應(yīng)用，已經(jīng)存在相當(dāng)多的用于培訓(xùn)和娛樂的數(shù)字編碼內(nèi)容，這些內(nèi)容可以被傳遞給無線網(wǎng)絡(luò)上的移動用戶或以不同速率連在有線網(wǎng)絡(luò)上的客戶?，F(xiàn)有的或“傳統(tǒng)”的視頻資料主要用ISO MPEG-1和MPEG-2標(biāo)準(zhǔn)編碼，但傳統(tǒng)內(nèi)容也以ITU-T H.261、少量以H.263標(biāo)準(zhǔn)的形式存在。這種資料對于新多媒體服務(wù)具有較高的價值，同時導(dǎo)致新視覺編碼標(biāo)準(zhǔn)、例如ISO MPEG-4的接受和使用。
在低帶寬有線和無線網(wǎng)絡(luò)上傳遞傳統(tǒng)數(shù)據(jù)的一個問題是原來編碼的帶寬一般超過該網(wǎng)絡(luò)的容量，其中假設(shè)在該數(shù)據(jù)的傳遞上有一個最大延遲限制。例如，一些無線移動系統(tǒng)可以具有支持MPEG-1譯碼的多媒體終端，但到允許多媒體的移動終端的信道速率可能僅為64Kbps。在這種情況下，在開始重放之前，以1.5Mbps編碼的MPEG-1資料將需要相當(dāng)長的緩沖延遲時間。除非大多數(shù)序列被事先下載，否則將出現(xiàn)停轉(zhuǎn)，因此譯碼器的緩沖器騰空的速度將比填充要快得多。并且，移動終端不太可能能夠提供足夠的存儲器來緩沖長序列。因此，需要能夠成功地將這種類型的高比特率數(shù)據(jù)處理到低速率，以使得其與網(wǎng)絡(luò)上的低帶寬連接相兼容。
由于具有發(fā)送和交換可視信息的能力的新的有線和無線通信系統(tǒng)的出現(xiàn)，對于管理在這些網(wǎng)絡(luò)上傳遞的可視內(nèi)容的方法和設(shè)備的需求相當(dāng)大。特別地，需要自動管理預(yù)先存在的數(shù)字視頻比特流的比特率和容錯性、以使得其能夠在異類網(wǎng)絡(luò)中的任何節(jié)點以可兼容形式傳遞給用戶的技術(shù)。
因此，簡要地說，本發(fā)明提供一種用于以自動方式改變在網(wǎng)絡(luò)中一源點的數(shù)字壓縮視頻比特流、以使得產(chǎn)生的比特流與在異類通信網(wǎng)絡(luò)中的接收點的不同帶寬和差錯復(fù)原能力要求相兼容的方法和裝置。該新穎的方法包括分析原始比特流的標(biāo)題信息，以確定其編碼參數(shù)。然后采用從網(wǎng)絡(luò)上的接收點的反饋來確定網(wǎng)絡(luò)的誤差特性。帶寬和差錯復(fù)原能力要求建立了對原始比特流的相關(guān)和非相關(guān)比特的優(yōu)先化和選擇，其中，相關(guān)比特由一個堅韌性調(diào)整器來控制，以實現(xiàn)網(wǎng)絡(luò)中的差錯防護(hù)。該方法的主要發(fā)明部分包括識別非相關(guān)和低優(yōu)先權(quán)視頻比特、故意引入分組損耗以減少比特率、對于比特流的非相關(guān)和低優(yōu)先權(quán)部分使用替換標(biāo)記、以及為提高差錯復(fù)原能力而插入再同步標(biāo)記。


圖1是依據(jù)本發(fā)明的一個實施例的用于處理一個輸入比特流并輸出一個與接收終端兼容的比特流的比特流調(diào)整系統(tǒng)的方框圖。
圖2是依據(jù)本發(fā)明的用于以可量測(scalable)信息調(diào)整編碼的比特流以產(chǎn)生一個與接收終端兼容的比特流的方法的一個最佳實施例的概括流程圖。
圖3A、3B和3C例示性地提供了將再同步標(biāo)記插入一個比特流以及變換一個視頻分組中的不同編碼分量以支持堅韌譯碼的例子。
圖4A和4B例示性地提供了在比特率調(diào)整之后將替換標(biāo)記插入一個比特流、以保持在兼容接收終端的譯碼質(zhì)量的例子。
圖5顯示了依據(jù)本發(fā)明的用于處理一個編碼視頻數(shù)據(jù)比特流中的比特、以產(chǎn)生一個與接收終端兼容的比特流的設(shè)備的一個最佳實施例的方框圖。
下面參考圖1-5更全面地說明本發(fā)明。圖1顯示了一個可視比特流調(diào)整方法的方框圖100，該方法定義了一個以這里所述方式操作的控制系統(tǒng)。輸入比特流101通過標(biāo)題分析級103，標(biāo)題分析級103提取出關(guān)于用于產(chǎn)生該比特流的標(biāo)準(zhǔn)類型的信息。該信息通過標(biāo)準(zhǔn)類型識別級105，在主比特流控制107中產(chǎn)生控制參數(shù)的分配(assignment)，主比特流控制107接收描述接收終端性能的輸入?yún)?shù)109。將這些步驟設(shè)計為設(shè)置系統(tǒng)，以用于對比特流適當(dāng)?shù)恼{(diào)整以及將其從發(fā)送者可兼容地發(fā)送到接收端。特別地，對比特流編碼所用原始可視編碼標(biāo)準(zhǔn)的識別與關(guān)于接收端性能的信息一起確定出在能進(jìn)行可兼容通信之前必須對比特流進(jìn)行處理的程度。
主比特流控制步驟的輸出連到堅韌性調(diào)整級111。在這一級中，對調(diào)整了比特率的比特流進(jìn)行修改，以提供出與連接源端和接收端的信道的差錯特性兼容的比特流。這個堅韌性調(diào)整依賴于在105識別出的原始比特流的標(biāo)準(zhǔn)類型。調(diào)整是通過對可視信息的編碼幀中的比特進(jìn)行分組而完成的，其中分組是以一種使得差錯可以由堅韌譯碼器檢測、定位和隱蔽的方式進(jìn)行的。使用再同步標(biāo)記113來使得可視比特流與支持子幀再同步的標(biāo)準(zhǔn)一致。堅韌性調(diào)整步驟處理該比特流，使得對于由插入的再同步標(biāo)記界定的每段比特的獨立譯碼是可能的。在預(yù)測編碼信息的情況下，用只使用相同段內(nèi)的預(yù)測的同等信息來替換該信息。這一級被稱為視頻分組轉(zhuǎn)換115。例如，這適用于用從相同段中的信息計算出的運動矢量差對通過再同步段計算出的運動矢量差的碼字替換。
視頻分組轉(zhuǎn)換步驟的輸出連到比特率調(diào)整級119，該比特率調(diào)整級119接收故意分組損耗信息117，并另外舍棄非相關(guān)比特121，以減少比特流的比特率。比特率調(diào)整級的目的是調(diào)節(jié)輸入比特流的比特率，以使得傳遞的比特流與接收端及其傳送信道的性能相兼容。這是通過處理和去除輸入比特流中的比特實現(xiàn)的。本發(fā)明并未提供對比特流明確譯碼和再編碼(也稱為轉(zhuǎn)換代碼)的機(jī)構(gòu)，但卻支持對比特流的在壓縮域內(nèi)的碼字轉(zhuǎn)換。比特率調(diào)整器從輸入的比特流有選擇地去除信息，以使得輸出比特流與可兼容的傳遞比特率相一致。故意分組損耗117提供了一個機(jī)構(gòu)來減少低于原始輸入比特流的最低基層比特率的比特率。術(shù)語“基層”用于描述可定標(biāo)比特流的最低優(yōu)先權(quán)的可獨立譯碼層。當(dāng)丟棄選定分組的比特時，在接收端被截短的比特流仍然能夠被堅韌譯碼器有效譯碼，而質(zhì)量不會明顯下降。
將替換標(biāo)記123插入比特流的應(yīng)用使得譯碼器不需要在標(biāo)稱相關(guān)標(biāo)準(zhǔn)譯碼器上的附加性能就能夠無縫隙地對一個調(diào)整了比特率的比特流進(jìn)行譯碼。這種情況的一個例子是一個諸如MPEG-2的標(biāo)準(zhǔn)需要一個預(yù)先指定的編碼幀速率、例如每秒30幀，而這些幀被比特率調(diào)整器丟棄了。在這個例子中，替換標(biāo)記是預(yù)先確定的二進(jìn)制碼字，代表空幀，并保留比特流中的編碼幀的時間關(guān)系。
最后，將經(jīng)過處理的輸入比特流傳遞給異類網(wǎng)絡(luò)，隨后傳遞給接收端。上述方法100提供了對從各種源端向具有不同帶寬和容錯能力的接收端傳遞標(biāo)準(zhǔn)化數(shù)字壓縮可視信息的問題的一個解決辦法。該整個方法支持所有類別的現(xiàn)有可視編碼標(biāo)準(zhǔn)，這是通過適應(yīng)每個標(biāo)準(zhǔn)的特定語法元素、并只將本發(fā)明的每一級利用到仍然產(chǎn)生與該標(biāo)準(zhǔn)相一致的比特流的程度上來實現(xiàn)的。
圖2顯示了用于對以諸如INTRA(I)、PREDICTED(P)和BI DIRECTIONALLY PREDICTED(B)幀的優(yōu)先化幀類型和/或包括時間、空間和SNR可量測幀的可定標(biāo)幀類型編碼的比特流進(jìn)行調(diào)整的方法的一個最佳實施例的概括流程圖200。具有I、P和B幀的比特流的自發(fā)國際標(biāo)準(zhǔn)的例子包括MPEG-1、MPEG-2、MPEG-4和H.263 v2。具有可量測幀的比特流的標(biāo)準(zhǔn)的例子包括MPEG-2、H.263 v2和MPEG-4。在所有情況中，最佳實施例200定義了一種用于處理具有多個幀類型的標(biāo)準(zhǔn)適應(yīng)比特流以便在在一個異類網(wǎng)絡(luò)上傳遞之前調(diào)整該比特流的比特率和容錯性的方法。
本發(fā)明的最佳實施例如流程圖200所示，其中，輸入MPEG-4比特流201具有兩層基層209和時間可量測增強(qiáng)層211。時間可量測增強(qiáng)層是由MPEG-4標(biāo)準(zhǔn)支持的語法元素，包括在時間上交織有基層視頻幀的多個視頻幀。譯碼器可以對該時間可量測層的所有幀或一些幀譯碼或不對任何幀譯碼，而不影響被譯碼的基層的標(biāo)稱質(zhì)量。這是因為在MPEG-4的語法中該可量測層并不用于預(yù)測在可量測的同一層或較低層的任何信息。
如203所示，以輸入的預(yù)定列表的標(biāo)準(zhǔn)標(biāo)題代碼204分析輸入比特流201。該分析徹底地將標(biāo)準(zhǔn)標(biāo)題代碼列表與輸入比特流中的相關(guān)前導(dǎo)比特進(jìn)行比較，以確定用于壓縮該比特流的標(biāo)準(zhǔn)和語法。然后將該比特流進(jìn)行多路分離207，以提供兩個獨立比特流，一個基層209和一個時間可量測層211。從輸入比特流提取出定義基層和增強(qiáng)層的關(guān)系和類型的參數(shù)205，并傳送到這個最佳實施例的主比特流控制級213。由主比特流控制級共同處理獨立比特流209和211。主比特流控制級也接收來自網(wǎng)絡(luò)的控制信號215，該控制信號描述接收端的性能，在215中為“Recv.Caps”。特別地，這些控制信號表明所希望的在網(wǎng)絡(luò)上的傳送帶寬以及網(wǎng)絡(luò)上的接收端位置。這個位置信息說明接收端的信道狀態(tài)，并表明它是通過網(wǎng)絡(luò)的有線還是無線支路連接的。
主比特流控制213將比特流送給堅韌性調(diào)整級217。調(diào)節(jié)輸入數(shù)據(jù)的差錯復(fù)原能力，以減輕在接收端的譯碼器中的差錯影響。在由圖2的流程圖200所述的最佳實施例中，這是通過將再同步標(biāo)記插入219基層比特流209、即允許對堅韌譯碼器中的差錯定位的MPEG-4的語法元素來實現(xiàn)的。插入這些標(biāo)志是調(diào)節(jié)比特流中的碼字所必須的，以使得預(yù)測編碼的信息不需要來自獨立視頻分組的值，其中這些獨立視頻分組是由在由再同步標(biāo)志的不同集合所界定的段中包含的比特表示的空間區(qū)域。這是通過對不同編碼的代碼的轉(zhuǎn)換221來實現(xiàn)的，這將在后面進(jìn)一步詳細(xì)說明。
圖3A、3B和3C例示性地提供了將再同步標(biāo)記插入比特流以及轉(zhuǎn)換一個視頻分組內(nèi)的不同編碼分量以支持堅韌譯碼的例子。在圖3A中，301表示一個沒有子幀再同步的視頻幀的語法元素的最高級的原始視頻幀比特流。這樣一個比特流在存在信道差錯的情況下的差錯復(fù)原能力很差，因為所有信息都是在該比特流的編碼宏塊(macroblock)數(shù)據(jù)部分內(nèi)被預(yù)測編碼的。當(dāng)出現(xiàn)差錯時，只有當(dāng)遇到下一個唯一的視頻幀標(biāo)題時，才有可能繼續(xù)進(jìn)行譯碼。本發(fā)明解決了這種對差錯定位能力差的問題，如圖3B所示，在總體上由303表示。在圖示303中，顯示了一個具有視頻分組再同步的比特流。在這個比特流中，插入的再同步標(biāo)記使得譯碼器能夠?qū)⒉铄e定位到該比特流的較小部分，并因此在易出差錯的異類通信網(wǎng)絡(luò)的一個接收端產(chǎn)生更高級別的質(zhì)量。在圖3C的305顯示了關(guān)于最常用的預(yù)測編碼語法元素-運動矢量的用于轉(zhuǎn)換在新形成的視頻分組內(nèi)的預(yù)測編碼碼字的方法。如圖3C中的放大的細(xì)節(jié)所示，在宏塊X的運動矢量碼字被計算為在X的運動矢量與在相鄰宏塊位置A、B和C的運動矢量的一個函數(shù)的差。當(dāng)如參考圖3B所述地插入一個再同步標(biāo)記時，產(chǎn)生預(yù)測碼的新的視頻分組邊界。這個邊界防止在任一個相鄰視頻分組由于差錯而被破壞的情況下的當(dāng)前視頻分組的訛誤。于是，只相對于位于同一視頻分組內(nèi)的最近的宏塊來計算運動矢量碼字，即運動矢量差(MVD)。這在圖3C中顯示為MVX-f(MVC)，來代替MVX-f(MVA，MVB，MVC)，其中f(a)是由相關(guān)視頻標(biāo)準(zhǔn)的語法定義的函數(shù)，通常被定義為中值算子。定位預(yù)測碼的方法包括只分析和識別使用相關(guān)標(biāo)準(zhǔn)中的預(yù)測編碼的當(dāng)前碼字，并將這些碼字轉(zhuǎn)換成適當(dāng)?shù)拇a元，用于定位的預(yù)測碼字。在MPEG-4的環(huán)境中，這適用于對運動矢量差碼字的簡單轉(zhuǎn)換，如圖3C的305所示，并以相同的方式適用于任何預(yù)測編碼紋理數(shù)據(jù)，包括量化參數(shù)和DCT系數(shù)值。
在堅韌性調(diào)整級217之后，將修改的比特流數(shù)據(jù)以及未由步驟219和221修改的比特流的那些部分傳遞到比特率調(diào)整級223。采用了兩種技術(shù)來達(dá)到所需的比特率，所需的比特率低于輸入比特流的比特率。第一個降低比特率的方法是舍棄該比特流中與低優(yōu)先權(quán)幀相聯(lián)系的比特。與時間可量測幀相聯(lián)系的比特代表最低優(yōu)先權(quán)比特，被首先從輸入比特流中舍棄，如227所示?；鶎颖忍亓鞔聿粫苯佑绊懸粋€典型譯碼器的性能的可達(dá)到的最低比特率比特流。然后通過與比特率調(diào)整級223相連的分組損耗指示標(biāo)志225引入故意分組損耗。這些分組損耗指示標(biāo)志225用于從基層比特流中舍棄比特229，從而產(chǎn)生具有降低的比特率的輸出比特流。
故意分組損耗的引入代表這個最佳實施例的一個關(guān)鍵的新穎要素。故意將分組損耗引入基層比特流的特定方式采用了一個預(yù)定的丟棄方案。故意丟棄分組的一個預(yù)定方案是以均勻的間隔去除與每個視頻幀的非鄰接邏輯再同步段-在MPEG-4中為視頻分組-相聯(lián)系的比特，直到達(dá)到所需的比特率降低量。當(dāng)從一幀中丟棄一個分組時，丟棄在下一個幀中的一個不覆蓋同一空間區(qū)域的分組。這防止場景的任何單個區(qū)域的嚴(yán)重降級。這是通過保存關(guān)于每個丟棄分組中的宏塊號的歷史信息而實現(xiàn)的。以覆蓋上一個丟棄的分組的宏塊范圍的宏塊號開始的分組不被丟棄。依據(jù)該方法，在下一幀中第一個順序未覆蓋分組是進(jìn)行丟棄的第一個候選。在引入分組損耗中這種對統(tǒng)計信息的使用在降低比特率而不顯著降低視頻質(zhì)量方面是必要的。
當(dāng)在輸入比特流的視頻分組內(nèi)已經(jīng)使用了“數(shù)據(jù)分割”時，在這個最佳實施例中，只有該視頻分組的紋理編碼分量被丟棄。當(dāng)在輸入比特流的視頻分組內(nèi)還未使用“數(shù)據(jù)分割”時，在這個最佳實施例中，該視頻分組的運動和紋理組合分量被丟棄。當(dāng)子幀再同步標(biāo)志還未在原始比特流中使用或者由堅韌性調(diào)整級插入時，由該方法丟棄全部視頻幀。當(dāng)丟棄全部視頻幀時，B幀是最低優(yōu)先級，首先被丟棄，隨后是P幀，然后是I幀。在時間上離前一個I幀最遠(yuǎn)的P幀先于其他P幀被丟棄。這是因為出現(xiàn)在比特流中的用于再同步該場景的新I幀的似然性增大了距離最后一個編碼的I幀的時間。該方法的這一級的使用被在接收端239存在的堅韌譯碼器所增強(qiáng)。雖然不需要用于本發(fā)明的成功實施，但這樣一個終端將隱藏通過丟棄視頻分組的比特而引入的差錯。
如果接收端性能表明該視頻譯碼器不是一個堅韌譯碼器，則需要將替換信息插入該比特流中，以保證在接收端的精確譯碼。在該方法的下一個步驟中，替換碼字比特231的引入完成了這個任務(wù)。在如流程圖200所示的一個最佳實施例中，在步驟223丟棄再同步分組。圖4A和4B進(jìn)一步描述了依據(jù)該最佳實施例為兩種情形的丟棄MPEG-4視頻分組信息插入替換信息的情況。在圖4A所示的第一個例子401中，由圖2中的比特率調(diào)整器217丟棄與一個視頻分組的紋理編碼部分相聯(lián)系的比特。第一個例子的部分401a識別一個原始的被數(shù)據(jù)分割的視頻分組比特流；部分401b代表帶有替換標(biāo)記的視頻分組比特流。這些由一個唯一的運動標(biāo)志界定的被丟棄比特與空間預(yù)測差錯碼字(CBPY，DQ，DCT)相聯(lián)系，其譯碼值在已經(jīng)進(jìn)行了運動補(bǔ)償之后被加到一個視頻幀的空間部分上。這個信息是一個MPEG-4視頻分組的最低優(yōu)先權(quán)分量。雖然這個例子例示性地提供了MPEG-4的語法的細(xì)節(jié)，但相同的概念也可運用到MPEG-2標(biāo)準(zhǔn)的視頻語法上。在例子401中，將替換比特以零值預(yù)測差錯系數(shù)的碼字(CBPY’，DQ’，DCT’)的形式插入比特流中。這些碼字需要與由丟棄比特消耗的比特率相比為可忽略的比特率。在圖4B的例子403顯示了同一概念的一個更極端的例子，其中，在輸入比特流中沒有進(jìn)行數(shù)據(jù)分割。圖4B的部分403a代表一個原始組合運動紋理視頻分組比特流；部分403b代表一個帶有替換標(biāo)記的視頻分組比特流。在這種情況下，丟棄與該視頻分組的有效負(fù)載相聯(lián)系的所有比特。保留視頻分組標(biāo)題，并用來表明該視頻分組的邊界宏塊信息。所使用的替換比特是不包含運動和預(yù)測差錯信息的塊的組合運動和紋理信息的碼字(CBP’)。這在例子403中被稱為“未編碼”碼字。與在例子401中一樣，由替換比特消耗的比特率與由所考慮的原始視頻分組消耗的比特率相比是可忽略的。
繼續(xù)參考由圖2所示的本發(fā)明的最佳實施例的說明，在233從比特率調(diào)整級輸出一個調(diào)整了比特率的比特流。將輸出比特流傳遞給異類網(wǎng)絡(luò)237，以便在接收端239進(jìn)行后續(xù)的譯碼。
圖5顯示了一個用于處理數(shù)字壓縮視頻比特流、以產(chǎn)生與異類通信網(wǎng)絡(luò)的帶寬和差錯復(fù)原能力要求相兼容的輸出比特流的設(shè)備500的示意圖。設(shè)備500包括一個與主比特流控制器505相連的標(biāo)題分析單元，用于確定用于壓縮輸入比特流501的標(biāo)準(zhǔn)類型和語法。標(biāo)題分析單元503接收來自一個保存預(yù)定標(biāo)準(zhǔn)標(biāo)題代碼的列表的存儲模塊504的輸入，存儲模塊504使得分析單元能通過對標(biāo)題比特的完全匹配來計算當(dāng)前標(biāo)準(zhǔn)和語法。主比特流控制器505是用于根據(jù)在單元503中確定的語法從輸入比特流丟棄選定的比特的裝置。主比特流控制器505包括堅韌性調(diào)整模塊509、比特率調(diào)整模塊511、以及替換標(biāo)記發(fā)生器515。
堅韌性調(diào)整模塊509是一個根據(jù)在單元503中確定的標(biāo)準(zhǔn)類型和語法將預(yù)定比特插入該比特流中以提高容錯定位并對比特流譯碼的裝置。堅韌性調(diào)整模塊509還根據(jù)插入的再同步標(biāo)志將任何預(yù)測編碼信息轉(zhuǎn)換成只依賴于當(dāng)前視頻分組內(nèi)的比特的碼字。堅韌性調(diào)整模塊509的操作依靠來自標(biāo)題分析單元503的信號和來自接收端507的反饋，標(biāo)題分析單元503和接收端507都連接到包含這些模塊的主比特流控制器505的輸入端。
堅韌性調(diào)整模塊509的輸出連接到比特率調(diào)整模塊511的輸入端，比特率調(diào)整模塊511是在單元503確定的標(biāo)準(zhǔn)類型和語法的基礎(chǔ)上從該比特流舍棄選定比特513的裝置。比特率調(diào)整模塊511是用于丟棄與一個可量測比特流的增強(qiáng)層中的幀相聯(lián)系的低優(yōu)先權(quán)比特的裝置，以及用于丟棄與由再同步標(biāo)志或圖像標(biāo)題界定的一個視頻比特分組中的段相聯(lián)系的低優(yōu)先權(quán)比特的分組的裝置。比特率調(diào)整模塊511還包含用于記錄在前一幀中丟棄的分組的歷史信息的存儲器，該歷史信息用來計算后面的要丟棄的分組。這使得能夠避免對一個場景的同一空間區(qū)域的重復(fù)去除。
比特率調(diào)整模塊511產(chǎn)生一個與接收端的性能相兼容的輸出，接收端的性能由與主比特流控制器505的輸入端相連的反饋信號507表示。比特率調(diào)整模塊511的輸出與替換標(biāo)記發(fā)生器515的輸入端相連，替換標(biāo)記發(fā)生器515是用于根據(jù)在單元503中確定的標(biāo)準(zhǔn)類型和語法插入預(yù)定比特以提高對比特流的譯碼的裝置。特別地，替換標(biāo)記發(fā)生器515用被設(shè)計為保存任何譯碼器中的定時和空間信息的短碼字來替換由比特率調(diào)整模塊511丟棄的比特，以使得其不會受不可恢復(fù)的差錯的影響。
主比特流控制器505的輸出與一個異類網(wǎng)絡(luò)519相連，該異類網(wǎng)絡(luò)519隨即將得到的比特流517傳遞給在接收端521的堅韌譯碼器。設(shè)備500能夠處理由任何視頻編碼標(biāo)準(zhǔn)產(chǎn)生的比特流。根據(jù)特定標(biāo)準(zhǔn)的靈活程度，在比特率調(diào)整和容錯性方面可以實現(xiàn)各種程度的功能。總的來說，最新標(biāo)準(zhǔn)H.263和MPEG-4可以用于由設(shè)備500進(jìn)行的對這些比特流屬性的最精確的控制。
雖然上面描述了例示實施例，但對本領(lǐng)域普通技術(shù)人員來說顯而易見的是，在不偏離本發(fā)明的情況下，可以作出對該用于比特流控制和傳遞的方法和設(shè)備的許多修改和替代。因此，所有這些修改和替代都包括在由附帶的權(quán)利要求書限定的本發(fā)明的精神和范圍之內(nèi)。
權(quán)利要求
1.一種用于處理編碼視頻數(shù)據(jù)的比特流中的比特的方法，所述方法包括下列步驟確定用于壓縮所述比特流的標(biāo)準(zhǔn)類型和語法；將預(yù)定比特插入所述比特流中，轉(zhuǎn)換預(yù)測編碼的信息，產(chǎn)生一個具有改進(jìn)的容錯定位的中間比特流，并根據(jù)所述標(biāo)準(zhǔn)類型和所述語法對所述比特流譯碼；以及根據(jù)用于壓縮所述比特流的標(biāo)準(zhǔn)類型和語法從所述中間比特流舍棄所選定的比特，產(chǎn)生一個具有與堅韌接收端相兼容的比特率的輸出比特流。
2.如權(quán)利要求1所述的方法，其中，確定用于壓縮所述比特流的標(biāo)準(zhǔn)類型和語法的步驟還包括下列步驟讀取標(biāo)題比特；以及將所述比特與一預(yù)定列表的標(biāo)準(zhǔn)標(biāo)題進(jìn)行比較，以識別出一個存在的用于壓縮所述比特流的標(biāo)準(zhǔn)類型和語法。
3.如權(quán)利要求1所述的方法，其中，插入預(yù)定比特和轉(zhuǎn)換預(yù)測編碼信息的步驟還包括下列步驟插入再同步標(biāo)志；以及轉(zhuǎn)換不同編碼的運動矢量和有關(guān)的紋理數(shù)據(jù)參數(shù)，以便將預(yù)測編碼限制到一個視頻分組內(nèi)。
4.如權(quán)利要求1所述的方法，其中，所述舍棄選定比特的步驟還包括下列步驟舍棄與一個可量測比特流的增強(qiáng)層中的幀相聯(lián)系的低優(yōu)先權(quán)比特。
5.如權(quán)利要求1所述的方法，其中，所述舍棄選定比特的步驟還包括下列步驟舍棄與由再同步標(biāo)志或圖像標(biāo)題界定的一個視頻比特分組中的段相聯(lián)系的低優(yōu)先權(quán)比特的分組。
6.如權(quán)利要求5所述的方法，其中，舍棄低優(yōu)先權(quán)比特的分組的步驟還包括下列步驟在前一幀中丟棄的分組的歷史信息的基礎(chǔ)上選擇要舍棄的分組，以避免重復(fù)去除一個場景的相同空間區(qū)域。
7.一種用于處理編碼視頻數(shù)據(jù)的比特流中的比特的設(shè)備，所述設(shè)備包括用于確定用于壓縮所述比特流的標(biāo)準(zhǔn)類型和語法的裝置；用于將預(yù)定比特插入所述比特流中、轉(zhuǎn)換預(yù)測編碼的信息、產(chǎn)生一個具有改進(jìn)的容錯定位的中間比特流、并根據(jù)所述標(biāo)準(zhǔn)類型和所述語法對所述比特流譯碼的裝置；以及根據(jù)用于壓縮所述比特流的標(biāo)準(zhǔn)類型和語法從所述中間比特流舍棄所選定的比特、產(chǎn)生一個具有與堅韌接收端相兼容的比特率的輸出比特流的裝置。
8.如權(quán)利要求7所述的設(shè)備，其中，所述用于確定用于壓縮所述比特流的標(biāo)準(zhǔn)類型和語法的裝置還包括讀取標(biāo)題比特并將所述比特與一預(yù)定列表的標(biāo)準(zhǔn)標(biāo)題進(jìn)行比較、以識別出一個存在的用于壓縮所述比特流的標(biāo)準(zhǔn)類型和語法的裝置。
9.如權(quán)利要求7所述的設(shè)備，其中，所述用于插入預(yù)定比特和轉(zhuǎn)換預(yù)測編碼信息的裝置還包括用于插入再同步標(biāo)志并轉(zhuǎn)換不同編碼的運動矢量和有關(guān)的紋理數(shù)據(jù)參數(shù)、以便將預(yù)測編碼限制到一個視頻分組內(nèi)的裝置。
10.如權(quán)利要求7所述的設(shè)備，其中，所述用于舍棄選定比特的裝置還包括用于舍棄與一個可量測比特流的增強(qiáng)層中的幀相聯(lián)系的低優(yōu)先權(quán)比特的裝置。
11.如權(quán)利要求7所述的設(shè)備，其中，所述用于舍棄選定比特的裝置還包括用于舍棄與由再同步標(biāo)志或圖像標(biāo)題界定的一個視頻比特分組中的段相聯(lián)系的低優(yōu)先權(quán)比特的分組的裝置。
12.如權(quán)利要求11所述的設(shè)備，其中，用于舍棄低優(yōu)先權(quán)比特的分組的裝置還包括在前一幀中丟棄的分組的歷史信息的基礎(chǔ)上選擇要舍棄的分組、以避免重復(fù)去除一個場景的相同空間區(qū)域的裝置。
全文摘要
一種自動處理數(shù)字壓縮視頻比特流以使得產(chǎn)生的比特流與在異類通信網(wǎng)絡(luò)中的接收點的不同帶寬和差錯復(fù)原能力要求相兼容的方法和裝置,其中該方法包括步驟:確定相關(guān)編碼語法參數(shù),根據(jù)來自網(wǎng)絡(luò)上的反饋識別中間比特流的容錯要求并由容錯調(diào)整器處理該比特流,識別非相關(guān)和低優(yōu)先權(quán)視頻比特并對其使用替換標(biāo)記以用于譯碼器可兼容譯碼,故意引入分組損耗以減少比特率并保持視覺質(zhì)量,插入再同步標(biāo)記并轉(zhuǎn)換預(yù)測編碼的視頻分組比特。
文檔編號H04N7/26GK1263421SQ0010030
公開日2000年8月16日 申請日期2000年1月14日 優(yōu)先權(quán)日1999年2月11日
發(fā)明者詹姆斯·C·布勒伊萊恩, 馬克·R·班納姆, 謝烏克·L·尚, 烏薩馬·Al·謝伊基, 溫江濤 申請人:分組視頻股份有限公司