專利名稱：具有對(duì)動(dòng)態(tài)網(wǎng)絡(luò)丟失條件的簡(jiǎn)單自適應(yīng)的多媒體服務(wù)器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及傳送基于網(wǎng)絡(luò)條件的優(yōu)先化分組的領(lǐng)域。
背景技術(shù)：
隨著如因特網(wǎng)等通信網(wǎng)絡(luò)(網(wǎng)絡(luò)結(jié)構(gòu))的發(fā)展和寬帶連接的廣泛接受，客戶端存在對(duì)能夠通過通信網(wǎng)絡(luò)根據(jù)需要選擇并傳送的視頻和音頻分組(例如，電視節(jié)目、電影、視頻會(huì)議、無線電節(jié)目)等的需求。視頻服務(wù)，被稱為媒體對(duì)象或成流音頻/視頻，經(jīng)常會(huì)經(jīng)受質(zhì)量問題，這是由于通常用于使視頻傳送形成流的通信網(wǎng)絡(luò)的帶寬限制和突發(fā)特性。因此，成流媒體傳送系統(tǒng)的設(shè)計(jì)必須考慮用于傳送媒體對(duì)象的編解碼器(編碼器/解碼器程序)、顯示所傳送的媒體對(duì)象中的服務(wù)質(zhì)量(QoS)問題、以及用于傳送媒體對(duì)象的通信網(wǎng)絡(luò)上的信息傳輸，例如，在信號(hào)中傳送的音頻和視頻數(shù)據(jù)。
典型地，通過軟件和硬件的組合來實(shí)現(xiàn)編解碼器。該系統(tǒng)用于在通信網(wǎng)絡(luò)的發(fā)送端對(duì)表示媒體對(duì)象的數(shù)據(jù)進(jìn)行編碼，并且在通信網(wǎng)絡(luò)的接收端對(duì)數(shù)據(jù)進(jìn)行解碼。針對(duì)編解碼器的設(shè)計(jì)考慮包括以下問題網(wǎng)絡(luò)上的帶寬可縮放性、編碼/解碼數(shù)據(jù)的計(jì)算復(fù)雜度、對(duì)網(wǎng)絡(luò)丟失的彈性(數(shù)據(jù)丟失)、以及用于傳送表示媒體流的數(shù)據(jù)的編碼器/解碼器等待時(shí)間。利用離散余弦變換(DCT)(例如H.263+)和非DCT技術(shù)(例如小波和分形)的通用編解碼器是考慮到上述這些細(xì)節(jié)問題的編解碼器的示例。因?yàn)橥ㄟ^通信網(wǎng)絡(luò)可用的有限帶寬，編解碼器還用于壓縮和解壓縮數(shù)據(jù)。
服務(wù)質(zhì)量問題涉及音頻和視頻信息的傳送和觀看媒體流的用戶的整體經(jīng)歷。按照離散的單元，已知為分組，在如因特網(wǎng)等通信網(wǎng)中傳送媒體對(duì)象。通過通常已知為服務(wù)器和路由器等的節(jié)點(diǎn)經(jīng)因特網(wǎng)發(fā)送典型地按照順序的次序傳送的這些信息單元。因此，兩個(gè)順序傳送的分組在不同的時(shí)間到達(dá)目的地設(shè)備，這是由于這些分組可以采用不同的通過因特網(wǎng)的路徑。結(jié)果，已知為離散(dispersion)的QoS問題能夠造成在較早傳送的分組之前，可以由目的地設(shè)備處理和顯示在較晚時(shí)間傳送的分組，導(dǎo)致了所顯示的事件的不連續(xù)性。類似地，當(dāng)正在對(duì)其進(jìn)行傳送時(shí)，可能會(huì)丟失分組。典型地，目的地設(shè)備執(zhí)行差錯(cuò)隱藏技術(shù)以隱藏?cái)?shù)據(jù)的丟失?？梢允褂么_保網(wǎng)絡(luò)上的QoS的方法，例如，過剩分配所傳送的分組的數(shù)量或提高負(fù)載狀態(tài)下的網(wǎng)絡(luò)質(zhì)量，但是這些方法引入了影響通信網(wǎng)絡(luò)性能的附加開銷需求。
通信網(wǎng)絡(luò)使用已知為傳輸協(xié)議的方案來控制數(shù)據(jù)分組的傳送。在國(guó)際工程任務(wù)組(IETF)請(qǐng)求注解(RFC)793中描述的傳輸控制協(xié)議(TCP)是一種公知的傳輸協(xié)議，用于控制整個(gè)通信網(wǎng)中的信息的流動(dòng)。傳輸協(xié)議通過保持如流控制、差錯(cuò)控制和數(shù)據(jù)分組的時(shí)間組織傳送等參數(shù)，嘗試穩(wěn)定通信網(wǎng)。通過使用在分組報(bào)頭中存在的或與通過通信網(wǎng)在設(shè)備之間傳送的分組相分離的命令，對(duì)這些類型的控制進(jìn)行管理。該控制信息適用于這些通信網(wǎng)，從而通信網(wǎng)按照“同步”方式操作，其中，數(shù)據(jù)分組的傳輸趨向于有序化。
具有已形成流的數(shù)據(jù)的格式的其他類型的媒體對(duì)象趨向于異步地傳送或產(chǎn)生，由此，分組的流動(dòng)可能會(huì)不一致。在不同的時(shí)間傳送和接收這些分組，因而是異步的，其中，根據(jù)這樣的分組中的報(bào)頭中的數(shù)據(jù)，重構(gòu)所接收到的分組。當(dāng)網(wǎng)絡(luò)條件急劇減少分組的傳輸(或接收)，而導(dǎo)致了服務(wù)的網(wǎng)絡(luò)丟失、惡化或需要傳輸超時(shí)的其他條件時(shí)，異步分組的傳輸受到損害。
在數(shù)據(jù)傳輸中減小差錯(cuò)量的一個(gè)方式是使用被稱為前向差錯(cuò)編碼(FEC)的技術(shù)，其中，在數(shù)據(jù)流中重復(fù)一些數(shù)據(jù)。通過使用FEC，不需要如差錯(cuò)隱藏、流控制等其他糾錯(cuò)方法使用戶成功獲取在數(shù)據(jù)流中所傳送的媒體對(duì)象。然而，F(xiàn)EC需要數(shù)據(jù)流的發(fā)射機(jī)考慮導(dǎo)致惡化的網(wǎng)絡(luò)條件或影響無線地對(duì)數(shù)據(jù)進(jìn)行編碼的編碼器的數(shù)據(jù)分組的丟失。

發(fā)明內(nèi)容
公開了一種用于傳送通過前向差錯(cuò)編碼操作編碼的優(yōu)先化數(shù)據(jù)的方法。將媒體對(duì)象分離為不同類的數(shù)據(jù)，形成信息的基本層和至少一個(gè)增強(qiáng)層，每一層具有相關(guān)的奇偶校驗(yàn)數(shù)據(jù)。之后，對(duì)由分類后的數(shù)據(jù)形成的分離媒體對(duì)象的數(shù)據(jù)進(jìn)行編碼和存儲(chǔ)，由此，給基本層的信息賦予比增強(qiáng)層數(shù)據(jù)更高的傳輸優(yōu)先級(jí)。當(dāng)服務(wù)器在網(wǎng)絡(luò)結(jié)構(gòu)上作為優(yōu)先化的數(shù)據(jù)傳送分類后的數(shù)據(jù)的構(gòu)成時(shí)，使用這樣的優(yōu)先級(jí)分類。


圖1是示出了根據(jù)本發(fā)明的一個(gè)示意實(shí)施例的、用于媒體對(duì)象的優(yōu)先化、編碼和傳輸?shù)南到y(tǒng)的圖；圖2是根據(jù)本發(fā)明的一個(gè)示意實(shí)施例、產(chǎn)生并傳送將媒體對(duì)象表示為優(yōu)先化數(shù)據(jù)的分類數(shù)據(jù)的方法的方框圖；圖3是根據(jù)本發(fā)明的一個(gè)示意實(shí)施例、對(duì)表示媒體對(duì)象的優(yōu)先化數(shù)據(jù)進(jìn)行解碼的方法的方框圖。
具體實(shí)施例方式
如這里所使用的，先編碼后傳送的多媒體相關(guān)數(shù)據(jù)表示媒體對(duì)象。在本發(fā)明的全文中，還同義地使用術(shù)語(yǔ)信息和數(shù)據(jù)，描述編碼前或編碼后的音頻/視頻數(shù)據(jù)。術(shù)語(yǔ)媒體對(duì)象包括音頻、視頻、文本、多媒體數(shù)據(jù)文件和成流媒體文件。多媒體文件包括文本、圖像、視頻和音頻數(shù)據(jù)的任意組合。成流媒體包括音頻、視頻、多媒體、文本和交互數(shù)據(jù)文件，通過因特網(wǎng)或其他通信網(wǎng)環(huán)境提供給用戶的設(shè)備，并在完成整個(gè)文件的傳送之前，在用戶的計(jì)算機(jī)/設(shè)備上開始播放。成流媒體的一個(gè)優(yōu)點(diǎn)在于在下載整個(gè)文件之前，成流媒體文件開始播放，節(jié)省了用戶典型地與下載整個(gè)文件相關(guān)的長(zhǎng)時(shí)間的等待。數(shù)字記錄的音樂、電影、預(yù)告片、新聞報(bào)導(dǎo)、無線電廣播和現(xiàn)場(chǎng)事件均有助于在萬維網(wǎng)上的成流內(nèi)容的增加。另外，通過使用如電纜、DSL、T1線路和無線網(wǎng)絡(luò)(例如基于2.5G或3G的蜂窩網(wǎng)絡(luò))在通信網(wǎng)成本上的減少正在向因特網(wǎng)用戶提供對(duì)來自新聞組織、好萊塢制片廠、獨(dú)立制片人、記錄標(biāo)簽和甚至家庭用戶自身的成流媒體內(nèi)容的更快速地訪問。
本發(fā)明的優(yōu)選實(shí)施例利用了已知為前向擦除校正(FXC)的FEC技術(shù)的子集，其中將媒體對(duì)象的內(nèi)容預(yù)先編碼為獨(dú)立的分段。利用在本領(lǐng)域中已知的技術(shù)，將媒體對(duì)象編碼為不同種類的數(shù)據(jù)，被稱為分類數(shù)據(jù)。每一個(gè)數(shù)據(jù)類表示不同的信息層(即，基本層和增強(qiáng)層)，其中基本層表示對(duì)再現(xiàn)媒體對(duì)象非常關(guān)鍵的數(shù)據(jù)，而增強(qiáng)層表示對(duì)將細(xì)節(jié)添加到再現(xiàn)的媒體對(duì)象上重要但是較不關(guān)鍵的數(shù)據(jù)。
另外，利用如理德所羅門(RS)碼等系統(tǒng)的FXC碼來提煉分類數(shù)據(jù)，從而創(chuàng)建利用表示編碼媒體對(duì)象的基本層和增強(qiáng)層的數(shù)據(jù)來傳送的奇偶校驗(yàn)數(shù)據(jù)。具體地，使用RS來產(chǎn)生各種強(qiáng)度的擦除碼，由此，能夠以不同的(n，k)參數(shù)，利用RS碼來產(chǎn)生針對(duì)通信數(shù)據(jù)的開銷率；n等于要傳送的數(shù)據(jù)的總量(具有奇偶校驗(yàn)數(shù)據(jù)的編碼層數(shù)據(jù))，以及k等于編碼數(shù)據(jù)的量。
當(dāng)用于擦除校正時(shí)，可以對(duì)RS碼進(jìn)行校正，直到h＝n-k個(gè)擦除(或從傳送的數(shù)據(jù)流中所失去的數(shù)據(jù)量)。如果典型系統(tǒng)使用具有8比特符號(hào)的伽羅瓦域，作為所傳送的數(shù)據(jù)的基準(zhǔn)，則n的最大值計(jì)算為q＝p^r(q＝n的最大值，p＝數(shù)據(jù)狀態(tài)的量，r＝具有數(shù)據(jù)狀態(tài)的項(xiàng)目數(shù))。因此，對(duì)于8比特的符號(hào)、p＝2(具有兩個(gè)狀態(tài)的比特)和r＝8(比特?cái)?shù))，n的最大值是255。
通過僅計(jì)算和傳送如所要求或所需的一樣多的奇偶校驗(yàn)比特，可以使用更短長(zhǎng)度的FXC。一旦計(jì)算出最大的n，則可以從RS(n，k)中獲得較小的RS(n’，k)，其中n’＜n，根據(jù)所需的擦除保護(hù)強(qiáng)度對(duì)其進(jìn)行修改(見L.Rizzo的“Effective Erasure Codes for ReliableComputer Communications Protocols”，Computer CommunicationReview，27(2)第24-36頁(yè)，1997年四月)。可以根據(jù)網(wǎng)絡(luò)條件或編碼器的性能來改變計(jì)算出的編碼數(shù)據(jù)的奇偶校驗(yàn)比特。
作為根據(jù)2^8的伽羅瓦域?qū)谧止?jié)的碼進(jìn)行編碼的一個(gè)示例，計(jì)算n＝255的最大值。選擇RS(n’，k)碼，其中理德所羅門碼基于RS(255，k)，并且對(duì)n’-k奇偶校驗(yàn)字節(jié)進(jìn)行編碼。隨著n’的值的增加，被編碼的原始奇偶校驗(yàn)字節(jié)(n’-k)不發(fā)生改變。即，對(duì)于基于RS(255，10)的RS(11，10)的理德所羅門碼，第11奇偶校驗(yàn)字節(jié)具有與RS(12，10)碼中的第11奇偶校驗(yàn)比特相同的值。應(yīng)該注意到，本發(fā)明的原理可以修改為根據(jù)編碼/傳送系統(tǒng)的需要，容納不同值的n、n’、p、r和k。
優(yōu)選地，數(shù)據(jù)的RS編碼與分組或幀進(jìn)行交織。即整個(gè)分組或幀將由信息或奇偶校驗(yàn)數(shù)據(jù)構(gòu)成。為了簡(jiǎn)化識(shí)別丟失的分組的過程，可以利用分組報(bào)頭中的信息來識(shí)別這些分組。因此，如果順序地產(chǎn)生分組報(bào)頭并且在數(shù)值序列中存在間隙，則媒體對(duì)象請(qǐng)求者將能夠識(shí)別丟失的分組。實(shí)時(shí)傳輸協(xié)議(RTP)是一種用于產(chǎn)生順序的分組報(bào)頭的傳輸機(jī)制，盡管可以根據(jù)本發(fā)明的原理來選擇其他傳輸協(xié)議。
另外，通過將奇偶校驗(yàn)分組組合為多個(gè)組播組，來實(shí)現(xiàn)不同水平的信道丟失保護(hù)。接收到這樣的數(shù)據(jù)的客戶端能夠通過連接(或保留)如所需要的那樣多的組播組，調(diào)整信道丟失保護(hù)的水平，因此，客戶端可以通過如所需那樣連接更多組播組來增加信道帶寬，適應(yīng)數(shù)據(jù)的丟失。由于對(duì)于本發(fā)明的一個(gè)典型實(shí)施例，在存儲(chǔ)設(shè)備上預(yù)先編碼和存儲(chǔ)內(nèi)容的情況下不調(diào)整FXC編碼器的源編碼速率，因此，描述了該組播技術(shù)。
當(dāng)對(duì)分離為不同種類的數(shù)據(jù)層的媒體對(duì)象進(jìn)行編碼時(shí)，所需的是，為基本層數(shù)據(jù)提供較高的FXC強(qiáng)度而對(duì)增強(qiáng)層數(shù)據(jù)提供較低的FXC強(qiáng)度，通過利用具有不等差錯(cuò)保護(hù)的可縮放視頻壓縮來實(shí)現(xiàn)。對(duì)于本發(fā)明的一個(gè)典型實(shí)施例，將媒體對(duì)象分離為兩層分類數(shù)據(jù)基本層信息(Bi)和增強(qiáng)層信息(Ei)。相應(yīng)地，基本層具有奇偶校驗(yàn)數(shù)據(jù)(Bp)，并且增強(qiáng)層具有奇偶校驗(yàn)數(shù)據(jù)(Ep)；向每一層和奇偶校驗(yàn)數(shù)據(jù)提供其自身數(shù)據(jù)類型。Bi和Bp是比Ei和Ep數(shù)據(jù)更為重要的數(shù)據(jù)，由于Bi和Bp數(shù)據(jù)對(duì)于再現(xiàn)媒體對(duì)象比Ei和Ep數(shù)據(jù)更為關(guān)鍵。應(yīng)該注意，本發(fā)明應(yīng)用于將媒體對(duì)象優(yōu)先化為與所需要的那樣一樣多的層，例如，一個(gè)基本層和多個(gè)增強(qiáng)層。
圖1中的編碼系統(tǒng)100所示的本發(fā)明的典型實(shí)施例示出了根據(jù)正在進(jìn)行編碼的媒體對(duì)象來創(chuàng)建壓縮比特流的可縮放視頻編碼器110。可縮放視頻編碼器110可以在軟件、硬件或兩者的組合中實(shí)現(xiàn)。將所述媒體對(duì)象分割為上述分類數(shù)據(jù)的分離層，其中，將一旦分離后的數(shù)據(jù)設(shè)置在與賦予每一層的優(yōu)先級(jí)相對(duì)應(yīng)的比特流中，并且通過如通信網(wǎng)或因特網(wǎng)等網(wǎng)絡(luò)結(jié)構(gòu)160打包為用于網(wǎng)絡(luò)傳輸?shù)姆纸M。優(yōu)選地，利用系統(tǒng)FEC編碼器115、120，在每一層對(duì)分組進(jìn)行FXC編碼，以防止網(wǎng)絡(luò)分組丟失。每一層的分類數(shù)據(jù)的優(yōu)先級(jí)與所傳送的數(shù)據(jù)最終用于再現(xiàn)媒體對(duì)象的重要性相關(guān)聯(lián)。
更具體地，在該典型實(shí)施例中，可縮放視頻編碼器110將媒體對(duì)象分離為兩層，表示基本層和增強(qiáng)層。將表示基本層的數(shù)據(jù)輸入到FEC編碼器115，其中，通過FXC編碼過程來產(chǎn)生Bi信息。將該產(chǎn)生的數(shù)據(jù)作為預(yù)先編碼的數(shù)據(jù)存儲(chǔ)在Bi存儲(chǔ)器125中。當(dāng)產(chǎn)生Bi信息時(shí)，F(xiàn)EC編碼器115還創(chuàng)建存儲(chǔ)在Bp存儲(chǔ)器130中的Bp數(shù)據(jù)。
類似地，將表示增強(qiáng)層的數(shù)據(jù)輸入到FEC編碼器120，其中通過FXC編碼過程產(chǎn)生Ei信息。將該產(chǎn)生的數(shù)據(jù)作為預(yù)先編碼的數(shù)據(jù)存儲(chǔ)在Ei存儲(chǔ)器135中。當(dāng)產(chǎn)生Ei信息時(shí)，F(xiàn)EC編碼器115還創(chuàng)建存儲(chǔ)在Ep存儲(chǔ)器140中的Ep數(shù)據(jù)。根據(jù)網(wǎng)絡(luò)和系統(tǒng)需要，將不同強(qiáng)度的FXC碼用于基本層和增強(qiáng)層。優(yōu)選地，當(dāng)調(diào)整傳送的RS碼的FXC強(qiáng)度時(shí)，或者在數(shù)據(jù)分組報(bào)頭或者作為單獨(dú)輔助信息，傳送數(shù)據(jù)分組的內(nèi)容的指示。
當(dāng)通過網(wǎng)絡(luò)結(jié)構(gòu)160對(duì)媒體對(duì)象進(jìn)行請(qǐng)求時(shí)，優(yōu)選地，多媒體服務(wù)器150確定影響媒體對(duì)象的請(qǐng)求者的網(wǎng)絡(luò)帶寬和預(yù)計(jì)(或?qū)崟r(shí))網(wǎng)絡(luò)丟失條件?？梢愿鶕?jù)用戶的簡(jiǎn)檔表(profile)、在針對(duì)媒體對(duì)象的請(qǐng)求中所通信的信息、歷史網(wǎng)絡(luò)條件、網(wǎng)絡(luò)服務(wù)報(bào)告信息(例如，在數(shù)據(jù)傳輸期間所獲得的實(shí)時(shí)傳輸控制協(xié)議(RTCP)報(bào)告)等，進(jìn)行該類型的確定?？蛇x地，多媒體服務(wù)器150確定要用于傳送預(yù)先編碼的媒體對(duì)象的網(wǎng)絡(luò)路徑的類型以估計(jì)可能的網(wǎng)絡(luò)丟失。例如，當(dāng)相對(duì)于到通信數(shù)據(jù)的陸地或?qū)拵нB接而使用無線連接時(shí)，多媒體服務(wù)器150預(yù)計(jì)了更高的數(shù)據(jù)丟失率。
響應(yīng)網(wǎng)絡(luò)條件的確定，多媒體服務(wù)器150根據(jù)賦予所選數(shù)據(jù)的優(yōu)選級(jí)，從其相關(guān)的存儲(chǔ)區(qū)域中選擇Bi、Bp、Ei和Ep數(shù)據(jù)。該優(yōu)先級(jí)與用于再現(xiàn)媒體對(duì)象的數(shù)據(jù)的重要性相關(guān)。因此，在網(wǎng)絡(luò)擁塞期間，與增強(qiáng)層數(shù)據(jù)相比，基本層數(shù)據(jù)被認(rèn)為更為重要，并更可能得到傳送。在選擇了要傳送的數(shù)據(jù)種類之后，多媒體服務(wù)器150通過優(yōu)先化和格式化這樣選擇的數(shù)據(jù)，創(chuàng)建分類數(shù)據(jù)的構(gòu)成。已知為優(yōu)先化數(shù)據(jù)的該分類數(shù)據(jù)的構(gòu)成反映了多媒體編碼器150根據(jù)網(wǎng)絡(luò)條件來調(diào)整傳送的數(shù)據(jù)的種類，其中需要最低水平的基本層信息來再現(xiàn)多媒體對(duì)象。隨著網(wǎng)絡(luò)條件的改善，分類數(shù)據(jù)的構(gòu)成包括更多增強(qiáng)層信息和相關(guān)的奇偶校驗(yàn)信息。
多媒體服務(wù)器150在網(wǎng)絡(luò)結(jié)構(gòu)160上傳送優(yōu)先化數(shù)據(jù)的數(shù)據(jù)分組。具體地，多媒體服務(wù)器150通過根據(jù)其各自的優(yōu)先級(jí)分類來調(diào)整所傳送的Bi、Bp、Ei和Ep的構(gòu)成，尋求對(duì)由媒體對(duì)象的請(qǐng)求者接收到的多媒體數(shù)據(jù)的回放質(zhì)量的優(yōu)化。例如，如果從網(wǎng)絡(luò)中未預(yù)計(jì)到任何數(shù)據(jù)的丟失，則多媒體服務(wù)器在數(shù)據(jù)分組中傳送所有Bi和Ei信息。當(dāng)空間/帶寬允許時(shí)，傳送Bp和Ep數(shù)據(jù)，優(yōu)選地，傳送比Ep數(shù)據(jù)更多的Bp數(shù)據(jù)。
當(dāng)存在預(yù)計(jì)水平的網(wǎng)絡(luò)丟失時(shí)，在形成優(yōu)先化數(shù)據(jù)的構(gòu)成中，多媒體服務(wù)器150利用Bp數(shù)據(jù)替代Ep數(shù)據(jù)。在具有非常高的水平的預(yù)計(jì)網(wǎng)絡(luò)丟失時(shí)，多媒體服務(wù)器利用Bp數(shù)據(jù)來替代所傳送的Ei信息的量，這是由于沒有利用Bp數(shù)據(jù)接收或恢復(fù)的Bi信息的基線，將不能夠再現(xiàn)所請(qǐng)求的媒體對(duì)象。應(yīng)該注意到，由于網(wǎng)絡(luò)的物理或預(yù)設(shè)帶寬限制，可能存在對(duì)可用于媒體對(duì)象請(qǐng)求者的帶寬的限制。
在本發(fā)明的可選實(shí)施例中，多媒體服務(wù)器150通過如上所解釋地那樣確定預(yù)計(jì)網(wǎng)絡(luò)丟失的量，嘗試優(yōu)化對(duì)請(qǐng)求者的媒體對(duì)象的傳送。假定到請(qǐng)求者的帶寬是固定的，多媒體服務(wù)器150響應(yīng)預(yù)計(jì)的網(wǎng)絡(luò)丟失，傳送實(shí)現(xiàn)校正差錯(cuò)率所需的Bi信息和Bp數(shù)據(jù)的量的構(gòu)成。如果在傳送Bi和Bp數(shù)據(jù)之后存在任何可用帶寬，則多媒體服務(wù)器150先利用Ei然后是Ep數(shù)據(jù)填充該空間。傳送Bp與傳送Ei或Ep之間的平衡取決于多種因素，例如，網(wǎng)絡(luò)丟失條件的預(yù)計(jì)范圍、可縮放編碼的有效性、觀眾優(yōu)選項(xiàng)、網(wǎng)絡(luò)中的節(jié)點(diǎn)等。
優(yōu)選地，當(dāng)傳送表示編碼媒體對(duì)象的Bi、Bp、Ei和Ep數(shù)據(jù)時(shí)，多媒體服務(wù)器150將使用高強(qiáng)度的FXC碼。通過使用系統(tǒng)100，每一次當(dāng)預(yù)計(jì)網(wǎng)絡(luò)條件針對(duì)新的媒體對(duì)象請(qǐng)求者而改變時(shí)，將不需要重新計(jì)算所存儲(chǔ)的FXC碼。
在編碼系統(tǒng)100的操作中，相對(duì)于空間、信噪比(SNR)或簡(jiǎn)單數(shù)據(jù)分割編碼技術(shù)，優(yōu)選時(shí)間編碼技術(shù)，由于基于時(shí)間的過程不會(huì)經(jīng)受到“漂移”問題的影響。具體地，當(dāng)解碼已經(jīng)優(yōu)先化并分離為多層的媒體對(duì)象時(shí)，當(dāng)在專門解碼基本層數(shù)據(jù)之后解碼基本層和增強(qiáng)層數(shù)據(jù)時(shí)，出現(xiàn)了漂移的周期。根據(jù)基本層和增強(qiáng)層數(shù)據(jù)再現(xiàn)的重構(gòu)媒體對(duì)象(特別是視頻)將持續(xù)出現(xiàn)，仿佛其正在調(diào)整基本層數(shù)據(jù)的同時(shí)被再現(xiàn)。如果基本層和增強(qiáng)層專門用于解碼媒體對(duì)象，則會(huì)使該漂移效果最小化。
當(dāng)基于時(shí)間編碼的媒體對(duì)象將雙向“B”編碼畫面設(shè)置在增強(qiáng)層中，并將“I”和“P”幀設(shè)置在基本層中時(shí)，消除了漂移的問題。優(yōu)選地，不使用增強(qiáng)層中的B編碼畫面來預(yù)測(cè)其他畫面。因此，當(dāng)多媒體服務(wù)器150傳送Bp數(shù)據(jù)而不是Ei信息時(shí)，減小了媒體對(duì)象請(qǐng)求者的視頻幀速率，但是，如果FXC強(qiáng)度足以校正所有網(wǎng)絡(luò)丟失，則沒有減小每幀的視頻質(zhì)量。
在網(wǎng)絡(luò)崩潰期間，媒體對(duì)象請(qǐng)求者將使用正確接收到的Ei信息來增加視頻的幀速率，其大于僅使用基本層數(shù)據(jù)的視頻的幀速率。當(dāng)網(wǎng)絡(luò)條件改善時(shí)，傳送更多的Ei信息，并且將同樣會(huì)改善視頻的幀速率?？蛇x地，媒體對(duì)象請(qǐng)求者(或媒體對(duì)象請(qǐng)求者的解碼器)可以請(qǐng)求根據(jù)網(wǎng)絡(luò)條件對(duì)作為優(yōu)先級(jí)數(shù)據(jù)而傳送的Bi、Bp、Ei和Ep數(shù)據(jù)的構(gòu)成進(jìn)行改變。多媒體服務(wù)器150實(shí)現(xiàn)該請(qǐng)求。
理想地，將Bi、Bp、Ei和Ep數(shù)據(jù)打包為數(shù)據(jù)分組，其中利用固定尺寸的數(shù)據(jù)分組。多媒體服務(wù)器150能夠在傳輸期間交換整個(gè)數(shù)據(jù)分組，從而保持恒定的數(shù)據(jù)傳輸速率。然而，該技術(shù)的缺陷在于阻礙了視頻幀或切片和數(shù)據(jù)分組之間的對(duì)應(yīng)關(guān)系，如在IETF RFC 2250和RFC 2190中所提出的那樣。本發(fā)明的一個(gè)可選實(shí)施例支持?jǐn)?shù)據(jù)分組對(duì)應(yīng)于視頻幀或切片，取決于針對(duì)打包和處理數(shù)據(jù)分組而選擇的技術(shù)。
圖2示出了根據(jù)本發(fā)明的一個(gè)典型實(shí)施例，表示由多媒體服務(wù)器150傳送表示媒體對(duì)象的優(yōu)先化數(shù)據(jù)的方法200的方框圖。在步驟210中，可縮放視頻編碼器110和FEC編碼器115和120將媒體對(duì)象編碼為多層次的分類數(shù)據(jù)。具體地，可縮放編碼器110將媒體對(duì)象分離為多個(gè)種類的數(shù)據(jù)，表示為分離層，每一層對(duì)應(yīng)于再現(xiàn)多媒體對(duì)象的數(shù)據(jù)的重要性。這些數(shù)據(jù)的層形成了信息的基本層和至少一個(gè)增強(qiáng)層。將分離層的分類數(shù)據(jù)中繼到FEC編碼器115和120，用于FXC編碼。在編碼過程期間，產(chǎn)生與每一層相關(guān)的奇偶校驗(yàn)數(shù)據(jù)，并稍后，在步驟220中對(duì)其進(jìn)行存儲(chǔ)。重要地，將所產(chǎn)生的與每一層相對(duì)應(yīng)的信息和奇偶校驗(yàn)數(shù)據(jù)存儲(chǔ)在其各自的存儲(chǔ)區(qū)中，例如，將基本層信息存儲(chǔ)在Bi存儲(chǔ)器125中，并且將相關(guān)的優(yōu)先信息存儲(chǔ)在Bp存儲(chǔ)器130中。可選地，當(dāng)存在多層分類數(shù)據(jù)時(shí)，存在同樣多的存儲(chǔ)區(qū)。
多媒體服務(wù)器150響應(yīng)對(duì)媒體對(duì)象的請(qǐng)求，將分類數(shù)據(jù)的構(gòu)成優(yōu)先化為優(yōu)先化數(shù)據(jù)，并在步驟230，響應(yīng)網(wǎng)絡(luò)條件，傳送這樣的數(shù)據(jù)。通過賦予分類數(shù)據(jù)的每一層的優(yōu)先級(jí)來確定分類數(shù)據(jù)的優(yōu)先化。多媒體服務(wù)器150根據(jù)網(wǎng)絡(luò)條件，將分類數(shù)據(jù)的構(gòu)成形成為優(yōu)先化數(shù)據(jù)。當(dāng)網(wǎng)絡(luò)條件導(dǎo)致數(shù)據(jù)丟失時(shí)，與具有較低優(yōu)先級(jí)的數(shù)據(jù)相比，具有較高優(yōu)先級(jí)的數(shù)據(jù)更可能得到傳送。相反，當(dāng)網(wǎng)絡(luò)條件導(dǎo)致了較少的數(shù)據(jù)分組發(fā)生丟失時(shí)，具有較低優(yōu)先級(jí)的數(shù)據(jù)更可能得到傳送。
如上所述，網(wǎng)絡(luò)條件的確定可以是預(yù)計(jì)或?qū)崟r(shí)網(wǎng)絡(luò)條件。因此，多媒體服務(wù)器150根據(jù)網(wǎng)絡(luò)條件，從存儲(chǔ)器125、130、135和140中檢索數(shù)據(jù)。如果網(wǎng)絡(luò)遇到許多問題，相對(duì)于傳送更多Ei和Ep數(shù)據(jù)的無任何網(wǎng)絡(luò)問題的周期，在網(wǎng)絡(luò)結(jié)構(gòu)160上檢索和傳送更多的Bi和Bp數(shù)據(jù)。
在步驟240中，多媒體服務(wù)器150響應(yīng)網(wǎng)絡(luò)條件的變化，調(diào)整形成優(yōu)先化數(shù)據(jù)的分類數(shù)據(jù)的構(gòu)成。如果網(wǎng)絡(luò)條件改善，多媒體服務(wù)器150將傳送更多增強(qiáng)層相關(guān)的信息(Ei，Ep)。如果在傳輸期間網(wǎng)絡(luò)條件惡化，多媒體服務(wù)器150將利用更多基本層相關(guān)數(shù)據(jù)(Bi，Bp)來替代增強(qiáng)層相關(guān)數(shù)據(jù)。隨著網(wǎng)絡(luò)條件的頻繁變化，可以在步驟230和240之間重復(fù)該過程。
圖3示出了根據(jù)本發(fā)明的原理操作的、用于解碼優(yōu)先化數(shù)據(jù)的解碼器的典型實(shí)施例的方法300的方框圖。具體地，在步驟310，媒體對(duì)象請(qǐng)求者通過網(wǎng)絡(luò)結(jié)構(gòu)160對(duì)媒體對(duì)象進(jìn)行請(qǐng)求。優(yōu)選地，多媒體服務(wù)器150接收該請(qǐng)求，其中，利用該請(qǐng)求來通信請(qǐng)求者的當(dāng)前網(wǎng)絡(luò)條件。
在步驟320中，由媒體對(duì)象請(qǐng)求者使用的解碼器開始處理接收到的優(yōu)先化數(shù)據(jù)，其中優(yōu)選地，這樣的數(shù)據(jù)至少具有Bi信息。解碼器利用由分類數(shù)據(jù)的構(gòu)成形成的優(yōu)先化數(shù)據(jù)來再現(xiàn)如音頻、視頻或兩者的組合等媒體對(duì)象。如果解碼器接收到更多的Ei數(shù)據(jù)，則解碼器以比只有Bi信息而可能的水平更高的質(zhì)量水平來再現(xiàn)媒體對(duì)象。如果網(wǎng)絡(luò)條件導(dǎo)致了所傳送的數(shù)據(jù)的丟失，則與基本層或增強(qiáng)層有關(guān)的奇偶校驗(yàn)數(shù)據(jù)的接收有助于產(chǎn)生丟失的Bi或Ei信息。
在本發(fā)明的可選實(shí)施例中，如果在接收表示媒體對(duì)象的數(shù)據(jù)分組期間數(shù)據(jù)丟失，則解碼器使用FXC解碼。具體地，解碼器可以不接收表示Bi或Ei信息的所有傳送數(shù)據(jù)。通過利用FXC解碼，解碼器根據(jù)接收到的Bp數(shù)據(jù)來產(chǎn)生丟失的Bi信息，以及根據(jù)接收到的Ep數(shù)據(jù)來產(chǎn)生丟失的Ei信息。
在步驟330中，解碼器請(qǐng)求作為優(yōu)先化數(shù)據(jù)傳送的分類數(shù)據(jù)的構(gòu)成發(fā)生變化，這是由于網(wǎng)絡(luò)條件是不同的。具體地，對(duì)于網(wǎng)絡(luò)條件惡化，解碼器請(qǐng)求利用基本層奇偶校驗(yàn)數(shù)據(jù)來替代增強(qiáng)層信息，或者對(duì)于網(wǎng)絡(luò)條件改善，請(qǐng)求更多增強(qiáng)層或優(yōu)先化數(shù)據(jù)。媒體對(duì)象請(qǐng)求者的解碼器的結(jié)構(gòu)類似于可縮放視頻編碼器110的操作的反轉(zhuǎn)。
可以按照計(jì)算機(jī)實(shí)現(xiàn)的過程和用于實(shí)現(xiàn)這些過程的設(shè)備的形式來具體實(shí)現(xiàn)本發(fā)明。本發(fā)明還可以由在有形介質(zhì)中具體實(shí)現(xiàn)的計(jì)算機(jī)程序代碼的形式來實(shí)現(xiàn)，例如軟盤、只讀存儲(chǔ)器(ROM)、CD-ROM、硬盤、高密度盤或其他任何計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中當(dāng)將計(jì)算機(jī)程序代碼加載到計(jì)算機(jī)中并由計(jì)算機(jī)執(zhí)行時(shí)，該計(jì)算機(jī)變?yōu)榱吮景l(fā)明的設(shè)備。本發(fā)明還可以按照如計(jì)算機(jī)程序代碼的形式來具體實(shí)現(xiàn)，無論是存儲(chǔ)在存儲(chǔ)介質(zhì)中、加載到計(jì)算機(jī)中和/或由計(jì)算機(jī)執(zhí)行、還是通過一些傳輸介質(zhì)如通過電線或電纜、通過光纖或通過電磁輻射來傳送，當(dāng)將該計(jì)算機(jī)程序代碼加載到計(jì)算機(jī)中并由計(jì)算機(jī)來執(zhí)行時(shí)，所述計(jì)算機(jī)變?yōu)橛糜趯?shí)施本發(fā)明的設(shè)備。當(dāng)在通用處理器上實(shí)現(xiàn)時(shí)，計(jì)算機(jī)程序代碼段配置處理器，以創(chuàng)建特定的邏輯電路。
權(quán)利要求
1.一種用于通過網(wǎng)絡(luò)結(jié)構(gòu)來通信表示被編碼為表示基本層信息和增強(qiáng)層信息的分類數(shù)據(jù)的媒體對(duì)象的數(shù)據(jù)的方法，包括步驟響應(yīng)網(wǎng)絡(luò)條件來發(fā)送分類數(shù)據(jù)的構(gòu)成，作為優(yōu)先化數(shù)據(jù)(230)，其中分類數(shù)據(jù)包括具有相關(guān)的奇偶校驗(yàn)信息的至少一個(gè)基本層信息；響應(yīng)網(wǎng)絡(luò)條件的變化，調(diào)整用于傳輸?shù)膬?yōu)先化數(shù)據(jù)的構(gòu)成(240)，其中利用增強(qiáng)層信息來修改分類數(shù)據(jù)的構(gòu)成。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于所述分類數(shù)據(jù)是預(yù)先編碼的。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于所述發(fā)送步驟由多媒體服務(wù)器來啟動(dòng)。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于所述優(yōu)先化數(shù)據(jù)由從以下操作中的至少一個(gè)中選擇的編碼操作時(shí)間可縮放性和數(shù)據(jù)分割。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于將所述優(yōu)先化數(shù)據(jù)作為順序編號(hào)的數(shù)據(jù)分組來傳送。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于當(dāng)網(wǎng)絡(luò)條件使再現(xiàn)媒體對(duì)象惡化時(shí)，所述調(diào)整步驟減少增強(qiáng)層信息的量并增加基本層奇偶校驗(yàn)數(shù)據(jù)的量，形成優(yōu)先化數(shù)據(jù)的構(gòu)成。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于當(dāng)網(wǎng)絡(luò)條件有利于再現(xiàn)媒體對(duì)象時(shí)，所述調(diào)整步驟減少基本層信息和相關(guān)的奇偶校驗(yàn)信息的量，并增加增強(qiáng)層信息和相關(guān)的奇偶校驗(yàn)信息的量，形成優(yōu)先化數(shù)據(jù)的構(gòu)成。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于由前向糾錯(cuò)碼操作利用理德所羅門碼來預(yù)先編碼所述分類數(shù)據(jù)，并且根據(jù)數(shù)據(jù)種類來存儲(chǔ)所述已分類數(shù)據(jù)。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于多媒體服務(wù)器通過訪問與數(shù)據(jù)種類相對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)器，來選擇要根據(jù)網(wǎng)絡(luò)條件來傳送的優(yōu)先化數(shù)據(jù)的構(gòu)成。
10.根據(jù)權(quán)利要求1所述的方法，其特征在于多于一層的增強(qiáng)信息和相關(guān)的奇偶校驗(yàn)數(shù)據(jù)形成所述已分類數(shù)據(jù)。
11.根據(jù)權(quán)利要求1所述的方法，其特征在于在傳送步驟期間所考慮的網(wǎng)絡(luò)條件包括以下各項(xiàng)中的至少一個(gè)可用帶寬、傳送數(shù)據(jù)的預(yù)計(jì)丟失、根據(jù)用戶簡(jiǎn)檔表的傳送數(shù)據(jù)的實(shí)際丟失、歷史網(wǎng)絡(luò)條件、以及對(duì)作為優(yōu)先化數(shù)據(jù)傳送的分類數(shù)據(jù)的構(gòu)成的特定請(qǐng)求。
12.根據(jù)權(quán)利要求1所述的方法，其特征在于在調(diào)整步驟期間所考慮的網(wǎng)絡(luò)條件包括以下各項(xiàng)中的至少一個(gè)可用帶寬的變化、傳送的數(shù)據(jù)的預(yù)計(jì)丟失的變化、傳送數(shù)據(jù)的丟失的變化、以及改變作為優(yōu)先化數(shù)據(jù)傳送的分類數(shù)據(jù)的構(gòu)成的請(qǐng)求。
13.一種用于通信表示媒體對(duì)象的數(shù)據(jù)的方法，包括步驟確定網(wǎng)絡(luò)條件根據(jù)網(wǎng)絡(luò)條件來傳送優(yōu)先化數(shù)據(jù)(230)；其中產(chǎn)生作為分類數(shù)據(jù)的構(gòu)成的優(yōu)先化數(shù)據(jù)，表示具有與每一層信息相關(guān)的奇偶校驗(yàn)數(shù)據(jù)的至少一個(gè)基本層信息和至少一個(gè)增強(qiáng)層信息；以及響應(yīng)網(wǎng)絡(luò)條件來確定具有相關(guān)的奇偶校驗(yàn)數(shù)據(jù)的基本層信息和具有相關(guān)的奇偶檢驗(yàn)數(shù)據(jù)的增強(qiáng)層信息的傳送構(gòu)成。
14.根據(jù)權(quán)利要求13所述的方法，其特征在于當(dāng)網(wǎng)絡(luò)條件導(dǎo)致數(shù)據(jù)丟失時(shí)，在分類數(shù)據(jù)的構(gòu)成中傳送更多的基本層奇偶校驗(yàn)數(shù)據(jù)。
15.根據(jù)權(quán)利要求13所述的方法，其特征在于當(dāng)網(wǎng)絡(luò)條件導(dǎo)致成功地接收到更多數(shù)據(jù)時(shí)，在分類數(shù)據(jù)的構(gòu)成中傳送更多的增強(qiáng)層信息。
16.根據(jù)權(quán)利要求13所述的方法，其特征在于按照數(shù)據(jù)分組的形式來發(fā)送優(yōu)先化數(shù)據(jù)。
17.根據(jù)權(quán)利要求16所述的方法，其特征在于當(dāng)空間可用時(shí)，利用更多具有相關(guān)的奇偶校驗(yàn)數(shù)據(jù)的增強(qiáng)層信息來打包數(shù)據(jù)分組。
18.根據(jù)權(quán)利要求13所述的方法，其特征在于響應(yīng)來自解碼器的請(qǐng)求，改變作為優(yōu)先化數(shù)據(jù)傳送的分類數(shù)據(jù)的構(gòu)成。
19.根據(jù)權(quán)利要求13所述的方法，其特征在于在確定步驟期間所考慮的網(wǎng)絡(luò)條件包括以下各項(xiàng)中的至少一個(gè)可用帶寬、傳送數(shù)據(jù)的預(yù)計(jì)丟失、根據(jù)用戶簡(jiǎn)檔表的傳送數(shù)據(jù)的實(shí)際丟失、歷史網(wǎng)絡(luò)條件、以及對(duì)作為優(yōu)先化數(shù)據(jù)傳送的分類數(shù)據(jù)的構(gòu)成的特定請(qǐng)求。
20.一種用于解碼表示媒體對(duì)象的通信數(shù)據(jù)的方法，包括步驟處理優(yōu)先化數(shù)據(jù)(320)，其中所述優(yōu)先化數(shù)據(jù)表示被預(yù)先編碼為具有與每一層信息相關(guān)的奇偶校驗(yàn)數(shù)據(jù)的至少一個(gè)基本層信息和至少一個(gè)增強(qiáng)層信息的分類數(shù)據(jù)的構(gòu)成；以及請(qǐng)求作為優(yōu)先化數(shù)據(jù)傳送的分類數(shù)據(jù)的構(gòu)成發(fā)生改變以反映不同的網(wǎng)絡(luò)條件(330)。
21.根據(jù)權(quán)利要求20所述的方法，其特征在于所述處理步驟使用前向擦除校正(FXC)，用于根據(jù)與丟失信息的層相關(guān)的奇偶校驗(yàn)數(shù)據(jù)來產(chǎn)生丟失層信息。
全文摘要
公開了一種用于傳輸通過前向差錯(cuò)編碼操作編碼的優(yōu)先化數(shù)據(jù)的方法。將媒體對(duì)象分離為不同類的數(shù)據(jù)(210)，形成信息的基本層和至少一個(gè)增強(qiáng)層，每一層具有相關(guān)的奇偶校驗(yàn)數(shù)據(jù)。之后，對(duì)由分類后的數(shù)據(jù)形成的分離媒體對(duì)象的數(shù)據(jù)進(jìn)行編碼和存儲(chǔ)(220)，由此，給基本層的信息賦予比增強(qiáng)層數(shù)據(jù)更高的傳輸優(yōu)先級(jí)。當(dāng)服務(wù)器在網(wǎng)絡(luò)結(jié)構(gòu)上作為優(yōu)先化的數(shù)據(jù)傳送分類后的數(shù)據(jù)時(shí)(230)，使用這樣的優(yōu)先級(jí)分類?？蛇x地，根據(jù)網(wǎng)絡(luò)條件的變化來調(diào)整所傳送的分類數(shù)據(jù)的構(gòu)成(240)。
文檔編號(hào)H04L12/26GK1659824SQ03813355
公開日2005年8月24日 申請(qǐng)日期2003年6月10日 優(yōu)先權(quán)日2002年6月11日
發(fā)明者吉爾·麥克唐納·布瓦斯, 丹尼爾·吉雷利里 申請(qǐng)人:湯姆森許可貿(mào)易公司