專(zhuān)利名稱(chēng)：在因特網(wǎng)協(xié)議網(wǎng)絡(luò)上流式傳輸細(xì)粒狀可縮放性編碼的視頻的方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻流式傳輸，更具體說(shuō)，涉及在諸如因特網(wǎng)的IP(因特網(wǎng)協(xié)議)網(wǎng)絡(luò)上流式傳輸細(xì)粒狀編碼的視頻的方法。
背景技術(shù)：
已經(jīng)使用細(xì)粒狀可縮放性(FGS)來(lái)壓縮視頻以便在具有可變帶寬的網(wǎng)絡(luò)(諸如因特網(wǎng))上進(jìn)行傳輸。FGS結(jié)構(gòu)包括以位速率RBL編碼的基礎(chǔ)層和以位速率REL編碼的單一細(xì)粒狀增強(qiáng)層。
由于該增強(qiáng)層的細(xì)粒度性，F(xiàn)GS視頻流可以通過(guò)任何網(wǎng)絡(luò)會(huì)話以范圍從Bmin＝RBL到Bmax＝RBL+REL的可用帶寬傳輸。例如，如果在發(fā)射機(jī)和接收機(jī)之間的可用帶寬是B＝R，則發(fā)射機(jī)以速率RBL發(fā)送基礎(chǔ)層而只有一部分增強(qiáng)層用速率Re＝R-RBL發(fā)送?？梢赃x擇部分的增強(qiáng)層以細(xì)粒狀方式傳輸。因此，總的傳輸?shù)奈凰俾蔙＝RBL+Re。
FGS編碼方法近來(lái)已經(jīng)由MPEG-4采用作為流式傳輸應(yīng)用的標(biāo)準(zhǔn)。預(yù)期FGS在無(wú)線和異構(gòu)網(wǎng)絡(luò)環(huán)境中由于其對(duì)不可預(yù)測(cè)的帶寬變化的高度可適應(yīng)性而將逐漸獲得普及。為幫助使FGS完全成功，一個(gè)專(zhuān)門(mén)化的、可以利用FGS的帶寬適應(yīng)特征的流式傳輸解決方案是有利的。當(dāng)前尚沒(méi)有為流式傳輸FGS的可用的成熟技術(shù)。
為使用FGS的可適應(yīng)性特征，現(xiàn)有技術(shù)建議有選擇地只轉(zhuǎn)發(fā)給定的鏈路能夠處理的那些數(shù)目的層，亦即所有層是沿著同一組播分發(fā)樹(shù)或子樹(shù)發(fā)放的，所述組播分發(fā)樹(shù)或子樹(shù)隱含地由接收機(jī)的層預(yù)訂(subscription)狀態(tài)所規(guī)定。這樣，接收機(jī)可以通過(guò)在接收流表明互聯(lián)網(wǎng)而隱含地規(guī)定組播分發(fā)樹(shù)。這樣，接收機(jī)以這種方式?jīng)Q定它當(dāng)前的預(yù)訂的級(jí)是過(guò)高還是過(guò)低。
處理可調(diào)整帶寬的現(xiàn)有技術(shù)方法的缺陷是可縮放性差。例如，在反饋內(nèi)爆(feedback implosion)中(這在該技術(shù)中是公知的)，現(xiàn)有技術(shù)端到端解決方案在大量用戶(hù)同時(shí)參加對(duì)話時(shí)會(huì)導(dǎo)致控制信號(hào)從用戶(hù)回送而壓倒信號(hào)源。信號(hào)源可能沒(méi)有計(jì)算資源來(lái)處理這些控制信號(hào)。
另外，現(xiàn)有技術(shù)顯示出會(huì)話內(nèi)的公平性太差。如果多個(gè)用戶(hù)共享同一瓶頸鏈路，則一個(gè)用戶(hù)的活動(dòng)可能影響其他用戶(hù)的帶寬，因而影響其他用戶(hù)感受到的視頻質(zhì)量。
現(xiàn)有技術(shù)方法還展現(xiàn)出差的響應(yīng)時(shí)間。接收機(jī)使用“參加或離開(kāi)”組播組控制以適應(yīng)接收速率，但是這些控制過(guò)程涉及大量因特網(wǎng)協(xié)議一起合作以實(shí)現(xiàn)目標(biāo)。這可能導(dǎo)致接收機(jī)感受到在接收機(jī)發(fā)布控制命令的時(shí)間和該命令被成功執(zhí)行的時(shí)間之間的不可接受的延遲。

發(fā)明內(nèi)容
本發(fā)明的目的是一種在IP網(wǎng)絡(luò)上發(fā)送編碼的視頻數(shù)據(jù)的系統(tǒng)和方法?？傮w上參照?qǐng)D2，除了具有能夠向IP網(wǎng)絡(luò)發(fā)送多層數(shù)據(jù)的服務(wù)器(總體上由標(biāo)號(hào)40指示)，所述系統(tǒng)包括位于服務(wù)器40下游的自適應(yīng)節(jié)點(diǎn)(總體上由標(biāo)號(hào)50指示)。自適應(yīng)節(jié)點(diǎn)50配置在服務(wù)器40和位于自適應(yīng)節(jié)點(diǎn)50的下游的接收機(jī)(總體上由標(biāo)號(hào)60指示)中間。接收機(jī)60和自適應(yīng)節(jié)點(diǎn)50可以有能力通過(guò)感知數(shù)據(jù)網(wǎng)絡(luò)的網(wǎng)絡(luò)擁塞條件而分析網(wǎng)絡(luò)容量，和根據(jù)感知的網(wǎng)絡(luò)擁塞條件動(dòng)態(tài)而改變接收機(jī)60和/或自適應(yīng)節(jié)點(diǎn)50已經(jīng)預(yù)訂的信道。
保護(hù)的范圍不由上面敘述的示范實(shí)施例的發(fā)明內(nèi)容限制，而僅由權(quán)利要求限制。


現(xiàn)在參考附圖，其中相似的參考號(hào)碼通篇表示相應(yīng)的部件圖1是本發(fā)明的一個(gè)示范實(shí)施例的原理圖；圖2是本發(fā)明的一個(gè)示范實(shí)施例以樹(shù)形式表示的原理圖；圖3是這里使用的信道的原理圖；圖4是信道的進(jìn)一步的示意圖；圖5和圖6是本發(fā)明的示例方法的框圖。其中的框按它們的標(biāo)號(hào)說(shuō)明如下200在數(shù)據(jù)網(wǎng)絡(luò)中在服務(wù)器和接收機(jī)的邏輯上的中間配置自適應(yīng)節(jié)點(diǎn)210啟動(dòng)在服務(wù)器和接收機(jī)之間經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)在邏輯上通過(guò)自適應(yīng)節(jié)點(diǎn)的通信
220由接收機(jī)根據(jù)它感知的網(wǎng)絡(luò)容量預(yù)訂一個(gè)或者多個(gè)信道230啟動(dòng)在服務(wù)器和接收機(jī)之間經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)為每一預(yù)訂的信道邏輯上通過(guò)自適應(yīng)節(jié)點(diǎn)的端對(duì)端通信信道240在自適應(yīng)節(jié)點(diǎn)處認(rèn)出由接收機(jī)預(yù)訂的在操作上配置在服務(wù)器和接收機(jī)中間的自適應(yīng)節(jié)點(diǎn)下游的信道250服務(wù)器經(jīng)由各自的信道向數(shù)據(jù)網(wǎng)絡(luò)發(fā)送多個(gè)數(shù)據(jù)層中預(yù)定數(shù)目的數(shù)據(jù)層260由接收機(jī)在接收機(jī)處監(jiān)視網(wǎng)絡(luò)容量270由自適應(yīng)節(jié)點(diǎn)在自適應(yīng)節(jié)點(diǎn)處監(jiān)視網(wǎng)絡(luò)容量280根據(jù)由接收機(jī)感知的網(wǎng)絡(luò)容量由接收機(jī)修改預(yù)訂信道的傳輸281接收所有的預(yù)訂并計(jì)算最大預(yù)訂率282回傳計(jì)算的最大預(yù)訂率290根據(jù)由自適應(yīng)節(jié)點(diǎn)感知的網(wǎng)絡(luò)容量修改通過(guò)自適應(yīng)節(jié)點(diǎn)到接收機(jī)的預(yù)訂的信道的傳輸具體實(shí)施方式
現(xiàn)在參考附圖，最初參考圖1和圖3，實(shí)現(xiàn)細(xì)粒狀可縮放性(FGS)編碼來(lái)改善在FGS基礎(chǔ)層21傳輸?shù)拿恳粠驁D像的視頻質(zhì)量和信噪比(SNR)(圖3)。本發(fā)明提供一個(gè)信道管理模型和速率控制機(jī)制，以便在數(shù)據(jù)網(wǎng)絡(luò)100上實(shí)現(xiàn)FGS編碼視頻的流式傳輸，這是通過(guò)引入在數(shù)據(jù)流中配置的專(zhuān)門(mén)化的自適應(yīng)節(jié)點(diǎn)51、52(圖1)以實(shí)現(xiàn)可縮放性、并允許實(shí)施例直接配置在諸如數(shù)據(jù)網(wǎng)絡(luò)100的標(biāo)準(zhǔn)IP網(wǎng)絡(luò)之上而實(shí)現(xiàn)的。
在一個(gè)在圖1的特定的物理原理布局中總體示出、而在圖2中以更一般的、等價(jià)的邏輯樹(shù)布局示出的示范實(shí)施例中，本發(fā)明包括一個(gè)用于將對(duì)網(wǎng)絡(luò)容量敏感的編碼的視頻數(shù)據(jù)進(jìn)行編碼并發(fā)送的系統(tǒng)。該系統(tǒng)包括服務(wù)器40、自適應(yīng)節(jié)點(diǎn)(在圖2中總體用標(biāo)號(hào)50指示，而在圖1中具體用標(biāo)號(hào)51和52指示)、和接收機(jī)(在圖2中總體用標(biāo)號(hào)60指示，而在圖1中具體用標(biāo)號(hào)61和62指示)，它們?nèi)荚诓僮魃辖?jīng)由諸如因特網(wǎng)100的IP網(wǎng)絡(luò)互聯(lián)。
如圖1和圖3所示，服務(wù)器40具有處理器和存儲(chǔ)器，能夠經(jīng)由數(shù)據(jù)通信設(shè)備42(圖1)通過(guò)多個(gè)信道30(圖3)向網(wǎng)絡(luò)100發(fā)送數(shù)據(jù)。該數(shù)據(jù)包括多個(gè)層20(圖3)，諸如FGS基礎(chǔ)層21和多個(gè)增強(qiáng)視頻層22-25。基礎(chǔ)層編碼器44(圖1)(它可以用軟件實(shí)現(xiàn))可以在服務(wù)器40內(nèi)存在和執(zhí)行，在這里基礎(chǔ)層編碼器44能夠?qū)σ徊糠忠曨l數(shù)據(jù)編碼以產(chǎn)生基礎(chǔ)層幀。這可以包括遵守諸如MPEG4標(biāo)準(zhǔn)的標(biāo)準(zhǔn)的編碼。另外，增強(qiáng)層編碼器45(圖1)(它可以用軟件實(shí)現(xiàn))可以在服務(wù)器40中執(zhí)行，在這里增強(qiáng)層編碼器45能夠使用FGS編碼技術(shù)從視頻數(shù)據(jù)和基礎(chǔ)層幀產(chǎn)生經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)氖Ｓ鄨D像幀。
如圖2所示，自適應(yīng)節(jié)點(diǎn)50可操作地配置在服務(wù)器40和下游客戶(hù)(諸如接收機(jī)60)和/或其他自適應(yīng)節(jié)點(diǎn)中間，例如在圖1中自適應(yīng)節(jié)點(diǎn)52是自適應(yīng)節(jié)點(diǎn)51的客戶(hù)。自適應(yīng)節(jié)點(diǎn)50能夠把由接收機(jī)60預(yù)訂的信道30(圖3所示)轉(zhuǎn)發(fā)到接收機(jī)60。
如圖1和圖2指出，可以存在多個(gè)自適應(yīng)節(jié)點(diǎn)50，一些在其他對(duì)等體(諸如其他的自適應(yīng)節(jié)點(diǎn)50)的上游，例如，在圖1中自適應(yīng)節(jié)點(diǎn)51是自適應(yīng)節(jié)點(diǎn)52的邏輯上的上游，而一些具有下游對(duì)等體，諸如多個(gè)下游接收機(jī)60。如在圖2中另外所示，自適應(yīng)節(jié)點(diǎn)50位于服務(wù)器40和其他自適應(yīng)節(jié)點(diǎn)50、接收機(jī)60或其組合的邏輯上的中間。自適應(yīng)節(jié)點(diǎn)50(圖1中的自適應(yīng)節(jié)點(diǎn)51)包括網(wǎng)絡(luò)分析器54，它可以是在自適應(yīng)節(jié)點(diǎn)50內(nèi)執(zhí)行的軟件。在本發(fā)明的一個(gè)實(shí)施例中，網(wǎng)絡(luò)分析器54的唯一功能可以是對(duì)它的每一下游接收機(jī)60預(yù)訂的信道30的數(shù)目計(jì)數(shù)。在本發(fā)明的另一個(gè)實(shí)施例中，網(wǎng)絡(luò)分析器54除對(duì)每一下游接收機(jī)60預(yù)訂的信道的數(shù)目計(jì)數(shù)外，還可以感知在自適應(yīng)節(jié)點(diǎn)50處的網(wǎng)絡(luò)擁塞條件?；谒兄脑谧赃m應(yīng)節(jié)點(diǎn)50處的網(wǎng)絡(luò)擁塞條件，自適應(yīng)節(jié)點(diǎn)50動(dòng)態(tài)修改由接收機(jī)60預(yù)訂的信道30(圖3)的傳輸。
自適應(yīng)節(jié)點(diǎn)50可以執(zhí)行兩種不同的功能。在前向方向，亦即從服務(wù)器40到接收機(jī)60，自適應(yīng)節(jié)點(diǎn)50可以增強(qiáng)網(wǎng)絡(luò)100以便在流式傳輸應(yīng)用方面提供希望的服務(wù)質(zhì)量。在逆方向，自適應(yīng)節(jié)點(diǎn)50可以用作為能夠抑制反饋內(nèi)爆和加速信道自適應(yīng)控制的控制工具。因此，自適應(yīng)節(jié)點(diǎn)50還可以處理位于該自適應(yīng)節(jié)點(diǎn)50下游的一個(gè)或者多個(gè)客戶(hù)的信道預(yù)訂請(qǐng)求，所述客戶(hù)亦即一個(gè)或者多個(gè)接收機(jī)60以及來(lái)自位于下游的一個(gè)或者多個(gè)其它自適應(yīng)節(jié)點(diǎn)50。預(yù)訂請(qǐng)求因此可以由自適應(yīng)節(jié)點(diǎn)50或由在回傳端點(diǎn)處的服務(wù)器40處理。
自適應(yīng)節(jié)點(diǎn)50還可以進(jìn)一步包括數(shù)據(jù)存儲(chǔ)器55，用于緩沖存儲(chǔ)層20(圖3)。數(shù)據(jù)存儲(chǔ)器55可以包括一個(gè)或者多個(gè)固定或者可拆卸磁介質(zhì)、固定或者可拆卸光介質(zhì)、固定或者可拆卸電子介質(zhì)。
自適應(yīng)節(jié)點(diǎn)50和數(shù)據(jù)發(fā)送器例如服務(wù)器40或者另外的自適應(yīng)節(jié)點(diǎn)50根據(jù)接收的控制信號(hào)可以激活或者去激活一個(gè)給定的信道30(例如在圖3中所示的信道31-35)，以便實(shí)現(xiàn)為接收機(jī)60的信道預(yù)訂和解除預(yù)訂。
接收機(jī)60不知道信道結(jié)構(gòu)。接收機(jī)60將接收的分組解碼，并將它們輸出到顯示系統(tǒng)，例如顯示監(jiān)視器或者電視(圖中未示出)。網(wǎng)絡(luò)分析器64(圖1)(它可以作為在接收機(jī)60內(nèi)執(zhí)行的軟件而實(shí)現(xiàn))監(jiān)視網(wǎng)絡(luò)100在接收機(jī)60處感知的網(wǎng)絡(luò)擁塞條件?；诟兄木W(wǎng)絡(luò)擁塞，接收機(jī)60通過(guò)給自適應(yīng)節(jié)點(diǎn)50或者直接給其它數(shù)據(jù)發(fā)送者(例如服務(wù)器40)發(fā)送控制信號(hào)(諸如通過(guò)使用實(shí)時(shí)流式傳輸協(xié)議(RTSP)方法)以動(dòng)態(tài)預(yù)訂預(yù)定數(shù)目的信道30。
自適應(yīng)節(jié)點(diǎn)50可以接收來(lái)自下游客戶(hù)(例如接收機(jī)60或者另一個(gè)自適應(yīng)節(jié)點(diǎn)50)的預(yù)訂。自適應(yīng)節(jié)點(diǎn)50然后可以向上游轉(zhuǎn)發(fā)該預(yù)訂。另外，包括從所有下游節(jié)點(diǎn)50、60接收的預(yù)定預(yù)訂數(shù)量的預(yù)訂消息可以向上游回傳。自適應(yīng)節(jié)點(diǎn)50還可以例如通過(guò)分組損失和跳動(dòng)報(bào)告觀察下游鏈路負(fù)載，和例如但不限于通過(guò)丟棄諸如在上面的信道30中的分組這樣的分組來(lái)決定減小它的轉(zhuǎn)發(fā)速率。
另外參考圖4，自適應(yīng)節(jié)點(diǎn)50或者服務(wù)器40還可以調(diào)度包括在信道30中的層數(shù)據(jù)20的分組的傳輸，或者以突發(fā)方法或者以規(guī)律方式。分組以組的方式轉(zhuǎn)發(fā)，每一組表示一組圖像或者一組幀的一個(gè)視頻幀。在典型的場(chǎng)合，組傳送的順序通過(guò)首先傳輸包含基礎(chǔ)層21的分組而進(jìn)行優(yōu)先級(jí)排序，使得再傳輸?shù)恼?qǐng)求110具有較大的機(jī)會(huì)在基礎(chǔ)層21幀的顯示的截止期限前得到處理。可以使用數(shù)據(jù)存儲(chǔ)器55以更快地處理來(lái)自接收機(jī)6 0(圖4中未示出)的再傳輸請(qǐng)求110。
自適應(yīng)節(jié)點(diǎn)50還可以為在向數(shù)據(jù)存儲(chǔ)器55傳輸中損失的分組提出它自己向上游的傳輸請(qǐng)求110。當(dāng)這樣一個(gè)遺失的分組到達(dá)自適應(yīng)節(jié)點(diǎn)50時(shí)，自適應(yīng)節(jié)點(diǎn)50可以把該遺失的分組存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器55中，并且另外可以迅速向下游轉(zhuǎn)發(fā)該遺失的分組，在該遺失的分組上添加或不添加優(yōu)先級(jí)標(biāo)記。
一般在一個(gè)示范實(shí)施例的操作中，視頻數(shù)據(jù)源例如服務(wù)器40(圖1)根據(jù)FGS標(biāo)準(zhǔn)對(duì)該視頻數(shù)據(jù)編碼。視頻數(shù)據(jù)可以諸如在服務(wù)器40(圖1)使用FGS技術(shù)編碼，其中首先使用一部分視頻數(shù)據(jù)以產(chǎn)生一個(gè)基礎(chǔ)層幀21(圖3)。然后從視頻數(shù)據(jù)和該基礎(chǔ)層幀21使用細(xì)粒狀編碼技術(shù)產(chǎn)生經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)氖Ｓ鄨D像。然后使用經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)氖Ｓ鄨D像產(chǎn)生增強(qiáng)層22-25(圖3)，在這里每一增強(qiáng)層22-25包括一部分經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)氖Ｓ鄨D像。服務(wù)器40經(jīng)由多個(gè)信道30發(fā)送多個(gè)分組以使FGS編碼的視頻通過(guò)網(wǎng)絡(luò)100進(jìn)行流式傳輸。接收機(jī)60(圖1)預(yù)訂一個(gè)或者多個(gè)信道30，這至少部分地取決于在接收機(jī)60感知的帶寬。
在一個(gè)優(yōu)選方式中，服務(wù)器40為包括基礎(chǔ)層21的分組分配最高的發(fā)送優(yōu)先級(jí)，并且漸進(jìn)地減少來(lái)自不同增強(qiáng)層22-25的分組的優(yōu)先級(jí)或者增強(qiáng)層22-25所用的信道32-35的優(yōu)先級(jí)。例如，當(dāng)自適應(yīng)節(jié)點(diǎn)50需要丟棄一個(gè)分組時(shí)，在一個(gè)優(yōu)選方式中，它將從具有最低優(yōu)先級(jí)的分組中選擇。
現(xiàn)在另外參考圖5，在步驟200，一個(gè)或者多個(gè)自適應(yīng)節(jié)點(diǎn)50邏輯上配置在數(shù)據(jù)網(wǎng)絡(luò)例如100中的服務(wù)器40和接收機(jī)60的中間。在FGS處理后，服務(wù)器40可以啟動(dòng)在服務(wù)器40和一個(gè)或者多個(gè)下游接收機(jī)60之間的多個(gè)端對(duì)端通信信道，借助它們，服務(wù)器40給網(wǎng)絡(luò)100提供編碼的視頻。在一個(gè)典型的實(shí)施例中，一個(gè)預(yù)定的信道(例如31)以預(yù)定的帶寬和優(yōu)先級(jí)與基礎(chǔ)層21關(guān)聯(lián)。另外的信道30可以與增強(qiáng)層22-25例如信道32-35關(guān)聯(lián)。
然后在步驟210在數(shù)據(jù)網(wǎng)絡(luò)100上在邏輯上通過(guò)一個(gè)或者多個(gè)自適應(yīng)節(jié)點(diǎn)50啟動(dòng)在服務(wù)器40和接收機(jī)60之間的通信。在步驟220，接收機(jī)60根據(jù)由接收機(jī)60感知的網(wǎng)絡(luò)容量預(yù)訂包含基礎(chǔ)層21和至少一個(gè)增強(qiáng)層22-25的一個(gè)或者多個(gè)信道30。對(duì)于信道30的實(shí)際預(yù)訂至少部分基于由接收機(jī)60感知的網(wǎng)絡(luò)容量。因此，在它們參與FGS系統(tǒng)對(duì)話期間，自適應(yīng)節(jié)點(diǎn)50和接收機(jī)60持續(xù)監(jiān)視帶寬和動(dòng)態(tài)調(diào)整信道預(yù)訂。
在步驟230，服務(wù)器40和接收機(jī)60在數(shù)據(jù)網(wǎng)絡(luò)100上為每一預(yù)訂的信道30邏輯上通過(guò)邏輯配置在服務(wù)器40和接收機(jī)60之間的一個(gè)或者多個(gè)自適應(yīng)節(jié)點(diǎn)50啟動(dòng)端對(duì)端通信信道。在步驟240，自適應(yīng)節(jié)點(diǎn)50認(rèn)出對(duì)在操作上配置在服務(wù)器40和接收機(jī)60中間的自適應(yīng)節(jié)點(diǎn)50的下游的接收機(jī)60預(yù)訂的信道30。
一旦信道30已經(jīng)建立，則在步驟250經(jīng)由它們各自的信道30向數(shù)據(jù)網(wǎng)絡(luò)100發(fā)送多個(gè)數(shù)據(jù)層中預(yù)定數(shù)目的數(shù)據(jù)層20。
現(xiàn)在參考圖6，由接收機(jī)60實(shí)現(xiàn)的信道控制通過(guò)預(yù)訂或者放棄一個(gè)或者多個(gè)信道30而允許加入或離開(kāi)擁塞的組播組。在步驟260，接收機(jī)60監(jiān)視在接收機(jī)60處的網(wǎng)絡(luò)容量。在步驟280，接收機(jī)60可以根據(jù)由接收機(jī)60感知的網(wǎng)絡(luò)容量修改在接收機(jī)60處的預(yù)訂的信道30的傳輸。
在當(dāng)前預(yù)見(jiàn)的實(shí)施例中，接收機(jī)60將根據(jù)在接收機(jī)60處感知的網(wǎng)絡(luò)擁塞條件動(dòng)態(tài)建立或者拆除服務(wù)器40和接收機(jī)60之間的端對(duì)端通信信道30。以這種方式，包括服務(wù)器40、自適應(yīng)節(jié)點(diǎn)50、和接收機(jī)60的整個(gè)系統(tǒng)可以有效地適應(yīng)FGS編碼的視頻的傳輸速率而不依賴(lài)用于增強(qiáng)層22-25的復(fù)雜的截?cái)嗨惴?，它在?dāng)所有的一切都在單一信道30(例如31)中發(fā)送時(shí)可能是必要的。
在適當(dāng)?shù)臅r(shí)間，接收機(jī)60可以對(duì)未接收到的分組發(fā)布一個(gè)再傳輸請(qǐng)求。然而，在接收機(jī)60移動(dòng)到加入或者離開(kāi)一個(gè)組播組前，它可以給接收機(jī)60上游的自適應(yīng)節(jié)點(diǎn)50例如接收機(jī)61上游的自適應(yīng)節(jié)點(diǎn)51發(fā)送一個(gè)控制信號(hào)。
對(duì)于本發(fā)明的多信道流式傳輸模型和FGS，服務(wù)器40通過(guò)信道30以至少一個(gè)接收機(jī)60能夠接受的最大速率發(fā)送分組。在步驟281，每一接收機(jī)60將接收所有的預(yù)訂和計(jì)算最大預(yù)訂率。所有其它只能以較低速率接收的接收機(jī)60只預(yù)訂信道30的子組。因此，雖然同一廣播會(huì)話的所有信道30將共享或者部分共享同一組播發(fā)送樹(shù)和服務(wù)器40可以以最大帶寬通過(guò)信道30發(fā)送一個(gè)數(shù)據(jù)流，但是每一個(gè)接收機(jī)60根據(jù)由接收機(jī)60感知的網(wǎng)絡(luò)容量以適合于該接收機(jī)的帶寬接收該數(shù)據(jù)流。
在步驟282，接收機(jī)60然后可以回傳計(jì)算的預(yù)訂率，諸如到位于上游的自適應(yīng)節(jié)點(diǎn)51或者位于上游的服務(wù)器40。
在步驟270，當(dāng)接收機(jī)60正在監(jiān)視帶寬和接收數(shù)據(jù)時(shí)，自適應(yīng)節(jié)點(diǎn)51也監(jiān)視網(wǎng)絡(luò)容量，但是集中在自適應(yīng)節(jié)點(diǎn)51處的網(wǎng)絡(luò)容量。相應(yīng)地，自適應(yīng)節(jié)點(diǎn)50也接收在不同信道30中的分組，并把它們轉(zhuǎn)發(fā)到下一個(gè)下游接收者，下游接收者可以包括另外的自適應(yīng)節(jié)點(diǎn)50諸如自適應(yīng)節(jié)點(diǎn)52和接收機(jī)61、62。根據(jù)在自適應(yīng)節(jié)點(diǎn)50處感知的網(wǎng)絡(luò)容量，在步驟272自適應(yīng)節(jié)點(diǎn)50可以修改預(yù)訂的信道30通過(guò)自適應(yīng)節(jié)點(diǎn)50到接收機(jī)60的傳輸，所述接收機(jī)60根據(jù)由自適應(yīng)節(jié)點(diǎn)50感知的網(wǎng)絡(luò)容量預(yù)訂信道30。這樣，自適應(yīng)節(jié)點(diǎn)50例如但不限于通過(guò)優(yōu)先級(jí)緩沖存儲(chǔ)或分組丟棄能夠修改由下游接收機(jī)60預(yù)訂的信道30通過(guò)自適應(yīng)節(jié)點(diǎn)50到下游接收機(jī)60的傳輸。
在一個(gè)當(dāng)前預(yù)見(jiàn)的實(shí)施例中，最下游的自適應(yīng)節(jié)點(diǎn)50(例如52)可以接收來(lái)自緊接在自適應(yīng)節(jié)點(diǎn)52下游(例如接收機(jī)62)的接收機(jī)60的信道預(yù)訂請(qǐng)求。該最下游的自適應(yīng)節(jié)點(diǎn)52然后計(jì)算一個(gè)適合于該最下游的自適應(yīng)節(jié)點(diǎn)52的最大信道預(yù)訂級(jí)并且把這一最大信道預(yù)訂級(jí)傳播到上游的下一個(gè)自適應(yīng)節(jié)點(diǎn)(例如自適應(yīng)節(jié)點(diǎn)51)。該處理可以重復(fù)直到服務(wù)器40。其結(jié)果是，沿組播樹(shù)的每一分支，傳輸最大數(shù)目的信道30，它們適合于每一分支的網(wǎng)絡(luò)負(fù)載容量。
在上游路徑中的每一自適應(yīng)節(jié)點(diǎn)50還可以集合從它們的下游接收機(jī)60或者下游自適應(yīng)節(jié)點(diǎn)50接收的所有控制信號(hào)，并且在需要時(shí)把集合的控制信號(hào)回傳給服務(wù)器40。服務(wù)器40然后可以根據(jù)接收到的、由自適應(yīng)節(jié)點(diǎn)50轉(zhuǎn)發(fā)的控制信號(hào)來(lái)調(diào)整它的廣播信道30。
如果需要的話，自適應(yīng)節(jié)點(diǎn)50可以丟棄分組或者在接收機(jī)60可以接受的一定延遲參數(shù)內(nèi)延遲分組的傳輸，以便平滑暫時(shí)的通信量變化。作為例子但不是限制，可以配置一個(gè)前向節(jié)點(diǎn)(例如自適應(yīng)節(jié)點(diǎn)51)以便僅當(dāng)自適應(yīng)節(jié)點(diǎn)51下游的鏈路容量因并發(fā)通信量超過(guò)預(yù)定的鏈路門(mén)限(例如一定的時(shí)間尺度而飽和時(shí))丟棄分組。如果這一飽和只是暫時(shí)的(諸如可以由突發(fā)通信量所引起)，則轉(zhuǎn)發(fā)處理可能暫時(shí)減慢，但是轉(zhuǎn)發(fā)延遲了的分組的時(shí)間跨距可能仍然維持在如所有信道30曾到達(dá)的時(shí)間跨距的同樣的持續(xù)時(shí)間內(nèi)。
自適應(yīng)節(jié)點(diǎn)50可以按照分配給這些數(shù)據(jù)包的優(yōu)先級(jí)的次序處理數(shù)據(jù)包。在一個(gè)優(yōu)選的實(shí)施例中，自適應(yīng)節(jié)點(diǎn)50不轉(zhuǎn)發(fā)在信道30中高于它的下游鏈路可以用掉的分組，亦即它丟棄它們。被丟棄的分組可以根據(jù)分配給這些數(shù)據(jù)分組的優(yōu)先級(jí)而丟棄，并相應(yīng)地通知上游節(jié)點(diǎn)。
在自適應(yīng)節(jié)點(diǎn)50具有一個(gè)轉(zhuǎn)發(fā)緩沖器55的實(shí)施例中，自適應(yīng)節(jié)點(diǎn)50可以緩沖存儲(chǔ)來(lái)自信道30的內(nèi)容，允許自適應(yīng)節(jié)點(diǎn)50對(duì)上游和下游的不同的網(wǎng)絡(luò)容量作出反應(yīng)。例如，如果自適應(yīng)節(jié)點(diǎn)50具有緩沖器55，則它可以超高速緩沖存儲(chǔ)分組，使得自適應(yīng)節(jié)點(diǎn)50可以滿(mǎn)足來(lái)自緩沖器55的下游重新傳輸請(qǐng)求。如果自適應(yīng)節(jié)點(diǎn)50檢測(cè)到由于在它的轉(zhuǎn)發(fā)緩沖器55中的溢出因而它必須丟棄一些分組，則它可以這樣做，然后相應(yīng)地通知上游節(jié)點(diǎn)例如51和40。
另外，自適應(yīng)節(jié)點(diǎn)50可以獨(dú)立于任何自適應(yīng)節(jié)點(diǎn)50或在自適應(yīng)節(jié)點(diǎn)50下游的接收機(jī)60而請(qǐng)求重新傳輸一個(gè)或者多個(gè)分組。服務(wù)器40然后重新傳輸請(qǐng)求的分組給自適應(yīng)節(jié)點(diǎn)50。如果下游容量變得可用，則自適應(yīng)節(jié)點(diǎn)50可以把這種另外的容量通知它的上游節(jié)點(diǎn)和請(qǐng)求另外的信道30。
因此，自適應(yīng)節(jié)點(diǎn)50可以從一個(gè)上游源例如服務(wù)器40請(qǐng)求重新傳輸，和/或也響應(yīng)下游的重新傳輸請(qǐng)求。進(jìn)一步，通過(guò)使用它的緩沖存儲(chǔ)能力，自適應(yīng)節(jié)點(diǎn)50可以以第一速率從一個(gè)上游數(shù)據(jù)源(例如服務(wù)器40)接受信道數(shù)據(jù)，同時(shí)以第二速率向一個(gè)下游的數(shù)據(jù)接收機(jī)60傳播信道數(shù)據(jù)。這可能導(dǎo)致緩沖器的填充/清空操作，它可以增加有效的端對(duì)端數(shù)據(jù)速率而無(wú)需使在自適應(yīng)節(jié)點(diǎn)50的兩側(cè)相應(yīng)部分過(guò)載。
舉另一個(gè)例子但不是作為限制，假定接收機(jī)60希望離開(kāi)它當(dāng)前預(yù)訂的信道35。接收機(jī)60首先給自適應(yīng)節(jié)點(diǎn)50或者給服務(wù)器40發(fā)送一個(gè)信道控制信號(hào)。當(dāng)這一控制信號(hào)最終到達(dá)服務(wù)器40時(shí)，服務(wù)器40可以立即停止通過(guò)信道35發(fā)送所有分組，如果沒(méi)有其他的接收機(jī)當(dāng)前預(yù)訂信道35的話，即使接收機(jī)60未能通過(guò)正常過(guò)程成功離開(kāi)組播信道也是這樣。信道35將立即靜止，節(jié)省網(wǎng)絡(luò)資源。
自適應(yīng)節(jié)點(diǎn)50向其傳送分組的下游鏈路的容量追隨著滿(mǎn)足TCP友好準(zhǔn)則的轉(zhuǎn)發(fā)速率，作為舉例但不限于，取決于可容忍的端對(duì)端的延遲，以允許分組從較高的信道(例如32-35)繼續(xù)轉(zhuǎn)發(fā)，同時(shí)在當(dāng)前瓶頸鏈路上被緩沖存儲(chǔ)以調(diào)節(jié)該鏈路暫時(shí)的擁塞。相應(yīng)地，自適應(yīng)節(jié)點(diǎn)50可以具有兩種不同的功能在從服務(wù)器40到接收機(jī)60的前向方向上，自適應(yīng)節(jié)點(diǎn)50可以增強(qiáng)IP網(wǎng)絡(luò)以便對(duì)流式傳輸應(yīng)用提供諸如選擇性地分組丟棄的服務(wù)質(zhì)量(QoS)。在相反的方向上，自適應(yīng)節(jié)點(diǎn)50可以起到抑制反饋內(nèi)爆和加速信道適應(yīng)控制的控制作用。
盡管本發(fā)明根據(jù)上述特定例子說(shuō)明，但是應(yīng)該理解，本發(fā)明不打算局限到或限制于這里所公開(kāi)的例子。例如，本發(fā)明不限于任何特定的編碼策略幀類(lèi)型或者概率分布。相反，本發(fā)明打算覆蓋在所附權(quán)利要求的精神和范圍之內(nèi)所包括的各種結(jié)構(gòu)及其修改。
權(quán)利要求
1.一種用于提供細(xì)粒狀可縮放性編碼的視頻數(shù)據(jù)的流式傳輸?shù)南到y(tǒng)，包括服務(wù)器，用于通過(guò)多個(gè)信道向數(shù)據(jù)網(wǎng)絡(luò)發(fā)送細(xì)粒狀可縮放性編碼的視頻數(shù)據(jù)；接收機(jī)，具有第一網(wǎng)絡(luò)分析器，它感知在接收機(jī)處的網(wǎng)絡(luò)擁塞條件，和根據(jù)在接收機(jī)處感知的數(shù)據(jù)網(wǎng)絡(luò)的擁塞條件來(lái)動(dòng)態(tài)修改對(duì)預(yù)定數(shù)目的多個(gè)信道的預(yù)訂；和自適應(yīng)節(jié)點(diǎn)，具有第二網(wǎng)絡(luò)分析器，它對(duì)由接收機(jī)預(yù)訂的信道的數(shù)目進(jìn)行計(jì)數(shù)。
2.權(quán)利要求1所述的系統(tǒng)，其中，所述自適應(yīng)節(jié)點(diǎn)包括多個(gè)自適應(yīng)節(jié)點(diǎn)，其中，該多個(gè)自適應(yīng)節(jié)點(diǎn)中的至少一個(gè)是在該多個(gè)自適應(yīng)節(jié)點(diǎn)中的至少另一個(gè)節(jié)點(diǎn)的上游。
3.一種用于傳輸流式傳輸?shù)募?xì)粒狀可縮放性編碼的視頻數(shù)據(jù)的方法，包括a.在數(shù)據(jù)網(wǎng)絡(luò)中在服務(wù)器和接收機(jī)的邏輯上的中間配置自適應(yīng)節(jié)點(diǎn)；b.啟動(dòng)在數(shù)據(jù)網(wǎng)絡(luò)上在服務(wù)器和接收機(jī)之間邏輯上通過(guò)該自適應(yīng)節(jié)點(diǎn)的通信；c.根據(jù)由接收機(jī)感知的網(wǎng)絡(luò)容量由接收機(jī)預(yù)訂一個(gè)或者多個(gè)信道，每一信道相應(yīng)于多個(gè)數(shù)據(jù)層中一個(gè)預(yù)定數(shù)據(jù)層，這些數(shù)據(jù)層包括在服務(wù)器可用的流式傳輸?shù)募?xì)?？煽s放性編碼的視頻數(shù)據(jù)；d.為每一預(yù)訂的信道啟動(dòng)在數(shù)據(jù)網(wǎng)絡(luò)上在服務(wù)器和接收機(jī)之間邏輯上通過(guò)自適應(yīng)節(jié)點(diǎn)的端對(duì)端通信信道；e.由自適應(yīng)節(jié)點(diǎn)認(rèn)出由在操作上配置在服務(wù)器和接收機(jī)中間的自適應(yīng)節(jié)點(diǎn)下游的接收機(jī)所預(yù)訂的信道；f.由服務(wù)器經(jīng)由其各自的信道向數(shù)據(jù)網(wǎng)絡(luò)發(fā)送多個(gè)數(shù)據(jù)層中預(yù)定數(shù)目的數(shù)據(jù)層；g.由接收機(jī)在接收機(jī)處監(jiān)視網(wǎng)絡(luò)容量；h.由自適應(yīng)節(jié)點(diǎn)在自適應(yīng)節(jié)點(diǎn)處監(jiān)視網(wǎng)絡(luò)容量；i.根據(jù)由接收機(jī)感知的網(wǎng)絡(luò)容量修改在接收機(jī)處預(yù)訂的信道的傳輸；和j.根據(jù)由自適應(yīng)節(jié)點(diǎn)感知的網(wǎng)絡(luò)容量修改預(yù)訂的信道通過(guò)自適應(yīng)節(jié)點(diǎn)到接收機(jī)的傳輸。
4.權(quán)利要求3所述的方法，其中步驟(c)進(jìn)一步包括a.把流式傳輸?shù)募?xì)粒狀可縮放性編碼的視頻數(shù)據(jù)的一部分編碼以產(chǎn)生一個(gè)基礎(chǔ)層幀；b.使用細(xì)粒狀編碼技術(shù)從流式傳輸?shù)募?xì)粒狀可縮放性編碼的視頻數(shù)據(jù)和基礎(chǔ)層幀產(chǎn)生經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)氖Ｓ鄨D像；c.使用經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)氖Ｓ鄨D像產(chǎn)生增強(qiáng)層；該增強(qiáng)層包括多個(gè)層，每一層包括一部分經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)氖Ｓ鄨D像。
5.權(quán)利要求4所述的方法，進(jìn)一步包括在自適應(yīng)節(jié)點(diǎn)緩沖存儲(chǔ)基礎(chǔ)層幀和增強(qiáng)層。
6.權(quán)利要求5所述的方法，其中緩沖存儲(chǔ)進(jìn)一步包括a.從上游節(jié)點(diǎn)請(qǐng)求重新傳輸；和b.響應(yīng)來(lái)自下游節(jié)點(diǎn)的重新傳輸請(qǐng)求。
7.權(quán)利要求4所述的方法，進(jìn)一步包括a.以第一速率從一個(gè)上游數(shù)據(jù)源接收層數(shù)據(jù)；和b.以第二速率向一個(gè)下游數(shù)據(jù)接收機(jī)轉(zhuǎn)發(fā)層數(shù)據(jù)。
8.權(quán)利要求4所述的方法，其中，自適應(yīng)節(jié)點(diǎn)處理邏輯上配置在該自適應(yīng)節(jié)點(diǎn)下游的客戶(hù)的預(yù)訂請(qǐng)求。
9.權(quán)利要求8所述的方法，其中，所述客戶(hù)至少包括接收機(jī)和第二自適應(yīng)節(jié)點(diǎn)中的一個(gè)。
10.權(quán)利要求8所述的方法，其中所述處理包括a.從自適應(yīng)節(jié)點(diǎn)的接收機(jī)接收預(yù)訂請(qǐng)求；b.由自適應(yīng)節(jié)點(diǎn)計(jì)算最大預(yù)訂級(jí)；和c.由自適應(yīng)節(jié)點(diǎn)向上游的下一個(gè)對(duì)等體傳播該最大預(yù)訂級(jí)。
11.一個(gè)用在流式傳輸視頻數(shù)據(jù)系統(tǒng)中的自適應(yīng)節(jié)點(diǎn)，包括a.數(shù)據(jù)通信接口，用于可操作地連接到一個(gè)數(shù)據(jù)網(wǎng)絡(luò)；b.網(wǎng)絡(luò)分析器，用于i.在自適應(yīng)節(jié)點(diǎn)處感知數(shù)據(jù)網(wǎng)絡(luò)的網(wǎng)絡(luò)擁塞條件；和ii.根據(jù)感知的網(wǎng)絡(luò)擁塞條件，對(duì)從邏輯上配置在該自適應(yīng)節(jié)點(diǎn)的上游的數(shù)據(jù)信道源到邏輯上配置在該自適應(yīng)節(jié)點(diǎn)下游的客戶(hù)的數(shù)據(jù)信道的傳輸進(jìn)行動(dòng)態(tài)修改。
全文摘要
本發(fā)明的目的是一種系統(tǒng)和方法，用于在諸如IP網(wǎng)絡(luò)的數(shù)據(jù)網(wǎng)絡(luò)上發(fā)送編碼的視頻數(shù)據(jù)。在具有能夠發(fā)送多層數(shù)據(jù)到數(shù)據(jù)網(wǎng)絡(luò)的服務(wù)器之外，該系統(tǒng)還包括自適應(yīng)節(jié)點(diǎn)，它們位于服務(wù)器和位于該自適應(yīng)節(jié)點(diǎn)下游的客戶(hù)中間，這里，這些客戶(hù)可以是接收機(jī)和/或其它自適應(yīng)節(jié)點(diǎn)。接收機(jī)和自適應(yīng)節(jié)點(diǎn)可以有能力分析網(wǎng)絡(luò)容量，這是通過(guò)在設(shè)備處感知數(shù)據(jù)網(wǎng)絡(luò)的網(wǎng)絡(luò)擁塞條件而實(shí)現(xiàn)的，并根據(jù)所感知的網(wǎng)絡(luò)擁塞條件動(dòng)態(tài)地改變接收機(jī)和/或自適應(yīng)節(jié)點(diǎn)已經(jīng)預(yù)訂的信道預(yù)訂。在此強(qiáng)調(diào)，提供本摘要是為了遵照使檢索人員或者其他讀者迅速確定該技術(shù)公開(kāi)的主題而需要摘要的這一規(guī)則。應(yīng)該理解它的提交將不用于解釋或限制權(quán)利要求的范圍。
文檔編號(hào)H04N7/16GK1636404SQ03804339
公開(kāi)日2005年7月6日 申請(qǐng)日期2003年2月12日 優(yōu)先權(quán)日2002年2月22日
發(fā)明者Q·李, W·R·T·坦卡特 申請(qǐng)人:皇家飛利浦電子股份有限公司