專(zhuān)利名稱(chēng)：：復(fù)用視頻流傳輸?shù)闹谱鞣椒◤?fù)用視頻流傳輸本發(fā)明涉及視頻壓縮和多個(gè)視頻源共享傳輸鏈路的流傳輸(streaming)。具體地但并非排它地，本發(fā)明適用于通過(guò)共享的回程網(wǎng)絡(luò)(baclchaulnetwork)發(fā)送按照多個(gè)不同的恒定質(zhì)量(quality)級(jí)別編碼的視頻。傳統(tǒng)地，通過(guò)以恒定比特率(bitrate)對(duì)視頻進(jìn)行編碼并以同樣的恒定比特率通過(guò)網(wǎng)絡(luò)發(fā)送該視頻來(lái)支持諸如BTVision的視頻點(diǎn)播業(yè)務(wù)。這通常要求網(wǎng)絡(luò)上的帶寬預(yù)留，而提供網(wǎng)絡(luò)上的帶寬預(yù)留是昂貴的。使用壓縮技術(shù)編碼的視頻必然具有可變比特率，因?yàn)樵趯?duì)圖片進(jìn)行編碼時(shí)所產(chǎn)生的比特?cái)?shù)取決于該圖片的內(nèi)容該圖片與先前編碼的圖片有多相似以及該圖片包含多少細(xì)節(jié)?？梢酝ㄟ^(guò)少量的比特將一些視頻場(chǎng)景編碼為給定的質(zhì)量，然而其它場(chǎng)景可能需要明顯更多的比特來(lái)實(shí)現(xiàn)同樣的質(zhì)量。當(dāng)使用恒定比特率編碼時(shí)，必須按照時(shí)間變化的質(zhì)量對(duì)視頻進(jìn)行編碼以滿足比特率約束。這已經(jīng)被示出對(duì)于用戶是次優(yōu)的，用戶更愿意看到恒定的質(zhì)量。同樣，通過(guò)獨(dú)立于視頻內(nèi)容的類(lèi)型來(lái)固定比特率，一些類(lèi)型的內(nèi)容(諸如新聞和戲劇)可以被很好地編碼，而其它類(lèi)型的內(nèi)容(諸如快速運(yùn)動(dòng)的體育和音樂(lè)視頻以及音樂(lè)會(huì))則僅能被非常差地編碼。因此，為了克服這些問(wèn)題，我們提出了平衡(equitable)質(zhì)量流傳輸，目的不在于在并發(fā)(concurrent)的視頻會(huì)話之間平等地共享帶寬，而是在于劃分帶寬以使得將相同的視頻質(zhì)量發(fā)送給各個(gè)用戶。通過(guò)視頻發(fā)送系統(tǒng)調(diào)節(jié)(adapt)各個(gè)并發(fā)的視頻會(huì)話的質(zhì)量和發(fā)送速率(deliveryrate)以滿足整體比特率約束，去除了針對(duì)帶寬預(yù)留的需要。根據(jù)本發(fā)明，提供了一種通過(guò)傳輸鏈路來(lái)發(fā)送多個(gè)視頻流的方法，該方法包括以多個(gè)時(shí)間間隔(atintervals)執(zhí)行以下步驟針對(duì)各個(gè)流選擇編碼器設(shè)置，以使得對(duì)這些流進(jìn)行編碼所產(chǎn)生的比特率的和不超過(guò)所述鏈路的容量；針對(duì)各個(gè)流確定在接收器處針對(duì)該流緩存的數(shù)據(jù)量、按照所選擇的編碼器設(shè)置發(fā)送該流的剩余部分所需要的最小比特率、以及不再需要該比特率的時(shí)間；以及將所述傳輸鏈路的任意剩余容量分配給具有最早的這種時(shí)間的流。權(quán)利要求中闡明了本發(fā)明的其它優(yōu)選的方面?，F(xiàn)在參照附圖來(lái)通過(guò)示例的方式描述本發(fā)明的一些實(shí)施方式。我們將網(wǎng)絡(luò)建模為通過(guò)共享的回程線路連接至多個(gè)客戶端裝置的視頻服務(wù)器。按照多個(gè)恒定質(zhì)量級(jí)別對(duì)多段視頻內(nèi)容進(jìn)行編碼并將該多段視頻內(nèi)容存儲(chǔ)在基于服務(wù)器的網(wǎng)絡(luò)上。這可以通過(guò)針對(duì)各段視頻使用多個(gè)固定的編碼器設(shè)置(例如，量化級(jí)別)來(lái)實(shí)現(xiàn)。響應(yīng)于來(lái)自用戶的請(qǐng)求，在服務(wù)器上選擇視頻內(nèi)容，并通過(guò)共享網(wǎng)絡(luò)將該視頻內(nèi)容發(fā)送給該用戶。該系統(tǒng)基于當(dāng)前正被發(fā)送的視頻內(nèi)容和已經(jīng)緩存在視頻接收器中的視頻數(shù)據(jù)量來(lái)選擇發(fā)送的質(zhì)量級(jí)別。目的在于發(fā)送相同質(zhì)量的視頻給各個(gè)用戶。必須針對(duì)所有同時(shí)發(fā)生的流選擇特定的質(zhì)量級(jí)別，使得滿足所要求的比特率的和比可用的網(wǎng)絡(luò)容量小的約束。通常，由于按照有限數(shù)量的恒定質(zhì)量級(jí)別來(lái)對(duì)視頻內(nèi)容進(jìn)行編碼，所以所要求的比特率的和比網(wǎng)絡(luò)容量小。圖1所示的服務(wù)器包括視頻接口1，該視頻接口1在視頻輸入端2接收按照非壓縮形式進(jìn)行數(shù)字編碼的視頻信號(hào)。處理器3在被存儲(chǔ)在盤(pán)存儲(chǔ)器4中的程序的控制下進(jìn)行操作，并訪問(wèn)存儲(chǔ)器5和視頻輸出接口6，該視頻輸出接口6對(duì)用于通過(guò)電信網(wǎng)絡(luò)連接至多個(gè)客戶端裝置的輸出端7進(jìn)行饋送(feed)。存儲(chǔ)器5包括用于暫時(shí)存儲(chǔ)圖片參數(shù)的存儲(chǔ)區(qū)51。這些程序包括通用操作系統(tǒng)40和實(shí)現(xiàn)一個(gè)或更多個(gè)稍后將說(shuō)明的編碼方法的視頻編碼軟件。該軟件包括多個(gè)程序(或多組程序)，即-控制軟件41;-壓縮軟件42在本示例中，該壓縮軟件實(shí)現(xiàn)符合ITUH.264標(biāo)準(zhǔn)的編碼算法；-感知質(zhì)量評(píng)估軟件43?？梢岳斫?，多個(gè)視頻流被接收并被存儲(chǔ)在存儲(chǔ)器4中，用于稍后通過(guò)接口6進(jìn)行流傳輸?？梢园凑辗侄?piecewise)恒定比特率來(lái)通過(guò)網(wǎng)絡(luò)發(fā)送已經(jīng)按照可變比特率進(jìn)行了編碼的視頻序列，每段視頻的比特率單調(diào)減小。據(jù)認(rèn)為由Mohammed(ihanbari教授首先提出該方法。Mohammed(ihanbari教授把所得到的比特率分布圖(profile)稱(chēng)作“下樓(downstairs)，，函數(shù)。根據(jù)我們的作為W02004/047455公開(kāi)的國(guó)際專(zhuān)利申請(qǐng)((ihanbari和Sun)，可如下有效地分析可變比特率視頻的發(fā)送在接收器處，考慮一些任意時(shí)間段(但等于整數(shù)個(gè)幀周期)，這些任意時(shí)間段從解碼器開(kāi)始對(duì)幀g進(jìn)行解碼的時(shí)刻tg延續(xù)到該解碼器開(kāi)始對(duì)幀h進(jìn)行解碼的時(shí)刻th。該時(shí)間段的持續(xù)時(shí)間為h-g個(gè)GOP周期，S卩，th-tg。并且，假設(shè)該時(shí)間段期間的傳輸速率為A比特/幀周期。顯然，在時(shí)刻tg，接收器肯定已經(jīng)接收到直到幀g并包括幀g的所有幀的比特，即權(quán)利要求1.一種通過(guò)傳輸鏈路發(fā)送多個(gè)視頻流的方法，該方法包括以多個(gè)時(shí)間間隔執(zhí)行以下步驟按照多個(gè)編碼器設(shè)置中的每一個(gè)針對(duì)各個(gè)視頻流確定在接收器處針對(duì)該流緩存的數(shù)據(jù)量、足以按照該編碼器設(shè)置來(lái)發(fā)送該流的剩余部分以使得避免所述接收器處的緩存器下溢的比特率、以及等于能夠減少該比特率同時(shí)仍然避免在所述接收器處的緩存器下溢的最早時(shí)間的關(guān)鍵點(diǎn)；針對(duì)各個(gè)視頻流選擇編碼器設(shè)置以使得所述流的傳輸所要求的所述比特率的和不超過(guò)所述傳輸鏈路的容量；以及將所述傳輸鏈路的任何剩余容量分配給具有所述最早關(guān)鍵點(diǎn)的流。2.根據(jù)權(quán)利要求1所述的方法，其中，在各種情況下針對(duì)各個(gè)流選擇的所述比特率與在接收器處針對(duì)該流緩存的數(shù)據(jù)量以及按照所選擇的編碼器設(shè)置發(fā)送該流的剩余部分所需要的最小比特率相關(guān)。3.根據(jù)權(quán)利要求1所述的方法，該方法還包括以下步驟按照多個(gè)編碼器設(shè)置中的每一個(gè)以及針對(duì)各個(gè)流的多個(gè)時(shí)間位置中的每一個(gè)來(lái)分析各個(gè)流，以產(chǎn)生與能夠按照所選擇的編碼器設(shè)置來(lái)發(fā)送該流的或者根據(jù)情況為該流的剩余部分的多個(gè)離散的最小緩存預(yù)加載和數(shù)據(jù)速率的組合相關(guān)的數(shù)據(jù)，并且存儲(chǔ)這些數(shù)據(jù)；其中，在各種情況下針對(duì)各個(gè)流選擇的比特率與在接收器處針對(duì)該流緩存的數(shù)據(jù)量以及通過(guò)根據(jù)所存儲(chǔ)的數(shù)據(jù)進(jìn)行插值而確定的所估計(jì)的比特率相關(guān)，所估計(jì)的比特率大于或等于按照所選擇的編碼器設(shè)置來(lái)發(fā)送該流的剩余部分所需要的最小比特率。4.根據(jù)權(quán)利要求3所述的方法，其中，預(yù)計(jì)算所述關(guān)鍵點(diǎn)。5.根據(jù)權(quán)利要求4所述的方法，其中，當(dāng)所述選擇編碼器設(shè)置的步驟得到與先前這種選擇相同的編碼器設(shè)置時(shí)，使用所預(yù)計(jì)算的關(guān)鍵點(diǎn)，以及當(dāng)所述選擇編碼器設(shè)置的步驟對(duì)于至少一個(gè)流得到與先前針對(duì)該流的這種選擇不同的編碼器設(shè)置時(shí)，重新計(jì)算針對(duì)該流或這些流的關(guān)鍵點(diǎn)。6.根據(jù)前述權(quán)利要求中任一權(quán)利要求所述的方法，其中，所述編碼器設(shè)置的選擇使得各個(gè)流的圖片質(zhì)量基本相同。全文摘要通過(guò)傳輸鏈路發(fā)送多個(gè)視頻流。以多個(gè)時(shí)間間隔，按照多個(gè)編碼器設(shè)置中的每一個(gè)針對(duì)各個(gè)視頻流確定在接收器處針對(duì)該流緩存的數(shù)據(jù)量、足以按照該編碼器設(shè)置來(lái)發(fā)送該流的剩余部分以避免所述接收器處的緩存器下溢的比特率。還確定等于能夠減少該比特率同時(shí)仍然避免在所述接收器處的緩存器下溢的最早時(shí)間的關(guān)鍵點(diǎn)。針對(duì)各個(gè)視頻流選擇編碼器設(shè)置以使得所述流的傳輸所要求的所述比特率的和不超過(guò)所述傳輸鏈路的容量。將所述傳輸鏈路的任何剩余容量分配給具有最早關(guān)鍵點(diǎn)的流。文檔編號(hào)H04N21/434GK102246531SQ200980149601公開(kāi)日2011年11月16日申請(qǐng)日期2009年12月7日優(yōu)先權(quán)日2008年12月10日發(fā)明者伊恩·巴里·克拉布特里,帕特里克·約瑟夫·馬爾羅伊,邁克爾·埃爾林·尼爾森申請(qǐng)人:英國(guó)電訊有限公司