專利名稱：自適應(yīng)流傳輸系統(tǒng)中的比特率調(diào)整的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種通過網(wǎng)絡(luò)節(jié)點(diǎn)自適應(yīng)流傳輸多路視頻比特流的方法和設(shè)備。該設(shè)備可以以與多個(gè)電視顯示器或其它觀看裝置一起使用的機(jī)頂盒的形式。更具體地說，本發(fā)明涉及通過網(wǎng)絡(luò)節(jié)點(diǎn)自適應(yīng)流傳輸多路視頻比特流的方法和設(shè)備。尤其地，本發(fā)明教導(dǎo)了在其中縮放(scale)至少一個(gè)視頻比特流以響應(yīng)帶寬限制或可用性的系統(tǒng)，其中響應(yīng)于用戶定義的、服務(wù)提供者定義的和使用分析定義的優(yōu)先級(jí)列表，來進(jìn)行為縮放的選擇比特流的選擇。
背景技術(shù)：
本發(fā)明大體上涉及經(jīng)過網(wǎng)絡(luò)節(jié)點(diǎn)流傳輸多路視頻流的設(shè)備和方法，其中網(wǎng)絡(luò)或網(wǎng)絡(luò)節(jié)點(diǎn)具有有限的帶寬。當(dāng)該系統(tǒng)具有不足或多余的帶寬能力時(shí)，該系統(tǒng)工作以調(diào)整多路視頻比特流的比特率。本發(fā)明的方法和有關(guān)設(shè)備適合在家庭、教育或商業(yè)環(huán)境中使用，在這些環(huán)境中，多路視頻流被網(wǎng)絡(luò)化并被處理，并且希望智能選擇某些視頻流較之其它視頻流的回放質(zhì)量更高。這部分旨在向讀者介紹本技術(shù)領(lǐng)域的各個(gè)方面，它們可能與下面將要描述的本發(fā)明的各個(gè)方面有關(guān)。這些討論相信有利于向讀者提供背景信息以方便其更好地理解本發(fā)明的各個(gè)方面。因此，應(yīng)該理解的是，應(yīng)該從上述角度閱讀這些陳述，而不應(yīng)該將其視為是對(duì)現(xiàn)有技術(shù)的承認(rèn)。在基于網(wǎng)絡(luò)的視頻流系統(tǒng)中，多路視頻比特流可以在網(wǎng)絡(luò)節(jié)點(diǎn)共享帶寬。它們聚集的比特率可能要么超過要么低于節(jié)點(diǎn)的帶寬能力。在前者的情形中，可能會(huì)發(fā)生網(wǎng)絡(luò)擁塞，這將導(dǎo)致丟包或長時(shí)間的包延遲。而這些因素會(huì)嚴(yán)重影響回放質(zhì)量。在后者的情形中，在節(jié)點(diǎn)處的帶寬資源利用不充分，從而不能獲得最佳觀看體驗(yàn)。自適應(yīng)比特率流傳輸(或自適應(yīng)流傳輸)是在計(jì)算機(jī)網(wǎng)絡(luò)中流傳輸多媒體使用的技術(shù)。雖然過去多數(shù)的視頻流傳輸技術(shù)使用諸如RTSP的流傳輸協(xié)議，但是現(xiàn)今的自適應(yīng)流傳輸技術(shù)幾乎無一例外地基于HTTP并且被設(shè)計(jì)為在諸如因特網(wǎng)的大型分布式HTTP網(wǎng)絡(luò)中高效工作。這種技術(shù)通過實(shí)時(shí)檢測(cè)用戶的帶寬和CPU的能力并由此調(diào)整視頻流的質(zhì)量工作。它要求使用能對(duì)單源視頻進(jìn)行多比特率編碼的編碼器。播放器客戶依據(jù)可用資源在流傳輸?shù)牟煌木幋a之間切換。對(duì)高端和低端連接來說導(dǎo)致更少的緩沖、較快的啟動(dòng)時(shí)間和較好的體驗(yàn)。自適應(yīng)流傳輸系統(tǒng)可以通過通知內(nèi)容服務(wù)器調(diào)整發(fā)送比特率來解決上述問題。具體地說，節(jié)點(diǎn)可以在帶寬不足時(shí)降低一個(gè)或幾個(gè)視頻節(jié)目的比特率，或者在帶寬剩余時(shí)提高比特率。自適應(yīng)比特率流傳輸系統(tǒng)通過確定網(wǎng)絡(luò)節(jié)點(diǎn)的帶寬并響應(yīng)該確定結(jié)果調(diào)整視頻流的質(zhì)量工作。該系統(tǒng)要求使用能對(duì)單源視頻進(jìn)行多比特率編碼的編碼器。該節(jié)點(diǎn)依據(jù)其可用資源要求使用或選擇不同編碼中的一種。這樣做獲得了所期望的質(zhì)量很少的或無需緩沖、較快的啟動(dòng)時(shí)間，并且對(duì)速度端和低速連接來說都能獲得最佳體驗(yàn)。在視頻比特流都來自同一個(gè)內(nèi)容服務(wù)器的情況下，網(wǎng)絡(luò)節(jié)點(diǎn)可以通知該服務(wù)器并讓其做決定對(duì)哪些內(nèi)容進(jìn)行縮放。一旦接收到該節(jié)點(diǎn)的請(qǐng)求，該服務(wù)器就可以由此在多路視頻比特流中重新分配可用比特率。在多路視頻比特流來自不同的內(nèi)容服務(wù)器的情況下，該網(wǎng)絡(luò)節(jié)點(diǎn)可以采用另外一種常用途徑。使用這種途徑，該節(jié)點(diǎn)在多個(gè)視頻資源之間平均劃分可用帶寬。例如，該節(jié)點(diǎn)可以在可用帶寬總共為4Mbps時(shí)為兩個(gè)視頻資源中的每一個(gè)分配2Mbps。然后該節(jié)點(diǎn)將已經(jīng)更新的比特率分配通知給對(duì)應(yīng)的服務(wù)器，每個(gè)服務(wù)器依次調(diào)整其發(fā)送的視頻比特率。上述方法的一個(gè)問題在于它并未考慮視頻內(nèi)容。因此，這種方法可能會(huì)導(dǎo)致如下面說明的不愉快的觀看體驗(yàn)或次優(yōu)的性能表現(xiàn)。例如，假定一群消費(fèi)這些視頻比特流的觀看者對(duì)視頻內(nèi)容有一套偏好，即，對(duì)一種內(nèi)容類型的喜愛超過另外一種內(nèi)容類型。在這種情況下，在不同的視頻內(nèi)容類型之間平均分配帶寬顯然不能很好地滿足觀看者的偏好需求。
當(dāng)接收多路比特流時(shí)，雖然系統(tǒng)可以任意地選擇一路視頻比特流調(diào)整以優(yōu)化其帶寬使用，但是這種做法可能導(dǎo)致次優(yōu)的性能表現(xiàn)或者不愉快的用戶觀看體驗(yàn)。人們希望網(wǎng)絡(luò)節(jié)點(diǎn)基于預(yù)定的標(biāo)準(zhǔn)智能地選擇一路視頻比特流對(duì)比特率進(jìn)行調(diào)整。本說明書中描述的本發(fā)明就解決了這個(gè)和/或其它問題。

發(fā)明內(nèi)容
為了解決上述問題，本發(fā)明涉及一種與設(shè)備相關(guān)聯(lián)的方法，用于接收多路視頻內(nèi)容流、將其提供給網(wǎng)絡(luò)裝置并響應(yīng)預(yù)定的準(zhǔn)則自適應(yīng)地調(diào)整視頻流的比特率。下面將引用附圖詳細(xì)描述本發(fā)明的這個(gè)或其它方面。根據(jù)本發(fā)明的一個(gè)方面，公開了一種包括下列步驟的方法接收具有第一比特率 的第一比特流，接收具有第二比特率的第二比特流，確定所述第一比特流和所述第二比特流的總比特率，響應(yīng)于超過閾值閾值的所述總比特流確定所述第一比特流的第一內(nèi)容和所述第二比特流的第二內(nèi)容，以及響應(yīng)于確定所述第一內(nèi)容具有比所述第二內(nèi)容更低的優(yōu)先級(jí)，請(qǐng)求所述第一比特流的第一比特率的調(diào)整。本發(fā)明的其它方面涉及何時(shí)可以由用戶、服務(wù)提供者和響應(yīng)于使用分析中的至少一個(gè)來確定優(yōu)先級(jí)。根據(jù)本發(fā)明的另一個(gè)方面，公開了一種設(shè)備，其中，所述設(shè)備包括第一比特流的源，所述第一比特流具有第一比特率，第二比特流的源，所述第二比特流具有第二比特率，用于響應(yīng)于超過閾值的所述總比特流確定所述第一比特流的第一內(nèi)容和所述第二比特流的第二內(nèi)容，并響應(yīng)于確定所述第一內(nèi)容具有比所述第二內(nèi)容更低的優(yōu)先級(jí)，請(qǐng)求所述第一比特流的所述第一比特率的調(diào)整的處理器，。并且，本發(fā)明還可以包括響應(yīng)于當(dāng)響應(yīng)于具有可用的網(wǎng)絡(luò)節(jié)點(diǎn)，請(qǐng)求所述第一比特率的調(diào)整，以提升所述第一比特流的視頻質(zhì)量時(shí)的方法，所述較低的優(yōu)先級(jí)表示要求更高質(zhì)量的視頻。本發(fā)明的其它方面可以包括一種包括下列步驟的方法接收具有第一比特率的第一比特流，接收具有第二比特率的第二比特流，確定所述第一比特流和所述第二比特流的總比特率，響應(yīng)于低于閾值的所述總比特流確定所述第一比特流的第一內(nèi)容和所述第二比特流的第二內(nèi)容，響應(yīng)于確定所述第一內(nèi)容具有比所述第二內(nèi)容更高的優(yōu)先級(jí)，請(qǐng)求所述第一比特流的第一比特率的調(diào)整。本發(fā)明的其它方面可以包括一種設(shè)備，包括第一比特流的源，所述第一比流具有第一比特率，第二比特流的源，所述第二比流具有第二比特率，用于響應(yīng)于低于閾值的所述總比特流確定所述第一比特流的第一內(nèi)容和所述第二比特流的第二內(nèi)容，并響應(yīng)于確定所述第一內(nèi)容具有比所述第二內(nèi)容更高的優(yōu)先級(jí)，請(qǐng)求調(diào)整所述第一比特流的所述第一比特率的處理器。下面參照附圖示出的本發(fā)明的優(yōu)選實(shí)施例對(duì)本發(fā)明的這些和其它方面進(jìn)行說明。


通過結(jié)合附圖引用下面的本發(fā)明實(shí)施例的描述，本發(fā)明上述和其它優(yōu)點(diǎn)，以及獲得這些優(yōu)點(diǎn)的方式將會(huì)更加明顯，并且能更好地理解本發(fā)明，其中 圖I是體現(xiàn)實(shí)施本發(fā)明的方面的系統(tǒng)的實(shí)施例的圖；圖2是根據(jù)本發(fā)明的方法示例性流程圖；圖3是根據(jù)本發(fā)明的方法示例性流程圖；本說明書中提出的實(shí)例示例了本發(fā)明的優(yōu)選實(shí)施例，不應(yīng)該以任何方式將這些實(shí)例解讀為對(duì)本發(fā)明的范圍的限制。
具體實(shí)施例方式如在本說明書中所述，本發(fā)明提供了一種用于接收壓縮視頻內(nèi)容并響應(yīng)網(wǎng)絡(luò)的可用帶寬或諸如網(wǎng)絡(luò)節(jié)點(diǎn)或網(wǎng)絡(luò)網(wǎng)關(guān)裝置的網(wǎng)絡(luò)的一部分來調(diào)整內(nèi)容的壓縮比的設(shè)備和相關(guān)方法。由于認(rèn)識(shí)到許多現(xiàn)有的媒體傳輸格式缺乏對(duì)該特征的支持，本發(fā)明進(jìn)一步地描述了便于在自適應(yīng)流傳輸應(yīng)用中實(shí)施該功能的高級(jí)修改例。在基于網(wǎng)絡(luò)的視頻流系統(tǒng)中，多路視頻比特流可以在某一網(wǎng)絡(luò)節(jié)點(diǎn)共享帶寬，例如，能夠使得同一座房子內(nèi)的多個(gè)觀看者同時(shí)觀看不同的流視頻節(jié)目的家庭網(wǎng)關(guān)。當(dāng)聚集的這些視頻比特流的全部比特率超過該網(wǎng)絡(luò)節(jié)點(diǎn)的帶寬能力時(shí)，可能會(huì)發(fā)生網(wǎng)絡(luò)擁塞。另一方面，當(dāng)聚集的比特流低于該節(jié)點(diǎn)的帶寬能力時(shí)，可用資源未被充分利用。對(duì)于自適應(yīng)流傳輸系統(tǒng)，可以通過動(dòng)態(tài)地改變某些視頻資源的比特率解決這兩個(gè)問題。現(xiàn)在依然存在的問題是如何選擇合適的視頻資源以調(diào)整比特率。這樣的裝置可以包括一些高級(jí)的特征，諸如高級(jí)用戶界面、以多種編碼格式中的一種格式接收和解碼內(nèi)容編碼、響應(yīng)帶寬確定結(jié)果通過網(wǎng)絡(luò)發(fā)送請(qǐng)求，以及接收網(wǎng)絡(luò)頁面、音頻內(nèi)容和其它數(shù)字節(jié)目。雖然本發(fā)明被描述為具有優(yōu)選設(shè)計(jì)，但是可以對(duì)本發(fā)明做出在公開內(nèi)容的精神和范圍內(nèi)的進(jìn)一步的修改。因此，本申請(qǐng)旨在涵蓋使用本發(fā)明大體原理的任何變化、使用或適應(yīng)修改。例如，雖然描述的基本的實(shí)施例接收并處理視頻內(nèi)容，但是本發(fā)明應(yīng)用于音頻、數(shù)據(jù)或多媒體內(nèi)容也可以獲得同等理想的效果。并且，本申請(qǐng)也旨在涵蓋雖然偏離本公開內(nèi)容但使用與本發(fā)明相關(guān)的技術(shù)領(lǐng)域內(nèi)已知或慣常的且落在所附權(quán)利要求的限制內(nèi)的做法的發(fā)明。
圖I展示了實(shí)施本發(fā)明一些方面的系統(tǒng)(100)的實(shí)施例的圖。轉(zhuǎn)向圖1，它展示了示例性的多流視頻系統(tǒng)(100)。該系統(tǒng)可以從許多個(gè)服務(wù)器(110、120、130)接收許多路視頻流(PA、pB、pC)。這些視頻流(pA、pB, pC)通過網(wǎng)絡(luò)(140)被傳送到家庭網(wǎng)關(guān)(160)。家庭網(wǎng)關(guān)(160)可以作為家庭網(wǎng)絡(luò)(150)的網(wǎng)關(guān)運(yùn)行，并且工作為處理這些節(jié)目流并將它們耦合到包括電視機(jī)(170)、個(gè)人計(jì)算機(jī)(180)、機(jī)頂盒(190)和其它可以在網(wǎng)絡(luò)上使用的裝置的各種裝置上。家庭網(wǎng)關(guān)(160)或類似裝置具有有限的帶寬，例如4兆比特每秒。因此，不考慮其它開銷，在本實(shí)例中，家庭網(wǎng)關(guān)能夠接收并路由2個(gè)2兆比特每秒的視頻比特流(pA，pB)。當(dāng)請(qǐng)求第三比特流(PC)時(shí)，家庭網(wǎng)關(guān)(160)已經(jīng)沒有可用帶寬來處理被請(qǐng)求的第三比特流(PC)。因此，家庭網(wǎng)關(guān)(160)必須請(qǐng)求例如服務(wù)器SB (120)開始提供I兆比特的比特流，這樣家庭網(wǎng)關(guān)才可以從服務(wù)器SC (130)接收I兆比特的比特流。然而，取代系統(tǒng)任意決定減少哪路比特流的做法是看服務(wù)提供者或用戶可能希望優(yōu)先級(jí)化哪路比特流將開始以較 低的比特率被接收。例如，用戶可能希望以較之新聞節(jié)目或兒童節(jié)目更高的比特率并且因此較之更高的視頻質(zhì)量接收電影或體育賽事。另外，服務(wù)提供者可能識(shí)別出較之其他類型的內(nèi)容某一視頻內(nèi)容被壓縮得更好，質(zhì)量損失更少。例如，動(dòng)畫節(jié)目可能比體育賽事壓縮得更好。家庭網(wǎng)關(guān)(160)可以是網(wǎng)絡(luò)路由器、光纖多路復(fù)用器等。家庭網(wǎng)關(guān)工作為從網(wǎng)絡(luò)(140)接收第一視頻流(pA)、從網(wǎng)絡(luò)接收第二視頻流(pB)。這些視頻流可以由相同的服務(wù)器或不同的服務(wù)器發(fā)送。視頻流可以來自相同的服務(wù)器提供者或不同的服務(wù)提供者。然后，家庭網(wǎng)關(guān)確定第一視頻流和第二視頻流使用的總帶寬。如果使用的總帶寬比允許的最大帶寬大，那么必須降低至少一個(gè)信號(hào)的至少一路比特率。允許的最大帶寬可以是一個(gè)硬性限制，例如便于家庭網(wǎng)關(guān)(160)工作的最大帶寬，或者它也可以是軟性限制，例如為視頻比特流留出的最大帶寬，并預(yù)留一些可用帶寬給數(shù)據(jù)、管理或輔助信息。如果家庭網(wǎng)關(guān)(160)確定最大帶寬已經(jīng)被超過，或者再接受一路比特流就將超過最大帶寬，那么家庭網(wǎng)關(guān)(160)確定第一比特流的內(nèi)容和第二比特流的內(nèi)容。例如，第一比特流的內(nèi)容可以是體育節(jié)目，第二比特流的內(nèi)容可以是動(dòng)畫節(jié)目。家庭網(wǎng)關(guān)將這些節(jié)目類型中的每一個(gè)都與用戶定義的優(yōu)先級(jí)列表對(duì)比。用戶創(chuàng)建評(píng)定節(jié)目類型的期望度等級(jí)的列表。這表示在達(dá)到帶寬限制時(shí)，用戶希望以較之其它節(jié)目類型更高的分辨率接收某些節(jié)目類型。在這個(gè)示例中，用戶將體育賽事選擇為比動(dòng)畫節(jié)目具有更高優(yōu)先級(jí)的節(jié)目。家庭網(wǎng)關(guān)(160)使用該信息確定應(yīng)該減少攜帶動(dòng)畫節(jié)目的第二比特流的比特率。家庭網(wǎng)關(guān)(160)向發(fā)送第二比特流的服務(wù)器發(fā)送請(qǐng)求以減少第二比特流的比特率或者以提供另外版本的具有較低比特率的第二比特流。替代性地，服務(wù)器可以以具有不同比特率的許多路比特流發(fā)送節(jié)目，而家庭網(wǎng)關(guān)(160)只需要切換到攜帶該節(jié)目的不同的比特流。家庭網(wǎng)關(guān)(160)可以發(fā)送期望的比特率給服務(wù)器，或者服務(wù)器可以直接以預(yù)定的增量步減比特率。替代性地，服務(wù)提供者可能較之其它節(jié)目更希望縮放某些類型的節(jié)目。例如，服務(wù)提供者可能從以往的經(jīng)驗(yàn)中得知，當(dāng)縮放黃金時(shí)間的網(wǎng)絡(luò)電視或體育賽事時(shí)，與調(diào)整音樂節(jié)目或兒童節(jié)目相反，觀看者會(huì)表達(dá)不愉悅的觀看體驗(yàn)。并且，服務(wù)提供者可能意識(shí)到可以容易地以將動(dòng)畫節(jié)目壓縮為具有很少或沒有不理想的偽像，而快節(jié)奏的體育節(jié)目，例如冰上曲棍球，并不能被容易地壓縮并且會(huì)受到非常明顯的偽像的影響。服務(wù)提供者可以將一個(gè)節(jié)目排名列表提供給家庭網(wǎng)關(guān)(160)，這里提供的列表被用來根據(jù)服務(wù)提供者確定的準(zhǔn)則進(jìn)行對(duì)比并請(qǐng)求降低或提高比特率。并且，列表可由家庭網(wǎng)關(guān)(160)自動(dòng)生成。家庭網(wǎng)關(guān)可以檢查家庭網(wǎng)絡(luò)中正在觀看的內(nèi)容的類型并生成使用統(tǒng)計(jì)數(shù)據(jù)。如果用戶觀看電影明顯地多于兒童節(jié)目，那么家庭網(wǎng)關(guān)可以假設(shè)用戶希望獲得較之兒童節(jié)目更高的電影比特流質(zhì)量。因此，當(dāng)需要降低比特率時(shí)，兒童節(jié)目具有比電影更低的優(yōu)先級(jí)。用戶可以修改或影響這個(gè)列表。例如，如果用戶正在觀看具有較低優(yōu)先級(jí)的某一節(jié)目，而用戶希望獲得更高質(zhì)量的視頻，那么可以接收用戶輸入，當(dāng)前節(jié)目將會(huì)暫時(shí)或永久地在優(yōu)先級(jí)列表上上移到更高優(yōu)先級(jí)。不同的視頻內(nèi)容在壓縮“容易性”方面顯示出不同的特性。更加具體地說，為了達(dá)到相同水平的視覺質(zhì)量等級(jí)，不同內(nèi)容類型的視頻序列通常要求不同的壓縮比特率。因此，如果忽略不同視頻內(nèi)容之間的特性差異而給每個(gè)視頻源分配相等的比特率，那么有些視頻源可能會(huì)由于比特率不足(bit rate starvation)產(chǎn)生較差的壓縮質(zhì)量,而其它的視頻源可能會(huì)由于比特率飽和(bit rate saturation)浪費(fèi)分配的比特率。因此,整個(gè)視頻比特 流的平均視覺質(zhì)量并沒有被優(yōu)化。再次考慮圖I所示的示例性實(shí)施例,其中在一座居民住房內(nèi)，三位觀看者vA、vB和vC正在各自同時(shí)觀看流視頻節(jié)目pA、pB和pC。這些視頻節(jié)目來自內(nèi)容服務(wù)器sA、sB和SC，它們同時(shí)經(jīng)過位于住房內(nèi)的家庭網(wǎng)關(guān)(160)節(jié)點(diǎn)。進(jìn)一步地假設(shè)每個(gè)內(nèi)容服務(wù)器都能自適應(yīng)流傳輸，并且可以在相同視頻內(nèi)容不同的已編碼的視頻比特流副本之間切換并流輸出(stream out)具有與要求的網(wǎng)絡(luò)比特率最為匹配的平均比特率的版本。如果視頻比特流pA、pB和pC以超過或低于網(wǎng)關(guān)帶寬能力的組合比特率流向網(wǎng)關(guān)，那么網(wǎng)關(guān)可以選擇性地削減或提高一個(gè)或多個(gè)視頻源的比特率。可以按照下列兩個(gè)準(zhǔn)則這樣做在此情形中，觀看者將他們對(duì)視頻內(nèi)容類型的偏好通知給網(wǎng)關(guān)。例如，一種可能的偏好列表可以是體育 > 電影 > 新聞〉卡通 > 情景喜劇當(dāng)這樣的觀看者的輸入不存在時(shí)，經(jīng)過一段時(shí)間后，網(wǎng)關(guān)通過分析觀看者的觀看習(xí)慣可能可以自動(dòng)地建立一個(gè)偏好列表。例如，更多觀看過的內(nèi)容類型被給予更多偏好。使用偏好列表，網(wǎng)關(guān)節(jié)點(diǎn)可以選擇視頻源以更加智能地調(diào)整比特率。a.當(dāng)可用帶寬不夠時(shí)，節(jié)點(diǎn)可以首先選擇具有最低偏好的內(nèi)容類型的視頻源，削減其比特率，然后移向具有次最低偏好的內(nèi)容類型的視頻源，以此類推，直到滿足帶寬限制。b.當(dāng)存在多余帶寬時(shí)，節(jié)點(diǎn)可以首先選擇具有最高偏好的內(nèi)容類型的視頻源，提高其比特率，然后移向具有次最高偏好的內(nèi)容類型的視頻源，以此類推，直到占滿可用帶寬。因此，使用該標(biāo)準(zhǔn)，觀看者可以在給定可用網(wǎng)絡(luò)資源的情況下以可能的最佳質(zhì)量觀看他們想看的視頻內(nèi)容。用戶或服務(wù)提供者也可以定義節(jié)目的最小比特率。在這種情況下，最低優(yōu)先級(jí)的節(jié)目被降低至最低比特率，次最低優(yōu)先級(jí)的節(jié)目的比特率也被降低以滿足帶寬要求。不同的視頻內(nèi)容顯示出不同的壓縮“容易性”。在編碼階段，當(dāng)多個(gè)視頻序列被編碼以具有組合的固定比特率時(shí)，經(jīng)常使用統(tǒng)計(jì)復(fù)用(statistical multiplexing)(Statmux)技術(shù)來利用這種多樣性。從概念上說，根據(jù)它們的“容易性”量度，使用Statmux比特率被不平均地分配到整個(gè)視頻序列中，這樣每一次可用比特率只會(huì)被給予可以最大提升視覺質(zhì)量的序列。這樣獲得的編碼增益通常被稱為“Statmux增益”。網(wǎng)關(guān)可以類似地采用Statmux的原理以提升所有視頻比特流的整體(平均)回放質(zhì)量。如果網(wǎng)關(guān)節(jié)點(diǎn)具有每個(gè)視頻比特流在其當(dāng)前比特率下的“容易性”的知識(shí)，那么它就可以智能地選擇源。a.當(dāng)可用帶寬不夠時(shí)，節(jié)點(diǎn)可以選擇具有“最容易”等級(jí)的比特流，削減其比特率，這樣在所有的資源中，視頻質(zhì)量最少受到被削減的比特量的影響。每次節(jié)點(diǎn)都遵循這個(gè)規(guī)貝U，直到調(diào)整后的總比特率在其帶寬能力內(nèi)。
b.當(dāng)存在多余帶寬時(shí)，節(jié)點(diǎn)可以選擇具有“最難”等級(jí)的比特流，提高其比特率，這樣這樣在所有的資源中，視頻質(zhì)量提升最多。每次節(jié)點(diǎn)都遵循這個(gè)規(guī)則，直到可用帶寬被全部占滿。因此，使用該標(biāo)準(zhǔn)，觀看者觀看的所有視頻內(nèi)容的平均質(zhì)量都被優(yōu)化。目前存在許多方法讓網(wǎng)絡(luò)節(jié)點(diǎn)獲得視頻比特流的“容易性”信息(I)在客戶側(cè)，可以對(duì)視頻比特流進(jìn)行完全地語法解析和解碼，這類信息是最為方便可用的。所以網(wǎng)關(guān)節(jié)點(diǎn)從客戶側(cè)收集信息是可能的。(2)網(wǎng)關(guān)對(duì)視頻比特流進(jìn)行部分地語法解析和分析以獲得估計(jì)。(3)內(nèi)容服務(wù)器提供信息。在視頻內(nèi)容集更加多樣的情況下，值得注意Statmux增益變得更大。在將來，人們期待的是有效地利用更多的視頻內(nèi)容類型并使得它們共存，例如，MPEG-2、H. 264、SVC、MVC、UltraHD等。這將會(huì)導(dǎo)致更豐富的視頻內(nèi)容多樣性，并從而提高在使用情形中的Statmux增益。為了支持現(xiàn)有的標(biāo)準(zhǔn)，可以在包含表示視頻比特流在當(dāng)前比特率下的碼率-視覺失真比(rate vs. visual distortion ratio)的傳輸分組首標(biāo)中增加一個(gè)字段，其中分組所屬的傳輸流攜帶視頻比特流。本發(fā)明的另外一個(gè)實(shí)施例可以包括一個(gè)虛擬的家庭網(wǎng)關(guān)，其中網(wǎng)絡(luò)管理功能由至少一個(gè)網(wǎng)絡(luò)可用裝置執(zhí)行。例如，裝置可能正在接收具有指示網(wǎng)絡(luò)帶寬不足的故障的視頻比特流。該指示可能包括丟失分組、延遲、過度緩沖(excessive buffering)等。然后，該裝置使得其它網(wǎng)絡(luò)裝置確定其它網(wǎng)絡(luò)裝置是否正在接收視頻比特流、以什么樣的比特率、接收什么樣的內(nèi)容。然后，該裝置將此信息與優(yōu)先級(jí)列表對(duì)比以確定應(yīng)該減少哪路比特流。然后，該裝置請(qǐng)求傳輸最低優(yōu)先級(jí)的比特流的服務(wù)器降低該比特流的比特率。替代性地，該裝置可以請(qǐng)求其它的接收較低優(yōu)先等級(jí)的比特流的網(wǎng)絡(luò)裝置向服務(wù)器請(qǐng)求降低該比特流的比特率。轉(zhuǎn)向圖2，示出了帶寬不足時(shí)網(wǎng)絡(luò)節(jié)點(diǎn)操作的示例性實(shí)施例(200)。子程序在檢測(cè)至少一個(gè)比特流會(huì)話后開始(205 )。子程序開始(205 )后，然后計(jì)算當(dāng)前所有進(jìn)入的視頻比特流的總比特率(210)，如果總和超過可用帶寬(215)，那么確定比特率降低量(230)。如果沒有超過可用帶寬，系統(tǒng)確定是否所有的流會(huì)話都已經(jīng)結(jié)束(220)。如果都已經(jīng)結(jié)束，那么子程序結(jié)束(225)，等待另一個(gè)比特流會(huì)話。如果仍存在至少一個(gè)比特流會(huì)話，那么子程序返回到步驟(210)。在一個(gè)示例中，一旦確定比特率降低量，系統(tǒng)就會(huì)詢問偏好列表以確定最低偏好的比特流(235)。在另一個(gè)實(shí)例中，系統(tǒng)檢查分組首標(biāo)以尋找具有最小的碼率-視覺失真比的視頻以確定將要被降低的比特流(240)。然后，子程序確定所有的視頻會(huì)話是否都已經(jīng)結(jié)束(245)。如果都已經(jīng)結(jié)束，那么子程序結(jié)束(225)，等待另一個(gè)比特流會(huì)話。如果仍存在至少一個(gè)比特流會(huì)話，那么子程序向視頻內(nèi)容服務(wù)器發(fā)送請(qǐng)求以將選擇的比特流的比特率降低計(jì)算好的比特率降低量(250)。然后，子程序返回到步驟(210)。圖3示出了當(dāng)網(wǎng)絡(luò)或網(wǎng)絡(luò)網(wǎng)關(guān)具有帶寬剩余時(shí)接下來的操作。轉(zhuǎn)向圖3，示出了帶寬剩余時(shí)網(wǎng)絡(luò)節(jié)點(diǎn)操作的示例性實(shí)施例(300)。子程序在檢測(cè)至少一個(gè)比特流會(huì)話后開始(305)。子程序開始(305)后，然后計(jì)算當(dāng)前所有進(jìn)入的視頻比特流的總比特率(310)，如果總和少于可用帶寬閾值(315)，那么確定比特率的增加量(330)。如果沒有超過可用帶寬，系統(tǒng)確定所有的流會(huì)話是否都已經(jīng)結(jié)束(320)。如果都已經(jīng)結(jié)束，那么子程序結(jié)束(325)，等待另一個(gè)比特流會(huì)話。如果仍存在至少一個(gè)比特流會(huì)話，那么子程序返回到步驟(310)。在一個(gè)示例中，一旦確定比特率增加量，系統(tǒng)就會(huì)詢問偏好列表以確定最高偏好的比特流(335)。在另一個(gè)實(shí)例中，系統(tǒng)檢查分組首標(biāo)以尋找具有最大的碼率-視覺失真比的視頻以確定將要被增加的比特流(340)。然后，子程序確定所有的視頻會(huì)話是否都已經(jīng)結(jié)束(345)。如果都已經(jīng)結(jié)束，那么子程序結(jié)束(325)，等待另一個(gè)比特流會(huì)話。如果仍存在至少一個(gè)比特流會(huì)話，那么子程序向視頻內(nèi)容服務(wù)器發(fā)送請(qǐng)求以將選擇的比特流的比特率降低計(jì)算好的比特率降低量(350)。然后，子程序返回到步驟(310)。
雖然本說明書使用特定實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但應(yīng)該了解的是，可以對(duì)本發(fā)明做出落在本發(fā)明范圍內(nèi)的修改。例如，各種處理步驟可以被分開或組合地實(shí)施，并且可以被實(shí)施為通用或?qū)Ｓ玫臄?shù)據(jù)處理硬件。
權(quán)利要求
1.ー種包括下列步驟的方法 -接收具有第一比特率的第一比特流； -接收具有第二比特率的第二比特流； -確定所述第一比特流和所述第二比特流的總比特率； -響應(yīng)于超過閾值的所述總比特流，確定所述第一比特流的第一內(nèi)容和所述第二比特流的第二內(nèi)容；以及 -響應(yīng)于確定所述第一內(nèi)容具有比所述第二內(nèi)容更低的優(yōu)先級(jí)，請(qǐng)求所述第一比特流 的所述第一比特率的調(diào)整。
2.如權(quán)利要求I所述的方法，其中，所述優(yōu)先級(jí)由用戶確定。
3.如權(quán)利要求I所述的方法，其中，所述優(yōu)先級(jí)由服務(wù)提供者確定。
4.如權(quán)利要求I所述的方法，其中，所述優(yōu)先級(jí)由響應(yīng)于使用分析確定。
5.如權(quán)利要求I所述的方法，進(jìn)ー步包括響應(yīng)于達(dá)到最小比特率的所述第一比特率請(qǐng)求所述第二比特率的降低的步驟。
6.如權(quán)利要求I所述的方法，其中，所述優(yōu)先級(jí)由響應(yīng)于所述第一內(nèi)容和所述第二內(nèi)容的壓縮質(zhì)量確定。
7.如權(quán)利要求I所述的方法，其中，響應(yīng)于具有可用帶寬的網(wǎng)絡(luò)節(jié)點(diǎn)，請(qǐng)求所述第一比特率的所述調(diào)整，以提升所述第一比特流的視頻質(zhì)量。
8.—種設(shè)備,包括 -第一比特流的源，所述第一比特流具有第一比特率； -第二比特流的源，所述第二比特流具有第二比特率； -處理器，所述處理器用于響應(yīng)于超過閾值的所述總比特流確定所述第一比特流的第一內(nèi)容和所述第二比特流的第二內(nèi)容，并響應(yīng)于確定所述第一內(nèi)容具有比所述第二內(nèi)容更低的優(yōu)先級(jí)，請(qǐng)求所述第一比特流的所述第一比特率的調(diào)整。
9.如權(quán)利要求8所述的設(shè)備，其中，所述優(yōu)先級(jí)由用戶確定。
10.如權(quán)利要求8所述的設(shè)備，其中，所述優(yōu)先級(jí)由服務(wù)提供者確定。
11.如權(quán)利要求8所述的設(shè)備，其中，所述優(yōu)先級(jí)響應(yīng)于使用分析確定。
12.如權(quán)利要求8所述的設(shè)備，進(jìn)一歩包括響應(yīng)于達(dá)到最小比特率的所述第一比特率請(qǐng)求所述第二比特率的降低的步驟。
13.如權(quán)利要求8所述的設(shè)備，其中，所述優(yōu)先級(jí)由響應(yīng)于所述第一內(nèi)容和所述第二內(nèi)容的壓縮質(zhì)量確定。
14.如權(quán)利要求8所述的設(shè)備，其中，響應(yīng)于具有可用帶寬的網(wǎng)絡(luò)節(jié)點(diǎn)，請(qǐng)求所述第一比特率的所述調(diào)整，以提升所述第一比特流的視頻質(zhì)量，并且所述較低的優(yōu)先級(jí)指示更高質(zhì)量的視頻的要求。
15.ー種方法包括下列步驟 -接收具有第一比特率的第一比特流； -接收具有第二比特率的第二比特流； -確定所述第一比特流和所述第二比特流的總比特率； -響應(yīng)于低于閾值的所述總比特流，確定所述第一比特流的第一內(nèi)容和所述第二比特流的第二內(nèi)容；以及-響應(yīng)于確定所述第一內(nèi)容具有比所述第二內(nèi)容更高的優(yōu)先級(jí)，請(qǐng)求所述第一比特流的所述第一比特率的調(diào)整。
16.如權(quán)利要求15所述的設(shè)備，其中，所述優(yōu)先級(jí)由用戶確定。
17.如權(quán)利要求15所述的設(shè)備，其中，所述優(yōu)先級(jí)由服務(wù)提供者確定。
18.如權(quán)利要求15所述的設(shè)備，其中，所述優(yōu)先級(jí)響應(yīng)于使用分析確定。
19.如權(quán)利要求15所述的設(shè)備，進(jìn)一歩包括響應(yīng)于達(dá)到最大比特率的所述第一比特率請(qǐng)求所述第二比特率的提高的步驟。
20.如權(quán)利要求15所述的設(shè)備，其中，所述優(yōu)先級(jí)由響應(yīng)于所述第一內(nèi)容和所述第二內(nèi)容的壓縮質(zhì)量確定。
21.—種設(shè)備,包括 -第一比特流的源，所述第一比特流具有第一比特率； -第二比特流的源，所述第二比特流具有第二比特率； -處理器，所述處理器用于響應(yīng)于低于閾值的所述總比特流確定所述第一比特流的第一內(nèi)容和所述第二比特流的第二內(nèi)容，并響應(yīng)于確定所述第一內(nèi)容具有比所述第二內(nèi)容更高的優(yōu)先級(jí)，請(qǐng)求所述第一比特流的所述第一比特率的調(diào)整。
22.如權(quán)利要求21所述的設(shè)備，其中，所述優(yōu)先級(jí)由用戶確定。
23.如權(quán)利要求21所述的設(shè)備，其中，所述優(yōu)先級(jí)由服務(wù)提供者確定。
24.如權(quán)利要求21所述的設(shè)備，其中，所述優(yōu)先級(jí)響應(yīng)于使用分析確定。
25.如權(quán)利要求21所述的設(shè)備，進(jìn)一歩包括響應(yīng)于達(dá)到最大比特率的所述第一比特率，請(qǐng)求所述第二比特率的調(diào)整的步驟。
26.如權(quán)利要求21所述的設(shè)備，其中，所述優(yōu)先級(jí)由響應(yīng)于所述第一內(nèi)容和所述第二內(nèi)容的壓縮質(zhì)量確定。
27.ー種包括下列步驟的方法 -接收具有第一比特率的第一比特流，所述第一比特流包括第一內(nèi)容； -響應(yīng)于帶寬不足的指示，發(fā)送請(qǐng)求以接收指示第二比特率上的第二內(nèi)容的信息； -接收所述信息并指示所述第二內(nèi)容；以及 -響應(yīng)于確定所述第一內(nèi)容具有比所述第二內(nèi)容更高的優(yōu)先級(jí)，請(qǐng)求所述第一比特流的第一比特率的調(diào)整。
28.—種設(shè)備,包括 -第一比特流源，所述第一比特流具有第一比特率并包括第一內(nèi)容； -處理器，所述處理器用于響應(yīng)于帶寬不足的指示，發(fā)送請(qǐng)求以接收表示第二比特率上的第二內(nèi)容的信息，接收所述信息并指示所述第二內(nèi)容，以及響應(yīng)于確定所述第一內(nèi)容具有比所述第二內(nèi)容更高的優(yōu)先級(jí)請(qǐng)求所述第一比特流的第一比特率的調(diào)整。
全文摘要
公開了一種通過網(wǎng)絡(luò)節(jié)點(diǎn)自適應(yīng)流傳輸多路視頻比特流的方法和設(shè)備。尤其地，本發(fā)明教導(dǎo)了響應(yīng)于帶寬限制或可用性縮放至少一路視頻比特流的系統(tǒng)，對(duì)選擇用來進(jìn)行縮放的比特流的選擇響應(yīng)用戶定義的優(yōu)先級(jí)列表、服務(wù)提供者定義的優(yōu)先級(jí)列表和使用分析定義的優(yōu)先級(jí)列表中的至少一個(gè)。
文檔編號(hào)H04N21/2365GK102783170SQ201180012471
公開日2012年11月14日 申請(qǐng)日期2011年3月2日 優(yōu)先權(quán)日2010年3月5日
發(fā)明者G.M.伯格, 吳振宇, 朱立華 申請(qǐng)人:湯姆森特許公司