專利名稱：基于因特網(wǎng)的媒體流自適應傳輸方法
技術領域：
本發(fā)明涉及一種基于Internet(因特網(wǎng))的媒體流自適應傳輸方法，更具體地說，是關于基于Internet的MPEG-4流自適應傳輸方法，使在互聯(lián)網(wǎng)網(wǎng)絡運行條件不斷變化的情況下，能動態(tài)地調(diào)整MPEG-4碼流的傳輸，使客戶端獲得盡可能好的播放質(zhì)量。
另外，基于重傳機制的誤差控制方法會給網(wǎng)絡帶來沉重的負擔，大量使用重傳機制會加劇網(wǎng)絡擁塞，嚴重時可以使整個網(wǎng)絡癱瘓，因此也是不能被采用的方法。
本發(fā)明的技術方案是根據(jù)本發(fā)明方法，其步驟包括a.建立RTP/UDP/IP(RTP，Real-time Transport Protocol實時傳輸協(xié)議)協(xié)議結構，該協(xié)議結構的數(shù)據(jù)平面負責傳輸使用RTP打包的MPEG-4視頻流和音頻流；而其控制平面則同時利用RTCP(Real-time Control Protocol實時控制協(xié)議)反饋網(wǎng)絡信息和RTSP(Real-time Streaming Protocol實時流協(xié)議)傳輸控制命令；b.建立一個可應用于實時編碼也可用于存儲視頻傳輸?shù)幕诎l(fā)送端的擁塞控制結構。
進一步，所說的建立一基于發(fā)送端的擁塞控制結構，是指在接收端建立一個根據(jù)到達的數(shù)據(jù)包的狀態(tài)提供網(wǎng)絡擁塞狀態(tài)信息的QOS監(jiān)視模塊和一個后接該QOS監(jiān)視模塊的反饋控制協(xié)議模塊，其以RTCP報告的形式將所獲得的網(wǎng)絡擁塞狀態(tài)信息傳到發(fā)送端；在發(fā)送端建立一個接受來自發(fā)送端送來的網(wǎng)絡信息的碼率控制模塊和一碼率整形模塊，然后由該碼率控模塊控制發(fā)送的速度和控制該碼率整形模塊。
更具體地，在實時編碼的直播系統(tǒng)中，碼率控制模塊直接調(diào)節(jié)的是編碼器，進行可擴展的編碼。主要的編碼手段是調(diào)節(jié)量化步長和跳幀編碼。當檢測到網(wǎng)絡擁塞時，根據(jù)丟包率的嚴重性(兩個閾值Pthl和Pthh)把擁塞分成兩個檔次輕度擁塞和嚴重擁塞。當Pthl＜Ploss＜Pthh時視為輕度擁塞；而Ploss＞Pthh時視為嚴重擁塞。在輕度擁塞時，考慮加大量化步長因子u，在原來的基礎上增加20％，但不能超過最大步長umax。在嚴重擁塞時，即丟包率Ploss＞Pthh，采用減少編碼幀率來緩解(比如可以先不做B幀的編碼，然后考慮放棄P幀的編碼)直到擁塞緩解為止。在網(wǎng)絡緩解之后，進行試探性地提高編碼器的輸出幀率，然后才是提高圖像的SNR(信號噪聲比)，即減少量化步長。其中根據(jù)Flag的值來決定調(diào)整的方向。
而在存儲視頻點播系統(tǒng)中，采取的自適應調(diào)整策略與直播系統(tǒng)的略有區(qū)別，碼率控制模塊控制的是Server(服務器)的碼率整形模塊。這個模塊主要功能是根據(jù)網(wǎng)絡信息，調(diào)整具有擴展性的已編碼視頻流的傳輸，在網(wǎng)絡出現(xiàn)擁塞時，主要是通過選擇性地丟幀來適應動態(tài)變化的網(wǎng)絡帶寬。在實現(xiàn)過程中，仍然考慮丟包率的嚴重性(兩個閾值Pthl和Pthh)把擁塞分成兩個檔次輕度擁塞和嚴重擁塞。當Pthl＜Ploss＜Pthh時視為輕度擁塞；而Ploss＞Pthh時視為嚴重擁塞。在輕度擁塞時，考慮先丟棄B幀，丟棄的數(shù)量由少至多；在嚴重擁塞時，采用“乘性丟棄而加性增加”的思想——首先丟棄全部的B幀，如果仍不能緩解就由遠而近地(相對于本次序列的I幀而言)、由少至多地丟棄P幀；擁塞減緩時則是慢慢地增加幀率，這一過程與上面的減幀相反，其中Flag標志指示增減方向(即Flag＝0減幀而Flag＝1則加幀)。這種自適應的丟幀方法，控制粒度可細可粗，因此適用于不同的幀結構的壓縮視頻流。
在誤差控制方面，本發(fā)明提出的方案首先把晚于其后第3個數(shù)據(jù)包(從RTP序列號看)到達或仍未到達的數(shù)據(jù)包認為是“丟失的”，這是根據(jù)最大的播放時延來定義的，這可由用戶對播放效果的要求來設定；具體的控制方案分為兩部分當解碼器檢測到數(shù)據(jù)包丟失后，則把前面重構的與此相應的圖像數(shù)據(jù)復制成丟失的數(shù)據(jù)包；編碼端可以在根據(jù)反饋的丟包信息減少B幀甚至P幀的編碼或傳輸，這樣可以減少數(shù)據(jù)的相關性，從而抑制這種情況下的錯誤傳遞效應。
針對基于MPEG-4的流媒體系統(tǒng)中的碼流自適應傳輸問題，本發(fā)明采取了擴展性很好的自適應編碼技術。在直播系統(tǒng)中，采取自適應的量化步長和編碼幀率的調(diào)整策略來適應變化的網(wǎng)絡傳輸條件；而在點播場合，流媒體服務器利用RTCP報告返回的信息(即當前網(wǎng)絡的丟包率、傳輸時延等)有選擇性地對具有擴展性的編碼圖像幀進行增減幀率來自適應傳輸，這種方案的先進性在于明確地考慮擁塞的嚴重程度而采取相應的碼率調(diào)整策略，從而可以實現(xiàn)的控制粒度可細可粗，因此適用于不同的幀結構的壓縮視頻流。同時這兩種應用場合均在解碼端采用簡單實用的誤差控制技術消除丟包對重構圖像的影響，從而使用戶在時變的網(wǎng)絡條件下能得到盡可能好的播放質(zhì)量。
圖2是本發(fā)明中使用的擁塞控制結構示意圖。
圖3是直播過程中的自適應編碼控制過程示意圖。
圖4是點播過程中的自適應幀率控制流程圖。
實時流協(xié)議RTSP定義了在一對多的情況下應用程序如何有效地通過IP網(wǎng)絡傳送多媒體數(shù)據(jù)。RTSP在體系結構上位于RTP和RTCP之上，它使用TCP或RTP完成數(shù)據(jù)傳輸。HTTP與RTSP相比，HTTP傳送HTML，而RTSP傳送的是多媒體數(shù)據(jù)。HTTP請求由客戶機發(fā)出，服務器作出響應；使用RTSP時，客戶機和服務器都可以發(fā)出請求，即RTSP可以是雙向的。RTSP是應用級協(xié)議，控制實時數(shù)據(jù)的發(fā)送。它提供了一個可擴展框架，使實時數(shù)據(jù)，如音頻與視頻的受控、點播成為可能。數(shù)據(jù)源包括現(xiàn)場數(shù)據(jù)與存儲在剪輯中的數(shù)據(jù)。該協(xié)議目的在于控制多個數(shù)據(jù)發(fā)送連接，為選擇發(fā)送通道，如UDP、組播UDP與TCP，提供途徑，并為選擇基于RTP上的發(fā)送機制提供方法。


圖1是本發(fā)明采用RTP/UDP/IP協(xié)議結構，數(shù)據(jù)平面10負責傳輸實際用RTP打包的MPEG-4視頻流和音頻流；控制平面20利用RTCP反饋網(wǎng)絡信息同時利用RTSP傳輸控制命令。
從擁塞控制技術角度考慮，擁塞控制是保證多媒體信息正常地、連續(xù)地傳輸?shù)闹匾侄?，其中融合了擴展性編碼、自適應傳輸?shù)燃夹g環(huán)節(jié)?；旧嫌袃煞N思路基于終端和基于網(wǎng)絡的擁塞控制方法。由于現(xiàn)有的網(wǎng)絡結構復雜且沒有一個統(tǒng)一的管理機構，本發(fā)明采用的解決方案是基于終端的。此種控制方法的基本思路是利用當前網(wǎng)絡信息，由終端來調(diào)整傳輸流的大小，使之與當前的網(wǎng)絡狀況相適應。這種方法又分為基于發(fā)送端和接收端方案，發(fā)送端方案是指用流媒體服務器來調(diào)整碼率，接收端方案主要是針對分層編碼、組播傳輸環(huán)境下，客戶端根據(jù)網(wǎng)絡信道情況調(diào)整請求來控制擁塞。為了減輕客戶端的負擔，本發(fā)明采用的是基于發(fā)送端的，即流媒體服務器的擁塞控制。
在各種控制方法中，當前網(wǎng)絡狀況(主要是丟包率、時延、時延抖動等信息)的獲取是一個重要的技術環(huán)節(jié)。實現(xiàn)的手段主要有基于TCP擁塞控制的流量模型法和利用RTCP協(xié)議即反饋控制協(xié)議法，考慮到本發(fā)明實際的傳輸協(xié)議結構，因此采取后一種方法。
圖2是本發(fā)明一個基于發(fā)送端100的擁塞控制結構，可以應用于實時編碼也可用于存儲視頻的傳輸。在后一種應用中，就沒有自適應壓縮編碼這部分功能。在接收端200有一個QoS監(jiān)視模塊204，其主要功能是根據(jù)送達到數(shù)據(jù)包的狀態(tài)(比如丟包率、時延)，提供網(wǎng)絡擁塞狀態(tài)信息。這些信息輸入一反饋控制協(xié)議模塊205，然后以RTCP報告的形式傳到發(fā)送端100。在發(fā)送端100中，網(wǎng)絡信息送入碼率控制模塊104，然后由這個模塊104來控制發(fā)送的發(fā)送速率，如圖所示，其控制碼率自適應模塊107，再送壓縮層106，受到調(diào)節(jié)的發(fā)送速率再送經(jīng)碼率整形模塊105，進入RTP層103、UDP層102和IP層101，而進入因特網(wǎng)直至接收端200。
在實時編碼的直播系統(tǒng)中，碼率控制模塊104直接調(diào)節(jié)的是編碼器，進行可擴展的編碼。主要的編碼手段是調(diào)節(jié)量化步長和跳幀編碼。當檢測到網(wǎng)絡擁塞時，根據(jù)丟包率的嚴重性(兩個閾值Pthl和Pthh)把擁塞分成兩個檔次輕度擁塞和嚴重擁塞。當Pthl＜Ploss＜Pthh時視為輕度擁塞；而Plosss＞Pthh時視為嚴重擁塞。在輕度擁塞時，考慮加大量化步長因子u，在原來的基礎上增加20％，但不能超過最大步長umax。在嚴重擁塞時，即丟包率Ploss＞Pthh，采用減少編碼幀率來緩解(比如可以先不做B幀的編碼，然后考慮放棄P幀的編碼)直到擁塞緩解為止。在網(wǎng)絡緩解之后，進行試探性地提高編碼器的輸出幀率，然后才是提高圖像的SNR，即減少量化步長。其中根據(jù)Flag的值來決定調(diào)整的方向。根據(jù)圖3的流程圖，直播過程中自適應編碼控制過程300包括如下具體過程S310初始時刻一個比較低的幀率f0傳輸，適中的量化步長u0。
S320利用RTCP(實時傳輸控制協(xié)議)報告計算估計網(wǎng)絡的丟包率Ploss。
S330判斷Ploss＞Pthl？如果為真則設置Flag＝0，然后進入S340；否則進入S390。
S340判斷Ploss＞Pthh？如果為假則進入S360，否則S350。
S350繼續(xù)判斷幀率＝最小值？這個條件成立則說明因傳輸環(huán)境太差，幀率已經(jīng)達到最小值，現(xiàn)在仍有嚴重擁塞出現(xiàn)，因此，進入S351停止傳輸過程；否則進入幀率調(diào)整過程S380。
S360如果量化步長u＝最大值就轉(zhuǎn)入S350，否則進入量化步長u調(diào)整過程S370。
S370如果Flag＝0則對量化步長u由少至多增加，直至最大值；如果Flag＝1則逐步減小量化步長。這個調(diào)整過程完成后返回S320，繼續(xù)檢測網(wǎng)絡狀態(tài)。
S380如果Flag＝0則減小編碼幀率，首先考慮不做部分B幀編碼，接著是完全放棄B幀的編碼，進而由遠而近(相對于本個I幀開始的圖像序列)不做P幀編碼，直至放棄全部的P幀；如果Flag＝1則逐步增加P幀，然后是逐步增加B幀。這個調(diào)整過程完成后返回S320，繼續(xù)檢測網(wǎng)絡狀態(tài)。
S390設置Flag＝1；判斷幀率＝最大值？條件為假則進入S380，否則進入S391，判斷量化步長＝最小值？條件為假則進入S370否則轉(zhuǎn)入S320，繼續(xù)檢測網(wǎng)絡狀態(tài)。
在存儲視頻點播系統(tǒng)中，采取的自適應調(diào)整策略與直播系統(tǒng)的略有區(qū)別，參見圖2，碼率控制模塊104控制的是Server(服務器)的碼率整形模塊105。這個模塊主要功能是根據(jù)網(wǎng)絡信息，調(diào)整具有擴展性的已編碼視頻流的傳輸，在網(wǎng)絡出現(xiàn)擁塞時，主要是通過選擇性地丟幀來適應動態(tài)變化的網(wǎng)絡帶寬。在實現(xiàn)過程中，仍然考慮丟包率的嚴重性(兩個閾值Pthl和Pthh)把擁塞分成兩個檔次輕度擁塞和嚴重擁塞。當Pthl＜Ploss＜Pthh時視為輕度擁塞；而Ploss＞Pthh時視為嚴重擁塞。在輕度擁塞時，考慮先丟棄B幀，丟棄的數(shù)量由少至多；在嚴重擁塞時，采用“乘性丟棄而加性增加”的思想——首先丟棄全部的B幀，如果仍不能緩解就由遠而近地(相對于本次序列的I幀而言)、由少至多地丟棄P幀；擁塞減緩時則是慢慢地增加幀率，這一過程與上面的減幀相反，其中Flag標志指示增減方向(即Flag＝0減幀而Flag＝1則加幀)。這種自適應的丟幀方法，控制粒度可細可粗，因此適用于不同的幀結構的壓縮視頻流。根據(jù)圖4，點播過程中的自適應幀率控制流程400包括如下步驟S410初始時刻一個比較低的幀率f0傳輸。
S420利用RTCP報告計算估計網(wǎng)絡的丟包率Ploss。
S430判斷Ploss＞Pthl？如果為真則進入S431，設置Flag＝0，然后進入S440；否則進入S490。
S440判斷Ploss＞Pthh？如果為假則進入S460，否則S450。
S450繼續(xù)判斷P幀計數(shù)器＝0？這個條件成立則說明因傳輸環(huán)境太差已經(jīng)丟棄了全部的P幀，現(xiàn)在仍有嚴重擁塞出現(xiàn)，因此進入S451停止傳輸過程；否則進入P幀調(diào)整過程S480。
S460如果B幀計數(shù)器＝0就轉(zhuǎn)入S450，否則進入B幀調(diào)整過程S470。
S470如果Flag＝0則對B幀進行由少至多的丟棄(比如1/3、2/3的B幀，視具體的編碼而定)，直至丟棄全部的B幀；如果Flag＝1則逐步增加B幀。這個調(diào)整過程完成后返回S420，繼續(xù)檢測網(wǎng)絡狀態(tài)。
S480如果Flag＝0則對P幀進行由遠而近(相對于本個I幀開始的圖像序列)、由少至多(比如1/3、2/3的P幀，視具體的編碼而定)的丟棄，直至丟棄全部的P幀；如果Flag＝1則由近而遠地逐步增加P幀。這個調(diào)整過程完成后返回S420，繼續(xù)檢測網(wǎng)絡狀態(tài)。
S490設置Flag＝1；判斷P幀是否全發(fā)(P幀計數(shù)器＝最大值)？條件為假則進入S480，否則判斷B幀是否全發(fā)(B幀計數(shù)器＝最大值)？條件為假則進入S470否則轉(zhuǎn)入S420，繼續(xù)檢測網(wǎng)絡狀態(tài)。
權利要求
1.一種基于因特網(wǎng)的MPEG-4流自適應傳輸方法，其步驟包括a.建立RTP/UDP/IP協(xié)議結構，該協(xié)議結構的數(shù)據(jù)平面負責傳輸使用RTP打包的MPEG-4視頻流和音頻流；而其控制平面則同時利用RTCP反饋網(wǎng)絡信息和RTSP傳輸控制命令；b.建立一個可應用于實時編碼也可用于存儲視頻傳輸?shù)幕诎l(fā)送端的擁塞控制結構。
2.根據(jù)權利要求1所述的基于因特網(wǎng)的MPEG-4流自適應傳輸方法，其特征在于，所說的建立一基于發(fā)送端的擁塞控制結構，是指在接收端建立一個根據(jù)到達的數(shù)據(jù)包的狀態(tài)提供網(wǎng)絡擁塞狀態(tài)信息的QoS監(jiān)視模塊和一個后接該QoS監(jiān)視模塊的反饋控制協(xié)議模塊，其以RTCP報告的形式將所獲得的網(wǎng)絡擁塞狀態(tài)信息傳到發(fā)送端；在發(fā)送端建立一個接收來自發(fā)送端送來的網(wǎng)絡信息的碼率控制模塊和該碼率整形模塊，然后由該碼率控制模塊控制發(fā)送的發(fā)送速度。
3.根據(jù)權利要求1或2所述的基于因特網(wǎng)的MPEG-4流自適應傳輸方法，其特征在于，所說的位于發(fā)送端的碼率控制模塊，其在實時編碼的直播系統(tǒng)中直接調(diào)節(jié)編碼器，進行可擴展的編碼。
4.根據(jù)權利要求3所述的基于因特網(wǎng)的MPEG-4流自適應傳輸方法，其特征在于，碼率控制模塊調(diào)節(jié)編碼器的編碼方法是調(diào)節(jié)量化步長和跳幀編碼。
5.根據(jù)權利要求4所述的基于因特網(wǎng)的MPEG-4流自適應傳輸方法，其特征在于，所說的調(diào)節(jié)量化步長和跳幀編碼是設置兩個丟包率Ploss的閾值Pthl和Pthh，將網(wǎng)絡擁塞劃分成輕度擁塞Pthl＜Ploss＜Pthh和嚴重擁塞Ploss＞Pthh，當檢測到網(wǎng)絡擁塞時，若Pthl＜Ploss＜Pthh，則考慮加大量化步長因子U，但U應小于最大步長Umax；若Ploss＞Pthh，則采用減少編碼幀率至擁塞緩解為止，然后，進行試探性的提高編碼器的輸出幀率，之后才減少量化步長。
6.根據(jù)權利要求5所述的基于因特網(wǎng)的MPEG-4流自適應傳輸方法，其特征在于，當Pthl＜Ploss＜Pthh時對量化步長因子U的加大系在原來的基礎上增加20％，但不要超過最大步長UMAX。
7.根據(jù)權利要求5所述的基于因特網(wǎng)的MPEG-4流自適應傳輸方法，所說的Ploss＞Pthh時，采用減少編碼幀率是指先不做B幀的編碼，然后考慮放棄P幀的編碼。
8.根據(jù)權利要求5所述的基于因特網(wǎng)的MPEG-4流自適應傳輸方法，其特征在于，還設定Flag標志表示對量化步長因子和編碼幀率的調(diào)整方向，F(xiàn)lag＝0表示增大量化步長和減少編碼幀率；Flag＝1表示減小量化步長和增加編碼幀率。
9.根據(jù)權利要求1或2所述的基于因特網(wǎng)的MPEG-4流自適應傳輸方法，其特征在于，所說的碼率控制模塊，其在存儲視頻點播系統(tǒng)中是控制碼率整形模塊，以便根據(jù)網(wǎng)絡信息，調(diào)整具有擴展性的已編碼視頻流的傳輸。
10.根據(jù)權利要求9所述的基于因特網(wǎng)的MPEG-4流自適應傳輸方法，其特征在于，所說的由碼率控制模塊去控制碼率整形模塊來調(diào)整編碼視頻流的傳輸，其方法是在網(wǎng)絡出現(xiàn)擁塞時，通過選擇性丟幀來適應動態(tài)變化的網(wǎng)絡寬帶。
11.根據(jù)權利要求10所述的基于因特網(wǎng)的MPEG-4流自適應傳輸方法，其特征在于，所說的選擇性丟幀是把由接收端送來的丟包率Ploss設置兩個閾值Pthl和Pthh，以Pthl＜Ploss＜Pthh表示網(wǎng)絡傳輸輕度擁塞，以Ploss＞Pthh表示網(wǎng)絡傳輸嚴重擁塞，當Pthl＜Ploss＜Pthh時先丟B幀，如果仍處于擁塞狀態(tài)，就由遠而近地、由少而重地丟棄P幀，直至傳輸擁塞減緩時才慢慢地增加幀率。
12.根據(jù)權利要求11所述的基于因特網(wǎng)的MPEG-4流自適應傳輸方法，其特征在于，還設置標志Flag來指示對幀的增減方向，F(xiàn)lag＝0減幀，而Flag＝1則加幀。
13.根據(jù)權利要求1或2所述的基于因特網(wǎng)的MPEG-4流自適應傳輸方法，其特征在于，還從RTP序列號看，把晚于其后第三個數(shù)據(jù)包到達或仍未到達的數(shù)據(jù)包認為是丟失的數(shù)據(jù)包。
14.根據(jù)權利要求13所述的基于因特網(wǎng)的MPEG-4流自適應傳輸方法，其特征在于，當接收端的解碼器檢測到數(shù)據(jù)包丟失后，便把前面重構的與此相應的圖象數(shù)據(jù)復制成丟失的數(shù)據(jù)包；發(fā)送端可以在根據(jù)反饋的丟包信息減少B幀甚至P幀的編碼或傳輸。
全文摘要
一種基于因特網(wǎng)的媒體流自適應傳輸方法，其步驟包括a.建立RTP/UDP/IP協(xié)議結構，該協(xié)議結構的數(shù)據(jù)平面負責傳輸使用RTP打包的媒體視頻流和音頻流；而其控制平面則同時利用RTCP反饋網(wǎng)絡信息和RTSP傳輸控制命令；b.建立一個可應用于實時編碼也可用于存儲視頻傳輸?shù)幕诎l(fā)送端的擁塞控制結構。由于本發(fā)明利用RTCP報告中關于網(wǎng)絡運行狀態(tài)的估計信息，運用可擴展的自適應編碼、選擇性的丟幀等來動態(tài)地調(diào)整媒體碼流的傳輸，在解碼端采用誤差控制技術消除丟包對重構圖像的影響，最終實現(xiàn)在網(wǎng)絡運行條件不斷變化的情況下使客戶端獲得盡可能好的播放質(zhì)量。
文檔編號H04N7/24GK1468001SQ0215284
公開日2004年1月14日 申請日期2002年11月25日 優(yōu)先權日2002年6月27日
發(fā)明者王洪燕, 胡敏, 李富堂 申請人:上海漢唐科技有限公司