專利名稱：一種基于應用層組播的視頻會議直播系統(tǒng)的制作方法
技術領域：
本發(fā)明屬于應用層組播和流媒體技術領域，具體涉及一種基于應用層組播的視頻 會議直播系統(tǒng)。
背景技術：
隨著互聯(lián)網(wǎng)的迅速發(fā)展，越來越多的應用對組播通信提出了需求。組播 (multicast)是一到多或者多到多的多方通信形式，遠程會議、交互式仿真、分布式內(nèi)容系 統(tǒng)、多方游戲等應用都對組播業(yè)務(multicast service)提出了需求。在0SI模型的網(wǎng)絡層或者應用層實現(xiàn)業(yè)務是目前組播業(yè)務的兩種實現(xiàn)體制。傳統(tǒng) 的IP網(wǎng)絡層組播的擴展性和網(wǎng)絡管理等方面都存在許多問題，在互聯(lián)網(wǎng)上尚未廣泛部署， 而應用層組播的一個很大的好處是通過端系統(tǒng)進行數(shù)據(jù)復制和轉(zhuǎn)發(fā)。應用層組播具有只需 要改變端系統(tǒng)，不需要路由器的支持，便于實現(xiàn)和推廣以及便于針對特定應用優(yōu)化的優(yōu)點。流媒體(Streaming Media)指在網(wǎng)絡上按時間先后次序傳輸和播放的連續(xù)音視頻 數(shù)據(jù)流，流媒體在播放前不需要下載整個文件，只將部分內(nèi)容緩存，使得流媒體數(shù)據(jù)邊傳送 邊播放，節(jié)省下載的等待時間和存儲空間。流媒體技術可廣泛應用于網(wǎng)上的新聞發(fā)布、在線直播、網(wǎng)絡廣告、遠程教育、視頻 會議等，目前應用最直接的是網(wǎng)上直播。流媒體業(yè)務的特點是數(shù)據(jù)傳輸量大、實施性強、時間同步要求嚴格，并要求網(wǎng)絡提 供保證的服務質(zhì)量，但是基于TCP/IP的傳輸在帶寬、抖動、延時等方面都不能提供有效的 支持，不能保證通信的服務質(zhì)量，隨著接入主機數(shù)目的增加，對服務器端的性能要求越來越 高，占用越來越多的服務器資源，例如帶寬。傳統(tǒng)的點到點的單播通信方式會消耗大量的網(wǎng)絡帶寬，并且擴展性和部署性差， 無法適應大規(guī)模網(wǎng)絡下用戶較多的數(shù)據(jù)傳輸需求。所以，研究人員提出了應用層組播(ALM Application Layer Multicast)的概念，其基本思想是指在應用層而不是網(wǎng)絡層上實現(xiàn)組 播能力，由端系統(tǒng)而不是路由器實現(xiàn)組播轉(zhuǎn)發(fā)功能，部署更容易，可以支持大量的組，擴展 性好，可以很好地解決組播地址分配不足的問題，為組播的大范圍開展與應用開辟了新的 途徑。

發(fā)明內(nèi)容
針對上述的不足，本發(fā)明提出了一種低成本高質(zhì)量的基于應用層組播的視頻會議 直播系統(tǒng)，在當前網(wǎng)絡條件下，通過引入應用層組播模型，視頻會議終端之間通過組播方式 傳輸流媒體數(shù)據(jù)，達到流媒體高質(zhì)量傳輸?shù)哪康?，提供了系統(tǒng)的實用性和靈活性，同時也簡 化了系統(tǒng)的部署。為了實現(xiàn)發(fā)明目的，采用的技術方案如下一種基于應用層組播的視頻會議直播系統(tǒng)，包括會議用戶終端和會議服務器終 端；會議服務器終端是本系統(tǒng)的管理和控制中心，它負責會議的管理和服務功能，負責創(chuàng)建會議組播，處理用戶加入會議，用戶身份認證。會議用戶終端一方面與會議服務器終端進行 控制信息交互，另一方面同時進行會議音視頻的采集、預處理，以及發(fā)送，接收，轉(zhuǎn)發(fā)流媒體 數(shù)據(jù)。具體包括信息管理模塊、流媒體處理模塊、音視頻信息采集模塊、應用層組播協(xié)議 管理模塊、用戶控制管理模塊、視頻會議服務模塊、服務器控制管理模塊。音視頻信息采集模塊用于視頻和音頻信息采集，由一個或幾個用于采集視頻信息 的攝像機和一個聲音錄入系統(tǒng)，負責采集終端的音視頻信號，為流媒體處理模塊提供數(shù)據(jù) 源；應用層組播協(xié)議管理模塊用于組成和管理應用層組播覆蓋網(wǎng)絡；流媒體處理模塊包括預處理模塊、緩沖區(qū)管理、數(shù)據(jù)調(diào)度模塊；信息管理模塊包括用戶信息管理、會議信息管理、鏈路狀態(tài)管理；用戶控制管理模塊用于發(fā)送控制信息，例如加入或退出會議組播，申請發(fā)言等；視頻會議服務模塊用于會議的發(fā)布、管理，身份認證，管理會議參加者信息以及會 議信息；服務器控制管理模塊用于控制、協(xié)調(diào)會議過程，例如發(fā)起、結(jié)束會議。上述技術方案中，所述的系統(tǒng)操作界面應具有友好、統(tǒng)一的風格，并具有良好的交 互性?；诒景l(fā)明的特點及其有益效果如下1、充分利用現(xiàn)有的網(wǎng)絡，不需要因特網(wǎng)的特殊支持，成本低、操作簡單，容易部署。2、數(shù)據(jù)傳輸采用點到多點模式，解決服務器數(shù)據(jù)負荷過重問題。3、不受時間和空間的限制，方便會議的開展。4、會議終端可以根據(jù)需要任意加入和退出會議組播。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn) 有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以 根據(jù)這些附圖獲得其它的附圖。圖1為本發(fā)明實施例的系統(tǒng)框架圖；圖2為本發(fā)明實施例的會議用戶終端系統(tǒng)框架圖；圖3為本發(fā)明實施例的總體流程圖；圖4為本發(fā)明實施例的流媒體處理模塊示意圖；圖5為本發(fā)明實施例的工作示意圖。
具體實施例方式下面結(jié)合附圖和實施例對本發(fā)明做進一步的說明。本發(fā)明的目的在于提供一種基于應用層組播的視頻會議直播系統(tǒng)，為人們提供一 個延時小、帶寬要求低、視音頻傳輸質(zhì)量高、實時的網(wǎng)絡會議環(huán)境，同時解決傳統(tǒng)會議在時 間和空間上的制約問題。
如圖1所示，是基于應用層組播的視頻會議直播系統(tǒng)的框架圖，包括會議用戶終 端和會議服務器終端；會議服務器終端是本系統(tǒng)的管理和控制中心，它負責會議的管理和 服務功能，負責創(chuàng)建會議組播，處理用戶加入會議，用戶身份認證。會議用戶終端一方面與 會議服務器終端進行控制信息交互，另一方面同時進行會議音視頻的采集、預處理，以及發(fā) 送，接收，轉(zhuǎn)發(fā)流媒體數(shù)據(jù)。該系統(tǒng)具體包括音視頻信息采集模塊、應用層組播協(xié)議管理模塊、流媒體處理模 塊、信息管理模塊、用戶控制管理模塊、視頻會議服務模塊、服務器控制管理模塊。音視頻信息采集模塊用于視頻和音頻信息采集，由一個或幾個用于采集視頻信息 的攝像機和一個聲音錄入系統(tǒng)，負責采集終端的音視頻信號，為流媒體處理模塊提供數(shù)據(jù) 源；應用層組播協(xié)議管理模塊用于組成和管理應用層組播覆蓋網(wǎng)絡；流媒體處理模塊包括預處理模塊、緩沖區(qū)管理、數(shù)據(jù)調(diào)度模塊；信息管理模塊包括用戶信息管理、會議信息管理、鏈路狀態(tài)管理；用戶控制管理模塊用于發(fā)送控制信息，例如加入或退出會議組播，申請發(fā)言等；視頻會議服務模塊用于會議的發(fā)布、管理，身份認證，管理會議參加者信息以及會 議信息；服務器控制管理模塊用于控制、協(xié)調(diào)會議過程，例如發(fā)起、結(jié)束會議。其中信息管理模塊包括用戶信息管理、會議信息管理、鏈路狀態(tài)管理；用戶信息管 理可按身份將用戶分為會議管理者和會議參與者，不同用戶有不同的操作權限；鏈路狀態(tài) 管理，主要管理節(jié)點間延時、帶寬信息，保證數(shù)據(jù)傳輸延遲達到一定的標準。應用層組播協(xié)議管理模塊包括組播樹管理模塊、組播擁塞控制、消息處理模塊，其 中組播樹管理模塊，主要用于利用樹模型管理組播覆蓋網(wǎng)成員之間的邏輯關系，會議服務 器終端為樹的根節(jié)點，在會議服務器終端能夠維護全局的組播樹結(jié)構(gòu)，其余會議用戶終端 只需要維護它在組播轉(zhuǎn)發(fā)樹中的局部結(jié)構(gòu)，即其父節(jié)點列表和它所有的孩子節(jié)點列表；所 述的消息處理模塊主要負責對于接收到的各種控制消息進行恰當和及時的處理，包括處理 會議用戶終端的加入請求，然后形成一個組播覆蓋網(wǎng)絡；當會議用戶終端離開時，更新成員 列表信息，以至最終能快速恢復一個穩(wěn)定的組播覆蓋網(wǎng)絡，同時還要處理失效終端，即沒有 發(fā)出退出組播的通知但已無法正常工作的會議終端。流媒體處理模塊包括預處理模塊、緩沖區(qū)管理、數(shù)據(jù)調(diào)度模塊；其中預處理模塊用 于處理音視頻信息采集模塊采集到的信息，主要包括數(shù)據(jù)編碼、解碼，壓縮，封裝，其中數(shù)據(jù) 的編碼可以采用面向傳輸?shù)目蓴U展性編碼技術；緩沖區(qū)管理提供數(shù)據(jù)存儲服務，主要用于 彌補網(wǎng)絡延時和抖動的影響，并對數(shù)據(jù)包的時序進行處理，從而使緩沖數(shù)據(jù)能連續(xù)而有序 地播出，不至于使圖像出現(xiàn)停頓；緩沖區(qū)數(shù)據(jù)來源包括音視頻采集模塊采集到的經(jīng)過預處 理模塊處理后的數(shù)據(jù)；上游節(jié)點轉(zhuǎn)發(fā)的數(shù)以及下游節(jié)點發(fā)送的數(shù)據(jù)；數(shù)據(jù)調(diào)度模塊主要功 能是接收其上游節(jié)點或會議服務器終端的流媒體數(shù)據(jù)，以供本地緩沖區(qū)使用，并且將本地 緩沖區(qū)的數(shù)據(jù)提供給播放器播放；同時向上游和下游節(jié)點發(fā)送緩沖區(qū)中來自本地音視頻采 集模塊采集并經(jīng)過預處理模塊處理的流媒體數(shù)據(jù)；向其下游節(jié)點轉(zhuǎn)發(fā)從上游節(jié)點或會議服 務器終端收到的數(shù)據(jù)。如圖3所示為一種基于應用層組播的視頻會議直播系統(tǒng)的使用流程圖。
具體包括如下步驟1.會議管理員運行會議服務器終端系統(tǒng)，通過應用層組播協(xié)議管理模塊處理會議 用戶終端的加入/退出請求，負責形成應用層組播覆蓋網(wǎng)絡。2.應用層組播協(xié)議管理模塊，功能包括根據(jù)組播協(xié)議創(chuàng)建會議組播、管理組播樹， 控制信息處理，組播擁塞控制。具體是根據(jù)特定網(wǎng)絡環(huán)境選擇合適的應用層組播協(xié)議，創(chuàng)建 一個會議組播，等待會議用戶終端的信息，接收或拒絕會議用戶終端加入組播；控制信息處 理部分負責處理會議用戶終端的加入/退出等請求信息。3.會議參加者運行會議用戶終端，通過會議用戶終端的組播協(xié)議管理模塊向會議 服務器終端發(fā)送加入組播請求。4.當接收到加入請求時，會議服務器終端根據(jù)特定的應用層組播協(xié)議，將該請求 的聽課終端加入到組播網(wǎng)中，即將該節(jié)點作為原組播網(wǎng)中某一節(jié)點N的孩子節(jié)點。N更新自 己的孩子節(jié)點列表。5.加入組播成功后，終端通過音視頻信息采集模塊捕獲信息，包括音頻和視頻。流 媒體處理模塊需要處理大量的信息，將采集到的信息通過流媒體處理模塊轉(zhuǎn)化成適合于網(wǎng) 絡傳輸?shù)牧髅襟w格式，然后通過應用層組播覆蓋網(wǎng)絡傳輸。6.會議管理員通過視頻會議服務模塊可以管理會議參加者信息以及會議信息，發(fā) 布會議信息，進行身份認證等。7.每個終端通過流媒體處理模塊，具體包括預處理模塊，緩沖區(qū)管理模塊，數(shù)據(jù)調(diào) 度模塊，進行流媒體數(shù)據(jù)的處理。如圖4所示，通過預處理模塊將音視頻信息采集模塊捕獲 到的信息進行編碼、轉(zhuǎn)換，壓縮、封裝；緩沖區(qū)管理模塊主要功能是保存預處理后的以及上 游和下游節(jié)點發(fā)送的數(shù)據(jù)；數(shù)據(jù)調(diào)度模塊根據(jù)特定終端的組播樹結(jié)構(gòu)，一方面接收上游節(jié) 點或下游節(jié)點終端的數(shù)據(jù)，以供本地緩沖區(qū)使用，另一方面把本地緩沖區(qū)的數(shù)據(jù)轉(zhuǎn)發(fā)給下 游節(jié)點，即孩子節(jié)點。
權利要求
一種基于應用層組播的視頻會議直播系統(tǒng)，其特征在于，包括會議用戶終端和會議服務器終端；會議服務器終端是本系統(tǒng)的管理和控制中心，它負責會議的管理和服務功能，負責創(chuàng)建會議組播，處理用戶加入會議，用戶身份認證；會議用戶終端一方面與會議服務器終端進行控制信息交互，另一方面同時進行會議音視頻的采集、預處理，以及發(fā)送，接收，轉(zhuǎn)發(fā)流媒體數(shù)據(jù)；具體包含以下模塊音視頻信息采集模塊、應用層組播協(xié)議管理模塊、流媒體處理模塊、信息管理模塊、用戶控制管理模塊、視頻會議服務模塊、服務器控制管理模塊；音視頻信息采集模塊用于視頻和音頻信息采集，由一個或幾個用于采集視頻信息的攝像機和一個聲音錄入系統(tǒng)，負責采集終端的音視頻信號，為流媒體處理模塊提供數(shù)據(jù)源；用戶控制管理模塊用于發(fā)送控制信息，包括加入或退出會議組播，申請發(fā)言；視頻會議服務模塊用于會議的發(fā)布、管理，身份認證，管理會議參加者信息以及會議信息；服務器控制管理模塊控制、協(xié)調(diào)會議過程，包括發(fā)起會議、結(jié)束會議；應用層組播協(xié)議管理模塊負責各個終端節(jié)點的建立、通訊、組成員節(jié)點的管理，是整個系統(tǒng)運行的基礎。
2.根據(jù)權利要求1所述的基于應用層組播的視頻會議直播系統(tǒng)，其特征在于所述的信 息管理模塊包括用戶信息管理、會議信息管理、鏈路狀態(tài)管理；用戶信息管理可按身份將用 戶分為會議管理者和會議參與者，不同用戶有不同的操作權限；鏈路狀態(tài)管理，主要管理節(jié) 點間延時、帶寬信息，保證數(shù)據(jù)傳輸延遲達到一定的標準。
3.根據(jù)權利要求1所敘述的基于應用層組播的視頻會議直播系統(tǒng)，其特征在于所述 的應用層組播協(xié)議管理模塊包括組播樹管理模塊、組播擁塞控制、消息處理模塊，其中組播 樹管理模塊，主要用于利用樹模型管理組播覆蓋網(wǎng)成員之間的邏輯關系，會議服務器終端 為樹的根節(jié)點，在會議服務器終端能夠維護全局的組播樹結(jié)構(gòu)，其余會議用戶終端只需要 維護它在組播轉(zhuǎn)發(fā)樹中的局部結(jié)構(gòu)，即其父節(jié)點列表和它所有的孩子節(jié)點列表；所述的消 息處理模塊主要負責對于接收到的各種控制消息進行恰當和及時的處理，包括處理會議用 戶終端的加入請求，然后形成一個組播覆蓋網(wǎng)絡；當會議用戶終端離開時，更新成員列表信 息，以至最終能快速恢復一個穩(wěn)定的組播覆蓋網(wǎng)絡，同時還要處理失效終端，即沒有發(fā)出退 出組播的通知但已無法正常工作的會議終端。
4.根據(jù)權利要求1所敘述的基于應用層組播的視頻會議直播系統(tǒng)，其特征在于所述的 流媒體處理模塊包括預處理模塊、緩沖區(qū)管理、數(shù)據(jù)調(diào)度模塊；其中預處理模塊用于處理音 視頻信息采集模塊采集到的信息，主要包括數(shù)據(jù)編碼、解碼，壓縮，封裝，其中數(shù)據(jù)的編碼可 以采用面向傳輸?shù)目蓴U展性編碼技術；緩沖區(qū)管理提供數(shù)據(jù)存儲服務，主要用于彌補網(wǎng)絡 延時和抖動的影響，并對數(shù)據(jù)包的時序進行處理，從而使緩沖數(shù)據(jù)能連續(xù)而有序地播出，不 至于使圖像出現(xiàn)停頓；緩沖區(qū)數(shù)據(jù)來源包括音視頻采集模塊采集到的經(jīng)過預處理模塊處理 后的數(shù)據(jù)；上游節(jié)點轉(zhuǎn)發(fā)的數(shù)以及下游節(jié)點發(fā)送的數(shù)據(jù)；數(shù)據(jù)調(diào)度模塊主要功能是接收其 上游節(jié)點或會議服務器終端的流媒體數(shù)據(jù)，以供本地緩沖區(qū)使用，并且將本地緩沖區(qū)的數(shù) 據(jù)提供給播放器播放；同時向上游和下游節(jié)點發(fā)送緩沖區(qū)中來自本地音視頻采集模塊采集 并經(jīng)過預處理模塊處理的流媒體數(shù)據(jù)；向其下游節(jié)點轉(zhuǎn)發(fā)從上游節(jié)點或會議服務器終端收 到的數(shù)據(jù)。
全文摘要
本發(fā)明公開了一種基于應用層組播的視頻會議直播系統(tǒng)，它涉及多媒體數(shù)據(jù)處理和流媒體網(wǎng)絡通信的技術領域，其由會議用戶終端和會議服務器終端組成，包括信息管理模塊、流媒體處理模塊、音視頻信息采集模塊、應用層組播協(xié)議管理模塊、用戶控制管理模塊、視頻會議服務模塊、服務器控制管理模塊。通過應用層組播協(xié)議構(gòu)造組播覆蓋網(wǎng)，將會議的多媒體數(shù)據(jù)進行實時傳送，使得會議終端之間能夠進行實時交流。本發(fā)明目的在于將應用層組播與流媒體相結(jié)合，實現(xiàn)音頻、視頻雙向交互，提供一個延時小、帶寬要求低、音視頻傳輸質(zhì)量高、實時的視頻會議環(huán)境。
文檔編號H04L12/18GK101873219SQ20101019187
公開日2010年10月27日 申請日期2010年5月31日 優(yōu)先權日2010年5月31日
發(fā)明者劉寧, 徐武強, 曹廣源, 曹旦森, 羅笑南, 董濤 申請人:中山大學深圳研究院;中山大學