專利名稱：一種實現(xiàn)融合視頻監(jiān)控的方法
技術領域：
本發(fā)明涉及網(wǎng)絡視頻監(jiān)控技術，具體來說是一種實現(xiàn)融合視頻監(jiān)控的方法。
背景技術：
視頻監(jiān)控傳統(tǒng)上屬于安防(保衛(wèi))系統(tǒng)的一部分，其作為安防系統(tǒng)的一項專門業(yè) 務，一直以來和IT行業(yè)的其他應用保持著一定的距離。傳統(tǒng)視頻監(jiān)控以獨立的小規(guī)模應用 為主，其視頻通信采用以同軸電纜為主的模擬通信方式。 目前，隨著計算機技術的發(fā)展和網(wǎng)絡的普及，視頻監(jiān)控已經發(fā)展到了網(wǎng)絡視頻監(jiān) 控系統(tǒng)，不再局限于簡單地完成對視頻信號的處理、傳輸、控制，其核心乃是對基于IP網(wǎng)絡 的多媒體信息(視頻/音頻/數(shù)據(jù))提供一個綜合、完備的管理控制平臺。其中，根據(jù)應用 網(wǎng)絡環(huán)境的不同，可分為專網(wǎng)視頻監(jiān)控系統(tǒng)和Internet視頻監(jiān)控系統(tǒng)，包括寬帶互聯(lián)網(wǎng)、 寬帶移動無線網(wǎng)(如CDMA、3G)、衛(wèi)星通信網(wǎng)等視頻監(jiān)控系統(tǒng)。 Interne視頻監(jiān)控的特點是網(wǎng)絡環(huán)境復雜、帶寬資源有限，從前端不同種類的攝像 頭(如DVS/DVR、IP camera等)到后端各種不同的監(jiān)控設備(如PC、手機、PDA及其它類型 的媒體播放終端等)，中間可能穿過不同種類、介質的網(wǎng)絡，包括有線網(wǎng)、無線網(wǎng)等等。因此， 如何有效地執(zhí)行信令控制、視頻流傳輸，保證后端監(jiān)控設備能及時、準確地進行視頻監(jiān)控， 是一個必須面對的問題。這要求在實現(xiàn)Internet視頻監(jiān)控過程中，需要針對網(wǎng)絡環(huán)境合理 規(guī)劃整個業(yè)務流程并定義相關接口及協(xié)議，只有這樣才能形成一個可用的Internet視頻 監(jiān)控系統(tǒng)。 目前，Internet方面各種應用協(xié)議五花八門，其中有不少是與視頻相關的，但這 不足以構建一個有效、可用的Internet視頻監(jiān)控系統(tǒng)。 一個有效、可用的Internet視頻 監(jiān)控的概念可以歸結為"5W"，即任何一個授權者(whoever)在任何時候(whenever)、任何 地點(wherever)，能通過任何一種手段方式(however)，獲取任何一個被控對象(人或物) (whichever)的任何信息(whatever)。因此，實現(xiàn)一個有效、可用的Internet視頻監(jiān)控，需 要全面解決包括監(jiān)控系統(tǒng)服務端和前端監(jiān)控設備及后端設備之間的交互、其間控制信令、 視頻流的傳輸、所需的標準協(xié)議等問題。 現(xiàn)有技術中，網(wǎng)絡視頻監(jiān)控系統(tǒng)多采用TCP/IP協(xié)議為基本通信協(xié)議，即針對具體 應用特點，定義相關的應用協(xié)議，如常見的HTTP、 FTP、 SMTP/P0P3等，同時對于所需協(xié)議選 擇合適的控制信令和視頻流的方式，最終實現(xiàn)網(wǎng)絡視頻監(jiān)控系統(tǒng)。問題在于，現(xiàn)實中經常需 要融合不同的視頻監(jiān)控系統(tǒng)，上述解決方案并不能滿足要求。 例如，以手機終端作為客戶端接入訪問固網(wǎng)視頻監(jiān)控平臺，共享固網(wǎng)監(jiān)控資源的 應用模式中，前端監(jiān)控設備輸出的碼流主要服務于固網(wǎng)寬帶網(wǎng)絡和PC端客戶，因只支持單 碼流，所支持的設備非常有限。也就是說，視頻流的碼流格式、幀速等不能直接在移動網(wǎng)絡 傳輸，也不能在手機終端解碼播放。 又如，前端監(jiān)控設備作為流媒體服務器使用，如常見HTTP流媒體服務器、RTSP流 媒體服務器等，監(jiān)控系統(tǒng)需要作為一個客戶端去前端監(jiān)控設備視頻流。這可能存在以下問題(l)網(wǎng)絡不可達，如有防火墻阻塞時，就無法使用；(2)網(wǎng)絡不穩(wěn)定時難以使用，例如AD 或移動網(wǎng)絡，一旦斷開重連后其IP會發(fā)生變化，需要通過一個交互過程來獲得新的IP，如 DynDNS就需要一個較長的時間才能恢復到可用狀態(tài)。 再如，前端監(jiān)控設備自動注冊的方法，通常采用DynDNS來實現(xiàn)。如果前端監(jiān)控設 備掉線或因其它故障失效時，監(jiān)控系統(tǒng)就無法獲知；只有等到前端監(jiān)控設備再次注冊或長 時間的連接失敗后，才能確認前端監(jiān)控設備的有效性。此外，DynDNS的另一缺點是沒有可 供管理的接口。

發(fā)明內容
有鑒于此，本發(fā)明旨在提供一種實現(xiàn)融合視頻監(jiān)控的方法，以解決網(wǎng)絡環(huán)境及不
同設備之間的互操作性問題，實現(xiàn)有效、可用的融合視頻監(jiān)控系統(tǒng)。 為解決以上技術問題，本發(fā)明所提供的技術方案是，一種實現(xiàn)融合視頻監(jiān)控的方 法，包括 (1)客戶端選擇前端監(jiān)控設備，并向系統(tǒng)服務器發(fā)出視頻流請求； (2)系統(tǒng)服務器判斷是否需要對視頻流轉碼，若是，通知轉碼服務器啟動轉碼任
務，同時提交相應的前端監(jiān)控設備參數(shù)； (3)轉碼服務器向前端監(jiān)控設備發(fā)出視頻流請求，對獲取的視頻流轉碼后，發(fā)送至 流媒體服務器； (4)流媒體服務器將視頻流轉發(fā)至客戶端。
所述步驟(3)中，視頻流轉碼的采取以下方法
對視頻流解碼； 分析視頻流的參數(shù)是否符合客戶端的要求，
若是，根據(jù)設置的幀率、帶寬要求重新編碼；
若否，調用存儲的轉碼方式，對視頻流轉碼。 所述步驟(1)中，客戶端從監(jiān)控資源列表中選擇前端監(jiān)控設備。 客戶端預先向系統(tǒng)服務器發(fā)出監(jiān)控資源下載請求，獲取監(jiān)控資源列表。 系統(tǒng)服務器對客戶端進行登錄認證；若通過，允許客戶端下載監(jiān)控資源列表；否
則，拒絕客戶端下載監(jiān)控資源列表。 前端監(jiān)控設備編碼兩路視頻流并發(fā)布。 視頻流采用Motion Jpeg和H264/AVC兩種編碼形式。 將視頻流封裝成HTTP數(shù)據(jù)包。 前端監(jiān)控設備上電后向系統(tǒng)服務器發(fā)起注冊請求。
采用HTTP/XML方式自動注冊 與現(xiàn)有技術相比，本發(fā)明充分考慮網(wǎng)絡環(huán)境及不同設備之間的互操作性問題，樂 實現(xiàn)一個有效、可用的5W(whoever、 whenever、 wherever、 however、 whatever)的Internet 視頻監(jiān)控系統(tǒng)，其有益效果包括但不限于以下方面
1、實時轉碼，兼容傳統(tǒng)監(jiān)控設備，保護用戶投資； 2、支持雙碼流，可滿足不同網(wǎng)絡、不同后端設備的需要，以及不同的個性化監(jiān)控需 求；
3、基于HTTP/XML的自動注冊的方法，解決了設備有效性的問題，全部自動完成，有利于監(jiān)控系統(tǒng)對設備的管理。 4、前端監(jiān)控設備按需發(fā)布視頻流，必要時進行HTTP封裝，有效地解決Internet網(wǎng)絡環(huán)境下容易遇到的防火墻、NAT代理等問題，保證在目前的AD寬帶、3G無線網(wǎng)等類似網(wǎng)絡中可用。


圖1是實現(xiàn)融合視頻監(jiān)控系統(tǒng)的網(wǎng)絡拓撲圖； 圖2是圖l所示融合視頻監(jiān)控系統(tǒng)方框圖，其中，實線為轉碼工作狀態(tài)，虛線為常規(guī)工作狀態(tài)； 圖3是在圖2所示系統(tǒng)基礎上實現(xiàn)融合視頻監(jiān)控的方法流程 圖4是圖2所示系統(tǒng)在轉碼方式下的信令圖。
具體實施例方式
本發(fā)明的基本構思是，通過實時轉碼實現(xiàn)不同網(wǎng)絡環(huán)境間設備的交互，以兼容傳
統(tǒng)監(jiān)控設備，最終實現(xiàn)融合視頻監(jiān)控。 下面結合附圖和實施例對本發(fā)明進一步描述。 同時參見圖1、圖2，融合視頻監(jiān)控系統(tǒng)由若干前端監(jiān)控設備、轉碼服務器、系統(tǒng)服務器、流媒體服務器及若干客戶端構成，其中 客戶端包括PC、手機、PDA等各類終端，可向系統(tǒng)服務器發(fā)出實時視頻流監(jiān)控請求，獲取視頻流后可進行實時播放。 前端監(jiān)控設備包括IP Cameral (網(wǎng)絡攝像機)、球機、DVR(數(shù)字視頻錄像機)、DVS(網(wǎng)絡視頻服務器)，ishow(視頻互動娛樂平臺)等，在通電后即可向系統(tǒng)服務器登記注冊。 系統(tǒng)服務器，主要作為Web服務器或DynDNS，在收到客戶端視頻流監(jiān)控請求后，根據(jù)前端監(jiān)控設備的在線情況，指令在線前端監(jiān)控設備發(fā)布視頻流。 流媒體服務器，將前端監(jiān)控設備的視頻流轉發(fā)至客戶端。具體是，視頻流由前端監(jiān)控設備到流媒體服務器，再由流媒體服務器轉發(fā)到客戶端播放。其中，流媒體服務器可以單獨設置，也可視情況由系統(tǒng)服務器本身擔當。 轉碼服務器，在客戶端與網(wǎng)絡環(huán)境、前端監(jiān)控設備不相適用時，將視頻流轉碼，再由流媒體服務器轉發(fā)至客戶端。 上述融合視頻監(jiān)控系統(tǒng)可適用于Internet網(wǎng)絡環(huán)境(包括寬帶互聯(lián)網(wǎng)、CDMA、3G寬帶移動無線網(wǎng)、衛(wèi)星通信網(wǎng)等)，均采用TCP/IP協(xié)議為基本通信協(xié)議。在實際項目中，還應根據(jù)具體應用特點定義相關的應用協(xié)議(如常見的HTTP、 FTP、 SMTP/P0P3等)，其中，所需協(xié)議至少包括控制信令和視頻流發(fā)布兩個方面。本發(fā)明具體采取以下辦法
1、控制信令 采用HTTP/HTTPS協(xié)議，所有數(shù)據(jù)都封裝成XML格式，作為參數(shù)commandlist的值附在URL后發(fā)送出去；其中登錄認證、配置管理采用HTTPS協(xié)議以保證數(shù)據(jù)通訊安全。
2、視頻流發(fā)布
視頻編碼可采用Motion Jpeg和H264/AVC兩種編碼形式，并封裝成視頻流。根據(jù)需要可封裝成HTTP數(shù)據(jù)包，以穿過防火墻。實際運行中，具體采用何種編碼，系統(tǒng)服務器根據(jù)客戶端類型決定編碼格式，并通知前端監(jiān)控設備，由前端監(jiān)控設備向監(jiān)控系統(tǒng)服務端發(fā)布相應編碼方式的視頻流。 在上述系統(tǒng)架構的基礎上，下面對本發(fā)明實現(xiàn)融合視頻監(jiān)控的方法進行說明。 參見圖3，實現(xiàn)融合視頻監(jiān)控的方法包括以下步驟 S301 、客戶端選擇前端監(jiān)控設備，并向系統(tǒng)服務器發(fā)出視頻流請求。 客戶端從獲取的監(jiān)控系統(tǒng)資源列表中選擇前端監(jiān)控設備，具體通過客戶端向系統(tǒng)
服務器發(fā)出監(jiān)控資源下載請求以獲取監(jiān)控資源列表。其中，需要系統(tǒng)服務器對客戶端進行
登錄認證；若通過，允許客戶下載監(jiān)控資源列表；否則，拒絕客戶下載監(jiān)控資源列表。 S302、系統(tǒng)服務器判斷是否需要對視頻流轉碼， 若是，進入步驟S303; 若否，進入步驟S308。 在客戶端與網(wǎng)絡環(huán)境、前端監(jiān)控設備不相適用時，將視頻流轉碼，再由流媒體服務器轉發(fā)至客戶端；否則，視頻流無需轉碼，按常規(guī)方法處理即可。 S303、系統(tǒng)服務器通知轉碼服務器啟動轉碼任務，同時提交相應的前端監(jiān)控設備參數(shù)。 在系統(tǒng)服務器發(fā)現(xiàn)需要轉碼時，就通知轉碼服務器啟動轉碼任務，并將相關信息，包括前端監(jiān)控設備IP等提交給服務器。 S304 、轉碼服務器向前端監(jiān)控設備發(fā)出視頻流請求。
S305 、轉碼服務器對獲取的視頻流轉碼。 轉碼方式具體是，對視頻流解碼；分析視頻流的參數(shù)是否符合客戶端的要求，若是，根據(jù)設置的幀率、帶寬要求重新編碼；若否，調用存儲的轉碼方式，對視頻流轉碼。
S306 、轉碼服務器向流媒體服務器發(fā)布視頻流。
S307、流媒體服務器將視頻流轉發(fā)至客戶端。 根據(jù)步驟S304-S307，轉碼服務器依照前述信息到前端監(jiān)控設備請求視頻流；在
成功獲取后則可按要求重新編碼，并將編碼后的視頻流發(fā)送給流媒體服務器，再由流媒體
服務器發(fā)送給客戶端。 S308、按現(xiàn)有辦法處理視頻流。 在無需轉碼時，按照現(xiàn)有辦法處理視頻流即可。具體而言，系統(tǒng)服務器在收到客戶端視頻流監(jiān)控請求后，根據(jù)前端監(jiān)控設備的在線情況，指令在線前端監(jiān)控設備發(fā)布視頻流。該視頻流由前端監(jiān)控設備到流媒體服務器，再由流媒體服務器轉發(fā)到客戶端播放。以下為一視頻流發(fā)布實例 〈？ xml version =〃 1.0〃 ？ >
〈ipcam>
〈Width〉320〈/Width〉 〈Height〉240〈/Height〉 〈fps>15〈/fps> 〈bitrate〉300000〈/bitrate〉 〈/params> 〈/operation> 〈/ipcam> 客戶端退出后，系統(tǒng)服務器再通知前端監(jiān)控設備停止發(fā)布。
本發(fā)明還可進一步改進措施，茲舉幾例說明。 其一，前端監(jiān)控設備編碼兩路視頻流并發(fā)布，其視頻流具體采用Motionjpeg和H264/AVC兩種編碼形式。 其二，將視頻流封裝成HTTP數(shù)據(jù)包，以穿過防火墻。 其三，前端監(jiān)控設備上電后向系統(tǒng)服務器發(fā)起注冊請求，具體采用HTTP/XML方式自動注冊。以下為一注冊請求的XML實例 (1)注冊請求 〈？ xml version =〃 1.0〃 encoding = 〃 UTF-8" > 〈ha:registerReq deviceldName = 〃 eshore" password = 〃 123456〃 paras = 〃 Something" xmlns:ha=〃 http://www.eshore.cn/" /> (2)注冊響應 響應的格式使用基本格式，param的值為"Register"，表示這是針對注冊請求
的響應，value指示請求結果，"l"表示成功，"O"表示失敗，description指示錯誤原因。例
如 〈？ xml version =〃 1.0〃 encoding = 〃 UTF-8" > 〈responseMsg param =〃 Register" xmlns =〃 http://www.eshore.cn" > 〈value>0〈/value> 〈description>Unknown error ! 〈/description> 〈/responseMsg> 本發(fā)明中，控制信令采用HTTP/HTTPS協(xié)議，其所有數(shù)據(jù)都封裝成XML格式，下面對
其信令的傳遞順序簡要說明。 參見圖4，本發(fā)明的完整的使用過程包括設備注冊，用戶登錄，監(jiān)控資源下載，監(jiān)控請求，停止退出等步驟，具體過程為(l)系統(tǒng)服務器配置任務；(2)系統(tǒng)服務器發(fā)出登錄消(包括用戶名、密碼、登錄用戶時間有效期等)；(3)轉碼服務器返回登錄響應消息，獲得LoginSession ; (4)系統(tǒng)服務器發(fā)出下載任務消息(包括發(fā)布點的ID、發(fā)布名，CameralURL、視頻參數(shù)等)；(5)轉碼服務器刪除之前的任務，啟用新任務；(6)轉碼服務器返回下載任務響應消息；(7)客戶端(如PC/手機終端)發(fā)出獲取視頻監(jiān)控資源列表消息，即獲取圖像節(jié)點列表；(8)客戶端選擇相應前端監(jiān)控設備后，請求視頻流；(9)系統(tǒng)器請求視頻流發(fā)布；(10)轉碼服務器返回視頻流發(fā)布響應消息；(ll)若返回狀態(tài)為無此任務(或認證失敗)，則系統(tǒng)服務器重新(登錄)下載任務；(12)轉碼服務器判斷視頻流是否已發(fā)布；(13)獲取視頻流(http或rtsp) ;(14)轉碼服務器轉碼，具體包括解碼、裁減及編碼過程；(15)轉碼服務器發(fā)布視頻流；(16)流媒體服務器將視頻流轉發(fā)至客戶端；(17)客戶端播放視頻流； (18)客戶端發(fā)出停止視頻流請求；(19)系統(tǒng)服務器發(fā)出停止視頻流發(fā)布消息；(20)轉碼服 務器判斷是否可以停止發(fā)布視頻流；(21)轉碼服務器發(fā)出停止獲取視頻流消息；(22)轉碼 服務器發(fā)出停止發(fā)布視頻流；(23)系統(tǒng)服務器發(fā)出登出消息；(24)轉碼服務器返回登出響 應消息。 上述過程中，用戶通過登錄認證后，將自動獲取監(jiān)控資源列表，選擇其中一個監(jiān)控 資源后，系統(tǒng)服務器(Web服務器)發(fā)現(xiàn)需要轉碼，就通知轉碼服務器啟動轉碼任務，并將相 關信息，包括前端監(jiān)控設備IP等提交給轉碼服務器；轉碼服務器根據(jù)這些信息到前端監(jiān)控 設備請求視頻流，成功獲取后解碼，并按要求重新編碼，將重新編碼后的視頻流發(fā)送給流媒 體服務器；再由流媒體服務器發(fā)送給用戶；用戶不再監(jiān)控時就發(fā)送停止視頻流請求至系統(tǒng) 服務器，由系統(tǒng)服務器發(fā)送停止發(fā)布視頻流請求到轉碼服務器上，并最終完成停止動作。
以上僅是本發(fā)明的優(yōu)選實施方式，應當指出的是，上述優(yōu)選實施方式不應視為對 本發(fā)明的限制，本發(fā)明的保護范圍應當以權利要求所限定的范圍為準。對于本技術領域的 普通技術人員來說，在不脫離本發(fā)明的精神和范圍內，還可以做出若干改進和潤飾，這些改 進和潤飾也應視為本發(fā)明的保護范圍。
權利要求
一種實現(xiàn)融合視頻監(jiān)控的方法，其特征在于，包括(1)客戶端選擇前端監(jiān)控設備，并向系統(tǒng)服務器發(fā)出視頻流請求；(2)系統(tǒng)服務器判斷是否需要對視頻流轉碼，若是，通知轉碼服務器啟動轉碼任務，同時提交相應的前端監(jiān)控設備參數(shù)；(3)轉碼服務器向前端監(jiān)控設備發(fā)出視頻流請求，對獲取的視頻流轉碼后，發(fā)送至流媒體服務器；(4)流媒體服務器將視頻流轉發(fā)至客戶端。
2. 如權利要求l所述的實現(xiàn)融合視頻監(jiān)控的方法，其特征在于，所述步驟(3)中，視頻流轉碼的采取以下方法對視頻流解碼；分析視頻流的參數(shù)是否符合客戶端的要求，若是，根據(jù)設置的幀率、帶寬要求重新編碼；若否，調用存儲的轉碼方式，對視頻流轉碼。
3. 如權利要求l所述的實現(xiàn)融合視頻監(jiān)控的方法，其特征在于，所述步驟(1)中，客戶端從監(jiān)控資源列表中選擇前端監(jiān)控設備。
4. 如權利要求3所述的實現(xiàn)融合視頻監(jiān)控的方法，其特征在于，客戶端預先向系統(tǒng)服務器發(fā)出監(jiān)控資源下載請求，獲取監(jiān)控資源列表。
5. 如權利要求4所述的實現(xiàn)融合視頻監(jiān)控的方法，其特征在于，系統(tǒng)服務器對客戶端進行登錄認證；若通過，允許客戶端下載監(jiān)控資源列表；否則，拒絕客戶端下載監(jiān)控資源列表。
6. 如權利要求1所述的實現(xiàn)融合視頻監(jiān)控的方法，其特征在于，前端監(jiān)控設備編碼兩路視頻流并發(fā)布。
7. 如權利要求4所述的實現(xiàn)融合視頻監(jiān)控的方法，其特征在于，視頻流采用MotionJpeg和H264/AVC兩種編碼形式。
8. 如權利要求1所述的實現(xiàn)融合視頻監(jiān)控的方法，其特征在于，將視頻流封裝成HTTP數(shù)據(jù)包。
9. 如權利要求l-8任一項所述的實現(xiàn)融合視頻監(jiān)控的方法，其特征在于，前端監(jiān)控設備上電后向系統(tǒng)服務器發(fā)起注冊請求。
10. 如權利要求9所述的實現(xiàn)融合視頻監(jiān)控的方法，其特征在于，采用HTTP/XML方式自動注冊。
全文摘要
本發(fā)明公開一種實現(xiàn)融合視頻監(jiān)控的方法，(1)客戶端選擇前端監(jiān)控設備，并向系統(tǒng)服務器發(fā)出視頻流請求；(2)系統(tǒng)服務器判斷是否需要對視頻流轉碼，若是，通知轉碼服務器啟動轉碼任務，同時提交相應的前端監(jiān)控設備參數(shù)；(3)轉碼服務器向前端監(jiān)控設備發(fā)出視頻流請求，對獲取的視頻流轉碼后，發(fā)送至流媒體服務器；(4)流媒體服務器將視頻流轉發(fā)至客戶端。本發(fā)明解決了網(wǎng)絡環(huán)境及不同設備之間的互操作性問題，可實現(xiàn)有效、可用的融合視頻監(jiān)控系統(tǒng)。
文檔編號H04L29/06GK101710974SQ200910194239
公開日2010年5月19日 申請日期2009年11月27日 優(yōu)先權日2009年11月27日
發(fā)明者施祖陽, 曾思偉, 李華卿, 梁智健, 王玲麗, 鄭雪青, 金濤, 陳垂華 申請人:廣東億迅科技有限公司