本發(fā)明涉及可視指揮一體化技術(shù)領(lǐng)域，尤其涉及一種監(jiān)控與視頻會議應用整合平臺和方法。

背景技術(shù)：

傳統(tǒng)的監(jiān)控中心與視頻會議會場相互獨立，造成了監(jiān)控系統(tǒng)與視頻會議系統(tǒng)出現(xiàn)融合難題，在突發(fā)事件發(fā)生時，比如交通事故、火災、水災等，要想實時了解現(xiàn)場環(huán)境，只能在監(jiān)控中心觀察，而且無法實現(xiàn)以現(xiàn)場實時圖像以及現(xiàn)場音頻為素材進行的視頻會議討論，同時，音視頻作為獨立的數(shù)據(jù)流在網(wǎng)絡(luò)中傳輸，目前無法做同步處理，給用戶帶來極差的體驗。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)不足，提供了一種監(jiān)控與視頻會議應用整合平臺和方法，能夠解決目前無法實現(xiàn)音視頻的同步以及視頻會議和視頻監(jiān)控有效的融合問題。

本發(fā)明的技術(shù)解決方案：

一方面、一種監(jiān)控與視頻會議應用整合平臺，包括sip代理服務(wù)器、用戶代理服務(wù)器uas模塊、數(shù)據(jù)管理模塊、日志管理模塊、監(jiān)控適配模塊、多媒體編碼傳輸模塊、網(wǎng)絡(luò)傳輸模塊、平臺數(shù)據(jù)庫和web模塊；

其中，用戶ua(多點處理單元mcu)發(fā)送invite呼叫消息給sip代理服務(wù)器，sip代理服務(wù)器轉(zhuǎn)接invite到用戶代理服務(wù)器uas模塊，用戶代理服務(wù)器uas模塊包括呼叫控制子模塊和協(xié)議解析子模塊，呼叫控制子模塊通過 對呼入電話編號的解析，選定監(jiān)控服務(wù)器通道以及作出是否應答響應；協(xié)議解析子模塊解析sdp信息，實現(xiàn)動態(tài)配置多媒體信息，uas模塊響應200ok到sip代理服務(wù)器，sip代理服務(wù)器響應200ok到用戶；

客戶端回復ack消息到uas，平臺數(shù)據(jù)庫包含每一個授權(quán)用戶的訪問權(quán)限、攝像頭編號和監(jiān)控服務(wù)器通道的對應關(guān)系以及當前呼叫狀態(tài)內(nèi)容，數(shù)據(jù)管理模塊用于實現(xiàn)對這些內(nèi)容的存儲、讀取與更新操作；

uas調(diào)用日志管理模塊將呼叫信息寫入日志，日志管理模塊主要記錄當前呼叫信息、注冊信息和監(jiān)控服務(wù)器狀態(tài)錯誤信息；

監(jiān)控適配模塊調(diào)用日志管理模塊將監(jiān)控服務(wù)器登錄狀態(tài)寫入日志，根據(jù)呼入編號將對應視頻和音頻傳入多媒體編碼傳輸模塊，監(jiān)控適配模塊用于完成監(jiān)控服務(wù)器的登陸、掉線狀態(tài)檢測和調(diào)取監(jiān)控服務(wù)器下攝像頭視頻數(shù)據(jù)送入編碼模塊的工作；

多媒體編碼傳輸模塊將壓縮后的視頻和音頻傳回用戶，多媒體編碼傳輸模塊包括視頻編碼模塊、音頻編碼模塊、音視頻同步模塊和多媒體傳輸模塊，視頻編碼模塊用于實現(xiàn)對采集的視頻數(shù)據(jù)進行h264標準壓縮，音頻編碼模塊用于實現(xiàn)對采集的音頻數(shù)據(jù)進行g(shù).711a-law編碼，音視頻同步模塊用于實現(xiàn)音視頻兩條獨立的數(shù)據(jù)流在客戶端保持同步；

網(wǎng)絡(luò)傳輸模塊用于實現(xiàn)對壓縮后數(shù)據(jù)進行實時的網(wǎng)絡(luò)傳輸；

web模塊用于實現(xiàn)用戶與監(jiān)控與視頻會議整合應用平臺的交互，對用戶相關(guān)權(quán)限進行配置，終端用戶根據(jù)實際需求對平臺環(huán)境進行配置以及實時查看當前平臺運行狀態(tài)信息。

另一方面、一種監(jiān)控與視頻會議應用整合方法，包括以下步驟：

從音頻緩沖區(qū)中獲取要播放的音頻時間戳，記錄時間戳記為a；

求得要與該音頻對應同步的視頻時間戳記為b；

從視頻緩沖區(qū)中獲取要播放的當前視頻時間戳，記錄時間戳記為v；

計算s＝|v-b|/clockb，其中，clockb為媒體b的rtp時間戳時鐘頻率；

如果s≤100ms，則播放所述當前視頻；

如果s>100ms，且v<b，則丟掉該視頻包；

如果s>100ms，且v>b，則重復顯示同一幀。

本發(fā)明實施例提供的一種監(jiān)控與視頻會議應用整合平臺和方法，實現(xiàn)了音視頻的同步以及視頻會議和視頻監(jiān)控有效的融合，將每個監(jiān)控攝像頭映射為視頻會議中的一個視頻終端，當視頻會議中需要接入監(jiān)控圖像時，多點處理單元mcu向監(jiān)控與視頻會議整合應用平臺發(fā)起會話初始化協(xié)議sip呼叫請求，監(jiān)控與視頻會議整合應用平臺接受請求并建立呼叫，該平臺的部署和使用完全不影響原監(jiān)控系統(tǒng)和視頻會議系統(tǒng)，并能整合用戶現(xiàn)有系統(tǒng)實現(xiàn)資源最大化使用。一方面，作為視頻監(jiān)控與視頻會議兩個系統(tǒng)的中間件，實現(xiàn)了視頻監(jiān)控與視頻會議的互聯(lián)互通；另一方面，該裝置利用音視頻同步算法，實現(xiàn)了音視頻同步。滿足了國家安全、應急指揮、數(shù)字安檢等方面的視頻聯(lián)動需求，實現(xiàn)了快速準確的可視化調(diào)度，提高政府各部門突發(fā)事件和日常政務(wù)處理的應對能力。

附圖說明

所包括的附圖用來提供對本發(fā)明實施例的進一步的理解，其構(gòu)成了說明書的一部分，用于例示本發(fā)明的實施例，并與文字描述一起來闡釋本發(fā)明的原理。顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例提供的一種監(jiān)控與視頻會議應用整合平臺的結(jié)構(gòu)框圖；

圖2為本發(fā)明實施例中一種監(jiān)控與視頻會議應用整合方法的流程示意圖。

具體實施方式

下面將結(jié)合附圖對本發(fā)明的具體實施例進行詳細說明。在下面的描述中，出于解釋而非限制性的目的，闡述了具體細節(jié)，以幫助全面地理解本發(fā)明。然而，對本領(lǐng)域技術(shù)人員來說顯而易見的是，也可以在脫離了這些具體細節(jié)的其它實施例中實踐本發(fā)明。

在此需要說明的是，為了避免因不必要的細節(jié)而模糊了本發(fā)明，在附圖中僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的設(shè)備結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明關(guān)系不大的其他細節(jié)。

對于音頻和相關(guān)的視頻，當偏移在-0.100s(音頻滯后視頻)到+0.100s(音頻超前視頻)之間時，多數(shù)觀眾都不會感到偏移的存在，這個區(qū)域是同步區(qū)域；當偏移在-0.16s到+0.16s之外時，幾乎所有觀眾都對播映不滿意，這一區(qū)域稱為不同步區(qū)域。由于音視頻流是以兩條獨立的數(shù)據(jù)流在網(wǎng)絡(luò)上傳輸，在接收端收到的音視頻數(shù)據(jù)流就有可能不同步，為了克服這種不同步的現(xiàn)象，需要添加同步機制。鑒于上述需求，本發(fā)明實施例提供一種監(jiān)控與視頻會議應用整合平臺，該中間件裝置采用模塊化設(shè)計方法，降低了系統(tǒng)耦合度，增強了系統(tǒng)的可擴展性與可維護性。

在rtcp的傳輸控制機制中，發(fā)送方周期性地發(fā)送報告(sr)，例如在sr中攜帶有發(fā)送方的絕對時間信息(ntp時間戳)和對應該媒體的rtp時間戳，同一個終端發(fā)送多個媒體時，其絕對時間是起于同一個基準點的，即同一時間基準，可以計算出其rtp時間相關(guān)性。基于如此分析，結(jié)合圖1，該平臺包括sip代理服務(wù)器、用戶代理服務(wù)器uas模塊、數(shù)據(jù)管理模塊、日志管理模塊、 監(jiān)控適配模塊、多媒體編碼傳輸模塊、網(wǎng)絡(luò)傳輸模塊、平臺數(shù)據(jù)庫和web模塊；

其中，用戶ua(多點處理單元mcu)發(fā)送invite呼叫消息給sip代理服務(wù)器，sip代理服務(wù)器轉(zhuǎn)接invite到用戶代理服務(wù)器uas模塊，用戶代理服務(wù)器uas模塊包括呼叫控制子模塊和協(xié)議解析子模塊，呼叫控制子模塊通過對呼入電話編號的解析，選定監(jiān)控服務(wù)器通道以及作出是否應答響應；協(xié)議解析子模塊解析sdp信息，實現(xiàn)動態(tài)配置多媒體信息，uas模塊響應200ok到sip代理服務(wù)器，sip代理服務(wù)器響應200ok到用戶；

客戶端回復ack消息到uas，平臺數(shù)據(jù)庫包含每一個授權(quán)用戶的訪問權(quán)限、攝像頭編號和監(jiān)控服務(wù)器通道的對應關(guān)系以及當前呼叫狀態(tài)內(nèi)容，數(shù)據(jù)管理模塊用于實現(xiàn)對這些內(nèi)容的存儲、讀取與更新操作；

uas調(diào)用日志管理模塊將呼叫信息寫入日志，日志管理模塊主要記錄當前呼叫信息、注冊信息和監(jiān)控服務(wù)器狀態(tài)錯誤信息；

監(jiān)控適配模塊調(diào)用日志管理模塊將監(jiān)控服務(wù)器登錄狀態(tài)寫入日志，根據(jù)呼入編號將對應視頻和音頻傳入多媒體編碼傳輸模塊，監(jiān)控適配模塊用于完成監(jiān)控服務(wù)器的登陸、掉線狀態(tài)檢測和調(diào)取監(jiān)控服務(wù)器下攝像頭視頻數(shù)據(jù)送入編碼模塊的工作；

多媒體編碼傳輸模塊將壓縮后的視頻和音頻傳回用戶，多媒體編碼傳輸模塊包括視頻編碼模塊、音頻編碼模塊、音視頻同步模塊和多媒體傳輸模塊，視頻編碼模塊用于實現(xiàn)對采集的視頻數(shù)據(jù)進行h264標準壓縮，音頻編碼模塊用于實現(xiàn)對采集的音頻數(shù)據(jù)進行g(shù).711a-law編碼，音視頻同步模塊用于實現(xiàn)音視頻兩條獨立的數(shù)據(jù)流在客戶端保持同步；

網(wǎng)絡(luò)傳輸模塊用于實現(xiàn)對壓縮后數(shù)據(jù)進行實時的網(wǎng)絡(luò)傳輸；

web模塊用于實現(xiàn)用戶與監(jiān)控與視頻會議整合應用平臺的交互，對用戶相關(guān)權(quán)限進行配置，終端用戶根據(jù)實際需求對平臺環(huán)境進行配置以及實時查看當前平臺運行狀態(tài)信息。

為使讀者清楚本發(fā)明所述方案，下面對圖1中各功能模塊之間的交互關(guān)系序號代表的具體含義做如下說明：

101：用戶(ua)發(fā)送invite呼叫消息給sip代理服務(wù)器；

102：sip代理服務(wù)器轉(zhuǎn)接invite到uas(用戶代理服務(wù)器)模塊；

103：uas模塊響應200ok到sip代理服務(wù)器；

104：sip代理服務(wù)器響應200ok到用戶；

105：客戶端回復ack消息到uas(三次握手完成)；

106：uas調(diào)用日志管理模塊將呼叫信息寫入日志；

107：監(jiān)控適配模塊調(diào)用日志管理模塊將監(jiān)控服務(wù)器登錄狀態(tài)寫入日志；

108：監(jiān)控適配模塊根據(jù)呼入編號將對應視頻和音頻傳入多媒體編碼傳輸模塊；

109：多媒體編碼傳輸模塊將壓縮后的視頻和音頻傳回用戶；

110：監(jiān)控適配模塊與監(jiān)控服務(wù)器之間的交互；

111：數(shù)據(jù)管理模塊與數(shù)據(jù)庫之間的數(shù)據(jù)交互；

112：web模塊與數(shù)據(jù)庫之間的數(shù)據(jù)交互；

113：通過web模塊對用戶相關(guān)權(quán)限進行配置。

本發(fā)明實施例提供的一種監(jiān)控與視頻會議應用整合平臺，實現(xiàn)了音視頻的同步以及視頻會議和視頻監(jiān)控有效的融合，將每個監(jiān)控攝像頭映射為視頻會議中的一個視頻終端，當視頻會議中需要接入監(jiān)控圖像時，多點處理單元mcu向 監(jiān)控與視頻會議整合應用平臺發(fā)起會話初始化協(xié)議sip呼叫請求，監(jiān)控與視頻會議整合應用平臺接受請求并建立呼叫，該平臺的部署和使用完全不影響原監(jiān)控系統(tǒng)和視頻會議系統(tǒng)，并能整合用戶現(xiàn)有系統(tǒng)實現(xiàn)資源最大化使用。一方面，作為視頻監(jiān)控與視頻會議兩個系統(tǒng)的中間件，實現(xiàn)了視頻監(jiān)控與視頻會議的互聯(lián)互通；另一方面，該裝置利用音視頻同步算法，實現(xiàn)了音視頻同步。滿足了國家安全、應急指揮、數(shù)字安檢等方面的視頻聯(lián)動需求，實現(xiàn)了快速準確的可視化調(diào)度，提高政府各部門突發(fā)事件和日常政務(wù)處理的應對能力。

對應上述平臺，針對網(wǎng)絡(luò)傳輸中由于延遲、抖動、網(wǎng)絡(luò)傳輸條件變化等因素引起的音視頻不同步的問題,本發(fā)明實施例還提供一種監(jiān)控與視頻會議應用整合方法，包括以下步驟：

步驟1、從音頻緩沖區(qū)中獲取要播放的音頻時間戳，記錄時間戳記為a；

步驟2、求得要與該音頻對應同步的視頻時間戳記為b；

步驟3、從視頻緩沖區(qū)中獲取要播放的當前視頻時間戳，記錄時間戳記為v；

步驟4、計算s＝|v-b|/clockb，其中，clockb為媒體b的rtp時間戳時鐘頻率；如果s≤100ms，則執(zhí)行步驟5，如果s>100ms，且v<b，則執(zhí)行步驟6，如果s>100ms，且v>b，則執(zhí)行步驟7.

步驟5、播放所述當前視頻；

步驟6、丟掉該視頻包；

步驟7.重復顯示同一幀。

為了更加清楚的說明上述方法的實現(xiàn)過程，本發(fā)明提供如下具體實例，過程參照圖2.

設(shè)：

sr_a：媒體a(假設(shè)音頻)的發(fā)送報告；

ntp_a_sr：sr_a中的ntp時間戳；

rtp_a_sr：sr_a中的rtp時間戳；

sr_b：媒體b(假設(shè)視頻)的發(fā)送報告；

ntp_b_sr：sr_b中的ntp時間戳；

rtp_b_sr：sr_b中的rtp時間戳；

clocka：媒體a的rtp時間戳時鐘頻率；

clockb：媒體b的rtp時間戳時鐘頻率；

例如，音頻g.711為8khz，視頻h.264為90khz；

則在ntp_b_sr時刻，媒體a的rtp時間戳應為：

rtp_a_btime＝rtp_a_sr+(ntp_b_sr-ntp_a_sr)*clocka

設(shè)在當前時刻a，b的播放rtp時間戳分別為：rtp_a_cur，rtp_b_cur，如果媒體間要保持同步，則必須滿足以下關(guān)系式：

即：

令：

則有關(guān)系式：

rtp_a-cur＝a*rtp_b_cur+b

此關(guān)系式確定了媒體a與媒體b之間的相互關(guān)系，采用基于音頻時間戳來控制視頻播放的策略，從而使音視頻同步效果更好。

基于音頻時間戳來控制音視頻同步策略的基本思想是：

首先執(zhí)行步驟201，從音頻緩沖區(qū)中獲取要播放的音頻時間戳，記錄時間戳記為a，若成功則執(zhí)行“音頻解碼，加入緩沖隊列”步驟202，繼續(xù)執(zhí)行“啟動音頻播放線程”步驟203；

然后執(zhí)行步驟204，求得要與其對應同步的視頻時間戳記為b；再執(zhí)行步驟205，從視頻緩沖區(qū)中獲取要播放的視頻時間戳，記錄時間戳記為v；執(zhí)行步驟206，根據(jù)s＝|v-b|/clockb計算s的數(shù)值，執(zhí)行“判斷s及v-b的數(shù)值”步驟207，如果滿足狀態(tài)208，即s≤100ms，則執(zhí)行“啟動視頻播放線程”步驟209；如果滿足狀態(tài)210，即s>100ms，且v<b，則表明視頻慢了，執(zhí)行“丟掉該視頻包”步驟211；如果滿足狀態(tài)212，即s>100ms，且v>b，則表明視頻快了，執(zhí)行“重復顯示同一幀”步驟213。

本發(fā)明實施例提供的一種監(jiān)控與視頻會議應用整合方法，實現(xiàn)了音視頻的同步以及視頻會議和視頻監(jiān)控有效的融合，將每個監(jiān)控攝像頭映射為視頻會議中的一個視頻終端，當視頻會議中需要接入監(jiān)控圖像時，多點處理單元mcu向監(jiān)控與視頻會議整合應用平臺發(fā)起會話初始化協(xié)議sip呼叫請求，監(jiān)控與視頻會議整合應用平臺接受請求并建立呼叫，該平臺的部署和使用完全不影響原監(jiān)控系統(tǒng)和視頻會議系統(tǒng)，并能整合用戶現(xiàn)有系統(tǒng)實現(xiàn)資源最大化使用。一方面，作為視頻監(jiān)控與視頻會議兩個系統(tǒng)的中間件，實現(xiàn)了視頻監(jiān)控與視頻會議的互聯(lián)互通；另一方面，該裝置利用音視頻同步算法，實現(xiàn)了音視頻同步。滿足了 國家安全、應急指揮、數(shù)字安檢等方面的視頻聯(lián)動需求，實現(xiàn)了快速準確的可視化調(diào)度，提高政府各部門突發(fā)事件和日常政務(wù)處理的應對能力。

如上針對一種實施例描述和/或示出的特征可以以相同或類似的方式在一個或更多個其它實施例中使用，和/或與其它實施例中的特征相結(jié)合或替代其它實施例中的特征使用。

應該強調(diào)，術(shù)語“包括/包含”在本文使用時指特征、整件、步驟或組件的存在，但并不排除一個或更多個其它特征、整件、步驟、組件或其組合的存在或附加。

本發(fā)明以上的裝置和方法可以由硬件實現(xiàn)，也可以由硬件結(jié)合軟件實現(xiàn)。本發(fā)明涉及這樣的計算機可讀程序，當該程序被邏輯部件所執(zhí)行時，能夠使該邏輯部件實現(xiàn)上文所述的裝置或構(gòu)成部件，或使該邏輯部件實現(xiàn)上文所述的各種方法或步驟。本發(fā)明還涉及用于存儲以上程序的存儲介質(zhì)，如硬盤、磁盤、光盤、dvd、flash存儲器等。

這些實施例的許多特征和優(yōu)點根據(jù)該詳細描述是清楚的，因此所附權(quán)利要求旨在覆蓋這些實施例的落入其真實精神和范圍內(nèi)的所有這些特征和優(yōu)點。此外，由于本領(lǐng)域的技術(shù)人員容易想到很多修改和改變，因此不是要將本發(fā)明的實施例限于所例示和描述的精確結(jié)構(gòu)和操作，而是可以涵蓋落入其范圍內(nèi)的所有合適修改和等同物。

本發(fā)明未詳細說明部分為本領(lǐng)域技術(shù)人員公知技術(shù)。