專利名稱：可組態(tài)智能視頻監(jiān)控平臺及其監(jiān)控方法
技術領域：
本發(fā)明涉及一種視頻圖像處理領域的視頻監(jiān)控平臺及其監(jiān)控方法，具體涉及一種 可以實現(xiàn)算法的高度可復用與系統(tǒng)的高度可組態(tài)的可組態(tài)智能視頻監(jiān)控平臺及其監(jiān)控方 法。
背景技術：
目前，智能監(jiān)控技術迅速發(fā)展，智能監(jiān)控系統(tǒng)在國防、交通、治安及物流管理等方 面發(fā)揮著越來越重要的作用。智能監(jiān)控系統(tǒng)的核心是視頻處理與行為分析算法，視頻處理 算法對視頻進行增強去噪處理，行為分析算法對視頻中的人體車輛行為進行分割和識別。 智能監(jiān)控系統(tǒng)的開發(fā)就是組合這些算法來實現(xiàn)適應特定需求的系統(tǒng)?，F(xiàn)有的監(jiān)控系統(tǒng)開發(fā)技術通常是寫一個程序，在輸入輸出設備的開發(fā)庫上構建采 集和輸出功能，然后將視頻算法嵌入進去，再為之添加配置與管理界面。這種技術的缺陷在 于模塊化程度低，視頻算法之間代碼耦合，視頻算法與軟件界面耦合，無法真正實現(xiàn)視頻 算法的高可復用性?，F(xiàn)有的監(jiān)控系統(tǒng)，缺乏組態(tài)能力，一方面監(jiān)控系統(tǒng)被高度定制化，新需 求只能通過重寫來實現(xiàn)，無法快速重構監(jiān)控系統(tǒng)；另一方面視頻算法只能按流程使用計算 資源，在多核環(huán)境下存在復雜的同步問題，不可避免地造成計算資源浪費。

發(fā)明內(nèi)容
發(fā)明目的為了克服現(xiàn)有技術中存在的不足，本發(fā)明提供一種可以實現(xiàn)算法的高 度可復用與系統(tǒng)的高度可組態(tài)的可組態(tài)智能視頻監(jiān)控平臺及其監(jiān)控方法。技術方案為實現(xiàn)上述目的，本發(fā)明的可組態(tài)智能視頻監(jiān)控平臺，包括核心平臺、 按需調(diào)度機制和Web操控界面；所述核心平臺設有功能模塊，各功能模塊之間通過腳本語 言進行連接與組合(系統(tǒng)組態(tài))；所述按需調(diào)度機制根據(jù)功能模塊的組態(tài)分配處理器資源， 最優(yōu)化計算資源的使用；所述Web操控界面能自動為功能模塊生成管理配置界面。本發(fā)明提供一種按需調(diào)度機制，由用戶需求驅(qū)動功能模塊中封裝的算法進行監(jiān)控 視頻數(shù)據(jù)的處理，并最終實現(xiàn)預期功能。所述的按需調(diào)度機制包括以下機制模塊機制，是 一種模塊化的視頻算法開發(fā)與發(fā)布機制，向算法隱藏執(zhí)行環(huán)境、上下文的變化，算法封裝為 功能模塊后只需并且只能觀察到輸入數(shù)據(jù)的變化，可以實現(xiàn)算法的高可復用；調(diào)度器機制， 與視頻時序同步的執(zhí)行機制，進行處理器資源的分配，最優(yōu)化計算資源的使用；信號與槽機 制，與視頻時序異步的執(zhí)行機制，處理與視頻時序異步的事件；元數(shù)據(jù)機制，用于功能模塊 的配置界面自動生成。所述功能模塊包括以下模塊協(xié)議模塊，通過http、ftp等數(shù)據(jù)傳輸協(xié)議訪問遠程 數(shù)據(jù)；采集模塊，從采集設備讀取視頻數(shù)據(jù)流；視頻處理模塊，對輸入視頻進行處理，并將 結果輸出給視頻分析模塊；視頻分析模塊，分析視頻中的目標運動和行為，并將分析結果通 過信號與槽機制發(fā)布為事件；服務模塊，為其他功能模塊提供數(shù)據(jù)服務，如日志，Web協(xié)議 訪問等。
本發(fā)明提供元數(shù)據(jù)機制與Web操控界面，根據(jù)功能模塊的元數(shù)據(jù)生成其Web化的 配置界面。即所述的Web操控界面，是根據(jù)功能模塊的元數(shù)據(jù)生成其Web化的配置界面。本發(fā)明的可組態(tài)智能視頻監(jiān)控平臺，其視頻算法封裝為功能模塊，并可通過圖形 化的腳本語言進行連接與組合(組態(tài))，從而允許開發(fā)人員使用已有的功能模塊，快速地為 新需求構建監(jiān)控系統(tǒng)；提供一套按需調(diào)度的執(zhí)行機制，讓視頻處理分析功能模塊按需使用 硬件平臺計算資源，最優(yōu)化處理器使用，從而杜絕計算資源的浪費，能夠在DSP等嵌入式開 發(fā)平臺上高效運行；使用Web化的管理和操控界面，根據(jù)功能模塊的元數(shù)據(jù)描述，自動為功 能模塊生成管理配置界面，從而實現(xiàn)監(jiān)控算法與界面邏輯的完全分離，避免操控界面上的 重復開發(fā)。本發(fā)明的可組態(tài)智能視頻監(jiān)控平臺的監(jiān)控方法，包括以下步驟(1)分析監(jiān)控需求，確定功能模塊的組態(tài)方式；(2)從現(xiàn)有功能模塊中選取能夠滿足監(jiān)控需求的模塊；若某種監(jiān)控需求不能通過 現(xiàn)有功能模塊實現(xiàn)，則為該需求編寫新的功能模塊；(3)使用腳本語言對功能模塊進行連接，即進行系統(tǒng)組態(tài)，正確連接功能模塊的輸 入輸出緩沖區(qū)、信號和槽；(4)調(diào)試運行，通過Web操控界面對功能模塊進行參數(shù)配置；(5)部署并運行。本發(fā)明的可組態(tài)智能視頻監(jiān)控平臺及其監(jiān)控方法，與現(xiàn)有技術相比，具有以下優(yōu)占.
^ \\\ ·1、高度模塊化設計，可通過圖形化的腳本語言進行組態(tài)，從而允許開發(fā)人員使用 已有的功能模塊，快速地為新需求構建監(jiān)控系統(tǒng)；2、通過按需調(diào)度機制使功能模塊按需使用硬件平臺計算資源，最優(yōu)化處理器使 用，可以避免計算資源的浪費；3、使用Web化的操控界面，根據(jù)功能模塊元數(shù)據(jù)自動為功能模塊生成管理配置界 面，從而實現(xiàn)監(jiān)控算法與界面邏輯的完全分離，避免操控界面重復開發(fā)；4、通過輕量級模塊化實現(xiàn)，易于學習和掌握，方便開發(fā)人員開發(fā)和擴展系統(tǒng)功能。


圖1為本發(fā)明的可組態(tài)智能視頻監(jiān)控平臺的平臺構成框圖；圖2為本發(fā)明的可組態(tài)智能視頻監(jiān)控平臺的開發(fā)與應用體系框圖；圖3為本發(fā)明中調(diào)度器機制按需分配處理器的示意圖；圖4為本發(fā)明的實施例1中的功能模塊組態(tài)示意圖；圖5為本發(fā)明的實施例2中的功能模塊組態(tài)示意圖；圖6為本發(fā)明的實施例3中的功能模塊組態(tài)示意圖。
具體實施例方式下面結合附圖對本發(fā)明作更進一步的說明。如圖1至圖3所示，本發(fā)明的可組態(tài)智能視頻監(jiān)控平臺，包括核心平臺、腳本語言 接口、Web操控界面和按需調(diào)度機制。核心平臺設有功能模塊，各功能模塊之間通過一種語義化、圖形化的腳本語言進行連接與組合，即系統(tǒng)組態(tài)；按需調(diào)度機制根據(jù)功能模塊的組態(tài) 分配處理器資源，最優(yōu)化計算資源的使用；Web操控界面能自動為功能模塊生成管理配置 界面。按需調(diào)度機制包括以下機制模塊機制，是一種模塊化的視頻算法開發(fā)與發(fā)布機 制，向算法隱藏執(zhí)行環(huán)境、上下文的變化，算法封裝為功能模塊后只需并且只能觀察到輸入 數(shù)據(jù)的變化，可以實現(xiàn)算法的高可復用；調(diào)度器機制，與視頻時序同步，進行處理器資源的 分配，最優(yōu)化計算資源的使用；信號與槽機制，作為調(diào)度器機制的補充，與視頻時序異步，處 理與視頻時序異步的事件；元數(shù)據(jù)機制，用于功能模塊的配置界面自動生成。其中，功能模塊又分為如下幾類協(xié)議模塊，通過http、ftp等數(shù)據(jù)傳輸協(xié)議訪問 遠程數(shù)據(jù)；采集模塊，從采集設備讀取視頻數(shù)據(jù)流；視頻處理模塊，對輸入視頻進行處理， 并將結果輸出給視頻分析模塊；視頻分析模塊，分析視頻中的目標運動和行為，并將分析結 果通過信號與槽機制發(fā)布為事件；服務模塊為其他模塊提供數(shù)據(jù)服務，如日志，Web協(xié)議訪 問等。腳本語言接口允許用戶通過一種圖形化、語義化的腳本阻延進行系統(tǒng)組態(tài)。一方 面允許開發(fā)人員利用已有功能模塊，快速構建智能監(jiān)控系統(tǒng)，另一方面可方便快速的對系 統(tǒng)進行重組態(tài)以適應需求的變化。Web化的操控界面允許用戶隨時隨地訪問監(jiān)控系統(tǒng)，而無需事先安裝客戶端軟件。 Web化操控界面與硬件平臺無關，一方面降低了開發(fā)難度，無需為嵌入式客戶端專門開發(fā)客 戶端；另一方面，允許用戶隨時隨地訪問監(jiān)控系統(tǒng)而無需安裝客戶端軟件，可以降低部署成 本。本發(fā)明的基本思想是提供一套統(tǒng)一的機制處理算法之間的數(shù)據(jù)傳遞與同步，在 這套機制下，實現(xiàn)算法的高度可復用與系統(tǒng)的高度可組態(tài)。智能監(jiān)控系統(tǒng)由內(nèi)部視頻功能 模塊的組態(tài)方式?jīng)Q定。功能模塊的組態(tài)方式確定后，算法的最優(yōu)執(zhí)行順序與同步機制就可 由調(diào)度算法確定。如圖1所示，本發(fā)明的智能監(jiān)控平臺的按需調(diào)度機制包括模塊機制，提供一種功 能封裝與發(fā)布的機制；調(diào)度器機制，提供一種與視頻時序同步的功能模塊按需執(zhí)行機制； 信號與槽機制，作為調(diào)度器機制的補充，提供一種與視頻序列異步的執(zhí)行機制，用于隨機出 現(xiàn)的事件的處理；元數(shù)據(jù)機制，功能模塊對自身功能與接口進行描述，可用于功能模塊的配 置界面自動化生成。此外平臺提供腳本語言界面，通過腳本語言向用戶提供一種語義化、圖 形化的配置方式。具體地，模塊機制要求功能模塊提供工廠方法，平臺通過工廠方法創(chuàng)建模塊實例。 模塊實例包含一個符號表，用于記錄該實例中的輸入輸出緩沖，算法參數(shù)，及信號和槽函 數(shù)。組態(tài)就是連接模塊的輸出緩沖到下一級模塊的輸入緩沖，連接模塊的槽到需要訂閱的 信號上。具體地，調(diào)度器機制要求功能模塊提供一個數(shù)據(jù)處理函數(shù)。數(shù)據(jù)函數(shù)處理輸入緩 沖區(qū)的數(shù)據(jù)，輸出處理后的數(shù)據(jù)到輸出緩沖區(qū)。當一個模塊所依賴的前級模塊都完成計算 后，該模塊進入準備狀態(tài)。調(diào)度器會調(diào)度空閑處理器執(zhí)行處于準備狀態(tài)模塊的數(shù)據(jù)處理函 數(shù)。調(diào)度器是與視頻時序同步的執(zhí)行機制，功能模塊的執(zhí)行順序相對固定，不受隨機因素影 響。
具體地，信號與槽機制要求功能模塊提供命名信號與槽定義。模塊根據(jù)需要觸發(fā) 自身的命名信號，連接到該信號的槽函數(shù)將得到執(zhí)行。信號與槽機制實現(xiàn)一種與視頻時序 異步的執(zhí)行機制，功能模塊觸發(fā)信號的時機是不受控的。具體地，元數(shù)據(jù)機制要求功能模塊提供對模塊本身、輸入輸出緩沖區(qū)、算法參數(shù)、 信號與槽函數(shù)的描述，并保存為格式化文本供平臺核心讀取。平臺使用這些元數(shù)據(jù)為功能 模塊生成Web化的管理與配置界面，為參數(shù)生成輸入控件，并提供參數(shù)范圍檢查。平臺中的功能模塊有五種協(xié)議模塊，采集模塊，視頻處理模塊，視頻分析模塊，服 務模塊。協(xié)議模塊負責從URL地址讀取視頻，主要用于讀取磁盤文件(測試套件使用磁盤 上的測試視頻)或Web攝像頭的視頻數(shù)據(jù)；采集模塊負責從視頻采集設備讀取視頻流；視 頻處理與視頻分析模塊主要用于處理分析視頻數(shù)據(jù)，智能監(jiān)控系統(tǒng)的核心算法就在這些模 塊；服務模塊為其他模塊提供數(shù)據(jù)服務，如日志，Web協(xié)議訪問等。使用平臺的應用程序主要有三種測試套件、圖編輯器和監(jiān)控系統(tǒng)測試套件用來驗證功能模塊的正確性(算法參數(shù)是否有效，輸入輸出緩沖區(qū)處理 是否正確，信號和槽函數(shù)實現(xiàn)是否與元數(shù)據(jù)一致)，性能(數(shù)據(jù)處理函數(shù)的性能，槽函數(shù)調(diào) 用的性能)與穩(wěn)定性(長時間工作是否出現(xiàn)內(nèi)存泄露)；還可以用來驗證監(jiān)控系統(tǒng)的有效 性(對測試視頻，監(jiān)控系統(tǒng)是否給出預期的報警，測試異常事件的檢測率與虛警率)。圖編輯器用來快速構建監(jiān)控系統(tǒng)，允許用戶使用GUI界面進行功能模塊的組態(tài)與 參數(shù)設定，而無需編寫代碼。監(jiān)控系統(tǒng)用于進行智能監(jiān)控，監(jiān)控系統(tǒng)中使用的功能模塊與監(jiān)控策略應當是使用 測試套件嚴格測試過的。如圖2所示，平臺通過一組簡潔穩(wěn)定的API向應用程序提供對各種功能模塊的調(diào) 用，做到應用程序開發(fā)與模塊開發(fā)的分離應用程序只通過平臺提供的API訪問模塊的功 能，不直接操作模塊的數(shù)據(jù)；模塊只為開發(fā)平臺服務，只需向平臺提供所需的接口，而不考 慮復雜的模塊間通信。如圖3所示，監(jiān)控系統(tǒng)功能決定功能模塊的組態(tài)方式，也就確定了功能模塊的執(zhí) 行順序與同步策略。在算法模塊依賴關系圖中，各算法模塊的狀態(tài)是:A執(zhí)行完畢，B正在執(zhí) 行，C和D的依賴已經(jīng)滿足，E、F、G的依賴尚不滿足。所以，當?shù)谝?CPU正在執(zhí)行模塊B時， 調(diào)度器將模塊C調(diào)度給第二 CPU執(zhí)行。即，當系統(tǒng)中有處理器空閑時，調(diào)度器調(diào)度處于準備 狀態(tài)的功能模塊到該處理器上執(zhí)行，以避免處理器空閑帶來的計算資源浪費，最大化資源 利用率。本發(fā)明的可組態(tài)監(jiān)控平臺的監(jiān)控方法，包括以下步驟第一步，分析監(jiān)控需求，確定功能模塊的組態(tài)方式；第二步，從現(xiàn)有功能模塊中選取能夠滿足需求的功能模塊，若某種監(jiān)控需求不能 通過現(xiàn)有功能模塊實現(xiàn)，則為該需求編寫新的功能模塊；第三步，使用腳本語言對功能模塊進行連接，即進行系統(tǒng)組態(tài)，正確連接功能模塊 的輸入輸出緩沖區(qū)、信號和槽；第四步，調(diào)試運行，通過Web操控界面對功能模塊進行參數(shù)配置；第五步，部署并運行。以下，通過幾個實施例詳細說明本發(fā)明的可組態(tài)智能監(jiān)控平臺及其監(jiān)控方法。
6
實施例1本實施例為單路貴重物品看護系統(tǒng)，該智能監(jiān)控系統(tǒng)對固定場景中的貴重物品進 行看護，當被看護物品被移走或被偷盜時，系統(tǒng)發(fā)出聲音警報。監(jiān)控方法步驟如下第一步，根據(jù)監(jiān)控需求，可確定系統(tǒng)組態(tài)如圖4所示采集模塊從攝像頭采集視 頻，把視頻流送給下級處理；看護模塊是一個視頻分析模塊，分析視頻中的人體行為，對特 定的行為報警(本實施例中為移動、偷盜看護物品)；聲音報警模塊負責驅(qū)動蜂鳴器發(fā)出報 警音；Web模塊允許用戶對系統(tǒng)進行設置；第二步，從現(xiàn)有模塊中選取采集模塊、看護模塊與Web模塊，聲音報警模塊需要根 據(jù)硬件來編寫；第三步，使用腳本語言配置監(jiān)控系統(tǒng)組態(tài)，連接各功能模塊的輸入輸出緩沖區(qū)，連 接看護模塊的報警信號與聲音報警模塊的報警槽；第四步，調(diào)試運行，通過Web界面設置看護模塊參數(shù)，看護區(qū)域；第五步，部署并運行新的智能監(jiān)控系統(tǒng)。實施例2本實施例為雙路入侵報警系統(tǒng)，該監(jiān)控系統(tǒng)監(jiān)控兩個路口，對跨越禁行線的入侵 行為進行報警，向控制中心發(fā)送一條日志。第一步，確定系統(tǒng)組態(tài)如圖5所示系統(tǒng)接受兩路監(jiān)控視頻輸入，分別進行入侵檢 測，最后通過共同的日志發(fā)送模塊與控制中心通信；第二步，從現(xiàn)有模塊中選取采集模塊、入侵檢測模塊、日志發(fā)送模塊與Web模塊， 這些功能模塊已經(jīng)可以滿足需求，故無需編寫新的功能模塊；第三步，使用腳本語言對系統(tǒng)進行組態(tài)，連接功能模塊的輸入輸出緩沖區(qū)、連接報
警信號；第四步，通過Web模塊對入侵檢測模塊進行設置，調(diào)試運行新的監(jiān)控系統(tǒng)；第五步，進行部署。實施例3本實施例是對實施例2中的雙路入侵檢測系統(tǒng)進行改造，在第一路視頻中加入視 頻增強模塊，以改善入侵檢測效果，當兩路監(jiān)控視頻都檢測到入侵時，發(fā)出聲音報警。本實 施例的功能模塊組態(tài)如圖6所示在實施例2中，第一路視頻的采集模塊與入侵檢測模塊之 間添加一個增強模塊；把兩路入侵檢測的報警信號連接到一個與操作模塊，該與操作模塊 連接聲音報警模塊，從而實現(xiàn)聲音報警的“與”邏輯觸發(fā)。整個實施過程僅需要修改組態(tài)腳 本，無需重新部署。以上所述僅是本發(fā)明的優(yōu)選實施方式，應當指出對于本技術領域的普通技術人 員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應 視為本發(fā)明的保護范圍。
權利要求
一種可組態(tài)智能視頻監(jiān)控平臺，其特征在于包括核心平臺、按需調(diào)度機制和Web操控界面，所述核心平臺設有功能模塊，各功能模塊之間通過腳本語言進行連接與組合；所述按需調(diào)度機制根據(jù)功能模塊的組態(tài)分配處理器資源；所述Web操控界面能自動為功能模塊生成管理配置界面。
2.根據(jù)權利要求1所述的可組態(tài)智能視頻監(jiān)控平臺，其特征在于所述功能模塊包括協(xié)議模塊，通過數(shù)據(jù)傳輸協(xié)議訪問遠程數(shù)據(jù)； 采集模塊，從采集設備讀取視頻數(shù)據(jù)流；視頻處理模塊，對輸入視頻進行處理，并將結果輸出給視頻分析模塊； 視頻分析模塊，分析視頻中的目標運動和行為，并將分析結果通過信號與槽機制發(fā)布 為事件；服務模塊，為其他功能模塊提供數(shù)據(jù)服務，包括日志和Web協(xié)議訪問。
3.根據(jù)權利要求1所述的可組態(tài)智能視頻監(jiān)控平臺，其特征在于所述按需調(diào)度機制 包括模塊機制，是一種模塊化的視頻算法開發(fā)與發(fā)布機制；調(diào)度器機制，與視頻時序同步的執(zhí)行機制，進行處理器資源的分配，最優(yōu)化計算資源的 使用；信號與槽機制，與視頻時序異步的執(zhí)行機制，處理與視頻時序異步的事件； 元數(shù)據(jù)機制，用于功能模塊的配置界面自動生成。
4.權利要求1至3任一項所述的可組態(tài)智能視頻監(jiān)控平臺的監(jiān)控方法，其特征在于包 括以下步驟(1)分析監(jiān)控需求，確定功能模塊的組態(tài)方式；(2)從現(xiàn)有功能模塊中選取能夠滿足監(jiān)控需求的功能模塊；如果現(xiàn)有功能模塊不能滿 足監(jiān)控需求，則編寫新的功能模塊；(3)使用腳本語言對功能模塊進行連接；(4)調(diào)試運行，通過Web操控界面對功能模塊進行參數(shù)配置；(5)部署并運行。
全文摘要
本發(fā)明公開了一種可組態(tài)智能視頻監(jiān)控平臺及其監(jiān)控方法，該監(jiān)控平臺包括核心平臺、按需調(diào)度機制和Web操控界面，核心平臺設有功能模塊，各功能模塊之間通過腳本語言進行連接與組合；按需調(diào)度機制根據(jù)功能模塊的組態(tài)分配處理器資源；Web操控界面能自動為功能模塊生成管理配置界面。本發(fā)明的可組態(tài)智能視頻監(jiān)控平臺及其監(jiān)控方法可以實現(xiàn)視頻算法代碼的高可復用與智能監(jiān)控系統(tǒng)的高可組態(tài)，能夠適應日益豐富的監(jiān)控需求對監(jiān)控系統(tǒng)快速開發(fā)能力的要求。
文檔編號H04L12/24GK101945122SQ20101025563
公開日2011年1月12日 申請日期2010年8月17日 優(yōu)先權日2010年8月17日
發(fā)明者葉曙光, 吳瑛, 汪斌, 茅耀斌, 賀楓, 郭權 申請人:江蘇金思源電力科技有限公司