專利名稱：一種考場智能監(jiān)控系統(tǒng)和方法
技術領域：
本發(fā)明涉及一種監(jiān)控系統(tǒng)和方法，更具體地說，涉及一種考場智能監(jiān)控系統(tǒng)和方法。
背景技術：
隨著社會對考試公平的要求越來越高，考試過程中考生的行為識別與監(jiān)控技術獲得越來越多的重視。目前網上巡考系統(tǒng)正在大量推行，在應用過程中如何對全國數以萬計的考點、近千萬考生的考試行為進行實時監(jiān)控，是一個亟待解決的問題。目前網上巡考系統(tǒng)是一種事件歷史記錄系統(tǒng)，不能實現考試過程異常事件和考生疑似違規(guī)行為的監(jiān)控。目前的系統(tǒng)將多臺攝像機的視頻信息傳回到監(jiān)控中心。各級巡考點可通過網絡通路進行考點視頻的巡視和檢查，但人觀察的范圍極為有限。因此，研究如何應用人工智能技術對監(jiān)控信息進行處理、識別考場疑似違規(guī)行為進而報警變得越來越重要。

發(fā)明內容
本發(fā)明要解決的技術問題在于，針對現有技術的上述不能提供考場實時監(jiān)控自動提示的缺陷，提供一種應用人工智能技術對監(jiān)控信息進行處理、識別考場疑似違規(guī)行為進而報警的考場智能監(jiān)控系統(tǒng)和方法。本發(fā)明解決所述技術問題可以通過采用以下技術方案來實現構造一種考場智能監(jiān)控系統(tǒng)，其中，包括信號輸入系統(tǒng)用于采集并發(fā)送監(jiān)控信號；信號預處理系統(tǒng)用于預處理和特征提取所述監(jiān)控信號并發(fā)送預處理和特征提取后的監(jiān)控信號；考場行為單模態(tài)識別系統(tǒng)用于對預處理后的監(jiān)控信號及其特征進行單模態(tài)識別和疑似違規(guī)行為分類，并產生識別結果；考場監(jiān)控管理后臺系統(tǒng)用于接收所述識別結果并作出處理。在本發(fā)明所述的考場智能監(jiān)控系統(tǒng)中，所述監(jiān)控信號包括視頻監(jiān)控信號、音頻監(jiān)控信號和/或傳感器接收到的監(jiān)控信號；所述信號輸入系統(tǒng)包括視頻信號采集設備用于采集、數字化、壓縮編碼并發(fā)送視頻監(jiān)控信號；和/或音頻信號采集設備用于采集、數字化、壓縮編碼并發(fā)送音頻監(jiān)控信號；和/或傳感器采集設備用于采集并發(fā)送相應的傳感器接收到的監(jiān)控信號；所述信號預處理系統(tǒng)包括與所述視頻信號采集設備相應的視頻信號預處理單元、正常動作過濾單元、視頻特征提取單元；和/或與所述音頻信號采集設備相應的音頻信號預處理單元、異常聲音定位單元、音頻特征提取單元；所述視頻信號預處理單元用于對所述視頻監(jiān)控信號進行信號狀態(tài)判斷和預處理；所述正常動作過濾單元用于將考場內正常的動作過濾；所述視頻特征提取單元用于對所述視頻信號預處理單元處理過的視頻監(jiān)控信號進行特征提取處理；所述音頻信號預處理單元用于對所述音頻監(jiān)控信號進行信號狀態(tài)判斷和預處理；所述異常聲音定位單元用于估計考場內異常聲音方位； 所述音頻特征提取單元用于對所述音頻信號預處理單元處理過的音頻監(jiān)控信號進行特征提取處理；音頻監(jiān)控信號和/或視頻監(jiān)控信號采用流媒體方式通過流媒體接口發(fā)送到考場監(jiān)控管理后臺系統(tǒng)。
在本發(fā)明所述的考場智能監(jiān)控系統(tǒng)中，所述考場行為單模態(tài)識別系統(tǒng)包括所述視頻異常分析單元用于通過異常行為模型庫對所述視頻特征提取單元處理過的視頻監(jiān)控信號進行異常行為分類；或所述音頻異常分析單元用于通過異常聲音模型庫對所述音頻特征提取單元處理過的音頻監(jiān)控信號進行異常聲音分類；所述異常行為模型庫和所述異常聲音模型庫根據所述考場監(jiān)控管理后臺系統(tǒng)的處理結果進行學習并更新所述異常行為模型庫和所述異常聲音模型庫中的識別模型。在本發(fā)明所述的考場智能監(jiān)控系統(tǒng)中，所述考場監(jiān)控管理后臺系統(tǒng)包括報文提示與管理單元、流媒體顯示與回放單元、行為識別單元設置與升級單元、考場行為監(jiān)控系統(tǒng)配置與管理單元；所述報文提示與管理單元用于接收所述考場行為單模態(tài)識別系統(tǒng)以報文發(fā)出的識別結果，并采用數據庫技術進行管理；所述流媒體顯示與回放單元用于接收流媒體接口送出的音頻監(jiān)控信號和/或視頻監(jiān)控信號，并進行顯示、回放以及管理；所述行為識別單元設置與升級單元用于對異常行為模型庫以及異常聲音模型庫的識別算法參數以及其他各單元模塊的參數接口進行遠程設置，對信號輸入系統(tǒng)、信號預處理系統(tǒng)以及考場行為單模態(tài)識別系統(tǒng)進行整體軟件升級；所述考場行為監(jiān)控系統(tǒng)配置與管理單元用于對所述考場行為智能監(jiān)控系統(tǒng)軟硬件進行配置和管理，并通過連接考場監(jiān)考教師通信設備遠程發(fā)送指令或系統(tǒng)識別信息。在本發(fā)明所述的考場智能監(jiān)控系統(tǒng)中，還包括考場行為多模態(tài)決策和識別系統(tǒng)包括基于決策層的多模態(tài)融合單元、考場行為多模態(tài)識別規(guī)則與模型庫及考場行為多模態(tài)識別單元，所述考場行為多模態(tài)識別單元根據基于決策層的多模態(tài)融合單元融合視頻異常分析單元、視頻異常分析單元以及傳感器采集設備獲取的信號，根據考場行為多模態(tài)識別規(guī)則與模型庫進行綜合分析，并將發(fā)送綜合識別結果發(fā)送給考場監(jiān)控管理后臺系統(tǒng)。在本發(fā)明所述的考場智能監(jiān)控系統(tǒng)中，所述考場行為多模態(tài)識別規(guī)則與模型庫根據所述考場監(jiān)控管理后臺系統(tǒng)的處理結果進行學習并更新所述考場行為多模態(tài)識別規(guī)則與模型庫中的識別模型和規(guī)則。在本發(fā)明所述的考場智能監(jiān)控系統(tǒng)中，所述考場監(jiān)控管理后臺系統(tǒng)包括報文提示與管理單元、流媒體顯示與回放單元、行為識別單元設置與升級單元、考場行為監(jiān)控系統(tǒng)配置與管理單元；所述報文提示與管理單元用于接收考場行為多模態(tài)決策和識別系統(tǒng)以報文發(fā)出的識別結果，并采用數據庫技術進行管理；所述流媒體顯示與回放單元用于接收流媒體接口送出的音頻監(jiān)控信號和/或視頻監(jiān)控信號，并進行顯示、回放以及管理；所述行為識別單元設置與升級單元用于對異常行為模型庫、異常聲音模型庫以及考場行為多模態(tài)識別規(guī)則與模型庫的識別算法參數以及其他各單元模塊的參數接口進行遠程設置，對信號輸入系統(tǒng)、信號預處理系統(tǒng)、考場行為單模態(tài)識別系統(tǒng)以及考場行為多模態(tài)決策和識別系統(tǒng)進行整體軟件升級；所述考場行為監(jiān)控系統(tǒng)配置與管理單元用于對考場行為智能監(jiān)控系統(tǒng)軟硬件進行配置和管理，并通過連接考場監(jiān)考教師通信設備遠程發(fā)送指令或系統(tǒng)識別信息。構造一種考場智能監(jiān)控方法，基于一種考場智能監(jiān)控系統(tǒng)，所述考場智能監(jiān)控系統(tǒng)包括信號輸入系統(tǒng)、信號預處理系統(tǒng)、考場行為單模態(tài)識別系統(tǒng)以及考場監(jiān)控管理后臺系統(tǒng)，其中，包括S1、信號輸入系統(tǒng)采集并發(fā)送監(jiān)控信號；S2、信號預處理系統(tǒng)預處理和特征提取所述監(jiān)控信號并發(fā)送預處理和特征提取后的監(jiān)控信號；S3、考場行為單模態(tài)識別系統(tǒng)對預處理后的監(jiān)控信號及其特征進行單模態(tài)識別和疑似違規(guī)行為分類，并產生識別結果；S4、考場監(jiān)控管理后臺系統(tǒng)接收所述識別結果并作出處理。在本發(fā)明所述的考場智能監(jiān)控方法中，所述監(jiān)控信號為視頻監(jiān)控信號、音頻監(jiān)控信號和/或傳感器接收到的監(jiān)控信號；所述步驟Si包括視頻信號采集設備采集、數字化、 壓縮編碼并發(fā)送視頻監(jiān)控信號，音頻信號采集設備采集、數字化、壓縮編碼并發(fā)送音頻監(jiān)控信號，傳感器采集設備采集并發(fā)送相應的傳感器接收到的監(jiān)控信號；所述步驟S2包括視頻信號預處理單元對所述視頻監(jiān)控信號進行信號狀態(tài)判斷和預處理，正常動作過濾單元將考場內正常的動作過濾，視頻特征提取單元對所述視頻信號預處理單元處理過的視頻監(jiān)控信號進行特征提取處理；音頻信號預處理單元對所述音頻監(jiān)控信號進行信號狀態(tài)判斷和預處理，異常聲音定位單元估計考場內異常聲音方位，音頻特征提取單元對所述音頻信號預處理單元處理過的音頻監(jiān)控信號進行特征提取處理。在本發(fā)明所述的考場智能監(jiān)控方法中，步驟S3包括a、將所述視頻信號特征提取單元或所述音頻信號特征提取單元06)提取的各種特征量進行選擇、加權以及降維處理， 構成特征向量；b、視頻異常分析單元根據所述特征向量選擇異常行為模型庫中對應的識別模型進行實時分類，音頻異常分析單元根據所述特征向量選擇異常聲音模型庫中對應的識別模型進行實時分類；所述異常行為模型庫或所述異常聲音模型庫中存儲的是一系列已訓練好的針對各種考場行為和聲音的所述識別模型，所述識別模型為采用機器學習技術構建的分類器。在本發(fā)明所述的考場智能監(jiān)控方法中，還包括所述考場行為多模態(tài)決策與識別系統(tǒng)接收所述考場行為單模態(tài)識別系統(tǒng)的識別結果進行多模態(tài)綜合分析并發(fā)送給所述考場監(jiān)控管理后臺系統(tǒng)處理的步驟，所述多模態(tài)綜合分析包括a、通過算法進行融合處理，融合處理算法包括小波變換、加權平均、產生式規(guī)則和卡爾曼濾波；b、對經a步驟處理后的信號通過算法進行特征融合處理，將多個低維的特征描述向量融合形成更高維的聯(lián)合特征向量參數，特征融合處理算法包括參量模板法、聚類分析法、模糊集理論、可能性理論、自適應神經網絡、物理模型、黑板模型和邏輯模板法；C、利用考場行為多模態(tài)識別規(guī)則與模型庫中的模型，對經步驟b處理過的信號通過算法進行識別判斷處理，識別判斷處理算法包括經典推理、貝葉斯推理、統(tǒng)計決策、DS證據理論、模糊理論、神經網絡、專家系統(tǒng)、粗糙集理論、廣義證據推理理論、直接推斷法、可能理論和缺省推理。在本發(fā)明所述的考場智能監(jiān)控方法中，還包括根據所述考場監(jiān)控管理后臺系統(tǒng)的處理結果進行學習并更新多模態(tài)識別規(guī)則與模型庫中的信息的步驟。采用本發(fā)明所述的考場智能監(jiān)控系統(tǒng)以及方法，具有以下有益效果采用本發(fā)明信號預處理系統(tǒng)和考場行為識別系統(tǒng)可以實現應用人工智能技術對監(jiān)控信息進行處理，識別考場疑似違規(guī)行為進而報警。多種監(jiān)控信號的采集設備以及現場干預信號發(fā)生設備使得采集的信號更加全面， 同時避免考場內異常信號的產生；信號預處理單元、信號特征提取單元以及信號異常分析單元壓縮減少了監(jiān)控的數據量，并對提取特征進行了預分類；正常動作過濾單元實現對考場內監(jiān)考老師的正常巡考活動進行過濾，以避免監(jiān)考老師的正?；顒訉忌顒幼R別的干擾；異常聲音定位單元實現對考場內發(fā)生異常聲音方位的估計，這一功能通過在現場安裝麥克風陣列實現；同時場行為單模態(tài)識別系統(tǒng)的信號模型庫具有根據考場監(jiān)控管理后臺系統(tǒng)的處理結果進行學習從而更新模型庫?？紙霰O(jiān)控管理后臺系統(tǒng)的設置方便的監(jiān)考人員檢查監(jiān)控效果并及時做出修正、設置。多模態(tài)決策單元和數據庫通過監(jiān)控信號特征判斷識別考場疑似違規(guī)行為的同時還可以根據考場監(jiān)控管理后臺系統(tǒng)的處理結果進行學習從而更新判斷識別標準。


下面將結合附圖及實施例對本發(fā)明作進一步說明，附圖中圖1是本發(fā)明考場智能監(jiān)控系統(tǒng)的優(yōu)選實施例的結構示意圖；圖2是本發(fā)明考場智能監(jiān)控系統(tǒng)的優(yōu)選實施例的應用圖。
具體實施例方式以下結合附圖所示之最佳實施例作進一步詳述本發(fā)明構建了一套針對考場疑似違規(guī)行為識別的考場智能監(jiān)控系統(tǒng)，該系統(tǒng)采用了視頻監(jiān)控、音頻監(jiān)控及通用傳感器通信平臺監(jiān)控的復合監(jiān)控方式，對預先設定的感興趣的監(jiān)控對象行為進行監(jiān)控，根據基于規(guī)則的知識庫，自動識別考場內考生的行為，并做出實時記錄及報警。人類具有將人體的各種感覺器官(眼、耳、鼻、四肢等)所得到的信息(包括圖像、 聲音、氣味、觸覺等)結合先驗知識進行綜合處理的能力，就可以對周圍環(huán)境和正在發(fā)生的事情作出估計和判斷。這一處理過程是復雜的，也是自適應的，它將各種信息轉化為對環(huán)境的有價值的解釋。本發(fā)明涉及的考場智能監(jiān)控系統(tǒng)的核心就是充分利用多個信息源提供的信息，期望像人腦綜合處理各種信息的過程一樣，通過對這些信息的合理使用，把冗余或者互補的信息依據某種規(guī)則來進行組合，以獲得對被監(jiān)控對象及其事件的一致性解釋或描述。作為本發(fā)明所述的一種考場智能監(jiān)控系統(tǒng)的優(yōu)選實施例，如圖1所示，包括信號輸入系統(tǒng)1、信號預處理系統(tǒng)2、考場行為單模態(tài)識別系統(tǒng)3以及考場監(jiān)控管理后臺系統(tǒng)5 ； 信號輸入系統(tǒng)1將采集的監(jiān)控信號送往到信號預處理系統(tǒng)2進行預處理，然后將預處理后的信號送往考場行為單模態(tài)識別系統(tǒng)3，由考場行為單模態(tài)識別系統(tǒng)3進行識別判斷分類， 并產生識別結果，觸發(fā)安裝在考場現場的設備或其他模態(tài)通道的驅動機構進行協(xié)同聯(lián)動與及時干預，從而將所產生的相關信息發(fā)送給考場監(jiān)控管理后臺系統(tǒng)5，實現考場行為監(jiān)控的目的。該系統(tǒng)實現同時對多個考場的考試過程進行實時監(jiān)控，通過對實時監(jiān)控信號進行實時智能分析，實現對考試過程中的疑似違規(guī)行為進行自動實時地識別，并將該疑似違規(guī)行為的相關信息發(fā)送給考場監(jiān)控管理后臺系統(tǒng)5。作為本發(fā)明所述的一種考場智能監(jiān)控系統(tǒng)的優(yōu)選實施例，如圖1所示，所述信號輸入系統(tǒng)1包括視頻信號采集設備11、音頻信號采集設備12以及通用傳感器采集設備13。 視頻信號采集設備11用于采集、數字化、壓縮編碼并發(fā)送視頻監(jiān)控信號，音頻信號采集設備12用于采集、數字化、壓縮編碼并發(fā)送音頻監(jiān)控信號，通用傳感器采集設備13用于采集并發(fā)送相應的傳感器接收到的監(jiān)控信號。使用本考場智能監(jiān)控系統(tǒng)，針對考場環(huán)境中考生考試過程發(fā)生的疑似違規(guī)行為進行實時識別、提示并協(xié)助處理。該系統(tǒng)可單獨采用視頻信號、音頻信號或傳感器信號進行考生考試行為的監(jiān)控；也可綜合音視頻及多種傳感器信號智能分析的結果進行多模態(tài)融合與判斷，以考生考試行為進行更為精確的識別。所述信號預處理系統(tǒng)2包括視頻信號預處理單元21、正常動作過濾單元22、視頻特征提取單元23、音頻信號預處理單元M、異常聲音定位單元25以及音頻特征提取單元 26。所述視頻信號轉換單元21對從視頻信號采集設備11傳送過來的視頻信號進行信號狀態(tài)判斷和預處理，然后送往視頻特征提取單元23進行視頻信號特征提取處理；音頻信號轉換單元M對從音頻信號采集設備12傳送過來的音頻信號進行信號狀態(tài)判斷和預處理，然后送往音頻特征提取單元沈進行音頻信號特征提取處理；音視頻信號的信號狀態(tài)判斷功能用于識別信號是否丟失、是否收干擾，以確保信號處于正常狀態(tài)。音視頻信號的信號預處理主要功能為提高信噪比，以便于特征提取單元的效果。正常動作過濾單元22實現對考場內監(jiān)考老師的正常巡考活動進行過濾，以避免監(jiān)考老師的正常活動對考生活動識別的干擾。異常聲音定位單元25實現對考場內發(fā)生異常聲音方位的估計，這一功能需要在現場安裝拾音器陣列。音頻監(jiān)控信號和/或視頻監(jiān)控信號采用流媒體方式通過流媒體接口 20發(fā)送到考場監(jiān)控管理后臺系統(tǒng)5，方便記錄數據和人工的實時監(jiān)控。作為本發(fā)明所述的一種考場智能監(jiān)控系統(tǒng)的優(yōu)選實施例，如圖1所示，所述考場行為單模態(tài)識別系統(tǒng)3包括異常行為模型庫31、視頻異常分析單元32、異常聲音模型庫33 以及音頻異常分析單元；34。視頻異常分析單元32通過異常行為模型庫31對視頻特征提取單元23處理過的視頻監(jiān)控信號進行異常行為分類；音頻異常分析單元34通過異常聲音模型庫33對音頻特征提取單元沈處理過的音頻監(jiān)控信號進行異常聲音分類；異常行為模型庫31和異常聲音模型庫33根據考場監(jiān)控管理后臺系統(tǒng)5的處理結果進行學習并更新異常行為模型庫31和異常聲音模型庫33中的識別模型?？紙鲂袨閱文B(tài)識別系統(tǒng)3內嵌智能行為識別模型，可對預處理過音/視頻信號及其特征進行考生及監(jiān)考老師的進行聲音分析、動作分析和疑似違規(guī)行為分類。考場行為單模態(tài)識別系統(tǒng)3工作時，視頻信號預處理單元21、音頻信號預處理單元M、視頻特征提取單元23和音頻特征提取單元沈為計算機或數字信號處理設備。視頻信號采集設備11、視頻信號預處理單元21、正常動作過濾單元 22和視頻特征提取單元23組成視頻智能分析子系統(tǒng)；音頻信號采集設備12、音頻信號預處理單元M、異常聲音定位單元25和音頻特征提取單元沈組成音頻智能分析子系統(tǒng)；傳感器采集設備13自身組成傳感器平臺分析子系統(tǒng)；視頻智能分析子系統(tǒng)、音頻智能分析子系統(tǒng)和通用傳感器平臺分析子系統(tǒng)將各自信息通過各自通道送往考場行為單模態(tài)識別系統(tǒng)3 處理。所述視頻智能分析子系統(tǒng)通過對視頻信號的分析，實現以下功能目標提取與跟蹤；異常運動行為分析。所述音頻智能分析子系統(tǒng)通過對音頻信號的分析，實現以下功能1)異常聲音識別異常聲音識別模塊通過對大量含有異常聲音如，尖叫聲、集體喧鬧聲、玻璃破碎聲、哭聲等的樣本進行學習，以及平時為正常聲音但考場內為非正常的聲音如，笑聲、鼓掌聲等，與考場內的正常聲音，如，桌椅移動聲、發(fā)卷時紙張翻動聲音、監(jiān)考老師宣讀規(guī)則等聲音進行模式分類，從而具備了對異常聲音的識別能力；幻異常聲音定位(需要異常聲音定位單元 25的支持)通過拾音器陣列對異常聲音的來源進行識別，實現對聲源的初步定位。該功能用于與PTZ(Pan/TiltAoom 云臺全方位移動及鏡頭變倍、變焦控制)相機協(xié)同聯(lián)動，引導 PTZ相機轉向聲源位置，再進一步利用視頻分析功能進行判別。
所述傳感器平臺分析子系統(tǒng)分析除視頻、音頻信號以外的傳感器信號，傳感器采集設備13是考場智能監(jiān)控系統(tǒng)的另一主要輸入信號，它作為視音頻信號的有效擴展，可以充分發(fā)揮傳感器種類多、相應快速和性能可靠等特點，特別適用于一些特殊監(jiān)控場所。可擴展的傳感器有人體紅外傳感器、無線射頻信號探測器等，傳感器類型、形式和數量可根據實際需要進行擴展。應用視頻信號采集設備11的機器視覺與機器學習技術，所述視頻智能分析子系統(tǒng)對視頻信號進行實時分析，根據運動目標的運動特征，識別出視野內各類考場疑似違規(guī)行為。通過對數萬條各類音頻樣本特征學習，音頻智能分析子系統(tǒng)建立了針對幾類典型異常聲音的識別模型，該子系統(tǒng)對音頻信號進行實時分類，判別出異常聲音。作為本發(fā)明所述的一種考場智能監(jiān)控系統(tǒng)的優(yōu)選實施例，如圖1所示，考場監(jiān)控管理后臺系統(tǒng)5包括報文提示與管理單元51、流媒體顯示與回放單元52、行為識別單元設置與升級單元53、考場行為監(jiān)控系統(tǒng)配置與管理單元M。報文提示與管理單元51接收考場行為單模態(tài)識別系統(tǒng)3以報文發(fā)出的識別結果，并采用數據庫技術進行管理；流媒體顯示與回放單元52接收流媒體接口 20送出的音頻監(jiān)控信號和/或視頻監(jiān)控信號，并進行顯示、 回放以及管理；行為識別單元設置與升級單元53對異常行為模型庫31以及異常聲音模型庫33的識別算法參數以及其他各單元模塊的參數接口進行遠程設置，對信號輸入系統(tǒng)1、 信號預處理系統(tǒng)2以及考場行為單模態(tài)識別系統(tǒng)3進行整體軟件升級；考場行為監(jiān)控系統(tǒng)配置與管理單元M對所述考場行為智能監(jiān)控系統(tǒng)軟硬件進行配置和管理，并通過連接考場監(jiān)考教師通信設備6遠程發(fā)送指令或系統(tǒng)識別信息?？紙霰O(jiān)控管理后臺系統(tǒng)5的設置方便的監(jiān)考人員檢查監(jiān)控效果并及時做出修正、設置。作為本發(fā)明所述的一種考場智能監(jiān)控系統(tǒng)的優(yōu)選實施例，如圖1所示，所述考場智能監(jiān)控系統(tǒng)還包括考場行為多模態(tài)決策和識別系統(tǒng)4，考場行為多模態(tài)決策和識別系統(tǒng) 4包括基于決策層的多模態(tài)融合單元41、考場行為多模態(tài)識別規(guī)則與模型庫42及考場行為多模態(tài)識別單元43?？紙鲂袨槎嗄B(tài)識別單元43根據基于決策層的多模態(tài)融合單元41融合視頻異常分析單元32、視頻異常分析單元34以及傳感器采集設備13獲取的信號，根據考場行為多模態(tài)識別規(guī)則與模型庫42進行綜合分析，并將發(fā)送綜合識別結果發(fā)送給考場監(jiān)控管理后臺系統(tǒng)5。各個考場的單模態(tài)行為識別結果以及傳感器信號送往考場行為多模態(tài)決策與識別系統(tǒng)4進行信息融合，得到在考試過程中考生以及監(jiān)考老師行為的多模態(tài)描述。根據對考場情況的綜合描述信息，系統(tǒng)采用規(guī)則推理與決策方法對考場中考生或監(jiān)考老師異常行為的程度、個體或群體行為的類型以及其他值得關注的異常事件等進行識別， 并將相關信息報文和音視頻信號可通過TCP/IP網絡發(fā)送到考場監(jiān)控管理后臺系統(tǒng)5進行顯示和告警。本考場行為多模態(tài)決策和識別系統(tǒng)4工作時，經過考場行為單模態(tài)識別系統(tǒng)3 處理過的音視頻信號傳送給考場行為多模態(tài)決策與識別系統(tǒng)4進行識別判斷，傳感器采集設備13接收到的監(jiān)控信號經考場行為單模態(tài)識別系統(tǒng)3傳送給考場行為多模態(tài)決策與識別系統(tǒng)4進行識別判斷?？紙鲂袨閱文B(tài)識別系統(tǒng)3發(fā)送到考場行為多模態(tài)決策與識別系統(tǒng)4數據分為兩類。第一類為壓縮編碼的音視頻流，用于在考場監(jiān)控管理后臺系統(tǒng)5進行觀看。第二類為信號預處理報文，考場行為單模態(tài)識別系統(tǒng)3通過報文的形式將識別的結果發(fā)往考場行為多模態(tài)決策與識別系統(tǒng)4，進行進一步的分類和判斷。報文格式、加密方法和發(fā)送速率可根據應用要求、傳輸模式進行調整。報文內容可包括以下內容1、時間；2、處理單元編號；3、信號通道編號；4、信號通道狀態(tài)；5、異常事件識別等級與內容；6、異常事件發(fā)生位置(視頻)或方位(音頻)。考生行為分類與報文設計如下1 時間T0000002處理單元編號S00003信號通道編號CH004異常事件識別等級與內容4. 1低等級C000不觸發(fā)報警，保存記錄4. 1.1考生快速動作4. 1. 2考生疑似動作舉例4. 1. 2. 1考生疑似動作1 俯身撿東西4. 1. 2. 2考生疑似動作2 頻繁轉頭4. 1. 3考生頻繁疑似動作4. 1. 4考場發(fā)生笑聲、鼓掌聲4. 2中等級B000觸發(fā)中報警，保存記錄4. 2. 1考生具體異常行為分類4. 2. 1. 1考生疑似行為1 考生揮舞手臂4. 2. 1. 2考生疑似行為2 考生離開座位4. 2. 1. 3考生疑似行為3 考生回頭看后排4. 2. 2監(jiān)考教師異常行為分類4. 2. 2. 1監(jiān)考教師行為1 進入考生座位區(qū)域4. 2. 2. 2監(jiān)考教師行為2 站立在攝像頭前時間過長4. 2. 3考場發(fā)生尖叫聲、哭聲、玻璃破碎聲4. 3高等級A000觸發(fā)高報警，保存記錄4. 3. 1考生群體大幅度動作4. 3. 2考生群體離開考位4. 3. 3考場發(fā)生考生群體喧鬧聲4. 4其他000000觸發(fā)提示，保存記錄4. 4.1攝像頭遮擋4. 4. 2攝像頭偏移位置4. 4. 3圖像丟失4. 4. 4圖像噪聲4. 4. 5圖像亮度突變4. 5事件發(fā)生位置P0000。如圖1所示，作為本發(fā)明的考場智能監(jiān)控系統(tǒng)的優(yōu)選實施例，考場行為多模態(tài)識別規(guī)則與模型庫42可根據考場監(jiān)控管理后臺系統(tǒng)5的處理結果進行學習并更新所述考場行為多模態(tài)識別規(guī)則與模型庫42中的識別模型和規(guī)則?？紙鲂袨槎嗄B(tài)決策與識別系統(tǒng) 4對所采集的視頻信號、音頻信號和其它傳感器信號進行判別決策，得出對考場疑似違規(guī)行為的決策結果，再將決策結果發(fā)送至考場監(jiān)控管理后臺系統(tǒng)5，考場監(jiān)控管理后臺系統(tǒng)5也可以是報警器。考場行為多模態(tài)決策與識別系統(tǒng)3是整個系統(tǒng)的核心，考場行為多模態(tài)決策與識別系統(tǒng)3接收音/視頻特征信息及傳感器信息，根據考場疑似違規(guī)行為判別規(guī)則庫在知識層面上對事件性質進行判別，該系統(tǒng)第一時間將識別結果提示給后臺監(jiān)控人員，由監(jiān)考人員觸發(fā)安裝在現場的干預裝置，與考場監(jiān)考老師進行通信，對疑似考試違規(guī)行為進行主動干預，從而真正實現對事件的監(jiān)與控。考場行為多模態(tài)識別規(guī)則與模型庫42的升級功能可根據考場監(jiān)控管理后臺系統(tǒng) 5的處理結果進行學習并更新考場行為多模態(tài)識別規(guī)則與模型庫42中的模型和規(guī)則。學習算法主要采用神經網絡、支持向量機等統(tǒng)計機器學習模型以及隱馬爾科夫模型(HMM)學習模型?？紙鲂袨槎嗄B(tài)決策與識別系統(tǒng)4在進行學習時，通過以下方式進行1、基于知識的模型模仿人在目標識別中所采用的經驗知識和分析推理過程，將目標的信息(包括分類、結構等)以知識的形式(句法規(guī)則、框架、邏輯關系)存放在預先建立好的知識庫中，采用啟發(fā)式的方法來進行目標的識別。其中的邏輯模板法和模糊集理論體現了對人的認識經驗進行的數據描述，可通過規(guī)則制定的方式對已知的行為進行判別。2、基于特征的推理技術對特征進行關聯(lián)后，取聯(lián)合特征完成識別各類目標的任務，采用基于統(tǒng)計計算的方法和應用信息論技術的方法對事件性質進行推理。3、基于物理模型的方法根據物理模型直接計算目標的特征，按照目標屬性的分類建立不同類別或具有不同類參數的目標屬性模型，并通過目標測量信息與物理模型給出的預測信息進行匹配來識別目標。4、協(xié)同聯(lián)動協(xié)同是指多模態(tài)通道之間的協(xié)同配合、信息共享，共同完成監(jiān)控任務的過程。與多模態(tài)信息融合不同，這種功能更強調各模態(tài)之間的主次、輔助與實施等角色的分配。聯(lián)動是指針對決策結論的干預實施，目的是為了阻止事件的進一步發(fā)展?？紙鲂袨槎嗄B(tài)識別規(guī)則與模型庫42用來存儲專家知識，可由事實性知識和推理性知識組成，包含描述關系、現象和方法的規(guī)則，以及在系統(tǒng)專家范圍內解決問題的知識。知識庫對預先存儲的知識按照預先指定的規(guī)則進行推理計算?？紙鲂袨槎嗄B(tài)識別規(guī)則與模型庫42分為實時數據庫和非實時數據庫，實時數據庫用于向系統(tǒng)提供當前觀測結果及融合所需要的各種其它數據，并存儲中間結果。非實時數據庫存儲歷史數據及有關環(huán)境和目標的輔助信息?；跊Q策層的多模態(tài)融合單元41和考場行為多模態(tài)識別規(guī)則與模型庫42通過監(jiān)控信號特征判斷識別考場疑似違規(guī)行為的同時還可以根據考場監(jiān)控管理后臺系統(tǒng)5的處理結果進行學習從而更新判斷標準。如圖1所示，作為本發(fā)明的考場智能監(jiān)控系統(tǒng)的優(yōu)選實施例，當使用考場行為多模態(tài)決策和識別系統(tǒng)4時，考場監(jiān)控管理后臺系統(tǒng)5可設置考場行為多模態(tài)決策與識別系統(tǒng)3的各個參數；識別判斷結果的顯示；監(jiān)控信號的調用、回放?？紙霰O(jiān)控管理后臺系統(tǒng)5以良好的人機交互為監(jiān)考教師提供高效的考場監(jiān)控方式，可通過TCP/IP網絡提供多組信號輸入和預處理系統(tǒng)2、考場行為單模態(tài)識別系統(tǒng)3、考場行為多模態(tài)決策與識別系統(tǒng)4的管理，實現同時多個考場考試過程的實時監(jiān)控?？紙霰O(jiān)控管理后臺系統(tǒng)根據異常事件的等級，向考試現場的監(jiān)考教師發(fā)送存在疑似違規(guī)行為的提示與事件干預指令，可通過TCP/IP 網絡向網上巡考系統(tǒng)發(fā)送提示消息。具體的說，考場監(jiān)控管理后臺系統(tǒng)5的考場行為監(jiān)控系統(tǒng)配置與管理單元M具備以下功能 智能流媒體服務器名稱、IP地址設定；圖像質量、播放效果、網絡參數設定 考場管理信息考試開始時間；考試結束時間；交卷時間設定；發(fā)卷時間設定； 監(jiān)考老師數量；參數設定； 攝像機標定基于課桌自動標定；手工標定攝像機；手工繪制課桌區(qū)域 客戶端操作功能日志列表選擇播放錄像(無DVR模式)；設備列表選擇播放實時視頻；監(jiān)考教師過濾。 考場行為識別單元參數設定目標尺寸；敏感度；更新速率；考場監(jiān)控管理后臺系統(tǒng)4方便監(jiān)考人員檢查監(jiān)控效果并及時做出修正、設置。對于事件的正確理解是監(jiān)控的一方面，監(jiān)控系統(tǒng)更重要的任務是在于對于考場疑似違規(guī)行為的主動干預，防止事件進一步惡化，以避免監(jiān)控人員得到了及時的提示而無法對事件作及時處理，以至于失去對事態(tài)的控制.考場智能監(jiān)控除了要實現對于事件的全方位監(jiān)視，同時通過考場通信設備與現場監(jiān)考教師實現通信，使其能夠對現場事件實時干預。本發(fā)明還構建了一套針對考場疑似違規(guī)行為識別的考場智能監(jiān)控方法，該方法基于一種考場智能監(jiān)控系統(tǒng)，該監(jiān)控系統(tǒng)包括信號輸入系統(tǒng)1、信號預處理系統(tǒng)2、考場行為單模態(tài)識別系統(tǒng)3以及考場監(jiān)控管理后臺系統(tǒng)5，信號輸入系統(tǒng)1將采集的音視頻信號送往信號預處理系統(tǒng)2進行預處理，然后將預處理后的信號送往考場行為單模態(tài)識別系統(tǒng)3，由考場行為單模態(tài)識別系統(tǒng)3進行識別判斷分類，從而將所產生的識別結果發(fā)送給考場監(jiān)控管理后臺系統(tǒng)5，實現考場行為監(jiān)控的目的，所述方法包括步驟Si、信號輸入系統(tǒng)1采集并發(fā)送監(jiān)控信號；S2、信號預處理系統(tǒng)2預處理和特征提取所述監(jiān)控信號并發(fā)送預處理和特征提取后的監(jiān)控信號；S3、考場行為單模態(tài)識別系統(tǒng)3對預處理后的監(jiān)控信號及其特征進行單模態(tài)識別和疑似違規(guī)行為分類，并產生識別結果；S4、考場監(jiān)控管理后臺系統(tǒng)5接收所述識別結果并作出處理。上述步驟Si、S2中，信號輸入系統(tǒng)1的采集和信號預處理系統(tǒng)2預處理所述監(jiān)控信號包括對所述視頻監(jiān)控信號進行數字化、壓縮編碼處理、信號狀態(tài)判斷和信號預處理， 隨后進行特征提取處理；對所述音頻監(jiān)控信號進行數字化、壓縮編碼處理、信號狀態(tài)判斷和信號預處理，隨后進行特征提取處理；上述步驟S3中，對預處理后的監(jiān)控信號及其特征進行單模態(tài)識別和疑似違規(guī)行為分類包括a、將視頻信號特征提取單元23或音頻信號特征提取單元06)提取的各種特征量進行選擇、加權以及降維處理，構成特征向量；
b、視頻異常分析單元32根據所述特征向量選擇異常行為模型庫31中對應的識別模型進行實時分類，音頻異常分析單元34根據所述特征向量選擇異常聲音模型庫33中對應的識別模型進行實時分類；異常行為模型庫31或異常聲音模型庫33中存儲的是一系列已訓練好的針對各種考場行為和聲音的所述識別模型，所述識別模型為采用機器學習技術構建的分類器。上述步驟S4中，考場監(jiān)控管理后臺系統(tǒng)5接收所述識別判斷結果并作出處理包括可設置所述考場智能監(jiān)控系統(tǒng)的各個參數；識別判斷結果的顯示；監(jiān)控信號的調用、回放以及所述考場智能監(jiān)控系統(tǒng)各個單元和模塊的管理等。作為本發(fā)明的考場智能監(jiān)控方法的優(yōu)選實施例，還包括考場行為多模態(tài)決策與識別系統(tǒng)4接收考場行為單模態(tài)識別系統(tǒng)3的識別結果進行多模態(tài)綜合分析并發(fā)送給所述考場監(jiān)控管理后臺系統(tǒng)5處理的步驟所述多模態(tài)綜合分析包括a、將考場行為單模態(tài)識別系統(tǒng)3傳送過來的低層信號通過融合算法進行融合處理，所述融合算法包括小波變換、加權平均、產生式規(guī)則和卡爾曼濾波；b、對經步驟S2處理后的信息通過算法進行特征融合處理，將多個低維的特征描述向量融合形成更高維的聯(lián)合特征向量參數，所述算法包括參量模板法、聚類分析法、模糊集理論、可能性理論、自適應神經網絡、物理模型、黑板模型和邏輯模板法；C、對經步驟S3處理過的信號通過算法進行識別判斷處理，所述算法包括經典推理、貝葉斯推理、統(tǒng)計決策、DS證據理論、模糊理論、神經網絡、專家系統(tǒng)、粗糙集理論、廣義證據推理理論、直接推斷法、可能理論和缺省推理?？紙鲂袨槎嗄B(tài)決策與識別系統(tǒng)3主要完成對信息的識別判斷，是本發(fā)明的核心，在本實施例中，考場行為多模態(tài)決策與識別系統(tǒng)3主要功能及結構主要為(1)考場行為多模態(tài)決策與識別系統(tǒng)3邏輯上呈層級結構，各層結構及功能為a.元數據層用于采集、傳輸各多模態(tài)通道；b.參數與特征層用于提取和傳輸各模態(tài)通道相關參數以及特征提取；C.模型層用于訓練各通道的識別模型；存儲與應用各通道的分析與識別功能；d.決策層屬于整個系統(tǒng)構架的最頂層，用于匯總各通道模型得到的識別結論， 進行事件性質的綜合判斷。(2)結合上述(1)考場行為多模態(tài)決策與識別系統(tǒng)3在接收到信息后，需要對各類型的信息進行融合處理，其過程可以概括為a.數據級最低層的數據級，直接包括了對原始特征最充分、最有效的描述，由于數據的大量性、特征的復雜性、以及數據之間的強相關性等，使得直接利用原始數據的融合幾乎是不可能。因此數據級的融合還只能是層級框架的一個理論組成部分，數據層融合算法有小波變換、加權平均、產生式規(guī)則、卡爾曼濾波等。b.參數、特征與模型級參數包括各模態(tài)通道較為低層的信息，主要表征元數據中離散的元素之間的普遍關系，如圖像參數。另一方面，也表征了各模態(tài)通道本身的參數， 這些參數對于各模態(tài)的特征和處理方法都有影響。輸入數據經過前端處理以后，對于各模態(tài)通道分別得到其特征描述向量，然后經過特征融合的處理，將多個低維的特征描述向量融合(合并)形成更高維的聯(lián)合特征向量參數。在系統(tǒng)建模時，針對該高維向量進行模型的建立，匹配時，利用該高維向量進行匹配。參數、特征層的融合算法有參量模板法、聚類分析法、模糊集理論、可能性理論、自適應神經網絡、物理模型、黑板模型、邏輯模板法等。c.決策級融合決策融合的系統(tǒng)，輸入信號經過處理得到特征參數，然后分別進行單模態(tài)的建模與識別，將識別的中間結果參數，通過決策融合模塊進行融合，然后通過多模態(tài)決策算法得到最終的鑒別結果。決策層融合算法有經典推理、貝葉斯推理、統(tǒng)計決策、 D-S證據理論、模糊理論、神經網絡、專家系統(tǒng)、粗糙集理論、廣義證據推理理論、直接推斷法、可能理論、缺省推理等。信息融合三個層次的配合根據模態(tài)的特征進行調整，如各模態(tài)通道得到的數據相匹配，則可進行數據層融合，反之則在特征層或者決策層進行融合。(3)考場行為單模態(tài)識別系統(tǒng)3邏輯上呈層級結構，各層結構及功能為a.元數據層用于采集、傳輸各多模態(tài)通道；b.參數與特征層用于提取和傳輸各模態(tài)通道相關參數以及特征提?。籧.模型層用于訓練各通道的識別模型；存儲與應用各通道的分析與識別功能；d.決策層屬于整個系統(tǒng)構架的最頂層，用于匯總各通道模型得到的識別結論， 進行事件性質的綜合判斷。(4)結合上述(1)考場行為單模態(tài)識別系統(tǒng)3在接收到信息后，需要對各類型的信息進行融合處理，其過程可以概括為a.數據級最低層的數據級，直接包括了對原始特征最充分、最有效的描述，由于數據的大量性、特征的復雜性、以及數據之間的強相關性等，使得直接利用原始數據的融合幾乎是不可能。因此數據級的融合還只能是層級框架的一個理論組成部分，數據層融合算法有小波變換、加權平均、產生式規(guī)則、卡爾曼濾波等。b.參數、特征與模型級參數包括各模態(tài)通道較為低層的信息，主要表征元數據中離散的元素之間的普遍關系，如圖像參數。另一方面，也表征了各模態(tài)通道本身的參數， 這些參數對于各模態(tài)的特征和處理方法都有影響。輸入數據經過前端處理以后，對于各模態(tài)通道分別得到其特征描述向量，然后經過特征融合的處理，將多個低維的特征描述向量融合(合并)形成更高維的聯(lián)合特征向量參數。在系統(tǒng)建模時，針對該高維向量進行模型的建立，匹配時，利用該高維向量進行匹配。 參數、特征層的融合算法有參量模板法、聚類分析法、模糊集理論、可能性理論、自適應神經網絡、物理模型、黑板模型、邏輯模板法等。c.決策級融合決策融合的系統(tǒng)，輸入信號經過處理得到特征參數，然后分別進行單模態(tài)的建模與識別，將識別的中間結果參數，通過決策融合模塊進行融合，然后通過多模態(tài)決策算法得到最終的鑒別結果。決策層融合算法有經典推理、貝葉斯推理、統(tǒng)計決策、 D-S證據理論、模糊理論、神經網絡、專家系統(tǒng)、粗糙集理論、廣義證據推理理論、直接推斷法、可能理論、缺省推理等。信息融合三個層次的配合根據模態(tài)的特征進行調整，如各模態(tài)通道得到的數據相匹配，則可進行數據層融合，反之則在特征層或者決策層進行融合。本發(fā)明中，信號輸入系統(tǒng)1和信號預處理系統(tǒng)2根據獲取的視頻信號經處理可分析得出的參數和特征包括物理參數攝像機內部參數，攝像機相對于環(huán)境的外部參數(通過攝像機標定獲得)；圖像參數包括顏色、紋理和亮度；目標幾何特征前景塊位置、邊緣、特征點、輪廓與形狀；目標運動特征運動矢量(包括特征點的實時運動速度、方向)、目標之間相對運動關系。本發(fā)明中，信號輸入系統(tǒng)1和信號預處理系統(tǒng)2根據獲取的音頻信號經處理可分析得出的參數和特征包括音量參數包括幅度、頻率和短時能量；波動參數包括過零率和基頻；發(fā)音特征包括MFCC (梅爾倒譜系數)和LPC (線性預測倒譜系數)；韻律特征包括語調、重音和停頓?？紙鲂袨槎嗄B(tài)決策與識別系統(tǒng)7對各個模態(tài)通道得到的結論，在知識層面上， 根據不同場景和事件制定的規(guī)則庫來進行判斷事件的性質.例如，是個人行為還是群體行為，是輕微違規(guī)還是嚴重違規(guī)等。下面就結合具體實施例，作進一步說明該實例系統(tǒng)采用了串并行共存的系統(tǒng)構架，信號輸入系統(tǒng)1中的視頻信號采集設備11為攝像機；音頻信號采集設備12為拾音器，用于采集音頻信號；傳感器采集設備13為各類傳感器；信號預處理系統(tǒng)2和考場行為單模態(tài)識別系統(tǒng)由計算機組成或由數字信號處理平臺的智能處理設備來實現。攝像機、拾音器、傳感器等設備是本系統(tǒng)的信號輸入設備，用來采集視頻、音頻及其他感興趣的信號，信號預處理系統(tǒng)2可用計算機架構或數字信號處理平臺的智能處理設備實現，用于對系統(tǒng)輸入的原始數據進行分析和特征提取，其中計算機硬件構架主要用于多路視頻的中低密度情況下精確目標跟蹤結果，數字信號處理芯片構架處理設備，主要用于人群狀態(tài)、音頻分析、通用傳感器等基礎數據提??；圖1中，考場行為多模態(tài)決策與識別系統(tǒng)4對經考場行為單模態(tài)識別系統(tǒng)3的視頻、音頻和傳感器特征數據進行綜合判別，識別出考場疑似違規(guī)行為，進而輸出考場監(jiān)控管理后臺系統(tǒng)5，同時進行存儲、報警等操作。攝像機、拾音器及其他傳感器設備、考場行為單模態(tài)識別系統(tǒng)3、考場行為多模態(tài)決策與識別系統(tǒng)4及考場監(jiān)控管理后臺系統(tǒng)5之間可通過TCP/IP網絡或者其他通信方式組成網絡進行 。圖1中，各模態(tài)的通道鎖采用的串行構架是將特征提取與模式識別拆分為兩個獨立部分，分別有考場行為單模態(tài)識別系統(tǒng)3與考場行為多模態(tài)決策與識別系統(tǒng)4分別完成； 圖1中，系統(tǒng)可采用的并行構架是每個攝像機配置一個處理單元進行同步獨立處理，提取出來的特征和抽象出來的信息僅需要較少的數據量來表示，降低了信息傳輸網絡的負擔， 對于提取出的基礎數據對于分析服務器的要求相對較低。復雜的分析任務進行了功能性分解，緩解了處理裝置的負擔，實現了基礎數據的有效共享。圖2中，信號輸入系統(tǒng)1、信號預處理系統(tǒng)2、考場行為單模態(tài)識別系統(tǒng)3及考場行為多模態(tài)決策與識別系統(tǒng)4可以搭載在1臺考場智能監(jiān)控服務器硬件平臺上。服務器硬件平臺可采用PC構架也可采用DSP構架?？紙霰O(jiān)控管理后臺系統(tǒng)5可以搭載在1臺考場智能監(jiān)控客戶端硬件平臺上。客戶端硬件平臺主要采用PC構架。根據圖1中串行+并行的系統(tǒng)構架，1臺考場行為智能監(jiān)控服務器可實現對多個考場的實時監(jiān)控。如圖2中，通過考點TCP/IP網絡，1臺考場智能監(jiān)控管理后臺系統(tǒng)4能夠同時管理多臺考場行為智能監(jiān)控服務器，從而實現對整個考點的監(jiān)控。如圖1中，系統(tǒng)通過考區(qū)TCP/IP網絡與網上巡考系統(tǒng)通信，則可實現對更大范圍考點的考場行為智能實時監(jiān)控任務?？紙鲂袨槎嗄B(tài)決策與識別系統(tǒng)3的學習過程與上述考場智能監(jiān)控系統(tǒng)中的學習功能的描述相同。以上所述僅為本發(fā)明的實施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內容所作的等效結構變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發(fā)明的專利保護范圍內。
權利要求
1.一種考場智能監(jiān)控系統(tǒng)，其特征在于包括 信號輸入系統(tǒng)(1)用于采集并發(fā)送監(jiān)控信號；信號預處理系統(tǒng)O)用于預處理和特征提取所述監(jiān)控信號并發(fā)送預處理和特征提取后的監(jiān)控信號；考場行為單模態(tài)識別系統(tǒng)(3)用于對預處理后的監(jiān)控信號及其特征進行單模態(tài)識別和疑似違規(guī)行為分類，并產生識別結果；考場監(jiān)控管理后臺系統(tǒng)(5)用于接收所述識別結果并作出處理。
2.根據權利要求1所述的考場智能監(jiān)控系統(tǒng)，其特征在于，所述監(jiān)控信號包括視頻監(jiān)控信號、音頻監(jiān)控信號和/或傳感器接收到的監(jiān)控信號； 所述信號輸入系統(tǒng)(1)包括視頻信號采集設備(11)用于采集、數字化、壓縮編碼并發(fā)送視頻監(jiān)控信號；和/或音頻信號采集設備(1 用于采集、數字化、壓縮編碼并發(fā)送音頻監(jiān)控信號；和/或傳感器采集設備(1 用于采集并發(fā)送相應的傳感器接收到的監(jiān)控信號； 所述信號預處理系統(tǒng)( 包括與所述視頻信號采集設備(11)相應的視頻信號預處理單元(21)、正常動作過濾單元 (22)、視頻特征提取單元(23)；和/或與所述音頻信號采集設備(1 相應的音頻信號預處理單元(M)、異常聲音定位單元 (25)、音頻特征提取單元(26)；所述視頻信號預處理單元用于對所述視頻監(jiān)控信號進行信號狀態(tài)判斷和預處理；所述正常動作過濾單元02)用于將考場內正常的動作過濾； 所述視頻特征提取單元用于對所述視頻信號預處理單元處理過的視頻監(jiān)控信號進行特征提取處理；所述音頻信號預處理單元04)用于對所述音頻監(jiān)控信號進行信號狀態(tài)判斷和預處理；所述異常聲音定位單元0 用于估計考場內異常聲音方位； 所述音頻特征提取單元06)用于對所述音頻信號預處理單元04)處理過的音頻監(jiān)控信號進行特征提取處理；音頻監(jiān)控信號和/或視頻監(jiān)控信號采用流媒體方式通過流媒體接口 00)發(fā)送到考場監(jiān)控管理后臺系統(tǒng)(5)。
3.根據權利要求2所述的考場智能監(jiān)控系統(tǒng)，其特征在于，所述考場行為單模態(tài)識別系統(tǒng)⑶包括所述視頻異常分析單元(3 用于通過異常行為模型庫(31)對所述視頻特征提取單元處理過的視頻監(jiān)控信號進行異常行為分類；或所述音頻異常分析單元(34)用于通過異常聲音模型庫(3 對所述音頻特征提取單元06)處理過的音頻監(jiān)控信號進行異常聲音分類；所述異常行為模型庫(31)和所述異常聲音模型庫(3 根據所述考場監(jiān)控管理后臺系統(tǒng)(5)的處理結果進行學習并更新所述異常行為模型庫(31)和所述異常聲音模型庫(33) 中的識別模型。
4.根據權利要求3所述的考場智能監(jiān)控系統(tǒng)，其特征在于，所述考場監(jiān)控管理后臺系統(tǒng)(5)包括報文提示與管理單元(51)、流媒體顯示與回放單元(5 、行為識別單元設置與升級單元(53)、考場行為監(jiān)控系統(tǒng)配置與管理單元(54)；所述報文提示與管理單元(51)用于接收所述考場行為單模態(tài)識別系統(tǒng)(3)以報文發(fā)出的識別結果，并采用數據庫技術進行管理；所述流媒體顯示與回放單元(5 用于接收流媒體接口 00)送出的音頻監(jiān)控信號和/ 或視頻監(jiān)控信號，并進行顯示、回放以及管理；所述行為識別單元設置與升級單元(5 用于對異常行為模型庫(31)以及異常聲音模型庫(3 的識別算法參數以及其他各單元模塊的參數接口進行遠程設置，對信號輸入系統(tǒng)(1)、信號預處理系統(tǒng)O)以及考場行為單模態(tài)識別系統(tǒng)(3)進行整體軟件升級；所述考場行為監(jiān)控系統(tǒng)配置與管理單元(54)用于對所述考場行為智能監(jiān)控系統(tǒng)軟硬件進行配置和管理，并通過連接考場監(jiān)考教師通信設備(6)遠程發(fā)送指令或系統(tǒng)識別信肩、ο
5.根據權利要求1所述的考場智能監(jiān)控系統(tǒng)，其特征在于，還包括考場行為多模態(tài)決策和識別系統(tǒng)(4)包括基于決策層的多模態(tài)融合單元(41)、考場行為多模態(tài)識別規(guī)則與模型庫0 及考場行為多模態(tài)識別單元G3)，所述考場行為多模態(tài)識別單元G3)根據基于決策層的多模態(tài)融合單元Gl)融合視頻異常分析單元(3 、視頻異常分析單元(34)以及傳感器采集設備(1 獲取的信號，根據考場行為多模態(tài)識別規(guī)則與模型庫0 進行綜合分析，并將發(fā)送綜合識別結果發(fā)送給考場監(jiān)控管理后臺系統(tǒng)(5)。
6.根據權利要求5所述的考場智能監(jiān)控系統(tǒng)，其特征在于，所述考場行為多模態(tài)識別規(guī)則與模型庫G2)根據所述考場監(jiān)控管理后臺系統(tǒng)(5)的處理結果進行學習并更新所述考場行為多模態(tài)識別規(guī)則與模型庫G2)中的識別模型和規(guī)則。
7.根據權利要求5所述的考場智能監(jiān)控系統(tǒng)，其特征在于，所述考場監(jiān)控管理后臺系統(tǒng)( 包括報文提示與管理單元(51)、流媒體顯示與回放單元(52)、行為識別單元設置與升級單元(53)、考場行為監(jiān)控系統(tǒng)配置與管理單元(54)； 所述報文提示與管理單元(51)用于接收考場行為多模態(tài)決策和識別系統(tǒng)以報文發(fā)出的識別結果，并采用數據庫技術進行管理；所述流媒體顯示與回放單元(5 用于接收流媒體接口 00)送出的音頻監(jiān)控信號和/ 或視頻監(jiān)控信號，并進行顯示、回放以及管理；所述行為識別單元設置與升級單元(5 用于對異常行為模型庫(31)、異常聲音模型庫(3 以及考場行為多模態(tài)識別規(guī)則與模型庫0 的識別算法參數以及其他各單元模塊的參數接口進行遠程設置，對信號輸入系統(tǒng)(1)、信號預處理系統(tǒng)O)、考場行為單模態(tài)識別系統(tǒng)(3)以及考場行為多模態(tài)決策和識別系統(tǒng)(4)進行整體軟件升級；所述考場行為監(jiān)控系統(tǒng)配置與管理單元(54)用于對考場行為智能監(jiān)控系統(tǒng)軟硬件進行配置和管理，并通過連接考場監(jiān)考教師通信設備(6)遠程發(fā)送指令或系統(tǒng)識別信息。
8.一種考場智能監(jiān)控方法，基于一種考場智能監(jiān)控系統(tǒng)，所述考場智能監(jiān)控系統(tǒng)包括信號輸入系統(tǒng)(1)、信號預處理系統(tǒng)O)、考場行為單模態(tài)識別系統(tǒng)(3)以及考場監(jiān)控管理后臺系統(tǒng)(5)，其特征在于，包括S1、信號輸入系統(tǒng)(1)采集并發(fā)送監(jiān)控信號；S2、信號預處理系統(tǒng)( 預處理和特征提取所述監(jiān)控信號并發(fā)送預處理和特征提取后的監(jiān)控信號；S3、考場行為單模態(tài)識別系統(tǒng)C3)對預處理后的監(jiān)控信號及其特征進行單模態(tài)識別和疑似違規(guī)行為分類，并產生識別結果；S4、考場監(jiān)控管理后臺系統(tǒng)(5)接收所述識別結果并作出處理。
9.根據權利要求8所述的考場智能監(jiān)控方法，其特征在于，所述監(jiān)控信號為視頻監(jiān)控信號、音頻監(jiān)控信號和/或傳感器接收到的監(jiān)控信號；所述步驟Sl包括視頻信號采集設備(11)采集、數字化、壓縮編碼并發(fā)送視頻監(jiān)控信號，音頻信號采集設備(1 采集、數字化、壓縮編碼并發(fā)送音頻監(jiān)控信號，傳感器采集設備(1 采集并發(fā)送相應的傳感器接收到的監(jiān)控信號；所述步驟S2包括視頻信號預處理單元對所述視頻監(jiān)控信號進行信號狀態(tài)判斷和預處理，正常動作過濾單元02)將考場內正常的動作過濾，視頻特征提取單元對所述視頻信號預處理單元處理過的視頻監(jiān)控信號進行特征提取處理；音頻信號預處理單元04)對所述音頻監(jiān)控信號進行信號狀態(tài)判斷和預處理，異常聲音定位單元0 估計考場內異常聲音方位，音頻特征提取單元06)對所述音頻信號預處理單元04)處理過的音頻監(jiān)控信號進行特征提取處理。
10.根據權利要求9所述的考場智能監(jiān)控方法，其特征在于，步驟S3包括a、將所述視頻信號特征提取單元(2 或所述音頻信號特征提取單元06)提取的各種特征量進行選擇、加權以及降維處理，構成特征向量；b、視頻異常分析單元(3 根據所述特征向量選擇異常行為模型庫(31)中對應的識別模型進行實時分類，音頻異常分析單元(34)根據所述特征向量選擇異常聲音模型庫(3 中對應的識別模型進行實時分類；所述異常行為模型庫(31)或所述異常聲音模型庫(3 中存儲的是一系列已訓練好的針對各種考場行為和聲音的所述識別模型，所述識別模型為采用機器學習技術構建的分類器。
11.根據權利要求10所述的考場智能監(jiān)控方法，其特征在于，還包括所述考場行為多模態(tài)決策與識別系統(tǒng)(4)接收所述考場行為單模態(tài)識別系統(tǒng)(3)的識別結果進行多模態(tài)綜合分析并發(fā)送給所述考場監(jiān)控管理后臺系統(tǒng)( 處理的步驟，所述多模態(tài)綜合分析包括a、通過算法進行融合處理，融合處理算法包括小波變換、加權平均、產生式規(guī)則和卡爾曼濾波；b、對經a步驟處理后的信號通過算法進行特征融合處理，將多個低維的特征描述向量融合形成更高維的聯(lián)合特征向量參數，特征融合處理算法包括參量模板法、聚類分析法、 模糊集理論、可能性理論、自適應神經網絡、物理模型、黑板模型和邏輯模板法；C、利用考場行為多模態(tài)識別規(guī)則與模型庫0 中的模型，對經步驟b處理過的信號通過算法進行識別判斷處理，識別判斷處理算法包括經典推理、貝葉斯推理、統(tǒng)計決策、DS 證據理論、模糊理論、神經網絡、專家系統(tǒng)、粗糙集理論、廣義證據推理理論、直接推斷法、可能理論和缺省推理。
12.根據權利要求11所述的考場智能監(jiān)控方法，其特征在于，還包括根據所述考場監(jiān)控管理后臺系統(tǒng)(5)的處理結果進行學習并更新多模態(tài)識別規(guī)則與模型庫G2)中的信息的步驟。
全文摘要
本發(fā)明涉及一種考場智能監(jiān)控系統(tǒng)和方法，包括信號輸入系統(tǒng)、信號預處理系統(tǒng)、考場行為單模態(tài)識別系統(tǒng)、考場行為多模態(tài)決策和識別系統(tǒng)以及考場監(jiān)控管理后臺系統(tǒng)，所述信號輸入系統(tǒng)將采集的音/視頻信號送往信號預處理系統(tǒng)進行預處理后將信號送往考場行為單模態(tài)識別系統(tǒng)和考場行為多模態(tài)決策和識別系統(tǒng)進行分類識別判斷，從而將所產生的識別結果發(fā)送給考場監(jiān)控管理后臺系統(tǒng)，實現考場行為監(jiān)控的目的。采用本發(fā)明所述考場智能監(jiān)控系統(tǒng)和方法，能同時針對視頻信息、音頻信息和傳感器多模態(tài)信息采用人工智能技術對其進行處理、識別考場疑似違規(guī)行為進而報警。
文檔編號G06K9/00GK102348101SQ201010241279
公開日2012年2月8日 申請日期2010年7月30日 優(yōu)先權日2010年7月30日
發(fā)明者丁寧 申請人:深圳市先進智能技術研究所