一種安全監(jiān)控系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種安全監(jiān)控系統(tǒng),其包括音視頻監(jiān)控同步模塊,音頻監(jiān)控模塊和視頻監(jiān)控模塊,音頻視監(jiān)控同步模塊會送出相同的時鐘信息進入音頻監(jiān)控模塊和視頻監(jiān)控模塊;音頻監(jiān)控模塊進行連續(xù)性的音頻監(jiān)控;視頻監(jiān)控模塊根據(jù)音頻監(jiān)控模塊監(jiān)測到的聲音控制視頻監(jiān)控。
【專利說明】
一種安全監(jiān)控系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及安全監(jiān)控領(lǐng)域,具體是一種音視頻協(xié)同安全監(jiān)控系統(tǒng)。
【背景技術(shù)】
[0002]隨著社會發(fā)展,科技的進步,監(jiān)控早已成為社會不可或缺的一部分。監(jiān)控在社會安全,交通管理,智能城市等各方各面扮演著越來越重要的角色。
[0003]時至今日,視頻監(jiān)控仍是監(jiān)控領(lǐng)域的絕對主角,比如公路上隨處可見的交通探頭,小區(qū)的閉路監(jiān)控系統(tǒng)等等。
[0004]在視頻監(jiān)控系統(tǒng)中,對于攝像頭攝錄的視頻,需要進行存儲以備后期檢索查詢,由于視頻原始碼流數(shù)據(jù)量巨大,這就需要對原始碼流進行視頻編碼處理。
[0005]普通的視頻編碼標準針對消費娛樂目的的高清晰度視頻編解碼,在這種情況下,由于原始視頻圖像巨大的數(shù)據(jù)量(一幀圖像原始數(shù)據(jù)往往需幾兆甚至幾十兆),為了達到實時編碼,往往需要專用的編碼芯片進行處理,既便如此,編碼后產(chǎn)生的壓縮碼流仍將占據(jù)相當大的存儲空間。專用視頻編碼芯片功能復雜、開發(fā)周期長、后期無法進行功能擴展、運行功耗高,并且需要巨大的存儲空間以及高吞吐的數(shù)據(jù)總線。而監(jiān)控系統(tǒng)實時性很高,并且需要長時間不停頓監(jiān)控記錄。所以普通的視頻高清編碼并不適合于監(jiān)控系統(tǒng)。所以在實際的監(jiān)控系統(tǒng)中,其編碼標準也與普通的視頻編碼標準有不同,攝像質(zhì)量往往較低。然而低像素的監(jiān)控質(zhì)量有時候會對后期的檢索查詢產(chǎn)生一定的不良影響,比如很多時候公路監(jiān)控探頭監(jiān)控視頻中根本看不清車牌號碼。
[0006]同時,視頻監(jiān)控也有其固有的缺點,如在黑夜或者霧靄天氣中效果會大大折扣,其監(jiān)控范圍存在很大的盲區(qū)。
[0007]越來越多的現(xiàn)象表明,單純的視頻監(jiān)控已經(jīng)越來越無法滿足持續(xù)增長的監(jiān)控需求了。
【發(fā)明內(nèi)容】
[0008]為了克服上述技術(shù)問題,本發(fā)明提供了一種安全監(jiān)控系統(tǒng),其包括音視頻監(jiān)控同步模塊,音頻監(jiān)控模塊和視頻監(jiān)控模塊,其特征在于:
[0009]音頻視監(jiān)控同步模塊會送出相同的時鐘信息進入音頻監(jiān)控模塊和視頻監(jiān)控模塊;
[0010]音頻監(jiān)控模塊進行連續(xù)性的音頻監(jiān)控;
[0011 ]視頻監(jiān)控模塊根據(jù)音頻監(jiān)控模塊監(jiān)測到的聲音控制視頻監(jiān)控。
[0012]其中視頻監(jiān)控模塊根據(jù)音頻監(jiān)控模塊監(jiān)測到的聲音控制視頻監(jiān)控具體包括:
[0013]計算當前音頻幀的音頻能量值;
[0014]在所述音頻能量值與背景聲音能量值變化量超過所述第一閾值時,判定為發(fā)生異常事件,并啟動對所述異常事件的視頻監(jiān)控。
【附圖說明】
[0015]圖1示出了基于音頻檢測的音視頻協(xié)同監(jiān)控方法流程圖;
[0016]圖2示出了音頻控制下的視頻監(jiān)控方法流程圖;
[0017]圖3示出了基于音視檢測的音視頻協(xié)同監(jiān)控裝置;
【具體實施方式】
[0018]音頻監(jiān)控的發(fā)展由于各種各樣的原因一直落后于視頻監(jiān)控,但是音頻監(jiān)控卻有著許多視頻監(jiān)控所無法比擬的優(yōu)點,所以音頻監(jiān)控也越來越受到重視。
[0019]相比起視頻圖像,音頻監(jiān)控需要處理的數(shù)據(jù)量要小很多,所以音頻編碼處理速度較快,甚至可以直接使用ARM等嵌入式CPU進行編碼處理,開發(fā)周期相對較短。由于是軟件,后期功能擴展性強。并且,音頻監(jiān)控不存在盲區(qū),即使黑夜或者嚴重霧靄天氣照樣正常工作。
[0020]可見音頻監(jiān)控完全彌補了視頻監(jiān)控的缺點。正是由于音頻監(jiān)控的這些特點,使得音頻監(jiān)控在監(jiān)控領(lǐng)域顯得越來越重要。
[0021]音頻在很多情況下能夠獨擋一面,但是更多的情況下,單獨音頻監(jiān)控或者視頻監(jiān)控都無法很好的發(fā)揮監(jiān)控效果,這時候就需要音頻和視頻監(jiān)控協(xié)同進行。
[0022]對于監(jiān)控而言,每種監(jiān)控都有其固定的監(jiān)控目標事件,比如說某段易肇事交通路段的監(jiān)控目標事件是交通事故。但是對于任何監(jiān)控,我們無法預(yù)先知道所有可能的異常事件類型并且根據(jù)異常事件類型來設(shè)定監(jiān)控目標事件,也即我們無法保證在監(jiān)控范圍內(nèi)發(fā)生的所有異常事件都是監(jiān)控目標事件,比方說雖然交通事故是監(jiān)控目標事件,但是還有會監(jiān)控到許多其它異常事件,比方說車輛經(jīng)過、行人跑過、以及某些犯罪活動。而這些異常事件雖然不是監(jiān)控目標事件,但是在諸如警方破案時又都會起很大的作用,也就是說,在這些場合,除了監(jiān)控目標事件外,其它很多異常事件都需要進行記錄,到了夜深人靜,公路上沒車沒人,這時候顯然不需要進行監(jiān)控記錄。
[0023]正是由于監(jiān)控的這種特點,本專利提出了一種由音頻監(jiān)控控制的音視頻協(xié)同監(jiān)控方法,使用音頻監(jiān)控探測周邊環(huán)境的變化,如果周邊情況風平浪靜,只采用簡單的音頻監(jiān)控,關(guān)閉視頻監(jiān)控,以節(jié)省運行功耗和數(shù)據(jù)存儲空間;當音頻監(jiān)控探測到周邊聲音的顯著變化,計算出異常聲音來源的大致方向,調(diào)整視頻監(jiān)控探頭取得最佳的視頻監(jiān)控方向,打開視頻監(jiān)控器并記錄當前時間的視頻監(jiān)控信息,同時還會根據(jù)異常事件發(fā)生前的圖像及異常事件發(fā)生中的圖像、異常事件發(fā)生后的圖像變化找到異常事件,根據(jù)監(jiān)控事件的特點分析異常事件的類型是否為監(jiān)控目標事件,如果是,則執(zhí)行設(shè)定的操作,如報警,否則,記錄一個異常信號。
[0024]音頻控制下的音視頻監(jiān)控過程如附圖1所示。
[0025]其中音頻監(jiān)控始終進行以保證監(jiān)控持續(xù)性(在某些應(yīng)用場合,也可只在檢測到異常聲音時才進行音頻監(jiān)控編碼記錄),雙聲道(在某些應(yīng)用場合,也可以增加更多的聲道提高監(jiān)控性能,但會提高監(jiān)控成本)音頻采樣PCM值后一路送至音頻編碼器進行編碼,另一路進行聲音變化探測。視頻監(jiān)控在正常情況下處于關(guān)閉狀態(tài),如果發(fā)生異常事件,必定伴隨著聲音的顯著變化,當探測到這種聲音變化時,記錄下異常事件發(fā)生的時間并寫入音頻監(jiān)控碼流。同時分析聲音的方位,從而調(diào)整視頻監(jiān)控攝像頭以取得最佳監(jiān)控角度,打開視頻監(jiān)控,記錄下異常事件發(fā)和的時間以便和音頻監(jiān)控碼流同步,進行視頻編碼存儲;同時,對比前后圖像的不同來確定異常事件所對應(yīng)的圖像塊并試圖進行分析,如果能夠成功分析出異常事件類型為監(jiān)控目標事件,則根據(jù)設(shè)定的處理方式處理,如報警;如果未能檢測到為監(jiān)控目標事件,則記錄異常事件以備監(jiān)控人員后期檢索查詢。
[0026]對于音頻控制下的視頻監(jiān)控部分更詳細的描述流程圖如附圖2所示:
[0027]上圖流程圖中,音頻監(jiān)控為立體聲雙聲道,實際應(yīng)用中,可以根據(jù)實際情況增加選擇更多聲道。
[0028]首先定義幾個名詞:
[0029]1.音頻幀:音頻編碼的處理單元,包含若干聲道若干PCM值(例如AAC音頻標準雙聲道編碼,其每個音頻幀包含兩個聲道,每個聲道各1024個PCM值。聲道數(shù)根據(jù)不同情況可以不同,但是對于同一種音頻標準,每幀中每聲道的PCM值個數(shù)為固定值,AAC標準固定為1024點)。在這里,音頻幀可進一步分為正常聲音幀及異常聲音幀。
[0030]2.正常聲音幀:指未檢測到異常聲音的音頻幀。這種音頻幀表示沒有異常事件發(fā)生時的背景聲音。
[0031]3.異常聲音幀:指檢測到音頻變化的音頻幀,意味著出現(xiàn)了異常事件(異常事件分為監(jiān)控目標事件和非監(jiān)控目標事件,每種監(jiān)控應(yīng)用都有監(jiān)控目的,比如說,無人值守機房防盜監(jiān)控系統(tǒng),機房正常運行無人進入為正常事件,有人非法侵入為監(jiān)控目標事件,輕微地震引起物品摔落為非監(jiān)控目標事件),這種情況下需要開啟視頻監(jiān)控并進行異常事件分析。
[0032]4.E_curr_l:當前幀左聲道PCM能量值。
[0033]5.E_curr_r:當前幀右聲道PCM能量值。
[0034]6.E_curr:當前幀PCM能量值,即左右聲道PCM能量平均值,E_curr= (E_curr_l+E_curr_r)/20
[0035]7.E_back:背景聲音能量平均值,即正常聲音幀的能量平均值??梢圆捎们癕個正常聲音幀的平均值用于計算背景聲音能量平均值E_back,M值可根據(jù)實際情況監(jiān)控目標事件的快慢設(shè)定以達到最佳效果,比如說100。
[0036]8.Threshold:異常聲音幀門限值,如果當前幀E_curr對比E_back超過門限值,則意味著檢測到了明顯聲音變化,也即意味著異常事件的發(fā)生。由于不同使用場合背景聲音能量平均值不同、監(jiān)控目標事件不同,其值會有所變化,需要根據(jù)實際情況而定。
[0037]9.T:異常事件發(fā)生時刻。音頻監(jiān)控和視頻監(jiān)控共用一個時鐘,一旦檢測到異常事件發(fā)生,需要記錄下發(fā)生時刻信息,并同時記錄到音頻監(jiān)控碼流和視頻監(jiān)控碼流以保證音視頻同步,以便在未來查詢時能迅速知道異常時刻發(fā)生時刻。
[0038]10.L_max: —般來說,異常事件一旦發(fā)生,往往需要持續(xù)一段時間,所以一旦檢測到異常事件,打開視頻監(jiān)控后,可以直接連續(xù)監(jiān)控L_max幀,L_max幀之后,停止視頻監(jiān)控,并且重新進行異常事件檢測。L_max的長度選擇需要根據(jù)監(jiān)控應(yīng)用場合及監(jiān)控目標事件的長度而選擇,比如說監(jiān)控公路車禍的監(jiān)控系統(tǒng),車禍的發(fā)生往往是一瞬間,可以設(shè)定一點較短的L_max值。
[0039]11.L:視頻編碼計數(shù)器,保證一旦檢測到異常事件,需要持續(xù)視頻監(jiān)控記錄L_max幀。
[0040]如附圖2所示的整個視頻監(jiān)控過程如以下步驟表示:
[0041]1.E_curr初始化為O或已知當前背景聲音能量平均值。
[0042]2.雙聲道音頻PCM采樣輸入,
[0043]3.計算左聲道音頻幀能量值E_curr_l,計算右聲道音頻幀能量值E_curr_r。
[0044 ] 4.計算當前幀雙聲道音頻能量值E_curr = (E_curr_l+E_curr_r) /2。
[0045]5.判斷E_curr/E_back是否超過門限值Thresho Id,如果超過門限值,則檢測到異常事件,進入下一步進行異常事件處理,否則更新E_Curr,回到步驟2重新檢測。
[0046]6.記錄下異常事件的發(fā)生時間T,并將視頻幀監(jiān)控計數(shù)器L清零,準備進行異常事件檢測和視頻監(jiān)控。
[0047]7.能過雙聲道能量差和時間差,相位差等信息分析異常聲音方位。
[0048]8.調(diào)整攝像頭以取得最佳的監(jiān)控角度,并開啟視頻監(jiān)控探頭開始進行視頻監(jiān)控圖像攝取和編碼。
[0049]9.如果當前視頻監(jiān)控記錄幀數(shù)達到L_max幀,則退出視頻監(jiān)控,進入監(jiān)控后處理步驟13 ο
[0050]10.攝像頭攝取視頻圖像進行編碼。
[0051]11.通過對比異常事件前、中、后的視頻圖像幀的差別來找到異常事件物體相關(guān)的圖像塊。
[0052]12.根據(jù)預(yù)設(shè)的監(jiān)控目標事件特征,對異常事件物體相關(guān)圖像塊進行分析以確定是否為監(jiān)控目標事件,同時,更新計數(shù)器L,回到步驟9。
[0053]13.如果在異常事件分析過程中,成功檢測到該異常事件為監(jiān)控目標事件,則按預(yù)設(shè)的方式進行處理,比如報警;否則僅僅記錄為一個異常事件發(fā)生。
[0054]14.將異常事件發(fā)生時間T和視頻編碼碼流存儲到存儲器,重新回到步驟2,進行全新的一次音頻監(jiān)控。
[0055]如附圖3所示,監(jiān)控系統(tǒng)包括音視頻監(jiān)控同步模塊,音頻監(jiān)控模塊和視頻監(jiān)控模塊。
[0056]考慮到音頻和視頻監(jiān)控的同步以及異常事件發(fā)生時刻的確定,兩者需要共用一個時鐘信號源,即圖中的音視頻監(jiān)控同步模塊。音頻視監(jiān)控同步模塊會送出相同的時鐘信息進入音頻監(jiān)控模塊和視頻監(jiān)控模塊。
[0057]左右聲道PCM值一路送至音頻監(jiān)控模塊進行連續(xù)性的音頻監(jiān)控(在某些不需要音頻連續(xù)性監(jiān)控的情況下,也可以只在探測到異常事件時才進行音頻監(jiān)控編碼記錄),并將音頻監(jiān)控編碼碼流連同時間信息一同記錄到存儲模塊A;另一路則送入視頻監(jiān)控模塊進行異常聲音檢測。
[0058]在視頻監(jiān)控模塊中,視頻監(jiān)控控制模塊控制整個視頻監(jiān)控過程。在視頻監(jiān)控模塊中,首先在能量計算模塊中對輸入的音頻幀直接計算當前幀的能量值E_CUrr,并且在未檢測到異常聲音的情況下,更新背景聲音能量值E_baCk,在接下來的異常聲音檢測模塊中進SE_CUrr&E_baCk數(shù)值的對比處理。一旦檢測到異常聲音,則代表異常事件發(fā)生,則在異常事件方向檢測模塊中,根據(jù)E_curr_l,E_curr_r,并結(jié)合左右聲道時間差,相位差等額外信息,判斷異常事件發(fā)生的方向,并通知視頻監(jiān)控控制模塊,調(diào)整視頻監(jiān)控探頭的方向,開始進行異常事件分析和視頻編碼記錄。在視頻異常事件分析模塊中,會根據(jù)異常事件前、中、后視頻圖像幀的差別來找到異常事件所對應(yīng)的圖像塊,結(jié)合監(jiān)控目標事件特征庫中設(shè)定的記錄監(jiān)控目標特點,對異常事件所對應(yīng)的圖像塊進行分析處理對比以確認是否為監(jiān)控目標事件,如果是監(jiān)控目標事件,則根據(jù)設(shè)定的處理方式進行報警或者其它相應(yīng)處理;如果未能檢測到是監(jiān)控目標事件,則僅僅報告異常事件發(fā)生。不管是否監(jiān)控目標事件,在異常事件發(fā)生后,視頻編碼模塊都會對L_max幀視頻圖像進行編碼并存儲入存儲模塊B。其中存儲模塊A和存儲模塊B可以是同一模塊,以可以為不同模塊。
【主權(quán)項】
1.一種安全監(jiān)控系統(tǒng),其包括音視頻監(jiān)控同步模塊,音頻監(jiān)控模塊和視頻監(jiān)控模塊,其特征在于: 音頻視監(jiān)控同步模塊會送出相同的時鐘信息進入音頻監(jiān)控模塊和視頻監(jiān)控模塊; 音頻監(jiān)控模塊進行連續(xù)性的音頻監(jiān)控; 視頻監(jiān)控模塊根據(jù)音頻監(jiān)控模塊監(jiān)測到的聲音控制視頻監(jiān)控。2.—種如權(quán)利要求1所述的安全監(jiān)控系統(tǒng),其中視頻監(jiān)控模塊根據(jù)音頻監(jiān)控模塊監(jiān)測到的聲音控制視頻監(jiān)控具體包括: 計算當前音頻幀的音頻能量值; 在所述音頻能量值與背景聲音能量值變化量超過所述第一閾值時,判定為發(fā)生異常事件,并啟動對所述異常事件的視頻監(jiān)控。
【文檔編號】H04N5/92GK106060467SQ201610457785
【公開日】2016年10月26日
【申請日】2016年6月22日
【發(fā)明人】易飛, 繆達瑞, 錢志
【申請人】成都嘉澤興業(yè)科技有限責任公司