本發(fā)明涉及視頻監(jiān)控領(lǐng)域,更具體地說,涉及一種基于人體骨架的入口尾隨進入檢測方法。
背景技術(shù):
公共安全,社區(qū)以及住宅安全一直是視頻監(jiān)控關(guān)注的熱點。近幾年來,異常事件的檢測在交通視頻監(jiān)控,公共場所監(jiān)控,社區(qū),住宅小區(qū),校園監(jiān)控中的應(yīng)用越來越廣泛,傳統(tǒng)的人工監(jiān)視已經(jīng)不能滿足用戶對異常事件安全監(jiān)控的需求。
隨著人工智能、計算機視覺、機器學(xué)習(xí)技術(shù)的發(fā)展,智能視頻監(jiān)控中也出現(xiàn)了一些對行人異常行為檢測的相關(guān)產(chǎn)品和技術(shù),主要包括特定區(qū)域的運動估計、入侵檢測、行人的跟蹤和視頻分類。然而這些方法并沒有對更高層語義的行人事件進行推理和判斷。
目前,還尚無可以對住宅樓、住宅小區(qū)入口實現(xiàn)行人尾隨進入檢測的產(chǎn)品。特別是在一些重要的特殊通道,如機場自助通關(guān),高鐵站檢票口等每次僅允許單人通過的入口處,采用的是人工監(jiān)看,或者紅外感應(yīng)裝置,缺少對尾隨行為自動監(jiān)視的裝置和方法。隨著人們對這類公共服務(wù)便利化越來越高的要求和公共安全問題之間矛盾的日益加劇,尾隨事件的監(jiān)控有著廣泛的應(yīng)用。
現(xiàn)有技術(shù)中,對于姿態(tài)識別和行為識別,基于普通二維攝像頭的方法,主要采用基于時空特征的方法和基于行人跟蹤的方法,例如倉庫中的入侵檢測,銀行庫房的運動目標檢測和跟蹤。
基于時空特征的方法,在時空檢測特征點的抽取和匹配上需要耗費較多時間,容易受環(huán)境影響,并且對目標的定位難度較大。而基于行人跟蹤的方法,對行人定位的效果依賴大,而行人檢測的效果受影響和遮擋影響,誤差較大。
此外,基于深度攝像頭的方法可以通過深度信息快速定位行人,進而進行行為的識別。然而,高精度的深度攝像機十分昂貴,而精度低的深度相機在監(jiān)控環(huán)境中的應(yīng)用有限。
技術(shù)實現(xiàn)要素:
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足,提供一種低成本、高效率的基于人體骨架的入口尾隨進入檢測方法。
本發(fā)明的技術(shù)方案如下:
一種基于人體骨架的入口尾隨進入檢測方法,在入口前預(yù)設(shè)預(yù)警區(qū)域,行人進入預(yù)警區(qū)域后,通過攝像頭實時檢測行人的人體骨架;在預(yù)警區(qū)域內(nèi)對受測行人規(guī)劃尾隨警戒區(qū)域,檢測尾隨警戒區(qū)域內(nèi)的其他行人;如果其他行人的人體骨架滿足報警規(guī)則,則發(fā)生報警。
作為優(yōu)選,尾隨警戒區(qū)域的深度為預(yù)警區(qū)域的起點至受測行人之間的距離,隨著受測行人的移動,尾隨警戒區(qū)域的深度實時變化。
作為優(yōu)選,預(yù)警區(qū)域的寬度不大于通道的寬度。
作為優(yōu)選,以行人的人體軀干節(jié)點的深度位置作為尾隨警戒區(qū)域的深度終點。
作為優(yōu)選,對預(yù)警區(qū)域內(nèi)的行人進行深度檢測,按照深度大小進行排序,確定受測行人后,對受測行人后面的所有行人進行判斷,是否滿足報警規(guī)則。
作為優(yōu)選,如果報警規(guī)則設(shè)定預(yù)設(shè)預(yù)警區(qū)域不允許除受測行人外的其他行人存在,則檢測到除受測行人外的其他人時,發(fā)生報警。
作為優(yōu)選,如果報警規(guī)則設(shè)定預(yù)設(shè)預(yù)警區(qū)域允許存在受測行人的同行人,則判斷預(yù)設(shè)預(yù)警區(qū)域內(nèi)的其他行人是否為同行人,如果不是同行人,則發(fā)生報警。
作為優(yōu)選,檢測行人的人體骨架,獲得若干關(guān)節(jié)點的深度位置,如果在后的行人的最前關(guān)節(jié)點與受測行人的最后關(guān)節(jié)點同深度或超過受測行人的最后關(guān)節(jié)點,則判定該行人為同行人。
作為優(yōu)選,如果受測行人后的若干行人的關(guān)系為同行人,則受測行人后的若干行人均判定為受測行人的同行人。
作為優(yōu)選,通過矩陣記錄預(yù)設(shè)預(yù)警區(qū)域內(nèi)其他行人與受測行人的關(guān)系,如果為同行人,則記為1,否則記為0;則矩陣反映預(yù)設(shè)預(yù)警區(qū)域內(nèi)所有行人的關(guān)系,則通過矩陣每個位置的值判斷與受測行人的關(guān)系。
本發(fā)明的有益效果如下:
本發(fā)明針對入口安全監(jiān)控中,行人尾隨進入的問題,提供一種低成本、高效率的基于人體骨架的入口尾隨進入檢測方法,實現(xiàn)了視頻監(jiān)控中行人尾隨進入事件的智能監(jiān)控。相比于視頻監(jiān)控中的現(xiàn)有技術(shù),本發(fā)明有效地對行人尾隨進入這一高層次語義事件進行識別,而不是簡單的行人跟蹤和入侵檢測。同時為了提高行人檢測的準確率和降低誤檢率,通過人體骨架交互的判斷,對同行人進行識別,剔除因為同行事件引起的誤警,進而實現(xiàn)對入口處,行人尾隨進入的檢測。
本發(fā)明所述的方法實時性好,成本低,相比于其他基于深度攝像機的智能監(jiān)控算法,本發(fā)明可通過較低端的深度攝像頭實時提取人體骨架的結(jié)構(gòu)并進行跟蹤,并且本發(fā)明提出基于人體骨架跟蹤的尾隨事件檢測方法,計算量少,能夠很好的應(yīng)用于實時監(jiān)控場景。而且采用低成本的深度攝像頭,能夠大大節(jié)省高端深度攝像機的成本花銷,利于實施與推廣。
附圖說明
圖1是本發(fā)明所述的方法的實施示意圖;
圖2是尾隨警戒區(qū)域的變化示意圖;
圖中:10是Kinect攝像頭,11是主機,21是入口,22是通道,31是預(yù)警區(qū)域,32是尾隨警戒區(qū)域。
具體實施方式
以下結(jié)合附圖及實施例對本發(fā)明進行進一步的詳細說明。
本發(fā)明為了解決在特定通道上的行人尾隨事件的檢測問題,提出了一種高定位率、低成本的基于人體骨架的入口尾隨進入檢測方法,其主要原理是:通過深度攝像頭(如Kinect攝像頭)對通道入口處實時檢測行人,獲取人體骨架;在第一位行人進入通道后,自動規(guī)劃預(yù)警區(qū)域,啟動尾隨事件監(jiān)測;在受測行人通過入口前,預(yù)警區(qū)域內(nèi)的行人都定義為異常尾隨目標,進行尾隨識別。
本發(fā)明所述的基于人體骨架的入口尾隨進入檢測方法,在入口21前預(yù)設(shè)預(yù)警區(qū)域31,行人進入預(yù)警區(qū)域31后,通過攝像頭實時檢測行人的人體骨架;在預(yù)警區(qū)域31內(nèi)對受測行人規(guī)劃尾隨警戒區(qū)域32,檢測尾隨警戒區(qū)域32內(nèi)的其他行人;如果其他行人的人體骨架滿足報警規(guī)則,則發(fā)生報警。
為了避免相鄰?fù)ǖ?2或者相鄰區(qū)域行人造成的誤檢,如通道22旁的行人,預(yù)警區(qū)域31的寬度不大于通道22的寬度。預(yù)警區(qū)域31的長度為Kinect攝像頭11相對于入口21的深度位置至有效檢測距離的最遠端。則本實施例中,預(yù)警區(qū)域31的范圍為通道22的兩側(cè)與長度范圍圍成的區(qū)域。
本實施例中,采用Kinect攝像頭11作為視頻采集和人體骨架檢測裝置,采用近距離監(jiān)控的方式,利用Kinect攝像頭11的人體骨架檢測技術(shù)找出目標的位置和骨架姿態(tài),進一步推理行人的動作意圖,是否存在尾隨事件,從而對警報系統(tǒng)發(fā)出相應(yīng)的指令。如圖1所示,用于實現(xiàn)本發(fā)明的硬件裝置包括Kinect攝像頭11和主機12。Kinect攝像頭11的安裝會要求影響整體的檢測效果。在本實施例中,Kinect攝像頭11與入口21直線距離為0.5m-1m;Kinect攝像頭11與地面的高度距離為2m-3m,Kinect攝像頭11的水平位置位于入口21中間,有效檢測距離為3m。則本發(fā)明的方法可基于Kinect攝像頭11獲取的深度信息,以Kinect攝像頭11為中心,構(gòu)建三維空間,z表示Kinect攝像頭11相對于入口21的深度位置,x表示Kinect攝像頭11相對于入口21的水平位置,y表示相當于Kinect攝像頭11相對于入口21的垂直位置。
對行人進行人體骨架檢測時,以行人的人體軀干節(jié)點的深度位置作為尾隨警戒區(qū)域32的深度終點。本實施例中,通過Kinect攝像頭11實時對人體進行檢測,獲取每個行人相對Kinect攝像頭11的三維空間位置pi=(xi,yi,zi),其中,xi,yi,zi分別表示人體相對于Kinect攝像頭11的水平、垂直和深度距離,其中以人體軀干節(jié)點的深度位置作為人體的深度位置。
對預(yù)警區(qū)域31內(nèi)的行人進行深度檢測,按照深度大小進行排序,確定受測行人后,對受測行人后面的所有行人進行判斷,是否滿足報警規(guī)則。本實施例中,對所有的行人按照深度進行從小到大排序,即按照zi的值進行排序,可采用冒泡排序算法實現(xiàn),則z1表示走在最前面的行人,即為受測行人。
尾隨警戒區(qū)域32的深度為預(yù)警區(qū)域31的起點至受測行人之間的距離,則隨著受測行人的移動,尾隨警戒區(qū)域32的深度實時變化,如圖2所示。尾隨警戒區(qū)域32的長度為人體位置到預(yù)警區(qū)域31的邊界,寬度和預(yù)警區(qū)域31一致,并且尾隨警戒區(qū)域32隨著受測行人向前移動而實時更新。
實時對于除了受測行人以外的其他行人的位置進行判斷,如果其位置位于受測行人的尾隨警戒區(qū)域32內(nèi),則該行人則定義為擬進行尾隨候選目標。重復(fù)此操作,對所有行人進行判斷。
在本發(fā)明的方法中,定義了允許同行和不允許同行這兩種安全級別,分別用于小區(qū)和檢票這兩類不同安全級別的場景。在允許同行的安全級別下,對受測行人和預(yù)警區(qū)域31的其他行人進行交互識別,如果存在交互,則劃分為同行人。
如果報警規(guī)則設(shè)定預(yù)設(shè)預(yù)警區(qū)域31不允許除受測行人外的其他行人存在,如單人通道22的場景,則檢測到除受測行人外的其他人時,發(fā)生報警。如果候選目標數(shù)量為空,則認為是安全情況。
如果報警規(guī)則設(shè)定預(yù)設(shè)預(yù)警區(qū)域31允許存在受測行人的同行人,如小區(qū)入口21這類允許同行人一起進入的場景,則判斷預(yù)設(shè)預(yù)警區(qū)域31內(nèi)的其他行人是否為同行人,如果不是同行人,則發(fā)生報警。本實施例中,對預(yù)警區(qū)域31內(nèi)的行人,用Kinect攝像頭11獲取人體骨架各個關(guān)節(jié)點的空間坐標,Kinect攝像頭11一共提供了人體20個關(guān)節(jié)點的位置,用pi,i=1…20表示,深度值為定義人體最靠前深度為定義人體最靠后的深度為
判斷行人間的關(guān)系時,檢測行人的人體骨架,獲得若干關(guān)節(jié)點的深度位置,如果在后的行人的最前關(guān)節(jié)點與受測行人的最后關(guān)節(jié)點同深度或超過受測行人的最后關(guān)節(jié)點,則判定該行人為同行人。
在本發(fā)明中,通過矩陣記錄預(yù)設(shè)預(yù)警區(qū)域31內(nèi)其他行人與受測行人的關(guān)系,如果為同行人,則記為1,否則記為0;即用0-1矩陣D表示預(yù)警區(qū)域31內(nèi)行人之間的關(guān)系,如果Dij=0,表示第i,j兩人沒有關(guān)系,為非同行人;反之Dij=1,表示同行。則矩陣反映預(yù)設(shè)預(yù)警區(qū)域31內(nèi)所有行人的關(guān)系,可通過矩陣每個位置的值判斷與受測行人的關(guān)系。此關(guān)系矩陣D具有如下性質(zhì):
此矩陣是對稱矩陣,即Dij=Dji;表示如果受測行人與某行人為同行,則當某行人作為受測行人時,當前受測行人也與該行人為同行。
矩陣是傳遞性,即如果Dij=1&&Djk=1,則Dik=1;表示如果受測行人后的若干行人的關(guān)系為同行人,則受測行人后的若干行人均判定為受測行人的同行人。
對于i,j兩人關(guān)系的判斷,在本發(fā)明的判斷邏輯是如果走在后面的人,身體最靠前的部位的位置與前面的人最靠后的部位位置相同或者超過,則認為兩人同行,公式如下:
其中,i表示走在前面的人,即i≤j,zi≤zj,ε是預(yù)設(shè)的閾值。對于所有行人,重復(fù)此操作,生成矩陣。
上述實施例僅是用來說明本發(fā)明,而并非用作對本發(fā)明的限定。只要是依據(jù)本發(fā)明的技術(shù)實質(zhì),對上述實施例進行變化、變型等都將落在本發(fā)明的權(quán)利要求的范圍內(nèi)。