專利名稱：一種檢測運動物體相互靠近和/或接觸的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及智能視頻監(jiān)控技術(shù)領(lǐng)域，特別是涉及一種檢測運動物體相互靠近和/ 或接觸的方法和系統(tǒng)。
背景技術(shù)：
在某些應(yīng)用場合，研究運動物體相互靠近和/或接觸的自動檢測技術(shù)具有重要應(yīng)用價值。例如特定監(jiān)控、看護(hù)場合，人們需要實時地知道一個特定室內(nèi)空間中的兩人或者多人有無相互靠近或者相互接觸的情況發(fā)生。目前普遍還是依靠人工看視的方法來得到結(jié)果，即在該室內(nèi)空間里安裝監(jiān)控攝像頭，管理人員通過實時地觀察監(jiān)控視頻來得到結(jié)果。這種方法盡管最為可靠，但是對于長時間監(jiān)控來說，非常耗費人力；而且管理人員的偶爾疲勞造成的疏忽，也容易導(dǎo)致結(jié)果的不完整。目前，現(xiàn)有技術(shù)中還沒有針對該問題的完整解決方案，與之最為相關(guān)的是關(guān)于人與某一物體的靠近和/或接觸檢測技術(shù)。該技術(shù)根據(jù)檢測原理可以歸納為三類方法基于射頻識別(RFID)的方法，利用人體導(dǎo)體的方法，以及基于機器視覺的方法。但是這三類方法都無法滿足運動物體之間的相互靠近和/或接觸檢測的需求，各類方法所存在的問題如下(1)基于射頻識別的方法，需要運動物體攜有RFID標(biāo)簽或者RFID閱讀器，并且只能檢測靠近，而無法檢測不靠近但局部接觸的情況。(2)利用人體導(dǎo)體的方法，只能檢測人體和金屬物體接觸的情況，并且要求人體接觸處不能有絕緣衣物阻隔。(3)基于機器視覺的方法，主要是通過對監(jiān)控視頻進(jìn)行視覺內(nèi)容分析得到檢測結(jié)果，該方法受視頻拍攝現(xiàn)場的光照條件影響較大，當(dāng)夜晚無光照時則根本無法工作；即使是在光照充足的情況下，該方法在運動物體分割上也無法獲得魯棒的結(jié)果，從而影響檢測的精度。因此，迫切需要一種能夠自動、有效檢測運動物體相互靠近和/或接觸的方法和系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種可工作在任何光照條件下、對檢測對象配件無要求的有效檢測運動物體相互靠近和/或接觸的方法和系統(tǒng)。為實現(xiàn)本發(fā)明的目的，根據(jù)本發(fā)明一個方面，提供了一種檢測運動物體相互靠近和/或接觸的方法，包括下列步驟1)采集運動物體的全景深度圖；2)基于全景深度圖進(jìn)行運動物體相互靠近和/或接觸檢測。優(yōu)選地，所述步驟2、進(jìn)一步包括21)對全景深度圖進(jìn)行運動物體區(qū)域提取，獲得運動物體掩碼22)從所述運動物體掩碼圖提取任意兩運動物體之間的邊緣點的集合；23)基于全景深度圖、運動物體掩碼圖和邊緣點的集合進(jìn)行運動物體相互靠近和 /或接觸檢測。優(yōu)選地，所述步驟21)進(jìn)一步包括211)對全景深度圖進(jìn)行運動物體識別，進(jìn)而獲得前景掩碼圖；212)根據(jù)全景深度圖對前景掩碼圖中的像素進(jìn)行聚類，獲得運動物體掩碼圖。優(yōu)選地，所述步驟211)還包括對前景掩碼圖進(jìn)行連通分析，去除噪聲。優(yōu)選地，所述步驟1)還包括采集運動物體的背景深度圖；所述步驟211)的實現(xiàn)是基于所述背景深度圖和所述全景深度圖的區(qū)別。上述方法中，所述步驟211)的實現(xiàn)還可以基于所述全景深度圖隨時間的變化情況。優(yōu)選地，所述步驟2 進(jìn)一步包括231)基于全景深度圖和運動物體掩碼圖計算每個運動物體的重心坐標(biāo)；232)計算任意兩個運動物體之間的距離；233)對于距離小于靠近距離門限的情況，確定發(fā)生了靠近；234)對于距離小于非靠近接觸門限且兩運動物體間邊緣點的集合為空的情況，確定未發(fā)生接觸；235)對于距離小于非靠近接觸門限且兩運動物體間邊緣點的集合不為空的情況， 如果兩運動物體的深度距離小于或等于接觸門限，則確定發(fā)生了接觸，否則確定未發(fā)生接觸。優(yōu)選地，所述步驟1)為從多個角度采集全景深度圖；所述步驟23)還包括，綜合基于每個全景深度圖獲得的靠近和/或接觸檢測結(jié)果確定最終的運動物體相互靠近和/或接觸結(jié)果。根據(jù)本發(fā)明的另一方面，還提供了一種檢測運動物體相互靠近和/或接觸的系統(tǒng)，包括深度傳感器，用于采集運動物體的全景深度圖；檢測器，用于基于全景深度圖進(jìn)行運動物體相互靠近和/或接觸檢測。優(yōu)選地，所述檢測器進(jìn)一步包括運動物體區(qū)域分析模塊，用于對全景深度圖進(jìn)行運動物體區(qū)域提取，獲得運動物體掩碼圖；邊緣點確定模塊，用于從所述運動物體掩碼圖提取任意兩運動物體之間的邊緣點的集合；檢測模塊，用于基于全景深度圖、運動物體掩碼圖和邊緣點的集合進(jìn)行運動物體相互靠近和/或接觸檢測。所述深度傳感器優(yōu)選為紅外深度傳感器。本發(fā)明的有益效果是上述方法和系統(tǒng)無需運動物體攜有任何特定設(shè)備；可以檢測靠近和/或接觸兩種情況，具體包括靠近不接觸、接觸不靠近、以及靠近且接觸，并且靠近和/或接觸的程度可調(diào)；可以工作在任何室內(nèi)光照條件下，包括夜晚無燈光的情況；可以同時處理多個運動物體的情況。


圖1是根據(jù)本發(fā)明優(yōu)選實施例的檢測人體相互靠近和/或接觸方法的流程圖；圖2是根據(jù)本發(fā)明優(yōu)選實施例的基于全景深度圖DIi進(jìn)行靠近和/或接觸檢測的流程圖；圖3是根據(jù)本發(fā)明優(yōu)選實施例的基于全景深度圖DIi得到人體掩碼圖HIi的流程圖；圖4是根據(jù)本發(fā)明優(yōu)選實施例的基于DIi, HIi, Ehh進(jìn)行靠近和/或接觸檢測的流程圖。
具體實施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明的一種檢測運動物體相互靠近和/或接觸方法和系統(tǒng)進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明提供一種基于深度傳感器的檢測運動物體相互靠近和/或接觸方法和系統(tǒng)，其中所涉及的深度傳感器例如紅外深度傳感器，其通過主動向場景發(fā)射紅外光，進(jìn)而計算得到每一時刻場景中每個點到傳感器之間的距離。這樣的傳感器計算深度的原理主要有兩種，一種是基于光學(xué)中的散斑現(xiàn)象，還有一種是基于光的飛行時間原理，二者均可用于本發(fā)明。紅外深度傳感器工作時，按照一定的幀率對場景深度進(jìn)行采集，每幀采集的結(jié)果以全景深度圖的形式返回，全景深度圖中每一個像素點的值表示實際場景中該點到傳感器的鏡頭平面的距離。本發(fā)明的一種基于紅外深度傳感器的檢測運動物體相互靠近和/或接觸方法，主要包括下列主要步驟紅外深度傳感器的部署，深度圖的采集，基于深度圖的運動物體相互靠近和/或接觸檢測，以及結(jié)果融合和報警決策。下面結(jié)合上述附圖以人體為例詳細(xì)介紹該方法，圖1示出了根據(jù)本發(fā)明優(yōu)選實施例的檢測人體相互靠近和/或接觸方法的流程圖，如圖1所示，所述方法具體包括下列步驟步驟100.根據(jù)待監(jiān)控室內(nèi)空間的現(xiàn)場環(huán)境，部署1個或多個紅外深度傳感器 DSi, i = l,..., Nds，其中DSi表示部署的第i個紅外深度傳感器，Nds表示部署的傳感器個數(shù)；使得傳感器的深度測量范圍能夠覆蓋整個監(jiān)控空間；步驟200.設(shè)置靠近距離門限TA，檢測幀率FR = Nf幀/秒，報警門限Tc，前景提取門限TF，非靠近接觸門限IV，以及接觸門限Tt，其中Ta、Nf、T。的取值根據(jù)實際需求指定；TF的取值范圍例如在0. 04米-0. 08米之間；Tl的取值范圍例如在1. 5米-3米之間;Ττ的取值范圍例如大約0. 5米；步驟300.每一個DSi采集一段時間的背景深度，利用時序上的中值濾波法，分別得到DSi對應(yīng)的背景深度圖BIi, i = l,..., Nds，該圖中僅包括待檢測區(qū)域而不包括人體；本領(lǐng)域普通技術(shù)人員可以理解，上面給出了一種獲得背景深度圖的優(yōu)選方式，也可以采用其他方法，例如直接采集一張背景深度作為背景深度圖，或者采用人工標(biāo)注的方式確定背景深度等。
步驟400.按照檢測幀率FR，DSi采集一幀全景深度圖DIi, i = 1，. . .，^is ；步驟500.分別基于背景深度圖BIi和全景深度圖DIi, i = 1，. . .，Nds，進(jìn)行靠近和/或接觸檢測，得到檢測結(jié)果〃,=(〃嚴(yán),〃產(chǎn),〃嚴(yán))，其中表示在DIi中檢出靠近且接觸的次數(shù)，表示在DIi中檢出沒靠近但接觸的次數(shù)，表示在DIi中檢出靠近但沒接觸的次數(shù)，i = 1, · · · , Nds ；步驟600.根據(jù)步驟500得到的檢測結(jié)果Ri, i = 1，. . .，Nds，按照公式(7)-(9)進(jìn)行結(jié)果匯總，得到K = (NAT,N^,N^t) ■
NdsN-=YjNf
'=1(7)
— Nds _N-=JjNf
'=1 (8)
—Nds _N-=YjNf
'=1(9)步驟700.根據(jù)步驟600得到的K =(況〃,^7,^47)進(jìn)行最終結(jié)果判定如果Nat， Λ^,Λ^—中有一個數(shù)值大于或等于Τ。，則判定發(fā)生了靠近和/或接觸；否則，判定未發(fā)生；步驟800.返回步驟400。對于上述步驟500，圖2示出了根據(jù)本發(fā)明優(yōu)選實施例的基于全景深度圖DIi進(jìn)行靠近和/或接觸檢測的步驟流程圖，如圖2所示，所述步驟500包括下列步驟步驟510.對全景深度圖DIi進(jìn)行人體區(qū)域提取，得到人體掩碼圖HIi, HIi是一個寬為W像素、高為H像素的二維圖像，每個像素點的值為相應(yīng)的人體標(biāo)識符，即HIi (x, y)= K，其中 xe {1,... ,W}, y e {l，...，H}，Ke {0，1，· · ·，，K = 0 表示該點為背景，K = i，i e {1,...,Nh}表示該點屬于第i個人的人體區(qū)域， 表示從DIi提取出的不同人體的個數(shù)；步驟520.從HIi的所有像素點中提取像素點集合Ehh，其中Ehh由任意兩個人之間
h Nh
的邊緣點構(gòu)成，則& = U U &其中Elh表示第1個人與第h個人之間的邊緣點集合。對
/=1 /2 = /+1 ,
于兩個人之間的邊緣點可以根據(jù)下述方法確定，假設(shè)點P是第1個人或第h個人的一個邊緣點，如果在以點P為中心、邊長為W個像素的正方形區(qū)域內(nèi)，即有第1個人體區(qū)域內(nèi)的點， 又有第h個人體區(qū)域內(nèi)的點，則點ρ為第1個人與第h個人之間的一個邊緣點，即ρ e Elh, 其中w取值范圍可根據(jù)實際應(yīng)用進(jìn)行調(diào)整，優(yōu)選地，w為3。步驟530.根據(jù)DIi, HIi, Era對人體相互靠近和/或接觸進(jìn)行檢測，得到檢測結(jié)果 R={Nf,Nf,Nf)
ο本領(lǐng)域普通技術(shù)人員可以理解，上面給出了一種基于全景深度圖DIi進(jìn)行靠近和/ 或接觸檢測的優(yōu)選方式，但也可以采用其他方式來實現(xiàn)。圖3是根據(jù)本發(fā)明優(yōu)選實施例基于全景深度圖DIi得到人體掩碼圖HIi的步驟流程圖，如圖3所示，上述步驟510進(jìn)一步包括下列步驟步驟511.基于DIi和BIi,根據(jù)公式⑴進(jìn)行背景去除，得到前景掩碼圖FIi ；
7
本領(lǐng)域普通技術(shù)人員可以理解，上面給出了一種獲取前景掩碼圖的優(yōu)選方式，但也可以采用其他方式來實現(xiàn)，例如通過對全景深度圖隨時間變化進(jìn)行分析，獲得前景掩碼圖。簡言之，任何能從全景深度圖中識別出人體，從而獲得前景掩碼圖的方式均可用于本發(fā)明。步驟512.對FIi進(jìn)行基于形態(tài)學(xué)的連通分析，去除噪聲干擾，得到FI' i;步驟513.對FI' i所表示的前景區(qū)域的像素點，根據(jù)其在DIi中的深度值進(jìn)行聚類，把聚類結(jié)果中每一個類作為一個人體區(qū)域，從而得到FI' i中不同人體的劃分；步驟514.根據(jù)步驟513的結(jié)果，構(gòu)造人體掩碼圖HIitl本領(lǐng)域普通技術(shù)人員可以理解，上面給出了一種獲得人體掩碼圖的優(yōu)選方式，但也可以采用其他方式來實現(xiàn)，例如步驟512也可以不存在，而直接對前景掩碼圖進(jìn)行聚類。圖4是根據(jù)本發(fā)明優(yōu)選實施例基于DIi, HIi, Ehh進(jìn)行靠近和/或接觸檢測的步驟 530的流程圖，如圖4所示，所述步驟530包括下列步驟步驟531.初始化檢測結(jié)果代Wi4W產(chǎn))為(0，0，0)；步驟532.基于DIJPHIi,按照公式(2)-(4)計算每一個人體的重心坐標(biāo)= (xk, yk，4)，其中1^= 1，...， ，aVg{.}是取平均函數(shù)；xk = avg {χ | HIi (χ, y) = k} (2)yk = avg {y | HIi (x，y) = k} (3)dk = avg (DIi (x, y) | HIi (x, y) = k} (4)步驟533.按照公式(5)計算每兩個人體重心Gm = (xffl, ym，dm)和Gn = (xn, yn，dn) 之間的歐式距離 Dg (m, η), m, η = 1, . . . , Nh, m ^ η ；DG(m,n) = ^(xm -xnf +(ym-yj2 +(dm -dj2(5)步驟534.如果Dg (m, η) > Tl對所有m, η = 1,. . . , Nh, m ^ η都成立，則判定無靠近和/或接觸情況發(fā)生，并結(jié)束步驟530 ；如果存在某些像素對{(m，η) |DG(m, η) ( TJ，則對其中每一對(m，η)都進(jìn)行如下步驟535-539，以下以其中某一對(a，b)為例來介紹；步驟535.如果第a個人和第b個人之間的邊緣點集合^^ = 0 ,則接觸參數(shù)Ft = 0， 執(zhí)行步驟538 ；步驟536.如果第a個人和第b個人之間的邊緣點集合^^ # 0 ,則按照公式(6)計算深度距離DD(a，b)；DD(a,b) = \Da-D \(6)令1^^^/^3^，P(X，y)是以點(X，y)為中心、邊長為Tw的一個正方塊所覆蓋的
點集，反是點集S中位于第a個人體區(qū)域內(nèi)所有點的深度平均值，萬4是點集S中位于第b個人體區(qū)域內(nèi)所有點的深度平均值；步驟537.如果 Dd (a, b) ( Tt,則 Ft = 1，否則 Ft = 0 ；步驟538.如果Dg (a, b)彡Ta,則靠近參數(shù)Fa = 1，否則Fa = 0 ；步驟539.如果Fa= 1且Ft = 1，則判定有一次靠近且接觸情況檢出，加1 ；如果？4 = 0且& = 1，則判定有一次沒靠近接觸情況檢出，加1 ；如果Fa = 1且& = 0，則判定有一次靠近沒接觸情況檢出，Af加1。本領(lǐng)域普通技術(shù)人員可以理解，上面給出了一種實現(xiàn)步驟530)的優(yōu)選方式，但也可以采用其他方式來實現(xiàn)，例如先進(jìn)行接觸與否判斷，然后再進(jìn)行靠近與否的判斷。本領(lǐng)域普通技術(shù)人員可以理解，雖然上面以人體為例詳細(xì)描述了檢測運動物體相互靠近和/或接觸的方法，但是該方法也可以應(yīng)用于其他運動物體，例如動物、汽車模型等。根據(jù)本發(fā)明另一方面，還提供了一種檢測運動物體相互靠近和/或接觸的系統(tǒng)， 該系統(tǒng)包括深度傳感器和檢測器。
該深度傳感器用于采集運動物體的全景深度圖，優(yōu)選地，該深度傳感器為紅外深度傳感器。該檢測器用于基于全景深度圖進(jìn)行運動物體相互靠近和/或接觸檢測。優(yōu)選地，該檢測器進(jìn)一步包括運動物體區(qū)域分析模塊，用于對全景深度圖進(jìn)行運動物體區(qū)域提取，獲得運動物體掩碼圖；邊緣點確定模塊，用于從所述運動物體掩碼圖提取任意兩運動物體之間的邊緣點的集合；檢測模塊，用于基于全景深度圖、運動物體掩碼圖和邊緣點的集合進(jìn)行運動物體相互靠近和/或接觸檢測。通過結(jié)合附圖對本發(fā)明具體實施例的描述，本發(fā)明的其它方面及特征對本領(lǐng)域的技術(shù)人員而言是顯而易見的。以上對本發(fā)明的具體實施例進(jìn)行了描述和說明，這些實施例應(yīng)被認(rèn)為其只是示例性的，并不用于本發(fā)明進(jìn)行限制，本發(fā)明應(yīng)根據(jù)所附的權(quán)利要求進(jìn)行解釋。應(yīng)該注意到并理解，在不脫離后附的權(quán)利要求所要求的本發(fā)明的精神和范圍的情況下，能夠?qū)ι鲜鲈敿?xì)描述的本發(fā)明做出各種修改和改進(jìn)。因此，要求保護(hù)的技術(shù)方案的范圍不受所給出的任何特定示范教導(dǎo)的限制。
權(quán)利要求
1.一種檢測運動物體相互靠近和/或接觸的方法，包括1)采集運動物體的全景深度圖；2)基于全景深度圖進(jìn)行運動物體相互靠近和/或接觸檢測。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟2、進(jìn)一步包括21)對全景深度圖進(jìn)行運動物體區(qū)域提取，獲得運動物體掩碼圖；22)從所述運動物體掩碼圖提取任意兩運動物體之間的邊緣點的集合；23)基于全景深度圖、運動物體掩碼圖和邊緣點的集合進(jìn)行運動物體相互靠近和/或接觸檢測。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟21)進(jìn)一步包括211)對全景深度圖進(jìn)行運動物體識別，進(jìn)而獲得前景掩碼圖；212)根據(jù)全景深度圖對前景掩碼圖中的像素進(jìn)行聚類，獲得運動物體掩碼圖。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟211)還包括 對前景掩碼圖進(jìn)行連通分析，去除噪聲。
5.根據(jù)權(quán)利要求3或4所述的方法，其特征在于， 所述步驟1)還包括采集運動物體的背景深度圖；所述步驟211)的實現(xiàn)是基于所述背景深度圖和所述全景深度圖的區(qū)別。
6.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，所述步驟211)的實現(xiàn)是基于所述全景深度圖隨時間的變化情況。
7.根據(jù)權(quán)利要求1至4任一項所述的方法，其特征在于，所述步驟2 進(jìn)一步包括231)基于全景深度圖和運動物體掩碼圖計算每個運動物體的重心坐標(biāo)；232)計算任意兩個運動物體之間的距離；233)對于距離小于靠近距離門限的情況，確定發(fā)生了靠近；234)對于距離小于非靠近接觸門限且兩運動物體間邊緣點的集合為空的情況，確定未發(fā)生接觸；235)對于距離小于非靠近接觸門限且兩運動物體間邊緣點的集合不為空的情況，如果兩運動物體的深度距離小于或等于接觸門限，則確定發(fā)生了接觸，否則確定未發(fā)生接觸。
8.根據(jù)權(quán)利要求7所述方法，其特征在于， 所述步驟1)為從多個角度采集全景深度圖；所述步驟2 還包括，綜合基于每個全景深度圖獲得的靠近和/或接觸檢測結(jié)果確定最終的運動物體相互靠近和/或接觸結(jié)果。
9.一種檢測運動物體相互靠近和/或接觸的系統(tǒng)，包括 深度傳感器，用于采集運動物體的全景深度圖；檢測器，用于基于全景深度圖進(jìn)行運動物體相互靠近和/或接觸檢測。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述檢測器進(jìn)一步包括運動物體區(qū)域分析模塊，用于對全景深度圖進(jìn)行運動物體區(qū)域提取，獲得運動物體掩碼圖；邊緣點確定模塊，用于從所述運動物體掩碼圖提取任意兩運動物體之間的邊緣點的集合；檢測模塊，用于基于全景深度圖、運動物體掩碼圖和邊緣點的集合進(jìn)行運動物體相互靠近和/或接觸檢測。
11.根據(jù)權(quán)利要求9或10所述的系統(tǒng)，其特征在于，所述深度傳感器為紅外深度傳感ο
全文摘要
本發(fā)明提供一種檢測運動物體相互靠近和/或接觸的方法和系統(tǒng)，該方法包括1)采集運動物體的全景深度圖；2)基于全景深度圖進(jìn)行運動物體相互靠近和/或接觸檢測。本發(fā)明的方法和系統(tǒng)無需運動物體攜有任何特定設(shè)備；可以檢測靠近和/或接觸兩種情況，具體包括靠近不接觸、接觸不靠近、以及靠近且接觸，并且靠近和/或接觸的程度可調(diào)；可以工作在任何室內(nèi)光照條件下，包括夜晚無燈光的情況；可以同時處理多個運動物體的情況。
文檔編號G06K9/00GK102339465SQ20111025440
公開日2012年2月1日 申請日期2011年8月31日 優(yōu)先權(quán)日2011年8月31日
發(fā)明者萬吉, 劉武, 夏添, 張勇東, 李錦濤 申請人:中國科學(xué)院計算技術(shù)研究所