專利名稱：基于全方位視覺傳感器的智能安保裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于光學(xué)技術(shù)、計(jì)算機(jī)圖像處理技術(shù)和網(wǎng)絡(luò)通信技術(shù)在智能安保方面的應(yīng)用，屬于防盜器產(chǎn)品，適用于小區(qū)、家庭和企事業(yè)單位的防盜。尤其是一種基于全方位視覺傳感器的智能安保裝置。
背景技術(shù)：
當(dāng)今社會(huì)，政治昌明，經(jīng)濟(jì)發(fā)展，科技進(jìn)步。然而，社會(huì)治安依舊是民眾第一位關(guān)心的問(wèn)題。尤其盜竊犯罪給企事業(yè)單位和個(gè)人家庭造成巨大損害，也給公安部門工作帶來(lái)沉重負(fù)擔(dān)。采取高新技術(shù)手段防范和打擊盜竊犯罪不失為一種行之有效的方法。目前有各種防盜裝置，林林總總有成百件之多?？墒牵F(xiàn)實(shí)生活中防盜裝置并未在一般企事業(yè)單位和個(gè)人家庭中得到十分廣泛的使用，沒(méi)有發(fā)揮此類技術(shù)防盜裝置應(yīng)有的作用。除了其他一些原因之外，在防盜技術(shù)方面也存在著一些問(wèn)題，有這樣一則關(guān)于竊賊越過(guò)防盜系統(tǒng)夜間連闖5家的報(bào)道，該報(bào)道中提及的被盜小區(qū)內(nèi)一樓和二樓都安裝了紅外人體防盜裝置，在小區(qū)的圍欄上安裝了防盜設(shè)備，在小區(qū)的門口和圍欄上都安裝了攝像頭。對(duì)紅外人體防盜裝置而言究其原因，主要難以解決問(wèn)題有1)靈敏度與誤報(bào)率的關(guān)系，靈敏度調(diào)得高，誤報(bào)率也提高；靈敏度調(diào)得低，有些時(shí)候會(huì)發(fā)生不報(bào)警；2)目前的防盜裝置主要安裝在竊賊可能侵入的窗和門處，一旦竊賊掌握了一些防盜裝置的特點(diǎn)，避開這道防線，就難以成功地阻擋住竊賊的行竊(有些竊賊為了避開紅外人體防盜裝置的監(jiān)視范圍，就采用爬的方式潛入進(jìn)行作案)。對(duì)攝像防盜裝置而言究其原因，防盜是以防萬(wàn)一，監(jiān)視人同樣也有萬(wàn)一情況，萬(wàn)一走開、萬(wàn)一打了一個(gè)瞌睡等等，竊賊一旦摸熟了情況后，也是能乘虛而入的；同時(shí)目前的攝像監(jiān)控由于攝像頭只能對(duì)著某一個(gè)方向，這樣必然會(huì)存在著視頻監(jiān)控盲區(qū)。
本發(fā)明作出以前的防盜裝置主要是通過(guò)防盜器件本身去解決防盜問(wèn)題的。由于防盜器件本身具有一定的局限性以及上述存在的幾個(gè)主要問(wèn)題，一旦防盜第一防線被突破就難以成功阻擋住竊賊的行竊，以及在發(fā)生盜竊案件后無(wú)法及時(shí)取證到竊賊的直觀信息從而給公安機(jī)關(guān)迅速破案造成困難。

發(fā)明內(nèi)容為了克服已有的安保裝置靈敏度和誤報(bào)率不協(xié)調(diào)、實(shí)時(shí)性差、安全性低的不足，本發(fā)明提供一種能夠同時(shí)滿足靈敏度和誤報(bào)率、實(shí)時(shí)性好、安全性高的基于全方位視覺傳感器的智能安保裝置。
本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是一種基于全方位視覺傳感器的智能安保裝置，該智能安保裝置包括微處理器、用于監(jiān)視安全情況的全方位視覺傳感器、用于與外界通信的通信模塊；所述的全方位視覺傳感器包括用于反射監(jiān)控領(lǐng)域中物體的外凸反射鏡面、透明圓柱體、攝像頭，所述的外凸反射鏡面朝下，所述的透明圓柱體支撐外凸反射鏡面，用于拍攝外凸反射鏡面上成像體的攝像頭位于透明圓柱體的內(nèi)部，攝像頭位于外凸反射鏡面的虛焦點(diǎn)上；所述的微處理器包括圖像數(shù)據(jù)讀取模塊，用于讀取從視頻傳感器傳過(guò)來(lái)的視頻圖像信息；圖像數(shù)據(jù)文件存儲(chǔ)模塊，用于將讀進(jìn)來(lái)的視頻圖像信息通過(guò)文件方式保存在存儲(chǔ)單元中；傳感器標(biāo)定模塊，用于對(duì)全方位視覺傳感器的參數(shù)進(jìn)行標(biāo)定，建立空間的實(shí)物圖像與所獲得的視頻圖像的線性對(duì)應(yīng)關(guān)系；色彩空間轉(zhuǎn)化模塊，用于將圖像RGB色彩空間轉(zhuǎn)化到Y(jié)UV空間；圖像展開處理模塊，用于將采集的圓形視頻圖像展開為全景柱狀圖；運(yùn)動(dòng)對(duì)象檢測(cè)模塊，用于將所獲得的當(dāng)前幀現(xiàn)場(chǎng)視頻圖像與一個(gè)相對(duì)比較穩(wěn)定的基準(zhǔn)參考圖像進(jìn)行差值運(yùn)算，圖像相減的計(jì)算公式如式(1)表示fd(X，t0，ti)＝f(X，ti)-f(X，t0) (1)上式中，fd(X，t0，ti)是實(shí)時(shí)拍攝到圖像與基準(zhǔn)參考圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti)是實(shí)時(shí)拍攝到圖像；f(X，t0)是基準(zhǔn)參考圖像；并將當(dāng)前圖像中與相鄰K幀的圖像相減計(jì)算公式如(2)所示fd(X，ti-k，ti)＝f(X，ti)-f(X，ti-k) (2)上式中，fd(X，ti-k，ti)是實(shí)時(shí)拍攝到圖像與相鄰K幀圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti-k)是相鄰K幀時(shí)的圖像；如fd(X，t0，ti)≥閾值、fd(X，ti-k，ti)≥閾值成立時(shí)，判定為運(yùn)動(dòng)對(duì)象；如fd(X，t0，ti)≥閾值、fd(X，ti-k，ti)＜閾值，判定靜止對(duì)象，并用式(3)來(lái)更新替換基準(zhǔn)參考圖像f(X,t0)⇐f(X,ti-k)...(3)]]>如fd(X，t0，ti)＜閾值，判定為靜止對(duì)象；連通區(qū)域計(jì)算模塊，用于對(duì)當(dāng)前圖像進(jìn)行標(biāo)記，像素灰度為0的小區(qū)表示此小區(qū)無(wú)可疑侵入，像素灰度為1則表示此小區(qū)有可疑侵入，計(jì)算當(dāng)前圖像中的像素是否與當(dāng)前像素周圍相鄰的某一個(gè)點(diǎn)的像素相等，如灰度相等判斷為具有連通性，將所有具有連通性的像素作為一個(gè)連通區(qū)域；空間位置屬性判斷模塊，用于對(duì)每個(gè)連通區(qū)域并對(duì)其上下空間部分進(jìn)行顏色分割，如果某個(gè)連通區(qū)域與地面顏色相接觸，設(shè)定空間位置影響因子Fp為1；否則Fp為0；區(qū)域大小屬性判斷模塊，用于將每個(gè)連通區(qū)域求出其面積Si與預(yù)設(shè)的閾值進(jìn)行比較，如下判斷規(guī)則若Si＜閾值1，則該變化區(qū)域?yàn)樵肼朁c(diǎn)；若Si＞閾值2，則該變化區(qū)域?yàn)榇竺娣e的變化，設(shè)定區(qū)域大小影響因子Fs為0.2～0.5之間；若閾值1＜Si＜閾值2，則該變化區(qū)域可疑為有人，設(shè)定區(qū)域大小影響因子Fs為1；形狀屬性判斷模塊，用于將人體模型簡(jiǎn)化矩形模型，求每個(gè)連通區(qū)域的平均寬度和高度，平均寬度wi是在高度hi方向的分成4等份的寬度均值，并以該平均寬度wi和高度hi作一個(gè)矩形，計(jì)算某個(gè)連通區(qū)域與該連通區(qū)域的矩形的面積比，參見公式(4)ϵareai=Siwi*hi...(4)]]>再計(jì)算矩形的寬度wi與高度hi的比，參見公式(5)ϵratei=wihi...(5)]]>
若εareai、εratei在預(yù)設(shè)的范圍，設(shè)定形狀屬性影響因子Fsh為1，否則Fsh為0；紋理顏色判斷模塊，用于取連通區(qū)域矩形的高度hi的上部的1/7處計(jì)算(Cri，Cbi)的值，并用公式(6)進(jìn)行色差分量矢量的比較ϵcolor=(Cri-150)2-(Cbi-120)2...(6)]]>若εcolor＞閾值2設(shè)定區(qū)域大小影響因子Fcolor為0.2～0.5之間；若閾值1＜Si＜閾值2，設(shè)定區(qū)域大小影響因子Fcolor為1；活動(dòng)屬性判斷模塊，用于計(jì)算對(duì)象目標(biāo)的重心，計(jì)算公式由式(7)計(jì)算得到Xcg(i)=Σx,y∈SixSi;Ycg(i)=Σx,y∈SiySi...(7)]]>如在t幀時(shí)某一目標(biāo)的重心在(xcg(t)，ycg(t))，t+1幀時(shí)某一目標(biāo)的重心在(xcg(t+1)，ycg(t+1))，運(yùn)動(dòng)方向可以用(dx＝xcg(t+1)-xcg(t)，dy＝y(tǒng)cg(t+1)-ycg(t))來(lái)確認(rèn)，運(yùn)動(dòng)速度可以通過(guò)下式來(lái)進(jìn)行計(jì)算Vt=dx2+dy2Δt...(8)]]>運(yùn)動(dòng)加速度可以通過(guò)(8)式求得的速度值來(lái)進(jìn)行計(jì)算αt＝Vt-Vt-1/Δt (9)式中Δt為兩幀之間的時(shí)間間隔，Vt為從t+1幀到t幀的運(yùn)動(dòng)速度，at為t幀時(shí)刻時(shí)的加速度。
預(yù)設(shè)人的運(yùn)動(dòng)速度與加速度的閾值范圍，如果超過(guò)該閾值范圍，設(shè)定運(yùn)動(dòng)特性影響因子Fmove為0；明顯低于該閾值范圍，設(shè)定運(yùn)動(dòng)特性影響因子Fmove為0.2～0.5之間；其他設(shè)定運(yùn)動(dòng)特性影響因子Fmove為1；綜合判斷處理模塊，用于根據(jù)上述的五種屬性信息，加權(quán)綜合計(jì)算，如(10)Wguard alarm＝Kp×Fp+Ks×Fs+Ksh×Fsh+Kcolor×Fcolor+Kmove×Fmove(10)式中Kattention為異常量化值；Kp為對(duì)象目標(biāo)空間屬性的加權(quán)系數(shù)；Ks為對(duì)象目標(biāo)面積屬性的加權(quán)系數(shù)；
Ksh為對(duì)象目標(biāo)形狀屬性的加權(quán)系數(shù)；Kcolor為對(duì)象目標(biāo)紋理顏色屬性的加權(quán)系數(shù)；Kmove為對(duì)象目標(biāo)運(yùn)動(dòng)屬性的加權(quán)系數(shù)；并將異常量化值與預(yù)設(shè)的告警值Kalarm比較，如果Wguard alarm≥Kalarm，判斷為可疑侵入，通過(guò)通信模塊向管理人員發(fā)送告警信息；否則，判斷為正常。
進(jìn)一步，所述的告警值Kalarm包括可疑告警值Kattention、早期告警值Kalarm1、確認(rèn)告警值Kalarm2，若Kattention≤Wguard alarm≤Kalarm1，判斷為有可疑侵入，通過(guò)用戶通信模塊通知管理人員通過(guò)網(wǎng)絡(luò)確認(rèn)圖像，啟動(dòng)圖像數(shù)據(jù)文件存儲(chǔ)模塊記錄現(xiàn)場(chǎng)視頻數(shù)據(jù)；若Kalarm1＜Wguard alarm≤Kalarm2，判斷為盜難早期警告，通過(guò)用戶通信模塊通知管理人員通過(guò)網(wǎng)絡(luò)確認(rèn)圖像，并要求到現(xiàn)場(chǎng)進(jìn)行確認(rèn)，啟動(dòng)圖像數(shù)據(jù)文件存儲(chǔ)模塊記錄現(xiàn)場(chǎng)視頻數(shù)據(jù)；若Kalarm2＜Wguard alarm，判斷為確認(rèn)盜難警告，通過(guò)用戶通信模塊通知管理人員通過(guò)網(wǎng)絡(luò)確認(rèn)圖像，并要求到現(xiàn)場(chǎng)進(jìn)行確認(rèn)，啟動(dòng)圖像數(shù)據(jù)文件存儲(chǔ)模塊記錄現(xiàn)場(chǎng)視頻數(shù)據(jù)；通報(bào)公安機(jī)關(guān)110。
再進(jìn)一步，所述的微處理器還包括背景維護(hù)模塊，所述的背景維護(hù)模塊包括背景亮度計(jì)算單元，用于計(jì)算平均背景亮度Yb計(jì)算公式如式(11)所示Y‾b=Σx=0W-1Σy=0H-1Yn(x,y)(1-Mn(x,y))Σx=0W-1Σy=0H-1(1-Mn(x,y))...(11)]]>式(11)中，Yn(x，y)為當(dāng)前幀各像素的亮度，Mn(x，y)為當(dāng)前幀的掩模表，所述的掩模表是用一個(gè)與視頻幀尺寸相同的數(shù)組M來(lái)記錄各像素點(diǎn)是否有運(yùn)動(dòng)變化，參見式(12) Yb0為判定為運(yùn)動(dòng)對(duì)象時(shí)前一幀的背景亮度，Yb1為判定為運(yùn)動(dòng)對(duì)象時(shí)第一幀的背景亮度，兩幀平均亮度的變化為ΔY＝Y(jié)b1-Yb0 (13)
如果ΔY大于上限值，則認(rèn)為發(fā)生了開燈事件；如果ΔY小于某個(gè)下限值，則認(rèn)為發(fā)生了關(guān)燈事件；如ΔY介于上限值和下限值之間，則認(rèn)為光線自然變化；背景自適應(yīng)單元，用于當(dāng)光線自然變化時(shí)，按照下式(14)進(jìn)行自適應(yīng)學(xué)習(xí)Xmix，bn+1(i)＝(1-λ)Xmix，bn(i)+λXmix，cn(i) (14)式中Xmix，cn(i)為當(dāng)前幀RGB向量，Xmix，bn(i)為當(dāng)前幀背景RGB向量，Xmix，bn+1(i)為下一幀背景預(yù)測(cè)RGB向量，λ為背景更新的速度；λ＝0，使用固定不變的背景(初始背景)；λ＝1，使用當(dāng)前幀作為背景；0＜λ＜1，背景由前一時(shí)刻的背景與當(dāng)前幀混合而成；當(dāng)光線由開關(guān)燈引起的，背景像素按照當(dāng)前幀重置，參見式(15)Xmix，bn+1(i)＝Xmix，cn(i) (15)。
更進(jìn)一步，所述的微處理器還包括噪聲剔除模塊，用于將每一個(gè)像素值用其局部鄰域內(nèi)所有值的均值置換，如公式(16)所示h[i，j]＝(1/M)∑f[k，1] (16)上式(16)中，M是鄰域內(nèi)的像素點(diǎn)總數(shù)。
所述的圖像展開處理模塊，用于根據(jù)圓形全方位圖像上的一個(gè)點(diǎn)(x*，y*)和矩形柱狀全景圖上的一個(gè)點(diǎn)(x**，y**)的對(duì)應(yīng)關(guān)系，建立(x*，y*)與(x**，y**)的映射矩陣，式(17)所示P**(x**，y**)←M×P*(x*，y*) (17)上式中，M是映射矩陣，P*(x*，y*)是圓形全方位圖像上的像素矩陣，P**(x**，y**)是矩形柱狀全景圖上的像素矩陣。
所述的色彩空間轉(zhuǎn)化模塊，從RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間的關(guān)系式為式(18)Y＝0.301*R+0.586*G+0.113*BU＝-0.301*R-0.586*G+0.887*B (18)V＝0.699*R-0.586*G-0.113*B上式中，Y代表YUV顏色模型的亮度，U、V是YUV顏色模型的兩個(gè)彩色分量，表示色差；R表示RGB色彩空間的紅色；G表示RGB色彩空間的綠色；B表示RGB色彩空間的藍(lán)色。
本發(fā)明的工作原理是如圖1所示，攝像頭的投影中心C在水平場(chǎng)景上方距離水平場(chǎng)景h處，反射鏡的頂點(diǎn)在投影中心上方，距離投影中心zo處。本發(fā)明中以攝像頭投影中心為坐標(biāo)原點(diǎn)建立坐標(biāo)系，反射鏡的面形用z(X)函數(shù)表示。在像平面內(nèi)距離像中心點(diǎn)ρ的像素q接受了來(lái)自水平場(chǎng)景O點(diǎn)(距離Z軸d)，在反射鏡M點(diǎn)反射的光線。水平場(chǎng)景無(wú)畸變要求場(chǎng)景物點(diǎn)的水平坐標(biāo)與相應(yīng)像點(diǎn)的坐標(biāo)成線性關(guān)系；d(ρ)＝αρ (19)式(19)中ρ是與反射鏡的面形中心點(diǎn)的距離，α為成像系統(tǒng)的放大率。
設(shè)反射鏡在M點(diǎn)的法線與Z軸的夾角為γ，入射光線與Z軸的夾角為Φ，反射光線與Z軸的夾角為θ。則tg(x)=d(x)-xz(x)-h...(20)]]>tgγ=dz(x)dx...(21)]]>tg(2γ)=2dz(x)dx1-d2z(x)dx2...(22)]]> 由反射定律2γ＝φ-θ∴tg(2γ)=tg(φ-θ)=tgφ-tgθ1+tgφtgθ...(24)]]>由式(20)、(22)、(23)和(24)得到微分方程(25)d2z(x)dx2+2kdz(x)dx-1=0...(25)]]>式中；k=z(x)[z(x)-h]+x[d(x)-x]z(x)[d(x)-x]+x[z(x)-h]...(26)]]>由式(25)得到微分方程(27)
dz(x)dx+k-k2+1=0...(27)]]>由式(19)、(23)得到式(28)d(x)=afxz(x)...(28)]]>由式(26)、(27)、(28)和初始條件，解微分方程可以得到反射鏡面形的數(shù)字解。系統(tǒng)外形尺寸主要指反射鏡離攝像頭的距離Ho和反射鏡的口徑D。折反射全景系統(tǒng)設(shè)計(jì)時(shí)根據(jù)應(yīng)用要求選擇合適的攝像頭，標(biāo)定出Rmin，透鏡的焦距f確定反射鏡離攝像頭的距離Ho，由(19)式計(jì)算出反射鏡的口徑Do。
系統(tǒng)參數(shù)的確定根據(jù)應(yīng)用所要求的高度方向的視場(chǎng)確定系統(tǒng)參數(shù)af。由式(19)、(20)和(23)得到式(29)，這里作了一些簡(jiǎn)化，將z(x)≈z0，主要考慮對(duì)于鏡面的高度變化相對(duì)于鏡面與攝像頭的位置變化比較小；tgφ=(af-z0)ρfz0-h...(29)]]>在像平面以像中心點(diǎn)為圓心的最大圓周處ρ=Rminωnax=Rminf→]]>對(duì)應(yīng)的視場(chǎng)為фmax。則可以得到式(30)；ρf=(z0-h)tgφmaxωmax+z0...(30)]]>成像模擬采用與實(shí)際光線相反的方向進(jìn)行。設(shè)光源在攝像頭投影中心，在像平面內(nèi)等間距的選取像素點(diǎn)，通過(guò)這些像素點(diǎn)的光線，經(jīng)反射鏡反射后與水平面相交，若交點(diǎn)是等間距的，則說(shuō)明反射鏡具有水平場(chǎng)景無(wú)畸變的性質(zhì)。成像模擬一方面可以評(píng)價(jià)反射鏡的成像性質(zhì)，另一方面可以準(zhǔn)確地計(jì)算出反射鏡的口徑和厚度。
進(jìn)一步說(shuō)明本發(fā)明在實(shí)施過(guò)程中涉及到標(biāo)定與目標(biāo)識(shí)別等幾個(gè)關(guān)鍵問(wèn)題(1)如何標(biāo)定全方位視覺傳感器的成像平面內(nèi)的像素距離與實(shí)際三維空間距離的對(duì)應(yīng)關(guān)系，并在該基礎(chǔ)上對(duì)運(yùn)動(dòng)圖像進(jìn)行分類。因?yàn)槿轿灰曈X攝像機(jī)成像平面是二維的，以像素為計(jì)量單位，在成像平面上，在室外情況下通過(guò)全方位視覺傳感器觀察到的變化情況非常復(fù)雜，有些可能包含有各種燈光的反射和照射、各種車輛、各種寵物及其它諸如飛鳥、流云、搖動(dòng)的樹枝等運(yùn)動(dòng)物體，為了便于進(jìn)一步的跟蹤和行為分析，運(yùn)動(dòng)目標(biāo)的正確分類是完全必要的。分類方法有基于形狀、大小信息的分類和基于運(yùn)動(dòng)特性的分類。
(2)如何進(jìn)行目標(biāo)跟蹤，跟蹤等價(jià)于在連續(xù)的圖像幀間創(chuàng)建基于位置、速度、形狀、紋理、色彩等有關(guān)特征的對(duì)應(yīng)匹配問(wèn)題，本發(fā)明中將活動(dòng)中人物的屬性信息結(jié)合起來(lái)，提供一種有效的、魯棒性高的、實(shí)時(shí)性好的目標(biāo)跟蹤方法。這種跟蹤方法實(shí)際上是基于模型的、基于區(qū)域的、基于活動(dòng)輪廓的、以及基于顏色特征的等跟蹤方法的一種綜合。
全方位視覺攝像機(jī)視場(chǎng)距離的標(biāo)定涉及成像幾何的理論，將客觀世界的三維場(chǎng)景投射到攝像機(jī)的二維象平面，需要建立攝像機(jī)的模型來(lái)描述。這些成像變換涉及不同坐標(biāo)系之間的變換。在攝像機(jī)的成像系統(tǒng)中，涉及到的有以下4個(gè)坐標(biāo)系；(1)現(xiàn)實(shí)世界坐標(biāo)系XYZ；(2)以攝像機(jī)為中心制定的坐標(biāo)系x^y^z^；(3)像平面坐標(biāo)系，在攝像機(jī)內(nèi)所形成的像平面坐標(biāo)系x*y*o*；(4)計(jì)算機(jī)圖像坐標(biāo)系，計(jì)算機(jī)內(nèi)部數(shù)字圖像所用的坐標(biāo)系MN，以像素為單位。
根據(jù)以上幾個(gè)坐標(biāo)系不同的轉(zhuǎn)換關(guān)系，就可以得到所需要的全方位攝像機(jī)成像模型，換算出二維圖像到三維場(chǎng)景的對(duì)應(yīng)關(guān)系。本發(fā)明中采用折反射全方位成像系統(tǒng)的近似透視成像分析方法將攝像機(jī)內(nèi)所形成的像平面坐標(biāo)二維圖像換算到三維場(chǎng)景的對(duì)應(yīng)關(guān)系，圖3為一般的透視成像模型，d為人體高，ρ為人體的像高，t為人體的距離，F(xiàn)為人體的像距(等效焦距)?？梢缘玫绞?31)d=tFρ...(31)]]>在上述水平場(chǎng)景無(wú)的折反射全方位成像系統(tǒng)的設(shè)計(jì)時(shí)，要求場(chǎng)景物點(diǎn)的水平坐標(biāo)與相應(yīng)像點(diǎn)的坐標(biāo)成線性關(guān)系，如式(19)表示；比較式(31)，(19)，可以看出水平場(chǎng)景無(wú)變形的折反射全方位成像系統(tǒng)對(duì)水平場(chǎng)景的成像為透視成像。因此就水平場(chǎng)景成像而言，可以將水平場(chǎng)景無(wú)變形的折反射全方位成像系統(tǒng)視為透視相機(jī)，α為成像系統(tǒng)的放大率。設(shè)該虛擬透視相機(jī)的投影中心為C點(diǎn)(見附圖3)，其等效焦距為F。比較式(31)，(19)式可以得到式(32)；α=tF;t=h...(32)]]>
由式(30)、(32)得到式(33)F=fhωmax(z0-h)tgφmax+z0ωmax0...(33)]]>根據(jù)上述全方位攝像機(jī)成像模型進(jìn)行系統(tǒng)成像模擬，由攝像頭投影中心發(fā)出的經(jīng)過(guò)像素平面內(nèi)等間距像素點(diǎn)的光線族反射后，在距離投影中心3m的水平面上的交點(diǎn)基本上是等間距的，如附圖4所示。因此根據(jù)上述設(shè)計(jì)原理本專利中將水平路面的坐標(biāo)與相應(yīng)全方位像點(diǎn)的坐標(biāo)之間的關(guān)系簡(jiǎn)化為線性關(guān)系，也就是說(shuō)通過(guò)反射鏡面的設(shè)計(jì)將現(xiàn)實(shí)世界坐標(biāo)系XYZ到像平面坐標(biāo)系的轉(zhuǎn)化可以用放大率α為比例的線形關(guān)系。下面是從像平面坐標(biāo)系到計(jì)算機(jī)內(nèi)部數(shù)字圖像所用的坐標(biāo)系的轉(zhuǎn)化，計(jì)算機(jī)中使用的圖像坐標(biāo)單位是存儲(chǔ)器中離散像素的個(gè)數(shù)，所以對(duì)實(shí)際像平面的坐標(biāo)還需取整轉(zhuǎn)換才能映射到計(jì)算機(jī)的成像平面，其變換表達(dá)式為由式(34)給出；M=Om-x*Sx;N=On-y*Sy;...(34)]]>式中Om、On分別為象平面的原點(diǎn)在計(jì)算機(jī)圖像平面上所映射的點(diǎn)像素所在的行數(shù)和列數(shù)；Sx、Sy分別為在x和y方向上的尺度因子。Sx、Sy的確定是通過(guò)在攝像頭與反射鏡面之間距離Z處放置標(biāo)定板，對(duì)攝像機(jī)進(jìn)行標(biāo)定得到Sx、Sy的數(shù)值，單位是(pixel)；Om、On。的確定是根據(jù)所選擇的攝像頭分辨率像素，單位是(pixel)。
進(jìn)一步，說(shuō)明360°全方位進(jìn)行攝像的原理，空間上的一個(gè)點(diǎn)A(x1，y1，z1)經(jīng)折反射鏡面1反射到透鏡4上對(duì)應(yīng)有一個(gè)投影點(diǎn)P1(x*1，y*1)，通過(guò)透鏡4的光線變成平行光投射到CCD攝像單元5，微處理器6通過(guò)視頻接口讀入該環(huán)狀圖像，采用軟件對(duì)該環(huán)狀圖像進(jìn)行展開得到全方位的圖像并顯示在顯示單元7上或者通過(guò)視頻服務(wù)器發(fā)布在網(wǎng)頁(yè)上。
在展開方法上本專利中采用了一種快速的近似展開算法，能夠?qū)r(shí)間消耗和對(duì)各種參數(shù)的要求降到最小，同時(shí)盡可能的保持有用的信息。展開規(guī)則有三條，(1)X*軸為起始位置，按逆時(shí)針?lè)绞秸归_；(2)左圖中X*軸與內(nèi)徑r的交點(diǎn)O，對(duì)應(yīng)到右圖中左下角的原點(diǎn)O(0，0)；(3)展開后的右圖的寬度等于左圖中虛線所示的圓的周長(zhǎng)。其中虛線圓為左圖內(nèi)外徑的同心圓，且其半徑r1＝(r+R)/2。
設(shè)圓形圖的圓心O*坐標(biāo)(x*0，y*0)，展開的矩形圖左下角原點(diǎn)坐標(biāo)O**(0，0)，矩形圖中任意一點(diǎn)P**＝(x**，y**)所對(duì)應(yīng)的點(diǎn)在圓形圖中的坐標(biāo)為(x*，y*)。下面我們需要求的是(x*，y*)和(x**，y**)的對(duì)應(yīng)關(guān)系。根據(jù)幾何關(guān)系可以得到如下公式β＝tan-1(y*/x*)(35)r1＝(r+R)/2(36)令虛線圓的半徑r1＝(r+R)/2，目的是為了讓展開后的圖看起來(lái)形變均勻一些。
x*＝y(tǒng)*/(tan(2x**/(R+r)))(37)y*＝(y**+r)cosβ(38)從式(37)、(38)可以得到圓形全方位圖像上的一個(gè)點(diǎn)(x*，y*)和矩形全景圖上的一個(gè)點(diǎn)(x**，y**)的對(duì)應(yīng)關(guān)系。該方法實(shí)質(zhì)上是做了一個(gè)圖像插值的過(guò)程。展開后，虛線上方的圖像是橫向壓縮過(guò)的，虛線下方的圖像是橫向拉伸過(guò)的，而在虛線本身上的點(diǎn)則保持不變。
近年發(fā)展起來(lái)的全方位視覺傳感器ODVS(OmniDirectional Vision Sensors)為實(shí)時(shí)獲取場(chǎng)景的全景圖像提供了一種新的解決方案。ODVS的特點(diǎn)是視野廣(360度)，能把一個(gè)半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；獲取一個(gè)場(chǎng)景圖像時(shí)，ODVS在場(chǎng)景中的安放位置更加自由；監(jiān)視環(huán)境時(shí)ODVS不用瞄準(zhǔn)目標(biāo)；檢測(cè)和跟蹤監(jiān)視范圍內(nèi)的運(yùn)動(dòng)物體時(shí)算法更加簡(jiǎn)單；可以獲得場(chǎng)景的實(shí)時(shí)圖像。這種ODVS攝像機(jī)主要由一個(gè)CCD攝像機(jī)和正對(duì)著攝像頭的一個(gè)反光鏡組成。反光鏡面將水平方向一周的圖像反射給CCD攝像機(jī)成像，這樣，就可以在一幅圖像中獲取水平方向360°的環(huán)境信息。這種全方位攝像機(jī)有著非常突出的優(yōu)點(diǎn)，特別在對(duì)全景實(shí)時(shí)處理要求下，是一種快速、可靠的視覺信息采集途徑。但另一方面，這種圖像獲取模式同時(shí)也決定了得到的全方位圖像必然存在著一定程度上的壓縮和形變，這就影響了它對(duì)遠(yuǎn)距離物體的觀察精度。
這種ODVS攝像機(jī)可以在全方位拍攝到半球視野中的所有情況。能把一個(gè)半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；獲取一個(gè)場(chǎng)景圖像時(shí)，ODVS在場(chǎng)景中的安放位置更加自由；監(jiān)視環(huán)境時(shí)ODVS不用瞄準(zhǔn)目標(biāo)；檢測(cè)和跟蹤監(jiān)視范圍內(nèi)的運(yùn)動(dòng)物體時(shí)算法更加簡(jiǎn)單；可以獲得場(chǎng)景的實(shí)時(shí)圖像。同時(shí)，由于全方位視覺是一種典型的機(jī)器視覺，是人不可能具備的。攝像機(jī)采集圖像的原理和人眼觀察物體的原理不一樣，使得全方位圖像與人眼看到的圖像差別也很大，即使按照柱面展開，其形變還是存在的。因此如何通過(guò)全方位光學(xué)成像技術(shù)、計(jì)算機(jī)圖象處理技術(shù)和網(wǎng)絡(luò)技術(shù)通信技術(shù)為智能安保領(lǐng)域提供一種快速、可靠的監(jiān)控領(lǐng)域大范圍內(nèi)視覺信息采集途徑，并根據(jù)ODVS攝像機(jī)得到的實(shí)時(shí)全方位圖像，通過(guò)計(jì)算判斷出是否有人進(jìn)出監(jiān)控范圍，同時(shí)能通過(guò)各種手段通知監(jiān)控人員注意有可能侵入事件發(fā)生并記錄當(dāng)時(shí)的視頻圖像以便事后分析破案。
全方位攝像機(jī)本身的分辨率的制約。全方位攝像機(jī)是一種能在同一時(shí)刻快速獲取大范圍環(huán)境信息的工具，但是這也就限制了它的分辨率的提高。在實(shí)時(shí)處理系統(tǒng)中，總體的處理信息量一定的前提下，信息的范圍廣，必然導(dǎo)致其精度低。所以，全方位攝像機(jī)是一種很好的全局信息的獲取工具，但不是很好的精確的局部信息獲取工具。要獲得很好的精確的局部信息(比如拍照取證得到侵入者等詳細(xì)信息)需要另一臺(tái)攝像機(jī)進(jìn)行配合，全方位攝像裝置捕捉到有可疑人或者物時(shí)，將該可疑人(物)的空間位置發(fā)送給另一臺(tái)攝像機(jī)，該攝像機(jī)對(duì)著該可疑人進(jìn)行抓拍，同時(shí)將全方位攝像裝置捕捉到可疑人的軌跡、時(shí)間信息保存起來(lái)，以便通過(guò)網(wǎng)絡(luò)發(fā)送給安防部門。
本發(fā)明的有益效果主要表現(xiàn)在1、同時(shí)滿足靈敏度和誤報(bào)率；2、實(shí)時(shí)性好；3、安全性高。


圖1是全方位視覺光學(xué)原理圖；圖2是基于全方位計(jì)算機(jī)視覺的智能安保裝置的結(jié)構(gòu)原理圖；圖3是全方位視覺裝置與透視成像模型等價(jià)的透視投影成像模型示意圖；圖4是全方位視覺裝置在水平方向上圖像無(wú)形變模擬示意圖；圖5是全方位視覺裝置的處理流程圖；圖6是基于全方位計(jì)算機(jī)視覺的智能安保裝置的微處理器的原理框圖。
圖7是連通區(qū)域面積計(jì)算的圖像標(biāo)記示意圖。
(五)
具體實(shí)施例方式
下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。
參照?qǐng)D1、圖2、圖3、圖4、圖5、圖6、圖7，一種基于全方位視覺傳感器的智能安保裝置，包括微處理器6、用于監(jiān)視安全情況的全方位視覺傳感器13、用于與外界通信的通信模塊；所述的全方位視覺傳感器包括用于反射監(jiān)控領(lǐng)域中物體的外凸反射鏡面1、透明圓柱體3、攝像頭，攝像頭包括透鏡4和CCD攝像單元5，所述的外凸反射鏡面1朝下，所述的透明圓柱體3支撐外凸反射鏡面1，用于拍攝外凸反射鏡面上成像體的攝像頭位于透明圓柱體3的內(nèi)部，攝像頭的透鏡4位于外凸反射鏡面1的虛焦點(diǎn)上。
對(duì)于全方位視覺傳感器，該部分為了確保所監(jiān)視的場(chǎng)景中物點(diǎn)的水平坐標(biāo)與相應(yīng)像點(diǎn)的坐標(biāo)成線性關(guān)系即在水平場(chǎng)景無(wú)畸變，作為安防監(jiān)視功能的全方位視覺裝置安裝在離路面高度3米左右之處，監(jiān)視著監(jiān)控領(lǐng)域在水平方向上的情況，因此在設(shè)計(jì)全方位視覺裝置的折反射鏡面時(shí)要保證在水平方向上的不變形。設(shè)計(jì)中首先選用CCD(CMOS)器件和成像透鏡構(gòu)成攝像頭，在對(duì)攝像頭內(nèi)部參數(shù)標(biāo)定的基礎(chǔ)上初步估算系統(tǒng)外形尺寸，然后根據(jù)高度方向的視場(chǎng)確定反射鏡面形參數(shù)。
所述的微處理器包括圖像數(shù)據(jù)讀取模塊16，用于讀取從視頻傳感器傳過(guò)來(lái)的視頻圖像信息；圖像預(yù)處理模塊，用于完成邊緣的探測(cè)和求連通區(qū)域等處理；圖像數(shù)據(jù)文件存儲(chǔ)模塊18，用于將讀進(jìn)來(lái)的視頻圖像信息通過(guò)文件方式保存在存儲(chǔ)單元中；傳感器標(biāo)定模塊17，用于對(duì)全方位視覺傳感器的參數(shù)進(jìn)行標(biāo)定，建立空間的實(shí)物圖像與所獲得的視頻圖像的線性對(duì)應(yīng)關(guān)系；色彩空間轉(zhuǎn)化模塊25，用于將圖像RGB色彩空間轉(zhuǎn)化到Y(jié)UV空間，從RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間的關(guān)系式為式(18)Y＝0.301*R+0.586*G+0.113*BU＝-0.301*R-0.586*G+0.887*B(18)V＝0.699*R-0.586*G-0.113*B上式中，Y代表YUV顏色模型的亮度，U、V是YUV顏色模型的兩個(gè)彩色分量，表示色差；R表示RGB色彩空間的紅色；G表示RGB色彩空間的綠色；B表示RGB色彩空間的藍(lán)色；圖像展開處理模塊19，用于將采集的圓形視頻圖像展開為全景柱狀圖，用于根據(jù)圓形全方位圖像上的一個(gè)點(diǎn)(x*，y*)和矩形柱狀全景圖上的一個(gè)點(diǎn)(x**，y**)的對(duì)應(yīng)關(guān)系，建立(x*，y*)與(x**，y**)的映射矩陣，式(17)所示P**(x**，y**)←M×P*(x*，y*) (17)上式中，M是映射矩陣，P*(x*，y*)是圓形全方位圖像上的像素矩陣，P**(x**，y**)是矩形柱狀全景圖上的像素矩陣；圖像展開處理模塊19的輸出連接到實(shí)時(shí)播放模塊20，連接到顯示器21中顯示。
背景維護(hù)模塊29，所述的背景維護(hù)模塊包括背景亮度計(jì)算單元，用于計(jì)算平均背景亮度Yb計(jì)算公式如式(11)所示Y‾b=Σx=0W-1Σy=0H-1Yn(x,y)(1-Mn(x,y))Σx=0W-1Σy=0H-1(1-Mn(x,y))...(11)]]>式(11)中，Yn(x，y)為當(dāng)前幀各像素的亮度，Mn(x，y)為當(dāng)前幀的掩模表，所述的掩模表是用一個(gè)與視頻幀尺寸相同的數(shù)組M來(lái)記錄各像素點(diǎn)是否有運(yùn)動(dòng)變化，參見式(12) Yb0為判定為運(yùn)動(dòng)對(duì)象時(shí)前一幀的背景亮度，Yb1為判定為運(yùn)動(dòng)對(duì)象時(shí)第一幀的背景亮度，兩幀平均亮度的變化為ΔY＝Y(jié)b1-Yb0(13)如果ΔY大于上限值，則認(rèn)為發(fā)生了開燈事件；如果ΔY小于某個(gè)下限值，則認(rèn)為發(fā)生了關(guān)燈事件；如ΔY介于上限值和下限值之間，則認(rèn)為光線自然變化；背景自適應(yīng)單元，用于當(dāng)光線自然變化時(shí)，按照下式(14)進(jìn)行自適應(yīng)學(xué)習(xí)Xmix，bn+1(i)＝(1-λ)Xmix，bn(i)+λXmix，cn(i) (14)式中Xmix，cn(i)為當(dāng)前幀RGB向量，Xmix，bn(i)為當(dāng)前幀背景RGB向量，Xmix，bn+1(i)為下一幀背景預(yù)測(cè)RGB向量，λ為背景更新的速度；λ＝0，使用固定不變的背景(初始背景)；λ＝1，使用當(dāng)前幀作為背景；0＜λ＜1，背景由前一時(shí)刻的背景與當(dāng)前幀混合而成；當(dāng)光線由開關(guān)燈引起的，背景像素按照當(dāng)前幀重置，參見式(15)Xmix，bn+1(i)＝Xmix，cn(i) (15)。
運(yùn)動(dòng)對(duì)象檢測(cè)模塊23，用于將所獲得的當(dāng)前幀現(xiàn)場(chǎng)視頻圖像與一個(gè)相對(duì)比較穩(wěn)定的基準(zhǔn)參考圖像進(jìn)行差值運(yùn)算，圖像相減的計(jì)算公式如式(1)表示fd(X，t0，ti)＝f(X，ti)-f(X，t0)(1)上式中，fd(X，t0，ti)是實(shí)時(shí)拍攝到圖像與基準(zhǔn)參考圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti)是實(shí)時(shí)拍攝到圖像；f(X，t0)是基準(zhǔn)參考圖像；并將當(dāng)前圖像中與相鄰K幀的圖像相減計(jì)算公式如(2)所示fd(X，ti-k，ti)＝f(X，ti)-f(X，ti-k)(2)上式中，fd(X，ti-k，ti)是實(shí)時(shí)拍攝到圖像與相鄰K幀圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti-k)是相鄰K幀時(shí)的圖像；如fd(X，t0，ti)≥閾值、fd(X，ti-k，ti)≥閾值成立時(shí)，判定為運(yùn)動(dòng)對(duì)象；如fd(X，t0，ti)≥閾值、fd(X，ti-k，ti)＜閾值，判定靜止對(duì)象，并用式(3)來(lái)更新替換基準(zhǔn)參考圖像f(X,t0)⇐f(X,ti-k)...(3)]]>如fd(X，t0，ti)＜閾值，判定為靜止對(duì)象；連通區(qū)域計(jì)算模塊，用于對(duì)當(dāng)前圖像進(jìn)行標(biāo)記，像素灰度為0的小區(qū)表示此小區(qū)無(wú)可疑侵入，像素灰度為1則表示此小區(qū)有可疑侵入，計(jì)算當(dāng)前圖像中的像素是否與當(dāng)前像素周圍相鄰的某一個(gè)點(diǎn)的像素相等，如灰度相等判斷為具有連通性，將所有具有連通性的像素作為一個(gè)連通區(qū)域；空間位置屬性判斷模塊，用于對(duì)每個(gè)連通區(qū)域并對(duì)其上下空間部分進(jìn)行顏色分割，如果某個(gè)連通區(qū)域與地面顏色相接觸，設(shè)定空間位置影響因子Fp為1；否則Fp為0；區(qū)域大小屬性判斷模塊，用于將每個(gè)連通區(qū)域求出其面積Si與預(yù)設(shè)的閾值進(jìn)行比較，如下判斷規(guī)則若Si＜閾值1，則該變化區(qū)域?yàn)樵肼朁c(diǎn)；
若Si＞閾值2，則該變化區(qū)域?yàn)榇竺娣e的變化，設(shè)定區(qū)域大小影響因子Fs為0.2～0.5之間；若閾值1＜Si＜閾值2，則該變化區(qū)域可疑為有人，設(shè)定區(qū)域大小影響因子Fs為1；形狀屬性判斷模塊，用于將人體模型簡(jiǎn)化矩形模型，求每個(gè)連通區(qū)域的平均寬度和高度，平均寬度wi是在高度hi方向的分成4等份的寬度均值，并以該平均寬度wi和高度hi作一個(gè)矩形，計(jì)算某個(gè)連通區(qū)域與該連通區(qū)域的矩形的面積比，參見公式(4)ϵareai=Siwi*hi...(4)]]>再計(jì)算矩形的寬度wi與高度hi的比，參見公式(5)ϵratei=wihi...(5)]]>若εareai、εratei在預(yù)設(shè)的范圍，設(shè)定形狀屬性影響因子Fsh為1，否則Fsh為0；紋理顏色判斷模塊，用于取連通區(qū)域矩形的高度hi的上部的1/7處計(jì)算(Cri，Cbi)的值，并用公式(6)進(jìn)行色差分量矢量的比較ϵcolor=(Cri-150)2-(Cbi-120)2...(6)]]>若εcolor＞閾值2設(shè)定區(qū)域大小影響因子Fcolor為0.2～0.5之間；若閾值1＜Si＜閾值2，設(shè)定區(qū)域大小影響因子Fcolor為1；活動(dòng)屬性判斷模塊，用于計(jì)算對(duì)象目標(biāo)的重心，計(jì)算公式由式(7)計(jì)算得到Xcg(i)=Σx,y∈SixSi;Ycg(i)=Σx,y∈SiySi...(7)]]>如在t幀時(shí)某一目標(biāo)的重心在(xcg(t)，ycg(t))，t+1幀時(shí)某一目標(biāo)的重心在(xcg(t+1)，ycg(t+1))，運(yùn)動(dòng)方向可以用(dx＝xcg(t+1)-xcg(t)，dy＝y(tǒng)cg(t+1)-ycg(t))來(lái)確認(rèn)，運(yùn)動(dòng)速度可以通過(guò)下式來(lái)進(jìn)行計(jì)算Vt=dx2+dy2Δt...(8)]]>
運(yùn)動(dòng)加速度可以通過(guò)(8)式求得的速度值來(lái)進(jìn)行計(jì)算αt＝Vt-Vt-1/Δt (9)式中Δt為兩幀之間的時(shí)間間隔，Vt為從t+1幀到t幀的運(yùn)動(dòng)速度，at為t幀時(shí)刻時(shí)的加速度。
預(yù)設(shè)人的運(yùn)動(dòng)速度與加速度的閾值范圍，如果超過(guò)該閾值范圍，設(shè)定運(yùn)動(dòng)特性影響因子Fmove為0；明顯低于該閾值范圍，設(shè)定運(yùn)動(dòng)特性影響因子Fmove為0.2～0.5之間；其他設(shè)定運(yùn)動(dòng)特性影響因子Fmove為1；綜合判斷處理模塊，用于根據(jù)上述的五種屬性信息，加權(quán)綜合計(jì)算，如(10)Wguard alarm＝Kp×Fp+Ks×Fs+Ksh×Fsh+Kcolor×Fcolor+Kmove×Fmove(10)式中Kattention為異常量化值；Kp為對(duì)象目標(biāo)空間屬性的加權(quán)系數(shù)；Ks為對(duì)象目標(biāo)面積屬性的加權(quán)系數(shù)；Ksh為對(duì)象目標(biāo)形狀屬性的加權(quán)系數(shù)；Kcolor為對(duì)象目標(biāo)紋理顏色屬性的加權(quán)系數(shù)；Kmove為對(duì)象目標(biāo)運(yùn)動(dòng)屬性的加權(quán)系數(shù)；并將異常量化值與預(yù)設(shè)的告警值Kalarm比較，如果Wguard alarm≥Kalarm，判斷為可疑侵入，通過(guò)通信模塊向管理人員發(fā)送告警信息；否則，判斷為正常。
所述的告警值Kalarm包括可疑告警值Kattention、早期告警值Kalarm1、確認(rèn)告警值Kalarm2，若Kattention≤Wguard alarm≤Kalarm1，判斷為有可疑侵入，通過(guò)用戶通信模塊通知管理人員通過(guò)網(wǎng)絡(luò)確認(rèn)圖像，啟動(dòng)圖像數(shù)據(jù)文件存儲(chǔ)模塊記錄現(xiàn)場(chǎng)視頻數(shù)據(jù)；若Kalarm1＜Wguard alarm≤Kalarm2，判斷為盜難早期警告，通過(guò)用戶通信模塊通知管理人員通過(guò)網(wǎng)絡(luò)確認(rèn)圖像，并要求到現(xiàn)場(chǎng)進(jìn)行確認(rèn)，啟動(dòng)圖像數(shù)據(jù)文件存儲(chǔ)模塊記錄現(xiàn)場(chǎng)視頻數(shù)據(jù)；若Kalarm2＜Wguard alarm，判斷為確認(rèn)盜難警告，通過(guò)用戶通信模塊通知管理人員通過(guò)網(wǎng)絡(luò)確認(rèn)圖像，并要求到現(xiàn)場(chǎng)進(jìn)行確認(rèn)，啟動(dòng)圖像數(shù)據(jù)文件存儲(chǔ)模塊記錄現(xiàn)場(chǎng)視頻數(shù)據(jù)；通報(bào)公安機(jī)關(guān)110。
所述的運(yùn)動(dòng)區(qū)域檢測(cè)模塊23主要是通過(guò)背景消除和目標(biāo)提取來(lái)實(shí)現(xiàn)的，背景消除首先要解決的問(wèn)題是亮度變化的問(wèn)題，如對(duì)于室內(nèi)監(jiān)控會(huì)由于開燈、關(guān)燈操作所造成的光照強(qiáng)度的突變，對(duì)于室外監(jiān)控會(huì)有陽(yáng)光的突然照射(如太陽(yáng)從云層中出來(lái))、一天之中光線強(qiáng)度會(huì)由于光照的變化而產(chǎn)生緩慢變化，因此在背景消除中采用的背景模型要適應(yīng)上述的這些變化。
對(duì)于視頻監(jiān)控，由于全方位場(chǎng)景視野比較大，人體在整幅圖像中所占的比例比較小，因此人物的運(yùn)動(dòng)可以近似看作剛體運(yùn)動(dòng)；另外，視頻監(jiān)控的場(chǎng)景固定，可以認(rèn)為具有相對(duì)比較固定范圍的背景，因此可以采用背景減算法的快速分割算法來(lái)實(shí)時(shí)檢測(cè)和跟蹤視頻監(jiān)控中的運(yùn)動(dòng)人物或物體；背景消除是基于背景減算法檢測(cè)運(yùn)動(dòng)對(duì)象的關(guān)鍵，它直接影響檢測(cè)出運(yùn)動(dòng)對(duì)象的完整性和準(zhǔn)確性。本發(fā)明中采用了背景自適應(yīng)法，其核心思想是對(duì)每一個(gè)背景像素使用1組矢量；RGB變化的當(dāng)前混合值(Xmix，bi)來(lái)表示合法背景像素的允許取值(i為幀號(hào))，并采用IIR濾波對(duì)其進(jìn)行如下更新。背景自適應(yīng)法在背景刷新處理模塊29中實(shí)現(xiàn)。
實(shí)際圖像信號(hào)中包含有噪聲，而且一般都表現(xiàn)為高頻信號(hào)，因此在識(shí)別過(guò)程中要剔除由噪聲所產(chǎn)生的圖像邊緣點(diǎn)。
所述的剔除由噪聲所產(chǎn)生的圖像邊緣點(diǎn)，在本發(fā)明中使用四鄰域遍歷的方法，它用濾波掩膜確定的鄰域內(nèi)像素的平均灰度值去替代圖像每個(gè)像素點(diǎn)的值，即每一個(gè)像素值用其局部鄰域內(nèi)所有值的均值置換，如公式(16)所示h[i，j]＝(1/M)∑f[k，1](16)式中，M是鄰域內(nèi)的像素點(diǎn)總數(shù)，本發(fā)明中取為4。
像素間的連通性是確定區(qū)域的一個(gè)重要概念。在二維圖像中，假設(shè)目標(biāo)像素周圍有m(m＜＝8)個(gè)相鄰的像素，如果該像素灰度與這m個(gè)像素中某一個(gè)點(diǎn)A的灰度相等，那么稱該像素與點(diǎn)A具有連通性。常用的連通性有4連通和8連通。4連通一般選取目標(biāo)像素的上、下、左、右四個(gè)點(diǎn)。8連通則選取目標(biāo)像素在二維空間中所有的相鄰像素。將所有具有連通性的像素作為一個(gè)區(qū)域則構(gòu)成了一個(gè)連通區(qū)域。
所述的連通區(qū)域計(jì)算主要解決在圖像處理過(guò)程中，一幅二值圖像，其背景和目標(biāo)分別具有灰度值0和1。對(duì)這樣的二值圖像，要對(duì)目標(biāo)進(jìn)行標(biāo)記，計(jì)算每一目標(biāo)的特征以進(jìn)行識(shí)別，在多目標(biāo)實(shí)時(shí)跟蹤系統(tǒng)設(shè)計(jì)中，需要有一種快速而節(jié)省內(nèi)存的連通區(qū)域標(biāo)記算法。我們將像素為0的小區(qū)表示此小區(qū)無(wú)動(dòng)作對(duì)象，若為1則表示此小區(qū)有動(dòng)作對(duì)象。所以可以采用連通成分標(biāo)記法進(jìn)行缺陷區(qū)域的合并。連通標(biāo)記算法可以找到圖像中的所有連通成分，并對(duì)同一連通成分中的所有點(diǎn)分配同一標(biāo)記。下面是連通區(qū)域算法，1)從左到右、從上到下掃描圖像；2)如果像素點(diǎn)為1，則·如果上面點(diǎn)和左面點(diǎn)有一個(gè)標(biāo)記，則復(fù)制這一標(biāo)記。
·如果兩點(diǎn)有相同的標(biāo)記，復(fù)制這一標(biāo)記。
·如果兩點(diǎn)有不同的標(biāo)記，則復(fù)制上點(diǎn)的標(biāo)記且將兩個(gè)標(biāo)記輸入等價(jià)表中作為等價(jià)標(biāo)記。
·否則給這個(gè)象素點(diǎn)分配新的標(biāo)記并將這一標(biāo)記輸入等價(jià)表。
3)如果需考慮更多的點(diǎn)則回到第2步。
4)在等價(jià)表的每一等價(jià)集中找到最低的標(biāo)記。
5)掃描圖像，用等價(jià)表中的最低標(biāo)記取代每一標(biāo)記。
連通分量標(biāo)記算法采用直線段作為連通體檢測(cè)的基本處理單元，首先對(duì)原二值圖像進(jìn)行逐行掃描，每掃描出當(dāng)前行的一條直線段(由連續(xù)的標(biāo)記為I的象素點(diǎn)組成)，則與上一行已檢測(cè)出的直線段進(jìn)行連通體檢測(cè)。算法利用一個(gè)線性分析表來(lái)記錄標(biāo)號(hào)的連通關(guān)系，采用標(biāo)號(hào)的從大到小的傳遞關(guān)系來(lái)表示連通體的歸屬關(guān)系，并用函數(shù)遞歸的方法簡(jiǎn)單地實(shí)現(xiàn)標(biāo)號(hào)的歸并。
定義一個(gè)有序的標(biāo)號(hào)序列L＝{l1，l2，l3，…，ln}，滿足l1＝0且li＜1且li＜li+1，i屬于1到n的自然數(shù)。首先，將L中所有元素置為0，然后從上到下，逐行掃描圖像。如果在當(dāng)前行檢測(cè)到有線段存在，則檢測(cè)上一行的直線段的情況。如果上一行沒(méi)有與之相連接的直線段，就給當(dāng)前掃描到的直線段分配一個(gè)新的標(biāo)號(hào)；若有5個(gè)與之相連接的直線段，則用具有最小標(biāo)號(hào)的直線段的標(biāo)號(hào)Smin。來(lái)標(biāo)記當(dāng)前的直線段，同時(shí)記錄這S個(gè)標(biāo)號(hào)的連通性，即將這S個(gè)標(biāo)號(hào)分別與最小標(biāo)號(hào)進(jìn)行連通標(biāo)記Connect(Si，Smin)其中，i從1到S，Connect為連通標(biāo)記函數(shù)，其實(shí)現(xiàn)如下(39)Connect(a,b):la=b,if(la=a)Connect(la,b),if(lP9>b)Connect(la,b),if(la<b)...39]]>
從左到右逐行掃描，直到完成整幅圖像，完成所有的線段標(biāo)記。最后，歸并整個(gè)標(biāo)號(hào)系列l(wèi)i＝Merge(i)其中，i從1到整幅圖像的標(biāo)號(hào)總數(shù)n，Merge為歸并函數(shù)(40)Merge(i)=i,if(li=i)Merge(li),otherwise...40]]>最后，對(duì)標(biāo)記圖像進(jìn)行全局掃描，按歸并后的標(biāo)號(hào)重新標(biāo)記圖像pixel(i，j)＝lpixel(i，j)式中，pixel(i，j)為標(biāo)記圖像中(i.j)位置的標(biāo)號(hào)值。
連通區(qū)域算法對(duì)圖像的標(biāo)記情況如圖7所示。
對(duì)已啟動(dòng)的各個(gè)線程24，所述的視頻分割模塊28主要完成幀間分割等工作，其重要問(wèn)題是(1)盡量利用上一幀的分割結(jié)果來(lái)指導(dǎo)當(dāng)前幀的分割，從而提高效率，(2)實(shí)現(xiàn)同一運(yùn)動(dòng)物體在不同幀中的對(duì)應(yīng)關(guān)系。因此，算法必須維護(hù)一個(gè)存儲(chǔ)系統(tǒng)來(lái)保存上一幀的分割結(jié)果和目前的目標(biāo)運(yùn)動(dòng)參數(shù)。
所述的目標(biāo)匹配模塊30主要實(shí)現(xiàn)兩幀之間的目標(biāo)配對(duì)問(wèn)題，根據(jù)空間位置(包含運(yùn)動(dòng)預(yù)測(cè))、區(qū)域大小、形狀、紋理顏色等信息來(lái)進(jìn)行最佳匹配判斷。有了“目標(biāo)匹配”的信息可以進(jìn)一步深層次來(lái)判斷是否是人以提高識(shí)別率；本發(fā)明將視頻監(jiān)控對(duì)象定位于對(duì)人的監(jiān)控，因此有必要找出一系列人的屬性信息以便實(shí)現(xiàn)監(jiān)控對(duì)象與這些屬性信息之間的對(duì)象匹配，并以此為基礎(chǔ)從不同幀間的信息來(lái)解決目標(biāo)配對(duì)與目標(biāo)跟蹤問(wèn)題；作為視頻監(jiān)控中可利用的人的屬性信息有以下幾個(gè)方面1)空間位置屬性，由于重力的作用，人在空間位置上必須有傳遞其人體重力的地方(如地面)否則無(wú)法達(dá)到自身平衡；2)區(qū)域大小屬性，從俯視的角度來(lái)看一個(gè)人的截面積大約在0.12m2左右；3)形狀屬性，從俯視的角度來(lái)看一個(gè)人的形狀呈橢圓形；4)紋理顏色屬性，只要沒(méi)有偽裝的話，人的紋理顏色與周圍的紋理顏色還是有較大區(qū)別的；5)活動(dòng)屬性，人體自身的整體運(yùn)動(dòng)速度或加速度(不借助與任何工具)是有一個(gè)閾值范圍的；利用上述活動(dòng)中的人體的各種屬性進(jìn)行對(duì)象匹配，然后根據(jù)對(duì)象匹配的結(jié)果進(jìn)行加權(quán)計(jì)算，得到一個(gè)綜合判斷結(jié)果，最后根據(jù)該綜合判斷結(jié)果的量化值的大小進(jìn)行不同的處理。
空間位置屬性判斷是對(duì)上述標(biāo)記過(guò)的每個(gè)連通區(qū)域并對(duì)其上下空間部分進(jìn)行顏色分割，如果某個(gè)連通區(qū)域與地面顏色相接觸，這時(shí)設(shè)定空間位置影響因子Fp為1。
區(qū)域大小屬性判斷是對(duì)上述標(biāo)記過(guò)的每個(gè)連通區(qū)域求出其面積Si，有下面判斷規(guī)則若Si＜閾值1，則該變化區(qū)域?yàn)樵肼朁c(diǎn)；若Si＞閾值2，則該變化區(qū)域?yàn)榇竺娣e的變化，首先考慮到是由于光的照射而產(chǎn)生的變化，但是也不能排除人會(huì)攜帶著一些物品，因此這時(shí)設(shè)定區(qū)域大小影響因子Fs為0.2～0.5之間；若閾值1＜Si＜閾值2，則該變化區(qū)域可疑為有人，這時(shí)設(shè)定區(qū)域大小影響因子Fs為1。
閾值1和閾值2的取值范圍的大小是根據(jù)從上往下看(俯視)一個(gè)成年人的平均截面積在0.12m2左右，然后通過(guò)全方位視覺系統(tǒng)的標(biāo)定結(jié)果來(lái)決定閾值1和閾值2的大小，即像素值的大小。
形狀屬性判斷是對(duì)上述標(biāo)記過(guò)的每個(gè)連通區(qū)域求出其面積Si求其形狀特征屬性再與參考圖像在幾何關(guān)系上達(dá)到匹配，匹配的標(biāo)準(zhǔn)是使兩幅圖像的相似性達(dá)到最大；為了簡(jiǎn)化計(jì)算提高實(shí)時(shí)處理能力，本發(fā)明中具體的做法是將人體模型簡(jiǎn)化矩形模型，首先求每個(gè)連通區(qū)域的(水平方向的長(zhǎng)度)平均寬度和(垂直方向的長(zhǎng)度)高度，平均寬度wi用在高度hi方向的分成4等份的寬度均值，并以該平均寬度wi和高度hi作一個(gè)矩形，然后用公式(4)計(jì)算某個(gè)連通區(qū)域與該連通區(qū)域的矩形的面積比。計(jì)算所得的εareai值在0.5～0.9之間，接著用公式(5)進(jìn)行下面的矩形的寬度wi與高度hi的比的計(jì)算，εareai值小于0.5時(shí)就將該連通區(qū)域排除(不認(rèn)為是有人)。計(jì)算所得到的εratei值根據(jù)空間位置關(guān)系，劃分若干個(gè)區(qū)域半徑，每個(gè)區(qū)越半徑中有其判斷指標(biāo)，比如在10m～12m的區(qū)域半徑范圍內(nèi)，εratei值在0.15～0.4之間，設(shè)定形狀屬性影響因子Fsh為1。
一般來(lái)說(shuō)，人臉的皮膚顏色與背景顏色(或其它非皮膚顏色)是不同的，據(jù)此可快速區(qū)分背景區(qū)域與人臉區(qū)域。另外，顏色本身是一種統(tǒng)計(jì)信息，它具有旋轉(zhuǎn)、伸和平移的不變性，計(jì)算量也小。本發(fā)明直接在YUV顏色空間中進(jìn)行人臉顏色的分析。通過(guò)大量的(100個(gè)人臉)圖像的分析[Dounglas 2001](包括各色人種)，發(fā)現(xiàn)人臉亮度分布在一個(gè)較為均勻的區(qū)域內(nèi)，但色差分量卻分布在比較狹窄的區(qū)域內(nèi)，中心位置位于(Cr，Cb)＝(150，120)處；取連通區(qū)域計(jì)算中的高度hi的上部的1/7(約人臉的下部)處計(jì)算(Cri，Cbi)的值，并用公式(6)進(jìn)行色差分量矢量的比較。若εcolor＞閾值2，可能是背部頭發(fā)顏色等參與了計(jì)算色差分量，因此這時(shí)設(shè)定區(qū)域大小影響因子Fcolor為0.2～0.5之間；若閾值1＜Si＜閾值2，則該變化區(qū)域可疑為有人，這時(shí)設(shè)定區(qū)域大小影響因子Fcolor為1。
陰影判斷算法，由于在YUV色彩空間進(jìn)行判斷，有陰影背景同無(wú)陰影背景相比，Y分量有較大的變化，而表征顏色信息U、V分量變化很小，因此可以把對(duì)陰影的考慮集中到Y(jié)分量中，這樣可以排除人的活動(dòng)、樹枝、建筑物流云等所產(chǎn)生的陰影。
活動(dòng)屬性判斷，由于本發(fā)明中采用了全方位視覺系統(tǒng)，人在整個(gè)場(chǎng)景中的比例小，因此人的運(yùn)動(dòng)模型可以用簡(jiǎn)單的剛體運(yùn)動(dòng)模型來(lái)簡(jiǎn)化，所以可以將人的整體運(yùn)動(dòng)速度或加速度作為一個(gè)重要的判斷指標(biāo)。
通過(guò)比較相鄰兩幀目標(biāo)的重心變化，就可以得到目標(biāo)的運(yùn)動(dòng)方向、運(yùn)動(dòng)速度和加速度。人的運(yùn)動(dòng)速度與加速度都有一個(gè)閾值范圍，如果超過(guò)該閾值范圍就認(rèn)為不是由人體自身所產(chǎn)生的運(yùn)動(dòng)速度與加速度，這時(shí)設(shè)定運(yùn)動(dòng)特性影響因子Fmove為0，明顯低于該閾值范圍(如該閾值的1/10)，設(shè)定運(yùn)動(dòng)特性影響因子Fmove為0.2～0.5之間，其他設(shè)定運(yùn)動(dòng)特性影響因子Fmove為1。
本發(fā)明中為了提高計(jì)算的實(shí)時(shí)性，不采用精確的人體目標(biāo)模型，而是將包含運(yùn)動(dòng)連通區(qū)域限定矩形的頂點(diǎn)和目標(biāo)的重心以及對(duì)象目標(biāo)的所有象素顏色的平均值作為跟蹤的特征，進(jìn)一步實(shí)現(xiàn)多人體對(duì)象目標(biāo)定位和跟蹤。
所述的多人體對(duì)象目標(biāo)定位和跟蹤主要通過(guò)上述圖像分割的基礎(chǔ)上，實(shí)現(xiàn)多個(gè)人體的跟蹤，在目標(biāo)匹配模塊30中實(shí)現(xiàn)。在圖像序列中的人體跟蹤，實(shí)質(zhì)就是建立每一幀中檢測(cè)到的每塊前景區(qū)域與每個(gè)人體的對(duì)應(yīng)關(guān)系。本發(fā)明中首先定義如下描述(1)每一塊前景區(qū)域用向量FR(x，y，Cr，Cb)描述。x，y為圖像中此區(qū)域重心的坐標(biāo)，Cr，Cb為此區(qū)域中所有象素顏色的平均值；(2)每個(gè)人體用向量HB(ID，x，y，Cr，Cb)描述。ID為每個(gè)人體的唯一表示號(hào)，x，y為此人體在圖像中投影的重心坐標(biāo)，Cr，Cb為此人體的顏色均值；(3)當(dāng)兩個(gè)以上的人體非?？拷虺霈F(xiàn)遮擋時(shí)，在圖像中的投影就很難區(qū)分開。這時(shí)，將其看作成一個(gè)“組”，用GP(IDList，x，y)描述。IDList記錄該“組”中包含的所有人體的ID序列，x，y記錄該組在圖像中投影的重心坐標(biāo)。
所述的多對(duì)象定位和跟蹤，本發(fā)明中的具體做法是，首先系統(tǒng)對(duì)沒(méi)有人的環(huán)境持續(xù)觀察一段時(shí)間，然后，多個(gè)人相繼走入監(jiān)控領(lǐng)域范圍，系統(tǒng)檢測(cè)到每一個(gè)新的對(duì)象，啟動(dòng)一個(gè)新線程進(jìn)行活動(dòng)人體判斷26，如果判斷為是人體的話就給其分配一個(gè)標(biāo)識(shí)ID號(hào)，由模塊27完成，并對(duì)其建立人體模型由模塊34完成，同時(shí)用方框?qū)θ梭w區(qū)域進(jìn)行標(biāo)定。當(dāng)多個(gè)人體出現(xiàn)兩個(gè)以上的人體互相非常靠近或是遮擋時(shí)，將其歸類成一個(gè)組，對(duì)組進(jìn)行跟蹤。當(dāng)有單個(gè)人體離開所在的組時(shí)，其身份可通過(guò)最初建立的人體模型來(lái)重新識(shí)別，歸還其身份標(biāo)識(shí)ID號(hào)。當(dāng)人走出監(jiān)控領(lǐng)域范圍時(shí)，其標(biāo)識(shí)ID號(hào)被注銷。
由于運(yùn)動(dòng)中的人體隨著全方位視覺傳感器的視角變化，其大小和形狀都會(huì)發(fā)生相應(yīng)的變化，因此有必要不斷地修正人體模型，動(dòng)態(tài)地修正人體模型是由人體模型更新模塊31實(shí)現(xiàn)的。
綜合判斷處理模塊為了減少誤判斷率，在上述的五種屬性信息判斷的基礎(chǔ)上，加權(quán)綜合判斷計(jì)算在模塊32中進(jìn)行，綜合判斷公式由式(10)給出，綜合判斷中采用了加權(quán)方式，Wguard alarm＝Kp×Fp+Ks×Fs+Ksh×Fsh+Kcolor×Fcolor+Kmove×Fmove(10)式中Kp為對(duì)象目標(biāo)空間屬性的加權(quán)系數(shù)。
Ks為對(duì)象目標(biāo)面積屬性的加權(quán)系數(shù)。
Ksh為對(duì)象目標(biāo)形狀屬性的加權(quán)系數(shù)。
Kcolor為對(duì)象目標(biāo)紋理顏色屬性的加權(quán)系數(shù)。
Kmove為對(duì)象目標(biāo)運(yùn)動(dòng)屬性的加權(quán)系數(shù)。
根據(jù)式(10)計(jì)算出來(lái)的Wguard alarm的結(jié)果，首先要根據(jù)量化值的大小以及安保監(jiān)控情況不同，比如在無(wú)人監(jiān)控的場(chǎng)合可以作出如下不同的輸出結(jié)果，輸出結(jié)果傳送給報(bào)警模塊33，報(bào)警模塊33從用戶基本信息36中調(diào)取信息。
所述的報(bào)警模塊33作出如下判斷，若Kattention≤Wguard alarm≤Kalarm1，則判斷為有可疑侵入，提醒注意，系統(tǒng)自動(dòng)通過(guò)網(wǎng)絡(luò)傳輸模塊22發(fā)送短消息、語(yǔ)音電話或者電子郵件通知管理人員通過(guò)網(wǎng)絡(luò)確認(rèn)圖像，啟動(dòng)圖像數(shù)據(jù)文件存儲(chǔ)模塊18記錄現(xiàn)場(chǎng)視頻數(shù)據(jù)，在這種情況下管理人員可以通過(guò)網(wǎng)絡(luò)選擇繼續(xù)觀測(cè)還是從新開始計(jì)算，并把管理人員的確認(rèn)信息寫入用戶基本數(shù)據(jù)信息模塊36中以便能明確責(zé)任；若Kalarm1＜Wguard alarm≤Kalarm2，則盜難早期警告，通過(guò)網(wǎng)絡(luò)傳輸模塊22發(fā)送短消息、語(yǔ)音電話或者電子郵件通知管理人員通過(guò)網(wǎng)絡(luò)確認(rèn)圖像，并要求到現(xiàn)場(chǎng)進(jìn)行確認(rèn)，啟動(dòng)圖像數(shù)據(jù)文件存儲(chǔ)模塊18記錄現(xiàn)場(chǎng)視頻數(shù)據(jù)；若Kalarm2＜Wguard alarm，除了上述動(dòng)作以外，裝置要自動(dòng)通報(bào)公安機(jī)關(guān)110，通報(bào)的信息包含有報(bào)警的地點(diǎn)(屬于什么區(qū)、什么地段、門牌號(hào)碼)，上述的報(bào)警的地點(diǎn)等信息從用戶基本數(shù)據(jù)信息模塊36中得到，如果公安機(jī)關(guān)有地理位置信息系統(tǒng)的話，按照系統(tǒng)的要求發(fā)送所需要的信息。
實(shí)施例2參照?qǐng)D1、圖2、圖3、圖4、圖5、圖6、圖7，一種基于全方位計(jì)算機(jī)視覺的智能安保裝置，根據(jù)室外使用的需要，考慮環(huán)境條件問(wèn)題，比如日曬雨淋、飛揚(yáng)的粉塵容易吸附在外罩上而使得傳入光線受到影響，因此本發(fā)明中對(duì)室外用(下固定式)全方位計(jì)算機(jī)視覺的智能安保裝置的上部加了一個(gè)防雨遮陽(yáng)帽，將防雨遮陽(yáng)帽用螺釘固定在外罩上，另外外罩采用有機(jī)玻璃材料壓注而成，底座采用鋁合金材料壓注而成，同時(shí)為了便于清潔和維護(hù)，室外用(下固定式)全方位計(jì)算機(jī)視覺的智能安保裝置的裝卸要方便，整個(gè)全方位計(jì)算機(jī)視覺的智能安保裝置固定在一個(gè)懸臂上，懸臂可以固定在道路上的電線桿或者高層建筑物的墻面上。
微處理器6采用嵌入式處理器，本發(fā)明中采用Embedded Linux+Embeddedlinux這樣組合的軟件平臺(tái)，實(shí)驗(yàn)中采用了基于三星公司的ARM9處理器S3C2410X板子，該板子上整合了MIZI公司所公布的免費(fèi)嵌入式Arm-Linux操作系統(tǒng)，本發(fā)明將Wonka(Embedded JVM)移植到了嵌入式linux中，Wonka本身已經(jīng)帶有對(duì)串口、輸入設(shè)備的等驅(qū)動(dòng)支持。選擇Java或者C語(yǔ)言來(lái)作為具有安防監(jiān)視功能的全方位視覺裝置的軟件開發(fā)語(yǔ)言，如要將Java程序運(yùn)行在嵌入式linux上需要有嵌入式Java虛擬機(jī)(Embedded JVM)的支持，本發(fā)明中使用了自己移植成功的免費(fèi)Java虛擬機(jī)。
上述的實(shí)施例1和實(shí)施例2所產(chǎn)生的發(fā)明效果是通過(guò)全方位的計(jì)算機(jī)視覺傳感器使得安防監(jiān)控的范圍更寬廣，提供了一種全新的、維護(hù)成本低、維護(hù)方便、判斷更可靠的、可視化的、智能化的安防監(jiān)控途徑方法與裝置。
權(quán)利要求
1.一種基于全方位視覺傳感器的智能安保裝置，其特征在于該智能安保裝置包括微處理器、用于監(jiān)視安全情況的全方位視覺傳感器、用于與外界通信的通信模塊；所述的全方位視覺傳感器包括用于反射監(jiān)控領(lǐng)域中物體的外凸反射鏡面、透明圓柱體、攝像頭，所述的外凸反射鏡面朝下，所述的透明圓柱體支撐外凸反射鏡面，用于拍攝外凸反射鏡面上成像體的攝像頭位于透明圓柱體的內(nèi)部，攝像頭位于外凸反射鏡面的虛焦點(diǎn)上；所述的微處理器包括圖像數(shù)據(jù)讀取模塊，用于讀取從視頻傳感器傳過(guò)來(lái)的視頻圖像信息；圖像數(shù)據(jù)文件存儲(chǔ)模塊，用于將讀進(jìn)來(lái)的視頻圖像信息通過(guò)文件方式保存在存儲(chǔ)單元中；傳感器標(biāo)定模塊，用于對(duì)全方位視覺傳感器的參數(shù)進(jìn)行標(biāo)定，建立空間的實(shí)物圖像與所獲得的視頻圖像的線性對(duì)應(yīng)關(guān)系；色彩空間轉(zhuǎn)化模塊，用于將圖像RGB色彩空間轉(zhuǎn)化到Y(jié)UV空間；圖像展開處理模塊，用于將采集的圓形視頻圖像展開為全景柱狀圖；運(yùn)動(dòng)對(duì)象檢測(cè)模塊，用于將所獲得的當(dāng)前幀現(xiàn)場(chǎng)視頻圖像與一個(gè)相對(duì)比較穩(wěn)定的基準(zhǔn)參考圖像進(jìn)行差值運(yùn)算，圖像相減的計(jì)算公式如式(1)表示fd(X，t0，ti)＝f(X，ti)-f(X，t0) (1)上式中，fd(X，t0，ti)是實(shí)時(shí)拍攝到圖像與基準(zhǔn)參考圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti)是實(shí)時(shí)拍攝到圖像；f(X，t0)是基準(zhǔn)參考圖像；并將當(dāng)前圖像中與相鄰K幀的圖像相減計(jì)算公式如(2)所示fd(X，ti-k，ti)＝f(X，ti)-f(X，ti-k) (2)上式中，fd(X，ti-k，ti)是實(shí)時(shí)拍攝到圖像與相鄰K幀圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti-k)是相鄰K幀時(shí)的圖像；如fd(X，t0，ti)≥閾值、fd(X，ti-k，ti)≥閾值成立時(shí)，判定為運(yùn)動(dòng)對(duì)象；如fd(X，t0，ti)≥閾值、fd(X，ti-k，ti)＜閾值，判定靜止對(duì)象，并用式(3)來(lái)更新替換基準(zhǔn)參考圖像f(X,t0)⇐f(X,ti-k)---(3)]]>如fd(X，t0，ti)＜閾值，判定為靜止對(duì)象；連通區(qū)域計(jì)算模塊，用于對(duì)當(dāng)前圖像進(jìn)行標(biāo)記，像素灰度為0的小區(qū)表示此小區(qū)無(wú)可疑侵入，像素灰度為1則表示此小區(qū)有可疑侵入，計(jì)算當(dāng)前圖像中的像素是否與當(dāng)前像素周圍相鄰的某一個(gè)點(diǎn)的像素相等，如灰度相等判斷為具有連通性，將所有具有連通性的像素作為一個(gè)連通區(qū)域；空間位置屬性判斷模塊，用于對(duì)每個(gè)連通區(qū)域并對(duì)其上下空間部分進(jìn)行顏色分割，如果某個(gè)連通區(qū)域與地面顏色相接觸，設(shè)定空間位置影響因子Fp為1；否則Fp為0；區(qū)域大小屬性判斷模塊，用于將每個(gè)連通區(qū)域求出其面積Si與預(yù)設(shè)的閾值進(jìn)行比較，如下判斷規(guī)則若Si＜閾值1，則該變化區(qū)域?yàn)樵肼朁c(diǎn)；若Si＞閾值2，則該變化區(qū)域?yàn)榇竺娣e的變化，設(shè)定區(qū)域大小影響因子Fs為0.2～0.5之間；若閾值1＜Si＜閾值2，則該變化區(qū)域可疑為有人，設(shè)定區(qū)域大小影響因子Fs為1；形狀屬性判斷模塊，用于將人體模型簡(jiǎn)化矩形模型，求每個(gè)連通區(qū)域的平均寬度和高度，平均寬度wi是在高度hi方向的分成4等份的寬度均值，并以該平均寬度wi和高度hi作一個(gè)矩形，計(jì)算某個(gè)連通區(qū)域與該連通區(qū)域的矩形的面積比，參見公式(4)ϵareai=Siwi*hi---(4)]]>再計(jì)算矩形的寬度wi與高度hi的比，參見公式(5)ϵratei=wihi---(5)]]>若εareai、εratel在預(yù)設(shè)的范圍，設(shè)定形狀屬性影響因子Fsh為1，否則Fsh為0；紋理顏色判斷模塊，用于取連通區(qū)域矩形的高度hi的上部的1/7處計(jì)算(Cri，Cbi)的值，并用公式(6)進(jìn)行色差分量矢量的比較ϵcolor=(Cri-150)2-(Cbi-120)2---(6)]]>若εcolor＞閾值2設(shè)定區(qū)域大小影響因子Fcolor為0.2～0.5之間；若閾值1＜Si＜閾值2，設(shè)定區(qū)域大小影響因子Fcolor為1；活動(dòng)屬性判斷模塊，用于計(jì)算對(duì)象目標(biāo)的重心，計(jì)算公式由式(7)計(jì)算得到Xcg(i)=Σx,y∈SixSi;Ycg(i)=Σx,y∈SiySi---(7)]]>如在t幀時(shí)某一目標(biāo)的重心在(xcg(t)，ycg(t))，t+1幀時(shí)某一目標(biāo)的重心在(xcg(t+1)，ycg(t+1))，運(yùn)動(dòng)方向可以用(dx＝xcg(t+1)-xcg(t)，dy＝y(tǒng)cg(t+1)-ycg(t))來(lái)確認(rèn)，運(yùn)動(dòng)速度可以通過(guò)下式來(lái)進(jìn)行計(jì)算Vt=dx2+dy2/Δt---(8)]]>運(yùn)動(dòng)加速度可以通過(guò)(8)式求得的速度值來(lái)進(jìn)行計(jì)算at=Vt-Vt-1/Δt---(9)]]>式中Δt為兩幀之間的時(shí)間間隔，Vt為從t+1幀到t幀的運(yùn)動(dòng)速度，at為t幀時(shí)刻時(shí)的加速度。預(yù)設(shè)人的運(yùn)動(dòng)速度與加速度的閾值范圍，如果超過(guò)該閾值范圍，設(shè)定運(yùn)動(dòng)特性影響因子Fmove為0；明顯低于該閾值范圍，設(shè)定運(yùn)動(dòng)特性影響因子Fmove為0.2～0.5之間；其他設(shè)定運(yùn)動(dòng)特性影響因子Fmove為1；綜合判斷處理模塊，用于根據(jù)上述的五種屬性信息，加權(quán)綜合計(jì)算，如(10)Wguard alarm＝Kp×Fp+Ks×Fs+Ksh×Fsh+Kcolor×Fcolor+Kmove×Fmove(10)式中Kattention為異常量化值；Kp為對(duì)象目標(biāo)空間屬性的加權(quán)系數(shù)；Ks為對(duì)象目標(biāo)面積屬性的加權(quán)系數(shù)；Ksh為對(duì)象目標(biāo)形狀屬性的加權(quán)系數(shù)；Kcolor為對(duì)象目標(biāo)紋理顏色屬性的加權(quán)系數(shù)；Kmove為對(duì)象目標(biāo)運(yùn)動(dòng)屬性的加權(quán)系數(shù)；并將異常量化值與預(yù)設(shè)的告警值Kalarm比較，如果Wguard alarm≥Kalarm，判斷為可疑侵入，通過(guò)通信模塊向管理人員發(fā)送告警信息；否則，判斷為正常。
2.如權(quán)利要求1所述的基于全方位視覺傳感器的智能安保裝置，其特征在于所述的告警值Kalarm包括可疑告警值Kattention、早期告警值Kalarm1、確認(rèn)告警值Kalarm2，若Kattention≤Wguard alarm≤Kalarm1，判斷為有可疑侵入，通過(guò)用戶通信模塊通知管理人員通過(guò)網(wǎng)絡(luò)確認(rèn)圖像，啟動(dòng)圖像數(shù)據(jù)文件存儲(chǔ)模塊記錄現(xiàn)場(chǎng)視頻數(shù)據(jù)；若Kalarm1＜Wguard alarm≤Kalarm2，判斷為盜難早期警告，通過(guò)用戶通信模塊通知管理人員通過(guò)網(wǎng)絡(luò)確認(rèn)圖像，并要求到現(xiàn)場(chǎng)進(jìn)行確認(rèn)，啟動(dòng)圖像數(shù)據(jù)文件存儲(chǔ)模塊記錄現(xiàn)場(chǎng)視頻數(shù)據(jù)；若Kalarm 2＜Wguard alarm，判斷為確認(rèn)盜難警告，通過(guò)用戶通信模塊通知管理人員通過(guò)網(wǎng)絡(luò)確認(rèn)圖像，并要求到現(xiàn)場(chǎng)進(jìn)行確認(rèn)，啟動(dòng)圖像數(shù)據(jù)文件存儲(chǔ)模塊記錄現(xiàn)場(chǎng)視頻數(shù)據(jù)；通報(bào)公安機(jī)關(guān)110。
3.如權(quán)利要求1所述的基于全方位視覺傳感器的智能安保裝置，其特征在于所述的微處理器還包括背景維護(hù)模塊，所述的背景維護(hù)模塊包括背景亮度計(jì)算單元，用于計(jì)算平均背景亮度Yb計(jì)算公式如式(11)所示Y‾b=Σx=0W-1Σy=0H-1Yn(x,y)(1-Mn(x,y))Σx=0W-1Σy=0H-1(1-Mn(x,y))---(11)]]>式(11)中，Yn(x，y)為當(dāng)前幀各像素的亮度，Mn(x，y)為當(dāng)前幀的掩模表，所述的掩模表是用一個(gè)與視頻幀尺寸相同的數(shù)組M來(lái)記錄各像素點(diǎn)是否有運(yùn)動(dòng)變化，參見式(12) Yb0為判定為運(yùn)動(dòng)對(duì)象時(shí)前一幀的背景亮度，Yb1為判定為運(yùn)動(dòng)對(duì)象時(shí)第一幀的背景亮度，兩幀平均亮度的變化為ΔY＝Y(jié)b1-Yb0 (13)如果ΔY大于上限值，則認(rèn)為發(fā)生了開燈事件；如果ΔY小于某個(gè)下限值，則認(rèn)為發(fā)生了關(guān)燈事件；如ΔY介于上限值和下限值之間，則認(rèn)為光線自然變化；背景自適應(yīng)單元，用于當(dāng)光線自然變化時(shí)，按照下式(14)進(jìn)行自適應(yīng)學(xué)習(xí)Xmix，bn+1(i)＝(1-λ)Xmix，bn(i)+λXmix，cn(i) (14)式中Xmix，cn(i)為當(dāng)前幀RGB向量，Xmix， bn(i)為當(dāng)前幀背景RGB向量，Xmix，bn+1(i)為下一幀背景預(yù)測(cè)RGB向量，λ為背景更新的速度；λ＝0，使用固定不變的背景(初始背景)；λ＝1，使用當(dāng)前幀作為背景；0＜λ＜1，背景由前一時(shí)刻的背景與當(dāng)前幀混合而成；當(dāng)光線由開關(guān)燈引起的，背景像素按照當(dāng)前幀重置，參見式(15)Xmix，bn+1(i)＝Xmix，cn(i) (15)。
4.如權(quán)利要求1-3之一所述的基于全方位視覺傳感器的智能安保裝置，其特征在于所述的微處理器還包括噪聲剔除模塊，用于將每一個(gè)像素值用其局部鄰域內(nèi)所有值的均值置換，如公式(16)所示h[i，j]＝(1/M)∑f[k，1] (16)上式(16)中，M是鄰域內(nèi)的像素點(diǎn)總數(shù)。
5.如權(quán)利要求4所述的基于全方位視覺傳感器的智能安保裝置，其特征在于所述的圖像展開處理模塊，用于根據(jù)圓形全方位圖像上的一個(gè)點(diǎn)(x*，y*)和矩形柱狀全景圖上的一個(gè)點(diǎn)(x**，y**)的對(duì)應(yīng)關(guān)系，建立(x*，y*)與(x**，y**)的映射矩陣，式(17)所示P**(x**，y**)←M×P*(x*，y*) (17)上式中，M是映射矩陣，P*(x*，y*)是圓形全方位圖像上的像素矩陣，P**(x**，y**)是矩形柱狀全景圖上的像素矩陣。
6.如權(quán)利要求4所述的基于全方位視覺傳感器的智能安保裝置，其特征在于所述的色彩空間轉(zhuǎn)化模塊，從RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間的關(guān)系式為式(18)Y＝0.301*R+0.586*G+0.113*BU＝-0.301*R-0.586*G+0.887*B(18)V＝0.699*R-0.586*G-0.113*B上式中，Y代表YUV顏色模型的亮度，U、V是YUV顏色模型的兩個(gè)彩色分量，表示色差；R表示RGB色彩空間的紅色；G表示RGB色彩空間的綠色；B表示RGB色彩空間的藍(lán)色。
全文摘要
一種基于全方位視覺傳感器的智能安保裝置，該智能安保裝置包括微處理器、用于監(jiān)視安全情況的全方位視覺傳感器、用于與外界通信的通信模塊；全方位視覺傳感器能把一個(gè)半球視野中的信息壓縮成一幅圖像，場(chǎng)景中的安放位置更加自由；監(jiān)視環(huán)境時(shí)不用瞄準(zhǔn)目標(biāo)；檢測(cè)和跟蹤監(jiān)視范圍內(nèi)的運(yùn)動(dòng)物體時(shí)算法更加簡(jiǎn)單；可以獲得場(chǎng)景的實(shí)時(shí)圖像。視頻監(jiān)控中可利用的人的屬性信息1)空間位置屬性；2)區(qū)域大小屬性；3)形狀屬性；4)紋理顏色屬性；5)活動(dòng)屬性等綜合加權(quán)判斷是否有侵入。本發(fā)明能夠同時(shí)滿足靈敏度和誤報(bào)率、實(shí)時(shí)性好、安全性高。
文檔編號(hào)G06T7/20GK1812569SQ20051006238
公開日2006年8月2日 申請(qǐng)日期2005年12月30日 優(yōu)先權(quán)日2005年12月30日
發(fā)明者湯一平, 顧校凱, 金順敬, 葉永杰, 鄧飛 申請(qǐng)人:浙江工業(yè)大學(xué)