本發(fā)明涉及圖像模式識別領域及電梯生產(chǎn)技術領域，尤其是指一種結(jié)合機器視覺與紅外陣列的手扶電梯樓層板視頻監(jiān)控方法。

背景技術：

在手扶電梯越來越普及的現(xiàn)代社會，隨之而來的是各種各樣的安全問題，隨著科學技術的快速發(fā)展和人們安全意識的日益提高，視頻監(jiān)控成為公共管理與決策的有效輔助手段。如今對手扶電梯的視頻監(jiān)控，大多停留在以圖像信息為主要內(nèi)容的人工監(jiān)控階段。當異?；蚴鹿拾l(fā)生的時候，監(jiān)控人員往往因為無法及時反應或采取相應措施而使事態(tài)惡化，而在人力成本越來越高的今天，為每臺手扶電梯配置應急人員是不可能的。因此，一套能夠自動檢測異常或事故并通知監(jiān)控人員的手扶電梯視頻監(jiān)控算法顯得尤為重要。本發(fā)明結(jié)合視頻監(jiān)控圖像和紅外陣列傳感圖像對手扶電梯樓層板上的物件及乘客行為進行檢測與分析，當出現(xiàn)異常時能夠及時啟動應急方案，將異常情況的潛在危害降至最低。

安裝在手扶電梯樓層板正上方的攝像頭能夠?qū)崟r獲取該區(qū)域的視頻圖像，安裝在同樣位置的紅外陣列傳感器能夠?qū)崟r獲取該區(qū)域的紅外圖像，通過結(jié)合二者圖像信息，分析圖像中物件及乘客的行為能夠判斷手扶電梯是否發(fā)生異常。當發(fā)生異常時視頻監(jiān)控系統(tǒng)能夠及時將信息反饋至手扶電梯控制臺，控制臺根據(jù)不同的異常狀態(tài)啟動相應的處理方案。該系統(tǒng)包括圖像采集、圖像處理、目標跟蹤、行為分析、異常預警五個模塊。目前，在國內(nèi)針對手扶電梯的機器視覺監(jiān)控技術研究還比較少，鑒于其準確直觀和成本低廉的優(yōu)點，需要加快相應技術的研發(fā)，降低手扶電梯安全事故的發(fā)生率。

技術實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供了一種結(jié)合機器視覺與紅外陣列的手扶電梯樓層板視頻監(jiān)控方法，可以實時監(jiān)控手扶電梯樓層板上物件及乘客的狀態(tài)行為。

為實現(xiàn)上述目的，本發(fā)明所提供的技術方案為：一種結(jié)合機器視覺與紅外陣列的手扶電梯樓層板視頻監(jiān)控方法，主要是通過分析手扶電梯樓層板上物件及乘客的運動速度和運動方向來監(jiān)控樓層板區(qū)域，包括以下步驟：

1)視頻圖像與紅外圖像采集；

2)視頻圖像與紅外圖像坐標配準；

3)利用codebook算法建立背景模型，提取物件及乘客前景圖像；

4)利用紅外圖像對前景圖像進行行人檢測；

5)利用kalman濾波器對乘客目標進行跟蹤；

6)利用fitzgibbon算法對前景圖像進行輪廓檢測與橢圓擬合；

7)剔除6)中的乘客目標，利用kalman濾波器對物件目標進行跟蹤；

8)通過分析物件及乘客中心坐標的運動速度和運動方向監(jiān)控樓層板區(qū)域。

在步驟1)中，采用攝像頭采集視頻圖像，采用紅外陣列傳感器采集紅外圖像；攝像頭與紅外陣列傳感器安裝在手扶電梯樓層板的正上方，其拍攝方向要求垂直于樓層板平面，以保證攝像頭的鏡頭畸變最小，其視角要求覆蓋整個手扶電梯樓層板區(qū)域，以保證能采集到所有在該區(qū)域上的物件及乘客的圖像。

在步驟2)中，攝像頭鏡頭中心與紅外陣列傳感器中心不在同一點，使視頻圖像坐標系與紅外圖像坐標系不重合，需要對視頻圖像與紅外圖像坐標配準，具體如下：

設攝像頭焦距為f，攝像頭鏡頭中心至樓層板的距離為lc，成像靶面的寬度和高度分別為wc、hc，則攝像頭的視場寬wc和高hc為：

設紅外陣列傳感器最大視場角為θ，傳感器中心至樓層板的距離為lg，則紅外陣列傳感器的視場為：

計算攝像頭的最大視場角

選取合適參數(shù)的攝像頭使得此時紅外圖像完全包含于視頻圖像內(nèi)，設攝像頭鏡頭中心與紅外陣列傳感器中心的水平偏移距離為d，則對樓層板上的某一點p，其視頻圖像坐標(xc,yc)與紅外圖像坐標(xg,yg)分別為：

設攝像頭的分辨率為nw×nh，紅外陣列傳感器的分辨率為nbin×nbin，將模擬圖像坐標(xc,yc)轉(zhuǎn)化為數(shù)字圖像坐標將模擬紅外坐標(xg,yg)轉(zhuǎn)化為數(shù)字紅外坐標為，得到視頻圖像與紅外圖像坐標配準公式：

其中floor為整除運算。

在步驟3)中，利用codebook算法建立背景模型并提取物件及乘客前景圖像，包括以下步驟：

3.1)建立codebook結(jié)構

為當前圖像的每一個像素建立一個codebook結(jié)構，簡稱cb，每個codebook結(jié)構又由多個codeword組成，簡稱cw；cb和cw的形式如下：

cb＝{cw1,cw2,…,cwn,t}

cw＝{ih,il,imax,imin,tlast,tst}

式中，一個cb包含n個cw，分別為cw1,cw2,…,cwn，t為cb更新次數(shù)；cw為一個六元組，ih和il為背景更新時的學習上下界，imax和imin為當前像素的最大值和最小值，tlast為上一次更新時間；tst為陳舊時間，記錄該cw多久未被訪問；

設背景模型的增長閾值為ib，圖像中的某一像素為i(x,y)，其中x和y分別是像素的橫坐標和縱坐標，則該像素的cb更新算法如下：

①cb的訪問次數(shù)加1；

②歷遍cb中的每個cw，如果存在一個cw的ih、il使得il≤i(x,y)≤ih，則轉(zhuǎn)④；

③建立一個新的cw加入到該cb中，imax和imin均賦值為i(x,y)，ih賦值為i(x,y)+ib，il賦值為i(x,y)-ib，轉(zhuǎn)⑥；

④更新該cw的tlast，若i(x,y)＞imax，則imax賦值為i(x,y)，若i(x,y)＜imin，則imin賦值為i(x,y)；

⑤更新該cw的學習上下界，若i(x,y)+ib＞ih，則ih加1，若i(x,y)-ib＜il，則il減1；

⑥更新cb中的每個tst；

3.2)建立背景模型

選擇一幀或多幀使用cb更新算法建立背景模型，背景建立幀數(shù)一般為視頻采集幀率值的1～2倍；

3.3)提取物件及乘客前景圖像

設前景圖像的判定閾值上下界為immax和immin，圖像中的某一像素為i(x,y)，歷遍cb背景模型中的每個cw，如果存在一個cw的imax、imin使得imin-immin＜i(x,y)＜imax+immax，則i(x,y)為背景像素，否則為前景像素；

3.4)更新背景模型

隔設定的幀數(shù)使用cb更新算法更新背景模型，同時對背景模型進行時間濾波，設更新閾值為更新次數(shù)的一半，圖像中的某一像素為i(x,y)，歷遍cb中的每個cw，若陳舊時間tst大于更新閾值，則移除該cw。

在步驟4)中，利用紅外圖像對前景圖像進行行人檢測，在紅外陣列傳感器的安裝過程中，要求覆蓋整個手扶電梯樓層板區(qū)域，以保證能采集到所有在該區(qū)域上的物件及乘客的圖像，具體為紅外陣列傳感器的視場大小約等于手扶電梯樓層板的區(qū)域大小，紅外圖像與樓層板圖像基本重合；

歷遍前景圖像中的非零像素，將非零像素坐標與紅外圖像坐標配準，判斷前進圖像中的像素是否為乘客目標，設屬于乘客目標的像素標簽為1，屬于非乘客目標的像素標簽為-1，具體為：

其中ic(x,y)為當前非零像素，x和y是橫縱坐標，為該像素對應紅外圖像的像素值，是橫縱坐標，符號表示“屬于”，紅外圖像像素的取值范圍為{1,0}，以紅外強度ith為閾值進行分類：

將屬于乘客目標的像素提取出來，完成了對前景圖像的行人檢測。

在步驟5)中，kalman濾波器是一種擁有狀態(tài)估計功能的濾波器，通過時間更新與狀態(tài)更新共五個核心方程，kalman濾波器能夠預測下一時刻的系統(tǒng)狀態(tài)，從而完成對乘客目標的跟蹤任務；

設以下動態(tài)系統(tǒng)是線性的：

對中心坐標pp＝(xp,yp)，xp和yp分別是它的橫縱坐標，x(k)＝[xpypδxpδyp]^t為系統(tǒng)在k時刻的狀態(tài)變量，x(k-1)為系統(tǒng)在k-1時刻的狀態(tài)變量，δxp和δyp為xp和yp的變化量，y(k)＝[xpyp]^t為系統(tǒng)在k時刻的觀測變量，a為狀態(tài)估計矩陣，h為觀測矩陣，q和r分別為估計噪聲和觀測噪聲，符合高斯分布；

kalman濾波器時間與狀態(tài)共五個核心更新方程如下：

其中，xg(k)為k時刻的狀態(tài)預測值，x(k-1)為k-1時刻的狀態(tài)值，p(k)'為k時刻的先驗誤差協(xié)方差矩陣，p(k-1)為k-1時刻的后驗誤差協(xié)方差矩陣，q為q的協(xié)方差矩陣，k(k)為k時刻的增益，r為r的協(xié)方差矩陣，p(k)為k時刻的后驗誤差協(xié)方差矩陣；

因此，選擇乘客的運動特征向量作為kalman濾波器的狀態(tài)變量，通過迭代計算五條核心方程，狀態(tài)變量最終將收斂至最優(yōu)估計，就能夠達到對乘客目標進行跟蹤的目的。

在步驟6)中，首先利用鄰域搜索算法對前景圖像進行輪廓檢測，之后利用fitzgibbon算法對每一個輪廓進行橢圓擬合，加入橢圓長短軸比值和面積等先驗條件進行目標校正，利用fitzgibbon算法得到同時包含物件目標和乘客目標的前景圖像，在步驟5)中已經(jīng)得到乘客目標中心坐標，在步驟7)中，首先剔除6)中的乘客目標，利用kalman濾波器對剩下的物件目標進行跟蹤，得到物件目標中心坐標，

至此，算法分別對物件目標與乘客目標進行了跟蹤，得到了兩類運動目標的中心坐標，設取樣幀數(shù)為n，p(k)＝(x(k),y(k))為k時刻目標中心坐標，x(k)和y(k)為橫縱坐標，p(k-n)＝(x(k-n),y(k-n))為k-n時刻目標中心坐標，x(k-n)和y(k-n)為橫縱坐標，計算兩類運動目標k時刻的運動速度和運動方向如下：

式中，v(k)和θ(k)分別是k時刻的運動速度和k時刻的運動方向。

在步驟8)中，目標的行為包括四種：正常移動、快速移動、逆向移動和擁堵阻塞，具體判斷方法如下：

①正常移動

正常情況下，目標搭乘手扶電梯到達樓層板后，只能向手扶電梯的前進方向移動，具體為以前進方向為對稱軸的半圓內(nèi)；以視頻圖像中心點為極點，手扶電梯前進方向為極軸建立極坐標系，設逆時針方向為正方向，此時目標的運動速度與運動方向特征為：

其中vh1和vl1分別為目標正常移動時的運動速度判定閾值上下限；

②快速移動

當目標快速移動時，其運動速度與運動方向特征為：

其中vh2和vl2分別為物件快速移動時的運動速度判定閾值上下限，vl2＞vh1；

③逆向移動

當目標到達手扶電梯樓層板后逆向返回正在前進的手扶電梯時，其運動速度與運動方向特征為：

其中vh3和vl3分別為物件逆向移動時的運動速度判定閾值上下限，vl3＞vh1；

④擁堵阻塞

當手扶電梯搭乘高峰期時，大量乘客到達手扶電梯樓層板后擁堵在原地或緩慢前進，或者當物件目標被遺留在樓層板造成阻塞時，目標將長時間靜止或緩慢移動，設k時刻kalman濾波器跟蹤強度為confi(k)，該參數(shù)描述運動目標被跟蹤的持續(xù)時間，此時物件的運動速度與跟蹤強度特征為：

其中vh4為物件遺留或堵塞時的運動速度判定閾值上限，vh4＜＜vl1，confil為擁堵阻塞時的kalman跟蹤強度判定閾值下限。

本發(fā)明與現(xiàn)有技術相比，具有如下優(yōu)點與有益效果：

本發(fā)明可以對手扶電梯進行實時監(jiān)控，能檢測視頻圖像中物件及乘客的行為狀態(tài)，并將異常情況反饋至手扶電梯控制臺，協(xié)助控制臺根據(jù)不同的異常狀態(tài)啟動相應的處理方案；通過跟蹤物件輪廓計算其運動速度和運動方向，判斷物件滯留或堵塞狀態(tài)；通過跟蹤乘客的紅外圖像計算其運動速度和運動方向，判斷乘客異常運動狀態(tài)和客流擁堵情況。總之，通過本發(fā)明算法可以有效避免異常情況發(fā)生后的次生事故，將其潛在危害降至最低，提高手扶電梯的安全質(zhì)量。

附圖說明

圖1為本發(fā)明算法流程圖。

圖2為攝像頭和紅外陣列傳感器的安裝位置示意圖。

圖3為原始視頻圖像。

圖4為原始紅外圖像。

圖5為物件及乘客前景圖像。

圖6為行人檢測效果圖。

圖7為人頭跟蹤效果圖。

圖8為物件跟蹤效果圖。

具體實施方式

下面結(jié)合具體實施例對本發(fā)明作進一步說明。

如圖1所示，本實施例所述的結(jié)合機器視覺與紅外陣列的手扶電梯樓層板視頻監(jiān)控方法，主要是通過分析手扶電梯樓層板上物件及乘客的運動速度和運動方向來監(jiān)控樓層板區(qū)域。在本方法中，利用物件與乘客的溫度差異特點，二者在紅外陣列傳感器下的成像有顯著差異，對乘客的紅外圖像作檢測與跟蹤，相對于其他傳統(tǒng)的目標檢測方法，紅外圖像更加單一，更容易識別，因此，攝像頭與紅外陣列傳感器應該安裝在手扶電梯樓層板的正上方，如圖2所示，其具體情況如下：

1)視頻圖像與紅外圖像采集

對視頻圖像，采用單攝像頭進行圖像采集，攝像頭安裝在手扶電梯樓層板的正上方，其拍攝方向要求垂直于樓層板平面，以保證攝像頭的鏡頭畸變最??；其視角要求覆蓋整個手扶電梯樓層板區(qū)域，以保證能采集到所有在該區(qū)域上的物件及乘客頭頂?shù)膱D像。本方法中采用的攝像頭為pal制式的標清攝像頭，分辨率為480*272，幀率為25。根據(jù)上述要求，采集的原始視頻圖像如圖3所示。

對紅外圖像，采用單紅外線陣列傳感器進行圖像采集，傳感器安裝在與攝像頭相同的位置，拍攝方向與其相同。本方法中采用的傳感器為8*8的高精度紅外線陣列，幀率為10。根據(jù)上述要求，采集的原始紅外圖像如圖4所示。

2)視頻圖像與紅外圖像坐標配準

攝像頭鏡頭中心與紅外陣列傳感器中心不在同一點，使視頻圖像坐標系與紅外圖像坐標系不重合，需要對視頻圖像與紅外圖像坐標配準，具體如下：

本方法中攝像頭焦距f＝3.6mm，攝像頭鏡頭中心至樓層板的距離lc＝3m，成像靶面的寬度和高度分別為wc＝6.4mm、hc＝4.8mm，則攝像頭的視場為：

本方法中紅外陣列傳感器最大視場角傳感器中心至樓層板的距離lg＝2.95m，則紅外陣列傳感器的視場為：

計算攝像頭的最大視場角

本方法中的攝像頭滿足此時紅外圖像完全包含于視頻圖像內(nèi)，攝像頭鏡頭中心與紅外陣列傳感器中心的水平偏移距離d＝50mm，則對樓層板上的某一點p，其視頻圖像坐標(xc,yc)與紅外圖像坐標(xg,yg)分別為：

本方法中攝像頭的分辨率為nw×nh＝480×272，紅外陣列傳感器的分辨率為nbin×nbin＝8×8，將模擬圖像坐標(xc,yc)轉(zhuǎn)化為數(shù)字圖像坐標將模擬紅外坐標(xg,yg)轉(zhuǎn)化為數(shù)字紅外坐標為，得到視頻圖像與紅外圖像坐標配準公式：

其中floor為整除運算。通過上述公式可以查詢到視頻圖像中的某一點p在紅外圖像相應位置的映射。

3)利用codebook算法建立背景模型，提取物件及乘客前景圖像；

前景圖像是指圖像中不含背景的運動目標部分，是需要檢測與跟蹤的目標，利用codebook算法建立背景模型，從而提取包含物件及乘客的前景圖像，為在下一步的乘客檢測與跟蹤做準備。通過該算法提取的前景圖像，背景噪聲較小，前景邊緣精確，如圖5所示。

利用codebook算法建立背景模型并提取物件及乘客前景圖像包括以下步驟：

3.1)建立codebook結(jié)構

為當前圖像的每一個像素建立一個codebook(簡稱cb)結(jié)構，每個codebook結(jié)構又由多個codeword(簡稱cw)組成，cb和cw的形式如下：

cb＝{cw1,cw2,…,cwn,t}

cw＝{ih,il,imax,imin,tlast,tst}

其中n為一個cb中所包含的cw數(shù)目，t為cb更新次數(shù)。cw為一個六元組，ih和il為背景更新時的學習上下界，imax和imin為當前像素的最大值和最小值，tlast為上一次更新時間，tst為陳舊時間(記錄該cw多久未被訪問)。

設背景模型的增長閾值為ib，圖像中的某一像素為i(x,y)，則該像素的cb更新算法如下：

①cb的訪問次數(shù)加1；

②歷遍cb中的每個cw，如果存在一個cw的ih、il使得il≤i(x,y)≤ih，則轉(zhuǎn)④；

③建立一個新的cw加入到該cb中，imax和imin均賦值為i(x,y)，ih賦值為i(x,y)+ib，il賦值為i(x,y)-ib，轉(zhuǎn)⑥；

④更新該cw的tlast，若i(x,y)＞imax，則imax賦值為i(x,y)，若i(x,y)＜imin，則imin賦值為i(x,y)；

⑤更新該cw的學習上下界，若i(x,y)+ib＞ih，則ih加1，若i(x,y)-ib＜il，則il減1；

⑥更新cb中的每個tst。

3.2)建立背景模型

選擇一幀或多幀使用cb更新算法建立背景模型，背景建立幀數(shù)一般為視頻采集幀率值的1～2倍，本發(fā)明中背景建立幀數(shù)為50。

3.3)提取物件及乘客前景圖像

設前景圖像的判定閾值上下界為immax和immin，圖像中的某一像素為i(x,y)，歷遍cb背景模型中的每個cw，如果存在一個cw的imax、imin使得imin-immin＜i(x,y)＜imax+immax，則i(x,y)為背景像素，否則為前景像素。

3.4)更新背景模型

隔一定的幀數(shù)使用cb更新算法更新背景模型，同時對背景模型進行時間濾波，設更新閾值為更新次數(shù)的一半，圖像中的某一像素為i(x,y)，歷遍cb中的每個cw，若陳舊時間tst大于更新閾值，則移除該cw。

4)利用紅外圖像對前景圖像進行行人檢測

利用紅外圖像對前景圖像進行行人檢測，在紅外陣列傳感器的安裝過程中，要求覆蓋整個手扶電梯樓層板區(qū)域，以保證能采集到所有在該區(qū)域上的物件及乘客的圖像，具體為紅外陣列傳感器的視場大小約等于手扶電梯樓層板的區(qū)域大小，紅外圖像與樓層板圖像基本重合。

歷遍前景圖像中的非零像素，將非零像素坐標與紅外圖像坐標配準，判斷前進圖像中的像素是否為乘客目標，設屬于乘客目標的像素標簽為1，屬于非乘客目標的像素標簽為-1，具體為：

其中ic(x,y)為當前非零像素，為該像素對應紅外圖像的像素值，紅外圖像像素的取值范圍為{1,0}，以紅外強度ith為閾值進行分類：

將屬于乘客目標的像素提取出來，完成了對前景圖像的行人檢測。整個過程相當于將紅外圖像作掩模與前景圖像進行“與”操作，如圖6所示。

5)利用kalman濾波器對乘客目標進行跟蹤

計算機視覺的一個重要應用是圖像特征的跟蹤，因為周圍的環(huán)境是動態(tài)的，某一時刻所拍攝的圖像和另一時刻的圖像是不同的，因為視覺系統(tǒng)的一個初步任務在于將圖像特征從一幅圖像到另一幅圖像匹配起來，這個過程就成為圖像特征的跟蹤。

kalman濾波器是一種擁有參數(shù)估計功能的濾波器，通過時間更新與狀態(tài)更新共五個核心方程，kalman濾波能夠預測下一時刻的特征參數(shù)。利用kalman濾波進行長序列運動圖像的特征跟蹤，是特征跟蹤的常用做法。

設以下動態(tài)系統(tǒng)是線性的：

其中x＝[xyδxδy]^t為狀態(tài)變量，y＝[xy]^t為觀測變量，a為狀態(tài)估計矩陣，h為觀測矩陣，q和r分別為估計噪聲和觀測噪聲，符合高斯分布。

kalman濾波器時間與狀態(tài)共五個核心更新方程如下：

本算法中，kalman濾波器各參數(shù)取值如下：

其中q和r分別為其協(xié)方差矩陣，p為誤差協(xié)方差矩陣。

綜上所述，選擇乘客人頭的運動特征向量作為kalman濾波器的狀態(tài)變量，通過迭代計算五條核心方程，狀態(tài)變量最終將收斂至最優(yōu)估計，就能夠達到對乘客目標進行跟蹤的目的，如圖7所示。

6)利用fitzgibbon算法對前景圖像進行輪廓檢測與橢圓擬合

本算法利用前景圖像中物件目標和乘客目標的關系，如果能夠先完成對乘客目標的檢測與跟蹤，之后剔除乘客目標，剩下的就是物件目標。本算法利用邊界跟蹤生長的傳統(tǒng)方法，首先對前景圖像進行輪廓檢測，具體檢測算法如下：

①按從上到下，從左到右的順序掃描圖像，尋找沒有標記跟蹤結(jié)束記號的初始邊界點a0，a0即具有最小行和列序號的邊界點。定義掃描方向d描述上一步中沿著前一邊界點到當前邊界點的移動方向，設area為鄰域大小，則初始搜索方向d0為：

②按逆時針方向搜索當前像素的3×3鄰域，則當前搜索方向dk為：

其中dk-1為上一搜索方向，mod為求余運算，則在3×3鄰域中搜索到的第一個相同像素為當前邊界點ak；

③如果當前邊界點ak等于第二邊界點a1且上一邊界點ak-1等于初始邊界點a0，則轉(zhuǎn)④，否則轉(zhuǎn)②；

④邊界點序列a＝{a0,a1,...,ak}構成前景圖像的輪廓圖像。

在進行輪廓檢測后還要進行一定得先驗知識校正，去除明顯不屬于前景的像素，本方法中輪廓校正條件主要是輪廓最小外接矩形的長寬比，取閾值為2，若長寬比大于該閾值則舍棄當前輪廓。

利用fitzgibbon算法對每一個輪廓進行橢圓擬合，設輪廓所在橢圓的二次方程為：

f(α,x)＝α·x＝ax²+bxy+cy²+dx+ey+f＝0

其中α＝[abcdef]^t，x＝[x²xyy²xy1]^t，記f(α；xi)點(x,y)到橢圓f(α；x)＝0的幾何距離，定義擬合問題的目標函數(shù)為：

為使目標函數(shù)最小化，最優(yōu)化問題的限制條件可以是以下任意一個：

||α||²＝1

a+c＝1

f＝1

||nα||²＝1,

加入橢圓長短軸比值和面積等先驗條件進行目標校正，本方法中取橢圓長短軸比值閾值為3，若長短軸比值大于該閾值則舍棄該橢圓，分別取橢圓面積上下限為三分之一原始圖像大小和50像素。

7)剔除步驟6)中的乘客目標，利用kalman濾波器對物件目標進行跟蹤；

利用fitzgibbon算法得到同時包含物件目標和乘客目標的前景圖像，在步驟5)中已經(jīng)得到乘客目標中心坐標，在步驟7)中，首先剔除步驟6)中的乘客目標，利用kalman濾波器對剩下的物件目標進行跟蹤，得到物件目標中心坐標，如圖8所示。

至此，算法分別對物件目標與乘客目標進行了跟蹤，得到了兩類運動目標的中心坐標。設設取樣幀數(shù)為n，p(k)＝(x(k),y(k))為k時刻目標中心坐標，計算兩類運動目標k時刻的運動速度和運動方向如下：

8)通過分析物件及乘客中心坐標的運動速度和運動方向判斷二者的行為

本發(fā)明把物件及乘客行為分為四種：正常移動、快速移動、逆向移動和擁堵阻塞，具體判斷方法如下：

①正常移動

正常情況下，目標搭乘手扶電梯到達樓層板后，只能向手扶電梯的前進方向移動，具體為以前進方向為對稱軸的半圓內(nèi)。以視頻圖像中心點為極點，手扶電梯前進方向為極軸建立極坐標系，設逆時針方向為正方向，此時目標的運動速度與運動方向特征為：

其中vh1和vl1分別為目標正常移動時的運動速度判定閾值上下限。

②快速移動

當目標快速移動時，其運動速度與運動方向特征為：

其中vh2和vl2分別為物件快速移動時的運動速度判定閾值上下限，vl2＞vh1。

③逆向移動

當目標到達手扶電梯樓層板后逆向返回正在前進的手扶電梯時，其運動速度與運動方向特征為：

其中vh3和vl3分別為物件逆向移動時的運動速度判定閾值上下限，vl3＞vh1。

④擁堵阻塞

當手扶電梯搭乘高峰期時，大量乘客到達手扶電梯樓層板后擁堵在原地或緩慢前進，或者當物件目標被遺留在樓層板造成阻塞時，目標將長時間靜止或緩慢移動，設kalman濾波器跟蹤強度為confi(k)，該參數(shù)描述運動目標被跟蹤的持續(xù)時間，此時物件的運動速度與跟蹤強度特征為：

其中vh4為物件遺留或堵塞時的運動速度判定閾值上限，vh4＜＜vl1，confil為擁堵阻塞時的kalman跟蹤強度判定閾值下限。

本實施例中通過對手扶電梯視頻測試集的反復實驗，以下參數(shù)能夠得到較為準確的物件及乘客行為檢測結(jié)果：vh1＝15，vl1＝8，vh2＝50，vl2＝25，vh3＝50，vl3＝20，vh4＝2，confilt＝2000。

以上所述實施例只為本發(fā)明之較佳實施例，并非以此限制本發(fā)明的實施范圍，故凡依本發(fā)明之形狀、原理所作的變化，均應涵蓋在本發(fā)明的保護范圍內(nèi)。