專利名稱：基于激光傳感器深度圖像的人流檢測方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理、模式識別技術(shù)領(lǐng)域，涉及可廣泛用于火車站、機場、 地鐵站、大型會展中心和人行道等大型公共場合的人流檢測方法。
背景技術(shù)：
隨著經(jīng)濟增長，城市化進程的加快以及城內(nèi)或城區(qū)之間大規(guī)模的人口流動， 導致一些大型的公共場所如火車站、機場、地鐵站，人行道等地方人流密度急 劇增加，為這些公眾服務(wù)場所的有效公共管理帶來了巨大的壓力。隨著實時監(jiān) 控技術(shù)、電子檢測技術(shù)、通訊技術(shù)以及信息科學技術(shù)的日趨成熟，實時人流信 息監(jiān)測與管理系統(tǒng)的開發(fā)和應(yīng)用在公眾管理領(lǐng)域正日益受到重視，并顯示出巨 大的經(jīng)濟和社會效益。公共區(qū)域?qū)崟r人流信息監(jiān)測與管理系統(tǒng)為公眾管理提供
了重要的技術(shù)支撐和信息平臺；它實時、動態(tài)地反映監(jiān)測人流和公共場所行人 交通流的狀態(tài)，為公共場所人流監(jiān)控和動態(tài)引導，人流擁堵原因分析，行人交 通流誘導決策，行人通道的合理規(guī)劃提供了重要依據(jù)。公共場所人流信息(流 量、密度等)的檢測是公共區(qū)域?qū)崟r人流信息監(jiān)測和管理系統(tǒng)中的一項關(guān)鍵技 術(shù)，它的獲取可為公共區(qū)域公眾管理提供最直接、最可靠的依據(jù)。然而對公共 場所實時人流信息的檢測與檢測手段息息相關(guān)，不同的人流檢測手段決定了信 息獲取的不同的方法、精度和適宜條件。
經(jīng)對現(xiàn)有技術(shù)的文獻檢索發(fā)現(xiàn)，Halvorson, G. A等在其碩士論文 ("Automated Real-Time Dimension, Measurement of Moving Vehicles Using Infrare, Laser Rangefmders")("自動實時尺度紅外、激光測距儀在移動車輛 檢測的應(yīng)用") 一文中指出，目前目標物體檢測手段主要依靠視頻檢測和紅外 檢測兩種技術(shù)，這兩種技術(shù)廣泛應(yīng)用于各種特定目標的跟蹤和檢測，其最大的 優(yōu)點是能夠?qū)崟r、直觀、精確地對檢測區(qū)域內(nèi)的物體進行有效、快速的檢測， 目前相關(guān)算法的研究也比較成熟，普適性較強。其不足之處在于對于密集行人 這種個體面積比較小，而且運動又無規(guī)律性的目標物體有效檢測性能較差，此
外，這兩種方法嚴重依賴天氣和光照等外在條件， 一旦外在允許檢測條件變化， 檢測效果將大打折扣，成為制約這兩種方法在一些特定環(huán)境使用的重要瓶頸。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提出了一種基于激光傳感器深度
4圖像的人流檢測方法。在實際人流信息檢測中，該方法根本解決了在視頻檢測 和紅外檢測中檢測手段對天氣、光照和檢測對象大小依賴的問題，當外在檢測 環(huán)境發(fā)生改變時該方法依然能夠?qū)π腥肆鬟M行有效檢測。此外，該方法還具有 計算簡便、實時性好、同步實現(xiàn)人流的監(jiān)控功能等優(yōu)點。 為達到以上目的，本發(fā)明所采用的解決方案是
一種基于激光傳感器深度圖像的人流檢測方法，包括首先通過激光傳感 攝像機拍攝多幀在檢測區(qū)域空置時的深度圖像，通過地形制圖的方式得到檢測 區(qū)域地面的地形圖，接著在實際人流檢測環(huán)境下，使用實際場景中人流的深度 圖像減去地形圖中各地面的實際高度，得到檢測區(qū)域各檢測點的實際高度。接 下來，按照檢測區(qū)域各點的實際高度范圍，通過多個閾值將檢測區(qū)域各點高度 點陣圖像分成多個圖層，對每一個圖層分別采用自迭代組織分析技術(shù)對點陣圖 像進行聚類，分割出每一個圖層中的目標。然后從第一個圖層開始，采用自上 而下的方式對每一個圖層中的目標進行累加或者合并，檢測出每一幀深度圖像 中的行人目標。最后通過卡爾曼濾波對多幀圖像目標進行跟蹤，最終達到對檢 測區(qū)域內(nèi)行人流的密度、速度和流量等信息實時檢測的目的。
進一步，安裝采集設(shè)備使用的激光傳感攝像頭包括傳感頭、控制單元和
人機交互部件。傳感頭就是檢測單元，其三維尺寸是W550ram*D155mm*H150mm， 一 旦固定在監(jiān)測點上，傳感頭可以在水平、垂直兩個方向進行旋轉(zhuǎn)，水平最大允 許角度是150度，垂直最大允許角度是30度。當對三維物體掃描時，傳感器檢 測數(shù)據(jù)包括掃描角度、擺動角度和深度數(shù)據(jù)。此外，因為檢測變量是極坐標系 統(tǒng)，因此原始數(shù)據(jù)必須經(jīng)過必要的處理轉(zhuǎn)化為笛卡爾坐標系統(tǒng)。
地形制圖因為聚類分類方法中需要的是人流個體的高度，所以必須采用地 形制圖的方式得到檢測區(qū)域的地形高度信息。因為工作機制的原因，激光傳感 攝像頭的掃描線不像普通的CCD攝像頭那樣固定在一個長方形的網(wǎng)格點內(nèi)，因 此需要對空置區(qū)域進行多次掃描，累計檢測區(qū)域每個點的高度值，均衡地分配 到預(yù)設(shè)的網(wǎng)格點上得到真實的地面高度圖像，最后采用函數(shù)擬和的方法得到檢 測區(qū)域地形圖。
多閾值分割、聚類通過對原始深度圖像進行地形制圖濾波處理，可得檢 測區(qū)域人流各檢測個體表面的高度圖像，圖像中每個像素的灰度等級表示了該 檢測個體表面某點的高度。本發(fā)明采用多個高度閾值對密集點陣進行分割，得 到多個高度等級圖層，對每一個圖層中的點陣分別采用自迭代組織分析算法進 行聚類，識別出每一個圖層中物體，然后從第一個圖層開始，對所有圖層中的 目標進行累加或者合并處理，最終得到每一幀深度圖像中的行人目標。
行人個體跟蹤檢測到每一幀深度圖像中的行人目標后，接著就要進行目
標跟蹤，已獲得人流平均速度、流量等信息。本發(fā)明采用卡爾曼濾波器跟蹤方 式對檢測個體進行相應(yīng)的跟蹤識別，卡爾曼濾波器是一組方程，用有效的迭代方法來使過程均方誤差最小來估計過程的狀態(tài)。為了準確的跟蹤行人，對每個
行人建了 3個卡爾曼濾波器，其中兩個是x方向上和y方向上在網(wǎng)格中的信息， 另外一個是圖像中行人個體方框縮放比例。
由于采用了上述方案，本發(fā)明具有以下特點本發(fā)明采用基于激光傳感器 深度圖像的人流檢測方法具有很多優(yōu)點。首先本發(fā)明采用的是激光傳感攝像頭， 該設(shè)備可以不受天氣、光線等外在條件的限制持續(xù)工作，克服了傳統(tǒng)的視頻和
紅外檢測手段受天氣、光照等因素影響的缺點；其次，本發(fā)明使用了基于函數(shù) 擬合的地形制圖方式，節(jié)約了存儲資源，且在運算時只增加一個濾波處理，提 高了數(shù)據(jù)處理速度；再次，本發(fā)明對檢測到的深度圖像采用的是多閾值分割的 方法，該方法消除了單閾值分割中存在的閾值選擇難、檢測目標不全等問題， 大大提高了檢測目標的準確性；最后，本發(fā)明系統(tǒng)易于管理和維護，整個基于 激光深度圖像的人流檢測主要由架設(shè)在行人通道頂部的激光傳感攝像頭及輔助 電子設(shè)備組成、集成度高、圖像傳輸可利用有線或無線信道。這樣整個系統(tǒng)是 模塊化結(jié)構(gòu)、體積小、易于安裝、使用，而維護也不會影響行人通道的正常交 通運行。


圖1是本發(fā)明實施例的流程示意圖
圖2是本發(fā)明實施例的多閾值分割示意圖。
圖3是本發(fā)明實施例的圖層聚類流程示意圖。
具體實施例方式
以下結(jié)合附圖所示實施例對本發(fā)明作進一步的說明。
本發(fā)明采用激光傳感攝像頭、識別和跟蹤行人流。本發(fā)明首先通過激光傳 感攝像機拍攝多幀空置檢測區(qū)域的深度圖像，通過地形制圖的方式得到檢測區(qū) 域地面的地形圖，接著在實際人流檢測環(huán)境下，使用實際場景中人流的深度圖 像減去地形圖中各地面的實際高度，得到檢測區(qū)域各檢測點的實際高度。接下 來，按照檢測區(qū)域各點的實際高度范圍，通過多個閾值將檢測區(qū)域各點高度點 陣圖像分成多個圖層，對每一個圖層分別采用自迭代組織分析技術(shù)對點陣圖像 進行聚類，分割出每一個圖層中的目標。然后從第一個圖層開始，采用自上而 下的方式對每一個圖層中的目標進行累加或者合并，檢測出每一幀深度圖像中 的行人目標。最后通過卡爾曼濾波對多幀圖像目標進行跟蹤，最終達到對檢測 區(qū)域內(nèi)行人流的密度、速度和流量等信息實時檢測的目的。
本發(fā)明方法包括以下幾個步驟
1、激光傳感器攝像頭采集深度圖像
激光傳感器攝像頭不同于常見的CCD攝像頭，它采集的圖像是深度圖像而不是常見的灰度圖像。 一幅深度圖像上的像素值和攝像頭鏡頭中心到檢測目標 的距離成正比。當脈沖激光束直接照^"在被測物體的表面，從物體表面散射的 光線被安裝在激光傳感器上的圖像檢測器檢測到，數(shù)字時間計數(shù)器可以實時測 量光線從激光二極管發(fā)出到被圖像檢測器檢測到的時間，并將它轉(zhuǎn)化為到被測 物體點的距離，從而獲得被檢測物體點的深度圖像。激光傳感攝像頭不僅擁有
常用的CCD攝像頭采集圖像時的良好的魯棒性，而且不受外部天氣和光照等條 件限制，實用性較強。當對三維物體掃描時，傳感器檢測數(shù)據(jù)包括掃描角度、 擺動角度和深度數(shù)據(jù)。此外，因為檢測數(shù)據(jù)表示是極坐標系統(tǒng)，因此原始數(shù)據(jù) 必須經(jīng)過必要的處理轉(zhuǎn)化為笛卡爾坐標系統(tǒng)。
2、地形制圖
按照檢測機制原理，激光傳感攝像頭檢測到的是被檢物體點距離激光攝像 頭鏡心的深度，而對人流的檢測分類中，需要的是每個檢測個體距離地面的高 度，每個個體距離地面的高度可以由該檢測物體點的深度減去地面的深度得到，
所以被檢區(qū)域的地形深度信息是得到各檢測個體高度信息的先決條件，特別是 那種不平坦的地面，這個過程就是地形制圖。
雖然可以通過掃描空置檢測區(qū)深度圖像，并且將檢測數(shù)據(jù)存儲起來形式進 行地形制圖，但是該方式浪費存儲資源，在實際操作中，函數(shù)擬合是一種非常 適用的不僅簡便而且快速的地形制圖方式，而且，該方法在計算檢測個體高度 時，可以將擬合函數(shù)作為一種濾波器使用，非常方便。
地形函數(shù)擬合的方法描述如下，如果函數(shù)y有"個獨立變量，通過w個試驗
點^ /3，—，、)， /M，2，…m ，這樣則有<formula>formula see original document page 7</formula>
一般情況下，地形制圖一般采用2次擬合函數(shù)，因此地形函數(shù)
"地面O,力"0+"; + "2少+ "3x2+"4少2+"5砂，",是擬禾卩因子。X，少，X2 , / 個獨立變量，通過前述擬合方法，得到擬和的地形地圖。3、 多閾值分割、聚類
通過對原始深度圖像進行地形制圖濾波處理，可得檢測區(qū)域人流各檢測個 體表面的高度圖像，圖像中每個像素的灰度等級表示了該檢測個體表面某點的 高度。通過統(tǒng)計可得到檢測區(qū)域目標物體點陣的高度的最大值和最小值。如果 對該圖像只采用單一高度閾值進行分割，存在閾值選擇困難的問題，如果選得 過大，將會丟失檢測目標，但是如果選擇過小，檢測點陣將密集分布，將嚴重 加大目標物體聚類算法的難度。目前密集點陣的聚類算法依然是一個很難解決 的問題，因此本發(fā)明采用多個高度閾值對密集點陣進行分割，得到多個高度等 級圖層，對每一個圖層中的點陣分別采用自迭代組織分析算法進行聚類，識別 出每一個圖層中物體，然后從第一個圖層開始，對所有圖層中的目標進行累加 或者合并處理，最終得到每一幀深度圖像中的行人目標。
4、 行人個體跟蹤算法
在人流監(jiān)控系統(tǒng)中，目標跟蹤起著至關(guān)重要的作用。檢測到每一幀深度圖 像中的行人目標后，接著就要進行目標跟蹤，已獲得人流平均速度、流量等信 息。本發(fā)明采用卡爾曼濾波器跟蹤方式對檢測個體進行相應(yīng)的跟蹤識別，卡爾 曼濾波器是一組方程，用有效的迭代方法來使過程均方誤差最小來估計過程的
狀態(tài)。為了準確的跟蹤行人，對每個行人建了3個卡爾曼濾波器，其中兩個是x 方向上和y方向上在網(wǎng)格中的信息，另外一個是圖像中行人個體方框縮放比例。 本實施例采用圖1所示的基于激光傳感器深度圖像的人流檢測方案，具體
實施步驟如下
1、 安裝硬件采集設(shè)備
本發(fā)明使用的激光傳感攝像頭包括傳感頭、控制單元和人機交互部件(監(jiān) 視器、鍵盤和鼠標)。傳感頭就是檢測單元，其三維尺寸是
W550mm*D155mm*H150mm， 一旦固定在監(jiān)測點上，傳感頭可以在水平、垂直 兩個方向進行旋轉(zhuǎn)，水平最大允許角度是150度，垂直最大允許角度是30度。 當對三維物體掃描時，傳感器檢測數(shù)據(jù)包括掃描角度、擺動角度和深度數(shù)據(jù)。 此外，因為檢測變量是極坐標系統(tǒng)，因此原始數(shù)據(jù)必須經(jīng)過必要的處理轉(zhuǎn)化為 笛卡爾坐標系統(tǒng)。
2、 地形制圖
正如前面所述的，因為聚類分類方法中需要的是人流個體的高度，所以必 須采用地形制圖的方式得到檢測區(qū)域的地形高度信息。因為工作機制的原因， 激光傳感攝像頭的掃描線不像普通的CCD攝像頭那樣固定在一個長方形的網(wǎng)格 點內(nèi)，因此需要對空置區(qū)域進行多次掃描，累計檢測區(qū)域每個點的高度值，均 衡地分配到預(yù)設(shè)的網(wǎng)格點上得到真實的地面高度圖像，最后采用函數(shù)擬和的方 法得到檢測區(qū)域地形圖。當對檢測區(qū)域人流深度圖像進行地形濾波后，就可得到檢測區(qū)域人流的高 度密集點陣，對于每一幀高度密集點陣，本發(fā)明選取多個高度閾值對密集點陣 進行分割，得到多張不同高度等級范圍的點陣圖層，對每個圖層的點陣采用自
迭代組織分析算法進行聚類，識別出每一個圖層中行人個體(如圖2、圖3)。
在此之后，本發(fā)明從第1個圖層開始，設(shè)定識別出的行人個體為中間結(jié)果，并 且將這個中間結(jié)果和第二層中識別出的物體進行比較，如果在相同位置出現(xiàn)的
目標物體同時出現(xiàn)在兩個圖層上，則表明是同一行人；如果在同樣位置第一圖 層沒有出現(xiàn)而第二圖層中存在，說明是一個新的目標，加入中間結(jié)果；如果在 第一圖層出現(xiàn)，但在第二圖層沒有發(fā)現(xiàn)，說明是一個誤檢目標，從中間結(jié)果中 刪除；如果在第一圖層出現(xiàn)的多個行人目標，在第二圖層上變?yōu)橐粋€行人目標， 就將檢測目標融合為一個，并在中間結(jié)果中進行刪減處理。重復(fù)上述過程直到 最后一個圖層結(jié)束，最終得到單幀高度圖像中的所有識別個體。 4、行人個體跟蹤
在人流監(jiān)控系統(tǒng)中，目標跟蹤起著至關(guān)重要的作用。檢測到每一幀深度圖 像中的行人目標后，接著就要進行目標跟蹤，已獲得人流平均速度、流量等信 息。本發(fā)明采用卡爾曼濾波器跟蹤方式對檢測個體進行相應(yīng)的跟蹤識別，卡爾 曼濾波器是一組方程，用有效的迭代方法來使過程均方誤差最小來估計過程的 狀態(tài)。為了準確的跟蹤行人，對每個行人建了3個卡爾曼濾波器，其中兩個是x 方向上和y方向上在網(wǎng)格中的信息，另外一個是圖像中行人個體方框縮放比例。
從以上使用實例中可以發(fā)現(xiàn)，本實施例有效地克服了傳統(tǒng)的視頻、紅外檢 測手段對天氣和光照條件的依賴，將檢測設(shè)備換成了激光傳感攝像頭，架設(shè)在 行人通過的通道上放就可實現(xiàn)對人流的動態(tài)識別和檢測，此外，該檢測手段還 具有計算簡便、運算速度快、易于維護、實時監(jiān)控等優(yōu)點。
上述的對實施例的描述是為便于該技術(shù)領(lǐng)域的普通技術(shù)人員能理解和應(yīng)用 本發(fā)明。熟悉本領(lǐng)域技術(shù)的人員顯然可以容易地對這些實施例做出各種修改， 并把在此說明的一般原理應(yīng)用到其他實施例中而不必經(jīng)過創(chuàng)造性的勞動。因此, 本發(fā)明不限于這里的實施例，本領(lǐng)域技術(shù)人員根據(jù)本發(fā)明的揭示，對于本發(fā)明 做出的改進和修改都應(yīng)該在本發(fā)明的保護范圍之內(nèi)。
9
權(quán)利要求
1、一種基于激光傳感器深度圖像的人流檢測方法，其特征在于通過激光傳感攝像機拍攝多幀在檢測區(qū)域空置時的深度圖像，通過地形制圖的方式得到檢測區(qū)域地面的地形圖；在實際人流檢測環(huán)境下，使用實際場景中人流的深度圖像減去地形圖中各地面的實際高度，得到檢測區(qū)域各檢測點的實際高度；按照檢測區(qū)域各點的實際高度范圍，通過多個閾值將檢測區(qū)域各點高度點陣圖像分成多個圖層，對每一個圖層分別采用自迭代組織分析技術(shù)對點陣圖像進行聚類，分割出每一個圖層中的目標；從第一個圖層開始，采用自上而下的方式對每一個圖層中的目標進行累加或者合并，檢測出每一幀深度圖像中的行人目標；通過卡爾曼濾波對多幀圖像目標進行跟蹤，最終達到對檢測區(qū)域內(nèi)行人流的密度、速度和流量等信息實時檢測的目的。
2、 根據(jù)權(quán)利要求1所述的基于激光傳感器深度圖像的人流檢測方法，其特 征在于使用的激光傳感攝像頭包括傳感頭、控制單元和人機交互部件；傳感 頭是檢測單元， 一旦固定在監(jiān)測點上，傳感頭可以在水平、垂直兩個方向進行 旋轉(zhuǎn)。
3、 根據(jù)權(quán)利要求2所述的基于激光傳感器深度圖像的人流檢測方法，其特 征在于該傳感頭水平旋轉(zhuǎn)最大允許角度是150度，垂直旋轉(zhuǎn)最大允許角度是 30度。
4、 根據(jù)權(quán)利要求1所述的基于激光傳感器深度圖像的人流檢測方法，其特 征在于當對三維物體掃描時，傳感器檢測數(shù)據(jù)包括掃描角度、擺動角度和深 度數(shù)據(jù)；將極坐標系統(tǒng)下檢測到的原始數(shù)據(jù)轉(zhuǎn)化為笛卡爾坐標系統(tǒng)下數(shù)據(jù)。
5、 根據(jù)權(quán)利要求1所述的基于激光傳感器深度圖像的人流檢測方法，其特 征在于采用地形制圖的方式得到檢測區(qū)域的地形高度信息；對空置區(qū)域進行多次掃描，累計檢測區(qū)域每個點的高度值，均衡地分配到預(yù)設(shè)的網(wǎng)格點上得到 真實的地面高度圖像，最后采用函數(shù)擬和的方法得到檢測區(qū)域地形圖。
6、 根據(jù)權(quán)利要求l所述的基于激光傳感器深度圖像的人流檢測方法，其特 征在于通過對原始深度圖像進行地形制圖濾波處理，可得檢測區(qū)域人流各檢 測個體表面的高度圖像，圖像中每個像素的灰度等級表示了該檢測個體表面某 點的高度；采用多個高度閾值對密集點陣進行分割，得到多個高度等級圖層， 對每一個圖層中的點陣分別采用自迭代組織分析算法進行聚類，識別出每一個 圖層中物體，然后從第一個圖層開始，對所有圖層中的目標進行累加或者合并 處理，最終得到每一幀深度圖像中的行人目標。
7、 根據(jù)權(quán)利要求1所述的基于激光傳感器深度圖像的人流檢測方法，其特 征在于檢測到每一幀深度圖像中的行人目標后，接著進行目標跟蹤以獲得人 流平均速度、流量等信息。
8、 根據(jù)權(quán)利要求7所述的基于激光傳感器深度圖像的人流檢測方法，其特 征在于對檢測個體進行相應(yīng)的跟蹤識別，用有效的迭代方法來使過程均方誤 差最小來估計過程的狀態(tài)。
9、 根據(jù)權(quán)利要求8所述的基于激光傳感器深度圖像的人流檢測方法，其特 征在于采用卡爾曼濾波器跟蹤方式對檢測個體進行相應(yīng)的跟蹤識別。
10、 根據(jù)權(quán)利要求9所述的基于激光傳感器深度圖像的人流檢測方法，其 特征在于對每個行人建3個卡爾曼濾波器，其中兩個是x方向上和y方向上 在網(wǎng)格中的信息，另外一個是圖像中行人個體方框縮放比例。
全文摘要
本發(fā)明首先通過激光傳感攝像機拍攝多幀在檢測區(qū)域空置時的深度圖像，得到檢測區(qū)域地面的地形圖，接著在實際人流檢測環(huán)境下，得到檢測區(qū)域各檢測點的實際高度。將檢測區(qū)域各點高度點陣圖像分成多個圖層，對每一個圖層分別采用自迭代組織分析技術(shù)對點陣圖像進行聚類，分割出每一個圖層中的目標。從第一個圖層開始，采用自上而下的方式對每一個圖層中的目標進行累加或者合并，檢測出每一幀深度圖像中的行人目標。對多幀圖像目標進行跟蹤，最終達到對檢測區(qū)域內(nèi)行人流的密度、速度和流量等信息實時檢測的目的。當外在檢測環(huán)境發(fā)生改變時該方法依然能夠?qū)π腥肆鬟M行有效檢測，還具有計算簡便、實時性好、同步實現(xiàn)人流的監(jiān)控功能等優(yōu)點。
文檔編號G06K9/00GK101425128SQ200710047590
公開日2009年5月6日 申請日期2007年10月30日 優(yōu)先權(quán)日2007年10月30日
發(fā)明者凱 劉, 劉富強, 單聯(lián)海, 唐 孫, 宋春林, 徐尚志, 鑫 李, 李志鵬, 平 王, 王新紅, 錢業(yè)青, 俊 韓 申請人:同濟大學