專利名稱：一種在公交客流統(tǒng)計系統(tǒng)中使用的運動目標(biāo)提取及多目標(biāo)分割方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種新的運動目標(biāo)提取及多目標(biāo)分割方法，特別涉及一種在公交客流 統(tǒng)計中應(yīng)用的運動乘客提取及圖像分割方法。
背景技術(shù)：
應(yīng)用于客流統(tǒng)計的目標(biāo)檢測及圖像分割方法有很多，根據(jù)客流統(tǒng)計系統(tǒng)中攝像頭安裝的角度可以分為兩類。一類為俯視拍攝，可以在一定程度上避免圖像中人體的相互遮 擋。另一類為平視拍攝，目的是在圖像中獲得運動人體的面部信息。公交客流統(tǒng)計運動目 標(biāo)提取及目標(biāo)分割中攝像頭采用俯視拍攝的情況較多。于海濱等提出基于頭部特征提取的 人體檢測與跟蹤方法，采用基于改進Hough變換的頭部輪廓特征提取和基于目標(biāo)視差獲取 頭部深度和透視特征，將它們用于實現(xiàn)具有較高準(zhǔn)確率要求的實時人體檢測與跟蹤系統(tǒng)。 高枝寶提出基于“最小灰度差”的背景幀差法，有效的提取了整體行人運動目標(biāo)。根據(jù)人頭 部分變形最小的特性，提取可能的人頭曲線并進行模板匹配，采用人頭特征的對稱性、頭部 顏色概率分布以及運動軌跡等對目標(biāo)曲線進行排除。李志剛采用基于人臉的圖像外形特征 提取算法，以目標(biāo)區(qū)域的中心坐標(biāo)作為特征點，然后利用統(tǒng)計識別的方法對客流量進行統(tǒng) 計。S. Harasse等提出了一種利用統(tǒng)計學(xué)模型在視頻序列中找到運動人體的方法，分別通 過膚色建模、概率形狀建模以及貝葉斯檢測與跟蹤來實現(xiàn)人流計數(shù)。Tarek Yahiaoui等研 究了一種可以在人群密度較大的公交車上進行運動目標(biāo)檢測，進而完成公交客流統(tǒng)計的方 法。但上述目標(biāo)提取及多目標(biāo)分割方法普遍存在現(xiàn)場準(zhǔn)確率低，目標(biāo)提取及分割不穩(wěn)定等 缺點，且有些算法復(fù)雜，影響系統(tǒng)的實時性。

發(fā)明內(nèi)容
本發(fā)明在已有運動目標(biāo)提取及目標(biāo)分割方法的基礎(chǔ)上，針對公交客流統(tǒng)計系統(tǒng)的 現(xiàn)場環(huán)境，提出一種基于邊緣信息的幀間差分運動目標(biāo)提取和基于投影法的多目標(biāo)分割方 法。本發(fā)明的技術(shù)方案為公交客流統(tǒng)計系統(tǒng)中攝像頭安裝的角度采用俯視拍攝，采 集的視頻圖像取相鄰幀轉(zhuǎn)換為灰度圖像，經(jīng)過中值濾波，然后采用Carmy算法進行邊緣檢 測。將得到的邊緣圖像進行相鄰幀間差分，對差分圖像進行二值化處理，膨脹處理以連接斷 開的距離較近的邊界線條。將邊界用掃描算法進行填充，以連接斷開的距離較遠(15個像 素距離)的邊界，得到封閉的邊緣輪廓。然后利用填充算法填充封閉輪廓內(nèi)的孔洞，標(biāo)記連 通域并計算連通域的面積，根據(jù)面積大小去掉小的干擾目標(biāo)。在公交客流統(tǒng)計系統(tǒng)中，由于 乘客遮擋、擁擠等情況，通過幀間差分檢測出的多個運動目標(biāo)經(jīng)常連通在一起，需要進行圖 像分割。本發(fā)明采用基于投影法的多目標(biāo)分割，將填充后的圖像在水平，垂直及對角線方向 進行投影，得到像素數(shù)在χ軸，y軸及主次對角線上的投影分布曲線，根據(jù)曲線的峰谷值對 圖像進行分割。分割后的圖像采用四叉樹算法計算各分割區(qū)域面積及各分割區(qū)域的質(zhì)心坐標(biāo)，根據(jù)計算得出的目標(biāo)中心位置，建立運動目標(biāo)的目標(biāo)鏈，記錄目標(biāo)運動軌跡。將采集到 的320X240像素圖像的視場分為三個區(qū)域上車區(qū)，下車區(qū)和跟蹤區(qū)。檢測到目標(biāo)運動至 跟蹤區(qū)域則啟動目標(biāo)跟蹤鏈，為每一個出現(xiàn)的目標(biāo)建立跟蹤鏈，并更新目標(biāo)個數(shù)狀態(tài)標(biāo)識。 對檢測到的新的運動目標(biāo)，新建一條跟蹤鏈，同時更新目標(biāo)個數(shù)狀態(tài)標(biāo)識。當(dāng)目標(biāo)中心y坐 標(biāo)的相鄰三幀均值逐漸增大，越過計數(shù)線，表明乘客下車；反之，當(dāng)y坐標(biāo)的相鄰三幀均值 逐漸增小，反向越過計數(shù)線，表明乘客上車，更新上車下車計數(shù)器。本發(fā)明的有益效果在于本發(fā)明提出的基于邊緣信息的幀間差分提取運動目標(biāo)的方法可以保留運動目標(biāo)輪廓，可以使后續(xù)的孔洞填充和求取目標(biāo)中心位置等處理更準(zhǔn)確， 更方便。采用投影法對多運動目標(biāo)進行分割，分割結(jié)果準(zhǔn)確，方法簡便，實時性好。


圖1是客流統(tǒng)計系統(tǒng)結(jié)構(gòu)框圖。圖2是客流統(tǒng)計系統(tǒng)圖像處理流程圖。圖3是運動目標(biāo)檢測與提取算法流程圖。圖4a是公交客流圖像序列中相鄰兩幀圖像中的第一幀圖像。圖4b是公交客流圖像序列中相鄰兩幀圖像中的第二幀圖像。圖4c是采用基于邊緣信息的幀間差分得到的運動目標(biāo)圖像。圖4d是采用傳統(tǒng)幀間差分得到的運動目標(biāo)圖像。圖5是對邊緣幀間差分后圖像進行濾波得到的運動目標(biāo)圖像。圖6是邊界連接后得到的運動目標(biāo)圖像。圖7是運動目標(biāo)跟蹤與計數(shù)算法流程圖。
具體實施例方式在公交客流統(tǒng)計中應(yīng)用本發(fā)明提出的運動目標(biāo)提取及多目標(biāo)分割方法，通過分析 實時圖像數(shù)據(jù)，可以獲得各站點各時段上下車人數(shù)，并將此結(jié)果反饋給監(jiān)控中心，實現(xiàn)公交 資源的最優(yōu)調(diào)度。具體實現(xiàn)方式為在公交車上下車門處安裝攝像頭，獲取乘客上下車的影 像信息。對采集到的連續(xù)幀圖像序列進行處理，分離出乘客目標(biāo)，得到其詳細信息(個數(shù)、 面積、位置等)，對每個進入視場的乘客建立目標(biāo)跟蹤鏈，跟蹤此乘客，直至走出攝像視場范 圍，最終完成乘客自動計數(shù)。如圖1所示，公交客流統(tǒng)計系統(tǒng)硬件包括攝像頭，車載硬件處理平臺，無線發(fā)送器 和監(jiān)控中心接收器等幾部分。固定在公交車內(nèi)前門及后門頂部的CCD攝像頭獲取圖像信 息。攝像頭的啟動由車門開關(guān)信號控制，采集到的乘客上下車圖像序列經(jīng)車載硬件處理平 臺進行處理，處理結(jié)果為某一站點上下車的人數(shù)。然后，將計算得出的乘客流量信息通過無 線發(fā)送器傳回監(jiān)控中心。監(jiān)控中心對接收到的數(shù)據(jù)進行分析，最終實現(xiàn)資源合理調(diào)度。攝像頭圖像采集速率為每秒15幀，數(shù)字圖像大小為320X240像素。車載硬件處 理平臺主要完成運動乘客目標(biāo)提取和跟蹤計數(shù)，輸入為實時客流圖像數(shù)據(jù)，輸出為上下車 人數(shù)。TMS320DM6446處理器采用雙核架構(gòu)ARM+DSP，其中ARM處理器采用ARM926EJ-S核， 工作主頻為297MHz，DSP處理器采用TI的高端DSP核C64x+，工作主頻為594MHz，可以滿足 實時圖像處理的要求。TMS320DM6446具有片上內(nèi)存，包括一個2級高速緩存和豐富的視頻處理外設(shè)，并包含一個視頻/影像協(xié)處理器(VICP)，特別適合于開發(fā)圖像處理產(chǎn)品，適合作 為客流統(tǒng)計系統(tǒng)車載硬件平臺中央處理器。如圖2所示，公交客流統(tǒng)計系統(tǒng)軟件處理流程包括圖像采集，圖像預(yù)處理，運動目 標(biāo)檢測與圖像分割，運動目標(biāo)跟蹤與計數(shù)，實時客流輸出等幾部分。在獲取到連續(xù)幀序列圖 像后，首先進行圖像預(yù)處理，去除噪聲，改善圖像質(zhì)量。運動目標(biāo)檢測采用基于邊緣信息的 幀間差分法，即在進行幀間差分之前對預(yù)處理后的圖像進行Canny邊緣檢測，然后將僅帶 有邊緣信息的圖像進行幀間差分，得到運動目標(biāo)的輪廓。然后，對得到的輪廓曲線進行邊 界連接。對邊界連接后的運動目標(biāo)圖像進行孔洞填充。對多運動目標(biāo)的圖像采用投影法進 行圖像分割，分離出多個運動目標(biāo)，然后計算出目標(biāo)的特征值(面積，質(zhì)心)，建立目標(biāo)跟蹤 鏈。判斷乘客的運動方向及上下車人數(shù)，實時輸出上下車客流量。如圖3所示，運動目標(biāo)檢測與提取的算法流程圖，輸入為采集到的連續(xù)幀序列圖 像，首先進行圖像預(yù)處理，包括平滑濾波、圖像增強。進行預(yù)處理的圖像需要進行圖像類型 轉(zhuǎn)換，從彩色RGB位圖轉(zhuǎn)換為256級灰度圖像，以減小存儲及運算處理時間。平滑濾波采用 中值濾波，在去除噪聲的同時又能使圖像的邊緣信息不受破壞，可以達到比較滿意的去噪 效果。采用的圖像增強方法為對比度展寬技術(shù)。邊緣檢測采用Canny算法，很好的保留了 圖像中的邊緣信息，尤其是運動的人體輪廓。邊緣檢測之后，將灰度圖像變?yōu)槎祱D像。基 于邊緣信息的幀間差分處理公交乘客圖像的結(jié)果如圖4a-4d所示。如圖4a_4d所示，為基于邊緣信息幀間差分與傳統(tǒng)幀間差分的對比情況。采用基 于邊緣信息的幀間差分，對經(jīng)過圖像預(yù)處理的相鄰兩幀公交乘客圖像圖4a和圖4b分別進 行Canny邊緣檢測，得到的邊緣檢測圖像進行幀間差分，差分結(jié)果如圖4c所示，得到的運動 目標(biāo)保留了邊緣信息，便于后續(xù)進行孔洞填充處理及確定運動目標(biāo)位置。而傳統(tǒng)幀間差分 法的差分結(jié)果如圖4d所示，直接將相鄰的兩幀圖像做簡單的預(yù)處理后就進行相減，很容易 將運動目標(biāo)的邊緣信息減掉，缺少邊緣信息的運動目標(biāo)難以準(zhǔn)確得到其中心位置。如圖5所示，幀間差分后進行濾波操作，采用中值濾波方法，可濾除大部分噪聲。 如圖6所示，對濾波后的圖像進行邊界連接，可以把斷開的邊緣線連接起來，形成一個封閉 的輪廓。本發(fā)明中邊界連接主要采用兩種方法。形態(tài)學(xué)膨脹處理方法用來連接距離較近 (3-5個像素)的點，第二種方法用來連接水平或垂直方向上間隔大于5像素，小于15個像 素的點。第二種方法具體步驟如下(1)按照從左向右，從上向下的順序遍歷二值圖像，若 發(fā)現(xiàn)兩個相鄰“ 1，，像素之間的零像素值小于15個，則將這兩個相鄰“ 1，，像素之間的值都賦 為零。(2)按照從上向下，從左向右的順序再次遍歷二值圖像，像素值賦值方法同步驟(1)。如圖7所示，運動目標(biāo)跟蹤計數(shù)流程圖，首先對檢測出的運動目標(biāo)進行孔洞填充， 以便獲得運動目標(biāo)的面積、質(zhì)心等屬性值。采用基于邊界信息的孔洞填充算法，首先利用邊 界跟蹤得到圖像中所有邊界的幾何位置信息，再利用內(nèi)邊界與外邊界的幾何位置關(guān)系判斷 出孔洞位置，最后對原圖像中的孔洞區(qū)域進行掃描線填充。進行分割后的圖像中會存在多 個連通分量，找出圖中所有的連通分量，分別標(biāo)記每個連通分量，即每一連通分量都有不同 的標(biāo)記值?；谕队胺ǖ亩嗄繕?biāo)分割，根據(jù)圖像在特定方向上的投影分布特征來進行圖像分 割，其本質(zhì)是一種統(tǒng)計方法。采用水平、垂直及對角線方向三種分割方法。將形態(tài)學(xué)處理后 的二值圖像作水平方向的投影，H表示其水平投影的結(jié)果，是數(shù)組長度等于二值圖像寬度的一維數(shù)組。
N (1)其中M、N分別表示二值圖像的寬度和高度，g(x，y)表示二值圖像中坐標(biāo)為(x，y) 處的像素值。垂直投影法是對二值圖像在垂直方向上的投影，L表示其垂直投影的結(jié)果，是數(shù)組 長度等于二值圖像長度的一維數(shù)組。
(2)對在水平投影及垂直投影情況下均不易分割的情況，還可以對二值圖像做主對角 線及副對角線方向上的投影。在這里定義主對角線方向上的投影Z為 其中，T為過副對角線上的第i個像素并與主對角線方向平行的一組像素的總數(shù)。同理，定義副對角線上的投影C為 (4)其中，S為過主對角線上的第i個像素并與副對角線方向平行的一組像素的總數(shù)。在進行多目標(biāo)分割時，針對公交乘客上下車的一般情況，首先對圖像進行水平投 影。若沒有明顯的峰谷值，再對其進行對角線投影，若仍無法分割，最后進行垂直投影。在 獲得投影后，找出投影峰值與谷值處坐標(biāo)，確定圖像分割點，分為多個運動目標(biāo)。對于分割 出的各運動目標(biāo)，分別計算其特征量(面積和質(zhì)心)。然后標(biāo)記連通域并計算連通域的面 積，根據(jù)面積大小排除掉一些雜散干擾目標(biāo)。將采集到的320X240像素圖像的視場分為三個區(qū)域上車區(qū)，下車區(qū)和跟蹤區(qū)。 跟蹤區(qū)像素點的y坐標(biāo)為40 200，y坐標(biāo)小于40的為下車區(qū)，大于200為上車區(qū)。得到 運動目標(biāo)的質(zhì)心坐標(biāo)后，對運動目標(biāo)進行跟蹤。跟蹤算法包括跟蹤啟動、數(shù)據(jù)關(guān)聯(lián)計數(shù)兩部 分。在跟蹤啟動前首先要設(shè)置兩個計數(shù)器，以及一個狀態(tài)標(biāo)識(flag)。狀態(tài)標(biāo)識用來存儲 當(dāng)前跟蹤區(qū)域的目標(biāo)個數(shù)，其初始值為零。規(guī)定運動目標(biāo)質(zhì)心y坐標(biāo)變化方向從大到小為 上車，反之為下車。一旦檢測到目標(biāo)運動至跟蹤區(qū)域則啟動目標(biāo)跟蹤鏈，記錄運動目標(biāo)質(zhì)心 坐標(biāo)值。為每一個出現(xiàn)的目標(biāo)建立跟蹤鏈，并更新目標(biāo)個數(shù)狀態(tài)標(biāo)識。若跟蹤區(qū)域中已有運 動目標(biāo)，當(dāng)前又檢測到新的運動目標(biāo)，則新建一條跟蹤鏈，同時更新目標(biāo)個數(shù)狀態(tài)標(biāo)識。數(shù) 據(jù)關(guān)聯(lián)與計數(shù)部分，接收后續(xù)相鄰幀圖像，比較該幀圖像中目標(biāo)個數(shù)n與當(dāng)前跟蹤區(qū)域中 目標(biāo)個數(shù)狀態(tài)標(biāo)識flag的大小，分以下兩種情況(1)若 |n-flag| = 0表明沒有新目標(biāo)出現(xiàn)。單目標(biāo)情況下可直接將新的目標(biāo)中心位置更新到目標(biāo)鏈中；對多目標(biāo)情況，則分別計算當(dāng)前幀中目標(biāo)中心位置與上一幀中目標(biāo)中心位置的距離 dijG，j分別為當(dāng)前幀與上一幀中運動目標(biāo)標(biāo)號)。a)若大于某一閾值，則判定為計算錯誤，用預(yù)測值代替計算值，更新跟蹤鏈；b)若在允許范圍內(nèi)，則根據(jù)分別將新的目標(biāo)中心位置更新到對應(yīng)的目標(biāo)鏈 中。(2)若 |n-flag| = 1表明有新目標(biāo)進入跟蹤區(qū)域或者目標(biāo)離開跟蹤區(qū)域。a)若n > flag,則表明有新目標(biāo)出現(xiàn)，為新目標(biāo)新建一條跟蹤鏈，更新原有目標(biāo) 鏈；b)若n < flag,目標(biāo)離開跟蹤區(qū)域，表明目標(biāo)上車或下車。判定有乘客上下車的 條件為目標(biāo)鏈的長度超過15，然后判斷乘客通過上車線(y坐標(biāo)為200)還是下車線(y坐標(biāo) 為40)，更新相應(yīng)上車或下車方向的計數(shù)器的值。
權(quán)利要求
一種在公交客流統(tǒng)計系統(tǒng)中使用的運動目標(biāo)提取及多目標(biāo)分割方法，其特征在于包括以下步驟(1)將攝像頭拍攝到的視頻圖像取相鄰幀進行圖像預(yù)處理；(2)對預(yù)處理后圖像進行邊緣檢測，然后進行相鄰幀間差分，對差分圖像進行去噪、邊界連接和孔洞填充等處理，得到運動目標(biāo)；(3)將填充后的圖像采用投影法進行多目標(biāo)分割，計算各分割區(qū)域面積及各分割區(qū)域的質(zhì)心坐標(biāo)，根據(jù)計算得出的目標(biāo)中心位置，建立運動目標(biāo)的目標(biāo)鏈，記錄目標(biāo)運動軌跡。
2.根據(jù)權(quán)利要求1所述的在公交客流統(tǒng)計系統(tǒng)中使用的運動目標(biāo)提取及多目標(biāo)分割 方法，其特征在于所述步驟(3)后檢測到目標(biāo)運動至跟蹤區(qū)域則啟動目標(biāo)跟蹤鏈，為每一 個出現(xiàn)的目標(biāo)建立跟蹤鏈，并更新目標(biāo)個數(shù)狀態(tài)標(biāo)識。
3.根據(jù)權(quán)利要求1或2所述的在公交客流統(tǒng)計系統(tǒng)中使用的運動目標(biāo)提取及多目標(biāo)分 割方法，其特征在于所述步驟(1)中攝像頭采用俯視拍攝獲得視頻圖像。
4.根據(jù)權(quán)利要求1或2所述的在公交客流統(tǒng)計系統(tǒng)中使用的運動目標(biāo)提取及多目標(biāo)分 割方法，其特征在于所述攝像頭圖像采集速率為每秒15幀，數(shù)字圖像大小為320 X 240像素。
5.根據(jù)權(quán)利要求1或2所述的在公交客流統(tǒng)計系統(tǒng)中使用的運動目標(biāo)提取及多目標(biāo)分 割方法，其特征在于所述步驟(2)中邊緣檢測采用Carmy算法。
6.根據(jù)權(quán)利要求1或2所述的在公交客流統(tǒng)計系統(tǒng)中使用的運動目標(biāo)提取及多目標(biāo)分 割方法，其特征在于所述步驟(3)中分割后的圖像采用四叉樹算法計算各分割區(qū)域面積 及各分割區(qū)域的質(zhì)心坐標(biāo)。
全文摘要
本發(fā)明涉及一種新的運動目標(biāo)提取及多目標(biāo)分割方法，特別涉及一種在公交客流統(tǒng)計中應(yīng)用的運動乘客提取及圖像分割方法。本發(fā)明方法經(jīng)過圖像采集、圖像預(yù)處理、運動目標(biāo)檢測與分割、運動目標(biāo)跟蹤與計算等步驟，采用基于邊緣信息的幀間差分提取運動目標(biāo)的方法可以保留運動目標(biāo)輪廓，可以使后續(xù)的孔洞填充和求取目標(biāo)中心位置等處理更準(zhǔn)確，更方便，采用投影法對多運動目標(biāo)進行分割，分割結(jié)果準(zhǔn)確，方法簡便，實時性好。
文檔編號H04N7/18GK101847265SQ20101015207
公開日2010年9月29日 申請日期2010年4月20日 優(yōu)先權(quán)日2010年4月20日
發(fā)明者應(yīng)捷, 田牛, 邵娜 申請人:上海理工大學(xué)