本發(fā)明涉及一種公交車客流量統(tǒng)計(jì)系統(tǒng)，具體地涉及一種基于ToF相機(jī)的公交車客流量統(tǒng)計(jì)系統(tǒng)。

背景技術(shù)：

作為公共交通工具的所有者和管理者需要實(shí)時(shí)、清楚、準(zhǔn)確的乘客交通統(tǒng)計(jì)數(shù)據(jù)作為車輛調(diào)度、運(yùn)營(yíng)管理、線路規(guī)劃的依據(jù)，因此必須要有相應(yīng)的客流統(tǒng)計(jì)與運(yùn)營(yíng)分析系統(tǒng)的軟硬件設(shè)備提供支持。公交車客流量統(tǒng)計(jì)系統(tǒng)是用在公共交通工具中自動(dòng)、智能準(zhǔn)確地采集上車下車客流量、每個(gè)站點(diǎn)客流量信息進(jìn)行時(shí)段統(tǒng)計(jì)管理及車輛運(yùn)營(yíng)分析的信息檢測(cè)、管理系統(tǒng)。

近幾年的公交車客流量統(tǒng)計(jì)系統(tǒng)主要均采用非接觸的方式，其對(duì)應(yīng)的主流傳感器大體分為單目攝像頭，雙目攝像頭，紅外光幕傳感器等這三類。在已有的相關(guān)專利中，申請(qǐng)?zhí)枮?01210413969.2的發(fā)明專利中描述了一種基于單目的攝像頭智能化視頻客流分析方法及系統(tǒng)，其原理是基于機(jī)器視覺理論，首先對(duì)監(jiān)控視頻的人體目標(biāo)初步檢測(cè)并跟蹤目標(biāo)，最后判斷客流軌跡得到客流數(shù)據(jù)；申請(qǐng)?zhí)枮?01310363318.1的發(fā)明專利描述了一種基于雙目攝像頭的視頻分析方法，其原理是獲取攝像頭采集的兩張?jiān)级S圖，利用深度圖算法對(duì)兩張?jiān)级S圖進(jìn)行重建及背景過濾，獲得3D深度圖，然后利用圖像分割算法得到目標(biāo)位置，并跟蹤目標(biāo)，最后判斷客流軌跡得到客流數(shù)據(jù)；申請(qǐng)?zhí)枮?01320379173.X的專利中描述了一種基于紅外光幕傳感器的客流統(tǒng)計(jì)分析及系統(tǒng)，原理是利用紅外發(fā)射模塊將紅外光發(fā)射出去，同時(shí)紅外接收模塊來接收自身發(fā)射出去的紅外光，于此同時(shí)，如果人體目標(biāo)經(jīng)過該區(qū)域，其輻射出來的紅外線會(huì)導(dǎo)致人體熱釋電紅外探頭檢測(cè)到微弱的信號(hào)變化，經(jīng)信號(hào)處理電路后傳送給客流微控制器，并判斷單人或者雙人通過，最終得到客流數(shù)據(jù)。

上述市面的三種公交車客流量統(tǒng)計(jì)系統(tǒng)存在以下不足：基于單目攝像頭的公交車客流量統(tǒng)計(jì)系統(tǒng)雖然得到大規(guī)模的應(yīng)用，但是易受環(huán)境、光照等的影響，它的客流量統(tǒng)計(jì)精度很大程度上依賴于視頻圖像分析算法和圖像質(zhì)量的優(yōu)劣?；陔p目攝像頭的公交客流量統(tǒng)計(jì)系統(tǒng)利用立體匹配算法將二維圖像轉(zhuǎn)換成3D圖像，但是軟件算法實(shí)現(xiàn)復(fù)雜且3D圖像信息不精準(zhǔn)?；诩t外光幕傳感器的公交客流統(tǒng)計(jì)系統(tǒng)不易受環(huán)境因素的影響，但高密度客流和客流方向仍是技術(shù)難題。為了解決以上存在的問題，本發(fā)明因此而來。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)上述不足和技術(shù)難點(diǎn)，本發(fā)明提供一種基于ToF相機(jī)的公交車客流統(tǒng)計(jì)系統(tǒng)，旨在解決公交車客流數(shù)據(jù)統(tǒng)計(jì)的精確度受室外環(huán)境、高密度客流、圖像質(zhì)量等因素影響的問題，提高系統(tǒng)的精確性、魯棒性和可靠性，并增加數(shù)據(jù)無線傳送、車輛實(shí)時(shí)定位、數(shù)據(jù)分析及后臺(tái)管理等功能。

為了解決現(xiàn)有技術(shù)中的這些問題，本發(fā)明提供的技術(shù)方案是：

一種基于ToF相機(jī)的公交車客流量統(tǒng)計(jì)系統(tǒng)，包括圖像采集裝置、圖像處理裝置、定位裝置、數(shù)據(jù)傳輸裝置和遠(yuǎn)程數(shù)據(jù)管理裝置，所述圖像采集裝置設(shè)置在公交車輛前門和后門處，所述圖像采集模塊包括2D圖像采集模塊、近紅外測(cè)距模塊和3D圖像合成模塊，用于實(shí)時(shí)獲取上下公交車輛的乘客二維圖像和距離圖像，并將乘客二維圖像和距離圖像轉(zhuǎn)換成3D圖像，并將3D圖像傳輸給圖像處理裝置；所述定位裝置用于獲取公交車輛的實(shí)時(shí)位置信息，并將實(shí)時(shí)位置信息發(fā)送給數(shù)據(jù)傳輸裝置；所述圖像處理裝置利用圖像分割算法將3D圖像中存在的潛在人體目標(biāo)進(jìn)行初步篩選定位，然后利用機(jī)器學(xué)習(xí)算法將潛在的人體目標(biāo)進(jìn)行精確分類定位，使用多特征融合的目標(biāo)跟蹤算法對(duì)定位的人體目標(biāo)進(jìn)行預(yù)測(cè)跟蹤，最終形成人體目標(biāo)的運(yùn)動(dòng)軌跡并統(tǒng)計(jì)人體目標(biāo)的上下車人數(shù)，將公交車輛實(shí)時(shí)客流量數(shù)據(jù)和公交車輛實(shí)時(shí)位置信息通過數(shù)據(jù)傳輸裝置傳輸給遠(yuǎn)程數(shù)據(jù)管理裝置；所述遠(yuǎn)程數(shù)據(jù)管理裝置用于接收公交車輛發(fā)送的公交車輛實(shí)時(shí)客流量數(shù)據(jù)，按不同需求生成統(tǒng)計(jì)信息。

優(yōu)選的，所述遠(yuǎn)程數(shù)據(jù)管理裝置將公交車上的實(shí)時(shí)位置信息、實(shí)時(shí)客流數(shù)據(jù)以及有效的客流視頻發(fā)送到網(wǎng)絡(luò)平臺(tái)，所述網(wǎng)絡(luò)平臺(tái)用于公共交通的運(yùn)營(yíng)理念分析、客流規(guī)劃以及調(diào)度。

優(yōu)選的，所述圖像處理裝置為TFC模塊，數(shù)據(jù)傳輸裝置為4G模塊，TFC模塊的輸出端與數(shù)據(jù)傳輸裝置的輸入端連接。

優(yōu)選的，所述定位裝置為GPS/北斗雙模定位芯片，其輸出端與數(shù)據(jù)傳輸裝置的輸入端連接。

優(yōu)選的，所述圖像處理裝置包括機(jī)器學(xué)習(xí)融合圖像分割算法的人體目標(biāo)檢測(cè)模塊、人體目標(biāo)跟蹤模塊、人體運(yùn)動(dòng)軌跡判斷決策模塊和視頻存儲(chǔ)模塊，所述人體目標(biāo)檢測(cè)模塊，利用圖像分割算法將3D圖像中存在的潛在人體目標(biāo)進(jìn)行初步篩選定位，然后利用機(jī)器學(xué)習(xí)算法將潛在的人體目標(biāo)進(jìn)行精確分類定位，所述人體目標(biāo)跟蹤模塊，實(shí)現(xiàn)干擾條件下的多目標(biāo)同步跟蹤，所述人體運(yùn)動(dòng)軌跡判斷決策模塊，記錄每個(gè)人體目標(biāo)在檢測(cè)區(qū)域從進(jìn)入到離開的所有運(yùn)動(dòng)軌跡，然后利用軌跡決策模型判斷是上車人數(shù)或者下車人數(shù)，得出最終的計(jì)數(shù)結(jié)果，所述視頻存儲(chǔ)模塊，用于當(dāng)車門打開之后，同步開啟錄像功能，當(dāng)車門關(guān)閉后，將有效視頻進(jìn)行存儲(chǔ)。

本發(fā)明又公開了一種基于ToF相機(jī)的公交車客流量獲取方法，包括以下步驟：

(1)采集進(jìn)出公交車輛的乘客二維圖像和距離圖像，并將乘客二維圖像和距離圖像轉(zhuǎn)換成3D圖像；

(2)利用圖像分割算法將3D圖像中存在的潛在人體目標(biāo)進(jìn)行初步篩選定位，然后利用機(jī)器學(xué)習(xí)算法將潛在的人體目標(biāo)進(jìn)行精確分類定位；

(3)使用多特征融合的目標(biāo)跟蹤算法對(duì)定位的人體目標(biāo)進(jìn)行預(yù)測(cè)跟蹤，最終形成人體目標(biāo)的運(yùn)動(dòng)軌跡并統(tǒng)計(jì)人體目標(biāo)的上下車人數(shù)，獲取預(yù)定時(shí)間內(nèi)進(jìn)出公共車輛的公共交通客流量。

優(yōu)選的，所述步驟(1)包括，對(duì)距離圖像信息進(jìn)行預(yù)處理，使用圖像濾波算法將獲取的距離圖像信息進(jìn)行噪聲過濾，然后將2D圖像信息和距離圖像信息通過投影轉(zhuǎn)化合成3D圖像。

優(yōu)選的，所述目標(biāo)跟蹤算法包括預(yù)測(cè)模塊、目標(biāo)跟蹤模塊和目標(biāo)更新模塊，預(yù)測(cè)模塊利用人體目標(biāo)的運(yùn)動(dòng)參數(shù)和特定規(guī)則預(yù)測(cè)下一幀中運(yùn)動(dòng)目標(biāo)可能出現(xiàn)的區(qū)域；目標(biāo)跟蹤模塊，針對(duì)相鄰幀間運(yùn)動(dòng)目標(biāo)的變化，利用特征值計(jì)算代價(jià)函數(shù)值，求出當(dāng)前幀中運(yùn)動(dòng)目標(biāo)在下一幀中的對(duì)應(yīng)的后續(xù)目標(biāo)，建立對(duì)應(yīng)關(guān)系；目標(biāo)更新模塊，用于更新已被跟蹤運(yùn)動(dòng)目標(biāo)的目標(biāo)鏈、目標(biāo)位置信息和目標(biāo)特征量。

優(yōu)選的，記錄每個(gè)人體目標(biāo)在檢測(cè)區(qū)域從進(jìn)入到離開的所有運(yùn)動(dòng)軌跡，然后利用軌跡決策模型判斷是上車人數(shù)或者下車人數(shù)，得出最終的計(jì)數(shù)結(jié)果。

相對(duì)于現(xiàn)有技術(shù)中的方案，本發(fā)明的優(yōu)點(diǎn)是：

1.本發(fā)明中的系統(tǒng)通過基于ToF相機(jī)的CMOS模塊來獲取公交車的乘客上下車的2D圖像流和4個(gè)近紅外光測(cè)距模塊來獲取距離圖像信息，通過投影轉(zhuǎn)換等核心算法將兩者合成3D圖像。與彩色圖像相比，3D圖像能直接反映物體表面的三維特征，且不受光照、陰影和色度等因素的影響。

2.本發(fā)明的核心算法解決在復(fù)雜背景、室外光線變化、人群簇?fù)淼葪l件下的能夠高精度的乘客人數(shù)統(tǒng)計(jì)，主要涉及到利用圖像分割的算法對(duì)合成的3D圖像進(jìn)行初步分割并定位潛在的目標(biāo)，然后利用機(jī)器學(xué)習(xí)算法再次分類定位人體目標(biāo)，接著使用多特征融合的目標(biāo)跟蹤算法對(duì)定位的人體目標(biāo)進(jìn)行預(yù)測(cè)跟蹤，最終形成人體目標(biāo)的運(yùn)動(dòng)軌跡并統(tǒng)計(jì)人體目標(biāo)的上下車人數(shù)。

3.本發(fā)明的客流量統(tǒng)計(jì)系統(tǒng)的遠(yuǎn)程管理裝置將公交車上的實(shí)時(shí)位置信息，實(shí)時(shí)的客流數(shù)據(jù)以及有效的客流視頻發(fā)送到網(wǎng)絡(luò)平臺(tái)上面，這樣為公共交通的運(yùn)營(yíng)分析理念、客流規(guī)劃、調(diào)度、管理技術(shù)提供切實(shí)可行的解決方案。

附圖說明

下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述：

圖1為本發(fā)明基于距離圖像傳感器的客流量統(tǒng)計(jì)系統(tǒng)的原理框圖；

圖2為本發(fā)明基于距離圖像傳感器的客流量統(tǒng)計(jì)系統(tǒng)的圖像采集裝置的原理框圖；

圖3為本發(fā)明基于ToF相機(jī)的公交車客流量統(tǒng)計(jì)系統(tǒng)的圖像處理裝置的原理框圖。

具體實(shí)施方式

以下結(jié)合具體實(shí)施例對(duì)上述方案做進(jìn)一步說明。應(yīng)理解，這些實(shí)施例是用于說明本發(fā)明而不限于限制本發(fā)明的范圍。實(shí)施例中采用的實(shí)施條件可以根據(jù)具體廠家的條件做進(jìn)一步調(diào)整，未注明的實(shí)施條件通常為常規(guī)實(shí)驗(yàn)中的條件。

實(shí)施例

如圖1所示，基于ToF相機(jī)的公交車客流量統(tǒng)計(jì)系統(tǒng)，包括圖像采集裝置、圖像處理裝置、定位裝置、數(shù)據(jù)傳輸裝置和遠(yuǎn)程數(shù)據(jù)管理裝置。

圖像采集裝置為ToF相機(jī)，將ToF相機(jī)安裝在每輛公交車前后門處的正上方且接入車輛上面的開關(guān)門信號(hào)，同時(shí)將位置定位和4G數(shù)據(jù)通訊裝置安裝在主機(jī)箱子里面，并接入車內(nèi)取ACC信號(hào)線，電源線正負(fù)極。然后調(diào)整相機(jī)角度，保證相機(jī)鏡頭垂直于地面。

ToF相機(jī)的作用是將整個(gè)場(chǎng)景轉(zhuǎn)換成深度圖像信息，其光源給目標(biāo)連續(xù)發(fā)送光脈沖，然后利用傳感器接收從物體返回的光，然后信號(hào)電路的解調(diào)得到返回光的相位。利用下面提到的公式1和公式2，計(jì)算得到目標(biāo)物的距離。

ToF相機(jī)中測(cè)距的基本公式是：

其中，Ψ為返回信號(hào)的相位，n是信號(hào)飛行途中一共經(jīng)歷的波長(zhǎng)個(gè)數(shù)。信號(hào)波長(zhǎng)λ與調(diào)制頻率f有關(guān)，c為光速，公式為

值得注意的是圖像顏色定義為黑色代表無窮遠(yuǎn)，白色代表無窮近，數(shù)值分別是從0到255之間的數(shù)據(jù)表示，于此同時(shí)黑色和白色的灰度值對(duì)應(yīng)于物體到距離圖像傳感器的相對(duì)距離，不同的數(shù)值代表這個(gè)點(diǎn)到相機(jī)的相對(duì)距離。通過物理空間的世界真實(shí)坐標(biāo)，換算得到每個(gè)點(diǎn)到相機(jī)的物理距離。

通過ToF相機(jī)的CMOS模塊來獲取公交車的乘客上下車的2D圖像流和4個(gè)近紅外光測(cè)距模塊來獲取距離圖像信息，通過投影轉(zhuǎn)換等核心算法將兩者合成3D圖像，并將3D圖像傳輸給圖像處理裝置；圖像處理裝置利用圖像分割算法將3D圖像中存在的潛在人體目標(biāo)進(jìn)行初步篩選定位，然后利用機(jī)器學(xué)習(xí)算法將潛在的人體目標(biāo)進(jìn)行精確分類定位，使用多特征融合的目標(biāo)跟蹤算法對(duì)定位的人體目標(biāo)進(jìn)行預(yù)測(cè)跟蹤，最終形成人體目標(biāo)的運(yùn)動(dòng)軌跡并統(tǒng)計(jì)人體目標(biāo)的上下車人數(shù)，將公交車輛實(shí)時(shí)客流量數(shù)據(jù)和公交車輛實(shí)時(shí)位置信息通過數(shù)據(jù)傳輸裝置傳輸給遠(yuǎn)程數(shù)據(jù)管理裝置。

如圖2所示，圖像采集裝置包括2D圖像采集模塊、近紅外測(cè)距模塊和3D圖像合成模塊。2D圖像采集模塊用于利用CMOS模塊采集乘客的二維圖像；近紅外測(cè)距模塊用于通過4個(gè)近紅外光的飛行時(shí)間來獲取被測(cè)物體的距離圖像信息；3D圖像合成模塊，首先對(duì)距離圖像信息進(jìn)行預(yù)處理，使用圖像濾波的算法將獲取的距離圖像信息進(jìn)行噪聲過濾，然后利用已知的2D圖像信息和距離圖像信息經(jīng)過投影轉(zhuǎn)化等公式合成3D圖像。

如圖3所示，圖像處理裝置主要包括機(jī)器學(xué)習(xí)融合圖像分割算法的人體目標(biāo)檢測(cè)模塊、人體目標(biāo)跟蹤模塊、人體運(yùn)動(dòng)軌跡判斷決策模塊、視頻存儲(chǔ)模塊。其中，機(jī)器學(xué)習(xí)融合圖像分割算法的人體目標(biāo)檢測(cè)模塊是用于解決在公交車室外光線變化、人群簇?fù)頎顟B(tài)、有干擾源(如帽子、背包、行李等)存在等復(fù)雜背景下人體目標(biāo)的檢測(cè)定位問題，機(jī)器學(xué)習(xí)融合圖像分割算法的步驟如下：

(a)先利用設(shè)置閾值高度的參數(shù)(Z坐標(biāo)的參數(shù))，然后將合成3D圖像中的高于閾值高度的位置信息(X,Y)中對(duì)應(yīng)的像素灰度信息進(jìn)行保留，然后使用8方向的區(qū)域生長(zhǎng)算法將相似性質(zhì)的像素集合起來構(gòu)成區(qū)域，并使用聚類算法將目標(biāo)區(qū)域的位置信息進(jìn)行初步篩選定位；

(b)先將初步篩選定位到的區(qū)域進(jìn)行放大，然后將利用多特征融合訓(xùn)練的人體目標(biāo)檢測(cè)算法模型對(duì)這些區(qū)域進(jìn)行深度掃描匹配，最終定位到精確的人體目標(biāo)位置信息。

人體目標(biāo)跟蹤模塊，實(shí)現(xiàn)目標(biāo)運(yùn)動(dòng)規(guī)律復(fù)雜、多個(gè)目標(biāo)距離隨機(jī)變化等干擾條件下的多目標(biāo)同步跟蹤算法，并解決多目標(biāo)隨機(jī)運(yùn)動(dòng)下重復(fù)計(jì)數(shù)的問題。跟蹤算法結(jié)構(gòu)分為三大模塊：預(yù)測(cè)模塊、目標(biāo)跟蹤模塊和目標(biāo)更新模塊。其中，預(yù)測(cè)模塊主要利用目標(biāo)的運(yùn)動(dòng)參數(shù)和針對(duì)本系統(tǒng)的特定規(guī)則預(yù)測(cè)、下一幀中運(yùn)動(dòng)目標(biāo)可能出現(xiàn)的區(qū)域；目標(biāo)跟蹤模塊則針對(duì)相鄰幀間運(yùn)動(dòng)目標(biāo)的變化，利用特征值計(jì)算代價(jià)函數(shù)值，求出當(dāng)前幀中運(yùn)動(dòng)目標(biāo)在下一幀中的對(duì)應(yīng)過后續(xù)目標(biāo)，建立對(duì)應(yīng)關(guān)系；目標(biāo)更新模塊主要用于更新已被跟蹤運(yùn)動(dòng)目標(biāo)的目標(biāo)鏈、目標(biāo)位置信息和目標(biāo)特征量；最后人體運(yùn)動(dòng)軌跡判斷決策模塊將記錄每個(gè)目標(biāo)在檢測(cè)區(qū)域從進(jìn)入到離開的所有運(yùn)動(dòng)軌跡，然后軌跡決策模型判斷是上車人數(shù)或者下車人數(shù)，從而得出最終的計(jì)數(shù)結(jié)果；視頻存儲(chǔ)模塊是當(dāng)車門打開之后，同步開啟錄像功能，當(dāng)開車關(guān)閉后，將這段有效視頻存儲(chǔ)到本地的SD卡。

遠(yuǎn)程數(shù)據(jù)管理裝置可以是WEB網(wǎng)絡(luò)服務(wù)器和數(shù)據(jù)管理服務(wù)器。遠(yuǎn)程數(shù)據(jù)管理裝置負(fù)責(zé)接收公交車輛發(fā)送的公交車輛實(shí)時(shí)的客流量數(shù)據(jù)信息、有效的視頻信息和公交車輛實(shí)時(shí)位置信息并進(jìn)行分析，按不同要求生成統(tǒng)計(jì)信息和報(bào)表，為公交車系統(tǒng)的規(guī)劃、車輛調(diào)度和運(yùn)營(yíng)管理提供依據(jù)。將公交車上的實(shí)時(shí)位置信息、實(shí)時(shí)的客流數(shù)據(jù)以及有效的客流視頻發(fā)送到網(wǎng)絡(luò)平臺(tái)上面，網(wǎng)絡(luò)平臺(tái)可以為公共交通的運(yùn)營(yíng)分析理念、客流規(guī)劃、調(diào)度、管理技術(shù)提供切實(shí)可行的解決方案。

定位裝置選自GPS/北斗雙模定位芯片，其輸出端與圖像處理裝置的輸入端連接。

數(shù)據(jù)傳輸裝置為4G模塊，選自電信七模全網(wǎng)通芯片，電信七模全網(wǎng)通芯片通過網(wǎng)絡(luò)公交車輛實(shí)時(shí)的客流量數(shù)據(jù)，有效的視頻信息和公交車輛實(shí)時(shí)位置信息傳送至遠(yuǎn)程數(shù)據(jù)管理平臺(tái)。

同時(shí)，給出本發(fā)明基于ToF相機(jī)的客流量統(tǒng)計(jì)系統(tǒng)的工作流程

當(dāng)啟動(dòng)公交車的鑰匙信號(hào)后，客流量統(tǒng)計(jì)系統(tǒng)開始工作，ToF相機(jī)經(jīng)過圖像采集以及處理，計(jì)算得到公交車的實(shí)時(shí)客流數(shù)據(jù)和存儲(chǔ)有效的客流視頻；

可以通過位置定位裝置的GPS/北斗雙模實(shí)時(shí)得到車輛的動(dòng)態(tài)位置信息；

主機(jī)將圖像采集和處理集成裝置發(fā)過來的公交車實(shí)時(shí)客流數(shù)據(jù)和存儲(chǔ)有效的客流和車輛的動(dòng)態(tài)位置信息一起打包成數(shù)據(jù)包；

4G數(shù)據(jù)傳輸模塊將公交車輛實(shí)時(shí)的客流量數(shù)據(jù)信息、有效的客流視頻和實(shí)時(shí)的位置信息通過電信4G模塊傳送至遠(yuǎn)程管理中心進(jìn)行存儲(chǔ)和分析，為車輛調(diào)度和管理提供依據(jù)。

上述實(shí)例只為說明本發(fā)明的技術(shù)構(gòu)思及特點(diǎn)，其目的在于讓熟悉此項(xiàng)技術(shù)的人是能夠了解本發(fā)明的內(nèi)容并據(jù)以實(shí)施，并不能以此限制本發(fā)明的保護(hù)范圍。凡根據(jù)本發(fā)明精神實(shí)質(zhì)所做的等效變換或修飾，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。