基于傳感信息及目標追蹤的多模信息系統(tǒng)及其融合方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種目標追蹤系統(tǒng)，尤其系一種基于傳感信息及目標追蹤的多模信息 系統(tǒng)及其融合方法。
【背景技術(shù)】
[0002] 基于視頻圖像的多攝像頭追蹤技術(shù)，是目前計算機視覺領(lǐng)域的一個具有挑戰(zhàn)性和 吸引力的基礎(chǔ)研究方向；由于基于單一攝像頭目標追蹤所帶來的不可避免的目標遮掩，信 息缺失等缺陷，通過多攝像的多目標跟蹤系統(tǒng)，可W利用不同視野域較好的解決該些問題； 其關(guān)鍵技術(shù)在于人體目標重識別（PRID)。
[0003] 人體目標重識別，在非重疊的多攝像頭系統(tǒng)中，跨越多個不同的攝像頭節(jié)點，并通 過其特征W及時空約束等方法進行人體目標的重新辨認。由于拍攝角度，光照信息等因素 的影響，會造成重識別的誤判；在重識別過程中一般包括： 1) 不變的外觀特征； 2) 基于攝像機對之間的特征轉(zhuǎn)換； 3) 基于外觀特征間的距離。
[0004] 基于目標追蹤的軌跡挖掘，相對于一般意義上的目標追蹤，擁有更大的物理跨度 W及更長時間的長效性。相對于目標追蹤，軌跡挖掘獲得的信息并不只是當(dāng)前一個時間點 上的信息獲取，而是基于多個攝像頭在不同的視野域中獲取的具有時空域的位置序列。通 過對追蹤目標在不同攝像機節(jié)點中的多維特征提取和匹配，可獲得一個基于時間的物理位 置的軌跡信息。通過利用非視覺信息進行相互關(guān)聯(lián)，可W構(gòu)建多模信息系統(tǒng)。多模信息能 夠為任務(wù)行為挖掘，公共安全等領(lǐng)域提供有價值的分析信息。
[0005] 在現(xiàn)有技術(shù)中，列舉一些相近的發(fā)明專利W及案例，如中國發(fā)明專利【申請?zhí)枴?201210050622. 6,名稱為"一種目標人體識別方法"，公開了W下技術(shù)內(nèi)容，它通過對兩個包 含同一人體對象的圖像序列進行分割處理，獲得每帖圖像中的人體對象區(qū)域，然后根據(jù)兩 個圖像序列中的每帖圖像中的人體對象區(qū)域，分別計算兩個圖像序列的空間顏色特征相似 度和局部特征相似度，再利用顏色特征相似度和局部特征相似度訓(xùn)練SVM分類器，最后利 用SVM分類器對待識別的兩個圖像序列進行目標人體識別，由于本發(fā)明方法充分利用空間 顏色特征和局部特征來識別目標人體。
[0006] 又如；中國發(fā)明專利申請?zhí)枺?01410332199.8,名稱為"一種基于多攝像頭的在線 目標跟蹤方法及系統(tǒng)"，該專利中公開了一種基于多攝像頭的在線目標跟蹤方法及系統(tǒng)，它 結(jié)合預(yù)設(shè)定的校準同步方案與自學(xué)習(xí)的跟蹤方法來解決多攝像頭之間的協(xié)同性問題和實 時性問題，提出相應(yīng)的方法。本發(fā)明提出的校準同步方案采用特征點匹配的目標投影矩陣 計算方式，對重疊區(qū)域的多個攝像頭共有信息進行同步；本發(fā)明提出的自學(xué)習(xí)跟蹤方法記 錄監(jiān)控目標的表現(xiàn)模型，并通過中屯、服務(wù)器同步到近鄰攝像頭進行檢測跟蹤，達到傳導(dǎo)性 的信息同步效果。
[0007] 通過上述專利申請公開信息及現(xiàn)狀分析，在多攝像頭計算機視覺領(lǐng)域下的目標追 蹤構(gòu)建多模數(shù)據(jù)模型，仍存在w下不足之處： (1) .非重疊攝像頭之間物理位置的獨立性，其帶來的角度問題是人體目標重追蹤中不 可忽略的問題； (2) .普遍使用多個不同特征的相似性，而并非使用目標對象之間多個特征的距離，不 能保證其魯椿性； (3) .主要針對的仍然是基于追蹤對象的判別，而并未對獲取到的目標追蹤信息進行有 效的信息融合，且其攝像頭節(jié)點僅是單純的獲取錄像信息的單元，進行的是集中式的圖像 處理。

【發(fā)明內(nèi)容】

[0008] 為解決上述現(xiàn)有技術(shù)存在的不足，本發(fā)明的目的在于：提供一個基于傳感信息及 分布式目標追蹤的多模信息系統(tǒng)，它通過分布式多攝像頭網(wǎng)絡(luò)的目標特征提取及跨攝像頭 追蹤，并將目標追蹤結(jié)果與非視覺信息相互融合為多模信息。
[0009] 本發(fā)明的另一目的還在于提供一種基于上述傳感信息及分布式目標追蹤的多模 信息系統(tǒng)的信息融合方法。
[0010] 本發(fā)明中解決其技術(shù)問題采用的技術(shù)方案如下： 基于傳感信息及目標追蹤的多模信息系統(tǒng)，其特征在于，包括視覺信息收集模塊，非視 覺信息收集模塊W及信息匹配模塊，所述視覺信息收集模塊建立在分布式多攝像頭網(wǎng)絡(luò)， 它包括攝像頭系統(tǒng)節(jié)點和檢查點攝像頭組，所述非視覺信息收集模塊包括傳感器信息收 集，信息匹配模塊包括基于跨攝像頭人體目標重識別結(jié)果模塊和多橫數(shù)據(jù)配模塊。
[0011] 本發(fā)明還可W作如下進一步改進： 作為更具體的方案，所述攝像頭系統(tǒng)節(jié)點包括多個非重疊區(qū)域設(shè)置的獨立攝像頭組 成。
[0012] 作為更具體的方案，所述檢查點攝像頭組包括多個具有多角度的重疊視野域的獨 立攝像頭組成。
[0013] 作為進一步的改進，所述每個獨立攝像頭包括多目標追蹤模塊、多特征信息提取 模塊、網(wǎng)絡(luò)通信模塊、微處理器和攝像頭模塊。
[0014] 作為更優(yōu)選之方案，所述傳感器信息收集包括RFID信息收集模塊、和/或身份證 信息收集模塊、和/或小區(qū)口禁系統(tǒng)信息收集模塊。
[0015] 本發(fā)明的另一目的是通過W下技術(shù)方案實現(xiàn)： 一種基于傳感信息及目標追蹤的多模信息系統(tǒng)的融合方法，其特征在于，包括如下步 驟： (a) 視覺信息收集模塊；基于分布式多攝像頭網(wǎng)絡(luò)，對具有非重疊區(qū)域設(shè)置的獨立攝像 頭中獲取的視頻數(shù)據(jù)利用碼本codebook的前景提取方法，基于HOG的行人辨認，基于粒子 濾波及匈牙利算法進行多目標追蹤并分割，基于短時間序列的目標軌跡獲取每個目標的角 度信息并提取出追蹤目標的多維特征信息，提取后的多維特征信息通過組合，獲得對特征 向量距離； (b) 視覺信息收集模塊；在檢查點，利用檢查點攝像頭組，獲取目標并追蹤目標的多維 特征，利用不同目標的多維特征信息組合成對特征向量距離，利用對特征向量距離作為新 特征，包含了角度信息，該目標追蹤信息與身份信息具有與時間約束； (C)非視覺信息收集模塊：在檢查點，利用傳感器信息收集，獲取非視覺個人身份信息， 包括RFID信息，和/或小區(qū)口禁系統(tǒng)信息，和/或身份證信息，將該非視覺個人身份信息與 目標追蹤f目息具有時間約束； (d) 信息匹配模塊：通過網(wǎng)絡(luò)通信模塊將分布式攝像頭網(wǎng)絡(luò)中每個攝像頭節(jié)點提取的 多維特征信息，角度信息W及攝像頭節(jié)點信息和時間信息傳輸?shù)胶笈_的處理模塊中，將多 維特征信息及角度信息利用訓(xùn)練的分類器進行人物目標重識別； (e) 信息匹配模塊；對人物目標重識別獲得的目標關(guān)聯(lián)，結(jié)合時間約束及與個人身份 信息，建立具有多模態(tài)信息記錄系統(tǒng)。
[0016] 作為上述更具體的方案，所述多維特征提取包括對目標利用物理空間信息及圖像 序列，獲取的角度信息W及基于目標圖像區(qū)域信息獲得的顏色，紋理，形狀所組成的多維特 征向量。
[0017] 作為上述更具體的方案，所述人物目標重識別包括接收攝像頭節(jié)點獲取的視覺信 息，使用了多維特征信息并組合成對特征向量距離PFD作為新特征，包括對目標追蹤方法 W檢查點獲取的多維特征信息作為訓(xùn)練樣本，包括人體目標重識別使用W多維特征組合的 對特征向量距離作為特新征的目標追蹤判別方法，所述視覺信息包括目標多維特征向量及 括目標角度信息。
[0018] 作為上述更具體的方案，所述多模數(shù)據(jù)匹配模塊包括接收攝像頭節(jié)點信息及非視 覺收集信息，包括對視覺信息及非視覺信息基于時間約束相互匹配，包括對于基于個人身 份信息的歷史記錄的多次匹配，構(gòu)建一個基于歷史記錄的多模信息模型。
[0019] 本發(fā)明的有益效果如下： 1.采用了分布式特征提取及目標追蹤，降低后臺處理的壓力。
[0020] 2.人體目標重識別的追蹤中使用了包含角度的，利用特征距離對作為訓(xùn)練樣本的 分類器，提高了魯椿性。
[0021] 3.通過對檢查點處的個人身份信息提取，結(jié)合時間約束進行視覺軌跡信息及個人 身份的信息融合。在單純的判別基礎(chǔ)之上進行了多模信息的融合。
【附圖說明】
[0022] 下面結(jié)合附圖和實施例對本發(fā)明作進一步說明。
[0023] 圖1為本發(fā)明多模信息系統(tǒng)的方框原理示意圖。
[0024] 圖2為本發(fā)明分布式多攝像頭網(wǎng)絡(luò)示意圖。
[00巧]圖3為本發(fā)明分布式多攝像頭節(jié)點結(jié)構(gòu)示意圖。
[0026] 圖4為本發(fā)明的圖像多維特征信息提取結(jié)構(gòu)示意圖。
[0027] 圖5為本發(fā)明在檢查點信息獲取的原理示意圖。
[0028] 圖6為本發(fā)明跨目標識別分類器結(jié)構(gòu)示意圖。
[0029] 圖7為兩種SVM分類器正負樣本示意圖。
[0030] 圖8為軌跡信息示意圖。
[0031] 圖