專利名稱：基于協(xié)方差和二叉樹支持向量機(jī)的目標(biāo)檢測系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻圖像處理、模式識(shí)別、智能交通交叉技術(shù)領(lǐng)域，尤其是利用基于協(xié)
方差和二叉樹支持向量機(jī)的目標(biāo)檢測系統(tǒng)及方法。
背景技術(shù)：
隨著我國國民經(jīng)濟(jì)的快速發(fā)展，城市交通問題日益嚴(yán)重，為了解決城市地面交通 快速發(fā)展所引發(fā)的各種問題，智能交通系統(tǒng)(Intelligent Transportation System,簡稱 ITS)的研究被提到了重要位置。智能交通系統(tǒng)的主要目標(biāo)是使汽車與道路的功能智能化， 從而保障交通安全、提高交通效率、改善城市環(huán)境、降低能源消耗。其中關(guān)于車輛檢測/車 型識(shí)別對實(shí)現(xiàn)交通管理智能化具有重要意義。 目前，國外比較流行的是基于無線通信的智能交通系統(tǒng)，在每輛車上裝上一個(gè)無
線發(fā)射節(jié)點(diǎn)，用來發(fā)送車輛自身的狀態(tài)信息，該方法識(shí)別率高且系統(tǒng)穩(wěn)定，但是現(xiàn)階段要在
每輛車上都安裝專門設(shè)備成本高、難度較大。另外，還有在路面下通過鋪設(shè)壓力傳感器、電
磁感應(yīng)線圈等對經(jīng)過其上方的車輛自動(dòng)識(shí)別分類，該方法主要不足在于安裝時(shí)要破壞路
面、中斷正常的交通，且設(shè)備的后期維護(hù)難以及時(shí)有效的進(jìn)行。隨著數(shù)字圖像處理技術(shù)及計(jì)
算機(jī)技術(shù)的發(fā)展，基于視頻圖像實(shí)現(xiàn)車輛自動(dòng)識(shí)別分類已成為一種趨勢，因其安裝維護(hù)方
便、獲得的結(jié)果直觀等諸多優(yōu)點(diǎn)，使其在智能交通領(lǐng)域的應(yīng)用越來越廣泛。 基于視頻圖像的車型識(shí)別方法可以分為基于2D和基于3D的車型識(shí)別兩大類?；?br> 于2D的車型識(shí)別一般利用車輛的形狀、顏色、輪廓等特征對車型進(jìn)行識(shí)別。該類方法利用
的車輛特征較簡單，不具有較強(qiáng)的魯棒性，誤判率高、能區(qū)分的車型類別有限?；?D的車
型識(shí)別一般利用立體視覺的技術(shù)，在已知攝像機(jī)內(nèi)外參數(shù)的情況下，通過對車輛建立三維
尺寸模型，從而判斷車輛屬于哪一類型。該類方法的車型識(shí)別準(zhǔn)確率較高，但事先需對攝像
機(jī)進(jìn)行標(biāo)定，且要保證算法在計(jì)算過程中對3D場景重建的誤差、車輛運(yùn)動(dòng)所引起的圖像噪
聲、視頻檢測器的偏移等干擾要有足夠的穩(wěn)健性，這使得該類計(jì)算復(fù)雜度較大，在復(fù)雜交通
場景、惡劣氣候條件下不利于實(shí)時(shí)檢測。 現(xiàn)在大多的車型識(shí)別系統(tǒng)都是利用PC機(jī)加以實(shí)現(xiàn)的，在這過程中，來自攝像機(jī)的 大量數(shù)據(jù)首先要傳送給PC機(jī)，PC機(jī)調(diào)用事先寫好的算法對視頻進(jìn)行處理，然后再輸出結(jié) 果。大多情況下，被處理的視頻數(shù)據(jù)的量較大且7X24小時(shí)的，因此依賴于PC機(jī)的處理，不 僅使得攝像機(jī)與PC機(jī)之間的通信占用了大量的資源，而且PC機(jī)也很難實(shí)現(xiàn)實(shí)時(shí)多視頻的 并行處理。

發(fā)明內(nèi)容
本發(fā)明目的是為了避免基于3D的車型識(shí)別的算法高計(jì)算復(fù)雜度，克服基于2D車 型識(shí)別算法的車型識(shí)別準(zhǔn)確率低的問題，以及利用PC機(jī)處理數(shù)據(jù)時(shí)的攝像機(jī)與PC機(jī)之間 通信成本較大，且處理的實(shí)時(shí)性不強(qiáng)和網(wǎng)絡(luò)化應(yīng)用不便等問題。提供一種基于協(xié)方差和二 叉樹的支持向量機(jī)的目標(biāo)檢測系統(tǒng)及方法。
本發(fā)明為實(shí)現(xiàn)上述目的，采用如下技術(shù)方案 本發(fā)明基于協(xié)方差和二叉樹支持向量機(jī)的目標(biāo)檢測系統(tǒng)，包括視頻數(shù)據(jù)采集單 元、圖像預(yù)處理單元和背景建模車輛分割及顯示單元，其中圖像預(yù)處理單元包括同步信號 間隔檢測模塊、FIFO模塊、AD接口控制單元、SDRAM控制器、幀存SDRAM、總開關(guān)、雙口 RAM、 接口模塊和視頻數(shù)據(jù)處理單元，視頻數(shù)據(jù)采集單元依次串接AD接口控制單元、FIFO模塊、 視頻數(shù)據(jù)處理單元、SDRAM控制器、雙口 RAM、接口模塊后接背景建模車輛分割及顯示單元 的輸入端，同步信號間隔檢測模塊的輸出端分別接視頻數(shù)據(jù)采集單元、AD接口控制單元和 接口模塊的輸入端，接口模塊的輸出端接AD接口控制單元的輸入端，AD接口控制單元的輸 出端串接SDRAM控制器后接口模塊的輸入端。 所述視頻數(shù)據(jù)處理單元由視頻濾波、投影變換模塊串接視頻拼接模塊構(gòu)成。
所述視頻數(shù)據(jù)采集單元由多路CMOS攝像頭串接視頻解碼器構(gòu)成的視頻數(shù)據(jù)采集 支路構(gòu)成。所述視頻解碼器采用型號為AD9888芯片的視頻解碼器。 所述背景建模車輛分割及顯示單元由DSP芯片構(gòu)成，所述DSP芯片由背景建模單 元依次串接車輛分割提取、協(xié)方差特征提取和車型識(shí)別計(jì)算單元構(gòu)成。
基于協(xié)方差和二叉樹支持向量機(jī)的目標(biāo)檢測方法，包括如下步驟
步驟一，攝像頭架設(shè) 將攝像機(jī)頭設(shè)在直行道路上方，攝像機(jī)軸線與所述直行道路方向的傾角在60度 到70度之間; 步驟二，視頻預(yù)處理 對視頻數(shù)據(jù)采集單元獲取的多路彩色視頻的RGB三通道分別進(jìn)行3X3鄰域模板 中值濾波，將得到的結(jié)果再合成為彩色視頻；
步驟三，視頻投影變換和拼接 對步驟二所述的再合成的彩色視頻進(jìn)行投影變換后拼接為一路視頻；
步驟四，車輛目標(biāo)的分割與提取 利用基于分塊分類的智能視頻監(jiān)控背景更新算法對步驟三所述的拼接后的視頻 進(jìn)行背景建模及前景目標(biāo)提取，從而分割得到視頻中的車輛；通過尋找到車輛連通域中行 方向最左邊點(diǎn)和最右點(diǎn)的坐標(biāo)值，以及列方向最上邊的點(diǎn)及最下邊點(diǎn)的坐標(biāo)值，即得到包 含車輛的最小矩形區(qū)域(sf(x，y)，x。，y。，w，h)，其中sf(x，y)為矩形內(nèi)對應(yīng)點(diǎn)的像素值，x， y分別表示行、列的像素坐標(biāo)，(x。，y。)為矩形左上角點(diǎn)的像素坐標(biāo)，w，h分別為矩形的像素 寬禾口咼； 步驟五，車輛目標(biāo)分類訓(xùn)練樣本的提取 需要分類的車型有m種，針對每一種車型i，選擇Ni個(gè)訓(xùn)練樣本，記為 p'P。2，…，^l，i = 1，...，m，則一共選擇了N個(gè)訓(xùn)練樣本，iV-^iV,; 步驟六，車輛目標(biāo)分類特征的提取
(3)車輛目標(biāo)的非協(xié)方差特征提取 根據(jù)步驟四得到覆蓋車輛目標(biāo)每個(gè)訓(xùn)練樣本的最小矩形區(qū)域(sf (x， y) ， x。， y。， w， h)，由w，h可以計(jì)算得到車輛的像素長度(h)、寬度(w)、面積(s = wXh)。
(4)車輛目標(biāo)的局部協(xié)方差特征提取 將步驟四所述的車輛目標(biāo)的矩形區(qū)域(sf(x，y)，x。，y。，w，h)分為8個(gè)子區(qū)域，首 先將矩形區(qū)域分為左右兩個(gè)相等矩形區(qū)域，上下兩個(gè)相等的矩形區(qū)域，然后再將矩形分成 四個(gè)相等面積的矩形區(qū)域，一共八個(gè)子矩形區(qū)域，采用基于積分圖計(jì)算區(qū)域協(xié)方差特征的 方法計(jì)算得到步驟四所述的車輛目標(biāo)的矩形區(qū)域的(sf(X，y)，Xl，y。，w，h)中車輛的協(xié)方差 矩陣Q，然后分別計(jì)算各個(gè)子矩形區(qū)域的<formula>formula see original document page 6</formula>
協(xié)方差矩陣—^/Vy+iVw-i-ZVJ ，其中(x' y')為
+ a,—! a, - a,—ly, _ i f 矩形左上角點(diǎn)的坐標(biāo)，(x〃 ， y〃 )為矩形右下角的點(diǎn)坐標(biāo)，S = x' *y' ， Q為二
次積分圖WXHX dX d的張量，P為積分圖像WXHX d的張量，其中WXH為圖像的分辨率，d
為顏色的維數(shù)，T為轉(zhuǎn)置；計(jì)算得到的子區(qū)域的協(xié)方差矩陣依次記為Q、Q、…、Q ; 步驟七，利用SVM方法結(jié)合車輛圖像協(xié)方差特征進(jìn)行車輛目標(biāo)分類 將步驟六所述協(xié)方差矩陣CpCyCy…、Q映射為對應(yīng)的歐式空間的向量，再利用
SVM算法進(jìn)行車型識(shí)別。 步驟七所述的識(shí)別方法如下 (d)第i類車型有Ni個(gè)樣本，樣本序列為jc,i,c,.2,…，c,wj ，針對每個(gè)Cij， j = 1，2，...，
Ni，經(jīng)過步驟六處理后，將步驟六所述協(xié)方差矩陣Q、 C2、 C3、、 C9映射為對應(yīng)的歐式空間 的向量并依次排列，則對于每一個(gè)類車型中的每一個(gè)樣得到一個(gè)324維的訓(xùn)練樣本為XCij，
樣本集為^q,J^2，…,JTCwj ， i = 1， . . . ， m ; (e)根據(jù)變換后的樣本集{Xc,,,J^2,…，義c,w,}，計(jì)算出第i類樣本的重心
義c,^7r2lS，最小包含第i類樣本的超球體半徑為i ^ max (f)根據(jù)(b)計(jì)算所述的超球體半徑得到各類車型的分布體積Vi，根據(jù)體積由大 到小的順序，對類別進(jìn)行排序，當(dāng)存在兩個(gè)或兩個(gè)以上的類別具有相同分布體積時(shí)，把類標(biāo) 號小的類排在前面，最后得到所有類別的排列N' 2，...，N' m，此處N'工G(l，
2， ， m}; 利用標(biāo)準(zhǔn)的二值分類SVM算法構(gòu)造二叉樹內(nèi)節(jié)點(diǎn)的最優(yōu)超平面；在根節(jié)點(diǎn)處，從 樣本集中選擇第N'工類樣本為正樣本集，其他樣本為負(fù)樣本集，利用SVM訓(xùn)練算法構(gòu)造最 優(yōu)超平面，然后把屬于第N' i類的樣本從樣本集中刪除；在第2個(gè)節(jié)點(diǎn)處，從樣本集中選擇 第N' 2類樣本為正樣本集，其他剩余的樣本為負(fù)樣本集，利用SVM訓(xùn)練算法構(gòu)造最優(yōu)超平 面，然后把屬于第N' 2類樣本從樣本集中刪除；依次下去，最終得到基于二叉樹的多類SVM 分類模型，得到判別函數(shù)，通過判別函數(shù)即可對車型進(jìn)行識(shí)別。 本發(fā)明的優(yōu)點(diǎn)目標(biāo)檢測算法利用圖像目標(biāo)的協(xié)方差特征作為目標(biāo)分類的依據(jù)， 由于協(xié)方差特征融合了圖像不同類型的特征(如空間位置、亮度、梯度信息等)，從而使得其有較強(qiáng)的魯棒性，在不同的視角及光照條件下同一區(qū)域的協(xié)方差特征差異較小，且協(xié)方 差特征維數(shù)較低，計(jì)算代價(jià)較小。以一組四個(gè)攝像頭來覆蓋一條道路，從而達(dá)到一個(gè)處理系 統(tǒng)即可以處理整條道路雙向車輛的車型識(shí)別。在實(shí)現(xiàn)目標(biāo)檢測算法時(shí)，基于FPGA的可重構(gòu) 性和DSP的軟件可編程能力，將FPGA和DSP的組合起來，充分發(fā)揮了二者強(qiáng)大的功能，從而 實(shí)現(xiàn)了視頻的實(shí)時(shí)高效處理。


圖l，本發(fā)明的一種硬件系統(tǒng)結(jié)構(gòu)示意圖。 圖2 ，本發(fā)明的算法流程圖。 圖3，計(jì)算基于積分圖計(jì)算圖像協(xié)方差的坐標(biāo)系示意圖。 圖4，原始圖像投影變換前后 a為攝像機(jī)拍攝的原始圖像，b為經(jīng)投影變換后圖像。 圖5，車輛目標(biāo)提取結(jié)果及最小覆蓋圖。
a車輛目標(biāo)提取結(jié)果，b覆蓋車輛的最小矩形框。 圖6，圖像中提取車輛目標(biāo)的區(qū)域圖。 圖7，提取出來的目標(biāo)，以及需要計(jì)算協(xié)方差特征的區(qū)域示意圖。 a為提取出來的車輛目標(biāo)，b-j中的陰影部分為分別需要計(jì)算的協(xié)方差特征。
具體實(shí)施例方式
下面結(jié)合附圖對發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明 基于協(xié)方差和二叉樹支持向量機(jī)的目標(biāo)檢測系統(tǒng)及方法，主要由目標(biāo)檢測算法、 四個(gè)CMOS攝像頭的實(shí)時(shí)視頻采集單元、FPGA和DSP組成的圖像處理單元組成。
本裝置的硬件系統(tǒng)結(jié)構(gòu)如圖l所示四個(gè)攝像頭分別通過同軸電纜與四個(gè) AD9888A/D轉(zhuǎn)換模塊的模擬輸入端連接，AD9888 A/D轉(zhuǎn)換模塊的視頻輸出端與A/D接口控 制單元連接；FPGA的DSP接口與DSP的視頻輸入端連接，DSP分別通過EMIF、 DDR2、 JTAG、 EMAC、 VENC與NAND Flash、DDR2 SRAM、仿真器、以太網(wǎng)模塊、電視信號輸出接口連接。該硬 件系統(tǒng)主要由四個(gè)CMOS攝像頭和對應(yīng)的四個(gè)AD9888 A/D轉(zhuǎn)換模塊組成的實(shí)時(shí)視頻采集單 元，基于FPGA的視頻預(yù)處理單元和以DSP為核心的車型識(shí)別單元以及以太網(wǎng)通信接口等組 成。 基于協(xié)方差和二叉樹支持向量機(jī)的目標(biāo)檢測系統(tǒng)及方法，其特征在于四個(gè)CMOS 攝像頭分別通過同軸電纜與AD9888芯片A/D轉(zhuǎn)換模塊的模擬輸入端連接，A/D轉(zhuǎn)換模塊的 視頻輸出端與A/D控制接口連接，AD9888芯片進(jìn)行圖像采集格式轉(zhuǎn)換，對圖像信號放大， 抗混疊濾波等功能，F(xiàn)PGA采用CycloneII系列的EP2C35F672C6，該芯片具有35個(gè)DSP處 理單元，18x18的乘法器，在圖像處理過程中涉及到很多的乘法處理，具備專用乘法單元不 僅可以提高系統(tǒng)的性能，而且利用FPGA就可以對圖像做一些簡單的預(yù)處理如顏色空間轉(zhuǎn) 換、直方圖均衡化等，還可以提高系統(tǒng)的穩(wěn)定性，最后，CycloneII系列芯片采用90nm工藝 并且功耗較低，符合對系統(tǒng)低功耗、體積小的要求。SDRAM存儲(chǔ)器型號為A2V64S40CTP-G7， 作為外部存儲(chǔ)器，用于存儲(chǔ)緩沖圖像數(shù)據(jù)。DSP選用TI公司2006年推出的TMS320匿6437 型DSP，該款DSP專門為高性能、低成本視頻應(yīng)用而開發(fā)，采用TI第3代超長指令集結(jié)構(gòu)(VelociTI. 3)的TMS320C64+DSP內(nèi)核，主頻最高達(dá)600MHz，支持8個(gè)8位或4個(gè)16位并行 MAC運(yùn)算，峰值處理能力高達(dá)4800MIPS，片上資源豐富，片上具有64通道增強(qiáng)型DMA控制器 EDMA3，其支持復(fù)雜的數(shù)據(jù)類型的傳輸，有利于圖像數(shù)據(jù)的高效傳輸和格式變換。另外該款 DSP還擁有豐富的外部存儲(chǔ)器接口 ( 一個(gè)專有的32位、200MHz、256M字節(jié)尋址空間的DDR2 存儲(chǔ)器接口用于接口高速大容量的DDR2存儲(chǔ)器，以存儲(chǔ)代碼和數(shù)據(jù)；一個(gè)8位、64M字節(jié)尋 址空間的異步存儲(chǔ)器接口用于接口 8位Nor Flash或Nand Flash,以存儲(chǔ)固化代碼)以及 豐富的片上外設(shè)( 一個(gè)專用的單通道視頻接口，既可以方便地與各種數(shù)字視頻輸入標(biāo)準(zhǔn)接 口 ，還具有常用的視頻預(yù)處理功能；一個(gè)專用的單通道視頻輸出接口 ，既可以提供多種模擬 視頻輸出標(biāo)準(zhǔn)，還可以提供各種數(shù)字視頻輸出標(biāo)準(zhǔn)接口 ，并且在視頻輸出之前，還支持多個(gè) 視頻窗口管理及在視頻畫面上疊加文本數(shù)據(jù)；一個(gè)I2C總線，可無縫接口視頻解碼器/編碼 器和音頻Codec的控制口 ，方便實(shí)現(xiàn)音/視頻編解碼器的控制；32位PCI總線，方便與PC機(jī) 接口，實(shí)現(xiàn)多板并行工作。10/100M以太網(wǎng)MAC，方便實(shí)現(xiàn)嵌入式視頻網(wǎng)絡(luò)化要求；16位HPI 接口，方便實(shí)現(xiàn)主/從結(jié)構(gòu)的雙處理器視頻處理系統(tǒng))，其中DDR2存儲(chǔ)器采用2片16位的 MT47H32M16的DDR2存儲(chǔ)器，NAND Flash采用ST公司的NAND256W3A2BZA61，以太網(wǎng)芯片采 用Micrel公司的KS8001。 DSP接受來自FPGA的視頻完成車型識(shí)別算法并通過以太網(wǎng)接口 輸出車型識(shí)別結(jié)果或通過視頻輸出接口輸出模擬視頻。 本發(fā)明的算法流程圖如圖2所示。通過在線收集訓(xùn)練樣本后，將它們按照要求進(jìn) 行分類后，將它們輸入基于二叉樹的SVM進(jìn)行訓(xùn)練，根據(jù)訓(xùn)練的結(jié)果和需要達(dá)到的準(zhǔn)確率 來對基于二叉樹的SVM的參數(shù)進(jìn)行調(diào)節(jié)當(dāng)達(dá)到要求后，記錄訓(xùn)練得到的參數(shù)。將確定了訓(xùn) 練參數(shù)的SVM寫入DSP中，進(jìn)行車型識(shí)別。首先四路視頻輸入，F(xiàn)PGA分別對每一路視頻進(jìn) 行中值濾波，投影變換，最后將四路視頻拼接為一路視頻輸入到DSP中，DSP對視頻進(jìn)行背 景建模、車輛目標(biāo)分割以及車輛提取從而得到覆蓋車輛的最小矩形，在得到了覆蓋車輛最
小矩形框的情況下計(jì)算得到車輛的協(xié)方差矩陣，然后根據(jù)式(14)進(jìn)行正交變換，從而將車 輛的協(xié)方差矩陣轉(zhuǎn)換為歐式空間的向量，將其輸入基于二叉樹的SVM計(jì)算得到車型識(shí)別結(jié) 果，將結(jié)果輸出。 為了避免基于3D的車型識(shí)別的算法高計(jì)算復(fù)雜度，克服基于2D車型識(shí)別算法的 車型識(shí)別準(zhǔn)確率低的問題，以及利用PC機(jī)處理數(shù)據(jù)時(shí)的攝像機(jī)與PC機(jī)之間通信成本較大， 且處理的實(shí)時(shí)性不強(qiáng)和網(wǎng)絡(luò)化應(yīng)用不便等問題。 本發(fā)明的目的在于提供一種基于協(xié)方差和二叉樹的支持向量機(jī)的目標(biāo)檢測系統(tǒng) 及方法。該系統(tǒng)及方法利用FPGA和DSP的組合，結(jié)合基于圖像協(xié)方差特征及二叉樹SVM的 目標(biāo)檢測方法實(shí)現(xiàn)多路視頻實(shí)時(shí)自動(dòng)車型識(shí)別，這既加強(qiáng)了系統(tǒng)的實(shí)時(shí)性和車型識(shí)別的準(zhǔn) 確率又便于網(wǎng)絡(luò)化的應(yīng)用。該系統(tǒng)由于利用了 FPGA和DSP的組合，不僅能滿足多路視頻圖 像的實(shí)時(shí)獲取及車型識(shí)別的要求，而且能夠高速的輸出圖像和車型識(shí)別結(jié)果，從而便于網(wǎng) 絡(luò)化的應(yīng)用。識(shí)別算法是以獲取的目標(biāo)車輛協(xié)方差特征為基礎(chǔ)，再結(jié)合基于二叉樹的SVM 算法對車型進(jìn)行自動(dòng)識(shí)別，其中協(xié)方差特征有效的融合了圖像不同類型的空間和統(tǒng)計(jì)特 征，并刻畫了它們之間的相關(guān)性，它能有效的描述物體在不同視角和姿態(tài)下的不變特征，且 協(xié)方差特征對于光照變化、目標(biāo)尺度變化有較強(qiáng)的魯棒性。SVM是在統(tǒng)計(jì)學(xué)習(xí)的基礎(chǔ)上發(fā)展 起來的一種新的模式識(shí)別方法，1995年，V即nik提出統(tǒng)計(jì)學(xué)習(xí)理論，較好地解決了線性不 可分問題，正式奠定了SVM的理論基礎(chǔ)。SVM方法根據(jù)有限的樣本信息在模型的復(fù)雜度(學(xué)習(xí)精度)和學(xué)習(xí)能力(無差錯(cuò)的識(shí)別任意樣本的能力)之間尋求最佳折衷，以期獲得最佳 的推廣能力(對未來輸出進(jìn)行正確預(yù)測的能力)。由于經(jīng)典SVM是一個(gè)二值分類器，而我們 日常生活中的車輛種類繁多，如按照車輛大小分類可分為超大型、大型、中型、中小型和微 型等；按照車輛外形分類可分為貨車、客車、轎車、商務(wù)車、SUV等；按汽車標(biāo)志分類可分為 奇瑞、奧迪、大眾、寶馬等。為了使SVM可以解決多類分類問題，主要的解決途徑有兩種一 種是通過構(gòu)造多個(gè)SVM分類器并將它們組合起來實(shí)現(xiàn)多類分類；另一種是直接在一個(gè)優(yōu)化 公式中同時(shí)考慮所有子分類器的參數(shù)優(yōu)化，從而達(dá)到多類分類。雖然第二種解決多類分類 的思想簡潔，但是在最優(yōu)化問題求解過程中的變量遠(yuǎn)多于第一種，訓(xùn)練速度上不及第一種， 且在分類精度上也不占優(yōu)。有關(guān)將SVM用于多類分類的研究見文獻(xiàn)唐發(fā)明，王仲東，等.支 持向量機(jī)多類分類算法研究[J].控制與決策，2005，20(7) :746-749.基于以上考慮我們采 用基于協(xié)方差和二叉樹SVM的目標(biāo)檢測方法進(jìn)行車型識(shí)別。 為了方便描述本發(fā)明的內(nèi)容，在此對本發(fā)明中使用到的一些方法做一些描述
1.中值濾波一種非線性平滑濾波，在一定條件下可以克服線性濾波如平均值濾 波(平滑濾波)等所帶來的圖像細(xì)節(jié)模糊問題，而且對過濾脈沖干擾及圖像掃描噪聲非常 有效。 本發(fā)明中，我們采用的3X3鄰域模板中值濾波。具體執(zhí)行步驟如下 1)將模板在圖中漫游，并將模板中心點(diǎn)值與圖中某個(gè)像素位置重合。 2)讀取模板下各對應(yīng)像素的灰度值。 3)將這些灰度值從小到大排成一列。 4)找出這些值里排在中間的一個(gè)。 5)將這個(gè)中間值賦給對應(yīng)模板中心位置的像素。 中值濾波的詳細(xì)原理可參見文獻(xiàn)姚敏等編著，《數(shù)字圖像處理》，機(jī)械工業(yè)出版 社，2006. 2.車輛協(xié)方差特征圖像協(xié)方差特征首次在文獻(xiàn)Oncel Tuzel ， Fatih Porikli， Peter Meer :Region Covariance :A Fast Descriptor for Detection and Classification. ECCV(2) 2006 :589-600.中提出，理論上來說，我們可以構(gòu)造已知圖像中 任意形狀區(qū)域的協(xié)方差特征。為了便于計(jì)算，一般對矩形區(qū)域進(jìn)行協(xié)方差特征的提取。對 一個(gè)矩形區(qū)域的協(xié)方差特征提取的具體步驟如下 假設(shè)I為三維彩色圖像。令F為由I提取出來的WXHXd的特征圖
F(x， y)=①(1， x， y) ， (1)
其中①可以為任意映射，例如顏色、圖像梯度(Ix， Ixx，...)、邊緣尺寸、邊緣方 向、濾波表示等。對一個(gè)給定的矩形窗口 i ^F，令{&}1; = 1,..』為1 中的(1維特征向量，則 該區(qū)域的協(xié)方差矩陣為 C^+^(/廣〃)(/廣〃f， (2) 其中P為R中的所有fk的平均值，fk為R中所有的fk按照一定規(guī)則排列得到的
d維特征向量序列。針對不同的任務(wù)(跟蹤目標(biāo)的類型，目標(biāo)識(shí)別、分類的類型等)可以定
義不同的fk，在本發(fā)明中我們定義fk為
9/t=[x y /(x,力/Jx，力；(x，力]，(3) 其中I為亮度；IX， Iy為亮度在x，y方向的導(dǎo)數(shù)。由于協(xié)方差矩陣構(gòu)成的空間不是
向量空間，一般的判別距離法則無法判定不同的協(xié)方差矩陣之間的差距，所以我們引入了
黎曼流形(Riema皿Manifold)。假設(shè)X和Y為流形上的兩個(gè)點(diǎn)，則他們分別代表了一個(gè)協(xié) 方差矩陣，則它們之間的距離為 c/(x,r) ,。g"y),k^d tr(log2(1—2)). 3.基于積分圖的快速計(jì)算矩形區(qū)域的協(xié)方差特征法由于在識(shí)別算法中要對 提取得到的同一車輛目標(biāo)，計(jì)算它的9個(gè)不同區(qū)域的協(xié)方差特征，見車型識(shí)別算法步 驟六。為了能快速的計(jì)算得出這9個(gè)協(xié)方差特征，我們利用文獻(xiàn)0ncel Tuzel， Fatih Porikli， PeterMeer :Region Covariance :A Fast Descriptor for Detection and Classification. ECCV (2)2006 :589-600.中的基于積分圖的快速計(jì)算協(xié)方差特征的算法 計(jì)算指定區(qū)域的協(xié)方差特征。 為了利用積分圖的思想，利用張量來表示不同顏色空間中的圖像，假設(shè)P為積分 圖像WXHXd的張量，其中WXH為圖像的分辨率，d為顏色的維數(shù)，若為RGB圖像，則d為3。
P(y,/,0= Z /r=D
w，w
(5) 其中F(x， y， 1》為圖像在坐標(biāo)(x， y)下第^個(gè)顏色分量的值。令Q為二次積分 圖WXHXdXd的張量，且Q(工',以"2):SFO,W)F(XJ,/2) /p/^U 令px,v為d維向量，Qx,v為dXd維的矩陣，且
(6). (7) 假設(shè)R(x' ，y' ;x〃，y〃 )圖像中的任意矩形區(qū)域，其中(x' ，y')為矩形左上 角點(diǎn)的坐標(biāo)，(x〃 ， y〃 )為矩形右下角的點(diǎn)坐標(biāo)，見圖3。由點(diǎn)(l，l)和(x' ， y')組成 的矩形區(qū)域的協(xié)方差特征，即協(xié)方差矩陣為

c
1
1 r
込'y -^"A',/A'y
(8)
其中S二X' *y'。類似的，有矩形區(qū)域R(x' ，y' ;x〃 ，y〃 )的協(xié)方差矩陣為
/V-1，/ 一 iVy-1)
(9)
10
i s = max
—{1,2,...,",}
Xs 一 Xs"
(13) 則基于超球體最小類包含二叉樹生成法的多類別SVM分類算法流程如下
(a)根據(jù)式(13)計(jì)算各類樣本數(shù)據(jù)的分布體積vs(s = 1，2， . . . ， K)。
(b)根據(jù)各類的分布體積由大到小的順序，對類別進(jìn)行排序。當(dāng)存在兩個(gè)或兩個(gè)以 上的類別具有相同分布體積時(shí)(這種情況較少出現(xiàn))，把類標(biāo)號小的類排在前面，最后得到 所有類別的排列n' "n' 2，...，n' k，此處",,e {1，2，...,} ， ^ = 1， 2， . . . ， K為類標(biāo)號。
(c)利用4中的標(biāo)準(zhǔn)二值分類SVM算法構(gòu)造二叉樹內(nèi)節(jié)點(diǎn)的最優(yōu)超平面。在根節(jié) 點(diǎn)處，從樣本集中選擇第n'工類樣本為正樣本集，其他樣本為負(fù)樣本集，利用SVM訓(xùn)練算法 構(gòu)造最優(yōu)超平面，然后把屬于第n' i類的樣本從樣本集中刪除。在第2個(gè)節(jié)點(diǎn)處，從樣本 集中選擇第n' 2類樣本為正樣本集，其他剩余的樣本為負(fù)樣本集，利用SVM訓(xùn)練算法構(gòu)造最優(yōu)超平面，然后把屬于第n' 2類樣本從樣本集中刪除。 依次下去，最終得到基于二叉樹的多類SVM分類模型，得到判別函數(shù)。
本發(fā)明的技術(shù)解決方案四個(gè)CMOS攝像頭采集視頻，四個(gè)攝像頭基本可以滿足一 條道路雙向交通信息的獲??；采集得到的視頻經(jīng)AD9888芯片的視頻解碼器處理后送入圖 像處理單元中，圖像處理單元執(zhí)行基于協(xié)方差和二叉樹的SVM目標(biāo)檢測算法，圖像處理單 元由FPGA芯片和DSP芯片的嵌入式系統(tǒng)構(gòu)成，送入圖像處理單元的視頻首先由FPGA對四 路視頻圖像進(jìn)行采集和預(yù)處理(對每一路視頻進(jìn)行中值濾波、投影變換，然后將四路視頻 拼接為一路)，并實(shí)現(xiàn)對視頻編碼器的初始化、可編程的產(chǎn)生DSP系統(tǒng)所需的時(shí)序和邏輯關(guān) 系、基本的1/0信號、控制R/W信號；DSP接受經(jīng)FPGA預(yù)處理后的視頻并對其進(jìn)行背景建 模、車輛分割與提取、車輛協(xié)方差特征計(jì)算和車型識(shí)別；DSP將識(shí)別結(jié)果通過以太網(wǎng)通信接 口輸出或?qū)⒆R(shí)別結(jié)果與視頻疊加經(jīng)視頻輸出接口輸出。 所述的基于協(xié)方差和二叉樹SVM的目標(biāo)檢測方法，包括如下執(zhí)行步驟 所檢測的車輛類型有m種，每種類型分別記為Q，C2，. . . ，Cm(Ci可以為小轎車、SUV、
面包車、商務(wù)車等) 步驟一，攝像頭架設(shè) 為了使攝像頭的視域較大，且視域范圍內(nèi)獲得的車輛目標(biāo)含有較多的判別信息 (車牌信息以及駕駛員信息)，將攝像機(jī)架設(shè)在直道上方大約10米的高度(如果僅從車型 識(shí)別的角度攝像機(jī)可以迎著路面上汽車的行駛的方向，也可以與汽車行駛方向相同)，攝像 機(jī)的傾角在60度到70度之間，這既保證了攝像機(jī)拍攝的車輛包含了較多的判別信息，又保 證了攝像機(jī)有較大的可視范圍，且視域范圍內(nèi)能獲得車輛的車牌及駕駛員的信息。
步驟二，視頻預(yù)處理 由于室外環(huán)境下噪音較多，為了降低視頻質(zhì)量對車型識(shí)別準(zhǔn)確率的影B向，我們對 獲取的視頻先進(jìn)行預(yù)處理，從而增強(qiáng)車型識(shí)別的準(zhǔn)確率。對得到的彩色視頻的RGB三通道 分別進(jìn)行3X3鄰域模板中值濾波，將得到的結(jié)果再合成為彩色視頻。
步驟三，視頻投影變換 由于計(jì)算協(xié)方差矩陣時(shí)，為了能快速獲得車輛目標(biāo)的協(xié)方差特征，我們利用矩形 框來表示目標(biāo)，而路面上的車輛是經(jīng)過投影變換后出現(xiàn)在視頻中的，所以車輛大多以梯形 的形式出現(xiàn)，為了使利用矩形框來計(jì)算車輛協(xié)方差特征時(shí)，矩形框中車輛目標(biāo)在矩形框中 的比重盡量大，而背景在矩形框中的比重盡量小，即降低路面背景在基于協(xié)方差特征車型 識(shí)別算法中的對車型識(shí)別準(zhǔn)確率的影響，我們對原始視頻進(jìn)行投影變換，從而降低背景在 車輛協(xié)方差特征提取時(shí)的影響。 利用拍攝視頻中車輛行車線在實(shí)際中是平行的原則，將視頻進(jìn)行投影變換使得在 視頻中相交在無窮遠(yuǎn)點(diǎn)的行車線平行，見圖4，其中a為原始圖象，b為經(jīng)過投影變換后的 圖。由a圖變換到b圖主要有兩種方法一、通過尋找攝像機(jī)中的點(diǎn)與實(shí)際路面上點(diǎn)之間 的對應(yīng)關(guān)系，求得自由度為8的投影變換矩陣從而可以得到投影變換后的圖；二、通過平行 行車線在圖像中相交于沒影點(diǎn)，從而求得變換矩陣，得到投影變換后的圖像。由于第一種 方法需要知道路面上點(diǎn)的坐標(biāo)位置，增加了得到投影變換矩陣的復(fù)雜度，所以在本發(fā)明中 我們采用第二種方法確定投影變換矩陣。詳細(xì)算法過程見文獻(xiàn)Richard Hartley, Andrew Zisserman. Multiple View Geometry in Computer Vision(Second Edition). CambridgeUniversity Press, March 2004. 步驟四，車輛目標(biāo)的分割與提取 為了能有效的將視頻中的車輛分割提取出來，我們利用基于分塊分類的智能視頻 監(jiān)控背景更新算法對視頻進(jìn)行背景建模及前景目標(biāo)提取，從而分割得到視頻中的車輛，見 圖5(a)。視頻背景建模及車輛分割目標(biāo)提取方法見文獻(xiàn)李慶武，蔡艷梅，徐立中.基于分 塊分類的智能視頻監(jiān)控背景更新算法[J]，智能系統(tǒng)學(xué)報(bào)，2010。 為了便于車輛協(xié)方差特征的提取，我們對得到的車輛，利用最小覆蓋的思想獲得 覆蓋車輛區(qū)域的最小矩形，在后面計(jì)算車輛協(xié)方差特征時(shí)，以此矩形作為車型識(shí)別需要計(jì) 算協(xié)方差特征的區(qū)域。具體執(zhí)行步驟如下在得到圖5(a)中的車輛目標(biāo)后，通過尋找到車 輛連通域中行方向最左邊點(diǎn)和最右點(diǎn)的坐標(biāo)值，以及列方向最上邊的點(diǎn)及最下邊點(diǎn)的坐標(biāo) 值，即得到包含車輛的最小矩形區(qū)域(sf(x，y)，x。，y。，w，h)，其中sf(x，y)為矩形內(nèi)對應(yīng)點(diǎn) 的像素值，(x。，y。)為矩形左上角點(diǎn)的像素坐標(biāo)，w，h分別為矩形的像素寬和高，見圖5(b)。
步驟五，車輛目標(biāo)分類訓(xùn)練樣本的提取 由于我們在進(jìn)行車輛目標(biāo)分類時(shí)，是利用基于二叉樹的SVM算法進(jìn)行識(shí)別的，而 基于SVM的算法需要通過訓(xùn)練樣本學(xué)習(xí)得到算法中的參數(shù)，待確定了 SVM算法中的參數(shù) 后，才能進(jìn)行識(shí)別。經(jīng)過前面的步驟后我們可以得到車輛目標(biāo)的最小覆蓋后，根據(jù)需要識(shí) 別的車型種類選擇訓(xùn)練樣本圖像，選擇原則是在指定視頻監(jiān)控區(qū)域內(nèi)完整出現(xiàn)的正常行駛 的車輛，見圖6。假設(shè)需要分類的車型有m種，針對每一種車型i，選擇&個(gè)訓(xùn)練樣本，記為
—加
^ c c }，i = l，...，m，則一共選擇了N個(gè)訓(xùn)練樣本，W-i;y。 廣a,h2，…,、w, J ， —1 步驟六，車輛目標(biāo)分類特征的提取
(5)車輛目標(biāo)的非協(xié)方差特征提取根據(jù)步驟四得到覆蓋車輛目標(biāo)每個(gè)訓(xùn)練樣本的最小矩形區(qū)域(sf (x， y) ， x。， y。， w， h)，由w，h可以計(jì)算得到車輛的像素長度(h)、寬度(w)、面積(s = wXh)。
(6)車輛目標(biāo)的局部協(xié)方差特征提取 當(dāng)?shù)玫杰囕v目標(biāo)的矩形區(qū)域(sf (x， y)x。， y。， w， h)后，我們將矩形分為8個(gè)子區(qū) 域，首先將矩形區(qū)域分為左右兩個(gè)相等矩形區(qū)域，上下兩個(gè)相等的矩形區(qū)域，然后再將矩形 分成四個(gè)相等面積的矩形區(qū)域，一共八個(gè)子矩形區(qū)域，分別計(jì)算各個(gè)矩陣塊的協(xié)方差特征， 需要計(jì)算的區(qū)域見圖7，其中(a)為經(jīng)過步驟四獲得的車輛的區(qū)域，(b)至(j)中陰影區(qū)域
為需要計(jì)算的車輛的協(xié)方差特征的區(qū)域，利用前面提到的基于積分圖計(jì)算區(qū)域協(xié)方差特征 的方法在計(jì)算得到了圖5(b)中車輛的協(xié)方差Q后，根據(jù)式(9)可以快速計(jì)算得到圖8(b) 至(j)中陰影區(qū)域的協(xié)方差，分別記為C2、 C3、 C4、 C5、 C6、 C7、 C8、 Q、它們均為8X8的正定對 稱協(xié)方差矩陣，在對車輛進(jìn)行識(shí)別時(shí)，我們以同一車輛目標(biāo)的這9個(gè)協(xié)方差矩陣&、 C2、 C3、 C4、 C5、 C6、 C7、 C8、 C9作為車型識(shí)別的特征。在實(shí)際測試過程中，我們發(fā)現(xiàn)矩形區(qū)域的分塊并 不是越多越好，分的子區(qū)域越多會(huì)增加了 SVM訓(xùn)練的時(shí)間，而且由于提取的特征過于詳細(xì)， 從而限制了 SVM的泛化能力；分的子區(qū)域過少，又會(huì)使得SVM不能區(qū)別較多的車型。將矩形 分成8個(gè)子區(qū)域，既能保證識(shí)別的車型的多樣性，又能保證有較高的識(shí)別率。
步驟七，利用SVM方法結(jié)合車輛圖像協(xié)方差特征進(jìn)行車輛目標(biāo)分類
由于SVM算法是對歐式空間中的變量進(jìn)行分類的算法，而我們使用的協(xié)方差特征是以矩形的形式表示的，不是向量空間，它們構(gòu)成了一個(gè)流形空間。為了能在車輛協(xié)方差 特征空間上建立SVM算法，我們需要引入一個(gè)映射將車輛的協(xié)方差特征映射為歐式空間中 的向量。直觀的，我們可以將車輛的協(xié)方差矩陣按行或按列進(jìn)行排列，即得到協(xié)方差特征對 應(yīng)的歐式向量表示。但是這樣的映射它破壞了協(xié)方差特征空間的結(jié)構(gòu)信息，為了能夠保留 住協(xié)方差矩陣空間的結(jié)構(gòu)信息，我們引入了 Tuzel等在文獻(xiàn):0ncel Tuzel， FatihPorikli， Peter Meer. Pedestrian Detection via Classification on Riema皿ian Manifolds[J]. IEEETRANSACT扁S ON PATTERN A亂YSIS AND MACHINE INTELLIGENCE, 2008， 30③ 1713-1727中介紹的局部映射的觀點(diǎn)，將給定的協(xié)方差矩陣映射為對應(yīng)的歐式空間的向量。
假設(shè)y為流形上單位原點(diǎn)I處切空間上的向量，y為dXd的對稱正定矩陣，原點(diǎn)I 即為dXd的單位矩陣，原點(diǎn)I處的切空間表示為T工。則y在T工上的標(biāo)準(zhǔn)正交坐標(biāo)定義為vec,0)^[:^ V^y12 V5_y13…少2,2 V^y23…力乂] . (14) 若y G Tx，即y在X的切空間上，則y在Tx上的標(biāo)準(zhǔn)正交坐標(biāo)為 veC;f (力=wC/ (;r jr}). (15) 在本發(fā)明中我們計(jì)算得到車輛協(xié)方差特征為8X8的對稱正定矩陣，對于計(jì)算得 到的車輛協(xié)方差矩陣C，我們可以利用式(14)將其轉(zhuǎn)化為對應(yīng)歐式空間的向量，然后應(yīng)用 于SVM算法中即可對車型進(jìn)行識(shí)別。利用SVM算法進(jìn)行車型識(shí)別時(shí)，首先需要收集訓(xùn)練樣 本，通過對訓(xùn)練樣本的訓(xùn)練，從而學(xué)習(xí)得到算法中需要確定的參數(shù)，待所有參數(shù)確定后，即 可進(jìn)行車型識(shí)別。 通過利用步驟五中收集的m種車輛類別的訓(xùn)練樣本經(jīng)過式(14)的變換后輸入SVM 中進(jìn)行訓(xùn)練學(xué)習(xí)得到SVM中各個(gè)待確定參數(shù)后，再利用該算法進(jìn)行車型識(shí)別。具體的執(zhí)行 過程如下 (g)第i類車型有Nji = 1， ， m)個(gè)樣本，令樣本序列為^，c,.2，…,c^ ,針對每
個(gè)Cij， j = 1，2， ... ， Ni，經(jīng)過步驟六處理后，我們可以得到對應(yīng)的9個(gè)協(xié)方差矩陣為Ci/， Ci/， . . . ， Ci/，將得到的9個(gè)協(xié)方差矩陣分別利用式(9)轉(zhuǎn)換為歐式空間的36維向量并依 次排列，則對于每一個(gè)類型中的每一個(gè)樣本我們得到一個(gè)324維的訓(xùn)練樣本，記為Xc『我
們將經(jīng)過上述轉(zhuǎn)換后的樣本記為K^,Zc,2,…,Ji^卜i = 1 (h)根據(jù)變換后的樣本{xc,,,;^,..";^^ (第i類車型，i = 1， ， m)， 計(jì)算出第i類樣本的重心^c,-^f;jr^ ，最小包含第i類樣本的超球體半徑為
max {||Xc,.—取』}。 (i)根據(jù)(b)計(jì)算得到各類車型的分布體積Vi(i = 1，2，... ，m)，根據(jù)體積由大到 小的順序，對類別進(jìn)行排序，當(dāng)存在兩個(gè)或兩個(gè)以上的類別具有相同分布體積時(shí)，把類標(biāo)號 小的類排在前面，最后得到所有類別的排列N' 2，...，N' m，此處N' iG{l，2，...，
m}， i = 1，2，... ，m為類標(biāo)號。 利用標(biāo)準(zhǔn)的二值分類SVM算法構(gòu)造二叉樹內(nèi)節(jié)點(diǎn)的最優(yōu)超平面。在根節(jié)點(diǎn)處，從 樣本集中選擇第N'工類樣本為正樣本集，其他樣本為負(fù)樣本集，利用SVM訓(xùn)練算法構(gòu)造最優(yōu)超平面，然后把屬于第N' i類的樣本從樣本集中刪除。在第2個(gè)節(jié)點(diǎn)處，從樣本集中選 擇第N' 2類樣本為正樣本集，其他剩余的樣本為負(fù)樣本集，利用SVM訓(xùn)練算法構(gòu)造最優(yōu)超 平面，然后把屬于第N' 2類樣本從樣本集中刪除。依次下去，最終得到基于二叉樹的多類 SVM分類模型，得到判別函數(shù)，通過判別函數(shù)即可對車型進(jìn)行識(shí)別。
權(quán)利要求
一種基于協(xié)方差和二叉樹支持向量機(jī)的目標(biāo)檢測系統(tǒng)，其特征在于包括視頻數(shù)據(jù)采集單元、圖像預(yù)處理單元和背景建模車輛分割及顯示單元，其中圖像預(yù)處理單元包括同步信號間隔檢測模塊、FIFO模塊、AD接口控制單元、SDRAM控制器、幀存SDRAM、總開關(guān)、雙口RAM、接口模塊和視頻數(shù)據(jù)處理單元，視頻數(shù)據(jù)采集單元依次串接AD接口控制單元、FIFO模塊、視頻數(shù)據(jù)處理單元、SDRAM控制器、雙口RAM、接口模塊后接背景建模車輛分割及顯示單元的輸入端，同步信號間隔檢測模塊的輸出端分別接視頻數(shù)據(jù)采集單元、AD接口控制單元和接口模塊的輸入端，接口模塊的輸出端接AD接口控制單元的輸入端，AD接口控制單元的輸出端串接SDRAM控制器后接口模塊的輸入端。
2. 根據(jù)權(quán)利要求1所述的基于協(xié)方差和二叉樹支持向量機(jī)的目標(biāo)檢測系統(tǒng)，其特征在 于所述視頻數(shù)據(jù)處理單元由視頻濾波、投影變換模塊串接視頻拼接模塊構(gòu)成。
3. 根據(jù)權(quán)利要求1所述的基于協(xié)方差和二叉樹支持向量機(jī)的目標(biāo)檢測系統(tǒng)，其特征在 于所述視頻數(shù)據(jù)采集單元由多路CMOS攝像頭串接視頻解碼器構(gòu)成的視頻數(shù)據(jù)采集支路構(gòu) 成。
4. 根據(jù)權(quán)利要求3所述的基于協(xié)方差和二叉樹支持向量機(jī)的目標(biāo)檢測系統(tǒng)，其特征在 于所述視頻解碼器采用型號為AD9888芯片的視頻解碼器。
5. 根據(jù)權(quán)利要求1所述的基于協(xié)方差和二叉樹支持向量機(jī)的目標(biāo)檢測系統(tǒng)，其特征在 于所述背景建模車輛分割及顯示單元由DSP芯片構(gòu)成，所述DSP芯片由背景建模單元依次 串接車輛分割提取、協(xié)方差特征提取和車型識(shí)別計(jì)算單元構(gòu)成。
6. —種基于協(xié)方差和二叉樹支持向量機(jī)的目標(biāo)檢測方法，其特征在于包括如下步驟 步驟一，攝像頭架設(shè)將攝像機(jī)頭設(shè)在直行道路上方，攝像機(jī)軸線與所述直行道路方向的傾角在60度到70 度之間；步驟二，視頻預(yù)處理對視頻數(shù)據(jù)采集單元獲取的多路彩色視頻的RGB三通道分別進(jìn)行3X3鄰域模板中值 濾波，將得到的結(jié)果再合成為彩色視頻； 步驟三，視頻投影變換和拼接對步驟二所述的再合成的彩色視頻進(jìn)行投影變換后拼接為一路視頻； 步驟四，車輛目標(biāo)的分割與提取利用基于分塊分類的智能視頻監(jiān)控背景更新算法對步驟三所述的拼接后的視頻進(jìn)行 背景建模及前景目標(biāo)提取，從而分割得到視頻中的車輛；通過尋找到車輛連通域中行方向 最左邊點(diǎn)和最右點(diǎn)的坐標(biāo)值，以及列方向最上邊的點(diǎn)及最下邊點(diǎn)的坐標(biāo)值，即得到包含車 輛的最小矩形區(qū)域(sf (x， y) ， x。， y。， w， h)，其中sf (x， y)為矩形內(nèi)對應(yīng)點(diǎn)的像素值，x， y分 別表示行、列的像素坐標(biāo)，(x。，y。)為矩形左上角點(diǎn)的像素坐標(biāo)，w，h分別為矩形的像素寬和 高；步驟五，車輛目標(biāo)分類訓(xùn)練樣本的提取需要分類的車型有m種，針對每一種車型i，選擇Ni個(gè)訓(xùn)練樣本，記為{Cil， ci2，. . . ，&^1， . . . ， m，則一共選擇了 N個(gè)訓(xùn)練樣本，W-ZW ;步驟六，車輛目標(biāo)分類特征的提取(1) 車輛目標(biāo)的非協(xié)方差特征提取根據(jù)步驟四得到覆蓋車輛目標(biāo)每個(gè)訓(xùn)練樣本的最小矩形區(qū)域(sf (x， y)， x。， y。， w， h)，由w，h可以計(jì)算得到車輛的像素長度(h)、寬度(w)、面積(s = wXh)。(2) 車輛目標(biāo)的局部協(xié)方差特征提取將步驟四所述的車輛目標(biāo)的矩形區(qū)域(sf(x，y)，x。，y。，w，h)分為8個(gè)子區(qū)域，首先將矩形區(qū)域分為左右兩個(gè)相等矩形區(qū)域，上下兩個(gè)相等的矩形區(qū)域，然后再將矩形分成四個(gè)相等面積的矩形區(qū)域，一共八個(gè)子矩形區(qū)域采用基于積分圖計(jì)算區(qū)域協(xié)方差特征的方法計(jì)算得到步驟四所述的車輛目標(biāo)的矩形區(qū)域(sf(x，y)，x。，y。，w，h)中車輛的協(xié)方差矩陣Q，然后其中(x' ，y')為矩形左上角點(diǎn)的坐標(biāo)，(x〃 ，y〃 )為矩形右下角的點(diǎn)坐標(biāo)，S二x' *y'，Q為二次積分圖WXHXdXd的張量，P為積分圖像WXHXd的張量，其中WXH為圖像的分辨率，d為顏色的維數(shù)，T為轉(zhuǎn)置；計(jì)算得到的子區(qū)域的協(xié)方差矩陣依次記為C2、C3、…、Q ;步驟七，利用SVM方法結(jié)合車輛圖像協(xié)方差特征進(jìn)行車輛目標(biāo)分類將步驟六所述協(xié)方差矩陣CpCyCp…、Q映射為對應(yīng)的歐式空間的向量，再利用SVM算法進(jìn)行車型識(shí)別。
7.根據(jù)權(quán)利要求1所述的基于協(xié)方差和二叉樹支持向量機(jī)的目標(biāo)檢測方法，其特征在于步驟七所述的識(shí)別方法如下(a) 第i類車型有Ni個(gè)樣本，樣本序列為{cn，ci2，…，e,w,h針對每個(gè)Cij(Cij代表第i類車型中第j個(gè)樣本)，j = 1， 2，. . . ， Ni，經(jīng)過步驟六處理后，將步驟六所述協(xié)方差矩陣Q、C2、 C3、…、C9映射為對應(yīng)的歐式空間的向量并依次排列，則對于每一個(gè)類車型中的每一個(gè)樣本得到一個(gè)324維的訓(xùn)練樣本為XCij，樣本集為{Xcn， Xci2， . . . ，Xcw,}，i = 1， . ， m ;(b) 根據(jù)變換后的樣本集{Xcn， Xci2， ... ， Icw,}，計(jì)算出第i類樣本的重心^^=備|]義％，最小包含第1類樣本的超球體半徑為兄=max Xc.l(C)根據(jù)(b)計(jì)算所述的超球體半徑得到各類車型的分布體積Vi，根據(jù)體積由大到小的順序，對類別進(jìn)行排序，當(dāng)存在兩個(gè)或兩個(gè)以上的類別具有相同分布體積時(shí)，把類標(biāo)號小的類排在前面，最后得到所有類別的排列N' 2，...，N' m，此處N' i G {1，2，…，m};利用標(biāo)準(zhǔn)的二值分類SVM算法構(gòu)造二叉樹內(nèi)節(jié)點(diǎn)的最優(yōu)超平面；在根節(jié)點(diǎn)處，從樣本集中選擇第N'工類樣本為正樣本集，其他樣本為負(fù)樣本集，利用SVM訓(xùn)練算法構(gòu)造最優(yōu)超平面，然后把屬于第N'工類的樣本從樣本集中刪除；在第2個(gè)節(jié)點(diǎn)處，從樣本集中選擇第N' 2類樣本為正樣本集，其他剩余的樣本為負(fù)樣本集，利用SVM訓(xùn)練算法構(gòu)造最優(yōu)超平面，然后把屬于第N' 2類樣本從樣本集中刪除；依次下去，最終得到基于二叉樹的多類SVM分類模型，得到判別函數(shù)，通過判別函數(shù)即可對車型進(jìn)行識(shí)別。分別計(jì)算各個(gè)子矩形區(qū)域的協(xié)方差矩陣
全文摘要
本發(fā)明公布了一種基于協(xié)方差和二叉樹支持向量機(jī)的目標(biāo)檢測系統(tǒng)及方法，所述系統(tǒng)包括視頻數(shù)據(jù)采集單元、圖像預(yù)處理單元和背景建模車輛分割及顯示單元。所述方法視頻采集單元用于實(shí)時(shí)獲取信息，并對模擬視頻數(shù)字化及制式轉(zhuǎn)換。圖像處理單元包括現(xiàn)場可編程門陣列FPGA和通用信號處理器DSP兩部分，F(xiàn)PGA作為協(xié)處理器；DSP作為主處理器，完成視頻圖像的背景建模、車輛目標(biāo)分割與提取、車型識(shí)別算法的實(shí)現(xiàn)。利用FPGA和DSP的組合，結(jié)合基于圖像協(xié)方差特征及支持向量機(jī)的車型識(shí)別算法可以實(shí)現(xiàn)多路視頻實(shí)時(shí)車型識(shí)別。本發(fā)明可廣泛用于智能交通管理領(lǐng)域，智能視頻監(jiān)控等多個(gè)領(lǐng)域。
文檔編號H04N7/18GK101794515SQ201010134888
公開日2010年8月4日 申請日期2010年3月29日 優(yōu)先權(quán)日2010年3月29日
發(fā)明者丁曉峰, 嚴(yán)錫君, 張家華, 徐立中, 樊棠懷, 石愛業(yè) 申請人:河海大學(xué)