基于多層描述子的車輛標識方法與系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于多層描述子的車輛標識方法與系統(tǒng)。其方法包括以下步驟：(1)車輛全局特征提??；（2）車輛奇異區(qū)域提取特征提??；（3）多層描述子構造；（4）基于多層描述子的車輛標識，在綜合考慮匹配精度與匹配速度的情況下，利用多種匹配策略獲得最終車輛標識的結果。本發(fā)明并在所述方法的基礎上，開發(fā)了基于多層特征的車輛標識系統(tǒng)；并且在該系統(tǒng)的基礎架構上，還發(fā)明了一些具體的車輛標識的系統(tǒng)。本發(fā)明的車輛標識方法運用多層描述子對車輛進行描述，并且利用多種匹配策略來保證多層描述子之間的匹配精度與匹配速度，使得該方法能在不同領域的車輛標識運用中取得較好的效果。
【專利說明】基于多層描述子的車輛標識方法與系統(tǒng)
[0001]技術鄰域
[0002]本發(fā)明屬于數(shù)字圖像與視頻處理領域，具體涉及智能交通中的車輛標識領域。
【背景技術】
[0003]社會經(jīng)濟的發(fā)展，車輛的數(shù)目的激增，使得如何高效地管理車輛，規(guī)劃交通成為交通監(jiān)管部門的一大挑戰(zhàn)。由于各種主觀或客觀原因導致的交通事故，違法行為，不僅影響了正常的交通秩序，更是對國民經(jīng)濟、社會發(fā)展以及人們的生命財產(chǎn)安全造成了極大的威脅。單純的靠傳統(tǒng)的人力來完成各種需求已經(jīng)越來越難以滿足日益劇增的監(jiān)管需求。近年來，智能交通的概念被引入到交通監(jiān)管領域，并且在人們的生產(chǎn)生活中發(fā)揮越來越大的作用。
[0004]車輛標識是智能交通中的重要領域。在很多重要的交通監(jiān)管領域都發(fā)揮著重要作用，例如套牌車輛檢測，一車多牌檢測，車輛追蹤，車輛檢索等。套牌車輛檢測:套牌車輛就是非法套用他人機動車的車牌，以致犯罪行為劇增，嚴重擾亂了正常的社會秩序。車輛標識能通過車輛本身的特征唯一標識一輛車，從而能很好的檢測套牌車輛；一車多牌檢測:車輛在行駛過程中，使用不同的車牌，從而可以逃避因超速、闖紅燈、逆行等違章行為，車輛標識可以通過車輛特征唯一標識出車輛來檢測這種行為；車輛檢索:從車輛數(shù)據(jù)庫中檢索當前車輛，并或得當前車輛的各種信息，車輛標識能從車輛數(shù)據(jù)庫中檢索出相對應的車輛。
[0005]現(xiàn)有的車輛標識方法主要是依賴車牌與車標，但是這種方法當發(fā)生套牌行為以后就會失去方法原來的功效，從而導致車輛標志的結果不正確；還有一些方法通過檢測車輛的顏色和一些其他特征，比如sift，surf來標識車輛，但是這些方法一般都會把所有的特征都用一遍，增加了算法的復雜度。對此，本發(fā)明提出了基于多層特征的車輛標識方法，先用簡單的特征進行初步篩選，可以剔除大量完全不匹配的目標；然后再用復雜的局部特征進行精確匹配從而使在節(jié)約了時間的情況下還能保證車輛標識的準確性。

【發(fā)明內(nèi)容】

[0006]由于現(xiàn)有的車輛標識算法的上述缺陷，本發(fā)明提出了一種基于多層描述子的車輛標識方法，并且在該方法的基礎上開發(fā)了基于多層描述子的車輛標識系統(tǒng)。
[0007]本發(fā)明能很好的克服現(xiàn)有車輛標識方法上的缺陷，同時考慮車輛的全局信息及奇異區(qū)域局部信息，構成能夠準確表征車輛特性的多層描述子，并且采用多種匹配策略對多層描述子進行匹配，不僅減少了算法復雜度，而且提高的車輛標識的準確性，使得車輛標識有更高的準確性，本發(fā)明包括以下步驟，如圖1所示:
[0008]1、車輛全局特征提取，得到整個車身的全局特征；
[0009]2、車輛奇異區(qū)域局部特征提取，提取車輛的奇異區(qū)域，并提取奇異區(qū)域的局部特征；
[0010]3、多層描述子構造，利用車輛的全局特征、奇異區(qū)域的局部特征、車輛的先驗知識以及某些語義信息來構造車輛的多層描述子；
[0011]4、基于多層描述子的車輛標識，綜合考慮匹配精度與匹配速度的情況下，利用多種匹配策略獲得最終車輛標識的結果。
[0012]下面具體說明上述步驟:
[0013]1、車輛全局特征提取
[0014]車輛的全局特征是指綜合考慮整個車輛的信息之后產(chǎn)生的能表征車輛的特征。經(jīng)過量化之后的車輛全局描述子與車輛的尺寸、大小、分辨率關系都不是很大，每一幅車輛圖像對應相同維度的車輛全局描述子，這里介紹一些常用的車輛全局特征:
[0015]a)顏色直方圖特征是一種很常用的全局特征。該特征能夠有效地抵御翻轉、旋轉等對于像素點之間相對位置發(fā)生改變的變形。顏色直方圖可以在不同的顏色空間得到，比如:RGB顏色空間、HSV顏色空間、Lab顏色空間等。顏色直放圖提取的一般步驟如下:
[0016]⑴將彩色圖像拆分成三個通道；
[0017](ii)統(tǒng)計每個通道所有像素的像素值的直方圖；
[0018](iii)把三個直方圖合成一個直放圖，作為全局特征。
[0019]b)離散余弦變換(DCT):DCT特征可以有效地抵御一些的視覺變形，比如壓縮、Gamma變換和加噪等。此外，它還具有緊湊性好、提取與檢索效率高的優(yōu)點，DCT特征提取的一般步驟如下:
[0020](i)將彩色圖片轉換成灰度圖，并且把圖片的尺寸設置到某一固定大小；
[0021](ii)把圖片劃分成一系列小的子塊，對每個子塊進行DCT，并且得到子塊對應的系數(shù)舉證；
[0022](iii)計算每個子塊對用的系數(shù)矩陣的前4個子帶能量，然后把所有子塊的前4個子帶能量寫成一個向量，作為全局的DCT特征。
[0023]2、車輛奇異區(qū)域局部特征提取
[0024]車輛奇異區(qū)域的提取模塊的作用在于提取車輛特征明顯的區(qū)域，這些區(qū)域包括:車標、車牌、車頭、車輛車頂、車窗玻璃等。本發(fā)明提出的檢測方法可以但不局限于以下方法:
[0025]a)基于視覺顯著的方法:該方法可以通過圖像中能量分布來確定我們需要的顯著區(qū)域的位置，一般顯著區(qū)域為能量較為集中的區(qū)域；
[0026]b)具體區(qū)域的定位的方法:比如車牌的定位、車標的定位，可以通過先驗知識或訓練好的模型來獲取目標的相應位置。
[0027]c)基于特征點的方法:通過現(xiàn)有的特征點檢測算法來獲得特征點，尋找特征點相對集中的區(qū)域作為車輛的奇異區(qū)域。
[0028]d)基于輪廓的方法:一般情況下，特征較明顯區(qū)域一般會有更多的邊緣輪廓，通過檢測多輪廓的區(qū)域來獲取車輛的奇異區(qū)域。
[0029]e)基于時域相關與同類比較的凸區(qū)域劃分方法:將車輛劃分為若干個凸區(qū)域，用時域上特征比較穩(wěn)定的凸區(qū)域與其他車輛的特征進行相比，選取差異明顯的區(qū)域作為指定車輛的奇異區(qū)域。
[0030]在實際運用中可以從實際需求出發(fā)去選取相應的車輛奇異區(qū)域檢測的方法。只有全局信息不能完整的標識車輛本身，還需要車輛的局部特征來對車輛做進一步的標識，這里介紹一些常用的局部特征:
[0031]a)局部二值模式(LBP):LBP是一種常用的紋理特征，能很好的表征局部區(qū)域內(nèi)圖像的紋理特征，現(xiàn)階段有很多不同版本的LBP算法，這些算法的一般步驟如下:
[0032](i)計算感興趣區(qū)域內(nèi)所有像素點的LBP編碼值；
[0033](ii)把所有的LBP值都編碼成所有模式中的一種(不同的LBP方法，編碼的方式不一樣)；
[0034](iii)統(tǒng)計感興趣區(qū)域內(nèi)所有模式的直方圖，作為該感興趣區(qū)域的LBP特征。
[0035]b)尺度不變特征轉換(SIFT):SIFT特征是一種常用的圖像局部特征，目前被廣泛應用在圖像識別、分析、檢索的各個領域，提取SIFT的一般步驟如下:
[0036](i)運用DOG(差分高斯)構建尺度空間，檢測極值點；
[0037](ii)以極值點為中心，統(tǒng)計領域內(nèi)像素的梯度方向的直方圖，并以此方向作為主方向；
[0038](iii)旋轉坐標軸到主方向，考慮極值點點周圍的16個小區(qū)域,每個區(qū)域內(nèi)為一個記錄梯度方向的8維的直放圖；
[0039](iv)把所有小區(qū)域的直方圖合成一個128維的直方圖作為該極值點的SIFT特征。
[0040]c)快速魯棒特征(SURF):SURF是一種跟SIFT類似的局部特征描述子，區(qū)別在于SIFT用DoG的方式去尋找而SURF運用Hession矩陣和積分圖像來加速極值點的尋找算法；并且在后面的描述子提取中，SURF不同于SIFT的梯度，運用的是Haar小波得到的特征值。SURF描述子提取的其他步驟跟SIFT基本相同。
[0041]d) DCSift = DCsift是一種密集型的局部描述子，它包含了一定的顏色特征。對物體的匹配有很好的效果，但是由于算子本身的密集度比較高，所以提取的速度相對比較慢，提取步驟如下:
[0042](i)把彩色圖像分解成L、A、B三個顏色通道圖像；
[0043](ii)提取每個通道圖像的HoG特征，每個通道為72維；
[0044](iii)把三個通道的HoG特征合成最終的DCSift特征，為72x3=216維。
[0045]e)局部顏色直方圖:局部顏色直方圖與全局顏色直方圖提取方法相似。不同之處在于局部特色直方圖的提起基于奇異區(qū)域而不是目標整體。
[0046]3、多層描述子構造
[0047]描述子一般由某個或者多個特征共同得到，具有更全面更魯棒的表征物體特性的特性，常用的方式有通過碼本的方式以及降維的方式。
[0048]a)碼本的方式
[0049]碼本方式一般通過把現(xiàn)有的特征量化到一定數(shù)量上，并且對量化后的結果進行相應的編碼，最常用的碼本方式為:詞袋模型。
[0050]詞袋方法(bag of word, Boff):B0W最先由Josef等基于自然語言處理模型提出，類比一篇文章可以由很多文字(texture words)組成，認為一張圖像可以由很多視覺單詞(visual words)組成,就能將之前用于文本檢索中的技術直接應用與圖像檢索領域中。
[0051]BOff 一般用于基于特征點的特征的降維上，一張圖像的BOW的過程大致如下:
[0052](i)獲得圖像關鍵點；
[0053](ii)得到每個關鍵點的特征；
[0054](iii)通過聚類把每個特征聚成所有word中的一類；
[0055](iv)統(tǒng)計整張圖，每個word出現(xiàn)的直方圖。[0056]Boff經(jīng)常用在sift, dcsift, surf等點特征的應用上。
[0057]b)降維的方式
[0058]在降維的方式中，一般把不同的特征進行線性或者非線性的組合，然后再進行降維操作，常用的降維方法如下:
[0059]( i )主成分分析
[0060]主成分分析(Principalcomponents analysis,PCA)由卡爾?皮爾遜于 1901 年發(fā)明，是一種分析、簡化數(shù)據(jù)集的技術。主成分分析經(jīng)常用于減少數(shù)據(jù)集的維數(shù)，同時保持數(shù)據(jù)集中的對方差貢獻最大的特征。這是通過保留低階主成分，忽略高階主成分做到的。這樣低階成分往往能夠保留住數(shù)據(jù)的最重要方面。主要步驟如下:
[0061]1)把所有樣本變成一個矩陣，矩陣的行數(shù)等于特征的維數(shù)，列數(shù)為樣本的個數(shù)；
[0062]2)得到矩陣的協(xié)方差矩陣；
[0063]3)求解所得協(xié)方差矩陣的特征值以及特征向量；
[0064]4)取需要保留的主成分，如需保留K個主成分則保留前K個特征向量。
[0065](ii)線性判別分析
[0066]線性判別分析(LinearDiscriminant AnalysisLin, LDA)由 Ronald Fisher在1936年發(fā)明，所以也被稱為Fisher’ s Linear Discriminant。LDA是一種有監(jiān)督的(supervised)線性降維算法。與PCA保持數(shù)據(jù)信息不同，LDA是為了使得降維后的數(shù)據(jù)點盡可能地容易被區(qū)分。LDA的原理是，將帶上標簽的數(shù)據(jù)通過投影的方法，投影到維度更低的空間中，并且使得投影后的點會形成按類別區(qū)分，一簇一簇的情況。類別相同的點，將會在投影空間中更接近。
[0067]LDA通過尋找映射向量使得數(shù)據(jù)樣本保持以下兩種性質(zhì):
[0068]1)相同類別的數(shù)據(jù)樣本盡可能的接近；
[0069]2)不同類別的數(shù)據(jù)樣本盡可能的分開；
[0070]在得到映射矩陣后，通過求映射矩陣的前K個特征向量作為把數(shù)據(jù)從高維空間映射到低維空間的映射矩陣。
[0071](iii)局部線性嵌入方法
[0072]局部線性嵌入方法(Locally linear embedding,LLE)是一種非線性降維算法,它能夠使降維后的數(shù)據(jù)較好地保持原有流形結構。在實際運用中LLE對于分布于非閉合球面或者橢球面上的數(shù)據(jù)有較好的降維效果。LLE算法認為:每個數(shù)據(jù)樣本都可以由其相近的一些樣本進行加權得到，LLE的主要計算不熟如下:
[0073]1)為每個樣本尋找和它距離相近的K個樣本；
[0074]2)通過找到的K個距離最近的樣本計算出每個樣本的局部重建權值矩陣；
[0075]3)通過每個樣本的局部重建權值矩陣以及在步驟I)中得到的K個相近的樣本將數(shù)據(jù)降維到低維空間。
[0076]4、基于多層描述子的車輛標識
[0077]本發(fā)明利用多種匹配策略對得到的多層描述子進行匹配，主要包括并行匹配策略與top-down匹配策略，可根據(jù)具體得到的描述子的構成及實際需求選擇需要的匹配策略。
[0078]在并行匹配策略中，每一層的描述子都被用于匹配，從而得出最終結果。圖2為并行匹配策略的大致流程圖，假設共有k層描述子，每一層描述子同時進行相似度的計算，最終的匹配結果由k個匹配結果共同得到。
[0079]top-down匹配策略中，逐層對描述子進行匹配，并且在得到需要的結果后停止后面層的匹配操作。圖3為top-down匹配策略的大致流程圖，假設共有k層描述子，首先計算最上面層的描述子之間的匹配度，如果得到的匹配度不滿足預先規(guī)定的值，則不進行后面多層的匹配過程直接認為兩描述子描述的是不同的物體；如果低層的描述子之間匹配則繼續(xù)進行后面高層之間的匹配，直到得到最終結果。這種策略在很多時候可以節(jié)省匹配時間。
[0080]下面介紹幾種具體的相似度的計算方式:
[0081]a)歐式距離:最常見的距離，公式如下:
【權利要求】
1.一種基于多層描述子的車輛標識方法，該方法利用車輛的全局特征和基于奇異區(qū)域的局部特征構成車輛的多層描述子，并且在綜合考慮匹配精度與匹配速度的情況下，利用多種匹配策略獲得最終車輛標識的結果；該方法主要包括以下步驟: (1)車輛全局特征提取，得到整個車身的全局特征； (2)車輛奇異區(qū)域局部特征提取，提取車輛的奇異區(qū)域，并提取奇異區(qū)域的局部特征； (3)多層描述子構造，利用車輛的全局特征、奇異區(qū)域的局部特征、車輛的先驗知識以及某些語義信息來構造車輛的多層描述子； (4)基于多層描述子的車輛標識，綜合考慮匹配精度與匹配速度的情況下，利用多種匹配策略獲得最終車輛標識的結果。
2.根據(jù)權利要求1所述的方法，其特征在于，步驟(2)中所述的車輛奇異區(qū)域主要指車輛特性獨特的局部區(qū)域，包括但不限于:車輛的車標、車牌、車頭、車輛車頂、車窗玻璃的明顯特征以及與其他車輛有明顯特征差異的區(qū)域。
3.根據(jù)權利要求1或2所述的方法，其特征在于，步驟(2)中所述的車輛奇異區(qū)域的檢測，可以運用多種檢測方法，具體方法包括但不僅限于: (a)基于視覺顯著的方法:通過圖像中能量分布來確定我們需要的顯著區(qū)域的位置，顯著區(qū)域為能量較為集中的區(qū)域； (b)基于輪廓的方法:通過檢測圖像中的多輪廓的區(qū)域來獲取車輛的奇異區(qū)域； (C)基于特征點的方法:通過現(xiàn)有的特征點檢測算法來獲取圖像中特征點，尋找特征點相對集中的區(qū)域作為車輛的 奇異區(qū)域； (d)基于凸區(qū)域劃分的方法:將車輛劃分為若干個凸區(qū)域，用時域上特征比較穩(wěn)定的凸區(qū)域與其他車輛的特征進行相比，選取差異明顯的區(qū)域作為指定車輛的奇異區(qū)域； Ce)具體區(qū)域的定位的方法:通過先驗知識或訓練好的模型來獲取定位目標的相應位置。
4.根據(jù)權利要求1所述的方法，其特征在于，步驟(3)中所述的多層描述子，其構造方法是:通過把高維空間的特征映射到低維空間，用低維空間的精簡表示來描述原來的高維特征，主要包括碼本和降維的方法；所述碼本方法是指:把得到的視覺特征用一種編碼方式進行表示；所述降維方法是指:把通過一些方法提取特征中特性比較顯著的那些維度，去掉特征沒有區(qū)分性的那些維度；多層描述子的具體構造方法包括但不僅限于:詞袋方法、主成分分析、線性判別分析、局部線性嵌入方法。
5.根據(jù)權利要求1所述的方法，其特征在于:步驟(4)中所述的基于多層描述子的車輛標識中所涉及的多種匹配策略，主要包括并行匹配策略與自頂向下匹配策略，可根據(jù)具體得到的描述子的構成及實際需求選擇需要的匹配策略；在并行匹配策略中，每一層的描述子都被用于匹配，從而得出最終結果；自頂向下匹配策略中，逐層對描述子進行匹配，并且在得到需要的結果后停止后面層的匹配操作。
6.一種基于多層描述子的車輛標識系統(tǒng)，該系統(tǒng)主要包括以下模塊: (O車輛全局特征提取模塊，得到整個車身的全局特征； (2)車輛奇異區(qū)域局部特征提取模塊，提取車輛的奇異區(qū)域，并提取奇異區(qū)域的局部特征； (3)多層描述子構造模塊，利用車輛的全局特征、奇異區(qū)域的局部特征、車輛的先驗知識以及某些語義信息來構造車輛的多層描述子； (4)基于多層描述子的車輛標識模塊，綜合考慮匹配精度與匹配速度的情況下，利用多種匹配策略獲得最終車輛標識的結果。
7.根據(jù)權利要求6所述的車輛標識系統(tǒng)，其特征在于，所述的模塊具體可構成套牌車輛檢測系統(tǒng)，套牌車輛檢測系統(tǒng)主要包括以下模塊: (1)車輛全局特征提取模塊，提取車輛整體的特征； (2)奇異區(qū)域特征提取模塊，主要對車輛進行車牌的定位與識別，檢測其他一些奇異區(qū)域，并且提取奇異區(qū)域的特征； (3)多層描述子構成模塊，利用車輛的全局信息、車牌號、奇異區(qū)域特征及先驗與語義信息來構成車輛的多層描述子； (4)相同車牌號車輛檢索模塊，以車牌號碼作為關鍵詞搜索車輛數(shù)據(jù)庫，得到與當前車輛車牌號碼相同的車輛； (5)套牌車輛檢測模塊，匹配當前車輛與數(shù)據(jù)庫中搜索到的車輛的多層描述子，并且通過多層描述子的匹配結果得出是否為套牌車輛的結論。
8.根據(jù)權利要求6所述的車輛標識系統(tǒng)，其特征在于，所述的模塊具體可構成卡口車輛檢索系統(tǒng)，卡口車輛檢索系統(tǒng)主要包括以下模塊: (1)車輛全局特征提取 模塊，提取車輛整體的特征； (2)奇異區(qū)域特征提取模塊，提取車頭、車身、車標，與其他目標有明顯差異的凸區(qū)域等相關的特征； (3)多層描述子構造模塊，利用車輛的全局特征、奇異區(qū)域特征及先驗與語義信息來構成車輛的多層描述子； (4)卡口車輛檢索模塊，利用建立的索引，以多層描述子為關鍵字檢索整個車輛數(shù)據(jù)庫，根據(jù)相似度得到相應的檢索結果。
9.根據(jù)權利要求6所述的車輛標識系統(tǒng)，其特征在于，所述的模塊具體可構成多車一牌/ 一車多牌檢測系統(tǒng)，多車一牌/ 一車多牌檢測系統(tǒng)主要包括以下模塊: (O車輛全局特征提取模塊，提取車輛整體的特征； (2)奇異區(qū)域特征提取模塊，主要對車輛進行車牌的定位與識別，檢測其他一些奇異區(qū)域，并且提取奇異區(qū)域的特征； (3)多層描述子構成模塊，利用車輛的全局信息、車牌號、奇異區(qū)域特征及先驗與語義信息來構成車輛的多層描述子； (4)相同車牌號車輛檢索模塊，以車牌號碼作為關鍵詞搜索車輛數(shù)據(jù)庫，得到與當前車輛車牌號碼相同的車輛； (5)多車一牌/一車多牌檢測模塊，當檢測到的數(shù)據(jù)庫中的與當前車輛車牌號相同的車的數(shù)量大于I時則認為發(fā)生了多車一牌現(xiàn)象；當車牌號相同的車只有1，但是通過多層描述子的匹配后發(fā)現(xiàn)相似度極其高的車輛的數(shù)目超過1，則認為發(fā)生了一車多牌現(xiàn)象。
10.根據(jù)權利要求6所述的車輛標識系統(tǒng)，其特征在于，所述的模塊具體可構成指定車輛的跨攝像頭跟蹤系統(tǒng)，指定車輛的跨攝像頭跟蹤系統(tǒng)包括以下模塊: (I)指定目標的跟蹤1?塊，當指定目標在當如攝像頭消失之后，獲得指定目標在當如攝像頭下的跟蹤序列和其他非指定車輛目標；(2)指定車輛全局特征提取模塊，主要是提取指定車輛整體的特征； (3)奇異區(qū)域特征提取模塊，主要把車輛劃分為若干個在時域上穩(wěn)定的凸區(qū)域，并且通過與其他車輛目標相比，提取差異較大的區(qū)域； (4)多層描述子構成模塊，利用車輛的全局特征，奇異區(qū)域位置，奇異區(qū)域特征建立多層描述子； (5)跨頭跟蹤模 塊，利用多層描述子匹配其他臨近攝像頭新出現(xiàn)的車輛目標與指定的車輛目標，然后跟蹤相似度較高的新目標。
【文檔編號】G06K9/66GK103810505SQ201410055852
【公開日】2014年5月21日 申請日期:2014年2月19日 優(yōu)先權日:2014年2月19日
【發(fā)明者】田永鴻, 陳佳秋, 王耀威 申請人:北京大學