一種面向車輛精細(xì)識(shí)別的車輛部件定位方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于模式識(shí)別技術(shù)領(lǐng)域，特別是涉及一種面向車輛精細(xì)識(shí)別的車輛部件定 位方法。
【背景技術(shù)】
[0002] 隨著車輛保有量的持續(xù)攀升以及道路高清監(jiān)控相機(jī)的普遍架設(shè)和個(gè)人智能手機(jī) 的廣泛使用，各類型涉車圖片數(shù)量成幾何級(jí)數(shù)倍增。由于以往單純利用人工從圖片中辨識(shí) 車輛型號(hào)等信息因數(shù)據(jù)量巨大，且人的辨識(shí)能力有限而難以實(shí)現(xiàn)，因此如何利用計(jì)算機(jī)技 術(shù)對(duì)車輛品牌與型號(hào)進(jìn)行自動(dòng)辨識(shí)已發(fā)展為一大重要研宄方向，其對(duì)智能交通、社會(huì)公共 安全等領(lǐng)域必將發(fā)揮重要支撐作用。
[0003] 車型自動(dòng)識(shí)別研宄可分為兩個(gè)層次：第一層是對(duì)車輛進(jìn)行粗粒度分類研宄，實(shí)現(xiàn) 車輛基本類型的判定，如將車輛區(qū)分為轎車、SUV、公交車、卡車等；第二層則是對(duì)車輛進(jìn)行 細(xì)粒度分類研宄，嘗試實(shí)現(xiàn)對(duì)車輛所屬品牌及型號(hào)的識(shí)別，如識(shí)別出Audi Q7或是BMW X5。 車型粗粒度分類的應(yīng)用范圍主要集中在公路收費(fèi)等只關(guān)注車輛類型的場(chǎng)合，在車輛管理系 統(tǒng)、公安偵稽系統(tǒng)等要求具體型號(hào)信息的應(yīng)用中無法適用。車型細(xì)粒度分類不僅可以準(zhǔn)確 識(shí)別圖片中的品牌和型號(hào)，還能夠通過比對(duì)車型及車牌的登記信息發(fā)現(xiàn)套牌車輛等，較粗 粒度分類具有更廣泛的適用范圍和更深遠(yuǎn)的現(xiàn)實(shí)意義。
[0004] 迄今為止，已有車型識(shí)別的方法主要集中在車型粗粒度分類研宄上，如[文獻(xiàn)1] 中利用車輛外輪廓線或[文獻(xiàn)2]中邊緣特征點(diǎn)進(jìn)行分類，也有部分研宄[文獻(xiàn)3、4]基于車 輛的顏色或整體幾何特征對(duì)圖像或視頻中的車輛進(jìn)行分類。以上研宄主要利用目標(biāo)的全局 顯著性特征，但在細(xì)粒度分類研宄中目標(biāo)類型間往往具有相似的全局特征，如類似的輪廓、 相同的組成部分等，不同類型間僅存在細(xì)微的外觀差異。
[0005] 現(xiàn)有基于粗粒度分類的車型識(shí)別方法利用車輛的整體特征差異進(jìn)行分類，僅能識(shí) 別基本類型（如轎車、客車、卡車等），應(yīng)用范圍有限。因此，需要研宄車型細(xì)粒度分類方法， 通過定位車輛組成部件并挖掘各部件的細(xì)微差異來達(dá)到車輛品牌及型號(hào)識(shí)別的目的。而為 了滿足細(xì)粒度分類的需要，迫切需要一種新的方法對(duì)車輛部件進(jìn)行精確定位。
[0006] 【文獻(xiàn) 1 】Jolly, M-PD，S. Lakshmanan，and A. K. Jain, Vehicle Segmentation and Classification Using Deformable Templates, Pattern Analysis and Machine Intelligence，IEEE Transactions on，1996. 18(3):p. 293-308.
[0007] 【文獻(xiàn) 2】Ma，X，W. E. L Grimson，Edge-based rich representation for vehicle classificatio, in Computer Vision, IEEE International Conference on,2005. p. 1185-1192.
[0008] 【文獻(xiàn) 3】Kafai，M，B. Bhanu，Dynamic Bayesian Networks for Vehicle Classification in Video. Industrial Informatics, IEEE Transactions on, 2012. 8(1).
[0009] 【文獻(xiàn) 4】Moussa，G. S，Vehicle Type Classification with Geometric and Appearance Attributes. International Journal of Civil, Architectural Science and Engineering, 2014. 8(3) :p. 273-278.

【發(fā)明內(nèi)容】

[0010] 為了解決上述的技術(shù)問題，本發(fā)明提出了一種面向車輛精細(xì)識(shí)別的車輛部件定位 方法。
[0011] 本發(fā)明所采用的技術(shù)方案是：一種面向車輛精細(xì)識(shí)別的車輛部件定位方法，其特 征在于：模型訓(xùn)練和部件精確定位兩階段；
[0012] 所述的模型訓(xùn)練階段，其具體實(shí)現(xiàn)包括以下子步驟：
[0013] 步驟1. 1 :訓(xùn)練數(shù)據(jù)集準(zhǔn)備，訓(xùn)練數(shù)據(jù)集包括正樣本數(shù)據(jù)和負(fù)樣本數(shù)據(jù)；正樣本數(shù) 據(jù)為已標(biāo)注車輛外框和部件外框的圖像數(shù)據(jù)，負(fù)樣本數(shù)據(jù)為正樣本數(shù)據(jù)以外的圖像數(shù)據(jù)；
[0014] 步驟1. 2 :數(shù)據(jù)集分類，使用K均值分類器，根據(jù)部件的位置以及車輛的長(zhǎng)寬比分 出不同視角下的數(shù)據(jù)；
[0015] 步驟1. 3 :數(shù)據(jù)集預(yù)處理，根據(jù)部件標(biāo)注的位置以及權(quán)值關(guān)系，得到最小生成樹模 型；
[0016] 步驟1. 4 :初始化得到車輛檢測(cè)模型，該初始化過程為創(chuàng)建一個(gè)根濾波器和部件 濾波器初始值均為零、其他用于檢測(cè)的參數(shù)預(yù)先設(shè)定好的車輛檢測(cè)模型，一個(gè)檢測(cè)模型是 由一個(gè)根濾波器和若干個(gè)部件濾波器組成的，其具體表現(xiàn)形式為（匕，Pp . . .，Pn，b)，其中， 匕代表的是根濾波器，P i代表的是第i個(gè)部件濾波器，b是一個(gè)偏置系數(shù)；每一個(gè)部件濾波 器是有一個(gè)三元組（匕，Vi，cQ表示的，其中匕是第i個(gè)部件濾波器的值，v i是一個(gè)指定了 部件濾波器相對(duì)于根濾波器位置的二維向量，屯代表了部件濾波器的位移損失；當(dāng)有多個(gè) 視角時(shí)，車輛檢測(cè)模型參數(shù)的具體表達(dá)形式為：
[0017] |3 = (F' 0, ? ? ?，F(xiàn)' n，屯，…，dn，b) (1)；
[0018] 其中F'玳表了第i個(gè)視角下的車輛檢測(cè)模型；
[0019] 根濾波器和部件濾波器的具體形式為NXM大小的卷積模板，其中N和M由對(duì)訓(xùn)練 數(shù)據(jù)集的估算處理確定；用訓(xùn)練數(shù)據(jù)集對(duì)所述的車輛檢測(cè)模型進(jìn)行訓(xùn)練，獲得根濾波器和 部件濾波器；其訓(xùn)練的過程為使用公式（2)利用梯度下降法對(duì)0的求解過程：
[0020]
【主權(quán)項(xiàng)】
1. 一種面向車輛精細(xì)識(shí)別的車輛部件定位方法，其特征在于：模型訓(xùn)練和部件精確定 位兩階段； 所述的模型訓(xùn)練階段，其具體實(shí)現(xiàn)包括以下子步驟： 步驟1. 1 :訓(xùn)練數(shù)據(jù)集準(zhǔn)備，訓(xùn)練數(shù)據(jù)集包括正樣本數(shù)據(jù)和負(fù)樣本數(shù)據(jù)；正樣本數(shù)據(jù)為 已標(biāo)注車輛外框和部件外框的圖像數(shù)據(jù)，負(fù)樣本數(shù)據(jù)為正樣本數(shù)據(jù)以外的圖像數(shù)據(jù)； 步驟1. 2 :數(shù)據(jù)集分類，使用K均值分類器，根據(jù)部件的位置以及車輛的長(zhǎng)寬比分出不 同視角下的數(shù)據(jù)； 步驟1. 3 :數(shù)據(jù)集預(yù)處理，根據(jù)部件標(biāo)注的位置以及權(quán)值關(guān)系，得到最小生成樹模型； 步驟1. 4 :初始化得到車輛檢測(cè)模型，該初始化過程為創(chuàng)建一個(gè)根濾波器和部件濾波 器初始值均為零、其他用于檢測(cè)的參數(shù)預(yù)先設(shè)定好的車輛檢測(cè)模型，一個(gè)檢測(cè)模型是由一 個(gè)根濾波器和若干個(gè)部件濾波器組成的，其具體表現(xiàn)形式為（F tl, P1，…，Pn，b)，其中，F(xiàn)tl代 表的是根濾波器，P i代表的是第i個(gè)部件濾波器，b是一個(gè)偏置系數(shù)；每一個(gè)部件濾波器是 有一個(gè)三元組（Fi, Vi，(Ii)表示的，其中Fi是第i個(gè)部件濾波器的值，V i是一個(gè)指定了部件 濾波器相對(duì)于根濾波器位置的二維向量，Cli代表了部件濾波器的位移損失；當(dāng)有多個(gè)視角 時(shí)，車輛檢測(cè)模型參數(shù)的具體表達(dá)形式為： β = (F' ?，…，F(xiàn)' n，Cl1，…，dn，b) (1)； 其中F' 表了第i個(gè)視角下的車輛檢測(cè)模型； 根濾波器和部件濾波器的具體形式為NXM大小的卷積模板，其中N和M由對(duì)訓(xùn)練數(shù)據(jù) 集的估算處理確定；用訓(xùn)練數(shù)據(jù)集對(duì)所述的車輛檢測(cè)模型進(jìn)行訓(xùn)練，獲得根濾波器和部件 濾波器；其訓(xùn)練的過程為使用公式（2)利用梯度下降法對(duì)β的求解過程：
其中D = (〈Xp yP，…，<xn, yn>)是一系列的標(biāo)定數(shù)據(jù)，β為模型參數(shù)， max (0, l-yjο (Xi)是標(biāo)準(zhǔn)的損失函數(shù)，C控制著正則項(xiàng)的相對(duì)權(quán)重； 部件濾波器使用了最小生成樹模型進(jìn)行位置約束，綜合根濾波器和部件濾波器，得到 車輛部件定位模型； 所述的部件精確定位階段，其具體實(shí)現(xiàn)包括以下子步驟： 步驟2. 1 :讀取所述的車輛部件定位模型； 步驟2. 2 :針對(duì)需要進(jìn)行車輛部件定位的圖片，提取HOG特征金字塔，HOG特征金字塔即 為在不同分辨率下對(duì)圖片提取HOG特征； 步驟2. 3 :利用根濾波器與特征金字塔的指定層L進(jìn)行卷積，得到卷積響應(yīng)值，得分高 的部分即為車輛區(qū)域； 步驟2. 4 :利用部件濾波器與特征金字塔LX 2層進(jìn)行卷積，得到卷積響應(yīng)值，結(jié)合步驟 2. 3中得到的車輛區(qū)域，添加位移損失約束，得分高的地方即為部件區(qū)域；計(jì)算得分的具體 公式為：
其中： (Ckpdyi) = (Xpyi)-Q(Xc^y0Hvi) (4);
公式（3)中，Pi= (Xi，yi，Ii)指定了第i個(gè)濾波器在特征金字塔中的層數(shù)以及相應(yīng)的 位置，Cli代表了部件濾波器的位移損失；公式（4)指定了部件濾波器相對(duì)根濾波 器的位移損失，（Xi，yi)代表了檢測(cè)出部件的位置，（X〇，y。）代表了模型中部件的位置，\是 一個(gè)指定了部件濾波器相對(duì)于根濾波器位置的二維向量；公式（5)代表了形變特征； 步驟2. 5 :利用車輛的位置關(guān)系特性以及對(duì)稱性特性，對(duì)已檢測(cè)出的部件添加位置及 對(duì)稱性約束，得到了車輛部件精確定位。
2.根據(jù)權(quán)利要求1所述的面向車輛精細(xì)識(shí)別的車輛部件定位方法，其特征在于：步驟 1. 4的具體實(shí)現(xiàn)包括以下子步驟： 步驟1. 4. 1 :初始化車輛檢測(cè)模型，利用訓(xùn)練數(shù)據(jù)集進(jìn)行第一步的模型訓(xùn)練，得到一個(gè) 原始t吳型； 步驟1. 4. 2 :產(chǎn)生一個(gè)左右對(duì)稱的模型，進(jìn)行第二步的模型訓(xùn)練，得到可以針對(duì)車輛左 右對(duì)稱進(jìn)彳丁檢測(cè)的t吳型； 步驟1. 4. 3 :合并步驟1. 4. 1和步驟1. 4. 2中得到的模型，進(jìn)行第三步的模型訓(xùn)練，得 到一個(gè)完整的可以對(duì)車輛進(jìn)行左右對(duì)稱檢測(cè)的車輛檢測(cè)模型，該模型得到了根濾波器； 步驟1. 4. 4 :利用步驟1. 4. 3中得到的車輛檢測(cè)模型，對(duì)正樣本數(shù)據(jù)進(jìn)行檢測(cè)，對(duì)正樣 本數(shù)據(jù)進(jìn)行重新標(biāo)定； 步驟1. 4. 5 :使用步驟1. 4. 3中得到的車輛檢測(cè)模型，用已標(biāo)注的部件數(shù)據(jù)，進(jìn)行第四 步的模型訓(xùn)練，得到部件檢測(cè)模型； 步驟1. 4. 6 :對(duì)部件檢測(cè)模型添加最小生成樹約束，對(duì)部件位置進(jìn)行調(diào)整，針對(duì)部件進(jìn) 一步訓(xùn)練部件檢測(cè)模型，該模型得到了部件濾波器； 步驟1. 4. 7 :合并步驟1. 4. 3中得到的車輛檢測(cè)模型和步驟1. 4. 6中的得到的部件檢 測(cè)模型，即將根濾波器和部件濾波器綜合，得到車輛部件定位模型。
【專利摘要】本發(fā)明公開了一種面向車輛精細(xì)識(shí)別的車輛部件定位方法，通過訓(xùn)練模型以及部件檢測(cè)兩部分得到精確的車輛部件定位結(jié)果。模型訓(xùn)練即為對(duì)已標(biāo)注的車輛以及車輛部件的訓(xùn)練數(shù)據(jù)集提取HOG特征，并使用SVM分類器訓(xùn)練得到模型參數(shù)，最終得到可用于檢測(cè)車輛部件的模型。部件檢測(cè)為對(duì)測(cè)試圖像提取特征金字塔，利用已得到的模型對(duì)特征金字塔進(jìn)行卷積運(yùn)算，得到卷積響應(yīng)值，并結(jié)合形變約束，得到的車輛部件的粗略定位，再結(jié)合剛體特性，加入位置約束及對(duì)稱性約束，實(shí)現(xiàn)車輛部件精確定位。本發(fā)明可以實(shí)現(xiàn)對(duì)圖片中的車輛進(jìn)行部件精確定位，從而有效解決【背景技術(shù)】提到的問題，是車輛精細(xì)識(shí)別的基礎(chǔ)工作。
【IPC分類】G06K9-62
【公開號(hào)】CN104751190
【申請(qǐng)?zhí)枴緾N201510196908
【發(fā)明人】胡瑞敏, 肖駿, 肖晶
【申請(qǐng)人】武漢大學(xué)
【公開日】2015年7月1日
【申請(qǐng)日】2015年4月23日