說(shuō)明。
[0070] 本發(fā)明一個(gè)實(shí)施例的車(chē)輛關(guān)鍵點(diǎn)檢測(cè)方法利用車(chē)輛關(guān)鍵點(diǎn)檢測(cè)裝置如圖6所示， 包括如下步驟：
[0071 ] A，初始位置獲取單元獲取待檢測(cè)圖片各關(guān)鍵點(diǎn)的初始位置。
[0072] 初始位置獲取單元通過(guò)車(chē)牌定位進(jìn)行車(chē)牌的初始定位，得到車(chē)牌角點(diǎn)初始位置。 根據(jù)車(chē)牌定位，可W得到的車(chē)牌位置信息為車(chē)牌位置中屯、點(diǎn)（x〇，y〇)和車(chē)牌的寬度W及高 度，分別用W和h表示。車(chē)牌的定位技術(shù)為現(xiàn)有的成熟技術(shù)。
[0073] 基于車(chē)牌位置信息對(duì)車(chē)輛前臉進(jìn)行切割，其中進(jìn)行切割的寬度及高度基于經(jīng)驗(yàn) 值，切割的方法如下：寬度方向上切割的總寬度為5*w，高度方向上切割的總高度為20曲，其 中寬度方向Wxo為中屯、，兩邊各有2.5*w的寬度，高度方向Wyo為參考點(diǎn)，上方截取高度為 16地，下方截取高度為4地。當(dāng)前實(shí)施例中，為配合后續(xù)經(jīng)過(guò)訓(xùn)練后得到的梯度樹(shù)，截取完成 的圖片統(tǒng)一縮放為300*400的大小，處理完成之后，該圖片可W作為車(chē)型判別的標(biāo)準(zhǔn)輸入圖 片，如圖1所不。
[0074] B，關(guān)鍵點(diǎn)檢測(cè)單元將各關(guān)鍵點(diǎn)的初始位置輸入經(jīng)過(guò)訓(xùn)練的分類(lèi)器中檢測(cè)得到各 關(guān)鍵點(diǎn)的最終位置。
[0075] 其中，車(chē)前臉中關(guān)鍵點(diǎn)檢測(cè)通過(guò)分類(lèi)器訓(xùn)練單元訓(xùn)練后的分類(lèi)器得到。分類(lèi)器訓(xùn) 練過(guò)程中樣本圖片的切割方式與測(cè)試圖片一致，且切割后也縮放為300*400大小的圖片。在 切割后的圖片上進(jìn)行關(guān)鍵點(diǎn)標(biāo)注，其中關(guān)鍵點(diǎn)在不同的車(chē)型中應(yīng)具有共通的特征(特征例 如為紋理特征或像素灰度等等）。當(dāng)前實(shí)施例中的關(guān)鍵點(diǎn)標(biāo)注如圖2所示，圖2中一共12個(gè)關(guān) 鍵點(diǎn)用白色圓點(diǎn)標(biāo)注，分別為:車(chē)窗4個(gè)角點(diǎn)，左側(cè)車(chē)燈左上角和右側(cè)車(chē)燈右上角2個(gè)角點(diǎn)， 車(chē)牌4個(gè)角點(diǎn)W及車(chē)輛最下方左右兩側(cè)的2角點(diǎn)。運(yùn)些角點(diǎn)普遍具有在所有車(chē)型上相對(duì)一致 的局部特征，有助于后續(xù)進(jìn)行梯度回歸時(shí)的有效收斂。
[0076] 分類(lèi)器訓(xùn)練單元進(jìn)行訓(xùn)練包括如下步驟：
[0077] S1，關(guān)鍵點(diǎn)目標(biāo)位置獲取子單元根據(jù)初始圖片獲取各關(guān)鍵點(diǎn)的目標(biāo)位置。
[0078] 首先對(duì)若干張（當(dāng)前為1000張)縮放為標(biāo)準(zhǔn)大?。ó?dāng)前實(shí)施例為300*400)的圖片中 進(jìn)行上述12個(gè)關(guān)鍵點(diǎn)的標(biāo)注，并通過(guò)車(chē)牌定位得到每張初始圖片的車(chē)牌位置中屯、點(diǎn)（X0， yo)，其中X0為寬度方向坐標(biāo)，yo為高度方向坐標(biāo)，將所得到的運(yùn)1000張帶有關(guān)鍵點(diǎn)和中屯、點(diǎn) 標(biāo)定的標(biāo)準(zhǔn)大小圖片作為初始圖片。
[0079] 接著將每張初始圖片的車(chē)牌位置中屯、點(diǎn)(x〇，y〇)作為關(guān)鍵點(diǎn)位置的坐標(biāo)原點(diǎn)，將標(biāo) 定好的12個(gè)關(guān)鍵點(diǎn)相對(duì)于中屯、點(diǎn)的位置坐標(biāo)計(jì)算出來(lái)(xci，yci......Xci2，yci2)，排列的次序 為由左到右，由上到下，然后統(tǒng)計(jì)1000張初始圖片的平均形狀信息…….Xml2，yml2)。
[0080] 當(dāng)前實(shí)施例中平均形狀信息的計(jì)算很簡(jiǎn)單，1000張初始圖片的關(guān)鍵點(diǎn)位置向量相 加然后除W1000即可。在其他實(shí)施例中，可W采用相對(duì)的平均形狀信息，考慮到車(chē)牌位置信 息的檢測(cè)相對(duì)比較準(zhǔn)確，需要獲取各個(gè)關(guān)鍵點(diǎn)位置與車(chē)牌寬度和高度的比例，所W對(duì)上述 關(guān)鍵點(diǎn)坐標(biāo)統(tǒng)一X方向（即水平方向）的坐標(biāo)值除Ww/2，y方向（即垂直方向）的坐標(biāo)值除W h/2(w和h的計(jì)算同樣取1000張圖片的平均值）。最終得到的平均形狀比例信息為（XVI， Υν?.......Xvl2，yvl2)。
[0081] S2,訓(xùn)練樣本獲取子單元獲取帶有關(guān)鍵點(diǎn)標(biāo)注的初始圖片，將初始圖片進(jìn)行形變 得到關(guān)鍵點(diǎn)位置偏移的多張圖片作為訓(xùn)練樣本。
[0082] 由于在實(shí)際檢測(cè)關(guān)鍵點(diǎn)時(shí)，初始定位可能受到外界環(huán)境影響導(dǎo)致定位不準(zhǔn)確，從 而產(chǎn)生了一些偏移，為了使訓(xùn)練結(jié)果具有抗偏移的訓(xùn)練過(guò)程的初始位置信息產(chǎn)生，首先需 要將1000(a=1000)張初始圖片每張復(fù)制20份(b = 20)，變?yōu)?0000(ab = 20000)張，然后對(duì) 每張圖片W車(chē)牌中屯、點(diǎn)為坐標(biāo)原點(diǎn)，W平均形狀比例信息和其隨機(jī)進(jìn)行的旋轉(zhuǎn)、平移W及 縮放進(jìn)行初始位置信息的標(biāo)定，其中每張圖片選擇的形變參數(shù)的種類(lèi)及數(shù)值均隨機(jī)選?。?其中，縮放比例在0.7~1.4之間（X和y方向獨(dú)立縮放），旋轉(zhuǎn)角度在-25~25度之間，平移像 素 X方向上為正負(fù)15，y方向?yàn)檎?fù)5,通過(guò)運(yùn)種形變確?？蒞適配車(chē)牌定位過(guò)程中出現(xiàn)的各 種誤差干擾。其中，其他形變參數(shù)不變，方向上旋轉(zhuǎn)20度之后的初始位置點(diǎn)標(biāo)注如圖3所示， 可W看到白色圓點(diǎn)與圖2相比發(fā)生了角度上的偏移。進(jìn)行初始位置信息訓(xùn)練的目的是找到 一個(gè)回歸函數(shù)將運(yùn)些點(diǎn)收斂到正確的位置。
[0083] S3,特征訓(xùn)練子單元提取各關(guān)鍵點(diǎn)在各訓(xùn)練樣本中的特征，利用所提取的特征進(jìn) 行分類(lèi)器的訓(xùn)練。
[0084] 考慮到車(chē)臉上局部區(qū)域的信息表征更加具有針對(duì)性，本發(fā)明當(dāng)前實(shí)施例中回歸樹(shù) 采用的是使用局部頻域特征結(jié)合逐點(diǎn)回歸的方式逼近正確的位置。在現(xiàn)有技術(shù)中有采取像 素灰度值的相對(duì)大小作為車(chē)臉的特征表示，并且在回歸的時(shí)候?qū)⑵湟曌魅痔卣?，運(yùn)種方 法使用隨機(jī)選取的多個(gè)特征加上多棵樹(shù)的級(jí)聯(lián)，對(duì)于人臉等顏色、結(jié)構(gòu)一致性較好的目標(biāo) 檢測(cè)效果是不錯(cuò)的，但對(duì)于車(chē)型而言，其顏色變化、車(chē)前臉紋理變化較大，很難提煉出一些 有全局區(qū)分度的特征。
[0085] 當(dāng)前實(shí)施例中采用局部單點(diǎn)回歸的方式對(duì)車(chē)輛的關(guān)鍵點(diǎn)進(jìn)行一一逼近，同時(shí)考慮 到車(chē)身顏色的多樣性，采取頻域特征結(jié)合邏輯回歸進(jìn)行二叉樹(shù)的分割決策。
[0086] 現(xiàn)W車(chē)前臉左上角第一個(gè)點(diǎn)為例說(shuō)明，其他點(diǎn)的處理過(guò)程完全一致。當(dāng)前實(shí)施例 中，提取的特征是基于32*32的圖像塊，然后對(duì)該圖像塊進(jìn)行離散余弦變換（Discrete Cosine Transform,簡(jiǎn)稱(chēng)DCT變換）后獲取其低頻區(qū)域的64個(gè)響應(yīng)數(shù)值(在去除直流分量后 由低到高取64位數(shù)值)形成一個(gè)64位向量作為特征參數(shù)。根據(jù)實(shí)際需要，訓(xùn)練生成10~20層 級(jí)樹(shù)，當(dāng)前實(shí)施例中層級(jí)數(shù)為20,在每一層級(jí)中，針對(duì)每個(gè)關(guān)鍵點(diǎn)都生成一棵樹(shù)，即每一層 級(jí)均有12棵樹(shù)。W當(dāng)前車(chē)前臉左上角關(guān)鍵點(diǎn)為例，首先選擇W當(dāng)前待測(cè)點(diǎn)（即左上角的第一 個(gè)點(diǎn))位置為中屯、的32*32大小圖像塊，該圖像塊作為每個(gè)點(diǎn)回歸時(shí)的第一級(jí)樹(shù)使用的特征 區(qū)域。結(jié)合需要的梯度樹(shù)L層級(jí)數(shù)化取值范圍例如為10~20級(jí)當(dāng)前實(shí)施例為20層級(jí)），在第1 層級(jí)W后后續(xù)另外需要一些候選特征區(qū)域，運(yùn)里使用隨機(jī)選取的方法選擇N個(gè)候選特征區(qū) 域(N的取值可W為50~100,候選特征過(guò)多會(huì)導(dǎo)致訓(xùn)練偏慢），當(dāng)前選擇的候選特征區(qū)域?yàn)?50個(gè)。由于本發(fā)明當(dāng)前實(shí)施例重點(diǎn)考慮的是局部特征，所W運(yùn)里的隨機(jī)選取區(qū)域的中屯、點(diǎn) 需要限制在W待測(cè)點(diǎn)為中屯、的60*80圖像區(qū)域內(nèi)，即W待測(cè)點(diǎn)為中屯、，X方向左右30，y方向 上下40的區(qū)域?yàn)殡S機(jī)選取中屯、點(diǎn)的捜索區(qū)域。
[0087] 當(dāng)前實(shí)施例在回歸樹(shù)的訓(xùn)練過(guò)程中使用隨機(jī)選取的1000張訓(xùn)練樣本，在開(kāi)始訓(xùn)練 時(shí)，針對(duì)每個(gè)關(guān)鍵點(diǎn)，從形變后的20000張圖片中隨機(jī)選取1000張圖片作為針對(duì)該關(guān)鍵點(diǎn)的 回歸樹(shù)訓(xùn)練樣本，對(duì)于左上角第一個(gè)點(diǎn)，每張訓(xùn)練樣本均有一個(gè)初始位置,1000張訓(xùn)練樣本 就有1000個(gè)初始位置，然后獲取運(yùn)些初始位置的坐標(biāo)相對(duì)于目標(biāo)位置坐標(biāo)（即該待測(cè)點(diǎn)的 正確坐標(biāo)）的差值（xdi，ydi)，其中i表示第i張訓(xùn)練樣本，即從第1張到第1000張分別記為 (xdi，ydi) (xd2，yd2)......(xdiooo，ydiooo)。第i個(gè)點(diǎn)在該級(jí)樹(shù)的特征可W簡(jiǎn)單記為xi (i取值范圍 1~1000)，每個(gè)XI為64維向量。需要注意，對(duì)于同一棵樹(shù)上所有的分支，都使用同樣的特征， 只是特征的擬合參數(shù)在各個(gè)分支上不同。接下來(lái)借鑒邏輯回歸的思路求解下面使下面運(yùn)個(gè) 最大似然函數(shù)取值最大的參數(shù)來(lái)確定當(dāng)前層級(jí)樹(shù)的分裂方式。當(dāng)前實(shí)施例每一層級(jí)的每棵 樹(shù)均經(jīng)過(guò)4次分裂形成一棵5級(jí)樹(shù)。
[008引設(shè)定Θ的假設(shè)函數(shù)he(xi)，表達(dá)式為：
[0089] 在每一次分裂時(shí)，得到關(guān)鍵點(diǎn)分布區(qū)域的劃分線及Θ的組合使得最大似然函數(shù)1 (曰，Θ)值最大，1(α，θ)的表達(dá)式為：
[0090]
[0091] 其中，i表示第i張訓(xùn)練樣本，當(dāng)前實(shí)施例中8 = 1〇〇〇，即1取值為1到1〇〇〇。0為其中 一個(gè)待擬合的參數(shù)，在當(dāng)前實(shí)施例中是一個(gè)用來(lái)擬合64位特征的64維參數(shù)向量，W形成邏 輯回歸中的最大似然函數(shù)。
[0092] he(xi)表示Θ的假設(shè)函數(shù)，在α固定的情況下，1(α，θ)為關(guān)于Θ的最大似然函數(shù)，需要 擬合出一個(gè)9使1(α , θ)最大。h0(xi)為θ的假設(shè)函數(shù)，在前S次分裂中h0(xi)為xdi/ydi>tan (口）出現(xiàn)的概率，最后一次分裂中he(xi)表示m*xdi+n〉ydi出現(xiàn)的概率。對(duì)于前立次分裂過(guò)程， α為所述劃分線與水平方向的夾角，對(duì)于第i個(gè)關(guān)鍵點(diǎn)，yai的取值方式為：當(dāng)xdi/ydiHan(a)， y" = 1，否則y" = 0。第一次分裂時(shí)α的取值范圍為0到179°，從第二次分裂起，都在前一次劃 分線所得各區(qū)域中進(jìn)行α的捜索，如圖4所示，線ab為第一次分裂過(guò)程得到所得劃分線；線C 和線d為