基于梯度回歸樹的車輛關(guān)鍵點檢測方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理領(lǐng)域，尤其設(shè)及基于梯度回歸樹的車輛關(guān)鍵點檢測方法及裝 置。
【背景技術(shù)】
[0002] 目前的智能交通體系大多依靠車牌識別對交通事件進行追蹤和處理，但車牌識別 的局限性過大，如車牌模糊、車牌遮擋甚至假牌、無牌等現(xiàn)象均會導(dǎo)致車牌識別失效，如果 能進一步確認車標(biāo)、車型、車身顏色、車輛年檢貼特征W及駕駛員特征等信息，對于車輛的 追蹤和識別均有極大的幫助。
[0003] 車輛關(guān)鍵點檢測可W將車窗的4個角點W及車身的關(guān)鍵點位置信息檢測出來，例 如車窗4個角點的檢測對于后續(xù)基于車窗的車輛標(biāo)識物檢測W及駕駛員檢測較有幫助，而 車燈角點（即左側(cè)車燈的左上角角點W及右側(cè)車燈的右上角角點）對于車身的車型識別W 及車身顏色識別均有很大幫助，擁有廣闊的應(yīng)用前景。
[0004] 現(xiàn)有技術(shù)存在對關(guān)鍵點采用分類器進行檢測的手段，例如對對車窗或車牌的角點 進行Adaboost檢測，運種特征檢測方式所采用的分類器通過滑動窗口獲取一定區(qū)域內(nèi)的特 征，并進行各特征的比較得到檢測結(jié)果，對于需要區(qū)塊檢測的圖像處理手段比較有效(例如 車牌識別），但是如果需要檢測點，則運種方式容易受到邊緣其他點的干擾，如果旁邊存在 其他車輛，則在分類過程中容易向檢測出的關(guān)鍵點位置會向其他方向偏移導(dǎo)致定位錯誤。
[0005] 因此現(xiàn)有技術(shù)存在定位易受初始定位位置的干擾，關(guān)鍵點不易正確定位的問題。

【發(fā)明內(nèi)容】

[0006] 為解決現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種關(guān)鍵點檢測的方法，W使各關(guān)鍵 點逐點單獨回歸，減少關(guān)鍵點回歸的誤差。
[0007] -種基于梯度回歸樹的車輛關(guān)鍵點檢測方法，包括:獲取各關(guān)鍵點的初始位置W 及將各關(guān)鍵點的初始位置輸入經(jīng)過訓(xùn)練的分類器中檢測得到各關(guān)鍵點的最終位置，所述分 類器的訓(xùn)練方法包括：
[000引獲取多張圖片作為訓(xùn)練樣本，所述訓(xùn)練樣本中關(guān)鍵點相對于目標(biāo)位置具有偏移， 且訓(xùn)練樣本具有關(guān)鍵點的目標(biāo)位置信息；
[0009] 提取各關(guān)鍵點在各訓(xùn)練樣本中的特征，利用所提取的特征進行分類器的訓(xùn)練，其 中所述分類器包括多個層級，每一層級中回歸樹均與關(guān)鍵點一一對應(yīng)，各回歸樹W對應(yīng)關(guān) 鍵點當(dāng)前位置到目標(biāo)位置的距離作為回歸目標(biāo)，訓(xùn)練得到使回歸目標(biāo)最小的特征，并在每 一層級訓(xùn)練完成后均利用回歸結(jié)果重新提取特征并更新下一層級的回歸目標(biāo)，直至完成所 有層級的回歸樹訓(xùn)練。
[0010] 本發(fā)明方法中分類器具有多個層級的回歸樹，即采用梯度回歸樹(G抓T)將關(guān)鍵點 的初始位置向正確的位置回歸。GBDT可W認為是一組殘差迭代決策樹，每一棵回歸樹都在 學(xué)習(xí)前N-1棵樹預(yù)測結(jié)果相對于正確值的殘差。每個關(guān)鍵點的回歸樹都是單獨的，通過將關(guān) 鍵點的當(dāng)前位置到目標(biāo)位置的距離作為回歸目標(biāo)，將訓(xùn)練樣本中的關(guān)鍵點按照分布位置進 行分類，使得各分布位置都能向正確的方向逼近，對于每個關(guān)鍵點都是獨立回歸的，不會受 到其他點的干擾，從而提高了檢測的準(zhǔn)確性。
[0011] 進一步而言，單個層級中任意一個關(guān)鍵點所對應(yīng)的回歸樹經(jīng)過多次分裂，每次分 裂均將當(dāng)前關(guān)鍵點的分布位置進行區(qū)域劃分，所述訓(xùn)練后的回歸樹使劃分得到的每個子區(qū) 域內(nèi)各關(guān)鍵點分布位置到目標(biāo)位置的距離差異最小。
[0012] 訓(xùn)練過程中，每一棵樹需要獲得正確的劃分方式，使得在各區(qū)域中關(guān)鍵點的分布 位置與目標(biāo)位置的差值盡可能一致，在運種情況下，各關(guān)鍵點分布位置在減去差值W后的 位置(即向目標(biāo)位置逼近后的位置)不會分布過遠，運種訓(xùn)練方式考慮到了關(guān)鍵點初始位置 分布區(qū)域的差異性，使得檢測出的各處位置的關(guān)鍵點均能回歸到正確的位置。
[0013] 進一步而言，各回歸樹經(jīng)過L次分裂，其中對于單個層級中任意一個關(guān)鍵點所對應(yīng) 的回歸樹訓(xùn)練方法包括：
[0014] 設(shè)定Θ的假設(shè)函數(shù)he(Xi)，表達式為：
[0015] 在每一次分裂時，得到關(guān)鍵點分布區(qū)域的劃分線及Θ的組合使得最大似然函數(shù)1 (曰，θ)值最大，1(0, Θ)的表達式為：
[0016]
[0017]其中，所述假設(shè)函數(shù)he(Xi)為yai出現(xiàn)的概率，其中，X功第i張訓(xùn)練樣本中所提取的 特征，其中i的取值范圍為巧ljs，s表示訓(xùn)練樣本的數(shù)目，在前次分裂中，劃分線經(jīng)過關(guān)鍵 點的目標(biāo)位置，α為所述劃分線與水平方向的夾角，α的初始取值范圍為0到179度，后續(xù)心2 次分裂每一次都從前一次劃分所得的每個區(qū)域中分別捜索得到一個對應(yīng)的〇,當(dāng) |^>tan〇)時，所述yai為1，否則，yai為0;在最后一次分裂中，劃分線在水平方向上截距 y di 為n，與水平方向夾角為m，當(dāng)m*xdi+n>ydi時，所述yai為1，否則yai為0;其中劃分線斜率W及 截距的捜索步長為預(yù)設(shè)值。
[0018] 本發(fā)明中，關(guān)鍵點通過邏輯回歸方式進行回歸，每棵樹的每次分裂都將訓(xùn)練樣本 中得到的關(guān)鍵點分布區(qū)域的二分類方式劃分，其中分裂的次數(shù)根據(jù)所需要的劃分精度確 定，一般而言考慮到計算效率與精度之間的折中，選擇四到六次分裂。其中，訓(xùn)練樣本中的 關(guān)鍵點分布位置受初始檢測精度的影響，可能存在較大差異，因此需要將不同的分布位置 進行歸類，使得同一區(qū)域中的分布位置差異較小，從而具有較為一致的回歸值，運樣在檢測 時就可W較準(zhǔn)確地知道需要將所檢測到的點向什么位置移動多少距離。通過多個層級逐步 逼近，使得回歸的位置具有較高準(zhǔn)確度。本發(fā)明的運種回歸方式，不僅考慮到了關(guān)鍵點的特 征，同時也考慮到了關(guān)鍵點初始定位的分布位置，使得定位更加準(zhǔn)確。
[0019] 進一步而言，還包括在將所述待檢測圖片在每通過一層級的回歸樹后都對所述待 檢測圖片所有關(guān)鍵點位置坐標(biāo)進行形狀約束，所述第一層級之后每一層級輸入的位置坐標(biāo) 均為經(jīng)過形狀約束后的位置坐標(biāo)，且最終檢測得到的位置坐標(biāo)為通過最后一層級回歸樹后 進行形狀約束所得的位置坐標(biāo)。
[0020] 由于采用回歸方式逐步逼近，實際上是通過關(guān)鍵點的不同特征和不同位置之間的 擬合來得到一個相對準(zhǔn)確的位置，但由于初始定位存在定位較遠的情況，為了防止回歸往 遠離目標(biāo)位置的方向回歸，通過建立形狀約束，使得各關(guān)鍵點之間相互制約，防止關(guān)鍵點在 回歸過程中跑偏到誤差較大的位置。
[0021] 進一步而言，每個層級通過W下函數(shù)進行關(guān)鍵點位置坐標(biāo)的形狀約束：
[0022]
[0023] 其中，（表示第i個關(guān)鍵點的目標(biāo)位置坐標(biāo)，（xi，yi)表示待約束的關(guān)鍵點坐 標(biāo)，其中[sR(Xi，yi)T]x表示坐標(biāo)經(jīng)過旋轉(zhuǎn)和縮放之后取水平方向坐標(biāo)，[sR(Xi，yi)T]y表示坐 標(biāo)經(jīng)過旋轉(zhuǎn)和縮放之后取垂直方向坐標(biāo)，其中約束參數(shù)為縮放系數(shù)s、2*2的旋轉(zhuǎn)矩陣R、水 平方向上的平移距離txW及垂直方向上的平移距離ty，在每一層級回歸之后將回歸后的各 關(guān)鍵點坐標(biāo)及對應(yīng)的關(guān)鍵點目標(biāo)位置坐標(biāo)輸入該函數(shù)，獲取當(dāng)前層級的各約束參數(shù)，使得 所述函數(shù)值最小，其中λι為水平方向的權(quán)重，λ2為垂直方向的權(quán)重，λι及λ2隨著層級增加而 減小且每一層級λ?>λ2,第i個關(guān)鍵點的正則懲罰項系數(shù)為預(yù)設(shè)值，且第i個關(guān)鍵點如果 為車牌角點，則λι W及λ2在各層級的取值均小于。
[0024] 本發(fā)明的形狀約束加入了λι和λ2且λι〉λ2,因為水平方向的約束高于垂直方向的約 束，對于不同車型而言，水平方向上的距離不太可能發(fā)生變化，而垂直方向的距離比例則可 能有一定變化。另外作為正則懲罰項，避免任何一點位移數(shù)值過大，由于車牌4個角點初 始位置信息置信度很高，因此其權(quán)重需要增大，λι及λ2隨著層級增加而減小表示隨著級數(shù)的 增長，表示隨著回歸結(jié)果向目標(biāo)的逐步逼近，全局約束越來越弱，更加相信的是回歸樹的結(jié) 果，所W最終得到的結(jié)果是平均形狀和當(dāng)前位置的一個綜合優(yōu)化效果。例如，通過經(jīng)驗選 值，λι = 2Α，λ2 = ?Α化取值為當(dāng)前級數(shù)，1~20之間，Aci(i = 7/8/9/10) = 4(車牌附近4個 點），λΕ?(其它點）=0.5。
[0025] 進一步而言，所述訓(xùn)練樣本的獲取方式為，獲取a張帶有關(guān)鍵點標(biāo)注的初始圖片， 將每張初始圖片復(fù)制為b份，將得到的所有圖片進行預(yù)設(shè)范圍內(nèi)的隨機形變，并從所得的ab 張圖片中隨機選取S張圖片作為訓(xùn)練樣本，其中預(yù)設(shè)范圍內(nèi)的隨機形變包括:在預(yù)設(shè)倍數(shù)范 圍內(nèi)的縮小或放大;預(yù)設(shè)角度范圍內(nèi)的隨機旋轉(zhuǎn)，在預(yù)設(shè)的距離范圍內(nèi)的隨機平移；
[0026] 對應(yīng)地，各關(guān)鍵點的目標(biāo)位置為關(guān)鍵點在a張初始圖片中位置坐標(biāo)的平均值。
[0027] 現(xiàn)有初始位置一般通過較為成熟的車牌角點定位得到，但由于定位手段的準(zhǔn)確性 有限，因此初始位置可能存在著一定的形變，例如圖片經(jīng)過放大或縮小后位置偏移，受環(huán)境 中其他物體影響導(dǎo)致發(fā)生方向和距離上的偏移，為了模擬運種有誤差的初始定位，使訓(xùn)練 出的結(jié)果能夠接受初始位置的偏移，在訓(xùn)練樣本中各關(guān)鍵點的坐標(biāo)都是通過將訓(xùn)練樣本的 圖片變形得到的。
[0028] 進一