一種使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法，包括以下步驟：步驟1：獲取圖像，并對(duì)圖像進(jìn)行預(yù)處理構(gòu)成圖像金字塔；步驟2：從圖像金字塔中提取聚合通道特征金字塔；步驟3：在聚合通道特征金字塔上按照設(shè)定的步長(zhǎng)滑動(dòng)檢測(cè)窗口，獲得檢測(cè)塊；步驟4：使用已訓(xùn)練好的多個(gè)軟級(jí)聯(lián)分類(lèi)器將步驟3獲得的檢測(cè)塊依次分類(lèi)為含有行人或不含行人的檢測(cè)塊；步驟5：被分類(lèi)為含有行人的檢測(cè)塊標(biāo)記為行人候選窗口，并記錄每個(gè)行人候選窗口的分類(lèi)得分；步驟6：去除重疊行人候選窗口；步驟7：輸出行人檢測(cè)結(jié)果。聚合通道特征有效描述了行人類(lèi)的外觀共性。多個(gè)軟級(jí)聯(lián)分類(lèi)器組成檢測(cè)器的方式較好處理了訓(xùn)練數(shù)據(jù)不平衡問(wèn)題，提高了檢測(cè)能力。
【專(zhuān)利說(shuō)明】 一種使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺(jué)的目標(biāo)檢測(cè)【技術(shù)領(lǐng)域】，特別涉及一種使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法。
【背景技術(shù)】
[0002]因?yàn)樵诎脖１O(jiān)控、自動(dòng)駕駛和智能機(jī)器人等領(lǐng)域中的關(guān)鍵作用，多年來(lái)行人檢測(cè)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的熱門(mén)研究課題。隨著描述圖像區(qū)域信息的更有效底層特征的出現(xiàn)和更好的行人表示模型的設(shè)計(jì)，近年來(lái)行人檢測(cè)的性能得到了很大提高，但離實(shí)用要求仍有不小差距。
[0003]在計(jì)算機(jī)視覺(jué)技術(shù)中進(jìn)行行人檢測(cè)通常采用滑動(dòng)窗口的方式。即，確定固定大小的矩形，依次從左到右，從上到下選擇矩形區(qū)域；然后提取矩形區(qū)域中的特征，并將得到的特征輸入分類(lèi)器或者檢測(cè)器進(jìn)行判斷，最后輸出檢測(cè)到行人的矩形區(qū)域。因此，影響行人檢測(cè)的兩個(gè)關(guān)鍵因素分別是底層特征和分類(lèi)器或檢測(cè)器。在現(xiàn)有最好的行人檢測(cè)方法中，底層特征一般都使用獲取局部信息的特征。這里將現(xiàn)有最好性能檢測(cè)器歸為以下四類(lèi):一、單一剛性模版檢測(cè)器；二、單一部件結(jié)構(gòu)模型檢測(cè)器；三、多剛性模版檢測(cè)器；四、多部件結(jié)構(gòu)模型檢測(cè)器。
[0004]對(duì)常用的底層特征及這四種檢測(cè)器分析如下:
[0005]單純使用像素灰度值的類(lèi)Haar矩形特征因其簡(jiǎn)單性，并且可以使用積分圖技術(shù)加速特征的提取，在人臉檢測(cè)中得到了成功的應(yīng)用。因灰度值受光照等外部影響很大，加之行人外觀的復(fù)雜多變性，在行人檢測(cè)中，類(lèi)Harr特征的表達(dá)能力就太弱了，因此一般只用來(lái)預(yù)先大致確定包含行人的感興趣區(qū)域，再進(jìn)行后續(xù)處理。
[0006]像素梯度能獲得較好的光照不變性，獲取矩形區(qū)域梯度直方圖的HOG特征在行人檢測(cè)上表現(xiàn)出了很好的性能。因?yàn)椴捎昧藚^(qū)域部分重疊、直方圖計(jì)算三線性插值消除走樣等獲得不變性的措施，HOG特征的維度比較高，計(jì)算量也比較大，這些是其在實(shí)時(shí)應(yīng)用中的障礙。積分通道特征可以看作是HOG特征的積分圖化。該特征除了利用像素梯度之外，還使用了 LUV的像素值，這樣的處理使得該特征具有了較好的表達(dá)能力，并且引入積分圖讓計(jì)算量降低到了可接受的程度。基于去掉很小區(qū)域和很大區(qū)域的直方圖不太會(huì)影響行人檢測(cè)效果的事實(shí)，聚合通道特征只計(jì)算固定大小正方形區(qū)域的直方圖，采用了積分通道特征相同的通道，這樣使特征的維度大大降低了，同時(shí)表達(dá)能力相對(duì)于積分通道特征還有了提高。
[0007]剛性模板將行人當(dāng)作一個(gè)整體，相當(dāng)于行人集外觀的平均值表示。單一剛性模板檢測(cè)器使用一個(gè)剛性模板描述整個(gè)行人類(lèi)別，其訓(xùn)練是一個(gè)全局優(yōu)化問(wèn)題，有多種可選的優(yōu)化方法、訓(xùn)練起來(lái)比較簡(jiǎn)單是其最大優(yōu)點(diǎn)。但是，由于行人外觀的復(fù)雜多邊性，剛性模板表達(dá)能力不太好，從而造成最后的行人檢測(cè)效果無(wú)法達(dá)到最佳。
[0008]部件結(jié)構(gòu)模型是復(fù)雜模型的代表，它考慮到了行人可以看作多個(gè)相對(duì)獨(dú)立的部件構(gòu)成這個(gè)事實(shí)，不但表達(dá)各部件的外觀，也表達(dá)部件之間的關(guān)系和行人的整體外觀。這種模型的表達(dá)能力很強(qiáng)，也更符合行人的生理結(jié)構(gòu)，這是其突出優(yōu)點(diǎn)。相對(duì)于剛體模型，訓(xùn)練部件結(jié)構(gòu)模型需要很多額外的信息，而這些信息很多是隱含的，在訓(xùn)練時(shí)并不能獲得。隱含信息的使用造成了訓(xùn)練的困難，從而得到的部件結(jié)構(gòu)模型往往不是最優(yōu)的。
[0009]由于行人具有極大的類(lèi)內(nèi)差別，使用單一模型不足以描述行人這個(gè)類(lèi)別。多剛性模板檢測(cè)器和多部件結(jié)構(gòu)模板檢測(cè)器都基于將行人分解成多個(gè)較單純的子類(lèi)處理的想法。同一子類(lèi)行人的外觀具有較好的相似性，可以更好的描述，多模型檢測(cè)器正是利用了這個(gè)優(yōu)點(diǎn)。但是，首先要將行人劃分為多個(gè)子類(lèi)才可能訓(xùn)練出多模型檢測(cè)器，這個(gè)子類(lèi)劃分尚是未解決的開(kāi)放課題。

【發(fā)明內(nèi)容】

[0010]本發(fā)明提供了一種使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法，其目的在于克服上述現(xiàn)有技術(shù)的不足，擬避開(kāi)子類(lèi)劃分、降低訓(xùn)練難度、充分利用多模型的表達(dá)能力、同時(shí)維持較快的檢測(cè)速度。
[0011]一種使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法，包括以下步驟:
[0012]步驟1:獲取圖像，并對(duì)圖像進(jìn)行預(yù)處理構(gòu)成圖像金字塔；
[0013]步驟2:從圖像金字塔中提取聚合通道特征金字塔；
[0014]步驟3:在聚合通道特征金字塔上按照設(shè)定的步長(zhǎng)滑動(dòng)檢測(cè)窗口，獲得檢測(cè)塊；
[0015]步驟4:使用已訓(xùn)練好的多個(gè)軟級(jí)聯(lián)分類(lèi)器將步驟3獲得的檢測(cè)塊依次分類(lèi)為含有行人或不含行人的檢測(cè)塊；
[0016]步驟5:被分類(lèi)為含有行人的檢測(cè)塊標(biāo)記為行人候選窗口，并記錄每個(gè)行人候選窗口的分類(lèi)得分；
[0017]步驟6:去除重疊行人候選窗口 ；
[0018]將行人候選窗口按照分類(lèi)得分進(jìn)行降序排列，依次計(jì)算相鄰的兩個(gè)行人候選窗口
的重疊面積A與相鄰兩個(gè)行人候選窗口中較小行人候選窗口面積B的比值i，如果比值*
BB
大于0.65,則去掉分類(lèi)得分較小的行人候選窗口，直到?jīng)]有任何相鄰的兩個(gè)行人窗口的重疊比值大于0.65為止；
[0019]步驟7:輸出行人檢測(cè)結(jié)果。
[0020]所述步驟I中對(duì)圖像進(jìn)行預(yù)處理是指將RGB圖像變換為L(zhǎng)UV顏色空間圖像，并對(duì)LUV顏色空間圖像進(jìn)行邊緣填充使得圖像的高度和寬度均為步驟3中設(shè)定步長(zhǎng)的整數(shù)倍；按照設(shè)定的縮放系數(shù)對(duì)圖像進(jìn)行縮小，得到多幅尺寸依次遞減的圖像，形成圖像金字塔；
[0021]所述縮放系數(shù)為1.01-1.05之間的實(shí)數(shù)，按照縮放系數(shù)對(duì)圖像進(jìn)行縮小是指縮小前的圖像大小是縮小后的圖像大小的1.01-1.05倍。
[0022]所述步驟2中聚合通道特征的提取過(guò)程如下:
[0023]首先，計(jì)算圖像金字塔中每一幅圖像的每個(gè)像素點(diǎn)的LUV三顏色像素梯度，取最大值作為當(dāng)前像素點(diǎn)的像素梯度； [0024]其次，按6個(gè)梯度方向獲得每個(gè)像素點(diǎn)的梯度方向直方圖；
[0025]所述6個(gè)梯度方向是指在梯度角度變化范圍內(nèi)等分為六個(gè)區(qū)間，每個(gè)梯度方向?yàn)槠渲幸粋€(gè)區(qū)間；所述梯度角度變化范圍為180度或360度；
[0026]比如[0-30]為第一個(gè)角度方向，…；也可以考慮為360度，則區(qū)間為60度即可。[0027]最后，將每個(gè)像素點(diǎn)的LUV三顏色值、像素梯度大小以及6個(gè)梯度方向的梯度大小作為每個(gè)像素點(diǎn)的聚合通道特征；
[0028]單幅圖像所有像素點(diǎn)的聚合通道特征構(gòu)成了聚合通道特征矩陣，圖像金字塔中每幅圖像的聚合通道特征矩陣構(gòu)成聚合通道特征金字塔。
[0029]所述步驟3中的滑動(dòng)檢測(cè)窗口是指在聚合通道特征矩陣上依次從左到右、從上到下按設(shè)定步長(zhǎng)滑動(dòng)檢測(cè)窗口，設(shè)定步長(zhǎng)小于檢測(cè)窗口的長(zhǎng)和寬，檢測(cè)窗口在聚合通道特征矩陣形成若干個(gè)與檢測(cè)窗口大小相同的矩形塊。
[0030]所述步驟4中已訓(xùn)練好的多個(gè)軟級(jí)聯(lián)分類(lèi)器的訓(xùn)練過(guò)程如下:
[0031]利用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器，對(duì)訓(xùn)練樣本集進(jìn)行訓(xùn)練以得到多個(gè)軟級(jí)聯(lián)分類(lèi)器；
[0032]訓(xùn)練樣本集包括:正樣本集和負(fù)樣本集,所述正樣本集包括不少于3000個(gè)包含行人且像素大小為64X32的圖像區(qū)域，所述負(fù)樣本集包括不少于10萬(wàn)個(gè)不包含行人且像素大小為64X32的圖像區(qū)域；
[0033]所述多個(gè)軟級(jí)聯(lián)分類(lèi)器的第一個(gè)軟級(jí)聯(lián)分類(lèi)器使用了全部正樣本集和隨機(jī)抽取的數(shù)量與正樣本一樣的負(fù)樣本子集，之后的每一個(gè)軟級(jí)聯(lián)行人分類(lèi)使用了全部正樣本集和相同數(shù)目的隨機(jī)抽取的負(fù)樣本子集，但是能被已經(jīng)訓(xùn)練出的軟級(jí)聯(lián)分類(lèi)器的組合正確分類(lèi)的負(fù)樣本被排除在抽樣范圍之外，直到所有的負(fù)樣本都能被所訓(xùn)練出的軟級(jí)聯(lián)分類(lèi)器正確分類(lèi)，則結(jié)束訓(xùn)練。
[0034]所述步驟5中的分類(lèi)得分由以下公式計(jì)算:
[0035]
【權(quán)利要求】
1.一種使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法，其特征在于，包括以下步驟: 步驟1:獲取圖像，并對(duì)圖像進(jìn)行預(yù)處理構(gòu)成圖像金字塔； 步驟2:從圖像金字塔中提取聚合通道特征金字塔； 步驟3:在聚合通道特征金字塔上按照設(shè)定的步長(zhǎng)滑動(dòng)檢測(cè)窗口，獲得檢測(cè)塊； 步驟4:使用已訓(xùn)練好的多個(gè)軟級(jí)聯(lián)分類(lèi)器將步驟3獲得的檢測(cè)塊依次分類(lèi)為含有行人或不含行人的檢測(cè)塊； 步驟5:被分類(lèi)為含有行人的檢測(cè)塊標(biāo)記為行人候選窗口，并記錄每個(gè)行人候選窗口的分類(lèi)得分； 步驟6:去除重疊行人候選窗口 ； 將行人候選窗口按照分類(lèi)得分進(jìn)行降序排列，依次計(jì)算相鄰的兩個(gè)行人候選窗口的重疊面積A與相鄰兩個(gè)行人候選窗口中較小行人候選窗口面積B的比值A(chǔ)/B如果比值A(chǔ)/B大于0.65，則去掉分類(lèi)得分較小的行人候選窗口，直到?jīng)]有任何相鄰的兩個(gè)行人窗口的重疊比值大于0.65為止； 步驟7:輸出行人檢測(cè)結(jié)果。
2.根據(jù)權(quán)利要求1所述的使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法，其特征在于，所述步驟I中對(duì)圖像進(jìn)行預(yù)處理是指將RGB圖像變換為L(zhǎng)UV顏色空間圖像，并對(duì)LUV顏色空間圖像進(jìn)行邊緣填充使得圖像的高度和寬度均為步驟3中設(shè)定步長(zhǎng)的整數(shù)倍；按照設(shè)定的縮放系數(shù)對(duì)圖像進(jìn)行縮小，得到多幅尺寸依次遞減的圖像，形成圖像金字塔； 所述縮放系數(shù)為1.01-1.05之間的實(shí)數(shù)，按照縮放系數(shù)對(duì)圖像進(jìn)行縮小是指縮小前的圖像大小是縮小后的圖像大小的1.01-1.05倍。
3.根據(jù)權(quán)利要求1所述的使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法，其特征在于，所述步驟2中聚合通道特征的提取過(guò)程如下: 首先，計(jì)算圖像金字塔中每一幅圖像的每個(gè)像素點(diǎn)的LUV三顏色像素梯度，取最大值作為當(dāng)前像素點(diǎn)的像素梯度； 其次，按6個(gè)梯度方向獲得每個(gè)像素點(diǎn)的梯度方向直方圖； 所述6個(gè)梯度方向是指在梯度角度變化范圍內(nèi)等分為六個(gè)區(qū)間，每個(gè)梯度方向?yàn)槠渲幸粋€(gè)區(qū)間；所述梯度角度變化范圍為180度或360度； 最后，將每個(gè)像素點(diǎn)的LUV三顏色值、像素梯度大小以及6個(gè)梯度方向的梯度大小作為每個(gè)像素點(diǎn)的聚合通道特征； 單幅圖像所有像素點(diǎn)的聚合通道特征構(gòu)成了聚合通道特征矩陣，圖像金字塔中每幅圖像的聚合通道特征矩陣構(gòu)成聚合通道特征金字塔。
4.根據(jù)權(quán)利要求1所述的使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法，其特征在于，所述步驟3中的滑動(dòng)檢測(cè)窗口是指在聚合通道特征矩陣上依次從左到右、從上到下按設(shè)定步長(zhǎng)滑動(dòng)檢測(cè)窗口，設(shè)定步長(zhǎng)小于檢測(cè)窗口的長(zhǎng)和寬，檢測(cè)窗口在聚合通道特征矩陣形成若干個(gè)與檢測(cè)窗口大小相同的矩形塊。
5.根據(jù)權(quán)利要求1所述的使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法，其特征在于，所述步驟4中已訓(xùn)練好的多個(gè)軟級(jí)聯(lián)分類(lèi)器的訓(xùn)練過(guò)程如下:利用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器，對(duì)訓(xùn)練樣本集進(jìn)行訓(xùn)練以得到多個(gè)軟級(jí)聯(lián)分類(lèi)器； 訓(xùn)練樣本集包括:正樣本集和負(fù)樣本集，所述正樣本集包括不少于3000個(gè)包含行人且像素大小為64X32的圖像區(qū)域，所述負(fù)樣本集包括不少于10萬(wàn)個(gè)不包含行人且像素大小為64X32的圖像區(qū)域； 所述多個(gè)軟級(jí)聯(lián)分類(lèi)器的第一個(gè)軟級(jí)聯(lián)分類(lèi)器使用了全部正樣本集和隨機(jī)抽取的數(shù)量與正樣本一樣的負(fù)樣本子集，之后的每一個(gè)軟級(jí)聯(lián)行人分類(lèi)使用了全部正樣本集和相同數(shù)目的隨機(jī)抽取的負(fù)樣本子集，但是能被已經(jīng)訓(xùn)練出的軟級(jí)聯(lián)分類(lèi)器的組合正確分類(lèi)的負(fù)樣本被排除在抽樣范圍之外，直到所有的負(fù)樣本都能被所訓(xùn)練出的軟級(jí)聯(lián)分類(lèi)器正確分類(lèi)，則結(jié)束訓(xùn)練。
6.根據(jù)權(quán)利要求1所述的使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法，其特征在于，所述步驟5中的分類(lèi)得分由以下公式計(jì)算:
7.根據(jù)權(quán)利要求5所述的使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法，其特征在于，所述多個(gè)軟級(jí)聯(lián)分類(lèi)器的個(gè)數(shù)是訓(xùn)練時(shí)自動(dòng)確定的，無(wú)需事先指定。
8.根據(jù)權(quán)利要求6所述的使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法，其特征在于，所述多個(gè)軟級(jí)聯(lián)分類(lèi)器具有相同的復(fù)雜度，相互之間是完全平等，沒(méi)有使用的先后順序。
9.根據(jù)權(quán)利要求6所述的使用聚合通道特征和多個(gè)軟級(jí)聯(lián)分類(lèi)器的行人檢測(cè)方法，其特征在于，所述多個(gè)軟級(jí)聯(lián)分類(lèi)器對(duì)檢測(cè)塊的判斷采用了級(jí)聯(lián)方式，即，如果某個(gè)分類(lèi)器給出一個(gè)檢測(cè)塊無(wú)行人的判斷，則不再使用其他分類(lèi)器，從而放棄該塊進(jìn)行下一個(gè)檢測(cè)塊的判斷。
【文檔編號(hào)】G06K9/00GK103886308SQ201410150661
【公開(kāi)日】2014年6月25日 申請(qǐng)日期:2014年4月15日 優(yōu)先權(quán)日:2014年4月15日
【發(fā)明者】鄒北驥, 傅紅普, 王磊, 粱毅雄, 陳再良, 朱承璋, 劉晴, 乃科 申請(qǐng)人:中南大學(xué)