一種多模型多閾值組合的行人檢測(cè)方法
【專利摘要】本發(fā)明公開(kāi)了一種多模型多閾值組合的行人檢測(cè)方法，通過(guò)聯(lián)合兩種不同檢測(cè)手段，選擇不同檢測(cè)模型和檢測(cè)閾值，形成多個(gè)檢測(cè)子模塊，組成并聯(lián)檢測(cè)結(jié)構(gòu)，同時(shí)檢測(cè)1個(gè)圖像，檢測(cè)結(jié)果形成一個(gè)合集，作為候選集；再按可信度的方法去除誤判和合并相同檢測(cè)。實(shí)現(xiàn)了平均檢測(cè)率提高約20％，達(dá)到85％以上，同時(shí)平均誤報(bào)率<10％；相較于單獨(dú)使用DPM或ICF進(jìn)行檢測(cè)，若檢測(cè)率達(dá)到85％，則平均誤報(bào)率>30％的檢測(cè)效率來(lái)說(shuō)，實(shí)現(xiàn)了檢測(cè)效率上的極大的提升。
【專利說(shuō)明】一種多模型多閾值組合的行人檢測(cè)方法

【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及一種多模型多閾值組合的行人檢測(cè)方法。

【背景技術(shù)】
[0002] 目前，對(duì)于靜止圖像，比較好的行人檢測(cè)方法主要有2個(gè)：
[0003] 可變形部件模型（DPM:DeformablePartModel)
[0004] ObjectDetectionwithDiscriminativelyTrainedPartBasedModels， P.Felzenszwalb,R.Girshick, 2010 ；
[0005] CascadeObjectDetectionwithDeformablePartModels,P.Felzenszwalb,R. Girshick, 2010。
[0006] 集成通道特征模型（ICF:IntegralChannelFeatures)
[0007] PedestrianDetection:AnEvaluationoftheStateoftheArt，Piotr Dollar,2012 ；
[0008] TheFastestPedestrianDetectorintheWest,PiotrDollar,2010；
[0009] IntegralChannelFeatures,PiotrDollar, 2009。
[0010] 這些方法，對(duì)于公開(kāi)的典型的行人數(shù)據(jù)庫(kù)，往往能達(dá)到比較好的檢測(cè)效果，這可能 是因?yàn)橛?xùn)練時(shí)使用了這些行人數(shù)據(jù)庫(kù)中的樣本。但是，在實(shí)際圖像中，場(chǎng)景、景深、攝像機(jī)圖 像質(zhì)量、行人著裝、拍攝角度等情況很復(fù)雜，上述的2種方法不能適應(yīng)各種情況。
[0011] 考慮某一種檢測(cè)方法，若調(diào)整閾值，在提高檢測(cè)率的同時(shí)，誤報(bào)率也會(huì)提高；若對(duì) 于各種場(chǎng)景都選擇正樣本，再進(jìn)行訓(xùn)練，則實(shí)際應(yīng)用過(guò)程比較復(fù)雜；同時(shí)，測(cè)試中也發(fā)現(xiàn)，若 盡可能多的包含各種情況的正負(fù)樣本，訓(xùn)練后的檢測(cè)效果不一定能適應(yīng)各種情況，也就是 說(shuō)，仍然對(duì)于一些場(chǎng)景的檢測(cè)效果不理想。


【發(fā)明內(nèi)容】

[0012] 為了解決目前采用單種檢測(cè)方法不能有效準(zhǔn)確的對(duì)圖像中行人進(jìn)行檢測(cè)的技術(shù) 問(wèn)題，本發(fā)明提供一種綜合多種檢測(cè)方法和手段以達(dá)到準(zhǔn)確的行人檢測(cè)的多模型多閾值組 合的行人檢測(cè)方法。
[0013] 為了實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明的技術(shù)方案是，
[0014] 一種多模型多閾值組合的行人檢測(cè)方法，包括以下步驟：
[0015] 步驟一：通過(guò)不同的訓(xùn)練模型和閾值，建立至少一個(gè)可變形部件模型DPM和至少 一個(gè)集成通道特征模型ICF來(lái)作為不同的檢測(cè)子模塊，并根據(jù)檢測(cè)子模塊的訓(xùn)練模型和閾 值來(lái)賦予各檢測(cè)子模塊不同的可信度；
[0016] 步驟二：將靜態(tài)圖像分別輸入至步驟一中建立的檢測(cè)子模塊中，分別得出各檢測(cè) 子模塊輸出的包括檢測(cè)方框的圖像作為初步檢測(cè)結(jié)果；
[0017] 步驟三：將可信度最高的檢測(cè)子模塊所輸出的初步檢測(cè)結(jié)果存入最終檢測(cè)結(jié)果 集；
[0018] 步驟四：按可信度降序依次檢測(cè)余下的除最低可信度外的檢測(cè)子模塊所輸出的 初步檢測(cè)結(jié)果，檢測(cè)方法為將當(dāng)前所檢測(cè)的本級(jí)可信度初步檢測(cè)結(jié)果內(nèi)的檢測(cè)方框與高一 級(jí)可信度的檢測(cè)方框進(jìn)行包含內(nèi)容的對(duì)比，若本級(jí)可信度的檢測(cè)方框與高一級(jí)可信度的檢 測(cè)方框有重疊部分，且兩個(gè)方框的重疊面積占高一級(jí)可信度的檢測(cè)方框的面積的比例超過(guò) 60%，則刪除本級(jí)可信度的檢測(cè)方框，否則保留，直至完成所有初步檢測(cè)結(jié)果的檢測(cè)；
[0019] 步驟五：取完成步驟四后所保留的全部檢測(cè)方框，和最低可信度的檢測(cè)子模塊的 檢測(cè)方框一起組成候選集；在候選集中選擇2個(gè)不同檢測(cè)方框，組成1個(gè)方框組，并在候選 集中遍歷全部方框來(lái)組成方框組，然后判斷每個(gè)方框組中的2個(gè)方框是否為重復(fù)方框，判 斷過(guò)程為：對(duì)于2個(gè)檢測(cè)方框，方框a和方框b，若方框b和方框a的重疊面積與方框b的 面積之比大于60 %，同時(shí)min(方框a面積，方框b面積）/max(方框a面積，方框b面 積）>70%，且方框a為ICF檢測(cè)子模塊輸出的檢測(cè)結(jié)果，則刪除方框a，否則保留方框a;
[0020] 步驟六：取完成步驟五后所保留的全部檢測(cè)方框，作為候選集，進(jìn)行誤判消除處 理；誤判指方框內(nèi)無(wú)行人或者兩個(gè)位置相近的方框包含同一個(gè)人。先檢查每個(gè)方框，判斷是 否為"無(wú)行人"，若是則刪除此方框，再在候選集中選擇2個(gè)不同檢測(cè)方框，組成1個(gè)方框組， 并在候選集中遍歷全部方框來(lái)組成方框組，然后判斷每個(gè)方框組中的2個(gè)方框是否位置接 近，若接近則判斷是否"包含同一個(gè)人"，若是則刪除對(duì)應(yīng)的檢測(cè)計(jì)分較小或者可信度等級(jí) 較低的方框，將保留下的檢測(cè)方框存入最終檢測(cè)結(jié)果集；
[0021] 步驟七：綜合所有最終檢測(cè)結(jié)果集中的檢測(cè)方框，輸出檢測(cè)結(jié)果。
[0022] 所述的的方法，所述的DPM檢測(cè)子模塊包括采用inria作為訓(xùn)練庫(kù)和V〇c2007作 為訓(xùn)練庫(kù)的檢測(cè)子模型，所述的ICF檢測(cè)子模塊包括采用inria、caltech、tud和eth作為 訓(xùn)練庫(kù)的檢測(cè)子模型。
[0023] 所述的的方法，所述的采用inria作為訓(xùn)練庫(kù)的DPM檢測(cè)子模塊的數(shù)量為三個(gè)，分 別為采用高閾值、中閾值和低閾值的檢測(cè)子模型，所述的高閾值對(duì)應(yīng)低檢測(cè)率，所述的低閾 值對(duì)應(yīng)高檢測(cè)率。
[0024] 所述的的方法，所述的高、中、低閾值分別為：0. 8, -0. 3, -0. 9。
[0025] 所述的的方法，所述的ICF檢測(cè)子模塊采用inria、caltech、tud和eth行人數(shù)據(jù) 庫(kù)中高度>75pixels的行人對(duì)象作為正樣本進(jìn)行訓(xùn)練，正樣本的數(shù)量不少于20000個(gè)，負(fù)樣 本采用除行人外的其他圖片進(jìn)行訓(xùn)練，負(fù)樣本的數(shù)量不少于100萬(wàn)個(gè)。
[0026] 所述的方法，所述的ICF檢測(cè)子模塊在圖像處理完成后還進(jìn)行自適應(yīng)閾值檢測(cè)， 所述的自適應(yīng)閾值檢測(cè)過(guò)程包括以下步驟：
[0027] 步驟I:ICF檢測(cè)子模塊處理1張圖像后，得到的每個(gè)檢測(cè)結(jié)果關(guān)聯(lián)1個(gè)檢測(cè)計(jì)分， 選擇檢測(cè)計(jì)分大于預(yù)設(shè)的計(jì)分閾值的檢測(cè)結(jié)果；
[0028] 步驟2 :對(duì)于步驟1的結(jié)果，根據(jù)預(yù)設(shè)的接收比率按檢測(cè)計(jì)分降序保留檢測(cè)結(jié)果；
[0029] 步驟3 :若步驟2的結(jié)果中包含的檢測(cè)結(jié)果數(shù)目超過(guò)上限數(shù)目，則根據(jù)上限數(shù)目按 檢測(cè)計(jì)分降序保留檢測(cè)結(jié)果。
[0030] 所述的方法，自適應(yīng)閾值檢測(cè)中，步驟1中的計(jì)分閾值為15,步驟2中的接收比例 為50%，步驟3中的上限數(shù)目為6.
[0031] 所述的方法，步驟六中所述的誤判消除處理包含以下步驟：
[0032] 先判斷方框內(nèi)是否"無(wú)行人"：以預(yù)設(shè)的canny檢測(cè)閾值和梯度圖閾值計(jì)算方框內(nèi) 圖像的canny邊緣和梯度圖，并計(jì)算出垂直方向的梯度圖，將canny邊緣圖和垂直梯度圖轉(zhuǎn) 換為二值圖像；然后掃描canny邊緣圖和垂直梯度圖的每一行，統(tǒng)計(jì)每一行中屬于邊緣或 梯度的點(diǎn)，即前景點(diǎn)的數(shù)目，為〇表示這一行中沒(méi)有前景點(diǎn)，這樣形成2個(gè)數(shù)組，數(shù)組的元素 的值為每一行中前景點(diǎn)的數(shù)目，元素的數(shù)目為以像素點(diǎn)數(shù)目計(jì)算的方框的高度，分別稱為 邊緣數(shù)組和梯度數(shù)組；再分別統(tǒng)計(jì)2個(gè)數(shù)組中的連續(xù)出現(xiàn)元素值為O的區(qū)間，并求出長(zhǎng)度最 大的區(qū)間，計(jì)算此長(zhǎng)度與總的元素?cái)?shù)目之比，將計(jì)算值稱為邊緣背景比率和梯度背景比率， 若梯度背景比率大于預(yù)設(shè)的梯度背景閾值，或者邊緣背景比率和梯度背景比率同時(shí)大于邊 緣梯度背景閾值，則認(rèn)為方框內(nèi)無(wú)行人；
[0033] 再判斷是否"兩個(gè)位置相近的方框包含同一個(gè)人"：首先計(jì)算左上角的坐標(biāo)之差， 再計(jì)算面積比率，公式為：min(方框1面積，方框2面積）/max(方框1面積，方框2面 積），若坐標(biāo)之差小于預(yù)設(shè)的坐標(biāo)閾值，并且面積比率大于預(yù)設(shè)的面積閾值，則認(rèn)為位置接 近，否則認(rèn)為不是"兩個(gè)位置相近的方框包含同一個(gè)人";將2個(gè)位置接近的方框分都為上 下部分，上部分占總面積的約60%，作為ROI區(qū)域，分別計(jì)算2個(gè)方框的ROI區(qū)域的CEDD特 征，若2個(gè)CEDD特征的特征距離小于CEDD特征閾值，則認(rèn)為2個(gè)方框包含同一個(gè)人。
[0034] 所述的方法，所述的canny檢測(cè)閾值為0. 3?0. 4,所述的梯度圖閾值為0. 2? 〇. 3,所述的梯度背景閾值為50 % -60 %，所述的邊緣梯度背景閾值為40 % -50 %，所述的坐 標(biāo)閾值為4-6,所述的面積閾值為50% -70%，所述的CEDD特征閾值為1-3。
[0035] 本發(fā)明的技術(shù)效果在于，通過(guò)聯(lián)合兩種不同檢測(cè)手段，選擇不同檢測(cè)模型和檢測(cè) 閾值，形成多個(gè)檢測(cè)子模塊，組成并聯(lián)檢測(cè)結(jié)構(gòu)，同時(shí)檢測(cè)1個(gè)圖像，檢測(cè)結(jié)果形成一個(gè)合 集，作為候選集；再按可信度的方法去除誤判和合并相同檢測(cè)。實(shí)現(xiàn)了平均檢測(cè)率提高約 20 %，達(dá)到85 %以上，同時(shí)平均誤報(bào)率〈10 %;相較于單獨(dú)使用DPM或ICF進(jìn)行檢測(cè)，若檢測(cè) 率達(dá)到85%，則平均誤報(bào)率>30%的檢測(cè)效率來(lái)說(shuō)，實(shí)現(xiàn)了檢測(cè)效率上的極大的提升。
[0036] 下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說(shuō)明。

【專利附圖】

【附圖說(shuō)明】
[0037] 圖1為本發(fā)明的檢測(cè)方法原理圖；
[0038] 圖2為本發(fā)明的基于可信度的處理方法的流程示意圖；
[0039] 圖3為本發(fā)明不同可信度檢測(cè)方框重疊示意圖，其中圖a為當(dāng)前可信度檢測(cè)方框 包含上一等級(jí)檢測(cè)方框的全部，圖b為和上一等級(jí)的檢測(cè)方框的大部分相互重疊；
[0040] 圖4為本發(fā)明采用不同檢測(cè)子模塊的檢測(cè)結(jié)果示意圖，其中a是由inria訓(xùn)練的 高閾值DPM檢測(cè)子模塊的檢測(cè)結(jié)果，b是由inria訓(xùn)練的中閾值DPM檢測(cè)子模塊的檢測(cè)結(jié) 果，c是由inria訓(xùn)練的低閾值DPM檢測(cè)子模塊的檢測(cè)結(jié)果，d是由V〇c2007訓(xùn)練的DPM檢 測(cè)子模塊的檢測(cè)結(jié)果，e是ICF檢測(cè)子模塊的檢測(cè)結(jié)果；
[0041] 圖5為本發(fā)明對(duì)單幅圖片的最終檢測(cè)輸出結(jié)果；
[0042] 圖6為本發(fā)明對(duì)不同圖片進(jìn)行行人檢測(cè)所得出的結(jié)果；
[0043] 圖7為DPM檢測(cè)模塊的工作流程；
[0044] 圖8為ICF檢測(cè)模塊的工作流程；
[0045] 圖9為"誤判消除"的原理圖，其中圖9A為誤判方框圖，圖9B為垂直方向梯度圖， 圖9C為canny邊緣圖，圖9D為位置接近的檢測(cè)方框示意圖。

【具體實(shí)施方式】
[0046] 本實(shí)施例中提及的voc2007 來(lái)自：ThePASCALVisualObjectClasses Challenge2007,可參見(jiàn)：
[0047] http://pascallin.ecs.soton.ac.uk/challenges/V0C/voc2007/;
[0048] inria、caltech、tud和eth來(lái)自'RelatedDatasets"of"CaltechPedestrian DetectionBenchmark"；可參見(jiàn)：
[0049] http://www.vision,caltech.edu/Image_Datasets/CaltechPedestrians/
[0050] 在本實(shí)施例中，"DPM檢測(cè)子模塊"的算法原理詳見(jiàn)以下論文：
[0051] ObjectDetectionwithDiscriminativelyTrainedPartBasedModels， P.Felzenszwalb,R.Girshick, 2010 ；
[0052] 算法程序詳見(jiàn)：http://www.cs.berkeley.edu/ ?rbg/latent/ ;本實(shí)施例中的 DPM檢測(cè)子模塊直接來(lái)自以上開(kāi)源程序，未做修改。
[0053] 參見(jiàn)圖7,DPM的分類器采用基本SVM和struct-Latent-SVM相結(jié)合，采用一定大 小的滑動(dòng)窗口，以一定的步長(zhǎng)在圖像上移動(dòng)，然后計(jì)算滑動(dòng)窗口內(nèi)的圖像的特征向量，然后 計(jì)算此特征向量與權(quán)值（權(quán)值為訓(xùn)練的結(jié)果）的點(diǎn)積，得到一個(gè)標(biāo)量值，此標(biāo)量值即為"檢 測(cè)計(jì)分"。對(duì)于一般的單閾值檢測(cè)，閾值確定方法為：對(duì)于測(cè)試集，先確定期望的檢測(cè)率和誤 報(bào)率，再找出滿足檢測(cè)率和誤報(bào)率的score分界值作為閾值。
[0054] 在本實(shí)施例中，ICF檢測(cè)子模塊"的算法原理詳見(jiàn)以下論文：
[0055] TheFastestPedestrianDetectorintheWest,PiotrDollar,2010；
[0056] IntegralChannelFeatures,PiotrDollar, 2009 ;
[0057] 算法程序詳見(jiàn)：http://vision.ucsd.edu/ ?pdollar/toolbox/doc/ ;本實(shí)施例 中的"ICF檢測(cè)子模塊"直接來(lái)自以上開(kāi)源程序，未對(duì)原來(lái)的算法過(guò)程進(jìn)行修改，只是在最后 增加了一個(gè)步驟。修改之處為：在原來(lái)程序得到檢測(cè)結(jié)果之后，增加了通過(guò)自適應(yīng)閾值來(lái)確 定"ICF檢測(cè)子模塊"最終的輸出結(jié)果。
[0058] 參見(jiàn)圖8,ICF與DPM的檢測(cè)過(guò)程類似，也是采用一定大小的滑動(dòng)窗口，以一定 的步長(zhǎng)在圖像上移動(dòng)，然后計(jì)算特征。ICF和DPM的特征計(jì)算和分類器都不同，ICF分 類器為adaboost，ICF的特征為集成通道特征，即為Iuv顏色值、梯度（gradient)和 HOG(Dalal-Triggs)的特征集合。adaboost的輸出為若干弱分類器輸出的加權(quán)和，每個(gè)弱 分類器為1個(gè)決策樹(shù)，每個(gè)決策樹(shù)的輸入為上述的特征集合中的幾個(gè)特征，并根據(jù)IF-THEN 規(guī)則得出分類結(jié)果（即：是行人或者不是行人，表示為+1和-1)。上述的"權(quán)值"、"幾個(gè)特 征"的選擇都由訓(xùn)練確定。上述的弱分類器的加權(quán)和即為檢測(cè)計(jì)分（score)。對(duì)于一般的 單閾值檢測(cè)，閾值確定方法為：對(duì)于測(cè)試集，先確定期望的檢測(cè)率和誤報(bào)率，再找出滿足檢 測(cè)率和誤報(bào)率的score分界值作為閾值。ICF算法中的梯度特征，可以選擇以下之一：梯度 (gradient)、HOG、FH0G，本方法選擇梯度，這樣本方法的特征集合為梯度和Iuv顏色值。從 此可見(jiàn)，本文的DPM檢測(cè)子模塊和ICF檢測(cè)子模塊都未使用HOG(Dalal-Triggs)。
[0059] 關(guān)于檢測(cè)計(jì)分（score)的說(shuō)明：當(dāng)一個(gè)檢測(cè)子模塊處理一個(gè)圖像之后，結(jié)果為多 個(gè)行人檢測(cè)方框，其中每個(gè)檢測(cè)方框?qū)?yīng)1個(gè)檢測(cè)計(jì)分。行人檢測(cè)模塊是一個(gè)二類分類器； 將1張圖像處理之后，會(huì)有很多候選結(jié)果，對(duì)于每個(gè)結(jié)果，依據(jù)一定的特征和規(guī)則，可計(jì)算 得到1個(gè)計(jì)分（或稱為score)。分類過(guò)程可以理解為類似sign函數(shù)的處理過(guò)程，輸入為 計(jì)分，輸出為+1或-1，代表2個(gè)類。對(duì)于計(jì)分，若>0的程度越大，則分類為+1的可能性越 大；反之，若〈0的程度越大，則分類為-1的可能性越大。對(duì)于計(jì)分，若超過(guò)某個(gè)閾值，則認(rèn) 為分類為+1，即接受此檢測(cè)方框。
[0060] 關(guān)于HOG名稱的說(shuō)明：在大部分論文中，HOG指Dalal-Triggsdetector中的計(jì)算 方法（Histogramsoforientedgradientsforhumandetection,Dalai,Triggs, 2005)； 而DPM方法中的特征類似H0G，但是有區(qū)別，稱之為FHOG(F指論文作者P.Felzenszwalb，名 稱fhog來(lái)自http: //vision,ucsd.edu/ ^pdollar/toolbox/doc/中的函數(shù)fhog()) 〇
[0061] 關(guān)于SVM名稱的說(shuō)明，在大部分論文中，SVM指基本SVM，詳見(jiàn)："支持向量機(jī)理論及 工程應(yīng)用實(shí)例，白鵬張斌，西安電子科技大學(xué)出版社";而DPM使用的是struct-latent-SVM， 矛口基ISVM不--樣，詳見(jiàn):http://www.Cs.Cornell,edu/ ?cnyu/latentssvm/和Jl$ 白勺 DPM模型原理相關(guān)論文。
[0062] 參見(jiàn)圖1，本實(shí)施例采用了inria和V〇c2007行人庫(kù)分別進(jìn)行訓(xùn)練，得到2個(gè)訓(xùn)練 模型，原因是：在測(cè)試發(fā)現(xiàn)，將inria和V〇C2007合并訓(xùn)練得到1個(gè)模型，檢測(cè)效果并不是明 顯優(yōu)于inria和V〇C2007形成的2個(gè)模型。測(cè)試中發(fā)現(xiàn)，inria訓(xùn)練模型的檢測(cè)和前景提 取的效果都好于v〇c2007訓(xùn)練模型，但是inria模型主要針對(duì)全身行人，而V〇c2007則包含 了全身和半身的行人，所以有些半身行人只能由VOC2〇〇7模型檢測(cè)得到。
[0063] 圖中，對(duì)于inria模型，選擇3種閾值，高閾值對(duì)應(yīng)低檢測(cè)率，形成3個(gè)檢測(cè)子模 塊，這是因?yàn)橛袝r(shí)低閾值的檢測(cè)結(jié)果不能包含高閾值的檢測(cè)結(jié)果，尤其當(dāng)有大量行人存在 時(shí)。對(duì)于低閾值的檢測(cè)結(jié)果，其數(shù)目大于高閾值的檢測(cè)結(jié)果，經(jīng)過(guò)非最大值（匪S)處理和檢 測(cè)方框合并之后，最終結(jié)果可能不是檢測(cè)計(jì)分最高的檢測(cè)結(jié)果，從而導(dǎo)致對(duì)于同一個(gè)行人 對(duì)象，低閾值的檢測(cè)結(jié)果的方框有時(shí)會(huì)大于高閾值的檢測(cè)結(jié)果，而且位置有時(shí)也不準(zhǔn)確；而 過(guò)大的檢測(cè)方框，將使前景提取的準(zhǔn)確性降低。因此，選擇多個(gè)閾值形成多個(gè)檢測(cè)子模塊； 希望對(duì)于某個(gè)行人，若被不同閾值的檢測(cè)模塊同時(shí)檢測(cè)到，則選擇高閾值檢測(cè)模塊的檢測(cè) 結(jié)果，提高檢測(cè)的準(zhǔn)確性；同時(shí)又利用低閾值檢測(cè)模塊的高檢測(cè)率的特點(diǎn)來(lái)提高總體檢測(cè) 率。
[0064] 對(duì)于檢測(cè)子模塊的可信度，依次標(biāo)記在圖1中，可信度5表示最可信，可信度1表 示誤判的可能性最大。排序的依據(jù)是：實(shí)際測(cè)試中發(fā)現(xiàn)，基于inria模型庫(kù)的DPM的檢測(cè)和 前景提取的準(zhǔn)確率最高，基于v〇c2007模型庫(kù)的DPM檢測(cè)準(zhǔn)確率中等；而ICF的檢測(cè)誤報(bào)率 相對(duì)較高，并且不能直接利用檢測(cè)模型進(jìn)行前景提取，因此可信度最低。
[0065] 按上述的可信度，形成消除誤判和合并算法，這里沒(méi)有使用普通的NMS和檢測(cè)方 框合并處理算法，因?yàn)榻M合方法中的檢測(cè)子模塊的模型和分類器都不同，導(dǎo)致候選集中的 檢測(cè)計(jì)分沒(méi)有可比性，需要依據(jù)可信度來(lái)進(jìn)行處理，算法流程如下：
[0066] 保留可信度5的檢測(cè)結(jié)果，即可信度最高的結(jié)果，直接作為最終檢測(cè)結(jié)果；
[0067] 依次處理候選集中可信度4?2的檢測(cè)方框，這些都是DPM子模塊檢測(cè)的結(jié)果，對(duì) 于某個(gè)可信度的檢測(cè)方框，若其中包含上一等級(jí)可信度的檢測(cè)方框的全部或大部分，則認(rèn) 為此方框?yàn)橹貜?fù)檢測(cè)，予以刪除。如：若當(dāng)前處理候選集中可信度4的檢測(cè)方框，則上一等 級(jí)可信度為可信度5,若某個(gè)可信度4的方框包含了可信度5的方框的全部或大部分，則判 定此可信度4分類方框?yàn)橹貜?fù)檢測(cè)，將被刪除，參見(jiàn)圖3 ;
[0068] 這里對(duì)于可信度I(即ICF檢測(cè)模型）的檢測(cè)方框不做處理；
[0069] 此步驟處理之后，消除了一些誤判和重復(fù)檢測(cè)。
[0070] 然后再進(jìn)一步消除重復(fù)檢測(cè)，判據(jù)為：對(duì)于2個(gè)檢測(cè)方框，方框1和方框2,若方框 1包含了方框2的全部或者大部分，同時(shí)方框1和方框2的面積相差不是很大，并且不是"方 框1對(duì)應(yīng)DPM模型，方框2對(duì)應(yīng)ICF模型"，則刪除方框1;這是考慮若DPM檢測(cè)方框包含ICF 檢測(cè)方框時(shí)，DPM方框的可信度大，不予刪除；同時(shí)仍然保留ICF檢測(cè)方框。
[0071] 由于ICF往往產(chǎn)生較多的誤判，所以采取自適應(yīng)閾值，并限制總的檢測(cè)數(shù)目。
[0072] 上述的自適應(yīng)閾值的過(guò)程為，先選定1個(gè)檢測(cè)計(jì)分閾值和接收比率，對(duì)于某次檢 測(cè)結(jié)果，流程為：
[0073] 1、選擇檢測(cè)計(jì)分大于計(jì)分閾值的檢測(cè)結(jié)果；
[0074] 2、在上述的結(jié)果中按接收比率選擇檢測(cè)計(jì)分最大的檢測(cè)結(jié)果，若比率為0.5,檢測(cè) 結(jié)果為6個(gè)，則選擇檢測(cè)計(jì)分最高的3個(gè)檢測(cè)結(jié)果；
[0075] 3、若上述的結(jié)果的數(shù)目超過(guò)上限數(shù)目，則按上限數(shù)目選擇檢測(cè)計(jì)分最高的檢測(cè)結(jié) 果，如上限數(shù)目為4,則檢測(cè)結(jié)果最多為4個(gè)，這樣主要用于控制誤報(bào)率。
[0076] 在步驟六中采用的誤判消除處理，其中"無(wú)行人"的判斷方法為：考慮到行人輪廓 中包含較明顯的邊緣和垂直方向的梯度，即包含有行人的方框內(nèi)的軀干、腿和頭部都會(huì)產(chǎn) 生垂直梯度和canny邊緣，同時(shí)大部分的人體部件必然會(huì)產(chǎn)生明顯的垂直梯度和邊緣，反 之，若在檢測(cè)方框的較多區(qū)域內(nèi)沒(méi)有垂直梯度或邊緣，則認(rèn)為是誤判；故以一定閾值計(jì)算方 框內(nèi)圖像的canny邊緣和梯度圖，canny邊緣檢測(cè)的閾值指：當(dāng)2個(gè)相鄰像素點(diǎn)之間的像 素值之差大于閾值，則認(rèn)為存在變化，即存在邊緣，閾值越高，則邊緣點(diǎn)越少，閾值越低，則 邊緣點(diǎn)越多；對(duì)于包含行人的方框，總是存在明顯的邊緣，當(dāng)閾值較大時(shí)，仍然存在較多邊 緣，而對(duì)于有些不包含行人的方框，邊緣不明顯，所以當(dāng)閾值較大時(shí)，邊緣會(huì)很少，這樣能體 現(xiàn)出包含和不包含行人的區(qū)別，反之，如果將canny檢測(cè)閾值設(shè)置為較小的值，則對(duì)于包含 和不包含行人的情況，都會(huì)有很多邊緣，無(wú)法體現(xiàn)區(qū)別，canny檢測(cè)閾值的確定方法為：對(duì) 于訓(xùn)練和測(cè)試樣本，人工找出一些邊緣特征不明顯的誤判，再找出全部正確的檢測(cè)，選擇閾 值，使得對(duì)于正確檢測(cè)盡可能多的保留邊緣，同時(shí)使誤判盡可能少的保留邊緣，梯度圖的閾 值的確定和canny邊緣類似；然后根據(jù)梯度圖計(jì)算出垂直方向的梯度圖，即僅保留垂直方 向的梯度，再將canny邊緣圖和垂直梯度圖轉(zhuǎn)換為二值圖像，從圖9中可以看出垂直梯度和 邊緣的區(qū)別；然后掃描canny邊緣圖和垂直梯度圖的每一行，統(tǒng)計(jì)每一行中屬于邊緣或梯 度的點(diǎn)（即前景點(diǎn)）的數(shù)目，為〇表示這一行中沒(méi)有前景點(diǎn)，這樣形成2個(gè)數(shù)組，數(shù)組的元 素為每一行中前景點(diǎn)的數(shù)目，元素的數(shù)目為以像素點(diǎn)數(shù)目計(jì)算的方框的高度，分別稱為邊 緣數(shù)組和梯度數(shù)組；再分別統(tǒng)計(jì)2個(gè)數(shù)組中的連續(xù)出現(xiàn)元素值為0的區(qū)間，并求出長(zhǎng)度最大 的區(qū)間，計(jì)算此長(zhǎng)度與總的元素?cái)?shù)目之比，將計(jì)算值稱為邊緣背景比率和梯度背景比率，如 數(shù)組為[12, 3, 0, 0, 2, 0]，則連續(xù)為0的區(qū)間有2個(gè)，長(zhǎng)度分別為2和1，數(shù)組元素?cái)?shù)目為6， 則背景比率為2/6,在圖9中也標(biāo)注了連續(xù)背景區(qū)間；然后形成2個(gè)判斷規(guī)則：（1)若梯度背 景比率大于某個(gè)較大閾值，如：60%，表示在較長(zhǎng)一段區(qū)間內(nèi)沒(méi)有垂直方向的梯度（有可能 存在水平方向的梯度，即存在canny邊緣），這樣可以說(shuō)明檢測(cè)方框內(nèi)實(shí)際上沒(méi)有行人，此 規(guī)則未考慮canny邊緣，所以需要較大的閾值；（2)邊緣背景比率和梯度背景比率同時(shí)大于 某個(gè)較小閾值，如40%，表示在較長(zhǎng)的一段區(qū)間內(nèi)沒(méi)有垂直梯度和邊緣，則認(rèn)為方框內(nèi)無(wú)行 人。
[0077] 關(guān)于"兩個(gè)位置相近的方框包含同一個(gè)人"，若完全由方框重疊方法判斷，則 重疊比率和坐標(biāo)差值的閾值的選擇比較困難，所以采用基于顏色特征的方法作為方 框重疊判斷方法的補(bǔ)充，方法為：計(jì)算左上角的坐標(biāo)之差，若定義方框1左上角坐標(biāo) 為（xll，yll)，方框2的左上角的坐標(biāo)為（x21，y21)，坐標(biāo)以像素點(diǎn)計(jì)算，計(jì)算公式為： min((xll-x21), (yll-y21));再計(jì)算面積比率，公式為：min(方框1面積，方框2面積）/ max(方框1面積，方框2面積），若坐標(biāo)之差小于某閾值，如5,并且面積比率大于某閾值， 如60%，則2個(gè)方框的左上角相接近而且面積相差不大，即認(rèn)為位置接近，否則認(rèn)為不是 "兩個(gè)位置相近的方框包含同一個(gè)人";然后將2個(gè)位置接近的方框分都為上下部分，上部分 占總面積的60%，作為ROI(RegionOfInterest)區(qū)域，此ROI區(qū)域?yàn)榫匦?，可?jiàn)圖9中的 藍(lán)色斜線和綠色斜線區(qū)域，分別計(jì)算2個(gè)方框的ROI區(qū)域的CEDD特征，再計(jì)算2個(gè)特征之 間的特征距離，計(jì)算利用了Tanimoto公式，特征距離=M-M*Tij，這里M為特征距離的最大 值，取為100

【權(quán)利要求】
1. 一種多模型多閾值組合的行人檢測(cè)方法，其特征在于，包括以下步驟： 步驟一：通過(guò)不同的訓(xùn)練模型和閾值，建立至少一個(gè)可變形部件模型DPM和至少一個(gè) 集成通道特征模型ICF來(lái)作為不同的檢測(cè)子模塊，并根據(jù)檢測(cè)子模塊的訓(xùn)練模型和閾值來(lái) 賦予各檢測(cè)子模塊不同的可信度； 步驟二：將靜態(tài)圖像分別輸入至步驟一中建立的檢測(cè)子模塊中，分別得出各檢測(cè)子模 塊輸出的包括檢測(cè)方框的圖像作為初步檢測(cè)結(jié)果； 步驟三：將可信度最高的檢測(cè)子模塊所輸出的初步檢測(cè)結(jié)果存入最終檢測(cè)結(jié)果集； 步驟四：按可信度降序依次檢測(cè)余下的除最低可信度外的檢測(cè)子模塊所輸出的初步檢 測(cè)結(jié)果，檢測(cè)方法為將當(dāng)前所檢測(cè)的本級(jí)可信度初步檢測(cè)結(jié)果內(nèi)的檢測(cè)方框與高一級(jí)可信 度的檢測(cè)方框進(jìn)行包含內(nèi)容的對(duì)比，若本級(jí)可信度的檢測(cè)方框與高一級(jí)可信度的檢測(cè)方框 有重疊部分，且兩個(gè)方框的重疊面積占高一級(jí)可信度的檢測(cè)方框的面積的比例超過(guò)60%， 則刪除本級(jí)可信度的檢測(cè)方框，否則保留，直至完成所有初步檢測(cè)結(jié)果的檢測(cè)； 步驟五：取完成步驟四后所保留的全部檢測(cè)方框，和最低可信度的檢測(cè)子模塊的檢測(cè) 方框一起組成候選集；在候選集中選擇2個(gè)不同檢測(cè)方框，組成1個(gè)方框組，并在候選集中 遍歷全部方框來(lái)組成方框組，然后判斷每個(gè)方框組中的2個(gè)方框是否為重復(fù)方框，判斷過(guò) 程為：對(duì)于2個(gè)檢測(cè)方框，方框a和方框b，若方框b和方框a的重疊面積與方框b的面積之 比大于60 %，同時(shí)min (方框a面積，方框b面積）/max (方框a面積，方框b面積）>70 %， 且方框a為ICF檢測(cè)子模塊輸出的檢測(cè)結(jié)果，則刪除方框a，否則保留方框a ; 步驟六：取完成步驟五后所保留的全部檢測(cè)方框，作為候選集，進(jìn)行誤判消除處理；誤 判指方框內(nèi)無(wú)行人或者兩個(gè)位置相近的方框包含同一個(gè)人。先檢查每個(gè)方框，判斷是否為 "無(wú)行人"，若是則刪除此方框，再在候選集中選擇2個(gè)不同檢測(cè)方框，組成1個(gè)方框組，并在 候選集中遍歷全部方框來(lái)組成方框組，然后判斷每個(gè)方框組中的2個(gè)方框是否位置接近， 若接近則判斷是否"包含同一個(gè)人"，若是則刪除對(duì)應(yīng)的檢測(cè)計(jì)分較小或者可信度等級(jí)較低 的方框，將保留下的檢測(cè)方框存入最終檢測(cè)結(jié)果集； 步驟七：綜合所有最終檢測(cè)結(jié)果集中的檢測(cè)方框，輸出檢測(cè)結(jié)果。
2. 根據(jù)權(quán)利要求1所述的的方法，其特征在于，所述的DPM檢測(cè)子模塊包括采用inria 作為訓(xùn)練庫(kù)和v〇C2007作為訓(xùn)練庫(kù)的檢測(cè)子模型，所述的ICF檢測(cè)子模塊包括采用inria、 caltech、tud和eth作為訓(xùn)練庫(kù)的檢測(cè)子模型。
3. 根據(jù)權(quán)利要求2所述的的方法，其特征在于，所述的采用inria作為訓(xùn)練庫(kù)的DPM檢 測(cè)子模塊的數(shù)量為三個(gè)，分別為采用高閾值、中閾值和低閾值的檢測(cè)子模型，所述的高閾值 對(duì)應(yīng)低檢測(cè)率，所述的低閾值對(duì)應(yīng)高檢測(cè)率。
4. 根據(jù)權(quán)利要求3所述的的方法，其特征在于，所述的高、中、低閾值分別為： 0? 8, _0. 3, _0. 9。
5. 根據(jù)權(quán)利要求2所述的的方法，其特征在于，所述的ICF檢測(cè)子模塊采用inria、 caltech、tud和eth行人數(shù)據(jù)庫(kù)中高度>75pixels的行人對(duì)象作為正樣本進(jìn)行訓(xùn)練，正樣 本的數(shù)量不少于20000個(gè)，負(fù)樣本采用除行人外的其他圖片進(jìn)行訓(xùn)練，負(fù)樣本的數(shù)量不少 于100萬(wàn)個(gè)。
6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的ICF檢測(cè)子模塊在圖像處理完成后 還進(jìn)行自適應(yīng)閾值檢測(cè)，所述的自適應(yīng)閾值檢測(cè)過(guò)程包括以下步驟： 步驟1 :ICF檢測(cè)子模塊處理1張圖像后，得到的每個(gè)檢測(cè)結(jié)果關(guān)聯(lián)1個(gè)檢測(cè)計(jì)分，選擇 檢測(cè)計(jì)分大于預(yù)設(shè)的計(jì)分閾值的檢測(cè)結(jié)果； 步驟2 :對(duì)于步驟1的結(jié)果，根據(jù)預(yù)設(shè)的接收比率按檢測(cè)計(jì)分降序保留檢測(cè)結(jié)果； 步驟3 :若步驟2的結(jié)果中包含的檢測(cè)結(jié)果數(shù)目超過(guò)上限數(shù)目，則根據(jù)上限數(shù)目按檢測(cè) 計(jì)分降序保留檢測(cè)結(jié)果。
7. 根據(jù)權(quán)利要求6所述的方法，其特征在于，自適應(yīng)閾值檢測(cè)中，步驟1中的計(jì)分閾值 為15,步驟2中的接收比例為50%，步驟3中的上限數(shù)目為6.
8. 根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟六中所述的誤判消除處理包含以下 步驟： 先判斷方框內(nèi)是否"無(wú)行人"：以預(yù)設(shè)的canny檢測(cè)閾值和梯度圖閾值計(jì)算方框內(nèi)圖像 的canny邊緣和梯度圖，并計(jì)算出垂直方向的梯度圖，將canny邊緣圖和垂直梯度圖轉(zhuǎn)換為 二值圖像；然后掃描canny邊緣圖和垂直梯度圖的每一行，統(tǒng)計(jì)每一行中屬于邊緣或梯度 的點(diǎn)，即前景點(diǎn)的數(shù)目，為〇表示這一行中沒(méi)有前景點(diǎn)，這樣形成2個(gè)數(shù)組，數(shù)組的元素的值 為每一行中前景點(diǎn)的數(shù)目，元素的數(shù)目為以像素點(diǎn)數(shù)目計(jì)算的方框的高度，分別稱為邊緣 數(shù)組和梯度數(shù)組；再分別統(tǒng)計(jì)2個(gè)數(shù)組中的連續(xù)出現(xiàn)元素值為0的區(qū)間，并求出長(zhǎng)度最大的 區(qū)間，計(jì)算此長(zhǎng)度與總的元素?cái)?shù)目之比，將計(jì)算值稱為邊緣背景比率和梯度背景比率，若梯 度背景比率大于預(yù)設(shè)的梯度背景閾值，或者邊緣背景比率和梯度背景比率同時(shí)大于邊緣梯 度背景閾值，則認(rèn)為方框內(nèi)無(wú)行人； 再判斷是否"兩個(gè)位置相近的方框包含同一個(gè)人"：首先計(jì)算左上角的坐標(biāo)之差，再計(jì) 算面積比率，公式為：min (方框1面積，方框2面積）/max (方框1面積，方框2面積），若 坐標(biāo)之差小于預(yù)設(shè)的坐標(biāo)閾值，并且面積比率大于預(yù)設(shè)的面積閾值，則認(rèn)為位置接近，否則 認(rèn)為不是"兩個(gè)位置相近的方框包含同一個(gè)人";將2個(gè)位置接近的方框分都為上下部分， 上部分占總面積的約60%，作為ROI區(qū)域，分別計(jì)算2個(gè)方框的ROI區(qū)域的CEDD特征，若2 個(gè)CEDD特征的特征距離小于CEDD特征閾值，則認(rèn)為2個(gè)方框包含同一個(gè)人。
9. 根據(jù)權(quán)利要求8所述的方法，其特征在于，所述的canny檢測(cè)閾值為0. 3?0. 4,所 述的梯度圖閾值為〇. 2?0. 3,所述的梯度背景閾值為50% -60%，所述的邊緣梯度背景閾 值為40% -50%，所述的坐標(biāo)閾值為4-6,所述的面積閾值為50% -70%，所述的CEDD特征 閾值為1-3。
【文檔編號(hào)】G06K9/66GK104484680SQ201410503998
【公開(kāi)日】2015年4月1日 申請(qǐng)日期:2014年9月26日 優(yōu)先權(quán)日:2014年9月26日
【發(fā)明者】徐曉暉 申請(qǐng)人:徐曉暉