專利名稱：訓(xùn)練裝置、訓(xùn)練方法及檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及物體檢測技術(shù)，尤其涉及在靜態(tài)圖像或視頻圖像中 確定是否存在物體并給出物體在圖像或視頻中的位置的訓(xùn)練裝置、 訓(xùn)練方法及4企測方法。
背景技術(shù)：
在圖像和視頻中進(jìn)行物體檢測的技術(shù)使用各種特征訓(xùn)練分類 器，試圖在圖像和視頻中找到大小和外觀各異的物體的位置和尺
寸。以汽車為例，汽車4企測4支術(shù)是物體4企測領(lǐng)域的一個(gè)分支，許多
術(shù)所面臨的問題是多種多樣的，例如汽車包括各種不同的種類(轎 車、卡車、巴士等)，而車與車之間又存在外MJi的細(xì)樣i差別；遮 擋也是一個(gè)十分普遍的問題，遮擋可能在各種情況下發(fā)生，被遮擋 的可能是汽車的任意部分；以及光影的變化可能使得同一輛車呈現(xiàn) 不確定的外觀，而視角的變化所引起的成像差異則使得檢測空間變 得更加龐大。
在圖像和視頻中檢測汽車的技術(shù)主要包括所使用的特征、分類 器的設(shè)計(jì)和檢測器的設(shè)計(jì)三個(gè)部分。
目前在物體才企測:技術(shù)中已經(jīng)出現(xiàn)多種多才羊的特征，例如角點(diǎn) (Corner)、邊緣、圖像塊(Patch)、特征點(diǎn)描述子、小波或類小波 (Haar國like)、沖弟度方4立直方圖(Histogram of Oriented Gradient,HOG)等。Patch和特4正點(diǎn)描述子是4交為底層的特征，它們對所牙全 測物體的描述比較直接，當(dāng)物體的類內(nèi)差異較大時(shí)其魯棒性較差； Haar-like特征和HOG等則是相對抽象一些的特征，其計(jì)算可以在 多個(gè)尺度上進(jìn)行，從而對物體的類內(nèi)差異有更好的適應(yīng)性。目前， 大多數(shù)特征在使用時(shí)都有十分固定的位置參數(shù)，即隱含特征在圖像 中的位置信息，但同時(shí)也使得特征對視角的變化更為敏感。另夕卜， 大多數(shù)特征都是在圖像樣本的某個(gè)局部區(qū)域上進(jìn)行計(jì)算，而沒有考 慮多個(gè)同類特征之間進(jìn)行融合的情況，不同種類特征的同時(shí)使用也 鮮有討論。
分類器的"i殳計(jì)大致可以分為以下幾種方式將所4企測的目標(biāo)作 為一個(gè)整體看待，將所用到的特征進(jìn)行組合，然后使用單一分類器 (例如，支持向量機(jī)、樸素貝葉斯分類器等)進(jìn)行分類；將物體看 作由多個(gè)"部分，，構(gòu)成，分類器的設(shè)計(jì)為兩級(jí)，第一級(jí)的多個(gè)局部分 類器分別用于4全測物體的各個(gè)"部分"，所有第一級(jí)分類器的輸出作 為第二級(jí)分類器的輸入來判斷是否有整體的存在；以及仍然將物體 看作整體，但分類器作多級(jí)(兩級(jí)以上)設(shè)計(jì)，每級(jí)分類器(一般 使用Adaboost方法)均負(fù)責(zé)一部分負(fù)樣本的剔除，能夠通過所有級(jí) 分類器的樣本才能被歸為正樣本，這就是著名的級(jí)聯(lián)(Cascade )結(jié) 構(gòu)。
然而，上述三種方式都存在在一定的缺點(diǎn)。對于第一種方式來 說，由于將目標(biāo)作為一個(gè)整體來看待，所以在進(jìn)行測試時(shí)處理速度 相只于比4交'f曼。第二種方式與其<也兩種相比》寸遮擋有更好的適應(yīng)性， ^旦多個(gè)局部分類器的4吏用產(chǎn)生了更多的虛々l響應(yīng)，/人而帶來了新的 問題。第三種方式的逐級(jí)淘汰才莫式大大縮4豆了沖企測時(shí)間，因:t匕^尋到 了更多的應(yīng)用，4旦其計(jì)算比專交復(fù)雜。分類器的"i殳計(jì)完成后，就可以 搜集正負(fù)樣本進(jìn)行分類器的訓(xùn)練，從而確定分類器的參數(shù)。檢測器的主體部分是如何使用訓(xùn)練好的分類器，在使用分類器 時(shí)一般有兩種方式。第一種是逐步縮小圖像的尺寸，每改變一次圖 像的尺寸，都使用固定尺寸的窗口按照一定的順序遍歷圖像，將每
次所得窗口內(nèi)的圖像部分輸入分類器進(jìn)行分類；第二種是不改變圖 像的尺寸，而逐步擴(kuò)大窗口的尺寸，使用不同尺寸的窗口遍歷圖像。 第一種方式是盡量保持檢測過程與訓(xùn)練過程中的條件相當(dāng)，因此可 能保證分類器的性能得到最大發(fā)揮，第二種方式可能會(huì)降低分類器 的性能，但可以大大加快檢測的速度。分類器會(huì)對圖像中某個(gè)特定 的才莫式產(chǎn)生多重響應(yīng)，如^f可合并和去除這些響應(yīng)^皮稱為后處理問 題。在分類器的訓(xùn)練和檢測中，為了加速過程的進(jìn)行，積分圖像技 術(shù)被大量使用。檢測器的最終性能取決于訓(xùn)練樣本的挑選、所使用 的特4正、分類器的i殳計(jì)和訓(xùn)練、4企測窗口的產(chǎn)生方式和遍歷方式以 及后處理等多重因素。
衡量檢測性能的指標(biāo)包括檢測率(所有正樣本中被正確4全測出 的數(shù)量)、誤檢率(被誤當(dāng)作正樣本檢測出的負(fù)樣本占檢測總窗口 的比率)、檢測精度(所有實(shí)際檢測出的樣本中，正樣本所占的比 例)等。檢測率和檢測精度越高，誤檢率越低，檢測性能越好。為 了對檢測性能進(jìn)行比較完整的衡量，通常會(huì)進(jìn)行多次實(shí)驗(yàn)并產(chǎn)生系 統(tǒng)的運(yùn)行特性曲線或檢測精度對比曲線，根據(jù)曲線的形狀進(jìn)行更準(zhǔn) 石角的比車交。
盡管已經(jīng)存在各種各樣在圖形中檢測汽車的方法，但其檢測性 能仍然存在很大的提升空間。更好的方法可以通過變更特征或變更 特征的^f吏用方式、改進(jìn)分類器的結(jié)構(gòu)、減少訓(xùn)練時(shí)間和才企測時(shí)間等 多種途徑獲得。
Haar-like特征和HOG特征是兩種得到廣泛關(guān)注的特征，它們 都在Cascade分類器結(jié)構(gòu)下得到應(yīng)用，同時(shí)獲得了不4晉的性能和枱r 測速度。
10Haar-like特征的優(yōu)勢是可以方便的構(gòu)建積分圖像，計(jì)算簡單快 速，能夠快速的進(jìn)行訓(xùn)練；^^測時(shí)采用逐級(jí)擴(kuò)大才企測窗口而不是縮 小圖像的方式獲得了更快的速度，但是這種逐級(jí)擴(kuò)大檢測窗口的方 式會(huì)略微降低檢測率。另一方面，Haar-like特征是一種較弱的特征， 在Cascade分類器的訓(xùn)練中為了降低誤檢率而使用了很多級(jí)分類 器，但這也同時(shí)降低了分類器的檢測率。
與Haar-like特征相比，HOG特征是一種較強(qiáng)的特征，其計(jì)算 也更復(fù)雜，因此訓(xùn)練使用HOG特征的Cascade分類器所需要的時(shí) 間比訓(xùn)練具有相似性能的使用Haar-like特征的Cascade的時(shí)間多的多。
綜上所述，需要能夠獲得更少的訓(xùn)練時(shí)間成本和更好的檢測性 能的訓(xùn)練裝置、訓(xùn)練方法禾口;險(xiǎn)測方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決現(xiàn)有技術(shù)中所存在的問題。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種訓(xùn)練裝置，用于通過訓(xùn)練 獲得用于區(qū)分物體和背景的分類器，該訓(xùn)練裝置包括樣本采集單 元，用于采集預(yù)定數(shù)目的物體圖像集和背景圖像集；特征提取單元， 用于提取由樣本采集單元采集的物體圖像集和背景圖像集的特征； 以及訓(xùn)練單元，用于使用由特征提取單元提取的特征進(jìn)行訓(xùn)練，以 獲得分類器，其中，特征包括類小波特征和梯度方位直方圖特征。
在上述訓(xùn)練裝置中，分類器采用由多個(gè)級(jí)分類器串聯(lián)而成的級(jí) 聯(lián)結(jié)構(gòu)，每一個(gè)級(jí)分類器均包括第一子級(jí)分類器，使用類小波特 征；以及第二子級(jí)分類器，使用梯度方位直方圖特征，其中，第一 子級(jí)分類器和第二子級(jí)分類器串聯(lián)連接。優(yōu)選地，第 一子級(jí)分類器的訓(xùn)練在所述第二子級(jí)分類器的訓(xùn)練 之前，并且將第二子級(jí)分類器的期望檢測率在訓(xùn)練之前被預(yù)先設(shè)為
100%。
在訓(xùn)練第n個(gè)級(jí)分類器時(shí)，訓(xùn)練第n個(gè)級(jí)分類器中的第一子級(jí)
分類器所需的正樣本集和負(fù)樣本集通過樣本搜索分類器在物體圖 像集和背景圖像集中搜索而得到，其中，樣本搜索分類器由前n-1
個(gè)級(jí)分類器中的第一子級(jí)分類器所組成；以及訓(xùn)練第n個(gè)級(jí)分類器 中的第二子級(jí)分類器的負(fù)樣本集與第n個(gè)級(jí)分類器中的第一子級(jí)分
類器所使用的負(fù)樣本集相同，而第n個(gè)級(jí)分類器中的第二子級(jí)分類 器的正樣本集為樣本搜索分類器在物體圖像集中搜索得到的正樣 本集被訓(xùn)練得到的第n個(gè)級(jí)分類器中的第 一子級(jí)分類器重新篩選后 的正樣本集。
樣本搜索分類器對物體圖像集中的圖像進(jìn)行分類，所有被分類 為正樣本的圖像組成訓(xùn)練第n個(gè)級(jí)分類器中的第 一子級(jí)分類器所需 的正樣本集。
使用固定尺寸的窗口對背景圖像集中的背景圖像進(jìn)行遍歷，然 后使用樣本搜索分類器對每個(gè)窗口圖像進(jìn)行分類，如果分類結(jié)果為 正，則當(dāng)前窗口圖像成為負(fù)樣本圖像，遍歷結(jié)束后按比例縮小背景 圖像的尺寸，然后重復(fù)上述過程直至收集到預(yù)定數(shù)目的負(fù)樣本圖像 組成訓(xùn)練第n個(gè)級(jí)分類器中的第 一子級(jí)分類器所需的負(fù)樣本集。
此外，訓(xùn)練裝置還包括訓(xùn)練退出確定單元，用于當(dāng)4企測分類器 的性能達(dá)到期望性能或者訓(xùn)練達(dá)到預(yù)定的訓(xùn)練級(jí)H時(shí)，則確定退出 訓(xùn)練。
12類小波特征包括相鄰結(jié)構(gòu)的特征集和分離結(jié)構(gòu)的特征集，其 中，相鄰結(jié)構(gòu)的特征集定義圖像中特定連通區(qū)域內(nèi)部的灰度關(guān)系， 而分離結(jié)構(gòu)的特征集定義圖像中兩個(gè)不相鄰區(qū)域的灰度關(guān)系。
優(yōu)選地，所述物體圖像集中的所有圖像的尺寸相同，而所述背 景圖像集中的圖像尺寸是任意的。
可以-使用4壬意一種Boosting方法對第一子級(jí)分類器和第二子 級(jí)分類器進(jìn)4亍訓(xùn)練，例3口， Real-Adaboost、 Gentle-Adaboost等。
才艮據(jù)本發(fā)明的另一方面，4是供了一種訓(xùn)練方法，用于通過訓(xùn)練 獲得用于區(qū)分物體和背景的分類器，該訓(xùn)練方法包括以下步驟樣 本采集步驟，采集預(yù)定數(shù)目的物體圖像集和背景圖像集；特征提取 步驟，提取在樣本采集步驟中采集的物體圖像集和背景圖像集的特 征；以及訓(xùn)練步驟，使用在特征提取步驟中提取的特征進(jìn)行訓(xùn)練， 以獲得分類器，其中，特征包括類小波特征和梯度方位直方圖特征。
在上述訓(xùn)練方法中，分類器采用由多個(gè)級(jí)分類器串聯(lián)而成的級(jí) 聯(lián)結(jié)構(gòu)，每一個(gè)級(jí)分類器均包括第一子級(jí)分類器，使用類小波特 征；以及第二子級(jí)分類器，使用梯度方位直方圖特征，其中，第一 子級(jí)分類器和第二子級(jí)分類器串聯(lián)連接。
優(yōu)選地，第 一子級(jí)分類器的訓(xùn)練在第二子級(jí)分類器的訓(xùn)練之 前，并且將第二子級(jí)分類器的期望檢測率在訓(xùn)練之前被預(yù)先設(shè)為 100%。
在訓(xùn)練第n個(gè)級(jí)分類器時(shí)，訓(xùn)練第n個(gè)級(jí)分類器中的第一子級(jí)
分類器所需的正樣本集和負(fù)樣本集通過樣本搜索分類器在物體圖 像集和背景圖像集中搜索而得到，其中，樣本搜索分類器由前n-l
個(gè)級(jí)分類器中的第一子級(jí)分類器所組成；以及訓(xùn)練第n個(gè)級(jí)分類器中的第二子級(jí)分類器的負(fù)樣本集與第n個(gè)級(jí)分類器中的第一子級(jí)分
類器所使用的負(fù)樣本集相同，而第n個(gè)級(jí)分類器中的第二子級(jí)分類 器的正樣本集為樣本搜索分類器在物體圖像集中搜索得到的正樣 本集被訓(xùn)練得到的第n個(gè)級(jí)分類器中的第 一子級(jí)分類器重新篩選后 的正樣本集。
樣本搜索分類器對物體圖像集中的所有圖像進(jìn)行分類，所有被 分類為正樣本的圖像組成訓(xùn)練第n個(gè)級(jí)分類器中的第 一子級(jí)分類器 所需的正樣本集。
使用固定尺寸的窗口對背景圖像集中的背景圖像進(jìn)行遍歷，然 后使用樣本搜索分類器對每個(gè)窗口圖像進(jìn)行分類，如果分類結(jié)果為 正，則當(dāng)前窗口圖像成為負(fù)樣本圖像，遍歷結(jié)束后按比例縮小背景 圖像的尺寸，然后重復(fù)上述過程直至收集到預(yù)定數(shù)目的負(fù)樣本圖像 組成訓(xùn)練第n個(gè)級(jí)分類器中的第 一子級(jí)分類器所需的負(fù)樣本集。
此外，訓(xùn)練方法還包括訓(xùn)練退出確定步驟，其中，當(dāng)分類器的 性能達(dá)到期望性能或者訓(xùn)練達(dá)到預(yù)定的訓(xùn)練級(jí)數(shù)時(shí)，則確定退出訓(xùn) 練。
類小波特征包括相鄰結(jié)構(gòu)的特征集和分離結(jié)構(gòu)的特征集，其 中，相鄰結(jié)構(gòu)的特征集定義圖像中特定連通區(qū)域內(nèi)部的灰度關(guān)系， 而分離結(jié)構(gòu)的特征集定義圖像中兩個(gè)不相鄰區(qū)域的灰度關(guān)系。
優(yōu)選地，物體圖像集中的所有圖像的尺寸相同，而背景圖像集 中的圖像尺寸是任意的。
可以-使用4壬意一種Boosting方法對第一子級(jí)分類器和第二子 級(jí)分類器進(jìn)4亍訓(xùn)練，侈'B。， Real-Adaboost、 Gentle匿Adaboost等。才艮據(jù)本發(fā)明的再一方面，提供了一種檢測方法，用于在圖像或
一見頻中進(jìn)^f于物體^r測，利用上述訓(xùn)練裝置或上述訓(xùn)練方法所獲得的 分類器來沖企測在輸入的圖4象或是S見頻中是否存在物體，并給出物體 的存在位置。
此夕卜，才全測方法還包4舌以下步驟窗口遍歷步艱《，通過預(yù)定的 窗口遍歷才莫式對輸入的圖像或^見頻進(jìn)行遍歷；以及后處理步驟，用 于對在窗口遍歷步驟中得到的窗口進(jìn)行后處理，從而得到最終的檢 測結(jié)果。
優(yōu)選地，窗口遍歷才莫式為選4奪固定尺寸的窗口遍歷輸入的圖 像或視頻，遍歷結(jié)束后按一定比例縮小或放大圖像或視頻的尺寸， 然后再使用固定尺寸的窗口重新遍歷圖像或視頻，其中，使用分類 器對每個(gè)窗口圖像進(jìn)行分類，如果分類結(jié)果為正，則記錄當(dāng)前窗口 的尺寸和位置，并按照縮放所述圖像或視頻的比例將當(dāng)前窗口的尺 寸和位置映射回到原來的圖像或視頻的坐標(biāo)空間，得到物體在圖像 或牙見頻中的尺寸和位置。
可選地，窗口遍歷才莫式為使用窗口遍歷圖像或視頻，然后保 持圖像或視頻的尺寸不變，按一定比例縮'J、或放大窗口的尺寸來重 新遍歷圖像或視頻，其中，使用所述分類器對每個(gè)窗口圖像進(jìn)行分 類，如果分類結(jié)果為正，直接記錄當(dāng)前窗口的尺寸和位置。
另外，后處理步驟還包括窗口合并步驟，將在窗口遍歷步驟 中得到的窗口按照相鄰原則進(jìn)行合并；以及閾值過濾步驟，設(shè)定一 個(gè)閾值，將在窗口合并步驟中相鄰窗口的數(shù)目小于闊值的合并結(jié)果 舍棄，從而得到最終的4全測結(jié)果。
在本發(fā)明中，分類器采用了特定的級(jí)聯(lián)結(jié)構(gòu)，將Haar-like特征 與HOG特征結(jié)合在一起使用，利用Haar-like特征快速地搜索負(fù)樣
15本，而更為強(qiáng)大的HOG特征的加入又大大提高了所得分類器的性能。
此外，由于HOG子級(jí)分類器不參與負(fù)樣本集的挑選，因此， 大大節(jié)省了計(jì)算成本。
本發(fā)明的其它特4正和優(yōu)點(diǎn)將在隨后的i兌明書中闡述，并且，部 分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā) 明的目的和其他優(yōu)點(diǎn)可通過在所寫的說明書、權(quán)利要求書、以及附 圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。


附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部 分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的 限制。在附圖中
圖1是示出^4居本發(fā)明的訓(xùn)練裝置的框圖2是示出根據(jù)本發(fā)明實(shí)施例的Haar-like特征的示意圖3是示出根據(jù)本發(fā)明實(shí)施例HOG特征的示意圖4是示出根據(jù)本發(fā)明實(shí)施例的Cascade分類器的結(jié)構(gòu)框圖5是示出根據(jù)本發(fā)明的訓(xùn)練方法的流程圖6是示出才艮據(jù)本發(fā)明實(shí)施例的Cascade分類器的訓(xùn)練過禾呈的 示意圖；圖7是示出在根據(jù)本發(fā)明實(shí)施例的Cascade分類器中的各個(gè)子 級(jí)分類器的訓(xùn)練過程的流程圖8是示出根據(jù)本發(fā)明實(shí)施例的完整系統(tǒng)的框架；
圖9是示出根據(jù)本發(fā)明實(shí)施例的檢測方法的流程器性能的提高的示意圖；以及
圖11是示出本發(fā)明實(shí)施例的Cascade分類器與單獨(dú)-使用 Haar-like特征的Cascade分類器的性能對比的示意圖。
具體實(shí)施例方式
以下結(jié)合附圖對本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此 處所描述的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本 發(fā)明。
注意，在本發(fā)明的實(shí)施例中，以汽車沖企測為例，^f旦本發(fā)明不限 于汽車4企測，也可以用于其他物體的4全測，例如人臉、人體等等。
圖1是示出根據(jù)本發(fā)明的訓(xùn)練模塊的框圖。
才艮據(jù)本發(fā)明的訓(xùn)練裝置包括樣本采集單元102,用于采集預(yù) 定數(shù)目的物體圖像集和背景圖像集；特征提取單元104，用于提取 由樣本采集單元102采集的物體圖像集和背景圖像集的特征；以及 訓(xùn)練單元106,用于使用由特征提取單元104提取的特征進(jìn)行訓(xùn)練， 以獲得分類器。其中，特征包括類小波特征和梯度方位直方圖特征。接下來，結(jié)合圖2和圖3描述Haar-like特征和HOG特征。圖 2是示出根據(jù)本發(fā)明實(shí)施例的Haar-like特征的示意圖；以及圖3是 示出根據(jù)本發(fā)明實(shí)施例HOG特征的示意圖。Haar-like特征原型如圖2所示。Haar-like特征是定義在圖像中 的一個(gè)矩形，它包4舌兩部分，在圖中分別以白色和黑色表示，矩形 的方位分為直立和45度傾斜兩種。Haar-like特征原型具有四個(gè)參 數(shù)矩形在圖像中的位置(x， y)和矩形的尺寸(寬度w和高度h), 隨著矩形的位置、尺寸和寬高比的變化，可以生成凄t以萬計(jì)的具體 Haar-like 4爭4iM乍用于圖Y象。本實(shí)施例所用的Haar-like特^正包^"兩種結(jié)構(gòu)，圖2 (a)所示 為相鄰結(jié)構(gòu)，圖2 (b)所示為分離結(jié)構(gòu)。圖2 (a)的特征集描述 了圖像中某個(gè)局部連通區(qū)域內(nèi)部的灰度關(guān)系，而圖2 (b)的特征集 合則描述了圖<象中兩個(gè)不相鄰區(qū)域的灰度關(guān)系。Haar-like特征的取值為一個(gè)標(biāo)量，將白色區(qū)域內(nèi)所有像素的灰度值總和定義為S訓(xùn)(『)，將黑色區(qū)域內(nèi)的灰度值總和定義為， 則Haar-like特征值由下式進(jìn)行計(jì)算本實(shí)施例所用的HOG特征的定義和計(jì)算如圖3所示。如圖3所示，HOG特征建立在圖^f象中的一個(gè)矩形區(qū)域上，其 一皮稱為Block, Block在圖像中的位置和尺寸任意；Block內(nèi)部分為 四個(gè)子區(qū)域，子區(qū)域稱為Cell。在每個(gè)Cell區(qū)i或中建立梯度方位直方圖直方圖的4黃軸為梯度 方位，在此將0 360度的方位范圍劃分為18個(gè)區(qū)間，每20度為一個(gè)區(qū)間；直方圖的主從軸為Cell區(qū);1或內(nèi)滿足某個(gè)方4立區(qū)間的{象素梯 度幅值的累加；將每個(gè)Cell直方圖用一個(gè)18維的向量表示。HOG特4正耳又值為一個(gè)向量，其計(jì)算方式如下將四個(gè)Cell直方圖向量聯(lián)結(jié)成一個(gè)72維向量v;將向量歸一化V' = V/IVIL ,其中HL 為向量的2-范數(shù)；將歸一化后的向量中所有大于0.2的分量置為0.2 ， 然后重新進(jìn)行歸一化。圖4是示出根據(jù)本發(fā)明實(shí)施例的Cascade分類器的結(jié)構(gòu)框圖。如圖4所示，本實(shí)施例采用的分類器為級(jí)寫關(guān)結(jié)構(gòu)i殳計(jì) (Cascade),它由多個(gè)"級(jí)分類器，，SC串:f關(guān)組成。Cascade的每個(gè) "級(jí)分類器，，SC又由一對"子級(jí)分類器"SCA和SCB串聯(lián)而成。 "子級(jí)分類器"是使用AdaBoost算法在大量可用特征中挑選少量 特征組合成的一個(gè)高效率的分類器；SCA使用Haar-like特征，所 得分類器稱為Haar-Adaboost，而SCB 4吏用HOG特4正，所得分類器 稱為HOG-Adaboost。圖5是示出根據(jù)本發(fā)明的訓(xùn)練方法的流程圖。參照圖5，本發(fā)明的訓(xùn)練方法包括步驟S502，樣本采集步驟， 采集預(yù)定數(shù)目的物體圖像集和背景圖像集；S504,特征提取步驟， 提取在樣本采集步驟中采集的物體圖像集和背景圖像集的特征；以 及S506 ，訓(xùn)練步驟，使用在特征提取步驟中提取的特征進(jìn)行訓(xùn)練， 以獲得分類器，其中，特征包括類小波特征和梯度方位直方圖特征。本發(fā)明所一使用的Cascade分類器的訓(xùn)練過程如圖6所示。首先，準(zhǔn)備訓(xùn)練所需的正樣本集P。(汽車圖像)和負(fù)樣本集 No (來自背景圖像)。_沒定1=0， 1, ......n，訓(xùn)練第t級(jí)分類器，訓(xùn)練過程如下使用正樣本集Pt和負(fù)樣本集Nt訓(xùn)練Haar-Adaboost (訓(xùn)練過程 3口稍后描述的圖7中所示)，并一夸所;得Haar-Adaboost加入 Haar-Adaboost集合；然后，使用所得Haar-Adaboost對其訓(xùn)練時(shí)所使用的正樣本集 Pt進(jìn)行篩選，剔除分類^"誤的正樣本得到新的正樣本集；使用新的正樣本集和負(fù)樣本集Nt訓(xùn)練HOG-Adaboost (訓(xùn)練過 程如稍后描述的圖7中所示)，特別注意，訓(xùn)練前預(yù)先將 HOG-Adaboost的期望才企測率設(shè)為100%;接下來，將Haar-Adaboost和HOG-Adaboost串聯(lián)得到第t級(jí)分 類器；測試當(dāng)前Cascade的性能，如果達(dá)到期望性能或達(dá)到預(yù)定訓(xùn)練 級(jí)凄t,則訓(xùn)練退出；然后，使用已有的Haar-Adaboost集合在背景圖像中搜索新的負(fù)樣本集NtM。下面將參照圖7描述在根據(jù)本發(fā)明實(shí)施例的Cascade分類器中 的各個(gè)子級(jí)分類器的訓(xùn)練過程的流程圖。首先，設(shè)定期望的訓(xùn)練目標(biāo)，例如設(shè)定最終所得分類器在當(dāng)前 訓(xùn)練樣本集上的期望檢測率(Hit rate )為99.8%,期望誤檢率為30%; i殳定訓(xùn)練樣本的初始權(quán)值；然后，生成特征池，特征池中為某種類型的特征原型在給定樣 本尺寸的圖l象上所能形成的所有具體特征，例如在45 x 30 (像素)的圖^f象中可以生成近兩百萬個(gè)Haar-like特4正或者凄t千個(gè)HOG特征；然后進(jìn)行特征提取，對于給定的訓(xùn)練樣本圖像，依次計(jì)算所有 特征在圖像中的取值，為了減少計(jì)算復(fù)雜度也可以在所有特征中隨才幾才兆選吾卩分iNM正進(jìn)4亍"i十算；接著挑選最優(yōu)弱分類器，根據(jù)所使用的特征的特性設(shè)計(jì)合適的 弱分類器，每個(gè)弱分類器可以只使用一個(gè)特征，也可以使用多個(gè)特 征；使用所有弱分類器對當(dāng)前權(quán)值分布條件下的訓(xùn)練樣本進(jìn)行分 類，挑選出分類誤差最小的弱分類器；才艮據(jù)最優(yōu)弱分類器對所有樣本的分類誤差更新樣本的權(quán)值；組合目前所得所有弱分類器為一個(gè)強(qiáng)分類器H(x)，并測試其在 當(dāng)前訓(xùn)練集上的沖企測率和誤沖企率；如果H(x)已經(jīng)達(dá)到期望訓(xùn)練目標(biāo)則結(jié)束訓(xùn)練，否則返回進(jìn)行特 征提取。圖8是示出根據(jù)本發(fā)明實(shí)施例的檢測系統(tǒng)的框架。參照圖8，檢測系統(tǒng)包括訓(xùn)練模塊和檢測模塊兩部分。訓(xùn)練模 塊的結(jié)構(gòu)和訓(xùn)練過程在前面已經(jīng)進(jìn)行詳細(xì)的描述，為了簡化說明， 此處省略其描述。檢測模塊主要包括窗口遍歷和后處理兩部分，其 處理;j;危禾呈如圖9所示。在窗口遍歷過程中，對任意給定的檢測圖像，使用與訓(xùn)練樣本 尺寸相同的窗口對當(dāng)前圖像進(jìn)行從左向右、從上到下的掃描；對掃 描過程中得到的每個(gè)窗口圖像，應(yīng)用訓(xùn)練所得的Cascade分類器進(jìn)21行分類，并記錄分類器輸出為正的窗口的位置以及當(dāng)前圖像相對于 原圖的尺寸比例因子。窗口遍歷結(jié)束后，按照一定的比例因子將圖像縮小，重新進(jìn)4亍 上述窗口遍歷和窗口圖^f象判定過程。重復(fù)以上過程，直到當(dāng)圖像縮 小到窗口遍歷無法進(jìn)行(圖像的高度小于窗口高度，或圖像的寬度 小于窗口寬度)為止。將所有正響應(yīng)窗口按照其對應(yīng)的圖像與原圖 像的尺寸比例因子映射到原圖像，得到所有正響應(yīng)在原圖像中的位 置和尺寸。注意，在窗口遍歷過程中，遍歷的順序和方式是任意的，可以 是乂人左到右、乂人上到下，也可以是乂人右到左、乂人下到上，以及窗口 平移的步長也是任意的，可以是逐〗象素，也可以是隔多個(gè)^f象素，或 者與當(dāng)前窗口的尺寸成比例關(guān)系。此外，遍歷模式也不限于上述模式，還可以采用保持圖像的尺 寸不變，按一定比例縮小或放大窗口的尺寸對圖像進(jìn)行遍歷的模 式。如果4吏用該遍歷才莫式，則不需要將所有正響應(yīng)窗口按照其對應(yīng) 的圖像與原圖像的尺寸比例因子映射到原圖像，而是直接記錄正響 應(yīng)在圖像中的位置和尺寸。在后處理過程中，在圖像中的同一目標(biāo)(汽車)附近會(huì)產(chǎn)生多 重響應(yīng)，將鄰近的多重響應(yīng)合并為一個(gè)輸出響應(yīng)，這里的"鄰近"定義為1、響應(yīng)窗口中心的位置相鄰(鄰域的大小-現(xiàn)情況而定)； 2、響應(yīng)窗口的尺寸相近(區(qū)間大小-現(xiàn)情況而定)；然后，i殳定一個(gè)閾^"直，如果合并一組窗口時(shí)，此組窗口的凄t量 小于所設(shè)閾值，則舍棄此合并結(jié)果。圖10是示出本發(fā)明實(shí)施例所使用的擴(kuò)展Haar-like特征對檢測 率的提高的示意圖；以及圖11是示出本發(fā)明實(shí)施例的Cascade分類 器與單獨(dú)使用Haar-like特征的Cascade分類器的性能對比的示意 圖。從圖10中可以看出，本發(fā)明所添加的Haar-like特征集(圖2 (b )所示)增強(qiáng)了原Haar-like特征集(圖2 ( a )所示)的分類性 能。在錯(cuò)檢率小于10e-4時(shí)，檢測率得到了提高。此外，從圖11可以看出，本發(fā)明同時(shí)用兩種特征進(jìn)行訓(xùn)練和 檢測的方法比單獨(dú)使用Haar-like特征的級(jí)聯(lián)式分類器具有更好的 分類性能。與單獨(dú)使用HOG特征的級(jí)聯(lián)式分類器相比，當(dāng)具有相 近分類性能時(shí)本發(fā)明的方法所需訓(xùn)練時(shí)間成本要低得多。實(shí)驗(yàn)表 明，為得到具有相似分類性能的分類器，HOG-Cascade的訓(xùn)練時(shí)間 大概是本發(fā)明Cascade訓(xùn)練時(shí)間的3到6倍。在本發(fā)明中，分類器釆用了特定的級(jí)聯(lián)結(jié)構(gòu)，將Haar-like特征 與HOG特征結(jié)合在一起使用，同時(shí)發(fā)揮了 Haar-like特征計(jì)算快捷 和HOG特征分辯力強(qiáng)大的優(yōu)勢，在不顯著增加計(jì)算成本的同時(shí)大 大提高了所獲得的分類器的性能。以上^f又為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對 于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本 發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均 應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種訓(xùn)練裝置，用于通過訓(xùn)練獲得用于區(qū)分物體和背景的分類器，其特征在于，所述訓(xùn)練裝置包括樣本采集單元，用于采集預(yù)定數(shù)目的物體圖像集和背景圖像集；特征提取單元，用于提取由所述樣本采集單元采集的所述物體圖像集和所述背景圖像集的特征；以及訓(xùn)練單元，用于使用由所述特征提取單元提取的所述特征進(jìn)行訓(xùn)練，以獲得所述分類器，其中，所述特征包括類小波特征和梯度方位直方圖特征。
2. 根據(jù)權(quán)利要求1所述的訓(xùn)練裝置，其特征在于，所述分類器采 用由多個(gè)級(jí)分類器串l關(guān)而成的級(jí)聯(lián)結(jié)構(gòu)，每一個(gè)級(jí)分類器均包 括第一子級(jí)分類器，使用所述類小波特征；以及 第二子級(jí)分類器，使用所述梯度方位直方圖特征，其中 所述第一子級(jí)分類器和所述第二子級(jí)分類器串聯(lián)連接。
3. 根據(jù)權(quán)利要求2所述的訓(xùn)練裝置，其特征在于，所述第一子級(jí) 分類器的訓(xùn)練在所述第二子級(jí)分類器的訓(xùn)練之前，并且所述第 二子級(jí)分類器的期望4企測率在訓(xùn)練之前^皮預(yù)先i殳為100% 。
4. 根據(jù)權(quán)利要求3所述的訓(xùn)練裝置，其特征在于，在訓(xùn)練第n 個(gè)級(jí)分類器時(shí)，訓(xùn)練所述第n個(gè)級(jí)分類器中的第一子級(jí)分類器所需的正 樣本集和負(fù)樣本集通過樣本搜索分類器在所述物體圖像集和所述背景圖像集中搜索而得到，其中，所述樣本搜索分類器由前n-1個(gè)級(jí)分類器中的第一子級(jí)分類器所組成，以及訓(xùn)練所述第n個(gè)級(jí)分類器中的第二子級(jí)分類器的負(fù)樣本 集與所述第n個(gè)級(jí)分類器中的第一子級(jí)分類器所使用的負(fù)樣 本集相同，而所述第n個(gè)級(jí)分類器中的第二子級(jí)分類器的正樣 本集為所述樣本搜索分類器在所述物體圖像集中搜索得到的 正樣本集被訓(xùn)練得到的所述第n個(gè)級(jí)分類器中的第一子級(jí)分 類器重新篩選后的正樣本集。
5. 根據(jù)權(quán)利要求4所述的訓(xùn)練裝置，其特征在于，所述樣本搜索 分類器對所述物體圖像集中的所有圖像進(jìn)行分類，其中，所有 被分類為正樣本的圖像組成訓(xùn)練所述第n個(gè)級(jí)分類器中的第 一子級(jí)分類器所需的正樣本集。
6. 根據(jù)權(quán)利要求4所述的訓(xùn)練裝置，其特征在于，使用固定尺寸 的窗口對所述背景圖像集中的背景圖像進(jìn)行遍歷，然后使用所述樣本搜索分類器對每個(gè)窗口圖像進(jìn)行分類，如果分類結(jié)果為 正，則當(dāng)前窗口圖像成為負(fù)樣本圖像，遍歷結(jié)束后按比例縮小 背景圖像的尺寸，然后重復(fù)對背景圖像的遍歷過程和所述樣本 搜索分類器的分類過程，直至收集到預(yù)定數(shù)目的負(fù)樣本圖像組 成訓(xùn)練所述第n個(gè)級(jí)分類器中的第一子級(jí)分類器所需的負(fù)樣本集。
7. 根據(jù)權(quán)利要求要求4所述的訓(xùn)練裝置，其特征在于，還包括 訓(xùn)練退出確定單元，用于當(dāng)所述分類器的性能達(dá)到期望性能或 者訓(xùn)練達(dá)到預(yù)定的訓(xùn)練級(jí)數(shù)時(shí)，則確定退出訓(xùn)練。
8. 根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的訓(xùn)練裝置，其特征在于， 所述類小波特征包括相鄰結(jié)構(gòu)的特征集和分離結(jié)構(gòu)的特征集， 其中，所述相鄰結(jié)構(gòu)的特4正集定義圖 <象中特定連通區(qū)^ 內(nèi)部的灰度關(guān)系，而所述分離結(jié)構(gòu)的特征集定義圖像中兩個(gè)不相鄰區(qū) 域的灰度關(guān)系。
9. 根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的訓(xùn)練裝置，其特征在于， 所述物體圖像集中的所有圖像的尺寸相同，而所述背景圖像集 中的圖像尺寸是任意的。
10. 根據(jù)權(quán)利要求2至7中任一項(xiàng)所述的訓(xùn)練裝置，其特征在于， 使用任意一種Boosting方法對所述第一子級(jí)分類器和所述第 二子級(jí)分類器進(jìn)行訓(xùn)練。
11. 一種訓(xùn)練方法，用于通過訓(xùn)練獲得用于區(qū)分物體和背景的分類 器，其特征在于，所述訓(xùn)練方法包括以下步驟樣本采集步驟，用于采集預(yù)定數(shù)目的物體圖像集和背景 圖像集；特征提取步驟，用于提取在所述樣本采集步驟中采集的 所述物體圖像集和所述背景圖像集的特征；以及訓(xùn)練步驟，用于使用在所述特征提取步驟中提取的所述 特征進(jìn)行訓(xùn)練，以獲得所述分類器，其中，所述特征包括類小波特征和梯度方位直方圖特征。
12. 根據(jù)權(quán)利要求11所述的訓(xùn)練方法，其特征在于，所述分類器 采用由多個(gè)級(jí)分類器串聯(lián)而成的級(jí)聯(lián)結(jié)構(gòu)，每一個(gè)級(jí)分類器均 包括第一子級(jí)分類器，使用所述類小波特征；以及 第二子級(jí)分類器，使用所述梯度方位直方圖特征，其中 所述第一子級(jí)分類器和所述第二子級(jí)分類器串聯(lián)連接。
13. 才艮據(jù)4又利要求12所述的訓(xùn)練方法，其特4正在于，所述第一子 級(jí)分類器的訓(xùn)練在所述第二子級(jí)分類器的訓(xùn)練之前，并且所述 第二子級(jí)分類器的期望檢測率在訓(xùn)練之前被預(yù)先設(shè)為100%。
14. 根據(jù)權(quán)利要求13所述的訓(xùn)練方法，其特征在于，在訓(xùn)練第n 個(gè)級(jí)分類器時(shí)，訓(xùn)練所述第n個(gè)級(jí)分類器中的第一子級(jí)分類器所需的正 樣本集和負(fù)樣本集通過樣本搜索分類器在所述物體圖像集和所述背景圖像集中搜索而得到，其中，所述樣本搜索分類器由 前n-1個(gè)級(jí)分類器中的第一子級(jí)分類器所組成，以及訓(xùn)練所述第n個(gè)級(jí)分類器中的第二子級(jí)分類器的負(fù)樣本 集與所述第n個(gè)級(jí)分類器中的第一子級(jí)分類器所使用的負(fù)樣 本集相同，而所述第n個(gè)級(jí)分類器中的第二子級(jí)分類器的正樣 本集為所述樣本搜索分類器在所述物體圖像集中搜索得到的 正樣本集被訓(xùn)練得到的所述第n個(gè)級(jí)分類器中的第一子級(jí)分類器重新篩選后的正樣本集。
15. 根據(jù)權(quán)利要求14所述的訓(xùn)練方法，其特征在于，所述樣本搜 索分類器對所述物體圖像集中的所有圖像進(jìn)行分類，所有被分 類為正樣本的圖像組成訓(xùn)練所述第n個(gè)級(jí)分類器中的第一子 級(jí)分類器所需的正樣本集。
16. 根據(jù)權(quán)利要求14所述的訓(xùn)練方法，其特征在于，使用固定尺 寸的窗口對所述背景圖像集中的背景圖像進(jìn)行遍歷，然后使用 所述樣本搜索分類器對每個(gè)窗口圖像進(jìn)行分類，如果分類結(jié)果 為正，則當(dāng)前窗口圖像成為負(fù)樣本圖像，遍歷結(jié)束后按比例縮 小背景圖像的尺寸，然后重復(fù)對背景圖像的遍歷過程和所述樣 本搜索分類器的分類過程，直至收集到預(yù)定數(shù)目的負(fù)樣本圖像組成訓(xùn)練所述第n個(gè)級(jí)分類器中的第一子級(jí)分類器所需的負(fù) 樣本集。
17. 根據(jù)權(quán)利要求要求14所述的訓(xùn)練方法，其特征在于，還包括 訓(xùn)練退出確定步驟，其中，當(dāng)所述分類器的性能達(dá)到期望性能 或者訓(xùn)練達(dá)到預(yù)定的訓(xùn)練級(jí)數(shù)時(shí)，則確定退出訓(xùn)練。
18. 根據(jù)權(quán)利要求11至17中任一項(xiàng)所述的訓(xùn)練方法，其特征在于， 所述類小波特征包括相鄰結(jié)構(gòu)的特4正集和分離結(jié)構(gòu)的特征集， 其中，所述相鄰結(jié)構(gòu)的特征集定義圖像中特定連通區(qū)域內(nèi)部的 灰度關(guān)系，而所述分離結(jié)構(gòu)的特征集定義圖像中兩個(gè)不相鄰區(qū) 域的灰度關(guān)系。
19. 根據(jù)權(quán)利要求11至17中任一項(xiàng)所述的訓(xùn)練方法，其特征在于， 所述物體圖像集中的所有圖像的尺寸相同，而所述背景圖像集 中的圖像尺寸是任意的。
20. 根據(jù)權(quán)利要求12至17中任一項(xiàng)所述的訓(xùn)練方法，其特征在于， 使用任意一種Boosting方法對所述第一子級(jí)分類器和所述第 二子級(jí)分類器進(jìn)行訓(xùn)練。
21. —種檢測方法，用于在圖像或視頻中進(jìn)行物體檢測，其特征在 于利用權(quán)利要求1至10中任一項(xiàng)所述的訓(xùn)練裝置或權(quán)利要 求11至20中任一項(xiàng)所述的訓(xùn)練方法所獲得的分類器來^r測在 輸入的所述圖像或是視頻中是否存在物體，并給出所述物體的 存在位置。
22. 々艮據(jù)一又利要求21所述的方法，其特;f正在于，所述4企測方法還 包4舌以下步駛《窗口遍歷步驟，通過預(yù)定的窗口遍歷才莫式對輸入的所述圖<象或—見頻進(jìn)行遍歷；以及后處理步艱《，用于^f在所述窗口遍歷步駛《中^尋到的窗口 進(jìn)行后處理，從而得到最終的檢測結(jié)果。
23. 根據(jù)權(quán)利要求22所述的方法，其特征在于，所述窗口遍歷模 式為選才奪固定尺寸的窗口遍歷輸入的所述圖像或^L頻，遍歷 結(jié)束后按一定比例縮小或放大所述圖像或視頻的尺寸，然后再 使用所述固定尺寸的窗口重新遍歷所述圖像或視頻，其中，使用所述分類器對每個(gè)窗口圖^f象進(jìn)行分類，如果 分類結(jié)果為正，則記錄當(dāng)前窗口的尺寸和位置，并按照縮放所 述圖像或視頻的比例將所述當(dāng)前窗口的尺寸和位置映射回到 原來的圖像或視頻的坐標(biāo)空間，得到所述物體在所述圖像或視 頻中的尺寸和位置。
24. 根據(jù)權(quán)利要求22所述的方法，其特征在于，所述窗口遍歷模 式為使用窗口遍歷所述圖像或視頻，然后保持所述圖像或視 頻的尺寸不變j要一定比例縮小或^:大所述窗口的尺寸來重新 遍歷所述圖l象或一見頻，其中，使用所述分類器對每個(gè)窗口圖像進(jìn)行分類，如果 分類結(jié)果為正，直沖妄記錄當(dāng)前窗口的尺寸和位置。
25. 根據(jù)權(quán)利要求22所述的方法，其特征在于，所述后處理步驟 還包括窗口合并步驟，將在所述窗口遍歷步驟中得到的窗口按 照相鄰原則進(jìn)4于合并；以及閾值過濾步驟，設(shè)定一個(gè)閾值，將在所述窗口合并步驟 中相鄰窗口的數(shù)目小于所述閾值的合并結(jié)果舍棄，從而得到最終的^r測結(jié)果。
全文摘要
本發(fā)明公開了訓(xùn)練裝置、訓(xùn)練方法及檢測方法，其中，該訓(xùn)練裝置包括樣本采集單元，用于采集預(yù)定數(shù)目的物體圖像集和背景圖像集；特征提取單元，用于提取由樣本采集單元采集的物體圖像集和背景圖像集的特征；以及訓(xùn)練單元，用于使用由特征提取單元提取的特征進(jìn)行訓(xùn)練，以獲得分類器，其中，特征包括類小波特征和梯度方位直方圖特征。分類器采用了特定的級(jí)聯(lián)結(jié)構(gòu)，將Haar-like特征與HOG特征結(jié)合在一起使用，同時(shí)發(fā)揮了Haar-like特征計(jì)算快捷和HOG特征分辨力強(qiáng)大的優(yōu)勢，在不顯著增加計(jì)算成本的同時(shí)大大提高了所獲得的分類器的性能。
文檔編號(hào)G06K9/64GK101655914SQ20081021010
公開日2010年2月24日 申請日期2008年8月18日 優(yōu)先權(quán)日2008年8月18日
發(fā)明者吳偉國, 梅樹起 申請人:索尼(中國)有限公司