專利名稱：復(fù)雜場景下的多視角人臉檢測方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)控領(lǐng)域，特別涉及視頻監(jiān)控領(lǐng)域中的人臉檢測技術(shù)。
背景技術(shù)：
近年來，由于反恐、國土安全和社會安全的需要，世界上各個國家對安防領(lǐng)域加大 了投入，而身份識別正是安防的一個核心問題。隨著計算機視覺和模式識別技術(shù)的快速發(fā) 展，基于生物特征識別的身份識別技術(shù)得到了迅猛的發(fā)展，在很多領(lǐng)域都有了應(yīng)用，越來越 顯示出其巨大的商業(yè)價值和社會價值。人臉識別作為用戶接受度最高、最自然、最直觀的可 視化生物識別技術(shù)，其技術(shù)和應(yīng)用價值正在突顯。隨著生物特征電子護照等出入境政府項 目廣泛采用人臉識別，人臉識別技術(shù)在公安、航空等行業(yè)出現(xiàn)了大規(guī)模的應(yīng)用。人臉檢測作為人臉識別的第一步，其重要意義就不言自明。此外，人臉檢測在表情 識別、人口統(tǒng)計、人流量統(tǒng)計、視頻觸發(fā)抓拍及智能視頻監(jiān)控的事件報警分析也有著廣泛的 應(yīng)用前景。另外，人臉檢測的算法理論和實現(xiàn)方法也可以應(yīng)用到諸如車輛檢測、行人檢測、 人頭檢測等目標(biāo)檢測中。人臉檢測的目的是為了確定圖像或視頻中人臉的位置、大小和數(shù)量。由于人臉模 式的復(fù)雜性(臉部膚色的不同、表情的改變、胡須、化妝及飾物遮擋等等)、人臉的各種姿態(tài) (人臉與攝像機角度的變化導(dǎo)致)以及周圍環(huán)境光照的變化(如強烈的側(cè)光所產(chǎn)生的陰陽 臉)使得人臉檢測技術(shù)是一項富有挑戰(zhàn)性的研究工作，特別是復(fù)雜場景下的多視角人臉檢 測。復(fù)雜場景是指對于人臉?biāo)幁h(huán)境光線變化惡劣、且背景復(fù)雜、干擾很多等情況，而多視 角人臉是指檢測圖像中覆蓋一個較大的視角范圍的人臉表觀模式，一般上是指左右偏轉(zhuǎn)90 度所形成的180度范圍，而且人臉存在上下俯仰和傾斜。目前最為常用的人臉檢測算法就是基于Boosting學(xué)習(xí)的人臉檢測方法， Boosting學(xué)習(xí)算法的核心思想就是通過迭代挑選出多個具有不同分類能力的弱分類器進 行組合形成強分類器，其中分類能力較強的弱分類器具有更大的決策權(quán)。最為典型的就是 Viola等人提出的基于Haar特征的離散AdaBoost算法，并用這一算法學(xué)習(xí)Cascade型級聯(lián) 結(jié)構(gòu)的正面人臉檢測器，使得正面人臉檢測達(dá)到了實用效果。但是復(fù)雜場景下的多視角人臉檢測的研究相對薄弱，其難度也大得多，目前提出 的算法較少，離實際應(yīng)用還存在一定距離?？偟膩碚f，多視角人臉檢測算法主要經(jīng)歷了三個 階段，典型代表有并行級聯(lián)結(jié)構(gòu)的檢測方法、金字塔結(jié)構(gòu)的檢測方法和矢量樹結(jié)構(gòu)的檢測 方法。這些多視角人臉檢測方法的本質(zhì)都是基于Boosting學(xué)習(xí)框架下的一大類方法，其主 要區(qū)別在于檢測器的結(jié)構(gòu)設(shè)計、Boosting學(xué)習(xí)算法的形式和采用的特征方面。其中，并行級聯(lián)結(jié)構(gòu)的檢測方法是最為直觀、簡單初級的多視角人臉檢測方法，通 過為每一個視角的人臉訓(xùn)練出一個對應(yīng)的級聯(lián)結(jié)構(gòu)檢測器，然后在檢測過程中依次利用每 個檢測器對圖像中的人臉進行判斷，從而實現(xiàn)多視角人臉檢測的功能。其中每個級聯(lián)結(jié)構(gòu) 檢測器的訓(xùn)練是獨立的，分類器的訓(xùn)練算法采用連續(xù)AdaBoost學(xué)習(xí)算法，采用的特征為 Haar特征。由于算法僅僅是對多個單視角人臉檢測器的簡單聯(lián)合，沒有考慮到不同視角人臉間的相似性，所以在檢測過程中每個檢測器都要對所有的子窗口進行遍歷，而一般情況 下絕大多數(shù)子窗口是非臉部區(qū)域，這樣就會在非人臉區(qū)域上進行重復(fù)遍歷，耗費大量時間， 從而降低檢測速度。金字塔結(jié)構(gòu)檢測方法采用由粗到精的檢測策略，利用了不同目標(biāo)間的相似性，并 且將目標(biāo)進行從上至下的劃分，根據(jù)此相似性訓(xùn)練出一個類似金字塔結(jié)構(gòu)的多視角檢測 器，然后在檢測過程中將子窗口依次送到金字塔結(jié)構(gòu)的各層分類器進行檢測，直到最后一 層檢測出目標(biāo)。其中分類器的訓(xùn)練算法采用Float Boost學(xué)習(xí)算法，采用的特征同樣為 Haar特征。相比簡單并行級聯(lián)結(jié)構(gòu)的檢測方法，該方法考慮到了不同視角人臉間的相似性， 但是該方法卻未考慮到同類視角人臉間的差異性，因此被父節(jié)點判定為人臉的子窗口都要 被送到下一層的各個孩子結(jié)點當(dāng)中，直到該層所有節(jié)點分類器將其判定為非人臉子窗口時 才判為非人臉子窗口，從而在一定程度浪費了過多的計算代價在非人臉子窗口上，因此降 低了檢測速度。矢量樹結(jié)構(gòu)的檢測算法同樣采用由粗到精的檢測策略，并同時兼顧不同視角下人 臉間的相似性與同種視角下人臉的差異性，訓(xùn)練出一個樹狀結(jié)構(gòu)的多視角檢測器。如圖1 所示，其中圓圈為節(jié)點分類器；然后在檢測過程中根據(jù)矢量樹中的分支節(jié)點分類器的輸出 結(jié)果來判斷子窗口將送到下一層的哪個子節(jié)點中，依次往下直到最后一層。其中矢量樹中 的各個節(jié)點分類器采用VectorBoosting學(xué)習(xí)算法進行訓(xùn)練，采用的特征為Haar特征和邊 緣方向直方圖EOH特征。由于矢量樹檢測器能夠很好兼顧不同視角下人臉間的相似性與同 種視角下人臉的差異性，因此該方法應(yīng)該是目前最為常用、經(jīng)典的多視角人臉檢測方法之 一。但是，本發(fā)明的發(fā)明人發(fā)現(xiàn)，目前的矢量樹結(jié)構(gòu)的檢測方法仍存在如下幾點不足1、由于該矢量樹中的各個節(jié)點分類器為一強分類器，其中包含多個孩子節(jié)點的節(jié) 點分類器為分支節(jié)點分類器，如圖1中的實線圓圈，由于分支節(jié)點分類器承擔(dān)著去除非人 臉子窗口和不同視角人臉子窗口細(xì)分類的目的，因此在這些分支節(jié)點分類器中往往會非常 復(fù)雜，包含過多的弱分類器，從而降低檢測速度。2、矢量樹中各個節(jié)點分類器之間沒有聯(lián)系，獨立地進行決策，從而浪費了被測子 窗口在其父節(jié)點分類器上的分類信息。3、訓(xùn)練過程中采用的Haar特征和EOH特征的特征池過于龐大，往往包含幾萬，甚 至十幾萬個特征，而從如此龐大的特征池中挑選出僅有上千個具有強分類能力的特征是項 非常耗時的工作。因此該方法訓(xùn)練一個魯棒的多視角人臉檢測器時往往需要耗費幾個星 期，甚至更長的時間。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種復(fù)雜場景下的多視角人臉檢測方法及其裝置，在保證 檢測率的同時提高檢測速度。為解決上述技術(shù)問題，本發(fā)明的實施方式提供了一種復(fù)雜場景下的多視角人臉檢 測方法，包含以下步驟使用包含多個節(jié)點分類器的級聯(lián)矢量樹結(jié)構(gòu)檢測器對輸入的待測子窗口進行檢 測，該級聯(lián)矢量樹結(jié)構(gòu)檢測器中包括至少一個分支節(jié)點分類器，并且，在至少一個分支節(jié)點 分類器之前，有至少一個級聯(lián)的無分支節(jié)點分類器；
其中，如果無分支節(jié)點分類器將待測子窗口判定為非人臉子窗口，則停止與該無 分支節(jié)點分類器級聯(lián)的分支節(jié)點分類器對該待測子窗口的進一步檢測；如果無分支節(jié)點分 類器將待測子窗口判定為人臉子窗口，則將該待測子窗口送到與該無分支節(jié)點分類器級聯(lián) 的分支節(jié)點分類器繼續(xù)檢測。本發(fā)明的實施方式還提供了一種復(fù)雜場景下的多視角人臉檢測裝置，包含檢測窗口獲取模塊，用于根據(jù)輸入圖像獲取待測子窗口 ；級聯(lián)矢量樹結(jié)構(gòu)檢測器訓(xùn)練模塊，用于根據(jù)訓(xùn)練樣本訓(xùn)練得到包含多個節(jié)點分類 器的級聯(lián)矢量樹結(jié)構(gòu)檢測器，級聯(lián)矢量樹結(jié)構(gòu)檢測器中包括至少一個分支節(jié)點分類器，并 且，在至少一個分支節(jié)點分類器之前，有至少一個級聯(lián)的無分支節(jié)點分類器；檢測模塊，用于使用級聯(lián)矢量樹結(jié)構(gòu)檢測器對檢測窗口獲取模塊獲取到的待測子 窗口進行檢測，其中，當(dāng)級聯(lián)矢量樹結(jié)構(gòu)檢測器中的無分支節(jié)點分類器將待測子窗口判定 為非人臉子窗口時，停止與該無分支節(jié)點分類器級聯(lián)的分支節(jié)點分類器對該待測子窗口的 進一步檢測；當(dāng)無分支節(jié)點分類器將待測子窗口判定為人臉子窗口時，將該待測子窗口送 到與該無分支節(jié)點分類器級聯(lián)的分支節(jié)點分類器繼續(xù)檢測。本發(fā)明實施方式與現(xiàn)有技術(shù)相比，主要區(qū)別及其效果在于在對待測子窗口進行人臉檢測的級聯(lián)矢量樹結(jié)構(gòu)檢測器中，在至少一個分支節(jié)點 分類器之前，有至少一級聯(lián)的無分支節(jié)點分類器。如果無分支節(jié)點分類器將待測子窗口判 定為非人臉子窗口，則停止與該無分支節(jié)點分類器級聯(lián)的分支節(jié)點分類器對該待測子窗口 的進一步檢測；如果無分支節(jié)點分類器將所述待測子窗口判定為人臉子窗口，則將該待測 子窗口送到與該無分支節(jié)點分類器級聯(lián)的分支節(jié)點分類器繼續(xù)檢測。通過在分支節(jié)點分類 器之間引入級聯(lián)分類器，利用級聯(lián)分類器對各個分支上的非人臉子窗口進行逐級有效的去 除，降低了分支節(jié)點分類器的復(fù)雜度，減少了所含的弱分類器個數(shù)，從而在保證檢測率的同 時提高檢測速度。進一步地，以先根遍歷的方式進行遞歸訓(xùn)練各個節(jié)點分類器，在訓(xùn)練每個節(jié)點分 類器時，計算父節(jié)點分類器對于訓(xùn)練樣本的分類置信度，用計算的置信度作為特征值訓(xùn)練 得到嵌入式弱分類器，將訓(xùn)練得到的嵌入式弱分類器作為第一個弱分類器嵌入到當(dāng)前的節(jié) 點分類器當(dāng)中；當(dāng)前的節(jié)點分類器中其他的普通弱分類器通過根據(jù)訓(xùn)練樣本計算的特征值 訓(xùn)練得到。通過將嵌入式分類器結(jié)構(gòu)引入到矢量樹結(jié)構(gòu)檢測器中，使得當(dāng)前的節(jié)點分類器 能夠繼承其父節(jié)點分類器的分類置信度，從而加快了檢測器的收斂，使得訓(xùn)練出的檢測器 中包含的特征數(shù)目更少，進一步提高了檢測速度，提升檢測性能。進一步地，根據(jù)訓(xùn)練樣本計算的特征值為分塊局部二值模式特征值，分塊局部二 值模式特征值為將圖像中的一個分塊中像素值的和當(dāng)做一個像素值來計算局部二值模式 的特征值。由于分塊局部二值模式特征值(即分塊LBP特征)，具有很好的紋理描述性能以 及結(jié)構(gòu)簡單、計算快速等優(yōu)點，更為重要的是分塊LBP特征池的數(shù)目較少，因此在挑選分塊 LBP特征時速度很快，大大提高了檢測器的訓(xùn)練速度和檢測速度。進一步地，采用至少2個級聯(lián)矢量樹結(jié)構(gòu)檢測器對輸入的待測子窗口進行檢測， 其中，至少有一個級聯(lián)矢量樹結(jié)構(gòu)檢測器的輸入特征為其他級聯(lián)矢量樹結(jié)構(gòu)檢測器的輸入 特征的旋轉(zhuǎn)值。其中，其他級聯(lián)矢量樹結(jié)構(gòu)檢測器的輸入特征為分塊局部二值模式特征值。 在檢測過程中通過旋轉(zhuǎn)分塊局部二值模式特征值，可以將檢測器進行擴展，從而在不需要對輸入圖像進行旋轉(zhuǎn)的情況下達(dá)到全視角的人臉檢測，擴展了檢測器的檢測視角，而且，分 塊局部二值模式特征值的旋轉(zhuǎn)的計算量遠(yuǎn)小于圖的旋轉(zhuǎn)和積分圖的計算，因此可有效減少
計算量。進一步地，每個節(jié)點分類器在訓(xùn)練之前都要對訓(xùn)練樣本進行重采樣，以保證訓(xùn)練 該節(jié)點時所用的正樣本都是被其父節(jié)點分類器所正確分類的正樣本，而所有的負(fù)樣本是被 其父節(jié)點分類器錯誤分類為正樣本的負(fù)樣本，從而使得當(dāng)前的節(jié)點分類器能夠集中對被父 節(jié)點分類器所誤分的樣本進行分類。


圖1是根據(jù)現(xiàn)有技術(shù)中的矢量樹結(jié)構(gòu)檢測器示意圖；圖2是根據(jù)本發(fā)明第一實施方式的復(fù)雜場景下的多視角人臉檢測方法流程圖；圖3是根據(jù)本發(fā)明第一實施方式中的級聯(lián)矢量樹結(jié)構(gòu)檢測器示意圖；圖4是根據(jù)本發(fā)明第一實施方式中單個待測子窗口的檢測流程圖；圖5是根據(jù)本發(fā)明第一實施方式的復(fù)雜場景下的多視角人臉檢測方法示意圖；圖6是根據(jù)本發(fā)明第二實施方式中級聯(lián)矢量樹結(jié)構(gòu)檢測器的訓(xùn)練流程圖；圖7是根據(jù)本發(fā)明第二實施方式中節(jié)點分類器的訓(xùn)練流程圖；圖8是根據(jù)本發(fā)明第二實施方式中分塊LBP特征示意圖；圖9是根據(jù)本發(fā)明第三實施方式的復(fù)雜場景下的多視角人臉檢測裝置結(jié)構(gòu)示意 圖。
具體實施例方式在以下的敘述中，為了使讀者更好地理解本申請而提出了許多技術(shù)細(xì)節(jié)。但是，本 領(lǐng)域的普通技術(shù)人員可以理解，即使沒有這些技術(shù)細(xì)節(jié)和基于以下各實施方式的種種變化 和修改，也可以實現(xiàn)本申請各權(quán)利要求所要求保護的技術(shù)方案。為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明的實施 方式作進一步地詳細(xì)描述。本發(fā)明第一實施方式涉及一種復(fù)雜場景下的多視角人臉檢測方法，具體流程如圖 2所示。在步驟201中，預(yù)先根據(jù)訓(xùn)練樣本，訓(xùn)練出級聯(lián)矢量樹結(jié)構(gòu)檢測器。具體地說，首 先，根據(jù)人臉的姿勢按照視角進行從上至下，由粗到細(xì)進行劃分，構(gòu)造出一個級聯(lián)矢量樹， 級聯(lián)矢量樹中的每個節(jié)點即為一個節(jié)點分類器，節(jié)點分類器分為分支節(jié)點分類器(即有多 個子節(jié)點的節(jié)點分類器)和無分支節(jié)點分類器(即只有一個子節(jié)點的節(jié)點分類器)，在至少 一個分支節(jié)點分類器之前，有至少一個級聯(lián)的無分支節(jié)點分類器。然后利用訓(xùn)練樣本采用先根遍歷方式依次訓(xùn)練各個節(jié)點分類器，每個節(jié)點分類器 在訓(xùn)練之前都要對訓(xùn)練樣本進行重采樣，以保證訓(xùn)練該節(jié)點時所用的正樣本都是被其父節(jié) 點分類器所正確分類的正樣本，而所有的負(fù)樣本是被其父節(jié)點分類器錯誤分類為正樣本的 負(fù)樣本，從而使得當(dāng)前的節(jié)點分類器能夠集中對被父節(jié)點分類器所誤分的樣本進行分類。在本實施方式中，訓(xùn)練出的級聯(lián)矢量樹結(jié)構(gòu)檢測器如圖3所示，圖中的圓圈為節(jié) 點分類器，其中實線圓圈為分支節(jié)點分類器，虛線圓圈為無分支節(jié)點分類器，省略點表示一系列無分支節(jié)點分類器的縮略。所有的節(jié)點分類器的輸出為一向量，向量的維數(shù)與其孩子 節(jié)點數(shù)目一致。例如圖3中，如果第一個分支節(jié)點分類器A的輸出結(jié)果為{1，1，0}，則表示 該子窗口可能為向左側(cè)偏轉(zhuǎn)的臉或正面臉，不可能是向右側(cè)偏轉(zhuǎn)的臉，然后在下一層中，該 子窗口被送到向左側(cè)偏轉(zhuǎn)的臉和正面臉對應(yīng)的強分類器中；如果分類結(jié)果為{0，0，0}，則 表示該子窗口是非人臉窗口。而對于無分支節(jié)點分類器，也就是一般節(jié)點分類器，由于其孩 子節(jié)點數(shù)目為1，則其輸出向量的維數(shù)也為1，向量就退化成一個二分類值的標(biāo)量，并與后 面掛接的一系列無分支節(jié)點分類器(圖中省略點表示)形成級聯(lián)分類器，從而降低后續(xù)分 支節(jié)點分類器的復(fù)雜度，提高人臉檢測的效率，其中級聯(lián)分類器的層數(shù)(即在分支節(jié)點分 類器之前級聯(lián)的無分支節(jié)點分類器的層數(shù))可以事先設(shè)定也可以通過設(shè)定檢測指標(biāo)來動 態(tài)設(shè)定。從圖3中可以看出，訓(xùn)練出的級聯(lián)矢量樹結(jié)構(gòu)檢測器共包含15個視角，平面外旋 轉(zhuǎn)分為5個姿態(tài)，依次為左全側(cè)(-90，-54)、左半側(cè)(-54，-18)、準(zhǔn)正面(-18，+18)、右半側(cè) (+18,+54)和右全側(cè)(+54，+90) 5個視角，每個平面外旋轉(zhuǎn)視角下再細(xì)分為3個平面內(nèi)旋轉(zhuǎn) 視角，依次為旋轉(zhuǎn)-30 (-45，-15)，0度(-15，+15)和30度(+15，+45)。這樣該級聯(lián)矢量樹 結(jié)構(gòu)檢測器的檢測能力能夠覆蓋平面外旋轉(zhuǎn)180度的范圍和平面內(nèi)旋轉(zhuǎn)90度的范圍。在步驟202中，判斷是否需要進行多視角的人臉檢測，如果需要進行多視角的人 臉檢測，則進入步驟203。在步驟203中，遍歷待檢測的圖像，獲取到待測子窗口，并將獲取到的待測子窗 口，輸入到在步驟201中訓(xùn)練出的級聯(lián)矢量樹結(jié)構(gòu)檢測器中。接著，在步驟204中，使用在步驟201中訓(xùn)練出的級聯(lián)矢量樹結(jié)構(gòu)檢測器對輸入的 待測子窗口進行檢測。具體地說，對于一個待測子窗口，從根節(jié)點開始遍歷各個節(jié)點分類器對其進行類 別屬性的判斷，如果級聯(lián)矢量樹結(jié)構(gòu)檢測器中的某一分支上的節(jié)點分類器將該待測子窗口 判為非人臉，則停止向下訪問其孩子節(jié)點，轉(zhuǎn)而向上遞歸訪問其它分支上的節(jié)點分類器。如 果待測子窗口通過某一分支上所有節(jié)點分類器，直到葉子節(jié)點，則該子窗口被判為人臉，而 且該人臉的視角類別就是該葉子節(jié)點所對應(yīng)的類別，如圖4所示。也就是說，包括根節(jié)點 在內(nèi)的每一個獲得待測子窗口輸入的節(jié)點分類器按如下方式處理如果判定為非人臉子窗 口，則結(jié)束本分支對該待測子窗口的檢測(即不再送到孩子節(jié)點中檢測)；否則，如果本節(jié) 點不是葉子節(jié)點，則將該待測子窗口送到該節(jié)點的至少一個子節(jié)點中進一步檢測，如果本 節(jié)點已經(jīng)是葉子節(jié)點了，則判定該子窗口為人臉，且該人臉的視角類別就是該葉子節(jié)點所 對應(yīng)的類別。接著，在步驟205中，判斷是否已處理完待檢測圖像中的所有待測子窗口，如果沒 有，則回到步驟203，獲取新的待測子窗口進行檢測；如果已處理完待檢測的圖像的所有待 測子窗口，則進入步驟206，輸出人臉檢測結(jié)果。在本實施方式中，復(fù)雜場景下的多視角人臉檢測方法主要包括級聯(lián)矢量樹結(jié)構(gòu)檢 測器的訓(xùn)練和利用訓(xùn)練出的檢測器進行多視角人臉的檢測兩部分，如圖5所示，圖中的虛 線上面部分為檢測器的訓(xùn)練部分，下面為利用檢測器進行檢測部分。通過在分支節(jié)點分類 器之間引入級聯(lián)分類器，利用級聯(lián)分類器對各個分支上的非人臉子窗口進行逐級有效的去 除，降低了分支節(jié)點分類器的復(fù)雜度，減少了所含的弱分類器個數(shù)，從而在保證檢測率的同時提高檢測速度。本發(fā)明第二實施方式涉及一種復(fù)雜場景下的多視角人臉檢測方法。第二實施方式 在第一實施方式的基礎(chǔ)上進行了改進，主要改進之處在于在本實施方式中，在訓(xùn)練得到級 聯(lián)矢量樹結(jié)構(gòu)檢測器時，為了更好的繼承父節(jié)點分類器已有的分類能力，引入了嵌入式弱 分類結(jié)構(gòu)。具體流程如圖6所示，在步驟601中，根據(jù)人臉姿態(tài)及角度的劃分，創(chuàng)建一個矢量 樹，矢量樹中的每個節(jié)點為一個節(jié)點分類器。接著，在步驟602至步驟604中，從根節(jié)點開始，以先根遍歷的方式進行遞歸訓(xùn)練 各個節(jié)點分類器。具體地說，在步驟602中，訓(xùn)練樣本重采樣，并初始化樣本權(quán)重。接著，在步驟603中，訓(xùn)練遍歷的當(dāng)前節(jié)點分類器。具體訓(xùn)練流程如圖7所示，在 訓(xùn)練每個節(jié)點分類器時，計算父節(jié)點分類器對于訓(xùn)練樣本的分類置信度，用計算的置信度 作為特征值訓(xùn)練得到嵌入式弱分類器，將訓(xùn)練得到的嵌入式弱分類器作為第一個弱分類器 嵌入到當(dāng)前的節(jié)點分類器當(dāng)中。當(dāng)前的節(jié)點分類器中其他的普通弱分類器通過根據(jù)訓(xùn)練樣 本計算的特征值訓(xùn)練得到。通過將嵌入式分類器結(jié)構(gòu)引入到矢量樹結(jié)構(gòu)檢測器中，使得當(dāng) 前的節(jié)點分類器能夠繼承其父節(jié)點分類器的分類置信度，從而加快了節(jié)點分類器的收斂， 使得訓(xùn)練出的檢測器中包含的特征數(shù)目更少，進一步提高了檢測速度，提升檢測性能。值得一提的是，在訓(xùn)練普通弱分類器時，根據(jù)訓(xùn)練樣本計算的特征值為分塊局部 二值模式特征值，該分塊局部二值模式特征值(即分塊LBP特征值)為將圖像中的一個分 塊中像素值的和當(dāng)做一個像素值來計算局部二值模式的特征值。在本實施方式中，通過以 下方式計算圖像中一個區(qū)域的分塊局部二值模式特征值如圖8所示，首先，將一個區(qū)域分為9個同等大小的3女3的矩形塊。然后，計算 各個矩形塊內(nèi)部的像素灰度值總和，然后將中心塊的像素灰度值總和，與其8個鄰域塊的 像素灰度值總和進行大小比較。如果鄰域塊的像素灰度值總和大于中心塊的像素灰度值總 和，則該鄰域塊的值設(shè)為1。如果鄰域塊的像素灰度值總和小于或等于中心塊的像素灰度值 總和，則該鄰域塊的值設(shè)為0。最后，將得到的8個鄰域塊值連接起來，形成一個8位的二 進制串，將該二進制串的十進制值即作為區(qū)域的分塊局部二值模式特征值。圖8中的(a) 部分為矩形塊灰度分布示意；(b)部分為設(shè)置的鄰域塊的值，根據(jù)設(shè)置的鄰域塊的值，得到 的分塊LBP特征值為01111000 = 120 ； (c)部分為分塊LBP特征值對于描述示意。由此可 見，選用分塊LBP特征作為弱分類器的基本特征，能夠很好的描述臉部特征紋理，其結(jié)構(gòu)類 似于Haar-Iike特征結(jié)構(gòu)。由于該矩形窗口的位置、大小是可以改變的，因此在一 24女24歸一化后的人臉 區(qū)域內(nèi)，共有8000多個這樣的特征。相比傳統(tǒng)的LBP特征，分塊LBP特征具有更強的姿態(tài) 紋理變化適應(yīng)性；而相比Haar特征，在同樣區(qū)域的內(nèi)，其特征數(shù)目要明顯減少，從而訓(xùn)練速 度就會得到大大提升。在訓(xùn)練過程中，以樣本的LBP特征值為基數(shù)對樣本進行劃分；然后 計算出每個劃分上的分類能力，并根據(jù)其分類能力對這些劃分進行排序；最后利用Gentle AdaBoost對這些排序好的劃分進行分類，尋找出最小均方誤差錯誤率下的最優(yōu)分類及輸出 置信度。由于現(xiàn)有技術(shù)中使用的LBP特征，對LBP特征計算直方圖，得到一個向量。而本實施方式中的分塊LBP得到的是一個標(biāo)量，經(jīng)實踐檢驗效果優(yōu)于不分塊的。分塊LBP特征與 傳統(tǒng)LBP特征對于檢測性能影響的實驗結(jié)果如下對比實驗是在CMU_PROFILE_IMG庫上測試得到，該庫是當(dāng)前多視角人臉檢測算法 的通用測試庫，該庫中共有208張測試圖片，里面包含441個人臉，其中每個人臉的姿勢都 有很大不同。表1就是具體的測試結(jié)果，其中的誤檢個數(shù)表示總共誤檢為人臉目標(biāo)的個數(shù)， 表格中的百分比為人臉檢測率，只有當(dāng)誤檢個數(shù)越少，并且檢測率越高的情況下，才表明選 用的特征性能越好，因此從表1中可以明顯看出選用分塊LBP特征作為弱分類器的基本特 征具有明顯的性能優(yōu)勢。
權(quán)利要求
1.一種復(fù)雜場景下的多視角人臉檢測方法，其特征在于，包含以下步驟使用包含多個節(jié)點分類器的級聯(lián)矢量樹結(jié)構(gòu)檢測器對輸入的待測子窗口進行檢測，該 級聯(lián)矢量樹結(jié)構(gòu)檢測器中包括至少一個分支節(jié)點分類器，并且，在至少一個分支節(jié)點分類 器之前，有至少一個級聯(lián)的無分支節(jié)點分類器；其中，如果所述無分支節(jié)點分類器將所述待測子窗口判定為非人臉子窗口，則停止與 該無分支節(jié)點分類器級聯(lián)的分支節(jié)點分類器對該待測子窗口的進一步檢測；如果所述無分 支節(jié)點分類器將所述待測子窗口判定為人臉子窗口，則將該待測子窗口送到與該無分支節(jié) 點分類器級聯(lián)的分支節(jié)點分類器繼續(xù)檢測。
2.根據(jù)權(quán)利要求1所述的復(fù)雜場景下的多視角人臉檢測方法，其特征在于，通過以下 方式訓(xùn)練得到所述級聯(lián)矢量樹結(jié)構(gòu)檢測器根據(jù)人臉姿態(tài)及角度的劃分，創(chuàng)建一個矢量樹，所述矢量樹中的每個節(jié)點為一個節(jié)點 分類器；以先根遍歷的方式進行遞歸訓(xùn)練各個節(jié)點分類器；在訓(xùn)練每個節(jié)點分類器時，計算父節(jié)點分類器對于訓(xùn)練樣本的分類置信度，用計算的 置信度作為特征值訓(xùn)練得到嵌入式弱分類器，將訓(xùn)練得到的嵌入式弱分類器作為第一個弱 分類器嵌入到當(dāng)前的節(jié)點分類器當(dāng)中；當(dāng)前的節(jié)點分類器中其他的普通弱分類器通過根據(jù) 訓(xùn)練樣本計算的特征值訓(xùn)練得到。
3.根據(jù)權(quán)利要求2所述的復(fù)雜場景下的多視角人臉檢測方法，其特征在于，所述根據(jù) 訓(xùn)練樣本計算的特征值為分塊局部二值模式特征值；所述分塊局部二值模式特征值為將圖像中的一個分塊中像素值的和當(dāng)做一個像素值 來計算局部二值模式的特征值。
4.根據(jù)權(quán)利要求3所述的復(fù)雜場景下的多視角人臉檢測方法，其特征在于，通過以下 方式計算圖像中一個區(qū)域的所述分塊局部二值模式特征值將一個所述區(qū)域分為9個同等大小的3女3的矩形塊；計算各個矩形塊內(nèi)部的像素灰度值總和，然后將中心塊的像素灰度值總和，與其8個 鄰域塊的像素灰度值總和進行大小比較；如果鄰域塊的像素灰度值總和大于所述中心塊的像素灰度值總和，則該鄰域塊的值設(shè) 為1 ；如果鄰域塊的像素灰度值總和小于或等于所述中心塊的像素灰度值總和，則該鄰域 塊的值設(shè)為0 ；將得到的8個鄰域塊值連接起來，形成一個8位的二進制串，將該二進制串的十進制值 即作為所述區(qū)域的分塊局部二值模式特征值。
5.根據(jù)權(quán)利要求3所述的復(fù)雜場景下的多視角人臉檢測方法，其特征在于，還包含以 下步驟采用至少2個所述級聯(lián)矢量樹結(jié)構(gòu)檢測器對輸入的待測子窗口進行檢測，其中，至少 有一個級聯(lián)矢量樹結(jié)構(gòu)檢測器的輸入特征為其他級聯(lián)矢量樹結(jié)構(gòu)檢測器的輸入特征的旋 轉(zhuǎn)值；所述其他級聯(lián)矢量樹結(jié)構(gòu)檢測器的輸入特征為分塊局部二值模式特征值。
6.根據(jù)權(quán)利要求2所述的復(fù)雜場景下的多視角人臉檢測方法，其特征在于，在訓(xùn)練每 個節(jié)點分類器之前，還執(zhí)行以下步驟對訓(xùn)練樣本進行重采樣。
7.根據(jù)權(quán)利要求1至5中任一項所述的復(fù)雜場景下的多視角人臉檢測方法，其特征在 于，在所述分支節(jié)點分類器之前級聯(lián)的無分支節(jié)點分類器的層數(shù)預(yù)先設(shè)定，或根據(jù)多視角 人臉的檢測指標(biāo)動態(tài)設(shè)定。
8.一種復(fù)雜場景下的多視角人臉檢測裝置，其特征在于，包含 檢測窗口獲取模塊，用于根據(jù)輸入圖像獲取待測子窗口 ；級聯(lián)矢量樹結(jié)構(gòu)檢測器訓(xùn)練模塊，用于根據(jù)訓(xùn)練樣本訓(xùn)練得到包含多個節(jié)點分類器的 級聯(lián)矢量樹結(jié)構(gòu)檢測器，所述級聯(lián)矢量樹結(jié)構(gòu)檢測器中包括至少一個分支節(jié)點分類器，并 且，在至少一個分支節(jié)點分類器之前，有至少一個級聯(lián)的無分支節(jié)點分類器；檢測模塊，用于使用所述級聯(lián)矢量樹結(jié)構(gòu)檢測器對所述檢測窗口獲取模塊獲取到的待 測子窗口進行檢測，其中，當(dāng)所述級聯(lián)矢量樹結(jié)構(gòu)檢測器中的所述無分支節(jié)點分類器將所 述待測子窗口判定為非人臉子窗口時，停止與該無分支節(jié)點分類器級聯(lián)的分支節(jié)點分類器 對該待測子窗口的進一步檢測；當(dāng)所述無分支節(jié)點分類器將所述待測子窗口判定為人臉子 窗口時，將該待測子窗口送到與該無分支節(jié)點分類器級聯(lián)的分支節(jié)點分類器繼續(xù)檢測。
9.根據(jù)權(quán)利要求8所述的復(fù)雜場景下的多視角人臉檢測裝置，其特征在于，所述級聯(lián) 矢量樹結(jié)構(gòu)檢測器訓(xùn)練模塊包含以下子模塊矢量樹創(chuàng)建子模塊，用于根據(jù)人臉姿態(tài)及角度的劃分，創(chuàng)建一個矢量樹，所述矢量樹中 的每個節(jié)點為一個節(jié)點分類器；分類置信度計算子模塊，用于在訓(xùn)練每個所述節(jié)點分類器時，計算父節(jié)點分類器對于 訓(xùn)練樣本的分類置信度；嵌入式弱分類器訓(xùn)練子模塊，用于將所述分類置信度計算子模塊計算的置信度作為特 征值訓(xùn)練得到嵌入式弱分類器，并將訓(xùn)練得到的嵌入式弱分類器作為第一個弱分類器嵌入 到當(dāng)前的節(jié)點分類器當(dāng)中；普通弱分類器訓(xùn)練子模塊，用于通過根據(jù)訓(xùn)練樣本計算的特征值訓(xùn)練得到當(dāng)前的節(jié)點 分類器中其他的普通弱分類器；所述級聯(lián)矢量樹結(jié)構(gòu)檢測器訓(xùn)練模塊以先根遍歷的方式進行遞歸訓(xùn)練各個節(jié)點分類
10.根據(jù)權(quán)利要求9所述的復(fù)雜場景下的多視角人臉檢測裝置，其特征在于，所述根據(jù) 訓(xùn)練樣本計算的特征值為分塊局部二值模式特征值；所述分塊局部二值模式特征值為將圖像中的一個分塊中像素值的和當(dāng)做一個像素值 來計算局部二值模式的特征值。
11.根據(jù)權(quán)利要求10所述的復(fù)雜場景下的多視角人臉檢測裝置，其特征在于，所述普 通弱分類器訓(xùn)練子模塊通過包含以下子單元，計算圖像中一個區(qū)域的所述分塊局部二值模 式特征值劃分子單元，用于將一個所述區(qū)域分為9個同等大小的3 * 3的矩形塊； 像素灰度值總和計算子單元，用于計算各個所述矩形塊內(nèi)部的像素灰度值總和； 比較子單元，用于將中心塊的像素灰度值總和，與其8個鄰域塊的像素灰度值總和進 行大小比較；設(shè)置子單元，用于對于像素灰度值總和大于所述中心塊的像素灰度值總和的鄰域塊，將該鄰域塊的值設(shè)為1 ；對于像素灰度值總和小于或等于所述中心塊的像素灰度值總和的 鄰域塊，將該鄰域塊的值設(shè)為0 ；連接子單元，用于將得到的8個鄰域塊值連接起來，形成一個8位的二進制串，將該二 進制串的十進制值即作為所述區(qū)域的分塊局部二值模式特征。
12.根據(jù)權(quán)利要求10所述的復(fù)雜場景下的多視角人臉檢測裝置，其特征在于，所述檢 測模塊采用至少2個所述級聯(lián)矢量樹結(jié)構(gòu)檢測器對輸入的待測子窗口進行檢測，其中，至 少有一個級聯(lián)矢量樹結(jié)構(gòu)檢測器的輸入特征為其他級聯(lián)矢量樹結(jié)構(gòu)檢測器的輸入特征的 旋轉(zhuǎn)值；所述其他級聯(lián)矢量樹結(jié)構(gòu)檢測器的輸入特征為分塊局部二值模式特征值。
13.根據(jù)權(quán)利要求9所述的復(fù)雜場景下的多視角人臉檢測裝置，其特征在于，所述級聯(lián) 矢量樹結(jié)構(gòu)檢測器訓(xùn)練模塊還包含樣本更新子模塊，用于在訓(xùn)練每個節(jié)點分類器之前，對 訓(xùn)練樣本進行重采樣。
14.根據(jù)權(quán)利要求8至12中任一項所述的復(fù)雜場景下的多視角人臉檢測裝置，其特征 在于，在所述分支節(jié)點分類器之前級聯(lián)的無分支節(jié)點分類器的層數(shù)預(yù)先設(shè)定，或根據(jù)多視 角人臉的檢測指標(biāo)動態(tài)設(shè)定。
全文摘要
本發(fā)明涉及視頻監(jiān)控領(lǐng)域，公開了一種復(fù)雜場景下的多視角人臉檢測方法及其裝置。本發(fā)明中，在對待測子窗口進行人臉檢測的級聯(lián)矢量樹結(jié)構(gòu)檢測器中，在至少一個分支節(jié)點分類器之前，有至少一個級聯(lián)的無分支節(jié)點分類器。通過在分支節(jié)點分類器之間引入級聯(lián)分類器，利用級聯(lián)分類器對各個分支上的非人臉子窗口進行逐級有效的去除，降低了分支節(jié)點分類器的復(fù)雜度，減少了所含的弱分類器個數(shù)，從而在保證檢測率的同時提高檢測速度。
文檔編號G06K9/66GK102136075SQ20111005194
公開日2011年7月27日 申請日期2011年3月4日 優(yōu)先權(quán)日2011年3月4日
發(fā)明者張文聰, 胡揚忠, 蔡巍偉, 譚文明, 賈永華, 鄔偉琪 申請人:杭州?？低曑浖邢薰?br>