專利名稱：一種基于視頻的快速人臉檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及智能視頻監(jiān)控領(lǐng)域，特別是涉及一種基于視頻的快速人臉檢測方法。
背景技術(shù)：
人臉檢測、識(shí)別和跟蹤是智能視頻監(jiān)控系統(tǒng)中首要而關(guān)鍵的一步，在安全識(shí) 別、身份鑒定、基于內(nèi)容的壓縮與檢索等許多應(yīng)用領(lǐng)域具有廣泛而重要的應(yīng)用 前景。人臉檢測是這一任務(wù)的首要環(huán)節(jié)，長久以來，科學(xué)家和研究人員一直都 在致力于找到一個(gè)能夠快速準(zhǔn)確的檢測人臉的算法。
過去幾十年來，研究人員提出了各種不同的方法來檢測人臉，這些方法有的
基于灰度級別和顏色特征；有的使用各種特征模板來描述人臉局部輪廓或全局 輪廓特征并檢測人臉。
傳統(tǒng)的人臉檢測算法大部分都是基于靜態(tài)圖片開發(fā)的，近年來，研究人員開 始關(guān)注基于視頻的人臉檢測算法。在視頻監(jiān)控中，研究的對象是來自于攝像機(jī) 的視頻序列，視頻序列可以看作是由一系列靜止的圖片組成，因此，大部分基 于靜態(tài)圖片的方法也能用于視頻序列。但是，視頻序列中的人臉檢測處理有其 特殊之處視頻監(jiān)控中處理的視頻幀間具有時(shí)間上的相關(guān)性，而視頻幀中的監(jiān) 控對象具有空間上的相關(guān)性。因而，并非所有的算法能在基于視頻的檢測過程 中表現(xiàn)出良好的性能。
Paul Viola等人于2001年提出的基于Haar-like特征和Boosted Cascade框架
結(jié)構(gòu)的人臉檢測方法是第一個(gè)真正實(shí)時(shí)的人臉檢測算法。但它并沒有利用視頻 幀間的時(shí)空相關(guān)性，同時(shí)，對于視頻監(jiān)控應(yīng)用來說，它的實(shí)時(shí)性能還需要進(jìn)一 步的優(yōu)化。
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于視頻的人臉檢測方法。
本發(fā)明解決其技術(shù)問題采用的技術(shù)方案如下 l)預(yù)處理利用幀差法取得視頻前景，并判斷前景區(qū)域位置和比例的變化； 前景區(qū)域是一塊矩形區(qū)域，以&表示，前景區(qū)域位置定義矩形中心點(diǎn)的坐標(biāo)， 以(x,力表示，初始化值均為0，變量M,，M^分別表示前景區(qū)域S,的位置在x和y 兩個(gè)方向上的變化；假設(shè)第N幀中，前景區(qū)域S^的位置并定義為(^,h)，則
M.,M^分別定義為:
前景區(qū)域&在視頻幀中所占比例以Fc表示，假設(shè)第N幀中，前景區(qū)域S^所占 的比例被定義為^，則^丄被定義為
依據(jù)A,M^,《的值的大小，來判斷人臉檢測過程是否可以進(jìn)入審査模式，當(dāng) M, >15,M^ >15,《>1.15時(shí)，人臉檢測過程進(jìn)入審查模式。
2)時(shí)空域特征利用監(jiān)控視頻的時(shí)空域特征，將人臉檢測過程分為兩種不同 的模式審査模式和跟蹤模式； *審査模式
審査模式利用正面人臉檢測器，對前景區(qū)域做全面的搜索。 一旦新的人臉 被檢測到，系統(tǒng)不但要記錄該人臉在監(jiān)控區(qū)域的位置坐標(biāo)(X， Y)，尺寸(H,W)， 其中H表示人臉的長度，W表示人臉的寬度，同時(shí)要記錄其位置的變化(&,&) 和尺寸的變化(A,pw)信息，提供給跟蹤模式做運(yùn)動(dòng)估計(jì)和尺寸變化估計(jì)。因 此，每個(gè)檢測到的人臉信息被描述為-
其中<formula>formula see original document page 5</formula>
*跟蹤模式
在跟蹤模式下，根據(jù)己經(jīng)檢測到的人臉的相關(guān)信息，預(yù)測該人臉在當(dāng)前幀 中可能的位置和尺寸，并利用正面人臉檢測器，只在預(yù)測區(qū)域檢測人臉；如果 成功檢測到人臉，更新該人臉的相關(guān)信息，供下一次預(yù)測；如果在預(yù)測區(qū)域無 法檢測到人臉，表明跟蹤失敗，檢測流程轉(zhuǎn)入審查模式；
如果跟蹤模式中無法在預(yù)測區(qū)域檢測到人臉或者預(yù)測到在下一幀中正在跟 蹤的人臉將脫離監(jiān)控區(qū)域，檢測流程轉(zhuǎn)入審査模式，對前景區(qū)域做全面的搜索， 重新收集監(jiān)控區(qū)域的人臉信息。
所述的審查模式用于處理以下情況
*新的對象進(jìn)入監(jiān)控區(qū)域在上文中提到，當(dāng)有新的對象進(jìn)入監(jiān)控畫面時(shí)，
前景的位置和前景所占的比例會(huì)有一個(gè)明顯的變化，即M^15,M,15,《M.15。 于是檢測流程進(jìn)入審査模式，以收集新進(jìn)對象的相關(guān)信息；
*預(yù)測到監(jiān)控對象將要離開監(jiān)控區(qū)域當(dāng)跟蹤模式下預(yù)測到有監(jiān)控對象將 要離開監(jiān)控區(qū)域，檢測流程轉(zhuǎn)入審查模式，以確認(rèn)對象的離開，并收集當(dāng)前仍 滯留在監(jiān)控區(qū)域?qū)ο蟮南嚓P(guān)信息；
參跟蹤失敗盡管監(jiān)控對象在監(jiān)控區(qū)域的運(yùn)動(dòng)具有連貫性，但偶爾會(huì)出現(xiàn) 其實(shí)際運(yùn)動(dòng)與運(yùn)動(dòng)估計(jì)不符的情況。如果在跟蹤模式下，算法無法在預(yù)測區(qū)域 找到監(jiān)控對象，檢測流程轉(zhuǎn)入審查模式，重新獲取監(jiān)控區(qū)域內(nèi)各個(gè)對象的相關(guān)
"f曰息。
本發(fā)明與背景技術(shù)相比，具有的有益的效果是
本發(fā)明利用前景提取技術(shù)和監(jiān)控視頻中的時(shí)空域特征，減少檢測過程中需 要搜索的區(qū)域，避免了傳統(tǒng)的AdaBoost算法搜索全幀的缺陷，使得計(jì)算復(fù)雜性 大大降低，提高了智能視頻監(jiān)控應(yīng)用中人臉檢測的實(shí)時(shí)性。
圖l是前景區(qū)域位置變化的圖。
圖2是前景區(qū)域比例變化的圖。
圖3是基于視頻的人臉檢測方法的流程圖。
具體實(shí)施例方式
下面結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步說明。
首先，利用幀差法取得視頻前景，并判斷前景區(qū)域位置和比例的變化；前 景區(qū)域是一塊矩形區(qū)域，以S,表示，前景區(qū)域位置定義矩形中心點(diǎn)的坐標(biāo)，以 (x,力表示，初始化值均為0，變量M,，M^分別表示前景區(qū)域S,的位置在x和y 兩個(gè)方向上的變化；假設(shè)第N幀中，前景區(qū)域S^的位置并定義為^,h)，則 《，M,分別定義為
前景區(qū)域S,在視頻幀中所占比例以f;表示，假設(shè)第N幀中，前景區(qū)域S^所占 的比例被定義為&，則(F丄被定義為
依據(jù)M,，M^《的值的大小，來判斷人臉檢測過程是否可以進(jìn)入審査模式，當(dāng) M,〉15，M^〉15，F(xiàn),1.15時(shí)，人臉檢測過程進(jìn)入審査模式。如圖1所示，在幀l到 幀5這段區(qū)域內(nèi)，x和y的強(qiáng)烈變化都大于15了；圖2所示，在幀1到幀5這 段區(qū)域內(nèi)，前景區(qū)域的比例變化也大于1.15了，所以人臉檢測過程進(jìn)入審査模 式。
審査模式利用正面人臉檢測器，對前景區(qū)域做全面的搜索。 一旦新的人臉 被檢測到，系統(tǒng)不但要記錄該人臉在監(jiān)控區(qū)域的位置坐標(biāo)(X， Y)，尺寸(H,W)， 其中H表示人臉的長度，W表示人臉的寬度，同時(shí)要記錄其位置的變化(&^0 和尺寸的變化(A，A)信息，提供給跟蹤模式做運(yùn)動(dòng)估計(jì)和尺寸變化估計(jì)。因 此，每個(gè)檢測到的人臉信息被描述為-
其中<formula>formula see original document page 7</formula>
在跟蹤模式下，根據(jù)已經(jīng)檢測到的人臉的相關(guān)信息，預(yù)測該人臉在當(dāng)前幀 中可能的位置和尺寸，并利用正面人臉檢測器，只在預(yù)測區(qū)域檢測人臉；如果 成功檢測到人臉，更新該人臉的相關(guān)信息，供下一次預(yù)測；如果在預(yù)測區(qū)域無 法檢測到人臉，表明跟蹤失敗，檢測流程轉(zhuǎn)入審査模式；
如果跟蹤模式中無法在預(yù)測區(qū)域檢測到人臉或者預(yù)測到在下一幀中正在跟 蹤的人臉將脫離監(jiān)控區(qū)域，檢測流程轉(zhuǎn)入審查模式，對前景區(qū)域做全面的搜索， 重新收集監(jiān)控區(qū)域的人臉信息。
假設(shè)在第iV幀中運(yùn)用審査模式檢測到M張人臉，對于第/張人臉，以
<formula>formula see original document page 7</formula>表示；其中，5,、 5y被初始化為0， P力被初 始化為1.5， PJ皮初始化為2;
在第N+1幀中，檢測到的前景區(qū)域位置和比例未發(fā)生劇烈的改變，檢測流 程進(jìn)入跟蹤模式，根據(jù)上一幀中記錄的相關(guān)信息，第i張人臉的預(yù)測信息為
<formula>formula see original document page 7</formula>利用正面人臉檢測器，在預(yù)測區(qū)域做人臉檢測，如果成功檢測到人臉，記
錄相關(guān)的人臉信息，表示為
其中，S,、 pA、 ^以觀測值更新，并被用于下一次跟蹤預(yù)測:
<formula>formula see original document page 8</formula>
pw =
化
如果跟蹤模式中無法在預(yù)測區(qū)域檢測到人臉或者預(yù)測到在下一幀中正在 跟蹤的人臉將脫離監(jiān)控區(qū)域，檢測流程轉(zhuǎn)入審査模式，對前景區(qū)域做全面的 搜索，重新收集監(jiān)控區(qū)域的人臉信息。
整個(gè)工作流程如圖3所示。
8
權(quán)利要求
1.一種基于視頻的人臉檢測方法，其特征在于1)預(yù)處理利用幀差法取得視頻前景，并判斷前景區(qū)域位置和比例的變化；前景區(qū)域是一塊矩形區(qū)域，以Sf表示，前景區(qū)域位置定義矩形中心點(diǎn)的坐標(biāo)，以(x，y)表示，初始化值均為0，變量Mx，My分別表示前景區(qū)域Sf的位置在x和y兩個(gè)方向上的變化；假設(shè)第N幀中，前景區(qū)域Sf，N的位置并定義為(xN，yN)，則Mx，My分別定義為(Mx)N＝XN-XN-1(My)N＝Y(jié)N-YN-1前景區(qū)域Sf在視頻幀中所占比例以Fc表示，假設(shè)第N幀中，前景區(qū)域Sf，N所占的比例被定義為PN，則(Fc)n被定義為<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><msub> <mrow><mo>(</mo><msub> <mi>F</mi> <mi>c</mi></msub><mo>)</mo> </mrow> <mi>N</mi></msub><mo>=</mo><mfrac> <msub><mi>P</mi><mi>N</mi> </msub> <msub><mi>P</mi><mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn></mrow> </msub></mfrac> </mrow>]]></math></maths>依據(jù)Mx，My，F(xiàn)c的值的大小，來判斷人臉檢測過程是否可以進(jìn)入審查模式，當(dāng)Mx＞15，My＞15，F(xiàn)c＞1.15時(shí)，人臉檢測過程進(jìn)入審查模式；2)時(shí)空域特征利用監(jiān)控視頻的時(shí)空域特征，將人臉檢測過程分為兩種不同的模式審查模式和跟蹤模式；●審查模式審查模式利用正面人臉檢測器，對前景區(qū)域做全面的搜索。一旦新的人臉被檢測到，系統(tǒng)不但要記錄該人臉在監(jiān)控區(qū)域的位置坐標(biāo)(X，Y)，尺寸(H，W)，其中H表示人臉的長度，W表示人臉的寬度，同時(shí)要記錄其位置的變化(δx，δy)和尺寸的變化(ρh，ρw)信息，提供給跟蹤模式做運(yùn)動(dòng)估計(jì)和尺寸變化估計(jì)。因此，每個(gè)檢測到的人臉信息被描述為f＝<X，δx，Y，δy，H，ρh，W，ρw>其中δx＝Xn-xn-1，δy＝Y(jié)n-Yn-1，ρh＝Hn-Hn-1，ρh＝Wn-Wn-1●跟蹤模式在跟蹤模式下，根據(jù)已經(jīng)檢測到的人臉的相關(guān)信息，預(yù)測該人臉在當(dāng)前幀中可能的位置和尺寸，并利用正面人臉檢測器，只在預(yù)測區(qū)域檢測人臉；如果成功檢測到人臉，更新該人臉的相關(guān)信息，供下一次預(yù)測；如果在預(yù)測區(qū)域無法檢測到人臉，表明跟蹤失敗，檢測流程轉(zhuǎn)入審查模式；如果跟蹤模式中無法在預(yù)測區(qū)域檢測到人臉或者預(yù)測到在下一幀中正在跟蹤的人臉將脫離監(jiān)控區(qū)域，檢測流程轉(zhuǎn)入審查模式，對前景區(qū)域做全面的搜索，重新收集監(jiān)控區(qū)域的人臉信息。
2.根據(jù)權(quán)利要求1所述的一種基于視頻的人臉檢測方法，其特征在于所 述的審查模式用于處理以下情況*新的對象進(jìn)入監(jiān)控區(qū)域在上文中提到，當(dāng)有新的對象進(jìn)入監(jiān)控畫面時(shí)， 前景的位置和前景所占的比例會(huì)有一個(gè)明顯的變化，即M^^15,My〉15,《〉1.15。 于是檢測流程進(jìn)入審査模式，以收集新進(jìn)對象的相關(guān)信息；*預(yù)測到監(jiān)控對象將要離開監(jiān)控區(qū)域當(dāng)跟蹤模式下預(yù)測到有監(jiān)控對象將 要離開監(jiān)控區(qū)域，檢測流程轉(zhuǎn)入審查模式，以確認(rèn)對象的離開，并收集當(dāng)前仍 滯留在監(jiān)控區(qū)域?qū)ο蟮南嚓P(guān)信息；參跟蹤失敗盡管監(jiān)控對象在監(jiān)控區(qū)域的運(yùn)動(dòng)具有連貫性，但偶爾會(huì)出現(xiàn) 其實(shí)際運(yùn)動(dòng)與運(yùn)動(dòng)估計(jì)不符的情況。如果在跟蹤模式下，算法無法在預(yù)測區(qū)域 找到監(jiān)控對象，檢測流程轉(zhuǎn)入審査模式，重新獲取監(jiān)控區(qū)域內(nèi)各個(gè)對象的相關(guān) 梓,
全文摘要
本發(fā)明公開了一種基于視頻的人臉檢測方法。它關(guān)注視頻幀中的前景區(qū)域，通過預(yù)處理利用視頻幀間的時(shí)空域特征進(jìn)行前景區(qū)域的人臉檢測，將人臉檢測過程分為審查模式和跟蹤模式兩種不同的模式。如果跟蹤模式中無法在預(yù)測區(qū)域檢測到人臉或者預(yù)測到在下一幀中正在跟蹤的人臉將脫離監(jiān)控區(qū)域，檢測流程轉(zhuǎn)入審查模式，對前景區(qū)域做全面的搜索，重新收集監(jiān)控區(qū)域的人臉信息。本發(fā)明可以減少檢測過程中需要搜索的區(qū)域面積，減少檢測過程中需要搜索的區(qū)域，避免了傳統(tǒng)的AdaBoost算法搜索全幀的缺陷，使得計(jì)算復(fù)雜性大大降低，提高了智能視頻監(jiān)控應(yīng)用中人臉檢測的實(shí)時(shí)性。
文檔編號G06K9/00GK101350062SQ20081006344
公開日2009年1月21日 申請日期2008年8月5日 優(yōu)先權(quán)日2008年8月5日
發(fā)明者卜佳俊, 柏琦峰, 純 陳, 高正華 申請人:浙江大學(xué)