專利名稱：視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人臉檢測(cè)和跟蹤領(lǐng)域，尤其是指一種在視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法及系統(tǒng)。
背景技術(shù)：
人臉是計(jì)算機(jī)視覺系統(tǒng)中人機(jī)交互最便捷的方式之一。人臉檢測(cè)就是在圖像或圖像序列中確定所有人臉的位置、大小等信息，而人臉跟蹤則是持續(xù)跟蹤視頻序列中的一個(gè)或多個(gè)檢測(cè)人臉。人臉檢測(cè)與跟蹤技術(shù)不僅是人臉識(shí)別、表情識(shí)別、人臉合成等技術(shù)的必要前提，而且其在智能人機(jī)交互、視頻會(huì)議、智能監(jiān)控、視頻檢索等領(lǐng)域有著廣泛的應(yīng)用價(jià)值。
人臉檢測(cè)的重要性以及人臉模式的復(fù)雜性使得人臉檢測(cè)課題一直是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)研究熱點(diǎn)，相關(guān)文獻(xiàn)和方法非常多，主要分為基于啟發(fā)式規(guī)則和基于統(tǒng)計(jì)模型兩類。基于啟發(fā)式規(guī)則的方法首先提取人臉的邊緣、膚色、運(yùn)動(dòng)、對(duì)稱性、輪廓、臉部器官等具有明確物理含義的特征，然后按照對(duì)人臉的先驗(yàn)知識(shí)制定一系列規(guī)則，最后通過檢驗(yàn)特征是否符合這些先驗(yàn)規(guī)則來檢測(cè)人臉。這類方法速度一般比較快，但要依賴于固定的先驗(yàn)規(guī)則，適應(yīng)變化的能力差，虛警較多。基于統(tǒng)計(jì)的方法則是采用大量的“人臉”與“非人臉”樣本，通過所采用的像素灰度特征或者其它變換域特征，訓(xùn)練和構(gòu)造分類器，并利用所構(gòu)造的分類器對(duì)所有可能大小的候選人臉區(qū)域進(jìn)行判斷，從而檢測(cè)得到所有可能位置和大小的人臉。
盡管上述的方法是有大量樣本訓(xùn)練得到，在統(tǒng)計(jì)意義上更為可靠，擴(kuò)充了檢測(cè)的范圍，提高了檢測(cè)系統(tǒng)的魯棒性，較適合于復(fù)雜場(chǎng)景中的人臉檢測(cè)，但是需要的時(shí)間比較長，實(shí)時(shí)性比較差。
盡管現(xiàn)有技術(shù)中也采用了AdaBoost的人臉檢測(cè)算法，但是基于上述方法可見，仍然存在訓(xùn)練時(shí)間過長、提取的人臉特征數(shù)過多的問題，同時(shí)現(xiàn)有人臉檢測(cè)及跟蹤技術(shù)在獲取當(dāng)前幀目標(biāo)的位置時(shí)僅考慮了前一幀的直方圖，將前一幀的直方圖作為模板，這樣容易導(dǎo)致一些不穩(wěn)定結(jié)果，如果某幀跟蹤結(jié)果不夠準(zhǔn)確，則后續(xù)幀的跟蹤結(jié)果也會(huì)連續(xù)出錯(cuò)，還存在檢測(cè)左右光照不均勻的人臉的能力差，且容易受噪聲干擾，穩(wěn)定性比較差的問題。
并且由于圖像是視頻攝像頭輸入的視頻序列，這意味著輸入攝像頭的人臉存在著很大的不確定性，經(jīng)常受表情、外貌的干擾，胡須、眼鏡、頭發(fā)也會(huì)影響人臉的外觀。另外，人臉尺寸、旋轉(zhuǎn)、姿態(tài)、俯仰的變化、局部區(qū)域的遮擋，以及成像條件造成的變化等，都極大地影響人臉的外觀，從而影響算法性能。

發(fā)明內(nèi)容
本發(fā)明解決現(xiàn)有技術(shù)中采集到的視頻序列中進(jìn)行人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法及系統(tǒng)計(jì)算時(shí)間比較長、實(shí)時(shí)性比較差的技術(shù)問題，本發(fā)明的目的是采用基于AdaBoost統(tǒng)計(jì)分層分類器的人臉檢測(cè)方法，實(shí)現(xiàn)正面直立人臉的實(shí)時(shí)檢測(cè)，并結(jié)合基于Mean shift和直方圖特征的人臉跟蹤方法，實(shí)現(xiàn)了人臉的實(shí)時(shí)檢測(cè)和跟蹤，本發(fā)明的方法具有檢測(cè)及跟蹤迅速、實(shí)時(shí)性強(qiáng)的優(yōu)點(diǎn)。
本發(fā)明的目的是這樣實(shí)現(xiàn)的一種視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法，包括以下步驟輸入視頻圖像；采用實(shí)時(shí)人臉檢測(cè)算法對(duì)輸入的視頻圖像進(jìn)行人臉檢測(cè)；再采用粗細(xì)兩級(jí)人臉檢測(cè)算法對(duì)檢測(cè)到的人臉進(jìn)行檢測(cè)驗(yàn)證；采用物體跟蹤算法跟蹤驗(yàn)證后的人臉；通過對(duì)跟蹤區(qū)域的驗(yàn)證對(duì)跟蹤的人臉進(jìn)行驗(yàn)證處理。
所述的實(shí)時(shí)人臉檢測(cè)算法是基于AdaBoost算法由多級(jí)分類器實(shí)現(xiàn)。
所述的人臉檢測(cè)包含以下步驟接收到的圖像信息，進(jìn)行圖像縮放，搜索到人臉窗口；對(duì)檢測(cè)到的人臉進(jìn)行特征點(diǎn)定位，對(duì)人臉進(jìn)行幾何歸一化；對(duì)人臉進(jìn)行灰度均衡化處理；對(duì)人臉進(jìn)行旋轉(zhuǎn)縮放；得到檢測(cè)的標(biāo)準(zhǔn)人臉圖像。
在接收到的圖像中檢測(cè)人臉圖像，包括以下步驟對(duì)輸入的每幀圖像進(jìn)行搜索，如在某幀圖像中檢測(cè)到一個(gè)或多個(gè)人臉，在接下來的兩幀圖像中跟蹤這些人臉，并對(duì)后續(xù)兩幀圖像中跟蹤的人臉進(jìn)行檢測(cè)和驗(yàn)證；在某位置連續(xù)三幀檢測(cè)到人臉后，確定人臉存在，選擇其中一個(gè)開始跟蹤。
本發(fā)明的方法在對(duì)人臉進(jìn)行灰度均衡化處理后，還包括對(duì)人臉兩側(cè)灰度分別歸一化的步驟，使人臉左右半邊灰度的均值和方差相等。
所述的人臉旋轉(zhuǎn)縮放后還包括微特征計(jì)算以及分類器判決的步驟，該步驟是采用處理后的人臉圖像的積分圖和平方積分圖得到圖像中任意尺度、位置的微結(jié)構(gòu)特征。
所述的對(duì)檢測(cè)到的人臉進(jìn)行驗(yàn)證的步驟包括在后續(xù)幀中持續(xù)跟蹤選擇的人臉，如相鄰幀中后一幀與前一幀的跟蹤結(jié)果相似度低于設(shè)定值，停止跟蹤；前一目標(biāo)停止跟蹤后，在后續(xù)圖像中重新進(jìn)行人臉檢測(cè)，直到找到新的人臉，驗(yàn)證后進(jìn)行跟蹤步驟。
所述的粗細(xì)兩級(jí)人臉檢測(cè)算法是將人臉的檢測(cè)驗(yàn)證分兩級(jí)實(shí)現(xiàn)，粗檢測(cè)的人臉窗口的分辨率小于細(xì)檢測(cè)的人臉窗口的分辨率。
在進(jìn)行跟蹤驗(yàn)證后的人臉步驟中，所述的物體跟蹤算法是基于Meanshift和直方圖特征做出。
所述的直方圖包括長期直方圖、短期直方圖以及顏色直方圖。
對(duì)跟蹤區(qū)域驗(yàn)證的步驟是指每隔數(shù)幀在跟蹤區(qū)域進(jìn)行人臉檢測(cè)。
本發(fā)明還提出一種視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤系統(tǒng)，包括人臉檢測(cè)裝置與人臉跟蹤裝置，人臉檢測(cè)裝置包括人臉處理單元、微特征計(jì)算單元及分類器單元；所述的人臉處理單元接收到圖像信息，對(duì)接收到的圖像進(jìn)行縮放，窮舉搜索候選人臉窗口，計(jì)算窗口灰度的均值和方差；所述的特征計(jì)算單元根據(jù)AdaBoost算法計(jì)算出各個(gè)窗口的微結(jié)構(gòu)特征，并將其傳送給所述的分類器單元進(jìn)行判決，分類器單元進(jìn)行判決后將其傳送給人臉跟蹤裝置；所述的人臉跟蹤裝置包括物體跟蹤單元和跟蹤區(qū)域驗(yàn)證單元，物體跟蹤單元采用直方圖特征進(jìn)行計(jì)算，實(shí)現(xiàn)對(duì)圖像跟蹤，跟蹤區(qū)域驗(yàn)證單元對(duì)跟蹤的圖像進(jìn)行區(qū)域檢測(cè)，對(duì)跟蹤的人臉進(jìn)行驗(yàn)證。
所述的人臉檢測(cè)裝置的分類器單元還包含粗細(xì)兩級(jí)人臉檢測(cè)單元，接收微結(jié)構(gòu)特征，進(jìn)行粗細(xì)兩級(jí)檢測(cè)，確定人臉窗口。
所述的直方圖包括長期直方圖、短期直方圖以及顏色直方圖。
本發(fā)明產(chǎn)生的技術(shù)效果是顯著的本發(fā)明所述的方法和系統(tǒng)是基于AdaBoost算法進(jìn)行檢測(cè)的，并采用粗模型和細(xì)模型進(jìn)行人臉檢測(cè)驗(yàn)證，使本發(fā)明取得非常高的檢測(cè)率，且檢測(cè)速度非?？?，效率高，可實(shí)時(shí)實(shí)現(xiàn)；本發(fā)明在檢測(cè)過程中根據(jù)標(biāo)準(zhǔn)人臉灰度的均值和方差對(duì)左右人臉分辨率進(jìn)行灰度的歸一化，消除左右人臉光照不均勻的影響；本發(fā)明在人臉檢測(cè)完畢后在短時(shí)間內(nèi)繼續(xù)進(jìn)行人臉的跟蹤和驗(yàn)證，消除人臉檢測(cè)虛警的影響；人臉跟蹤過程中引入長期直方圖和短期直方圖兩個(gè)局部特征，反映前面圖像中目標(biāo)直方圖的變化過程，保證算法可以跟蹤姿態(tài)不斷變化的運(yùn)動(dòng)目標(biāo)。


圖1為本發(fā)明的人臉檢測(cè)與跟蹤方法的流程圖。
圖2a和圖2b為本發(fā)明的人臉檢測(cè)與跟蹤方法的檢測(cè)及跟蹤結(jié)果的示意圖。
圖3為基于AdaBoost分層分類器實(shí)現(xiàn)的人臉檢測(cè)流程示意圖。
圖4為分類器中的部分正樣本人臉圖像。
圖5為分類器中部分不包含人臉的反樣本圖像。
圖6a至圖6d為人臉樣本的標(biāo)定與采集的示意圖。
圖7為經(jīng)過兩側(cè)灰度歸一化處理后的樣本。
圖8為原始樣本和經(jīng)過鏡像、左右旋轉(zhuǎn)、放大處理后的樣本。
圖9為尺度歸一化后的反樣本數(shù)據(jù)。
圖10為本發(fā)明的人臉檢測(cè)算法的實(shí)施例選擇的七組微特征。
圖11為AdaBoost訓(xùn)練算法第K層分類器的訓(xùn)練流程示意圖。
圖12a和12b為人臉檢測(cè)后處理結(jié)果一個(gè)實(shí)施例的示意圖。
圖13a和圖13b為本發(fā)明的人臉跟蹤示意圖。
圖14為人臉檢測(cè)結(jié)果示意圖。
圖15為人臉檢測(cè)與跟蹤結(jié)果的示意圖。
圖16為本發(fā)明的系統(tǒng)一種構(gòu)成框圖。
圖17為本發(fā)明的系統(tǒng)的另一種構(gòu)成框圖。
具體實(shí)施例方式
本發(fā)明提出一種在視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法，結(jié)合圖1所示的內(nèi)容首先，輸入視頻圖像，在該步驟中由攝像頭實(shí)時(shí)輸入視頻圖像；然后，采用實(shí)時(shí)人臉檢測(cè)算法對(duì)輸入的視頻圖像進(jìn)行人臉檢測(cè)；接收到實(shí)時(shí)輸入的視頻圖像后，對(duì)每幀圖像進(jìn)行搜索，檢測(cè)人臉的存在；如圖2a所示，給出了人臉檢測(cè)的結(jié)果，其中正方形框表示為檢測(cè)到的人臉；在檢測(cè)過程中，如果在某幀圖像中檢測(cè)到一個(gè)或多個(gè)人臉，則在接下來的兩幀圖像中跟蹤這些人臉，并對(duì)后續(xù)兩幀圖像中跟蹤的人臉進(jìn)行檢測(cè)和驗(yàn)證，判斷前面的檢測(cè)結(jié)果是否是真的人臉；只有在某個(gè)位置連續(xù)三幀都檢測(cè)到人臉后，算法才認(rèn)為該位置人臉存在，如果場(chǎng)景中存在有多個(gè)人臉，挑選出一個(gè)人臉開始跟蹤；本發(fā)明的實(shí)施例中采用跟蹤最大的人臉進(jìn)行說明；
在后續(xù)幀中持續(xù)跟蹤挑選出來的人臉，如果相鄰幀中后一幀與前一幀的跟蹤結(jié)果的相似度低于設(shè)定值(該設(shè)定值可以任意設(shè)定)，則停止跟蹤；如果某個(gè)跟蹤目標(biāo)所在區(qū)域長時(shí)間未檢測(cè)到正面直立人臉，則認(rèn)為該目標(biāo)的跟蹤價(jià)值不大，停止跟蹤該目標(biāo)；前一個(gè)跟蹤目標(biāo)停止跟蹤后，在后續(xù)圖像中重新進(jìn)行人臉檢測(cè)，直到找到新的人臉，跟蹤新的人臉。如圖2b給出了人臉跟蹤的結(jié)果。
以下結(jié)合樣本的訓(xùn)練過程，對(duì)于本發(fā)明的檢測(cè)過程進(jìn)行說明，本發(fā)明是采用統(tǒng)計(jì)訓(xùn)練方法進(jìn)行場(chǎng)景中正面人臉的檢測(cè)，并采用AdaBoost理論實(shí)現(xiàn)人臉檢測(cè)統(tǒng)計(jì)模型的訓(xùn)練?；贏daBoost的人臉檢測(cè)算法首先由大量“人臉”和“非人臉”樣本訓(xùn)練一個(gè)“人臉/非人臉”二類分類器，在檢測(cè)過程中，由該分類器確定某個(gè)尺度的矩形窗口是否是人臉，設(shè)矩形長為m，寬為n，則人臉檢測(cè)的流程就是首先是按照一定比例連續(xù)放縮圖像，在得到的系列圖像中窮舉搜索和判別所有大小m×n像素窗口，將各個(gè)窗口輸入到“人臉/非人臉”分類器中，留下識(shí)別為人臉的候選窗口，再采用相鄰位置的候選，對(duì)合并后的平均值進(jìn)行計(jì)算，輸出所有檢測(cè)到的人臉的位置、大小等信息。
本發(fā)明所述的一種實(shí)時(shí)人臉檢測(cè)算法，是使用一種類似Harr小波的微結(jié)構(gòu)特征來表達(dá)人臉模式，并結(jié)合上述的AdaBoost算法提出了一種特征選擇方法，將多個(gè)基于單個(gè)特征的弱分類器組成為一個(gè)強(qiáng)分類器，然后將多個(gè)強(qiáng)分類器級(jí)聯(lián)成一個(gè)完整的人臉檢測(cè)分類器，結(jié)合圖3所示。本發(fā)明中檢測(cè)過程中形成的每層分類器都是由AdaBoost算法訓(xùn)練得到的一個(gè)強(qiáng)分類器，每層強(qiáng)分類器又由一定數(shù)量的弱分類器組成。檢測(cè)的時(shí)候，如果某一層強(qiáng)分類器判別一個(gè)子窗口為False就排除此子窗口而不進(jìn)行進(jìn)一步的判別，如果輸出為True則使用下一層更復(fù)雜的分類器對(duì)子窗口進(jìn)行判別。在候選窗口的搜索過程中，每一層強(qiáng)分類器都能讓幾乎全部人臉樣本通過，而拒絕大部分非人臉樣本。這樣輸入低層強(qiáng)分類器的窗口就多，而輸入高層的窗口大大減少。
人臉檢測(cè)算法需要對(duì)窮舉搜索后的圖像放縮一定尺度，得到人臉窗口，在本實(shí)施例中，以320×240像素的圖像為例，如按照1.25的比例縮小10次，并以20×20大小的窗口逐個(gè)像素進(jìn)行搜索，共需判斷170000余個(gè)窗口。這意味著一次人臉檢測(cè)都需要搜索大量的窗口，面對(duì)如此大的計(jì)算量，圖3的檢測(cè)流程中低層分類器必須非常簡(jiǎn)單，即前面的分類器包含的弱分類器數(shù)量少。后面的分類器復(fù)雜，包含的弱分類器數(shù)量多，這樣后面的層可采用較多的特征來拒除與人臉相似的候選窗口，從而保證了較低的誤檢率。
在進(jìn)行人臉檢測(cè)時(shí)，將檢測(cè)到的圖像與訓(xùn)練的樣本數(shù)據(jù)進(jìn)行對(duì)比，其中進(jìn)行模型的訓(xùn)練時(shí)，需要收集大量的人臉正樣本和反樣本數(shù)據(jù)，通過這些數(shù)據(jù)的收集，建立本發(fā)明的樣本數(shù)據(jù)庫，該數(shù)據(jù)庫中的正樣本包含多幅人臉樣本，這些樣本包括不同表情、不同膚色、不同年齡的人臉，包含-20°到20°深度旋轉(zhuǎn)的人臉，包含戴與不戴眼鏡人臉，部分樣本如圖4所示。反樣本數(shù)據(jù)就是大量不包含人臉的圖像，包括風(fēng)景圖像、動(dòng)物、文字等，參見圖5所示的內(nèi)容。在訓(xùn)練的時(shí)候分析所有人臉的關(guān)鍵特征點(diǎn)，確定每個(gè)正樣本人臉的兩眼中心、鼻尖、嘴巴中心以及下巴。根據(jù)這些標(biāo)定點(diǎn)對(duì)各個(gè)人臉進(jìn)行幾何歸一化，即將人臉圖像的主要器官位置矯正到標(biāo)準(zhǔn)位置，減小樣本間的尺度、平移和平面旋轉(zhuǎn)差異，然后根據(jù)器官位置剪裁出人臉區(qū)域成為人臉樣本，使人臉樣本盡量少地引入背景干擾，且不同人臉樣本的器官位置具有一致性。在進(jìn)行人臉檢測(cè)的過程中，也需要對(duì)檢測(cè)到的人臉作出器官位置的確定，以進(jìn)行人臉的幾何歸一化。
參考圖6a～圖6d所示的內(nèi)容，表示了一幅標(biāo)準(zhǔn)人臉圖像對(duì)各個(gè)人臉樣本進(jìn)行幾何歸一化和人臉區(qū)域的裁剪過程首先確定前面提供的檢測(cè)窗口尺度m×n為20×20，接著獲取一幅標(biāo)準(zhǔn)的正面人臉圖像，標(biāo)準(zhǔn)圖像中兩眼的y坐標(biāo)一致，人臉也完全對(duì)稱，如圖6a，標(biāo)定該圖像的五個(gè)關(guān)鍵特征點(diǎn)。根據(jù)該圖像中雙眼的距離和位置確定裁剪的正方形人臉區(qū)域的位置。設(shè)兩眼的距離為r，兩眼連線的中心點(diǎn)為(xcenter，ycenter)，采集矩形的長寬設(shè)為2r，即兩倍雙眼間距，則矩形裁剪區(qū)域的坐標(biāo)(xleft，ytop，xright，ybottom)為xleftytopxrightybittom=xcenter-rytop-0.5rxcemter+rybottom+1.5r---(1)]]>將裁剪的人臉區(qū)域歸一化到20×20的尺寸，如圖6b，并獲取歸一化后五個(gè)標(biāo)定點(diǎn)的坐標(biāo)[xstad(i)，ystad(i)]，i＝0，1，2，3，4。
任意給定原始人臉樣本和標(biāo)定的五個(gè)特征點(diǎn)[xlabel(i)，ylabel(i)]，i＝0，1，2，3，4，如圖6c，計(jì)算這五個(gè)點(diǎn)與標(biāo)準(zhǔn)圖像歸一化后五點(diǎn)坐標(biāo)間的仿射變換系數(shù)。在變換過程中應(yīng)該保證各個(gè)人臉樣本總的形狀不變，即長臉仍應(yīng)該是長臉，短臉仍應(yīng)該是短臉，這樣檢測(cè)算法就可以檢測(cè)不同類型的人臉，因此仿射變換式中不能加入人臉各個(gè)方向的拉伸變換，我們僅考慮旋轉(zhuǎn)和整體縮放兩個(gè)變換，由此可以確定仿射變換公式為xlabel(i)ylabel(i)=scosθ-ssinθssinθscosθxstad(i)ystad(i)ab=c-dadcbxstad(i)ystad(i)1,i=0,1,2,3,4---(2)]]>采用最小二乘法可以獲取上式中的變換參數(shù)(a，b，c，d)。
設(shè)裁剪后的人臉圖像為I，該圖像尺寸為20×20，則由仿射變換系數(shù)可以計(jì)算該圖像中任意一點(diǎn)(x，y)到原始樣本中對(duì)應(yīng)點(diǎn)坐標(biāo)(xori，yori)。
xoriyori=c-dadcbxy1---(3)]]>為消除噪聲的影響，裁剪后的圖像中(x，y)的像素值設(shè)為對(duì)應(yīng)點(diǎn)(xori，yori)鄰域范圍內(nèi)所有點(diǎn)像素值的均值。由此可以獲取I中所有點(diǎn)的像素值，如圖6d。
在進(jìn)行檢測(cè)的過程中，由于外界光照、成像設(shè)備等因素可能導(dǎo)致人臉圖像亮度或?qū)Ρ榷犬惓?，出現(xiàn)強(qiáng)陰影或反光等情況，另外不同人種的膚色間也存在這差異，因此需要對(duì)幾何歸一化后的人臉樣本進(jìn)行灰度均衡化處理，改善其灰度分布，增強(qiáng)模式間的一致性。由于在人臉檢測(cè)過程中，每一個(gè)搜索窗口都需要進(jìn)行灰度均衡化處理，因此不能采用計(jì)算較復(fù)雜的方法進(jìn)行灰度歸一化。本發(fā)明采用可用快速算法實(shí)現(xiàn)的圖像灰度均值、方差歸一化進(jìn)行樣本的灰度均衡化。另外，受不同方向特別是側(cè)面光照的影響，實(shí)際場(chǎng)景中左右兩邊人臉的亮度經(jīng)常存在著明顯的差異。因此本發(fā)明對(duì)兩側(cè)人臉灰度分別進(jìn)行歸一化，使人臉左右半邊灰度的均值和方差都等于一個(gè)設(shè)定的標(biāo)準(zhǔn)值。圖7給出了部分經(jīng)過兩側(cè)歸一化處理后的人臉圖像。
為增強(qiáng)分類器對(duì)人臉一定角度的旋轉(zhuǎn)和尺寸變化的檢測(cè)魯棒性，本發(fā)明對(duì)每個(gè)樣本進(jìn)行鏡像變換、旋轉(zhuǎn)±20°角度、尺寸放大1.1倍，如圖8。每個(gè)樣本擴(kuò)充為五個(gè)樣本，如此組成了AdaBoost訓(xùn)練的正樣本集。
反樣本數(shù)據(jù)則在AdaBoost的每層訓(xùn)練過程中到反樣本圖像庫中隨機(jī)選取。先隨機(jī)確定反樣本圖像的序號(hào)，隨機(jī)確定反樣本的尺寸和位置，接著到該序號(hào)對(duì)應(yīng)圖像中裁剪出對(duì)應(yīng)的區(qū)域，將裁剪圖像歸一化到20×20的尺寸，得到一個(gè)反樣本，圖9是部分反樣本數(shù)據(jù)。
本發(fā)明在進(jìn)行特征計(jì)算的時(shí)候采用了特征提取方法，在本實(shí)施例中使用了七組微特征，來有效地表達(dá)人臉模式的結(jié)構(gòu)特點(diǎn)。圖10給出了20×20圖像中所有的微特征結(jié)構(gòu)，計(jì)算圖像中對(duì)應(yīng)黑色區(qū)域和白色區(qū)域內(nèi)像素灰度均值的差值得到特征。前面六組微特征中黑色矩形和白色矩形的大小保持一致，而第七組微特征中白色矩形的長寬是黑色矩形的三倍。各組微特征中黑色矩形或者白色矩形的長、寬可以任意選擇，即每個(gè)矩形的尺寸可選1到20的任意數(shù)值。各組微特征中中心點(diǎn)的位置也可任意選擇，因此理論上在20×20圖像中可以獲取20×20×20×20×7＝1120000個(gè)特征。考慮到很多組特征中黑色或者白色區(qū)域已經(jīng)到了20×20圖像外面，對(duì)這類特征我們忽略不計(jì)。因此有效的特征數(shù)為89199。
在人臉檢測(cè)過程中需要不斷的計(jì)算微特征，并將微特征輸入到各層AdaBoost強(qiáng)分類器中進(jìn)行判決。因此微特征計(jì)算效率就決定了人臉檢測(cè)算法的效率。可以利用整幅圖像的積分圖和平方積分圖快速得到圖像中任意尺度、任意位置的一種微結(jié)構(gòu)特征，從而為人臉實(shí)時(shí)檢測(cè)系統(tǒng)的實(shí)現(xiàn)提供了可能，而且采用這種方法無需對(duì)抽取的各個(gè)20×20窗口的所有像素值進(jìn)行灰度歸一化，只需結(jié)合20×20窗口左右半邊的灰度均值和方差進(jìn)行微結(jié)構(gòu)特征的歸一化。
如圖11所示，是AdaBoost算法訓(xùn)練流程中第k層分類器的訓(xùn)練過程。首先將所有歸一化后的正樣本人臉數(shù)據(jù)輸入到前K-1層已經(jīng)訓(xùn)練好的分類器中，將通過這些分類器的正樣本輸入到第k層分類器的訓(xùn)練模塊中。再到前面提到的5400幅反樣本圖像中隨機(jī)選擇反樣本，將各個(gè)反樣本也輸入到前K-1層分類器中，將通過這K-1層分類器的樣本作為第k層分類器的訓(xùn)練模塊的輸入反樣本。在訓(xùn)練過程中我們會(huì)保證每層分類器不會(huì)淘汰或淘汰非常少的正樣本人臉。因此最后輸入到訓(xùn)練模塊中的正樣本基本保持在一定的數(shù)量。為獲取較好的分類性能，且訓(xùn)練效率不至過低，本發(fā)明選擇與正樣本數(shù)量相當(dāng)?shù)姆礃颖?。因此?dāng)隨機(jī)選擇的反樣本數(shù)達(dá)到正樣本相當(dāng)?shù)臄?shù)量時(shí)停止反樣本的選取，開始第k層分類器的訓(xùn)練。
AdaBoost的強(qiáng)分類器由基于單個(gè)特征的弱分類器組成，即每個(gè)弱分類器對(duì)應(yīng)一個(gè)微特征。本發(fā)明的弱分類器定義為 (4)其中x是20×20的圖像窗口，gj(x)表示圖像在第j個(gè)特征下的特征值，θi是第j個(gè)特征對(duì)應(yīng)的判決閾值，hj(x)表示圖像在第j個(gè)特征下的判決輸出。上式為每個(gè)弱分類器定義了一個(gè)微特征j和閾值θj，判決方式有三種可能，即根據(jù)輸入的微特征gj(x)是大于該閾值，還是小于該閾值，還是絕對(duì)值小于該閾值決定判決輸出是1還是0。每個(gè)弱分類器只能選一種判決可能，在訓(xùn)練過程中可根據(jù)所有的正反樣本對(duì)當(dāng)前微特征進(jìn)行處理，分別獲取三種判決對(duì)應(yīng)的閾值及訓(xùn)練樣本集上的分類錯(cuò)誤率，將錯(cuò)誤率最小的方式作為當(dāng)前弱分類器的判決方式。
接著對(duì)每層強(qiáng)分類器進(jìn)行訓(xùn)練，而訓(xùn)練過程實(shí)際上就是獲取各個(gè)弱分類器對(duì)應(yīng)的微特征序號(hào)的過程，從而使各弱分類器在訓(xùn)練集上總的分類能力最強(qiáng)。我們?cè)O(shè)定每層分類器包含的弱分類器固定，設(shè)為T，且一個(gè)微特征只能出現(xiàn)一次。第一個(gè)分類器對(duì)應(yīng)的微特征在后面的訓(xùn)練過程中將不考慮。下面列出了算法的訓(xùn)練流程 給定包含n個(gè)樣本的訓(xùn)練集{(xi，yi)}，i＝0，1，...，n-1{()}，yi＝0或1，表示對(duì)應(yīng)的輸入樣本xi是人臉樣本還是非人臉樣本，其中人臉樣本數(shù)量為m，非人臉樣本數(shù)量為1； 選擇誤分類風(fēng)險(xiǎn)倍數(shù)c，表示訓(xùn)練樣本分類錯(cuò)誤的風(fēng)險(xiǎn)大小，則對(duì)于人臉樣本Ci=2cm·(c+1),]]>對(duì)非人臉樣本Ci=2l·(c+1),]]>初始每個(gè)樣本的權(quán)重W0(i)=CiΣjCj,]]>c越大，則表示正樣本分類錯(cuò)誤的風(fēng)險(xiǎn)越大，在訓(xùn)練分類器就應(yīng)該盡量保證正樣本的分類錯(cuò)誤率盡可能的??； 迭代次數(shù)t＝0，1，....T-1(T即為希望選擇的弱分類器的個(gè)數(shù))(1)對(duì)每個(gè)特征j，利用單個(gè)特征訓(xùn)練分類器hj，根據(jù)訓(xùn)練樣本集的權(quán)值Wt得到最優(yōu)的閾值參數(shù)，使得hj的錯(cuò)誤率εj最小ϵj=Σi=on-1Wt(i)|hj(xi)-yi|;]]>(2)得到錯(cuò)誤率最小的弱分類器作為當(dāng)前層強(qiáng)分類器的第t個(gè)弱分類器ht，對(duì)應(yīng)的特征序號(hào)為ft，對(duì)應(yīng)的錯(cuò)誤率為εt；(3)計(jì)算參數(shù)αt=ln(1-ϵtϵt),]]>βt=ϵt1-ϵt;]]>(4)更新所有樣本的權(quán)重Wt+1(i)=Wt(i)βt1-eiZt,]]>其中ei＝0表示當(dāng)前弱分類器正確識(shí)別樣本xi，反之則ei＝1，Zi是歸一化因子，使更新的權(quán)重之和等于1 輸出最后的強(qiáng)分類器 強(qiáng)分類器輸出為1表示輸入樣本x通過該層強(qiáng)分類器，否則認(rèn)為輸入樣本是非人臉。
每層強(qiáng)分類器對(duì)正樣本的分類錯(cuò)誤率要盡可能的低，對(duì)單層強(qiáng)分類器而言，c越大，正樣本的初始權(quán)重越大，反樣本的初始權(quán)重越小，訓(xùn)練算法為降低各個(gè)弱分類器的錯(cuò)誤率εt，會(huì)盡可能保證權(quán)重大的樣本分類正確，因此c越大，正樣本的分類錯(cuò)誤率就越小，反樣本的分類錯(cuò)誤率就越高，因此我們?cè)谟?xùn)練過程采用手動(dòng)調(diào)節(jié)參數(shù)c的方法，使各層強(qiáng)分類器對(duì)訓(xùn)練正樣本的分類錯(cuò)誤率非常小，一般要小于0.05％。而對(duì)單層分類器而言，我們對(duì)反樣本的分類正確率即虛警率則沒有明確的要求。因?yàn)槿四槞z測(cè)算法由多個(gè)分類器級(jí)聯(lián)而成，每層的虛警率并不需要太低，而數(shù)十層的虛警率相乘得到的總虛警率就可以非常小，如果每層的正樣本錯(cuò)誤率都小于0.05％，總的正確率仍可達(dá)到99％，這樣就可保證算法可以檢測(cè)各種類型的訓(xùn)練樣本，又訓(xùn)練樣本已經(jīng)包括了各種類型、多個(gè)方向、多個(gè)標(biāo)準(zhǔn)和姿態(tài)的人臉，因此最后實(shí)現(xiàn)的人臉檢測(cè)模型可以檢測(cè)加入多類干擾的正面人臉樣本。
另外，單層強(qiáng)分類器的弱分類器數(shù)T也需要仔細(xì)調(diào)整。T越大，弱分類器數(shù)量越多，虛警率一般越??；由于將各個(gè)候選人臉窗口輸入到強(qiáng)分類器中時(shí)，需要先計(jì)算該層強(qiáng)分類器對(duì)應(yīng)的T個(gè)微特征，因此T越大也意味著該層強(qiáng)分類器的計(jì)算效率偏高。我們?cè)谟?xùn)練過程中需要根據(jù)虛警率不斷調(diào)節(jié)各層分類器T的大小，在虛警率與計(jì)算效率間尋找折衷，原則是每層分類器的虛警率要小，同時(shí)環(huán)能太大，計(jì)算效率要比較高。
在本發(fā)明的人臉檢測(cè)中，采用粗細(xì)兩級(jí)人臉檢測(cè)算法對(duì)檢測(cè)到的人臉進(jìn)行檢測(cè)驗(yàn)證；以下結(jié)合具體實(shí)施例進(jìn)行說明由于20×20圖像的微特征數(shù)達(dá)到了89199，這意味著在每次弱分類器的訓(xùn)練過程中都需要從89199特征中搜索出最佳的特征，這個(gè)過程是非常耗時(shí)的。為了提高訓(xùn)練算法的效率，同時(shí)也為了提高檢測(cè)算法的性能，本發(fā)明提出的粗細(xì)兩級(jí)人臉檢測(cè)算法，將人臉檢測(cè)過程分兩級(jí)實(shí)現(xiàn)，粗檢測(cè)搜索的人臉窗口尺寸固定為10×10，細(xì)檢測(cè)搜索的人臉窗口尺寸才是20×20。在檢測(cè)過程中我們同樣獲取不同尺度的圖像，接著對(duì)各個(gè)尺度圖像的分辨率再減半，搜索大小為10×10的人臉候選窗口，將各個(gè)窗口輸入到粗檢測(cè)的各層強(qiáng)分類器中，計(jì)算各層強(qiáng)分類器的微特征，并進(jìn)行判決，淘汰非人臉窗口，最后剩下少數(shù)候選人臉窗口輸入到細(xì)檢測(cè)中；將通過粗檢測(cè)的10×10窗口擴(kuò)為20×20窗口，進(jìn)行細(xì)檢測(cè)，到原來的分辨率未減半的尺度圖像中繼續(xù)搜索這些候選窗口，確定最終的人臉窗口。同樣，訓(xùn)練過程也分為兩部分，先訓(xùn)練粗檢測(cè)模型，再訓(xùn)練細(xì)檢測(cè)模型。
將訓(xùn)練集中所有的人臉正樣本分辨率再減半，得到10×10的粗檢測(cè)人臉樣本。而10×10人臉樣本總的微特征數(shù)僅為5676，這樣粗檢測(cè)模型的訓(xùn)練效率就遠(yuǎn)高于細(xì)檢測(cè)模型的效率。另外10×10圖像中人臉各個(gè)微特征的計(jì)算效率也高于20×20圖像中微特征的效率，因此采用這種兩級(jí)檢測(cè)方法也可以大大提高人臉檢測(cè)的速度。
任意輸入一幅圖像，為檢測(cè)該圖像中一定尺度范圍的人臉，我們分尺度對(duì)該圖像進(jìn)行縮放。例如，如果要檢測(cè)320×240圖像中尺度從20×20到240×240的人臉，我們需要在多個(gè)尺度縮小圖像。對(duì)粗檢測(cè)而言，最小縮小倍數(shù)應(yīng)為2，最大縮小倍數(shù)為24；對(duì)細(xì)檢測(cè)而言，最小縮小倍數(shù)為1，最大縮小倍數(shù)為12。如果將相鄰兩尺度的縮小倍數(shù)的比例設(shè)為1.25，則圖像的縮小倍數(shù)分別為(對(duì)粗檢測(cè)而言)2、2.5、3.13、3.91、4.88、6.10、7.63、9.54、11.9、14.9、18.6、23.3，共12個(gè)尺度。
將所有尺度圖像中通過粗細(xì)兩級(jí)檢測(cè)的正方形框反變換到原始輸入圖像的尺度和位置，得到原始圖像中人臉的候選位置和候選尺寸。一般情況下，一張真實(shí)人臉往往會(huì)在不同的尺度下和相鄰的位置處檢測(cè)出多次，而虛警的出現(xiàn)往往比較孤立，圖12a是一個(gè)示例。此時(shí)需要對(duì)檢測(cè)結(jié)果進(jìn)行后處理，將相鄰位置的人臉框合并，如果兩個(gè)候選人臉框的大小差異和位置差異都非常小，或者這兩個(gè)人臉框重疊面積非常大，就可以將這兩個(gè)框合二為一，合并框的位置是這兩個(gè)框位置的均值，大小也是這兩個(gè)框大小的均值。最后剩下少數(shù)幾個(gè)人臉框，每個(gè)框都由一定數(shù)量的候選框合并而成，這個(gè)數(shù)值是一個(gè)非常重要的參數(shù)，決定了檢測(cè)的人臉框是否是一個(gè)真實(shí)的人臉。本文設(shè)定一個(gè)閾值，如果合并框數(shù)大于這個(gè)閾值，則人臉當(dāng)前位置是一個(gè)真實(shí)人臉，否則淘汰該候選框。圖12b是合并后的結(jié)果。
前面提到的人臉檢測(cè)算法僅能檢測(cè)正面人臉，能容忍的人臉深度變化、平面旋轉(zhuǎn)角度都非常有限。另外，為獲取一幅圖像中的人臉，人臉檢測(cè)算法需要對(duì)不同尺度的縮放圖像進(jìn)行大量搜索，盡管算法可以在數(shù)十毫秒內(nèi)實(shí)現(xiàn)人臉的檢測(cè)，但這個(gè)過程仍舊是非常耗時(shí)和耗計(jì)算量的。如果對(duì)實(shí)時(shí)輸入的視頻序列的每幀圖像都進(jìn)行人臉檢測(cè)，則整個(gè)算法的計(jì)算量將非常驚人。人臉跟蹤另外一個(gè)重要的目的就是實(shí)現(xiàn)某個(gè)人臉的持續(xù)跟蹤，確認(rèn)長時(shí)間跟蹤的目標(biāo)是同一個(gè)人臉，這樣后續(xù)的人臉處理算法如人臉識(shí)別、表情識(shí)別等可以綜合視頻中多幀識(shí)別結(jié)果，大大提高識(shí)別算法的精度。
人臉的跟蹤是在人臉檢測(cè)的基礎(chǔ)上實(shí)現(xiàn)。先對(duì)視頻序列的輸入圖像進(jìn)行人臉檢測(cè)，為了降低程序CPU的占有率，可以每隔幾幀檢測(cè)一次人臉。檢測(cè)到人臉后在后續(xù)兩幀中對(duì)檢測(cè)人臉進(jìn)行跟蹤和驗(yàn)證，留下驗(yàn)證通過的人臉中最大的一個(gè)，持續(xù)跟蹤，處理人臉的各種姿態(tài)變換?？紤]到人臉面部的膚色有著非常鮮明的特征，與頭發(fā)、衣服、拍攝場(chǎng)景的差異都非常大，因此本發(fā)明也采用膚色特征實(shí)現(xiàn)人臉的跟蹤，而膚色特征的獲取通過顏色直方圖特征實(shí)現(xiàn)。如圖13，本文計(jì)算圓形區(qū)域內(nèi)的顏色直方圖，并利用第k-1幀的人臉坐標(biāo)、直方圖特征到第k幀圖像中進(jìn)行搜索，獲取第k幀的人臉位置。
本發(fā)明在進(jìn)行人臉跟蹤的時(shí)候，采用了基于Mean shift和直方圖特征的物體跟蹤算法，該算法正是采用直方圖特征實(shí)現(xiàn)某個(gè)顏色目標(biāo)的快速跟蹤，算法的處理效率非常高，該算法與人臉檢測(cè)結(jié)合起來，實(shí)現(xiàn)視頻序列中人臉的持續(xù)檢測(cè)與跟蹤。
本發(fā)明所述的方法，在計(jì)算人臉顏色直方圖特征時(shí)，可將R、G、B每個(gè)顏色空間量化為8級(jí)，總的顏色空間量化為8×8×8級(jí)，這樣每次計(jì)算的直方圖特征為512維。人臉區(qū)域有三個(gè)參數(shù)描述(xcen，ycen，rad)，分別表示人臉中心點(diǎn)的xy坐標(biāo)、圓形人臉的半徑，如圖13a，當(dāng)然在實(shí)際應(yīng)用的時(shí)候也可以采用其他的空間量化級(jí)實(shí)現(xiàn)。當(dāng)一幅新的圖像輸入時(shí)，跟蹤算法根據(jù)前一幀的人臉位置大小以及直方圖特征計(jì)算當(dāng)前幀人臉的新位置，并更新人臉的半徑，反映人臉大小的變換。
本發(fā)明在跟蹤的過程中引入了長期直方圖和短期直方圖兩個(gè)局部特征，其中長期直方圖是前面數(shù)十幀直方圖的均值，反映了人臉相當(dāng)長時(shí)間內(nèi)膚色的變化規(guī)律，而短期直方圖則是前面數(shù)幀直方圖的均值，反映的則是人臉短時(shí)間內(nèi)膚色的變化。在搜索當(dāng)前幀人臉的位置時(shí)，采用的匹配直方圖模板等于長期直方圖特征與短期直方圖特征的均值，這樣即使當(dāng)前幀人臉否認(rèn)姿態(tài)、光照、表情等變化劇烈，其膚色特征與直方圖模板的差異也不會(huì)太大，采用Mean shift算法(運(yùn)動(dòng)跟蹤算法)就可快速獲取人臉的位置。
為保證跟蹤目標(biāo)一定是人臉，并確保半徑rad可準(zhǔn)確描述人臉尺寸的變化，本發(fā)明在人臉跟蹤時(shí)加入了跟蹤區(qū)域的驗(yàn)證，即每隔數(shù)幀在跟蹤區(qū)域進(jìn)行正面人臉檢測(cè)，此時(shí)人臉的位置與尺寸已經(jīng)近似知道，因此不需要搜索整幅圖像，只需要搜索少數(shù)位置和少數(shù)尺度即可。如果在跟蹤區(qū)域檢測(cè)到正面人臉，系統(tǒng)再根據(jù)檢測(cè)人臉的大小和位置更新跟蹤參數(shù)，包括人臉的中心、半徑和直方圖特征。另外，如果連續(xù)數(shù)百幀都跟蹤到目標(biāo)，但在跟蹤區(qū)域都沒有檢測(cè)到正面人臉，此時(shí)可以認(rèn)為目標(biāo)不一定是人臉，停止跟蹤。在后續(xù)幀中對(duì)輸入圖像進(jìn)行窮搜索，重新檢測(cè)人臉并跟蹤。該方法可以用于人臉識(shí)別、表情識(shí)別、人臉合成等方法中去，以便進(jìn)行實(shí)時(shí)檢測(cè)和跟蹤。
本發(fā)明的人臉檢測(cè)算法可準(zhǔn)確檢測(cè)-20°到20°平面旋轉(zhuǎn)人臉、-20°到20°左右深度旋轉(zhuǎn)人臉，可以檢測(cè)一定范圍的抬頭和低頭人臉，可以檢測(cè)不同表情人臉，戴與不戴眼鏡對(duì)檢測(cè)效果沒有影響。圖14是一組人臉檢測(cè)結(jié)果，其中的圖14a中每個(gè)人臉圖像包括多個(gè)候選框和一個(gè)處理后的檢測(cè)結(jié)果框，其中線141所示的框表示后處理后的檢測(cè)結(jié)果，線142所示的框表示的為一個(gè)候選框，在本圖中包含了多個(gè)候選框；圖14b-d中的框是進(jìn)行后處理后的輸出結(jié)果，圖14c-d中人臉左右兩側(cè)光照差異較大，但本發(fā)明在方法中采用了左右灰度歸一化處理的方法，提高了檢測(cè)算法抗光照干擾的能力，實(shí)現(xiàn)了這類人臉的準(zhǔn)確檢測(cè)，圖15是一組跟蹤結(jié)果。
本發(fā)明上述的方法可由視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤系統(tǒng)實(shí)現(xiàn)，參考圖16的內(nèi)容，該系統(tǒng)包括人臉檢測(cè)裝置1與人臉跟蹤裝置2，人臉檢測(cè)裝置1包括人臉處理單元11、微特征計(jì)算單元12及分類器單元14；所述的人臉處理單元11接收到圖像信息，對(duì)接收到的圖像進(jìn)行縮放，窮舉搜索縮放圖像中的候選人臉窗口，計(jì)算窗口圖像左右半邊的均值和方差，然后將其傳送給所述的微特征計(jì)算單元12，所述的特征計(jì)算單元12根據(jù)AdaBoost算法計(jì)算出微結(jié)構(gòu)特征，并將其傳送給所述的分類器單元14進(jìn)行判決，分類器單元14進(jìn)行判決后將其傳送給人臉跟蹤裝置2；所述的人臉跟蹤裝置2包括物體跟蹤單元21和跟蹤區(qū)域驗(yàn)證單元22，物體跟蹤單元21采用直方圖特征進(jìn)行計(jì)算，實(shí)現(xiàn)對(duì)圖像跟蹤，跟蹤區(qū)域驗(yàn)證單元22對(duì)跟蹤的圖像進(jìn)行區(qū)域檢測(cè)，對(duì)跟蹤的人臉進(jìn)行驗(yàn)證。
在本發(fā)明所述的系統(tǒng)中，該人臉檢測(cè)裝置1的分類器單元14還包含粗細(xì)兩級(jí)人臉檢測(cè)單元13，接收微結(jié)構(gòu)特征，進(jìn)行粗細(xì)兩級(jí)檢測(cè)和后處理，確定人臉窗口，再進(jìn)行跟蹤。這種系統(tǒng)的構(gòu)成框圖可參見圖17所示的內(nèi)容。
本發(fā)明實(shí)現(xiàn)了實(shí)時(shí)輸入的視頻序列中人臉的檢測(cè)與持續(xù)跟蹤。該算法采用基于AdaBoost統(tǒng)計(jì)分層分類器的人臉檢測(cè)方法，實(shí)現(xiàn)正面直立人臉的實(shí)時(shí)檢測(cè)，并可檢測(cè)不同場(chǎng)景不同表情的人臉，容忍一定范圍和一定角度的姿態(tài)、旋轉(zhuǎn)變化，并且采用基于Mean shift和直方圖特征的人臉跟蹤方法，實(shí)現(xiàn)了檢測(cè)人臉的實(shí)時(shí)跟蹤，跟蹤算法速度塊，CPU占有率低，且不受人臉姿態(tài)的影響，側(cè)面、旋轉(zhuǎn)人臉同樣可以跟蹤。
以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法，其特征在于，包括以下步驟輸入視頻圖像；采用實(shí)時(shí)人臉檢測(cè)算法對(duì)輸入的視頻圖像進(jìn)行人臉檢測(cè)；再采用粗細(xì)兩級(jí)人臉檢測(cè)算法對(duì)檢測(cè)到的人臉進(jìn)行檢測(cè)驗(yàn)證；采用物體跟蹤算法跟蹤驗(yàn)證后的人臉；通過對(duì)跟蹤區(qū)域的驗(yàn)證對(duì)跟蹤的人臉進(jìn)行驗(yàn)證處理。
2.如權(quán)利要求1所述的視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法，其特征在于，所述的實(shí)時(shí)人臉檢測(cè)算法是基于AdaBoost算法由多級(jí)分類器實(shí)現(xiàn)。
3.如權(quán)利要求2所述的視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法，其特征在于，所述的人臉檢測(cè)包含以下步驟接收到的圖像信息，進(jìn)行圖像縮放，搜索到人臉窗口；對(duì)檢測(cè)到的人臉進(jìn)行特征點(diǎn)定位，對(duì)人臉進(jìn)行幾何歸一化；對(duì)人臉進(jìn)行灰度均衡化處理；對(duì)人臉進(jìn)行旋轉(zhuǎn)縮放；得到檢測(cè)的標(biāo)準(zhǔn)人臉圖像。
4.如權(quán)利要求3所述的視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法，其特征在于，在接收到的圖像中檢測(cè)人臉圖像，包括以下步驟對(duì)輸入的每幀圖像進(jìn)行搜索，如在某幀圖像中檢測(cè)到一個(gè)或多個(gè)人臉，在接下來的兩幀圖像中跟蹤這些人臉，并對(duì)后續(xù)兩幀圖像中跟蹤的人臉進(jìn)行檢測(cè)和驗(yàn)證；在某位置連續(xù)三幀檢測(cè)到人臉后，確定人臉存在，選擇其中一個(gè)開始跟蹤。
5.如權(quán)利要求3所述的視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法，其特征在于，對(duì)人臉進(jìn)行灰度均衡化處理后，還包括對(duì)人臉兩側(cè)灰度分別歸一化的步驟，使人臉左右半邊灰度的均值和方差相等。
6.如權(quán)利要求3所述的視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法，其特征在于，所述的人臉旋轉(zhuǎn)縮放后還包括微特征計(jì)算以及分類器判決的步驟，該步驟是采用處理后的人臉圖像的積分圖和平方積分圖得到圖像中任意尺度、位置的微結(jié)構(gòu)特征。
7.如權(quán)利要求4所述的視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法，其特征在于，所述的對(duì)檢測(cè)到的人臉進(jìn)行驗(yàn)證的步驟包括在后續(xù)幀中持續(xù)跟蹤選擇的人臉，如相鄰幀中后一幀與前一幀的跟蹤結(jié)果相似度低于設(shè)定值，停止跟蹤；前一目標(biāo)停止跟蹤后，在后續(xù)圖像中重新進(jìn)行人臉檢測(cè)，直到找到新的人臉，驗(yàn)證后進(jìn)行跟蹤步驟。
8.如權(quán)利要求1所述的視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法，其特征在于，所述的粗細(xì)兩級(jí)人臉檢測(cè)算法是將人臉的檢測(cè)驗(yàn)證分兩級(jí)實(shí)現(xiàn)，粗檢測(cè)的人臉窗口的分辨率小于細(xì)檢測(cè)的人臉窗口的分辨率。
9.如權(quán)利要求1所述的視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法，其特征在于，在進(jìn)行跟蹤驗(yàn)證后的人臉步驟中，所述的物體跟蹤算法是基于Mean shift和直方圖特征做出。
10.如權(quán)利要求9所述的視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法，其特征在于，所述的直方圖包括長期直方圖、短期直方圖以及顏色直方圖。
11.如權(quán)利要求9所述的視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法，其特征在于，對(duì)跟蹤區(qū)域驗(yàn)證的步驟是指每隔數(shù)幀在跟蹤區(qū)域進(jìn)行人臉檢測(cè)。
12.一種視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤系統(tǒng)，其特征在于，包括人臉檢測(cè)裝置與人臉跟蹤裝置，人臉檢測(cè)裝置包括人臉處理單元、微特征計(jì)算單元及分類器單元；所述的人臉處理單元接收到圖像信息，對(duì)接收到的圖像進(jìn)行縮放，窮舉搜索候選人臉窗口，計(jì)算窗口灰度的均值和方差；所述的特征計(jì)算單元根據(jù)AdaBoost算法計(jì)算出各個(gè)窗口的微結(jié)構(gòu)特征，并將其傳送給所述的分類器單元進(jìn)行判決，分類器單元進(jìn)行判決后將其傳送給人臉跟蹤裝置；所述的人臉跟蹤裝置包括物體跟蹤單元和跟蹤區(qū)域驗(yàn)證單元，物體跟蹤單元采用直方圖特征進(jìn)行計(jì)算，實(shí)現(xiàn)對(duì)圖像跟蹤，跟蹤區(qū)域驗(yàn)證單元對(duì)跟蹤的圖像進(jìn)行區(qū)域檢測(cè)，對(duì)跟蹤的人臉進(jìn)行驗(yàn)證。
13.如權(quán)利要求12所述的視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤系統(tǒng)，其特征在于，所述的人臉檢測(cè)裝置的分類器單元還包含粗細(xì)兩級(jí)人臉檢測(cè)單元，接收微結(jié)構(gòu)特征，進(jìn)行粗細(xì)兩級(jí)檢測(cè)，確定人臉窗口。
14.如權(quán)利要求12所述的視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤系統(tǒng)，其特征在于，所述的直方圖包括長期直方圖、短期直方圖以及顏色直方圖。
全文摘要
本發(fā)明提出一種視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)跟蹤的方法及系統(tǒng)，該方法包括以下步驟輸入視頻圖像；采用實(shí)時(shí)人臉檢測(cè)算法對(duì)輸入的視頻圖像進(jìn)行人臉檢測(cè)；再采用粗細(xì)兩級(jí)人臉檢測(cè)算法對(duì)檢測(cè)到的人臉進(jìn)行檢測(cè)驗(yàn)證；采用物體跟蹤算法跟蹤驗(yàn)證后的人臉；通過對(duì)跟蹤區(qū)域的驗(yàn)證對(duì)跟蹤的人臉進(jìn)行驗(yàn)證處理。本發(fā)明采用基于AdaBoost統(tǒng)計(jì)分層分類器的人臉檢測(cè)方法，實(shí)現(xiàn)正面直立人臉的實(shí)時(shí)檢測(cè)，并結(jié)合基于Mean shift和直方圖特征的人臉跟蹤方法，實(shí)現(xiàn)了人臉的實(shí)時(shí)檢測(cè)和跟蹤，本發(fā)明具有檢測(cè)及跟蹤迅速、實(shí)時(shí)性強(qiáng)的優(yōu)點(diǎn)。
文檔編號(hào)G06K9/32GK1794264SQ200510135668
公開日2006年6月28日 申請(qǐng)日期2005年12月31日 優(yōu)先權(quán)日2005年12月31日
發(fā)明者黃英, 王浩, 俞青 申請(qǐng)人:北京中星微電子有限公司