專利名稱：智能銀行視頻監(jiān)控中的多人臉跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于智能視頻監(jiān)控、人臉檢測與先進(jìn)的人機(jī)交互的技術(shù)領(lǐng)域，具體涉及到一種智能銀行視頻監(jiān)控中的多人臉跟蹤方法。
背景技術(shù)：
人臉跟蹤是人臉行為監(jiān)控中的核心技術(shù)之一。它的目的就是把從人臉檢測中已經(jīng)分割出的人臉模式進(jìn)行唯一的持續(xù)鎖定，即不管場景內(nèi)發(fā)生任何對于人臉表象的干擾如光照條件發(fā)生劇烈變化、人臉發(fā)生局部遮擋、人臉自身發(fā)生轉(zhuǎn)動和朝向的變化等，跟蹤方法都能保證在場景中持續(xù)出現(xiàn)的人臉目標(biāo)的具有唯一的ID號。人臉跟蹤作為視覺跟蹤的一個特例，具有很多普遍和特殊的方面。譬如通常的視覺跟蹤技術(shù)框架幾乎可以直接應(yīng)用在人臉跟蹤上，而人臉模式具有在場景中表象變化突出的特點(diǎn)，很多特別針對人臉信息的特征提取方法和技術(shù)可以為人臉跟蹤問題提供更加有效的解決方案。人臉跟蹤從應(yīng)用角度劃分，可以分為對人臉上的特征點(diǎn)的跟蹤和對整體人臉模式的跟蹤。對特征點(diǎn)的跟蹤主要是因?yàn)閷ξ骞偕系奶卣鼽c(diǎn)感興趣，在實(shí)際中的應(yīng)用通常是人機(jī)交互上的表情識別、唇讀識別和倦怠檢測等。在視頻監(jiān)控的應(yīng)用中，通常是指對人臉整體模式的跟蹤，從而為后續(xù)的行為分析和人臉識別提供必要的準(zhǔn)備條件。人臉跟蹤從技術(shù)層面劃分，可以分為特征提取部分和基于特征的跟蹤策略。(1)特征提取特征提取就是針對那些具有魯棒性的、易于計算的特征向量，通過各種變換的方法，把人臉模式從像素空間變換到特征空間，然后在幀間對目標(biāo)及其鄰域范圍內(nèi)的偽目標(biāo)進(jìn)行分類判別，從而使被跟蹤的人臉在時間持續(xù)期內(nèi)保持其ID的唯一性。采用的人臉特征可以是基于人臉紋理的特征或是人臉的形狀特征(比如通常會把人臉描述為具有尺度和朝向可控的橢圓模型)。隨著時間的演進(jìn)，人臉的特征模型進(jìn)行不斷的更新。(2)基于特征的跟蹤策略跟蹤策略分為對單人臉的策略和對多人臉的策略，其中單人臉的跟蹤策略描述為當(dāng)人臉表象發(fā)生變化(尺度，朝向，旋轉(zhuǎn)，表情)時的可靠跟蹤，不發(fā)生目標(biāo)漂移現(xiàn)象。當(dāng)場景中先后出現(xiàn)多張人臉時，原先跟蹤的目標(biāo)人臉始終能夠被鎖定而不發(fā)生ID的變更。這里強(qiáng)調(diào)的是跟蹤的魯棒性。多人臉的跟蹤策略實(shí)際上可看作單人臉跟蹤的增強(qiáng)版。跟蹤策略描述為當(dāng)場景中有多張人臉的交互和出現(xiàn)、消失時，跟蹤系統(tǒng)始終正確標(biāo)識和記錄各個目標(biāo)的ID。這里強(qiáng)調(diào)的是跟蹤的協(xié)作性。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問題是克服現(xiàn)有技術(shù)的不足，提供一種可靠的、實(shí)時的智能銀行視頻監(jiān)控中的多人臉跟蹤方法。本發(fā)明的技術(shù)解決方案是這種智能銀行視頻監(jiān)控中的多人臉跟蹤方法，包括以下步驟
(1)采用人臉檢測子系統(tǒng)在當(dāng)前幀內(nèi)進(jìn)行全局或局部掃描，得到檢測出的各個人臉的位置，并把它們添加到檢測鏈表中；(2)在初始化幀數(shù)達(dá)到設(shè)定閾值后，檢測鏈表中的人臉被拷貝到中間跟蹤鏈表中， 初始化多人臉跟蹤器，啟動跟蹤過程；(3)在當(dāng)前幀的跟蹤進(jìn)程中，初始化檢測鏈表、中間跟蹤鏈表、輸出跟蹤鏈表，即把各個人臉的匹配標(biāo)志位設(shè)置為假；(4)在中間跟蹤鏈表或輸出跟蹤鏈表為非空的情形下，如果檢測到的人臉與這兩個跟蹤鏈表中的某個人臉相匹配，則首先把對應(yīng)人臉在鏈表中的匹配標(biāo)志位設(shè)置為真，然后用檢測人臉的信息作為觀測值更新和演化該跟蹤鏈表中的相應(yīng)人臉的狀態(tài)；(5)在當(dāng)前幀內(nèi)掃描檢測鏈表中的人臉目標(biāo)，如果某個人臉目標(biāo)沒有任何一個跟蹤鏈表中的人臉目標(biāo)與之匹配，則認(rèn)為是在當(dāng)前幀內(nèi)出現(xiàn)的新人臉，將其加入到中間跟蹤鏈表中；(6)掃描中間跟蹤鏈表中的各個人臉目標(biāo)，如果某個人臉目標(biāo)的持續(xù)幀數(shù)達(dá)到設(shè)定閾值，則將該人臉目標(biāo)轉(zhuǎn)移到輸出跟蹤鏈表中；(7)如果中間跟蹤鏈表和輸出跟蹤鏈表中的某個確定的人臉目標(biāo)在當(dāng)前幀內(nèi)沒有捕獲到對應(yīng)的人臉觀測數(shù)據(jù)，則認(rèn)為此人臉目標(biāo)在當(dāng)前幀內(nèi)失配，轉(zhuǎn)到處理幀內(nèi)失配的流程如果失配的人臉目標(biāo)原來在中間跟蹤鏈表中，則認(rèn)為此目標(biāo)為暫態(tài)噪聲，從中間跟蹤鏈表中刪除；如果失配的人臉目標(biāo)在原來的輸出跟蹤鏈表中，則用該人臉目標(biāo)在前一幀的先驗(yàn)預(yù)測狀態(tài)作為當(dāng)前幀的觀測值；(8)根據(jù)輸出跟蹤鏈表中記錄的各個人臉目標(biāo)的狀態(tài)信息得到當(dāng)前幀的多人臉跟
S示結(jié)果。本發(fā)明采用人臉檢測子系統(tǒng)和多人臉跟蹤器這兩個子系統(tǒng)之間的協(xié)作來實(shí)現(xiàn)跟蹤，人臉檢測子系統(tǒng)采用一個離線AdaBoost學(xué)習(xí)的方法提取最優(yōu)區(qū)分特征，產(chǎn)生一系列由弱分類器線性組合而成的強(qiáng)分類器，然后再根據(jù)期望的檢測正確率構(gòu)造層疊分類器，實(shí)現(xiàn)對基本正面端正人臉模式的檢測，多人臉跟蹤器通過把多個目標(biāo)(包括確認(rèn)的人臉和候選的人臉)放入不同的鏈表進(jìn)行記錄和管理，實(shí)現(xiàn)在整個跟蹤過程中人臉目標(biāo)之間的對應(yīng)匹配，并且對鏈表進(jìn)行動態(tài)維護(hù)，因此實(shí)現(xiàn)了可靠的、實(shí)時的智能銀行視頻監(jiān)控中的多人臉跟
S示ο


圖1為根據(jù)本發(fā)明的方法中的核心算法功能；圖2為根據(jù)本發(fā)明的多人臉跟蹤器的信息控制流；圖3為一種典型的幀內(nèi)失配的情形，表示在兩張人臉發(fā)生局部遮擋的時刻t2之前，由于檢測子系統(tǒng)漏檢，第一張人臉丟失觀測而造成失配，在失配階段，跟蹤器用該人臉目標(biāo)在前一幀的先驗(yàn)預(yù)測狀態(tài)信息作為在當(dāng)前幀的觀測值進(jìn)行持續(xù)跟蹤；圖4為視頻回放的片段對人臉進(jìn)行檢測和跟蹤時的效果圖；圖5為實(shí)際攝像頭對人臉進(jìn)行檢測和跟蹤時的效果圖。
具體實(shí)施方式
這種智能銀行視頻監(jiān)控中的多人臉跟蹤方法，包括以下步驟(1)采用人臉檢測子系統(tǒng)在當(dāng)前幀內(nèi)進(jìn)行全局或局部掃描，得到檢測出的各個人臉的位置，并把它們添加到檢測鏈表中；(2)在初始化幀數(shù)達(dá)到設(shè)定閾值后，檢測鏈表中的人臉被拷貝到中間跟蹤鏈表中， 初始化多人臉跟蹤器，啟動跟蹤過程；(3)在當(dāng)前幀的跟蹤進(jìn)程中，初始化檢測鏈表、中間跟蹤鏈表、輸出跟蹤鏈表，即把各個人臉的匹配標(biāo)志位設(shè)置為假；(4)在中間跟蹤鏈表或輸出跟蹤鏈表為非空的情形下，如果檢測到的人臉與這兩個跟蹤鏈表中的某個人臉相匹配，則首先把對應(yīng)人臉在鏈表中的匹配標(biāo)志位設(shè)置為真，然后用檢測人臉的信息作為觀測值更新和演化該跟蹤鏈表中的相應(yīng)人臉的狀態(tài)；(5)掃描檢測鏈表中的人臉目標(biāo)，如果某個人臉目標(biāo)在當(dāng)前幀內(nèi)沒有跟蹤鏈表中的人臉與之匹配，則認(rèn)為是在當(dāng)前幀內(nèi)出現(xiàn)的新人臉，將其加入到中間跟蹤鏈表中；(6)掃描中間跟蹤鏈表中的人臉目標(biāo)，如果某個人臉目標(biāo)的持續(xù)幀數(shù)達(dá)到設(shè)定閾值，則將該人臉目標(biāo)轉(zhuǎn)移到輸出跟蹤鏈表中；(7)如果中間跟蹤鏈表和輸出跟蹤鏈表中某個特定的人臉目標(biāo)在當(dāng)前幀內(nèi)沒有與之匹配的人臉觀測數(shù)據(jù)，則認(rèn)為此人臉目標(biāo)在當(dāng)前幀內(nèi)失配，轉(zhuǎn)到處理幀內(nèi)失配的流程如果失配的人臉目標(biāo)處于中間跟蹤鏈表中，則認(rèn)為此目標(biāo)為暫態(tài)噪聲，從中間跟蹤鏈表中刪除；如果失配的人臉目標(biāo)處于輸出跟蹤鏈表中，則用該人臉目標(biāo)在前一幀的先驗(yàn)預(yù)測狀態(tài)信息作為當(dāng)前幀的觀測值；(8)根據(jù)輸出跟蹤鏈表中記錄的各個人臉目標(biāo)的狀態(tài)信息得到當(dāng)前幀的多人臉跟
S示結(jié)果。優(yōu)選地，人臉目標(biāo)之間的匹配采用了位置、運(yùn)動速度和尺度特征來對人臉對進(jìn)行相似度的度量，并保持該跟蹤器對相應(yīng)人臉的持續(xù)跟蹤。優(yōu)選地，在步驟(1)的人臉檢測子系統(tǒng)中采用了基于AdaBoost學(xué)習(xí)算法得到的級聯(lián)分類器，在每幀中獲取人臉目標(biāo)的觀測位置；在步驟(1)的人臉檢測范圍的切換基于當(dāng)前的跟蹤鏈表中是否有失配的人臉。優(yōu)選地，對于已經(jīng)存在于跟蹤器中的人臉目標(biāo)，用當(dāng)前幀中匹配上的人臉的信息作為觀測值輸入跟蹤器，得到預(yù)測估計的后驗(yàn)概率值。優(yōu)選地，在中間跟蹤鏈表和輸出跟蹤鏈表中，對于單個人臉目標(biāo)的跟蹤采用基于 Kalman濾波預(yù)測的算法實(shí)現(xiàn)對后驗(yàn)概率值的估計；并且為了便于在定點(diǎn)處理器上運(yùn)行時保證數(shù)值穩(wěn)定性，采用了用平方根濾波的形式替代傳統(tǒng)的Kalman濾波。圖4為視頻回放的片段對人臉進(jìn)行檢測和跟蹤時的效果圖；圖5為實(shí)際攝像頭對人臉進(jìn)行檢測和跟蹤時的效果圖。以下結(jié)合附圖和具體的實(shí)施例對本發(fā)明作進(jìn)一步的詳細(xì)說明。在圖1中，揭示了我們采用的實(shí)施例，其中的多人臉關(guān)聯(lián)策略是核心的技術(shù)。為方便多人臉目標(biāo)的跟蹤，多人臉關(guān)聯(lián)策略以鏈表的形式作為操作實(shí)體，鏈表間的調(diào)度策略反映多目標(biāo)的整體跟蹤過程。實(shí)現(xiàn)中，共使用了三個鏈表，分別為檢測鏈表、中間跟蹤鏈表和輸出跟蹤鏈表，三個鏈表依次順序關(guān)聯(lián)，互相通信，融為一個整體。檢測鏈表負(fù)責(zé)接收當(dāng)前視頻幀中檢測到的人臉；跟蹤中鏈表作為檢測鏈表和跟蹤鏈表的橋梁，用于緩存待輸?shù)礁欐湵碇械娜四様?shù)據(jù)，并對其中的非人臉噪聲點(diǎn)及時去除；通過檢驗(yàn)的確定人臉將加入到跟蹤鏈表，最為最終的結(jié)果輸出。每個單人臉目標(biāo)的跟蹤共同推動著多人臉目標(biāo)的跟蹤演化。單人臉目標(biāo)的跟蹤過程在跟蹤中鏈表和跟蹤鏈表中完成，維持跟蹤過程的觀測值來自于人臉檢測。在該框架中，人臉檢測機(jī)制分為鄰域單人臉檢測和全局多人臉檢測。圖2揭示了在上述實(shí)施例中，按照視頻流的時間序列，跟蹤器對輸入的狀態(tài)信息采用順序控制的方式通過預(yù)測更新狀態(tài)向量和誤差，實(shí)現(xiàn)對目標(biāo)的實(shí)時跟蹤。在上述實(shí)施例中，當(dāng)失配發(fā)生時，本發(fā)明基于局部遮擋判定法(test on occlusion)來判定人臉失配的情況，并采用相應(yīng)的跟蹤策略。圖3表示在兩張人臉發(fā)生局部遮擋的t2時刻之前，第一張人臉由于漏檢而丟失觀測。在等待的時間內(nèi)，跟蹤器依然保持著用Kalman濾波方法對失配的第一張人臉的跟蹤(blind tracking)，這時的觀測值用漏檢前最近的幀對下一幀的先驗(yàn)預(yù)測替代；若超時，則認(rèn)為此人臉已經(jīng)從場景中退出。以上所述，僅是本發(fā)明的較佳實(shí)施例，并非對本發(fā)明作任何形式上的限制，凡是依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對以上實(shí)施例所作的任何簡單修改、等同變化與修飾，均仍屬本發(fā)明技術(shù)方案的保護(hù)范圍。
權(quán)利要求
1.智能銀行視頻監(jiān)控中的多人臉跟蹤方法，其特征在于，包括以下步驟(1)采用人臉檢測子系統(tǒng)在當(dāng)前幀內(nèi)進(jìn)行全局或局部掃描，得到檢測出的各個人臉的位置，并把它們添加到檢測鏈表中；(2)在初始化幀數(shù)達(dá)到設(shè)定閾值后，檢測鏈表中的人臉被拷貝到中間跟蹤鏈表中，初始化多人臉跟蹤器，啟動跟蹤過程；(3)在當(dāng)前幀的跟蹤進(jìn)程中，初始化檢測鏈表、中間跟蹤鏈表、輸出跟蹤鏈表，即把各個人臉的匹配標(biāo)志位設(shè)置為假；(4)在中間跟蹤鏈表或輸出跟蹤鏈表為非空的情形下，如果檢測到的人臉與這兩個跟蹤鏈表中的某個人臉相匹配，則首先把對應(yīng)人臉在鏈表中的匹配標(biāo)志位設(shè)置為真，然后用檢測人臉的信息作為觀測值更新和演化該跟蹤鏈表中的相應(yīng)人臉的狀態(tài)；(5)掃描檢測鏈表中的人臉目標(biāo)，如果某個人臉目標(biāo)在當(dāng)前幀內(nèi)沒有跟蹤鏈表中的人臉目標(biāo)與之匹配，則認(rèn)為是在當(dāng)前幀內(nèi)出現(xiàn)的新人臉，將其加入到中間跟蹤鏈表中；(6)掃描中間跟蹤鏈表中的各個人臉目標(biāo)，如果某個人臉目標(biāo)的持續(xù)幀數(shù)達(dá)到設(shè)定閾值，則將該人臉目標(biāo)轉(zhuǎn)移到輸出跟蹤鏈表中；(7)如果中間跟蹤鏈表和輸出跟蹤鏈表中的某個確定的人臉目標(biāo)在當(dāng)前幀內(nèi)沒有捕獲到對應(yīng)的人臉觀測數(shù)據(jù)，則認(rèn)為此人臉目標(biāo)在當(dāng)前幀內(nèi)失配，轉(zhuǎn)到處理幀內(nèi)失配的流程如果失配的人臉目標(biāo)原來在中間跟蹤鏈表中，則認(rèn)為此目標(biāo)為暫態(tài)噪聲，從中間跟蹤鏈表中刪除；如果失配的人臉目標(biāo)在原來的輸出跟蹤鏈表中，則用該人臉目標(biāo)在前一幀的先驗(yàn)預(yù)測狀態(tài)信息作為當(dāng)前幀的觀測值；(8)根據(jù)輸出跟蹤鏈表中記錄的各個人臉目標(biāo)的狀態(tài)信息得到當(dāng)前幀的多人臉跟蹤結(jié)
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，人臉目標(biāo)之間的匹配采用了位置、運(yùn)動速度和尺度特征來對人臉對進(jìn)行相似度的度量，并保持該跟蹤器對相應(yīng)人臉的持續(xù)跟蹤。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在步驟(1)的人臉檢測子系統(tǒng)中采用了基于AdaBoost學(xué)習(xí)算法得到的級聯(lián)分類器，在每幀中獲取人臉目標(biāo)的觀測位置；在步驟(1) 的人臉檢測范圍的切換基于當(dāng)前的跟蹤鏈表中是否有失配的人臉。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，對于已經(jīng)存在于跟蹤器中的人臉目標(biāo)，用當(dāng)前幀中匹配上的人臉的信息作為觀測值輸入跟蹤器，得到預(yù)測估計的后驗(yàn)概率值。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在中間跟蹤鏈表和輸出跟蹤鏈表中，對于單個人臉目標(biāo)的跟蹤采用基于Kalman濾波預(yù)測的算法實(shí)現(xiàn)對后驗(yàn)概率值的估計；并且為了便于在定點(diǎn)處理器上運(yùn)行時保證數(shù)值穩(wěn)定性，采用了用平方根濾波的形式替代傳統(tǒng)的 Kalman 濾波。
全文摘要
公開了一種用于智能銀行視頻監(jiān)控的多人臉跟蹤方法，包括用人臉檢測子系統(tǒng)在當(dāng)前幀內(nèi)掃描得到人臉位置并添加到檢測鏈表；在初始幀數(shù)后，拷貝檢測鏈表中的人臉到中間跟蹤鏈表，啟動多人臉跟蹤器；在當(dāng)前幀內(nèi)初始化檢測鏈表、中間跟蹤鏈表、輸出跟蹤鏈表；如果兩個跟蹤鏈表非空且有元素與檢測到人臉目標(biāo)匹配，用檢測的人臉信息更新跟蹤鏈表中相應(yīng)的人臉狀態(tài)；再次掃描檢測鏈表，如果有未匹配的人臉目標(biāo)，判別為當(dāng)前幀內(nèi)新人臉，并加入到中間跟蹤鏈表；掃描中間跟蹤鏈表，若某人臉目標(biāo)的持續(xù)幀數(shù)達(dá)到閾值，則將該人臉目標(biāo)轉(zhuǎn)移到輸出跟蹤鏈表；對于兩個跟蹤鏈表中未匹配上的人臉判為幀內(nèi)失配；多人臉跟蹤的結(jié)果取自輸出跟蹤鏈表中的人臉狀態(tài)信息。
文檔編號G06K9/00GK102496009SQ20111040815
公開日2012年6月13日 申請日期2011年12月9日 優(yōu)先權(quán)日2011年12月9日
發(fā)明者孫尚白, 孫昕, 楊慧松 申請人:北京漢邦高科數(shù)字技術(shù)股份有限公司