一種基于時空上下文學習的實時人臉跟蹤方法及系統(tǒng)的制作方法
【技術領域】
[0001] 本發(fā)明涉及人臉跟蹤技術領域，本發(fā)明公開了一種基于時空上下文學習的實時人 臉跟蹤方法及系統(tǒng)。
【背景技術】
[0002] 人臉跟蹤包括基于特征匹配的跟蹤，基于區(qū)域匹配的跟蹤和基于模型匹配的跟 蹤?；谔卣髌ヅ涞母櫍哼x擇一幀圖像中的人臉作為需要跟蹤的人臉，并提取出需要跟蹤 人臉的特征，同時在序列圖像的下一幀中提取圖像特征，將提取到的當前幀的圖像特征同 需要跟蹤的人臉特征進行比較，根據(jù)比較結(jié)果判斷是否是對應人臉，從而完成跟蹤過程。這 樣的方法由于遮擋或者光線的變化會導致跟蹤失敗?；趨^(qū)域匹配的跟蹤：該方法把圖像 中目標物體的連通區(qū)域的共同特征信息作為跟蹤檢測，這樣的方法不能根據(jù)目標的整體形 狀來對跟蹤結(jié)果進行調(diào)整，在長時間連續(xù)跟蹤時，容易因誤差累計而發(fā)生目標丟失?；谀?型匹配的跟蹤：通過建立模型的方法來表示需要跟蹤的目標物體，然后在序列圖像中跟蹤 模型來達到跟蹤的目的。
[0003] 在非控制環(huán)境下對人臉進行長時間實時跟蹤是計算機視覺模式識別領域的一個 難點，其面臨的主要問題表現(xiàn)在人臉外觀的突然變化，長時間遮擋等情況下跟蹤的失效?，F(xiàn) 有的目標跟蹤技術主要有兩大類，即靜態(tài)跟蹤和適應性跟蹤。靜態(tài)跟蹤模型假設目標外觀 變化有限且已知，一旦物體外觀的非預見性變化將極易造成跟蹤失效。為了克服這種缺陷， 適應性跟蹤技術在跟蹤過程中對物體的外觀模型進行了更新，外觀模型更新的正確性直接 影響了該類跟蹤的有效性。非正確更新對目標模型來說是引入了噪聲，通過一定時間的累 積效應，可能會造成跟蹤漂移增加甚至失效。針對人臉這一特殊跟蹤對象，M.Kim等人提出 了融合人臉檢測與跟蹤，通過引入視覺限制試圖解決適應性跟蹤的漂移問題，該方法適用 于人臉目標保持在視場范圍內(nèi)的應用場景。在長效跟蹤場景中，人臉目標可能隨時移入或 移出視場范圍，在這種跟蹤應用場合中人臉的再檢測就表現(xiàn)得尤為重要了。已知的成熟人 臉檢測技術使得跟蹤（trackingbydetection)成為現(xiàn)實，但針對人臉的跟蹤具有明顯的 劣勢：（1)所有的人臉均響應檢測模型，從而造成了目標人臉與干擾人臉之間的區(qū)分困難。 (2)通過引入特殊人臉檢測模型來區(qū)分干擾人臉的算法耗時嚴重且不適用于目標長時間消 失情況。（3)目標外觀模型更新完全取決于跟蹤結(jié)果，對于噪聲無判定手段，漂移量隨時間 累積增加。

【發(fā)明內(nèi)容】

[0004] 針對現(xiàn)有技術的跟蹤方法在長時間跟蹤時容易產(chǎn)生漂移的技術問題，本發(fā)明公開 了一種基于時空上下文學習的實時人臉跟蹤方法。本發(fā)明還公開了基于時空上下文學習的 實時人臉跟蹤系統(tǒng)。
[0005] 本發(fā)明的具體實現(xiàn)方式如下：
[0006] 一種基于時空上下文學習的實時人臉跟蹤方法，其具體包括：目標人臉確定，并將 確定的目標人臉位置傳遞給跟蹤器，開啟跟蹤；從第2幀開始，學習模塊分別完成對跟蹤器 的更新和對效判器的更新；然后確定當前幀中的候選目標人臉；最后將候選目標人臉與更 新后的跟蹤結(jié)果進行融合，得到目標人臉在當前幀的最終位置。
[0007] 更進一步地，上述方法具體包括以下的步驟：步驟一、初始幀人臉檢測與目標人臉 確定：通過人臉檢測器檢測得到初始幀內(nèi)所有人臉的位置，并將確定的目標人臉位置傳遞 給跟蹤器，開啟跟蹤；步驟二、歷史幀信息學習與模塊更新：從第2幀開始，對于第n幀，其 中n>l，學習模塊分別完成對跟蹤器的更新和對效判器的更新；所述對跟蹤器的更新是指 對時空上下文模型的更新，所述時空上下文模型是指利用了時間的上下文信息和空間上的 局部上下文信息建立的時空上下文模型，所述時間的上下文信息是指鄰近幀間目標人臉的 外觀和位置不會發(fā)生突變，所述空間上的局部上下文信息是指目標人臉和目標人臉周圍的 背景存在的短時或長時的某種特定關系；所述對效判器的更新是指通過收集前n-1幀目標 人臉正負樣本{Xi，ie(1，…，n-l)}更新目標人臉的外觀模型；步驟三、當前幀候選目標人 臉確定：從第2幀開始，對于第n幀，n>l，采用人臉檢測器檢測得到人臉，將檢測結(jié)果與更 新后的目標人臉的外觀模型通過效判器進行關聯(lián)，在多個人臉檢測位置中確定與目標外觀 模型最為接近的人臉位置，作為候選目標人臉；步驟四、當前幀目標位置確定：從第2幀開 始，對于第n幀，n>l，將候選目標人臉與更新后的跟蹤結(jié)果進行融合，得到目標人臉在當前 幀的最終位置。
[0008] 更進一步地，上述對時空上下文模型的更新具體為：利用目標局部空間上下文信 息在時間上的連續(xù)性建立時空上下文模型，將目標人臉位置出現(xiàn)概率分解為目標人臉與其 周圍的局部上下文空間關系的條件概率和局部上下文內(nèi)各點的先驗概率，條件概率通過在 線學習更新。
[0009] 更進一步地，上述對目標人臉的外觀模型的更新的學習策略為接受與初始目標相 似的當前跟蹤結(jié)果之前所形成軌跡所包含的所有目標。
[0010] 更進一步地，上述融合器的融合策略具體為：當檢測與跟蹤均有輸出，則通過判效 器關聯(lián)檢測結(jié)果與目標人臉，如只有一個候選目標則用其重新初始化跟蹤器；如存在大于 一個候選目標則采用其平均位置修正跟蹤器；當檢測器有輸出，跟蹤器無輸出，則通過判效 器關聯(lián)檢測結(jié)果與目標外觀模型后，重新初始化跟蹤器；當檢測器無輸出，跟蹤器有輸出， 則通過學習更新判效器。
[0011] 本發(fā)明還公開了一種基于時空上下文學習的實時人臉跟蹤系統(tǒng)，其具體包括人臉 檢測器、跟蹤器、效判器、融合器和歷史幀信息學習與更新模塊；所述人臉檢測器用于檢測 視頻幀中的人臉，并將確定的目標人臉位置傳遞給跟蹤器；所述跟蹤器用于跟蹤目標人臉； 所述效判器用于將檢測結(jié)果與跟蹤到的目標人臉進行關聯(lián)，在多個人臉檢測位置中確定與 跟蹤到的目標人臉最為接近的人臉位置；所述融合器用于將候選目標人臉與跟蹤結(jié)果進行 融合，得到目標人臉在當前幀的最終位置；所述歷史幀信息學習與更新模塊分別完成對跟 蹤器的更新和對效判器的更新；所述對跟蹤器的更新是指對時空上下文模型的更新，所述 時空上下文模型是指利用了時間的上下文信息和空間上的局部上下文信息建立的時空上 下文模型，所述時間的上下文信息是指鄰近幀間目標人臉的外觀和位置不會發(fā)生突變，所 述空間上的局部上下文信息是指目標人臉和目標人臉周圍的背景存在的短時或長時的某 種特定關系；所述對效判器的更新是指通過收集前n-1幀目標人臉正負樣本{Xi，ie(1，… ，n-l)}更新目標人臉的外觀模型。
[0012] 通過采用以上的技術方案，本發(fā)明具有以下的有益效果：本發(fā)明克服了當前時空 上下文學習跟蹤方法不能滿足長時間跟蹤所要求的對目標再檢測的需求，另一方面，也解 決了目前的跟蹤方法應用于人臉跟蹤時，無法區(qū)分目標人臉與干擾人臉的問題。將人臉檢 測與跟蹤方法在學習的架構(gòu)下進行融合。利用目標人臉局部時空上下文模型學習，提高了 跟蹤對長期遮擋的魯棒性。通過設計在線學習的判效器，將人臉檢測結(jié)果與目標人臉的相 似程度關聯(lián)，提升了目標外觀模型的正確更新能力。該方法在實時性和準確性上有了較好 表現(xiàn)，在測試環(huán)境中達到20幀每秒的處理速度，同時很好的適用于目標移入移出視場，實 現(xiàn)長效跟蹤。
【附圖說明】
[0013] 圖1為目標外觀模型更新策略圖。
[0014] 圖2為本發(fā)明的基于時空上下文學習的人臉檢測跟蹤方法的實現(xiàn)原理圖。
【具體實施方式】
[0015] 下面結(jié)合說明書附圖，詳細說明本