專利名稱：實時魯棒的人臉追蹤顯示方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及人臉信息自動獲取及顯示方法及系統(tǒng)，尤其涉及一種實時魯棒的人臉追蹤顯示方法及系統(tǒng)。
背景技術：
近年來，攝像頭已經成為計算機必不可少的配置之一，其在家庭娛樂領域的應用也取得了長足發(fā)展。
但是，大多數(shù)傳統(tǒng)攝像頭的放縮顯示功能，僅僅是對某個區(qū)域的圖像進行放縮顯示，沒有根據視頻中存在的人臉位置進行縮放，更無法跟蹤人臉變化來確定放縮區(qū)域；即使存在的一些能根據人臉位置對圖像進行放縮顯示的產品，對人臉信息的獲取也是根據人臉膚色進行的，不僅位置不準確，而且容易受到干擾；此外，很多產品由于沒有采用人臉追蹤技術，隔一段時間才會進行一次人臉檢測，得到的人臉信息不連續(xù)，因此，顯示處理是非實時的，存在延時現(xiàn)象，產生的效果也很跳躍。

發(fā)明內容
本發(fā)明所要解決的技術問題在于提供一種實時魯棒的人臉追蹤顯示方法及系統(tǒng)，能夠自動連續(xù)準確地獲取視頻中人臉的位置，并根據人臉位置確定顯示圖像范圍；本發(fā)明需要解決的技術問題還包括穩(wěn)定地獲取人臉信息，并平緩穩(wěn)定地顯示輸出人臉為焦點的圖像，以及模擬機械攝像頭平緩漸變放縮平移顯示圖像區(qū)域的效果，形成一種機械攝像頭跟蹤顯示人臉區(qū)域的效果。
為解決上述技術問題，本發(fā)明提供一種實時魯棒的人臉追蹤顯示方法，包括如下步驟
(1)輸入視頻圖像，在人臉檢測的基礎上對視頻中的人臉進行追蹤，獲得人臉信息；(2)根據當前幀中的人臉大小與位置，在當前幀圖像中確定需要顯示的目標區(qū)域；(3)根據確定的目標區(qū)域，將輸入圖像中目標區(qū)域的圖像放縮到輸出圖像的大小。
其中，所述步驟(1)可以進一步包括將當前幀的人臉信息與前幀人臉信息進行比較，根據比較結果，平滑當前幀的人臉信息。
其中，所述步驟(2)可以進一步包括根據前幀人臉信息，判斷當前幀的人臉信息的變化，并根據變化幅度更新所述需要顯示的目標區(qū)域。
其中，所述判斷步驟，如果判斷到變化幅度屬于微小變化，則不更新所述需要顯示的目標區(qū)域。
本發(fā)明還提供一種實時魯棒的人臉追蹤顯示系統(tǒng)，包括人臉信息獲取模塊、處理顯示模塊，其中所述人臉信息獲取模塊，包括人臉追蹤單元，用于輸入視頻圖像，在人臉檢測的基礎上對視頻中的人臉進行追蹤，獲得人臉信息；所述處理顯示模塊，包括目標區(qū)域確定單元，用于根據當前幀中的人臉大小與位置，在當前幀圖像中確定需要顯示的目標區(qū)域；圖像縮放單元，用于根據確定的目標區(qū)域，將輸入圖像中目標區(qū)域的圖像放縮到輸出圖像的大小。
其中，所述人臉信息獲取模塊，可以進一步包括人臉平滑單元，用于將當前幀的人臉信息與前幀人臉信息進行比較，根據比較結果，平滑當前幀的人臉信息。
其中，所述目標區(qū)域確定單元，可以進一步用于根據前幀人臉信息，判斷當前幀的人臉信息的變化是否屬于微小變化，如果是，則不更新所述需要顯示的目標區(qū)域。
其中，所述目標區(qū)域確定單元，在確定需要顯示的目標區(qū)域的大小時，包括確定目標區(qū)域的長和寬，其中長和寬成比例，寬度取為min(wfα，βwsn-1，rs/outputWoutput)，其中，wf為人臉大小，α為目標區(qū)域的最終大小與人臉大小的比例系數(shù)，wsn-1為前幀顯示區(qū)域寬度，β為放縮因子，Woutput為輸出顯示圖像，rs/output＝ws/Woutput；所述目標區(qū)域確定模塊，在確定需要顯示的目標區(qū)域的范圍時，包括自動平移目標區(qū)域，使得其范圍位于輸入圖像范圍內。
其中，所述圖像縮放單元，通過預設縮放因子，根據圖像放縮算法，將輸入圖像中目標區(qū)域的圖像逐漸放縮到輸出圖像的大小。
應用本發(fā)明，根據自動獲取的視頻中人臉位置信息，對圖像進行縮放，使得顯示圖像以人臉為焦點，顯示人臉附近區(qū)域，當視頻中人臉位置發(fā)生變化時，能夠追蹤人臉的位置變化，顯示人臉所在區(qū)域的圖像。本發(fā)明在自動放縮過程中，可以緩緩的放縮圖像，模擬機械攝像頭漸漸拉伸鏡頭的效果。本發(fā)明可以自動濾除人臉的微小變化，從而保持穩(wěn)定的顯示人臉所在區(qū)域，避免顯示區(qū)域的抖動。此外，本發(fā)明還可以在顯示圖像中顯示一副全景圖像，同時為用戶提供全局信息。


圖1為根據本發(fā)明的實施例所述的實時魯棒的人臉追蹤顯示系統(tǒng)示意圖。
圖2為根據本發(fā)明的實施例所述的實時魯棒的人臉追蹤顯示方法流程示意圖。
具體實施例方式
本發(fā)明提供的實時魯棒的人臉追蹤顯示系統(tǒng)，可以由人臉信息獲取模塊與處理顯示模塊組成。通過人臉信息獲取模塊來接收輸入的人臉圖像視頻序列，并通過處理顯示模塊，來持續(xù)追蹤人臉顯示區(qū)域范圍，并縮放處理。
其中，所述人臉信息獲取模塊，可以包括人臉追蹤單元，用于根據通過攝像頭實時輸入的視頻圖像，在人臉檢測的基礎上對視頻中的人臉進行追蹤，獲得人臉信息；人臉平滑單元，用于將當前幀的人臉信息與前幀人臉信息進行比較，根據比較結果，平滑當前幀的人臉信息。
所述處理顯示模塊，包括目標區(qū)域確定單元，用于在平滑后的人臉信息基礎上，根據當前幀中的人臉大小與位置確定需要顯示的目標區(qū)域的大小與范圍；圖像縮放單元，用于將輸入圖像中目標區(qū)域的圖像逐漸放縮到輸出圖像的大小。
其中，所述目標區(qū)域確定單元，可以進一步用于根據前幀人臉信息，判斷當前幀的人臉信息的變化是否屬于微小變化，如果是，則不更新所述需要顯示的目標區(qū)域。
具體的，參考圖1，為根據本發(fā)明的實施例所述的實時魯棒的人臉追蹤顯示系統(tǒng)示意圖。
視頻流數(shù)據首先輸入人臉信息獲取模塊中的人臉追蹤單元，采用人臉跟蹤算法，獲取人臉區(qū)域所在位置，從而獲取得到人臉的位置和大小等信息。然后經過人臉平滑單元的動態(tài)平均，平滑獲得的人臉信息，保證顯示效果的穩(wěn)定和連續(xù)變化。然后在處理顯示模塊中，首先濾除微小變化，然后根據人臉大小位置確定顯示范圍，并進行相鄰幀放縮尺度約束，最后執(zhí)行圖像放縮后，輸出視頻流。
參考圖2，為根據本發(fā)明的實施例所述的實時魯棒的人臉追蹤顯示方法流程示意圖。下面分步驟進行說明步驟201采用人臉跟蹤算法，獲取人臉區(qū)域所在位置，從而獲取得到人臉的位置和大小等信息。
人臉檢測跟蹤算法來獲取人臉位置信息的方法有很多，例如，我們可以采用中國專利申請200510135668.8中提供的“一種視頻序列中人臉的實時檢測與持續(xù)追蹤的方法及系統(tǒng)”提及的算法來實現(xiàn)。下面簡單說明該算法的主要步驟首先，采用目前最為流行的層次型AdaBoost算法訓練選取Haar-like微結構特征組成分類器來進行人臉檢測。其次，在人臉檢測的基礎上對視頻中的人臉進行跟蹤。人臉跟蹤具體步驟如下(1)由攝像頭實時輸入視頻圖像；(2)在未獲取跟蹤目標前，每幀搜索圖像，檢測人臉的存在；(3)如果某幀圖像檢測到一個或多個人臉，則在接下來的兩幀圖像中跟蹤這些人臉，并對后續(xù)兩幀圖像中跟蹤的人臉進行檢測和驗證，判斷前面的檢測結果是否是真的人臉；(4)只有在某個位置連續(xù)多幀都檢測到人臉后，算法才認為該位置人臉存在，如果場景中存在有多個人臉，挑選出最大的人臉開始跟蹤；(5)在后續(xù)幀中持續(xù)跟蹤該人臉。如果相鄰幀中后一幀與前一幀的跟蹤結果的相似度過低，則停止跟蹤；如果某個跟蹤目標所在區(qū)域長時間未檢測到正面直立人臉，則認為該目標的跟蹤價值不大，停止跟蹤該目標；前一個跟蹤目標停止跟蹤后，在后續(xù)圖像中回到步驟2重新進行人臉檢測，直到找到新的人臉，跟蹤新的人臉。
步驟202平滑獲得的人臉信息，保證顯示效果的穩(wěn)定和連續(xù)變化。
為了保證獲取的人臉信息的平滑和穩(wěn)定，克服人臉跟蹤過程中的擾動，我們對獲取得到的人臉信息進行平滑處理。平滑的算法可以有很多種，最簡單的采用簡單平均的方式即可。
此處列舉一種既能保證平滑參數(shù)，又能靈敏反映突然變動的平滑方法。我們稱之為動態(tài)平均算法。首先，當人臉信息沒有發(fā)生劇烈變化時，該方法采用平均前N幀檢測結果的方式來平滑，使得人臉基本靜止時，結果不會因為誤差產生大的抖動；同時，當人臉突然發(fā)生位置變化時，算法會摒棄前N幀結果，采用變化后的位置作為輸出位置。此算法既能減少誤差，也能靈敏反映人臉位置的變化，不會產生遲滯的感覺。
算法步驟如下(1)建立一個人臉信息隊列；(2)如果隊列中沒有儲存人臉信息，則將當前輸入信息作為輸出；(3)如果隊列中儲存了人臉信息，則獲取當前輸入信息與隊列中儲存的人臉信息均值的平方差，并且將歸一化后的平方差與閾值比較。如果大于閾值，則認為當前位置相比前幀位置發(fā)生了很大變化，自動將隊列清空，將輸入作為輸出位置；如果不大于閾值，則認為當前輸入人臉與前幀人臉沒有發(fā)生大的變化，則采用平均后的結果作為輸出。
步驟203濾除微小變化由于圖像采集的噪聲和人臉跟蹤算法的局限，即使當人臉位置不變化時，獲取得到的人臉位置依然會發(fā)生微小變動，如果不采取措施處理，最后的顯示結果會出現(xiàn)不該有的擾動。因而，我們在處理流程中增加了濾除微小變化這個步驟。對于獲取得到的人臉參數(shù)，經過平滑后，將當前幀的參數(shù)與前幀參數(shù)進行比較，假定前幀人臉參數(shù)為(x′center，y′center，width′，height′)，當前幀人臉參數(shù)為(xcenter，ycenter，width，height)，則歸一化后的中心差別為difc=2(xcenter-xcenter′)2+(ycenter-ycenter′)2/(widtg+width′),]]>歸一化后的大小差別為difs＝(width-width′)/width，如果difc≤Th1且difs≤Th2，則認為前后兩幀的人臉未發(fā)生顯著變化，否則，認為發(fā)生了顯著變化，其中，Th1和Th2是閾值。
下面對步驟204、205合并進行說明步驟204根據人臉大小位置確定顯示區(qū)域，保證顯示區(qū)域總是聚焦于人臉，并顯示出人臉附近區(qū)域的主要部分。
步驟205對相鄰幀的放縮尺度進行約束。
得到平滑后的人臉參數(shù)后，需要確定顯示圖像范圍。此處綜合涉及到根據人臉位置確定顯示范圍，相鄰幀放縮尺度約束，濾除微小變化等內容。
假定輸入圖像大小為(Winput，Hinput)，輸出顯示圖像大小為(Woutput，Houtput)，我們只需要獲取目標圖像中顯示的輸入圖像中對應的區(qū)域范圍，再經過插值算法對對應區(qū)域圖像進行放縮即可得到所需效果。
輸入圖像中待顯示目標區(qū)域范圍的獲取過程如下首先獲取目標區(qū)域的大小(由于顯示區(qū)域的長寬比固定，在這里僅以寬度為例說明)最終顯示區(qū)域應該主要顯示人臉所在區(qū)域，目標區(qū)域的最終大小應與人臉大小成比例，我們確定為Wf×α，其中wf為人臉大小，α為比例系數(shù)，我們取為1.5。
但是，為了顯示圖像從全景到臉部的拉伸效果，我們逐漸變化顯示區(qū)域的大小，而不是從全景一次直接切換到人臉區(qū)域。設定放縮因子為β，即當前幀(設為第n幀)的寬度wsn=βwsn-1,]]>Wsn-1為前幀顯示區(qū)域寬度。β大小決定了放縮速度，從而會影響顯示效果。我們取β∈
]>歸一化后的大小差別為difs＝(width-width′)/width，如果difc≤Th1且difs≤Th2，則確定前后兩幀屬于微小變化，其中，Th1和Th2是閾值。
6.如權利要求1所述的方法，其特征在于，所述步驟(1)包括(11)由攝像頭實時輸入視頻圖像；(12)在未獲取跟蹤目標前，逐幀搜索圖像，檢測人臉的存在；(13)如果在某幀圖像檢測到一個或多個人臉，則在接下來的后續(xù)幀中跟蹤這些人臉，并對跟蹤到的人臉進行檢測和驗證，判斷前面的檢測結果是否是真的人臉；(14)如果在某個位置連續(xù)多幀都檢測到人臉后，確定該位置存在人臉，如果場景中存在有多個人臉，則挑選出最大的人臉開始跟蹤；(15)在后續(xù)幀中持續(xù)跟蹤該人臉。如果相鄰幀中后一幀與前一幀的跟蹤結果的相似度過低，則停止跟蹤；如果某個跟蹤目標所在區(qū)域長時間未檢測到正面直立人臉，則停止跟蹤該目標；前一個跟蹤目標停止跟蹤后，在后續(xù)圖像中回到步驟(12)重新進行人臉檢測，直到找到新的人臉，跟蹤新的人臉。
7.如權利要求2所述的方法，其特征在于，所述平滑當前幀的人臉信息的步驟，包括建立一個人臉信息隊列；如果隊列中沒有儲存人臉信息，則將當前輸入信息作為輸出；如果隊列中儲存了人臉信息，則獲取當前輸入信息與隊列中儲存的人臉信息均值的平方差，并將歸一化后的平方差與預設閾值比較，如果大于閾值，則自動將隊列清空，并將輸入作為輸出位置；如果不大于閾值，則采用平均后的結果作為輸出。
8.如權利要求1所述的方法，其特征在于，步驟(2)所述確定需要顯示的目標區(qū)域，包括確定目標區(qū)域的長和寬，其中長和寬成比例，寬度取為min(wfα，βwsn-1，rs/outputWoutput)，其中，wf為人臉大小，α為目標區(qū)域的最終大小與人臉大小的比例系數(shù)，wsn-1為前幀顯示區(qū)域寬度，β為放縮因子，Woutput為輸出顯示圖像，rs/output＝ws/Woutput。
9.如權利要求1所述的方法，其特征在于，步驟(2)所述確定需要顯示的目標區(qū)域，包括自動平移目標區(qū)域，使得其范圍位于輸入圖像范圍內。
10.如權利要求1所述的方法，其特征在于，所述步驟(3)包括通過預設縮放因子，根據圖像放縮算法，將輸入圖像中目標區(qū)域的圖像逐漸放縮到輸出圖像的大小。
11.一種實時魯棒的人臉追蹤顯示系統(tǒng)，其特征在于，包括人臉信息獲取模塊、處理顯示模塊，其中所述人臉信息獲取模塊，包括人臉追蹤單元，用于輸入視頻圖像，在人臉檢測的基礎上對視頻中的人臉進行追蹤，獲得人臉信息；所述處理顯示模塊，包括目標區(qū)域確定單元，用于根據當前幀中的人臉大小與位置，在當前幀圖像中確定需要顯示的目標區(qū)域；圖像縮放單元，用于根據確定的目標區(qū)域，將輸入圖像中目標區(qū)域的圖像放縮到輸出圖像的大小。
12.如權利要求11所述的系統(tǒng)，其特征在于，所述人臉信息獲取模塊，進一步包括人臉平滑單元，用于將當前幀的人臉信息與前幀人臉信息進行比較，根據比較結果，平滑當前幀的人臉信息。
13.如權利要求11所述的系統(tǒng)，其特征在于，所述目標區(qū)域確定單元，進一步用于根據前幀人臉信息，判斷當前幀的人臉信息的變化是否屬于微小變化，如果是，則不更新所述需要顯示的目標區(qū)域。
14.如權利要求11所述的系統(tǒng)，其特征在于，所述目標區(qū)域確定單元，在確定需要顯示的目標區(qū)域的大小時，包括確定目標區(qū)域的長和寬，其中長和寬成比例，寬度取為min(wfα，βwsn-1，rs/outputWoutput)，其中，wf為人臉大小，α為目標區(qū)域的最終大小與人臉大小的比例系數(shù)，wsn-1為前幀顯示區(qū)域寬度，β為放縮因子，Woutput為輸出顯示圖像，rs/output＝ws/Woutput；所述目標區(qū)域確定模塊，在確定需要顯示的目標區(qū)域的范圍時，包括自動平移目標區(qū)域，使得其范圍位于輸入圖像范圍內。
15.如權利要求11所述的系統(tǒng)，其特征在于，所述圖像縮放單元，通過預設縮放因子，根據圖像放縮算法，將輸入圖像中目標區(qū)域的圖像逐漸放縮到輸出圖像的大小。
全文摘要
本發(fā)明公開了一種實時魯棒的人臉追蹤顯示方法及系統(tǒng)，首先輸入視頻圖像，在人臉檢測的基礎上對視頻中的人臉進行追蹤，獲得人臉信息；然后根據當前幀中的人臉大小與位置，在當前幀圖像中確定需要顯示的目標區(qū)域；再根據確定的目標區(qū)域，將輸入圖像中目標區(qū)域的圖像放縮到輸出圖像的大小。本發(fā)明能夠自動獲取視頻中人臉的位置，并根據人臉位置確定顯示圖像范圍，將人臉周圍的圖像放縮后顯示，無論人臉處于攝像頭拍攝圖像的任何位置，均顯示以人臉為中心的一個區(qū)域，使得人臉成為顯示焦點；本發(fā)明還能夠模仿機械攝像頭漸變拉伸鏡頭放縮的顯示效果，逐漸將顯示焦點集中在人臉區(qū)域范圍，獲得更美觀的顯示效果。
文檔編號G06K9/00GK1908962SQ20061011248
公開日2007年2月7日 申請日期2006年8月21日 優(yōu)先權日2006年8月21日
發(fā)明者鄧亞峰, 黃英, 謝東海 申請人:北京中星微電子有限公司