專利名稱：使用半臉圖像的臉部識別的制作方法
技術領域：
本發(fā)明涉及計算機視覺領域，尤其涉及基于臉部特征的識別系統(tǒng)。
背景技術：
臉部識別通常用于保安的用途。在人工安全系統(tǒng)中，使用包含臉部照片的安全證件來控制對保密地區(qū)或保密材料的訪問權限。在自動和半自動系統(tǒng)中，使用臉部識別軟件來對，例如由攝像機得到的一個人的當前圖象，和存儲的圖象進行相似性比較。在傳統(tǒng)系統(tǒng)中，用戶他或她自己來進行識別，而臉部識別軟件將要被識別的人的視頻圖象和一個或多個存儲的圖象進行比較。
臉部識別也被用于各種不同的其它應用中。于2000年10月10日提交的待決美國專利申請《DEVICE CONTROL VIA IMAGE-BASEDRECOGNITION》公開了基于用戶的臉部識別和與所識別用戶相關聯(lián)的偏好的用戶裝置的自動控制，該美國專利申請序列號為09/685683，發(fā)明人為Miroslav Trajkovic、Yong Yan、Antonio Colmenarez和Srinivas Gutta，代理人卷號為US000269，該申請以引用的方式并入本文。
1999年9月21日授權給Agraharam等人的美國專利5956482，《MULTIMEDIA INFORMATION SERVICE ACCESS》，該專利以引用的方式并入本文，該專利提供了一種安全技術，其中用戶要求獲得信息服務，系統(tǒng)拍攝用戶的視頻快照，只有當快照與授權用戶相對應時才授予訪問信息服務的權利。1998年11月10日授權給Lobo等人的美國專利5835616，《FACE DETECTION USING TEMPLATES》，該專利以引用的方式并入本文，該專利提供了一種兩個步驟的方法，用于在一幅數(shù)字化圖像中自動找到人臉，并通過檢查臉部特征來確定人臉的存在。Lobo等人的系統(tǒng)特別適合于在照相機的視野中找到一個或多個人臉，即使視野也許不與標準的臉部快照對應。
臉部識別算法的一個共同問題是不同的光照強度。隨著一個人從一個區(qū)域走到另一個區(qū)域，人臉一般是從不同的方向受到照射的。由于現(xiàn)拍的臉部圖像的光照強度和方向和用于識別人的參考臉部圖像的光照強度和方向不同，所以系統(tǒng)識別人的能力降低了。由于在暗黑的圖像中區(qū)分顏色的能力被相當大地減少，所以，例如，一個附有陰影的面頰能被誤認為胡須。同樣地，強光能減少通常由于陰影的作用才會明顯的特征和細節(jié)。

發(fā)明內(nèi)容
本發(fā)明的一個目的是提高臉部識別算法的有效性。本發(fā)明的一個另一個目的是減少圖象中由光照強度和方向的變化所引起的變化。
這些目的和其它目的通過在臉部識別算法中將左和右半臉的圖象作為獨立的部分加以處理而實現(xiàn)的。為了與全臉圖像識別系統(tǒng)兼容，使用半臉圖像的鏡像來創(chuàng)建與每個左和右半臉的圖像對應的全臉圖像。使用傳統(tǒng)的臉部識別方法，對每個創(chuàng)建出的全臉圖像與參考全臉圖象進行比較。通過比較每個基于左臉的圖象和每個基于右臉的圖象，系統(tǒng)克服了由方向性的或不一致的光照引起的識別問題?？蛇x擇地，可以基于每個左和右半臉圖像的特征的混合創(chuàng)建一幅合成的全臉圖像，從而濾除掉了光照的變化。


下面將參照附圖，并且借助實例，對本發(fā)明進行更加詳細的解釋說明，其中圖1表示按照本發(fā)明的臉部識別系統(tǒng)的示例框圖。
圖2表示按照本發(fā)明的臉部識別系統(tǒng)的示例流程圖。
圖3表示在按照本發(fā)明的臉部識別系統(tǒng)中合成臉部的示例流程圖。
全部附圖中，相同的附圖標記表示相似或相應的特征或功能。
具體實施例方式
本發(fā)明是以這樣的觀察為前提而提出的除了異常情況之外，人臉是左右對稱的。這樣，整個臉的圖像就包含了冗余信息。換言之，半臉的圖象能被用來創(chuàng)建全臉的圖象，或，基于對稱冗余信息的混合，可以使用一幅全臉的圖象的兩個半邊來形成合成的全臉圖像。Srinivas Gutta、Miroslav Trajkovic和Vasanth Philomin于2001年9月28日提交的共同待決的美國專利申請《System and Method ofFace Recognition through 1/2 Faces》(序列號為09/966436，代理人卷號為US010471)，公開了一種圖象分類器，它能被訓練用于獲知半臉或全臉的圖像，該申請以引用的方式并入本文。
圖1表示按照本發(fā)明的臉部識別系統(tǒng)100的示例框圖。使用本領域的公知技術，構造了一個臉部搜尋器110來識別圖象中的臉。一般來說，比如，臉部是通過找到膚色的局部區(qū)域(而深色區(qū)域對應于眼睛)而識別出來的。在120處，對每張得到定位的臉進行處理，以提供兩個半臉。
在優(yōu)選的實施例中，圖像中的臉部被“變形”(平移、旋轉、和投影)來形成一幅幾乎是全臉的臉部圖象，而這幅全臉的圖象被分割成兩半來形成左和右的半臉圖象。假定圖象中的兩只眼是可見的，那么整個臉部的圖像是通過這樣的方法來形成的在圖像中的眼角之間投影一條線，并平移和旋轉圖象，從而使該直線水平，并且該直線位于與圖象平面平行的平面上。此后，通過在眼角之間的直線的中點處平分這個平面，產(chǎn)生左和右半臉的圖象。將一幅全臉的圖象分成兩個半臉的圖像的其它技術對于本領域的普通技術是顯然的。類似地，例如，當臉部圖象是側面像時，提取單個的半臉的圖象的技術對于本領域的普通技術也是顯然的。
構造了一個臉部合成器130，用于根據(jù)臉部分割器120提供的半臉圖象來創(chuàng)建一個或多個全臉圖象。在優(yōu)選的實施例中，正如以下將進一步討論的，通過對半臉圖象和它的鏡像進行合成，每個半臉圖像都可用于創(chuàng)建一幅全臉圖象。除了在異常的環(huán)境下，兩個相反的半臉圖象之間的區(qū)別通常代表臉部圖象的每一邊的不同的亮度。由于在大多數(shù)環(huán)境下光照是有方向性的，如果半臉圖像不同，通常是因為臉的一邊受到了適當?shù)墓庹眨硪贿厸]有。因此，兩個創(chuàng)建出的全臉圖像中可能包括一個能通過傳統(tǒng)的臉部比較器140與參考圖像比較的、光照適當?shù)娜槇D像。即使半臉圖象光照都不適當，通過創(chuàng)建過程創(chuàng)建的全臉圖像將是對稱光照的，因此更有可能與一幅對稱光照的參考圖像相匹配。
可以采用很多種技術來從兩個創(chuàng)建出的全臉圖象中選擇哪一個是光照更合適的，并將光照更合適的圖像與參考圖象進行比較。然而在優(yōu)選實施例中，省略了在將兩個創(chuàng)建出的全臉圖像與參考圖像進行比較之前進行的選擇處理，因為對兩個創(chuàng)建出的圖像進行互相比較所需要的處理時間看起來與將每個創(chuàng)建出的圖像與參考圖像進行比較所需要的處理時間是相當?shù)摹?br> 可以采用很多其它技術來從提取出的半臉圖像中創(chuàng)建全臉圖像。例如，在另一個優(yōu)選的實施例中，上述的兩幅創(chuàng)建的全臉圖像被合并來形成另一幅全臉圖像。這一合并可以基于每幅圖像內(nèi)的象素值的簡單平均，或者它可以基于更復雜的技術，比如在傳統(tǒng)圖象處理系統(tǒng)中用來“變形”圖像的技術。
臉部比較器140使用了傳統(tǒng)的臉部比較技術，例如在本發(fā)明的背景技術中提及的專利文獻所提出的。注意，本發(fā)明對于傳統(tǒng)的臉部比較系統(tǒng)而言，特別適合于作為一個獨立的“附加”處理。方框110-130只為臉部比較器140提供了原始的和創(chuàng)建出的圖像，作為用于與參考臉部圖像進行比較的單獨圖像。
圖2表示按照本發(fā)明的臉部識別系統(tǒng)的一個示例流程圖。在210處，接收到現(xiàn)場圖像，在220處，從中可以提取一個或多個臉部。沒有表示的是，可以基于多個圖像畫面，利用本領域的公知技術對所提取出來的臉部圖像進行處理和合成，以突出特征，減少噪聲等等。通過循環(huán)過程230-280來處理每幅臉部圖像，從而提供在270處各自與一個或多個參考臉部進行比較的備選臉部。
在240處，對每幅全臉圖像進行處理來提取一個左臉和一個右臉圖像。如果220的臉部提取處理沒有提供一幅全臉圖像，則處理240執(zhí)行必要的平移和旋轉處理來提供一幅全臉圖像，如上所述。如果左和右臉基本相同，那么基于這些相同的半臉所創(chuàng)建出的新的臉部通常與原始的全臉圖像幾乎相同。為了避免相同的新的臉部的不必要的創(chuàng)建，當在250處判定兩個半臉的圖像幾乎相同時，則繞過臉部合成方框260。各種各樣的技術中的任意一種都可用來判定半臉圖像之間是否相等。在優(yōu)選的實施例中，使用了平方和差值測量來確定每個半邊圖像之間差的量級。
圖3中詳細表示了示例的臉部合成處理260。通過循環(huán)過程310-340處理每幅半臉圖像。在320處，創(chuàng)建出了半臉圖像的鏡像，而且在330處，將這個鏡像和半臉圖像結合起來以產(chǎn)生全臉圖像。注意，如果圖2的提取處理240僅產(chǎn)生一幅半臉圖像，例如當臉部圖像是側面時，通過這一鏡象和合成處理320-330，處理260提供至少一幅全臉圖像來與參考圖像比較。如果圖2的提取處理240提供全部兩個半臉圖像，那么將產(chǎn)生兩個全臉圖像。根據(jù)需要，如上所述，在350處，基于每個半臉圖像的選擇特征的合并可以產(chǎn)生其它的全臉圖像。
回到圖2，在270處，將每個創(chuàng)建的圖像(可選地，將原始圖像)與一個或多個參考圖像進行比較，來識別可能的匹配。因為每個創(chuàng)建圖像有效地表示了不同光照下相同的臉部，本發(fā)明的處理增加了正確識別臉部的可能性，即使當光照強度和/或方向不均勻或不連貫時。
上述僅說明了本發(fā)明的原理。因此應當意識到，本領域的技術人員能設計出包含本發(fā)明原理的不同方案，盡管其沒有在本文明確地描述或表示，但體現(xiàn)了本發(fā)明的原理，因此仍在本發(fā)明的精神和范圍內(nèi)。比如，本發(fā)明給出的是就處理半臉來形成與參考全臉圖像比較的多種完整的臉部的情況?？蛇x地，可以將參考臉部圖像保存為半臉圖像，而且上述的處理和比較可以對于半臉參考圖像進行，和以上提及的共同待決的美國專利申請09/966436公開的技術一致。就是說，在這個可選的實施例中，每個半臉圖像或它的鏡像直接與半臉參考圖像比較。另外，基于兩個半臉圖像特征的合成的半臉能與半臉參考圖像比較。鑒于本文所公開的內(nèi)容，這些和其它系統(tǒng)的設計和優(yōu)化特征對于本領域熟練的技術人員來說是顯然的，并被包括在后附的權利要求的范圍內(nèi)。
權利要求
1.一種臉部識別系統(tǒng)(100)，包括臉部分割器(120)，該臉部分隔器構造用于從臉部圖像中提取一個或兩個半臉圖像，和臉部合成器(130)，可操作地與臉部分割器(120)連接，該臉部合成器構造用于基于一個或兩個半臉圖像中的至少一個為臉部比較器(140)提供一個或多個比較圖像。
2.如權利要求1所述的臉部識別系統(tǒng)(100)，還包括臉部搜尋器(110)，可操作地與臉部分割器(120)連接，該臉部搜尋器被構造用于從現(xiàn)場圖像中提取臉部圖像。
3.如權利要求1所述的臉部識別系統(tǒng)(100)，還包括臉部比較器(140)，該臉部比較器被構造用于將一個或多個比較圖像與一個或多個參考圖像比較。
4.如權利要求3所述的臉部識別系統(tǒng)(100)，其中，所述一個或多個參考圖像相當于半臉參考圖像，和所述臉部比較器(140)被構造用于鏡像一個或多個參考圖像和一個或多個比較圖像中的至少一個以實現(xiàn)比較。
5.如權利要求1所述的臉部識別系統(tǒng)(100)，其中，臉部分割器(120)還構造用于調(diào)整輸入臉部圖像，以將該臉部圖像提供作為全臉圖像，所述全臉圖像與由臉部分隔器(120)用來提取一個或兩個半臉圖像的圖像平面平行。
6.如權利要求4所述的臉部識別系統(tǒng)(100)，其中，臉部分割器(120)基于投影在輸入臉部圖像中的眼角之間的一條直線調(diào)整輸入臉部。
7.如權利要求1所述的臉部識別系統(tǒng)(100)，其中，臉部合成器(130)通過將一個或兩個半臉圖像的每一個的鏡象與一個或多個半臉圖像的每一個結合，創(chuàng)建一個或多個比較圖像。
8.如權利要求1所述的臉部識別系統(tǒng)(100)，其中，臉部合成器(130)通過結合一個或多個半臉圖像的每一個的特征，創(chuàng)建一個或多個比較圖像。
9.一種在臉部識別系統(tǒng)中使用的處理臉部圖像的方法，該方法包括從臉部圖像中提取(220)至少一幅半臉圖像，基于所述至少一幅半臉圖像，為臉部識別系統(tǒng)提供(260)一個或多個比較圖像。
10.如權利要求9所述的方法，其中臉部識別系統(tǒng)被構造用于比較全臉圖像，和提供(260)一個或多個比較圖像包括將所述至少一個半臉圖像的鏡象與所述至少一個半臉圖像結合(330)。
11.如權利要求9所述的方法，其中所述至少一個半臉圖像包括左臉圖像和右臉圖像，和提供(260)一個或多個比較圖像包括合并(350)每個左臉和右臉圖像的特征。
12.如權利要求11所述的方法，其中臉部識別系統(tǒng)被構造用于比較半臉圖像。
13.如權利要求9所述的方法，還包括對輸入圖像進行平移和旋轉，以提供臉部圖像。
14.如權利要求13所述的方法，其中輸入圖像的平移和旋轉是基于投影在輸入圖像中的眼角之間的一條直線進行的。
15.一種計算機程序，當該程序在計算機系統(tǒng)上運行時，被設計用于使計算機系統(tǒng)從臉部圖像中提取(220)至少一個半臉圖像，和基于所述至少一個半臉圖像，提供(260)至少一個比較圖像，用于與一個或多個參考圖像進行比較。
16.如權利要求15所述的計算機程序，還設計用于使計算機系統(tǒng)將所述至少一個比較圖像與一個或多個參考圖像進行比較(270)。
17.如權利要求15所述的計算機程序，還被設計用于使計算機系統(tǒng)平移和旋轉輸入圖像，以提供臉部圖像。
18.如權利要求15所述的計算機程序，還被設計用于使計算機系統(tǒng)通過下述方式提供至少一幅比較圖像創(chuàng)建(320)所述至少一個半臉圖像的鏡象，和將所述鏡象與所述至少一個半臉圖像結合(330)，以形成至少一個比較圖像。
19.如權利要求15所述的計算機程序，其中所述至少一個半臉圖像包括左臉圖像和右臉圖像，和所述計算機程序還被設計用于使計算機系統(tǒng)通過以下方式提供至少一個比較圖像將左臉和右臉圖像的每一個的特征合并(350)，以形成至少一個比較圖像。
全文摘要
在臉部識別算法中，將左和右半臉圖像作為獨立的部分加以處理。為了實現(xiàn)與全臉圖像識別系統(tǒng)的兼容，半臉圖像的鏡象被用來創(chuàng)建與每一個左和右半臉圖像對應的全臉圖像。采用傳統(tǒng)的臉部識別算法，將每個創(chuàng)建出的全臉圖像與參考全臉圖像進行比較。通過比較每個左臉圖像和右臉圖像，系統(tǒng)克服了方向性或不均勻的光照所引起的識別問題?？蛇x地，可以基于每個左和右半臉圖像的特征的混合來創(chuàng)建合成的全臉圖像，從而濾除掉光照的變化。
文檔編號G06K9/00GK1659578SQ03812740
公開日2005年8月24日 申請日期2003年5月19日 優(yōu)先權日2002年6月3日
發(fā)明者S·古特塔, V·菲洛明, M·特拉科維 申請人:皇家飛利浦電子股份有限公司