相關(guān)申請引用

本申請是國際申請?zhí)枮閜ct/ep2009/005461、國際申請日為2009年7月28日、優(yōu)先權(quán)日2008年7月30日、進(jìn)入中國國家階段日期為2010年11月16日、中國國家申請?zhí)枮?00980117715.2的發(fā)明專利申請的分案申請。

本申請涉及圖像處理，具體地涉及在臉部圖像中檢測的子區(qū)域的圖像處理。

背景技術(shù)：

proctor和gamble的美國專利6,571,003提到，在臉部的子區(qū)域(例如，臉頰)或由地標(biāo)點(diǎn)(諸如，拐角或鼻部、眼部或口部)限定的區(qū)域中找出并修補(bǔ)臉部缺陷(諸如，斑點(diǎn)、皺紋、毛孔和紋理)。該技術(shù)涉及利用蒙板(mask)來替換所限定的區(qū)域。p&g專利公開了電子式地改變顏色。

p&g專利還提到檢測和修正照明梯度和照明變化。在存在可能引起臉部皮膚上的光澤或較亮區(qū)域的方向性照明的情況下，可能出現(xiàn)這些照明梯度或變化。轉(zhuǎn)讓給本申請受讓人的美國專利申請序列號12/038,147、61/106,910和61/221,425描述了使用viola-jones類型分類器級聯(lián)來檢測方向性照明的技術(shù)。然而，除了結(jié)合臉部追蹤技術(shù)一起使用這種情況外，確定和修正照明梯度通常會涉及全局分析，其中臉部追蹤技術(shù)諸如是在美國專利7,403,643和7,315,631以及美國申請序列號11/766,674(公開為2008/0037840)和12/063,089、61/091,700、61/120,289和12/479,593中描述的技術(shù)，這些專利全部轉(zhuǎn)讓給本發(fā)明的受讓人。期望具有這樣的技術(shù)，其針對某些應(yīng)用和/或在某些情況、環(huán)境或約束下，使用局部模糊核(kernel)，而非使用涉及較低效的全局分析的技術(shù)。

kodak的專利7,212,657在圖13-圖14中示出了生成陰影/峰值圖像(基于生成亮度圖像和平均亮度圖像)、模糊圖像和混合圖像。kodak專利公開了通過從亮度圖像中減去平均亮度圖像來生成陰影/醒目顯示強(qiáng)度圖像。而且，在圖16中，kodak專利示出了元素1530，其被標(biāo)記為“使用峰值/谷值圖和顏色信息來生成亮度和色度縮放因子”，以及元素1540，其被標(biāo)記為“修改蒙板區(qū)域中像素的亮度和色度”。kodak專利中描述了臉部檢測，但未描述臉部追蹤。

與p&g技術(shù)類似，kodak技術(shù)涉及全局圖像操縱，即，“亮度圖像”并未被指示為包括少于整個圖像的任何事物，“模糊圖像”涉及向整個圖像應(yīng)用核，以及“混合圖像”涉及全局圖像的三個拷貝?！澳：龍D像”涉及色度和亮度數(shù)據(jù)，這意味著為了操縱圖像需要使用大量的存儲器，尤其在應(yīng)用涉及資源受限的嵌入式系統(tǒng)的情況下更是如此。關(guān)于亮度和色度縮放因子，即使其涉及局部化的縮放因子，kodak專利中也未將其描述為是為了應(yīng)用于少于整個圖像的任何事物而生成的。

轉(zhuǎn)讓給本申請受讓人的美國專利申請序列號11/856,721和12/330,719描述了這樣的技術(shù)，其可以在圖像的相關(guān)區(qū)域上作為單個類光柵掃描而應(yīng)用，而不用涉及全局分析或者確定全局特性(諸如，平均亮度圖像或者陰影或模糊圖像)。與p&g專利或kodak專利相比，這種通過了預(yù)定區(qū)域的單次通過掃描為嵌入式系統(tǒng)(諸如，數(shù)碼相機(jī))提供了更高效和更適合的技術(shù)。

hewlettpackard(hp，惠普)公開的專利申請2002/0081003提到噴色法，其通常涉及在圖像的樣本(例如，可能包括瑕疵或皺紋)上涂覆顏色。hp公開還提到在人臉圖像的皺紋上進(jìn)行模糊化，并且再一次具體描述了對定義了皺紋和周圍皮膚的顏色值進(jìn)行模糊化或混合。hp應(yīng)用提到了改變亮度以使臉部特征變亮或變暗，諸如使臉部特征變陰暗，并且繼續(xù)描述了改變與該特征相關(guān)聯(lián)的皮膚顏色值，以便使該特征變陰暗。hp專利進(jìn)一步公開了通過模糊顏色值來模糊前額和/或臉頰和/或銳化發(fā)線。在hp專利中并未描述在多張圖像(即，全分辨率或低分辨率和/或子樣本參考圖像(諸如，在捕獲主全分辨率圖像之前、期間或之后，利用單獨(dú)的成像系統(tǒng)捕獲的預(yù)覽、后覽(postview)和/或參考圖像))上的臉部檢測和臉部追蹤，也沒有針對平滑或模糊數(shù)字臉部圖像的亮度數(shù)據(jù)給出任何建議。

肖像是數(shù)碼照片中最流行的場景之一。肖像圖像上的圖像潤飾是圖像處理系統(tǒng)的期望組件。用戶可能利用傳統(tǒng)軟件花費(fèi)大量時間來隱藏皺紋和瑕疵以使肖像更加漂亮。期望提供創(chuàng)新性的自動肖像場景增強(qiáng)器，其適用于嵌入式設(shè)備，諸如，數(shù)碼照相機(jī)、相機(jī)電話或其他手持式或以其他方式可便攜的具有圖像獲取組件(例如，鏡頭、圖像感測器)和處理器的消費(fèi)類電子產(chǎn)品。

技術(shù)實(shí)現(xiàn)要素：

提供了一種使用處理器來增強(qiáng)數(shù)字圖像內(nèi)臉部外觀的方法。獲取包括臉部的場景的圖像。標(biāo)識該數(shù)字圖像內(nèi)的臉部。在臉部中標(biāo)識要利用局部化的亮度平滑進(jìn)行增強(qiáng)的一個或多個子區(qū)域。向在臉部內(nèi)標(biāo)識的一個或多個子區(qū)域中的一個應(yīng)用一個或多個局部化的亮度平滑核中的每一個，以產(chǎn)生臉部的一個或多個增強(qiáng)子區(qū)域。向在臉部內(nèi)標(biāo)識的一個或多個子區(qū)域的亮度數(shù)據(jù)應(yīng)用一個或多個局部化的平滑核。生成增強(qiáng)圖像，其包括臉部的增強(qiáng)版本，該臉部的增強(qiáng)版本包括某些原始像素和與臉部的一個或多個增強(qiáng)子區(qū)域?qū)?yīng)的像素。顯示、傳輸、傳達(dá)和/或數(shù)字式存儲和/或以其他方式輸出增強(qiáng)圖像和/或進(jìn)一步處理的版本。

局部化的亮度平滑可以包括模糊亮度數(shù)據(jù)或針對其取平均，或者其組合。

可以向一個或多個子區(qū)域應(yīng)用一個或多個局部化的顏色平滑核。已修正圖像的一個或多個增強(qiáng)子區(qū)域還可以包括至少通過局部化的顏色平滑從臉部的原始像素或以其他方式處理的像素修改而來的像素。

可以向一個或多個子區(qū)域應(yīng)用噪聲減小或增強(qiáng)。已修正圖像的一個或多個增強(qiáng)子區(qū)域還可以包括至少通過局部化的噪聲減小或增強(qiáng)從臉部的原始像素或以其他方式處理的像素修改而來的像素。

可以確定臉部的一個或多個子區(qū)域中的某些非膚色像素為不具有閾值膚色?？梢砸瞥?、替換這些非膚色像素、減小其強(qiáng)度，和/或修改其顏色。

一個或多個增強(qiáng)子區(qū)域的增強(qiáng)像素可以包括增強(qiáng)的強(qiáng)度，其包括原始像素強(qiáng)度與一個或多個原始的和/或增強(qiáng)的子區(qū)域中局部平均強(qiáng)度之間關(guān)系的一個或多個函數(shù)。

可以檢測臉部內(nèi)一個或多個口部和/或眼部區(qū)域?？梢詷?biāo)識和增強(qiáng)一個或多個口部和/或眼部區(qū)域內(nèi)一個或多個子區(qū)域的自然顏色。這些子區(qū)域可以包括一個或多個牙齒、嘴唇、舌頭、眼白、眉毛、虹膜、睫毛和/或瞳孔。

還提供了一種數(shù)字圖像獲取設(shè)備，其包括鏡頭、圖像感測器、處理器和處理器可讀存儲器，其上實(shí)施有用于對處理器進(jìn)行編程以執(zhí)行在此描述的任一方法的處理器可讀代碼，該代碼尤其用于增強(qiáng)數(shù)字圖像中臉部或其他特征的外觀。

還提供了一個或多個處理器可讀介質(zhì)，其中實(shí)施有用于對一個或多個處理器進(jìn)行編程以執(zhí)行在此描述的任一方法的代碼。

在某些實(shí)施方式中，將使用預(yù)覽、后覽或其他參考圖像的臉部追蹤與臉部修飾結(jié)合在一起，其中這些圖像是使用同一個或單獨(dú)的成像系統(tǒng)獲取的以作為主全分辨率圖像。這涉及平滑和/或模糊臉部特征或臉部區(qū)域、皺紋/瑕疵移除，或其他數(shù)字美容調(diào)整。在某些實(shí)施方式中，將亮度通道用來平滑不好看的特征，而在這些實(shí)施方式的較小子集中，僅將亮度通道用于平滑，而不使用任何顏色通道。除了亮度通道之外，其他實(shí)施方式還使用一個或多個顏色通道，并且這些實(shí)施方式可以使用臉部追蹤，或者也可以不使用。

在某些實(shí)施方式中，基于特定像素周圍的像素值平均來執(zhí)行臉部區(qū)域的局部化修改。此局部化的平均/模糊核可以單獨(dú)應(yīng)用在亮度通道上，從而減小了在諸如便攜式數(shù)碼相機(jī)、相機(jī)電話、配備有相機(jī)的手持式計(jì)算設(shè)備等之類的嵌入式系統(tǒng)上的計(jì)算。

可以將單次通過過濾核配置用于僅在位于圖像預(yù)定區(qū)域內(nèi)的局部亮度值上起作用，并且單次通過過濾核可以與二進(jìn)制皮膚圖結(jié)合。這在諸如數(shù)碼相機(jī)的嵌入式成像系統(tǒng)中非常有效，其利用較少存儲器并且執(zhí)行起來更快速。

可以通過改變臉部的一個或多個子區(qū)域的所選亮度值來實(shí)現(xiàn)模糊或使陰暗。實(shí)施方式涉及在圖像的樣本上應(yīng)用或減小亮度，該樣本例如可以包括瑕疵或皺紋。也可以向在人臉圖像上包括皺紋的臉部特征區(qū)域應(yīng)用模糊。模糊和/或混合限定了皺紋和周圍皮膚的臉部特征區(qū)域(例如，后頰區(qū)域、鼻翼、前額、下顎、臉頰區(qū)域)的亮度值?？梢愿淖兞炼纫允鼓槻刻卣髯兞粱蜃儼?，諸如使臉部特征暗淡，并且這可以通過改變與該特征相關(guān)聯(lián)的皮膚的亮度值以使該特征變暗或變亮來實(shí)現(xiàn)。

在某些實(shí)施方式中，提供了一種技術(shù)，其包括作為獲取過程一部分的靜態(tài)圖像相機(jī)內(nèi)處理，該靜態(tài)圖像包括一個或多個臉部。該技術(shù)包括標(biāo)識在便攜式相機(jī)上數(shù)字式獲取的靜態(tài)圖像內(nèi)的臉部的像素群組。確定該圖像內(nèi)包括該像素群組的一個或多個第一處理部分(該第一部分可以被表征為前景)。繼而確定該圖像中除了該像素群組以外的一個或多個第二處理部分(并且可以被表征為背景)。為了生成包括臉部的經(jīng)處理圖像，該技術(shù)可以包括利用確定水平的平滑、模糊、噪聲減小或增強(qiáng)，或涉及像素的一個或多個亮度分量的其他皮膚增強(qiáng)技術(shù)來自動地在相機(jī)內(nèi)處理第一處理部分，而基本上向第二處理部分應(yīng)用很少的或幾乎不應(yīng)用平滑、模糊、噪聲減小或增強(qiáng)或者其他方式。包括臉部的經(jīng)處理圖像或進(jìn)一步處理的版本繼而被存儲、顯示、傳輸、傳達(dá)、投影或以其他方式進(jìn)行控制或輸出至諸如打印機(jī)、顯示器、其他計(jì)算設(shè)備或者其他數(shù)字呈現(xiàn)設(shè)備，以便查看經(jīng)相機(jī)內(nèi)處理的圖像。該方法可以包括在相機(jī)內(nèi)生成、捕獲或以其他方式在相機(jī)內(nèi)獲得包括臉部的低分辨率圖像的集合，以及確定第一處理部分包括分析該低分辨率圖像的集合。該分析可以包括追蹤低分辨率圖像的集合中的臉部。

附圖說明

現(xiàn)在通過示例方式參考附圖來描述本發(fā)明的實(shí)施方式，其中：

圖1a-圖1b示出了臉部的未處理圖像和經(jīng)處理的圖像，其中處理涉及向該臉部的區(qū)域應(yīng)用選擇性平滑或模糊。

圖2a-圖2c示出了臉部區(qū)域的標(biāo)識，以及臉部圖像的經(jīng)處理版本和未處理版本，其中處理涉及向該臉部的某些區(qū)域應(yīng)用選擇性平滑或模糊。

具體實(shí)施方式

利用包括臉部區(qū)域的至少一個參考圖像，在某些實(shí)施方式中利用不止一個參考圖像，來檢測臉部區(qū)域。在使用多個參考圖像的那些實(shí)施方式中，優(yōu)選地追蹤臉部區(qū)域。臉部檢測和追蹤優(yōu)選地根據(jù)上述和下述美國專利和美國專利申請中描述的一個或多個技術(shù)來執(zhí)行。

在給定輸入圖像和輸入圖像的一個或多個(優(yōu)選地，兩個或更多)較小的、經(jīng)子采樣的和/或縮減分辨率的版本(例如，一個qvga和一個xga)的情況下，使用臉部檢測以及優(yōu)選地使用臉部追蹤來確定該輸入圖像內(nèi)的臉部的位置和臉部中眼部的位置。圖1a示出了包括臉部的未處理圖像的示例，或者至少具有原始圖像數(shù)據(jù)或者利用除在此處參照實(shí)施方式描述的選擇性局部化的平滑或模糊之外的方式進(jìn)行了處理的圖像數(shù)據(jù)的臉部圖像示例。臉部修飾方法應(yīng)用選擇性模糊和/或其他平滑，諸如局部化的平均或根據(jù)以下詳述的、增強(qiáng)皮膚(例如，柔和化和/或減少皺紋和/或斑點(diǎn))的一個或多個方法。圖1a示出了在應(yīng)用選擇性平滑之前的未處理的臉部圖像。圖1b示出了圖1a的臉部圖像的經(jīng)處理版本，即，在向臉部的某些子區(qū)域應(yīng)用了選擇性平滑之后。

在示例性實(shí)施方式中，該方法可以如下執(zhí)行。標(biāo)識臉部的某些子區(qū)域，例如，矩形子區(qū)域或者其他多邊形或者彎曲或部分彎曲的子區(qū)域，其具有或者不具有一個或多個尖端或者其他陡峭的分段式交叉點(diǎn)或間斷。這些子區(qū)域可以是希望向其應(yīng)用選擇性平滑的地方，或者這些子區(qū)域可以是希望在其范圍之外應(yīng)用選擇性平滑的那些地方，或者這些的組合。例如，諸如兩只眼睛和口部的三個子區(qū)域可以被標(biāo)識出以便不應(yīng)用選擇性平滑，和/或諸如前額、兩個臉頰和下顎的四個子區(qū)域可以被特別選擇以便應(yīng)用局部化亮度平滑。

現(xiàn)在，在標(biāo)識出兩只眼睛和口部的實(shí)施方式中，檢測這些臉部子區(qū)域/矩形周圍的皮膚。在有些實(shí)施方式中，這可以包括創(chuàng)建二進(jìn)制皮膚圖像，包括分割圖像的qvga版本。在一個實(shí)施方式中，這涉及ycbcr中進(jìn)行的閾值設(shè)定。

可以在臉部周圍定義較大的矩形或其他形狀以作為一個整體。即，此處的大部分實(shí)施方式可能都不希望在此較大臉部形狀之外應(yīng)用選擇性平滑(盡管可能存在其他原因要平滑或模糊數(shù)字圖像中的所檢測臉部周圍的背景或其他區(qū)域，諸如模糊背景區(qū)域以便醒目顯示前景中的臉部；例如，參見轉(zhuǎn)讓給同一受讓人的美國專利7,469,071和美國申請序列號12/253,839)?？梢岳眯螒B(tài)學(xué)上的操作來過濾皮膚圖?？梢赃x擇保留臉部內(nèi)的最大區(qū)域，并且區(qū)域可以基于其他標(biāo)準(zhǔn)來選擇，這些標(biāo)準(zhǔn)諸如是整體亮度、某個閾值亮度對比度(諸如可以指示有皺紋的皮膚)、顏色資格(諸如，一定量的紅色)、有斑點(diǎn)的紋理或者臉部的區(qū)域或子區(qū)域的其他不滿意特征?？梢曰谝韵聛頇z測嘴唇：顏色信息(cr分量)，和/或眼部、鼻子和/或耳朵或其他臉部特征(諸如，下顎、臉頰、鼻部、面部毛發(fā)、額頂毛發(fā)或頸部)的位置，和/或?yàn)闄z測嘴唇專門設(shè)計(jì)的形狀檢測器。

修正一個或多個臉部區(qū)域內(nèi)(不包括眼部區(qū)域和口部區(qū)域)的皮膚。在某些實(shí)施方式中，這涉及利用不同的亮度值(諸如，其鄰居的平均值)來替換臉部區(qū)域內(nèi)皮膚像素的亮度分量，其中鄰居例如是周圍皮膚像素的基本上所有或者相當(dāng)多的采樣，或者來自一個方向的大部分像素的全部，就好像這些像素由相機(jī)與對象在某個方向的相對運(yùn)動引起的模糊像素進(jìn)行了替換一樣。平滑可以包括對來自臉部其他區(qū)域的皮膚像素的平均處理，和/或可以是除了平均以外的計(jì)算，諸如使某些像素與其他像素相比具有優(yōu)先級。經(jīng)過優(yōu)先級化的像素可以最接近被替換的像素，或者可以具有與優(yōu)選膚色關(guān)系更大的顏色和/或亮度。

某些標(biāo)準(zhǔn)可以被應(yīng)用以作為修正圖像內(nèi)區(qū)域的要求。例如，其可以將區(qū)域位于臉部內(nèi)設(shè)置為必要條件，盡管備選地，可以修正人的頸部、腿部、臂部、胸部或其他區(qū)域的皮膚?？梢詫⒘炼确至课挥谀硞€范圍內(nèi)設(shè)置為必要條件。該范圍可以取決于某個臉部內(nèi)皮膚的平均亮度或者優(yōu)選亮度或選擇的亮度。某個像素可以根據(jù)其與臉部內(nèi)的其他細(xì)節(jié)(例如，眼部、鼻子、嘴唇、耳朵、毛發(fā)等)的關(guān)系而被選擇或不選擇。在修改當(dāng)前像素時使用的鄰居數(shù)量(即，核大小)可以因以下而變化：臉部的大小相對于圖像的大小，或者亮度值的標(biāo)準(zhǔn)偏差，和/或可以考慮的其他因素，諸如分辨率或者針對應(yīng)當(dāng)接受在何種程度上修復(fù)特定臉部區(qū)域或子區(qū)域的確定。如果與圖像相比臉部太小(例如，臉部使用的像素面積低于可用像素面積的閾值百分比)，則該系統(tǒng)可以被設(shè)置為不應(yīng)用皺紋、斑點(diǎn)等的修正，因?yàn)檫@種不期望的特征可能不容易看見?？梢栽趚ga圖像上完成平均或者其他平滑或模糊，以便改進(jìn)速度。

局部化的模糊/平滑核

某些實(shí)施方式中的模糊核或平滑核可以因特定于基于其生成修正圖像的圖像和/或圖像組的一個或多個因素而改變、調(diào)整、選擇和/或配置。一個因素可以是臉部圖像相對于主圖片的大小。其他因素可以包括整個圖像和/或臉部區(qū)域的分辨率、處理能力和/或ram或rom容量，和/或嵌入式設(shè)備的顯示、投影或傳輸能力，或者利用其獲得圖像、處理圖像和/或輸出圖像的處理或渲染環(huán)境。

模糊核可以包括臉部大小(例如，圖像的5％、圖像的10％、圖像的20％等)針對核大小(例如，3×3、4×4、5×5等)的表格、公式、計(jì)算和/或圖表。核還可以基于臉部中子區(qū)域的相對位置進(jìn)行調(diào)整。應(yīng)用于臉頰的核可以配置用于有效地模糊臉頰，而應(yīng)用于眼部周圍皮膚的不同核可以配置用于最有效地模糊/平滑該皮膚，針對前額中的皮膚、口部/下顎周圍的皮膚等也是如此?？梢韵蛴许殔^(qū)域或其他毛發(fā)區(qū)域應(yīng)用不同的核，或者可以不向這種區(qū)域應(yīng)用平滑。在特定簡單示例性實(shí)施方式中，在臉部較小時，模糊/平滑核較小(可以使用兩個或更多水平或者一個或多個閾值)。模糊核可以減小眼部、嘴唇、鼻子、有須區(qū)域、低亮度區(qū)域或者黑色區(qū)域周圍的工作量。模糊核可以依據(jù)感興趣點(diǎn)周圍的平均亮度。

某些實(shí)施方式中的方法可以包括應(yīng)用選擇性皮膚增強(qiáng)和/或噪聲移除。在可能不應(yīng)用修飾過濾器或模糊/平滑核時，這提供了確定面部區(qū)域的備選方式。

備選實(shí)現(xiàn)：基于lee的過濾

臉部修飾器可以使用在此處引用的參考中(參考下文)描述的臉部追蹤技術(shù)中收集的某些相關(guān)數(shù)據(jù)。該信息可以包括臉部的位置和/或臉部內(nèi)的特征(諸如，一只或兩只眼睛、口部或鼻子)、關(guān)于在何處檢測到皮膚及其顏色、亮度、陰影區(qū)域、相對于進(jìn)入光的方向等的信息。該數(shù)據(jù)還可以包括臉部區(qū)域內(nèi)的cb、cr、y范圍和/或背光圖像信息。

應(yīng)用于亮度通道

根據(jù)某些實(shí)施方式的技術(shù)可以使用對亮度通道的修改來實(shí)現(xiàn)皮膚的過濾。也可以使用與亮度通道中的變化有關(guān)的數(shù)據(jù)，并且可以使用臉部區(qū)域或子區(qū)域的皮膚的紋理信息。這種紋理信息可以包括某個色度數(shù)據(jù)，但是也可以僅包括定義圖像中這種紋理的亮度數(shù)據(jù)。在選擇和/或執(zhí)行模糊/平滑時，可以利用亮度的變化，并且亮度的變化可以專門用于從刮過臉的男人或者甚至沒刮臉的男人(其中變化較大)的臉部紋理中分離出皺紋(其通常是相當(dāng)孤立的)。紋理信息可以涉及針對區(qū)域或子區(qū)域均勻或者不均勻到何種程度的測量。紋理信息可以包括識別的、學(xué)習(xí)的或者新分析的模式，其可以僅在亮度通道上進(jìn)行分析和/或還可以在一個或多個顏色通道上進(jìn)行分析。

在某些實(shí)施方式中，僅臉部和眼部可以是強(qiáng)制的，而在其他實(shí)施方式中，可能需要某些其他特征。可以使用臉部追蹤，但是其并不是在修飾臉部時提供巨大優(yōu)勢的技術(shù)所必需的?？梢詢H使用臉部檢測或者使用臉部追蹤來收集圖像中臉部的位置。可以使用臉部追蹤來收集動態(tài)皮膚圖和/或?qū)Ρ刃畔ⅰ?/p>

在數(shù)碼相機(jī)或?qū)崟r成像裝置中，可以操作實(shí)時臉部追蹤子系統(tǒng)(其可在獨(dú)立于主圖像的預(yù)覽、后覽或其他參考圖像的序列上操作)，并且在獲得主圖像時，可以基于下述來執(zhí)行臉部增強(qiáng)：(i)針對獲得的主圖像中臉部區(qū)域的分析和(ii)針對從實(shí)時臉部追蹤子系統(tǒng)確定的臉部區(qū)域元數(shù)據(jù)的分析。

臉部圖像增強(qiáng)

除了要增強(qiáng)的圖像之外，算法可以使用(如果有的話)額外信息，其包括給定圖像中將幫助限制搜索區(qū)的眼部和臉部位置，以及初始圖像的兩個重新調(diào)整了大小的拷貝(例如，一個qvga和一個xga)。這兩個圖像可以在準(zhǔn)確性不那么嚴(yán)格的情況下用作快速處理能力。

以下描述根據(jù)某些實(shí)施方式的示例算法：

增強(qiáng)圖檢測

基于臉部信息，在整個圖像中搜尋與臉部矩形中的膚色類似的膚色。具體地，針對通過的每個臉部，一個示例實(shí)施方式中的步驟可以如下(不一定按下述討論的順序)：

針對感興趣的區(qū)域(在此示例中是整個臉部矩形或其他形狀)計(jì)算平均飽和度。為了避免在諸如側(cè)照明情況下的問題，還可以計(jì)算針對整個圖像的平均飽和度，并且可以使用二者中的最小值。

(從臉部矩形)提取有關(guān)膚色信息。這通過幾何考慮(以及附加地，通過顏色過濾)完成。在一個實(shí)現(xiàn)中，這意味著矩形的上、左和右以這樣的方式改變，即，對每側(cè)的1/5不做考慮。底部(基于圖像定向)保持不變，或者與認(rèn)為包含頸部是否重要無關(guān)。顏色過濾的一個實(shí)現(xiàn)可以是對被確定為具有非膚色(例如，藍(lán)色像素)的像素顏色的改變或亮度的消除或減小。

pca(主元分析)過程可以應(yīng)用于剩余像素?？梢杂扇M給出像素。計(jì)算給定像素的協(xié)方差矩陣。繼而找到該協(xié)方差矩陣的本征向量和本征值。得到的三個本征向量代表新3d坐標(biāo)系統(tǒng)的軸。進(jìn)一步考慮兩個較不重要的軸(對應(yīng)于兩個最小的本征值)。

計(jì)算兩個上述軸上所有已檢查像素的坐標(biāo)。繼而計(jì)算坐標(biāo)的絕對值的兩個直方圖：一個直方圖用于一個軸。針對兩個直方圖中的每一個，可以例如使用以下過程來確定可接受閾值。計(jì)算對應(yīng)的累積直方圖h。該閾值用來例如為像素總數(shù)的給定百分比確定界限(即，閾值th用來例如h(th)～＝p％，其中p是預(yù)定值)。通過為p選擇不同的值，可以改變皮膚過濾的強(qiáng)度。例如，p的取值可以在90.0％(用于強(qiáng)過濾)與97.5％(用于許可性過濾)之間變化。

計(jì)算在pca步驟之后得到的兩個軸上每個圖像像素的坐標(biāo)，以及檢查絕對值是否小于在上一步驟中獲得的閾值。

針對要考慮為皮膚類型的像素，可以進(jìn)行進(jìn)一步驗(yàn)證。一個示例是檢查飽和度在yuv顏色空間中是否足夠大。基于在第一階段計(jì)算的平均飽和度，可以驗(yàn)證每個像素具有足夠大的u值和v值中的至少一個。而且，檢查像素的亮度水平以位于預(yù)定色域內(nèi)。這是因?yàn)椴幌Ｍ揎椇谏拿l(fā)或者顏色信息不可靠的太亮區(qū)域。

同時，可以在整個圖像上應(yīng)用通用皮膚檢測算法(例如，yuv空間上的簡單閾值設(shè)定)，以便獲得較不可靠但更具包含性的皮膚圖。通用皮膚圖的角色可以是多樣的，因?yàn)槠淇梢栽诓淮嬖谀槻啃畔⒌那闆r下替代pca皮膚圖。皮膚圖還可以用于通過幫助決定是否要填充該圖中的洞來改進(jìn)pca皮膚圖。該皮膚圖可以向pca皮膚圖添加“不確定的皮膚像素”，或者具有較低置信度、要被修正塊單獨(dú)處理的像素。

現(xiàn)在，可以通過應(yīng)用諸如形態(tài)學(xué)操作的空間過濾來清理皮膚圖。此刻，皮膚圖可以具有兩個置信度水平：pca皮膚(高置信度)和不確定的皮膚(低置信度)。置信度水平的數(shù)量可以通過將皮膚區(qū)內(nèi)皮膚像素的空間定位納入考慮來進(jìn)一步增加。在一個實(shí)現(xiàn)中，一個像素離圖的內(nèi)部越近，其置信度被設(shè)置得越高。在另一實(shí)現(xiàn)中，通過使用pca軸上像素系數(shù)的多個閾值設(shè)定，皮膚置信度水平的數(shù)量可以從pca閾值設(shè)定階段增加。

增強(qiáng)圖修正

修正來自臉部內(nèi)部的皮膚像素(或者，在不存在臉部時，來自通過皮膚過濾的區(qū)域的像素)。以下描述用于執(zhí)行此修正的示例性過程。

可以針對每個像素計(jì)算權(quán)重α∈[0，1]，其描述像素將接收到的修正程度。α的值越大，將向該像素應(yīng)用的修正越多。權(quán)重可以基于局部標(biāo)準(zhǔn)偏差，該標(biāo)準(zhǔn)偏差是在正方形鄰居(例如，針對較大皮膚面積為16×16，或者針對中型皮膚面積為8×8)上的xga強(qiáng)度圖像上計(jì)算而來的，但是也可以考慮其他因素(例如，皮膚置信度水平、像素與臉部特征(諸如眼部和口部等)的接近)。

最初，α被計(jì)算為：其中σ皮膚是在整個皮膚面積上計(jì)算的標(biāo)準(zhǔn)偏差，而σ局部是局部標(biāo)準(zhǔn)偏差。繼而，α的極限是1。

針對具有較高皮膚置信度的像素，α可以增大預(yù)定因子(例如，1.1-1.25)。

針對定位在臉部特征(諸如，眼部和口部(參見圖1))附近的像素，α可以減小以預(yù)定的因子。(對于眼部和口部檢測，參見“眼部和口部修飾”一節(jié))。

可以特別關(guān)注皮膚邊界附近的像素。在此示例中，對于這些像素，σ局部較高，因?yàn)樵谟?jì)算鄰居中存在較強(qiáng)的邊。在這些情況中，搜尋邊的方向(僅考慮四個主方向)，并且基于該方向，當(dāng)前窗口的最均勻子窗口用于重新計(jì)算α和局部平均。

α還可以基于當(dāng)前像素的強(qiáng)度和局部平均(在相同鄰居上計(jì)算作為σ局部)之間的關(guān)系來進(jìn)行修改。這是因?yàn)閲L試通過臉部修飾來消除的臉部贗像(例如，雀斑、水皰、皺紋)可能通常比皮膚黑，但不是非常黑。

在一個實(shí)施方式中，可以執(zhí)行以下修改：如果當(dāng)前強(qiáng)度大于局部平均，則減小α(高強(qiáng)度，由此，極度減小修正)。如果當(dāng)前強(qiáng)度比局部平均低很多，則減小α(太黑以至于不是皮膚贗像，極度減小修正)。如果當(dāng)前強(qiáng)度低于局部平均，但是二者之間的差別較小，則增大α(非?？赡苁悄槻口I像，因此增大修正)。如果當(dāng)前強(qiáng)度低于局部平均，并且二者之間的差別較大，則稍微減小α(較不可能是臉部贗像，因此稍微減小修正)。

基于下述關(guān)系來對強(qiáng)度值應(yīng)用修正：

新強(qiáng)度＝α·局部平均+(1-α)·舊強(qiáng)度

可以在用于加權(quán)圖(xga圖像)的相同強(qiáng)度圖像上計(jì)算平均。這會在不影響質(zhì)量的情況下改進(jìn)速度。

圖2a-圖2c示出了與檢測的特征一起工作的示例。在圖2a中，利用顏色示出了輸入和預(yù)定數(shù)據(jù)，其中顏色包括用于臉部矩形的青色(有點(diǎn)兒藍(lán)的色度)、用于臉部特征(諸如，眼部和口部或嘴唇)的綠色，以及用于臉部區(qū)內(nèi)皮膚的紅色。

圖2b示出了初始圖像，而圖2c示出了使用自動臉部修飾的輸出結(jié)果。

臉部特征(眼部和口部)的增強(qiáng)

除了移除皮膚贗像(皺紋、水皰等)，也可以朝著臉部整體視覺方面更佳來應(yīng)用眼部和口部修飾?？梢葬槍ρ鄄亢涂诓啃揎棽扇∫韵聞幼鳌?/p>

可以將眼部和口部的初始位置(粗略地)確定為位于pca皮膚圖中的臉部矩形或其他形狀的左上方、右上方和下半部分中的最大的洞。

更精確的眼部和口部定位可以在上述初始區(qū)域周圍的較小鄰居中以較高分辨率(至少是xga)執(zhí)行，如下所述：

可以基于顏色信息來檢測口部區(qū)。在使用yuv顏色空間時，其可以定義為v分量高于閾值(基于局部v直方圖計(jì)算的)的區(qū)域。

牙齒的存在可以通過檢查口部區(qū)周圍的最小矩形內(nèi)的飽和度s的直方圖來檢測。如果在yuv顏色空間中工作，則飽和度可以計(jì)算為s＝abs(u)+abs(v)。如果飽和度的直方圖是單峰的，則牙齒可能不可見。如果飽和度的直方圖是雙峰的，則可以檢查與直方圖的劣等模式對應(yīng)的區(qū)域。如果發(fā)現(xiàn)該區(qū)域位于口部區(qū)內(nèi)部(更精確地，如果存在三明治式“口部-牙齒-口部”)，則可以確定牙齒可見。

可以檢測一個或兩個眼部區(qū)，每一個作為歸一化y·s分量低于閾值(基于局部y·s直方圖計(jì)算的)的連接區(qū)。在以上表達(dá)式中，y是來自yuv顏色空間的歸一化強(qiáng)度分量，而s是按照上述進(jìn)行計(jì)算的歸一化飽和度。y和s的歸一化可以針對局部最大值進(jìn)行。

虹膜可以檢測為眼部中央的較暗部分，而鞏膜(眼白)可以檢測為眼部的剩余部分。

口部和眼部修飾可以包括以下步驟中的任何一個或多個或者全部，而且不一定按描述的順序：

可以增加口部的紅色。在yuv顏色空間中，這可以通過將口部區(qū)內(nèi)部的v值乘以預(yù)定因子(例如，1.2)來進(jìn)行。

牙齒可以通過稍微增大y分量同時減小u分量和v分量的絕對值來進(jìn)行增白。

眼白可以通過稍微增加y分量同時減小眼白區(qū)內(nèi)部的u分量和v分量的絕對值來明亮化。

虹膜可以通過加強(qiáng)虹膜區(qū)內(nèi)的強(qiáng)度對比來進(jìn)行改進(jìn)。而且，如果存在紅眼現(xiàn)象(這導(dǎo)致位于虹膜內(nèi)的瞳孔區(qū)的v值增加)，則可以應(yīng)用紅眼修正算法，其可以是goldeneye(黃金眼)算法(參見美國專利6,407,777、7,042,505、7,474,341、7,436,998、7,352,394、7,336,821和7,536,036)。

根據(jù)若干實(shí)施方式，可以通過實(shí)施臉部、皮膚和/或臉部特征增強(qiáng)來改進(jìn)肖像圖像的質(zhì)量。

備選實(shí)施方式

當(dāng)在數(shù)碼相機(jī)上，尤其是在配備有相機(jī)的手持式設(shè)備上提供某些實(shí)施方式時，能夠帶來巨大優(yōu)勢。利用來自臉部檢測器或者甚至臉部追蹤器(數(shù)據(jù)來自多個圖像幀)的特定數(shù)據(jù)，該方法可以有利地執(zhí)行。在一個實(shí)施方式中，可以動態(tài)地從臉部追蹤器模塊獲得增強(qiáng)的臉部圖像。使用pca來確定主皮膚顏色，以及使用兩個其他顏色空間維度來確定距該顏色的變化，可以是有利的。該方法可以包括將顏色空間解相關(guān)為“主要皮膚”和“次要皮膚”。使用“次要皮膚”維度來確定“好皮膚”對于皮膚檢測也是有利的。較小的圖像可以用于檢測，而局部化的平滑核可以應(yīng)用于完整圖像，從而節(jié)省了寶貴的處理資源，給手持式設(shè)備帶來了巨大優(yōu)勢。可以使用兩個皮膚圖，包括與“包含性的”圖結(jié)合的“排除性的”圖，并且還可以利用臉部檢測數(shù)據(jù)。多種“皮膚分析”和色調(diào)/顏色/對比以及其他圖像調(diào)整技術(shù)可以與此處描述的實(shí)施方式相結(jié)合，例如，如在美國公開的申請no.2006/0204110中描述的。有利地，皮膚和臉部特征檢測(眼部、口部)用在臉部圖像增強(qiáng)中，其可以包括平滑、模糊、紋理修改、噪聲減小/增強(qiáng)，或用于減小臉部的瑕疵或有缺陷區(qū)域的視覺效果的其他技術(shù)?？梢栽谀承?shí)施方式中實(shí)現(xiàn)皺紋修正。

另外，可以有利地利用基于pca的“強(qiáng)”皮膚檢測，其支持僅檢測與臉部的膚色類似的那些膚色，并且可以用于丟棄其顏色與膚色不同的其他類膚色面片(例如，后面的墻、淺色的頭發(fā)等)。

在此描述的實(shí)施方式利用選擇性平滑的應(yīng)用，其并非應(yīng)用至臉部的所有皮膚像素，而僅僅是應(yīng)用于可能是或者包括贗像(例如，皺紋、水皰、雀斑等)的那些皮膚像素。這與全局方案非常不同，在全局方案中，會平滑所有臉部皮膚像素或者整個臉部，并且銳化臉部的非皮膚像素(例如，口部、眼部、眉毛)。這些實(shí)施方式用于保留固有的皮膚紋理，而移除不想要的贗像。例如，能夠看出人的年齡，由此保持自然，同時又改進(jìn)了臉部的外觀。

盡管已經(jīng)描述和說明了本發(fā)明的示例性附圖和特定實(shí)施方式，但是應(yīng)當(dāng)理解，本發(fā)明的范圍并不限于討論的特定實(shí)施方式。由此，實(shí)施方式應(yīng)當(dāng)被視為說明性的而非限制性的，并且應(yīng)當(dāng)理解，在不脫離本發(fā)明范圍的前提下，本領(lǐng)域技術(shù)人員能夠?qū)@些實(shí)施方式做出變化。

另外，在根據(jù)此處優(yōu)選實(shí)施方式執(zhí)行的以及上面已進(jìn)行描述的方法中，按照選擇的印刷順序描述了操作。然而，順序是為了印刷方便而選擇并進(jìn)行如此排序的，而不是意在隱含執(zhí)行操作的任何特定順序，除了明確給出的特定順序或者本領(lǐng)域技術(shù)人員認(rèn)為特定順序是必須的情況以外。