專利名稱：圖像處理裝置、圖像處理方法及控制程序的制作方法
技術領域：
本發(fā)明涉及一種圖像處理裝置和圖像處理方法，尤其涉及一種用于修正臉部圖像的圖像處理裝置和圖像處理方法。
背景技術：
常規(guī)地，已知一種對臉部圖像虛擬進行化妝(makeup)的技術，以便模擬在應用化妝品時用戶的臉部看上去像什么模樣。專利文獻I公開了一種腮紅化妝模擬技術，其將腮紅涂布于拍攝的用戶臉部圖像。專利文獻2公開了一種眼部化妝模擬技術，其在拍攝的用戶臉部圖像中繪制眼影和眼線。根據(jù)上述技術，通過將腮紅或眼影的顏色疊加到用戶臉部圖像的顏色上，將腮紅或眼影涂布于用戶的臉部圖像，從而能夠根據(jù)用戶的膚色來進行化妝。專利文獻專利文獻1:日本待審專利公開第2000-279228號(
公開日:2000年10月10日)專利文獻2:日本待審專利公開第2000-285222號(
公開日:2000年10月13日)

發(fā)明內容
發(fā)明所要解決的問題然而，在常規(guī)配置中會產(chǎn)生以下問題。在專利文獻I和2公開的技術中，假設準備了最佳臉部圖像以進行化妝模擬。具體而言，在常規(guī)技術中，假設使用無表情的、正面臉部圖像，其中眼睛或臉頰的周邊沒有隱藏在另一物體后面，而整個臉部表面被光均勻照射。因此，例如，在化妝品商店中，顧客(用戶)朝向相機就座，并且顧客通過抬高頭發(fā)或者取下眼鏡而準備圖像拍攝。然后，在顧客受到均勻照射的照明光下，銷售員拍攝顧客的最佳臉部圖像，并且將無表情的、正面臉部圖像輸入到化妝模擬器。在化妝模擬失敗的情況下重復上述過程。因此，用戶必須訪問化妝品商店以便進行化妝模擬，并且銷售員必須協(xié)助用戶拍攝臉部圖像。因此，用戶無法容易地嘗試化妝模擬。在專利文獻I和2公開的技術中，在普通狀態(tài)下，即，在頭發(fā)沒有被梳理上去的狀態(tài)或者用戶佩戴眼鏡的狀態(tài)下，無法進行化妝模擬。例如，專利文獻I和2公開的技術可被應用于數(shù)碼相機或配備有相機的移動電話，以實施對拍攝的臉部圖像進行化妝的軟件。專利文獻I和2公開的技術也可被應用為運行于個人計算機或互聯(lián)網(wǎng)上的服務器中的化妝模擬器。在這種情況下，不必請求銷售員來進行化妝模擬。但是，在專利文獻I和2公開的技術中，用戶必須為化妝模擬準備理想圖像，即，無表情的、正面臉部圖像，其中眼睛或臉頰的周邊沒有隱藏在另一物體后面，并且整個臉部表面被光均勻照射。在通過常規(guī)技術使用由數(shù)碼相機或配備有相機的移動電話拍攝的快照(例如，快速拍攝自然狀態(tài)下用戶圖像的照片)進行化妝模擬的情況下，會產(chǎn)生以下問題。第一，快照常常包括從起初難以進行化妝模擬的臉部圖像，例如不朝向正面的臉部和具有故意變形的表情的臉部。當對這樣的臉部圖像進行常規(guī)技術的化妝模擬時，無法進行想要的修正，并且會產(chǎn)生不自然的結果。第二，即使快照中獲取的臉部朝向接近于正面，但應該進行化妝的部分或整個區(qū)域常常被另一物體所覆蓋，如用戶佩戴眼鏡或者頭發(fā)覆蓋眼睛附近。當對這樣的臉部圖像進行常規(guī)技術的化妝模擬時，遺憾的是，對與應進行化妝的區(qū)域重疊的另一物體進行了化妝。即使眼鏡或頭發(fā)不存在于應進行化妝的區(qū)域附近，在常規(guī)技術中，遺憾的是，在臉部或眼睛輪廓的特征點無法被正確提取的情況下，對不期望的地方進行了化妝，致使眼影侵入眼睛。在快照中，臉部常常被光不均勻地照射，并且臉部的左右兩側之一常常是亮的而另一側是暗的。當對這樣的臉部圖像進行常規(guī)技術的化妝模擬時，有時臉部根據(jù)所應用的化妝顏色(化妝品的顏色)看起來不自然。例如，與原始左右皮膚顏色之間的差異相比較，通過常規(guī)技術的氣刷(air-brush)處理將眼影(或腮紅)的顏色與膚色合成而獲得的左右兩側顏色(化妝后的顏色)之間的差異有時看起來不自然。在原始左右兩側膚色之間的亮度差異乍看起來難以了解的情況下，這一問題變得顯著。鑒于前述，本發(fā)明的目的是實施一種圖像處理裝置和圖像處理方法，其能夠對寬范圍條件下的臉部圖像適當?shù)剡M行化妝處理。解決問題的手段根據(jù)本發(fā)明的第一方案，一種用于以特定顏色的圖案對人的圖像的皮膚進行著色處理的圖像處理裝置包括:顏色修正單元，修正圖案的顏色以確定用于每個區(qū)域的顏色，使得應用于每個區(qū)域的圖案的顏色在人的圖像中用所述圖案進行著色的多個區(qū)域中變化；以及著色單元，通過將用于每個區(qū)域的顏色疊加在人的圖像的每個區(qū)域的顏色上而利用所述圖案對人的圖像進行著色，其中，使用人的圖像中每個區(qū)域的代表色的差異，顏色修正單元修正圖案的顏色以確定用于每個區(qū)域的顏色，使得在著色之后每個區(qū)域的色差減小。根據(jù)本發(fā)明的第二方案，一種用于以特定顏色的圖案對人的圖像的皮膚進行著色處理的圖像處理方法包括:顏色修正步驟，修正圖案的顏色以確定用于每個區(qū)域的顏色，使得應用于每個區(qū)域的圖案的顏色在人的圖像中用所述圖案進行著色的多個區(qū)域中變化；以及著色步驟，通過將用于每個區(qū)域的顏色疊加在人的圖像的每個區(qū)域的顏色上而利用所述圖案對人的圖像進行著色，其中，在顏色修正步驟中，使用人的圖像中每個區(qū)域的代表色的差異來修正圖案的顏色以確定用于每個區(qū)域的顏色，使得在著色之后每個區(qū)域的色差減小。在其中應該用所述圖案對人的圖像的皮膚進行著色的多個區(qū)域的第一區(qū)域和第二區(qū)域中，由于拍攝圖像時的照明，有時會產(chǎn)生陰影，且第一區(qū)域的亮度與第二區(qū)域的亮度極大不同。當用相同的顏色對人的圖像的第一區(qū)域和第二區(qū)域進行著色時，會反映出原始膚色，且第一區(qū)域和第二區(qū)域的圖案的顏色看起來彼此極大不同。根據(jù)上述配置，根據(jù)人的圖像中第一區(qū)域的代表色與第二區(qū)域的代表色之間的差異來修正圖案的顏色以確定用于第一區(qū)域的顏色和用于第二區(qū)域的顏色，使得在著色之后第一區(qū)域的顏色與第二區(qū)域的顏色之間的差異減小，且通過將用于第一區(qū)域的顏色和用于第二區(qū)域的顏色疊加在人的圖像中第一區(qū)域和第二區(qū)域的顏色上而利用所述圖案對第一區(qū)域和第二區(qū)域進行著色。因此，即使人的圖像的皮膚中第一區(qū)域的顏色與第二區(qū)域的顏色極大不同，也能夠在著色之后減小第一區(qū)域的顏色與第二區(qū)域的顏色之間的差異。因此，人的圖像的皮膚能夠用所述圖案(例如，化妝)來進行著色，使其看起來自然。例如，即使用戶沒有準備用照明光均勻照射的圖像，也能夠使用寬范圍條件下拍攝的圖像來進行化妝模擬。發(fā)明的效果如上所述，根據(jù)本發(fā)明，即使人的圖像的皮膚的第一區(qū)域和第二區(qū)域的顏色彼此極大不同，也能夠在著色之后減小第一區(qū)域與第二區(qū)域之間圖案的顏色的差異。因此，人的圖像的皮膚能夠用所述圖案來進行著色，使其看起來自然。因此，能夠使用在寬范圍條件下拍攝的圖像來進行化妝模擬。通過以下描述，本發(fā)明的其它目的、特征和優(yōu)點將會變得足夠明顯。通過結合附圖的以下描述，本發(fā)明的優(yōu)點將會變得明顯。


圖1是示出根據(jù)本發(fā)明實施例的數(shù)碼相機的示意配置的框圖。圖2是示出上眼瞼眼線的基本形狀示例的圖像。圖3是示出下眼瞼眼線的基本形狀示例的圖像。圖4是示出眼影的基本形狀示例的圖像。圖5是示出腮紅的基本形狀示例的圖像。圖6是示出形狀調節(jié)后的化妝形狀的圖像。圖7是示出數(shù)碼相機中包括的圖像處理裝置中的化妝處理流程的流程圖。圖8是示出計算用于眼部化妝處理的權重分布(weight distribution)的處理的詳細流程的流程圖。圖9是示出相對于臉部圖像獲得的膚色度Ds的示例的圖像。圖10是對應于圖9并示出眼睛遮罩(eye mask)示例的圖像。圖11是對應于圖9并示出膚色度Ds和遮罩的乘積的圖像。圖12是對應于圖6并示出權重分布的圖像。圖13是示出計算用于臉頰化妝處理的權重分布的處理的詳細流程的流程圖。圖14是示出修正的化妝顏色與對應的臉部圖像像素值之間在色空間(colorspace)中的關系的不意圖。
具體實施例方式在實施例中主要描述包含在數(shù)碼相機中用于對拍攝圖像中所包括的臉部圖像進行化妝處理的圖像處理裝置。然而，本發(fā)明不限于該圖像處理裝置。在下文中，將參照圖1至圖14詳細描述實施例。<數(shù)碼相機的配置>圖1是示出根據(jù)實施例的數(shù)碼相機I的示意配置的框圖。數(shù)碼相機I包括指令輸入裝置2、成像裝置3、圖像存儲裝置4、顯示裝置5和圖像處理裝置6。指令輸入裝置2包括諸如按鈕、按鍵和觸摸面板等輸入裝置。指令輸入裝置2接收來自用戶的成像指令，并將成像指令輸出至成像裝置3。指令輸入裝置2接收來自用戶的化妝處理指令，并將化妝處理指令輸出至圖像處理裝置6。例如，成像裝置3包括諸如CXD (電荷耦合器件)和CMOS (互補金屬氧化物半導體)成像元件等成像元件。響應于成像指令，成像裝置3拍攝圖像，并將拍攝的圖像(圖像數(shù)據(jù))輸出至圖像存儲裝置4。各條信息存儲在圖像存儲裝置4中。例如，圖像存儲裝置4包括諸如HDD (硬盤驅動器)和閃存等存儲裝置。接收自成像裝置3的圖像存儲并保持于圖像存儲裝置4中。顯示裝置5包括顯示器，其顯示輸入的圖像，并將圖像呈現(xiàn)給用戶。顯示裝置5從圖像處理裝置6接收已經(jīng)進行了化妝處理的圖像，并顯示已經(jīng)進行了化妝處理的圖像。<圖像處理裝置的配置>圖像處理裝置6包括圖像獲取單元11、臉部檢測器12、特征檢測器(檢測器)13、適用性確定單元14、化妝形狀確定單元15、顏色修正單元16、合成單元(著色單元)17及顯示控制器18。圖像獲取單元11從指令輸入裝置2接收化妝處理指令?；瘖y處理指令包括指示變?yōu)樘幚韺ο蟮膱D像的信息和指示完成了何種化妝(如眼影或腮紅、其形狀及顏色)的信息。圖像獲取單元11基于所接收的化妝處理指令從圖像存儲裝置4獲取處理對象圖像。圖像獲取單元11可直接接收由成像裝置3拍攝的圖像。圖像獲取單元11將獲取的處理對象圖像輸出至臉部檢測器12。圖像獲取單元11將化妝處理指令輸出至化妝形狀確定單元15。臉部檢測器12檢測從圖像獲取單元11接收的圖像中所包括的臉部圖像。當檢測圖像中所包括的臉部圖像時，臉部檢測器12指定臉部圖像的位置。臉部圖像的位置可以指示臉部圖像的預定點或臉部圖像的區(qū)域的坐標。臉部檢測器12將處理對象圖像及臉部圖像的位置輸出至特征檢測器13。臉部檢測器12可以從處理對象圖像檢測多個臉部圖像。在檢測出多個臉部圖像的情況下，臉部檢測器12可以指定多個臉部圖像的位置，并將多個臉部圖像的位置輸出至特征檢測器13。特征檢測器13從接收自臉部檢測器12的處理對象圖像及臉部圖像的位置檢測臉部圖像的每個臉部特征的位置。具體而言，特征檢測器13檢測臉部器官的特征以及臉部輪廓的特征(特征點)等，并指定其位置，上述臉部器官例如為眼睛(內眼角、眼尾、上眼瞼的輪廓點、下眼瞼的輪廓點等)、嘴(口部端點、口部中心點等)和鼻子(鼻子的頂點等)。特征的位置可以指示特征點或包括該特征的區(qū)域的坐標。可以利用公知技術來檢測特征。特征檢測器13將處理對象圖像、臉部圖像的位置及檢測到的臉部特征的位置輸出至適用性確定單元14。特征檢測器13可以指定多個臉部圖像的特征的位置，并將多個臉部圖像的特征的位置輸出至適用性確定單元14。適用性確定單元14根據(jù)接收自特征檢測器13的處理對象圖像、臉部圖像的位置及臉部特征的位置，來確定臉部圖像是否適于進行化妝處理。例如，適用性確定單元14確定側向臉部圖像和極小臉部圖像是不適用的。具體確定方法稍后描述。在處理對象圖像包括多個臉部圖像的情況下，適用性確定單元14可以確定每個臉部圖像是否適于進行化妝處理，或者可以指定更適于進行化妝處理的臉部圖像的預定數(shù)量(例如，一個臉部圖像)。適用性確定單元14將處理對象圖像、被確定為適用于處理對象的臉部圖像的位置、及臉部特征的位置輸出至化妝形狀確定單元15。
化妝形狀確定單元15基于接收自適用性確定單元14的處理對象圖像、處理對象的臉部圖像的位置、及臉部特征的位置以及接收自圖像獲取單元11的化妝處理指令，來確定對處理對象的臉部圖像進行的化妝(圖案)的形狀以及化妝的灰度分布(grayscaledistribution)。在實施例中，根據(jù)計算出的權重分布，將由用戶指定的化妝顏色與原始臉部圖像的膚色合成。權重分布指示的是每個像素中化妝的灰度分布?；瘖y形狀確定單元15指定化妝形狀以及屬于用于合成上述顏色的灰度分布的權重分布?；瘖y形狀確定單元15包括形狀調節(jié)器21、皮膚識別單元22、遮罩單元23及權重分布確定單元24。形狀調節(jié)器21基于化妝處理指令來確定化妝類型(例如，眼線或腮紅)和化妝基本形狀。基于化妝處理指令，形狀調節(jié)器21在多個預先準備的化妝基本形狀中指定用于化妝處理的化妝基本形狀。形狀調節(jié)器21在每次化妝處理中可以利用預定函數(shù)(function)來計算化妝基本形狀。化妝基本形狀的模板的形狀和灰度分布可以響應于用戶指令而改變。圖2是示出上眼瞼眼線的基本形狀示例的圖像。圖3是示出下眼瞼眼線的基本形狀示例的圖像。圖4是示出眼影的基本形狀示例的圖像。圖5是示出腮紅的基本形狀示例的圖像。在圖2到圖5中，亮(白)的地方(spot)指示深的化妝顏色，暗(黑)的地方指示淺的化妝顏色。即，化妝基本形狀表示出化妝的形狀和灰度。例如，在圖2中上眼瞼眼線的基本形狀中，每個像素的值為O到1，像素隨著像素值增大而被表示得更亮，并且每個像素的值對應于合成中的權重。圖2至圖5中的化妝基本形狀用于右眼或右臉頰，且用于左眼或左臉頰的化妝基本形狀通過水平反轉圖2至圖5中的化妝基本形狀而得到。形狀調節(jié)器21根據(jù)臉部圖像的特征使所使用的化妝基本形狀變形。例如，形狀調節(jié)器21根據(jù)臉部圖像的尺寸或眼睛的尺寸等來調節(jié)(按比例縮放)化妝基本形狀的尺寸。形狀調節(jié)器21根據(jù)檢測到的眼睛輪廓的形狀來調節(jié)化妝形狀，從而使得例如圖2中的上眼瞼眼線下側的輪廓(白的地方)沿著檢測到的上眼瞼輪廓來布置。從而，形狀調節(jié)器21根據(jù)各個特征來調節(jié)化妝形狀。圖6是示出形狀調節(jié)后的化妝形狀的圖像。如同圖2至圖5，在圖6中，亮(白)的地方指示深的化妝顏色，暗(黑)的地方指示淺的化妝顏色。形狀調節(jié)器21將尺寸和形狀受到調節(jié)的化妝形狀輸出至權重分布確定單元24。皮膚識別單元22指定屬于臉部圖像中的皮膚的地方。皮膚識別單元22確定其顏色被認為是膚色的像素為皮膚。具體而言，皮膚識別單元22對于屬于處理對象的臉部圖像的每個像素指定膚色度(degree of skin color)。在實施例中，對于具有小膚色度的地方，即被認為不是皮膚的地方，權重減小，并且化妝顏色被輕度疊加或者化妝顏色不被合成。皮膚識別單元22將屬于處理對象的臉部圖像的每個像素的膚色度輸出至權重分布確定單元24。遮罩單元23基于處理對象的臉部圖像和臉部圖像的特征位置而生成眼部(預定部位)的遮罩。就此而言，由于睫毛等的影響，特征檢測器13檢測到的眼睛輪廓位置可能存在誤差。眼線的化妝形狀由形狀調節(jié)器21根據(jù)眼睛輪廓來調節(jié)，有時候，當檢測到的眼睛輪廓位置偏離原始位置時，眼線侵入眼睛。在實施例中，應用于臉部圖像眼部的遮罩防止眼線侵入眼睛。遮罩單元23利用通過算法得到并與形狀調節(jié)器21使用的眼睛輪廓不同的眼睛輪廓的信息來生成遮罩。因此，能夠防止形狀調節(jié)器21中由于檢測誤差而產(chǎn)生的問題(使眼線侵入眼睛)。在實施例中，所生成的遮罩對于每個像素的值為O到I。就此而言，值為I意味著該地方不被遮蓋，并且隨著遮罩值的減小，該地方受到更強的遮蓋(化妝顏色不被合成)。可以生成除眼睛之外的地方(例如鼻子和嘴)的遮罩。遮罩單元23將生成的遮罩輸出至權重分布確定單元24。權重分布確定單元24基于調節(jié)后的化妝形狀、臉部圖像的膚色度以及遮罩，來確定用于顏色合成(化妝顏色和膚色的合成)的權重分布。具體而言，權重分布確定單元24對于對應于臉部圖像的每個像素計算化妝形狀、膚色度及遮罩的乘積，并將該乘積設定為每個像素的權重。關于用于顏色合成的權重分布，在具有減小的權重值的地方，化妝顏色被輕度合成，而在具有增大的權重值的地方，化妝顏色被深度合成。權重分布確定單元24將確定的權重分布輸出至合成單元17。權重分布確定單元24將處理對象圖像、處理對象的臉部圖像的位置及臉部特征的位置輸出至顏色修正單元16。顏色修正單元16基于處理對象圖像、處理對象的臉部圖像的位置及臉部特征的位置，指定處理對象的臉部圖像膚色的代表色。部分臉部區(qū)域的顏色，例如臉部區(qū)域的中心部(在鼻子附近)的平均值、中值或最頻值(mode value)的顏色，可被設定為膚色的代表色。整個臉部區(qū)域的平均顏色可被設定為膚色的代表色。得到臉部的特定區(qū)域的平均顏色，排除了色調(hue)與區(qū)域中的平均顏色的色調不同的像素(在CbCr平面中與平均顏色形成的角度大于閾值)和/或與區(qū)域中的平均顏色的色差大的像素(在YCbCr色空間中與平均顏色的距離大于閾值)，并且從其余像素計算出的平均顏色可被用作代表色。利用每個像素的顏色和膚色的代表色，顏色修正單元16對于臉部圖像的每個像素修正由用戶指定的化妝顏色。顏色修正單元16根據(jù)左右化妝區(qū)域之間代表色的差異，在左右化妝區(qū)域的每個中修正化妝顏色，從而使得合成之后左右化妝區(qū)域之間的色差減小。顏色修正單元16將每個像素中經(jīng)修正的化妝顏色輸出至合成單元17。顏色修正單元16將處理對象圖像和處理對象的臉部圖像的位置輸出至合成單元17。合成單元17根據(jù)權重分布將處理對象的臉部圖像與修正后的化妝顏色進行合成，并生成已經(jīng)進行了化妝處理的臉部圖像。合成單元17將已經(jīng)進行了化妝處理的臉部圖像輸出至顯示控制器18。合成單元17可以將已經(jīng)進行了化妝處理的臉部圖像輸出至并存儲于圖像存儲裝置4中。顯示控制器18將已經(jīng)進行了化妝處理的臉部圖像輸出至顯示裝置5，并控制顯示裝置5顯示該已經(jīng)進行了化妝處理的臉部圖像。<圖像處理流程>下面將描述數(shù)碼相機I中化妝處理的流程。用戶通過指令輸入裝置2從拍攝并存儲于圖像存儲裝置4的圖像中選擇處理對象圖像。用戶通過指令輸入裝置2從多個備選中選擇對處理對象圖像進行的化妝類型(例如眼線、眼影和/或腮紅)、化妝形狀及化妝顏色。指令輸入裝置2將包括化妝類型、化妝形狀及化妝顏色的化妝處理指令輸出至圖像處理裝置6的圖像獲取單元11。圖7是示出圖像處理裝置6中的化妝處理流程的流程圖。在從指令輸入裝置2中接收到化妝處理指令時，圖像獲取單元(指令接收單元)11從圖像存儲裝置4中獲取變?yōu)樘幚韺ο蟮膱D像(SI)。臉部檢測器12檢測該圖像中包括的變?yōu)樘幚韺ο蟮哪槻繄D像，并指定臉部圖像的位置(S2)。臉部檢測器12可以檢測處理對象圖像中包括的多個臉部圖像。
特征檢測器13檢測所檢測的臉部圖像中包括的臉部特征的位置(S3)。特征檢測器13檢測臉部器官的特征(特征點)并指定其位置，上述臉部器官例如為眼睛(內眼角、眼尾、上眼瞼的輪廓點、下眼瞼的輪廓點等)、嘴(口部端點、口部中心點等)和鼻子(鼻子的頂點等)。特征檢測器13可以檢測諸如臉部輪廓等特征?；谒鶛z測的臉部特征的位置，適用性確定單元14確定臉部圖像是否適于進行化妝處理(S4)。例如，通過從多個臉部圖像樣本預先學習臉部器官(例如眼睛、鼻子和嘴)的各個特征周邊的亮度分布的特性而產(chǎn)生的臉部模型存儲在適用性確定單元14中。適用性確定單元14將臉部模型與檢測的臉部圖像相比較，以便指定所檢測的臉部圖像特征的可靠度和臉部朝向。例如，在所檢測特征的可靠度小于預定閾值的情況下，由于臉部特征沒有被正確檢測的可能性高，所以可能無法適當進行化妝處理。因此，在所檢測特征的可靠度小于預定閾值的情況下，適用性確定單元14確定臉部圖像不適于進行化妝處理。在所檢測的臉部朝向大幅偏離正面的情況下(在臉部朝向不存在于預定范圍中的情況下，例如，在臉部朝向相對于正面大于預定角度的情況下)，因為有可能無法適當進行化妝處理，所以適用性確定單元14確定臉部圖像不適于進行化妝處理。在臉部圖像極小的情況下(例如，在所檢測的右眼和左眼的中心點(瞳孔)之間的距離小于預定閾值的情況下)，因為有可能無法適當進行化妝處理，所以適用性確定單元14確定臉部圖像不適于進行化妝處理。在基于所檢測的眼睛輪廓而確定眼睛閉合的情況下，因為有可能無法適當進行化妝處理，所以適用性確定單元14確定臉部圖像不適于進行化妝處理。在對膚色由于照明反射而變白的地方進行化妝處理時，有時化妝地方看起來被不自然地隔離。因此，在臉部圖像膚色的代表色的亮度大于預定閾值的情況下，適用性確定單元14可以確定臉部圖像不適于進行化妝處理。在因為臉部被透過樹木的日光照射而使臉頰或眼瞼區(qū)域的亮度分布中的亮度差別極為廣泛的情況下，有時在進行了化妝處理時該地方看起來不自然。因此，在臉部區(qū)域中膚色的亮度變化大于預定閾值的情況下，適用性確定單元14可以確定臉部圖像不適于進行化妝處理。在顏色接近于膚色的物體與臉部圖像重疊的情況下，有時特征檢測器13誤將該物體檢測為臉部的特征點。在所檢測的特征點與其它特征點(例如，眼睛、鼻子和嘴)相比位于不自然的位置的情況下，所檢測的特征點可被確定為與臉部重疊的另一物體。在檢測到此類特征點的情況下，因為在進行化妝處理時有可能將化妝與重疊于臉部的另一物體相合成，所以適用性確定單元14可以確定臉部圖像不適于進行化妝處理。在確定是否能夠進行化妝處理時，判別標準可以根據(jù)化妝類型(例如，眼線、眼影和腮紅)而改變。在適用性確定單元14確定臉部圖像不適于進行化妝處理時(S4中的否)，對臉部圖像進行的處理結束。在適用性確定單元14確定臉部圖像適于進行化妝處理時(S4中的是)，形狀調節(jié)器21獲取處理對象的臉部圖像的膚色的信息(S5)。獲得整個皮膚的平均顏色和每個區(qū)域(例如右眼瞼、左眼瞼、右臉頰、左臉頰和鼻子)的平均顏色，作為來自處理對象的臉部圖像的膚色的信息。作為平均顏色的替代，也可以獲得每個區(qū)域的代表色。形狀調節(jié)器21根據(jù)所指定的化妝類型將處理對象設定為眼睛或臉頰(S6)。在指示進行多種化妝類型的情況下，根據(jù)尚未處理的化妝類型來設定處理對象部位。形狀調節(jié)器21將右側和左側器官之一設定為處理對象(S7)。例如，形狀調節(jié)器21將處理對象設定為右側器官(右眼或右臉頰)。在已經(jīng)對右側器官進行了化妝處理的情況下，將處理對象設定為左側器官(左眼或左臉頰)。當處理對象為眼睛時(S8中的是)，計算用于眼部化妝處理(例如，眼線和眼影)的權重分布(S9)。當處理對象為臉頰時(S8中的否)，計算用于臉頰化妝處理(例如，腮紅)的權重分布(S10)。圖8是示出計算用于眼部化妝處理的權重分布的處理的詳細流程的流程圖。形狀調節(jié)器21確定用于化妝處理的化妝基本形狀(S21)。例如，眼影的基本形狀具有如下權重分布，其中:權重在接近于眼睛輪廓的下側變大(眼影具有深顏色)，如圖4所示；并且權重隨著與眼睛輪廓下側的距離增大而逐漸減小(眼影的顏色變淺)。形狀調節(jié)器21可以根據(jù)化妝處理指令使眼影的基本形狀變形或者調節(jié)權重分布。形狀調節(jié)器21可以利用預定函數(shù)來計算化妝基本形狀，或者從預先準備的化妝基本形狀的模板中選擇所使用的化妝基本形狀。形狀調節(jié)器21根據(jù)檢測到的眼睛特征使所用的化妝基本形狀變形，從而使化妝基本形狀適合于臉部圖像的眼睛形狀(S22)。形狀調節(jié)器21利用檢測到的眼睛特征(例如，內眼角、眼尾和眼睛輪廓)的信息，將所使用的化妝基本形狀的尺寸改變?yōu)檫m于臉部圖像的眼睛尺寸的尺寸。對于上眼瞼眼線，形狀調節(jié)器21使調節(jié)了尺寸的化妝基本形狀變形，以確定臉部圖像的布置，使得檢測到的上眼瞼輪廓的一些代表點與調節(jié)了尺寸的化妝基本形狀的對應點相匹配。在化妝基本形狀中，除了對應于代表點的點之外的地方可通過線性插值或高階函數(shù)插值(例如，三次B樣條函數(shù))來變形。尺寸和形狀都得到調節(jié)的化妝形狀被用作合成化妝顏色的權重。皮膚識別單元22對于處理對象的臉部圖像的每個像素指定膚色度(S23)。皮膚識別單元22可以僅對于處理對象的臉部圖像中的部分區(qū)域(該部分區(qū)域包括進行化妝處理的周邊)指定膚色度。利用代表處理對象的臉部圖像膚色的代表色與每個像素的顏色之間在色空間中的距離來計算膚色度。雖然整個臉部區(qū)域的皮膚的平均顏色可被用作皮膚的代表色，但是當存在陰影時難以穩(wěn)定地從整個臉部區(qū)域獲取膚色。因此，為了穩(wěn)定地獲取膚色，鼻子周邊的平均顏色可被用作皮膚的代表色。在像素顏色與膚色的代表色相同(距離為O)的情況下，膚色度變?yōu)樽畲螅⑶夷w色度隨著色空間中的距離增大而減小。例如，皮膚識別單元22獲取鼻子附近的平均顏色，并將該平均顏色設定為臉部圖像的皮膚的代表色(Yc, Cbc, Crc)。雖然實施例中將YCbCr色空間用作色空間,但也可使用任何色空間。例如，可以使用L*a*b*色空間。皮膚識別單元22將臉部圖像的皮膚的代表色(Yc，Cbc，Crc)設定為膚色的中心，并獲得色空間中臉部圖像的每個像素值(Y，Cb，Cr)與臉部圖像的皮膚的代表色(Yc，Cbc，Crc)之間的距離。就此而言，對于每個像素獲得膚色度Ds，使得對于距離為O的值變?yōu)?，并使得對于無限距離的值變?yōu)镺。例如，獲得膚色度Ds的方程式可被設置如下。
[方程式1]
權利要求
1.一種圖像處理裝置，用于以特定顏色的圖案對人的圖像的皮膚進行著色處理，包括: 顏色修正單元，修正所述圖案的顏色以確定用于每個區(qū)域的顏色，使得應用于每個區(qū)域的所述圖案的顏色在所述人的圖像中用所述圖案進行著色的多個區(qū)域中變化；以及 著色單元，通過將用于每個區(qū)域的顏色疊加在所述人的圖像的每個區(qū)域的顏色上而利用所述圖案對所述人的圖像進行著色， 其中，使用所述人的圖像中每個區(qū)域的代表色的差異，所述顏色修正單元修正所述圖案的顏色以確定用于每個區(qū)域的顏色，使得在所述著色之后每個區(qū)域的色差減小。
2.一種圖像處理裝置，用于以特定顏色的圖案對人的圖像的皮膚進行著色處理，包括: 顏色修正單元，修正所述圖案的顏色以確定所述人的圖像中用于第一區(qū)域的顏色和用于第二區(qū)域的顏色，使得應用于所述第一區(qū)域和所述第二區(qū)域的圖案的顏色在所述第一區(qū)域和所述第二區(qū)域中變化，其中所述人的圖像用所述圖案來進行著色；以及 著色單元，通過將用于所述第一區(qū)域的顏色和用于所述第二區(qū)域的顏色疊加在所述人的圖像的所述第一區(qū)域和所述第二區(qū)域的顏色上而利用所述圖案來對所述人的圖像進行著色， 其中，使用所述人的圖像中所述第一區(qū)域的代表色與所述第二區(qū)域的代表色之間的差異，所述顏色修正單元修正所述圖案的顏色以確定用于所述第一區(qū)域的顏色和用于所述第二區(qū)域的顏色，使得在所述著色之后所述第一區(qū)域的顏色與所述第二區(qū)域的顏色之間的差異減小。
3.根據(jù)權利要求2所述的圖像處理裝置，其中所述顏色修正單元確定圖案修正顏色，使得像素的顏色與對應于所述像素的圖案修正顏色之間在色空間中的位置關系變?yōu)榈韧谒鋈说膱D像的皮膚的代表色與相對于包含在所述第一區(qū)域中的每個像素的所述圖案的顏色之間的位置關系，且所述顏色修正單元使用所述人的圖像中所述第一區(qū)域的代表色與所述第二區(qū)域的代表色之間的差異進一步修正所述圖案修正顏色以確定用于與所述像素對應的所述第一區(qū)域的顏色。
4.根據(jù)權利要求3所述的圖像處理裝置，其中所述顏色修正單元確定所述圖案修正顏色，使得所述像素的顏色與對應于所述像素的所述圖案修正顏色之間在所述色空間中的亮度比變?yōu)榈韧谒鋈说膱D像的皮膚的代表色與相對于包含在所述第一區(qū)域中的每個像素的所述圖案的顏色之間在所述色空間中的亮度比。
5.根據(jù)權利要求3或4所述的圖像處理裝置，其中所述顏色修正單元確定所述圖案修正顏色，使得所述像素的顏色與對應于所述像素的所述圖案修正顏色之間在所述色空間中的色調差變?yōu)榈韧谒鋈说膱D像的皮膚的代表色與相對于包含在所述第一區(qū)域中的每個像素的所述圖案的顏色之間在所述色空間中的色調差。
6.根據(jù)權利要求2至5中的任一項所述的圖像處理裝置，其中所述顏色修正單元使用所述人的圖像中所述第一區(qū)域與所述第二區(qū)域之間的代表亮度的差異來修正所述圖案顏色的亮度，以確定用于所述第一區(qū)域的顏色和用于所述第二區(qū)域的顏色。
7.根據(jù)權利要求2至6中的任一項所述的圖像處理裝置，包括:指令接收單元，接收用來指定所述圖案的顏色的指令，其中所述顏色修正單元修正所指定的顏色以確定用于所述第一區(qū)域的顏色和用于所述第二區(qū)域的顏色。
8.根據(jù)權利要求2至7中的任一項所述的圖像處理裝置，其中所述第一區(qū)域和所述第二區(qū)域對應于所述人的圖像的臉部的右側和左側。
9.根據(jù)權利要求2至8中的任一項所述的圖像處理裝置，包括: 檢測器，檢測所述人的圖像的預定部位的位置；以及 遮罩單元，基于所檢測的位置來產(chǎn)生遮罩，所述遮罩抑制所述預定部位的著色， 其中，所述著色單元使用反映所述遮罩的權重，通過將用于所述第一區(qū)域的顏色和用于所述第二區(qū)域的顏色疊加在所述人的圖像的所述第一區(qū)域和所述第二區(qū)域的顏色上而利用所述圖案對所述人的圖像進行著色。
10.根據(jù)權利要求2至8中的任一項所述的圖像處理裝置，包括: 檢測器，檢測所述人的圖像的預定部位的位置；以及 適用性確定單元，基于所檢測的位置確定所述人的圖像的臉部是否適合作為圖案著色對象， 其中，當所述人的圖像的臉部被確定適合作為所述圖案著色對象時，所述著色單元利用所述圖案對所述人的圖像的臉部著色。
11.根據(jù)權利要求10所述的圖像處理裝置，其中，所述適用性確定單元基于所檢測的位置指定所述人的圖像的臉部朝向，并且當所述人的圖像的臉部朝向落在預定范圍內時，確定所述人的圖像的臉部適合作為所述圖案著色對象。
12.根據(jù)權利要求2至11中的任一項所述的圖像處理裝置，其中，所述著色單元用所述圖案作為化妝對所述人的圖像的臉部著色。
13.一種圖像處理方法，用于以特定顏色的圖案對人的圖像的皮膚進行著色處理，包括: 顏色修正步驟，修正所述圖案的顏色以確定用于每個區(qū)域的顏色，使得應用于每個區(qū)域的所述圖案的顏色在所述人的圖像中用所述圖案進行著色的多個區(qū)域中變化；以及 著色步驟，通過將用于每個區(qū)域的顏色疊加在所述人的圖像的每個區(qū)域的顏色上而利用所述圖案對所述人的圖像進行著色， 其中，在所述顏色修正步驟中，使用所述人的圖像中每個區(qū)域的代表色的差異來修正所述圖案的顏色，以確定用于每個區(qū)域的顏色，使得在所述著色之后每個區(qū)域的色差減小。
14.一種用于圖像處理裝置的控制程序，所述圖像處理裝置以特定顏色的圖案對人的圖像的皮膚進行著色處理，所述控制程序使計算機執(zhí)行: 顏色修正步驟，使用所述人的圖像中每個區(qū)域的代表色的差異來修正圖案的顏色，以確定用于每個區(qū)域的顏色，使得在相對于所述人的圖像中用所述圖案著色的每個區(qū)域進行著色之后每個區(qū)域的色差減小；以及 著色步驟，通過將用于每個區(qū)域的顏色疊加在所述人的圖像的每個區(qū)域的顏色上而利用所述圖案對所述人的圖像進行著色。
全文摘要
本發(fā)明的目的是提供一種能夠在各種條件下獲取的臉部圖像上進行適當?shù)幕瘖y處理的圖像處理裝置和圖像處理方法。該圖像處理裝置(6)執(zhí)行將指定顏色的化妝合成到臉部圖像中的皮膚上的處理，其設置有顏色修正單元(16)和著色單元(17)。給出其中將化妝合成到臉部圖像上的左側和右側化妝區(qū)域，該顏色修正單元使用臉部圖像的用于左側化妝區(qū)域的代表色與用于右側化妝區(qū)域的代表色之間的差異來修正化妝顏色，并確定左側化妝顏色和右側化妝顏色，從而減小左側和右側化妝區(qū)域之間在合成后的顏色上的差異。該著色單元通過將左側化妝顏色和右側化妝顏色分別重疊在臉部圖像的左側和右側化妝區(qū)域的膚色上而進行化妝。
文檔編號A45D44/00GK103180873SQ20118005044
公開日2013年6月26日 申請日期2011年3月17日 優(yōu)先權日2010年10月29日
發(fā)明者青木博松 申請人:歐姆龍株式會社