專利名稱：圖像處理裝置、圖像處理方法及控制程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置和圖像處理方法，尤其涉及一種用于修正臉部圖像的圖像處理裝置和圖像處理方法。
背景技術(shù)：
常規(guī)地，已知一種對(duì)臉部圖像虛擬進(jìn)行化妝(makeup)的技術(shù)，以便模擬在應(yīng)用化妝品時(shí)用戶的臉部看上去像什么模樣。專利文獻(xiàn)I公開了一種腮紅化妝模擬技術(shù)，其將腮紅涂布于拍攝的用戶臉部圖像。專利文獻(xiàn)2公開了一種眼部化妝模擬技術(shù)，其在拍攝的用戶臉部圖像中繪制眼影和眼線。根據(jù)上述技術(shù)，通過將腮紅或眼影的顏色疊加到用戶臉部圖像的顏色上，將腮紅或眼影涂布于用戶的臉部圖像，從而能夠根據(jù)用戶的膚色來進(jìn)行化妝。專利文獻(xiàn)專利文獻(xiàn)1:日本待審專利公開第2000-279228號(hào)(
公開日:2000年10月10日)專利文獻(xiàn)2:日本待審專利公開第2000-285222號(hào)(
公開日:2000年10月13日)

發(fā)明內(nèi)容
發(fā)明所要解決的問題然而，在常規(guī)配置中會(huì)產(chǎn)生以下問題。在專利文獻(xiàn)I和2公開的技術(shù)中，假設(shè)準(zhǔn)備了最佳臉部圖像以進(jìn)行化妝模擬。具體而言，在常規(guī)技術(shù)中，假設(shè)使用無表情的、正面臉部圖像，其中眼睛或臉頰的周邊沒有隱藏在另一物體后面，而整個(gè)臉部表面被光均勻照射。因此，例如，在化妝品商店中，顧客(用戶)朝向相機(jī)就座，并且顧客通過抬高頭發(fā)或者取下眼鏡而準(zhǔn)備圖像拍攝。然后，在顧客受到均勻照射的照明光下，銷售員拍攝顧客的最佳臉部圖像，并且將無表情的、正面臉部圖像輸入到化妝模擬器。在化妝模擬失敗的情況下重復(fù)上述過程。因此，用戶必須訪問化妝品商店以便進(jìn)行化妝模擬，并且銷售員必須協(xié)助用戶拍攝臉部圖像。因此，用戶無法容易地嘗試化妝模擬。在專利文獻(xiàn)I和2公開的技術(shù)中，在普通狀態(tài)下，即，在頭發(fā)沒有被梳理上去的狀態(tài)或者用戶佩戴眼鏡的狀態(tài)下，無法進(jìn)行化妝模擬。例如，專利文獻(xiàn)I和2公開的技術(shù)可被應(yīng)用于數(shù)碼相機(jī)或配備有相機(jī)的移動(dòng)電話，以實(shí)施對(duì)拍攝的臉部圖像進(jìn)行化妝的軟件。專利文獻(xiàn)I和2公開的技術(shù)也可被應(yīng)用為運(yùn)行于個(gè)人計(jì)算機(jī)或互聯(lián)網(wǎng)上的服務(wù)器中的化妝模擬器。在這種情況下，不必請(qǐng)求銷售員來進(jìn)行化妝模擬。但是，在專利文獻(xiàn)I和2公開的技術(shù)中，用戶必須為化妝模擬準(zhǔn)備理想圖像，即，無表情的、正面臉部圖像，其中眼睛或臉頰的周邊沒有隱藏在另一物體后面，并且整個(gè)臉部表面被光均勻照射。在通過常規(guī)技術(shù)使用由數(shù)碼相機(jī)或配備有相機(jī)的移動(dòng)電話拍攝的快照(例如，快速拍攝自然狀態(tài)下用戶圖像的照片)進(jìn)行化妝模擬的情況下，會(huì)產(chǎn)生以下問題。第一，快照常常包括從起初難以進(jìn)行化妝模擬的臉部圖像，例如不朝向正面的臉部和具有故意變形的表情的臉部。當(dāng)對(duì)這樣的臉部圖像進(jìn)行常規(guī)技術(shù)的化妝模擬時(shí)，無法進(jìn)行想要的修正，并且會(huì)產(chǎn)生不自然的結(jié)果。第二，即使快照中獲取的臉部朝向接近于正面，但應(yīng)該進(jìn)行化妝的部分或整個(gè)區(qū)域常常被另一物體所覆蓋，如用戶佩戴眼鏡或者頭發(fā)覆蓋眼睛附近。當(dāng)對(duì)這樣的臉部圖像進(jìn)行常規(guī)技術(shù)的化妝模擬時(shí)，遺憾的是，對(duì)與應(yīng)進(jìn)行化妝的區(qū)域重疊的另一物體進(jìn)行了化妝。即使眼鏡或頭發(fā)不存在于應(yīng)進(jìn)行化妝的區(qū)域附近，在常規(guī)技術(shù)中，遺憾的是，在臉部或眼睛輪廓的特征點(diǎn)無法被正確提取的情況下，對(duì)不期望的地方進(jìn)行了化妝，致使眼影侵入眼睛。在快照中，臉部常常被光不均勻地照射，并且臉部的左右兩側(cè)之一常常是亮的而另一側(cè)是暗的。當(dāng)對(duì)這樣的臉部圖像進(jìn)行常規(guī)技術(shù)的化妝模擬時(shí)，有時(shí)臉部根據(jù)所涂布的化妝顏色(化妝品的顏色)看起來不自然。例如，與原始左右皮膚顏色之間的差異相比較，通過常規(guī)技術(shù)的氣刷(air-brush)處理將眼影(或腮紅)的顏色與膚色合成而獲得的左右兩側(cè)顏色(化妝后的顏色)之間的差異有時(shí)看起來不自然。在原始左右兩側(cè)膚色之間的亮度差異乍看起來難以了解的情況下，這一問題變得顯著。鑒于前述，本發(fā)明的目的是實(shí)施一種圖像處理裝置和圖像處理方法，其能夠?qū)挿秶鷹l件下的臉部圖像適當(dāng)?shù)剡M(jìn)行化妝處理。解決問題的手段根據(jù)本發(fā)明的第一方案，一種圖像處理裝置用于以特定顏色的圖案對(duì)人的圖像皮膚進(jìn)行著色處理，該圖像處理裝置包括:皮膚識(shí)別單元，其在所述人的圖像的至少一部分中的區(qū)域的每個(gè)地方指定所述人的圖像中的顏色的膚色度；以及著色單元，其以對(duì)應(yīng)于所述膚色度的深度用所述圖案對(duì)所述人的圖像進(jìn)行著色。根據(jù)本發(fā)明的第二方案，一種圖像處理方法用于以特定顏色的圖案對(duì)人的圖像的皮膚進(jìn)行著色處理，該圖像處理方法包括:皮膚指定步驟，在所述人的圖像的至少一部分中的區(qū)域的每個(gè)地方指定所述人的圖像中的顏色的膚色度；以及著色步驟，以對(duì)應(yīng)于所述膚色度的深度用所述圖案對(duì)所述人的圖像進(jìn)行著色。根據(jù)所述配置，指定了所述人的圖像的至少該部分中的區(qū)域的每個(gè)地方的膚色度，并且以對(duì)應(yīng)于所述膚色度的深度用所述圖案對(duì)所述人的圖像進(jìn)行了著色。因此，被認(rèn)為是皮膚的地方被深度著色，被認(rèn)為不是皮膚的地方(例如，頭發(fā)和眼鏡)被淺度著色或者不被著色。因此，人的圖像的皮膚能夠用諸如化妝之類的圖案適當(dāng)著色。因此，例如，即使沒有準(zhǔn)備用戶將頭發(fā)梳理上去、取下眼鏡或被照明光照射的圖像，也能利用在寬范圍條件下拍攝的圖像來進(jìn)行化妝模擬。發(fā)明的效果如上所述，根據(jù)本發(fā)明，指定了所述人的圖像的每個(gè)地方的膚色度，并且以對(duì)應(yīng)于所述膚色度的深度用所述圖案對(duì)所述人的圖像進(jìn)行了著色。因此，人的圖像的皮膚能夠用諸如化妝之類的圖案適當(dāng)著色。因此，能夠利用在寬范圍條件下拍攝的圖像來進(jìn)行化妝模擬。通過以下描述，本發(fā)明的其它目的、特征和優(yōu)點(diǎn)將會(huì)變得足夠明顯。通過結(jié)合附圖的以下描述，本發(fā)明的優(yōu)點(diǎn)將會(huì)變得明顯。


圖1是示出根據(jù)本發(fā)明實(shí)施例的數(shù)碼相機(jī)的示意配置的框圖。圖2是示出上眼瞼眼線的基本形狀示例的圖像。圖3是示出下眼瞼眼線的基本形狀示例的圖像。圖4是示出眼影的基本形狀示例的圖像。圖5是示出腮紅的基本形狀示例的圖像。圖6是示出形狀調(diào)節(jié)后的化妝形狀的圖像。圖7是示出數(shù)碼相機(jī)中包括的圖像處理裝置中的化妝處理流程的流程圖。圖8是示出計(jì)算用于眼部化妝處理的權(quán)重分布(weight distribution)的處理的詳細(xì)流程的流程圖。圖9是示出相對(duì)于臉部圖像獲得的膚色度Ds的示例的圖像。圖10是對(duì)應(yīng)于圖9并示出眼睛遮罩(eye mask)示例的圖像。圖11是對(duì)應(yīng)于圖9并示出膚色度Ds和遮罩的乘積的圖像。圖12是對(duì)應(yīng)于圖6并示出權(quán)重分布的圖像。圖13是示出計(jì)算用于臉頰化妝處理的權(quán)重分布的處理的詳細(xì)流程的流程圖。圖14是示出修正的化妝顏色與對(duì)應(yīng)的臉部圖像像素值之間在色空間(colorspace)中的關(guān)系的不意圖。
具體實(shí)施例方式在實(shí)施例中主要描述包含在數(shù)碼相機(jī)中用于對(duì)拍攝圖像中所包括的臉部圖像進(jìn)行化妝處理的圖像處理裝置。然而，本發(fā)明不限于該圖像處理裝置。在下文中，將參照?qǐng)D1至圖14詳細(xì)描述實(shí)施例。<數(shù)碼相機(jī)的配置>圖1是示出根據(jù)實(shí)施例的數(shù)碼相機(jī)I的示意配置的框圖。數(shù)碼相機(jī)I包括指令輸入裝置2、成像裝置3、圖像存儲(chǔ)裝置4、顯示裝置5和圖像處理裝置6。指令輸入裝置2包括諸如按鈕、按鍵和觸摸面板等輸入裝置。指令輸入裝置2接收來自用戶的成像指令，并將成像指令輸出至成像裝置3。指令輸入裝置2接收來自用戶的化妝處理指令，并將化妝處理指令輸出至圖像處理裝置6。例如，成像裝置3包括諸如CXD (電荷耦合器件)和CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)成像元件等成像元件。響應(yīng)于成像指令，成像裝置3拍攝圖像，并將拍攝的圖像(圖像數(shù)據(jù))輸出至圖像存儲(chǔ)裝置4。各條信息存儲(chǔ)在圖像存儲(chǔ)裝置4中。例如，圖像存儲(chǔ)裝置4包括諸如HDD (硬盤驅(qū)動(dòng)器)和閃存等存儲(chǔ)裝置。接收自成像裝置3的圖像存儲(chǔ)并保持于圖像存儲(chǔ)裝置4中。顯示裝置5包括顯示器，其顯示輸入的圖像，并將圖像呈現(xiàn)給用戶。顯示裝置5從圖像處理裝置6接收已經(jīng)進(jìn)行了化妝處理的圖像，并顯示已經(jīng)進(jìn)行了化妝處理的圖像。<圖像處理裝置的配置>圖像處理裝置6包括圖像獲取單元11、臉部檢測(cè)器12、特征檢測(cè)器(檢測(cè)器)13、適用性確定單元14、化妝形狀確定單元15、顏色修正單元16、合成單元(著色單元)17及顯示控制器18。圖像獲取單元11從指令輸入裝置2接收化妝處理指令?；瘖y處理指令包括指示變?yōu)樘幚韺?duì)象的圖像的信息和指示完成了何種化妝(如眼影或腮紅、其形狀及顏色)的信息。圖像獲取單元11基于所接收的化妝處理指令從圖像存儲(chǔ)裝置4獲取處理對(duì)象圖像。圖像獲取單元11可直接接收由成像裝置3拍攝的圖像。圖像獲取單元11將獲取的處理對(duì)象圖像輸出至臉部檢測(cè)器12。圖像獲取單元11將化妝處理指令輸出至化妝形狀確定單元15。臉部檢測(cè)器12檢測(cè)從圖像獲取單元11接收的圖像中所包括的臉部圖像。當(dāng)檢測(cè)圖像中所包括的臉部圖像時(shí)，臉部檢測(cè)器12指定臉部圖像的位置。臉部圖像的位置可以指示臉部圖像的預(yù)定點(diǎn)或臉部圖像的區(qū)域的坐標(biāo)。臉部檢測(cè)器12將處理對(duì)象圖像及臉部圖像的位置輸出至特征檢測(cè)器13。臉部檢測(cè)器12可以從處理對(duì)象圖像檢測(cè)多個(gè)臉部圖像。在檢測(cè)出多個(gè)臉部圖像的情況下，臉部檢測(cè)器12可以指定多個(gè)臉部圖像的位置，并將多個(gè)臉部圖像的位置輸出至特征檢測(cè)器13。特征檢測(cè)器13從接收自臉部檢測(cè)器12的處理對(duì)象圖像及臉部圖像的位置檢測(cè)臉部圖像的每個(gè)臉部特征的位置。具體而言，特征檢測(cè)器13檢測(cè)臉部器官的特征以及臉部輪廓的特征(特征點(diǎn))等，并指定其位置，上述臉部器官例如為眼睛(內(nèi)眼角、眼尾、上眼瞼的輪廓點(diǎn)、下眼瞼的輪廓點(diǎn)等)、嘴(口部端點(diǎn)、口部中心點(diǎn)等)和鼻子(鼻子的頂點(diǎn)等)。特征的位置可以指示特征點(diǎn)或包括該特征的區(qū)域的坐標(biāo)。可以利用公知技術(shù)來檢測(cè)特征。特征檢測(cè)器13將處理對(duì)象圖像、臉部圖像的位置及檢測(cè)到的臉部特征的位置輸出至適用性確定單元14。特征檢測(cè)器13可以指定多個(gè)臉部圖像的特征的位置，并將多個(gè)臉部圖像的特征的位置輸出至適用性確定單元14。適用性確定單元14根據(jù)接收自特征檢測(cè)器13的處理對(duì)象圖像、臉部圖像的位置及臉部特征的位置，來確定臉部圖像是否適于進(jìn)行化妝處理。例如，適用性確定單元14確定側(cè)向臉部圖像和極小臉部圖像是不適用的。具體確定方法稍后描述。在處理對(duì)象圖像包括多個(gè)臉部圖像的情況下，適用性確定單元14可以確定每個(gè)臉部圖像是否適于進(jìn)行化妝處理，或者可以指定更適于進(jìn)行化妝處理的臉部圖像的預(yù)定數(shù)量(例如，一個(gè)臉部圖像)。適用性確定單元14將處理對(duì)象圖像、被確定為適用于處理對(duì)象的臉部圖像的位置、及臉部特征的位置輸出至化妝形狀確定單元15。化妝形狀確定單元15基于接收自適用性確定單元14的處理對(duì)象圖像、處理對(duì)象的臉部圖像的位置、及臉部特征的位置以及接收自圖像獲取單元11的化妝處理指令，來確定對(duì)處理對(duì)象的臉部圖像進(jìn)行的化妝(圖案)的形狀以及化妝的灰度分布(grayscaledistribution)。在實(shí)施例中，根據(jù)計(jì)算出的權(quán)重分布，將由用戶指定的化妝顏色與原始臉部圖像的膚色合成。權(quán)重分布指示的是每個(gè)像素中化妝的灰度分布?；瘖y形狀確定單元15指定化妝形狀以及屬于用于合成上述顏色的灰度分布的權(quán)重分布?；瘖y形狀確定單元15包括形狀調(diào)節(jié)器21、皮膚識(shí)別單元22、遮罩單元23及權(quán)重分布確定單元24。形狀調(diào)節(jié)器21基于化妝處理指令來確定化妝類型(例如，眼線或腮紅)和化妝基本形狀?；诨瘖y處理指令，形狀調(diào)節(jié)器21在多個(gè)預(yù)先準(zhǔn)備的化妝基本形狀中指定用于化妝處理的化妝基本形狀。形狀調(diào)節(jié)器21在每次化妝處理中可以利用預(yù)定函數(shù)(function)來計(jì)算化妝基本形狀。化妝基本形狀的模板的形狀和灰度分布可以響應(yīng)于用戶指令而改變。
圖2是示出上眼瞼眼線的基本形狀示例的圖像。圖3是示出下眼瞼眼線的基本形狀示例的圖像。圖4是示出眼影的基本形狀示例的圖像。圖5是示出腮紅的基本形狀示例的圖像。在圖2到圖5中，亮(白)的地方(spot)指示深的化妝顏色，暗(黑)的地方指示淺的化妝顏色。即，化妝基本形狀表示出化妝的形狀和灰度。例如，在圖2中上眼瞼眼線的基本形狀中，每個(gè)像素的值為O到1，像素隨著像素值增大而被表示得更亮，并且每個(gè)像素的值對(duì)應(yīng)于合成中的權(quán)重。圖2至圖5中的化妝基本形狀用于右眼或右臉頰，且用于左眼或左臉頰的化妝基本形狀通過水平反轉(zhuǎn)圖2至圖5中的化妝基本形狀而得到。形狀調(diào)節(jié)器21根據(jù)臉部圖像的特征使所使用的化妝基本形狀變形。例如，形狀調(diào)節(jié)器21根據(jù)臉部圖像的尺寸或眼睛的尺寸等來調(diào)節(jié)(按比例縮放)化妝基本形狀的尺寸。形狀調(diào)節(jié)器21根據(jù)檢測(cè)到的眼睛輪廓的形狀來調(diào)節(jié)化妝形狀，從而使得例如圖2中的上眼瞼眼線下側(cè)的輪廓(白的地方)沿著檢測(cè)到的上眼瞼輪廓來布置。從而，形狀調(diào)節(jié)器21根據(jù)各個(gè)特征來調(diào)節(jié)化妝形狀。圖6是示出形狀調(diào)節(jié)后的化妝形狀的圖像。如同圖2至圖5，在圖6中，亮(白)的地方指示深的化妝顏色，暗(黑)的地方指示淺的化妝顏色。形狀調(diào)節(jié)器21將尺寸和形狀受到調(diào)節(jié)的化妝形狀輸出至權(quán)重分布確定單元24。皮膚識(shí)別單元22指定屬于臉部圖像中的皮膚的地方。皮膚識(shí)別單元22確定其顏色被認(rèn)為是膚色的像素為皮膚。具體而言，皮膚識(shí)別單元22對(duì)于屬于處理對(duì)象的臉部圖像的每個(gè)像素指定膚色度(degree of skin color)。在實(shí)施例中，對(duì)于具有小膚色度的地方，即被認(rèn)為不是皮膚的地方，權(quán)重減小，并且化妝顏色被輕度疊加或者化妝顏色不被合成。皮膚識(shí)別單元22將屬于處理對(duì)象的臉部圖像的每個(gè)像素的膚色度輸出至權(quán)重分布確定單元24。遮罩單元23基于處理對(duì)象的臉部圖像和臉部圖像的特征位置而生成眼部(預(yù)定部位)的遮罩。就此而言，由于睫毛等的影響，特征檢測(cè)器13檢測(cè)到的眼睛輪廓位置可能存在誤差。眼線的化妝形狀由形狀調(diào)節(jié)器21根據(jù)眼睛輪廓來調(diào)節(jié)，有時(shí)候，當(dāng)檢測(cè)到的眼睛輪廓位置偏離原始位置時(shí)，眼線侵入眼睛。在實(shí)施例中，應(yīng)用于臉部圖像眼部的遮罩防止眼線侵入眼睛。遮罩單元23利用通過算法得到并與形狀調(diào)節(jié)器21使用的眼睛輪廓不同的眼睛輪廓的信息來生成遮罩。因此，能夠防止形狀調(diào)節(jié)器21中由于檢測(cè)誤差而產(chǎn)生的問題(使眼線侵入眼睛)。在實(shí)施例中，所生成的遮罩對(duì)于每個(gè)像素的值為O到I。就此而言，值為I意味著該地方不被遮蓋，并且隨著遮罩值的減小，該地方受到更強(qiáng)的遮蓋(化妝顏色不被合成)?？梢陨沙劬χ獾牡胤?例如鼻子和嘴)的遮罩。遮罩單元23將生成的遮罩輸出至權(quán)重分布確定單元24。權(quán)重分布確定單元24基于調(diào)節(jié)后的化妝形狀、臉部圖像的膚色度以及遮罩，來確定用于顏色合成(化妝顏色和膚色的合成)的權(quán)重分布。具體而言，權(quán)重分布確定單元24對(duì)于對(duì)應(yīng)于臉部圖像的每個(gè)像素計(jì)算化妝形狀、膚色度及遮罩的乘積，并將該乘積設(shè)定為每個(gè)像素的權(quán)重。關(guān)于用于顏色合成的權(quán)重分布，在具有減小的權(quán)重值的地方，化妝顏色被輕度合成，而在具有增大的權(quán)重值的地方，化妝顏色被深度合成。權(quán)重分布確定單元24將確定的權(quán)重分布輸出至合成單元17。權(quán)重分布確定單元24將處理對(duì)象圖像、處理對(duì)象的臉部圖像的位置及臉部特征的位置輸出至顏色修正單元16。顏色修正單元16基于處理對(duì)象圖像、處理對(duì)象的臉部圖像的位置及臉部特征的位置，指定處理對(duì)象的臉部圖像膚色的代表色。部分臉部區(qū)域的顏色，例如臉部區(qū)域的中心部(在鼻子附近)的平均值、中值或最頻值(mode value)的顏色，可被設(shè)定為膚色的代表色。整個(gè)臉部區(qū)域的平均顏色可被設(shè)定為膚色的代表色。得到臉部的特定區(qū)域的平均顏色，排除了色調(diào)(hue)與區(qū)域中的平均顏色的色調(diào)不同的像素(在CbCr平面中與平均顏色形成的角度大于閾值)和/或與區(qū)域中的平均顏色的色差大的像素(在YCbCr色空間中與平均顏色的距離大于閾值)，并且從其余像素計(jì)算出的平均顏色可被用作代表色。利用每個(gè)像素的顏色和膚色的代表色，顏色修正單元16對(duì)于臉部圖像的每個(gè)像素修正由用戶指定的化妝顏色。顏色修正單元16根據(jù)左右化妝區(qū)域之間代表色的差異，在左右化妝區(qū)域的每個(gè)中修正化妝顏色，從而使得合成之后左右化妝區(qū)域之間的色差減小。顏色修正單元16將每個(gè)像素中經(jīng)修正的化妝顏色輸出至合成單元17。顏色修正單元16將處理對(duì)象圖像和處理對(duì)象的臉部圖像的位置輸出至合成單元17。合成單元17根據(jù)權(quán)重分布將處理對(duì)象的臉部圖像與修正后的化妝顏色進(jìn)行合成，并生成已經(jīng)進(jìn)行了化妝處理的臉部圖像。合成單元17將已經(jīng)進(jìn)行了化妝處理的臉部圖像輸出至顯示控制器18。合成單元17可以將已經(jīng)進(jìn)行了化妝處理的臉部圖像輸出至并存儲(chǔ)于圖像存儲(chǔ)裝置4中。顯示控制器18將已經(jīng)進(jìn)行了化妝處理的臉部圖像輸出至顯示裝置5，并控制顯示裝置5顯示該已經(jīng)進(jìn)行了化妝處理的臉部圖像。<圖像處理流程>下面將描述數(shù)碼相機(jī)I中化妝處理的流程。用戶通過指令輸入裝置2從拍攝并存儲(chǔ)于圖像存儲(chǔ)裝置4的圖像中選擇處理對(duì)象圖像。用戶通過指令輸入裝置2從多個(gè)備選中選擇對(duì)處理對(duì)象圖像進(jìn)行的化妝類型(例如眼線、眼影和/或腮紅)、化妝形狀及化妝顏色。指令輸入裝置2將包括化妝類型、化妝形狀及化妝顏色的化妝處理指令輸出至圖像處理裝置6的圖像獲取單元11。圖7是示出圖像處理裝置6中的化妝處理流程的流程圖。在從指令輸入裝置2中接收到化妝處理指令時(shí)，圖像獲取單元(指令接收單元)11從圖像存儲(chǔ)裝置4中獲取變?yōu)樘幚韺?duì)象的圖像(SI)。臉部檢測(cè)器12檢測(cè)該圖像中包括的變?yōu)樘幚韺?duì)象的臉部圖像，并指定臉部圖像的位置(S2)。臉部檢測(cè)器12可以檢測(cè)處理對(duì)象圖像中包括的多個(gè)臉部圖像。特征檢測(cè)器13檢測(cè)所檢測(cè)的臉部圖像中包括的臉部特征的位置(S3)。特征檢測(cè)器13檢測(cè)臉部器官的特征(特征點(diǎn))并指定其位置，上述臉部器官例如為眼睛(內(nèi)眼角、眼尾、上眼瞼的輪廓點(diǎn)、下眼瞼的輪廓點(diǎn)等)、嘴(口部端點(diǎn)、口部中心點(diǎn)等)和鼻子(鼻子的頂點(diǎn)等)。特征檢測(cè)器13可以檢測(cè)諸如臉部輪廓等特征。基于所檢測(cè)的臉部特征的位置，適用性確定單元14確定臉部圖像是否適于進(jìn)行化妝處理(S4)。例如，通過從多個(gè)臉部圖像樣本預(yù)先學(xué)習(xí)臉部器官(例如眼睛、鼻子和嘴)的各個(gè)特征周邊的亮度分布的特性而產(chǎn)生的臉部模型存儲(chǔ)在適用性確定單元14中。適用性確定單元14將臉部模型與檢測(cè)的臉部圖像相比較，以便指定所檢測(cè)的臉部圖像特征的可靠度和臉部朝向。例如，在所檢測(cè)特征的可靠度小于預(yù)定閾值的情況下，由于臉部特征沒有被正確檢測(cè)的可能性高，所以可能無法適當(dāng)進(jìn)行化妝處理。因此，在所檢測(cè)特征的可靠度小于預(yù)定閾值的情況下，適用性確定單元14確定臉部圖像不適于進(jìn)行化妝處理。
在所檢測(cè)的臉部朝向大幅偏離正面的情況下(在臉部朝向不存在于預(yù)定范圍中的情況下，例如，在臉部朝向相對(duì)于正面大于預(yù)定角度的情況下)，因?yàn)橛锌赡軣o法適當(dāng)進(jìn)行化妝處理，所以適用性確定單元14確定臉部圖像不適于進(jìn)行化妝處理。在臉部圖像極小的情況下(例如，在所檢測(cè)的右眼和左眼的中心點(diǎn)(瞳孔)之間的距離小于預(yù)定閾值的情況下)，因?yàn)橛锌赡軣o法適當(dāng)進(jìn)行化妝處理，所以適用性確定單元14確定臉部圖像不適于進(jìn)行化妝處理。在基于所檢測(cè)的眼睛輪廓而確定眼睛閉合的情況下，因?yàn)橛锌赡軣o法適當(dāng)進(jìn)行化妝處理，所以適用性確定單元14確定臉部圖像不適于進(jìn)行化妝處理。在對(duì)膚色由于照明反射而變白的地方進(jìn)行化妝處理時(shí)，有時(shí)化妝地方看起來被不自然地隔離。因此，在臉部圖像膚色的代表色的亮度大于預(yù)定閾值的情況下，適用性確定單元14可以確定臉部圖像不適于進(jìn)行化妝處理。在因?yàn)槟槻勘煌高^樹木的日光照射而使臉頰或眼瞼區(qū)域的亮度分布中的亮度差別極為廣泛的情況下，有時(shí)在進(jìn)行了化妝處理時(shí)該地方看起來不自然。因此，在臉部區(qū)域中膚色的亮度變化大于預(yù)定閾值的情況下，適用性確定單元14可以確定臉部圖像不適于進(jìn)行化妝處理。在顏色接近于膚色的物體與臉部圖像重疊的情況下，有時(shí)特征檢測(cè)器13誤將該物體檢測(cè)為臉部的特征點(diǎn)。在所檢測(cè)的特征點(diǎn)與其它特征點(diǎn)(例如，眼睛、鼻子和嘴)相比位于不自然的位置的情況下，所檢測(cè)的特征點(diǎn)可被確定為與臉部重疊的另一物體。在檢測(cè)到此類特征點(diǎn)的情況下，因?yàn)樵谶M(jìn)行化妝處理時(shí)有可能將化妝與重疊于臉部的另一物體相合成，所以適用性確定單元14可以確定臉部圖像不適于進(jìn)行化妝處理。在確定是否能夠進(jìn)行化妝處理時(shí)，判別標(biāo)準(zhǔn)可以根據(jù)化妝類型(例如，眼線、眼影和腮紅)而改變。在適用性確定單元14確定臉部圖像不適于進(jìn)行化妝處理時(shí)(S4中的否)，對(duì)臉部圖像進(jìn)行的處理結(jié)束。在適用性確定單元14確定臉部圖像適于進(jìn)行化妝處理時(shí)(S4中的是)，形狀調(diào)節(jié)器21獲取處理對(duì)象的臉部圖像的膚色的信息(S5)。獲得整個(gè)皮膚的平均顏色和每個(gè)區(qū)域(例如右眼瞼、左眼瞼、右臉頰、左臉頰和鼻子)的平均顏色，作為來自處理對(duì)象的臉部圖像的膚色的信息。作為平均顏色的替代，也可以獲得每個(gè)區(qū)域的代表色。形狀調(diào)節(jié)器21根據(jù)所指定的化妝類型將處理對(duì)象設(shè)定為眼睛或臉頰(S6)。在指示進(jìn)行多種化妝類型的情況下，根據(jù)尚未處理的化妝類型來設(shè)定處理對(duì)象部位。形狀調(diào)節(jié)器21將右側(cè)和左側(cè)器官之一設(shè)定為處理對(duì)象(S7)。例如，形狀調(diào)節(jié)器21將處理對(duì)象設(shè)定為右側(cè)器官(右眼或右臉頰)。在已經(jīng)對(duì)右側(cè)器官進(jìn)行了化妝處理的情況下，將處理對(duì)象設(shè)定為左側(cè)器官(左眼或左臉頰)。當(dāng)處理對(duì)象為眼睛時(shí)(S8中的是)，計(jì)算用于眼部化妝處理(例如，眼線和眼影)的權(quán)重分布(S9)。當(dāng)處理對(duì)象為臉頰時(shí)(S8中的否)，計(jì)算用于臉頰化妝處理(例如，腮紅)的權(quán)重分布(S10)。圖8是示出計(jì)算用于眼部化妝處理的權(quán)重分布的處理的詳細(xì)流程的流程圖。形狀調(diào)節(jié)器21確定用于化妝處理的化妝基本形狀(S21)。例如，眼影的基本形狀具有如下權(quán)重分布，其中:權(quán)重在接近于眼睛輪廓的下側(cè)變大(眼影具有深顏色)，如圖4所示；并且權(quán)重隨著與眼睛輪廓下側(cè)的距離增大而逐漸減小(眼影的顏色變淺)。形狀調(diào)節(jié)器21可以根據(jù)化妝處理指令使眼影的基本形狀變形或者調(diào)節(jié)權(quán)重分布。形狀調(diào)節(jié)器21可以利用預(yù)定函數(shù)來計(jì)算化妝基本形狀，或者從預(yù)先準(zhǔn)備的化妝基本形狀的模板中選擇所使用的化妝基本形狀。形狀調(diào)節(jié)器21根據(jù)檢測(cè)到的眼睛特征使所用的化妝基本形狀變形，從而使化妝基本形狀適合于臉部圖像的眼睛形狀(S22)。形狀調(diào)節(jié)器21利用檢測(cè)到的眼睛特征(例如，內(nèi)眼角、眼尾和眼睛輪廓)的信息，將所使用的化妝基本形狀的尺寸改變?yōu)檫m于臉部圖像的眼睛尺寸的尺寸。對(duì)于上眼瞼眼線，形狀調(diào)節(jié)器21使調(diào)節(jié)了尺寸的化妝基本形狀變形，以確定臉部圖像的布置，使得檢測(cè)到的上眼瞼輪廓的一些代表點(diǎn)與調(diào)節(jié)了尺寸的化妝基本形狀的對(duì)應(yīng)點(diǎn)相匹配。在化妝基本形狀中，除了對(duì)應(yīng)于代表點(diǎn)的點(diǎn)之外的地方可通過線性插值或高階函數(shù)插值(例如，三次B樣條函數(shù))來變形。尺寸和形狀都得到調(diào)節(jié)的化妝形狀被用作合成化妝顏色的權(quán)重。皮膚識(shí)別單元22對(duì)于處理對(duì)象的臉部圖像的每個(gè)像素指定膚色度(S23)。皮膚識(shí)別單元22可以僅對(duì)于處理對(duì)象的臉部圖像中的部分區(qū)域(該部分區(qū)域包括進(jìn)行化妝處理的周邊)指定膚色度。利用代表處理對(duì)象的臉部圖像膚色的代表色與每個(gè)像素的顏色之間在色空間中的距離來計(jì)算膚色度。雖然整個(gè)臉部區(qū)域的皮膚的平均顏色可被用作皮膚的代表色，但是當(dāng)存在陰影時(shí)難以穩(wěn)定地從整個(gè)臉部區(qū)域獲取膚色。因此，為了穩(wěn)定地獲取膚色，鼻子周邊的平均顏色可被用作皮膚的代表色。在像素顏色與膚色的代表色相同(距離為O)的情況下，膚色度變?yōu)樽畲?，并且膚色度隨著色空間中的距離增大而減小。例如，皮膚識(shí)別單元22獲取鼻子附近的平均顏色，并將該平均顏色設(shè)定為臉部圖像的皮膚的代表色(Yc, Cbc, Crc)。雖然實(shí)施例中將YCbCr色空間用作色空間,但也可使用任何色空間。例如，可以使用L*a*b*色空間。皮膚識(shí)別單元22將臉部圖像的皮膚的代表色(Yc，Cbc，Crc)設(shè)定為膚色的中心，并獲得色空間中臉部圖像的每個(gè)像素值(Y，Cb，Cr)與臉部圖像的皮膚的代表色(Yc，Cbc，Crc)之間的距離。就此而言，對(duì)于每個(gè)像素獲得膚色度Ds，使得對(duì)于距離為O的值變?yōu)?，并使得對(duì)于無限距離的值變?yōu)镺。例如，獲得膚色度Ds的方程式可被設(shè)置如下。[方程式I]
權(quán)利要求
1.一種圖像處理裝置，用于以特定顏色的圖案對(duì)人的圖像的皮膚進(jìn)行著色處理，包括: 皮膚識(shí)別單元，在所述人的圖像的至少一部分中的區(qū)域的每個(gè)地方指定所述人的圖像中的顏色的膚色度；以及 著色單元，以對(duì)應(yīng)于所述膚色度的深度用所述圖案對(duì)所述人的圖像進(jìn)行著色。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，包括: 權(quán)重分布確定單元，確定權(quán)重分布，所述權(quán)重分布反映所述人的圖像的一部分中的區(qū)域的每個(gè)地方的膚色度； 其中，所述著色單元通過利用所述權(quán)重分布的權(quán)重將所述圖案的顏色疊加在所述人的圖像的一部分中的區(qū)域的每個(gè)地方的顏色上，來進(jìn)行著色。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，包括: 檢測(cè)器，檢測(cè)所述人的圖像的預(yù)定部位的位置；以及 遮罩單元，基于所檢測(cè)的位置來產(chǎn)生遮罩，所述遮罩抑制所述預(yù)定部位的著色； 其中，所述權(quán)重分布確定單元確定反映所述膚色度和所述遮罩的權(quán)重分布。
4.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，包括: 檢測(cè)器，其檢測(cè)所述人的圖像的預(yù)定部位的位置；以及 適用性確定單元，基于所檢測(cè)的位置確定所述人的圖像的臉部是否適合作為圖案著色對(duì)象； 其中，當(dāng)所述人的圖像的臉部被確定適合作為所述圖案著色對(duì)象時(shí)，所述著色單元利用所述圖案對(duì)所述人的圖像的臉部著色。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述適用性確定單元基于所檢測(cè)的位置指定所述人的圖像的臉部朝向，并且當(dāng)所述人的圖像的臉部朝向落在預(yù)定范圍內(nèi)時(shí)，確定所述人的圖像的臉部適合作為所述圖案著色對(duì)象。
6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的圖像處理裝置，其中，所述皮膚識(shí)別單元基于代表所述人的圖像的膚色的代表色與所述人的圖像的一部分中的區(qū)域的每個(gè)地方的顏色之間在色空間中的距離，來指定所述人的圖像的一部分中的區(qū)域的每個(gè)地方的膚色度。
7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的圖像處理裝置，其中，所述著色單元用所述圖案作為化妝對(duì)所述人的圖像的臉部著色。
8.一種圖像處理裝置，用于以特定顏色的圖案對(duì)人的圖像的皮膚進(jìn)行著色處理，包括: 皮膚識(shí)別單元，指定屬于所述人的圖像的皮膚的地方；以及 著色單元，用所述圖案對(duì)屬于所指定皮膚的地方進(jìn)行著色。
9.一種圖像處理方法，用于以特定顏色的圖案對(duì)人的圖像的皮膚進(jìn)行著色處理，包括: 皮膚指定步驟，在所述人的圖像的至少一部分中的區(qū)域的每個(gè)地方指定所述人的圖像中的顏色的膚色度；以及 著色步驟，以對(duì)應(yīng)于所述膚色度的深度用所述圖案對(duì)所述人的圖像進(jìn)行著色。
10.一種圖像處理方法，用于以特定顏色的圖案對(duì)人的圖像的皮膚進(jìn)行著色處理，包括:皮膚指定步驟，指定屬于所述人的圖像的皮膚的地方；以及 著色步驟，用所述圖案對(duì)屬于所指定皮膚的地方進(jìn)行著色。
11.一種用于圖像處理裝置的控制程序，所述圖像處理裝置以特定顏色的圖案對(duì)人的圖像的皮膚進(jìn)行著色處理，所述控制程序使計(jì)算機(jī)執(zhí)行: 皮膚指定步驟，在所述人的圖像的至少一部分中的區(qū)域的每個(gè)地方指定所述人的圖像中的顏色的膚色度；以及 著色步驟，以對(duì)應(yīng)于所述膚色度的深度用所述圖案對(duì)所述人的圖像進(jìn)行著色。
12.一種用于圖像處理裝置的控制程序，所述圖像處理裝置以特定顏色的圖案對(duì)人的圖像的皮膚進(jìn)行著色處理，所述控制程序使計(jì)算機(jī)執(zhí)行: 皮膚指定步驟， 指定屬于所述人的圖像的皮膚的地方；以及 著色步驟，用所述圖案對(duì)屬于所指定皮膚的地方進(jìn)行著色。
全文摘要
本發(fā)明的目的是實(shí)施一種圖像處理裝置和圖像處理方法，其能夠?qū)⑦m當(dāng)?shù)幕瘖y涂布于在多種條件下拍攝的臉部圖像。該圖像處理裝置(6)執(zhí)行將指定顏色的化妝合成到臉部圖像中的皮膚上的處理，其設(shè)置有皮膚識(shí)別單元(22)，在所述臉部圖像的至少一部分中的每個(gè)像素的顏色中識(shí)別膚色度；以及合成單元(17)，以對(duì)應(yīng)于所述膚色度的強(qiáng)度將化妝合成到所述臉部圖像上。
文檔編號(hào)G06T1/00GK103180872SQ20118005044
公開日2013年6月26日 申請(qǐng)日期2011年3月17日 優(yōu)先權(quán)日2010年10月29日
發(fā)明者青木博松 申請(qǐng)人:歐姆龍株式會(huì)社