專利名稱：信息處理設備、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設備，方法和程序，更具體地說，涉及目的在于增強肖像圖像的表現(xiàn)力的信息處理設備，方法和程序。
背景技術(shù)：
近年來，隨著面部圖像識別技術(shù)的發(fā)展，一種由包括在拍攝的圖像，比如照片等中的面部圖像，生成肖像圖像的技術(shù)已進入實際應用。當開始這種肖像圖像的生成時，提出了使圖像更接近原始的面部圖像的各種方法。例如，未經(jīng)審查的日本專利申請公報No. 2009-223500公開當處理通過用肖像替換投稿的攝影圖像中的被攝對象的面部而獲得的圖像時，根據(jù)面部或頭發(fā)的特定邊緣，畫出輪廓線，并設定與原始的攝影圖像接近的顏色，以便不原樣公開人物的攝影圖像(具體參見未經(jīng)審查的日本專利申請公報No. 2009-223500的0039段)。另外，未經(jīng)審查的日本專利申請公報No. 2000-311248公開在用輸入圖像創(chuàng)建肖像圖像時，通過根據(jù)右眼、左眼和嘴的坐標，利用在鼻子周圍的區(qū)域中的像素值提取膚色， 膚色信息用在后面的處理中(具體參見未經(jīng)審查的日本專利申請公報No. 2000-311248的 0172段)。

發(fā)明內(nèi)容
但是，在現(xiàn)有的技術(shù)中，存在取決于攝影圖像的拍攝條件，在生成肖像圖像時，可能使用不適合的顏色的問題。換句話說，未經(jīng)審查的日本專利申請公報No. 2009-223500說明對皮膚和頭發(fā)的顏色來說，將設定與原始照片圖像接近的顏色，不過存在取決于拍攝條件，使用不適合的顏色的情況。另外，未經(jīng)審查的日本專利申請公報No. 2000-311248說明使用鼻子附近的像素值的平均值，和中心值附近的數(shù)值，不過存在取決于拍攝條件，使用不適合的顏色的情況。 此外，存在出現(xiàn)諸如嘴唇、鼻子的陰影之類的不適合于確定顏色的區(qū)域的影響的可能性。本發(fā)明考慮了上述情況，對本發(fā)明來說，理想的是用恰當調(diào)整的顏色，諧調(diào)地生成肖像圖像，從而增強肖像圖像的表現(xiàn)力。按照本發(fā)明的一個實施例，信息處理設備包括從目標圖像中檢測面部區(qū)域的面部檢測單元，檢測所檢測的面部區(qū)域的特征點的特征點檢測單元，根據(jù)檢測的特征點，確定關(guān)注區(qū)域的確定單元，所述關(guān)注區(qū)域是面部區(qū)域中被關(guān)注的區(qū)域，提取基色的基色提取單元， 所述基色是在確定的關(guān)心區(qū)域中，從目標圖像獲得的顏色設定，把提取的基色調(diào)整為由作為基礎的目標圖像生成的修改圖像的顏色設定的調(diào)整單元，和通過利用修改圖像的顏色設定，描畫關(guān)注區(qū)域，從目標圖像生成修改圖像的生成單元。關(guān)注區(qū)域可由面部輪廓區(qū)域，頭發(fā)區(qū)域和包括預定器官的器官區(qū)域構(gòu)成，基色提
4取單元可提取面部輪廓區(qū)域，頭發(fā)區(qū)域和器官區(qū)域中的基色，調(diào)整單元可按照預定的灰度級轉(zhuǎn)換條件，把提取的基色的每個灰度級調(diào)整為修改圖像的顏色設定中的灰度級，生成單元可依據(jù)修改圖像的顏色設定中的每個灰度級，描畫面部輪廓區(qū)域，頭發(fā)區(qū)域和器官區(qū)域。調(diào)整單元可根據(jù)從面部區(qū)域獲得其屬性的面部屬性信息，按照灰度級轉(zhuǎn)換條件， 把提取的基色的每個灰度級調(diào)整為修改圖像的顏色設定中的灰度級。調(diào)整單元可根據(jù)與從目標圖像，或者附加到目標圖像中的信息中獲得的照明狀態(tài)有關(guān)的照明信息，按照灰度級轉(zhuǎn)換條件，把提取的基色的每個灰度級調(diào)整為修改圖像的顏色設定中的灰度級。調(diào)整單元可根據(jù)用戶設定的面部屬性信息，或者關(guān)于照明狀態(tài)的照明信息，把每個提取的基色調(diào)整為修改圖像的顏色設定，所述面部屬性信息是關(guān)于面部的屬性的信息。信息處理設備包括從與通過修改器官而表現(xiàn)的修改器官圖像對應的模型圖像中， 判定與器官區(qū)域中的器官圖像相似的模型圖像的判定單元，和按照判定結(jié)果，選擇與模型圖像對應的修改器官圖像的選擇單元，調(diào)整單元把選擇的修改器官圖像的顏色設定的灰度級調(diào)整為修改圖像的顏色設定中的灰度級，生成單元描畫其灰度級被調(diào)整的修改器官圖像。目標圖像可以是攝影圖像，修改圖像可以是通過用圖畫表示檢測的面部區(qū)域中的面部圖像而獲得的肖像圖像，修改的器官圖像可以是用圖畫表示器官而獲得的示例圖像。信息處理設備還包括顯示生成的修改圖像的顯示單元。按照本發(fā)明的另一個實施例，信息處理方法包括由信息處理設備執(zhí)行的下述步驟從目標圖像中檢測面部區(qū)域，檢測所檢測的面部區(qū)域的特征點，根據(jù)檢測的特征點，確定關(guān)注區(qū)域，所述關(guān)注區(qū)域是面部區(qū)域中被關(guān)注的區(qū)域，提取基色，所述基色是在確定的關(guān)心區(qū)域中，從目標圖像獲得的顏色設定，把提取的基色調(diào)整為由作為基礎的目標圖像生成的修改圖像的顏色設定，和通過利用修改圖像的顏色設定，描畫關(guān)注區(qū)域，從目標圖像生成修改圖像。按照本發(fā)明的另一個實施例，提供一種程序，所述程序使計算機充當從目標圖像中檢測面部區(qū)域的面部檢測單元，檢測所檢測的面部區(qū)域的特征點的特征點檢測單元，根據(jù)檢測的特征點，確定關(guān)注區(qū)域的確定單元，所述關(guān)注區(qū)域是面部區(qū)域中被關(guān)注的區(qū)域，提取基色的基色提取單元，所述基色是在確定的關(guān)心區(qū)域中，從目標圖像獲得的顏色設定，把提取的基色調(diào)整為由作為基礎的目標圖像生成的修改圖像的顏色設定的調(diào)整單元，和通過利用修改圖像的顏色設定，描畫關(guān)注區(qū)域，從目標圖像生成修改圖像的生成單元。在按照本發(fā)明的實施例的信息處理設備、方法和程序中，從目標圖像中檢測面部區(qū)域，檢測所檢測的面部區(qū)域的特征點，根據(jù)檢測的特征點，確定關(guān)注區(qū)域，所述關(guān)注區(qū)域是面部區(qū)域中被關(guān)注的區(qū)域，提取基色，所述基色是在確定的關(guān)心區(qū)域中，從目標圖像獲得的顏色設定，把提取的基色調(diào)整為修改圖像的顏色設定，利用修改圖像的顏色設定描畫關(guān)注區(qū)域，和從目標圖像生成修改圖像。 如上所述，按照本發(fā)明的實施例，能夠增強肖像圖像的表現(xiàn)力。


圖1是表示應用本發(fā)明的肖像圖像生成裝置的一個實施例的結(jié)構(gòu)的示圖2是表示器官區(qū)域處理單元的例證結(jié)構(gòu)的示圖；圖3是說明肖像圖像生成處理的流程圖；圖4是說明詳細的皮膚基色提取色調(diào)整處理的流程圖；圖5是圖解說明為提取皮膚基色而檢測的特征點的示圖；圖6A-6D是圖解說明從輸入圖像中提取皮膚基色的處理的細節(jié)的示圖；圖7A-7C是圖解說明把從輸入圖像獲得的基色轉(zhuǎn)換成肖像圖像的顏色的原理的示圖；圖8A和8B是表示膚色的顏色調(diào)整設定的具體數(shù)值的例子的示圖；圖9是說明頭發(fā)基色提取色調(diào)整處理的細節(jié)的流程圖；圖10A-10C是圖解說明頭發(fā)區(qū)域提取處理的細節(jié)的示圖；圖11A-11D是圖解說明描繪處理的細節(jié)的示圖；圖12是說明頭發(fā)基色提取色調(diào)整處理的細節(jié)的流程圖；圖13是表示器官區(qū)域定義信息的例子的示圖；圖14是圖解說明選擇示例圖像的處理的細節(jié)的示圖；圖15A和15B是圖解說明示例圖像描繪處理的細節(jié)的示圖；圖16A-16F是圖解說明肖像圖像的例子的示圖；圖17是表示應用本發(fā)明的肖像圖像生成設備的一個實施例的結(jié)構(gòu)的示圖；圖18是說明皮膚基色提取色調(diào)整處理的細節(jié)的流程圖；圖19是圖解說明利用面部屬性信息的顏色調(diào)整設定的調(diào)整的示圖；圖20A和20B是表示利用面部屬性信息的顏色調(diào)整設定的具體值的示圖；圖21A和21B是表示按照拍攝條件變化的膚色的例子的示意圖；圖22是表示應用本發(fā)明的肖像圖像生成設備的一個實施例的結(jié)構(gòu)的示圖；圖23是說明皮膚基色提取色調(diào)整處理的細節(jié)的流程圖；圖M是圖解說明與拍攝期間的照明狀態(tài)相應的顏色調(diào)整設定的調(diào)整的示圖；圖25是表示與照明得分相應的顏色調(diào)整設定的數(shù)值的例子的示圖；圖沈是表示應用本發(fā)明的肖像圖像生成設備的一個實施例的結(jié)構(gòu)的示圖；圖27是說明肖像圖像生成處理的流程圖；圖觀是說明皮膚基色提取色調(diào)整處理的細節(jié)的流程圖；圖^A和29B是圖解說明用戶進行的顏色調(diào)整設定的調(diào)整(性別)的示圖；圖30A和30B是圖解說明用戶進行的顏色調(diào)整設定的調(diào)整(拍攝地點)的示圖；圖31是表示當用戶調(diào)整顏色調(diào)整設定時，顏色調(diào)整設定的具體值的例子的示圖；圖32是表示預處理設備的例證結(jié)構(gòu)的示圖；圖33是說明預處理的流程圖；圖34是說明學習處理的流程圖；圖35是圖解說明K類別分類器的細節(jié)的示圖；圖36是圖解說明K維得分向量的計算程序的細節(jié)的示圖；圖37是說明生成處理的流程圖；圖38是表示眼睛的模型圖像的例子的示圖；圖39是說明設定處理的流程圖40是表示眼睛的示例圖像的例子的示圖；圖41是表示眼睛的模型圖像和示例圖像的對應例子的示圖；圖42A和42B是圖解說明當擴大和描繪示例圖像時的例子的示圖；圖43是表示計算機的結(jié)構(gòu)的示圖。
具體實施例方式下面說明本發(fā)明的例證實施例(下面稱為實施例)。另外，將按照下述順序進行說明。1.第一實施例2.第二實施例3.第三實施例4.第四實施例5.變形例6.預處理設備的結(jié)構(gòu)例子<1.第一實施例>首先參考圖1-16F，說明本發(fā)明的第一實施例。[肖像圖像生成設備的結(jié)構(gòu)例子]圖1是表示應用本發(fā)明的肖像圖像生成裝置的一個實施例的結(jié)構(gòu)的示圖。圖1的肖像圖像生成設備1根據(jù)包括面部圖像的目標圖像(例如，輸入圖像)，生成諸如肖像圖像之類的修改圖像，并使諸如液晶顯示器(LCD)之類的顯示設備2把修改圖像顯示在其屏幕上。如圖1中所示，肖像圖像生成設備1由目標圖像獲取單元11，面部檢測單元12，特征點檢測單元13，面部輪廓區(qū)域確定單元14，頭發(fā)區(qū)域確定單元15，器官區(qū)域處理單元16， 基色提取單元17，顏色調(diào)整單元18，和圖畫生成單元19組成。目標圖像獲取單元11獲得作為目標圖像輸入的輸入圖像，并把該圖像提供給面部檢測單元12。當目標圖像獲取單元11是由諸如透鏡，電荷耦合器件(CXD)，互補金屬氧化物半導體(CMOS)之類成像器件構(gòu)成的照相機單元時，目標圖像是用照相機單元拍攝的圖像。另外，目標圖像可以通過讀取記錄在諸如存儲卡之類記錄介質(zhì)中的圖像數(shù)據(jù)而獲得，或者可經(jīng)網(wǎng)絡從與諸如因特網(wǎng)之類網(wǎng)絡連接的設備獲得。換句話說，目標圖像可以是包括面部圖像的圖像，獲取方法是任意方法。面部檢測單元12對從目標圖像獲取單元11供給的輸入圖像進行預定圖像處理， 以檢測面部區(qū)域，并把和這樣獲得的面部區(qū)域中的面部圖像有關(guān)的信息提供給特征點檢測單元13。特征點檢測單元13對從面部檢測單元12供給的面部區(qū)域的面部圖像進行預定圖像處理，以便檢測指定諸如眼睛、眉毛、鼻子和嘴之類器官和輪廓的特征點，并把和這樣獲得的特征點有關(guān)的信息提供給面部輪廓區(qū)域確定單元14、頭發(fā)區(qū)域確定單元15和器官區(qū)域處理單元16。面部輪廓區(qū)域確定單元14根據(jù)從特征點檢測單元13提供的和特征點有關(guān)的信息，確定面部輪廓的內(nèi)部區(qū)域(下面稱為面部輪廓區(qū))，并把確定結(jié)果提供給基色提取單元 17。頭發(fā)區(qū)域確定單元15根據(jù)從特征點檢測單元13提供的和特征點有關(guān)的信息，確定面部中的頭發(fā)的區(qū)域(下面稱為頭發(fā)區(qū)域)，并把確定結(jié)果提供給基色提取單元17。器官區(qū)域處理單元16根據(jù)從特征點檢測單元13提供的和特征點有關(guān)的信息， 確定和提取與面部區(qū)域中的預定器官，比如眼睛、眉毛、鼻子、嘴等對應的每個器官的區(qū)域 (下面稱為器官區(qū)域)，并把提取結(jié)果提供給基色提取單元17。另外，器官區(qū)域處理單元16 選擇與提取的器官區(qū)域?qū)难劬Α⒚济?、鼻子、嘴等的示例圖像，并把該圖像提供給顏色調(diào)整單元18。此外，這些面部輪廓區(qū)域、頭發(fā)區(qū)域、器官區(qū)域可被認為是關(guān)注區(qū)域，因為關(guān)注面部區(qū)域中的這些區(qū)域。另外，面部區(qū)域處理單元16的細節(jié)將在后面參考圖2說明?；崛卧?7由皮膚基色提取單元17A、頭發(fā)基色提取單元17B和器官基色提取單元17C組成。另外，對應于組成基色提取單元17的每個基色提取單元，顏色調(diào)整單元 18由膚色調(diào)整單元18A、發(fā)色調(diào)整單元18B和示例圖像顏色調(diào)整單元18C組成。面部輪廓區(qū)域確定單元14把面部輪廓區(qū)域的確定結(jié)果提供給皮膚基色提取單元 17A。皮膚基色提取單元17A根據(jù)由面部輪廓區(qū)域確定單元14確定的面部輪廓區(qū)域，提取皮膚基色，并把提取的顏色提供給膚色調(diào)整單元18A。頭發(fā)區(qū)域確定單元15把頭發(fā)區(qū)域的確定結(jié)果提供給頭發(fā)基色提取單元17B。頭發(fā)基色提取單元17B根據(jù)由頭發(fā)區(qū)域確定單元15確定的頭發(fā)區(qū)域，提取頭發(fā)基色，并把提取的顏色提供給發(fā)色調(diào)整單元18B。器官區(qū)域處理單元16把每個器官的器官區(qū)域的提取結(jié)果提供給器官基色提取單元17C。器官基色提取單元17C根據(jù)由器官區(qū)域處理單元16提取的每個器官的器官區(qū)域， 提取每個器官的器官基色，并把提取的顏色提供給示例圖像顏色調(diào)整單元18C。此外，在實施例中，“基色”指示顏色設定，所述顏色設定是關(guān)于從目標圖像(輸入圖像)獲得的顏色的設定。于是，將通過分別把從面部輪廓區(qū)域獲得的基色稱為“皮膚基色”，從頭發(fā)區(qū)域獲得的基色稱為“頭發(fā)基色”，和從器官區(qū)域獲得的基色稱為“器官基色”進行說明。膚色調(diào)整單元18A按照預定的轉(zhuǎn)換條件，把從皮膚基色提取單元17A提供的面部輪廓區(qū)域中的皮膚基色調(diào)整為肖像圖像用顏色(顏色設定)，并把從所述調(diào)整獲得的信息提供給圖畫生成單元19。發(fā)色調(diào)整單元18B按照預定的轉(zhuǎn)換條件，把從頭發(fā)基色提取單元17B提供的頭發(fā)區(qū)域中的頭發(fā)基色調(diào)整為肖像圖像用顏色(顏色設定)，并把從所述調(diào)整獲得的信息提供給圖畫生成單元19。示例圖像顏色調(diào)整單元18C被供給來自器官區(qū)域處理單元16的與每個器官對應的示例圖像，和來自器官基色提取單元17C的每個器官的器官基色。示例圖像顏色調(diào)整單元18C根據(jù)預定的轉(zhuǎn)換條件和每個器官基色，把對應的示例圖像的顏色調(diào)整為肖像圖像用顏色(顏色設定)，并把從所述調(diào)整獲得的信息提供給圖畫生成單元19。圖畫生成單元19被供給來自膚色調(diào)整單元18A，發(fā)色調(diào)整單元18B和示例圖像顏色調(diào)整單元18C的，從顏色調(diào)整設定的調(diào)整獲得的信息。
此外，在下面的說明中，從輸入圖像獲得的基色中的顏色設定(顏色范圍)與用在肖像圖像中的顏色設定(顏色范圍)的對應關(guān)系將被稱為“顏色調(diào)整設定”。圖畫生成單元19根據(jù)與面部輪廓區(qū)域和頭發(fā)區(qū)域有關(guān)的信息，用經(jīng)過顏色調(diào)整設定的調(diào)整的膚色，填充面部輪廓區(qū)域和頭發(fā)區(qū)域的合并區(qū)域，之后，用經(jīng)過顏色調(diào)整設定的調(diào)整的發(fā)色，填充頭發(fā)區(qū)域，從而描畫僅由皮膚區(qū)域和頭發(fā)區(qū)域構(gòu)成的圖像(下面稱為基礎圖像)。之后，圖畫生成單元19對經(jīng)過顏色調(diào)整設定的調(diào)整的示例圖像進行預定處理，比如旋轉(zhuǎn)、放大、縮小(調(diào)整大小)等等，以致器官點和根據(jù)錨點定義信息定義的錨點彼此一致，并把這樣獲得的示例圖像描畫和布置在基礎圖像上，從而生成肖像圖像。此外，錨點定義信息是例如從器官區(qū)域處理單元16獲得的信息，將在下面詳細說明。圖畫生成單元19把這樣生成的肖像圖像顯示在顯示設備2上。此在，在下面的說明中為了方便起見，面部輪廓區(qū)域確定單元14，皮膚基色提取單元17A和膚色調(diào)整單元18A被稱為皮膚基色提取色調(diào)整單元20A。按照相同的方式，頭發(fā)區(qū)域確定單元15，頭發(fā)基色提取單元17B和發(fā)色調(diào)整單元18B被稱為頭發(fā)基色提取色調(diào)整單元20B，器官區(qū)域處理單元16，器官基色提取單元17C和示例圖像顏色調(diào)整單元18C被稱為器官基色提取色調(diào)整單元20C。如上所述構(gòu)成圖1的肖像圖像生成設備1。[器官區(qū)域處理單元的結(jié)構(gòu)例子]圖2是表示圖1的器官區(qū)域處理單元16的結(jié)構(gòu)例子的示圖。器官區(qū)域處理單元16由器官區(qū)域確定單元31，K類別分類器32，相似性判定單元 33，示例圖像選擇單元34和數(shù)據(jù)庫35構(gòu)成。器官區(qū)域確定單元31被供給來自特征點檢測單元13的與特征點有關(guān)的信息，和來自數(shù)據(jù)庫35的器官區(qū)域定義信息。器官區(qū)域確定單元31根據(jù)器官區(qū)域定義信息，從以來自特征點檢測單元13的特征點為基礎的面部區(qū)域中的面部圖像中，確定和提取包括預定器官的器官區(qū)域，并把提取結(jié)果提供給器官基色提取單元17C (圖1)和K類別分類器32。此外，例如，器官區(qū)域定義信息被預先記錄在數(shù)據(jù)庫35等中，由器官區(qū)域確定單元31從所述數(shù)據(jù)庫獲得。K類別分類器32獲得從器官區(qū)域確定單元31供給的器官區(qū)域中的器官圖像的K 維得分(下面稱為K維得分向量)，并把所述得分提供給相似性判定單元33。此外，為每個器官準備K類別分類器32，并用后面說明的圖32中的預處理設備 101獲得K類別分類器32，其詳細說明將在后面提供。相似性判定單元33指定記錄在數(shù)據(jù)庫35中的器官對應信息對應的模型圖像的K 維得分向量之中，與從K類別分類器32供給的K維得分向量最相似的K維得分向量，判定最相似的模型圖像，并把判定結(jié)果提供給示例圖像選擇單元34。此外，器官對應信息是給出示例圖像和模型圖像之間的對應性的信息，并被記錄在數(shù)據(jù)庫35中。示例圖像是通過改變每個器官而表示的修改器官圖像的例子，和通過用圖畫(示例)表示每個器官而顯示的圖像。另外，模型圖像是這樣生成的圖像，以致輸入圖像的器官圖像被分類成多個原型，包括在每個原型中的器官圖像組的平均圖像是根據(jù)從多類別分類器(后面說明的圖32的K類別分類器3 輸出的輸入圖像的多維得分向量獲得的，
9所述多類別分類器由利用多個樣本圖像的圖像特征量的AdaBoost ECOC(糾錯輸出編碼) 生成。由于器官對應信息是由圖32的預處理設備101獲得的，因此器官對應信息將在后面詳細說明。示例圖像選擇單元34根據(jù)從相似性判定單元33供給的判定結(jié)果，從記錄在數(shù)據(jù)庫35中的器官對應信息之中，選擇與被判定為最相似的模型圖像對應的示例圖像，并把該圖像提供給示例圖像顏色調(diào)整單元18C。除了上面說明的器官區(qū)域定義信息和器官對應信息之外，數(shù)據(jù)庫35還保存為生成肖像圖像所必需的各種信息，比如錨點定義信息。此外，錨點定義信息定義示例圖像上， 與從包括在輸入圖像中的面部圖像中檢測的每個器官的位置(下面也稱為器官點)對應的點(下面稱為錨點)。錨點定義信息在圖畫生成單元19生成肖像圖像時被使用，并在進行肖像圖像的生成時被提供給圖畫生成單元19。由于錨點定義信息是由圖32的預處理設備 101獲得的，因此錨點定義信息將在后面說明。[肖像圖像生成處理的說明]下面參考圖3的流程圖，說明由圖1的肖像圖像生成設備1執(zhí)行的生成肖像圖像的處理(肖像圖像生成處理)。在步驟S11，目標圖像獲取單元11獲得包括面部圖像的輸入圖像，比如攝影圖像。在步驟S12，面部檢測單元12通過掃描從目標圖像獲取單元11供給的輸入圖像中的面部模式，檢測輸入圖像中面部區(qū)域的位置(X，1，W, h)。在步驟S13，特征點檢測單元13通過掃描由面部檢測單元12檢測的面部區(qū)域中的面部圖像的每個特征點的模式，檢測特征點的位置(x，y)。借助特征點，指定面部輪廓區(qū)域，頭發(fā)區(qū)域和每個器官區(qū)域。在步驟S14，皮膚基色提取色調(diào)整單元20A執(zhí)行皮膚基色提取色調(diào)整處理。這里，將參考圖4的流程圖，說明與圖3中的步驟S14的處理對應的皮膚基色提取色調(diào)整處理的細節(jié)。在步驟S31，面部輪廓區(qū)域確定單元14根據(jù)特征點檢測單元13檢測的特征點，確定面部輪廓區(qū)域。換句話說，由于面部輪廓中的點被檢測為特征點，例如如圖5中所示，因此面部輪廓區(qū)域確定單元14根據(jù)這些特征點，把面部輪廓的內(nèi)部確定為面部輪廓區(qū)域。在步驟S32，皮膚基色提取單元17A提取由面部輪廓區(qū)域確定單元14確定的面部輪廓區(qū)域中的皮膚基色。圖6A-6D是表示從獲取輸入圖像到提取輸入圖像中的面部輪廓區(qū)域中的皮膚基色的一系列處理的流程的例子。首先，當對圖6A的輸入圖像執(zhí)行顏色分割處理時，獲得圖6B中所示的圖像。這里， 例如，執(zhí)行對圖6A的輸入圖像的RGB值使用k均值算法的聚類。隨后，如圖6C中所示，利用由特征點檢測單元13檢測的特征點，對通過顏色分割處理獲得的圖6B的圖像，指定提取皮膚基色的范圍。使用利用樣條曲線連接檢測到的特征點的方法指定所述范圍。當指定了圖6C的提取皮膚基色的范圍時，如圖6D中所示，從指定范圍中的區(qū)域中提取皮膚基色。對皮膚基色的提取來說，可取的是選擇占據(jù)指定范圍中的較寬范圍的顏色。
10例如，在圖6C的指定范圍中，占據(jù)50%以上，30%以上等的預定面積的顏色被提取為皮膚基色。圖6D圖解說明其中提取兩種皮膚基色的例子，不過為了獲得一種皮膚基色，可以采用顏色的平均值，或者可以選擇占據(jù)指定范圍中的最寬面積的顏色。另外，在肖像圖像的每個區(qū)域中可以反映多種基色，多條顏色信息可被用作漸變處理的設定值。返回圖4的流程圖，在步驟S33，膚色調(diào)整單元18A按照預定的灰度級轉(zhuǎn)換條件， 調(diào)整由皮膚基色提取單元17A提取的皮膚基色，并把該顏色轉(zhuǎn)換成將用在肖像圖像中的膚色。這里，參考圖7A-7C，說明把皮膚基色轉(zhuǎn)換成將用在肖像圖像中的膚色的方法。此外，作為轉(zhuǎn)換方法的例子，顏色信息被當作8比特的RGB值，將說明調(diào)整每個值的方法。圖7A-7C分別關(guān)于紅色分量(圖7A)、綠色分量(圖7B)和藍色分量(圖7C)，圖解說明從輸入圖像獲得的基色(用圖中的每個顏色分量的左側(cè)中的“輸入圖像”表示)與肖像圖像的顏色(用圖中的每個顏色分量的右側(cè)中的“肖像圖像”表示)的顏色范圍之間的對應關(guān)系。顏色范圍是由圖中范圍為0-255的RGB灰度值中的粗框環(huán)繞的范圍，并對應于“輸入圖像”和“肖像圖像”，如圖中用箭頭所示。此外，所述關(guān)系與后面要說明的其它對應附圖相同。如圖7A中所示，關(guān)于紅色分量，從輸入圖像獲得的基色的顏色范圍被設定為 [RImin, RImax]。通過統(tǒng)計獲得可能正被輸入的圖像中的范圍，可獲得所述顏色范圍。這里，進行轉(zhuǎn)換，以致當基色的R值小于RLnin時的情況被設定為RImin，當所述R 值大于RImax時的情況被設定為RImax，從而輸入值在[RImin，RImax]的范圍中。另外，對綠色分量和藍色分量按照相同的方式，定義[GImin，GImax]和[BImin，BImax]，如圖7B和 7C中所示。此外，在下面的說明中，考慮到RGB的通用化，從輸入圖像獲得的基色的顏色范圍用[Xlmin，XImax]表不。如圖7A中所示，對紅色分量來說，在肖像圖像中使用的顏色范圍被設定為 [RCmin, RCmax]。該顏色范圍是按照生成的肖像圖像的面部屬性、氣氛、主題等確定的。另外，對綠色分量和藍色分量按照相同的方式，定義WCmin，GCmax]和[BCmin， BCmax]，如圖7B和7C中所示。此外，在下面的說明中，考慮到RGB的通用化，在肖像圖像中使用的顏色的顏色范圍用[XCmin，XCmax]表示。作為把基色(的灰度級)轉(zhuǎn)換成在肖像圖像中使用的顏色(的灰度級)的方法的一個簡單例子，可以考慮從[Xlmin，XImax]到[XCmin，XCmax]的線性轉(zhuǎn)換。當在獨立轉(zhuǎn)換每個RGB值的方法中，基色被設定為[Rin，Gin，Bin]，在肖像圖像中使用的顏色被設定為[R，G，B]時，可以使用下面的轉(zhuǎn)換式(1)。if (Rin < RImin) {Rin = RImin}if (RImax < Rin) {Rin = RImax}R= (RCmax-RCmin) * (Rin-RImin) / (RImax-RImin) +RCminif (Gin < GImin) {Gin = GImin}if (GImax < Gin) {Gin = GImax}G= (GCmax-GCmin) * (Gin-GImin) / (GImax-GImin) +GCmin
if (Bin < BImin) {Bin = Bimin}if (BImax < Bin) {Bin = Bimax}B= (BCmax-BCmin) ★ (Bin-BImin) / (BImax-BImin) +BCmin. . . (1)不過，由于就上面的轉(zhuǎn)換式(1)來說，RGB值是獨立調(diào)整的，因此存在由于取決于各種情況，RGB值的平衡被破壞，從而未表示出預期的顏色的情況。為了避免這個問題，可以考慮聯(lián)鎖地調(diào)整RGB值的下述轉(zhuǎn)換式(2)。RGBin = (Rin+Gin+Bin)/3RGBImax = (RImax+GImax+BImax)/3RGBImin = (RImin+GImin+BImin)/3if (RGBin < RGBmin) {RGBin = RGBmin}if (RGBmax < RGBin) {RGBin = RGBmax}R= (RCmax-RCmin) * (RGBin-RGBImin) / (RGBImax-RGBImin) +RCminG= (GCmax-GCmin) * (RGBin-RGBImin) / (RGBImax-RGBImin) +GCminB= (BCmax-BCmin) * (RGBin-RGBImin) / (RGBImax-RGBImin) +BCmin. . . (2)借助上面的轉(zhuǎn)換式(灰度級轉(zhuǎn)換條件)，從輸入圖像獲得的皮膚基色(的灰度級) 可被轉(zhuǎn)換成在肖像圖像中使用的膚色(的灰度級)。圖8A和8B是表示關(guān)于膚色的顏色調(diào)整設定的具體數(shù)值的例子的示圖。圖8A表示作為RGB值的皮膚基色中的顏色范圍的[Xlmin，XImax]，圖8B表示作為RGB值的肖像圖像中的顏色范圍的[XCmin，XCmax]。換句話說，由[RImin，RImax] = [90，170]指定的皮膚基色的顏色范圍被轉(zhuǎn)換成作為肖像圖像中的顏色范圍的[RCmin, RCmax] = [217,255].按照相同的方式，[GImin,GImax] = [60,140]被轉(zhuǎn)換成[GCmin，GCmax] = [191， 231], [BImin, BImax] = [40,120]被轉(zhuǎn)換成[BCmin, BCmax] = [172，212]。因此，膚色的顏色調(diào)整設定被調(diào)整，處理返回圖3的步驟S14的處理。在步驟S15，頭發(fā)基色提取色調(diào)整單元20B執(zhí)行頭發(fā)基色提取色調(diào)整處理。這里，將參考圖9的流程圖，說明與圖3的步驟S15的處理對應的頭發(fā)基色提取色調(diào)整處理的細節(jié)。在步驟S51，頭發(fā)區(qū)域確定單元15根據(jù)從特征點檢測單元13提供的特征點，確定頭發(fā)區(qū)域。例如，頭發(fā)區(qū)域確定單元15利用k均值算法，對從面部檢測單元12檢測的面部區(qū)域(或者輸入圖像)中的面部圖像的上半部區(qū)域(頭的頂部區(qū)域)的圖像中獲得的RGB值進行聚類，并把預定區(qū)域確定為頭發(fā)區(qū)域。圖10A-10C是圖解說明由頭發(fā)區(qū)域確定單元15執(zhí)行的頭發(fā)區(qū)域確定處理的細節(jié)的示圖。如圖IOA中所示，作為頭發(fā)區(qū)域確定處理，首先，確定面部區(qū)域中的上部面部區(qū)域 Au的上半部。隨后，如果利用k均值算法，依據(jù)三種顏色對上部面部區(qū)域Au中的所有像素 (R，G和B)進行聚類，那么所有像素屬于三種類別中的任意之一。隨后，當確定相鄰像素的標記彼此是否一致，并進行區(qū)域劃分時，上部面部區(qū)域被劃分成背景區(qū)、頭發(fā)區(qū)和膚色區(qū)三個區(qū)域，如圖IOB中所示。
此外，在該劃分處理中，上部面部區(qū)域被劃分成三個以上的區(qū)域，不過，頭發(fā)區(qū)域確定單元15可把例如最接近于黑色的區(qū)域中，面積最大的區(qū)域確定為頭發(fā)區(qū)域，如圖IOC 中所示。返回圖9的流程圖，在步驟S52中，頭發(fā)基色提取單元17B從由頭發(fā)區(qū)域確定單元 15確定的頭發(fā)區(qū)域中，提取頭發(fā)基色。上面說明了提取頭發(fā)基色的方法，不過按照和上面說明的圖6A-6D的提取皮膚基色的方法相同的方式，可在圖IOC的頭發(fā)區(qū)域的指定范圍中，提取占據(jù)總面積的50%以上的區(qū)域中的顏色作為頭發(fā)基色。在步驟S53，發(fā)色調(diào)整單元18B按照預定的灰度級轉(zhuǎn)換條件，調(diào)整由頭發(fā)基色提取單元17B提取的頭發(fā)基色，從而把頭發(fā)基色轉(zhuǎn)換成在肖像圖像中使用的發(fā)色。上面說明的是頭發(fā)基色的顏色調(diào)整設定的調(diào)整，不過可按照和上面說明的皮膚基色的顏色調(diào)整設定(圖7A-7C及圖8A和8B)相同的方式進行調(diào)整，以致用[Xlmin，XImax] 指定的頭發(fā)基色的顏色范圍被轉(zhuǎn)換成作為肖像圖像中的顏色范圍的[XCmin，XCmax]。因而，發(fā)色的顏色調(diào)整設定被調(diào)整，處理返回圖3的步驟S15的處理。在步驟S16，圖畫生成單元19用經(jīng)過顏色調(diào)整設定的調(diào)整的膚色，填充面部輪廓區(qū)域和頭發(fā)區(qū)域的合并區(qū)域，隨后用經(jīng)過顏色調(diào)整設定的調(diào)整的發(fā)色填充頭發(fā)區(qū)域，從而描畫面部的基礎圖像。圖11A-11D是圖解說明由圖畫生成單元19執(zhí)行的基礎圖像描畫處理的細節(jié)的示圖。如圖IlA中所示，當用預定的插值處理，比如樣條曲線插值，連接檢測到的輪廓上的特征點，并獲得由曲線環(huán)繞的區(qū)域時，形成面部輪廓區(qū)域，如圖IlB中所示。隨后，如圖 IlC中所示，在用經(jīng)過顏色調(diào)整設定的調(diào)整的膚色填充面部輪廓區(qū)域和頭發(fā)區(qū)域的內(nèi)部，并用經(jīng)過顏色調(diào)整設定的調(diào)整的發(fā)色填充頭發(fā)區(qū)域之后，獲得圖IlD的基礎圖像。此外在這里，為了說明的簡潔起見，省略了對輸入圖像的圖像大小的縮放處理的說明，不過實際上，從輸入圖像中裁切主要放大自面部檢測單元12檢測到的面部區(qū)域的區(qū)域，并按照生成的肖像圖像的圖像大小，對該區(qū)域進行縮放處理。當達到縮放的大小時，由于從面部檢測單元12檢測到的面部區(qū)域中的整個面部中稍微突出的區(qū)域被提取，因此從輸入圖像中裁切主要源于該區(qū)域的為面部區(qū)域1.6倍的區(qū)域。此時，例如，如果期望的肖像圖像的圖像大小被設定為300X300像素，那么檢測到的面部區(qū)域中的面部圖像被縮放到該圖像大小。另外，此時，由特征點檢測單元13檢測的面部區(qū)域的特征點的位置被轉(zhuǎn)換成裁切圖像的位置。返回圖3的流程圖，在步驟S17，器官基色提取色調(diào)整單元20C執(zhí)行器官基色提取色調(diào)整處理。這里，將參考圖12的流程圖，詳細說明圖3中的步驟S17的器官基色提取色調(diào)整處理。此外，為了使說明易于理解，將主要說明從諸如眼睛、眉毛、鼻子、嘴之類的器官中，選擇眼睛的示例圖像進行顏色調(diào)整設定的調(diào)整的例子。在步驟S71，在器官區(qū)域處理單元16中，輸入圖像的面部區(qū)域被縮放到預定的圖像大小，在步驟S72，器官區(qū)域確定單元31從變成預定圖像大小的面部區(qū)域中，裁切與器官區(qū)域定義信息相應的器官區(qū)域。
13
圖13是表示器官區(qū)域定義信息的例子的示圖。如圖13中所示，當從縮放為64X64像素的面部區(qū)域中裁切每個器官區(qū)域時，提取具有對角點(X1, Y1)和(X2，I2)的方形區(qū)域，點(X1, Y1)和(X2, I2)是面部區(qū)域中的任意位置。例如，由于眼部區(qū)域是具有對角點(10，23)和(55，30)的方形區(qū)域，因此器官區(qū)域確定單元31裁切該區(qū)域作為眼部區(qū)域。如上所述裁切的眼部區(qū)域被提供給器官基色提取單元17C和K類別分類器32。返回圖12的流程圖，在步驟S73，眼部區(qū)域的K類別分類器32獲得與眼部區(qū)域中的器官圖像對應的K維得分向量。在步驟S74，相似性判定單元33根據(jù)記錄在數(shù)據(jù)庫35中的器官對應信息，指定與示例圖像對應的模型圖像的K維得分向量之中的、和由眼部區(qū)域的K類別分類器32計算的、從眼部區(qū)域中的器官圖像獲得的K維得分向量最相似的K維得分向量，并判定最相似的模型圖像。此外，例如，對K維得分向量之間的相似性來說，采用歐幾里德距離。在步驟S75，示例圖像選擇單元34根據(jù)相似性判定單元33的判定結(jié)果，從記錄在數(shù)據(jù)庫35中的器官對應信息中，選擇與被確定為最相似的模型圖像對應的示例圖像。圖14是圖解說明選擇示例圖像的處理的細節(jié)的示圖。如圖14中所示，當器官區(qū)域確定單元31從輸入圖像的面部區(qū)域中，提取眼部區(qū)域中的器官圖像時，相似性判定單元33根據(jù)K類別分類器32的計算結(jié)果，判定器官圖像和多個模型圖像之間的相似性，并確定相似性最高的模型圖像。由于在器官對應信息中，模型圖像和示例圖像預先相互對應，因此，示例圖像選擇單元34能夠選擇與相似性最高的模型圖像配對的一個示例圖像。因而，從預先準備的多個示例圖像中，選擇與和從面部區(qū)域提取的眼部區(qū)域中的器官圖像中具有最高相似性的模型圖像配對的一個示例圖像。返回圖12的流程圖，在步驟S76，器官基色提取單元17C提取由器官區(qū)域確定單元 31確定的眼部區(qū)域中的眼部基色。上面說明的是提取眼部區(qū)域中的基色的方法，不過按照和上面說明的圖6A-6D的提取皮膚基色的方法相同的方式，在眼部區(qū)域的指定范圍中，可提取占總面積50%以上的區(qū)域的顏色作為眼部基色。在步驟S77，示例圖像顏色調(diào)整單元18C按照預定的灰度級轉(zhuǎn)換條件，根據(jù)由器官基色提取單元17C提取的眼部基色，調(diào)整由示例圖像選擇單元34選擇的眼睛的示例圖像的顏色，并把該顏色轉(zhuǎn)換成將用在肖像圖像中的眼睛的顏色。上面說明的是關(guān)于眼部基色的顏色調(diào)整設定的調(diào)整，不過按照和上面說明的皮膚基色的顏色調(diào)整設定(圖7A-7C及圖8A和8B)相同的方式，可進行調(diào)整，以致由[Xlmin， XImax]指定的眼部基色的顏色范圍被轉(zhuǎn)換成作為肖像圖像中的顏色范圍的[XCmin， XCmax]ο如上所述，進行關(guān)于示例圖像的顏色調(diào)整設定的調(diào)整，處理返回圖3的步驟S17的處理。在步驟S18，圖畫生成單元19對經(jīng)過示例圖像顏色調(diào)整單元18C的顏色調(diào)整設定的調(diào)整的示例圖像，進行諸如旋轉(zhuǎn)、放大、縮小之類的圖像處理，以致由錨點定義信息定義的錨點與對應的器官點彼此一致，從而這樣獲得的示例圖像被描畫在從步驟S16的處理獲得的基礎圖像上。圖15A和15B是詳細圖解說明示例圖像描畫處理的示圖。如圖15A和15B中所示，以錨點定義信息為基礎的，由示例圖像顏色調(diào)整單元18C 調(diào)整顏色調(diào)整設定的眼睛示例圖像的錨點PA，和與特征點檢測單元13檢測的面部區(qū)域中的特征點對應的肖像圖像(基礎圖像)上的器官點Pp之間的對應性如上所述。換句話說，如圖15A中所示，由于一方面錨點Pai與器官點Ppi相互對應，另一方面， 錨點Pa2與器官點Pp2相互對應，因此，圖畫生成單元19對示例圖像執(zhí)行諸如旋轉(zhuǎn)、放大或縮小之類的圖像處理，以致通過使這些點相互重合，把眼睛示例圖像描畫在基礎圖像上，隨后進行描畫，以致使對應錨點Pa與器官點Pp重合。如果如上進行描畫，那么如圖15B中所示， 右眼示例圖像被描畫在基礎圖像上。另外在此時，由于作為基礎圖像描畫了皮膚區(qū)，因此只重畫與示例圖像對應的像素。另外，器官點Pp可以是與檢測的特征點重合的點，或者可以是不同于特征點設定的點。返回圖3的流程圖，在步驟S19，器官基色提取色調(diào)整單元20C確定諸如眼睛、眉毛、鼻子、嘴和前額之類的所有示例圖像是否都被描畫在基礎圖像上。在步驟S19，當確定不是所有的示例圖像都被描畫時，處理返回步驟S17，重復上面說明的從步驟S17-S19的器官基色提取色調(diào)整/描畫處理。換句話說，通過重復器官基色提取色調(diào)整/描畫處理，除了在圖13的器官區(qū)域定義信息中定義的眼部區(qū)域之外，分別提取眉部區(qū)域(點(8，15)_點(57，22))，鼻部區(qū)域(點 (21,31)-點(44，45))，嘴部區(qū)域(點(18,46)-點(47，59))，和額部區(qū)域(點(1，1)_點 (64. 14))，利用為每個器官區(qū)域準備的K類別分類器32，確定與模型圖像的相似性，并分別選擇與相似性最高的模型圖像對應的示例圖像。隨后，根據(jù)對應的器官基色，對選擇的示例圖像進行顏色調(diào)整設定的調(diào)整，另外按照錨點定義信息，對選擇的示例圖像進行圖像處理， 并將其描畫和布置在基礎圖像上的預定位置。另一方面，當確定結(jié)束所有示例圖像的描畫時，證明所有器官已被描畫，于是，結(jié)束器官基色提取色調(diào)整/描畫處理。如上所述生成的肖像圖像的范例如下所示。換句話說，圖16A-16F是表示其中圖畫生成單元19生成的肖像圖像(修改圖像)被顯示在顯示設備2的屏幕上的例子的示圖。如圖16A-16F的各對輸入圖像(左側(cè))和肖像圖像(右側(cè))所示，通過執(zhí)行肖像生成處理，單獨選擇與包括在左側(cè)的輸入圖像中的面部圖像的每個器官區(qū)域?qū)氖纠龍D像，之后對選擇的示例圖像進行顏色調(diào)整設定的調(diào)整，調(diào)整后的示例圖像被描畫在基礎圖像上，從而分別生成右側(cè)的肖像圖像。換句話說，由于在肖像圖像中適當調(diào)整面部皮膚的顏色，頭發(fā)的顏色，及諸如眼睛和嘴唇之類的各個器官的顏色，并且形成反映輸入圖像中的面部圖像的人物的顏色，因此， 該圖像看來象原始的面部圖像，結(jié)果，提高了肖像圖像的質(zhì)量。另外，當從輸入圖像獲得基色時，利用k均值算法等方法，進行聚類作為預處理， 并且例如就膚色來說，利用屬于相同聚類的區(qū)域的顏色來獲得基色，同時避開具有除膚色外的顏色的地方，例如眼睛、嘴唇等的周圍部分。結(jié)果，由于能夠獲得更適合于所述目的的顏色，因此能夠使面部皮膚的顏色，頭發(fā)的顏色，和諸如眼睛或嘴唇之類的各個器官的顏色變成在肖像圖像中不會感到不諧調(diào)的適當顏色。
15
另外，由于肖像圖像是用不是根據(jù)每個器官區(qū)域中的器官圖像和示例圖像之間的相似性選擇的示例圖像，而是根據(jù)器官圖像和模型圖像之間的相似性選擇的示例圖像生成的，因此，直接根據(jù)面部圖像的外形選擇和與輸入圖像的每個器官圖像最相似的模型圖像配對的示例圖像，從而，能夠生成具有面部圖像的特征的肖像圖像。換句話說，難以直接得到器官圖像和示例圖像之間的相似性，但是，在本實施例中，預先使模型圖像和示例圖像配對，計算器官圖像和模型圖像之間的相似性，并選擇和與器官圖像最相似的模型圖像配對的示例圖像。如上所述，圖1的肖像圖像生成設備1執(zhí)行肖像圖像生成處理。<2.第二實施例>下面參考圖17-20B，說明本發(fā)明的第二實施例。[利用面部屬性信息調(diào)整顏色調(diào)整設定的方法]順便提及，在肖像圖像中，例如，如果黑色被用于男性的膚色，白色被用于女性的膚色，那么存在其中提高肖像圖像的印象的情況。另外，存在用于提高肖像圖像的印象的各種要素，比如把粉紅色用于笑臉的膚色，和把水色用于緊張的臉的膚色。為了實現(xiàn)如上所述的顏色調(diào)整設定的調(diào)整，可以考慮一種方法，其中識別面部圖像的屬性，比如和人物的性別有關(guān)的男性/女性屬性，和與面部表情有關(guān)的面部表情屬性， 并利用識別結(jié)果，調(diào)整顏色調(diào)整設定。從而，作為第二實施例，將說明利用面部屬性信息，調(diào)整顏色調(diào)整設定的方法。[肖像圖像生成設備的結(jié)構(gòu)例子]圖17是表示應用本發(fā)明的肖像圖像生成設備的另一個實施例的結(jié)構(gòu)的示圖。與圖1的肖像圖像生成設備1相比，圖17的肖像圖像生成設備1的不同之處在于該設備具備用于從面部圖像中識別面部屬性信息的面部屬性識別單元21。此外，在圖17 中，和圖1中的各個部分相同的部分被賦予相同的附圖標記，將適當?shù)厥÷躁P(guān)于相同處理的各個部分的說明。面部檢測單元12把與面部區(qū)域中的面部圖像有關(guān)的信息提供給面部屬性識別單元21。面部屬性識別單元21對所述面部圖像進行識別面部屬性的預定圖像處理，從而識別面部屬性。面部屬性的識別結(jié)果作為面部屬性信息被提供給顏色調(diào)整單元18。例如，作為面部屬性，可判定和識別人物的性別、種族、面部表情、是否戴眼鏡等等。顏色調(diào)整單元18根據(jù)從面部屬性識別單元21提供的面部屬性信息，按照灰度級轉(zhuǎn)換條件，把基色調(diào)整為肖像圖像用顏色，并把通過調(diào)整顏色調(diào)整設定而獲得的信息提供給圖畫生成單元19。換句話說，膚色調(diào)整單元18A依據(jù)面部屬性信息，把皮膚基色調(diào)整為在肖像圖像中使用的膚色。按照相同的方式，發(fā)色調(diào)整單元18B依據(jù)面部屬性信息，把頭發(fā)基色調(diào)整為在肖像圖像中使用的發(fā)色。另外，示例圖像顏色調(diào)整單元18C根據(jù)每個器官基色和面部屬性信息，把對應的示例圖像的顏色調(diào)整為肖像圖像用顏色。圖畫生成單元19用經(jīng)過利用面部屬性信息調(diào)整顏色調(diào)整設定后的膚色，填充面部輪廓區(qū)域和頭發(fā)區(qū)域的合并區(qū)域，此外，用經(jīng)過利用面部屬性信息調(diào)整顏色調(diào)整設定后的發(fā)色填充頭發(fā)區(qū)域，從而描畫基礎圖像。此外，圖畫生成單元19對經(jīng)過利用面部屬性信息，調(diào)整顏色調(diào)整設定的示例圖像進行預定圖像處理，把這樣獲得的示例圖像描畫和布置在基礎圖像上，從而生成肖像圖像。如上所述構(gòu)成圖17的肖像圖像生成設備1。[關(guān)于肖像圖像生成處理的說明]下面，說明由圖17的肖像圖像生成設備1執(zhí)行的肖像圖像生成處理。此外，圖17的肖像圖像生成設備1執(zhí)行的肖像圖像生成處理基本上與上面說明的圖3的肖像圖像生成處理相同，不過區(qū)別在于在皮膚基色提取色調(diào)整處理(步驟S14的處理)，頭發(fā)基色提取色調(diào)整處理(步驟S15的處理)，和器官基色提取色調(diào)整處理(步驟S17 的處理)中，利用面部屬性信息調(diào)整顏色調(diào)整設定。于是，這里將參考圖18的流程圖，主要說明與圖3的步驟S14的處理對應的皮膚基色提取色調(diào)整處理。在步驟S91和S92，按照和圖4的步驟S31和S32相同的方式，面部輪廓區(qū)域確定單元14確定面部輪廓區(qū)域，皮膚基色提取單元17A提取皮膚基色。在步驟S93，面部屬性識別單元21對面部圖像執(zhí)行識別面部屬性的預定圖像處理，并獲得這樣得到的面部屬性信息。面部屬性信息被提供給膚色調(diào)整單元18A。在步驟S94，膚色調(diào)整單元18A根據(jù)獲得的面部屬性信息，按照灰度級轉(zhuǎn)換條件， 調(diào)整皮膚基色，并把所述基色轉(zhuǎn)換成在肖像圖像中使用的膚色。這里，將參考圖19，詳細說明利用面部屬性信息的顏色調(diào)整設定的調(diào)整。圖19表示用[Xlmin，XImax]表示的基色的顏色范圍被轉(zhuǎn)換成作為肖像圖像中的顏色范圍的[XCmin，XCmaX]，不過如圖中的箭頭所示，按照從面部屬性信息獲得的得分值調(diào)整XCmin禾口 XCmax的值。更具體地說，作為利用面部屬性信息調(diào)整顏色調(diào)整設定的方法的例子，下面說明利用指示人物的性別的面部屬性信息，調(diào)整膚色的方法。這里，在面部圖像的男性/女性屬性識別中，假定在
的范圍中獲得得分S。如果當男/女屬性得分S為0.0(最大男性得分)時的肖像圖像中的顏色范圍被設定為[XCMmin，XCMmax] (X是RGB任意之一)，當男/女屬性得分S為1. 0 (最大女性得分)時的肖像圖像中的顏色范圍被設定為[XCFmin，XCFmax]，那么根據(jù)男/女屬性得分 S，依據(jù)下面的公式(3)可獲得肖像圖像中的顏色范圍[XCmain，XCmax]。RCmax = (RCFmax-RCMmax) * S+RCMmaxRCmin = (RCFmin-RCMmin) * S+RCMminGCmax = (GCFmax-GCMmax) * S+GCMmaxGCmin = (GCFmin-GCMmin) * S+GCMminBCmax = (BCFmax-BCMmax) * S+BCMmaxBCmin = (BCFmin-BCMmin) * S+BCMmin. . . (3)通過利用這樣獲得的[XCmin，XCmax]，得到將在肖像圖像中使用的顏色[R，G，B]。圖20A和20B表示當利用男/女屬性和面部表情屬性的得分作為面部屬性信息時，調(diào)整關(guān)于膚色的顏色調(diào)整設定時必需的具體值的例子。圖20A表示依據(jù)男/女屬性的顏色調(diào)整設定的數(shù)值的例子，在基礎設定為[RCmin， RCmax] = [217,255], [GCmin,GCmax] = [191,231]和[BCmin,BCmax] = [172,212]時，使用男/女屬性得分的情況如下所示。可以說，一方面，當男/女屬性為女性時，設定為[RCmin，RCmax] = [227,255], [GCmin, GCmax] = [214,254]和[BCmin, BCmax] = [205,245],另一方面，當男/女屬性為男性時，設定為[RCmin，RCmax] = [197,237], [GCmin, GCmax]= [142,182]和[BCmin, BCmax] = [101，141]。在圖20A的“平均顏色”的字段中表示了用這些RGB值表示的平均顏色，不過顯然與基礎設定的平均顏色相比，女性的平均顏色為白色，男性的平均顏色為黑色。因此，由于黑色被用于男性的膚色，白色被用于女性的膚色，因此能夠改善肖像圖像的印象。圖20B表示依據(jù)面部表情屬性的顏色調(diào)整設定的數(shù)值的例子，不過在基礎設定為 [RCmin, RCmax] = [217,255], [GCmin, GCmax] = [191,231]和[BCmin, BCmax] = [172， 212]時，使用面部表情屬性得分的情況如下所示。可以說，一方面，當面部表情屬性為笑臉時，設定為[RCmin, RCmax] = [220,255], [GCmin, GCmax] = [171,211]和[BCmin, BCmax] =[170，210]，另一方面，當面部表情屬性為沮喪之臉時，設定為[RCmin, RCmax] = [177， 217], [GCmin, GCmax] = [212,252]和[BCmin, BCmax] = [213，253]。在圖20B的“平均顏色”字段中表示了用這些RGB值表示的平均顏色，不過顯然與基礎設定的平均顏色相比，笑臉的平均顏色為粉紅色，沮喪之臉的平均顏色為水色。因此， 由于粉紅色被用于笑臉的膚色，水色被用于緊張之臉的膚色，因此能夠改善肖像圖像的印象。如此，執(zhí)行利用面部屬性信息的顏色調(diào)整設定的調(diào)整。換句話說，如果輸入圖像的顏色被原樣用于生成肖像圖像，那么，取決于肖像圖像的面部屬性或氣氛(例如，性別、面部表情等)，該顏色可能不自然，從而要使用的顏色是不同的。于是，在第二實施例中，為了避免肖像圖像中顏色不自然，預先確定將在肖像圖像中使用的顏色的范圍，并在該范圍內(nèi)確定按照輸入圖像的顏色信息和面部屬性要使用的顏色。因此，例如，從輸入圖像中獲得與人物的性別有關(guān)的男/女屬性，作為面部屬性信息，按照面部屬性，例如就女性來說，通過使膚色為白色，能夠改變顏色調(diào)整設定。上面說明了皮膚基色提取色調(diào)整處理，不過，按照如上所述的頭發(fā)基色提取色調(diào)整處理(步驟S15的處理)和器官基色提取色調(diào)整處理(步驟S17的處理)中相同的方式， 執(zhí)行利用面部屬性信息的顏色調(diào)整設定的調(diào)整。由于在頭發(fā)基色提取色調(diào)整處理和器官基色提取色調(diào)整處理中進行的利用面部屬性信息的顏色調(diào)整設定的調(diào)整，和上面說明的在皮膚基色提取色調(diào)整處理中進行的利用面部屬性信息的顏色調(diào)整設定的調(diào)整相同，因此不再重復其說明。另外，按照和上述方法中相同的方式，可利用從面部圖像獲得的諸如種族、年齡之類的面部屬性信息，調(diào)整肖像圖像的顏色。例如，從輸入圖像獲得關(guān)于種族的面部屬性信息，例如，如果種族證明是西方人，那么可用藍色涂畫眼睛。此外，當從單色面部圖像獲得這樣的面部屬性信息時，可從單色面部圖像(輸入圖像)生成彩色肖像圖像。此外，這里說明了按照男/女屬性識別的得分值，連續(xù)改變顏色調(diào)整設定的值的例子，不過，當男/女屬性得分小于0. 5時，可對男性使用固定值的顏色調(diào)整設定，當所述得分為0. 5以上時，可對女性使用固定值的顏色調(diào)整設定。這樣，圖17的肖像圖像生成設備1執(zhí)行肖像圖像生成處理。<3.第三實施例>
下面參考圖21A-25，說明本發(fā)明的第三實施例。[按照拍攝期間的拍攝條件，調(diào)整顏色調(diào)整設定的方法]順便提及，如果攝影圖像的拍攝條件(例如，照明狀態(tài)等)不同，那么對相同人物的面部圖像來說，提取的基色將大不相同。圖21A-21B表示在室內(nèi)和室外拍攝的圖像，和這些圖像中的面部的膚色區(qū)域(面部輪廓區(qū)域)和皮膚基色之間的關(guān)系。當比較圖21A中的從在室內(nèi)拍攝的圖像中提取的皮膚基色([R，G，B] = [131,62, 32])和圖21B中的從在室外拍攝的圖像中提取的皮膚基色([R，G，B] = [175，138，132]) 時，可看出室內(nèi)圖像總的來說比室外圖像暗。原本，理想的是即使在相同人物的多個圖像中，拍攝條件不同，仍然提取相似的基色。為了實現(xiàn)這種顏色調(diào)整設定的調(diào)整，可以考慮一種方法，其中通過利用與在拍攝期間獲得的拍攝條件有關(guān)的信息(例如，關(guān)于照明狀態(tài)的照明信息)，調(diào)整顏色調(diào)整設定。從而，作為第三實施例，將說明利用拍攝期間的照明信息，調(diào)整顏色調(diào)整設定的方法。[肖像圖像生成設備的結(jié)構(gòu)例子]圖22是表示應用本發(fā)明的肖像圖像生成設備的一個實施例的另一種結(jié)構(gòu)的示圖。與圖1的肖像圖像生成設備1相比，圖22的肖像圖像生成設備1的不同之處在于具備從輸入圖像中識別照明狀態(tài)的照明條件識別單元22。此外，在圖22中，和圖1中的各個部分相同的部分被賦予相同的附圖標記，將適當?shù)厥÷躁P(guān)于相同處理的各個部分的說明。從目標圖像獲取單元11把輸入圖像提供給照明條件識別單元22。照明條件識別單元22對從目標圖像獲取單元11提供的輸入圖像執(zhí)行識別照明狀態(tài)的預定圖像處理，以識別照明狀態(tài)。照明狀態(tài)的識別結(jié)果作為照明信息被提供給顏色調(diào)整單元18。判定和識別輸入圖像是在室外拍攝的，還是在室內(nèi)拍攝的，作為照明狀態(tài)。顏色調(diào)整單元18根據(jù)來自照明條件識別單元22的照明信息，按照灰度級轉(zhuǎn)換條件，把基色調(diào)整為肖像圖像用顏色，并把通過調(diào)整顏色調(diào)整設定而獲得的信息提供給圖畫生成單元19。換句話說，膚色調(diào)整單元18A根據(jù)照明信息，把皮膚基色調(diào)整為在將在肖像圖像中使用的膚色。按照相同的方式，發(fā)色調(diào)整單元18B根據(jù)照明信息，把頭發(fā)基色調(diào)整為將在肖像圖像中使用的發(fā)色。另外，示意圖像顏色調(diào)整單元18C根據(jù)各個器官基色和照明信息， 把對應示例圖像的顏色調(diào)整為肖像圖像用顏色。圖畫生成單元19用經(jīng)過利用照明信息，調(diào)整顏色調(diào)整設定的膚色填充面部輪廓區(qū)域和頭發(fā)區(qū)域的合并區(qū)域，然后用經(jīng)過利用照明信息調(diào)整顏色調(diào)整設定后的發(fā)色填充頭發(fā)區(qū)域，從而描畫基礎圖像。圖畫生成單元19還對經(jīng)過利用照明信息調(diào)整顏色調(diào)整設定后的示例圖像進行預定圖像處理，把這樣獲得的示例圖像描畫和布置在基礎圖像上，從而生成肖像圖像。如上所述構(gòu)成圖22的肖像圖像生成設備1。[肖像圖像生成處理的說明]
19
下面，將說明由圖22的肖像圖像生成設備1執(zhí)行的肖像圖像生成處理。此外，由圖22的肖像圖像生成設備1執(zhí)行的肖像圖像生成處理基本上與上面說明的圖3的肖像圖像生成處理相同，不過不同之處在于在皮膚基色提取色調(diào)整處理(步驟S14 的處理)，頭發(fā)基色提取色調(diào)整處理(步驟S15的處理)，和器官基色提取色調(diào)整處理(步驟S17的處理)中，利用照明信息調(diào)整顏色調(diào)整設定。于是，這里將參考圖23的流程圖，說明主要與圖3的步驟S14的處理對應的皮膚基色提取色調(diào)整處理。在步驟Slll和Sl 12，按照與圖4的步驟S31和S32中相同的方式，面部輪廓區(qū)域確定單元14確定面部輪廓區(qū)域，皮膚基色提取單元17A提取皮膚基色。在步驟S113，照明條件識別單元22對輸入圖像執(zhí)行識別照明狀態(tài)的預定圖像處理，獲得這樣得到的照明信息。照明信息被提供給膚色調(diào)整單元18A。在步驟S114，膚色調(diào)整單元18A根據(jù)獲得的照明信息，按照灰度級轉(zhuǎn)換條件，調(diào)整皮膚基色，把該顏色轉(zhuǎn)換成將在肖像圖像中使用的膚色。這里將參考圖24，詳細說明利用照明信息的顏色調(diào)整設定的調(diào)整。圖M表示用[Xlmin，XImax]指示的基色的顏色范圍被轉(zhuǎn)換成作為肖像圖像中的顏色范圍的[XCmin，XCmax]，不過如圖中用箭頭所示，按照從照明信息獲得的得分值調(diào)整 XImin 和 XImax 的值。更具體地說，作為利用照明信息調(diào)整顏色調(diào)整設定的方法的例子，下面說明利用室外信息的方法。這里，在輸入圖像的室內(nèi)/室外識別中，假定在
的范圍中獲得得分S。如果當室內(nèi)/室外識別得分S為0.0(最大室內(nèi)得分)時的基色的顏色范圍被設定為[xnmin，XIImax] (X是RGB任意之一)，當室內(nèi)/室外識別得分S為1. 0 (最大室外得分)時的基色的顏色范圍被設定為[XlOmin，XlOmax]，那么根據(jù)室內(nèi)/室外識別得分 S，依據(jù)下面的公式(4)可獲得基色的顏色范圍[Xlmain，XImax]。RImax = (RIOmax-RIImax) * S+RIImaxRImin = (RIOmin-RIImin) * S+RIIminGImax = (GIOmax-GIImax) * S+GIImaxGImin= (GIOmin-GIImin) * S+GIIminBImax = (BIOmax-BIImax) * S+BIImaxBImin = (BIOmin-BIImin) * S+BIImin. . . (4)通過利用如上所述獲得的[Xlmin，Xlmax]，獲得將在肖像圖像中使用的顏色[R， G，B]。圖25表示當利用室內(nèi)/室外識別得分，調(diào)整關(guān)于膚色的顏色調(diào)整設定時必需的具體值的例子。在室外情況下，設定為[RImin,RImax] = [155,195], [GImin, Gimax] = [118， 158]和[BImin, BImax] = [112，152]，另一方面，在室內(nèi)情況下，設定為[RImin, RImax]= [111,151], [GImin, Gimax] = [42，82]和[BImin, BImax] = [12，52]。在圖 25 的“平均顏色”的字段中表示了用這些RGB值表示的平均顏色，不過顯然與室外設定的平均顏色相比， 室內(nèi)設定的平均顏色總的來說較暗。因此，即使在上面說明的圖21A和21B的室內(nèi)和室外拍攝的圖像中，拍攝條件不同，也可提取相似的基色。
如上所述執(zhí)行利用照明信息的顏色調(diào)整設定的調(diào)整。換句話說，如果輸入圖像的顏色被原樣用于生成肖像圖像，那么，取決于拍攝條件 (例如，照明狀態(tài)等)，該顏色可能不自然。于是，在第三實施例中，為了避免肖像圖像中顏色不自然，預先確定將在肖像圖像中使用的顏色的范圍，并在該范圍內(nèi)確定按照輸入圖像的顏色信息和照明狀態(tài)要使用的顏色。因此，例如，能夠從輸入圖像的圖像識別中推測拍攝期間的照明狀態(tài)，比如昏暗的房間，閃光燈的使用等等，該信息能夠反映在顏色調(diào)整設定中。例如，如果存在在昏暗的地方拍攝的圖像，那么如果需要的話，可以使照明變亮，以反映皮膚的顏色，等等。上面說明了皮膚基色提取色調(diào)整處理，不過，按照如上所述的頭發(fā)基色提取色調(diào)整處理(步驟S15的處理)和器官基色提取色調(diào)整處理(步驟S17的處理)中相同的方式， 執(zhí)行利用照明信息的顏色調(diào)整設定的調(diào)整。由于在頭發(fā)基色提取色調(diào)整處理和器官基色提取色調(diào)整處理中進行的利用照明信息的顏色調(diào)整設定的調(diào)整，和上面說明的在皮膚基色提取色調(diào)整處理中進行的利用照明信息的顏色調(diào)整設定的調(diào)整相同，因此不再重復其說明。此外，按照和上述方法相同的方式，通過利用各種參數(shù)，比如透鏡孔徑的信息，或者拍攝期間附加閃光燈的拍攝，例如，Exif(可交換圖像文件格式)等等，可調(diào)整肖像圖像的顏色。此外，作為拍攝條件，除了如上所述的室內(nèi)/室外信息之外，可以使用關(guān)于天氣的信息，比如晴、陰、下雨等，和關(guān)于時間的信息，比如早晨、下午、夜晚(夜景)等。如上所述執(zhí)行圖22的肖像圖像生成設備1的肖像圖像生成處理。<4.第四實施例〉下面參考圖沈-31，說明本發(fā)明的第四實施例。[用戶調(diào)整顏色調(diào)整設定的方法]在上面說明的例子中，說明了自動識別諸如面部屬性、照明狀態(tài)之類的拍攝條件， 并利用得分進行顏色調(diào)整設定的方法。在顏色調(diào)整設定中使用的信息，比如諸如人物的性別、面部表情之類的面部屬性信息，或者諸如室內(nèi)或室外拍攝之類的照明信息可由用戶設定。換句話說，在這樣的例子下，例如，用戶可切換與面部屬性信息有關(guān)的面部屬性模式，和與照明信息有關(guān)的照明狀態(tài)模式。從而在下面，作為第四實施例，將說明按照用戶設定的模式執(zhí)行的調(diào)整顏色調(diào)整設定的方法。[肖像圖像生成設備的結(jié)構(gòu)例子]圖沈是表示應用本發(fā)明的肖像圖像生成設備的實施例的又一種結(jié)構(gòu)的示圖。與圖1的肖像圖像生成設備1相比，圖沈的肖像圖像生成設備1的不同之處在于具備模式設定單元23。在圖沈中，和圖1中的各個部分相同的部分被賦予相同的附圖標記，將適當?shù)厥÷躁P(guān)于相同處理的各個部分的說明。模式設定單元23按照用戶的操作，設定各種模式。和設定的模式有關(guān)的信息被提供給顏色調(diào)整單元18。這樣，關(guān)于諸如人物的性別、面部表情之類的面部屬性信息的面部屬性模式，或者關(guān)于諸如室內(nèi)或室外拍攝之類的照明信息的照明狀態(tài)模式被設定為模式。顏色調(diào)整單元18根據(jù)從模式設定單元23供給的模式信息，按照灰度級轉(zhuǎn)換條件， 把基色調(diào)整為肖像圖像用顏色，并把通過調(diào)整顏色調(diào)整設定而獲得的信息提供給圖畫生成單元19。
換句話說，膚色調(diào)整單元18A根據(jù)模式信息，把皮膚基色調(diào)整為將在肖像圖像中使用的膚色。按照相同的方式，發(fā)色調(diào)整單元18B根據(jù)模式信息，把頭發(fā)基色調(diào)整為將在肖像圖像中使用的發(fā)色。另外，示例圖像顏色調(diào)整單元18C根據(jù)各個器官基色和模式信息，把對應示例圖像的顏色調(diào)整為肖像圖像用顏色。圖畫生成單元19用經(jīng)過利用模式信息調(diào)整顏色調(diào)整設定后的膚色填充面部輪廓區(qū)域和頭發(fā)區(qū)域的合并區(qū)域，然后用經(jīng)過利用模式信息調(diào)整顏色調(diào)整設定后的發(fā)色填充頭發(fā)區(qū)域，從而描畫基礎圖像。之后，圖畫生成單元19還對經(jīng)過利用模式信息調(diào)整顏色調(diào)整設定后的示例圖像進行預定圖像處理，把這樣獲得的示例圖像描畫和布置在基礎圖像上， 從而生成肖像圖像。如上所述構(gòu)成圖沈的肖像圖像生成設備1。[肖像圖像生成處理的說明]下面將參考圖27的流程圖，說明由圖沈的肖像圖像生成設備1執(zhí)行的肖像圖像生成處理。在步驟S131A，和圖3的步驟Sll中一樣，目標圖像獲取單元11獲得包括面部圖像的輸入圖像，比如攝影圖像。在步驟S131B，模式設定單元23接收用戶的模式設定，并在步驟S131C中設定用戶指定的模式。例如，識別輸入圖像的用戶按照目標輸入圖像設定模式。之后，當在用戶設定的模式下指定肖像圖像的生成時，執(zhí)行步驟S132及其后的處理。在步驟S132-S139中，執(zhí)行與圖 3的步驟S12-S19相同的處理，不過不同之處在于在皮膚基色提取色調(diào)整處理(步驟S134 的處理)，頭發(fā)基色提取色調(diào)整處理(步驟S135的處理)，和器官基色提取色調(diào)整處理(步驟S137的處理)中，利用模式信息調(diào)整顏色調(diào)整設定。于是，這里將參考圖28的流程圖，主要說明與圖27的步驟S134的處理對應的皮膚基色提取色調(diào)整處理。在步驟S151和S152，按照與圖4的步驟S31和S32中相同的方式，面部輪廓區(qū)域確定單元14確定面部輪廓區(qū)域，皮膚基色提取單元17A提取皮膚基色。在步驟S153，膚色調(diào)整單元18A獲得與模式設定單元23設定的模式有關(guān)的信息。在步驟S154，膚色調(diào)整單元18A根據(jù)與用戶設定的模式有關(guān)的信息，按照灰度級轉(zhuǎn)換條件，調(diào)整皮膚基色，把該顏色轉(zhuǎn)換成將在肖像圖像中使用的顏色。這里將參考圖^A_30B，詳細說明利用模式信息的顏色調(diào)整設定的調(diào)整。圖29A和29B是說明當用戶把人物的性別設定為面部屬性模式時的顏色調(diào)整設定的調(diào)整的示圖。圖29A和29B表示用[XLnir^XImax]指示的基色的顏色范圍被轉(zhuǎn)換成作為肖像圖像中的顏色范圍的[XCmin，XCmax]，不過XCmin和XCmax的值是按照設定的模式調(diào)整的。換句話說，當模式在肖像圖像中的顏色范圍內(nèi)，但是選擇關(guān)于女性設定的模式時，與其中選擇圖29B的關(guān)于男性設定的模式的情況相比，如圖29A所示，最大灰度值和最小灰度值一起被增大。通過利用如上所述的和性別的模式有關(guān)的信息，當用戶選擇關(guān)于女性設定的模式時，肖像圖像的膚色可接近于白色，另一方面，當選擇關(guān)于男性設定的模式時，肖像圖像的膚色可接近于黑色。圖30A和30B是說明當用戶把諸如室內(nèi)或室外之類的拍攝地點設定為照明狀態(tài)時的顏色調(diào)整設定的調(diào)整的示圖。圖30A和30B表示用[XLnir^XImax]指示的基色的顏色范圍被轉(zhuǎn)換成作為肖像圖像中的顏色范圍的[XCmin，XCmax]，不過XImin和XImax的值是按照設定的模式調(diào)整的。換句話說，當選擇在從輸入圖像獲得的基色的顏色范圍內(nèi)，但是為室外拍攝設定的模式時，與其中選擇為室內(nèi)拍攝設定的模式的情況相比，最大灰度值和最小灰度值一起被增大。通過利用如上所述的和拍攝地點的模式有關(guān)的信息，即使在室內(nèi)和室外拍攝的圖像中拍攝條件不同，也能夠提取相似的基色。圖31是表示關(guān)于性別和拍攝地點的模式的顏色調(diào)整設定的具體值的例子的示圖。如圖31中所示，作為默認設定，R值從[RImin，RImax] = [90,170]被轉(zhuǎn)換成 [RCmin, RCmax] = [217，255]，G 值從[GLnin，GImax] = [60,140]被轉(zhuǎn)換成[GCmin，GCmax] =[191,231]，B 值從[BImin, BImax] = [40,120]被轉(zhuǎn)換成[BCmin, BCmax] = [172，212]。作為關(guān)于性別的模式，當選擇關(guān)于女性設定的模式時，R值從[RImin，RImax]= [90,170]被轉(zhuǎn)換成[RCmin, RCmax] = [227，255]，G 值從[GLnin，GImax] = [60,140]被轉(zhuǎn)換成[GCmin, GCmax] = [214,254], B 值從[BImin, BImax] = [40,120]被轉(zhuǎn)換成[BCmin, BCmax] = [205，245]。另一方面，作為關(guān)于性別的模式，當選擇關(guān)于男性設定的模式時，R值從[RImin， RImax] = [90,170]被轉(zhuǎn)換成[RCmin, RCmax] = [197，237]，G 值從[GLnin，GImax] = [60， 140]被轉(zhuǎn)換成[GCmin, GCmax] = [142，182]，B 值從[BImin, BImax] = [40,120]被轉(zhuǎn)換成 [BCmin, BCmax] = [101，141]。另外，作為關(guān)于拍攝地點的模式，當選擇關(guān)于室外拍攝設定的模式時，R值從 [RImin, RImax] = [155,195]被轉(zhuǎn)換成[RCmin，RCmax] = [217，255]，G值從[GLnin，GImax] =[118，158]被轉(zhuǎn)換成[GCmin, GCmax] = [191，231]，B 值從[BImin, BImax] = [112,152] 被轉(zhuǎn)換成[BCmin, BCmax] = [172，212]。另一方面，作為關(guān)于拍攝地點的模式，當選擇關(guān)于室內(nèi)拍攝設定的模式時，R值從 [RImin, RImax] = [111, 151]被轉(zhuǎn)換成[RCmin, RCmax] = [217，255]，G值從[GLnin，GImax] =[42，82]被轉(zhuǎn)換成[GCmin, GCmax] = [191,231], B 值從[BImin, BImax] = [12，52]被轉(zhuǎn)換成[BCmin, BCmax] = [172，212]。這樣，執(zhí)行利用模式信息的顏色調(diào)整設定的調(diào)整。換句話說，如果輸入圖像的顏色被原樣用于生成肖像圖像，取決于肖像圖像的氣氛(例如，性別、面部表情等)和拍攝條件(照明狀態(tài)等)，顏色可能不自然，從而要使用的顏色是不同的。于是，在第四實施例中，為了避免在肖像圖像中顏色不自然，預先確定將在肖像圖像中使用的顏色的范圍，并在該范圍內(nèi)確定按照用戶設定的模式和輸入圖像的顏色信息要使用的顏色。上面，說明了皮膚基色提取色調(diào)整處理，不過按照如上所述的頭發(fā)基色提取色調(diào)整處理(圖27的步驟S135的處理)和器官基色提取色調(diào)整處理(圖27的步驟S137的處理)中相同的方式，執(zhí)行利用模式信息的顏色調(diào)整設定的調(diào)整。由于在頭發(fā)基色提取色調(diào)
23整處理和器官基色提取色調(diào)整處理中進行的利用模式信息的顏色調(diào)整設定的調(diào)整，和上面說明的在皮膚基色提取色調(diào)整處理中進行的利用模式信息的顏色調(diào)整設定的調(diào)整相同，因此不再重復其說明。另外，按照和上述方法相同的方式，用戶可設定和諸如笑臉之類的面部表情屬性， 諸如晴、陰之類的天氣屬性，或者諸如夜景之類的時間屬性有關(guān)的模式，對于一種屬性可以準備多種顏色調(diào)整設定。例如，可以準備關(guān)于人物的性別的屬性的多種顏色調(diào)整設定，以便相互切換。如上所述執(zhí)行圖沈的肖像圖像生成設備1的肖像圖像生成處理。<5.變形例 >借助本發(fā)明的第二到第四實施例的結(jié)合，面部屬性信息和照明信息兩者可被用于進行顏色調(diào)整設定的調(diào)整，此外，該信息可被用戶選擇作為模式。另外，在上面的說明中，說明了對面部輪廓區(qū)域，頭發(fā)區(qū)域和每個器官區(qū)域都調(diào)整顏色調(diào)整設定的例子，不過可以只對一部分的區(qū)域調(diào)整顏色調(diào)整設定，例如，只對面部輪廓區(qū)域中的皮膚基色調(diào)整顏色調(diào)整設定。此外，存在確定這些面部輪廓區(qū)域，頭發(fā)區(qū)域或器官區(qū)域的方法，不過，所述方法并不局限于此，可以使用現(xiàn)有方法。另外，在本實施例中，肖像圖像的皮膚、頭發(fā)等的顏色可以是多種顏色，而不是單一顏色，可對其應用濃淡度。對用于設定濃淡度的參數(shù)的調(diào)整來說，可以使用上述面部屬性，拍攝條件等。此外，可按照肖像圖像的預定主題執(zhí)行顏色調(diào)整設定的調(diào)整。例如，肖像圖像的主題是抽象圖標的主題，戲劇的主題，等等，要在肖像圖像中使用的顏色的顏色范圍被假定為通過組合肖像的主題和將使用的每個器官來確定。另外，在上面的說明中，說明了從與器官對應信息對應的示例圖像和模型圖像中選擇肖像圖像的每個器官的例子，不過并不局限于該方法，可用其它方法選擇和描畫每個器官的圖像。此外，眼鏡的存在可被面部屬性識別單元21確定為面部屬性。從而，當面部屬性識別單元21確定有眼鏡時，圖畫生成單元19根據(jù)錨點定義信息，把眼鏡的鏡框部分的圖像畫在基礎圖像上的預定位置。此外，在上面的實施例中，肖像圖像生成設備1和顯示設備2被描述成獨立設備， 不過顯然可在肖像圖像生成設備1中設置作為與顯示設備2對應的處理單元的顯示單元。 在這種情況下，圖畫生成單元19使顯示單元的屏幕顯示生成的肖像圖像。此外，圖畫生成單元19生成的肖像圖像不僅可被顯示在顯示設備2的屏幕上，而且可按照預定壓縮格式，比如JPEG (聯(lián)合圖像專家組)壓縮，并作為文件保存在預定記錄介質(zhì)中。<6.預處理設備的結(jié)構(gòu)例子>[預處理設備的結(jié)構(gòu)例子]下面，作為圖1的肖像圖像生成設備1執(zhí)行肖像圖像生成處理所必需的前處理，將提供關(guān)于生成K類別分類器32的學習處理，生成模型圖像的生成處理，設定諸如器官對應信息，錨點定義信息之類的各種信息的設定處理的說明。這樣的預處理由預處理設備執(zhí)行。圖32是表示預處理設備的結(jié)構(gòu)例子的示圖。如圖32中所示，預處理設備101由執(zhí)行學習處理的學習系統(tǒng)111，執(zhí)行生成處理的生成系統(tǒng)112，執(zhí)行設定處理的設定系統(tǒng)113組成。
學習系統(tǒng)111包括學習樣本獲取單元121，圖像預處理單元122，學習單元123，和 K類別分類器32。生成系統(tǒng)112包括生成用圖像獲取單元124，圖像預處理單元125，K類別分類器32，生成單元1 和數(shù)據(jù)庫35。設定系統(tǒng)113包括示例圖像獲取單元127，設定單元128和數(shù)據(jù)庫35。此外，在圖32中，與圖1的部分對應的部分被賦予相同的附圖標記，并適當省略其說明。換句話說，圖32圖解說明了與圖1中相同的K類別分類器32和數(shù)據(jù)庫35。不過，在預處理設備101中，形成構(gòu)成肖像圖像生成設備1的K類別分類器32，此外執(zhí)行設定和把各種信息記錄在數(shù)據(jù)庫35中的處理。首先說明學習系統(tǒng)111。學習樣本獲取單元121獲得關(guān)于K個樣本人物(K = 1，2，. . .，K)準備的面部圖像 (下面稱為樣本圖像)，并把所述圖像提供給圖像預處理單元122。圖像預處理單元122從供給自學習樣本獲取單元121的樣本圖像中檢測面部區(qū)域，并按照預定圖像大小執(zhí)行縮放處理。在縮放處理中，面部區(qū)域被縮放到與在上面說明的器官區(qū)域定義信息(圖13)中定義的圖像大小相一致的大小。隨后，圖像預處理單元122 按照器官區(qū)域定義信息，從經(jīng)過縮放的面部區(qū)域中裁切器官區(qū)域，并把該器官區(qū)域提供給學習單元123。學習單元123獲得從圖像預處理單元122供給的器官區(qū)域中的器官圖像的圖像特征量，利用AdaBoost ECOC(糾錯輸出編碼)學習多個弱分類器，并生成由所述多個弱分類器構(gòu)成的K類別分類器32。下面說明生成系統(tǒng)112。生成用圖像獲取單元IM獲得隨機提取的用于生成模型圖像的多個面部圖像(下面稱為生成用圖像)，并把所述圖像提供給圖像預處理單元125。按照和圖像預處理單元122中縮放樣本圖像的處理相似的方式，圖像預處理單元 125通過調(diào)整來自生成用圖像獲取單元124的生成用圖像的大小，裁切器官區(qū)域，并把裁切的區(qū)域提供給K類別分類器32。K類別分類器32獲得與從圖像預處理單元125供給的器官區(qū)域中的器官圖像對應的κ維得分向量，并把K維得分向量提供給生成單元126。生成單元1 根據(jù)從K類別分類器32供給的K維得分向量，把器官圖像分成N (N =1,2, ...,N)種原型，并通過獲得屬于每種原型的器官圖像組的平均圖像，生成模型圖像。模型圖像被記錄在數(shù)據(jù)庫35中。下面說明設定系統(tǒng)113。示例圖像獲取單元127獲得每個器官的示例圖像，并把示例圖像提供給設定單元 128。設定單元1 通過對應從示例圖像獲取單元127供給的示例圖像和記錄在數(shù)據(jù)庫 35中的模型圖像，設定器官對應信息，并把器官對應信息記錄在數(shù)據(jù)庫中。另外，設定單元 128設定錨點定義信息，并把錨點定義信息記錄在數(shù)據(jù)庫35中。這樣，構(gòu)成預處理設備101。[預處理的說明]下面參考圖33的流程圖，說明由圖32的預處理設備101執(zhí)行的預處理。
在步驟S251，預處理設備101的學習系統(tǒng)111通過執(zhí)行學習處理，生成K類別分類 32 ο在步驟S252，預處理設備101的生成系統(tǒng)112通過執(zhí)行生成處理，生成模型圖像， 并把模型圖像記錄在數(shù)據(jù)庫35中。在步驟S253，預處理設備101的設定系統(tǒng)113通過執(zhí)行設定處理，分別設定器官對應信息和錨點定義信息，并把所述信息記錄在數(shù)據(jù)庫35中。下面將詳細說明上面提及的圖33的從步驟S251到S253的處理。學習處理的細節(jié)圖34是詳細說明學習處理的流程圖。在步驟S271，學習樣本獲取單元121獲得關(guān)于K個樣本人物準備的樣本圖像。在步驟S272，圖像預處理單元122從學習樣本獲取單元121獲得的樣本圖像中檢測面部區(qū)域，隨后根據(jù)器官區(qū)域定義信息，把檢測到的面部區(qū)域縮放到預定圖像大小(步驟S273的處理)，并從經(jīng)過縮放的面部區(qū)域中裁切器官區(qū)域(步驟S274的處理)。在縮放處理中，按照在上面說明的圖13的器官區(qū)域定義信息中定義的圖像大小， 面部區(qū)域被縮放到64X64像素的大小，并裁切例如眼部區(qū)域(點(10,23)-點(55,30)) 0隨后，在學習單元123中，在步驟S275獲得器官圖像的圖像特征量，隨后在步驟 S276中，通過用AdaBoost ECOC學習多個弱分類器，生成K類別分類器32。此外，在判定每個類別是否屬于其的多個弱分類器中，樣本圖像(器官圖像)的圖像特征量被用作分類標準。作為圖像特征量，例如可以使用本發(fā)明人已提出的像素差分特征(PixDif特征)。在 Sabe禾口Hidai 的"Learning of Real-Time Arbitrary Posture Face Detector using Pixel Difference Feature",Proc. of 10th Image Sensing Symposium,第547-552 頁，2004，和未經(jīng)審查的日本專利申請公報No. 2005-157679中公開了像素差分特征。圖35是詳細圖解說明由學習單元123生成的K類別分類器32的示圖。如圖35中所示，關(guān)于K個樣本人物，包括“A先生”、“B先生”、“C先生”、...等，獲得多個樣本圖像，之后縮放樣本圖像的面部區(qū)域，從縮放后的面部區(qū)域中裁切每個器官區(qū)域，如在圖34的步驟S271到S274的處理中所述。在學習單元123中，利用像素差分特征，計算如上獲得的K個樣本人物的面部圖像的每個器官圖像的圖像特征量，利用圖像特征量，用AdaBoost ECOC學習多個弱分類器，生成K類別分類器32作為多類別分類器。在如上生成的K類別分類器32中，計算指示輸入的面部圖像與K個樣本人物有多相似的得分。此外，當分值越大時，認為相似性越高。因此，如上所述，K類別分類器32輸出K維得分向量，作為K維得分。這樣，對于每個器官獲得K維得分空間，例如，如果輸入的器官圖像屬于同一人， 那么認為K維得分空間中的距離較近。從而，當輸入的面部圖像屬于未知人物“X先生”時， 可用數(shù)字量化“X先生”的每個器官，所述數(shù)字指示各個器官與包括“A先生”、“B先生”、“C 先生”、...等的樣本人物的每個器官有多相似。因此，能夠依據(jù)每個器官在K維得分空間中的距離，確定每個器官的相似性。更具體地說，執(zhí)行圖36中所示的處理。換句話說，通過計算面部圖像(面部圖像A)上的兩個像素的像素值(亮度值^和I2之間的差值(I1-I2),獲得像素差分特征(PixDif 特征)。在與兩個像素的組合體對應的二值弱分類器h(x)中，如下面的公式( 中所示，根據(jù)像素差分特征(I1-I2)和閾值Th，判定真(+1)或假H)。h(x) = -1 如果 I1-I2 ( Thh(x) = +1 如果 I1-I2 > Th. · · (5)當比較用公式(5)獲得的h(x)和在關(guān)于每個類別定義的ECOC比特(第一行和第 K列的ECOC表)中評分的第K列中的值(+1或-1)，并且當判定結(jié)果與所述ECOC比特相符時，該類別的得分被增加可靠度α，相反，當判定結(jié)果與所述ECOC比特不符時，所述得分被減少可靠度α。通過按圖像特征量的數(shù)目重復該處理，能夠計算H(I)、！Κ2)、H(3)、H(4)、H(5)作為K維得分向量(K類別的得分)。返回圖34，在步驟S277，學習單元123確定對所有器官來說，K類別分類器32的生成是否都結(jié)束。當在步驟S277，確定對所有器官來說，K類別分類器32的生成還未結(jié)束，那么處理返回步驟S274，重復上面說明的生成處理(從步驟S274到S277的處理)。換句話說，當重復生成處理時，按照圖13的器官區(qū)域定義信息，從經(jīng)過縮放后的面部區(qū)域提取各個器官區(qū)域，包括眼部區(qū)域、眉部區(qū)域、鼻部區(qū)域、嘴部區(qū)域和額部區(qū)域，隨后，為這些器官區(qū)域單獨生成每個K類別分類器32。從而，為由圖13的器官區(qū)域定義信息定義的每個器官區(qū)域，獲得K類別分類器32， 隨后結(jié)束學習處理。借助如上所述生成的每個器官的K類別分類器32，能夠利用K維得分向量表示輸入的面部圖像(器官圖像)的圖像特征量。換句話說，例如，如果樣本人物被設定為“Α先生”、“B先生”、“C先生”、...等，那么可用數(shù)字量化作為未知人物的“X先生”的每個器官， 所述數(shù)字指示該器官與包括“Α先生”、“B先生”、“C先生”、...等的樣本人物的每個器官有多相似。[生成處理的細節(jié)]圖37是詳細說明生成處理的流程圖。在步驟S291_S^4中，按照與圖34的步驟S271-S274相同的方式，圖像預處理單元125從由生成用圖像獲取單元IM獲得的生成用圖像中檢測面部區(qū)域，從經(jīng)過縮放的面部區(qū)域中裁切器官區(qū)域。此外，作為生成用圖像，例如使用包括隨機提取的10000張面部圖像的圖像。如上所述獲得的器官圖像被輸入每個器官的K類別分類器32中。在K類別分類器 32，在步驟S295，依據(jù)閾值對輸入的器官圖像的像素差分特征分類，通過比較該像素差分特征和關(guān)于每種類別定義的ECOC比特，獲得K維得分向量。在步驟S296，生成單元1 在K維得分空間中，利用例如k均值算法，對K類別分類器32計算的、與器官圖像對應的一組K維得分向量進行聚類，把該組K維得分向量劃分成N個子集。從而，由于器官圖像被劃分成N個原型，因此，生成單元1 通過獲得每個劃分的原型所屬于的器官圖像組的平均圖像，生成模型圖像，并把模型圖像記錄在數(shù)據(jù)庫35 中。
27
圖38是表示眼睛的模型圖像的例子的示圖。如圖38中所示，作為眼睛的聚類，當眼部圖像被劃分成M個原型時，具有每個原型所屬于的器官圖像組的平均值的圖像成為眼睛的模型圖像。特別地，在圖38的例子中， 對于每個原型的每個模型圖像，顯然只有眼睛的形狀是不同的。返回圖37的流程圖，在步驟S297，生成單元1 確定對所有器官來說，模型圖像的生成是否已結(jié)束。當在步驟S297中確定對所有器官來說，模型圖像的生成已結(jié)束，那么處理返回步驟S^4，重復上面說明的生成處理(步驟S294_S^7的處理)。換句話說，通過重復生成處理，按照圖13的器官區(qū)域定義信息，從經(jīng)過縮放的面部區(qū)域中提取除上述眼部區(qū)域外的每個器官區(qū)域，包括眉部區(qū)域、鼻部區(qū)域、嘴部區(qū)域和額部區(qū)域，為每個器官區(qū)域單獨生成N個模型圖像，并記錄在數(shù)據(jù)庫35中。隨后，獲得由圖13的器官區(qū)域定義信息定義的每個器官區(qū)域的N個模型圖像(不必使每個器官區(qū)域的模型圖像的數(shù)目相同)，從而結(jié)束生成處理。[設定處理]圖39是詳細說明設定處理的流程圖。在步驟S301，示例圖像獲取單元127獲得每個器官的示例圖像。例如，當設定眼睛的示例圖像時，如在圖40的(a)到(1)中所示，在構(gòu)成肖像圖像的器官之中，準備具有各種形狀的眼睛的示例圖像，作為示例圖像。在步驟S302，設定單元1觀獲得記錄在數(shù)據(jù)庫35中的模型圖像。模型圖像由生成系統(tǒng)112生成，并記錄在數(shù)據(jù)庫35中(圖37的生成處理)，例如，當設定眼睛的示例圖像時，在關(guān)于每個器官區(qū)域生成的、并記錄在數(shù)據(jù)庫35中的模型圖像之中，獲得圖38中的眼睛的模型圖像。在步驟S303，設定單元1 通過使獲得的示例圖像對應于模型圖像，設定器官對應信息，以記錄在數(shù)據(jù)庫35中。對應方法有兩種第一種是執(zhí)行使某一模型圖像與一組候選示例圖像中相似性最高的示例圖像配對的圖像處理的對應方法，第二種是在視覺識別模型圖像，并從一組候選示例圖像中選擇被認為與模型圖像相似的示例圖像之后，用戶指示對應的方法。如果用這兩種方法任意之一實現(xiàn)對應時，例如，示例圖像(圖40)與模型圖像(圖 38)相互對應，如圖41所示。在圖41的例子中，與眼睛的外觀相一致的6X4示例圖像中的每一個與6X4模型圖像中的每一個對應。因此，可不根據(jù)器官的幾何尺寸或比例，而是根據(jù)器官圖像和模型圖像的外觀的模式，計算相似性，從而能夠定義進一步與人物的主觀印象相符的相似性。此外，當用戶進行視覺對應時，設定單元1 可有意對應在嘴方面有特色的模型圖像和具有特征嘴的示例圖像，如圖42A中所示。另外，根據(jù)用戶的指令，設定單元1 可有意對應在眼睛方面有特色的模型圖像和具有特征眼的示例圖像，如圖42B中所示。這樣，當設定器官對應信息時，通過向模型圖像分配面部表情比真實外貌更夸張的示例圖像，在生成肖像圖像期間，能夠生成具有與人物的主觀印象相符的面部特征的肖像圖像(其中面部的特征被進一步強調(diào)的肖像圖像)。返回圖39的流程圖，在步驟S304，設定單元1 根據(jù)用戶的指令，設定每個示例圖像的錨點定義信息，并把錨點定義信息記錄在數(shù)據(jù)庫35中。如前參考圖15A和15B關(guān)于錨點定義信息所述，通過更向內(nèi)地設定每個錨點Pai和 Pa2的位置，和使錨點Pai和Pa2之間的距離小于器官點Ppi和Pp2之間的距離，當把這兩個點布置在對應的器官點Ppi和Pp2時，由于圖像，例如眼睛的示例圖像是在放大之后描畫的，因此即使在相同的示例圖像中，眼睛也能夠表現(xiàn)得更大。另一方面，如果更向外地設定錨點 Pai和Pa2的位置，由于錨點Pai和Pa2之間的距離大于器官點Ppi和Pp2之間的距離，并且圖像，例如眼睛的示例圖像是在縮小之后描畫的，因此即使在相同的示例圖像中，眼睛也能夠表現(xiàn)得更小。這樣，由于僅僅通過改變錨點的位置，就能夠在相同的示例圖像中，以各種顯示形式表現(xiàn)器官，因此能夠減少準備的示例圖像的數(shù)目，能夠提供具有每個器官的特征的修改器官圖像。此外，錨點的數(shù)目并不局限于兩個，相反可被設定成與對應器官點的數(shù)目一致的數(shù)目。在步驟S305，設定單元1 確定對于所有器官，是否都完成了器官對應信息和錨點定義信息的設定。當在步驟S305，確定不是所有器官的器官對應信息和錨點定義信息的設定都已完成時，處理返回步驟S301，重復上面說明的設定處理(步驟S301到S305的處理)。換句話說，通過設定處理的重復，使示例圖像與關(guān)于每個器官區(qū)域生成的模型圖像單獨配對，并且獨立設定示例圖像的錨點。在設定處理中設定的對應信息作為器官對應信息被記錄在數(shù)據(jù)庫35中。然后，設定所有器官的器官對應信息和錨點定義信息，從而結(jié)束設定處理。如上所述，預處理設備101生成每個器官的K類別分類器32，此外，預先設定和在數(shù)據(jù)庫35中記錄器官對應信息和錨點定義信息，從而，利用K類別分類器32和數(shù)據(jù)庫35 的肖像圖像生成設備1能夠在無用戶操作的情況下，用包含面部圖像的輸入圖像生成肖像圖像。[分類的其它例子]到目前為止，僅僅根據(jù)器官對應信息，使模型圖像對應于示例圖像，不過，樣本人物的屬性信息可作為類別標簽被分配給樣本圖像，并且可在K類別分類器32中單獨學習。 就樣本人物的屬性信息來說，相同的樣本人物被認為屬于相同的屬性，比如種族、年齡、性別、有無眼鏡等等。通過使用其中學習每種屬性信息作為類別標簽的K類別分類器32，與其中簡單地獲得器官圖像和模型圖像之間的相似性的情況相比，能夠更詳細地描繪器官圖像和模型圖像。于是，由于能夠更準確地獲得器官圖像和模型圖像之間的相似性，從而能夠選擇適當?shù)氖纠龍D像。此外，在本實施例中，圖1的肖像圖像生成設備1被描述成與圖32的預處理設備 101分離的設備，不過，肖像圖像生成設備1和預處理設備101可被看作一臺設備，由作為與圖1的肖像圖像生成設備1對應的一個處理單元的肖像圖像生成單元，和作為與圖32的預處理設備101對應的一個處理單元的預處理單元構(gòu)成。這種情況下，共同構(gòu)成這些設備的 K類別分類器32和數(shù)據(jù)庫35由預處理單元生成(設定)，并用在肖像圖像生成單元的肖像圖像生成處理中。[和本發(fā)明一起應用的計算機的說明]順便提及，上述一系列處理可以用硬件和用軟件執(zhí)行。當用軟件執(zhí)行所述一系列處理時，構(gòu)成所述軟件的程序從程序記錄介質(zhì)被安裝到結(jié)合在專用硬件中的計算機中，或者被安裝到通過安裝各種程序，能夠執(zhí)行各種功能的通用個人計算機中。圖43是表示其中用程序執(zhí)行上述一系列處理的個人計算機的例證結(jié)構(gòu)的示圖。 CPU(中央處理器)211按照記錄在R0M(只讀存儲器)212或存儲單元218中的程序，執(zhí)行各種處理。RAM(隨機存取存儲器)213恰當?shù)乇４嬗蒀PU 211執(zhí)行的程序，數(shù)據(jù)等等。CPU 211、ROM 212和RAM 213通過總線224相互連接。CPU 211還經(jīng)總線214與輸入/輸出接口 215連接。輸入/輸出接口 215連接到包括麥克風等的輸入單元216，和包括顯示器、揚聲器等的輸出單元217。CPU 211響應從輸入單元216輸入的命令，執(zhí)行各種處理。另外，CPU 211把處理結(jié)果輸出給輸出單元217。與輸入/輸出接口 215連接的存儲單元218由例如硬盤實現(xiàn)，保存各種數(shù)據(jù)和由 CPU 211執(zhí)行的程序。通信單元219經(jīng)諸如因特網(wǎng)或局域網(wǎng)之類的網(wǎng)絡與外部設備通信。此外，程序可借助通信單元219獲得，并被保存在存儲單元218中。與輸入/輸出接口 215連接的驅(qū)動器220驅(qū)動安裝的諸如磁盤、光盤、磁光盤或半導體存儲器之類的可拆卸介質(zhì)221，獲得記錄在可拆卸介質(zhì)221上的程序或數(shù)據(jù)。必要時， 獲得的程序或數(shù)據(jù)被傳給并保存在存儲單元218中。如圖43中所示，保存安裝在計算機中，并將由計算機啟動的程序的程序記錄介質(zhì)包括可拆卸介質(zhì)221，所述可拆卸介質(zhì)221是套裝介質(zhì)，比如磁盤(包括軟盤)，光盤(包括 ⑶-ROM (壓縮磁盤只讀存儲器)和DVD (數(shù)字通用磁盤))，磁光盤，半導體存儲器等等，臨時或永久保存程序的ROM 212，或者構(gòu)成存儲單元218的硬盤。必要時，通過通信單元219 (它是諸如路由器或調(diào)制解調(diào)器之類的接口)，利用有線或無線通信介質(zhì)，比如局域網(wǎng)、因特網(wǎng)或數(shù)字衛(wèi)星廣播，可把程序保存在這樣的程序記錄介質(zhì)中。此外，在本說明書中，執(zhí)行保存在記錄介質(zhì)中的程序的步驟可包括以和說明的順序相應的時序執(zhí)行的處理，并且必須按時序被處理，不過也可包括單獨或者并行執(zhí)行的處理。本申請包含于在2010年4月9日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2010-090716中公開的主題相關(guān)的主題。本領(lǐng)域的技術(shù)人員應明白，根據(jù)設計要求和其它因素，可產(chǎn)生各種修改、組合、子組合和變更，只要它們在附加權(quán)利要求或其等同物的范圍之內(nèi)。
權(quán)利要求
1.一種信息處理設備，包括面部檢測單元，從目標圖像中檢測面部區(qū)域； 特征點檢測單元，檢測所檢測到的面部區(qū)域的特征點；確定單元，根據(jù)所檢測到的特征點來確定關(guān)注區(qū)域，所述關(guān)注區(qū)域是面部區(qū)域中被關(guān)注的區(qū)域；基色提取單元，提取基色，所述基色是在所確定的關(guān)心區(qū)域中從目標圖像獲得的顏色設定；調(diào)整單元，把所提取的基色調(diào)整為從作為基礎的目標圖像生成的修改圖像用的顏色設定；以及生成單元，通過利用所述修改圖像的顏色設定來描畫關(guān)注區(qū)域，從目標圖像生成所述修改圖像。
2.按照權(quán)利要求1所述的信息處理設備，其中所述關(guān)注區(qū)域由面部輪廓區(qū)域、頭發(fā)區(qū)域和包括預定器官的器官區(qū)域構(gòu)成， 其中所述基色提取單元提取所述面部輪廓區(qū)域、頭發(fā)區(qū)域和器官區(qū)域中的基色， 其中所述調(diào)整單元按照預定的灰度級轉(zhuǎn)換條件，把所提取的基色的每個灰度級調(diào)整為所述修改圖像用的顏色設定中的灰度級，以及其中所述生成單元依據(jù)所述修改圖像用的顏色設定中的每個灰度級，描畫所述面部輪廓區(qū)域、頭發(fā)區(qū)域和器官區(qū)域。
3.按照權(quán)利要求2所述的信息處理設備，其中所述調(diào)整單元根據(jù)作為從所述面部區(qū)域獲得的屬性的面部屬性信息，按照所述灰度級轉(zhuǎn)換條件，把所提取的基色的每個灰度級調(diào)整為所述修改圖像用的顏色設定中的灰度級，其中所述灰度級轉(zhuǎn)換條件基于根據(jù)作為從所述面部區(qū)域獲得的屬性的面部屬性信息。
4.按照權(quán)利要求2所述的信息處理設備，其中所述調(diào)整單元根據(jù)與從所述目標圖像或者附加到所述目標圖像中的信息中獲得的照明狀態(tài)有關(guān)的照明信息，按照所述灰度級轉(zhuǎn)換條件，把所提取的基色的每個灰度級調(diào)整為所述修改圖像用的顏色設定中的灰度級，其中所述灰度級轉(zhuǎn)換條件基于根據(jù)與從所述目標圖像或者附加到所述目標圖像中的信息中獲得的照明狀態(tài)有關(guān)的照明信息。
5.按照權(quán)利要求2所述的信息處理設備，其中所述調(diào)整單元根據(jù)用戶設定的面部屬性信息或者關(guān)于照明狀態(tài)的照明信息，按照所述灰度級轉(zhuǎn)換條件，把所提取的基色的每個灰度級調(diào)整為所述修改圖像用的顏色設定中的灰度級，所述面部屬性信息是關(guān)于面部的屬性的信息，其中所述灰度級轉(zhuǎn)換條件基于根據(jù)用戶設定的面部屬性信息或者關(guān)于照明狀態(tài)的照明信息。
6.按照權(quán)利要求2所述的信息處理設備，還包括判定單元，從與通過修改器官而表現(xiàn)的修改器官圖像對應的模型圖像中，判定與器官區(qū)域中的器官圖像相似的模型圖像；和選擇單元，按照所述判定結(jié)果，選擇與所述模型圖像對應的修改器官圖像， 其中所述調(diào)整單元把所選擇的修改器官圖像的顏色設定的灰度級調(diào)整為所述修改圖像用的顏色設定中的灰度級，以及其中所述生成單元描畫灰度級被調(diào)整了的修改器官圖像。
7.按照權(quán)利要求6所述的信息處理設備， 其中所述目標圖像是拍攝的圖像，其中所述修改圖像是通過用圖畫表現(xiàn)檢測到的面部區(qū)域中的面部圖像而獲得的肖像圖像，以及其中所述修改器官圖像是用圖畫表現(xiàn)器官而獲得的示例圖像。
8.按照權(quán)利要求1所述的信息處理設備，還包括顯示所生成的修改圖像的顯示單元。
9.一種信息處理方法，包括由信息處理設備執(zhí)行的下述步驟 從目標圖像中檢測面部區(qū)域；檢測所檢測到的面部區(qū)域的特征點；根據(jù)所檢測到的特征點確定關(guān)注區(qū)域，所述關(guān)注區(qū)域是面部區(qū)域中被關(guān)注的區(qū)域； 提取基色，所述基色是在所確定的關(guān)心區(qū)域中從所述目標圖像獲得的顏色設定； 把所提取的基色調(diào)整為從作為基礎的所述目標圖像生成的修改圖像用的顏色設定；以及通過利用所述修改圖像用的顏色設定描畫所述關(guān)注區(qū)域，從所述目標圖像生成所述修改圖像。
10.一種程序，所述程序使計算機充當從目標圖像中檢測面部區(qū)域的面部檢測單元； 檢測所檢測的面部區(qū)域的特征點的特征點檢測單元；根據(jù)檢測的特征點，確定關(guān)注區(qū)域的確定單元，所述關(guān)注區(qū)域是面部區(qū)域中被關(guān)注的區(qū)域；提取基色的基色提取單元，所述基色是在確定的關(guān)心區(qū)域中，從目標圖像獲得的顏色設定；把提取的基色調(diào)整為由作為基礎的目標圖像生成的修改圖像的顏色設定的調(diào)整單元；和通過利用修改圖像的顏色設定，描畫關(guān)注區(qū)域，從目標圖像生成修改圖像的生成單元。
全文摘要
本發(fā)明公開了信息處理設備、方法和程序。信息處理設備包括從目標圖像中檢測面部區(qū)域的面部檢測單元，檢測所檢測的面部區(qū)域的特征點的特征點檢測單元，根據(jù)檢測的特征點，確定關(guān)注區(qū)域的確定單元，所述關(guān)注區(qū)域是面部區(qū)域中被關(guān)注的區(qū)域，提取基色的基色提取單元，所述基色是在確定的關(guān)心區(qū)域中，從目標圖像獲得的顏色設定，把提取的基色調(diào)整為由作為基礎的目標圖像生成的修改圖像的顏色設定的調(diào)整單元，和通過利用修改圖像的顏色設定，描畫關(guān)注區(qū)域，從目標圖像生成修改圖像的生成單元。
文檔編號G06T11/00GK102214361SQ201110082090
公開日2011年10月12日 申請日期2011年4月1日 優(yōu)先權(quán)日2010年4月9日
發(fā)明者佐部浩太郎, 大橋武史 申請人:索尼公司