專利名稱：圖像處理設(shè)備及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及臉部圖像區(qū)域的圖像處理。
背景技術(shù)：
用于改善肖像圖像質(zhì)量的技術(shù)正引起越來越多的關(guān)注。例
如，可使用的寺支術(shù)包括在日本特開2002-247596中公開的紅 眼校正技術(shù)，以及在日本特開平11-250227中公開的校正肖4象 以使皮膚看起來光滑的技術(shù)等。
為了改善肖像的印象，不僅眼部和皮膚的圖像質(zhì)量改善而 且嘴部的圖像質(zhì)量改善都具有很大的影響。例如，將泛黃的或 染色的牙齒校正為白色，以使這些牙齒看起來干凈健康，從而 改善整個(gè)肖像的印象。日本特開2006-059162^^開了如下發(fā)明 從臉部圖像區(qū)域(下文中稱為臉部圖像)檢測(cè)牙齒圖像區(qū)域(下 文中稱為牙齒圖像)，并根據(jù)預(yù)定目標(biāo)值將所檢測(cè)到的牙齒圖 像校正為白色。
然而，人們對(duì)臉部圖像的圖像質(zhì)量的感覺是很敏感的。給 定器官和其他器官的顏色之間需要平衡，如果給定器官的顏色
與其他器官的顏色相差很大，則人們會(huì)感到不自然。例如，當(dāng) 牙齒圖像經(jīng)過白色校正時(shí)，如果該牙齒圖像的色度水平 (chroma level)相對(duì)于該牙齒圖像周圍的色度水平太低，則 在臉部圖像中只有牙齒突出，導(dǎo)致不自然的臉部圖像。
特別地，整體上具有高色度水平的臉部圖像的牙齒周圍的 顏色的色度水平高。如果以與整體上具有低色度水平的臉部圖 像相同的方式對(duì)這樣的牙齒圖像進(jìn)行白色校正，則形成牙齒非 常突出的臉部圖像。換而言之，必須考慮整個(gè)臉部圖像的色度水平，來確定校正牙齒圖像所需的目標(biāo)值。

發(fā)明內(nèi)容
在一個(gè)方面中， 一種圖像處理設(shè)備，包括第一檢測(cè)器， 用于從圖像檢測(cè)與牙齒相對(duì)應(yīng)的第一圖像區(qū)域；第二檢測(cè)器， 用于從所述圖 <象檢測(cè)與所述牙齒以外的臉部部位相對(duì)應(yīng)的第 二圖像區(qū)域；以及校正器，用于基于所述第一圖像區(qū)域的顏色 的特征量和所述第二圖像區(qū)域的顏色的特征量，來校正所述第 一圖像區(qū)域的顏色。
在另一方面中， 一種圖像處理方法，包括從圖像檢測(cè)與 牙齒相對(duì)應(yīng)的第 一 圖像區(qū)域；從所述圖像檢測(cè)與所述牙齒以外 的臉部部位相對(duì)應(yīng)的第二圖像區(qū)域；以及基于所述第 一 圖像區(qū) 域的顏色的特征量和所述第二圖像區(qū)域的顏色的特征量，來校 正所述第一圖像區(qū)域的顏色。
根據(jù)這些方面，可以校正牙齒圖像區(qū)域的顏色，而不會(huì)形 成不自然的臉部圖像。
通過下面參考附圖對(duì)示例性實(shí)施例的說明，本發(fā)明的其他 特征將變得顯而易見。


圖l是示出圖像處理設(shè)備的布置的框圖； 圖2是用于說明圖像處理的流程圖； 圖3是用于說明牙齒圖像的檢測(cè)的流程圖； 圖4示出臉部圖像的例子；
圖5是用于說明接觸嘴部圖像的邊緣的線段的圖； 圖6示出嘴部的候選矩形和外接矩形之間的關(guān)系； 圖7是用于說明嘴唇圖像的檢測(cè)的圖8示出嘴唇圖像的直方圖的例子；
圖9是用于說明牙齒圖像的平均色度值的計(jì)算方法的流程
圖IO示出嘴部的外接矩形；
圖11示出牙齒區(qū)域的二值化掩模圖像；
圖12是用于說明眼白圖像的檢測(cè)的流程圖13示出眼部候選矩形；
圖14示出眼部的候選矩形和外接矩形之間的關(guān)系； 圖15是用于說明眼部圖像的檢測(cè)的圖； 圖16是用于說明眼白圖像的檢測(cè)方法的流程圖； 圖17是用于說明眼白圖像的檢測(cè)方法的圖； 圖18示出眼部圖像和所獲取的像素的亮度值之間的關(guān)系 的例子；
圖19是用于說明種子的確定的圖20是用于說明眼白圖像的檢測(cè)方法的圖21示出作為區(qū)域生長(zhǎng)結(jié)果的生長(zhǎng)區(qū)域；
圖22是用于說明眼白圖像的平均色度值的計(jì)算的圖23示出眼部區(qū)域的二值化掩模圖像；
圖24示出牙齒區(qū)域的混合掩模圖像；
圖25是用于說明牙齒圖像的校正的流程圖26是用于說明校正圖像的生成的流程圖27示出相對(duì)于整個(gè)圖像有傾斜的臉部圖像；
圖28是用于說明根據(jù)第二實(shí)施例的圖像處理的流程圖；以
及
圖29是用于說明基于皮膚區(qū)域來計(jì)算校正參數(shù)的流程圖。
具體實(shí)施例方式
以下將參考附圖來詳細(xì)說明根據(jù)本發(fā)明實(shí)施例的圖像處理。
第 一 實(shí)施例 概述
第一實(shí)施例將說明在對(duì)牙齒圖像應(yīng)用白色校正時(shí)，通過分 析眼白圖像區(qū)域(下文稱為眼白圖像)的色度水平來確定校正 目標(biāo)值的方法。
如上所述，在校正牙齒圖像的顏色時(shí)，除非保持牙齒與整 個(gè)臉部圖像的顏色的平衡，否則在臉部圖像中只有牙齒突出， 導(dǎo)致不自然的臉部圖像。因此，在第一實(shí)施例中，分析最接近 臉部圖像中除牙齒以外的非彩色顏色的臉部部位(例如，眼白 圖像)的色度水平，以確定校正目標(biāo)值，該校正目標(biāo)值使牙齒 圖像具有與牙齒以外的臉部部位的色度水平相應(yīng)的色度水平。
設(shè)備布置
圖l是示出根據(jù)第 一 實(shí)施例的圖像處理設(shè)備的布置的框圖。
微處理器(CPU) 104通過使用隨機(jī)存取存儲(chǔ)器(RAM) 106作為工作存儲(chǔ)器，執(zhí)行存儲(chǔ)在只讀存儲(chǔ)器(ROM) 105和 硬盤驅(qū)動(dòng)器(HDD) 102中的程序，來執(zhí)行包括稍后要說明的 處理的各種處理，以通過系統(tǒng)總線109控制稍后要說明的各個(gè)組件。
輸入單元101包括鍵盤、定點(diǎn)裝置等。用戶通過輸入單元 IOI向圖像處理設(shè)備輸入數(shù)據(jù)，并指示CPU 104執(zhí)行各種操作。 HDD 102存儲(chǔ)各種二進(jìn)制數(shù)據(jù)和元數(shù)據(jù)。另外，HDD 102存儲(chǔ) C P U 10 4實(shí)現(xiàn)稍后要說明的處理所需的控制程序和處理程序。
顯示單元103包括陰極射線管(CRT)、液晶平板顯示器 (LCD)等。CPU 104在顯示單元103上顯示用戶界面、處理
的進(jìn)度和結(jié)果等。接口 (I/F) 107包括例如諸如USB (通用串 行總線)、IEEE 1394等的串行總線接口 。 CPU104可以從連接 到I/F 107的數(shù)字照相才幾或存儲(chǔ)卡讀取器加載圖^^數(shù)據(jù)，并可以 將它們存儲(chǔ)在HDD 102中。CPU 104可以通過I/F 107將存儲(chǔ)在 HDD 102中的圖像數(shù)據(jù)等輸出到外部設(shè)備。 圖像處理
圖2是用于說明由CPU 104執(zhí)行的圖像處理的流程圖。 CPU 104將要校正的圖像數(shù)據(jù)加載到RAM 106的預(yù)定區(qū) 域上(S3001 ),并從所加載的圖像數(shù)據(jù)檢測(cè)臉部圖像(S3002 )。 可以使用例如在"使用皮膚顏色和動(dòng)作的臉部和特征檢測(cè) (Face and Feature Detection Using Skin Color and Motion )，， (IIitoshi Hongo和Kazuhiko Yamamoto， 圖像信息和電視工程 師十辦會(huì)其月子'j ( The journal of the Institute of Image Information and Television Engineers),圖^f象信息和電 一見工程師協(xié)會(huì)(the Institute of Image Information and Television Engineers )， 1998 年12月，第52巻，第12期，第86頁-第93頁)中所述的方法， 來檢測(cè)臉部圖像。可選地，可以使用日本特開平7-141506中公 開的使用皮膚顏色的方法以及使用模式匹配的方法等。
CPU 104從所檢測(cè)到的臉部圖像檢測(cè)牙齒圖像(S3003 ), 并計(jì)算所檢測(cè)到的牙齒圖像的平均色度aveTS ( S3004 )。 CPU 104從所檢測(cè)到的臉部圖像檢測(cè)眼白圖像(S3005 )，并計(jì)算所 檢測(cè)到的眼白圖像的平均色度aveES ( S3006 )。稍后將說明牙 齒圖像的檢測(cè)方法、牙齒圖像的平均色度的計(jì)算方法、眼白圖 像的檢測(cè)方法和眼白圖像的平均色度aveES的計(jì)算方法。
然后，CPU 104判斷牙齒圖像是否具有需要校正處理的顏 色(S3007 )。進(jìn)行該判斷步驟，從而如果牙齒圖像原來就是白 色的而不需要校正為白色，則跳過牙齒圖像的校正處理。在標(biāo)
準(zhǔn)臉部圖像中，如果牙齒圖像的色度相對(duì)眼白圖像的色度高出 一定程度，則人們會(huì)感覺到牙齒圖像有顏色。因此，作為判斷
方法，CPU 104判斷牙齒圖像的平均色度aveTS和眼白圖像的 平均色度aveES是否滿足
aveTS/aveES > thl…(l)
其中，thl是根據(jù)經(jīng)驗(yàn)定義的闊值(thl>l )。
即，如果不等式(1)成立，則CPU 104使處理進(jìn)入步驟 S3008，以執(zhí)行牙齒圖像的校正處理；否則，跳過牙齒圖像的 校正處理，/人而結(jié)束處理。
在執(zhí)行牙齒圖像的校正處理時(shí)，CPU 104計(jì)算牙齒圖像校 正的校正參數(shù)P ( S3008 ),并使用該校正參數(shù)P來校正包括在 牙齒圖像中的像素值(S3009 )。注意，CPU 104將校正后的(或 未校正的)圖像數(shù)據(jù)存儲(chǔ)在HDD 102的預(yù)定區(qū)域中，并根據(jù)用 戶的指令，將圖像數(shù)據(jù)輸出到外部設(shè)備或在顯示單元103上顯 示該圖像數(shù)據(jù)所代表的圖像。
牙齒圖^f象的4全測(cè)(S3003 )
圖3是用于說明牙齒圖像的檢測(cè)的流程圖。
CPU 104在步驟S3002中檢測(cè)到的臉部圖像10上設(shè)置如圖 4所示的圍繞嘴部圖像區(qū)域(下文中稱為嘴部圖像)的矩形區(qū) 域(稱為嘴部候選矩形)11 ( S3101 )?；谀槻繄D像的檢測(cè)結(jié) 果，來預(yù)先統(tǒng)計(jì)計(jì)算嘴部圖像的位置，并基于統(tǒng)計(jì)計(jì)算得到的 嘴部圖像的位置，來設(shè)置嘴部候選矩形ll。
在步驟S 3101中設(shè)置的嘴部候選矩形11只圍繞嘴部圖像的 統(tǒng)計(jì)位置，而不是外接于臉部圖像10上的嘴部圖像的矩形區(qū) 域。因此，CPU 104在后續(xù)處理中檢測(cè)外接于嘴部圖像的矩形 區(qū)域(下文中稱為嘴部外接矩形)。
為了檢測(cè)嘴部外接矩形，CPU 104生成嘴部候選矩形ll中的邊緣圖像(S3 102 )。通過使用亮度、色度和色調(diào)值(hue value ) 中的至少一個(gè)作為特征量檢測(cè)邊緣，來生成該邊緣圖像。
CPU 104通過分析所生成的邊緣圖像，來檢測(cè)嘴部外接矩 形(S3103 )。
圖5是用于說明獲得接觸嘴部圖像邊緣的線段的方法的 圖。注意，圖5所示的嘴部圖像與嘴部候選矩形11中的邊緣圖 像相對(duì)應(yīng)。
如圖5所示，在嘴部圖像的外側(cè)上邊緣數(shù)量很小，而與牙 齒、嘴唇等相對(duì)應(yīng)的大量邊緣存在于嘴部圖像的內(nèi)側(cè)。因此， 可以通過從嘴部候選矩形ll中的邊緣圖像檢測(cè)包括大量邊緣 的區(qū)域，來^f企測(cè)嘴部外接矩形。
圖5中所示的線段C D將嘴部候選矩形11等分成左右區(qū)域。 CPU 104對(duì)線段CD上的形成邊緣的像素?cái)?shù)Ecd進(jìn)行計(jì)數(shù)。注意， 在下文中，形成邊緣的像素將被稱為"邊緣像素"，而邊緣像素 數(shù)將被稱為"邊緣數(shù)"。接著，CPU 104在垂直方向上從嘴部候 選矩形11的左上角的點(diǎn)E到左下角的點(diǎn)F對(duì)邊緣數(shù)Eef進(jìn)行計(jì) 數(shù)。然后，CPU 104判斷邊緣數(shù)Eef和Ecd是否滿足
Eef/Ecd>th2 ...(2)
其中，th2是預(yù)定閾值(0 <th2 < 1 )。
如果不等式(2)不成立，則CPU 104將在點(diǎn)C方向上A/v點(diǎn) E移動(dòng) 一 個(gè)坐標(biāo)的點(diǎn)E+l設(shè)置為邊緣數(shù)的計(jì)數(shù)開始點(diǎn)。同樣， CPU 104將在點(diǎn)D方向上從點(diǎn)F移動(dòng)一個(gè)坐標(biāo)( 一個(gè)像素)的點(diǎn) F+H殳置為計(jì)數(shù)結(jié)束點(diǎn)。CPU 104在垂直方向上^/v點(diǎn)E十l到點(diǎn) F+l對(duì)邊緣數(shù)Eef重新進(jìn)行計(jì)數(shù)。CPU 104重復(fù)計(jì)數(shù)開始和結(jié)束 點(diǎn)的向右移動(dòng)和重新計(jì)數(shù)，直到不等式(2)成立。
如果不等式(2)成立，則CPU 104將此時(shí)的計(jì)數(shù)開始和 結(jié)束點(diǎn)E+n和F+n設(shè)置為嘴部外接矩形的左側(cè)(面向圖像)端
點(diǎn)，換而言之，嘴部外接矩形的左側(cè)位置。
接著，CPU 104在垂直方向上從嘴部候選矩形ll的右上角 的點(diǎn)G到點(diǎn)H對(duì)邊緣數(shù)Egh進(jìn)行計(jì)數(shù)。然后，CPU104判斷邊緣 數(shù)Egh和Ecd是否滿足
Egh/Ecd>th2 ...(3) C P U 10 4重復(fù)計(jì)It開始和結(jié)束點(diǎn)的向左移動(dòng)和重新計(jì)|史，直到 不等式(3)成立。如果不等式(3)成立，則CPU104將此時(shí) 的計(jì)數(shù)開始和結(jié)束點(diǎn)G-n和H-n設(shè)置為嘴部外接矩形的右側(cè)端 點(diǎn)，換而言之，嘴部外接矩形的右側(cè)位置。
CPU 104以類似的方式獲得嘴部外接矩形的上下側(cè)。即， CPU 104對(duì)將嘴部候選矩形ll等分成上下區(qū)域的線段IJ上的邊 緣數(shù)Eij進(jìn)行計(jì)數(shù)。接著，CPU 104在水平方向上從嘴部候選矩 形].l的點(diǎn)E到右上角的點(diǎn)G對(duì)邊緣數(shù)Eeg進(jìn)行計(jì)數(shù)，并判斷邊緣 數(shù)Eeg和Eij是否滿足
Eeg/Eij〉th3 ...(4) 其中，th3是預(yù)定閾值(0 < th3 < 1 )。
CPU 104重復(fù)計(jì)數(shù)開始和結(jié)束點(diǎn)的向下移動(dòng)和重新計(jì)數(shù)， 直到不等式(4)成立。如果不等式(4)成立，則CPU104將 此時(shí)的計(jì)數(shù)開始和結(jié)束點(diǎn)E+n和G+n設(shè)置為嘴部外接矩形的上 側(cè)端點(diǎn)，即，嘴部外接矩形的上側(cè)位置。
然后，CPU 104在水平方向上從嘴部候選矩形ll的右下角 的點(diǎn)F到點(diǎn)H對(duì)邊緣數(shù)Efh進(jìn)行計(jì)數(shù)，并判斷邊緣數(shù)Efh和Eij是 否滿足
Efh/Eij〉th3…(5)
CPU 104重復(fù)計(jì)數(shù)開始和結(jié)束點(diǎn)的向上移動(dòng)和重新計(jì)數(shù)，直到 不等式(5)成立。如果不等式(5)成立，則CPU104將此時(shí) 的計(jì)數(shù)開始和結(jié)束點(diǎn)F-n和II-n設(shè)置為嘴部外接矩形的下側(cè)端
點(diǎn)，即，嘴部外接矩形的下側(cè)位置。
在對(duì)以上例子的說明中，與線段CD和IJ上的邊緣數(shù)進(jìn)行 比較。例如，可以使用靠近線段CD和IJ的多條線的平均邊緣數(shù)。
圖6示出嘴部候選矩形ll和嘴部外接矩形12之間的關(guān)系。 接著，CPU 104檢測(cè)牙齒圖像?？梢愿鶕?jù)嘴部外接矩形12 中的像素的顏色信息來檢測(cè)牙齒圖像，但是，通過僅使用顏色 信息的簡(jiǎn)單檢測(cè)，可能會(huì)不期望地包括靠近嘴部外接矩形12 的四個(gè)角的皮膚部分。因此，CPU 104檢測(cè)嘴唇圖像區(qū)域(下 文中稱為嘴唇圖像)的圖像區(qū)域特征點(diǎn)，以檢測(cè)概略的嘴唇圖 像(S3104)。然后，CPU 104使用顏色信息來檢測(cè)被嘴唇圖像 包圍的牙齒圖像。
為了檢測(cè)嘴唇圖像，CPU 104獲得嘴唇圖像的特征點(diǎn)。CPU 104獲得例如圖7所示的六個(gè)點(diǎn)P1至P6。然后，CPU104才全觀J通 過連接這些點(diǎn)而形成的六邊形(在圖7中以虛線表示)，作為嘴 唇圖像。
圖7所示的特征點(diǎn)P1是通過在垂直方向上從嘴部外接矩形 12的左上角的點(diǎn)a到點(diǎn)b檢測(cè)邊緣像素而首先檢測(cè)到的邊緣像 素。同樣，特征點(diǎn)P2是通過在垂直方向上從點(diǎn)c到點(diǎn)d檢測(cè)邊緣 像素而首先檢測(cè)到的邊緣像素。
特征點(diǎn)P3是通過在水平方向上從點(diǎn)a到點(diǎn)c檢測(cè)邊緣像素 而首先檢測(cè)到的邊緣像素。特征點(diǎn)P4是在水平方向上從點(diǎn)c到 點(diǎn)a檢測(cè)邊緣像素而首先檢測(cè)到的邊緣像素。特征點(diǎn)P 5是在水 平方向上從點(diǎn)b到點(diǎn)d檢測(cè)邊緣像素而首先檢測(cè)到的邊緣像素。 特征點(diǎn)P 6是在水平方向上從點(diǎn)d到點(diǎn)b才企測(cè)邊緣像素而首先檢 測(cè)到的邊緣{象素。在這種情況下，CPU 1044全測(cè)通過以P1、 P3、 P4、 P2、 P6、 P5和P1的順序連接這些特征點(diǎn)而形成的六邊形，
作為概略的嘴唇圖像。
在對(duì)以上例子的說明中，將首先檢測(cè)到的邊緣像素定義為 嘴唇圖像的特征點(diǎn)?？蛇x地，當(dāng)連續(xù)檢測(cè)到預(yù)定數(shù)量的邊緣像 素時(shí)，可以將這些邊緣像素中的一個(gè)定義為特征點(diǎn)。
CPU 104檢測(cè)包括在嘴唇圖像中的牙齒圖像的像素(下文 中稱為牙齒像素)，并將檢測(cè)到的牙齒像素組定義為牙齒圖像 (S3105)。例如，CPU 104通過分析嘴唇圖像中的像素的色調(diào) 直方圖來檢測(cè)牙齒像素。
圖8示出嘴唇圖像的直方圖例子。在圖8中，縱坐標(biāo)標(biāo)出像 素?cái)?shù)，而橫坐標(biāo)標(biāo)出以0。 ( 360。)代表藍(lán)色、以180。代表黃色 的色調(diào)角。
由于嘴唇圖像僅包括嘴唇圖像和牙齒圖像，通常在嘴唇圖 像的色調(diào)直方圖中一定會(huì)出現(xiàn)兩個(gè)峰值?？紤]到嘴唇圖像和牙 齒圖像的色調(diào)，兩個(gè)峰值中較接近紅色的峰值一定是由嘴唇圖 像的像素(下文中稱為嘴唇像素)形成的，而另 一個(gè)峰值一定 是由牙齒像素形成的。因此，在圖8的例子中，接近紅色的色 調(diào)范圍13與嘴唇像素相對(duì)應(yīng)，而另 一個(gè)色調(diào)范圍14與牙齒像素 相對(duì)應(yīng)。
即，生成嘴唇圖像的色調(diào)直方圖，并以出現(xiàn)頻率遞減的順 序選擇兩個(gè)峰值，從而基于這兩個(gè)峰值的位置(色調(diào))和色調(diào) 范圍，來獲得包括嘴唇像素的色調(diào)范圍和包括牙齒像素的色調(diào)范圍。
因此，CPU 104從嘴唇圖像;險(xiǎn)測(cè)包括在牙齒l象素的色調(diào)范 圍內(nèi)的像素，以將檢測(cè)到的牙齒像素組定義為牙齒圖像。
在對(duì)以上例子的說明中，作為識(shí)別的例子，集中在色調(diào)水 平上，并使用色調(diào)直方圖來檢測(cè)嘴唇圖像中的牙齒像素。然而， 可以集中在色度水平上，以檢測(cè)低色度像素作為牙齒像素。 牙齒圖像的平均色度的計(jì)算(S3004 )
圖9是用于說明牙齒圖像的平均色度的計(jì)算方法的流程圖。
CPU 104將在步驟S3103中檢測(cè)到的嘴部外接矩形12的左 上坐標(biāo)(mSX， mSY)設(shè)置在表示圖像上的坐標(biāo)的變量(i, j) 中。CPU 104將表示色度值總和的變量SumTS和代表牙齒像素 的計(jì)凄史l直的變量countPix復(fù)位到O( S3301 )。注意，坐標(biāo)(mSX, mSY)是以原始圖像的左上角為原點(diǎn)的坐標(biāo)系的坐標(biāo)值。圖10 示出以坐標(biāo)(mSX， mSY)作為點(diǎn)M、寬度二mW^象素并且高度 :二mtl像素的嘴部外接矩形12 。
然后，CPU 104判斷坐標(biāo)(i, j)處的l象素(下文中稱為 像素(i， j ))是不是在步驟S3003中檢測(cè)到的牙齒像素(S3302 )。 通過基于步驟S3003中的牙齒圖像的檢測(cè)結(jié)果，生成圖ll所示 的代表檢測(cè)結(jié)果的二值化掩模圖像，并參考該二值化掩模圖像 的像素(i, j)的值，來實(shí)現(xiàn)該判斷步驟。在圖ll所示的例子 中，CPU 104判斷為白色的像素是牙齒像素，而黑色的像素不 是牙齒像素。如果CPU 104判斷為像素(i, j)是牙齒像素， 則處理進(jìn)入步驟S3303;否則，處理跳至步驟S3305。
如果像素(i， j )是牙齒像素，則CPU 104基于像素(i, j)的RGB值，根據(jù)下面的式子，計(jì)算色度tS ( S3303 ): Cb = -0.1687 x R - 0.3316 x G + 0.5000 x B Cr= <formula>formula see original document page 14</formula>6)
CPU 104將色度tS累加到變量SumTS上，并使變量countPix 力口l ( S3304 )。
CPU 104使變量i加l，以使基準(zhǔn)位置在水平方向上移動(dòng)一 個(gè)像素(S3305 )，并比較變量i和嘴部外接矩形12的右側(cè)
mSX+mW ( S3306 )。如果i《mSX + mW，則處理返回步驟 S3302。如果i〉mSX + mW,則CPU 104判斷為基準(zhǔn)位置落在 嘴部外接矩形12之外，處理進(jìn)入步驟S3307。
CPU 104將變量i設(shè)置為mSX，并使變量j加l，以使基準(zhǔn)位 置在垂直方向上移動(dòng)一個(gè)像素(S3307 )，并比較變量j和嘴部 外接矩形12的下側(cè)mSY+mH ( S3308 )。如果j^mSY + mH,則 處理返回步驟S3302。如果j〉mSY + mH,則CPU104判斷為 基準(zhǔn)位置落在嘴部外接矩形12之外，處理進(jìn)入步驟S3309。
然后，CPU 104基于變量SumTS和countPix,通過下面的 式子，計(jì)算牙齒圖像的平均色度aveTS ( S3309 ):
<formula>formula see original document page 15</formula>
目艮白圖像的檢測(cè)(S3005 )
接著，下面將說明檢測(cè)臉部圖像的左側(cè)(面對(duì)時(shí))上的眼 睛的眼白圖像的方法。另外，通過相同的方法檢測(cè)右側(cè)眼睛的 眼白圖像。
圖12是用于說明眼白圖像的檢測(cè)的流程圖。 CPU 104在步驟S3002中檢測(cè)到的臉部圖像10上設(shè)置如圖 H所示的圍繞眼部圖像區(qū)域(下文中稱為眼部圖像)的矩形區(qū) 域(下文中稱為眼部候選矩形)15 ( S3201 )。如嘴部候選矩形 一樣，基于臉部圖像的檢測(cè)結(jié)果，來預(yù)先統(tǒng)計(jì)計(jì)算眼部圖像的 位置，并基于統(tǒng)計(jì)計(jì)算得到的眼部圖像的位置，來設(shè)置眼部候 選矩形15。
步驟S 3 2 01中設(shè)置的眼部候選矩形15只圍繞眼部圖像的統(tǒng) 計(jì)位置，而不是外接于臉部圖像10上的眼部圖像的矩形區(qū)域。 因此，CPU 104通過下列處理來檢測(cè)外接于眼部圖像的矩形區(qū) 域(下文中稱為眼部外接矩形)。
為了檢測(cè)眼部外接矩形，CPU 104生成眼部候選矩形15中
的邊緣圖像(S3202 )。由于檢測(cè)眼部外接矩形的方法與在步驟 S3102和S3103中所述的^f僉測(cè)嘴部外-接矩形12的方法相同，因 此將不再重復(fù)對(duì)其的詳細(xì)說明。
圖14示出眼部候選矩形15和眼部外4妻矩形16之間的關(guān)系。
接著，CPU 104檢測(cè)眼白圖像。可以根據(jù)眼部外4妄矩形16 中的像素的顏色信息來檢測(cè)眼白圖像，但是，通過只使用顏色 信息的簡(jiǎn)單檢測(cè)，可能會(huì)包括靠近眼部外接矩形16的四個(gè)角的 皮膚部分。因此，CPU 104檢測(cè)眼部圖像的特征點(diǎn)來檢測(cè)概略 的眼部圖像(S3204 )。由于眼部圖像的檢測(cè)方法與在步驟 S3104中所述的嘴唇圖像的檢測(cè)方法相同，所以將不再重復(fù)對(duì) 其的詳細(xì)i兌明。
圖15是用于說明眼部圖像的檢測(cè)的圖。如嘴唇圖像一樣， CPU 104將眼部圖像作為通過以E1、 E3、 E4、 E2、 E6、 E5和 E1的順序連接特征點(diǎn)而形成的六邊形進(jìn)行檢測(cè)。
CPU 104檢測(cè)包括在眼部圖像中的眼白圖像的像素(下文 中稱為眼白像素)，并將檢測(cè)到的眼白像素組定義為眼白圖像 (S3205 )。
圖16是用于說明眼白圖像的檢測(cè)方法的流程圖。在本實(shí)施 例中，作為從眼部圖像檢測(cè)眼白圖像的方法，將說明使用已知 的區(qū)域生長(zhǎng)法的方法。
CPU 104對(duì)眼部圖像中在水平方向上排列的像素的亮度 值進(jìn)行采樣(S3401 )。例如，如圖17所示，CPU104設(shè)置將眼 部外接矩形16等分成上下區(qū)域的線段ST,并獲取從點(diǎn)S到點(diǎn)T 的各像素的亮度值。圖18示出眼部圖像和所獲取的各像素的亮 度值之間的關(guān)系的例子。當(dāng)然，采樣并不限于一條線，而是可 以對(duì)靠近線段ST的多條線進(jìn)行采樣。然后，CPU 104根據(jù)所獲取的各像素的亮度值，檢測(cè)虹膜
圖像區(qū)域(下文中稱為虹膜圖像)17的左右端(S3402 )。由于 如圖18所示，所獲取的各像素的亮度值在眼白圖像部分中較
高，而在虹膜圖像部分中較低，所以檢測(cè)亮度值突變的位置(圖
18中的位置B1和B2 )，作為眼白圖像和虹膜圖像17的邊界。
CPU 104以如下方式4全測(cè)位置B1和B2。例如，當(dāng)線I爻ST 上的像素的平均亮度值為aveY時(shí)，CPU 104將從如圖18所示的 點(diǎn)S到點(diǎn)T掃描的亮度值Y( x )滿足如下條件的位置x設(shè)置為B1:
并將從點(diǎn)T到點(diǎn)S掃描的亮度值Y ( x)滿足如下條件的位置x 設(shè)置為B2:
然后，CPU 104基于虹膜圖像17的左右端點(diǎn)B1和B2以及在 步驟S3204中獲得的眼部?jī)啥颂幍奶卣鼽c(diǎn)E1和E2 ，確定區(qū)域生 長(zhǎng)的開始點(diǎn)(種子)(S3403 )。
圖19是用于說明種子的確定的圖。CPU 104計(jì)算線段E1B1 的中點(diǎn)Co,并將其定義為種子。同樣，CPU 104將線段E2B2 的中點(diǎn)Cc定義為種子。
CPU 104從所確定的各個(gè)種子執(zhí)行區(qū)域生長(zhǎng)，以4全測(cè)眼白 圖像(S3404 )。當(dāng)眼白圖像的顏色接近靠近眼部的皮膚圖像區(qū) 域的顏色時(shí)，如圖20所示，生長(zhǎng)區(qū)域18可能進(jìn)入皮膚圖像區(qū)域。 因此，CPU 104將在步驟S3204中檢測(cè)到的眼部圖像內(nèi)的圖像 定義為區(qū)域生長(zhǎng)范圍。圖21示出作為在這樣的條件下的區(qū)域生 長(zhǎng)的結(jié)果的生長(zhǎng)區(qū)域19。當(dāng)然，CPU 104相似地執(zhí)行中點(diǎn)Cc側(cè) 的區(qū)域生長(zhǎng)，以才全測(cè)眼白圖像。
眼白圖像的平均色度的計(jì)算(S3006 )
CPU 104將在步驟S3203中計(jì)算得到的眼部外接矩形16的 左上角的點(diǎn)E的坐標(biāo)設(shè)置為(eSX, eSY)，并將眼部外接矩形
Y(x+1) 〉 Y(x)且Y(x) < aveY…(9)。
16的寬度設(shè)置為eW像素，高度設(shè)置為eH像素。如圖10和圖11 所示的牙齒圖像一樣，CPU 104通過與步驟S3004中牙齒圖像 的平均色度aveTS的計(jì)算方法相同的方法，4吏用圖23所示的代 表眼白圖像的檢測(cè)結(jié)果的二值化掩模圖像，來計(jì)算眼白圖像的 平均色度aveES。
然而，與牙齒圖像不同的是，由于通常4全測(cè)到左右一對(duì)眼 白圖像，因此在計(jì)算各眼白圖像的平均色度值aveES之后，將 這些平均值的平均值定義為眼白圖像的平均色度aveES。
校正參數(shù)的計(jì)算(S3008 )
令aimTS為牙齒圖像的目標(biāo)色度。然后，通過下面的式子 將目標(biāo)色度aimTS表示為與眼白圖像的平均色度aveES相關(guān)的 值
aimTS = a x aveES ..《10) 其中，a是系數(shù)(a>l )。
系數(shù)a代表相對(duì)于眼白圖像增白牙齒圖像的程度，并且， 系數(shù)a越接近于l，牙齒圖像的白色變得越接近眼白圖像的白 色。然而，當(dāng)將適合淺色臉部圖像的系數(shù)a應(yīng)用于深色或暗色 的臉部圖像時(shí)，牙齒圖像趨向過白。因此，定義下列等式，以 為暗色臉部圖像設(shè)置相對(duì)于淺色臉部圖像較大的系數(shù)a:
a = b x aveES + c ...(ll)
其中，b和c是根據(jù)經(jīng)驗(yàn)定義的常量。
根據(jù)等式(10)和(11 ),將牙齒圖像的目標(biāo)色度aimTS 表示為
aimTS = (b x aveES + c) x aveES…(12) 通過下面的式子，基于牙齒圖像的目標(biāo)色度aimTS和平均 色度aveTS,來定義才交正參數(shù)P:
P = aimTS/aveTS ...(13)
因此，通過組合等式(12)和(13 ),利用下面的式子給
出校正參數(shù)P:
P = (b x aveES + c) x aveES/aveTS ".(14) 牙齒圖像的校正(S3009 )
圖像和嘴唇圖像之間的邊界附近的已校正的像素與未校正的 像素之間的顏色變化不能變得平滑，導(dǎo)致不自然的圖像。為了 解決這個(gè)問題，CPU 104使用圖24所示的混合率從邊界附近向 夕卜側(cè)逐漸減小的混合掩模圖像，來對(duì)原始圖像和通過校正嘴部 外接矩形12內(nèi)的圖像而得到的圖像進(jìn)行阿爾法混合 (alpha-blend )。
圖25是用于說明牙齒圖像的校正的流程圖。 CPU 104使用在步驟S3008中計(jì)算得到的校正參數(shù)P，來校 正嘴部外接矩形12中的像素，以生成校正后的圖像(S3501 )。 稍后將說明步驟S3501中的處理的細(xì)節(jié)。
然后，CPU 104生成在對(duì)校正后的圖像和原始圖像進(jìn)行阿 爾法混合時(shí)所使用的圖24所示的混合掩模圖像(S3502 )。通過 將模糊濾波處理應(yīng)用于例如圖ll所示的二值化掩模圖像，來生 成混合掩模圖像。圖24所示的混合掩模圖像代表混合率從牙齒 圖像的邊界向外側(cè)逐漸減小的混合掩模。即，混合掩模圖像的 混合率對(duì)于白色區(qū)域是100%，對(duì)于黑色區(qū)域是0%，對(duì)于灰色 區(qū)域落入從0%到100%的范圍(不包括0%和100%)內(nèi)。另夕卜， 模糊濾波器可以是已知的濾波器，例如，可以使用高斯模糊濾 波器等。
CPU 104使用混合掩模圖像，對(duì)校正后的圖像和原始圖像 進(jìn)行阿爾法混合(S3503 )。當(dāng)混合率等于100%時(shí)，進(jìn)行阿爾 法混合，以100%混合校正后的圖像，從而混合4交正后的圖像
和原始圖像，使得校正強(qiáng)度(校正參數(shù)P)從牙齒圖像的邊界 向外側(cè)逐漸減弱。結(jié)果，可以獲得自然的校正后的圖像。
圖26是用于說明校正后的圖像的生成的流程圖(S3501 )。 CPU 104將在步驟S3103中獲得的嘴部外接矩形12的左上 坐標(biāo)(mSX， mSY)設(shè)置在代表圖像上的坐標(biāo)的變量(i, j) 中(S3601 )。注意，坐標(biāo)(mSX, mSY )是以原始圖l象的左上 角為原點(diǎn)的坐標(biāo)系的坐標(biāo)值。如圖10所示，嘴部外接矩形12 的寬度和高度分別是mW像素和mH像素。
CPU 104通過下面的式子，基于像素(i, j)的RGB值， 計(jì)算亮度值tY以及色度值tCb和tCr ( S3602 ):
tY = 0.2990 x R - 0.5870 x G + 0.1140 x B tCb = -0.1687 x R - 0.3312 x G + 0.5000 x B tCr = 0.5000 x R - 0.4187 x G - 0.0813 x B ...(15) CPU 104通過下面的式子，使用校正參數(shù)P，校正像素(i， j )的色度值tCb和tCr ( S3603 ):
tCb' = tCb x P tCr'二tCrxP…(16) 其中，tCb'和tCr'是校正后的色度值。
CPU 104通過使用下面的式子，根據(jù)亮度值tY以及校正后 的色度值tCb'和tCr',計(jì)算校正后的R'G'B'值，來設(shè)置像素(i, j)的校正后的色度值(S3604 ):
R' = tY+ 1.402 xtCr' G' = tY - 0.344 x tCb' - 0.714 x tCr' B' = tY+ 1.772 xtCb'...(17) CPU 104使變量i加l，以使基準(zhǔn)位置在水平方向上移動(dòng)一 個(gè)像素(S3605 )，并比較變量i和嘴部外_接矩形12的右側(cè) mSX+mW ( S3606 )。如果i S mSX + mW,則處理返回步驟S3602。如果i〉mSX + mW，則CPU 104判斷為基準(zhǔn)位置落在 嘴部外接矩形12之外，處理進(jìn)入步驟S3607。
CPU 104將變量i重新設(shè)置為mSX,使變量j加l,以使基準(zhǔn) 位置在垂直方向上移動(dòng)一個(gè)像素(S3607 ),并比較變量j和嘴 部外接矩形12的下側(cè)mSY+mH ( S3608 )。如果j S mSY + mH, 則處理返回步一驟S3602。如果j〉mSY + mH，貝'JCPU104判斷 為基準(zhǔn)位置落在嘴部外接矩形12之外，從而結(jié)束處理。
如上所述，基于眼白圖像的色度，來確定校正牙齒圖像所 需的目標(biāo)值(校正強(qiáng)度)。因此，可以防止將色度水平整體較 高的臉部圖像校正為只有牙齒圖像突出的圖像，而是可以將其 校正為具有自然白色的牙齒圖像的圖像。
變形例
在對(duì)以上例子的說明中，計(jì)算牙齒圖像和眼白圖像的色度 值的平均值，以設(shè)置校正目標(biāo)值作為特征量。然而，可以使用 色度值的模式值(mode value)或中值，來代替平均值。
在對(duì)以上例子的說明中，對(duì)牙齒圖像的色度進(jìn)行校正。然 而，當(dāng)如果只校正色度，則牙齒圖像變黑時(shí)，可以除色度之外 還校正亮度。在這種情況下，計(jì)算牙齒圖像的代表亮度tY和眼 白圖像的代表亮度eY，如果tY/eY^th4,則可以計(jì)算校正參數(shù)， 以校正牙齒圖像的亮度。注意，閾值th4是根據(jù)經(jīng)驗(yàn)定義的值 (0<th4<l )。在這種情況下，利用由等式(11 )至等式(14) 給出的方法來設(shè)置校正參數(shù)，使得牙齒圖像的亮度tY隨著眼白 圖像的亮度eY增大而增大。
基于根據(jù)眼白圖像的平均色度aveES而計(jì)算得到的目標(biāo)色 度aimTS和牙齒圖像的平均色度aveTS,來計(jì)算參數(shù)P。可選地， 可以僅使用眼白圖像的平均色度aveES來簡(jiǎn)單計(jì)算校正參數(shù)。 在這種情況下，如下所述，將降低牙齒圖像的平均色度aveTS
的比率定義為校正參數(shù)P:
P = gxaveES + f...(18) 其中，g和f是根據(jù)經(jīng)驗(yàn)定義的常量。
當(dāng)設(shè)置常量g和f以使校正參數(shù)P的值落入從O.O到l.O的范
圍內(nèi)時(shí)，降低牙齒圖像色度的比率可以隨著眼白圖像的平均色
度aveES增大而減小，并且可以實(shí)現(xiàn)效果與第 一 實(shí)施例中的校 正處理相同的校正處理。在這種情況下，由于在校正參數(shù)P的 計(jì)算中沒有使用牙齒圖像的平均色度aveTS,所以可以省略計(jì) 算牙齒圖像的平均色度aveTS的處理。
可以提供用于檢測(cè)牙齒圖像和眼白圖像的用戶界面，并且 在用戶設(shè)置分別圍繞牙齒圖像和眼白圖像的嘴部候選矩形11 和眼部候選矩形15之后，可以通過上述方法來檢測(cè)嘴部外接矩 形12和眼部外^l妻矩形16。
當(dāng)臉部圖像21相對(duì)于整個(gè)圖像20具有傾斜時(shí)，如圖27所 示，在步驟S3002中檢測(cè)臉部圖像21之后，生成傾斜校正后的
部圖像或嘴唇圖像的特征點(diǎn)。
此后，通過在相反方向上旋轉(zhuǎn)眼部或嘴唇圖像的坐標(biāo)值 (通過對(duì)它們進(jìn)行反向校正)，來獲得原始圖像上的特征點(diǎn)的 坐標(biāo)值。使用原始圖像上的特征點(diǎn)的坐標(biāo)值和原始圖像，執(zhí)行 步驟S3105或S3202中的處理，從而檢測(cè)眼部或嘴唇圖像。對(duì) 所檢測(cè)到的眼部或嘴唇圖像執(zhí)行步驟S3004和步驟S3006至步 -驟S3009中的處理。
通過校正圖像的傾斜來生成圖像的方法如下。 如圖27所示，假定當(dāng)圍繞臉部圖像21的矩形相對(duì)于圖像20 的垂直軸有角度為e的傾斜時(shí)，圍繞臉部圖像21的矩形的左上
坐標(biāo)為Bl(BXl, BY1 )。然后，傾斜校正后的臉部圖像22的 坐標(biāo)系(X, Y)和原始圖像的坐標(biāo)系(x, y)之間的關(guān)系如 下所示
X = (x - BXl)cos9 - (y - BYl)sine + BX1
Y = (x - BXl)sine + (y - BYl)cosQ + BY1 ...(19)
反向變換如下所示
x = (X - BXl)cos9 + (Y - BYl)sine + BY1 y = (Y - BYl)cose - (X - BXl)sin9 + BY1…(20) 可以通過使用等式(20),計(jì)算與傾斜校正后的臉部圖像 22的坐標(biāo)值相對(duì)應(yīng)的原始圖像的坐標(biāo)值，來校正傾斜的臉部圖 像21。
第二實(shí)施例
下文中將說明根據(jù)第二實(shí)施例的圖像處理。注意，第二實(shí) 施例中相同的附圖標(biāo)記表示與第 一 實(shí)施例中的組件相同的組 件，并且將不再重復(fù)對(duì)它們的詳細(xì)說明。
非常狹窄時(shí)，不能檢測(cè)到眼白圖像。在這樣的情況下，基于臉 部圖像的皮膚圖像區(qū)域(下文中稱為皮膚區(qū)域)的色度來校正 牙齒圖像。第二實(shí)施例將說明通過分析皮膚區(qū)域的色度來確定 校正牙齒圖像所需的目標(biāo)值的方法。
圖28是用于說明由CPU 104執(zhí)行的第二實(shí)施例的圖像處 理的流程圖。
CPU 104判斷是否可以檢測(cè)到眼白圖像(S3701 )。例如， CPU 104比較在步驟S3203中檢測(cè)到的眼部外接矩形16的高度 eH和預(yù)定閾值thE ，如果eH < thE ，則判斷為不能#r測(cè)到眼白 圖像?？蛇x地，CPU 104比較通過步驟S3404中的區(qū)域生長(zhǎng)處 理而檢測(cè)到的眼白圖像的面積Se和預(yù)定閾值thS，如果Se <
thS,則判斷為不能檢測(cè)到眼白圖像。注意，眼白圖像包括四 個(gè)區(qū)域，即，左右眼睛內(nèi)側(cè)(鼻側(cè))的區(qū)域和外側(cè)的區(qū)域，并 且，如果可以^僉測(cè)到這些區(qū)域中的至少一個(gè)，則可以判斷為對(duì)全 測(cè)到眼白圖像。
如果可以檢測(cè)到眼白圖像，則CPU 104使處理進(jìn)入步驟
S3006。如果不能檢測(cè)到眼白圖像，則CPU 104基于皮膚區(qū)域 來計(jì)算才吏正參凄tP( S3702 )。 CPU 104判斷才交正參凄tP( S3703 ), 如果p^0，則CPU 104使處理進(jìn)入步驟S3009,以執(zhí)行牙齒圖 像的校正處理；如果P = 0，則跳過牙齒圖1象的4交正處理，從 而結(jié)束處理。
圖29是用于說明基于皮膚區(qū)域來計(jì)算校正參數(shù)P ( S3702 )
的流程圖。
CPU104檢測(cè)皮膚區(qū)域(S3801 )。關(guān)于皮膚區(qū)域的檢測(cè)， 由于已經(jīng)提出了諸如在例如日本特開2004-173328和日本特開 2006-011685等中所述的使用顏色差和亮度的方法的多種方 法，因此可以使用這些技術(shù)。
CPU 104計(jì)算所檢測(cè)到的皮膚區(qū)域的平均色度aveFS (S3802 )。如果用皮膚區(qū)域代替牙齒圖像，則可以通過與步驟 S3004中的處理的方法相同的方法來計(jì)算皮膚區(qū)域的平均色度 avel'，S 。
CPU 104比較牙齒圖像的平均色度aveTS和皮膚區(qū)域的平 均色度aveFS,并使用下面的式子，來判斷牙齒圖像是否具有 需要校正處理的顏色(S3803 ):
aveTS/aveFS > th5 ...(21) 其中，th5是根據(jù)經(jīng)驗(yàn)定義的閾值(th5<l )。 即，如果不等式(21)成立，則CPU 104使處理進(jìn)入步驟 S3804,以執(zhí)行牙齒圖像的校正處理；否則，設(shè)置校正參數(shù)P二
0(S3805 ),以跳過牙齒圖像的校正處理。
然后，CPU 104計(jì)算校正參數(shù)P ( S3804 )。令aimTS為牙齒 圖像的目標(biāo)色度。然后，通過下面的式子，將目標(biāo)色度aimTS 表示為與皮膚區(qū)域的平均色度aveFS相關(guān)的值
aimTS = af x aveES…(22) 其中，af是系數(shù)(0<af< 1 )。
系數(shù)af代表相對(duì)于皮膚區(qū)域增白牙齒圖像的程度，并且， 系數(shù)af越接近l，牙齒圖像的白色變得越接近皮膚區(qū)域的白色。 然而，當(dāng)將適合淺色臉部圖像的系數(shù)af應(yīng)用于暗色臉部圖像 時(shí)，牙齒圖像趨向過白。因此，定義下列等式，以為暗色臉部 圖像設(shè)置相對(duì)于淺色臉部圖像較大的系數(shù)af。
af=bfxaveFS + cf...(23) 其中，bf和cf是根據(jù)經(jīng)驗(yàn)定義的常量。
根據(jù)等式(22)和(23)，利用下面的式子，來表示牙齒 圖像的目標(biāo)色度aimTS:
aimTS = (bf x aveES + ci) x aveFS ...(24) 通過下面的式子，基于牙齒圖像的目標(biāo)色度aimTS和平均 色度aveTS,來定義校正參數(shù)P:
P = aimTS/aveTS…(25) 因此，通過組合等式(24)和(25)，利用下面的式子給 出校正參數(shù)P:
P = (bf x aveFS + cc) x aveFS/aveTS ...(26) 在對(duì)以上例子的說明中，當(dāng)不能檢測(cè)到眼白圖像時(shí)，檢測(cè) 皮月夫區(qū)域以確定才交正參凄tP?？蛇x地，可以才全測(cè)皮月夫區(qū)域，而 不檢測(cè)任何眼白圖4象。 示例性實(shí)施例
本發(fā)明可以應(yīng)用于由多個(gè)裝置(例如，主計(jì)算機(jī)、接口、 讀出器、打印機(jī))組成的系統(tǒng)或包括單個(gè)裝置(例如，復(fù)印機(jī)、 傳真機(jī))的設(shè)備。
另外，本發(fā)明可以向計(jì)算機(jī)系統(tǒng)或設(shè)備(例如，個(gè)人計(jì)算
過該計(jì)算機(jī)系統(tǒng)或設(shè)備的CPU或MPU從該存儲(chǔ)介質(zhì)讀取該程
序代碼，然后扭j于該程序。 例的功能。
另外，可以使用諸如軟盤、硬盤、光盤、》茲光盤、CD-ROM、 CD-R、磁帶、非易失性類型的存儲(chǔ)卡和ROM的存儲(chǔ)介質(zhì)來提 供該程序代碼。
而且，除了可以通過^L行由計(jì)算^L讀if又的程序代碼來實(shí)現(xiàn) 根據(jù)以上實(shí)施例的上述功能外，本發(fā)明還包括如下情況在計(jì) 算機(jī)上運(yùn)行的OS (操作系統(tǒng))等根據(jù)程序代碼的指示來執(zhí)行 部分或全部處理，并實(shí)現(xiàn)根據(jù)以上實(shí)施例的功能。
另外，本發(fā)明還包括這樣的情況在將從存儲(chǔ)介質(zhì)讀取的 程序代碼寫入插入到計(jì)算機(jī)中的功能擴(kuò)展卡中或連接到計(jì)算 機(jī)的功能擴(kuò)展單元中所設(shè)置的存儲(chǔ)器中之后，包含在功能擴(kuò)展 卡或單元中的CPU等根據(jù)程序代碼的指示執(zhí)行部分或全部處 理，并實(shí)現(xiàn)以上實(shí)施例的功能。
在將本發(fā)明應(yīng)用到前述存儲(chǔ)介質(zhì)的情況下，存儲(chǔ)介質(zhì)存儲(chǔ) 與實(shí)施例中所述的流程圖相對(duì)應(yīng)的程序代碼。
雖然已經(jīng)參考示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了說明，但是應(yīng) 當(dāng)理解，本發(fā)明并不限于所公開的示例性實(shí)施例。所附權(quán)利要 求的范圍符合最寬的解釋，以包括所有這樣的修改以及等同結(jié) 構(gòu)和功能。
權(quán)利要求
1.一種圖像處理設(shè)備，包括第一檢測(cè)器，用于從圖像檢測(cè)與牙齒相對(duì)應(yīng)的第一圖像區(qū)域；第二檢測(cè)器，用于從所述圖像檢測(cè)與所述牙齒以外的臉部部位相對(duì)應(yīng)的第二圖像區(qū)域；以及校正器，用于基于所述第一圖像區(qū)域的顏色的特征量和所述第二圖像區(qū)域的顏色的特征量，來校正所述第一圖像區(qū)域的顏色。
2. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所述校正器基于所述第一和第二圖像區(qū)域的色度值，來校正所述第一圖像區(qū)域的色度值。
3. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所述校正器基于所述第一和第二圖像區(qū)域的亮度和色度值，來校正所述第一圖像區(qū)域的亮度和色度值。
4. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所述第二圖像區(qū)域是眼白部分。
5. 根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其特征在于，所述校正器將所述第一圖像區(qū)域的色度值校正為接近所述眼白部分的色度值。
6. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所述第二圖像區(qū)域是皮膚部分。
7. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，還包括判斷器，用于基于所述第一圖像區(qū)域的顏色的所述特征量和所述第二圖像區(qū)域的顏色的所述特征量，來判斷是否執(zhí)行所述校正器的處理。
8. —種圖像處理方法，包括以下步驟從圖像檢測(cè)與牙齒相對(duì)應(yīng)的第一圖像區(qū)域；從所述圖傳j全測(cè)與所述牙齒以外的臉部部位相對(duì)應(yīng)的第 二圖像區(qū)域；以及基于所述第 一 圖像區(qū)域的顏色的特征量和所述第二圖像 區(qū)域的顏色的特征量，來校正所述第一圖像區(qū)域的顏色。
全文摘要
本發(fā)明提供了一種圖像處理設(shè)備及其方法。校正牙齒圖像區(qū)域的顏色，以使不形成不自然的臉部圖像。為此目的，從圖像檢測(cè)與牙齒相對(duì)應(yīng)的第一圖像區(qū)域。從該圖像檢測(cè)與牙齒以外的臉部部位相對(duì)應(yīng)的第二圖像區(qū)域。然后，基于第一和第二圖像區(qū)域的顏色的特征量，來校正第一圖像區(qū)域的顏色。
文檔編號(hào)G06T5/00GK101206761SQ200710161070
公開日2008年6月25日 申請(qǐng)日期2007年12月24日 優(yōu)先權(quán)日2006年12月22日
發(fā)明者佐川直嗣 申請(qǐng)人:佳能株式會(huì)社