專利名稱：圖像處理方法和設(shè)備、攝像設(shè)備以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種可校正在閃光拍攝時(shí)出現(xiàn)的表現(xiàn)為紅眼的不良瞳孔色調(diào)質(zhì)量的圖像處理設(shè)備和方法。
背景技術(shù)：
作為傳統(tǒng)上已知的一種現(xiàn)象，當(dāng)在使用閃光照射的同時(shí)用例如照相機(jī)等的攝像設(shè)備拍攝例如在暗處的人等被攝體時(shí)，由于被攝體的視網(wǎng)膜反射的原因而出現(xiàn)不良瞳孔色調(diào)質(zhì)量，因此瞳孔被拍攝為紅色或者金色。
作為不良瞳孔色調(diào)質(zhì)量校正方法，提出了一種使操作者指定圖像中的紅眼區(qū)域、根據(jù)在紅眼區(qū)域中的位置來(lái)改變紅眼區(qū)域中的數(shù)據(jù)校正量的方法(例如，日本特開2000-134486號(hào)公報(bào))。提出了另一種方法，其中顯示所拍攝圖像、手動(dòng)地指定圖像中包括眼睛的預(yù)定區(qū)域、從所指定的區(qū)域中提取紅眼或者金眼并且校正所提取的紅眼或者金眼(例如，日本特開2001-61071號(hào)公報(bào))。
然而，在這些現(xiàn)有技術(shù)中，校正區(qū)域的圖像可能不自然。此外，由于需要指定區(qū)域，因此操作者的操作很煩雜。
本發(fā)明的一個(gè)目的是提供一種校正方法，通過(guò)該方法可容易地將上述在閃光拍攝時(shí)所出現(xiàn)的例如紅眼或金眼等不良瞳孔色調(diào)質(zhì)量校正為更自然的瞳孔圖像而沒有任何不良瞳孔色調(diào)質(zhì)量。
傳統(tǒng)上，還提出了設(shè)置眼神光(catch light)以產(chǎn)生更自然的圖像的圖像處理設(shè)備(例如，日本特開平10-91761號(hào)和10-75374號(hào)公報(bào))。
在日本特開平10-91761號(hào)公報(bào)中，指定拍攝圖像的紅眼部分，在所指定的紅眼部分中指定眼神光的位置。操作者手動(dòng)地進(jìn)行眼睛區(qū)域和眼神光的位置的指定。
在日本特開平10-75374號(hào)公報(bào)中，當(dāng)操作者指定包括眼睛區(qū)域的區(qū)域時(shí)，從所指定的區(qū)域中提取眼睛區(qū)域，并判斷所提取的眼睛區(qū)域中的眼神光。如果眼神光弱，則增強(qiáng)眼神光。操作者手動(dòng)地進(jìn)行包括眼睛區(qū)域的區(qū)域的指定。
然而，在這些現(xiàn)有技術(shù)中，由于操作者在眼神光設(shè)置中手動(dòng)地指定圖像中的臉/眼睛區(qū)域或者眼神光位置/大小，因此操作者的操作很煩雜。圖像校正的精確度很大程度上取決于操作者的操作。
本發(fā)明的另一個(gè)目的是容易地設(shè)置合適的眼神光。

發(fā)明內(nèi)容
為了達(dá)到本發(fā)明的目的，例如，本發(fā)明的圖像處理方法包括如下配置。
即，一種圖像處理方法，其特征在于，包括輸入步驟，用于輸入圖像；不良瞳孔色調(diào)質(zhì)量區(qū)域提取步驟，用于從圖像中提取不良瞳孔色調(diào)質(zhì)量區(qū)域；高亮度區(qū)域提取步驟，用于從不良瞳孔色調(diào)質(zhì)量區(qū)域中提取高亮度區(qū)域；紅眼區(qū)域校正步驟，用于將從不良瞳孔色調(diào)質(zhì)量區(qū)域中去除高亮度區(qū)域而獲得區(qū)域確定為紅眼區(qū)域，并校正該紅眼區(qū)域；以及高亮度區(qū)域校正步驟，用于通過(guò)使用與紅眼區(qū)域校正步驟中的方法不同的方法來(lái)校正高亮度區(qū)域。
為了達(dá)到本發(fā)明的目的，例如，本發(fā)明的圖像處理方法包括如下配置。
即，一種圖像處理方法，其特征在于，包括
眼睛區(qū)域提取步驟，用于從包括眼睛的圖像中提取眼睛區(qū)域；中心確定步驟，用于確定眼睛的中心；低亮度像素提取步驟，用于從眼睛區(qū)域中提取亮度不大于預(yù)定閾值的低亮度像素；形狀判斷步驟，用于判斷所提取的低亮度像素的連續(xù)部分是否具有第一預(yù)定形狀；位置判斷步驟，用于當(dāng)連續(xù)部分具有第一預(yù)定形狀時(shí)，判斷眼睛的中心是否位于相對(duì)于連續(xù)部分的預(yù)定位置；以及瞳孔區(qū)域提取步驟，用于當(dāng)眼睛的中心位于預(yù)定位置時(shí)，提取具有由連續(xù)部分的形狀所確定的第二預(yù)定形狀的區(qū)域作為眼睛的瞳孔區(qū)域。
為了達(dá)到本發(fā)明的目的，例如，本發(fā)明的圖像處理設(shè)備包括如下配置。
即，一種圖像處理設(shè)備，其特征在于，包括輸入裝置，用于輸入圖像；不良瞳孔色調(diào)質(zhì)量區(qū)域提取裝置，用于從圖像中提取不良瞳孔色調(diào)質(zhì)量區(qū)域；高亮度區(qū)域提取裝置，用于從所提取的不良瞳孔色調(diào)質(zhì)量區(qū)域中提取高亮度區(qū)域；紅眼區(qū)域校正裝置，用于將從不良瞳孔色調(diào)質(zhì)量區(qū)域中去除高亮度區(qū)域而獲得區(qū)域確定為紅眼區(qū)域，并校正該紅眼區(qū)域；以及高亮度區(qū)域校正裝置，用于通過(guò)使用與紅眼區(qū)域校正裝置中的方法不同的方法來(lái)校正高亮度區(qū)域。
為了達(dá)到本發(fā)明的目的，例如，本發(fā)明的圖像處理設(shè)備包括如下配置。
即，一種圖像處理設(shè)備，其特征在于，包括
眼睛區(qū)域提取裝置，用于從包括眼睛的圖像中提取眼睛區(qū)域；中心確定裝置，用于確定眼睛的中心；低亮度像素提取裝置，用于從眼睛區(qū)域中提取亮度不大于預(yù)定閾值的低亮度像素；形狀判斷裝置，用于判斷所提取的低亮度像素的連續(xù)部分是否具有第一預(yù)定形狀；位置判斷裝置，用于當(dāng)連續(xù)部分具有第一預(yù)定形狀時(shí)，判斷眼睛的中心是否位于相對(duì)于連續(xù)部分的預(yù)定位置；以及瞳孔區(qū)域提取裝置，用于當(dāng)眼睛的中心位于預(yù)定位置時(shí)，提取具有由連續(xù)部分的形狀所確定的第二預(yù)定形狀的區(qū)域作為眼睛的瞳孔區(qū)域。
為了達(dá)到本發(fā)明的目的，例如，本發(fā)明的攝像設(shè)備包括如下配置。
即，一種攝像設(shè)備，其特征在于，包括圖像產(chǎn)生裝置，用于產(chǎn)生被攝體圖像；以及根據(jù)權(quán)利要求31或32所述的圖像處理設(shè)備，其中，圖像處理設(shè)備校正圖像產(chǎn)生裝置所產(chǎn)生的被攝體圖像中的不良瞳孔色調(diào)質(zhì)量。
為了達(dá)到本發(fā)明的目的，例如，本發(fā)明的圖像處理方法包括如下配置。
即，一種圖像處理方法，其特征在于，包括輸入步驟，用于輸入圖像；臉部圖像產(chǎn)生參數(shù)提取步驟，用于通過(guò)分析輸入圖像來(lái)提取預(yù)定的臉部圖像產(chǎn)生參數(shù)；以及眼神光設(shè)置步驟，用于基于在臉部圖像產(chǎn)生參數(shù)提取步驟中提取的參數(shù)來(lái)設(shè)置圖像中的眼神光。
為了達(dá)到本發(fā)明的目的，例如，本發(fā)明的圖像處理設(shè)備包括如下配置。
即，一種圖像處理設(shè)備，其特征在于，包括輸入裝置，用于輸入圖像；臉部圖像產(chǎn)生參數(shù)提取裝置，用于通過(guò)分析輸入圖像來(lái)提取預(yù)定的臉部圖像產(chǎn)生參數(shù)；以及眼神光設(shè)置裝置，用于基于臉部圖像產(chǎn)生參數(shù)提取裝置所提取的參數(shù)來(lái)設(shè)置圖像中的眼神光。
為了達(dá)到本發(fā)明的目的，例如，本發(fā)明的攝像設(shè)備包括如下配置。
即，一種攝像設(shè)備，其特征在于，包括攝像裝置；以及根據(jù)權(quán)利要求49所述的圖像處理設(shè)備，其中，圖像處理設(shè)備在由攝像裝置拍攝的圖像中設(shè)置眼神光。
從以下結(jié)合附圖的說(shuō)明，本發(fā)明的其它特征和優(yōu)點(diǎn)將更加明顯，在附圖的全部圖中，相同的附圖標(biāo)記表示相同或者類似的部分。


包含在說(shuō)明書中并構(gòu)成說(shuō)明書的一部分的附圖示出本發(fā)明的實(shí)施例，與說(shuō)明書一起用于說(shuō)明本發(fā)明的原理。
圖1是示出根據(jù)第一實(shí)施例的圖像處理設(shè)備的功能性配置的框圖；圖2是示出根據(jù)第一實(shí)施例的處理過(guò)程的流程圖；圖3是示出不良瞳孔色調(diào)質(zhì)量校正處理過(guò)程的流程圖；圖4是示出不良瞳孔色調(diào)質(zhì)量區(qū)域提取處理過(guò)程的流程圖；圖5A和5B是示出低亮度區(qū)域提取結(jié)果的視圖；圖6是示出攝像設(shè)備的配置的框圖；
圖7是示出圖像處理設(shè)備的硬件結(jié)構(gòu)的框圖；圖8是示出根據(jù)第三實(shí)施例的圖像處理設(shè)備的功能性配置的框圖；圖9是示出臉部圖像產(chǎn)生參數(shù)提取單元的詳細(xì)配置的框圖；圖10是示出眼睛區(qū)域中的白眼、虹膜和瞳孔區(qū)域的視圖；圖11是示出使用卷積神經(jīng)網(wǎng)絡(luò)所檢測(cè)到的臉部、眼睛和嘴的檢測(cè)位置的視圖；圖12是示出臉部朝前時(shí)左眼、右眼和嘴的檢測(cè)位置之間的距離的視圖；圖13是示出臉部轉(zhuǎn)向左側(cè)時(shí)左眼、右眼和嘴的檢測(cè)位置之間的距離的視圖；圖14是示出二值化之后眼睛區(qū)域附近的二值化圖像的視圖；圖15是示出眼睛區(qū)域的橫向頻率分布圖的曲線圖；圖16是示出眼睛區(qū)域的縱向頻率分布圖的曲線圖；圖17是示出臉部朝前時(shí)眼睛區(qū)域的橫向頻率分布圖的曲線圖；圖18是示出臉部朝前時(shí)眼睛區(qū)域的縱向頻率分布圖的曲線圖；圖19是示出瞳孔/虹膜區(qū)域沿橫向移動(dòng)時(shí)眼睛區(qū)域的橫向頻率分布圖的曲線圖；圖20是示出瞳孔/虹膜區(qū)域沿橫向移動(dòng)時(shí)眼睛區(qū)域的縱向頻率分布圖的曲線圖；圖21是示出瞳孔/虹膜區(qū)域向上移動(dòng)時(shí)眼睛區(qū)域的橫向頻率分布圖的曲線圖；圖22是示出瞳孔/虹膜區(qū)域向上移動(dòng)時(shí)眼睛區(qū)域的縱向頻率分布圖的曲線圖；圖23是示出眼神光設(shè)置單元的詳細(xì)配置的框圖；
圖24是示出眼睛區(qū)域的橫向頻率分布圖和眼神光大小之間的關(guān)系的曲線圖；圖25是示出臉部在水平平面內(nèi)向左轉(zhuǎn)(繞z軸轉(zhuǎn)動(dòng))并且視線朝前的情況的視圖；圖26是示出臉部方向在水平平面內(nèi)從朝前轉(zhuǎn)到朝左時(shí)的眼神光位置矢量的視圖；圖27是示出根據(jù)第三實(shí)施例的整體處理過(guò)程的流程圖；圖28是示出根據(jù)第四實(shí)施例的圖像處理設(shè)備的功能性配置的框圖；圖29是示出在顏色缺陷檢測(cè)/校正處理之后執(zhí)行眼神光設(shè)置的處理過(guò)程的流程圖；圖30是示出根據(jù)第五實(shí)施例的攝像設(shè)備的功能性配置的框圖；圖31是示出攝像單元的詳細(xì)配置的框圖；圖32是示出圖像處理單元的詳細(xì)配置的框圖；圖33是示出存在顏色缺陷時(shí)包括具有預(yù)定值或更大值的明度區(qū)域和瞳孔/虹膜區(qū)域的眼睛區(qū)域視圖；圖34是示出在瞳孔/虹膜區(qū)域中所希望的眼神光大小和檢測(cè)到的具有預(yù)定值的明度的視圖；圖35是示出根據(jù)第五實(shí)施例的圖像處理單元的處理過(guò)程的流程圖；圖36是示出根據(jù)第六實(shí)施例的攝像設(shè)備的功能性配置的框圖；圖37是示出根據(jù)第六實(shí)施例的處理過(guò)程的流程圖；圖38是示出根據(jù)第七實(shí)施例的圖像處理設(shè)備的功能性配置的框圖；圖39是示出根據(jù)第七實(shí)施例的處理過(guò)程的流程圖；
圖40是示出根據(jù)第八實(shí)施例的圖像處理設(shè)備的功能性配置的框圖；圖41是示出根據(jù)第八實(shí)施例的處理過(guò)程的流程圖；圖42是示出根據(jù)第九實(shí)施例的圖像處理設(shè)備的功能性配置的框圖；以及圖43是示出根據(jù)第九實(shí)施例的處理過(guò)程的流程圖。
具體實(shí)施例方式
現(xiàn)在，根據(jù)附圖詳細(xì)說(shuō)明本發(fā)明的優(yōu)選實(shí)施例。
第一實(shí)施例作為第一實(shí)施例，說(shuō)明一種圖像處理設(shè)備，其接收包含具有不良瞳孔色調(diào)質(zhì)量的人臉的圖像作為輸入圖像數(shù)據(jù)并校正圖像中的不良瞳孔色調(diào)質(zhì)量。在本實(shí)施例中，人的瞳孔作為不良瞳孔色調(diào)質(zhì)量校正目標(biāo)被處理。然而，該不良瞳孔色調(diào)質(zhì)量校正方法不僅可以應(yīng)用于人，還可以應(yīng)用于例如狗等的動(dòng)物。
圖1示出根據(jù)本實(shí)施例的圖像處理設(shè)備的功能性配置。圖2是不良瞳孔色調(diào)質(zhì)量校正處理的流程圖。參考圖1和2說(shuō)明根據(jù)本實(shí)施例的不良瞳孔色調(diào)質(zhì)量校正處理的概要。
圖像輸入單元10是用于輸入作為不良瞳孔色調(diào)質(zhì)量校正目標(biāo)的圖像的模塊。圖像輸入單元10輸入圖像數(shù)據(jù)(步驟S20)。不良瞳孔色調(diào)質(zhì)量區(qū)域提取單元11提取輸入圖像中的不良瞳孔色調(diào)質(zhì)量區(qū)域(步驟S21)。高亮度區(qū)域提取單元12從不良瞳孔色調(diào)質(zhì)量區(qū)域提取單元11所提取的不良瞳孔色調(diào)質(zhì)量區(qū)域中提取具有預(yù)定亮度值或更大亮度值的像素，從而提取不良瞳孔色調(diào)質(zhì)量區(qū)域中的高亮度區(qū)域(步驟S22)。
紅眼區(qū)域提取單元13是用于提取要作為紅眼區(qū)域被校正的區(qū)域的模塊。紅眼區(qū)域提取單元13從不良瞳孔色調(diào)質(zhì)量區(qū)域提取單元11所提取的不良瞳孔色調(diào)質(zhì)量區(qū)域中提取除了由高亮度區(qū)域提取單元12所提取的高亮度區(qū)域之外的區(qū)域作為紅眼區(qū)域(步驟S23)。
紅眼校正處理單元14是用于校正由紅眼區(qū)域提取單元13所提取的紅眼區(qū)域的模塊。紅眼校正處理單元14對(duì)由紅眼區(qū)域提取單元13所提取的紅眼區(qū)域中的輸入圖像的每一個(gè)像素執(zhí)行預(yù)定校正(步驟S24)。
高亮度區(qū)域校正處理單元15是用于校正由高亮度區(qū)域提取單元12所提取的高亮度區(qū)域的模塊。高亮度區(qū)域校正處理單元15對(duì)高亮度區(qū)域中的輸入圖像的每一個(gè)像素執(zhí)行與紅眼校正處理單元14所執(zhí)行的預(yù)定校正不同的預(yù)定校正(步驟S25)。通過(guò)該校正，可以將紅眼或金眼等不良瞳孔色調(diào)質(zhì)量校正為沒有任何不良瞳孔色調(diào)質(zhì)量的更自然的瞳孔圖像。
圖3是示出校正圖像中的人的瞳孔的不良瞳孔色調(diào)質(zhì)量的詳細(xì)處理過(guò)程的流程圖。下面參考圖3詳細(xì)說(shuō)明不良瞳孔色調(diào)質(zhì)量校正方法。
在圖像輸入(步驟S300)中，輸入要進(jìn)行不良瞳孔色調(diào)質(zhì)量校正的圖像數(shù)據(jù)。在圖像顯示(步驟S301)中，將輸入圖像數(shù)據(jù)顯示為圖像。
在眼睛區(qū)域提取(步驟S302)中，從所顯示的圖像中提取粗略的眼睛區(qū)域?？梢允褂美缰甘狙b置來(lái)手動(dòng)地指定眼睛區(qū)域。作為選擇，可以使用模板匹配等已知的模式識(shí)別技術(shù)自動(dòng)從輸入圖像中提取眼睛區(qū)域。在本實(shí)施例中，將指示裝置從瞳孔附近拖動(dòng)到眼睛外的點(diǎn)，從而提取包含眼睛并使其中心位于瞳孔附近的圓形或橢圓形區(qū)域作為眼睛區(qū)域。這里所提取的眼睛區(qū)域是后續(xù)校正處理的目標(biāo)區(qū)域。
在不良瞳孔色調(diào)質(zhì)量區(qū)域提取(步驟S303)中，從所提取的眼睛區(qū)域中提取不良瞳孔色調(diào)質(zhì)量區(qū)域。在本例子中，提取出現(xiàn)作為典型的不良瞳孔色調(diào)質(zhì)量的紅眼或金眼的區(qū)域。圖4是示出根據(jù)本實(shí)施例的不良瞳孔色調(diào)質(zhì)量區(qū)域提取處理過(guò)程的流程圖。下面參考圖4說(shuō)明根據(jù)本實(shí)施例的不良瞳孔色調(diào)質(zhì)量區(qū)域提取。
在最小亮度值檢測(cè)(步驟S3030)中，檢測(cè)眼睛區(qū)域中像素的亮度值的最小值Vmin。在初始閾值設(shè)置(步驟S3031)中，根據(jù)在最小亮度值檢測(cè)(步驟S3030)中檢測(cè)到的最小亮度值來(lái)確定在接下來(lái)的低亮度區(qū)域提取(步驟S3032)中的閾值處理要使用的初始閾值P_Th。將初始閾值P_Th設(shè)置為例如P_Th＝Vmin+b或者P_Th＝η×Vmin(b和η是正的常數(shù))。預(yù)先設(shè)置常數(shù)b或η。在最初的低亮度區(qū)域提取(步驟S3032)中提取的低亮度區(qū)域優(yōu)選為小。因此，將b或η設(shè)置得相對(duì)小。
在低亮度區(qū)域提取(步驟S3032)中，執(zhí)行低亮度區(qū)域提取，其中，使用在初始閾值設(shè)置(步驟S3031)或者在稍后說(shuō)明的閾值再設(shè)置(步驟S3034)中設(shè)置的閾值來(lái)提取亮度值等于或小于該閾值的像素。
在環(huán)狀判斷分支(步驟S3033)中，判斷在低亮度區(qū)域提取(步驟S3032)中從眼睛區(qū)域提取的低亮度區(qū)域中是否包括環(huán)狀區(qū)域。該處理流程根據(jù)該判斷的結(jié)果而分支。所提取的區(qū)域是環(huán)狀表示所提取的區(qū)域具有圖5A或5B所示的白色區(qū)域的形狀。以下將該形狀簡(jiǎn)稱為環(huán)。
圖5A或5B中灰色的圓50表示在上述眼睛區(qū)域提取(步驟S302)中所選擇的眼睛區(qū)域的外周。白色區(qū)域51表示在低亮度區(qū)域提取(步驟S3032)中提取的眼睛區(qū)域中的低亮度區(qū)域。圖5A或5B中的叉號(hào)52表示指定為瞳孔附近的位置，即在眼睛區(qū)域提取(步驟S302)中所指定的瞳孔附近(指示裝置的拖動(dòng)開始點(diǎn))。以下將這個(gè)點(diǎn)簡(jiǎn)稱為瞳孔附近點(diǎn)。
將黑色區(qū)域53稱為環(huán)內(nèi)區(qū)域(稍后說(shuō)明)。在該環(huán)狀判斷分支(步驟S3033)中，如果不存在環(huán)，則該流程前進(jìn)到閾值再設(shè)置(步驟S3034)。如果存在環(huán)，則該流程前進(jìn)到環(huán)內(nèi)瞳孔判斷分支(步驟S3035)。
下面說(shuō)明在環(huán)狀判斷分支(步驟S3033)中判斷是否存在環(huán)的方法。對(duì)于除了作為低亮度區(qū)域所提取的像素之外的非低亮度像素，對(duì)全部的連續(xù)像素即連續(xù)部分分配相同的標(biāo)簽，對(duì)不同的連續(xù)部分分配不同的標(biāo)簽。通過(guò)這種所謂的標(biāo)簽化處理，提取低亮度區(qū)域。在標(biāo)簽化的連續(xù)部分中，檢測(cè)由低亮度區(qū)域整體圍繞的連續(xù)部分。如果檢測(cè)到由低亮度區(qū)域整體圍繞的這種連續(xù)部分，則存在環(huán)。如果沒有檢測(cè)到這種連續(xù)部分，則不存在環(huán)。以這種方式來(lái)判斷是否存在環(huán)。在由低亮度區(qū)域整體圍繞的連續(xù)部分中，可以忽略面積小于預(yù)定值的部分?？梢允褂妙A(yù)先設(shè)置的常數(shù)作為預(yù)定面積。作為選擇，可以使用與在眼睛區(qū)域提取(步驟S302)中所選擇的眼睛區(qū)域的面積成比例的值。在本實(shí)施例中，通過(guò)上述處理來(lái)判斷是否存在環(huán)。然而，本發(fā)明不特定地局限于此，可以使用任何其它方法。
如果在環(huán)狀判斷分支(步驟S3033)中判斷為不存在環(huán)，則該流程前進(jìn)到閾值再設(shè)置(步驟S3034)從而再次設(shè)置要在低亮度區(qū)域提取(步驟S3032)中使用的閾值。在閾值再設(shè)置(步驟S3034)中，再次設(shè)置閾值使得要提取的、作為低亮度區(qū)域的像素?cái)?shù)大于剛在之前的低亮度區(qū)域提取(步驟S3032)中所使用的閾值的像素?cái)?shù)。例如，假設(shè)Th_Old是剛在之前的低亮度區(qū)域提取(步驟S3032)中所使用的閾值，Th_New是要再次設(shè)置的閾值。將閾值再次設(shè)置為Th_New＝Th_Old+Δb或者Th_New＝Δη×Th_Old(Δb和Δη是正的常數(shù))。當(dāng)再次設(shè)置閾值并且低亮度區(qū)域提取(步驟S3032)和環(huán)狀判斷分支(步驟S3033)循環(huán)時(shí)，可以提取適當(dāng)?shù)牡土炼葏^(qū)域。
如果在環(huán)狀判斷分支(步驟S3033)中檢測(cè)到了環(huán)，則該流程前進(jìn)到環(huán)內(nèi)瞳孔判斷分支(步驟S3035)。對(duì)在環(huán)狀判斷分支(步驟S3033)中檢測(cè)到的每一個(gè)環(huán)判斷在環(huán)內(nèi)區(qū)域是否存在瞳孔附近點(diǎn)。根據(jù)結(jié)果該處理流程分支。環(huán)內(nèi)區(qū)域?qū)?yīng)于環(huán)狀判斷分支(步驟S3033)中標(biāo)簽化的連續(xù)部分。即，環(huán)內(nèi)區(qū)域表示與環(huán)的內(nèi)側(cè)相接觸地存在的低亮度區(qū)域。如果在該區(qū)域中存在瞳孔附近點(diǎn)，則該處理前進(jìn)到不良瞳孔色調(diào)質(zhì)量候選區(qū)域確定(步驟S3036)。如果不存在瞳孔附近點(diǎn)，則該流程返回到閾值再設(shè)置(步驟S3034)以執(zhí)行循環(huán)處理。以下將在這里判斷為在其內(nèi)部區(qū)域中具有瞳孔附近點(diǎn)的環(huán)稱為候選環(huán)。
在不良瞳孔色調(diào)質(zhì)量候選區(qū)域確定(步驟S3036)中，確定要進(jìn)行下一個(gè)處理，即特定色調(diào)像素提取(步驟S3037)和特定亮度像素提取(步驟S3038)的不良瞳孔色調(diào)質(zhì)量候選區(qū)域。將包含與候選環(huán)的內(nèi)側(cè)相接觸的低亮度區(qū)域的區(qū)域設(shè)置為初始計(jì)數(shù)區(qū)域。對(duì)在初始計(jì)數(shù)區(qū)域中的低亮度區(qū)域提取(步驟S3032)中所提取的低亮度像素的數(shù)量進(jìn)行計(jì)數(shù)。此外，計(jì)算該區(qū)域的圓形度水平。
逐漸延伸候選環(huán)的連續(xù)部分，即計(jì)數(shù)區(qū)域的外周，而不跨過(guò)低亮度像素區(qū)域。對(duì)每一次延伸，計(jì)算低亮度像素的數(shù)量和圓形度水平。假設(shè)S是計(jì)數(shù)區(qū)域的面積，L是該計(jì)數(shù)區(qū)域的外周長(zhǎng)度，則用S/L2來(lái)計(jì)算圓形度水平。圓形度水平的計(jì)算方法不特定地局限于此，對(duì)于光滑的外周，可以使用能夠獲得高圓形度水平的任何其它方法。以預(yù)先確定的適當(dāng)權(quán)重來(lái)評(píng)價(jià)低亮度像素的數(shù)量和圓形度水平。將對(duì)應(yīng)于最大評(píng)價(jià)值的計(jì)數(shù)區(qū)域判斷為不良瞳孔色調(diào)質(zhì)量候選區(qū)域。
通過(guò)上述處理，可以提取與粗略的瞳孔區(qū)域匹配并且不包含白眼部分或者眼瞼的肉色部分的區(qū)域作為不良瞳孔色調(diào)質(zhì)量候選區(qū)域。當(dāng)延伸計(jì)數(shù)區(qū)域的外周而不跨過(guò)低亮度區(qū)域時(shí)，與具有瞳孔附近點(diǎn)的環(huán)內(nèi)區(qū)域不同的環(huán)內(nèi)區(qū)域在處理中可能引起問(wèn)題。忽略這種區(qū)域，或者預(yù)先將其定義為低亮度像素。通過(guò)上述處理，可以確定不包含白眼部分或者肉色部分的不良瞳孔色調(diào)質(zhì)量候選。可以使用能夠確定這種適當(dāng)區(qū)域的任何其它方法。
接下來(lái)，在特定色調(diào)像素提取(步驟S3037)和特定亮度像素提取(步驟S3038)中，提取在不良瞳孔色調(diào)質(zhì)量候選區(qū)域確定(步驟S3036)中所確定的不良瞳孔色調(diào)質(zhì)量候選區(qū)域中的不良瞳孔色調(diào)質(zhì)量像素。在特定色調(diào)像素提取(步驟S3037)中，提取色調(diào)落入紅眼所特有的色調(diào)范圍內(nèi)，即色調(diào)接近于紅的像素作為紅眼像素。在特定亮度像素提取(步驟S3038)中，提取金眼特有的亮度，即亮度值高于可被識(shí)別為黑眼的亮度值上限的像素作為高亮度像素。
在本實(shí)施例中，通過(guò)上述方法來(lái)提取不良瞳孔色調(diào)質(zhì)量像素?？梢酝ㄟ^(guò)使用不良瞳孔色調(diào)質(zhì)量像素所特有的例如色調(diào)、彩度或者明度等成分來(lái)提取不良瞳孔色調(diào)質(zhì)量像素?？梢允褂迷诒景l(fā)明的背景技術(shù)中描述的專利參考文獻(xiàn)2中所公開的方法，即，將每一個(gè)像素的紅色和綠色成分的色度與預(yù)定區(qū)域中的平均色度進(jìn)行比較的方法。
在不良瞳孔色調(diào)質(zhì)量區(qū)域確定(步驟S3039)中，確定要被校正的不良瞳孔色調(diào)質(zhì)量區(qū)域。設(shè)置具有最小面積且包含在特定色調(diào)像素提取(步驟S3037)和特定亮度像素提取(步驟S3038)中所提取的全部紅眼像素和高亮度像素的橢圓形或圓形區(qū)域。將小于在不良瞳孔色調(diào)質(zhì)量候選區(qū)域確定(步驟S3036)中所確定的不良瞳孔色調(diào)質(zhì)量候選區(qū)域的該橢圓形或圓形區(qū)域的范圍確定為不良瞳孔色調(diào)質(zhì)量區(qū)域。
如上所述，當(dāng)將橢圓形或圓形區(qū)域設(shè)置為校正目標(biāo)區(qū)域時(shí)，可以校正不良瞳孔色調(diào)質(zhì)量區(qū)域而沒有當(dāng)僅校正所提取的紅眼像素或者高亮度像素時(shí)所產(chǎn)生的任何的不相容的感覺(瞳孔內(nèi)的片圖案)。當(dāng)將橢圓形或圓形區(qū)域設(shè)置為校正區(qū)域時(shí)，校正區(qū)域可以延伸到白眼或眼瞼的肉色部分。然而，當(dāng)將小于在不良瞳孔色調(diào)質(zhì)量候選區(qū)域確定(步驟S3036)中所確定的不良瞳孔色調(diào)質(zhì)量候選區(qū)域的范圍設(shè)置為校正目標(biāo)時(shí)，可以防止錯(cuò)誤地校正白眼或肉色部分。
以上說(shuō)明了在不良瞳孔色調(diào)質(zhì)量區(qū)域提取(步驟S303)中的不良瞳孔色調(diào)質(zhì)量區(qū)域提取處理。在本實(shí)施例中，使用上述方法來(lái)提取不良瞳孔色調(diào)質(zhì)量區(qū)域?？梢允褂媚軌蛱崛〔涣纪咨{(diào)質(zhì)量區(qū)域的任何其它方法。
當(dāng)執(zhí)行不良瞳孔色調(diào)質(zhì)量區(qū)域提取(步驟S303)時(shí)，該流程前進(jìn)到高亮度區(qū)域提取(步驟S304)。在該處理中，提取與不良瞳孔色調(diào)質(zhì)量區(qū)域中的金眼或眼神光相對(duì)應(yīng)的高亮度區(qū)域。對(duì)于該高亮度區(qū)域提取，可以直接使用不良瞳孔色調(diào)質(zhì)量區(qū)域提取(步驟S303)中的特定亮度像素提取(步驟S3038)中的處理結(jié)果。作為選擇，可以使用新的設(shè)置值來(lái)提取高亮度像素。從而提取所提取的高亮度像素作為高亮度區(qū)域。
在紅眼區(qū)域確定(步驟S305)中，確定作為紅眼要被校正的紅眼區(qū)域。將從在不良瞳孔色調(diào)質(zhì)量區(qū)域提取(步驟S303)中提取的不良瞳孔色調(diào)質(zhì)量區(qū)域中去除在高亮度區(qū)域提取(步驟S304)中所提取的高亮度區(qū)域而獲得的區(qū)域確定為紅眼區(qū)域。
對(duì)確定為紅眼區(qū)域的區(qū)域中的像素進(jìn)行紅眼校正處理(步驟S306)。在本實(shí)施例中，作為紅眼校正處理，簡(jiǎn)單地減小亮度和彩度。作為選擇，可以通過(guò)例如以下的方法來(lái)消除紅眼中的紅色成分分析從在不良瞳孔色調(diào)質(zhì)量候選區(qū)域確定(步驟S3036)中提取的不良瞳孔色調(diào)質(zhì)量候選區(qū)域中去除在不良瞳孔色調(diào)質(zhì)量區(qū)域提取(步驟S303)中所提取的不良瞳孔色調(diào)質(zhì)量區(qū)域而獲得的區(qū)域，提取包括區(qū)域的平均色調(diào)、彩度、明度或色度的校正參數(shù)，校正該區(qū)域使得要校正的每一個(gè)像素的參數(shù)基本等于所提取的參數(shù)?？梢允褂媚軌驁?zhí)行校正從而獲得黑色眼睛的適當(dāng)顏色或亮度的任何其它方法。
通過(guò)上述處理，紅眼校正結(jié)束。當(dāng)隨后對(duì)在高亮度區(qū)域提取(步驟S304)中提取的高亮度區(qū)域執(zhí)行與紅眼校正不同的校正處理時(shí)，可以執(zhí)行更自然的校正。下面說(shuō)明對(duì)高亮度區(qū)域的后續(xù)校正處理。
在高亮度區(qū)域面積計(jì)算(步驟S307)中，對(duì)在高亮度區(qū)域提取(步驟S304)中提取的高亮度區(qū)域執(zhí)行在環(huán)狀判斷分支(步驟S3033)中所說(shuō)明的標(biāo)簽化處理，從而計(jì)算全部連續(xù)部分中的每一個(gè)的面積。
在面積判斷分支(步驟S308)中，判斷每一個(gè)連續(xù)部分的面積是否是預(yù)定值或更大值。對(duì)于每一個(gè)連續(xù)部分，該處理流程分支。預(yù)定的面積值可以是預(yù)定常數(shù)。優(yōu)選地使用與在不良瞳孔色調(diào)質(zhì)量區(qū)域提取(步驟S303)中的不良瞳孔色調(diào)質(zhì)量候選區(qū)域確定(步驟S3036)中確定的不良瞳孔色調(diào)質(zhì)量候選區(qū)域的面積成比例的值，即粗略瞳孔的面積作為預(yù)定值。例如，將這里使用的預(yù)定面積值設(shè)置為不良瞳孔色調(diào)質(zhì)量候選區(qū)域的面積(即瞳孔面積)的約10％。
在面積判斷分支(步驟S308)中，對(duì)于高亮度區(qū)域面積是預(yù)定值或更小值的連續(xù)部分，該流程前進(jìn)到眼神光區(qū)域確定(步驟S314)。對(duì)于高亮度區(qū)域面積是預(yù)定值或更大值的連續(xù)部分，判斷為產(chǎn)生金眼，該流程進(jìn)行到高亮度區(qū)域內(nèi)部最大亮度像素檢測(cè)(步驟S309)。
首先，說(shuō)明對(duì)判斷為高亮度區(qū)域面積是預(yù)定值或更小值的連續(xù)部分的處理，即直接前進(jìn)到眼神光區(qū)域確定(步驟S314)的處理。在眼神光區(qū)域確定(步驟S314)中，簡(jiǎn)單地將判斷為高亮度區(qū)域面積是預(yù)定值或更小值的連續(xù)部分的區(qū)域確定為眼神光區(qū)域。
對(duì)確定為眼神光區(qū)域的區(qū)域進(jìn)行眼神光校正處理(步驟S313)。在本實(shí)施例中，通過(guò)簡(jiǎn)單地減小彩度來(lái)進(jìn)行眼神光校正處理。通過(guò)該處理，可以在將眼神光保持在自然位置的同時(shí)校正不良瞳孔色調(diào)質(zhì)量。在本實(shí)施例中，僅進(jìn)行彩度減小。然而，可以使用能夠保證自然的眼神光區(qū)域的其它任何校正方法。
對(duì)于判斷為高亮度區(qū)域面積是預(yù)定值或更大值的連續(xù)部分，在高亮度區(qū)域內(nèi)部最大亮度像素檢測(cè)(步驟S309)中檢測(cè)在連續(xù)部分中具有最大亮度值的像素。在眼神光區(qū)域確定(步驟S310)中，將具有預(yù)定形狀并且將在高亮度區(qū)域內(nèi)部最大亮度像素檢測(cè)(步驟S309)中檢測(cè)到的最大亮度值的像素作為中心的區(qū)域確定為眼神光區(qū)域。
在本實(shí)施例中，使用面積與在不良瞳孔色調(diào)質(zhì)量區(qū)域提取(步驟S303)中的不良瞳孔色調(diào)質(zhì)量候選區(qū)域確定(步驟S3036)所確定的不良瞳孔色調(diào)質(zhì)量區(qū)域的面積成比例、例如面積為約5％的圓形，作為預(yù)定形狀。如果可以獲得自然的眼神光區(qū)域，則可以使用例如星形或具有預(yù)定面積的形狀的任何其它形狀作為預(yù)定形狀。
在金眼區(qū)域確定(步驟S311)中，將通過(guò)從連續(xù)部分中去除在眼神光區(qū)域確定(步驟S310)中所確定的眼神光區(qū)域而獲得的區(qū)域確定為金眼區(qū)域。對(duì)所確定的金眼區(qū)域中的像素進(jìn)行金眼校正處理(步驟S312)。執(zhí)行與在上述紅眼校正處理(步驟S306)中相同的處理，作為金眼校正處理。
最后，在眼神光校正處理(步驟S313)中，對(duì)在眼神光區(qū)域確定(步驟S310或S314)中所確定的眼神光區(qū)域中的像素進(jìn)行上述眼神光校正處理。
當(dāng)對(duì)全部連續(xù)部分執(zhí)行了上述對(duì)高亮度區(qū)域中的連續(xù)部分的校正處理時(shí)，高亮度區(qū)域校正處理結(jié)束。當(dāng)執(zhí)行直到紅眼校正處理(步驟S306)的處理和從高亮度區(qū)域面積計(jì)算(步驟S307)開始的處理時(shí)，該方法可以處理例如紅眼和金眼的各種不良瞳孔色調(diào)質(zhì)量，并可以執(zhí)行自然的不良瞳孔色調(diào)質(zhì)量校正。
在第一實(shí)施例中，說(shuō)明了以下方法的例子，即接收包含具有不良瞳孔色調(diào)質(zhì)量的人臉的圖像作為輸入圖像數(shù)據(jù)并且校正該圖像中的不良瞳孔色調(diào)質(zhì)量。
圖7是示出根據(jù)本實(shí)施例的圖像處理設(shè)備的硬件結(jié)構(gòu)的框圖。該圖像處理設(shè)備用作攝像設(shè)備的一部分，或者將其連續(xù)到攝像設(shè)備以執(zhí)行上述校正處理。
CPU 71控制整個(gè)設(shè)備，還通過(guò)使用存儲(chǔ)在ROM 72和RAM 73中的程序和數(shù)據(jù)來(lái)執(zhí)行稍后說(shuō)明的每一個(gè)處理。
ROM 72存儲(chǔ)引導(dǎo)程序和設(shè)備的設(shè)置數(shù)據(jù)。
RAM 73具有CPU 71執(zhí)行各種處理所需的工作區(qū)。RAM 73還具有臨時(shí)存儲(chǔ)從HDD 76加載的程序和數(shù)據(jù)的區(qū)。
鍵盤74是能夠?qū)?lái)自用戶的各種指令輸入到CPU 71的操作單元。還可以提供鼠標(biāo)等指示裝置。
CRT 75是能夠通過(guò)使用文本或圖像顯示CPU 71的處理結(jié)果的顯示裝置?？梢蕴峁┮壕э@示裝置來(lái)代替CRT 75。
硬盤驅(qū)動(dòng)裝置(HDD)76是外部大容量存儲(chǔ)裝置。HDD 76存儲(chǔ)OS(操作系統(tǒng)，Operating System)，或者使CPU 71實(shí)現(xiàn)圖1所示的單元的功能的程序和數(shù)據(jù)。在CPU 71的控制下將OS、該程序和數(shù)據(jù)中的部分或全部加載到RAM 73。HDD 76還存儲(chǔ)校正數(shù)據(jù)和模型數(shù)據(jù)。在CPU 71的控制下根據(jù)需要將校正數(shù)據(jù)和模型數(shù)據(jù)也加載到RAM 73?？梢蕴峁〤D或DVD驅(qū)動(dòng)裝置作為外部存儲(chǔ)裝置。
I/F 77是用于與外部裝置進(jìn)行數(shù)據(jù)通信的接口。例如，可以從連續(xù)到I/F 77的數(shù)字照相機(jī)輸入或者從計(jì)算機(jī)下載包含校正目標(biāo)的圖像數(shù)據(jù)。將該圖像數(shù)據(jù)臨時(shí)存儲(chǔ)在RAM 73中，由CPU 71處理。上述單元連續(xù)到總線78。
第二實(shí)施例在本發(fā)明的第二實(shí)施例中，說(shuō)明使本實(shí)施例的不良瞳孔色調(diào)質(zhì)量校正設(shè)備自動(dòng)校正所拍攝的圖像中人的不良瞳孔色調(diào)質(zhì)量并記錄該圖像的攝像設(shè)備。
圖6是示出根據(jù)本實(shí)施例的攝像設(shè)備的功能性配置的框圖。下面參考圖6詳細(xì)說(shuō)明根據(jù)第二實(shí)施例的攝像設(shè)備。
攝像光學(xué)系統(tǒng)60是包括鏡頭和光圈(stop)的光學(xué)系統(tǒng)，用于在光電轉(zhuǎn)換元件陣列61上形成被攝體的光學(xué)圖像。在光電轉(zhuǎn)換元件陣列61中，以二維陣列的形式排列例如CCD的光電轉(zhuǎn)換元件。將攝像光學(xué)系統(tǒng)60在光電轉(zhuǎn)換元件陣列61上形成的光學(xué)圖像轉(zhuǎn)換為電信號(hào)。
圖像產(chǎn)生單元62是包括AD轉(zhuǎn)換器的處理單元，用于根據(jù)光電轉(zhuǎn)換元件陣列61轉(zhuǎn)換后的電信號(hào)產(chǎn)生數(shù)字圖像數(shù)據(jù)。圖像記錄單元63是記錄由圖像產(chǎn)生單元62產(chǎn)生的數(shù)字圖像數(shù)據(jù)的存儲(chǔ)器。
測(cè)光單元64是用于測(cè)量被攝體的亮度的模塊。將與由測(cè)光單元64所測(cè)得的被攝體亮度有關(guān)的信號(hào)發(fā)送到攝像光學(xué)系統(tǒng)60、圖像產(chǎn)生單元62和閃光使用判斷單元65，該信號(hào)用于攝像光學(xué)系統(tǒng)60的光圈調(diào)整、圖像產(chǎn)生單元62的增益控制以及閃光使用判斷單元65的閃光使用判斷?？梢允褂脕?lái)自光電轉(zhuǎn)換元件陣列61的信號(hào)來(lái)實(shí)現(xiàn)測(cè)光單元64。
閃光使用判斷單元65是用于接收與來(lái)自測(cè)光單元64的被攝體亮度有關(guān)的信號(hào)并判斷是否使用閃光的模塊。如果被攝體的亮度是預(yù)定值或更小值，則判斷為應(yīng)當(dāng)使用閃光，即應(yīng)當(dāng)執(zhí)行閃光拍攝。如果亮度是預(yù)定值或更大值，則判斷為不應(yīng)當(dāng)使用閃光。當(dāng)閃光使用判斷單元65判斷為應(yīng)當(dāng)使用閃光時(shí)，將閃光使用信號(hào)發(fā)送到閃光產(chǎn)生單元和圖像校正處理單元67。
包括閃光源的閃光發(fā)出單元66接收來(lái)自閃光使用判斷單元65的閃光使用判斷信號(hào)，在拍攝圖像時(shí)產(chǎn)生閃光。在圖6中由虛線表示的圖像校正處理單元67是在接收到來(lái)自閃光使用判斷單元65的閃光使用判斷信號(hào)時(shí)進(jìn)行圖像拍攝之后，對(duì)記錄在圖像記錄單元63中的圖像數(shù)據(jù)執(zhí)行不良瞳孔色調(diào)質(zhì)量校正處理的處理單元。
當(dāng)被攝體是人并且產(chǎn)生不良瞳孔色調(diào)質(zhì)量時(shí)，圖像校正處理單元67產(chǎn)生不良瞳孔色調(diào)質(zhì)量校正數(shù)據(jù)，將其發(fā)送到校正圖像記錄單元68。
校正圖像記錄單元68基于在圖像記錄單元63中記錄的圖像數(shù)據(jù)和由圖像校正處理單元67產(chǎn)生的不良瞳孔色調(diào)質(zhì)量校正數(shù)據(jù)來(lái)校正圖像數(shù)據(jù)，并記錄所產(chǎn)生的校正圖像。
下面更詳細(xì)地說(shuō)明圖像校正處理單元67和校正圖像記錄單元68的處理。在圖像校正處理單元67的處理過(guò)程中，省略與在第一實(shí)施例中所說(shuō)明的過(guò)程相同的過(guò)程的說(shuō)明。僅詳細(xì)說(shuō)明與第一實(shí)施例不同的處理過(guò)程。
如圖6所示，圖像校正處理單元67包括臉部檢測(cè)單元670、臉部大小計(jì)算單元671、眼睛檢測(cè)單元672、瞳孔提取單元673和不良瞳孔色調(diào)質(zhì)量校正單元674。圖像校正處理單元67是用于接收所拍攝的圖像數(shù)據(jù)并且當(dāng)在閃光拍攝中人的瞳孔中產(chǎn)生不良瞳孔色調(diào)質(zhì)量時(shí)產(chǎn)生不良瞳孔色調(diào)質(zhì)量校正數(shù)據(jù)的模塊。
臉部檢測(cè)單元670接收記錄在圖像記錄單元63中的圖像數(shù)據(jù)，并且檢測(cè)圖像中的臉部。為了從接收到的圖像數(shù)據(jù)中檢測(cè)臉部，優(yōu)選使用在日本特許2735028中所公開的人臉圖像對(duì)照設(shè)備的方法或者在日本特許3078166中所公開的對(duì)象識(shí)別方法。在前一種方法中，沿著兩個(gè)不同的方向提取具有亮度最小值的多個(gè)V形邊，進(jìn)行AND運(yùn)算以提取臉部結(jié)構(gòu)點(diǎn)，基于結(jié)構(gòu)點(diǎn)之間的距離進(jìn)行對(duì)照。在后一種方法中，提取局部特征元素的配置信息并進(jìn)行收集。作為選擇，可以使用簡(jiǎn)單地采用標(biāo)準(zhǔn)臉部作為模板的模板匹配?？梢允褂媚軌蚺袛嗄槻康拇嬖诤臀恢玫娜魏纹渌椒▉?lái)代替上述方法。在本實(shí)施例中，簡(jiǎn)單地使用多個(gè)分辨率的模板匹配來(lái)檢測(cè)臉部。
臉部大小計(jì)算單元671計(jì)算由臉部檢測(cè)單元670檢測(cè)到的全部臉部中的每一個(gè)的粗略大小。為了計(jì)算臉部大小，例如，進(jìn)行肉色提取，并計(jì)算所提取的區(qū)域的面積。作為選擇，在臉部位置附近進(jìn)行邊緣檢測(cè)以檢測(cè)頭部的輪廓并計(jì)算其大小。在本實(shí)施例中，臉部檢測(cè)單元670通過(guò)使用多個(gè)分辨率的模板匹配來(lái)執(zhí)行臉部檢測(cè)。因此，根據(jù)以多大的分辨率對(duì)臉部進(jìn)行檢測(cè)來(lái)確定臉部的大小。
眼睛檢測(cè)單元672基于由臉部大小計(jì)算單元671算出的臉部大小來(lái)檢測(cè)由臉部檢測(cè)單元670檢測(cè)到的全部臉部的每一個(gè)中的眼睛。與在臉部檢測(cè)單元670的臉部檢測(cè)中相同，可以使用能夠判斷眼睛的存在和位置的任何方法來(lái)檢測(cè)眼睛。在本實(shí)施例中，設(shè)置具有與臉部大小計(jì)算單元所算出的臉部大小成比例的適當(dāng)大小的眼睛的模板，在由臉部大小所確定的、眼睛可能存在的范圍內(nèi)執(zhí)行模板匹配以檢測(cè)眼睛。
瞳孔提取單元673在由眼睛檢測(cè)單元672檢測(cè)到的全部眼睛的每一個(gè)中提取瞳孔部分。為了提取瞳孔部分，優(yōu)選應(yīng)用第一實(shí)施例的不良瞳孔色調(diào)質(zhì)量區(qū)域提取(步驟S303)中從最小亮度值檢測(cè)(步驟S3030)到不良瞳孔色調(diào)質(zhì)量候選區(qū)域確定(步驟S3036)的處理方法。在第一實(shí)施例中，將瞳孔附近點(diǎn)設(shè)置為使用指示裝置指定眼睛區(qū)域的拖動(dòng)開始點(diǎn)。在第二實(shí)施例中，不進(jìn)行這種指定。在本實(shí)施例中，通過(guò)使用眼睛檢測(cè)單元672的模板匹配的眼睛檢測(cè)結(jié)果來(lái)設(shè)置瞳孔附近點(diǎn)。更具體地，將通過(guò)模板匹配所算出的相似度最高的模板圖像中瞳孔附近的點(diǎn)設(shè)置為瞳孔附近點(diǎn)。在本實(shí)施例中，通過(guò)使用在第一實(shí)施例中所使用的方法來(lái)執(zhí)行瞳孔提取。可以使用能夠提取除了肉色和白眼區(qū)域之外的瞳孔范圍的任何其它方法。
不良瞳孔色調(diào)質(zhì)量校正單元674對(duì)瞳孔提取單元673所提取的每一個(gè)瞳孔部分執(zhí)行不良瞳孔色調(diào)質(zhì)量判斷。對(duì)于具有不良瞳孔色調(diào)質(zhì)量的瞳孔，如果臉部大小計(jì)算單元671算出的臉部大小大于預(yù)定值，則產(chǎn)生以高分辨率校正不良瞳孔色調(diào)質(zhì)量的校正數(shù)據(jù)。如果臉部大小小于預(yù)定值，則產(chǎn)生以低分辨率校正不良瞳孔色調(diào)質(zhì)量的校正數(shù)據(jù)。其原因如下。當(dāng)臉部大小為大時(shí)，并且例如，當(dāng)臉部區(qū)域具有300×300像素或更大的高分辨率時(shí)，用于不良瞳孔色調(diào)質(zhì)量區(qū)域中的像素值簡(jiǎn)單地變化的低分辨率臉部的不良瞳孔色調(diào)質(zhì)量校正的應(yīng)用程序在校正后產(chǎn)生不相容的感覺。為了執(zhí)行精確的校正而沒有不相容的感覺，準(zhǔn)備高分辨率的校正數(shù)據(jù)。
在本實(shí)施例中，在不良瞳孔色調(diào)質(zhì)量判斷中，提取例如瞳孔提取單元673所提取的每一個(gè)瞳孔部分的平均色調(diào)和平均亮度等參數(shù)。當(dāng)平均色調(diào)或平均亮度落在沒有任何紅眼或金眼的預(yù)定范圍之外時(shí)，判斷為產(chǎn)生了不良瞳孔色調(diào)質(zhì)量。不良瞳孔色調(diào)質(zhì)量判斷方法不限于此，可以使用利用色調(diào)范圍等的方法。
對(duì)于判斷為具有不良瞳孔色調(diào)質(zhì)量的瞳孔部分，提取不良瞳孔色調(diào)質(zhì)量區(qū)域，并從不良瞳孔色調(diào)質(zhì)量區(qū)域中提取紅眼區(qū)域和高亮度區(qū)域。對(duì)所提取的瞳孔部分執(zhí)行第一實(shí)施例的不良瞳孔色調(diào)質(zhì)量區(qū)域提取(步驟S303)中從特定色調(diào)像素提取(步驟S3037)到不良瞳孔色調(diào)質(zhì)量區(qū)域確定(步驟S3039)的處理、高亮度區(qū)域提取(步驟S304)和紅眼區(qū)域確定(步驟S305)。
對(duì)于所提取的紅眼區(qū)域和高亮度區(qū)域，根據(jù)臉部大小計(jì)算單元671算出的臉部大小來(lái)產(chǎn)生高或低分辨率的紅眼區(qū)域校正數(shù)據(jù)和高亮度區(qū)域校正數(shù)據(jù)。
當(dāng)臉部大小小于預(yù)定大小時(shí)，即在低分辨率的紅眼區(qū)域校正數(shù)據(jù)產(chǎn)生中，通過(guò)使用與第一實(shí)施例的紅眼校正處理(步驟S306)相同的方法來(lái)校正紅眼區(qū)域中的每一個(gè)像素的亮度或彩度，從而產(chǎn)生紅眼區(qū)域校正數(shù)據(jù)。
當(dāng)臉部大小大于預(yù)定大小時(shí)，即在高分辨率的紅眼區(qū)域校正數(shù)據(jù)產(chǎn)生中，當(dāng)僅簡(jiǎn)單地校正亮度或彩度時(shí)，在放大后的圖像中產(chǎn)生不相容的感覺。因此，通過(guò)與上述用于低分辨率的紅眼區(qū)域校正數(shù)據(jù)產(chǎn)生不同的方法來(lái)產(chǎn)生紅眼區(qū)域校正數(shù)據(jù)。
在本實(shí)施例中，使用預(yù)先準(zhǔn)備的虹膜模板。將通過(guò)預(yù)定方法提取的例如大小、色調(diào)和亮度等參數(shù)應(yīng)用于該模板以產(chǎn)生校正數(shù)據(jù)的模板。將其用作紅眼區(qū)域校正數(shù)據(jù)。對(duì)于在創(chuàng)建校正數(shù)據(jù)模板時(shí)所提取的大小參數(shù)，提取由瞳孔提取單元673所提取的瞳孔部分的面積，將校正數(shù)據(jù)模板的面積設(shè)置為與該面積大致相等。對(duì)于色調(diào)或亮度參數(shù)，提取除了不良瞳孔色調(diào)質(zhì)量區(qū)域之外的區(qū)域中的像素的平均色調(diào)或亮度，更具體地，提取瞳孔的外周附近的區(qū)域中的像素的平均色調(diào)或亮度，并設(shè)置校正數(shù)據(jù)模板的每一個(gè)像素接近該參數(shù)。
在本實(shí)施例中，使用虹膜模板來(lái)產(chǎn)生紅眼區(qū)域校正數(shù)據(jù)。可以使用能夠產(chǎn)生校正數(shù)據(jù)而在放大后的圖像中沒有任何不相容的感覺的其它任何方法。
在高亮度區(qū)域校正數(shù)據(jù)產(chǎn)生中，使用與在第一實(shí)施例的高亮度區(qū)域面積計(jì)算(步驟S307)和面積判斷分支(步驟S308)中相同的方法計(jì)算所提取的全部高亮度區(qū)域的面積。對(duì)每一個(gè)高亮度區(qū)域，基于其面積判斷該高亮度區(qū)域是眼神光區(qū)域還是金眼區(qū)域。基于判斷結(jié)果，使用不同的方法來(lái)產(chǎn)生高亮度區(qū)域校正數(shù)據(jù)。
對(duì)于面積是預(yù)定值或更大值的高亮度區(qū)域，即判斷為金眼區(qū)域的高亮度區(qū)域，使用與第一實(shí)施例中相同的方法，即高亮度區(qū)域內(nèi)部最大亮度像素檢測(cè)(步驟S309)和眼神光區(qū)域確定(S310)，來(lái)確定高亮度區(qū)域中的眼神光區(qū)域。然后，將從高亮度區(qū)域中去除眼神光區(qū)域的區(qū)域確定為金眼區(qū)域。
在金眼區(qū)域中產(chǎn)生高亮度區(qū)域校正數(shù)據(jù)時(shí)，通過(guò)使用與上述紅眼區(qū)域校正數(shù)據(jù)產(chǎn)生中相同的方法，根據(jù)面部大小來(lái)產(chǎn)生低或高分辨率的校正數(shù)據(jù)。
在通過(guò)使用高分辨率的虹膜模板產(chǎn)生校正數(shù)據(jù)時(shí)，優(yōu)選地產(chǎn)生校正數(shù)據(jù)使得虹膜圖案與紅眼區(qū)域校正數(shù)據(jù)的虹膜圖案相匹配。在眼神光區(qū)域中產(chǎn)生低分辨率的高亮度區(qū)域校正數(shù)據(jù)時(shí)，通過(guò)使用與第一實(shí)施例的眼神光校正處理(步驟S313)中相同的方法僅減小該區(qū)域中的每一個(gè)像素的彩度以產(chǎn)生高亮度區(qū)域校正數(shù)據(jù)。
在產(chǎn)生高分辨率的校正數(shù)據(jù)時(shí)，根據(jù)瞳孔提取單元673所提取的瞳孔部分外的、彩度是預(yù)定值或更小值且亮度是預(yù)定值或更大值的區(qū)域中的像素，即白眼區(qū)域中的像素，來(lái)估計(jì)攝像環(huán)境中的光源色，以防止在放大后的圖像中產(chǎn)生任何不相容的感覺。提取白眼區(qū)域中的像素的平均色調(diào)和平均亮度并將其確定為校正色。
通過(guò)使用所確定的校正色來(lái)產(chǎn)生眼神光區(qū)域中的高亮度區(qū)域校正數(shù)據(jù)。將金眼區(qū)域中的高亮度區(qū)域校正數(shù)據(jù)和眼神光區(qū)域中的高亮度區(qū)域校正數(shù)據(jù)合成以產(chǎn)生高亮度區(qū)域中的高亮度區(qū)域校正數(shù)據(jù)。在為了產(chǎn)生低分辨率的校正數(shù)據(jù)而進(jìn)行合成時(shí)，簡(jiǎn)單地將各區(qū)域的校正數(shù)據(jù)相加。在產(chǎn)生高分辨率的校正數(shù)據(jù)時(shí)，使用通過(guò)以與眼神光區(qū)域的面積相對(duì)應(yīng)的縮放比例來(lái)模糊眼神光區(qū)域和金眼區(qū)域之間的交界部分而獲得的數(shù)據(jù)以及例如通過(guò)使用具有與眼神光區(qū)域的面積的平方根成比例的核心(kernel)大小的低通濾波器來(lái)模糊該交界部分而獲得的數(shù)據(jù)，作為高亮度區(qū)域校正數(shù)據(jù)以避免任何的不相容的感覺。
當(dāng)判斷為高亮度區(qū)域的面積是預(yù)定值或更小值，即沒有產(chǎn)生金眼區(qū)域時(shí)，將該區(qū)域確定為眼神光區(qū)域，在該區(qū)域中產(chǎn)生高亮度區(qū)域校正數(shù)據(jù)。對(duì)于該校正數(shù)據(jù)，使用與上述眼神光區(qū)域中的校正數(shù)據(jù)產(chǎn)生相同的方法。產(chǎn)生高分辨率的校正數(shù)據(jù)和低分辨率的校正數(shù)據(jù)并將其用作高亮度區(qū)域中的高亮度區(qū)域校正數(shù)據(jù)。
圖像校正處理單元67通過(guò)使用上述方法來(lái)產(chǎn)生紅眼區(qū)域校正數(shù)據(jù)和高亮度區(qū)域校正數(shù)據(jù)。校正圖像記錄單元68通過(guò)使用記錄在圖像記錄單元63中的校正數(shù)據(jù)和圖像數(shù)據(jù)來(lái)校正不良瞳孔色調(diào)質(zhì)量，并將校正后的圖像記錄在存儲(chǔ)器中。在該校正中，可以簡(jiǎn)單地用在相應(yīng)區(qū)域中由圖像校正處理單元67產(chǎn)生的校正數(shù)據(jù)來(lái)替換記錄在圖像記錄單元63中的圖像數(shù)據(jù)的校正數(shù)據(jù)。然而，為了消除校正中的不相容的感覺，對(duì)于替換后的校正數(shù)據(jù)，優(yōu)選地以與紅眼區(qū)域或高亮度區(qū)域的面積相對(duì)應(yīng)的縮放比例模糊紅眼區(qū)域校正數(shù)據(jù)、原始圖像數(shù)據(jù)和高亮度區(qū)域校正數(shù)據(jù)之間的交界部分。通過(guò)該校正處理，當(dāng)在閃光拍攝中產(chǎn)生不良瞳孔色調(diào)質(zhì)量時(shí)，可以自動(dòng)地將不良瞳孔色調(diào)質(zhì)量校正為自然的瞳孔，并可以記錄校正后的圖像。
作為第二實(shí)施例，說(shuō)明了使第一實(shí)施例的圖像處理設(shè)備自動(dòng)校正拍攝圖像中人的不良瞳孔色調(diào)質(zhì)量并記錄圖像的攝像設(shè)備。
第三實(shí)施例圖8是示出根據(jù)本實(shí)施例的圖像處理設(shè)備的功能性配置的框圖。
本發(fā)明的圖像處理設(shè)備包括圖像輸入單元5100、臉部圖像產(chǎn)生參數(shù)提取單元5101和眼神光設(shè)置單元5102。
由臉部圖像產(chǎn)生參數(shù)提取單元5101提取的臉部圖像產(chǎn)生參數(shù)包括輸入圖像中包含的用于描述臉部圖像所需的例如角度(例如，臉部方向)信息參數(shù)、位置信息參數(shù)(例如，眼睛區(qū)域中瞳孔和虹膜的位置)和顏色信息參數(shù)(例如，臉部各部分的顏色成分值)。然而，臉部圖像產(chǎn)生參數(shù)不限于角度信息參數(shù)、位置信息參數(shù)和顏色信息參數(shù)。
圖像輸入單元5100接收通過(guò)對(duì)來(lái)自數(shù)字照相機(jī)的CCD傳感器的信號(hào)進(jìn)行A/D轉(zhuǎn)換而獲得的數(shù)字圖像，將其作為輸入圖像。圖9是示出臉部圖像產(chǎn)生參數(shù)提取單元的詳細(xì)配置的框圖。如圖9所示，臉部圖像產(chǎn)生參數(shù)提取單元5101包括眼睛/嘴/臉部位置檢測(cè)單元5110、臉部方向/大小檢測(cè)單元5111和瞳孔/虹膜區(qū)域位置/大小檢測(cè)單元5112。圖10是示出人的眼睛區(qū)域的結(jié)構(gòu)的視圖。眼睛區(qū)域包括瞳孔5113、虹膜5114和白眼5115。
眼睛/嘴/臉部位置檢測(cè)單元5110在由圖像輸入單元5100獲得的圖像中檢測(cè)眼睛、嘴和臉部的位置。通過(guò)使用例如卷積神經(jīng)網(wǎng)絡(luò)(Yann LeCun and Yoshua Bengio，″Convolutional Networksfor Images Speech，and Time Series″，The Handbook of BrainTheory and Neural Networks，pp.255-258，1995)來(lái)檢測(cè)臉部、眼睛和嘴的候選位置。根據(jù)檢測(cè)到的臉部、眼睛和嘴的候選位置之間的空間布置關(guān)系來(lái)確定臉部、眼睛和嘴的檢測(cè)位置。圖11是示出通過(guò)使用卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)到的臉部檢測(cè)位置5121、眼睛檢測(cè)位置5120和嘴部檢測(cè)位置5122的視圖。
圖12是示出臉部朝前時(shí)左眼、右眼和嘴的檢測(cè)位置之間的距離的視圖。圖13是示出臉部轉(zhuǎn)向左側(cè)時(shí)左眼、右眼和嘴的檢測(cè)位置之間的距離的視圖。臉部方向檢測(cè)單元5111基于由眼睛/嘴/臉部位置檢測(cè)單元5110所獲得的眼睛(5120)、嘴(5122)和臉部(5121)，根據(jù)右眼檢測(cè)位置和臉部檢測(cè)位置之間的距離(5130)與左眼檢測(cè)位置和臉部檢測(cè)位置之間的距離(5131)的比來(lái)檢測(cè)臉部方向。
更具體地，如圖12所示，當(dāng)臉部朝前時(shí)，右眼檢測(cè)位置和臉部檢測(cè)位置之間的距離(5130)與左眼檢測(cè)位置和臉部檢測(cè)位置之間的距離(5131)的比是1∶1。如圖13所示，當(dāng)臉部轉(zhuǎn)向右側(cè)時(shí)，右眼檢測(cè)位置和臉部檢測(cè)位置之間的距離(5133)比當(dāng)臉部朝前時(shí)右眼檢測(cè)位置和臉部檢測(cè)位置之間的距離(5130)短。左眼檢測(cè)位置和臉部檢測(cè)位置之間的距離(5134)比當(dāng)臉部朝前時(shí)左眼檢測(cè)位置和臉部檢測(cè)位置之間的距離(5131)長(zhǎng)。通過(guò)使用眼睛檢測(cè)位置和臉部檢測(cè)位置之間的距離來(lái)估計(jì)臉部方向。
將臉部朝前時(shí)的角度定義為0°。當(dāng)臉部軸向地轉(zhuǎn)動(dòng)到左側(cè)時(shí)的轉(zhuǎn)動(dòng)角α由下式給出α=sin-1(4b2+c2-4a22ab)]]>a左眼檢測(cè)位置和臉部檢測(cè)位置之間的距離，b臉部檢測(cè)位置與左眼、右眼檢測(cè)位置的中點(diǎn)之間的距離，c左眼、右眼檢測(cè)位置之間的距離。
當(dāng)臉部軸向轉(zhuǎn)動(dòng)到上側(cè)時(shí)的轉(zhuǎn)動(dòng)角β由下式給出β=sin-1(4e2+f2-4d22de)]]>d臉部檢測(cè)位置和嘴部檢測(cè)位置之間的距離，e臉部檢測(cè)位置與眼睛檢測(cè)位置和嘴部檢測(cè)位置的中點(diǎn)之間的距離，f嘴部檢測(cè)位置與眼睛檢測(cè)位置和嘴部檢測(cè)位置的中點(diǎn)之間的距離。
瞳孔/虹膜區(qū)域位置/大小檢測(cè)單元5112是用于計(jì)算包括眼睛區(qū)域中的瞳孔區(qū)域的虹膜區(qū)域的位置和大小的模塊。在本實(shí)施例中，將包括瞳孔區(qū)域的虹膜區(qū)域稱為瞳孔/虹膜區(qū)域。為了計(jì)算瞳孔/虹膜區(qū)域的位置和大小，例如對(duì)由圖像輸入單元5100獲得的圖像執(zhí)行二值化閾值處理(將閾值設(shè)置為例如50，但是不限于該值)以計(jì)算二值化的圖像5140，如圖14所示。通過(guò)使用由眼睛/嘴/臉部位置檢測(cè)單元5110所獲得的眼睛和臉部檢測(cè)位置來(lái)確定僅圍繞右眼和左眼區(qū)域的矩形的右眼區(qū)域5141和左眼區(qū)域5142，如圖14所示。
如圖15和16所示，對(duì)每一個(gè)眼睛區(qū)域建立縱向和橫向頻率分布圖。從所建立的圖15所示的橫向頻率分布圖中獲得眼睛的橫向(X方向)長(zhǎng)度5150、瞳孔/虹膜區(qū)域5151和基于頻率分布圖的表示最大值的X坐標(biāo)的瞳孔/虹膜區(qū)域的橫向中心位置5152。此外，從圖16所示的縱向頻率分布圖中獲得瞳孔/虹膜區(qū)域中心位置5153和眼睛的縱向(Y方向)長(zhǎng)度5154。
圖17和18分別示出當(dāng)在眼睛區(qū)域的中心存在瞳孔/虹膜區(qū)域時(shí)，即，當(dāng)臉部朝前時(shí)，眼睛區(qū)域的橫向和縱向頻率分布圖。瞳孔/虹膜區(qū)域的縱向和橫向中心位置5162和5164幾乎位于與所提取的眼睛的橫向(X方向)長(zhǎng)度5160和眼睛的縱向(Y方向)長(zhǎng)度5165的中點(diǎn)相同的位置。
圖19和20分別示出當(dāng)瞳孔/虹膜區(qū)域從眼睛區(qū)域的中心沿橫向(X方向)移動(dòng)時(shí)的橫向和縱向頻率分布圖。瞳孔/虹膜區(qū)域的橫向中心位置5173與所提取的眼睛的橫向(X方向)長(zhǎng)度的中心位置5174不同。
圖21和22分別示出當(dāng)瞳孔/虹膜區(qū)域從眼睛區(qū)域的中心沿縱向(Y方向)移動(dòng)時(shí)的橫向和縱向頻率分布圖。瞳孔/虹膜區(qū)域的縱向中心位置5185與所提取的眼睛的縱向(Y方向)長(zhǎng)度的中心位置5186不同。當(dāng)在頻率分布圖中產(chǎn)生多個(gè)峰值時(shí)，使用具有最大峰值的頻率分布圖來(lái)獲得瞳孔/虹膜區(qū)域的中心位置5185和瞳孔/虹膜區(qū)域5187。
從圖15～22所示的這些頻率分布圖顯而易見，當(dāng)使用眼睛區(qū)域的二值化圖像的頻率分布圖時(shí)，可以提取眼睛區(qū)域中的瞳孔/虹膜區(qū)域的中心位置。圖17和18所示的頻率分布圖與圖15和16所示的頻率分布圖相同。
圖23是示出眼神光設(shè)置單元的詳細(xì)配置的框圖。如圖23所示，眼神光設(shè)置單元5102包括眼神光大小設(shè)置單元5190和眼神光位置設(shè)置單元5191。
眼神光大小設(shè)置單元5190基于由瞳孔/虹膜區(qū)域位置/大小檢測(cè)單元5112所獲得的瞳孔/虹膜區(qū)域大小來(lái)確定眼神光大小。在本實(shí)施例中，將眼神光的形狀設(shè)置為圓形。然而，眼神光的形狀不限于圓形。
圖24是示出在確定眼神光大小時(shí)眼睛區(qū)域的橫向頻率分布圖和眼神光大小之間的關(guān)系的曲線圖。將圓形眼神光的直徑設(shè)置為瞳孔/虹膜區(qū)域大小200的1/5。同樣，圓形眼神光的直徑不限于瞳孔長(zhǎng)度的1/5。此外，例如可以使用臉部大小代替瞳孔的大小，作為用作確定眼神光直徑的基準(zhǔn)的特征。
眼神光位置設(shè)置單元5191在瞳孔/虹膜區(qū)域中設(shè)置眼神光位置。在本實(shí)施例中，基于瞳孔/虹膜區(qū)域的中心來(lái)設(shè)置眼神光位置。然而，不需要總是基于瞳孔/虹膜區(qū)域的中心設(shè)置眼神光。
圖25是示出臉部在水平平面內(nèi)向左轉(zhuǎn)(繞z軸轉(zhuǎn)動(dòng))并且視線朝前的情況的視圖。如圖25所示，由臉部方向5212以及眼睛區(qū)域中心5211和瞳孔/虹膜區(qū)域中心5210之間的距離(視線方向)來(lái)確定基于瞳孔/虹膜區(qū)域的中心的瞳孔/虹膜區(qū)域中眼神光的位置。
假設(shè)臉部朝前并且在瞳孔/虹膜區(qū)域的中心存在眼神光。假設(shè)L1x是橫向(X方向)位置矢量，L1y是縱向(Y方向)位置矢量，在轉(zhuǎn)動(dòng)臉部時(shí)眼神光在眼睛區(qū)域中沿L1x和L1y移動(dòng)。
g×L1x＝-sin(α)向左的矢量+，向右的矢量-g×L1y＝-sin(β)向上的矢量+，向下的矢量-α在水平平面內(nèi)的轉(zhuǎn)動(dòng)角(繞圖25中的z軸轉(zhuǎn)動(dòng))β在垂直平面內(nèi)的轉(zhuǎn)動(dòng)角(包含圖25中的z軸的平面)g由臉部大小確定的常數(shù)值圖26是示出基于臉部朝前時(shí)的眼神光方向，當(dāng)臉部方向在水平平面內(nèi)轉(zhuǎn)到左側(cè)時(shí)的眼神光位置矢量的視圖。L1x表示臉部從朝前轉(zhuǎn)到朝左時(shí)的橫向(X方向)位置矢量。
此外，基于眼睛區(qū)域的中心，假設(shè)L2x(從眼睛區(qū)域的中心朝左+，從眼睛區(qū)域的中心朝右-)是眼睛區(qū)域的中心和瞳孔/虹膜區(qū)域的中心的橫向(X方向)位置矢量，L2y(從眼睛區(qū)域的中心朝下-，從眼睛區(qū)域的中心朝上+)是眼睛區(qū)域的中心和瞳孔/虹膜區(qū)域的中心的縱向(Y方向)位置矢量。通過(guò)Lx＝(g×L1x-h×L2x)和Ly＝(g×L1y-h×L2y)來(lái)計(jì)算從瞳孔/虹膜區(qū)域的中心的眼神光移動(dòng)距離Lx和Ly，其中，g和h是由臉部大小確定的常數(shù)值。
因此，如圖25所示，當(dāng)臉部在水平平面內(nèi)朝左(繞圖25中的z軸轉(zhuǎn)動(dòng))并且視線方向朝前時(shí)，根據(jù)臉部方向來(lái)計(jì)算L1x(矢量大小-)，根據(jù)視線方向來(lái)計(jì)算L2x(矢量大小+)。因此，當(dāng)g×Lx1≅h×lx2]]>Lx=(g×Lx1-h×Lx2)≅0]]>時(shí)，使得眼神光幾乎設(shè)置在瞳孔/虹膜區(qū)域的中心位置?？梢詢H由臉部方向或瞳孔位置，或者使用任何其它方式來(lái)確定由瞳孔位置或臉部方向所確定的眼神光位置。
圖27是示出根據(jù)第三實(shí)施例的整體處理過(guò)程的流程圖。圖27示出從臉部圖像產(chǎn)生參數(shù)提取到眼神光位置設(shè)置的過(guò)程。
在步驟S5230中，提取臉部圖像產(chǎn)生參數(shù)。通過(guò)使用臉部圖像產(chǎn)生參數(shù)來(lái)提取臉部方向(步驟S5231)。在步驟S5232中，通過(guò)使用臉部圖像產(chǎn)生參數(shù)來(lái)確定眼睛區(qū)域。在步驟S5233中，產(chǎn)生眼睛區(qū)域的縱向和橫向頻率分布圖。在步驟S5234中，通過(guò)使用縱向和橫向頻率分布圖來(lái)提取瞳孔/虹膜區(qū)域的位置和大小。在步驟S5235中，確定眼神光大小。在步驟S5236中，提取視線方向。在步驟S5237中，通過(guò)使用在步驟S5231中提取的臉部方向、在步驟S5236中提取的視線方向和在步驟S5235中提取的眼神光大小來(lái)設(shè)置眼神光的位置和大小。
第四實(shí)施例圖28是示出根據(jù)第四實(shí)施例的圖像處理設(shè)備的功能性配置的框圖。該圖像處理設(shè)備包括圖像輸入單元5300、臉部圖像產(chǎn)生參數(shù)提取單元5301、顏色缺陷檢測(cè)/校正單元5302、眼神光增加/校正判斷單元5303和眼神光設(shè)置單元5304。
第四實(shí)施例的圖像輸入單元5300和臉部圖像產(chǎn)生參數(shù)提取單元5301執(zhí)行與第三實(shí)施例相同的操作。
顏色缺陷檢測(cè)/校正單元5302檢測(cè)并校正圖像中的顏色缺陷。例如，檢測(cè)并校正發(fā)出閃光時(shí)所產(chǎn)生的紅眼。在第四實(shí)施例中，顏色缺陷檢測(cè)/校正處理是紅眼區(qū)域檢測(cè)/校正。然而，該處理不限于紅眼區(qū)域檢測(cè)/校正。例如為了檢測(cè)紅眼，使用由臉部圖像產(chǎn)生參數(shù)提取單元5301所提取的眼睛位置檢測(cè)參數(shù)來(lái)確定眼睛區(qū)域，使用由臉部圖像產(chǎn)生參數(shù)提取單元5301所提取的顏色信息參數(shù)從眼睛區(qū)域中檢測(cè)紅眼。
如果檢測(cè)到具有預(yù)定值或更大值的紅色成分的區(qū)域，則判斷為產(chǎn)生了紅眼。在紅眼校正處理中，通過(guò)使用例如預(yù)先準(zhǔn)備的虹膜區(qū)域顏色來(lái)校正紅眼區(qū)域。
在使用通過(guò)分析由圖像輸入單元5300所獲得的圖像而得到的臉部圖像產(chǎn)生參數(shù)進(jìn)行顏色校正之后，眼神光增加/校正判斷單元5303判斷在圖像中存在/不存在眼神光。例如根據(jù)在眼睛區(qū)域中是否存在亮度值等于或大于預(yù)定值(例如，亮度值200)來(lái)判斷存在/不存在眼神光。
在顏色缺陷校正處理之后，眼神光設(shè)置單元5304通過(guò)使用在第三實(shí)施例中說(shuō)明的方法來(lái)設(shè)置眼神光。如第三實(shí)施例所述，眼神光設(shè)置方法不限于在第三實(shí)施例中所說(shuō)明的方法。
圖29是示出在顏色缺陷檢測(cè)/校正處理之后執(zhí)行眼神光設(shè)置的處理過(guò)程的流程圖。在顏色缺陷檢測(cè)/校正處理S5310之后，如果在步驟S5311中判斷為不存在眼神光，則在步驟S5312中設(shè)置眼神光。如果在步驟S5311中判斷為存在眼神光，則不執(zhí)行處理。
第五實(shí)施例圖30是示出根據(jù)第五實(shí)施例的攝像設(shè)備的功能性配置的框圖。該攝像設(shè)備包括攝像單元5400、圖像處理單元5401和圖像二次存儲(chǔ)單元5402。圖31是示出攝像單元5400的詳細(xì)配置的框圖。如圖31所示，攝像單元5400包括攝像光學(xué)系統(tǒng)5410、固態(tài)攝像元件5411、視頻信號(hào)處理電路5412和圖像一次存儲(chǔ)單元5413。
圖32是示出圖像處理單元5401的詳細(xì)配置的框圖。如圖32所示，圖像處理單元5401包括用于從圖像一次存儲(chǔ)單元5413中讀出數(shù)字圖像的圖像輸入單元5420、臉部圖像產(chǎn)生參數(shù)提取單元5421、顏色缺陷檢測(cè)/校正單元5422、眼神光增加/校正判斷單元5423和眼神光設(shè)置單元5424。下面對(duì)此進(jìn)行詳細(xì)說(shuō)明。
攝像單元5400的攝像光學(xué)系統(tǒng)5410例如是鏡頭。固態(tài)攝像元件5411例如是將所拍攝的圖像轉(zhuǎn)換為電信號(hào)的CCD。視頻信號(hào)處理電路5412對(duì)由固態(tài)攝像元件5411所獲得的電信號(hào)進(jìn)行A/D轉(zhuǎn)換。通過(guò)圖像一次存儲(chǔ)單元5413將由視頻信號(hào)處理電路5412所獲得的數(shù)字圖像存儲(chǔ)在存儲(chǔ)介質(zhì)中。例如使用閃存作為存儲(chǔ)介質(zhì)。然而，本發(fā)明不限于閃存。
圖像處理單元5401的圖像輸入單元5420從圖像一次存儲(chǔ)單元5413讀出數(shù)字圖像。
臉部圖像產(chǎn)生參數(shù)提取單元5421通過(guò)對(duì)由圖像輸入單元5420獲得的數(shù)字圖像執(zhí)行與第三和第四實(shí)施例中相同的處理來(lái)分析圖像數(shù)據(jù)。
當(dāng)使用臉部圖像產(chǎn)生參數(shù)確定在眼睛區(qū)域中包含具有預(yù)定值或更大值的紅色成分區(qū)域時(shí)，與第四實(shí)施例相同，顏色缺陷檢測(cè)/校正單元5422確定該區(qū)域是紅眼并對(duì)其進(jìn)行校正。例如，除了在第四實(shí)施例的方法之外還可以使用如下強(qiáng)制方法。
圖33是示出顏色缺陷存在時(shí)包括具有預(yù)定值或更大值的明度區(qū)域5432和瞳孔/虹膜區(qū)域5431的眼睛區(qū)域5430的視圖。如圖33所示，在瞳孔/虹膜區(qū)域5431中，檢測(cè)具有預(yù)定值(例如明度值200)或更大值的明度區(qū)域5432的像素。校正除了具有預(yù)定值或更大值的明度區(qū)域的區(qū)域之外的區(qū)域。
圖34是示出在瞳孔/虹膜區(qū)域5440中所希望的眼神光大小5441和檢測(cè)到的具有預(yù)定值或更大值的明度區(qū)域5442的視圖。
當(dāng)圖34所示的瞳孔/虹膜區(qū)域5440中的具有預(yù)定明度值(例如，明度值200)或更大值的區(qū)域5442等于或小于通過(guò)使用臉部圖像產(chǎn)生參數(shù)確定的所希望的眼神光大小5441(例如，當(dāng)明度值為200的區(qū)域的直徑是瞳孔/虹膜區(qū)域直徑的1/5)時(shí)，眼神光增加/校正判斷單元5423確定在顏色缺陷檢測(cè)/校正單元5422進(jìn)行顏色校正后的區(qū)域中需要擴(kuò)展眼神光范圍。既可以基于作為圖像產(chǎn)生參數(shù)之一的瞳孔/虹膜區(qū)域也可以通過(guò)使用其它參數(shù)來(lái)確定所希望的眼神光大小。
如果提取眼神光的區(qū)域的顏色信息與所希望的顏色的不同(例如，白色成分)，則根據(jù)需要確定必須校正眼神光區(qū)域中的顏色。
眼神光設(shè)置單元5424使用由眼神光增加/校正判斷單元5423所獲得的具有預(yù)定值(例如，明度值200)或更大值的明度區(qū)域5442的中心位置和顏色信息以及基于作為臉部圖像產(chǎn)生參數(shù)之一的瞳孔/虹膜區(qū)域的大小而確定的眼神光大小(例如，直徑為瞳孔/虹膜區(qū)域的大小的1/5的圓)，來(lái)設(shè)置增加或校正眼神光。
可以通過(guò)使用瞳孔區(qū)域或虹膜區(qū)域、包含這兩種區(qū)域的區(qū)域或者從臉部圖像產(chǎn)生參數(shù)中獲得的臉部或眼睛的大小來(lái)確定眼神光大小。形狀可以是圓形或其它形狀。可以使用由眼神光增加/校正判斷單元5423獲得的具有預(yù)定值或更大值的明度區(qū)域的顏色信息，作為在校正中使用的眼神光顏色。作為選擇，可以使用預(yù)先準(zhǔn)備的顏色信息(例如白色)。不需要總是擴(kuò)展眼神光。如果檢測(cè)到的眼神光的大小大于基準(zhǔn)值(例如，金眼)，則減小范圍。
在眼神光設(shè)置的校正處理中，需要對(duì)眼神光的大小和顏色進(jìn)行總體的校正。
圖35是示出根據(jù)第五實(shí)施例的圖像處理單元5401從眼神光區(qū)域檢測(cè)到眼神光設(shè)置的處理過(guò)程的流程圖。
在步驟S5450中，提取眼神光區(qū)域。在步驟S5451中，當(dāng)預(yù)定明度區(qū)域具有預(yù)定值或更小值時(shí)，判斷為不需要進(jìn)行眼神光設(shè)置。在步驟S5452中，設(shè)置眼神光大小。在步驟S5453中，設(shè)置眼神光位置。如果在步驟S5451中判斷為預(yù)定的明度區(qū)域不具有預(yù)定值或更小值，則判斷為不需要進(jìn)行眼神光設(shè)置，不執(zhí)行處理。
圖像二次存儲(chǔ)單元5402將由圖像處理單元5401校正的數(shù)字圖像存儲(chǔ)在存儲(chǔ)介質(zhì)中。例如，可以使用閃存作為存儲(chǔ)介質(zhì)。圖像一次存儲(chǔ)單元5413和圖像二次存儲(chǔ)單元5402可以使用相同的存儲(chǔ)介質(zhì)或不同的存儲(chǔ)介質(zhì)。
第六實(shí)施例圖36是示出根據(jù)第六實(shí)施例的攝像設(shè)備的功能性配置的框圖。該攝像設(shè)備包括潛在眼神光通知單元5501、圖像處理單元5502、圖像二次存儲(chǔ)單元5503和包括閃光發(fā)出單元的攝像單元5500。
攝像單元5500、圖像處理單元5502和圖像二次存儲(chǔ)單元5503執(zhí)行與第五實(shí)施例相同的處理。圖像處理單元5502的配置與第五實(shí)施例相同。如第五實(shí)施例所述，攝像單元5500包括一次存儲(chǔ)介質(zhì)。例如，可以使用閃存作為一次和二次存儲(chǔ)介質(zhì)?？梢允褂孟嗤拇鎯?chǔ)介質(zhì)作為一次存儲(chǔ)介質(zhì)和二次存儲(chǔ)介質(zhì)。圖37是示出根據(jù)第六實(shí)施例的處理過(guò)程的流程圖。下面對(duì)此進(jìn)行詳細(xì)說(shuō)明。
在攝像單元5500獲得數(shù)字圖像之后，如果檢測(cè)表示攝像單元5500發(fā)出閃光的事件的潛在眼神光通知單元5501在步驟S5510中判斷為存在潛在眼神光，則執(zhí)行在第三實(shí)施例中所說(shuō)明的圖像分析。在步驟S5511中，使用通過(guò)圖像分析獲得的臉部圖像產(chǎn)生參數(shù)來(lái)檢測(cè)顏色缺陷。如果在步驟S5511中檢測(cè)到了顏色缺陷，則在步驟S5512中執(zhí)行顏色缺陷校正處理。
如果在步驟S5511中沒有檢測(cè)到顏色缺陷，則該流程不執(zhí)行任何處理而前進(jìn)到步驟S5513。在步驟S5513中，判斷眼神光增加/校正處理。如果需要眼神光增加或校正處理，則在步驟S5514中執(zhí)行眼神光增加/校正處理。如果在步驟S5513中判斷為不需要執(zhí)行眼神光增加或校正處理，則該流程前進(jìn)到步驟S5515。在步驟S5515中，將經(jīng)過(guò)顏色缺陷校正處理和眼神光增加/校正處理的圖像存儲(chǔ)在記錄介質(zhì)中。
如上所述，當(dāng)在攝像設(shè)備中準(zhǔn)備了上述眼神光設(shè)置功能時(shí)，可以實(shí)現(xiàn)能夠在所拍攝的臉部圖像的眼睛區(qū)域中設(shè)置眼神光的攝像設(shè)備。
第七實(shí)施例圖38是示出根據(jù)第七實(shí)施例的圖像處理設(shè)備的功能性配置的框圖。該圖像處理設(shè)備包括圖像輸入單元5600、臉部圖像產(chǎn)生參數(shù)提取單元5601、眼神光增加/校正判斷單元5602和眼神光設(shè)置單元5603。
圖像輸入單元5600和臉部圖像產(chǎn)生參數(shù)提取單元5601執(zhí)行與第三實(shí)施例相同的操作。
使用整個(gè)圖像的平均明度值作為由臉部圖像產(chǎn)生參數(shù)提取單元5601所獲得的臉部圖像產(chǎn)生參數(shù)，如果判斷為整個(gè)圖像的平均明度值是預(yù)定值或更小值(例如，平均明度值是50或更小)，則眼神光增加/校正判斷單元5602判斷為需要眼神光。
眼神光增加/校正判斷單元5602既可以使用整個(gè)圖像的平均明度值也可以使用任何其它特征來(lái)進(jìn)行判斷。對(duì)于眼神光增加/校正判斷單元5602判斷為需要眼神光的圖像，通過(guò)第五實(shí)施例中所說(shuō)明的方法使用由臉部圖像產(chǎn)生參數(shù)提取單元5601所計(jì)算的參數(shù)來(lái)判斷在瞳孔/虹膜區(qū)域中是否存在眼神光。
當(dāng)眼神光增加/校正判斷單元5602判斷為需要設(shè)置眼神光，并且不存在眼神光，或者眼神光的大小、位置或顏色不合適時(shí)，眼神光設(shè)置單元5603使用例如第三或第五實(shí)施例的方法來(lái)執(zhí)行眼神光設(shè)置。
圖39是示出處理過(guò)程的流程圖。如果在步驟S5610中判斷為整個(gè)圖像的平均明度具有預(yù)定值(例如，平均明度值是50)或更小值，則在步驟S5611中，檢測(cè)眼神光區(qū)域。如果在步驟S5612中判斷為眼神光區(qū)域的大小具有預(yù)定值(例如瞳孔/虹膜區(qū)域的1/5)或更小值，則判斷為需要眼神光設(shè)置。在步驟S5613中，進(jìn)行眼神光設(shè)置。然而，如果在步驟S5612中判斷為眼神光區(qū)域的大小具有預(yù)定值或更大值，則判斷為不需要眼神光設(shè)置，不進(jìn)行眼神光設(shè)置。
第八實(shí)施例圖40是示出根據(jù)第八實(shí)施例的圖像處理設(shè)備的功能性配置的框圖。該圖像處理設(shè)備包括圖像輸入單元5700、潛在眼神光通知單元5701、圖像產(chǎn)生參數(shù)提取單元5702和眼神光設(shè)置單元5703。
與第三～第六實(shí)施例相同，圖像輸入單元5700接收數(shù)字圖像作為輸入圖像。潛在眼神光通知單元5701通知用戶產(chǎn)生眼神光。該模塊在獲取例如表示發(fā)出閃光的信息或者表示拍攝者選擇了眼神光設(shè)置模式而不是根據(jù)圖像信息來(lái)判斷產(chǎn)生眼神光的信息時(shí)，產(chǎn)生通知。眼神光設(shè)置單元5703執(zhí)行與第五或第六實(shí)施例相同的操作。
圖41是示出根據(jù)第八實(shí)施例的處理過(guò)程的流程圖。如果在潛在眼神光通知步驟S5710中接收到表示產(chǎn)生了眼神光或者選擇了眼神光設(shè)置模式的通知，則在步驟S5711中提取臉部圖像產(chǎn)生參數(shù)。在步驟S5712中使用臉部圖像產(chǎn)生參數(shù)來(lái)進(jìn)行眼神光設(shè)置。如果在步驟S5710中沒有接收到表示產(chǎn)生了眼神光的通知，則不執(zhí)行處理。
第九實(shí)施例圖42是示出根據(jù)第九實(shí)施例的圖像處理設(shè)備的功能性配置的框圖。該圖像處理設(shè)備包括圖像輸入單元5800、潛在眼神光通知單元5801、顏色缺陷檢測(cè)/校正處理單元5803、眼神光增加/校正判斷單元5804和眼神光設(shè)置單元5805。
與第八實(shí)施例相同，潛在眼神光通知單元5801在獲取例如表示發(fā)出閃光的信息或者表示拍攝者選擇了眼神光設(shè)置模式而不是根據(jù)圖像信息來(lái)判斷產(chǎn)生眼神光的信息時(shí)產(chǎn)生通知。
圖43是示出根據(jù)第九實(shí)施例的處理過(guò)程的流程圖。
當(dāng)在步驟S5801中接收到表示潛在眼神光的通知時(shí)，通過(guò)使用臉部圖像產(chǎn)生參數(shù)在步驟S5811中檢測(cè)眼睛區(qū)域中的顏色缺陷。如果判斷為存在顏色缺陷，則在步驟S5812中執(zhí)行顏色缺陷校正處理。然后，在步驟S5813中，判斷是否需要眼神光增加/校正。
如果在步驟S5811中沒有檢測(cè)到顏色缺陷，則在步驟S5813中判斷是否需要眼神光增加/校正，而不執(zhí)行步驟S5812中的顏色缺陷校正處理。如果在步驟S5813中判斷為需要眼神光增加/校正，則在步驟S5814中增加/校正眼神光。如果在步驟S5801中沒有接收到表示潛在眼神光的通知，或者在步驟S5813中判斷為不需要眼神光增加/校正，則不執(zhí)行處理。
根據(jù)本實(shí)施例的圖像處理設(shè)備的硬件結(jié)構(gòu)與圖7所示的硬件結(jié)構(gòu)相同。在這種情況下，將使CPU 71實(shí)現(xiàn)圖8所示的單元的功能的程序或數(shù)據(jù)存儲(chǔ)在硬盤驅(qū)動(dòng)裝置(HDD)76中。該圖像處理設(shè)備用作攝像設(shè)備的一部分或者連續(xù)到攝像設(shè)備以執(zhí)行上述校正處理。
根據(jù)上述實(shí)施例，判斷顏色缺陷校正之后的圖像中存在/不存在眼神光。當(dāng)不存在眼神光時(shí)，通過(guò)使用臉部圖像產(chǎn)生參數(shù)來(lái)自動(dòng)進(jìn)行眼神光設(shè)置。通過(guò)該處理，降低了通過(guò)手動(dòng)操作進(jìn)行圖像校正的精確度的變化，可以建立更自然的圖像。
對(duì)于顏色缺陷校正之后的圖像，判斷眼神光的大小、位置和顏色是否合適，并通過(guò)使用臉部圖像產(chǎn)生參數(shù)來(lái)校正眼神光。通過(guò)該處理，降低了通過(guò)手動(dòng)操作進(jìn)行圖像校正的精確度的變化，可以建立更自然的圖像。
在確定導(dǎo)致在輸入圖像中產(chǎn)生眼神光的狀況之后，判斷存在/不存在眼神光。如果不存在眼神光，則通過(guò)使用臉部圖像產(chǎn)生參數(shù)進(jìn)行眼神光設(shè)置。通過(guò)該處理，降低了通過(guò)手動(dòng)操作進(jìn)行圖像校正的精確度的變化，可以建立更自然的圖像。
在確定導(dǎo)致在輸入圖像中產(chǎn)生眼神光的狀況之后，判斷眼神光的大小、位置和顏色是否合適，通過(guò)使用臉部圖像產(chǎn)生參數(shù)來(lái)校正眼神光。通過(guò)該處理，降低了通過(guò)手動(dòng)操作進(jìn)行圖像校正的精確度的變化，可以建立更自然的圖像。
其它實(shí)施例還可以通過(guò)以下方法來(lái)達(dá)到本發(fā)明的目的，即向照相機(jī)或計(jì)算機(jī)提供記錄有用于實(shí)現(xiàn)上述實(shí)施例的功能的軟件程序代碼的記錄介質(zhì)(或存儲(chǔ)介質(zhì))、并使照相機(jī)或計(jì)算機(jī)的CPU或MPU讀出并執(zhí)行存儲(chǔ)在該記錄介質(zhì)中的程序代碼。在這種情況下，從記錄介質(zhì)讀出的程序代碼通過(guò)其自身實(shí)現(xiàn)上述實(shí)施例的功能，記錄有該程序代碼的記錄介質(zhì)構(gòu)成本發(fā)明。
不僅當(dāng)照相機(jī)或計(jì)算機(jī)執(zhí)行讀出的程序代碼時(shí)，而且當(dāng)在照相機(jī)上運(yùn)行的操作系統(tǒng)(OS，operating system)基于程序代碼的指令執(zhí)行部分或全部實(shí)際處理時(shí)，實(shí)現(xiàn)上述實(shí)施例的功能。
當(dāng)將從記錄介質(zhì)讀出的程序代碼寫入插入到照相機(jī)或計(jì)算機(jī)中的功能擴(kuò)展板或者連續(xù)到照相機(jī)或計(jì)算機(jī)的功能擴(kuò)展單元的存儲(chǔ)器中，功能擴(kuò)展板或功能擴(kuò)展單元的CPU基于程序代碼的指令執(zhí)行部分或全部實(shí)際處理時(shí)，也實(shí)現(xiàn)上述實(shí)施例的功能。
當(dāng)本發(fā)明應(yīng)用于記錄介質(zhì)時(shí)，其存儲(chǔ)與上述流程圖相對(duì)應(yīng)的程序代碼。
雖然可以做出本發(fā)明的很多明顯不同的實(shí)施例而不脫離本發(fā)明的精神和范圍，但是應(yīng)當(dāng)理解，除了所附權(quán)利要求限定的以外，本發(fā)明不限于特定實(shí)施例。
優(yōu)先權(quán)要求本申請(qǐng)要求2004年7月30日提交的日本專利申請(qǐng)2004-223577號(hào)和2004年7月30日提交的日本專利申請(qǐng)2004-223579號(hào)的優(yōu)先權(quán)，其全部?jī)?nèi)容通過(guò)引用，并入本文。
權(quán)利要求
1.一種圖像處理方法，其特征在于，包括輸入步驟，用于輸入圖像；不良瞳孔色調(diào)質(zhì)量區(qū)域提取步驟，用于從所述圖像中提取不良瞳孔色調(diào)質(zhì)量區(qū)域；高亮度區(qū)域提取步驟，用于從所述不良瞳孔色調(diào)質(zhì)量區(qū)域中提取高亮度區(qū)域；紅眼區(qū)域校正步驟，用于將從所述不良瞳孔色調(diào)質(zhì)量區(qū)域中去除所述高亮度區(qū)域而獲得的區(qū)域確定為紅眼區(qū)域，并校正所述紅眼區(qū)域；以及高亮度區(qū)域校正步驟，用于通過(guò)使用與所述紅眼區(qū)域校正步驟中的方法不同的方法來(lái)校正所述高亮度區(qū)域。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述不良瞳孔色調(diào)質(zhì)量區(qū)域提取步驟包括如下步驟從瞳孔區(qū)域中提取在紅眼特有的像素成分范圍內(nèi)的紅眼像素，從所述瞳孔區(qū)域中提取亮度值不小于預(yù)定值的高亮度像素，以及設(shè)置包括所述紅眼像素和所述高亮度像素的橢圓形區(qū)域或圓形區(qū)域，提取包含在所述瞳孔區(qū)域中的所述橢圓形區(qū)域或圓形區(qū)域中的范圍作為所述不良瞳孔色調(diào)質(zhì)量區(qū)域。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，使用色調(diào)、彩度、亮度和色度中的至少一個(gè)的范圍作為所述紅眼特有的像素成分范圍。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述高亮度區(qū)域提取步驟中，使用提取所述高亮度像素的步驟的結(jié)果。
5.根據(jù)權(quán)利要求2或4中所述的方法，其特征在于，在提取所述高亮度像素中使用的所述預(yù)定值是可以被視為黑眼的像素的亮度值的上限值。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述紅眼區(qū)域校正步驟中，進(jìn)行校正以減小所述紅眼區(qū)域中的像素的亮度或者減小亮度和彩度。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述紅眼區(qū)域校正步驟包括通過(guò)將預(yù)定參數(shù)賦予預(yù)先準(zhǔn)備的虹膜模板來(lái)產(chǎn)生校正模板的步驟，以及基于所述校正模板來(lái)校正所述紅眼區(qū)域。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述高亮度區(qū)域校正步驟包括面積計(jì)算步驟，用于計(jì)算所述高亮度區(qū)域的面積；以及金眼判斷步驟，用于基于所計(jì)算的面積來(lái)判斷在所述高亮度區(qū)域中是否出現(xiàn)金眼。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，還包括劃分步驟，用于當(dāng)在所述金眼判斷步驟判斷為在所述高亮度區(qū)域中出現(xiàn)了金眼時(shí)，將所述高亮度區(qū)域劃分為金眼區(qū)域和眼神光區(qū)域，以及當(dāng)判斷為在所述高亮度區(qū)域中沒有出現(xiàn)金眼時(shí)，將所述高亮度區(qū)域判斷為眼神光區(qū)域的步驟。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述劃分步驟包括如下步驟從所述高亮度區(qū)域中的像素中檢測(cè)具有最大亮度值的像素，以及基于所檢測(cè)到的具有最大亮度值的像素的位置來(lái)確定所述高亮度區(qū)域中的預(yù)定眼神光區(qū)域，將從所述高亮度區(qū)域中去除所確定的眼神光區(qū)域而獲得的區(qū)域確定為所述金眼區(qū)域。
11.根據(jù)權(quán)利要求9或10所述的方法，其特征在于，還包括金眼區(qū)域校正步驟，用于校正所劃分的所述金眼區(qū)域。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，在所述金眼區(qū)域校正步驟中，執(zhí)行校正以減小所述金眼區(qū)域中的像素的亮度或者減小亮度和彩度。
13.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述金眼區(qū)域校正步驟包括通過(guò)將預(yù)定參數(shù)賦予預(yù)先準(zhǔn)備的虹膜模板來(lái)產(chǎn)生校正模板的步驟，基于所述校正模板來(lái)校正所述金眼區(qū)域。
14.根據(jù)權(quán)利要求9或10所述的方法，其特征在于，還包括眼神光區(qū)域校正步驟，用于校正所劃分的所述眼神光區(qū)域。
15.根據(jù)權(quán)利要求14所述的方法，其特征在于，在所述眼神光區(qū)域校正步驟中，進(jìn)行校正以減小所述眼神光區(qū)域中的像素的彩度。
16.根據(jù)權(quán)利要求14所述的方法，其特征在于，所述眼神光區(qū)域校正步驟包括使用白眼區(qū)域中的像素的色調(diào)、彩度、亮度和色度中的至少一個(gè)來(lái)確定校正顏色的步驟，以及基于所述校正顏色來(lái)校正所述眼神光區(qū)域中的像素。
17.根據(jù)權(quán)利要求7或13所述的方法，其特征在于，所述預(yù)定參數(shù)是校正目標(biāo)的大小以及通過(guò)從瞳孔區(qū)域中去除所述不良瞳孔色調(diào)質(zhì)量區(qū)域而獲得的區(qū)域中的像素的色調(diào)、彩度、亮度和色度中的至少一個(gè)。
18.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述紅眼區(qū)域校正步驟中，通過(guò)模糊校正區(qū)域的邊界來(lái)執(zhí)行校正。
19.根據(jù)權(quán)利要求11所述的方法，其特征在于，在所述金眼區(qū)域校正步驟中，通過(guò)模糊校正區(qū)域的邊界來(lái)執(zhí)行校正。
20.根據(jù)權(quán)利要求14所述的方法，其特征在于，在所述眼神光區(qū)域校正步驟中，通過(guò)模糊校正區(qū)域的邊界來(lái)執(zhí)行校正。
21.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述紅眼區(qū)域校正步驟中，根據(jù)校正目標(biāo)的大小來(lái)選擇校正方法。
22.根據(jù)權(quán)利要求11所述的方法，其特征在于，在所述金眼區(qū)域校正步驟中，根據(jù)校正目標(biāo)的大小來(lái)選擇校正方法。
23.根據(jù)權(quán)利要求14所述的方法，其特征在于，在所述眼神光區(qū)域校正步驟中，根據(jù)校正目標(biāo)的大小來(lái)選擇校正方法。
24.根據(jù)權(quán)利要求17、21～23中任一項(xiàng)所述的方法，其特征在于，所述校正目標(biāo)的大小是具有不良瞳孔色調(diào)質(zhì)量的人的臉部的大小。
25.根據(jù)權(quán)利要求17、21～23中任一項(xiàng)所述的方法，其特征在于，所述校正目標(biāo)的大小是具有不良瞳孔色調(diào)質(zhì)量的人的眼睛的大小。
26.一種圖像處理方法，其特征在于，包括眼睛區(qū)域提取步驟，用于從包括眼睛的圖像中提取眼睛區(qū)域；中心確定步驟，用于確定所述眼睛的中心；低亮度像素提取步驟，用于從所述眼睛區(qū)域中提取亮度不大于預(yù)定閾值的低亮度像素；形狀判斷步驟，用于判斷所提取的低亮度像素的連續(xù)部分是否具有第一預(yù)定形狀；位置判斷步驟，用于當(dāng)所述連續(xù)部分具有所述第一預(yù)定形狀時(shí)，判斷所述眼睛的中心是否位于相對(duì)于所述連續(xù)部分的預(yù)定位置；以及瞳孔區(qū)域提取步驟，用于當(dāng)所述眼睛的中心位于所述預(yù)定位置時(shí)，提取具有由所述連續(xù)部分的形狀確定的第二預(yù)定形狀的區(qū)域作為所述眼睛的瞳孔區(qū)域。
27.根據(jù)權(quán)利要求26所述的方法，其特征在于，在所述形狀判斷步驟中，當(dāng)所述像素的連續(xù)部分不具有所述第一預(yù)定形狀時(shí)，再次設(shè)置所述閾值，再次在所述低亮度像素提取步驟中從所述圖像中提取亮度不大于再次設(shè)置的閾值的低亮度像素。
28.根據(jù)權(quán)利要求26所述的方法，其特征在于，在所述位置判斷步驟中，當(dāng)所述眼睛的中心沒有位于所述預(yù)定位置時(shí)，再次設(shè)置所述閾值，再次在所述低亮度像素提取步驟中從所述圖像中提取亮度不大于再次設(shè)置的閾值的低亮度像素。
29.根據(jù)權(quán)利要求26所述的方法，其特征在于，所述第一預(yù)定形狀是包括除所述低亮度像素之外的像素的形狀。
30.根據(jù)權(quán)利要求29所述的方法，其特征在于，所述眼睛的中心的預(yù)定位置位于包括除所述低亮度像素之外的像素的區(qū)域中。
31.一種圖像處理設(shè)備，其特征在于，包括輸入裝置，用于輸入圖像；不良瞳孔色調(diào)質(zhì)量區(qū)域提取裝置，用于從所述圖像中提取不良瞳孔色調(diào)質(zhì)量區(qū)域；高亮度區(qū)域提取裝置，用于從所提取的不良瞳孔色調(diào)質(zhì)量區(qū)域中提取高亮度區(qū)域；紅眼區(qū)域校正裝置，用于將從所述不良瞳孔色調(diào)質(zhì)量區(qū)域中去除所述高亮度區(qū)域而獲得的區(qū)域確定為紅眼區(qū)域，并校正所述紅眼區(qū)域；以及高亮度區(qū)域校正裝置，用于使用與所述紅眼區(qū)域校正裝置的方法不同的方法來(lái)校正所述高亮度區(qū)域。
32.一種圖像處理設(shè)備，其特征在于，包括眼睛區(qū)域提取裝置，用于從包括眼睛的圖像中提取眼睛區(qū)域；中心確定裝置，用于確定所述眼睛的中心；低亮度像素提取裝置，用于從所述眼睛區(qū)域中提取亮度不大于預(yù)定閾值的低亮度像素；形狀判斷裝置，用于判斷所提取的低亮度像素的連續(xù)部分是否具有第一預(yù)定形狀；位置判斷裝置，用于當(dāng)所述連續(xù)部分具有所述第一預(yù)定形狀時(shí)，判斷所述眼睛的中心是否位于相對(duì)于所述連續(xù)部分的預(yù)定位置；以及瞳孔區(qū)域提取裝置，用于當(dāng)所述眼睛的中心位于所述預(yù)定位置時(shí)，提取具有由所述連續(xù)部分的形狀確定的第二預(yù)定形狀的區(qū)域作為所述眼睛的瞳孔區(qū)域。
33.一種攝像設(shè)備，其特征在于，包括圖像產(chǎn)生裝置，用于產(chǎn)生被攝體圖像；以及根據(jù)權(quán)利要求31或32所述的圖像處理設(shè)備，其中，所述圖像處理設(shè)備校正所述圖像產(chǎn)生裝置所產(chǎn)生的被攝體圖像中的不良瞳孔色調(diào)質(zhì)量。
34.根據(jù)權(quán)利要求33所述的設(shè)備，其特征在于，還包括臉部檢測(cè)裝置，用于從所述被攝體圖像中檢測(cè)臉部，以及用于基于所述臉部檢測(cè)裝置的臉部檢測(cè)結(jié)果來(lái)限制所述被攝體圖像中的校正處理應(yīng)用范圍的裝置。
35.根據(jù)權(quán)利要求33或34所述的設(shè)備，其特征在于，還包括測(cè)光裝置，用于測(cè)量被攝體的亮度，閃光使用判斷裝置，用于基于來(lái)自所述測(cè)光裝置的所述被攝體的亮度信號(hào)來(lái)判斷是否使用閃光，閃光產(chǎn)生裝置，以及用于當(dāng)所述閃光使用判斷裝置判斷為要使用閃光時(shí)，向所述閃光產(chǎn)生裝置和所述圖像處理設(shè)備發(fā)出起動(dòng)指令的裝置。
36.一種程序，其特征在于，使計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1～30中的任一項(xiàng)所述的圖像處理方法。
37.一種圖像處理方法，其特征在于，包括輸入步驟，用于輸入圖像；臉部圖像產(chǎn)生參數(shù)提取步驟，用于通過(guò)分析所述輸入圖像來(lái)提取預(yù)定的臉部圖像產(chǎn)生參數(shù)；以及眼神光設(shè)置步驟，用于基于在所述臉部圖像產(chǎn)生參數(shù)提取步驟中提取的參數(shù)來(lái)設(shè)置所述圖像中的眼神光。
38.根據(jù)權(quán)利要求37所述的方法，其特征在于，還包括顏色缺陷校正步驟，用于檢測(cè)并校正所述圖像的眼睛區(qū)域中的顏色缺陷，其中，在所述眼神光設(shè)置步驟中，在所述顏色缺陷校正步驟的校正之后的所述圖像中設(shè)置眼神光。
39.根據(jù)權(quán)利要求37或38所述的方法，其特征在于，還包括眼神光增加/校正判斷步驟，用于通過(guò)使用所述臉部圖像產(chǎn)生參數(shù)來(lái)提取眼神光增加/校正判斷參數(shù)，并通過(guò)使用所述眼神光增加/校正判斷參數(shù)來(lái)判斷眼神光增加/校正，其中，在所述眼神光設(shè)置步驟中，基于所述預(yù)定的臉部圖像產(chǎn)生參數(shù)和在所述眼神光增加/校正判斷步驟中的判斷結(jié)果在所述圖像中設(shè)置眼神光。
40.根據(jù)權(quán)利要求37～39中的任一項(xiàng)所述的方法，其特征在于，還包括潛在眼神光通知步驟，用于通知潛在眼神光，其中，在所述眼神光設(shè)置步驟中，基于所述預(yù)定的臉部圖像產(chǎn)生參數(shù)和在所述潛在眼神光通知步驟中的通知結(jié)果在所述圖像中設(shè)置眼神光。
41.根據(jù)權(quán)利要求37～40中的任一項(xiàng)所述的方法，其特征在于，在所述眼神光設(shè)置步驟中，使用確定臉部方向的參數(shù)、與眼睛區(qū)域中的瞳孔位置有關(guān)的參數(shù)和與虹膜位置有關(guān)的參數(shù)中的至少一個(gè)作為所述臉部圖像產(chǎn)生參數(shù)來(lái)設(shè)置眼神光的位置。
42.根據(jù)權(quán)利要求37～40中的任一項(xiàng)所述的方法，其特征在于，在所述眼神光設(shè)置步驟中，使用確定臉部大小的參數(shù)、確定眼睛大小的參數(shù)、確定瞳孔大小的參數(shù)和確定虹膜大小的參數(shù)中的至少一個(gè)作為所述臉部圖像產(chǎn)生參數(shù)來(lái)設(shè)置眼神光的大小。
43.根據(jù)權(quán)利要求37～40中的任一項(xiàng)所述的方法，其特征在于，在所述眼神光設(shè)置步驟中，使用顏色信息參數(shù)和圖像明度參數(shù)中的至少一個(gè)作為所述臉部圖像產(chǎn)生參數(shù)來(lái)設(shè)置眼神光區(qū)域的顏色。
44.根據(jù)權(quán)利要求39所述的方法，其特征在于，在所述眼神光增加/校正判斷步驟中，從所述臉部圖像產(chǎn)生參數(shù)中提取眼神光位置參數(shù)、眼神光大小參數(shù)和眼神光顏色參數(shù)中的至少一個(gè)。
45.根據(jù)權(quán)利要求39所述的方法，其特征在于，在所述眼神光增加/校正判斷步驟中，通過(guò)使用存在/不存在眼神光、表示眼神光大小的參數(shù)和表示眼神光的顏色信息的參數(shù)中的至少一個(gè)來(lái)進(jìn)行判斷。
46.根據(jù)權(quán)利要求39所述的方法，其特征在于，在所述眼神光增加/校正判斷步驟中，判斷是否增加眼神光。
47.根據(jù)權(quán)利要求39所述的方法，其特征在于，在所述眼神光增加/校正判斷步驟中，判斷是擴(kuò)大還是縮小現(xiàn)有眼神光區(qū)域。
48.根據(jù)權(quán)利要求40所述的方法，其特征在于，在所述潛在眼神光通知步驟中，執(zhí)行閃光發(fā)出通知和拍攝者進(jìn)行的眼神光增加或校正模式選擇的信息通知中的至少一個(gè)。
49.一種圖像處理設(shè)備，其特征在于，包括輸入裝置，用于輸入圖像；臉部圖像產(chǎn)生參數(shù)提取裝置，用于通過(guò)分析所述輸入圖像來(lái)提取預(yù)定的臉部圖像產(chǎn)生參數(shù)；以及眼神光設(shè)置裝置，用于基于由所述臉部圖像產(chǎn)生參數(shù)提取裝置提取的參數(shù)來(lái)設(shè)置所述圖像中的眼神光。
50.一種攝像設(shè)備，其特征在于，包括攝像裝置；以及根據(jù)權(quán)利要求49所述的圖像處理設(shè)備，其中，所述圖像處理設(shè)備在所述攝像裝置拍攝的圖像中設(shè)置眼神光。
51.一種程序，其特征在于，使計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求37～48中的任一項(xiàng)所述的圖像處理方法。
全文摘要
從輸入圖像中提取眼睛區(qū)域。從眼睛區(qū)域中提取不良瞳孔色調(diào)質(zhì)量區(qū)域。從不良瞳孔色調(diào)質(zhì)量區(qū)域中提取高亮度區(qū)域。提取通過(guò)從不良瞳孔色調(diào)質(zhì)量區(qū)域中去除高亮度區(qū)域而獲得的區(qū)域作為紅眼區(qū)域。使用與用于紅眼區(qū)域的方法不同的方法來(lái)校正高亮度區(qū)域。
文檔編號(hào)G06T7/00GK1993707SQ200580025780
公開日2007年7月4日 申請(qǐng)日期2005年7月27日 優(yōu)先權(quán)日2004年7月30日
發(fā)明者御手洗裕輔, 真繼優(yōu)和, 森克彥, 金田雄司 申請(qǐng)人:佳能株式會(huì)社