專利名稱：瞳孔顏色推定裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適用于拍攝圖像(特別是拍攝人的臉部的圖像)的攝像裝置、處理圖像的信息處理裝置、輸出裝置、及軟件等的有效技術(shù)。
背景技術(shù)：
[專利文獻(xiàn)1]特許第2634511號[專利文獻(xiàn)2]特開平05-019382號公報(bào)[專利文獻(xiàn)3]特開2001-069333號公報(bào)以前，不論是數(shù)碼照相機(jī)還是銀鹽方式(膠卷)照相機(jī)，都存在所拍攝的人物瞳孔甚至整個(gè)眼睛都被拍攝成紅色的紅眼現(xiàn)象的問題。作為同樣的問題，還有人物的瞳孔甚至整個(gè)眼睛都被拍攝成金色的金眼現(xiàn)象。這種紅眼、金眼現(xiàn)象(以下以紅眼現(xiàn)象為例進(jìn)行說明)是從眼睛的瞳孔部分向眼球內(nèi)入射的閃光在視網(wǎng)膜上發(fā)生反射而引起的現(xiàn)象。最近隨著照相機(jī)日趨小型化，照相機(jī)的光軸和閃光燈間的距離變近，所以紅眼現(xiàn)象的發(fā)生率變高，又重新成為問題。
作為在攝影時(shí)為了防止、減輕這種紅眼現(xiàn)象的技術(shù)，曾提出了防止紅眼閃光燈的方案。這是在攝影之前先使閃光燈輕微發(fā)光之后再次使閃光燈發(fā)光的技術(shù)。根據(jù)該技術(shù)，通過最初的發(fā)光使被攝像者的瞳孔收縮，來防止、減輕其后的閃光引起的紅眼現(xiàn)象。
但是，在已經(jīng)發(fā)生了紅眼現(xiàn)象時(shí)，只要不可能重新拍攝，就需要對紅眼進(jìn)行圖像校正。作為這樣的圖像校正技術(shù)，提出了通過指定發(fā)生了紅眼現(xiàn)象的像素并變更該像素的顏色進(jìn)行校正的方法(參照專利文獻(xiàn)1)。
另外，在變更發(fā)生了紅眼現(xiàn)象的像素顏色時(shí)，需要決定變更后的瞳孔的顏色。作為決定瞳孔顏色的技術(shù)，提出了由用戶選擇按各人種預(yù)先記錄的瞳孔顏色，使用該顏色變更瞳孔像素的顏色的技術(shù)(參照專利文獻(xiàn)2)。此外，作為同樣的技術(shù)，還提出了從“做成西方人的樣子”及“東方人的樣子”等多種個(gè)模式中選擇顯得自然的瞳孔顏色，并使用該顏色進(jìn)行變更的技術(shù)(參照專利文獻(xiàn)3)。
但是，在已發(fā)生紅眼現(xiàn)象的瞳孔圖像中，已喪失了本來的瞳孔顏色。因此，這樣從發(fā)生了紅眼現(xiàn)象的瞳孔圖像中，很難推定本來的瞳孔顏色。如果不能推定本來的瞳孔顏色，當(dāng)然即使想使用現(xiàn)有技術(shù)進(jìn)行校正，也很難生成自然的圖像。
另外，即使使用了例如專利文獻(xiàn)2、3中所記載的技術(shù)，用戶也有必要通過目視推定被攝體的人種。一般來說，由于具有人種相關(guān)知識的用戶決不很多，所以根據(jù)人種推定瞳孔顏色，對用戶來說是很難又很煩瑣的處理。
并且，作為瞳孔顏色的校正方法，可以考慮不通過推定本來的瞳孔顏色進(jìn)行瞳孔顏色的置換，而只是單單從發(fā)生了紅眼現(xiàn)象的瞳孔顏色中除去紅色的方法。但是，在進(jìn)行這種校正方法時(shí)也有問題。人的視覺具有用色彩對比來判斷顏色的感覺的特性。因此，例如當(dāng)被攝體是紅臉時(shí)或在紅色照明下拍攝時(shí)，只是單單進(jìn)行從瞳孔顏色除去紅色的校正，反而有可能生成不自然的圖像。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種可以根據(jù)所拍攝的人物圖像，推定被認(rèn)為未發(fā)生紅眼現(xiàn)象等在瞳孔部分的圖像中有可能發(fā)生的異常時(shí)，該人物的瞳孔顏色(所拍攝圖像中的本來的瞳孔顏色)的技術(shù)。
在以下的說明中，皮膚顏色表示所有的人、人種的皮膚顏色，而不限定于特定的人、人種的皮膚顏色。
(第一種形式)為了解決上述問題，本發(fā)明采用以下的結(jié)構(gòu)。第一種形式是瞳孔顏色推定裝置，其包括膚色確定單元及瞳孔顏色推定單元。
膚色確定單元用于確定所輸入的圖像中的被攝人物的皮膚顏色。膚色確定單元也可以由用戶手動地確定皮膚的顏色。膚色確定單元也可以將由用戶以輸入圖像為基礎(chǔ)指定的顏色、由用戶指定的圖像中的像素的顏色(即，由用戶指定的位置的實(shí)測值)等，確定為該人物的皮膚顏色。另外，膚色確定單元也可以根據(jù)用戶的輸入，確定皮膚顏色。膚色確定單元也可以將由用戶指定的圖像中的區(qū)域中的像素顏色的統(tǒng)計(jì)結(jié)果(平均值、最頻值、中間值等)等，確定為該人物的皮膚顏色。
另外，膚色確定單元也可以獨(dú)立于用戶的輸入來確定皮膚的顏色。對于這樣構(gòu)成的膚色確定單元，在第二種形式中進(jìn)行說明。
瞳孔顏色推定單元，根據(jù)由膚色確定單元所確定的皮膚顏色，推定在圖像中應(yīng)表現(xiàn)的該人物的瞳孔顏色。瞳孔顏色推定單元推定的“圖像中應(yīng)表現(xiàn)的該人物的瞳孔顏色”是指，不是在所輸入的圖像中的瞳孔區(qū)域的顏色本身，而是指被認(rèn)為未發(fā)生紅眼/金眼現(xiàn)象之類的異常的情況下拍攝到的圖像中所表現(xiàn)的瞳孔顏色，換句話說，是指本來應(yīng)輸出的瞳孔顏色。
這樣構(gòu)成的第一種形式，根據(jù)所輸入的圖像來確定被攝人物的皮膚顏色，并根據(jù)該皮膚的顏色，推定該人物的瞳孔顏色。因此，可以推定對該圖像中的皮膚顏色考慮了色彩對比的自然且沒有不協(xié)調(diào)感的瞳孔顏色。從而，根據(jù)由于紅眼現(xiàn)象、金眼現(xiàn)象等的發(fā)生而喪失了本來瞳孔顏色的圖像，可以推定本來的瞳孔顏色(被認(rèn)為未發(fā)生異常時(shí)所表現(xiàn)出(輸出)的瞳孔顏色)。
(第二種形式)第二種形式是瞳孔顏色推定裝置，其包括臉部檢測單元、膚色確定單元、及第一種形式中的瞳孔顏色推定單元。
臉部檢測單元對所輸入的圖像中的被攝人物的臉部區(qū)域進(jìn)行檢測。“臉部區(qū)域”是指包含被攝人物臉部的一部分或全部的區(qū)域。
第二種形式中的膚色確定單元，根據(jù)由臉部檢測單元檢測出的臉部區(qū)域中所包含的像素的顏色，確定該人物的皮膚顏色。膚色確定單元也可以將由臉部檢測單元檢測出的臉部區(qū)域中的像素顏色的統(tǒng)計(jì)結(jié)果(平均值、最頻值、中間值等)等，確定為該人物的皮膚顏色。
在這樣構(gòu)成的第二種形式中，根據(jù)所輸入的圖像確定被攝人物的皮膚顏色，根據(jù)該皮膚顏色，推定該人物的瞳孔顏色。因此，與第一種形式一樣，可以推定對該圖像中的皮膚顏色考慮了色彩對比的自然且沒有不協(xié)調(diào)感的瞳孔顏色。從而，根據(jù)由于紅眼現(xiàn)象、金眼現(xiàn)象等的發(fā)生而喪失了本來的瞳孔顏色的圖像，可以推定本來的瞳孔顏色(被認(rèn)為未發(fā)生異常時(shí)所表現(xiàn)出(輸出)的瞳孔顏色)。
在第二種形式中，膚色確定單元通過根據(jù)臉部檢測單元的檢測結(jié)果進(jìn)行處理，可以獨(dú)立于用戶的輸入(即，在膚色確定處理時(shí)，也可以沒有用戶指定的顏色或指定的用于確定顏色的圖像中的區(qū)域)確定皮膚顏色。因此，可以節(jié)省用戶的勞力和時(shí)間。
(第三種形式)第三種形式中，除了第一或第二種形式的構(gòu)成外，還具有瞳孔區(qū)域確定單元及判斷單元。瞳孔區(qū)域確定單元確定圖像中被攝人物的瞳孔區(qū)域。瞳孔區(qū)域確定單元既可以根據(jù)用戶的輸入確定瞳孔區(qū)域，也可以獨(dú)立于用戶的輸入來確定瞳孔區(qū)域。
判斷單元對由瞳孔顏色推定單元推定的瞳孔顏色與由瞳孔區(qū)域確定單元確定的瞳孔區(qū)域的顏色進(jìn)行比較。判斷單元根據(jù)該比較結(jié)果來判斷圖像中的瞳孔部分是否發(fā)生了異常。在圖像的瞳孔部分發(fā)生的異常是指，例如紅眼現(xiàn)象、金眼現(xiàn)象等，瞳孔部分的一部分或全部的顏色發(fā)生的異常。
在這樣構(gòu)成的第三種形式中，對根據(jù)皮膚顏色推定的瞳孔顏色、與根據(jù)圖像確定的瞳孔區(qū)域的顏色進(jìn)行比較，判斷圖像中的瞳孔部分是否發(fā)生了異常。從而，用戶根據(jù)該判斷結(jié)果，可以容易地決定對該圖像的對應(yīng)。例如，用戶在考慮對發(fā)生了異常的圖像進(jìn)行校正時(shí)，可以根據(jù)該判斷結(jié)果判斷是否進(jìn)行校正。另外，例如在所拍攝的圖像中發(fā)生了異常的情況下，用戶正在考慮重新拍攝時(shí)，可以根據(jù)該判斷結(jié)果，判斷是否重新進(jìn)行拍攝。
(第四種形式)第四種形式中，除了第二種形式的構(gòu)成外，還包括瞳孔檢測單元及判斷單元。
瞳孔檢測單元對由臉部檢測單元所檢測出的該人物的瞳孔區(qū)域進(jìn)行檢測?！巴讌^(qū)域”是指包含被攝人物的瞳孔的一部分或全部的區(qū)域判斷單元通過對由瞳孔顏色推定單元推定的瞳孔顏色、與根據(jù)由瞳孔檢測單元檢測出的瞳孔區(qū)域所確定的顏色進(jìn)行比較，判斷成為處理對象的圖像中的該人物的瞳孔顏色是否發(fā)生了異常。例如，判斷單元通過對所檢測出的瞳孔區(qū)域的各像素的顏色與所推定的瞳孔顏色進(jìn)行比較來進(jìn)行判斷。另外，判斷單元也可以根據(jù)所檢測出的瞳孔區(qū)域的各像素的顏色，通過統(tǒng)計(jì)處理確定一個(gè)代表值，通過比較該代表值和所推定的瞳孔顏色來進(jìn)行判斷。
在第四種形式中，對根據(jù)皮膚顏色推定的瞳孔顏色、與所檢測出的瞳孔區(qū)域中的顏色進(jìn)行比較，判斷在圖像中的瞳孔部分是否發(fā)生了異常。因此，與第三形式一樣，用戶根據(jù)該判斷結(jié)果可以容易地決定對該圖像的對應(yīng)。另外，在第四種形式中，判斷單元通過根據(jù)瞳孔檢測單元的檢測結(jié)果進(jìn)行處理，可以獨(dú)立于用戶的輸入(即，在瞳孔顏色確定處理時(shí)，也可以沒有用戶指定的顏色或指定的用于確定顏色的圖像中的區(qū)域)確定瞳孔顏色。因此，可以節(jié)省用戶的勞力和時(shí)間。
(第五種形式)第五種形式中，除了第一或第二種形式的構(gòu)成外，還包括校正單元。
校正單元根據(jù)由瞳孔顏色推定單元推定的瞳孔顏色，校正該人物的瞳孔顏色。校正單元既可以根據(jù)用戶的輸入進(jìn)行校正，也可以獨(dú)立于用戶的輸入進(jìn)行校正。例如，校正單元也可以對由用戶指定的瞳孔的像素進(jìn)行校正。另外，例如，校正單元也可以對由用戶指定的瞳孔區(qū)域進(jìn)行校正。另外，例如，校正單元也可以對根據(jù)用戶指定的顏色、像素所決定的瞳孔區(qū)域進(jìn)行校正。
在第五種形式中，可根據(jù)由瞳孔顏色推定單元推定的瞳孔顏色，校正圖像中的該人物的瞳孔顏色。因此，可以對瞳孔進(jìn)行考慮了色彩對比的校正，換句話說，可以進(jìn)行自然且沒有不協(xié)調(diào)感的校正。即可以提高校正質(zhì)量。
(第六種形式)
第六種形式中，除了第二種形式的構(gòu)成之外，還包括第四種形式中的瞳孔檢測單元和校正單元。
第六種形式中的校正單元根據(jù)由瞳孔顏色推定單元所推定的瞳孔顏色，對由瞳孔檢測單元所檢測出的瞳孔區(qū)域，進(jìn)行瞳孔顏色的校正。
與第五種形式一樣，第六種形式根據(jù)由瞳孔顏色推定單元所推定的瞳孔顏色，校正圖像中的該人物的瞳孔顏色。因此，可以對瞳孔進(jìn)行考慮了色彩對比的校正，換句話說，可以進(jìn)行自然且沒有不協(xié)調(diào)感的校正。即，可以提高校正質(zhì)量。
此外，第六種形式中的校正單元，通過根據(jù)瞳孔檢測單元的檢測結(jié)果進(jìn)行處理?？梢元?dú)立于用戶的輸入進(jìn)行瞳孔顏色的校正。因此，用戶不必對瞳孔顏色推定裝置進(jìn)行像素、區(qū)域的指定，可以節(jié)省用戶的勞力和時(shí)間。
(第七種形式)在第七種形式中，除了第三或第四種形式的構(gòu)成之外，還包括校正單元。第七種形式的校正單元，當(dāng)通過判斷單元判斷為瞳孔顏色中發(fā)生了異常時(shí)，根據(jù)由瞳孔顏色推定單元所推定的瞳孔顏色，校正該人物的瞳孔顏色。即，第七種形式的校正單元，當(dāng)通過判斷單元被判斷發(fā)生了異常時(shí)，象第五種形式具有的校正單元那樣進(jìn)行工作。
根據(jù)第七種形式，根據(jù)判斷單元的判斷結(jié)果實(shí)施校正處理。因此，例如對不需要校正處理的圖像，可以省略執(zhí)行校正處理等的多余處理。
另外，由于第七種形式所具有的校正單元在進(jìn)行校正處理時(shí)，象第五種形式中具有的校正單元那樣進(jìn)行工作，所以可以根據(jù)由瞳孔顏色推定單元推定的瞳孔顏色，校正圖像中的該人物的瞳孔顏色。因此，可以對瞳孔進(jìn)行考慮了色彩對比的校正，換句話說，可以進(jìn)行自然且沒有不協(xié)調(diào)感的校正。即可以提高校正質(zhì)量。
(第八種形式)第八種形式中，除了第四種形式的構(gòu)成之外，還包括校正單元。第八種形式的校正單元，與第七種形式的校正單元一樣，當(dāng)通過判斷單元判斷為瞳孔顏色發(fā)生了異常時(shí)，實(shí)施校正處理。另外，第八種形式的校正單元，與第六種形式的校正單元相同，根據(jù)由瞳孔顏色推定單元所推定的瞳孔顏色，對由瞳孔檢測單元所檢測出的瞳孔區(qū)域，進(jìn)行瞳孔顏色的校正。
根據(jù)第八種形式，與第七種形式一樣，例如對不需要校正處理的圖像，可以省略執(zhí)行校正處理等多余處理。
另外，第八種形式所具有的校正單元，由于在進(jìn)行校正處理時(shí)，象第六種形式中具有的校正單元那樣進(jìn)行工作，所以可取得以下效果。即，與第五種形式一樣，根據(jù)由瞳孔顏色推定單元所推定的瞳孔顏色，校正圖像中的該人物的瞳孔顏色。因此，可以對瞳孔進(jìn)行考慮了色彩對比的校正，換句話說，可以進(jìn)行自然且沒有不協(xié)調(diào)感的校正。即，可以提高校正質(zhì)量。另外，與第六種形式一樣，通過根據(jù)瞳孔檢測單元的檢測結(jié)果進(jìn)行處理，可以獨(dú)立于用戶的輸入實(shí)施瞳孔顏色的校正。因此，用戶不必對瞳孔顏色推定裝置進(jìn)行像素、區(qū)域的指定，可以節(jié)省用戶的勞力和時(shí)間。
(第九種形式)在第九種形式中，第三、四、七及八種形式的判斷單元如下構(gòu)成。在第九種形式中，作為圖像中發(fā)生的異常的例子，判斷單元判斷是否發(fā)生了紅眼。具體來說，判斷單元通過對由瞳孔顏色推定單元推定的瞳孔顏色中的紅色、與從瞳孔檢測單元所檢測出的瞳孔區(qū)域所確定的顏色中的紅色進(jìn)行比較，判斷圖像中的瞳孔部分是否變成了紅眼。
(第十種形式)在第十種形式中，第五至第八種形式的校正單元如下構(gòu)成。在第十種形式中，校正單元對成為校正對象的像素，維持該像素的亮度進(jìn)行校正。當(dāng)象第八種形式那樣具有瞳孔檢測單元時(shí)，第十種形式中的校正單元對由瞳孔檢測單元檢測出的瞳孔區(qū)域的像素，維持該像素的亮度進(jìn)行校正。
順便提一下，一般來說，人的視覺通過所謂光點(diǎn)(catch light在眼球表面發(fā)生的正反射現(xiàn)象)來捕捉眼球的球形及眼球表面的濕潤感。因此，有時(shí)會捕捉到對人來說不自然的、無光點(diǎn)的瞳孔的圖像。
另外，在發(fā)生了紅眼現(xiàn)象、金眼現(xiàn)象的瞳孔的圖像中，雖然有時(shí)會有已失掉光點(diǎn)自身的情況，但是該圖像中的亮度分布卻大多具有與光點(diǎn)時(shí)同樣的分布。
如上所述，第十種形式維持像素的亮度進(jìn)行校正。因此，在校正后的瞳孔圖像中不會失掉所謂的光點(diǎn)而能對眼球的球形及眼球表面的濕潤度進(jìn)行自然地表現(xiàn)。從而，可以實(shí)現(xiàn)高質(zhì)量的圖像校正。
(第十一種形式)第十一種形式中，在上述各形式中，瞳孔顏色推定單元，還根據(jù)皮膚顏色和瞳孔顏色的相關(guān)關(guān)系，推定瞳孔的顏色，其中皮膚顏色和瞳孔顏色的相關(guān)關(guān)系是根據(jù)包含被認(rèn)為瞳孔部分未發(fā)生異常的被攝人物的圖像所得到的皮膚顏色和瞳孔顏色的統(tǒng)計(jì)處理結(jié)果得到的。這里所說的“統(tǒng)計(jì)處理結(jié)果”是指，對包含被認(rèn)為在瞳孔的圖像中未發(fā)生異常的被攝人物的圖像中的皮膚顏色和瞳孔顏色實(shí)施的統(tǒng)計(jì)處理的結(jié)果。瞳孔顏色推定單元也可以根據(jù)基于上述相關(guān)關(guān)系構(gòu)成的使皮膚顏色和瞳孔顏色相對應(yīng)的表，來推定瞳孔顏色。另外，瞳孔顏色推定單元也可以根據(jù)基于上述相關(guān)關(guān)系取得的皮膚顏色和瞳孔顏色的關(guān)系式，推定瞳孔顏色。
通過這樣構(gòu)成，瞳孔顏色推定單元根據(jù)被攝人物的膚色，可以推定被統(tǒng)計(jì)處理結(jié)果所證實(shí)的更自然的瞳孔顏色。
(第十二種形式)第十二種形式中，在上述各種形式中，還包括近似式存儲單元、人種推定單元及選擇單元。近似式存儲單元將用于推定瞳孔顏色的近似式和人種相對應(yīng)進(jìn)行存儲。這樣的近似式是根據(jù)第十一種形式所示的統(tǒng)計(jì)處理的結(jié)果所得到的近似式，是預(yù)先取得的式子。人種推定單元對被攝人物的人種進(jìn)行推定。人種推定單元也可以使用現(xiàn)有的任何人種推定技術(shù)。選擇單元選擇與所推定的人種相對應(yīng)存儲在近似式存儲單元中的近似式。另外，第十二種形式中的瞳孔顏色推定單元，根據(jù)所確定的皮膚顏色并使用所選擇的近似式，來推定瞳孔的顏色。
根據(jù)經(jīng)驗(yàn)，人種不同瞳孔顏色也不同。因此，在不同的人種成為被攝體時(shí)，使用相同近似式來推定瞳孔顏色很可能使精度降低。但是，根據(jù)第十二種形式，根據(jù)被攝的人種，可以推定更合適的瞳孔顏色。因此可以推定更自然的瞳孔顏色。
(第十三種形式)第十三種形式中，在上述各形式中還包括近似式存儲單元、環(huán)境推定單元及選擇單元。近似式存儲單元將用于推定瞳孔顏色的近似式和環(huán)境相對應(yīng)進(jìn)行存儲。這樣的近似式是根據(jù)第十一種形式所示的統(tǒng)計(jì)處理結(jié)果所得到的近似式，是預(yù)先取得的式子。環(huán)境推定單元對本裝置工作的環(huán)境或輸入圖像的拍攝環(huán)境環(huán)境進(jìn)行推定。環(huán)境推定單元可以按照任何基準(zhǔn)推定環(huán)境。例如，環(huán)境推定單元也可以根據(jù)本裝置上所安裝的OS及本裝置自身設(shè)定的使用語言、時(shí)區(qū)、地域信息、電話號碼等推定環(huán)境。另外，環(huán)境推定單元也可以根據(jù)所拍攝的圖像上所附加的信息(例如EXIF、及其他首部信息)推定環(huán)境。選擇單元，選擇與所推定的環(huán)境相對應(yīng)存儲在近似式存儲單元中的近似式。另外，在第十三種形式中，瞳孔顏色推定單元，根據(jù)所確定的皮膚顏色并使用所選擇的近似式，來推定上述瞳孔的顏色。
根據(jù)經(jīng)驗(yàn)，人種不同瞳孔顏色也不同。而且，根據(jù)經(jīng)驗(yàn)，環(huán)境(國家及地域等)不同，人種的構(gòu)成也不同。因此，在不同環(huán)境中拍攝的圖像等中，有可能成為被攝體的人種也不同，使用相同的近似式推定瞳孔顏色可能會導(dǎo)致精度下降。但是，根據(jù)第十三種形式，可以對應(yīng)本裝置正在工作的環(huán)境，推定合適的瞳孔顏色。由此，可以推定更自然的瞳孔顏色。
(其他)第一至第十三種形式，也可以通過由信息處理裝置執(zhí)行程序來實(shí)現(xiàn)。即，使用使信息處理裝置執(zhí)行上述第一至第十三種形式中的各單元執(zhí)行的處理的程序、或者使用記錄有該程序的記錄介質(zhì)，也可以得到上述的作用和效果。另外，使用使信息處理裝置執(zhí)行第一至第十三種形式中的各裝置執(zhí)行的處理的方法，也可以得到上述的作用和效果。另外，第一至第十三種形式也可以裝在數(shù)碼照相機(jī)、數(shù)字?jǐn)z像機(jī)等攝像裝置、數(shù)字照片打印機(jī)、洗印機(jī)及其他圖像處理裝置中。
根據(jù)本發(fā)明，可以推定對所輸入的圖像中的皮膚顏色考慮了色彩對比的瞳孔顏色。因此，即使由于紅眼現(xiàn)象、金眼現(xiàn)象等的發(fā)生而導(dǎo)致圖像喪失了本來的瞳孔顏色，也可以推定本來的瞳孔顏色。


圖1是表示瞳孔顏色推定裝置的第一實(shí)施方式的功能方框圖例的圖。
圖2是表示臉部矩形例子的圖。
圖3是表示在取得皮膚顏色代表值時(shí)確定的區(qū)域的例子圖。
圖4是表示瞳孔顏色推定裝置第一實(shí)施方式的動作例的流程圖。
圖5是表示瞳孔顏色推定裝置的第二實(shí)施方式的功能方框圖例的圖。
圖6是表示瞳孔顏色推定裝置的第二實(shí)施方式的動作例的流程圖。
圖7是表示瞳孔顏色推定裝置的第三實(shí)施方式的功能方框圖例的圖。
圖8是表示瞳孔顏色推定裝置第三實(shí)施方式的動作例的流程圖。
圖9是表示瞳孔顏色推定裝置的第四實(shí)施方式的功能方框圖例的圖。
圖10是表示特征點(diǎn)的設(shè)定例的圖。
圖11是表示伽柏(Gabor)濾波器的例子圖。
圖12是表示二叉樹搜索的例子的圖。
圖13是表示瞳孔顏色推定裝置的第四實(shí)施方式的動作例的流程圖。
圖14是表示瞳孔顏色推定裝置的第五實(shí)施方式的功能方框圖例的圖。
圖15是表示瞳孔顏色推定裝置的第五實(shí)施方式的動作例的流程圖。
符號說明1a、1b、1c、1d、1e瞳孔顏色推定裝置；2存儲部；3臉部檢測部；4膚色確定部；5a、5d、5e瞳孔顏色推定部；6臉部矩形；7瞳孔檢測部；8判斷部；9校正部；10人種推定部；11特征提取部；12屬性推定部；13環(huán)境推定部。
具體實(shí)施例方式
下面參照附圖對瞳孔顏色推定裝置進(jìn)行說明。對于瞳孔顏色推定裝置的以下說明只是例示舉個(gè)例子，其結(jié)構(gòu)并不限定于以下的說明。
第一實(shí)施方式(系統(tǒng)結(jié)構(gòu))首先對作為瞳孔顏色推定裝置的第一實(shí)施方式的瞳孔顏色推定裝置1a進(jìn)行說明。瞳孔顏色推定裝置1a在硬件方面具有通過總線連接的CPU(中央運(yùn)算處理裝置)、主存儲裝置(RAMRandom Access Memory隨機(jī)存取存儲器)、及輔助存儲裝置等。輔助存儲裝置用不易失性存儲裝置構(gòu)成。此處所說的不易失性存儲裝置是指所謂的ROM(Read-OnlyMemory包括EPROM(Erasable Programmable Read-Only Memory)、EEPROM(Electrically Erasably Programmable Read-Only Memory)、掩模ROM等)、FRAM(Ferroelectrie RAM)、硬盤等。
圖1是表示瞳孔顏色推定裝置1a的功能方框圖例的圖。瞳孔顏色推定裝置1a將輔助存儲裝置中所存儲的各種程序(OS、應(yīng)用程序等)加載到主存儲裝置中，通過CPU執(zhí)行，發(fā)揮作為包括存儲部2、臉部檢測部3、膚色確定部4、及瞳孔顏色推定部5a等裝置的功能。臉部檢測部3、膚色確定部4、及瞳孔顏色推定部5a，通過由CPU執(zhí)行程序來實(shí)現(xiàn)。另外，臉部檢測部3、膚色確定部4、及瞳孔顏色推定部5a也可以分別以專用芯片來構(gòu)成。另外，對應(yīng)于各處理部所實(shí)施的處理內(nèi)容，存在硬件/軟件方面的適合或不適合。因此，也可以將它們安裝成硬件/軟件的混合體。下面對瞳孔顏色推定裝置1a具有的各功能部進(jìn)行說明。
(存儲部)存儲部2用來存儲被輸入到瞳孔推定裝置1a的圖像。存儲部2既可以用所謂的RAM構(gòu)成，也可以用所謂的ROM構(gòu)成。
輸入到存儲器2中的圖像是指，例如是由未圖示的攝像裝置所拍攝的圖像、從未圖示的信息處理裝置通過接口傳輸?shù)膱D像、及從未圖示的記錄介質(zhì)等讀出的圖像等。
(臉部檢測部)臉部檢測部3對在存儲部2中存儲的圖像中作為瞳孔顏色推定裝置1a的處理對象的圖像實(shí)施臉部檢測處理。臉部檢測處理中，臉部檢測部3從存儲部2讀出成為處理對象的圖像，從被讀出的圖像中檢測出臉部矩形6。圖2是表示臉部矩形例子(臉部矩形6)的圖。臉部矩形6是包括被攝人物臉部的矩形。
臉部檢測部3當(dāng)檢測出臉部矩形6時(shí)，輸出臉部矩形信息。臉部矩形信息是指，表示臉部矩形6的大小及位置的信息。例如，臉部矩形信息表示臉部矩形6的寬度和左上角的座標(biāo)。根據(jù)該臉部矩形信息，其他處理部確定處理對象圖像中的被攝人物的臉部位置。
臉部檢測部3進(jìn)行的臉部檢測處理，例如也可以通過使用與臉部整體輪廓對應(yīng)的基準(zhǔn)模板進(jìn)行的模板匹配來檢測臉部。另外，也可以通過基于臉部的構(gòu)成要素(眼、鼻、耳等)的模板匹配來檢測臉部。另外，也可以通過色度鍵處理來檢測頭發(fā)的頂點(diǎn)，并根據(jù)該頂點(diǎn)來檢測臉部。另外，臉部檢測部3也可以檢測與皮膚顏色相近的區(qū)域，將該區(qū)域作為臉部檢測出來。另外，臉部檢測部3也可以使用神經(jīng)網(wǎng)絡(luò)，根據(jù)教師信號進(jìn)行學(xué)習(xí)，以把象是臉部的區(qū)域作為臉部進(jìn)行檢測出來。另外，臉部檢測部3的臉部檢測處理也可以用現(xiàn)有的任何其他方法來實(shí)現(xiàn)。
(膚色確定部)膚色確定部4從由臉部檢測部3檢測出的臉部矩形6的區(qū)域，取得被攝人物的皮膚顏色的代表值。以后，將該處理稱為膚色確定處理。在膚色處理中，膚色確定部4例如將臉部矩形6中所包含的像素的顏色值的統(tǒng)計(jì)值作為代表值取得。更優(yōu)選的方式是膚色確定部4取得臉部矩形6所包含的像素中的規(guī)定像素的顏色值的統(tǒng)計(jì)值。
“規(guī)定的像素”是指，例如是根據(jù)臉部矩形6的臉部矩形信息確定的區(qū)域中所包含的像素。作為更具體的例子，例如也可以是根據(jù)臉部矩形6的臉部矩形信息按幾何學(xué)進(jìn)行確定的區(qū)域內(nèi)的像素。圖3是表示這種區(qū)域的例子圖。在圖3中，作為這種區(qū)域的例子，確定出以臉部矩形6的寬度的3/4為直徑、以臉部矩形6的中心(圖3中的“p”)為中心的圓內(nèi)的區(qū)域。
另外，“規(guī)定的像素”是指，例如也可以是從臉部矩形6所包含的像素中，排除造成膚色測量噪聲的像素之后所剩余的像素。作為這種產(chǎn)生噪聲的像素例子，有臉部要素(例如眉毛、眼球、嘴唇、鼻孔)、及皮膚發(fā)亮部分等的像素。
另外，“規(guī)定的像素”是指，例如也可以是在臉部矩形6所包含的像素中、通過邊緣提取等處理所確定的臉部輪廓的內(nèi)側(cè)所包含的像素。另外，所述“規(guī)定的像素”的確定方法也可根據(jù)需要進(jìn)行組合。
然后，膚色確定部4根據(jù)規(guī)定的像素實(shí)施統(tǒng)計(jì)處理，取得被攝人物的皮膚顏色的代表值。統(tǒng)計(jì)處理也可以是中間值、平均值、最頻值等的簡單處理。另外，統(tǒng)計(jì)處理中還可以通過從直方圖例如用36等方法劃分范圍，進(jìn)行排除噪聲因素的處理。
膚色確定部4在進(jìn)行膚色統(tǒng)計(jì)處理時(shí)，也可以利用與所述方法不同的方法來取得被攝人物膚色的代表值。例如，膚色確定部4也可以將臉部矩形6內(nèi)的特定的像素的顏色值作為代表值來取得。
(瞳孔顏色推定部)瞳孔顏色推定部5a根據(jù)由膚色確定部4所取得的膚色代表值，推定該被攝人物的瞳孔顏色。以下將瞳孔顏色推定部5a所推定的瞳孔顏色稱為“瞳孔推定色”。瞳孔顏色推定部5a根據(jù)RGB各色的變換函數(shù)(近似式)取得瞳孔推定色。該近似式表示被攝人物圖像中的皮膚顏色、與被認(rèn)為未發(fā)生紅眼等異常的圖像中的瞳孔顏色間的相關(guān)關(guān)系。該近似式是作為前處理預(yù)先已取得的式子。首先對該近似式的導(dǎo)出法進(jìn)行說明。
首先，作為取樣圖像收集多個(gè)被認(rèn)為在瞳孔的圖像上未發(fā)生紅眼及金眼等異常的圖像(換句話說是“沒有不協(xié)調(diào)感的圖像”、“被認(rèn)為被攝人物的瞳孔被正常拍攝的圖像”)。通過對這些取樣圖像進(jìn)行統(tǒng)計(jì)處理，得到被攝人物圖像中的皮膚顏色、與被認(rèn)未發(fā)生異常的圖像中的瞳孔顏色的相關(guān)關(guān)系。具體來說，首先取得各取樣圖像中的被攝人物的皮膚顏色的代表值Sn(Srn、Sgn、Sbn)、及該人物的瞳孔的正常顏色的代表值En(Ern、Egn、Ebn)。這些代表值通過與例如由膚色確定部4所實(shí)施的統(tǒng)計(jì)處理以同樣的方法取得。這些代表值可以通過其他任何方法取得。
下面，假定例如各顏色的變換函數(shù)可用一次方程式來近似。即，假定通過以下的式子表示各顏色的變換函數(shù)。
(數(shù)學(xué)式1)Ec＝Ac·Sc+Bc其中“c”表示rgb中的任意一個(gè)。而“A”、“B”表示系數(shù)。前處理中，根據(jù)各取樣圖像中的膚色代表值Sn和瞳孔的正常顏色的代表值En，用最小二乘法決定系數(shù)“A”、“B”的值。這樣，在前處理中，取得對RGB各顏色的近似式，即，取得用于由皮膚顏色推定瞳孔的正常顏色的三個(gè)近似式。
下面，對使用了所述近似式的瞳孔推定色的取得方法進(jìn)行說明。瞳孔顏色推定部5a將由膚色確定部4所取得的膚色代表值代入預(yù)先取得的近似式，推定該被攝體瞳孔的正常顏色(即瞳孔推定色)。
在上述的說明中，說明了在前處理中取得一次方程式的近似式的情況，當(dāng)然也可以根據(jù)一次方程式以外的近似式，實(shí)施前處理及瞳孔顏色推定部5a的處理。
(動作例)圖4是表示瞳孔顏色推定裝置1a的動作例的流程圖。使用圖4對瞳孔顏色推定裝置1a的動作例進(jìn)行說明。
首先，臉部檢測部3從成為處理對象的圖像中檢測出被攝人物的臉部(S01)。即，從成為處理對象的圖像檢測出臉部矩形6，取得臉部矩形信息。然后，膚色確定部4根據(jù)由臉部檢測部3取得的臉部矩形信息，確定膚色代表值(S02)。然后，瞳孔顏色推定部5a使用由膚色確定部4取得的膚色代表值和預(yù)先取得的近似式，推定由臉部檢測部3所檢測出的人物的瞳孔顏色，取得瞳孔推定色(S03)。然后，瞳孔顏色推定部5a輸出所推定的瞳孔推定色(S04)。
(作用/效果)瞳孔顏色推定裝置1a根據(jù)預(yù)先取得的近似式，由輸入圖像的被攝人物的膚色，推定該人物瞳孔的正常顏色，即，在圖像中應(yīng)被表現(xiàn)的瞳孔顏色。因此，即使在輸入圖像中發(fā)生了紅眼及金眼等問題，也可以獨(dú)立于這樣的紅眼、金眼的瞳孔異常顏色來推定被攝人物的瞳孔的正常顏色。從而，用戶可以根據(jù)這樣被推定的瞳孔推定色，判斷對輸入圖像的瞳孔部分是否應(yīng)進(jìn)行校正。即，用戶通過對輸入圖像的瞳孔顏色和瞳孔推定色進(jìn)行比較，可以很容易地判斷對該輸入圖像的瞳孔部分是否應(yīng)進(jìn)行校正。另外，用戶可以根據(jù)這樣被推定的瞳孔推定色，對輸入圖像的瞳孔部分進(jìn)行校正，得到?jīng)]有不協(xié)調(diào)感的具有正常顏色的瞳孔的圖像。
這樣的瞳孔顏色推定裝置1a，例如也可以在數(shù)字照相機(jī)/攝像機(jī)等攝像裝置及具有這樣的攝像裝置的信息處理裝置等中使用。攝像裝置等通過使用瞳孔顏色推定裝置1a，根據(jù)所輸出的瞳孔推定色，可以判斷在所拍攝的圖像中是否發(fā)生了紅眼及金眼等異常。同樣，通過使用瞳孔顏色推定裝置1a，可以得到對瞳孔圖像應(yīng)校正的顏色(即瞳孔推定色)。從而，這些攝像裝置等也可以對應(yīng)于該判斷進(jìn)行適當(dāng)?shù)男Ｕ?、對用戶提出警告、及向用戶提示瞳孔推定色?br> 第二實(shí)施方式(系統(tǒng)結(jié)構(gòu))下面對作為瞳孔顏色推定裝置的第二實(shí)施方式的瞳孔顏色推定裝置1b進(jìn)行說明。圖5是表示瞳孔顏色推定裝置1b的功能方框圖例的圖。瞳孔顏色推定裝置1b在還具有瞳孔檢測部7及判斷部8這一點(diǎn)上與瞳孔顏色推定裝置1a不同。下面對瞳孔顏色推定裝置1b與瞳孔顏色推定裝置1a的不同點(diǎn)進(jìn)行說明。另外，瞳孔檢測部7及判斷部8通過CPU執(zhí)行程序來實(shí)現(xiàn)。另外，瞳孔檢測部7及判斷部8也可以分別以專用芯片構(gòu)成。另外，各處理部也可以作為硬件/軟件的混合體來安裝。
(瞳孔檢測部)瞳孔檢測部7對在存儲部2中所存儲的圖像中的成為瞳孔顏色推定裝置1b的處理對象的圖像實(shí)施瞳孔檢測處理。在瞳孔檢測處理中，瞳孔檢測部7從存儲部2中讀出成為處理對象的圖像中由臉部檢測部3檢測出的臉部矩形6中的圖像，從所讀出的圖像中檢測出瞳孔區(qū)域。瞳孔區(qū)域是指，包括由臉部檢測部3檢測出臉部的被攝人物的瞳孔的圖像。
瞳孔檢測部7進(jìn)行的瞳孔檢測處理，也可以通過使用了與瞳孔形狀對應(yīng)的基準(zhǔn)模板進(jìn)行模板匹配來檢測瞳孔。這時(shí)，瞳孔檢測部7也可以選擇與根據(jù)由臉部檢測部3檢測出的臉部矩形6的尺寸所推定的瞳孔直徑對應(yīng)的模板，進(jìn)行瞳孔檢測處理。另外，這時(shí)，瞳孔檢測部7也可以通過根據(jù)檢測出的臉部矩形6的位置推定大體的瞳孔位置，限定實(shí)施模板匹配的區(qū)域。另外，瞳孔檢測部7進(jìn)行的瞳孔檢測處理，也可以通過模板匹配以外的任何方法來實(shí)現(xiàn)。例如瞳孔檢測部7也可以通過對輸入圖像進(jìn)行邊緣提取后追蹤瞳孔的輪廓來檢測瞳孔。當(dāng)瞳孔檢測部7通過瞳孔檢測處理檢測出瞳孔時(shí)，輸出表示瞳孔區(qū)域的信息(以下稱為“瞳孔區(qū)域信息”)。
(判斷部)判斷部8根據(jù)瞳孔檢測部7輸出的瞳孔區(qū)域信息，確定表示輸入圖像中的瞳孔的各像素的顏色。即，例如在輸入圖像中發(fā)生了紅眼及金眼等異常時(shí)，判斷部8確定發(fā)生了異常的圖像中的顏色。
然后，判斷部8根據(jù)瞳孔區(qū)域信息，判斷瞳孔區(qū)域，對瞳孔區(qū)域中所包括的各像素，判斷該像素具有的顏色是否是作為瞳孔的正常顏色。具體來說，判斷部8通過對輸入圖像中所確定的顏色、與由瞳孔顏色推定部5a所推定的瞳孔推定色相比較，進(jìn)行上述判斷。
判斷部8，例如對瞳孔推定色和瞳孔區(qū)域內(nèi)的各像素的顏色，根據(jù)以下的式子取得特征量D。這時(shí)，判斷部8對瞳孔推定色和瞳孔區(qū)域的各像素中的顏色，取得表示紅色的程度的特征量D，特別對紅眼現(xiàn)象的有無進(jìn)行判斷。
(數(shù)學(xué)式2)D=rr+g+b]]>判斷部8，通過對瞳孔推定色的特征量D、與瞳孔區(qū)域內(nèi)各像素中的顏色的特征量D進(jìn)行比較，判斷各像素的紅色程度。然后，當(dāng)在瞳孔區(qū)域內(nèi)存在大于等于規(guī)定比例的具有比瞳孔推定色的特征量D大的特征量D的像素時(shí)，判斷部8判斷在該輸入圖像中發(fā)生了異常(這時(shí)是紅眼現(xiàn)象)。
另外，判斷部8也可以根據(jù)其他的定義來取得判斷所用的特征量D。例如，判斷部8也可以取得用于判斷金眼程度的特征量D′來進(jìn)行比較、判斷。
(動作例)圖6是表示瞳孔顏色推定裝置1b的動作例的流程圖。使用圖6對瞳孔顏色推定裝置1b的動作例進(jìn)行說明。另外，對于在瞳孔顏色推定裝置1b的動作中、與瞳孔顏色推定裝置1a相同的處理，標(biāo)注與圖4中的流程圖相同的標(biāo)號，省略其說明。
在瞳孔顏色推定裝置1b中，瞳孔推定部5a對瞳孔推定色進(jìn)行推定后(S03)，瞳孔檢測部7對瞳孔區(qū)域進(jìn)行檢測(S05)。然后，判斷部8根據(jù)瞳孔顏色推定部5a所推定的瞳孔推定色、及由瞳孔檢測部7所檢測出的瞳孔區(qū)域內(nèi)的各像素的顏色，判定輸入圖像的瞳孔是否發(fā)生了紅眼及金眼等異常(S06)。然后，判斷部8輸出判定結(jié)果(S07)。另外，也可以在瞳孔顏色推定部5a對瞳孔推定色進(jìn)行推定的處理(S03)之前，執(zhí)行瞳孔檢測部7檢測瞳孔區(qū)域的處理(S05)。
(作用/效果)瞳孔顏色推定裝置1b，根據(jù)基于與瞳孔顏色推定裝置1a同樣的處理所推定的瞳孔推定色，判斷在輸入圖像的瞳孔圖像中是否發(fā)生了紅眼現(xiàn)象、金眼現(xiàn)象等異常。因此，用戶可以對輸入圖像進(jìn)行是否發(fā)生了紅眼現(xiàn)象、金眼現(xiàn)象等異常獲得客觀的判斷。從而，用戶對輸入圖像，例如對被認(rèn)為發(fā)生了異常的圖像進(jìn)行校正時(shí)，可以很容易地判斷是否應(yīng)進(jìn)行校正。同樣，用戶對輸入圖像，例如希望在發(fā)生了異常時(shí)再次取得時(shí)，可以很容易地判斷是否應(yīng)該再次取得(例如是否應(yīng)該再次進(jìn)行攝像或下載等的處理)。
這樣的瞳孔顏色推定裝置1b，例如與瞳孔顏色推定裝置1a一樣，也可以適用于數(shù)字照相機(jī)/攝像機(jī)等攝像裝置、及具有這種攝像裝置的信息處理裝置。通過使用瞳孔顏色推定裝置1b，可以判斷在所拍攝的圖像中是否發(fā)生了紅眼、金眼等異常，根據(jù)該判斷還可以進(jìn)行適當(dāng)?shù)男Ｕ?、對用戶進(jìn)行警告。
(變形例)判斷部8也可以對被攝人物的左右瞳孔分別實(shí)施獨(dú)立判斷，輸出對各瞳孔的判定結(jié)果。
另外，當(dāng)在輸入圖像中檢測出多個(gè)被攝人物的臉部等時(shí)，瞳孔推定裝置1b既可以對全體實(shí)施判定處理等，也可以只對滿足規(guī)定條件的被攝人物(例如，臉部矩形6的大小大于等于規(guī)定大小的人物、位于圖面中央附近的人物、根據(jù)臉部認(rèn)證的結(jié)果所判斷出的特定的人物)實(shí)施判定處理等。
第三實(shí)施方式(系統(tǒng)結(jié)構(gòu))下面對作為瞳孔顏色推定裝置的第三實(shí)施方式的瞳孔顏色推定裝置1c進(jìn)行說明。圖7是表示瞳孔顏色推定裝置1c的功能方框圖例的圖。瞳孔顏色推定裝置1c在還具有校正部9這一點(diǎn)上與瞳孔顏色推定裝置1b不同。下面對瞳孔顏色推定裝置1c與瞳孔顏色推定裝置1b的不同點(diǎn)進(jìn)行說明。另外，校正部9通過由CPU執(zhí)行程序來實(shí)現(xiàn)。另外，校正部9也可以分別以專用芯片構(gòu)成。另外，各處理部也可以作為硬件/軟件的混合體來安裝。
(校正部)校正部9根據(jù)判斷部8的判斷結(jié)果實(shí)施校正處理。即，校正部9通過判斷部8判斷為在輸入圖像的瞳孔圖像中發(fā)生了異常時(shí)，實(shí)施校正處理。校正部9根據(jù)由瞳孔顏色推定部5a所推定的瞳孔推定色，對由瞳孔檢測部7所檢測出的瞳孔區(qū)域內(nèi)的像素的顏色進(jìn)行校正。下面對校正部9實(shí)施的校正處理的一例進(jìn)行說明。
校正部9對成為校正對象的像素的顏色，在維持其亮度的狀態(tài)下置換成瞳孔推定色。此處的校正部9對成為校正對象的像素根據(jù)以下的式子取得其亮度Y。
(數(shù)學(xué)式3)Y＝0.299R+0.587G+0.114B
并且，R、G、B各值設(shè)為0至255的整數(shù)值。而且，校正部9在維持瞳孔推定色的R、G、B各自的值(即從近似式取得的Er、Eg、Eb的值)的比例的狀態(tài)下，取得可得到與成為校正對象的像素的亮度Y相同亮度的RGB值(以下設(shè)為Nr、Ng、Nb)。校正部9通過將這樣得到的Nr、Ng、Nb值賦予成為校正對象的像素實(shí)施校正處理。
(動作例)圖8是表示瞳孔顏色推定裝置1c的動作例的流程圖。使用圖8對瞳孔顏色推定裝置1c的動作例進(jìn)行說明。并且，對于在瞳孔顏色推定裝置1c的動作中、與瞳孔顏色推定裝置1b相同的處理，標(biāo)注與圖6中的流程圖相同的標(biāo)號，省略其說明。
在瞳孔顏色推定裝置1c中，在判斷部8對異常的發(fā)生進(jìn)行了判定之后(S06)，校正部9根據(jù)該判定結(jié)果判斷是否需要進(jìn)行校正處理。當(dāng)需要校正處理時(shí)(S08中的“是”)，即，由判斷部8判斷為瞳孔的圖像發(fā)生了異常時(shí)，校正部9實(shí)施校正處理(S09)，處理結(jié)束。另一方面，在不需要校正處理時(shí)(S08中的“否”)，即，由判斷部8判斷為瞳孔圖像未發(fā)生異常時(shí)，處理結(jié)束。
(作用/效果)瞳孔顏色推定裝置1c根據(jù)基于與瞳孔顏色推定裝置1b同樣的處理所實(shí)施的判斷部8進(jìn)行的判定處理的判斷結(jié)果，判斷是否要對輸入圖像的瞳孔部分進(jìn)行校正處理。然后根據(jù)該判斷結(jié)果，實(shí)施使用了根據(jù)與瞳孔顏色推定裝置1a相同的處理所推定的瞳孔推定色的校正處理。因此，對發(fā)生了紅眼現(xiàn)象、金眼現(xiàn)象等異常的圖像，不必麻煩用戶就可以將被攝人物的瞳孔的顏色校正成正常的顏色。
另外，用瞳孔顏色推定裝置1c實(shí)施校正處理時(shí)，在維持輸入圖像的成為校正對象的像素的亮度的狀態(tài)下，決定基于瞳孔推定色的顏色。即，在維持瞳孔推定色RGB的比例及原來像素的亮度的狀態(tài)下實(shí)施顏色置換。因此，與簡單置換成瞳孔推定色的情況不同，可以實(shí)施更自然的校正處理。具體來說，不會喪失在瞳孔表面產(chǎn)生光點(diǎn)等自然現(xiàn)象的效果，即可以將眼球的球形、眼球表面的濕潤感在校正后的瞳孔圖像中自然地表現(xiàn)。從而，可以實(shí)現(xiàn)高質(zhì)量的圖像校正。
(變形例)瞳孔顏色推定裝置1c也可以省略判斷部8。在這種情況下，校正部9獨(dú)立于判斷部8的判斷結(jié)果實(shí)施校正處理。在這種情況下，例如也可以根據(jù)用戶的判斷，實(shí)施校正處理。
通過這樣的結(jié)構(gòu)，例如即使是在判斷部8只對紅眼現(xiàn)象進(jìn)行判斷的情況下，也可以對引起了金眼現(xiàn)象的瞳孔、及由于過黑等原因帶來不協(xié)調(diào)感的瞳孔等，實(shí)施校正處理。從而，對于判斷部8未能判斷出的異常也能應(yīng)付。
另外，判斷部8也可以對被攝人物的左右瞳孔分別實(shí)施獨(dú)立判斷，校正部9只對需要的瞳孔實(shí)施校正處理。通過這樣的結(jié)構(gòu)，可以防止對本來不應(yīng)校正的瞳孔進(jìn)行校正處理，并可謀求處理的高速化。
另外，當(dāng)在輸入圖像中檢測出多個(gè)被攝人物的臉部等時(shí)，瞳孔推定裝置1c既可以對全體實(shí)施判定處理、校正處理等，也可以只對滿足規(guī)定條件的被攝人物(例如，臉部矩形6的大小大于等于規(guī)定大小的人物、位于圖面中央附近的人物、根據(jù)認(rèn)證的結(jié)果所判斷的特定的人物)進(jìn)行判定處理、校正處理等。
第四實(shí)施方式(系統(tǒng)結(jié)構(gòu))下面，對作為瞳孔顏色推定裝置的第四實(shí)施方式的瞳孔顏色推定裝置1d進(jìn)行說明。圖9是表示瞳孔顏色推定裝置1d的功能方框圖例的圖。瞳孔顏色推定裝置1d，在還具有人種推定部10這一點(diǎn)上與瞳孔顏色推定裝置1a不同。另外，瞳孔顏色推定裝置1d具有瞳孔顏色推定部5d以代替瞳孔顏色推定部5a這一點(diǎn)，也與瞳孔顏色推定裝置1a不同。并且，瞳孔顏色推定部5d及人種推定部10通過由CPU執(zhí)行程序來實(shí)現(xiàn)。另外，瞳孔顏色推定部5d及人種推定部10也可以分別以專用芯片構(gòu)成。另外，各處理部也可以作為硬件/軟件的混合體來安裝。
(人種推定部)人種推定部10通過使用圖像，對于由臉部檢測部3所檢測出的臉部，推定是哪一人種的人臉。只要是根據(jù)圖像推定被攝體的人種的技術(shù)，人種推定部10使用哪種技術(shù)實(shí)現(xiàn)都可以。下面，對人種推定部10可使用的人種推定技術(shù)的具體例子進(jìn)行說明。
人種推定部10對由臉部檢測部3所檢測出的臉部取得特征量，根據(jù)該特征量，通過進(jìn)行模式識別來推定屬性。為了實(shí)現(xiàn)這樣的處理，人種推定部10包括特征提取部11及屬性推定部12。下面對其分別進(jìn)行的處理進(jìn)行說明。
((特征提取部))首先，特征提取部11設(shè)定由臉部檢測部3檢測出的臉部中的多個(gè)特征點(diǎn)(特征點(diǎn)設(shè)定處理)。然后，特征提取部11以由特征點(diǎn)設(shè)定處理所設(shè)定的特征點(diǎn)為基礎(chǔ)，取得各特征點(diǎn)的特征量，作為該被攝體臉部的特征量(特征量取得處理)。下面，對特征點(diǎn)設(shè)定處理和特征量取得處理進(jìn)行說明。
(((特征點(diǎn)設(shè)定處理)))在特征點(diǎn)設(shè)定處理中，首先，特征提取部11對所檢測出的臉部器官進(jìn)行檢測。臉部器官例如是指眼、鼻、鼻孔、嘴(唇)、眉、下顎、前額等。特征提取部11既可以檢測任意一個(gè)臉部器官，也可以檢測多個(gè)器官。例如特征提取部11檢測被攝體的臉部的雙眼和嘴。
然后，特征提取部11將所檢測出的臉部的圖像變換成灰度圖像。另外，特征提取部11根據(jù)檢測出的臉部器官的位置關(guān)系，對檢測出的臉部圖像實(shí)施角度標(biāo)準(zhǔn)化及尺寸標(biāo)準(zhǔn)化。將這些處理統(tǒng)稱為前處理。另外，將圖像變換成灰度的處理，可以在臉部檢測部3的處理、特征點(diǎn)設(shè)定處理中的任何時(shí)刻執(zhí)行。
然后，特征提取部11根據(jù)所檢測出的臉部器官(以下稱“注視點(diǎn)”，例如表示雙眼及嘴的點(diǎn))的位置，設(shè)定多個(gè)特征點(diǎn)的位置。特征提取部11離注視點(diǎn)越近設(shè)定的特征點(diǎn)越密，離注視點(diǎn)越遠(yuǎn)設(shè)定的特征點(diǎn)越疏。
圖10(a)是表示由臉部檢測部3所檢測出的被攝體的臉部的圖。圖10(b)是表示通過特征點(diǎn)設(shè)定處理所設(shè)定的多個(gè)特征點(diǎn)的例子的圖。在圖10(b)中，涂黑的圓表示注視點(diǎn)，斜線的圓表示根據(jù)注視點(diǎn)而設(shè)定的特征點(diǎn)。在以下說明的特征點(diǎn)取得處理中，也可以將注視點(diǎn)作為特征點(diǎn)進(jìn)行處理。
這樣的特征點(diǎn)設(shè)定處理，例如可以通過使用以下論文中記載的視網(wǎng)膜(Retina)取樣來實(shí)現(xiàn)。
F.Smeraldiand J.Bigun，“Facial features detection by saccadicexploration of the Gabor decomposition”，International Conferenceon lmage Processing，ICIP-98，Chicago，October 4-7，volume 3，pages163-167，1998.
(((特征量取得處理)))在特征量取得處理中，特征提取部11對由特征點(diǎn)設(shè)定處理所設(shè)定的各特征點(diǎn)，疊入伽柏濾波器。即，特征提取部11對各特征點(diǎn)實(shí)施伽柏子波變換(Gabor Wavelets TransformationGWT)。圖11是在特征量取得處理中所使用的伽柏濾波器的例子(實(shí)部)。特征提取部11通過疊入圖11中所示的改變分辨率和方位的多個(gè)伽柏濾波器，取得特征點(diǎn)周邊的濃淡特征的周期性和方向性作為特征量。
數(shù)學(xué)式4是表示伽柏濾波器的式子。在伽柏濾波器的使用中，通過變更式中的k和θ的值，可以從濃淡特征中取得任意的周期性和方向性作為特征量。
(數(shù)學(xué)式4)ψk,θ(x,y)=k2σ2exp[-k2(x2+y2)2σ2]·]]>{exp[ik(xcosθ+ysinθ)]-exp(-σ22)}]]>特征提取部11將由特征量取得處理所得到的各特征點(diǎn)的特征量，輸出給屬性推定部12。并且，特征提取部11也可以對由臉部檢測部3所檢測出的臉部中、滿足規(guī)定條件的所有臉部進(jìn)行處理。規(guī)定條件例如是指大于等于規(guī)定大小的臉部、規(guī)定位置(例如圖像中央?yún)^(qū)域)、規(guī)定方向(例如面向正面)的臉部等的條件。
((屬性推定部))
屬性推定部12根據(jù)從特征提取部11接收的各特征點(diǎn)的特征量，推定由臉部檢測部3所檢測出的被攝體的屬性信息。屬性信息是有關(guān)該人的信息，例如包括人種、年代、性別等項(xiàng)目。屬性推定部12通過對預(yù)先學(xué)習(xí)處理結(jié)束的模式識別的識別器輸入各特征點(diǎn)的特征量，推定被攝體的屬性信息。屬性推定部12使用支持向量機(jī)(Support VectorMachineSVM)作為模式識別的識別器進(jìn)行處理。下面以推定屬性信息中的人種的情況為例，對支持向量機(jī)進(jìn)行說明。
支持向量機(jī)是將通過屬于兩個(gè)類(calss)的學(xué)習(xí)數(shù)據(jù)的正中間的超平面作為識別交界面，進(jìn)行模式識別的方法。支持向量機(jī)中的識別器，通過使用數(shù)學(xué)式5中所示的識別函數(shù)，推定所輸入的數(shù)據(jù)(此處為所有特征點(diǎn)的特征量)屬于兩個(gè)類的任意一類。
(數(shù)學(xué)式5)f(x)=ΣI-1lαiyiK(x,xi)+b]]>在數(shù)學(xué)式5中，1表示通過學(xué)習(xí)處理所分選的學(xué)習(xí)數(shù)據(jù)的個(gè)數(shù)，即，在屬性推定部12進(jìn)行的屬性推定處理中所用的學(xué)習(xí)數(shù)據(jù)的個(gè)數(shù)。ai表示拉格朗日乘數(shù)。xi、yi表示學(xué)習(xí)數(shù)據(jù)。yi具有“-1”或“1”中任意一個(gè)，xi表示屬于兩個(gè)類的任意一類。b是偏置項(xiàng)，即表示參數(shù)。通過學(xué)習(xí)處理決定這些值，屬性推定部12存儲該學(xué)習(xí)處理的結(jié)果。
另外，在數(shù)學(xué)式5中，K表示核函數(shù)。已經(jīng)提出了使用核函數(shù)來對輸入數(shù)據(jù)進(jìn)行更高維非線性攝像的支持向量機(jī)的非線性擴(kuò)張，這樣，可以對更實(shí)際問題構(gòu)建有效的識別器。這種核函數(shù)的代表性函數(shù)有多項(xiàng)式核函數(shù)(參照數(shù)學(xué)式6)、及高斯核函數(shù)(參照數(shù)學(xué)式7)等。在屬性推定部12中，可以使用任何核函數(shù)都可以。
(數(shù)學(xué)式)6K(x，xi)＝(xT·xi+1)p
(數(shù)學(xué)式)7K(x,xi)=exp(-||x-xi||2σ2)]]>支持向量機(jī)是構(gòu)成用于識別兩個(gè)類的識別器的學(xué)習(xí)方法，為了識別(推定)多種(大于等于三種)人種，需要組合多個(gè)支持向量機(jī)。屬性推定部12通過利用二叉樹搜索，實(shí)現(xiàn)使用了支持向量機(jī)的多聚類。圖12是表示在屬性推定部12中的人種推定處理中所使用的二叉樹搜索的例子的圖。在此，以推定被攝體的人種是否為白種人、黑種人、黃種人中的任意一種的處理為例進(jìn)行說明。也可以根據(jù)設(shè)計(jì)還包括其他人種作為候補(bǔ)。
屬性推定部12，首先利用支持向量機(jī)，對被攝體的人物是否為黑種人進(jìn)行推定。然后，當(dāng)推定被攝體的人物不是黑種人時(shí)，屬性推定部12推定被攝體的人物是否是黃種人(或是否是白種人)。屬性推定部12對人種以外的屬性信息項(xiàng)目，即年代及性別也同樣通過進(jìn)行二叉樹搜索，進(jìn)行各項(xiàng)目的推定處理。然后，屬性推定部12將所推定的屬性信息輸出給瞳孔顏色推定部5d。
(瞳孔顏色推定部)瞳孔顏色推定部5d根據(jù)由膚色確定部4所取得的膚色代表值及由人種推定部10所取得的屬性信息，推定該被攝人物的瞳孔顏色。下面，對瞳孔顏色推定部5d進(jìn)行的處理具體進(jìn)行說明。
首先，預(yù)先得到與各人種相對應(yīng)的近似式(相當(dāng)于數(shù)學(xué)式1)。具體來說，作為各取樣圖像，準(zhǔn)備包括各人種的被攝體的取樣圖像，得到與各人種分別對應(yīng)的近似式。然后，由瞳孔顏色推定部5d將與各人種對應(yīng)的近似式進(jìn)行存儲。在推定被攝體的瞳孔顏色時(shí)，瞳孔顏色推定部5d，首先根據(jù)人種推定部10的推定結(jié)果，選擇一個(gè)近似式。然后，瞳孔顏色推定部5d，使用所選擇的近似式，根據(jù)膚色確定部4的輸出，推定被攝體的瞳孔顏色。這時(shí)的處理與瞳孔顏色推定部5a的處理相同。
(動作例)
圖13是表示瞳孔顏色推定裝置1d的動作例的流程圖。使用圖13對瞳孔顏色推定裝置1d的動作例進(jìn)行說明。另外，對于瞳孔顏色推定裝置1d的動作中、與瞳孔顏色推定裝置1a相同的處理，標(biāo)注與圖4中的流程圖相同的標(biāo)號，省略其說明。
在瞳孔顏色推定部1d中，在膚色確定部4確定皮膚顏色之后(S02)，人種推定部10推定被攝體的人種(S10)。然后，瞳孔顏色推定部5d根據(jù)所確定的膚色及所推定的人種，選擇在處理中使用的近似式(S11)。瞳孔顏色推定部5d通過使用所選擇的近似式，推定對應(yīng)人種的被攝體本來的瞳孔顏色(S12)。然后，瞳孔顏色推定部5d輸出作為推定結(jié)果的瞳孔推定色，處理結(jié)束(S04)。
(作用/效果)在瞳孔顏色推定裝置1a中使用的近似式，依賴于預(yù)先得到該近似式時(shí)所使用的取樣圖像組的內(nèi)容。從而，當(dāng)該取樣圖像組例如是包括很多日本人的圖像組時(shí)，可得到作為適合于日本人的式子的近似式。因此，當(dāng)將這種近似式直接應(yīng)用于歐美人的圖像時(shí)，就存在所得到的瞳孔推定色是藍(lán)色少而太黑的不合適的顏色的問題。針對這一問題，在瞳孔顏色推定裝置1d中，人種推定部10推定被攝體的人種，瞳孔顏色推定部5d選擇與作為該推定結(jié)果的人種對應(yīng)使用的近似式。從而，在通過瞳孔顏色推定部5d推定被攝體的瞳孔顏色時(shí)，可以得到與被攝體人種對應(yīng)的適當(dāng)?shù)耐最伾鳛橥贫ńY(jié)果。
(變形例)瞳孔顏色推定裝置1d也可以象瞳孔顏色推定裝置1b那樣，還具有瞳孔檢測部7及判斷部8。另外，瞳孔顏色推定裝置1d也可以象瞳孔顏色推定裝置1c那樣，還具有校正部9。
另外，在瞳孔顏色推定部1d中，用于推定瞳孔顏色的近似式是通過瞳孔顏色推定部5d來執(zhí)行選擇的，但是也可以通過人種推定部10執(zhí)行該選擇。
第五實(shí)施方式(系統(tǒng)結(jié)構(gòu))
下面，對作為瞳孔顏色推定裝置的第五實(shí)施方式的瞳孔顏色推定裝置1e進(jìn)行說明。圖14是表示瞳孔顏色推定裝置1e的功能方框圖例的圖。瞳孔顏色推定裝置1e，在還具有環(huán)境推定部13這一點(diǎn)上與瞳孔顏色推定裝置1a不同。另外，瞳孔顏色推定裝置1e在具有瞳孔顏色推定部5e用以代替瞳孔顏色推定部5a這一點(diǎn)，也與瞳孔顏色推定裝置1a不同。另外，瞳孔顏色推定部5e及環(huán)境推定部13通過由CPU執(zhí)行程序來實(shí)現(xiàn)。另外，瞳孔顏色推定部5e及環(huán)境推定部13也可以分別以專用芯片構(gòu)成。另外，各處理部也可以作為硬件/軟件的混合體來安裝。
(環(huán)境推定部)環(huán)境推定部13用于推定瞳孔顏色推定裝置1e所設(shè)置的環(huán)境及正在工作的環(huán)境(環(huán)境推定處理)。而且，環(huán)境推定部13根據(jù)推定結(jié)果，得到在瞳孔顏色推定部5e中所使用的近似式(近似式取得處理)。下面，對環(huán)境推定處理及近似式取得處理進(jìn)行說明。
((環(huán)境推定處理))在環(huán)境推定處理中，環(huán)境推定部13按照規(guī)定的基準(zhǔn)，推定瞳孔顏色推定裝置1e所設(shè)置的環(huán)境及正在工作的環(huán)境。例如，環(huán)境推定部13也可以以O(shè)S(Operating System操作系統(tǒng))中所設(shè)定的地域信息及維修信息的電話號碼指定等為基準(zhǔn)推定環(huán)境。另外，環(huán)境推定部13也可以以O(shè)S及機(jī)器主體中所設(shè)定的時(shí)區(qū)為基準(zhǔn)推定環(huán)境。另外，環(huán)境推定部13也可以以O(shè)S及機(jī)器主體中所設(shè)定的使用語言為基準(zhǔn)推定環(huán)境。
((近似式取得處理))在近似式取得處理中，環(huán)境推定部13根據(jù)環(huán)境推定處理的推定結(jié)果，取得在瞳孔顏色推定部5e中使用的近似式。環(huán)境推定部13預(yù)先存儲有多個(gè)近似式。該多個(gè)近似式分別與環(huán)境對應(yīng)進(jìn)行存儲。即，對于由環(huán)境推定處理所推定的環(huán)境，在近似式取得處理中取得一個(gè)近似式。
環(huán)境推定部13存儲的各近似式是與數(shù)學(xué)式1同樣的近似式，是預(yù)先對應(yīng)于各環(huán)境算出的。例如，對應(yīng)于黃種人為70％、白種人為20％、黑種人為10％的人種構(gòu)成比的環(huán)境的近似式如下求出。首先，準(zhǔn)備對應(yīng)于人種構(gòu)成比的取樣圖像。當(dāng)總共使用1000張取樣圖像時(shí)，準(zhǔn)備700張黃種人的圖像、200張白種人的圖像、100張黑種人的圖像。這時(shí)準(zhǔn)備的圖像都是具有正常瞳孔圖像的圖像。然后，對于全部取樣圖像將皮膚顏色和瞳孔顏色的值按RGB各顏色分別作成圖表，利用最小二乘法，取得RGB各顏色的對應(yīng)于數(shù)學(xué)式1的近似式。換句話說，根據(jù)與各環(huán)境對應(yīng)的人種構(gòu)成比，通過作成取樣組，取得對應(yīng)于各環(huán)境的近似式。
(瞳孔顏色推定部)瞳孔顏色推定部5e使用由環(huán)境推定部13所取得的近似式推定瞳孔顏色。這時(shí)的具體的處理，除了使用由環(huán)境推定部13所取得的近似式這一點(diǎn)之外，與瞳孔顏色推定部5a的處理相同。
(動作例)圖15是表示瞳孔顏色推定裝置1e的動作例的流程圖。使用圖15對瞳孔顏色推定裝置1e的動作例進(jìn)行說明。另外，對于瞳孔顏色推定裝置1e的動作中、與瞳孔顏色推定裝置1a相同的處理，標(biāo)注與圖4中的流程圖相同的標(biāo)號，省略其說明。
在瞳孔顏色推定裝置1e中，在膚色確定部4確定膚色之后(S02)，環(huán)境推定部13通過實(shí)施環(huán)境推定處理，推定環(huán)境(S13)。然后，環(huán)境推定部13再通過實(shí)施近似式取得處理，取得近似式(S14)。然后，瞳孔顏色推定部5e使用由近似式取得處理所得到的近似式，推定瞳孔推定色(S15)，并輸出該顏色(S04)。
(作用/效果)根據(jù)瞳孔顏色推定裝置5e，不是對被攝體的人種進(jìn)行推定處理，而是通過推定瞳孔顏色推定裝置1e所設(shè)置的環(huán)境及正在工作的環(huán)境，取得適合該環(huán)境的近似式。因此，雖然具體的處理不同，但是可以得到與瞳孔顏色推定裝置1d同樣的效果。即，例如，瞳孔顏色推定裝置1e在日本工作時(shí)等，使用根據(jù)日本人種構(gòu)成比算出的近似式，推定瞳孔顏色。另一方面，瞳孔顏色推定裝置1e在白種人多的國家工作時(shí)等，使用根據(jù)該人種構(gòu)成比算出的近似式，推定瞳孔顏色。從而，可得到對應(yīng)于被攝體人種的合適的瞳孔推定色。這時(shí)，與瞳孔顏色推定裝置1d不同，由于不需要被攝體的人種推定這一復(fù)雜處理，所以用瞳孔顏色推定裝置1e可以謀求處理的高速化、降低成本、裝置小型化等。
(變形例)瞳孔顏色推定裝置1e也可以構(gòu)成為象瞳孔顏色推定裝置1b那樣，還具有瞳孔檢測部7及判斷部8。另外，瞳孔顏色推定裝置1e也可以構(gòu)成為象瞳孔顏色推定裝置1c那樣，還具有校正部9。
另外，在瞳孔顏色推定裝置1e中，近似式取得處理也可以由瞳孔顏色推定部5e來執(zhí)行。
另外，瞳孔顏色推定裝置1a～1e也可以通過安裝在數(shù)字照相機(jī)、數(shù)字照片打印機(jī)及洗印機(jī)等上，在進(jìn)行瞳孔顏色圖像校正時(shí)使用。
另外，環(huán)境推定部13也可以根據(jù)在所輸入圖像上附加的信息(例如EXIF、其他首部信息等)，推定所輸入的圖像的拍攝環(huán)境。
權(quán)利要求
1.一種瞳孔顏色推定裝置，其特征在于，包括膚色確定單元，用于確定所輸入的圖像中的被攝人物的皮膚顏色；以及瞳孔顏色推定單元，根據(jù)由上述膚色確定單元所確定的皮膚顏色，推定在上述圖像中應(yīng)表現(xiàn)的該人物的瞳孔顏色。
2.一種瞳孔顏色推定裝置，其特征在于，包括臉部檢測單元，用于檢測所輸入的圖像中的包含被攝人物臉部的一部分或全部的臉部區(qū)域；膚色確定單元，根據(jù)由上述臉部檢測單元檢測出的臉部區(qū)域中所包含的像素的顏色，確定該人物的皮膚顏色；以及瞳孔顏色推定單元，根據(jù)由上述膚色確定單元所確定的皮膚顏色，推定在上述圖像中應(yīng)表現(xiàn)的該人物的瞳孔顏色。
3.如權(quán)利要求2所述的瞳孔顏色推定裝置，其特征在于，還包括瞳孔檢測單元，用于檢測由上述臉部檢測單元檢測出的臉部區(qū)域中包含該人物的瞳孔的一部分或全部的瞳孔區(qū)域；以及判斷單元，通過對上述瞳孔顏色推定單元所推定的瞳孔顏色，與從上述瞳孔檢測單元檢測出的瞳孔區(qū)域確定的顏色進(jìn)行比較，判斷在上述圖像中的該人物的瞳孔顏色是否發(fā)生了異常。
4.如權(quán)利要求3所述的瞳孔顏色推定裝置，其特征在于上述判斷單元通過對由上述瞳孔顏色推定單元所推定的瞳孔顏色中的紅色，與從上述瞳孔檢測單元檢測出的瞳孔區(qū)域所確定的顏色中的紅色進(jìn)行比較，判斷上述圖像中該人物瞳孔部分是否變成了紅眼。
5.如權(quán)利要求2所述的瞳孔顏色推定裝置，其特征在于，還包括瞳孔檢測單元，用于檢測由上述臉部檢測單元檢測出的臉部區(qū)域中包含該人物的瞳孔的一部分或全部的瞳孔區(qū)域；以及校正單元，根據(jù)由上述瞳孔顏色推定單元所推定的瞳孔顏色，對由上述瞳孔檢測單元檢測出的瞳孔區(qū)域，進(jìn)行瞳孔顏色的校正。
6.如權(quán)利要求3所述的瞳孔顏色推定裝置，其特征在于，還包括校正單元，當(dāng)通過上述判斷單元判斷為瞳孔顏色發(fā)生了異常時(shí)，根據(jù)由上述瞳孔顏色推定單元所推定的瞳孔顏色，對由上述瞳孔檢測單元檢測出的瞳孔區(qū)域，進(jìn)行瞳孔顏色的校正。
7.如權(quán)利要求5所述的瞳孔顏色推定裝置，其特征在于對于由上述瞳孔檢測單元檢測出的瞳孔區(qū)域的像素，上述校正單元維持該像素的亮度進(jìn)行校正。
8.如權(quán)利要求2所述的瞳孔顏色推定裝置，其特征在于瞳孔顏色推定單元還根據(jù)皮膚顏色與瞳孔顏色的相關(guān)關(guān)系，推定瞳孔的顏色，其中該皮膚顏色與瞳孔顏色的相關(guān)關(guān)系是根據(jù)包含被認(rèn)定為瞳孔部分未發(fā)生異常的被攝人物的圖像所得到的皮膚顏色和瞳孔顏色的統(tǒng)計(jì)處理結(jié)果得到的。
9.一種程序，其特征在于，該程序使信息處理裝置執(zhí)行下列步驟確定所輸入的圖像中被攝人物的皮膚顏色的步驟；以及根據(jù)由上述確定步驟中所確定的皮膚顏色，推定該人物瞳孔顏色的步驟。
10.一種程序，其特征在于，該程序使信息處理裝置執(zhí)行下列步驟檢測所輸入的圖像中被攝人物的臉部區(qū)域的步驟；根據(jù)上述檢測步驟中檢測出的臉部區(qū)域中所包含的像素的顏色，確定該人物的皮膚顏色的步驟；以及根據(jù)上述確定步驟中所確定的皮膚顏色，推定該人物的瞳孔顏色的步驟。
11.一種瞳孔顏色推定方法，其特征在于，包括信息處理裝置確定所輸入的圖像中被攝人物的皮膚顏色的步驟；以及信息處理裝置根據(jù)在上述確定步驟中所確定的皮膚顏色，推定該人物的瞳孔顏色。
12.一種瞳孔顏色推定方法，其特征在于，包括信息處理裝置檢測所輸入的圖像中被攝人物的臉部區(qū)域的步驟；信息處理裝置根據(jù)上述檢測步驟中檢測出的臉部區(qū)域中所包含的像素的顏色，確定該人物的皮膚顏色的步驟；以及信息處理裝置根據(jù)在上述確定步驟中所確定的皮膚顏色，推定該人物的瞳孔顏色的步驟。
13.如權(quán)利要求2所述的瞳孔顏色推定裝置，其特征在于，還包括近似式存儲單元，將推定瞳孔顏色所使用的近似式和人種相對應(yīng)進(jìn)行存儲；人種推定單元，對上述被攝人物的人種進(jìn)行推定；以及選擇單元，選擇與所推定的人種相對應(yīng)地存儲在上述近似式存儲單元中的上述近似式，上述瞳孔推定單元，通過使用上述近似式，根據(jù)上述確定的皮膚顏色，推定上述瞳孔的顏色。
14.如權(quán)利要求2所述的瞳孔顏色推定裝置，其特征在于，還包括近似式存儲單元，將推定瞳孔顏色所使用的近似式和環(huán)境相對應(yīng)進(jìn)行存儲；環(huán)境推定單元，用于推定本單元工作的環(huán)境或拍攝上述輸入的圖像的環(huán)境；以及選擇單元，選擇與所推定的環(huán)境相對應(yīng)地存儲在上述近似式存儲單元中的上述近似式，上述瞳孔顏色推定單元，根據(jù)上述確定的皮膚顏色并使用上述近似式，推定上述瞳孔的顏色。
15.一種攝像裝置，其特征在于，包括攝像單元，對圖像進(jìn)行拍攝；臉部檢測單元，檢測在所拍攝的圖像中的包含被攝人物臉部的一部分或全部的臉部區(qū)域；膚色確定單元，根據(jù)由上述臉部檢測單元檢測出的臉部區(qū)域中所包含的像素的顏色，確定該人物的皮膚顏色；瞳孔顏色推定單元，根據(jù)由上述膚色確定單元所確定的皮膚顏色，推定在上述圖像中應(yīng)表現(xiàn)的該人物的瞳孔顏色；瞳孔檢測單元，檢測由上述臉部檢測單元檢測出的臉部區(qū)域中包含該人物的瞳孔一部分或全部的瞳孔區(qū)域；以及校正單元，根據(jù)由上述瞳孔顏色推定單元所推定的瞳孔顏色，對由上述瞳孔檢測單元檢測出的瞳孔區(qū)域，進(jìn)行瞳孔顏色校正。
16.一種數(shù)字照片打印機(jī)，其特征在于，包括圖像輸入單元，對圖像進(jìn)行輸入；臉部檢測單元，對所輸入的圖像中包含被攝人物的臉部一部分或全部的臉部區(qū)域進(jìn)行檢測；膚色確定單元，根據(jù)由上述臉部檢測單元檢測出的臉部區(qū)域中所包含的像素的顏色，確定該人物的皮膚顏色；瞳孔顏色推定單元，根據(jù)由上述膚色確定單元所確定的皮膚顏色，推定在上述圖像中應(yīng)表現(xiàn)的該人物的瞳孔顏色；瞳孔檢測單元，檢測由上述臉部檢測單元檢測出的臉部區(qū)域中包含該人物瞳孔一部分或全部的瞳孔區(qū)域；以及校正單元，根據(jù)由上述瞳孔顏色推定單元所推定的瞳孔顏色，對由上述瞳孔檢測單元檢測出的瞳孔區(qū)域，進(jìn)行瞳孔顏色校正。
全文摘要
本發(fā)明提供一種瞳孔顏色推定裝置，根據(jù)圖像推定發(fā)生了紅眼現(xiàn)象、金眼現(xiàn)象等異常的圖像中的被攝人物的本來瞳孔顏色。而且，通過根據(jù)圖像推定本來瞳孔顏色，判斷是否需要進(jìn)行圖像校正，在圖像校正中生成自然的瞳孔圖像。無論是否發(fā)生了紅眼現(xiàn)象、金眼現(xiàn)象等異常，都根據(jù)輸入圖像確定被攝人物的皮膚顏色，通過將該皮膚顏色代入基于預(yù)先實(shí)施的統(tǒng)計(jì)結(jié)果所得到的近似式中，根據(jù)被攝人物的皮膚顏色推定正常的瞳孔的顏色成分。
文檔編號G06T7/40GK1614991SQ20041009253
公開日2005年5月11日 申請日期2004年11月5日 優(yōu)先權(quán)日2003年11月5日
發(fā)明者垣內(nèi)崇, 千賀正敬, 細(xì)井圣, 松岡美希 申請人:歐姆龍株式會社