專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置和圖像處理方法。例如，本發(fā)明涉及用于檢測具有 眼睛的不良色調(diào)(poor color tone)(紅眼)的圖像區(qū)域的圖像處理。
背景技術(shù)：
眾所周知閃光照相術(shù)可以導(dǎo)致眼睛的不良色調(diào)，這就是廣為人知的紅眼效應(yīng)。紅 眼效應(yīng)是由從閃光燈發(fā)出的并入射到放大的瞳孔的光引起的一種現(xiàn)象，該光照射眼底的視 網(wǎng)膜。從視網(wǎng)膜后面所反射的光將毛細血管的紅色帶入在照明條件不好的環(huán)境下通過使用 閃光燈所捕獲的人或貓、狗等動物的圖像中。在具有較淡色素的眼睛的人的情況下，可能導(dǎo) 致紅眼效應(yīng)，因為當(dāng)色素變淡時，瞳孔即晶狀體的透射率增大。 近來受歡迎的數(shù)字照相機在體積上日益縮小，并且在這樣的數(shù)字照相機中，鏡頭 的光軸趨向于靠近閃光燈的光源的位置。當(dāng)閃光燈光源的位置變得更靠近鏡頭的光軸時， 通?？赡馨l(fā)生紅眼效應(yīng)。這是一個重大的挑戰(zhàn)。 在已知的用于防止紅眼效應(yīng)的方法中，通過發(fā)出預(yù)閃光使被攝者的瞳孔縮小來捕 獲圖像。然而，與正常圖像捕獲相比，該方法不必要地增大了電池的能量消耗，并且，預(yù)閃光 會破壞被攝者的面部表情。 因此，近年來，已經(jīng)開發(fā)了多種通過使用個人計算機等校正和處理由數(shù)字照相機 所捕獲的數(shù)字圖像數(shù)據(jù)以降低紅眼效應(yīng)的方法。 用于降低數(shù)字圖像數(shù)據(jù)上的紅眼效應(yīng)的方法大體分為手動校正、半自動校正和自 動校正。 在手動校正中，用戶使用鼠標、包括指示筆和輸入板的指示設(shè)備、或觸摸面板來指 定顯示器中所顯示的紅眼區(qū)域，并消除紅眼。 在半自動校正中，用戶指定包括紅眼的區(qū)域以根據(jù)所指定的信息確定紅眼的校正 范圍，并消除紅眼。例如，用戶利用指示設(shè)備指定兩眼周圍的區(qū)域或指定眼睛附近的一個 點。用戶根據(jù)關(guān)于所指定的區(qū)域或點的信息確定校正范圍以消除紅眼。 在自動校正中，數(shù)字照相機無需用戶的特殊操作而根據(jù)數(shù)字圖像數(shù)據(jù)自動檢測紅 眼的校正范圍，并進行紅眼的校正。 在手動和半自動校正中，用戶必須通過進行任一操作指定校正點。因此，需要用戶 進行復(fù)雜的操作，在該操作中，在放大并顯示圖像數(shù)據(jù)中將被校正的鄰近區(qū)域后，指定校正 區(qū)域。盡管在例如設(shè)有大顯示設(shè)備的個人計算機系統(tǒng)中相對容易進行這樣的操作，但是在 設(shè)有小面積顯示設(shè)備的數(shù)字照相機或打印機等裝置中進行放大圖像和滾動放大后的圖像 以指定校正區(qū)域的操作就不容易了。 近年來已討論了自動校正紅眼效應(yīng)的各種方法，這些方法不需要用戶的復(fù)雜操作，并對于不具有較大顯示設(shè)備的裝置是有效的。 例如，日本特開平11-136498號公報公開了一種方法，該方法從圖像中檢測肉色區(qū)域，在所檢測到的區(qū)域中搜索假定包括紅眼的像素，并對包括紅眼的像素進行校正。日本特開平11-149559號公報公開了一種方法，該方法檢測肉色區(qū)域，在所檢測到的區(qū)域中檢測具有與瞳孔的亮度相對應(yīng)的較低亮度的第一和第二谷區(qū)域(valley area)，并基于該第一與第二谷區(qū)域之間的距離來確定眼睛。日本特開2000-125320號公報公開了一種方法，該方法檢測肉色區(qū)域以判斷所檢測到的肉色區(qū)域是否代表人類的特征，并在該區(qū)域中檢測一對紅眼缺陷并測量紅眼缺陷之間的距離和紅眼缺陷的大小，以確定紅眼區(qū)域。日本特開平11-284874號公報公開了一種方法，該方法自動檢測圖像是否包括紅色瞳孔，如果檢測到紅色瞳孔，則測量紅色瞳孔的位置和大小，以將瞳孔圖像中的紅色像素自動轉(zhuǎn)換成預(yù)定的顏色。 然而，所提出的自動校正紅眼效應(yīng)的方法具有以下問題。 盡管基于人的肉色區(qū)域的檢測、或基于通過使用例如神經(jīng)網(wǎng)絡(luò)檢測臉的結(jié)果的紅眼區(qū)域的檢測提供了較高的可靠性，但是需要參考圖像中較大的區(qū)域，因而需要大的存儲器和較大量的計算。因此，盡管在包括以幾千兆赫時鐘頻率運行的高性能CPU和具有幾百兆字節(jié)的存儲容量的個人計算機中，該方法用于處理是適合的，但是難于將這樣的檢測方法應(yīng)用于內(nèi)置在數(shù)字照相機或打印機中的系統(tǒng)。 除上述與自動校正有關(guān)的例子外，已經(jīng)提出的許多方法使用紅眼區(qū)域比周圍區(qū)域具有更高的飽和度這一特征來確定紅眼區(qū)域。然而，基于飽和度的確定對于具有較深色素的眼睛的人不一定適合。眾所周知，根據(jù)公式(1)計算飽和度S，在公式(1)中，以RGB(紅色、綠色和藍色)系統(tǒng)給出像素值
[公式l] S = {max(R， G， B)-min(R， G， B)}/max(R， G， B) (1)其中，"max (R、G、B)"表示RGB成分的最大值，"min (R、G、B)"表示RGB成分的最小值。 例如，實驗顯示日本人的肉色區(qū)域集中在色相(0至lj 359度)中的大約0到30度。在HIS(色相、亮度和飽和度)系統(tǒng)中，零附近的色相角(hue angle)表示紅色，并且隨著色相角增大，色相向黃色接近。在0到30度的色相角處，RGB值具有表達式(2)中所示的關(guān)系。[公式2] R > G > B (2) 如上所述，與具有較淡色素的眼睛的人相比，具有較深色素的眼睛的人，不可能出現(xiàn)亮紅眼。 考慮到上述說明，日本人在紅眼區(qū)域中和眼睛周圍的肉色區(qū)域中具有以下估計的像素值 紅眼區(qū)域(R，G，B) = (109， 58， 65)
肉色區(qū)域(R，G，B) = (226,183,128) 在這種情況下，紅眼區(qū)域的飽和度等于"40"，肉色區(qū)域的飽和度等于"43"，其與該紅眼區(qū)域的值近似相同。換句話說，即使考慮到飽和度，也不可能基于被攝者來確定與該紅眼區(qū)域相對應(yīng)的像素。

發(fā)明內(nèi)容
期望能夠準確地檢測具有不良色調(diào)的圖像區(qū)域。 根據(jù)本發(fā)明的實施例，一種圖像處理裝置，包括計算單元，用于對圖像中的每一 像素計算眼睛的色調(diào)的估計量；以及提取單元，用于基于由所述計算單元計算出的估計量， 提取具有眼睛的不良色調(diào)的候選像素，其中，所述計算單元將權(quán)重應(yīng)用于紅色成分和綠色 成分，并將比像素的紅色成分和綠色成分的權(quán)重小的權(quán)重應(yīng)用于藍色成分，并根據(jù)像素的 應(yīng)用了權(quán)重的紅色成分、綠色成分和藍色成分，計算所述估計量。 根據(jù)本發(fā)明的另一實施例，一種圖像處理方法，包括以下步驟計算步驟，用于對
圖像中的每一像素計算眼睛的色調(diào)的估計量；以及提取步驟，用于基于在所述計算步驟中
計算出的估計量，提取具有眼睛的不良色調(diào)的候選像素，其中，在所述計算步驟中，將權(quán)重
應(yīng)用于紅色成分和綠色成分，并將比像素的紅色成分和綠色成分的權(quán)重小的權(quán)重應(yīng)用于藍
色成分，并根據(jù)像素的應(yīng)用了權(quán)重的紅色成分、綠色成分和藍色成分，計算所述估計量。 根據(jù)本發(fā)明的又一實施例，一種圖像處理裝置，包括計算單元，用于僅根據(jù)圖像
中的每一像素的紅色成分和綠色成分，對該像素計算眼睛的色調(diào)的估計量；提取單元，用于
基于由所述計算單元計算出的估計量，提取具有眼睛的不良色調(diào)的候選像素；以及區(qū)域提
取單元，用于提取具有由所述提取單元提取出的多個候選像素的區(qū)域，判斷提取出的區(qū)域
是否形成預(yù)定形狀，并提取被判斷為形成所述預(yù)定形狀的區(qū)域作為具有眼睛的不良色調(diào)的
候選區(qū)域。 根據(jù)本發(fā)明的再一實施例，一種圖像處理方法，包括以下步驟計算步驟，用于僅 根據(jù)圖像中的每一像素的紅色成分和綠色成分，對該像素計算眼睛的色調(diào)的估計量；提取 步驟，用于基于在所述計算步驟中計算出的估計量，提取具有眼睛的不良色調(diào)的候選像素； 以及區(qū)域提取步驟，用于提取具有在所述提取步驟中提取出的多個候選像素的區(qū)域，判斷 提取出的區(qū)域是否形成預(yù)定形狀，并提取被判斷為形成所述預(yù)定形狀的區(qū)域作為具有眼睛 的不良色調(diào)的候選區(qū)域。 根據(jù)本發(fā)明，可以準確地檢測具有不良色調(diào)的圖像區(qū)域。因此，可以適當(dāng)?shù)貦z測具 有眼睛的不良色調(diào)的圖像區(qū)域(待校正的區(qū)域)，而不依賴于人是否具有較深或較淡的色素。 通過以下結(jié)合附圖對典型實施例的說明，本發(fā)明的更多特點將是顯而易見的。


包括在說明書中并構(gòu)成說明書的一部分的附圖，示出了本發(fā)明的實施例，并與說 明書一起用來解釋本發(fā)明的原理。 圖1是示出根據(jù)本發(fā)明第一實施例的進行圖像處理的計算機(圖像處理裝置)的 結(jié)構(gòu)的例子的框圖； 圖2是示出根據(jù)本發(fā)明第一實施例的自動校正紅眼的處理概要的功能框圖；
圖3示意性示出通過數(shù)字照相機等成像裝置所捕獲的紅眼圖像；
圖4示出自適應(yīng)二值化；
6
圖5A和5B示出自適應(yīng)二值化的例子； 圖6A和6B示出計算平均值所使用的高速技術(shù)； 圖7示出邊緣跟蹤(border following); 圖8示出邊緣跟蹤； 圖9示出方向直方圖中的方向； 圖10示出方向直方圖的例子； 圖11示出紅色區(qū)域的外接矩形區(qū)域； 圖12是示出判斷追蹤出的區(qū)域是否是紅色圓形區(qū)域的處理的例子的流程圖； 圖13A到13C示出用于計算紅眼區(qū)域的候選區(qū)域的估計量的周圍區(qū)域的定義； 圖14A和14B示出如果紅眼區(qū)域的候選區(qū)域靠近圖像邊緣時的周圍區(qū)域； 圖15A到15C示出在其中計算像素塊的平均值的區(qū)域； 圖16是示出判斷特征量組的處理的例子的流程圖； 圖17示出如何設(shè)置周圍區(qū)域； 圖18是示出校正候選區(qū)域列表中的其中一個紅眼區(qū)域的處理的例子的流程圖； 圖19示出對校正范圍的確定； 圖20示出如何設(shè)置校正參數(shù)； 圖21A和21B示出本發(fā)明第二實施例中的問題； 圖22A和22B示出根據(jù)本發(fā)明第二實施例的自適應(yīng)二值化； 圖23示出本發(fā)明第三實施例中的問題； 圖24是示出根據(jù)本發(fā)明第三實施例的自動校正紅眼的處理概要的功能框圖； 圖25是示出由候選區(qū)域估計單元進行的處理的例子的流程圖； 圖26示出區(qū)域中心之間的距離； 圖27示出區(qū)域中心間的距離與閾值之間的關(guān)系的例子； 圖28A和28B示出本發(fā)明第四實施例中的問題； 圖29是示出根據(jù)本發(fā)明第四實施例的自動校正紅眼的處理概要的功能框圖； 圖30是示出由候選區(qū)域組合單元進行的處理的例子的流程圖； 圖31示出候選區(qū)域列表的例子； 圖32A和32B示出將候選區(qū)域組合成一個的處理； 圖33示出根據(jù)本發(fā)明第五實施例的條帶分割(banddivision); 圖34是示出根據(jù)本發(fā)明第五實施例的提取紅眼區(qū)域的處理的例子的流程圖； 圖35是詳細示出在第N條帶中提取紅眼區(qū)域的流程圖； 圖36示出在跨越第N-l、 N和N+l條帶的重疊區(qū)域中存在四個紅色圓形區(qū)域的例 子； 圖37示出如何選擇候選區(qū)域； 圖38示出候選區(qū)域列表的例子； 圖39是示出根據(jù)本發(fā)明第五實施例的校正處理的例子的流程圖； 圖40示出校正行與待校正的區(qū)域之間的關(guān)系的例子； 圖41示出存儲在候選區(qū)域列表中的關(guān)于紅眼區(qū)域的位置信息。
具體實施例方式
將參照附圖對根據(jù)本發(fā)明的實施例的圖像處理進行詳細說明。希望在打印機驅(qū)動
器和掃描儀驅(qū)動器中包括以下所述的圖像處理，該打印機驅(qū)動器生成將輸出給打印機引擎
的圖像信息并在計算機運行，該掃描儀驅(qū)動器驅(qū)動光學(xué)掃描儀并在計算機中運行?？蛇x地，
可將圖像處理內(nèi)置在復(fù)印機、傳真機、打印機、掃描儀、多功能設(shè)備、數(shù)字照相機、或數(shù)字攝
像機等硬件中，或?qū)⑵渥鳛檐浖峁┙o硬件。 第一實施例 MH 圖1是示出根據(jù)本發(fā)明第一實施例的進行圖像處理的計算機(圖像處理裝置)的 結(jié)構(gòu)的例子的框圖。 計算機IOO包括中央處理單元(CPU) 101 ;只讀存儲器(R0M)102 ;隨機存取存 儲器(RAM)103 ;與監(jiān)視器113(監(jiān)視器113可以包括觸摸面板)連接的顯卡104;存儲設(shè) 備105，例如硬盤驅(qū)動器或存儲卡；符合通用串行總線(USB)或IEEE1394的串行總線接口 108 ;以及與網(wǎng)絡(luò)114連接的網(wǎng)絡(luò)接口卡(NIC) 107。上述組件通過系統(tǒng)總線109相互連接。 鼠標、指示筆、或輸入板等指示設(shè)備106、鍵盤115等連接到接口 108?？梢詫⒋蛴C110、掃 描儀111、數(shù)字照相機112等連接到接口 108。 CPU 101可以將存儲在ROM 102或存儲設(shè)備105中的程序(包括下面所述的圖像 處理的程序)載入用作工作存儲器的RAM103中，并執(zhí)行該程序。CPU IOI根據(jù)該程序通過 系統(tǒng)總線109控制上述組件，以實現(xiàn)該程序的功能。 圖1示出根據(jù)本發(fā)明第一實施例的進行圖像處理的硬件的公用結(jié)構(gòu)。本發(fā)明適用
于不包括上述某些組件的結(jié)構(gòu)或添加了其它組件的結(jié)構(gòu)。 處理概要 圖2是示出根據(jù)本發(fā)明第一實施例的自動校正紅眼的處理概要的功能框圖。通過 CPU IOI進行該處理。處理從例如數(shù)字照相機112或掃描儀111接收數(shù)字圖像數(shù)據(jù)。該數(shù) 字圖像數(shù)據(jù)每個像素24位，其中包括R、 G、 B成分各8位。 圖3示意性示出通過數(shù)字照相機112等成像裝置所捕獲的紅眼的圖像。附圖標記 302表示眼睛的瞳孔區(qū)域，附圖標記301表示其虹膜區(qū)域，附圖標記304表示由圖像捕獲中 所使用的閃光燈引起的高亮區(qū)域。附圖標記303表示白眼球。通常，瞳孔區(qū)域302由于紅 眼效應(yīng)而在圖像中變?yōu)榧t色。 返回參照圖2，紅色區(qū)域提取單元202從通過輸入端子201輸入的圖像數(shù)據(jù)中提取 紅色區(qū)域。盡管已經(jīng)提出了提取紅色區(qū)域的各種方法，以下將對通過自適應(yīng)二值化提取紅 色區(qū)域的方法進行說明。由于紅色區(qū)域提取單元202提取紅色區(qū)域時，不管該紅色區(qū)域是 否被包括在眼睛中，因而所提取的紅色區(qū)域?qū)?yīng)于紅眼、紅色信號燈、服飾中的紅色圖案、 以及紅色照明等。 紅色圓形區(qū)域提取單元203接收輸入圖像數(shù)據(jù)和關(guān)于所提取的紅色區(qū)域的信息， 以從該紅色區(qū)域中提取形狀相對接近于圓的區(qū)域(以下稱之為紅色圓形區(qū)域)。盡管已經(jīng) 提出了用于確定區(qū)域形狀的各種方法，以下將對通過邊緣跟蹤提取紅色圓形區(qū)域的方法進 行說明。紅色圓形區(qū)域提取單元203將關(guān)于所提取出的紅色圓形區(qū)域的位置信息存儲在候 選區(qū)域列表中。
8
特征量判斷單元204接收輸入圖像數(shù)據(jù)和候選區(qū)域列表，以判斷在存儲于候選區(qū) 域列表中的紅色圓形區(qū)域中用于確定眼睛的各種特征量。用于確定眼睛的特征量包括紅色 圓形區(qū)域的飽和度、紅色圓形區(qū)域周圍的區(qū)域的明度、飽和度和色相、以及紅色圓形區(qū)域周 圍的區(qū)域中的邊緣分布。將這些特征量或值與預(yù)定的閾值進行比較，以確定滿足所有條件 的紅色圓形區(qū)域作為紅眼區(qū)域。特征量判斷單元204將關(guān)于所確定的紅眼區(qū)域的位置信息 存儲在候選區(qū)域列表中。 校正單元205接收輸入圖像數(shù)據(jù)和將關(guān)于紅眼區(qū)域的位置信息存儲在其中的候 選區(qū)域列表，以校正圖像數(shù)據(jù)中的紅眼區(qū)域，并將經(jīng)過校正的圖像數(shù)據(jù)通過輸出端子206 輸出。將校正后的圖像數(shù)據(jù)顯示在監(jiān)視器113中，或?qū)⑵浯鎯υ赗AM 103或存儲設(shè)備105 中?？蛇x地，可以利用連接到接口 108的打印機110打印該圖像數(shù)據(jù)，或通過NIC 107將其 發(fā)送給與網(wǎng)絡(luò)114(包括以太網(wǎng)或因特網(wǎng))連接的另一計算機或服務(wù)器。
紅色貝域提取單元202 紅色區(qū)域提取單元202將自適應(yīng)二值化應(yīng)用于輸入圖像數(shù)據(jù)，以從該圖像數(shù)據(jù)中 提取紅色區(qū)域。具體地，紅色區(qū)域提取單元202計算輸入圖像數(shù)據(jù)中的每一像素的表示紅 色程度的估計量(以下稱之為紅色估計量)，將該紅色估計量與閾值進行比較，如果該紅色 估計量大于該閾值，則將目標像素判斷為紅色。在目標像素周圍的區(qū)域中自適應(yīng)確定該閾 值。在這里的"二值化"中，將"1"賦給被判斷為紅色的像素，將"0"賦給未被判斷為紅色 的像素。 圖4示出自適應(yīng)二值化。 輸入圖像數(shù)據(jù)401中的目標像素402經(jīng)過自適應(yīng)二值化。紅色區(qū)域提取單元202
根據(jù)公式(3)計算目標像素402的表示紅色程度的紅色估計量Er :[公式3] Er = (R-G) /R (3) 公式(3)意味著不是根據(jù)普通HIS系統(tǒng)中的飽和度，而是根據(jù)RGB系統(tǒng)中除B成 分之外的R和G成分，來計算目標像素402的紅色程度。根據(jù)公式(3)而不是飽和度來計 算紅色估計量Er具有以下優(yōu)點。 例如，具有較深色素的眼睛的人不可能具有亮紅眼，因為此人在瞳孔區(qū)域302中 具有較低的晶狀體透射率。如上所述，實驗顯示日本人的紅眼區(qū)域具有估計的像素值(R、 G、B) = (109、58、65)，并且日本人的肉色區(qū)域在色相上集中在紅色(0度)到黃色(30度)。 這些區(qū)域中的RGB成分具有關(guān)系R > G > B，并且眼睛周圍的肉色區(qū)域具有估計像素值(R、 G、B) = (226、 183、 128)。 B成分在紅色區(qū)域中的像素和在眼睛周圍的肉色區(qū)域中的像素中 均具有較低的值。在這種情況下，紅眼區(qū)域中的像素具有飽和度40，而眼睛周圍的肉色區(qū)域 中的像素具有飽和度43，其與紅眼區(qū)域中的像素近似相同。換句話說，與眼睛周圍的肉色區(qū) 域中的像素的飽和度相比，紅眼區(qū)域中的像素的飽和度不顯著。因此，使用飽和度作為自適 應(yīng)二值化的閾值，難以檢測紅眼區(qū)域。 相比之下，當(dāng)根據(jù)公式(3)，即基于不依賴于B成分的估計量，計算紅色估計量Er 時，紅眼區(qū)域中的像素的紅色估計量Er等于51/109或47X，而眼睛周圍的肉色區(qū)域中的像 素的紅色估計量Er等于43/226或19% 。因此，紅眼區(qū)域中的像素的紅色估計量Er的值比 眼睛周圍的肉色區(qū)域中的像素的紅色估計量Er大兩倍或更多。
9
從而，當(dāng)要檢測在眼睛中具有較深色素的人的紅眼時，不是定義飽和度，而是如公 式(3)中那樣僅包括R和G成分而排除B成分的估計量，可以準確地提取紅眼區(qū)域中的像 素。盡管在公式(3)中，定義(R-G)與R成分的比作為紅色估計量Er，但是紅色估計量Er 不局限于該比。例如，可以僅將(R-G)或R/G定義為紅色估計量Er。 同樣，當(dāng)要檢測在眼睛中具有較淡色素的人的紅眼時，不是定義飽和度，而是如公 式(3)中那樣僅包括R和G成分而排除B成分的估計量，可以準確地提取紅眼區(qū)域中的像素。 返回參照圖4，為了二值化目標像素402，將具有由"ThWindowSize"表示的像素數(shù)
的窗口區(qū)域403設(shè)置在與目標像素402相同的行上且在目標像素402的左邊(主掃描方向
的前面)，并計算窗口區(qū)域403中的像素的紅色估計量Er的平均值Er (ave)。希望將像素
數(shù)ThWindow Size設(shè)置成圖像的短邊的1%到2%的值。由于僅在滿足以下條件時，才計算
紅色估計量Er，因而紅色估計量Er不會是負值。[公式4] R>0iR>G (4) 為了通過使用平均值Er (ave)進行目標像素402的二值化，需要目標像素402滿
足以下條件[公式5]R> Th_RminiR> G且R〉 B (5)
其中，"Th_Rmin"指表示R成分的下限的閾值。
如果滿足以上條件，則根據(jù)表達式(6)進行二值化
[公式6] 如果Er > Er (ave) +Margin_RGB，則賦給"1" 如果Er《Er(ave)+MargiruRGB，則賦給"0" (6) 其中"Margin—RGB"表示參數(shù)。 根據(jù)公式(6)，如果目標像素402的紅色估計量Er大于通過將Margin—RGB與窗口 區(qū)域403中的紅色估計量Er的平均值Er (ave)相加而給出的值，則將目標像素402的二值 化后的值設(shè)置成"1"，意味著提取目標像素402作為紅色區(qū)域。由于如果紅色區(qū)域連續(xù)出 現(xiàn)，則平均值Er(ave)變得太大，因而可以設(shè)置平均值Er (ave)的上限。將二值化結(jié)果存儲 在RAM 103中不同于輸入圖像數(shù)據(jù)的緩沖區(qū)的區(qū)域中。 在將目標像素402從左向右移動時，對輸入圖像數(shù)據(jù)的每一行上的所有像素進行 以上處理。 盡管在本發(fā)明的第一實施例中，根據(jù)在與目標像素402相同的行中且在目標像 素402的左邊所設(shè)置的窗口中的像素的紅色估計量Er，來計算二值化的閾值(平均值 Er(ave))，但是窗口不限于上述的一個。例如，可以在跨越包括目標像素402的行(次掃描 方向的前面)的幾行的、包括目標像素402左邊(主掃描方向的前面)的幾個像素的區(qū)域 中設(shè)置窗口，或者可以在目標像素402周圍的預(yù)定的矩形區(qū)域中設(shè)置窗口。
圖5A和5B示出自適應(yīng)二值化的例子。圖5A示出輸入圖像數(shù)據(jù)中的紅眼周圍的 圖像。圖5B是由自適應(yīng)二值化產(chǎn)生的二值化后的圖像。在圖5B中，只提取了與紅眼的瞳 孔相對應(yīng)的像素。
10
為了計算在主掃描方向上所設(shè)置的窗口中的紅色估計量Er的平均值Er (ave)，可 以使用以下所述的高速技術(shù)。 圖6A和6B示出用于計算平均值Er(ave)的高速技術(shù)。 參照圖6A，在計算設(shè)置在目標像素402左邊的窗口區(qū)域403中的紅色估計量Er的 平均值Er (ave)時，將窗口區(qū)域403中的紅色估計量Er的和存儲在RAM 103等存儲器中。 通過將該和除以窗口區(qū)域403中的像素數(shù)n，簡單計算出平均值Er (ave)。然后，將目標像 素402向右移動一個像素，并將窗口區(qū)域403向右移動一個像素。通過從圖6A中計算出的 和中減去像素501的紅色估計量Er，然后將相減結(jié)果與像素502 (與目標像素402接近的像 素)的紅色估計量Er相加，得出圖6B中的窗口區(qū)域403中的紅色估計量Er的和，從而使 該處理得以高速進行。換句話說，在移動目標像素402和窗口區(qū)域403后，無需再次計算窗 口區(qū)域403中的所有像素的紅色估計量Er。
紅色圓形區(qū)域提取單元203 紅色圓形區(qū)域提取單元203通過邊緣跟蹤提取紅色圓形區(qū)域，該邊緣跟蹤是一種
二值化圖像處理的方法。 圖7示出邊緣跟蹤。 在邊緣跟蹤中，從上限起沿主掃描方向掃描由自適應(yīng)二值化產(chǎn)生的二值化后的圖 像，以設(shè)置目標像素(xa， ya)作為起始點，該目標像素(xa， ya)具有值"l"且其周圍四個 像素具有值"O"。這四個像素包括目標像素左邊的像素(xa-l， ya)、目標像素左上的像素 (xa-l，ya-l)、目標像素上方的像素(xa， ya_l)、以及目標像素右上的像素(xa+l，ya-1)。設(shè) 置圖7中的像素701作為起始點。在圖7中設(shè)置坐標系統(tǒng)，該坐標系統(tǒng)的原點被設(shè)置在二 值化后的圖像的左上角。 從起始點像素701開始圍繞所讀取的區(qū)域逆時針跟蹤具有值"l"的像素回到起始 點像素701。如果在邊緣跟蹤處理過程中，目標像素追蹤到圖像區(qū)域外，或目標像素的Y坐 標小于作為起始點設(shè)置的像素701的Y坐標，則停止邊緣跟蹤，并搜索下一個起始點。為了 防止沿圖8中所示的圓形區(qū)域的內(nèi)側(cè)的不適當(dāng)?shù)淖粉?，如果在邊緣跟蹤過程中，目標像素 的Y坐標小于像素701的Y坐標，則停止邊緣跟蹤。由于如果追蹤圓形區(qū)域的內(nèi)側(cè)，則像素 802的Y坐標小于起始點像素801的Y坐標，因而在像素802處停止邊緣跟蹤。
在邊緣跟蹤過程中，可以確定將經(jīng)過邊緣跟蹤的區(qū)域的圓周長、方向直方圖、以及 X和Y坐標的最大和最小值。由所追蹤的像素數(shù)來表示該圓周長。例如，在圖7中的例子 中，圓周長對應(yīng)于包括起始點像素701的9個像素。 通過對圖9中所示的每八個方向累計從一個像素到隨后像素的方向，產(chǎn)生方向直 方圖。在圖7的例子中，追蹤的方向是"667812334"，并且如果從起始點像素701開始逆時 針進行邊緣跟蹤，則產(chǎn)生圖10中所示的方向直方圖。 X和Y坐標的最大和最小值形成了外接包括具有值"l"的像素的區(qū)域即紅色區(qū)域 的矩形區(qū)域，如圖ll所示。 紅色圓形區(qū)域提取單元203將邊緣跟蹤應(yīng)用于該紅色區(qū)域，以得到上面的值，并 判斷所追蹤的區(qū)域是否是紅色圓形區(qū)域。 圖12是示出判斷所追蹤的區(qū)域是否是紅色圓形區(qū)域的處理的例子的流程圖。
在步驟S1201，處理判斷紅色區(qū)域的高寬比(aspect ratio)是否大于或等于預(yù)定
1的閾值Th—BFJHRatio。根據(jù)公式(7)計算高寬比AR:
[公式7] AR = (ymax-ymin) / (xmax-xmin) (7) 如果AR > l，則將該值的倒數(shù)作為高寬比，從而使其始終具有0與1之間的值。
具體地，高寬比AR具有從0.0到1.0之間的值，并且如果AR二 l.O，則縱向長度等 于橫向長度。在步驟S1201中，處理將高寬比AR與閾值Th—BFJHRatio進行比較，如果AR 〈Th—BF—VHRatio，則判斷出該紅色區(qū)域不是紅色圓形區(qū)域，進入隨后的紅色區(qū)域。
如果處理判斷出AR > Th_BF_VHRatio，則在步驟S1202,處理判斷該紅色區(qū)域的大 小是否合適?；谝韵聝牲c進行該大小是否合適的判斷(l)像素的實際數(shù)量的上限和下 限，以及(2)該紅色區(qū)域的短邊或長邊與圖像的短邊或長邊的比。 對于(1)，將該紅色區(qū)域的橫向長度X = xmax-xmin和縱向長度Y = ymax-ymin 中較小的值與預(yù)定的閾值進行比較，以判斷橫向長度X或縱向長度Y是否在上限Th_BF_ SizeMax和下限Th_BF_SizeMin之間。如果橫向長度X或縱向長度Y不在上限Th_BF_ SizeMax和下限Th_BF_SizeMin之間，則處理判斷出該紅色區(qū)域不是紅色圓形區(qū)域，進入隨 后的紅色區(qū)域。 對于(2)，根據(jù)表達式(8)計算該比
[公式8]Th_BF_RatioMin < min(X， Y)/min(W， H) < Th_BF_RatioMax(8)其中，X = xmax-xmin， Y = ymax-ymin， "W"表示輸入圖像的寬度，"H"表示輸入圖像的高度。
如果目標紅色區(qū)域不滿足表達式(8)，則處理判斷出該紅色區(qū)域不是紅色圓形區(qū) 域，進入隨后的紅色區(qū)域。盡管表達式(8)中示出了短邊之間的比較的例子，但是也可以進 行長邊之間的比較。 如果在步驟S1202中處理判斷出該紅色區(qū)域的大小合適，則在步驟S1203，處理將 該紅色區(qū)域的圓周長與理想的圓周進行比較，以判斷所提取的紅色區(qū)域是否近似于圓形。 通過使用該紅色區(qū)域的寬度X和高度Y，根據(jù)公式(9)近似理想圓周Ci。
[公式9] Ci = (X+Y) X2X2 Ji/8 (9) 假定所提取的紅色區(qū)域是正方形，計算該正方形的內(nèi)切圓的圓周。在公式(9)中， "(X+Y) X2"表示包括該紅色區(qū)域的正方形的四個邊的長度，"2Ji/8"表示正方形的四個邊 的長度與該正方形的內(nèi)切圓的圓周之比。處理根據(jù)表達式(10)將理想圓周Ci與該圓周長
進行比較，并且如果不滿足表達式(io)，則處理判斷出該紅色區(qū)域不是紅色圓形區(qū)域，進入
隨后的紅色區(qū)域。
[公式10]min(Ci， Cx)/max(Ci， Cx) > Th_BF_CircleRatio (10)
其中，"Cx"表示該紅色區(qū)域的圓周長。 如果該圓周長滿足表達式(10)，則在步驟S1204，處理判斷方向直方圖是否有偏 向。如上所述，在邊緣跟蹤處理中產(chǎn)生圖10中所示的方向直方圖。如果邊緣跟蹤的目標區(qū) 域近似于圓形，則由邊緣跟蹤產(chǎn)生的8個方向上的方向直方圖示出相等的分布。然而，例 如，如果目標區(qū)域具有細長的形狀，則方向直方圖是偏的(不相等的)。例如，如果目標區(qū)
12域具有從右上延伸到右下的細長形狀，則頻率集中在圖9的八個方向中的方向2和6，而方 向4和8具有較低的頻率。因此，如果滿足表達式(11)中的所有條件，則處理判斷出目標 紅色區(qū)域是紅色圓形區(qū)域。如果不滿足表達式(11)中的任何一個條件，則處理判斷出該紅 色區(qū)域不是紅色圓形區(qū)域，進入隨后的紅色區(qū)域。
[公式ll] s咖(fl， f2， f5， f6) <E f XTh_BF_DirectRatio
sum(f2， f3， f6， f7) <E f XTh_BF_DirectRatio
s咖(f3， f4， f7， f8) <E f X Th_BF_DirectRatio
sum(f4， f5， f8， fl) <E f XTh_BF_DirectRatio (11) 其中，"fn"表示方向n的頻率，"sum(fa、 fb、 fc、 fd)"表示方向a、 b、 c禾口 d的頻 率的和，"E f"表示頻率的和。 如果在某一方向上的頻率的和大于表達式(11)中的預(yù)定值，即，如果方向直方圖 偏向某一方向，則處理判斷出目標紅色區(qū)域不是紅色圓形區(qū)域。由于如果在根據(jù)表達式 (11)的判斷中頻率的和E f降低，則判斷的準確度可能降低，因而如果頻率的和E f小于預(yù) 定值，則處理可以跳過步驟S1204，進入步驟S1205。 處理判斷出滿足從步驟S1201到步驟S1204的所有判斷的紅色區(qū)域(如果處理跳
過步驟S1204，則為滿足剩余的從步驟S1201到步驟S1203的判斷的紅色區(qū)域)是紅色圓形
區(qū)域(紅眼區(qū)域的候選區(qū)域)，然后在步驟S1205，處理將位置信息存儲在RAM 103中的候
選區(qū)域列表中。處理重復(fù)邊緣跟蹤和圖12中所示的處理，直到目標紅色區(qū)域到達圖像數(shù)據(jù)
的右底部附近的區(qū)域。 特征暈判斷單元204 特征量判斷單元204計算用于從所提取的紅色圓形區(qū)域(紅眼區(qū)域的候選區(qū)域) 確定人的紅眼的各種特征量，并將所計算出的特征量與預(yù)定的閾值進行比較，以判斷紅色 圓形區(qū)域是否是紅眼區(qū)域。 特征量判斷單元204按照圖16的流程圖中所示的順序，對在前面的處理中記錄在 候選區(qū)域列表中的紅眼區(qū)域的候選區(qū)域，進行以下5組特征量的判斷。
特征量組O :紅色圓形區(qū)域中的估計量的平均值Er(ave)與紅色圓形區(qū)域周圍的 區(qū)域(以下稱之為周圍區(qū)域)中的估計量的平均值Er(ave)之間的比較(步驟SIO)
特征量組1 :紅色圓形區(qū)域中的色相、紅色估計量Er、以及顏色成分中的變化的判 斷(步驟Sll) 特征量組2 :周圍區(qū)域中的亮度的判斷(步驟S12) 特征量組3 :周圍區(qū)域中的飽和度和色相的判斷(步驟S13) 特征量組4 :周圍區(qū)域中的邊緣強度的判斷(步驟S14) 紅眼區(qū)域的理想紅色成分的特征是處于瞳孔周圍區(qū)域內(nèi)。實驗顯示該特征在其它 各種特征中是最顯著的。因此，首先進行特征量組O的判斷(步驟SIO)以縮小紅眼區(qū)域的 候選區(qū)域，這種作法是有效的。 特征量組l的判斷(步驟Sll)僅參照紅眼區(qū)域的候選區(qū)域中的像素，從而與判斷 其它組的特征量相比，該計算量較小。 特征量組2和特征量組3的判斷(步驟S12和步驟S13)需要將周圍區(qū)域中的像
13素的RGB成分轉(zhuǎn)換成亮度和色差成分，或者需要將其RGB成分轉(zhuǎn)換成明度、飽和度和色相成 分，從而計算量大于在特征量組1的判斷中的計算量。 為了得到邊緣強度，特征量組4的判斷(步驟S14)使用Sobel濾波器等已知的邊
緣檢測濾波器。因此，該判斷在特征量的剩余組的判斷中具有最大量的計算。 因此，特征量判斷單元204從具有較小量的計算的判斷開始，或從可以最容易地
獲得紅眼區(qū)域的特征的判斷開始，順序進行判斷。如果特征量判斷單元204判斷出紅眼區(qū)
域的候選區(qū)域不是紅眼區(qū)域，則特征量判斷單元204通過跳過隨后的判斷來限制處理量，
如圖16中所示。 廳 2 圖13A到13C示出用于計算紅眼區(qū)域的候選區(qū)域的特征量的周圍區(qū)域的定義。
參照圖13A到13C，中央塊1301是在前一處理中所提取的紅眼區(qū)域的候選區(qū)域 (紅色圓形區(qū)域)的外接矩形。周圍區(qū)域是塊1301周圍的區(qū)域，其縱向、橫向大小是塊1301 大小的兩倍、三倍、或五倍。圖13A到13C中示出了擴大到塊1301大小的兩倍、三倍和五倍 的周圍區(qū)域。以下"整個周圍區(qū)域"是指從周圍區(qū)域排除塊1301而產(chǎn)生的區(qū)域。"周圍區(qū)域 中的塊"是指如圖13A到13C中的虛線所示，通過延長塊1301的邊并將周圍區(qū)域分成8個 塊而給出的各塊。在除特征量組l以外的特征量組的情況下，對該周圍區(qū)域進行判斷。由 于將周圍區(qū)域設(shè)置成具有最大為紅眼區(qū)域的候選區(qū)域的外接矩形五倍大小的區(qū)域，因而可 以以高速進行判斷。 圖14A和14B示出如果紅眼區(qū)域的候選區(qū)域存在于圖像的邊緣附近時的周圍區(qū) 域。 圖14A示出紅眼區(qū)域的候選區(qū)域的外接矩形(塊1301)留有一些邊距地存在于圖 像的右邊緣附近的情況。在這種情況下，如果在周圍區(qū)域中的各塊中存在至少一個像素，則 使用該像素來判斷特征量。 相比之下，圖14B示出塊1301不留邊距地與圖像的右邊緣接觸的情況。在這種情 況下，由于在周圍塊中包括右上(TR)、右(R)和右下(BR)塊的三個塊中不存在像素，因而不 可能計算周圍塊的特征量。在這種情況下，根據(jù)本發(fā)明第一實施例，判斷出塊1301不是紅 眼區(qū)域，并將塊1301從候選區(qū)域列表中排除。
特征暈組0的判斷(歩驟S10) 在特征量組0的判斷中，例如，如圖13B中所示，對塊1301設(shè)置具有比塊1301大 三倍大小的周圍區(qū)域，根據(jù)公式(3)計算包括塊1301的塊中的各像素的紅色估計量Er，并 計算紅色估計量Er的平均值Er(ave)。將所計算出的平均值Er(ave)以陣列AEvR[8]存儲 在RAM 103中。陣列AEvR保持從0到8的9個元素。從左上塊到右下塊將元素依次分配 給塊。具體地，在圖13A中，將元素0分配給左上(TL)塊，將元素1分配給上(T)塊，將元 素2分配給右上(TR)塊等。 然后，判斷在元素i = 0到8(除塊1301的i = 4以外)中是否滿足表達式(12)。
[公式12]AEvR[i] < AEvR[4] XTh_FJO_EvR (12) 表達式(12)是指如果通過將塊1301中的估計量的平均值A(chǔ)EvR[4]乘以閾值Th— FJ0—EvR而給出的值大于在剩余的8個周圍塊中的估計量的平均值A(chǔ)EvR[i]，則紅眼區(qū)域的
14候選區(qū)域是紅眼區(qū)域。如果不滿足表達式(12)，則判斷出紅眼區(qū)域的候選區(qū)域不是紅眼區(qū)
域，并且不進行隨后的特征量的判斷以進行隨后的紅眼區(qū)域的候選區(qū)域的判斷。 在以下所述的特征量中，因為紅眼區(qū)域的特征在紅色估計量Er中最顯著，所以進
行根據(jù)表達式(12)的紅色估計量Er的比較。各種實驗顯示對從候選區(qū)域列表中排除不
是紅眼區(qū)域的區(qū)域，根據(jù)表達式(12)的判斷是最有效的。因此，從最容易判斷的特征量開
始順序判斷特征量可以使特征量判斷單元204中的計算量最小化。 在計算各塊中的平均值Er(ave)時，在塊1301中希望僅對圖15A中所示的菱形計 算區(qū)域1501中的像素計算紅色估計量Er。由于紅眼區(qū)域的形狀通常是圓形或橢圓形，因 而具有較低紅色程度的像素存在于塊1301的四個角。因此，為了不降低塊1301中的紅色 估計量Er的平均值Er(ave)，應(yīng)該對除塊1301的四個角處的像素以外的像素，計算紅色估 計量Er。除圖15A中所示的菱形區(qū)域1501夕卜，還可以通過計算塊1301的內(nèi)切圓(圖15B) 或內(nèi)切橢圓(圖15C)中的紅色估計量Er，得到類似或較好的結(jié)果。
特ffi量纟目l的判斷(歩驟Sll) 在特征量組1的判斷中，僅參照紅眼區(qū)域的候選區(qū)域(圖13A到13C中的塊1301) 中的圖像數(shù)據(jù)，來判斷紅眼區(qū)域的候選區(qū)域是否是紅眼區(qū)域。特征量組l的判斷包括例如 以下步驟。 首先，判斷在紅眼區(qū)域的候選區(qū)域中，具有士30度色相的像素的紅色估計量Er的 平均值Er (ave)是否高于閾值Th_FJl_EMin，并低于閾值Th_FJl_EMax。如果不滿足該判斷， 則從候選區(qū)域列表中排除該紅眼區(qū)域的目標候選區(qū)域?？梢酝ㄟ^已知的方法提供色相。
接著，在紅眼區(qū)域的候選區(qū)域中，提供具有士30度色相的像素的紅色估計量Er中 的最大和最小值，以計算比值1 =最小值/最大值。由于在紅眼區(qū)域的候選區(qū)域中紅色估計 量Er變化很大，因而比值R具有較小值。因此，根據(jù)表達式(13)將比值R與閾值Th—FJ1— EMaxMinRatio進行比較，并且如果不滿足表達式(13)，則從候選區(qū)域列表中排除該紅眼區(qū) 域的目標候選區(qū)域。
[公式13]R < Th_FJl_EMaxMinRatio (13) 接著，在紅眼區(qū)域的候選區(qū)域中計算R成分的標準偏差。由于在紅眼區(qū)域中包括
紅眼區(qū)域與瞳孔區(qū)域之間的邊緣附近的亮紅區(qū)域和較深區(qū)域，因而R成分的動態(tài)范圍具有
非常大的值。因此，紅眼區(qū)域中的R成分的標準偏差的測量導(dǎo)致較大的值。為此，在紅眼區(qū)
域的候選區(qū)域中通過已知的方法測量R成分的標準偏差Sr，以根據(jù)表達式(14)判斷標準
偏差S r是否大于閾值Th_FJl_RDiv :[公式14] S r > Th_FJl_RDiv (14) 從候選區(qū)域列表中排除不滿足表達式(14)的紅眼區(qū)域的目標候選區(qū)域。盡管以 上說明了R成分的標準偏差，但是通過使用R成分的分散(dispersion)，可以進行類似的判 斷。 為了判斷R成分的變化，在紅眼區(qū)域的候選區(qū)域中可以計算相鄰像素間的R成分 的差的和的平均值SDr(ave)，以根據(jù)表達式(15)判斷所計算出的平均值SDr (ave)是否大 于閾值TH—FJl—RDiff :
15
[公式15] SDr(ave) > Th_FJl_RDiff (15) 有幾種用于計算相鄰像素之間的差的和的平均值的方法。例如，可以計算目標像 素與相鄰8個像素之間的差的和的平均值，或者可以計算目標像素與左邊像素之間的差。 另外，除R成分外，可以以相同的方式對G或B成分進行上述判斷，或?qū)α炼然蚣t色估計量 Er進行上述判斷。 特ffi量會目2的判斷(歩驟S12) 在特征量組2的判斷中，對作為特征量組1的判斷結(jié)果留在候選區(qū)域列表中的紅 眼區(qū)域的候選區(qū)域設(shè)置周圍區(qū)域，并進行與周圍區(qū)域中的亮度成分有關(guān)的判斷。特征量組 2的判斷包括例如以下步驟。 首先，對紅眼區(qū)域的候選區(qū)域設(shè)置周圍區(qū)域(例如，圖13C中所示的大小比塊1301
大五倍的區(qū)域)。接著，計算除塊1301以外的8個周圍區(qū)域的平均亮度Y(ave)，并判斷該
平均亮度Y(ave)是否大于閾值TH—FJ2—YMin且小于閾值Th—FJ2—YMax。如果該平均亮度
Y(ave)不在閾值TH_FJ2_YMin與閾值Th_FJ2_YMax之間的范圍內(nèi)，即，如果塊1301的周圍
區(qū)域非常亮或暗，則從候選區(qū)域列表中排除該紅眼區(qū)域的目標候選區(qū)域。 可以對8個周圍塊進行上述的亮度判斷。可選地，可以對周圍區(qū)域中的每一塊計
算平均亮度Y(ave)，并將所計算出的平均亮度Y(ave)與預(yù)定的閾值進行比較。 接著，對紅眼區(qū)域的候選區(qū)域設(shè)置大小比紅眼區(qū)域的候選區(qū)域的大小大兩倍的周
圍區(qū)域(圖13A)，計算除塊1301以外的8個周圍塊中的每一個的平均亮度Y(ave)，并得到
8個平均亮度中的最大值Ymax和最小值Ymin。由于當(dāng)設(shè)置大小比紅眼區(qū)域的候選區(qū)域的大
小大兩倍的周圍區(qū)域時，周圍區(qū)域的亮度可能變化很大，因而根據(jù)表達式(16)進行判斷[公式16] (Ymax-Ymin) > Th_FJ2_MaxMinDiff2 (16) 如果不滿足表達式(16)，則從候選區(qū)域列表中排除該紅眼區(qū)域的目標候選區(qū)域。
另外，對紅眼區(qū)域的候選區(qū)域設(shè)置大小比紅眼區(qū)域的候選區(qū)域的大小大五倍的周 圍區(qū)域(圖13C)，如上所述，計算8個周圍塊中的每一個的平均亮度Y(ave)，并得到8個平 均亮度中的最大值Ymax和最小值Ymin。當(dāng)設(shè)置大小比紅眼區(qū)域的候選區(qū)域的大小大五倍 的相對較大的周圍區(qū)域時，大多數(shù)周圍區(qū)域是肉色區(qū)域，因此，亮度在周圍區(qū)域中變化很大 似乎不可能。因此，與設(shè)置大小比紅眼區(qū)域的候選區(qū)域的大小大兩倍的周圍區(qū)域的情況不 同，根據(jù)表達式(17)進行判斷。
[公式17] (Ymax-Ymin) > Th_FJ2_MaxMinDiff5 (17) 如果不滿足表達式(17)，則從候選區(qū)域列表中排除該紅眼區(qū)域的目標候選區(qū)域。
特征暈組3的判斷(歩驟S13) 在特征量組3的判斷中，對作為特征量組1和特征量組2的判斷結(jié)果，留在候選區(qū) 域列表中的紅眼區(qū)域的候選區(qū)域設(shè)置周圍區(qū)域，并進行與該周圍區(qū)域中的飽和度和色相有 關(guān)的判斷。特征量組3的判斷包括例如以下步驟。 首先，對紅眼區(qū)域的候選區(qū)域設(shè)置周圍區(qū)域(例如，圖13C中所示的大小比塊 1301大五倍的區(qū)域)，并在除塊1301以外的8個周圍區(qū)域中計算具有±Th_FJ3_Hrange
16色相的像素數(shù)的比值Rh。由于紅眼區(qū)域的周圍區(qū)域是肉色區(qū)域，因而大多數(shù)像素的色相應(yīng)該在±Th_FJ3_HRange的范圍內(nèi)。因此，如果計算出的比值Rh高于或等于閾值Th_FJ3_HRatio，則確定該目標區(qū)域為紅眼區(qū)域的候選區(qū)域。如果計算出的比值Rh低于閾值Th_FJ3JlRatio，則從候選區(qū)域列表中排除該紅眼區(qū)域的目標候選區(qū)域。根據(jù)公式(18)計算比值Rh :[公式18] Rh = Nh/E N (18) 其中，"Nh"表示具有Th—FJ3Jlrange色相的像素數(shù)，"E N"表示8個塊中的像素數(shù)。 接著，對紅眼區(qū)域的候選區(qū)域設(shè)置周圍區(qū)域(例如，圖13C中所示的大小比塊1301大五倍的區(qū)域)，并計算周圍區(qū)域中的8個塊的平均飽和度S(ave)。判斷該平均飽和度S(ave)是否大于閾值Th—FJ3—SMin且小于閾值Th—FJ3—SMax。如果平均飽和度S(ave)處于從閾值Th_FJ3_SMin到閾值Th_FJ3_SMax的范圍外，則從候選區(qū)域列表中排除該紅眼區(qū)域的目標候選區(qū)域。 可以對每一塊進行上述的飽和度判斷。具體地，可以在周圍區(qū)域中對每一塊計算平均飽和度S(ave)，以將計算出的平均飽和度S(ave)與預(yù)定的閾值進行比較。
所謂的白眼球大概處于紅眼區(qū)域周圍。因此，在對紅眼區(qū)域的候選區(qū)域所設(shè)置的周圍區(qū)域(例如，圖13B中所示的大小比塊1301大三倍的區(qū)域)中，飽和度S與明度L的比S/L低于閾值Th_FJ3_WhitePix。如果存在任何一個具有較低飽和度S和較高明度L的像素，則該像素被判斷為紅眼區(qū)域的候選區(qū)域。如果在紅眼區(qū)域的候選區(qū)域中，比S/L不低于閾值Th—FJ3—WhitePix，則從候選區(qū)域列表中排除該紅眼區(qū)域的目標候選區(qū)域。
特征暈組4的判斷(歩驟S14) 在特征量組4的判斷中，對作為特征量組1到組3的判斷結(jié)果，留在候選區(qū)域列表中的紅眼區(qū)域的候選區(qū)域設(shè)置周圍區(qū)域，并進行與周圍區(qū)域中的邊緣有關(guān)的判斷。由于在人的眼睛附近存在非常清晰的邊緣，因而該邊緣可以是有效的特征量。盡管已知的Sobel濾波器被用于檢測邊緣，但是方法不局限于該濾波器。即使利用其它邊緣檢測濾波器也可以進行相同的判斷。由于Sobel濾波器眾所周知，因而在此省略對Sobel濾波器的詳細說明。特征量組4的判斷包括例如以下步驟。 首先，對紅眼區(qū)域的候選區(qū)域設(shè)置周圍區(qū)域(例如，圖13A中所示的大小比塊1301大兩倍的區(qū)域)，并對該周圍區(qū)域中的每一像素使用Sobel濾波器。計算為每一像素產(chǎn)生的Sobel輸出值的平均值So (ave)。由于通常在人的眼睛附近存在非常清晰的邊緣，因而將平均值So(ave)與閾值Th—FJ4—SobelPow進行比較。如果平均值So(ave)小于或等于閾值Th_FJ4_SobelPOW，則從候選區(qū)域列表中排除該紅眼區(qū)域的目標候選區(qū)域。
接著，對紅眼區(qū)域的候選區(qū)域設(shè)置周圍區(qū)域(例如，圖13B中所示的大小比塊1301大三倍的區(qū)域)，并對該周圍區(qū)域中的每一像素使用Sobel濾波器。計算為每一像素產(chǎn)生的Sobel輸出值的最大值與最小值之間的差Ds。由于通常在人的眼睛附近存在非常清晰的邊緣，并且在人的眼睛附近還存在肉色的平坦部分，因而差Ds應(yīng)該具有相對較大的值。因此，將差Ds與閾值Th_FJ4_MaxMinDiff進行比較。如果差Ds小于或等于閾值Th_FJ4_MaxMinDiff，則從候選區(qū)域列表中排除該紅眼區(qū)域的目標候選區(qū)域。
另外，對紅眼區(qū)域的候選區(qū)域設(shè)置周圍區(qū)域(例如，圖13B中所示的大小比塊1301 大三倍的區(qū)域)，并對該周圍區(qū)域中的每一像素使用Sobel濾波器。將為每一像素產(chǎn)生的 Sobel輸出值存儲在RAM 103的陣列sobel [y][x]中作為邊緣圖像。然后，計算該邊緣圖像 的質(zhì)心(Xw， Yw)。根據(jù)公式(19)計算該質(zhì)心(Xw， Yw):
[公式19] (Xw， Yw) = ( E x Sobel [y] [x] /Sobel [y] [x] ， E y Sovel [y] [x] /Sobel [y] [x]) (19) 如果紅眼區(qū)域的候選區(qū)域處于人的眼睛中，則質(zhì)心(Xw， Yw)應(yīng)該存在于邊緣圖像 的中央附近。因此，判斷質(zhì)心(Xw，Yw)是否處于例如塊1301中。如果質(zhì)心(Xw，Yw)處于塊 1301中，則該目標區(qū)域被判斷為紅眼區(qū)域的候選區(qū)域。如果質(zhì)心(Xw，Yw)不在塊1301中， 則從候選區(qū)域列表中排除該紅眼區(qū)域的目標候選區(qū)域。 而且，對紅眼區(qū)域的候選區(qū)域設(shè)置大小比紅眼區(qū)域的候選區(qū)域的大小大五倍的周 圍區(qū)域(圖13C)，并對該周圍區(qū)域中的每一像素使用Sobel濾波器。將為每一像素產(chǎn)生的 Sobel輸出值存儲在陣列Sobel[y] [x]中作為邊緣圖像。陣列Sobel[y] [x]具有與大小比 紅眼區(qū)域的候選區(qū)域的大小大五倍的周圍區(qū)域中的像素數(shù)相對應(yīng)的大小。然后，對包括塊 1301的周圍區(qū)域定義圖17中所示的兩個區(qū)域，即中央?yún)^(qū)域1701和外部區(qū)域1702。對中央 區(qū)域1701和外部區(qū)域1702計算存儲在陣列Sobel[y] [x]中的Sobel輸出值的平均值。在 圖17中，盡管中央?yún)^(qū)域1701的大小比塊1301大2. 5倍，但是中央?yún)^(qū)域1701不局限于該大 小。由于在人的眼睛附近，與外部區(qū)域1702相比，在中央?yún)^(qū)域1701中存在較清晰的邊緣， 因而根據(jù)表達式(20)，對中央?yún)^(qū)域1701的Sobel輸出值的平均值SPowin與外部區(qū)域1702 的Sobel輸出值的平均值SPowout的比，與閾值Th_FJ4_In0utRatio進行比較
[公式20] SPowin/SPow°ut > Th_FJ4_In0utRatio (20) 如果滿足表達式(20)，則紅眼區(qū)域的目標候選區(qū)域被判斷為紅眼區(qū)域。如果不滿 足表達式(20)，則判斷紅眼區(qū)域的目標候選區(qū)域不是紅眼區(qū)域，并從候選區(qū)域列表中將其 排除。 作為上述比較的應(yīng)用，可以將平均值SPowin和平均值SP0W°ut與不同的閾值進行比 較。 特征量判斷單元204將滿足特征量組0到組4的所有(或部分)判斷的紅眼區(qū)域
的候選區(qū)域最終確定為紅眼區(qū)域，并將包括所確定出的紅眼區(qū)域的候選區(qū)域列表提供給校
正單元205。 校iH單元205 校正單元205接收包括RGB成分的輸入圖像數(shù)據(jù)和包括從上述步驟所產(chǎn)生的紅眼 區(qū)域的候選區(qū)域列表。 圖18是示出由校正單元205執(zhí)行的校正候選區(qū)域列表中的紅眼區(qū)域中一個的處 理的例子的流程圖。校正單元205在圖18所示的處理中逐一校正候選區(qū)域列表中的紅眼 區(qū)域。 在步驟S1801，處理設(shè)置紅眼區(qū)域的候選區(qū)域的校正范圍。圖19示出該校正范圍 的確定。
參照圖19，中央矩形區(qū)域是包括在候選區(qū)域列表中的紅眼區(qū)域190L
設(shè)置橢圓校
正區(qū)域1902，該區(qū)域1902通過紅眼區(qū)域1901的中心，并具有長軸Lwl和短軸Lhl。根據(jù)公 式(21)計算長軸Lwl和短軸Lhl :
[公式21] Lw 1 = LwO X CPARAM—AREARAT10Lhl = LhOXCPARAM—AREARATIO (21) 其中，"LwO"等于紅眼區(qū)域1901寬度的一半，"LhO"等于紅眼區(qū)域高度的一半， "CPARAM_AREARATIO"表示設(shè)置校正范圍所使用的參數(shù)。 在步驟S1802，處理計算在校正區(qū)域1902中的校正所需的參數(shù)。將要計算的參數(shù) 是橢圓校正區(qū)域1902中的最大亮度Ymax和根據(jù)公式(3)所計算的紅色估計量Er中的最 大值Ermaxo 在步驟S 1803，處理判斷目標像素是否在校正區(qū)域1902內(nèi)。根據(jù)用于計算橢圓的 表達式(22)來判斷目標像素是否在橢圓校正區(qū)域1902內(nèi)。
[公式22] (x/Lwl)2+(y/Lhl)2《1 (22) 其中，"(x， y)"表示目標像素的坐標，且坐標原點在目標紅眼區(qū)域的中心。
如果目標像素的坐標(X、 Y)滿足表達式(22)，則處理判斷出目標像素在校正區(qū) 域1902內(nèi)，并進入步驟S1804。如果處理判斷出目標像素不在校正區(qū)域1902內(nèi)，則在步驟 S1810，處理將目標像素移到隨后的像素，然后返回到步驟S1803。 在步驟S1804,處理將目標像素的RGB值轉(zhuǎn)換成表示亮度和色差成分的YCC值。通 過多種方法中的任何一種進行該轉(zhuǎn)換。 在步驟S1805中，處理計算目標像素的估計量。該估計量是在步驟S1806中確定 校正量所需的參數(shù)。具體地，處理計算以下三個估計量 (1)紅眼區(qū)域1901的中心與目標像素間的距離r、與紅眼區(qū)域1901的中心與橢圓 邊界間的距離r0之間的比r/rO (2)目標像素的紅色估計量Er與該估計量的最大值Ermax之間的比Er/Ermax
(3)目標像素的亮度Y與最大亮度Ymax之間的比Y/Ymax 在步驟S1806，處理使用在步驟S1805計算出的參數(shù)，以根據(jù)公式(23)計算目標像
Vc
{1-(1-Re):
(23)
素的亮度Y的校正量Vy和目標像素的色差成分Cr和Cb的校正j
[公式23] Vy = {l_RrTy1} {1_(l-Re)Ty2} {l-RyTy3}Vc = {l_RrTcl〕
其中，Rr = r/rO、 Re = Er/Ermax、以及Ry = Y/Ymax。 校正量Vy和校正量Vc兩者均在從0. 0到1. 0的范圍內(nèi)。隨著校正量接近1. 0，校 正量變大。通過使用所有三個參數(shù)確定亮度Y的校正量Vy，隨著目標像素的位置與校正區(qū) 域1902的中心之間的距離增大，該校正量Vy變小。如果目標像素的紅色估計量Er小于最 大值Ermax，則校正量Vy變小。如果目標像素的亮度Y接近最大亮度Ymax，則校正量Vy變 小。使具有較高亮度的像素的校正量Vy較小具有保持眼睛中的高亮部分(捕捉光線)的 作用。相比之下，通過排除與亮度有關(guān)的參數(shù)產(chǎn)生校正量Vc。 在公式(23)中，"Tyl"、"Ty2"、"Ty3"、"Tcl"和"Tc2"表示參數(shù)。根據(jù)如何設(shè)置這些參數(shù)，通過圖20中所示的一次(實線)、二次(虛線)、或三次(點劃線)直線或曲線，可 以表示各估計量(即，在公式(23)中通過{}括起來的各值)。 在步驟S1807中，處理校正在通過使用校正量Vy和Vc根據(jù)公式(24)進行校正后
的YCC值。[公式24] Y' = (1. O-Wy Vy) Y C' = (1. O-Wc Vc) C (24) 其中，"Y"和"C"表示校正前的值，"Y'"和"C'"表示校正后的值，"Wy"和"Wc" 表示權(quán)重(0. 0到1. 0)。 調(diào)整權(quán)重Wy和Wc以指定校正強度。例如，當(dāng)校正強度具有低、中和高三個水平 時，將權(quán)重Wy和Wc均設(shè)置成例如0. 3、0. 7或1. 0，在同一處理中提供具有不同水平的校正 強度的結(jié)果。 在確定新的亮度和色差成分的值后，然后在步驟S1808，處理將YCC值轉(zhuǎn)換成RGB 值。然后，處理利用該RGB值作為校正后的像素值覆蓋輸入圖像的存儲緩沖器，或?qū)⒃揜GB 值存儲在輸出圖像的存儲緩沖器中的預(yù)定地址中。 在步驟S1809，處理判斷目標像素是否是目標紅眼區(qū)域中的最后像素。如果處理判 斷出目標像素不是目標紅眼區(qū)域中的最后像素，則在步驟S1810，處理將目標像素移到隨后 的像素，并重復(fù)上述從S1803到S1808的步驟。如果處理在步驟S1809判斷出目標像素是 目標紅眼區(qū)域中的最后像素，則處理進入隨后的紅眼區(qū)域的校正，并重復(fù)對記錄在候選區(qū) 域列表中的所有紅眼區(qū)域的校正。 盡管在上述方法中，將提供給校正單元205的輸入圖像的RGB成分轉(zhuǎn)換成了亮度 和色差成分，對該亮度和色差進行校正，并將該亮度和色差成分轉(zhuǎn)換成RGB成分，但是本發(fā) 明第一實施例不局限于上述方法。例如，通過將RGB成分轉(zhuǎn)換成明度和飽和度成分，以與上 述方法相同的方式對明度和飽和度進行校正，并將明度和飽和度成分轉(zhuǎn)換成RGB成分，可 以得到類似的結(jié)果。 盡管在上述方法中，使用目標像素的紅色估計量Er與校正區(qū)域1902中的估計量 的最大值Ermax之間的比Er/Ermax作為用于確定校正量的參數(shù)，但是可以用飽和度代替該 參數(shù)。也就是說，可以使用目標像素的飽和度與校正區(qū)域1902中的最大飽和度之間的比來 確定校正量。 如上所述，通過使用根據(jù)R和G成分而不是飽和度計算出的紅色估計量Er，判斷目 標像素是否是紅眼區(qū)域中的像素，這樣可以準確地提取具有較深色素的眼睛的人的紅眼。 另外，將邊緣跟蹤應(yīng)用于與紅眼區(qū)域的候選區(qū)域相對應(yīng)的二值化后的圖像，這樣可以利用 非常小量的計算，從二值化后的圖像中高速提取出紅色圓形區(qū)域。另外，通過根據(jù)紅色圓形 區(qū)域計算表示紅眼的各種特征量，并估計所計算出的特征量，可以準確地確定紅眼區(qū)域。而 且，考慮到各個特征量的判斷效果和在特征量計算中的計算量，以適當(dāng)?shù)捻樞蚺袛嗵卣髁浚?并且對紅眼區(qū)域的候選區(qū)域進行濾波，以排除可能不是紅眼區(qū)域的候選區(qū)域。因此，可以利 用最少量的處理，實現(xiàn)紅眼區(qū)域的檢測。
第二實施例 現(xiàn)將對根據(jù)本發(fā)明第二實施例的圖像處理進行說明。在第二實施例中使用相同的附圖標記來表示與第一實施例中大體相同的組件。在此將省略對這些組件的詳細說明。
在以上本發(fā)明第一實施例中所述的自適應(yīng)二值化中，在目標像素的左邊(主掃描 方向的前面)設(shè)置具有預(yù)定大小的窗口區(qū)域403 (參照圖4)，計算窗口區(qū)域403中的像素的 估計量的平均值Er (ave)，并根據(jù)目標像素是否在紅色區(qū)域中，通過使用該平均值Er (ave) 作為閾值進行二值化。在這樣的方法中，參照用來計算閾值的像素數(shù)少，因而提高了處理速 度。然而，由于僅在目標像素的左邊設(shè)置窗口區(qū)域403，因而二值化的結(jié)果依賴于處理的方 向。結(jié)果，當(dāng)將自適應(yīng)二值化應(yīng)用于圖5A中所示的圖像時，如圖21A中所示，存在這樣的情 況除與紅眼區(qū)域中的瞳孔相對應(yīng)的部分外，提取眼線(eyeline)2001作為紅色區(qū)域中的 像素。這基于以下原因。 根據(jù)本發(fā)明第一實施例，用于二值化目標像素2002的閾值是設(shè)置在目標像素 2002左邊的窗口中的像素的估計量的平均值Er (ave)，并基于目標像素2002的紅色估計量 Er與平均值Er(ave)之間的比較結(jié)果進行二值化(參照表達式(6))。由于窗口在與待提 取的瞳孔相對應(yīng)的部分的左邊，因而通常將窗口設(shè)置在肉色區(qū)域中。具有較淡色素的人的 肉色區(qū)域的像素值等于例如(R、G、B) = (151、135、110)。根據(jù)公式(3)的紅色估計量Er 的計算結(jié)果是相對小的值11%。相比之下，形成眼線2001的目標像素2002具有比肉色區(qū) 域的亮度低的亮度，并且像素值等于例如(R、G、B) = (77、50、29)。根據(jù)公式(3)的紅色估 計量的計算結(jié)果是35%。從上述數(shù)字顯而易見，形成眼線2001的目標像素的紅色估計量 Er大于窗口中的肉色區(qū)域的紅色估計量Er。因此，盡管該結(jié)果依賴于參數(shù)Margin_RGB，但 在根據(jù)第一實施例的自適應(yīng)二值化中，可能提取目標像素2002作為紅色區(qū)域中的像素。
結(jié)果，提取出圖21A中所示的由坐標(xmin、ymin)禾P (xmax、vmax)圍繞的紅色區(qū) 域。當(dāng)將該提取出的結(jié)果提供給紅色圓形區(qū)域提取單元203時，對比原始紅色圓形區(qū)域更 寬的區(qū)域進行紅色圓形區(qū)域的提取，因而，可能導(dǎo)致提取出的結(jié)果的可靠性降低和提取時 間的增加。 如果在目標像素2002的右邊也設(shè)置相同大小的窗口，則除與肉色區(qū)域相對應(yīng)的 像素外，該窗口還包括形成眼線的像素，以及在某些情況下與紅眼的瞳孔相對應(yīng)的像素。因 此，增加了設(shè)置在目標像素2002右邊的窗口中的估計量的平均值Er(ave)。從而，目標像 素2002不可能被判斷為紅色區(qū)域中的像素，因為與設(shè)置在目標像素2002右邊的窗口中的 像素相比，目標像素2002不具有突出的紅色估計量Er。 將對以下例子進行說明，作為本發(fā)明的第二實施例，在該例子中，在由紅色區(qū)域提 取單元202進行的自適應(yīng)二值化中，在目標像素的左邊和右邊均設(shè)置窗口。
在根據(jù)本發(fā)明第二實施例的自適應(yīng)二值化中，首先，如圖22A中所示，在目標像素 402的左邊設(shè)置窗口區(qū)域403，并以與第一實施例中相同的方式對目標像素402進行二值 化。然后，將二值化結(jié)果存儲在RAM 103中的二值化后的圖像的緩沖器中，同時如圖22A中 箭頭所示，將目標像素402從左向右移動。 在目標像素402到達該行的右端，并且在將目標像素402從左向右移動的方向上 的二值化結(jié)束之后，如圖22B中所示，在相同的行上沿從右向左的相反方向移動目標像素 402的情況下進行二值化。在這種情況下，將用于設(shè)置二值化的閾值的窗口 404設(shè)置在目標 像素402的右邊。 在上述兩個方向上的二值化中，將以值"l"作為二值化結(jié)果的的像素存儲在二值
21化后的圖像的緩沖器中，作為紅色區(qū)域中的像素。 圖21B示出在兩個方向上的自適應(yīng)二值化產(chǎn)生的紅色區(qū)域中的像素的例子。由于 在圖21B中排除了與眼線等相對應(yīng)的像素，因而，與僅在一個方向上的自適應(yīng)二值化的結(jié) 果相比(圖21A)，適當(dāng)?shù)靥崛×思t色區(qū)域。 如上所述，在通過自適應(yīng)二值化處理提取紅色區(qū)域時，可以通過設(shè)置窗口準確地 提取紅色區(qū)域中的像素，在該窗口中，在相對于目標像素的左、右兩個方向上計算二值化閾值。 第三實施例 現(xiàn)將對根據(jù)本發(fā)明第三實施例的圖像處理進行說明。在第三實施例中使用相同的 附圖標記來表示與第一和第二實施例中大體相同的組件。在此將省略對這些組件的詳細說 明。 在根據(jù)本發(fā)明的第一和第二實施例中，說明了基于公式(3)中所定義的紅色估計 量Er通過自適應(yīng)二值化提取紅色區(qū)域中的像素的方法。利用這些方法，除圖23中所示的 紅眼的瞳孔2301夕卜，可能將與眼睛的外部或內(nèi)部角2302相對應(yīng)的像素檢測為紅色區(qū)域中 的像素。放大眼睛的外部或內(nèi)部角2302顯示存在許多具有例如像素值(R、G、B) = (81， 41,31)的"暗紅"像素。這些像素的紅色估計量Er等于相對較大的值49X。因此，在根據(jù) 本發(fā)明的第一和第二實施例的自適應(yīng)二值化中，可能檢測到具有一定大小的像素的集合。 另外，邊緣和周圍區(qū)域的明度、色相和飽和度表現(xiàn)出眼睛的特征。因而，在紅色圓形區(qū)域提 取單元203和特征量判斷單元204中滿足所有判斷，并且可能錯誤地將不處于紅眼區(qū)域中 的像素判斷為處于紅眼區(qū)域中的像素。為了解決這一問題，將對根據(jù)本發(fā)明第三實施例的 結(jié)構(gòu)進行說明。 圖24是示出根據(jù)本發(fā)明第三實施例的自動校正紅眼的處理的概要的功能框圖。 通過CPU IOI進行該處理。與本發(fā)明的第一實施例相比，將候選區(qū)域估計單元207添加到 圖2中所示的處理。 候選區(qū)域估計單元207參照在上游步驟中生成的候選區(qū)域列表，并估計紅眼區(qū)域 的每一候選區(qū)域的相對位置和面積，以對紅眼區(qū)域的候選區(qū)域進行整理。換句話說，從候選 區(qū)域列表排除以下紅眼區(qū)域的候選區(qū)域，該候選區(qū)域在估計中被判斷為不適合于紅眼區(qū)域 的區(qū)域。 圖25是示出由候選區(qū)域估計單元207進行的處理的例子的流程圖。假定特征量 判斷單元204提取k個(0到k-l)區(qū)域作為紅眼區(qū)域的候選區(qū)域(所檢測到的區(qū)域的總數(shù) Ne等于"k")。 參照圖25，在步驟S2499，處理在計數(shù)器k中設(shè)置所檢測到的區(qū)域的總數(shù)Ne。在步 驟S2500，處理計算第k個紅眼區(qū)域的候選區(qū)域(以下稱之為區(qū)域k)的中心位置和尺寸。 該尺寸是指作為矩形區(qū)域提取的紅眼區(qū)域的候選區(qū)域的短邊的長度。在步驟S2501，處理在 計數(shù)器i中設(shè)置O。在步驟S2502，處理計算存儲在候選區(qū)域列表中的第i個紅眼區(qū)域的候 選區(qū)域(以下稱之為區(qū)域i)的中心位置和尺寸。在步驟S2503，處理將區(qū)域k的大小(以 下稱之為大小k)與區(qū)域i的大小(以下稱之為大小i)進行比較。如果處理判斷出大小i 小于大小k，則在步驟S2512，處理使計數(shù)器i遞增，并返回到步驟S2502。
如果處理判斷出大小i大于或等于大小k(存在大小大于區(qū)域k的大小的紅眼區(qū)區(qū)域的中心之間的距離大 小。在步驟S2505，處理根據(jù)兩個區(qū)域的中心之間的距離大小，計算用于估計該大小的閾值 Th_Size。 圖27示出兩個區(qū)域的中心間的距離大小與閾值Th_Size之間的關(guān)系的例子。水
平軸代表兩個區(qū)域的中心之間的距離，垂直軸代表閾值Th—Size。 "Sa"、"Sb"、"La"和"Lb"
表示參數(shù)，例如，La = 3. 0， Lb = 5. 0， Sa = 1. 0以及Sb = 2. 0。如果兩個區(qū)域的中心之間
的距離大小等于比設(shè)置了這些參數(shù)的區(qū)域k的大小(短邊的長度)大三倍或以下的值，則
閾值Th_Size等于1. 0。如果兩個區(qū)域的中心之間的距離大小等于比區(qū)域k的大小大三到
五倍的值，則將閾值Th—Size確定為圖27中所示的直線上的值。如果兩個區(qū)域的中心之間
的距離大小等于比區(qū)域k的大小大五倍或以上的值，則不進行該判斷。 在步驟S2506，處理對大小i和大小kXTh_Size進行比較。如果大小i大于或等
于大小kXTh_Size，即，如果在區(qū)域k附近存在大于區(qū)域k的紅眼區(qū)域的候選區(qū)域，則處理
判斷出區(qū)域k不是紅眼區(qū)域，然后在步驟S2507,處理從候選區(qū)域列表中排除區(qū)域k。在步
驟S2508,處理對所檢測到的區(qū)域的總數(shù)Ne進行遞減，并進入步驟S2510。 如果在步驟S2506中大小i小于大小kX Th_Size，則在步驟S2509中，處理判斷大
小i是否等于通過從大小k減去1而給出的值。如果處理判斷出大小i小于通過從大小k
減去1而給出的值，則在步驟S2512中，處理使計數(shù)器i遞增，并返回到步驟S2502。如果處
理判斷出大小i等于通過從大小k減去1而給出的值，則在步驟S2510中，處理使計數(shù)器k
遞減。在步驟S2511中，處理判斷計數(shù)器k是否等于O。如果處理判斷出計數(shù)器k大于O，
則處理返回到步驟S2500。如果處理判斷出計數(shù)器k等于0，則終止處理。 上述處理允許從記錄在候選區(qū)域列表中的紅眼區(qū)域的候選區(qū)域中排除不必要的
紅眼區(qū)域的候選區(qū)域。 如上所述，如果在紅眼區(qū)域的另一候選區(qū)域附近，存在比紅眼區(qū)域的另一候選區(qū) 域小的紅眼區(qū)域的候選區(qū)域，則從候選區(qū)域列表中排除較小的紅眼區(qū)域的候選區(qū)域，以解 決上述錯誤判斷的問題。
第四實施例 將對根據(jù)本發(fā)明第四實施例的圖像處理進行說明。在第四實施例中使用相同的附 圖標記來表示與第一到第三實施例中大體相同的組件。在此將省略對這些組件的詳細說 明。 在根據(jù)本發(fā)明第一實施例的自適應(yīng)二值化中，存在由于紅眼中的高亮區(qū)而將紅眼 區(qū)域分開的情況。圖28A是紅眼的放大圖。參照圖28A，附圖標記2801表示眼睛的虹膜 區(qū)域，附圖標記2802表示眼睛的紅色瞳孔區(qū)域，附圖標記2803表示由閃光燈引起的高亮 (白)區(qū)域。眾所周知，由于紅眼效應(yīng)是由閃光燈引起的現(xiàn)象，因而由閃光燈引起的高亮區(qū) 域存在于較大可能性捕獲的圖像中的瞳孔區(qū)域2802中。這也被稱為捕獲光。
由于高亮區(qū)域通常是捕獲的圖像中的瞳孔區(qū)域中的微小點，因而高亮區(qū)域?qū)τ诩t 眼的檢測沒有影響。然而，根據(jù)圖像捕獲的條件，高亮區(qū)域可以被放大，以占據(jù)大部分瞳孔 區(qū)域，或者高亮區(qū)域可具有細長形狀，如圖28A中的高亮區(qū)域2803 —樣。將根據(jù)第一實施 例的自適應(yīng)二值化應(yīng)用于這樣的圖像數(shù)據(jù)，使得高亮區(qū)域2803的紅色估計量Er小，并且高 亮區(qū)域2803不被判斷為紅色區(qū)域。另外，如圖28B中所示，存在在二值化后的圖像中將瞳孔區(qū)域分割成兩個區(qū)域2804和2805的情況。將根據(jù)第一實施例的下游步驟應(yīng)用于這兩個 區(qū)域，大大降低了將瞳孔區(qū)域2802判斷為紅眼區(qū)域的可能性。根據(jù)本發(fā)明的第四實施例， 為了解決這個問題，提供了組合相鄰的紅色圓形區(qū)域的處理。 圖29是示出根據(jù)本發(fā)明第四實施例的自動校正紅眼的處理概要的功能框圖。由 CPU 101進行該處理。與本發(fā)明的第三實施例相比，將候選區(qū)域組合單元208添加到圖24 中所示的處理。 候選區(qū)域組合單元208參照候選區(qū)域列表以判斷是否將紅色圓形區(qū)域與相鄰的 紅色圓形區(qū)域相組合，在該候選區(qū)域列表中，存儲由紅色圓形區(qū)域提取單元203提取的紅 色圓形區(qū)域的左上和右下坐標。圖31示出候選區(qū)域列表的例子。盡管在圖31中的例子中 記錄了 4個紅色圓形區(qū)域，但是在候選區(qū)域列表中實際上記錄了幾十，在某些情況下有幾 千個紅色圓形區(qū)域。 圖30是示出由候選區(qū)域組合單元208進行的處理的例子的流程圖。
在步驟S3001，處理將計數(shù)器i初始化為0。在步驟S3002，處理將計數(shù)器j初始化 為"i"。在步驟S3003，處理判斷是否將分別記錄在候選區(qū)域列表中的第i行和第j行中的 紅色圓形區(qū)域(以下稱之為"區(qū)域i"和"區(qū)域j")組合成一個。具體地，如圖32A所示，處 理設(shè)置包括區(qū)域i和區(qū)域j的矩形區(qū)域，并計算該矩形區(qū)域的寬度Wij和高度Hij，其中，該 區(qū)域i具有寬度Wi和高度Hi (像素數(shù))，該區(qū)域j具有寬度Wj和高度Hj 。然后，處理根據(jù) 表達式(25)，判斷區(qū)域i是否與區(qū)域j鄰近，并判斷區(qū)域i和區(qū)域j是否具有相同的大小
[公式25] (Wi Hi+Wj Hj)/(Wij Hij) > Th—J (25) 其中，"ThJ"表示大于0且小于或等于1. 0的閾值(0 < Th_J《1. 0)。 表達式(25)意味著計算區(qū)域i的大小和區(qū)域j的大小的和、與包括區(qū)域i和j
的矩形區(qū)域的大小的比。如果該比大于閾值ThJ，則判斷出區(qū)域i與區(qū)域j鄰近，并具有與
區(qū)域j的大小相同的大小。如果區(qū)域i和j具有圖32B中所示的位置關(guān)系，則根據(jù)表達式
(25)計算出的比變小，且處理判斷出不將區(qū)域i和區(qū)域j組合成一個。 如果處理在步驟S3003判斷出不將區(qū)域i和j組合成一個，則在步驟S3008，處理
使計數(shù)器j遞增，并返回到步驟S3003。如果處理在步驟S3003判斷出將區(qū)域i和j組合成
一個，則在步驟S3004，處理與組合前的區(qū)域相比，判斷組合后的區(qū)域是否接近正方形。具體
地，處理根據(jù)表達式(26)進行判斷[公式加] min(Wij， Hi j)/max (Wi j， Hij) > max(min(Wi， Hi)/max(Wi， Hi) ， min(Wj， Hj)/ max(Wj，HjM (26) 表達式(26)意味著包括區(qū)域i和j的矩形區(qū)域的高寬比(小于1. 0)大于區(qū)域 i的高寬比和區(qū)域j的高寬比中的較大的高寬比。換句話說，處理判斷矩形區(qū)域是否接近正 方形。如果滿足表達式(26)，則組合后的矩形區(qū)域接近正方形，因此，紅色圓形區(qū)域接近圓 形。 如果不滿足表達式(26)，則在步驟S3008，處理使計數(shù)器j遞增，并返回到步驟 S3003。如果滿足表達式(26)，則在步驟S3005，處理利用包括區(qū)域i和j的矩形區(qū)域的坐 標，更新候選區(qū)域列表中的第i個位置信息，并從候選區(qū)域列表中刪除第j個位置信息。
在步驟S3006，處理判斷計數(shù)器j的值是否達到了最大值(候選區(qū)域列表的末 端)。如果處理判斷出計數(shù)器j的值沒有達到最大值，則在步驟S3008中，處理使計數(shù)器j 遞增，并返回到步驟S3003。如果處理判斷出計數(shù)器j的值達到了最大值，則在步驟S3007， 處理判斷計數(shù)器i的值是否達到了最大值(候選區(qū)域列表的末端)。如果處理判斷出計數(shù) 器i的值沒有達到最大值，則在步驟S3009，處理使計數(shù)器i遞增，并返回到步驟S3002。如 果處理判斷出計數(shù)器i的值達到了最大值，則終止處理。 上述處理允許將記錄在候選區(qū)域列表中的并被高亮區(qū)域分開的紅色圓形區(qū)域組 合成一個。 如上所述，進行如下判斷如果與另一紅色圓形區(qū)域類似的紅色圓形區(qū)域鄰近于 該另一紅色圓形區(qū)域，則組合紅色圓形區(qū)域是否會使紅色圓形區(qū)域滿足紅眼區(qū)域的條件 (外接矩形是否接近正方形)。利用該處理，可以合適地組合瞳孔區(qū)域中被高亮區(qū)域分開的 與紅眼區(qū)域相對應(yīng)的紅色圓形區(qū)域。
第五實施例 將對根據(jù)本發(fā)明第五實施例的圖像處理進行說明。在第五實施例中使用相同的附 圖標記來表示與第一到第四實施例中大體相同的組件。在此將省略對這些組件的詳細說 明。 在本發(fā)明的第五實施例中，將說明在CPU的性能和/或可用的存儲器(例如RAM) 的容量受限的環(huán)境下，根據(jù)本發(fā)明第一到第四實施例中的任何一個實現(xiàn)圖像處理的方法。 該環(huán)境對應(yīng)于復(fù)印機、打印機、數(shù)字照相機、掃描儀或者數(shù)字多功能機器等圖像輸入輸出設(shè) 備中的圖像處理單元。 在上述環(huán)境下，可用的工作存儲器具有達到幾十萬字節(jié)到幾兆字節(jié)的容量。同時， 增加了數(shù)字照相機的分辨率，并出現(xiàn)了具有高于千萬像素的分辨率的照相機。為了通過使 用有限的工作存儲器從以如此高的清晰度捕獲的圖像中檢測紅眼區(qū)域，降低輸入圖像的分 辨率是有效的方法。例如，在水平和垂直方向上每隔一個像素對各具有八百萬像素的輸入 圖像進行子采樣，能夠?qū)⒃搱D像的分辨率降低到原分辨率的四分之一，即兩百萬像素。在這 種情況下，用于存儲該圖像所需的工作存儲器的容量也降低到了原容量的四分之一。然而， 在各具有24位RGB值的像素的情況下，即使將分辨率降低到兩百萬像素，還需要大約六兆 字節(jié)的工作存儲器，以同時保持縮減后的圖像。盡管在設(shè)有高容量RAM的個人計算機或工 作站中可以毫無問題地達到該存儲容量，但是在受限條件下需要進一步的改進，以降低工 作存儲器中所使用的容量。 根據(jù)本發(fā)明的第五實施例，將對下面的方法進行說明縮減輸入圖像的大小，將縮 減后的圖像分割成條帶，并提取每一條帶的紅眼區(qū)域。在分割成條帶時，為了檢測條帶之間 的邊緣上的紅眼，如圖33中所示，提供重疊區(qū)域。參照圖33，附圖標記3301表示由輸入圖 像的縮減而產(chǎn)生的縮減后的圖像，而附圖字母"BandHeight"表示一個條帶中的行數(shù)。換句 話說，對像素數(shù)等于"WidthXBandHeight"的圖像進行紅眼區(qū)域的提取。在第五實施例中 的條帶分割中，利用包括由"Overl即Area"表示的行數(shù)的區(qū)域的前一條帶來復(fù)制條帶。因 此，可以提取條帶之間的邊界上的紅眼3302。 圖34是示出根據(jù)本發(fā)明第五實施例的提取紅眼區(qū)域的處理的例子的流程圖。通 過圖像輸入_輸出設(shè)備中的CPU進行該處理。
在步驟S3401，處理將計數(shù)器N初始化成0。在步驟S3402,處理生成第N條帶中的 縮減后的圖像。 為了簡單，將對通過簡單抽取(simple decimation)生成縮減后的圖像的方法進
行說明。例如，假定將各具有八百萬像素的圖像存儲在圖像輸入-輸出設(shè)備的存儲器中(例
如，安裝在該設(shè)備中的閃存或硬盤、或從外部裝載在該設(shè)備中的存儲卡)。 在步驟S3402，處理訪問存儲器中圖像數(shù)據(jù)，并且如果以聯(lián)合圖像專家組(JPEG)
格式存儲該圖像數(shù)據(jù)，則對第一最小編碼單元(MCU)塊進行解碼，以將解碼后的塊存儲在
工作存儲器的預(yù)定區(qū)域中。該MCU塊具有例如16X8像素的大小。然后，處理例如每隔一
個像素對解碼后的圖像數(shù)據(jù)進行子采樣，以生成具有8X4像素大小的圖像數(shù)據(jù)，并將所生
成的圖像數(shù)據(jù)存儲在工作存儲器中用于提取紅眼區(qū)域的圖像存儲區(qū)域。處理重復(fù)該處理，
直到與行數(shù)"BandHeight"相對應(yīng)的提取紅眼區(qū)域的圖像存儲區(qū)域變滿為止。上述步驟提
供當(dāng)將圖像中的八百萬像素降低到兩百萬像素時所使用的條帶圖像。 可以通過作為可代替簡單抽取的包括近鄰插值和線性縮小的各種方法中的任何 一種，生成縮減后的圖像。 在生成縮減后的圖像的條帶圖像后，然后在步驟S3403，處理提取第N條帶中的紅 眼區(qū)域。 圖35是詳細示出提取第N條帶中的紅眼區(qū)域(步驟S3403)的流程圖。
在步驟S3501中，處理對縮減后的圖像進行上述自適應(yīng)二值化。將二值化結(jié)果(紅 色區(qū)域的二值化后的圖像)存儲在與縮減后的圖像的存儲區(qū)域不同的區(qū)域中。由于縮減后 的圖像中的OverlapArea區(qū)域是重疊區(qū)域，因而在第N_l條帶中完成OverlapArea區(qū)域的 處理。因此，如果N > 0，則可以跳過Overl即Area區(qū)域的處理，以再使用第N-l條帶中的結(jié) 果。這有助于提高處理速度。 在步驟S3502中，處理對二值化結(jié)果(紅色區(qū)域)進行上述的邊緣跟蹤，以從條帶 圖像中提取紅色圓形區(qū)域。 在對提取出的紅色圓形區(qū)域進行特征量的判斷之前，在步驟S3503中，處理進行 候選區(qū)域的選擇，以從多個紅色圓形區(qū)域中選擇將對其進行特征量判斷的紅色圓形區(qū)域。
圖36示出在跨越第N-l、 N和N+l條帶的OverlapArea區(qū)域中存在四個紅色圓形 區(qū)域的例子。例如，跨越第N和N+l條帶存在紅色圓形區(qū)域3603。因為OverlapArea區(qū)域 中的紅色圓形區(qū)域3603中的處理被重復(fù)，所以在第N和N+l條帶中進行特征量的判斷不是 有效的。 因此，判斷在第N和N+l條帶之間的哪條帶中，將進行紅色圓形區(qū)域3603的特征 量的判斷。在第N+l條帶的判斷中，不能參照為紅色圓形區(qū)域3603設(shè)置的周圍區(qū)域的上面 部分，而在第N條帶的判斷中可以參照該周圍區(qū)域。于是，第N條帶中的判斷結(jié)果對于紅色 圓形區(qū)域3603有較高的可靠性。通常，應(yīng)該在可以參照紅色圓形區(qū)域的周圍區(qū)域中的較大 部分的條帶中，進行OverlapArea區(qū)域中的紅色圓形區(qū)域的特征量的判斷。
因此，在第五實施例的步驟S3503中選擇候選區(qū)域時，如圖37中所示，估計 Overl即Area區(qū)域中的紅色圓形區(qū)域的上端與第N+l條帶的上端之間的距離UPLen (估計第 N+l條帶中的紅色圓形區(qū)域的位置，因為第N+l條帶仍未被處理)，以計算紅色圓形區(qū)域的 下端與第N條帶的下端之間的距離BTLen。如果UPLen < BTLen，則在第N條帶中進行紅色圓形區(qū)域的特征量的判斷。如果UPLen^BTLen，則不在第N條帶中進行紅色圓形區(qū)域的特 征量的判斷(在第N+1條帶中進行)。當(dāng)不在第N條帶中進行特征量的判斷時，從候選區(qū)域 列表中排除該紅色圓形區(qū)域。 當(dāng)對圖36中的紅色圓形區(qū)域3604計算距離UPLen和BTLen時，距離UPLen和 BTLen之間的關(guān)系表示為UPLen > BTLen，因此在第N+l條帶中進行紅色圓形區(qū)域3604的 特征量的判斷。對于紅色圓形區(qū)域3601和3602，分別在第N-l條帶和第N條帶中進行紅色 圓形區(qū)域3601和3602的特征量的判斷。 如上所述，在步驟S3503中選擇候選區(qū)域時，計算Overl即Area區(qū)域中的紅色圓形 區(qū)域的上端與第N+l條帶的上端之間的距離(邊距)，以及其下端與第N條帶的下端之間 的距離，以根據(jù)這些距離之間的關(guān)系，判斷在哪個條帶中進行特征量的判斷。該方法防止了 Overl即Area區(qū)域中的紅色圓形區(qū)域的特征量的判斷被重復(fù)。 返回參照圖35，在步驟S3504中，處理對在步驟S3503中選擇的紅色圓形區(qū)域進 行上述的特征量的判斷。在步驟S3505中，處理計算校正判斷為紅眼區(qū)域的區(qū)域所需的參 數(shù)。在步驟S3506中，如圖38中所示，處理將關(guān)于紅眼區(qū)域的信息和該參數(shù)的組合存儲在 候選區(qū)域列表中。該參數(shù)是計算(公式(23))校正量Vy和Vc所需的校正區(qū)域的最大亮度 Ymax和紅色估計量中的最大值Ermax。 返回參照圖34，在步驟S3403完成在圖35的第N條帶中的紅眼區(qū)域的提取后，然 后在步驟S3404中，處理判斷是否完成了最后條帶的處理。如果完成了最后條帶的處理，則 終止該處理。如果未完成最后條帶的處理，則在步驟S3405中，處理使計數(shù)器N遞增，并返 回到步驟S3402。 圖39是示出根據(jù)本發(fā)明第五實施例的校正處理的例子的流程圖。 在步驟S3901中，處理轉(zhuǎn)換紅眼區(qū)域的位置信息。由于作為內(nèi)置在第五實施例的
圖像輸入_輸出設(shè)備中的處理進行紅眼區(qū)域的提取和校正，因而如上所述，對縮減后的圖
像進行紅眼區(qū)域的提取。然而，待校正的圖像在縮減前是高分辨率的圖像，并且如果使用打
印機等圖像輸入-輸出設(shè)備，則可以將該圖像放大到打印(輸出)的分辨率或?qū)ζ溥M行旋
轉(zhuǎn)。因此，需要根據(jù)縮減率、放大率或旋轉(zhuǎn)，對從縮減后的圖像中提取出的紅眼區(qū)域的位置
信息進行轉(zhuǎn)換。 如圖41中所示，用紅眼區(qū)域的左上坐標(xt。， yt。)和右下坐標(xb。， yb。)來表示存 儲在候選區(qū)域列表中的位置信息。當(dāng)由"WO"和"HO"表示縮減后的圖像的水平和垂直像素 數(shù)，且由"W1"和"H1"表示待校正的圖像的水平和垂直像素數(shù)時，根據(jù)公式(27)計算待校
正的圖像中的紅眼區(qū)域的坐標
[公式27] (xtl， ytl) = {int(xt0 k) ， int (yt0 k)} (xbl， ybl) = {int(xb0 k) ， int (yb0 k)} (27) 其中，K = Wl/WO，"int()"表示不超過自變量值的最大整數(shù)，"(xtl，ytl)"表示待校 正的圖像中的紅眼區(qū)域的左上坐標，"(xbl， ybl)"表示待校正的圖像中的紅眼區(qū)域的右下坐 標。 在步驟S3901中確定待校正的圖像中的紅眼區(qū)域的坐標后，以與第一實施例中相 同的方式，圍繞紅眼區(qū)域設(shè)置橢圓區(qū)域，并通過使用橢圓區(qū)域中的像素作為待校正的像素進行以下步驟。 在步驟S3902中，處理將計數(shù)器R初始化為0 。在步驟S3903中，處理獲取待校正的圖像中的第R行的圖像數(shù)據(jù)。盡管在第五實施例中，以行為單位校正待校正的圖像，但是校正不局限于該方法?？梢砸钥缭筋A(yù)定數(shù)量的行的條帶為單位來校正圖像。通過以下步驟實現(xiàn)待校正的圖像數(shù)據(jù)的提取解壓縮與預(yù)定行數(shù)相對應(yīng)的量的、以JPEG格式等壓縮格式存儲在圖1的存儲設(shè)備105或存儲卡中的圖像，并從解壓縮后的圖像數(shù)據(jù)中獲取一行(或多行)中的圖像數(shù)據(jù)。 在步驟S3904，處理判斷第R行是否包括待校正的像素。在根據(jù)第五實施例的校正中，使用圍繞紅眼區(qū)域(矩形區(qū)域)設(shè)置的橢圓區(qū)域作為待校正的區(qū)域。因此，對于存儲在候選區(qū)域列表中的所有紅眼區(qū)域，處理判斷第R行是否位于待校正區(qū)域的上端與其下端之間。如果處理判斷出第R行不包括待校正的像素，則在步驟S3907中，處理使計數(shù)器R遞增，并返回到步驟S3903。 例如，在圖40所示的例子中，在圍繞紅眼區(qū)域4003設(shè)置的待校正的區(qū)域4002中，包括第R行。因此，如果處理在步驟S3904中判斷出第R行包括待校正的像素，則在步驟S3905中，處理將根據(jù)第一實施例的校正應(yīng)用于第R行上的待校正的區(qū)域4002中的像素。使用在步驟S3505中計算出的并在步驟S3506中存儲在候選區(qū)域列表中的參數(shù)，作為校正所需的最大亮度Ymax和紅色估計量中的最大值Ermax。 在步驟S3906中，處理判斷第R行是否是最后的行。處理重復(fù)上述步驟，直到第R行達到最后的行以對整個輸入圖像進行了校正為止。 例如，可以將校正后的圖像數(shù)據(jù)存儲在存儲設(shè)備105中?？蛇x地，在該圖像數(shù)據(jù)經(jīng)過色彩轉(zhuǎn)換和偽色調(diào)處理后，可以利用例如打印機110將校正后的圖像數(shù)據(jù)打印在記錄紙張上。 如上所述，通過縮減輸入圖像并將縮減后的圖像分割成條帶以便以條帶為單位提取紅眼區(qū)域，可以在使用具有較低容量的存儲器資源的環(huán)境下，實現(xiàn)在第一到第四實施例中所述的紅眼區(qū)域的提取和校正。另外，進行條帶分割使得重疊區(qū)域跨越鄰近的條帶，允許提取條帶之間的邊界上的紅眼區(qū)域。 可以將紅眼區(qū)域提取單元安裝在成像設(shè)備等圖像輸入設(shè)備中，并且可以將紅眼區(qū)
域校正單元安裝在打印設(shè)備等圖像輸出設(shè)備中。
變形例 盡管在本發(fā)明的上述實施例中，對每一像素定義了不使用RGB成分中的B成分的紅色估計量Er，但是紅色估計量Er不局限于此。例如，根據(jù)公式(28)定義紅色估計量Er，并將系數(shù)k設(shè)置成0或小于系數(shù)i和j的值，也可以提供類似的效果。
[公式28]Er = (i R+j G+k B)/R (28) 其中，系數(shù)i、 j和k表示可以是負值的權(quán)重。 另外，在將像素值轉(zhuǎn)換成Lab或YCbCr等另一色彩空間中的值之后，可以利用被排除的藍色部分，或利用具有較小權(quán)重的藍色成分，來定義紅色估計量Er。
其它實施例 本發(fā)明適用于包括多個裝置(例如，主計算機、接口設(shè)備、讀取器、以及打印機)的系統(tǒng)或僅包括一個設(shè)備(例如，復(fù)印機或傳真設(shè)備)的裝置。
可以這樣來實施本發(fā)明將具有實現(xiàn)根據(jù)上述實施例的功能的軟件的程序代碼的
存儲介質(zhì)(或記錄介質(zhì))提供給系統(tǒng)或裝置，系統(tǒng)或裝置中的計算機(或CPU或微處理單元
(MPU))讀取并執(zhí)行存儲在該存儲介質(zhì)中的程序代碼。在這種情況下，從該存儲介質(zhì)讀出的
程序代碼本身實現(xiàn)上述實施例的功能。本發(fā)明適用于將程序代碼存儲在其中的存儲介質(zhì)。
執(zhí)行讀出的程序代碼的計算機實現(xiàn)上述實施例的功能。另外，運行在計算機上的操作系統(tǒng)
(OS)等可以基于該程序代碼的指令，執(zhí)行全部或部分實際處理，以實現(xiàn)上述實施例的功能。 可選地，在將從該存儲介質(zhì)中讀出的程序代碼寫入包括在計算機中的擴展板或與
計算機連接的擴展單元中設(shè)有的存儲器中之后，該擴展板或擴展單元中的CPU等可以基于
該程序代碼中的指令，執(zhí)行全部或部分實際處理，以實現(xiàn)上述實施例的功能。 當(dāng)將本發(fā)明應(yīng)用于上述存儲介質(zhì)時，與上述流程圖相對應(yīng)的程序代碼被存儲在該
存儲介質(zhì)中。 盡管參照典型實施例已對本發(fā)明進行了說明，但是應(yīng)該理解，本發(fā)明不局限于所公開的典型實施例。以下權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。
權(quán)利要求
一種圖像處理裝置，包括計算單元，用于對圖像中的每一像素計算眼睛的色調(diào)的估計量；以及提取單元，用于基于由所述計算單元計算出的估計量，提取具有眼睛的不良色調(diào)的候選像素，其中，所述計算單元將權(quán)重應(yīng)用于紅色成分和綠色成分，并將比像素的紅色成分和綠色成分的權(quán)重小的權(quán)重應(yīng)用于藍色成分，并根據(jù)像素的應(yīng)用了權(quán)重的紅色成分、綠色成分和藍色成分，計算所述估計量。
2. —種圖像處理方法，包括以下步驟計算步驟，用于對圖像中的每一像素計算眼睛的色調(diào)的估計量；以及提取步驟，用于基于在所述計算步驟中計算出的估計量，提取具有眼睛的不良色調(diào)的 候選像素，其中，在所述計算步驟中，將權(quán)重應(yīng)用于紅色成分和綠色成分，并將比像素的紅色成分 和綠色成分的權(quán)重小的權(quán)重應(yīng)用于藍色成分，并根據(jù)像素的應(yīng)用了權(quán)重的紅色成分、綠色 成分和藍色成分，計算所述估計量。
3. —種圖像處理裝置，包括計算單元，用于僅根據(jù)圖像中的每一像素的紅色成分和綠色成分，對該像素計算眼睛 的色調(diào)的估計量；提取單元，用于基于由所述計算單元計算出的估計量，提取具有眼睛的不良色調(diào)的候 選像素；以及區(qū)域提取單元，用于提取具有由所述提取單元提取出的多個候選像素的區(qū)域，判斷提 取出的區(qū)域是否形成預(yù)定形狀，并提取被判斷為形成所述預(yù)定形狀的區(qū)域作為具有眼睛的 不良色調(diào)的候選區(qū)域。
4. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，所述提取單元將預(yù)先準備的窗口區(qū)域設(shè)置為圖像的目標像素的鄰近區(qū)域，根據(jù)所述窗 口區(qū)域中所包括的像素的所述估計量確定閾值，并通過使用所述閾值對所述目標像素的所 述估計量進行二值化，以提取所述候選像素。
5. 根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述提取單元對與圖像的所述 目標像素相同的行上的多個像素設(shè)置所述窗口區(qū)域。
6. 根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于，所述提取單元通過沿朝向所述 行的方向?qū)λ瞿繕讼袼剡M行主掃描來提取主候選像素，并通過在所述主掃描之后沿與所 述主掃描的方向相反的方向?qū)λ瞿繕讼袼剡M行次掃描來提取次候選像素，并且將通過所 述主掃描和所述次掃描提取出的像素確定為所述候選像素。
7. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，形成所述預(yù)定形狀的區(qū)域是圓 形或接近橢圓形的形狀。
8. 根據(jù)權(quán)利要求3或7所述的圖像處理裝置，其特征在于，還包括判斷單元，用于基于根據(jù)由所述區(qū)域提取單元提取出的所述候選區(qū)域所計算出的眼睛 的特征量，判斷是否設(shè)置校正區(qū)域；以及第一校正單元，用于在所述判斷單元將所述候選區(qū)域判斷為所述校正區(qū)域時，對所述 校正區(qū)域上的不良色調(diào)進行校正。
9. 根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，所述判斷單元根據(jù)所述候選區(qū)域計算眼睛的多個特征量，并在所述候選區(qū)域滿足針對所有特征量或特征量中的預(yù)定特征量的預(yù)定標準的情況下，將所述候選區(qū)域判斷為所述校正區(qū)域。
10. 根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于，所述校正單元包括第一計算單元，用于根據(jù)所述校正區(qū)域中的像素和所述校正區(qū)域的中心之間的距離，計算第一權(quán)重；第二計算單元，用于根據(jù)圖像中的目標像素的估計量與所述校正區(qū)域內(nèi)的像素的估計量中的最大估計值的比，計算第二權(quán)重；第三計算單元，用于根據(jù)所述目標像素的亮度與所述校正區(qū)域內(nèi)的亮度中的最大亮度的比，計算第三權(quán)重；校正量確定單元，用于通過使用所述第一權(quán)重、所述第二權(quán)重和所述第三權(quán)重，確定亮度和色差成分的校正量；以及第二校正單元，用于通過使用所述校正量，校正所述目標像素的亮度和色差成分。
11. 根據(jù)權(quán)利要求io所述的圖像處理裝置，其特征在于，所述校正量確定單元通過使用所述第一權(quán)重、所述第二權(quán)重和所述第三權(quán)重，確定亮度的校正量，并通過使用所述第一權(quán)重和所述第二權(quán)重，確定色差成分的校正量。
12. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，還包括區(qū)域排除單元，所述區(qū)域排除單元用于當(dāng)在所述候選區(qū)域的鄰近區(qū)域中存在較小的候選區(qū)域時，排除該較小的候選區(qū)域。
13. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，還包括區(qū)域組合單元，所述區(qū)域組合單元用于當(dāng)在所述候選區(qū)域的鄰近區(qū)域中存在另一候選區(qū)域時，將所述候選區(qū)域和所述另一候選區(qū)域組合起來。
14. 根據(jù)權(quán)利要求13所述的圖像處理裝置，其特征在于，所述區(qū)域組合單元將所述候選區(qū)域和所述另一候選區(qū)域組合起來，使得與所述候選區(qū)域和所述另一候選區(qū)域中的任一個相比，組合后的區(qū)域的形狀更接近正方形。
15. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，使用圖像的紅色成分和綠色成分，通過(R-G)或R/G來計算所述估計量，其中，R表示紅色成分的量，G表示綠色成分的量。
16. —種圖像處理方法，包括以下步驟計算步驟，用于僅根據(jù)圖像中的每一像素的紅色成分和綠色成分，對該像素計算眼睛的色調(diào)的估計量；提取步驟，用于基于在所述計算步驟中計算出的估計量，提取具有眼睛的不良色調(diào)的候選像素；以及區(qū)域提取步驟，用于提取具有在所述提取步驟中提取出的多個候選像素的區(qū)域，判斷提取出的區(qū)域是否形成預(yù)定形狀，并提取被判斷為形成所述預(yù)定形狀的區(qū)域作為具有眼睛的不良色調(diào)的候選區(qū)域。
全文摘要
一種圖像處理裝置和圖像處理方法，該圖像處理裝置包括計算單元，用以計算圖像中的每一像素的不良色調(diào)的估計量；以及提取單元，用以基于該估計量，提取具有該不良色調(diào)的候選像素。其根據(jù)該圖像的紅色和綠色成分，來計算該估計量。
文檔編號G06T5/00GK101706945SQ20091020747
公開日2010年5月12日 申請日期2006年6月14日 優(yōu)先權(quán)日2005年6月14日
發(fā)明者梅田清 申請人:佳能株式會社