專利名稱：以高精度檢測眼睛缺陷的基于相機的方法
以高精度檢測眼睛缺陷的基于相機的方法
背景技術(shù)：
已知的是在捕獲非閃光圖像后捕獲閃光圖像并對這些圖像進行相減(包括一些 照度標準化)，可以得到顯示出紅眼缺陷(閃光眼(flash-eyes))位置所在的差異圖像(參 見例如美國專利7, 027，662和美國專利6，859，565)。此夕卜，己公布的名稱為"Red-eye filter method and apparatus，，的第 2005/0041121號美國專利申請描述了如下的技術(shù)參考的非閃光圖像和主閃光圖像初始 為具有不同的大小，所述圖像在照度標準化和/或相減之前被調(diào)整至相同尺寸并被對準。 上述專利申請的受讓人與本申請的受讓人相同期望具有一種涉及捕獲兩幅圖像的改進技術(shù)，對所述兩幅圖像進行照度標準化并 隨后進行相減，在主獲得圖像中顯示出可能的眼睛位置，并隨后獲得主圖像?？焖賵?zhí)行該過 程(通常少于1秒)以減少參考對圖像與主獲得圖像的任何不對準。還期望具有一種克服與下述現(xiàn)象相關(guān)聯(lián)的問題的技術(shù)非閃光圖像較之于閃光圖 像而言傾向于顯著地更暗，尤其是在難于實現(xiàn)實用的照度標準化的室內(nèi)環(huán)境中。

發(fā)明內(nèi)容
提供一種便攜式數(shù)字圖像獲取設(shè)備。該設(shè)備包括用于獲取主數(shù)字圖像、第一參考 圖像和第二參考圖像的鏡頭和感測器。該設(shè)備還包括距鏡頭不同距離而布置的用于照亮所 獲取的場景范圍內(nèi)一個或多個物體的第一光源和第二光源。主圖像存儲于存儲器中。該設(shè) 備還包括一個或多個內(nèi)嵌有數(shù)字代碼的處理器可讀介質(zhì)，該數(shù)字代碼用于對處理器進行編 程以執(zhí)行使用第一參考圖像和第二參考圖像來確定并修正主數(shù)字圖像中閃光眼缺陷的方 法。該方法包括使用第一光源和第二光源分別獲取第一參考圖像和第二參考圖像。標準化 第一圖像和第二圖像以生成標準化的第一參考圖像和第二參考圖像。分析標準化的第一參 考圖像和第二參考圖像之間的一個或多個差異。該方法還包括基于分析確定并修正主圖像 內(nèi)的閃光眼缺陷以生成修正的主圖像。對修正的主圖像或進一步處理的版本進行存儲、傳 輸、通信、顯示和/或投影。提供另一種便攜式數(shù)字圖像獲取設(shè)備。這種設(shè)備包括用于獲取主數(shù)字圖像、第一 參考圖像和第二參考圖像的第一鏡頭和第二鏡頭以及至少一個感測器。該設(shè)備還包括分別 距第一鏡頭和第二鏡頭不同距離而布置的用于照亮所獲取的場景范圍內(nèi)的一個或多個物 體的光源。將主數(shù)字圖像和/或進一步處理的版本存儲于存儲器中。該設(shè)備包括一個或多 個內(nèi)嵌有數(shù)字代碼的處理器可讀介質(zhì)，該數(shù)字代碼用于對處理器進行編程以執(zhí)行使用第一 參考圖像和第二參考圖像來確定并修正主數(shù)字圖像中的閃光眼缺陷的方法。該方法包括使 用光源以及使用第一鏡頭和第二鏡頭分別獲取第一參考圖像和第二參考圖像。標準化第一 圖像和第二圖像以生成標準化的第一參考圖像和第二參考圖像。分析標準化的第一參考圖 像和第二參考圖像之間的一個或多個差異。該方法還包括基于分析確定并修正主圖像范圍 內(nèi)的閃光眼缺陷以生成修正的主圖像。對修正的主圖像和/或進一步處理的版本進行存 儲、傳輸、通信、顯示和/或投影。
在任一種設(shè)備中，所述分析可包括將第一參考圖像和第二參考圖像相減。標準化可包括照度標準化。閃光眼缺陷可包括紅眼缺陷。標準化可包括對第一參考圖像和第二參考圖像中之一或兩者重新調(diào)整大小。標準化可包括對準第一參考圖像和第二參考圖像。對準可包括在第一圖像和第二 圖像內(nèi)對準一只或多只眼睛。差異可包括色差和/或亮度差。第一參考圖像和第二參考圖像可各自使用較之于在獲取主數(shù)字圖像中使用的閃 光強度相對較低強度的預閃光來獲得。分析可考慮第一設(shè)備中第一光源和第二光源與鏡頭之間的具體的不同距離，或考 慮第二設(shè)備中第一鏡頭和第二鏡頭與光源之間的具體的不同距離。分析還可考慮所獲取的場景內(nèi)的距一個或多個物體的距離、視角、環(huán)境照亮狀況、 虹膜顏色和/或臉部皮膚色調(diào)。在獲取主數(shù)字圖像之前可連續(xù)地獲取第一預覽圖像和第二預覽圖像。還提供使用第一參考圖像和第二參考圖像來確定并修正主數(shù)字圖像的閃光眼缺 陷的方法。還提供具有內(nèi)嵌的用于對處理器進行編碼以執(zhí)行所述方法的代碼的計算機可讀 介質(zhì)。


本專利或申請文件包含至少一幅以彩色施畫的附圖。在請求和支付所需費用之 后，專利局將提供本專利或?qū)＠暾埞_的帶有彩色附圖的副本。圖IA示出了用于獲得圖像的相機，該相機具有靠近光學鏡頭的閃光燈。圖IB示出了相機，該相機具有較之于圖1中的閃光燈而言距離光學鏡頭更遠的閃 光燈。圖2A、圖3A、圖4A示出了利用圖IA的相機所獲取的數(shù)字圖像中的閃光眼缺陷。圖2B、圖3B、圖4B示出了利用圖IB的相機所獲取的數(shù)字圖像中的閃光眼缺陷。圖5示出了具有兩個閃光燈的相機，所述兩個閃光燈分開在距離所述相機的鏡頭 不同的距離處。圖6示出了具有兩個光學鏡頭的相機，所述兩個光學鏡頭分開在距離所述相機的 閃光燈不同的距離處。圖7是示出根據(jù)某些實施方式的方法的框圖。圖8是示出根據(jù)又一些實施方式的方法的框圖。
具體實施例方式在此已經(jīng)確認的是，如果光源位于距離成像鏡頭不同的空間距離處，圖像中眼睛 區(qū)域的顏色和亮度可顯著地變化。與此同時，所述圖像中的剩余部分將不會有如此顯著的 顏色和亮度的變化。圖IA和圖IB示出了兩個各自具有單個閃光燈和單個鏡頭的相機。然而，圖IB中 相機的閃光燈-鏡頭的距離要大于圖IA中的相機的閃光燈-鏡頭的距離。圖2A、圖3A和圖4A是使用圖IA的相機拍攝的至少三個人的眼睛的圖片。圖2B、圖2C和圖2D是使用圖 IB的相機拍攝的相同的至少三個人的眼睛的圖片。相較于圖2B中捕獲的同一個人的眼睛， 圖2A清楚地顯示出更淺的紅色。相較于圖2B中的眼睛，圖2A中的眼睛還顯現(xiàn)得更亮。相 較于圖3B中捕獲的同一個人的眼睛，圖3A清楚地顯示出更淺的紅色。相較于圖:3B中的眼 睛，圖3A中的眼睛還顯現(xiàn)得更亮。使用圖IA中的相機拍攝出的圖4A中的右眼相較于使用 圖IB中的相機拍攝出的圖4B中的同一個人的右眼顯現(xiàn)出更淺的紅色。圖4A中的左眼顯現(xiàn) 為金色并且非常明亮，而圖4B中的左眼顯現(xiàn)為紅色并且不如圖4A中的左眼一般明亮。圖 2A、圖3A和圖4A中的所捕獲的眼睛和圖2B、圖;3B和圖4B中的所捕獲的眼睛的差異是所 使用的如圖IA和圖IB所示的各相機的閃光燈和光學鏡頭之間的不同距離。圖2A和圖2B 中所顯示的部分臉部的其他特征則沒有顯現(xiàn)出顯著的差異，圖3A和圖;3B以及圖4A和圖4B 也是如此。根據(jù)某些實施方式，圖5示意性地示出了具有兩個不同光源加和2b的相機，光 源加和2b距離主鏡頭4的距離不同。使用來自兩個不同閃光燈單元加和2b的低強度的 預閃光來獲取兩個可預覽的參考圖像、可隨后瀏覽的參考圖像和/或可同時瀏覽的參考圖 像。圖5B示意性示出的相機還包括與鏡頭4對準的諸如CMOS感測器之類的光感測器6以 用于數(shù)字捕獲圖像，該圖像包括意在于被存儲、傳輸、顯示、投影、通信和/或進一步處理的 預覽圖像和主圖像。所述相機還包括處理器8和一個或多個存有程序代碼的數(shù)字介質(zhì)10。 這些介質(zhì)10和/或其他介質(zhì)也可用于存儲圖像數(shù)據(jù)。所述相機可具有其他特征，例如用于 通過線纜或無線地連接至另一設(shè)備(例如打印機、個人計算機、顯示設(shè)備、另一相機、電話 機等)和/或用于插入閃存卡或插入其他可安裝設(shè)備的一個或多個端口。利用圖5示意性地示出的相機1A，在數(shù)字閃光相機上提供以高精度來檢測和修正 各種眼睛缺陷的方法。某些實施方式通過關(guān)注兩個預覽圖像或其他參考圖像之間的顏色差 異更多地考慮了紅眼閃光缺陷，而其他一些實施方式則更多地考慮了諸如金色眼睛、白色 眼睛和/或僵尸眼睛之類的其他缺陷。所述方法基于閃光光線從眼睛反射至相機的CCD和 /或CMOS的效果。這是少數(shù)參數(shù)的函數(shù)。也就是說，除其他因素以外，眼睛缺陷分布是閃光 燈-鏡頭布置、距對象的距離、視角、環(huán)境照亮狀況、虹膜顏色和人種的函數(shù)。一些實施方式 的方法利用了眼睛缺陷分布隨著所述相機的鏡頭和主光源(閃光燈、聚焦LED或任何其他 光源)之間的距離的變化。所述缺陷的分布隨所述閃光燈和所述鏡頭之間的距離改變，所述缺陷的性質(zhì)也是 如此。得到除紅眼缺陷之外的其他缺陷的頻率隨所述閃光燈和所述鏡頭之間的距離增加而 減少。此外，隨所述閃光燈和所述鏡頭之間的距離的增加，眼睛缺陷的強度降低。例如，第 一閃光燈和鏡頭之間的距離可能是2cm，而第二閃光燈和所述鏡頭之間的距離可能是5cm。 兩個光源加和2b的優(yōu)選布置提供在兩個預覽圖像或其他參考圖像上眼睛缺陷的分布之間 的最大差異，并提供在所述預覽圖像的其余部分之間的最小差異。兩個閃光燈光源可以是在同一相機IA上、位于相對于鏡頭4的不同位置處的等同 的光源加和2b，所述光源例如閃光燈、兩個聚焦燈或LED。所述光源可不同，并且相機IA 具有考慮到這種差異的軟件。然而，除了相對于鏡頭4的位置的因素外，兩個等同光源提供 兩個幾乎等同的預覽或其他參考圖像。以這種方式，取得所述兩個預覽的差異圖是可能的 和優(yōu)選的。
相機IA能拍攝緊接在最終的閃光圖像之前的兩個連續(xù)的預覽圖片、或兩個隨后 瀏覽的圖片，或各拍一張。使用相機IA的第一光源加拍攝第一預覽或其他參考圖像，并使 用第二光源2b拍攝第二圖像或其他參考圖像。生成兩個預覽或其他參考圖像的差異圖?？梢砸愿鞣N方式確定所述差異，例如在 僅用于檢測紅眼缺陷的紅色通道上，從更近的光源預覽開始，或在僅用于白色眼睛缺陷或 金色眼睛缺陷的照度通道上。第一光源加優(yōu)選地非常靠近相機IA的鏡頭4。例如，如圖IA所示，光源加可以 位于所述鏡頭的右側(cè)或左側(cè)Icm或2cm處。第二光源2b可以位于鏡頭4的左側(cè)或右側(cè)更 遠距離處，例如如圖2B所示地距離鏡頭4的4cm或5cm處?？墒褂瞄W光燈加捕獲第一預 覽圖像，而使用閃光燈2b捕獲第二預覽圖像。然后捕獲主圖像。如前文所示，也可捕獲隨 后瀏覽的圖像。計算預覽圖像或隨后瀏覽圖像之間的差異圖。過濾所述差異圖以消除小的 差異、陰影等，并且剩余下來的顯著差異被分析為即將接受閃光眼缺陷修正算法的很可能 的或至少可能的眼睛缺陷。光源加和2b可以是最簡單形式的兩個聚焦燈(例如LED)，也 可以是復雜形式的兩個閃光燈。根據(jù)另一個實施方式，圖6示意性地示出了具有光源12和位于距閃光燈12不同 距離處的兩個不同光學系統(tǒng)/鏡頭Ha和14b的相機。可以使用來自閃光單元12的低強 度預閃光來獲取兩個預覽圖像。在圖6中示意性地示出的相機還包括與鏡頭1 和14b對 準的至少一個光感測器6，例如兩個單獨的感測器，每個用于鏡頭1 和鏡頭14b中的每一 個，或單一的感測器，用于數(shù)字捕獲包括意在于被存儲、傳輸、顯示、投影、通信和/或進一 步處理的預覽圖像和主圖像的圖像。所述相機還包括處理器18和一個或多個其中存儲有 程序代碼的數(shù)字介質(zhì)20。這些介質(zhì)20和/或其他介質(zhì)也可用于存儲圖像。所述相機可還 具有其他特征，例如一個或多個用于通過線纜或通過無線的方式連接至其他設(shè)備(例如打 印機、個人計算機、其他相機、電話機等)和/或用于插入閃存卡或插入其他可安裝設(shè)備的 端□。在圖6的實施方式中，相機IB具有單個閃光單元12和兩個成像鏡頭Ha和14b。 還提供完整的雙成像流水線。在這種實施方式中，通過預閃光照明，使用所述成像鏡頭之一 的Ha獲取第一預覽圖像。與此同時或緊隨之后，通過相同的弱預閃光照明，使用第二成像 鏡頭14b獲取第二預覽圖像。所得結(jié)果是一對同時的預覽圖像，其各自距所述閃光源不同 距離。任何的對準誤差僅歸因于幾何因素，而非歸因于對象移動或相機移動，并且可預先校 準補償算法。接著對使用如圖5的相機的不同閃光燈加和2b捕獲的參考圖像或是使用圖6的 相機的兩個感測器Ha和14b捕獲的參考圖像進行比較、相減(伴隨或不伴隨照度標準化) 和/或進行分析。由于僅有眼睛區(qū)域具有非常不同的特征，因此可以以這種方式確定眼睛 區(qū)域的位置。隨后可以使用全亮度閃光燈獲得第三閃光圖像。這可通過對閃光燈單元加、 2b和12之一施加更大能量或通過將兩個閃光燈單元加和2b組合在圖5的相機中，或另外 通過諸如包含第三閃光燈來實現(xiàn)。圖7示出了涉及圖5的相機IA的方法。在62處，使用圖5的相機IA的第一光源 和第二光源以及光學系統(tǒng)4分別獲得第一參考圖像和第二參考圖像。在64處，標準化所述 第一參考圖像和所述第二參考圖像以生成第一標準化參考圖像和第二標準化參考圖像。在66處，分析所述第一標準化參考圖像和第二標準化參考圖像之間的一個或多個差異。在68 處，基于分析在主圖像內(nèi)確定并修正閃光眼缺陷以生成修正的主圖像。在69處，對所述修 正的主圖像和/或進一步處理的版本進行存儲、傳輸、通信、顯示和/或投影。圖8示出了涉及圖6的相機IB的方法。在72處，使用圖6的相機IB的光源12、 第一鏡頭1 和第二鏡頭14b獲取第一參考圖像和第二參考圖像。在74處，標準化第一圖 像和第二圖像以生成的第一標準化參考圖像和第二標準化參考圖像。在76處，分析所述第 一標準化參考圖像和第二標準化參考圖像之間的一個或多個差異。在78處，基于分析確定 并修正主圖像內(nèi)的閃光眼缺陷以生成修正的主圖像。在79處，對所述修正的主圖像和/或 進一步處理的版本進行存儲、傳輸、通信、顯示和/或投影。此外，在可根據(jù)本文優(yōu)選的實施方式執(zhí)行的方法中，或在上文描述的方法中，以選 取的印刷順序描述了各操作。然而，除了那些明確表明特定順序的地方或本領(lǐng)域普通技術(shù) 人員可能認為所必須為特定順序那些地方，已選的和為印刷便利而如此確定的順序并非意 于暗示用于執(zhí)行所述操作的特定順序。
權(quán)利要求
1.一種使用第一參考圖像和第二參考圖像來確定并修正主數(shù)字圖像中閃光眼缺陷的 方法，其中所述方法包括使用布置在距相機鏡頭不同距離處的第一光源和第二光源分別獲取第一參考圖像和 第二參考圖像；標準化所述第一圖像和所述第二圖像以生成第一標準化參考圖像和第二標準化參考 圖像；分析所述第一標準化參考圖像和第二標準化參考圖像之間的一個或多個差異；基于分析來確定并修正所述主圖像內(nèi)的閃光眼缺陷以生成修正的主圖像；以及對所述修正的主圖像、進一步處理的版本或它們的組合進行存儲、傳輸、通信、顯示或 投影。
2.一種使用第一參考圖像和第二參考圖像來確定并修正主數(shù)字圖像中閃光眼缺陷的 方法，其中所述方法包括使用光源以及分別布置在距所述光源不同距離處的第一鏡頭和第二鏡頭獲取第一參 考圖像和第二參考圖像；標準化所述第一圖像和所述第二圖像以生成第一標準化參考圖像和第二標準化參考 圖像；分析所述第一標準化參考圖像和第二標準化參考圖像之間的一個或多個差異；基于分析來確定并修正所述主圖像內(nèi)的閃光眼缺陷以生成修正的主圖像；以及對所述修正的主圖像、進一步處理的版本或它們的組合進行存儲、傳輸、通信、顯示或 投影。
3.如權(quán)利要求1或2的方法，其中所述分析包括將所述第一參考圖像和所述第二參考 圖像相減。
4.如權(quán)利要求1或2的方法，其中所述標準化包括照度標準化。
5.如權(quán)利要求1或2的方法，其中所述閃光眼缺陷包括紅眼缺陷。
6.如權(quán)利要求1或2的方法，其中所述標準化包括對所述第一參考圖像或所述第二參 考圖像之一或兩者重新調(diào)整大小。
7.如權(quán)利要求1或2的方法，其中所述標準化包括對準所述第一參考圖像和所述第二 參考圖像。
8.如權(quán)利要求7的方法，其中所述對準包括在所述第一圖像和所述第二圖像內(nèi)對準一 只或多只眼睛。
9.如權(quán)利要求1或2的方法，其中所述差異包括色差。
10.如權(quán)利要求1或2的方法，其中所述差異包括亮度差異。
11.如權(quán)利要求1或2的方法，其中所述第一參考圖像和所述第二參考圖像的每一個都 利用相較于獲取所述主數(shù)字圖像中使用的閃光的強度而言強度相對較低的預閃光來獲得。
12.如權(quán)利要求1的方法，其中所述分析考慮了所述鏡頭距離所述第一光源和所述第 二光源的具體的不同距離。
13.如權(quán)利要求2的方法，其中所述分析考慮了所述第一鏡頭和所述第二鏡頭距離所 述光源的具體的不同距離。
14.如權(quán)利要求12或13的方法，其中所述分析還考慮了所獲取的場景內(nèi)的距一個或多個物體的距離、視角、環(huán)境照亮狀況、虹膜顏色或臉部皮膚色調(diào)，或它們的組合。
15.如權(quán)利要求1或2的方法，其中在獲取所述主數(shù)字圖像之前，連續(xù)地獲取所述第一 預覽圖像和所述第二預覽圖像。
16.具有內(nèi)嵌的數(shù)字代碼的一個或多個處理器可讀介質(zhì)，所述數(shù)字代碼用于對處理器 進行編程以執(zhí)行如上權(quán)利要求中任一項的方法。
17.一種便攜式數(shù)字圖像獲取設(shè)備，包括用于獲取主數(shù)字圖像、第一參考圖像和第二參考圖像的鏡頭和感測器；用于照亮所獲取的場景內(nèi)的一個或多個物體的第一光源和第二光源，所述第一光源和 所述第二光源布置在距所述鏡頭不同距離處；用于存儲所述主數(shù)字圖像的存儲器；一個或多個具有內(nèi)嵌的數(shù)字代碼的處理器可讀介質(zhì)，所述數(shù)字代碼用于對處理器進行 編程以執(zhí)行如權(quán)利要求1的方法。
18.一種便攜式數(shù)字圖像獲取設(shè)備，包括用于獲取主數(shù)字圖像、第一參考圖像和第二參考圖像的第一鏡頭、第二鏡頭和至少一 個感測器；用于照亮所獲取的場景內(nèi)的一個或多個物體的光源，所述光源布置在距所述第一鏡頭 和所述第二鏡頭不同距離處；用于存儲所述主數(shù)字圖像的存儲器；一個或多個具有內(nèi)嵌的數(shù)字代碼的處理器可讀介質(zhì)，所述數(shù)字代碼用于對處理器進行 編程以執(zhí)行如權(quán)利要求2的方法。
全文摘要
一種包括多個鏡頭和/或多個閃光燈的便攜式數(shù)字圖像獲取設(shè)備。獲取主數(shù)字圖像、第一參考圖像和第二參考圖像。通過具有不同閃光燈-鏡頭距離的不同閃光燈-鏡頭組合獲取所述第一參考圖像和所述第二參考圖像?；趯λ龅谝粎⒖紙D像和所述第二參考圖像的分析來檢測并修正所述主圖像中一個或多個閃光眼缺陷。
文檔編號H04N5/225GK102119361SQ200980131123
公開日2011年7月6日 申請日期2009年8月11日 優(yōu)先權(quán)日2008年8月14日
發(fā)明者F·納努, P·科科蘭 申請人:泰塞拉技術(shù)愛爾蘭有限公司