專利名稱：眼晴定位過濾器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及確定眼睛位置的技術(shù)，特別是，利用眼睛部位與臉部的灰度圖像相比具有相對高的水平對比度來確定眼睛位置的技術(shù)。
對于許多視覺的監(jiān)測和監(jiān)視應(yīng)用系統(tǒng)來說，最重要的是從包括人的臉部的一段圖像中確定人的眼睛位置，一旦眼睛位置被確定下來，所有其它的重要的臉部特征，如鼻子和嘴巴的位置等，均可容易地被確定下來?；镜哪槻繋缀涡畔?，如兩只眼睛之間的距離，鼻子和嘴巴的大小等等，也能進(jìn)一步地被提取出來。因而這種幾何信息可以被應(yīng)用在各種各樣的工作之中，例如從給定的臉部數(shù)據(jù)庫中識別一張臉，眼睛定位系統(tǒng)也可以直接應(yīng)用來檢測汽車司機(jī)的打瞌睡行為。
現(xiàn)有的一些眼睛定位技術(shù)主要依據(jù)于Hough變換，幾何形狀和對稱性檢測，以及可變形模型。這些技術(shù)大多數(shù)不能有效地處理形狀的變化，而且這些系統(tǒng)還要求大量的計算機(jī)處理時間。進(jìn)一步，沒有一種現(xiàn)有系統(tǒng)能夠在眼睛閉合時確定眼睛的位置。
本發(fā)明是一種基于過濾器的快速眼睛定位系統(tǒng)，這種過濾器能夠利用眼睛部位相對于人的臉部的灰度圖像具有相對高的水平對比度來確定眼睛位置。這個系統(tǒng)包括一臺能掃描一個人的攝像機(jī)，這臺攝像機(jī)與能完成所需的過濾作用的處理器相連接，過濾部分包括一水平對比計算過濾器，一水平對比度確定過濾器，臉部幾何推理和眼睛位置的確定。


圖1示出本發(fā)明的一個實施例。
圖2示出本發(fā)明的過濾器的信號流程圖。
圖3顯示出本發(fā)明所使用的水平對比過濾器。
圖4顯示出了水平對比度的確定。
圖5顯示了水平對比過濾器和水平對比度的確定所得出的結(jié)果。
圖6顯示了臉部幾何推理。
圖7顯示了臉部幾何推理的另一個實施例。
圖8顯示了眼睛位置的確定。
圖9顯示了具有代表性臉部的眼睛定位。
圖10顯示了從一段錄像片斷中得出的三個典型的具代表性的幀。
圖11顯示了當(dāng)眼睛帶和沒有帶眼鏡時系統(tǒng)所完成的操作的實例。
本發(fā)明利用了眼部區(qū)域的相對高的水平對比來定位眼睛的位置。圖1所示的基本系統(tǒng)包括一個能掃描人體12并與一個能完成所要求的對掃描的圖像進(jìn)行過濾的處理器13相連接的攝像機(jī)11。這種過濾包括水平對比的計算，水平對比度的確定，臉部幾何推理和眼睛位置的確定。
本發(fā)明的整個過濾過程的信號流程圖表示在圖2之中。從圖2中看到，臉部的灰度圖像是給水平對比過濾器的輸入信號。然后，水平對比過濾器的輸出信號，即被過濾后的圖像，送到水平對比度過濾器以作進(jìn)一步過濾用。水平對比度過濾器的輸出信號流入該系統(tǒng)的臉部幾何推理部分。臉部幾何推理部分的輸出信號送入該系統(tǒng)的眼睛位置確定部分。來自眼睛位置確定部分的輸出，即本發(fā)明的輸出為左眼和右眼的位置。下面描述水平對比過濾器，水平對比度過濾器，臉部幾何推理和眼睛位置的確定的操作過程。
水平對比過濾器的信號流程圖顯示在圖3中。水平對比過濾器的工作過程描述如下，在圖像中的一個m點(diǎn)像素×n點(diǎn)像素這樣大小的小局域窗口內(nèi)，首先沿著水平方向?qū)個像素求和以平滑化在此過濾窗內(nèi)的垂直結(jié)構(gòu)，然后在這些m個像素的和值中計算出最大的差值。如果這個最大的差值大于給定的閾值。該像素被歸類為具有高的水平對比的像素。如果水平對比是高的，并且如果和值S1，.....Sn以遞減的序列排列著，過濾器的輸出是“1”，它在圖像中代表“白”的像素，否則，過濾器的輸出是“0”，它在圖像中對應(yīng)于“黑”的像素。如在現(xiàn)有技術(shù)中所已知的，對于一個256×256像素大小的輸入圖像來說，窗口的大小為3×3像素或5×5像素就足夠了。水平對比過濾器的一個典型的臉部輸入灰度圖像和對應(yīng)的輸出圖像，即二值掩碼(binary mask)圖像，分別顯示在圖5a和5b之中。
必須注意到上述的水平對比過濾器只不過是許多可能的實施例中的一個。大多數(shù)現(xiàn)存的水平邊緣探測技術(shù)只要稍加修正，也可使用。
從作為來自水平對比過濾器的輸出的二值掩碼圖像中可以得到兩個觀察結(jié)果。首先，在雙眼和頭發(fā)附近，以及鼻子和嘴唇附近，水平對比過濾器的輸出是“1”。其次，在一些與臉部特征無關(guān)的區(qū)域過濾器給出一些假的響應(yīng)。為了凈化二值掩碼圖像，并為眼睛定位產(chǎn)生一個更加合適的圖像，這就要求水平對比度的確定。
水平對比度的確定顯示在圖4中。水平對比過濾器輸出的二值掩碼圖像被送到水平對比度過濾器中。對在二值掩碼圖像中的“白”像素進(jìn)行搜索。對于圖5b所顯示的二值掩碼圖像中的每一個“白”像素，設(shè)置一個相對較大的窗口，例如30×15像素那樣的大小，用來計數(shù)在該窗口內(nèi)的所有“白”像素的數(shù)量，并且為“白”像素的數(shù)量設(shè)定一個閾值。換句話說，對于每個“白”像素，在設(shè)置的窗口內(nèi)計數(shù)該“白”像素周圍鄰近的“白”像素的數(shù)量。由于在此局域窗口內(nèi)的“白”像素的數(shù)量可以看作帶有高水平對比的各像素的密度，這個數(shù)量就稱作水平對比度。然后，閾值被用來去除那些對比度低于閾值的輸出像素以便清除掉噪音和無關(guān)的特征產(chǎn)生的效應(yīng)。圖5c顯示了表示水平對比度過濾器的輸出的灰度碼圖像。
圖6顯示了臉部幾何推理的流程圖，這里一些關(guān)于臉部形狀特征的先驗的信息被用來檢測和證實眼睛的位置。由于眼睛通常有很高(幾乎接近最大值)的水平對比度，我們在從水平對比度過濾器接收的灰度掩碼圖像的一給定區(qū)域中尋找強(qiáng)度最大值以作首要判斷。對于大多數(shù)圖像來說，可以假定眼睛并不位于圖像的最上面的四分之一處。因而，在搜尋最大像素值時可以跳過掩碼圖像的最頂上的四分之一。同樣地，在搜尋眼睛的位置時也可以跳過掩碼圖像的最底下的四分之一。去除這些區(qū)域可以降低本發(fā)明中的計算成本。在掩碼圖像中的最大像素值被定位之后，接下來就要確證這個位置是否對應(yīng)于兩個眼睛位置中的其中一個。這里要利用到兩只眼睛應(yīng)該位于寬為2k+1條的水平條帶之中的事實(可以充許頭部有些許的傾斜)。然后在這個條帶中按列方向把像素值相加起來(投影)。這樣就得到一維(1D)的曲線C1，它在對應(yīng)眼睛的地方有兩個明顯的峰值。如果找不出兩個明顯的峰值，就改變搜尋區(qū)域，再次進(jìn)行上述的過程。
圖7顯示了臉部幾何推理的第二個實施例。這個實施例使用了更多臉部幾何形狀的信息以便改善對眼部定位的確證程序。一種可能的方法是利用嘴部的附加信息使得這種確證更加可靠。正如圖5c所顯示的，水平對比度過濾器通常在接近眼睛的地方，以及接近嘴部的地方具有較強(qiáng)的響應(yīng)。當(dāng)在曲線C1中探測到峰值之后，系統(tǒng)繼續(xù)搜尋眼睛下的嘴部所產(chǎn)生的較強(qiáng)的響應(yīng)。由于曲線C1的兩個峰值之間的距離表示了兩只眼睛的近似距離，就可以估計出嘴部的近似區(qū)域。然后可以產(chǎn)生這個區(qū)域的一維(1D)曲線C2。在曲線C2上的強(qiáng)峰值可以證實嘴巴的位置，反過來也就證實了眼睛的位置。
圖8顯示了眼睛位置確定的流程圖，它通過圖6或圖7所提供的臉部幾何推理使眼睛位置更加準(zhǔn)確。臉部的原始灰度圖像和近似的眼睛位置提供了所要求的輸入。對眼睛近似位置附近的一個小窗口內(nèi)的原始灰度圖像應(yīng)用了一個低通的過濾器。然后，在近似眼睛位置附近的小窗口內(nèi)搜尋最小值，這個最小值的位置，即輸出，就是虹膜的位置。
本發(fā)明的測試在不同人的錄像片斷上進(jìn)行。在不同的室內(nèi)照明條件下以及最小的背景干擾下記錄下了測試結(jié)果。所有圖像均被二次取樣為分辨率為256×256個像素的圖像。在SUN SPARC 10工作站上對一幅256×256圖像進(jìn)行兩只眼睛的定位，系統(tǒng)需要大約200毫秒的時間。
圖9顯示了不同人的臉部圖像，其上的十字交叉線表示根據(jù)本發(fā)明確定的眼睛位置。圖10a，10b和10c顯示了從一段錄像片斷中當(dāng)眼睛閉合，頭部大小發(fā)生變化和頭部方向變化時三種典型的具代表性的幀。圖10a表示了當(dāng)兩只眼睛均閉合時的情況。圖10b顯示了當(dāng)頭部大小發(fā)生變化并且頭部方向稍微有點(diǎn)變化時的情況，圖10c表示了頭部方向發(fā)生變化時的情況。圖11顯示了當(dāng)眼睛有和沒有帶眼鏡時系統(tǒng)的操作。
本發(fā)明的特點(diǎn)是非常簡單，快速，并且能處理不同的眼睛形狀，臉部的方向以及諸如眼鏡等其它因素的干擾。本發(fā)明的另一個明顯的和重要的特征是即使當(dāng)兩只眼睛都閉合上也能探測眼睛區(qū)域。作為一個實施例，對于一幅256×256個像素的臉部圖像，系統(tǒng)在SUN SPARC 10工作上運(yùn)作時僅僅需要200毫秒的時間。本發(fā)明可用特殊的硬件實現(xiàn)實時運(yùn)作。
本發(fā)明并不局限在如上所述的硬件或軟件安排，或操作過程上。本發(fā)明包括落入所述權(quán)利要求書范圍內(nèi)的所有修改和變型。
權(quán)利要求
1.一種眼睛定位過濾器，包括用來掃描一個人的成像裝置；和，與所述的成像裝置相連接的處理器裝置，用來確定所述人的兩只眼睛的位置。
2.如權(quán)利要求1所述的眼睛定位過濾器，其中所述處理器裝置包括水平對比計算過濾器裝置；與所述的水平對比計算過濾器裝置相連接的水平對比度確定過濾器裝置；與所述的水平對比度確定過濾器裝置相連接的臉部幾何推理裝置；和，與所述的臉部幾何推理裝置相連接的眼睛位置確定裝置。
3.如權(quán)利要求2所述的眼睛定位過濾器，其中所述的水平對比計算過濾器裝置包括用來接收臉部的灰度圖像和用來在一個過濾窗口內(nèi)平滑垂直結(jié)構(gòu)的求和裝置；和，用來在各求和值中計算出最大差值，分析所述的最大差值并提供二值掩碼圖像的計算裝置。
4.如權(quán)利要求3所述的眼睛定位過濾器，其中所述的水平對比度確定過濾器裝置包括用來在所述的二值掩碼圖像中搜尋的白像素的像素搜尋裝置；用來計數(shù)與每個白像素相對應(yīng)的一個局域窗口內(nèi)的白像素數(shù)目的計數(shù)裝置；和，用來去除對比度低于一個閾值的輸出像素和提供一灰度掩碼圖像的閾裝置。
5.如權(quán)利要求4所述的眼睛定位過濾器，其中所述的臉部幾何推理裝置包括用來在所述的灰度掩碼圖像中的一選擇的搜尋區(qū)域內(nèi)建立具有最大像素值的一行的確定裝置；用來在一條帶中按列方向計算像素的總和的計算裝置；和，用來確定在所述的條帶中是否存在兩個峰值并提供眼睛的近似位置的分析裝置。
6.如權(quán)利要求4所述的眼睛定位過濾器，其中所述的臉部幾何推理裝置包括用來在所述的灰度掩碼圖像中一選擇的搜尋區(qū)域內(nèi)建立具有最大像素值的一行的確定裝置；用來在一第一條帶中按列方向計算像素的總和的第一計算裝置；用來確定在所述的條帶中是否存在兩個峰值的第一分析裝置；用來在所述的第一條帶的下面的第二條帶中按列方向計算像素的總和的第二計算裝置；和用來確定在所述的第二條帶中是否存在一個峰值并提供眼睛的近似位置的第二分析裝置。
7.如權(quán)利要求5所述的眼睛定位過濾器，其中所述的眼睛位置確定裝置包括用來在所述的眼睛近似位置附近的小窗口內(nèi)對所述的灰度圖像進(jìn)行過濾的低通過濾器裝置；和，用來在所述的眼睛近似位置附近的小窗口內(nèi)搜尋最小值并輸出兩只眼睛位置的搜尋裝置。
8.如權(quán)利要求6所述的眼睛定位過濾器，其中所述的眼睛位置確定裝置包括用來在所述的眼睛近似位置附近的小窗口內(nèi)對所述的灰度圖像進(jìn)行過濾的低通過濾器裝置；和，用來在所述的眼睛近似位置附近的小窗口內(nèi)搜尋最小值并輸出兩只眼睛位置的搜尋裝置。
9.一種眼睛定位過濾器，包括用來掃描一個人的成像裝置；和，與所述的成像裝置相連接的處理器裝置，其中所述的處理器裝置包括用來接收臉部的灰度圖像并提供二值掩碼圖像的水平對比計算過濾器裝置；用來接收所述的二值掩碼圖像并提供灰度掩碼圖像的水平對比度確定過濾器裝置；用來接收所述的灰度掩碼圖像并提供兩只眼睛的近似位置的臉部幾何推理裝置；和，用來接收所述的臉部灰度圖像和所述的兩只眼睛的近似位置并提供兩只眼睛的眼睛位置確定裝置。
10.如權(quán)利要求9所述的眼睛定位過濾器，其中所述水平對比計算過濾器包括用來接收所述的臉部灰度圖像并在過濾窗口內(nèi)平滑垂直結(jié)構(gòu)的求和裝置；和，用來在求和的數(shù)值中計算出最大差值，分析所述的最大差值并提供所述的二值掩碼圖像的計算裝置。
11.如權(quán)利要求10所述的眼睛定位過濾器，其中所述的水平對比度確定過濾器裝置包括用來在所述的二值掩碼圖像中搜尋白像素的像素搜尋裝置；用來計數(shù)在對應(yīng)于每一個白像素的局域窗口內(nèi)的白像素的數(shù)目的計數(shù)裝置；和，用來去除對比度低于一個閾值的輸出像素并提供所述的灰度掩碼圖像的閾裝置。
12.如權(quán)利要求11所述的眼睛定位過濾器，其中所述的臉部幾何推理裝置包括用來在所述的灰度掩碼圖像中的一挑選的搜尋區(qū)域內(nèi)建立具有最大像素值的一行的確定裝置；用來在一條帶中按列方向計算像素的總和的計算裝置；和，用來確定所述的條帶是否存在兩個峰值并提供所述的兩只眼睛的近似位置的分析裝置。
13.如權(quán)利要求11所述的眼睛定位過濾器，其中所述的臉部幾何推理裝置包括用來在所述的灰度掩碼圖像中的一個選擇的搜尋區(qū)域內(nèi)建立具有最大像素值的一行的確定裝置；用來在第一條帶中按列方向計算像素的總和的第一計算裝置；和用來確定所述的條帶是否存在兩個峰值的第一分析裝置；用來在第一條帶的下面的第二條帶中按列方向計算像素的總和的第二計算裝置；和用來確定所述的第二條帶中是否存在一個峰值并提供所述的兩只眼睛的近似位置的第二分析裝置。
14.如權(quán)利要求12所述的眼睛定位過濾器，其中所述的眼睛位置確定裝置包括用來在所述的眼睛近似位置附近的小窗口內(nèi)對所述的灰度圖像進(jìn)行過濾的低通過濾器；和，用來在所述的兩只眼睛近似位置附近的小窗口內(nèi)搜尋最小值并輸出所述的兩只眼睛的位置的搜尋裝置。
15.如權(quán)利要求13所述的眼睛定位過濾器，其中所述的眼睛位置確定裝置包括用來在所述的兩只眼睛近似位置附近的小窗口內(nèi)對所述的灰度圖像進(jìn)行過濾的低通過濾器；和，用來在所述的兩只眼睛近似位置附近的小窗口內(nèi)搜尋最小值并輸出所述的兩只眼睛的位置的搜尋裝置。
16.一種定位眼睛的方法，包括下列步驟用攝像機(jī)掃描一個人；提供一個掃描的圖像；處理所述的掃描圖像，其中所述的處理步驟包括對臉部的灰度圖像進(jìn)行水平對比計算過濾以便提供一個二值掩碼圖像；對所述的二值掩碼圖像進(jìn)行水平對比度確定過濾以便提供一個灰度掩碼圖像；在所述的灰度掩碼圖像上進(jìn)行臉部幾何推理以便提供兩只眼睛的近似位置；和根據(jù)所述的臉部灰度圖像和所述的兩只眼睛的近似位置進(jìn)行眼睛位置的確定以便提供兩只眼睛的位置。
17.如權(quán)利要求16所述的定位眼睛的方法，其中水平對比計算過濾過程包括如下步驟在臉部的灰度圖像上進(jìn)行求和；在一個過濾窗口內(nèi)平滑垂直結(jié)構(gòu)；在各求和值中計算最大差值；分析所述的最大差值；和，提供一個二值掩碼圖像。
18.如權(quán)利要求17所述的定位眼睛的方法，其中水平對比度確定過濾包括如下步驟在所述的二值掩碼圖像中搜尋白像素；在對應(yīng)于每一個白像素的一個局域窗口內(nèi)計數(shù)白像素的數(shù)目；去除對比度低于一個閾值的輸出像素；和提供一個灰度掩碼圖像。
19.如權(quán)利要求17所述的定位眼睛的方法，其中完成臉部幾何推理的過程包括如下步驟在所述的灰度掩碼圖像中的一個選擇的搜尋區(qū)域內(nèi)建立具有最大像素值的一行；在一條帶內(nèi)按列方向計算像素的總和；分析所述的條帶是否具有兩個峰值；和，提供眼睛的近似位置。
20.如權(quán)利要求19所述的定位眼睛的方法，其中進(jìn)行眼睛位置的確定包括如下步驟在所述的眼睛近似位置附近的小窗口內(nèi)對所述的灰度圖像進(jìn)行過濾；在所述的眼睛近似位置附近的小窗口內(nèi)搜尋最小值；和，輸出兩只眼睛的位置。
全文摘要
基于一個過濾器來進(jìn)行快速眼睛定位的系統(tǒng)利用了在人的臉部的灰度圖像中眼睛區(qū)域具有相對高的水平對比度的特征來確定眼睛的位置。該系統(tǒng)包括對人進(jìn)行掃描的攝像機(jī)和進(jìn)行所要求的過濾過程的處理器。過濾部分包括水平對比計算過濾器,水平對比度確定過濾器,臉部幾何推理和眼睛位置確定,并能在各種眼睛形狀,不同臉部方向和諸如帶上眼鏡或甚至當(dāng)眼睛閉合等其它因素的影響下完成所要求的工作。
文檔編號G06K9/00GK1186556SQ96194397
公開日1998年7月1日 申請日期1996年5月29日 優(yōu)先權(quán)日1995年6月2日
發(fā)明者方明, 阿吉特·辛格, 邱明義 申請人:西門子合作研究公司