專利名稱：面部中心位置檢測(cè)裝置、面部中心位置檢測(cè)方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種能夠從戴眼鏡的人的面部圖像中檢測(cè)面部中心位置 的面部中心位置檢測(cè)裝置、面部中心位置檢測(cè)方法及程序。
背景技術(shù)：
為了基于面部圖像對(duì)人進(jìn)行識(shí)別、讀取表情，對(duì)面部的位置、面部的 中心位置、朝向等進(jìn)行檢測(cè)就變得非常重要。
例如，特開(kāi)2004-310396號(hào)公報(bào)中公開(kāi)了一種處理對(duì)人的面部進(jìn)行拍 攝而得到的圖像，不受人的活動(dòng)和背景的影響來(lái)高精度地檢測(cè)面部位置的 方法。
另夕卜，特開(kāi)2005-011097號(hào)公報(bào)中公開(kāi)了這樣一種技術(shù)，其中，獲取 對(duì)可能有駕駛員的區(qū)域進(jìn)行拍攝而得到的圖像，從所獲取的圖像中檢測(cè)橫 向邊緣圖像(面部的兩側(cè))，基于所檢測(cè)的橫向邊緣圖像，設(shè)定多條面部 中心候補(bǔ)線，并且對(duì)各條面部中心候補(bǔ)線，基于用于表示該面部中心候補(bǔ) 線是面部的中心線的確定度的值，提高面部的有無(wú)的判定精度。

發(fā)明內(nèi)容
駕駛員在車(chē)輛的行駛中基本上是面部朝向前方來(lái)開(kāi)車(chē)駕駛。但是，有 時(shí)候在某一時(shí)段，在駕駛員在與鄰座的同車(chē)人講話時(shí)，面部會(huì)向著橫向。 另外，駕駛員的面部和容貌多種多樣，在面部輪廓線、發(fā)型、眼鏡的佩戴 等各個(gè)方面都不同。為此，例如，在從戴眼鏡的駕駛員面部向著橫向時(shí)， 若從由相機(jī)捕捉到的圖像中，想檢測(cè)面部的中心位置時(shí)，就會(huì)有檢測(cè)錯(cuò)誤 的情況。其原因在于在戴眼鏡的駕駛員面部朝向橫向的情況下，包含眼鏡 的部分來(lái)進(jìn)行圖像處理，會(huì)有不能正確地檢測(cè)面部中心位置的情況。
若這種面部的中心位置檢測(cè)中發(fā)生錯(cuò)誤，不能正確地進(jìn)行識(shí)別人、讀 取表情以后的處理。本發(fā)明正是鑒于上述問(wèn)題，其目的在于提供一種即使在戴眼鏡的駕駛 員朝向橫向的情況下、也能夠檢測(cè)面部中心位置的面部中心位置檢測(cè)裝 置、面部中心位置檢測(cè)方法及程序。
為了實(shí)現(xiàn)上述目的，本發(fā)明的面部中心位置檢測(cè)裝置，其特征在于具
備面部圖像存儲(chǔ)部，其用于存儲(chǔ)對(duì)面部進(jìn)行拍攝而得到的面部圖像；輪 廓判別部，其對(duì)在所述面部圖像存儲(chǔ)機(jī)構(gòu)中所存儲(chǔ)的面部圖像進(jìn)行處理， 并求出面部的左右方向的輪廓位置；眼鏡佩戴判別部，對(duì)于存儲(chǔ)在所述面 部圖像存儲(chǔ)部中的所述面部圖像的面部上是否戴著眼鏡進(jìn)行判別；橫向判 別部，用于判別在所述面部圖像存儲(chǔ)部中所存儲(chǔ)的所述面部圖像的面部是 否是橫向的；和中心位置檢測(cè)部，在所述眼鏡佩戴判別部判別出所述面部 圖像的面部上佩戴著眼鏡、所述橫向判別部判別出所述面部圖像的面部是 橫向的情況下，基于在所述面部圖像存儲(chǔ)部所中存儲(chǔ)的面部圖像中面部的 下部區(qū)域并且是由所述輪廓判別部所求出的輪廓位置之間的區(qū)域的圖像， 來(lái)檢測(cè)面部中心位置。
優(yōu)選所述眼鏡佩戴判別部對(duì)所述面部圖像中是否包含眼鏡的腿的圖 像進(jìn)行判別，在判別為所述面部圖像中包含眼鏡的腿的圖像時(shí)、判別為所 述面部圖像的面部上佩戴著眼鏡
另外，在所述面部中心位置檢測(cè)裝置中，也可以所述橫向判別部具備 判別在所述面部圖像中是否包含眼鏡的腿的圖像的機(jī)構(gòu)，和在用該機(jī)構(gòu)判 別出所述面部圖像中包含腿的圖像的情況下，判別所述面部處于橫向的機(jī) 構(gòu)。
進(jìn)而，在所述面部中心位置檢測(cè)裝置中，也可以所述中心位置檢測(cè)部 基于所述面部圖像中、比眼鏡更下部的區(qū)域的圖像、并且是位于所述左右 方向的輪廓位置之間的區(qū)域的圖像來(lái)檢測(cè)面部的左右方向的中心位置。
另外，在所述面部中心位置檢測(cè)裝置中，也可以所述中心位置檢測(cè)部 還具備檢測(cè)面部的上下方向的中心位置的上下方向中心位置檢測(cè)機(jī)構(gòu)，所 述上下方向中心位置檢測(cè)機(jī)構(gòu)具備眼部區(qū)域圖像存儲(chǔ)機(jī)構(gòu)，其存儲(chǔ)標(biāo)準(zhǔn) 的眼部區(qū)域的圖像；合成機(jī)構(gòu)，其在所述面部圖像的眼部區(qū)域中合成在所 述眼部區(qū)域圖像存儲(chǔ)機(jī)構(gòu)中所存儲(chǔ)的眼部區(qū)域的圖像；以及用于基于在所 述合成機(jī)構(gòu)中合成的圖像來(lái)檢測(cè)上下方向的面部中心位置的機(jī)構(gòu)。此外，所述中心位置檢測(cè)部可被配置成結(jié)構(gòu)也可以為基于在所述面 部圖像存儲(chǔ)部中存儲(chǔ)的面部圖像中的、面部下部區(qū)域并且是由所述輪廓判 別部所求得的輪廓位置之間的區(qū)域的圖像來(lái)檢測(cè)假定的面部中心位置，進(jìn) 一步基于該假定的面部中心位置來(lái)設(shè)定面部中心檢索區(qū)域，從該面部中心 檢索區(qū)域中再次檢測(cè)面部中心位置
進(jìn)而，也可以所述中心位置檢測(cè)部以所述假定面部中心位置為中心， 按照使左端位置的坐標(biāo)與右端位置的坐標(biāo)左右對(duì)稱的方式，設(shè)定所述面部 中心檢索區(qū)域。
另外，本發(fā)明的面部中心位置檢測(cè)方法，其特征在于具備面部圖像 存儲(chǔ)步驟，存儲(chǔ)對(duì)面部進(jìn)行拍攝而得到的面部圖像；輪廓判別步驟，對(duì)在 上述面部圖像存儲(chǔ)步驟中所存儲(chǔ)的面部圖像進(jìn)行處理，求出面部的左右方 向的輪廓位置；眼鏡佩戴判別步驟，對(duì)于在所述面部圖像存儲(chǔ)步驟中所存 儲(chǔ)的所述面部圖像的面部上是否佩戴著眼鏡進(jìn)行判別；橫向判別步驟，判 別在所述面部圖像存儲(chǔ)步驟中所存儲(chǔ)的所述面部圖像的面部是否是橫向 的；和中心位置檢測(cè)步驟，在所述眼鏡佩戴判別步驟中判別出所述面部圖 像的面部上佩戴著眼鏡、在所述橫向判別步驟中判別出所述面部圖像的面 部是橫向的情況下，基于在所述面部圖像存儲(chǔ)機(jī)構(gòu)中所存儲(chǔ)的面部圖像 中、面部的下部區(qū)域并且是由所述輪廓判別部所求出的輪廓位置之間的區(qū) 域的圖像，來(lái)檢測(cè)面部中心位置。
另外，本發(fā)明的程序讓計(jì)算機(jī)中執(zhí)行面部圖像存儲(chǔ)步驟，存儲(chǔ)對(duì)面 部進(jìn)行拍攝而得到的面部圖像；輪廓判別步驟，對(duì)在所述面部圖像存儲(chǔ)步 驟中所存儲(chǔ)的面部圖像進(jìn)行處理，并求出面部的左右方向的輪廓位置；眼 鏡佩戴判別步驟，對(duì)于在所述面部圖像存儲(chǔ)步驟中所存儲(chǔ)的所述面部圖像 的面部上是否戴著眼鏡進(jìn)行判別；橫向判別步驟，判別在所述面部圖像存 儲(chǔ)步驟所存儲(chǔ)的所述面部圖像的面部是否是橫向的；以及中心位置檢測(cè)步 驟，當(dāng)在所述眼鏡佩戴判別步驟中判別出所述面部圖像的面部上戴著眼 鏡，在所述橫向判別步驟中判別出所述面部圖像的面部是橫向的情況下， 基于在所述面部圖像存儲(chǔ)機(jī)構(gòu)中所存儲(chǔ)的面部圖像中的、面部的下部區(qū)域 且由所述輪廓判別機(jī)構(gòu)所求出的輪廓位置之間的區(qū)域的圖像，來(lái)檢測(cè)面部 中心位置。發(fā)明效果
通過(guò)根據(jù)本發(fā)明，即使是在戴眼鏡的駕駛員將面部朝向橫向時(shí)，也能 夠正確地檢測(cè)出面部中心位置。


圖1是本發(fā)明實(shí)施方式所涉及的面部中心位置檢測(cè)裝置的框圖。
圖2是表示圖1所示計(jì)算機(jī)的構(gòu)成的框圖。
圖3A縱向邊緣是表示縱向邊緣檢測(cè)用算子(operator)的例子的圖。 圖3B是表示橫向邊緣檢測(cè)用算子的例子的圖。 圖3C是表現(xiàn)在縱向上連續(xù)的深淺差的例子的圖。 圖3D是表現(xiàn)在橫向上連續(xù)的深淺差的例子的圖。 圖3E是表示特定面部圖像的區(qū)域的數(shù)據(jù)的例子的圖。 圖3F是表示用于檢測(cè)眼鏡的腿的數(shù)據(jù)的例子的圖。 圖4是用于說(shuō)明圖1所示面部中心位置檢測(cè)裝置的動(dòng)作的流程圖。 圖5是用于說(shuō)明圖4的預(yù)處理的具體例子的流程圖。 圖6是用于說(shuō)明圖4的面部位置判別處理的具體例子的流程圖。 圖7是用于說(shuō)明圖6的面部?jī)蓚?cè)檢測(cè)處理的具體例子的流程圖。 圖8是用于說(shuō)明圖6的面部上下位置檢測(cè)處理的具體例子的流程圖。 圖9是用于說(shuō)明圖4的面部中心位置檢測(cè)處理的具體例子的流程圖。 圖10A是示意性地例示二值化的面部圖像的圖。 圖10B是示意性地例示二值化的圖像的眼部區(qū)域的圖。 圖IOC是示意性地例示所剪切的面部下部區(qū)域的圖。 圖11是用于說(shuō)明圖9的眼鏡對(duì)策面部中心位置計(jì)算處理的具體例子 的流程圖。
圖12是用于說(shuō)明求取面部朝向右方時(shí)的面部圖像的面部下部區(qū)域A 的處理的圖。
圖13是用于說(shuō)明求取面部朝向右方時(shí)的面部圖像的面部中心檢索區(qū) 域C的處理的圖。
圖14是用于說(shuō)明求取面部朝向左方時(shí)的面部圖像的面部下部區(qū)域A 的處理的圖。圖15是用于說(shuō)明求取面部朝向左方時(shí)的面部圖像中的面部中心檢索 區(qū)域C的處理的圖。 標(biāo)記說(shuō)明 IO相機(jī)
22圖像存儲(chǔ)器(面部圖像存儲(chǔ)機(jī)構(gòu))
23ROM (輪廓判別機(jī)構(gòu)、眼鏡佩戴判別機(jī)構(gòu)、橫向判別機(jī)構(gòu)、中心位 置檢測(cè)機(jī)構(gòu))
24CPU (輪廓判別機(jī)構(gòu)、眼鏡佩戴判別機(jī)構(gòu)、橫向判別機(jī)構(gòu)、中心位 置檢測(cè)機(jī)構(gòu))
具體實(shí)施例方式
以下，對(duì)本發(fā)明實(shí)施例方式所涉及的面部中心位置檢測(cè)裝置進(jìn)行說(shuō)明。
如圖1所示，本實(shí)施例方式的面部中心位置檢測(cè)裝置具備相機(jī)10， 拍攝駕駛員的面部并生成面部圖像；照明光源12，對(duì)駕駛員的面部進(jìn)行照 明；計(jì)算機(jī)14，檢測(cè)駕駛員的面部中心位置；和連接于計(jì)算機(jī)14的顯示 裝置16。
相機(jī)IO例如由CCD相機(jī)等構(gòu)成，獲得駕駛員面部的灰度圖像。相機(jī) IO所產(chǎn)生的面部圖像不僅僅是駕駛員面部，還包括其背景等。
顯示裝置16由LCD (Liquid Crystal Display,液晶顯示器)或者CRT (Cathode Ray Tube,陰極射線管)等構(gòu)成，用于顯示從相機(jī)10所拍攝的 面部圖像中生成的二值化圖像等。
計(jì)算機(jī)14是對(duì)由相機(jī)10所獲取的面部圖像進(jìn)行處理，以便檢測(cè)面部 的左右兩側(cè)位置及上下位置，在基于該檢測(cè)的左右兩側(cè)位置及上下位置來(lái) 求出面部下部區(qū)域中的面部假定中心位置之后，求出面部的中心位置的裝 置。如圖2所示，計(jì)算機(jī)14具備A/D轉(zhuǎn)換器21、圖像存儲(chǔ)器22、 ROM 23、 CPU24、 RAM25、顯示控制裝置27以及光源控制裝置28。
A/D (模/數(shù))轉(zhuǎn)換器21將相機(jī)IO所拍攝的模擬圖像信號(hào)轉(zhuǎn)換成數(shù)字
/士 口
圖像存儲(chǔ)器22存儲(chǔ)由相機(jī)10所生成的、經(jīng)A/D轉(zhuǎn)換器21數(shù)字化的圖像數(shù)據(jù)。
ROM 23存儲(chǔ)用于控制CPU 24的動(dòng)作的程序。另外，ROM 23還存儲(chǔ) 用于執(zhí)行如下所述的圖像處理的各種固定數(shù)據(jù)。
CPU 24通過(guò)執(zhí)行在ROM 23中所保存的程序，對(duì)由相機(jī)10所獲取的 面部圖像進(jìn)行處理，以便檢測(cè)面部?jī)蓚?cè)位置及上下位置，在基于該檢測(cè)的 兩側(cè)位置及上下位置來(lái)求出面部下部區(qū)域中的面部假定中心位置之后，求 出面部中心位置。
RAM 25的功能是作為CPU 24的工作區(qū)。
顯示控制裝置27在CPU 24的控制下控制顯示裝置16。
光源控制裝置28控制照明光源12的開(kāi)/關(guān)。
接下來(lái)，參考圖3A至圖3F說(shuō)明ROM 23中所保存的固定數(shù)據(jù)的例子。 首先，ROM23存儲(chǔ)了如圖3A、圖3B所示的縱向邊緣檢測(cè)用及橫向邊緣 檢測(cè)用索貝爾濾波器(sobelfilter)的算子。在本發(fā)明中，將在圖像中的垂直 方向上連續(xù)的邊界線稱作縱向邊緣，將在水平方向上連續(xù)的邊界線稱作橫 向邊緣。如圖3A、圖3B所示，所謂的縱向邊緣檢測(cè)用索貝爾濾波器與橫 向邊緣檢測(cè)用索貝爾濾波器分別是用于提取如圖3C、圖3D所示的在縱向 上連續(xù)的深淺差、在橫向上連續(xù)的深淺差的邊界(邊緣)的算子。
另外，如圖3E所示，ROM 23存儲(chǔ)了保存在RAM 25中的面部圖像 之中、用于特定假定為存在有眼睛和眉毛圖像的區(qū)域的數(shù)據(jù)，以及用于特 定比假想為存在有眼鏡和眉毛圖像的區(qū)域(或者存在眼鏡圖像的區(qū)域)更 下部的區(qū)域的即面部下部區(qū)域A的數(shù)據(jù)。
另夕卜，如圖3F所示，為了檢測(cè)眼鏡的腿，ROM23存儲(chǔ)了眼鏡的腿的 縱向尺寸。
接下來(lái)，說(shuō)明具備上述結(jié)構(gòu)的面部中心位置檢測(cè)裝置的動(dòng)作。 當(dāng)電源投入時(shí)，計(jì)算機(jī)14內(nèi)的CPU24就反復(fù)執(zhí)行如圖4中所示的處理。
艮口， CPU24反復(fù)執(zhí)行由預(yù)處理(步驟S01)和面部位置判別(檢測(cè)) 處理(步驟S02)、面部中心位置檢測(cè)處理(步驟S03)構(gòu)成的處理。
用于構(gòu)成圖4所示處理的預(yù)處理(步驟S01 )和面部位置判別處理(步 驟S02)，就是用于求出駕駛員的左右方向和上下方向的面部的位置(坐標(biāo))的處理。 '
面部中心位置檢測(cè)處理(步驟S03)是用于檢測(cè)駕駛員的面部中心位 置的處理。
如圖5所示，預(yù)處理(步驟SOl)由捕獲處理(步驟SOll)、坐標(biāo)變 換處理(步驟S012)、和索貝爾濾波處理(步驟S013)構(gòu)成。
捕獲處理(步驟S011)是經(jīng)由A/D轉(zhuǎn)換器21獲取相機(jī)10拍攝的駕 駛員的l幀面部圖像、并存儲(chǔ)于圖像存儲(chǔ)器22中的處理。
坐標(biāo)變換處理(步驟S012)是按可處理的程度進(jìn)行像素的間隔提取的 處理。
索貝爾濾波處理(步驟S013)是下面這樣的處理，即采用在ROM23 中所保存的縱向邊緣檢測(cè)用索貝爾濾波器(圖3A)來(lái)處理坐標(biāo)變換后的 面部圖像、并進(jìn)行強(qiáng)化面部圖像內(nèi)的縱向邊緣的處理，另外，或采用橫向 邊緣檢測(cè)用索貝爾濾波器(圖3B)來(lái)處理坐標(biāo)變換后的面部圖像，并進(jìn) 行強(qiáng)化面部圖像內(nèi)的橫向邊緣的處理。
圖4的面部位置判別處理(步驟S02)是采用預(yù)處理完的面部圖像來(lái) 檢測(cè)面部的左右兩側(cè)位置與上下位置的處理，如圖6所示，由面部?jī)蓚?cè)檢 測(cè)處理(步驟S021)和面部上下位置檢測(cè)處理(步驟S022)構(gòu)成。
面部?jī)蓚?cè)檢測(cè)處理(步驟S021)是針對(duì)用縱向邊緣檢測(cè)用算子來(lái)對(duì)面 部圖像進(jìn)行操作后的面部圖像來(lái)特定構(gòu)成面部?jī)蓚?cè)的線的處理，可以采用 任何已知的方法。
例如，如圖7所示，迸行面部?jī)蓯艡z測(cè)用的直方圖生成處理(步驟 S0211)。接下來(lái)，提取規(guī)定數(shù)目的此直方圖的峰值中較高的值，對(duì)其進(jìn)行 排序(步驟S0212)，基于直方圖值，進(jìn)行端點(diǎn)提取(步驟S0213)。例如， 將直方圖值的高位1位或者2位與其它的進(jìn)行比較，在值非常最大時(shí)，將 該點(diǎn)作為端點(diǎn)。
然后，判別是否提取了2個(gè)(兩側(cè))端點(diǎn)(步驟S0214)。如果提取了 2個(gè)(步驟S0214;是)，則進(jìn)行將所提取的2個(gè)點(diǎn)確定為面部?jī)蓚?cè)(x坐 標(biāo))的處理(步驟S0216)。另一方面，如果不能提取2個(gè)端點(diǎn)(步驟S0214; 否)，則通過(guò)將2點(diǎn)的距離作為人面部寬度，來(lái)提取具有似乎正確的間隔 的組合，來(lái)決定端點(diǎn)(步驟S0215)，最終進(jìn)行確定面部?jī)蓚?cè)(x坐標(biāo))的處理(步驟S0216)。
另夕卜，也可以如特開(kāi)2004-310396號(hào)公報(bào)中所公開(kāi)的那樣，計(jì)算拍攝 圖像的時(shí)間微分，進(jìn)而將此像素值時(shí)間微分圖像的像素值在縱向上投影以 生成直方圖，將邊緣部提取圖像的直方圖與像素值時(shí)間微分圖像的直方圖 合并，在提取直方圖的峰值中較高的值的同時(shí)，確定作為人面部寬度的似 乎正確的點(diǎn)，以便檢測(cè)面部?jī)蓚?cè)的位置。
然后，圖6的步驟S022的面部上下位置檢測(cè)處理，對(duì)橫邊進(jìn)行與以 上相同的處理、是以便檢測(cè)出面部的大概的眉毛位置(上端)和嘴位置(下 端)的處理，例如，如圖8所示，由直方圖生成處理(步驟S0221)、眼部 以下候補(bǔ)檢測(cè)處理(步驟S0222)、及面部上下位置計(jì)算處理(步驟S0233) 構(gòu)成。
直方圖生成處理(步驟S0221)是將應(yīng)用了橫向邊緣檢測(cè)用索貝爾濾 波器的索貝爾濾器處理后的各個(gè)像素的值投影到橫方向上以生成直方圖 的處理。
眼部以下候補(bǔ)檢測(cè)處理(步驟S0222)是基于直方圖值選擇與眼、眉、 嘴等相對(duì)應(yīng)的直方圖值的候補(bǔ)的處理。
面部上下位置計(jì)算處理(步驟S0223)是從所選候補(bǔ)中檢測(cè)面部的上 下端位置(y坐標(biāo))(例如眼、眉的位置)的處理。此外，面部上端位置(y 坐標(biāo))例如可被設(shè)定在為距所檢測(cè)的眉毛以上3像素以上的位置，下端位 置被設(shè)定在為距所檢測(cè)的嘴以下3像素以下的位置(嘴和下顎之間)等。
CPU 24將如上所述在步驟S021和S022所求得的面部?jī)蓚?cè)(左右側(cè) 端)位置(x坐標(biāo))和面部上下位置(y坐標(biāo))存儲(chǔ)在RAM25中。
然后，圖4的面部中心位置檢測(cè)處理(步驟S03)例如具有如圖9所 示的構(gòu)成。
首先，CPU 24以任意的閾值為基準(zhǔn)對(duì)構(gòu)成RAM 25中所保存的面部 圖像的各個(gè)像素的灰度等級(jí)進(jìn)行二值化(步驟S122D。作為閾值例如可以 采用形成面部圖像的全部像素的平均值。由此，例如，產(chǎn)生像圖10A中示 意性地來(lái)例示這樣的駕駛員的二值化面部圖像。
接下來(lái)，CPU 24在對(duì)二值化圖像上進(jìn)行眼部區(qū)域圖像剪切處理(步 驟S1222)。在此眼部區(qū)域圖像剪切處理過(guò)程中，CPU 24首先從ROM 23中讀取 區(qū)域指定數(shù)據(jù)(圖3E所示yl、 y2)，所述區(qū)域指定數(shù)據(jù)用于定義面部圖 像中的、預(yù)定存在眼睛的區(qū)域。并且，如圖IOB所示那樣剪切與區(qū)域指定 數(shù)據(jù)相對(duì)應(yīng)的二值化圖像的眼部區(qū)域。
接下來(lái)，對(duì)于所剪切的眼部區(qū)域圖像，檢測(cè)白黑白橫向邊緣。
這里，所謂的白黑白邊緣不是簡(jiǎn)單地作為白、和黑邊界的邊緣，而是 從白到黑、再?gòu)暮诘桨鬃兓?、具有特定寬度的邊緣。其中，所謂的白黑 白橫向邊緣就是在橫向上延伸的邊界的意思。
CPU 24開(kāi)始白黑白橫向邊緣檢測(cè)處理(步驟S1223),根據(jù)如圖3F 所示的設(shè)定，在眼部區(qū)域圖像中，根據(jù)眼鏡的腿的尺寸在縱向上檢測(cè)1~3 像素(通常的眼睛是2 4像素)寬的黑色像素列。
檢測(cè)白黑白橫向邊緣的方法本身是任意的。例如，能夠采用這樣的方 法，不斷一面依次更新坐標(biāo)值y， 一面判別像素(x， y)的亮度，若亮度 從白向黑變化，則對(duì)黑色連續(xù)的數(shù)目進(jìn)行計(jì)數(shù)，判別在黑變白的時(shí)刻黑色 的連續(xù)數(shù)目是否是1~3，如果連續(xù)數(shù)目是1~3，則維持此像素，如果在該 范圍以外，則可以采用將這些像素變換成白色的方法。
然后，CPU24進(jìn)行判別是否有眼鏡的腿的處理(步驟S1224)。當(dāng)CPU 24，在處理后的眼部區(qū)域圖像中得到縱向上的l-3像素的黑色區(qū)域的情況 下，判別為檢測(cè)到眼鏡的腿。
在步驟S1224當(dāng)沒(méi)有檢測(cè)到眼鏡的腿的情況下(步驟S1224;否)， 采用面部圖像求出面部的中心位置(重心位置)(步驟S1226)。中心的測(cè) 定方法本身是任意的，但是例如可以從下式中求出面部中心(重心)位置 的坐標(biāo)。
面部中心的x坐標(biāo)-Sxi/n xi:第i個(gè)黑色像素的x坐標(biāo)值 面部中心的y坐標(biāo)-2yi/n yi:第i個(gè)黑色像素的y坐標(biāo)值 i:l n n是黑色像素的總數(shù)
此外，也可以僅從面部主要部分的(眉、眼、鼻、口)的圖像中求得 中心位置。
另一方面，當(dāng)判別存在眼鏡的腿時(shí)(步驟S1224;是)，由于佩戴眼鏡 的駕駛員處于朝向橫方向的狀態(tài)，所以在求出面部中心位置之前對(duì)圖像進(jìn)行加工，以便正確地求出面部中心位置(步驟S1225)。這是因?yàn)椋魧?duì)包 含眼鏡的面部圖像照原樣進(jìn)行那樣的處理，則可以去除對(duì)于在求取面部中 心位置時(shí)所采用的構(gòu)成橫向邊緣的各像素平均值帶來(lái)的不好影響的值。
此眼鏡對(duì)策面部中心位置計(jì)算處理(步驟S1225)例如具有如圖11 所示的構(gòu)成。 '
首先，CPU24求出在圖3E中所示的面部下部區(qū)域A (步驟S2001)。 求出具體的面部下部區(qū)域A的方法是任意的，例如可以采利用在初始處理 中所計(jì)算出的面部?jī)蓚?cè)位置(x坐標(biāo))、面部上下位置(y坐標(biāo))。此面部 兩側(cè)位置(x坐標(biāo))在圖12的駕駛員面部的圖中顯示出時(shí)，對(duì)應(yīng)于面部的 兩側(cè)位置坐標(biāo)a、 b，面部上下位置(y坐標(biāo))在圖12中顯示出時(shí)，對(duì)應(yīng) 于面部上下位置坐標(biāo)c、 e。 CPU 24為了計(jì)算面部下部區(qū)域A，首先求出 坐標(biāo)c和坐標(biāo)e的中心坐標(biāo)d。并且，將包含在所求出的坐標(biāo)d和坐標(biāo)e 之間的范圍及坐標(biāo)a和坐標(biāo)b之間的范圍中的區(qū)域作為面部下部區(qū)域A， 進(jìn)行如圖IOC所示的剪切。
返回到圖11的流程圖，CPU24然后采用所剪切的面部下部區(qū)域A的 二值化圖像，計(jì)算x軸上的假定面部中心位置B (步驟S2002)。中心的測(cè) 定方法本身是任意的，例如可從下式中求出面部的x軸方向的中心(重心) 位置的坐標(biāo)。
面部中心的x坐標(biāo)-2xi/nxi:第i個(gè)黑色像素的x坐標(biāo)的值
i: 1 n n是面部下部區(qū)域A中的黑色像素的總數(shù)
接下來(lái)，CPU24求出面部中心檢索區(qū)域C，所述面部中心檢索區(qū)域C 用于最終求出更正確的面部中心位置。通過(guò)在面部中心檢索區(qū)域C內(nèi)求出 面部中心位置，可以求出更正確的面部中心位置。
為此，首先，CPU 24判別駕駛員的面部是朝向右還是朝向左(步驟 S2003)。作為判別駕駛員的面部是朝向右還是朝向左的方法，例如判別x 軸的假定面部中心位置B是否大于左右兩側(cè)位置的中心(a+b)/2。這里，當(dāng) 判別B>(a+b)/2不成立時(shí)(步驟S2003;否)，面部朝向右，所以結(jié)合這一 點(diǎn)來(lái)求出面部左側(cè)位置的坐標(biāo)a、面部右側(cè)位置的坐標(biāo)e、面部上側(cè)位置 的坐標(biāo)Y、面部下側(cè)位置的坐標(biāo)S (步驟S2005)。具體地說(shuō)，設(shè)a-a、 e =b-(b-B)-(B-a)、 Y=c、 S=e，面部中心檢索區(qū)域C即由圖為在圖13的粗框中所圍成的區(qū)域。
另一方面，當(dāng)判別為B>(a+b)/2成立時(shí)(步驟S2003;是)，如圖14 所示那樣面部朝向左，所以結(jié)合這一點(diǎn)來(lái)求出面部左側(cè)位置的坐標(biāo)a、面 部右側(cè)位置的坐標(biāo)P 、面部上側(cè)位置的坐標(biāo)Y 、面部下側(cè)位置的坐標(biāo)S (步 驟S2004)。具體地，設(shè)a =a+(B-a)-(b-B)、 P =b、 Y=c、 S=e，面部中心 檢索區(qū)域C即為在由圖15的粗框所中圍成的區(qū)域。
通過(guò)以上在步驟S2003 S2005的處理，以在步驟S2002所求出的假定 面部中心位置B為中心，按照使左側(cè)位置的坐標(biāo)a與右側(cè)位置的坐標(biāo)e左 右對(duì)稱的方式求出面部中心檢索區(qū)域C。
求出面部中心檢索區(qū)域C之后，CPU 24在所求出的面部中心檢索區(qū) 域C內(nèi)求出上下方向的面部的中心位置(重心位置)(步驟S2006)。中心 的測(cè)定方法本身是任意的，例如可從下式中求出面部的中心(重心)位置 的坐標(biāo)。
面部中心的x坐標(biāo)-Sxi/nxi:第i個(gè)黑色像素的x坐標(biāo)值 面部中心的y坐標(biāo)-2yi/nyi:第i個(gè)黑色像素的y坐標(biāo)值 i: l nn是面部中心檢索區(qū)域C內(nèi)的黑色像素的總數(shù) 以上求出了面部中心位置，且圖U的眼鏡對(duì)策面部中心位置計(jì)算處
理(步驟S1225)結(jié)束，接下來(lái)，圖9的面部中心位置檢測(cè)處理(步驟S03)
結(jié)束。也就是說(shuō)通過(guò)該處理，求出了面部中心位置，圖4的處理結(jié)束。 之后，CPU 24反復(fù)執(zhí)行圖4的處理，連續(xù)求出駕駛員的面部中心位
置。另外，所求得的面部中心位置被存儲(chǔ)于RAM25中，之后可用于期望
的處理中。
通過(guò)以上的處理，本實(shí)施方式所涉及的面部中心位置檢測(cè)裝置，即便 在戴眼鏡的駕駛員朝向橫方向時(shí)，也能夠正確地檢測(cè)出面部中心位置。 此外，本發(fā)明不限于上述實(shí)施方式，也可以應(yīng)用有各種改變及應(yīng)用。 例如，在上述實(shí)施方式中，雖然眼部區(qū)域被固定于圖像的特定位置處， 但是也可以使眼部區(qū)域與面部圖像的尺寸和位置相對(duì)應(yīng)、適當(dāng)?shù)卦O(shè)定眼部 區(qū)域的位置。這種情況下，例如，也可以應(yīng)用橫向邊緣索貝爾濾波器，判 別面部上的眼睛和眉毛的位置，并將包含其此范圍的特定尺寸的范圍作為 眼部區(qū)域。另外，在上述實(shí)施例方式中，雖然是從眼睛和眉毛(或者眼睛)與鼻 子、嘴的灰度等級(jí)圖像中求出面部的中心(重心)位置，但是在中心位置 判別中所采用的面部的部分(部分眼鏡的腿)是任意的。例如，也可以加 上耳朵、面部頰、頭發(fā)等來(lái)求出中心。
在上述實(shí)施例方式中，雖然本發(fā)明為了檢測(cè)面部中心位置而示出了用 于檢測(cè)有無(wú)眼鏡的腿的實(shí)施例方式、但是也不限于此，可以采用是太陽(yáng)鏡 的鏡腿，也可以檢測(cè)其他首飾等的有無(wú)。
另外，在上述實(shí)施方式中，上下方向的面部中心位置與圖像上的眼鏡 的有無(wú)沒(méi)有關(guān)系，是從用于構(gòu)成縱向邊緣的各個(gè)像素的平均值中求得的。 但是，在圖像上有眼鏡的情況下，也可以在修正圖像之后，求出更正確的 上下方向的面部的中心位置。
具體地說(shuō)，例如，當(dāng)在眼部區(qū)域圖像中得到了2個(gè)縱方向上的1~3像 素的黑色區(qū)域的情況下，CPU24就可判別為檢測(cè)到了眼鏡。
在判別為有眼鏡的情況下，將其存儲(chǔ)在圖像存儲(chǔ)器22或者ROM 23 中，將預(yù)先準(zhǔn)備的標(biāo)準(zhǔn)的眼部區(qū)域圖像與從原來(lái)的二值化圖像中去除眼部 區(qū)域的圖像合成，以產(chǎn)生中心位置檢測(cè)用的面部圖像。此外，也可以判別 眼鏡的位置，然后調(diào)整所合成的眼睛的位置。
接下來(lái)，采用所合成的面部圖像，求出面部中心位置(面部位置、重 心位置)。中心的測(cè)定方法本身是任意的。
參考圖l、圖2來(lái)說(shuō)明的系統(tǒng)結(jié)構(gòu)也是一個(gè)例子，可以進(jìn)行任意的改 變。例如，如果相機(jī)10采用以近紅外線來(lái)捕捉圖像的紅外線相機(jī)，則不 受人種、皮膚、和頭發(fā)的顏色的影響也能夠比較正確地得到的面部各部分 的圖像。
另外，如果能夠?qū)崿F(xiàn)與上述流程圖相同的功能，則可以進(jìn)行任意的改變。
例如，當(dāng)?shù)玫揭?guī)定次數(shù)以上的眼鏡的腿圖像時(shí)，也可以進(jìn)行眼鏡對(duì)策 處理。
另外，在本發(fā)明中，白黑白邊緣是用于表現(xiàn)灰度等級(jí)的差異的，作為 顏色不限于黑色和白色，顏色可以是任意的色相可以是任意的。關(guān)于有色 圖像，也可以考慮各個(gè)像素的色相來(lái)判別有無(wú)眼鏡的腿。在上述各個(gè)實(shí)施方式中，雖然在對(duì)駕駛員進(jìn)行拍攝以檢測(cè)眼鏡的腿的 情況下可適用本發(fā)明，但是本發(fā)明不限于此，可以廣泛地適用于在任意的 場(chǎng)面下判別人類、動(dòng)物、木偶、機(jī)器人等是否在身上佩戴了眼鏡或首飾的 處理。
本發(fā)明不限于對(duì)用相機(jī)所獲得的圖像進(jìn)行處理的情況，例如，可用于 對(duì)在其他場(chǎng)所拍攝的一個(gè)或多個(gè)面部圖像中的每一個(gè)來(lái)判別眼鏡的腿的 有無(wú)、面部的中心位置、面部的朝向等。
另外，可以將用于在計(jì)算機(jī)中執(zhí)行上述處理的計(jì)算機(jī)程序，經(jīng)由任意
的記錄介質(zhì)和網(wǎng)絡(luò)而被保存于ROM中。
在本實(shí)施方式中，圖像存儲(chǔ)器22構(gòu)成了面部圖像存儲(chǔ)機(jī)構(gòu)。另外， ROM 23、 CPU24構(gòu)成了輪廓判別機(jī)構(gòu)、眼鏡佩戴判別機(jī)構(gòu)、橫向判別機(jī) 構(gòu)、中心位置檢測(cè)機(jī)構(gòu)、上下方向中心位置檢測(cè)機(jī)構(gòu)以及合成機(jī)構(gòu)。另外， 圖像存儲(chǔ)器22或者ROM23構(gòu)成了眼部區(qū)域圖像存儲(chǔ)機(jī)構(gòu)。
所公開(kāi)的實(shí)施方式不應(yīng)當(dāng)被看作所有方面都被限制于所例示的內(nèi)容。 本發(fā)明的范圍不是上述說(shuō)明的、而是如權(quán)利要求的范圍所示，也包括與權(quán) 利要求的范圍等同的含義及范圍內(nèi)的全部變更。
本申請(qǐng)基于2005年10月20日申請(qǐng)的日本專利申請(qǐng)2005-305189號(hào)。 本說(shuō)明書(shū)中通過(guò)參考而引入日本專利申請(qǐng)2005-305189的全部說(shuō)明書(shū)、權(quán) 利要求范圍、附圖。
工業(yè)實(shí)用性
根據(jù)本發(fā)明，例如在車(chē)輛駕駛者戴著眼鏡且不朝向正面的情況下，也 能夠檢測(cè)出面部圖像的面部中心位置。可用于采用面部圖像中的面部中心 位置，例如可以在算出面部朝向來(lái)識(shí)別駕駛者、讀取表情上利用。
權(quán)利要求
1.一種面部中心位置檢測(cè)裝置，其特征在于具備面部圖像存儲(chǔ)部，其存儲(chǔ)對(duì)面部進(jìn)行拍攝而得到的圖像；輪廓判別部，其對(duì)所述面部圖像存儲(chǔ)部中所存儲(chǔ)的圖像進(jìn)行處理，求出面部圖像的左右方向的輪廓位置；眼鏡佩戴判別部，其對(duì)于存儲(chǔ)在所述面部圖像存儲(chǔ)部中的所述圖像的面部上是否戴著眼鏡進(jìn)行判別；橫向判別部，其對(duì)所述面部圖像存儲(chǔ)部中所存儲(chǔ)的所述面部圖像的面部是否是橫向的進(jìn)行判別；和中心位置檢測(cè)部，其當(dāng)所述眼鏡佩戴判別部判別出所述面部圖像的面部上戴著眼鏡，且所述橫向判別部判別出所述面部圖像的面部是橫向的情況下，基于所述面部圖像存儲(chǔ)部所存儲(chǔ)的面部圖像中面部的下部區(qū)域并且是由所述輪廓判別部所求出的輪廓位置之間的區(qū)域的圖像，來(lái)檢測(cè)面部中心位置。
2. 如權(quán)利要求1所述的面部中心位置檢測(cè)裝置，其特征在于 所述眼鏡佩戴判別部對(duì)所述面部圖像中是否包含眼鏡腿的圖像進(jìn)行判別；在判別出所述面部圖像包含眼鏡腿的圖像的情況下，判別為所述面 部圖像的面部上佩戴著眼鏡。
3. 如權(quán)利要求1或2所述的面部中心位置檢測(cè)裝置，其特征在于 所述橫向判別部具備用于判別所述面部圖像中是否包含眼鏡腿的圖像的機(jī)構(gòu)，和在由該機(jī)構(gòu)判別出面部圖像中包含眼鏡腿的圖像的情況下， 判別所述面部是橫向的機(jī)構(gòu)。
4. 如權(quán)利要求1至3中任一項(xiàng)所述的面部中心位置檢測(cè)裝置，其特征在于.-所述中心位置檢測(cè)部基于作為所述面部圖像中比眼鏡更下部的區(qū)域 的圖像且位于所述左右方向的輪廓位置之間的區(qū)域的圖像來(lái)檢測(cè)面部的 左右方向的中心位置。
5. 如權(quán)利要求1至4中任一項(xiàng)所述的面部中心位置檢測(cè)裝置，其特征在于所述中心位置檢測(cè)部還具備檢測(cè)面部的上下方向的中心位置的上下 方向中心位置檢測(cè)機(jī)構(gòu)，所述上下方向中心位置檢測(cè)機(jī)構(gòu)具備 .眼部區(qū)域圖像存儲(chǔ)機(jī)構(gòu)，其用于存儲(chǔ)標(biāo)準(zhǔn)的眼部區(qū)域的圖像；合成機(jī)構(gòu)，其在所述面部圖像的眼部區(qū)域合成所述眼部區(qū)域圖像存儲(chǔ) 機(jī)構(gòu)中所存儲(chǔ)的眼部區(qū)域的圖像；以及基于在所述合成機(jī)構(gòu)中合成的圖像來(lái)檢測(cè)上下方向的面部的中心位 置的機(jī)構(gòu)。
6. 如權(quán)利要求1至5中任一項(xiàng)所述的面部中心位置檢測(cè)裝置，其特征 在于所述中心位置檢測(cè)部基于所述面部圖像存儲(chǔ)部中所存儲(chǔ)的面部圖像 中、面部的下部區(qū)域且由所述輪廓判別部求得的輪廓位置之間的區(qū)域的圖 像來(lái)檢測(cè)假定面部中心位置，進(jìn)而基于該假定的面部中心位置來(lái)設(shè)定面部 中心檢索區(qū)域，從該面部中心檢索區(qū)域中再次檢測(cè)面部的中心位置。
7. 如權(quán)利要求6所述的面部中心位置檢測(cè)裝置，其特征在于 所述中心位置檢測(cè)部以所述假定的面部中心位置為中心，按照使左端位置的坐標(biāo)與右端位置的坐標(biāo)左右對(duì)稱的方式，設(shè)定所述面部中心檢索區(qū) 域。
8. —種面部中心位置檢測(cè)方法，其特征在于具備 面部圖像存儲(chǔ)步驟，存儲(chǔ)對(duì)面部進(jìn)行拍攝而得到的面部圖像； 輪廓判別步驟，對(duì)在所述面部圖像存儲(chǔ)步驟中存儲(chǔ)的面部圖像進(jìn)行處理，求出面部左右方向的輪廓位置；眼鏡佩戴判別步驟，對(duì)于在所述面部圖像存儲(chǔ)步驟中存儲(chǔ)的所述面部 圖像的面部上是否佩戴著眼鏡進(jìn)行判別；橫向判別步驟，判別在所述面部圖像存儲(chǔ)步驟中存儲(chǔ)的所述面部圖像 的面部是否是橫向的；和中心位置檢測(cè)步驟，當(dāng)在所述眼鏡佩戴判別步驟中判別出所述面部圖 像的面部上戴著眼鏡，且在所述橫向判別步驟中判別出所述面部圖像的面 部是橫向的情況下，基于所述面部圖像存儲(chǔ)機(jī)構(gòu)中所存儲(chǔ)的面部圖像中、 面部的下部區(qū)域且由所述輪廓判別機(jī)構(gòu)求出的輪廓位置之間的區(qū)域的圖像，來(lái)檢測(cè)面部的中心位置。
9. 一種程序，讓計(jì)算機(jī)執(zhí)行面部圖像存儲(chǔ)步驟，存儲(chǔ)對(duì)面部進(jìn)行拍攝而得到的面部圖像；輪廓判別步驟，對(duì)在所述面部圖像存儲(chǔ)步驟中存儲(chǔ)的面部圖像進(jìn)行處 理，求出面部的左右方向的輪廓位置；眼鏡佩戴判別步驟，對(duì)于在所述面部圖像存儲(chǔ)步驟中所存儲(chǔ)的所述面 部圖像的面部上是否佩戴著眼鏡進(jìn)行判別；橫向判別步驟，判別在所述面部圖像存儲(chǔ)步驟中存儲(chǔ)的所述面部圖像 的面部是否是橫向的；和中心位置檢測(cè)步驟，當(dāng)在所述眼鏡佩戴判別步驟中判別出所述面部圖 像的面部上戴著眼鏡，且在所述橫向判別步驟中判別出所述面部圖像的面 部是橫向的情況下，基于在所述面部圖像存儲(chǔ)機(jī)構(gòu)中存儲(chǔ)的面部圖像中 的、面部的下部區(qū)域且由所述輪廓判別機(jī)構(gòu)求出的輪廓位置之間的區(qū)域的 圖像，來(lái)檢測(cè)面部中心位置。
全文摘要
基于人物圖像，即使在這個(gè)人戴著眼鏡并且朝向橫向的情況下也能夠正確地檢測(cè)出面部中心位置。將用相機(jī)(10)對(duì)駕駛員的面部進(jìn)行拍攝所得到的面部圖像存儲(chǔ)于圖像存儲(chǔ)器(22)中。CPU(24)，根據(jù)存儲(chǔ)在圖像存儲(chǔ)器(22)中的面部圖像，判別面部的兩側(cè)位置和上下位置。并且，CPU(24)，判別駕駛員是否戴著眼鏡并且朝向橫向判別駕駛員是否戴著眼鏡、朝向橫向，在判定為戴著眼鏡且朝向橫向的情況下，采用面部下部區(qū)域的面部圖像，檢測(cè)面部中心位置。由此，即使在戴著眼鏡的駕駛員朝向橫向的情況下也能夠正確地檢測(cè)出面部中心位置。
文檔編號(hào)G06T7/60GK101310161SQ20068003879
公開(kāi)日2008年11月19日 申請(qǐng)日期2006年10月19日 優(yōu)先權(quán)日2005年10月20日
發(fā)明者內(nèi)藤剛, 大上健一, 春日井純也, 石黑博, 魚(yú)住重康 申請(qǐng)人:愛(ài)信精機(jī)株式會(huì)社;豐田自動(dòng)車(chē)株式會(huì)社