專利名稱:特定被攝體檢測(cè)裝置的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及應(yīng)用在從所拍攝的圖像中檢測(cè)出在該圖像中所包含的人 物、動(dòng)物及物體等的特定的被攝體或被攝體的一部分的裝置及方法等中 的有效的技術(shù)。
背景技術(shù):
作為以往的技術(shù),有從所拍攝的圖像中檢測(cè)出在該圖像中所包含的 人物、動(dòng)物及物體等的特定的被攝體或被攝體的一部分的技術(shù)。作為這 樣的以往技術(shù)的例子,有從所拍攝的圖像中檢測(cè)出人物的面部的技術(shù)(參 照非專利文件l)。在非專利文件l中,使特定的矩形(以下稱為「面部判斷矩形」)在 成為處理對(duì)象的圖像內(nèi)移動(dòng),判斷在各移動(dòng)地點(diǎn)的面部判斷矩形內(nèi)(以 下稱為「注目區(qū)域」)是否包含人物的面部。圖14為表示面部判斷矩形 的例子(面部判斷矩形P1)圖。結(jié)合圖14對(duì)采用了面部判斷矩形P1的 人物的面部的檢測(cè)處理進(jìn)行說(shuō)明。面部判斷矩形P1在其矩形內(nèi)包含多個(gè)其他的矩形(以下稱為「第一 矩形」,「第二矩形」)P2、 P3。第一矩形P2、第二矩形P3被分別配置在 面部判斷矩形P1內(nèi)的規(guī)定的位置上。在一個(gè)面部判斷矩形P1內(nèi)分別配 置有一個(gè)以上的第一矩形P2和第二矩形P3。在面部的檢測(cè)處理中,計(jì)算出被各注目區(qū)域的第一矩形P2及第二矩 形P3分別所包圍的區(qū)域(以下分別稱為「第一特征區(qū)域」,「第二特征區(qū) 域」)的特征量。所謂第一特征區(qū)域及第二特征區(qū)域的特征量,例如是表
示各區(qū)域內(nèi)的像素值的平均值。接下來(lái),計(jì)算出第一特征區(qū)域的特征量La和第二特征區(qū)域的特征量 Lb的差量。然后,根據(jù)該差量值是否大于預(yù)先設(shè)定的閾值a,來(lái)判斷在 注目區(qū)域內(nèi)是否包含人物的面部。通過(guò)采用了樣品圖像的學(xué)習(xí)來(lái)求得閾 值cu在實(shí)際的處理中,此種面部判斷矩形對(duì)所準(zhǔn)備的多個(gè)圖形分別實(shí)施 判斷。在各圖形中,第一矩形P2和第二矩形P3的數(shù)量及位置分別不同。 這樣,以各自的判斷結(jié)果為基準(zhǔn),對(duì)在注目區(qū)域內(nèi)是否包含人物的面部 進(jìn)行最終判斷。另外,在專利文件1中也采用這樣通過(guò)對(duì)第一特征區(qū)域和第二特征 區(qū)域的特征量計(jì)算出差量來(lái)檢測(cè)人物的面部的技術(shù)。專利文件1
特開(kāi)2000—123148非專利文件1
Paul Viola, Michael Jones, " Robust Real—time Object Detection ", SECOND INTERNATIONAL WORKSHOP ON STATISTICAL AND COMPUTATIONAL THEORIES OF VISION —CANADA, JULY 13, 2001.圖像的人物面部的檢測(cè),通過(guò)應(yīng)用采用了上述那樣的面部判斷矩形 PI的方法,提高了其精確度,但是,目前,檢測(cè)圖像中的人物的面部的 處理,由于要在移動(dòng)電話機(jī)等的技術(shù)規(guī)格不太高的裝置中求得實(shí)時(shí)的動(dòng) 作,因而就要求提高處理速度。另外,也仍要求提高圖像的人物的面部 檢測(cè)的精確度。發(fā)明內(nèi)容本發(fā)明的目的在于解決上述的問(wèn)題,提供一種對(duì)在圖像中的某個(gè) 注目區(qū)域內(nèi)是否包含人物的面部的判斷處理中實(shí)現(xiàn)高速化及高精度化的〔第一方式〕為了解決上述問(wèn)題,本發(fā)明采用如下的結(jié)構(gòu)。本發(fā)明的第一方式為 特定被攝體檢測(cè)裝置,其具有存儲(chǔ)裝置、計(jì)算裝置及判斷裝置。存儲(chǔ)裝置用于存儲(chǔ)對(duì)應(yīng)多個(gè)各特征量所準(zhǔn)備的各判斷值。在以下所 說(shuō)的判斷值,是指在判斷裝置的判斷處理時(shí)所采用的值。所謂判斷值, 例如在通過(guò)計(jì)算裝置計(jì)算出所對(duì)應(yīng)的特征量的情況下,為表示在注目區(qū) 域內(nèi)包含特定的被攝體的可能性是大還是小的值。計(jì)算裝置計(jì)算出注目區(qū)域內(nèi)的特征量。在以下所說(shuō)的注目區(qū)域,是 指被判斷是否包含特定的被攝體的區(qū)域。即,所謂注目區(qū)域,為表示成 為特定被攝體檢測(cè)裝置的處理對(duì)象的區(qū)域。另外,所謂特征量,為根據(jù) 注目區(qū)域所包含的像素的狀態(tài)所決定的值。例如,為注目區(qū)域內(nèi)的所有 像素或一部分像素的像素值的平均值、合計(jì)值、離差等。判斷裝置在存儲(chǔ)裝置所存儲(chǔ)的判斷值中,以對(duì)應(yīng)計(jì)算裝置所計(jì)算出 的特征量的判斷值為基準(zhǔn),來(lái)判斷在注目區(qū)域內(nèi)是否包含特定的被攝體。 例如,在對(duì)應(yīng)所計(jì)算出的特征量的判斷值為表示在注目區(qū)域內(nèi)包含特定 的被攝體的可能性大的值的情況下,判斷裝置就判斷為在注目區(qū)域內(nèi)包 含特定的被攝體。在這樣所構(gòu)成的本發(fā)明的第一方式中,將在判斷裝置的判斷處理所 釆用的判斷值作為對(duì)應(yīng)每個(gè)特征量的值存儲(chǔ)到存儲(chǔ)裝置內(nèi)。因此,和以 往那樣根據(jù)一個(gè)閾值來(lái)將特征量和判斷值對(duì)應(yīng)起來(lái)的情況相比,可以更 準(zhǔn)確地將判斷值和特征量對(duì)應(yīng)起來(lái)。因而,判斷裝置對(duì)于被給予的各特 征量,可以更準(zhǔn)確地判斷在注目區(qū)域內(nèi)是否包含特定的被攝體。該第一方式也可以進(jìn)行以下那樣的變形。即,第1變形方式具有 參照對(duì)圖像進(jìn)行部分區(qū)域定義的區(qū)域圖形信息的裝置;根據(jù)上述區(qū)域圖形信息,通過(guò)實(shí)施規(guī)定的運(yùn)算來(lái)計(jì)算出上述圖像的特征量的運(yùn)算裝置;將對(duì)多個(gè)樣品圖像所計(jì)算出的特征量和被計(jì)算出其特征量的圖像所具有的屬性的判斷值組合存儲(chǔ)的判斷值存儲(chǔ)裝置;和根據(jù)對(duì)上述圖像所計(jì)算 出的特征量來(lái)判斷該圖像是否具有上述屬性的判斷裝置。該第1變形方式,將對(duì)多個(gè)樣品圖像所計(jì)算出的特征量和被計(jì)算出 其特征量的圖像所具有的屬性的判斷值組合存儲(chǔ)。例如,將對(duì)具有某個(gè) 屬性(特定被攝體的存在等)的樣品圖像所計(jì)算出的特征量和具有其屬 性的判斷值進(jìn)行存儲(chǔ)。另一方面,將對(duì)不具有某個(gè)屬性(特定被攝體的 存在等)的樣品圖像所計(jì)算出的特征量和不具有其屬性的判斷值進(jìn)行存 儲(chǔ)。對(duì)于多個(gè)樣品圖像,也可以事前將該特征量和判斷值的組合存儲(chǔ)到 上述判斷值存儲(chǔ)裝置內(nèi)。對(duì)于多個(gè)樣品圖像,也可以求得上述特征量的 次數(shù)分布。而且,也可以例如對(duì)具有某個(gè)屬性(特定被攝體的存在等) 的樣品圖像的次數(shù)在規(guī)定值以上的特征量的范圍、將表示具有其屬性的 判斷值進(jìn)行存儲(chǔ)。另外,也可以對(duì)不具有某個(gè)屬性(特定被攝體的存在 等)的樣品圖像的次數(shù)在規(guī)定值以上的特征量的范圍、將表示不具有其 屬性的判斷值進(jìn)行存儲(chǔ)。 〔第二方式〕本發(fā)明的第二方式為特定被攝體檢測(cè)裝置,具有存儲(chǔ)裝置、計(jì)算裝 置第一判斷裝置、控制裝置及第二判斷裝置。存儲(chǔ)裝置用于存儲(chǔ)對(duì)應(yīng)多個(gè)各特征量所準(zhǔn)備的各判斷值。存儲(chǔ)裝置所存儲(chǔ)的判斷值,也可以為兩個(gè)值(例如"o"或"r),也可以為實(shí)數(shù)。在 作為實(shí)數(shù)給予了判斷值的情況下,與作為兩個(gè)值所給予的情況相比,提 高了第一判斷裝置及第二判斷裝置的判斷處理的精確度。計(jì)算裝置通過(guò)多個(gè)不同的計(jì)算處理計(jì)算出在同一注目區(qū)域內(nèi)的特征 量。該多個(gè)不同的計(jì)算處理,例如也可以為被計(jì)算出的值的種類為不同(例如平均值、合計(jì)值、離差)的處理,在實(shí)施計(jì)算處理上的輸入也 可以為不同(例如將與注目區(qū)域內(nèi)的不同的部分區(qū)域有關(guān)的數(shù)據(jù)進(jìn)行 輸入)的處理。另外,被計(jì)算的值的種類及計(jì)算處理的輸入也可以為不 同的處理。第一判斷裝置以對(duì)應(yīng)計(jì)算裝置所計(jì)算出的特征量的判斷值為基準(zhǔn)計(jì) 算出得分,根據(jù)該得分來(lái)判斷在注目區(qū)域內(nèi)是否包含特定的被攝體。例 如,通過(guò)將與被計(jì)算出的特征量相對(duì)應(yīng)的多個(gè)判斷值進(jìn)行累積來(lái)計(jì)算出 得分,該得分為表示在注目區(qū)域內(nèi)包含特定的被攝體的可能性大的值的 情況下(例如、在超過(guò)規(guī)定的閾值的情況下),判斷裝置就判斷為在注目 區(qū)域內(nèi)包含特定的被攝體。
控制裝置通過(guò)將由計(jì)算裝置的不同計(jì)算處理所得到的多個(gè)特征量以 組的形式給予第一判斷裝置,從第一判斷裝置取得為了得到最終判斷的 充分的數(shù)量的判斷結(jié)果,因此,第一判斷裝置對(duì)于控制裝置所給予的組 所包含的多個(gè)特征量,從存儲(chǔ)裝置中分別讀出所對(duì)應(yīng)的判斷值,根據(jù)這 些判斷值計(jì)算出得分,從而判斷在注目區(qū)域內(nèi)是否包含特定的被攝體。 因此,第一判斷裝置導(dǎo)出多個(gè)判斷結(jié)果。各判斷結(jié)果沒(méi)有必要是相同的。另外,也可以通過(guò)控制裝置動(dòng)態(tài)地判斷所得到的判斷結(jié)果的數(shù)量是 否為得到最終判斷的充分的數(shù)量,也可以預(yù)先決定該數(shù)量。例如,也可 以通過(guò)執(zhí)行學(xué)習(xí)算法等及管理者的經(jīng)驗(yàn)感覺(jué)來(lái)預(yù)先設(shè)定為了得到最終判 斷的充分的判斷結(jié)果的數(shù)量。這時(shí),不僅可以預(yù)先設(shè)定數(shù)量、也可以預(yù) 先設(shè)定計(jì)算裝置所執(zhí)行的計(jì)算處理。另外,第一判斷裝置的判斷結(jié)果的數(shù)量越多,越可以提高最終判斷 的精確度,即第二判斷裝置的判斷的精確度。因此,所謂為了得到最終 判斷的充分的數(shù)量,為表示確保最終判斷的一定的精確度的必要的數(shù)量。第二判斷裝置根據(jù)控制裝置所取得的第一判斷裝置的多個(gè)判斷結(jié) 果,對(duì)在注目區(qū)域內(nèi)是否包含特定的被攝體進(jìn)行最終判斷。在象這樣所構(gòu)成的本發(fā)明的第二方式中,將第一判斷裝置的判斷處 理所采用的判斷值對(duì)應(yīng)每個(gè)特征量存儲(chǔ)到存儲(chǔ)裝置內(nèi)。因而,和以往那 樣根據(jù)一個(gè)閾值將特征量和判斷值對(duì)應(yīng)起來(lái)的情況相比,可以更準(zhǔn)確地 將判斷值和特征量相對(duì)應(yīng)。因此,可以提高判斷值的精確度,也可以提 高進(jìn)行采用該判斷值的處理的第一判斷裝置的處理結(jié)果的精確度。換言 之,第一判斷裝置以被給予的各特征量為基準(zhǔn),就可以更準(zhǔn)確地判斷在 注目區(qū)域內(nèi)是否包含特定的被攝體。另外,為了提高各判斷值的精確度,即使減少以組形式給予第一判 斷裝置的特征量的數(shù)量,即,即使減少在第一判斷裝置中所釆用的判斷 值的數(shù)量,也可以維持處理結(jié)果的精確度。其結(jié)果,通過(guò)維持第一判斷 裝置的處理結(jié)果的精確度,減少以組的形式所給予的特征量的數(shù)量,可 以實(shí)現(xiàn)高速化。另外,通過(guò)提高第一判斷裝置的判斷結(jié)果的精確度,即使減少第一
判斷裝置的判斷結(jié)果的數(shù)量,也可以確保最終判斷的精確度(第二判斷 裝置的判斷的精確度)。即,減少為了得到最終判斷的充分的數(shù)量,減少 第一判斷裝置的判斷處理的次數(shù)。因此,就可以縮短對(duì)注目區(qū)域內(nèi)是否 包含特定的被攝體進(jìn)行最終判斷所需要的時(shí)間。即,可以在不降低精確 度的情況下使檢測(cè)特定的被攝體的處理高速化。另外,第二方式的第一判斷裝置在作為新的組從控制裝置接收多個(gè) 特征量、計(jì)算新的得分時(shí),其結(jié)構(gòu)也可以為采用作為該新的組的多個(gè) 特征量的分別的多個(gè)判斷值以及在第一判斷裝置的判斷處理已經(jīng)完成的 組中所計(jì)算出的得分。在這樣結(jié)構(gòu)的情況下,在第一判斷裝置中,不僅在該組中所包含的 特征量的判斷值,而且在其他的組(第一判斷裝置的判斷處理已經(jīng)完成 的組)中的判斷值也對(duì)判斷處理產(chǎn)生影響。因此,可以提高第一判斷裝 置的處理的精確度。通過(guò)提高第一判斷裝置的判斷結(jié)果的精確度,即使 減少第一判斷裝置的判斷結(jié)果的數(shù)量,也可以確保最終判斷的精確度。 即,減少為了得到最終判斷的充分的數(shù)量,減少第一判斷裝置的判斷處 理的次數(shù)。因此,就可以縮短對(duì)注目區(qū)域內(nèi)是否包含特定的被攝體進(jìn)行 最終判斷所需要的時(shí)間。即,可以在不降低精確度的情況下使檢測(cè)特定 的被攝體的處理高速化。 〔第三方式〕本發(fā)明的第三方式為特定被攝體檢測(cè)裝置,具有存儲(chǔ)裝置、計(jì)算裝 置、第一判斷裝置、控制裝置及第二判斷裝置。存儲(chǔ)裝置將根據(jù)多個(gè)各特征量所準(zhǔn)備的各判斷值對(duì)多個(gè)不同的圖形 分別進(jìn)行存儲(chǔ)。因此,只要得到圖形和特征量,就可以據(jù)此決定判斷值。計(jì)算裝置根據(jù)多個(gè)分別不同的圖形,從圖像中計(jì)算出同一注目區(qū)域 內(nèi)的特征量。第一判斷裝置得到與計(jì)算裝置所采用的圖形和計(jì)算裝置所計(jì)算出的 特征量相對(duì)應(yīng)的判斷值。然后,以所得到的判斷值為基準(zhǔn),計(jì)算出得分, 根據(jù)該得分來(lái)判斷在注目區(qū)域內(nèi)是否包含特定的被攝體。控制裝置通過(guò)以組的形式將多個(gè)特征量給予第一判斷裝置,從第一
判斷裝置取得為了得到最終判斷的充分的數(shù)量的判斷結(jié)果。所謂多個(gè)特 征量,是通過(guò)基于多個(gè)不同的圖形的計(jì)算處理所得到的。即,由計(jì)算裝 置計(jì)算出每個(gè)圖形的特征量。并且,將每個(gè)圖形所得到的特征量的組給 予第一判斷裝置,取得第一判斷裝置的判斷結(jié)果。第二判斷裝置根據(jù)由控制裝置所取得的第一判斷裝置的多個(gè)判斷結(jié) 果,對(duì)在注目區(qū)域內(nèi)是否包含特定的被攝體進(jìn)行最終判斷。在這樣所構(gòu)成的本發(fā)明的第三方式中,將第一判斷裝置的判斷處理 所采用的判斷值對(duì)各圖形作為對(duì)應(yīng)每個(gè)特征量的值存儲(chǔ)到存儲(chǔ)裝置內(nèi)。 因而,和以往那樣根據(jù)一個(gè)閾值將特征量和判斷值對(duì)應(yīng)起來(lái)的情況相比, 可以更準(zhǔn)確地將判斷值和特征量相對(duì)應(yīng)。因此,可以提高各判斷值的精 確度,也可以提高進(jìn)行采用該判斷值的處理的第一判斷裝置的處理結(jié)果 的精確度。換言之,第一判斷裝置以被給予每個(gè)圖形的特征量為基準(zhǔn), 可以更準(zhǔn)確地判斷在注目區(qū)域內(nèi)是否包含特定的被攝體。另外,為了提高各判斷值的精確度,即使減少以組的形式給予第一 判斷裝置的特征量的數(shù)量,即,即使減少在第一判斷裝置中所采用的判 斷值的數(shù)量,也可以維持處理結(jié)果的精確度。其結(jié)果,通過(guò)維持第一判 斷裝置的處理結(jié)果的精確度,減少以組的形式所給予的特征量的數(shù)量就 可以實(shí)現(xiàn)高速化。另外,通過(guò)提高第一判斷裝置的判斷結(jié)果的精確度,即使減少第一 判斷裝置的判斷結(jié)果的數(shù)量,也可以確保最終判斷的精確度(第二判斷 裝置的判斷的精確度)。即,即使減少在計(jì)算裝置及第一判斷裝置中所采 用的圖形的數(shù)量,也可以確保最終判斷的精確度。換言之,減少為了得 到最終判斷的充分的判斷結(jié)果的數(shù)量,減少第一判斷裝置的判斷處理的 次數(shù)。因此,就可以縮短對(duì)在注目區(qū)域內(nèi)是否包含特定的被攝體進(jìn)行最 終判斷所需要的時(shí)間。即,可以在不降低精確度的情況下使檢測(cè)特定的 被攝體的處理高速化。另外,本發(fā)明的第三方式的存儲(chǔ)裝置也可以將被分割到多個(gè)區(qū)間的 特征量和各區(qū)間的判斷值對(duì)應(yīng)起來(lái)進(jìn)行存儲(chǔ)。另外,在本發(fā)明的第三方式中,各區(qū)間的判斷值也可以為由以下的
判斷基準(zhǔn)生成裝置所求得的值。所謂判斷基準(zhǔn)生成裝置,具有樣品圖像 特征量計(jì)算裝置、次數(shù)獲得裝置及判斷值決定裝置。樣品圖像特征量計(jì)算裝置根據(jù)任意的圖形,計(jì)算出多個(gè)樣品圖像的 各個(gè)特征量。次數(shù)獲得裝置對(duì)多個(gè)特征量的各區(qū)間,由樣品圖像特征量 計(jì)算裝置所計(jì)算出的特征量求得在區(qū)間內(nèi)所包含的樣品圖像的次數(shù)。對(duì) 所述多個(gè)區(qū)間的各個(gè)區(qū)間,根據(jù)該區(qū)間中的次數(shù),根據(jù)由所述樣品圖像 特征量計(jì)算裝置所計(jì)算出的特征量判斷在所述區(qū)間內(nèi)包含的注目區(qū)域內(nèi) 是否包含特定的被攝體,來(lái)決定判斷值。另外,在本發(fā)明的第三方式中,樣品圖像其結(jié)構(gòu)也可以為包含成 為第一判斷裝置進(jìn)行判斷的對(duì)象的特定的被攝體的正解圖像、和不包含 特定的被攝體的非正解圖像。另外,在本發(fā)明的第三方式中,也可以根據(jù)正解圖像及非正解圖像 的各個(gè)指標(biāo)的相對(duì)值來(lái)設(shè)定各區(qū)間的判斷值。另外,在本發(fā)明的第三方式中,也可以根據(jù)正解圖像及非正解圖像 的各自的次數(shù)的相對(duì)值來(lái)設(shè)定各區(qū)間的判斷值。所謂相對(duì)值,例如為比 例及差量等。另外,本發(fā)明的第三方式的圖形,其結(jié)構(gòu)也可以為具有第一特征 區(qū)域和第二特征區(qū)域,對(duì)每個(gè)圖形在特定的區(qū)域內(nèi)分別將各特征區(qū)域的 位置及大小進(jìn)行固定。另外,本發(fā)明的第三方式的計(jì)算裝置,其結(jié)構(gòu)也可以為通過(guò)計(jì)算 出注目區(qū)域內(nèi)的第一特征區(qū)域的第一特征量和第二特征區(qū)域的第二特征 量的相對(duì)值來(lái)計(jì)算注目區(qū)域內(nèi)的特征量。所謂相對(duì)值,例如為比例及差 量值等。另外,本發(fā)明的第三方式的第一判斷裝置,其結(jié)構(gòu)也可以為在作 為新的組從控制裝置接收多個(gè)特征量、計(jì)算新的得分時(shí),采用作為該新 的組的多個(gè)特征量的各自的多個(gè)判斷值以及在已經(jīng)完成第一判斷裝置的 判斷處理的組中所計(jì)算出的得分。在這樣的結(jié)構(gòu)的情況下,第二方式可以達(dá)到和這樣結(jié)構(gòu)的情況同樣 的效果。 〔第四方式〕本發(fā)明的第四方式為判斷基準(zhǔn)生成裝置,包含計(jì)算裝置、次數(shù)獲得裝置、判斷裝置及判斷基準(zhǔn)生成裝置。計(jì)算裝置根據(jù)任意的圖形計(jì)算出多個(gè)樣品圖像的各個(gè)特征量。 次數(shù)獲得裝置對(duì)于將特征量分割到多個(gè)區(qū)間的各區(qū)間,求得在區(qū)間內(nèi)包含計(jì)算裝置所計(jì)算出的特征量的樣品圖像的次數(shù)。所謂次數(shù),例如為表示樣品圖像的數(shù)量以及用在每個(gè)樣品圖像所設(shè)定的加權(quán)乘以該數(shù)量的值等。次數(shù)獲得裝置對(duì)于將特征量分割到多個(gè)區(qū)間的各區(qū)間,由計(jì)算裝置 所計(jì)算出的特征量求得在區(qū)間內(nèi)包含的樣品圖像的次數(shù)。所謂次數(shù),例 如為表示樣品圖像的數(shù)量以及用在每個(gè)樣品圖像所設(shè)定的加權(quán)乘以該數(shù) 量的值等。判斷裝置根據(jù)特征量的各區(qū)間的次數(shù),決定各區(qū)間的判斷值。判斷 裝置通過(guò)判斷是否應(yīng)根據(jù)圖形所計(jì)算出的特征量判斷在任意的區(qū)間所包 含的注目區(qū)域內(nèi)包含特定的被攝體,來(lái)決定判斷值。例如,在根據(jù)某個(gè) 圖形所計(jì)算出的特征量適合其中 一個(gè)區(qū)間的情況下,就判斷在注目區(qū)域 內(nèi)包含特定的被攝體的可能性是否很大,從而來(lái)決定判斷值。判斷基準(zhǔn)生成裝置根據(jù)判斷裝置的判斷結(jié)果,生成將各區(qū)間和判斷 值對(duì)應(yīng)起來(lái)的判斷基準(zhǔn)。作為這樣的判斷基準(zhǔn)的具體例,有將各區(qū)間和 判斷值建立對(duì)應(yīng)關(guān)聯(lián)的表。在這樣所構(gòu)成的本發(fā)明的第四方式中,生成將判斷值與每個(gè)特征量 的各區(qū)間相對(duì)應(yīng)的表,因此,和以往那樣根據(jù)一個(gè)閾值將特征量和判斷 值對(duì)應(yīng)起來(lái)的情況相比,就可以更準(zhǔn)確地生成將判斷值和特征量相對(duì)應(yīng) 的表。因而在利用該表實(shí)施檢測(cè)特定的被攝體的處理的情況下,可以更 準(zhǔn)確地判斷在注目區(qū)域內(nèi)是否包含特定的被攝體。 (其他)第一至第四方式,也可以通過(guò)信息處理裝置執(zhí)行程序來(lái)實(shí)現(xiàn)。艮P, 也可以具有使信息處理裝置執(zhí)行上述的第一至第四方式的各裝置所執(zhí)行 的處理的程序、或存儲(chǔ)了該程序的存儲(chǔ)介質(zhì),來(lái)得到上述的作用及效果。
另外,也可以具有信息處理裝置執(zhí)行第一至第四方式的各裝置所執(zhí)行的 處理的方法,來(lái)得到上述的作用及效果。根據(jù)本發(fā)明,將判斷裝置的判斷處理所采用的判斷值對(duì)應(yīng)每個(gè)特征 量存儲(chǔ)到存儲(chǔ)裝置內(nèi)。因此,和以往那樣根據(jù)一個(gè)閾值將特征量和判斷 值對(duì)應(yīng)起來(lái)的情況相比,可以更準(zhǔn)確地將判斷值和特征量對(duì)應(yīng)起來(lái)。因 此,判斷裝置對(duì)于被給予的各特征量就可以更準(zhǔn)確地判斷在注目區(qū)域內(nèi) 是否包含特定的被攝體。另外,為了確保最終判斷的精確度,在根據(jù)多個(gè)判斷結(jié)果再進(jìn)行判 斷的情況下,通過(guò)提高采用了判斷值的判斷結(jié)果的精確度,即使減少采 用了這樣的判斷值的判斷結(jié)果的數(shù)量,也可以確保最終判斷的精確度。 因此,可以縮短對(duì)在注目區(qū)域內(nèi)是否包含特定的被攝體進(jìn)行最終判斷所 需要的時(shí)間。S卩,在不降低精確度的情況下,可以使檢測(cè)特定的被攝體 的處理高速化。
圖1為表示一例面部矩形的圖形例的圖。 圖2為表示面部檢出處理的流程的圖。 圖3為表示面部檢出處理的流程圖。圖4為表示在將注目區(qū)域的大小固定的情況下的注目區(qū)域的選擇方法的圖。圖5為表示在將人物圖像的大小固定的情況下的注目區(qū)域的選擇方 法的圖。圖6為表示第一實(shí)施方式的各圖層的處理的示例的圖。 圖7為表示積分圖像的示例的圖。 圖8為表示差量值和圖像數(shù)量的直方圖的示例的圖。 圖9為表示在第一實(shí)施方式中給予直方圖的各區(qū)間的判斷值的示例 的圖。圖10為表示第一實(shí)施方式的LUT的示例的圖。 圖11為表示面部檢測(cè)裝置的結(jié)構(gòu)例的功能方框圖。
圖12為表示判斷部的結(jié)構(gòu)例的功能方框圖。圖13為表示表生成裝置的結(jié)構(gòu)例的功能方框圖。圖14為表示面部判斷矩形的示例的圖。圖15為表示在第二實(shí)施方式中給予直方圖的各區(qū)間的判斷值的示例的圖。圖16為表示第二實(shí)施方式的LUT的示例的圖。 圖17為表示第二實(shí)施方式的各圖層的處理的概要圖。 圖18為表示第二實(shí)施方式的各圖層的處理的具體示例的圖。 圖中l(wèi)一面部矩形,2 —第一矩形,3 —第二矩形,4、 4a、 4b—面 部檢測(cè)裝置,5—輸入部,6—輸出部,7a、 7b—LUT存儲(chǔ)部,8 a、 8 b 一判斷部,9一設(shè)定存儲(chǔ)部,10—特征量計(jì)算部,11 a、 lib—第一判斷部, 12—控制部,13a、 13b—第二判斷部,14 a、 14b—表生成裝置,15—特 征量計(jì)算部,16 —次數(shù)獲得部,17a、 17b —判斷部,18a、 18b —表生成 部,19a、 19b—LUT, Pl —面部判斷矩形,P2—第一矩形,P3—第二矩 形。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明的特定被攝體檢測(cè)裝置等的實(shí)施方式進(jìn)行說(shuō) 明。在以下的說(shuō)明中,作為特定被攝體檢測(cè)裝置的具體例,對(duì)從人物圖 像中檢測(cè)出人物的面部的面部檢測(cè)裝置4 (包括4a、 4b:參照?qǐng)D11)進(jìn)行說(shuō)明。在該說(shuō)明中,所謂人物圖像,是指至少包含人物面部的一部分或全 部的圖像的圖像。因此,人物圖像也可以為包含人物整體的圖像,也可 以為只包含人物的面部或上半身的圖像。另外,人物圖像也可以為包含 多個(gè)人物的圖像,還有,人物圖像也可以為在背景上包含人物以外的風(fēng) 景(作為被攝體也包含被注目的物體)及花紋等的任何的圖形。另外,對(duì)面部檢測(cè)裝置4所進(jìn)行的以下的說(shuō)明,只是一個(gè)示例,其 結(jié)構(gòu)并不限于以下的說(shuō)明。[面部檢測(cè)的原理]
首先,對(duì)在面部檢測(cè)裝置4中所應(yīng)用的面部檢測(cè)技術(shù)的原理進(jìn)行說(shuō) 明。面部檢測(cè)裝置4所應(yīng)用的面部檢測(cè)技術(shù),和以往的面部檢測(cè)技術(shù)相 比有一些變更,在這里先對(duì)以往的面部檢測(cè)技術(shù)的原理進(jìn)行說(shuō)明。在該 以往的面部檢測(cè)技術(shù)中,事先進(jìn)行采用了樣品圖像的學(xué)習(xí)(以下稱為「學(xué) 習(xí)處理j),根據(jù)該學(xué)習(xí)結(jié)果來(lái)實(shí)施面部的檢測(cè)(以下稱為「面部檢測(cè)處 理」)。(學(xué)習(xí)處理〕首先,對(duì)采用了樣品圖像的以往的學(xué)習(xí)處理進(jìn)行說(shuō)明。作為樣品圖 像,準(zhǔn)備大小相等的多個(gè)面部圖像(正解圖像)及非面部圖像(非正解 圖像)。在這里,作為樣品圖像,是采用在縱橫方向上的像素?cái)?shù)相等的多 個(gè)矩形的圖像。所謂面部圖像,是指包含人的面部的圖像,是指對(duì)應(yīng)人 的面部的大小實(shí)施了寬高比調(diào)整或修整的圖像,另外,所謂非面部圖像, 是指不包含人的面部的圖像,例如由采用了風(fēng)景的圖像及動(dòng)物的圖像構(gòu) 成。在面部檢測(cè)裝置4中,作為特定的被攝體,為了檢測(cè)出人物的面部, 作為正解圖像要準(zhǔn)備這樣的面部圖像。同樣,作為非正解圖像要準(zhǔn)備這 樣的非面部圖像。在其他的具體的特定被攝體檢測(cè)裝置中,作為正解圖 像準(zhǔn)備包含在各個(gè)裝置中被檢測(cè)出的特定的被攝體的圖像,作為非正解 圖像準(zhǔn)備在各個(gè)裝置中被檢測(cè)出的不包含特定的被攝體的圖像。在學(xué)習(xí)處理中,采用包圍和樣品圖像同樣大小的區(qū)域的矩形(以下 稱為「面部矩形」)。圖1為表示面部矩形的示例的圖。面部矩形1包含第一矩形2和第二矩形3。面部矩形1根據(jù)第一矩形2及第二矩形3的數(shù) 量及所配置的位置,具有多個(gè)圖形(在圖1中,相當(dāng)于(a) (l))。艮P, 各面部矩形1作為圖形,對(duì)第一矩形2及第二矩形3具有固有的數(shù)及配 置。下面,對(duì)采用了面部矩形l和樣品圖像的學(xué)習(xí)進(jìn)行說(shuō)明。首先,對(duì)某個(gè)圖形的面部矩形1實(shí)施采用了所有的樣品圖像的數(shù)據(jù) 收集。在該數(shù)據(jù)收集中,首先,在樣品圖像中,計(jì)算出對(duì)應(yīng)第一矩形2 及第二矩形3的區(qū)域(以下分別稱為「第一特征區(qū)域」、「第二特征區(qū)域」) 的特征量(例如區(qū)域內(nèi)的像素值的平均值)。在一個(gè)面部矩形1內(nèi)包含第 一特征區(qū)域及/或第二特征區(qū)域的情況下,作為各個(gè)特征量計(jì)算各區(qū)域 的特征量的合計(jì)值。例如,在圖1 (j)的情況下,作為兩個(gè)第一特征區(qū) 域的特征量的和,計(jì)算出第一特征區(qū)域的特征量。并且作為第一特征區(qū) 域的特征量和第二特征區(qū)域的特征量的相對(duì)值(例如比例及差量值,在 這里,作為相對(duì)值可以設(shè)定差量值),計(jì)算出差量值。該差量值表示注目 區(qū)域的特征量。接下來(lái),根據(jù)所計(jì)算出的差量值(注目區(qū)域的特征量),求得與各圖 形的面部矩形1相對(duì)應(yīng)的閾值。該閾值是使用概率的方法所求得的。通 常是設(shè)定單純的數(shù)學(xué)模型(例如高斯分布)來(lái)設(shè)計(jì)此種概率的方法。例 如,對(duì)差量值為從0到各值的面部圖像和非面部圖像分別求得樣品數(shù)的 合計(jì)值(積分值),將其合計(jì)值的差為最大的值設(shè)定為閾值。對(duì)所準(zhǔn)備的所有的圖形的面部矩形1實(shí)施上述的處理,設(shè)定與所有 的圖形的面部矩形1分別相對(duì)應(yīng)的閾值。接下來(lái),在被設(shè)定了閾值的多個(gè)面部矩形1當(dāng)中,判斷在面部檢測(cè) 處理中應(yīng)使用哪一個(gè)面部矩形l。另外,本特定被攝體檢測(cè)裝置以每個(gè)圖 層這一處理單位對(duì)有無(wú)面部進(jìn)行判斷,例如,在圖層1的判斷中,對(duì)存 在面部的可能性進(jìn)行大致判斷,在沒(méi)有可能性的情況下,就停止處理。 另一方面,在有面部存在的可能性的情況下,就在下一個(gè)圖層2中進(jìn)行 更詳細(xì)的判斷。在進(jìn)行上述的判斷時(shí),在面部檢測(cè)處理中,對(duì)實(shí)施有無(wú)面部的判斷 的多個(gè)圖層(關(guān)于圖層的具體例,在面部撿測(cè)處理的欄中進(jìn)行說(shuō)明)分別進(jìn)行在各圖層中所使用的圖形的面部矩形1的分配。通過(guò)AdaBoost等 的增強(qiáng)學(xué)習(xí)算法來(lái)實(shí)施該處理。在進(jìn)行該判斷時(shí),由設(shè)計(jì)者來(lái)決定在進(jìn)行面部檢測(cè)處理時(shí)必要的圖 層數(shù)及分配到各圖層的面部矩形1的數(shù)量。這時(shí),由于在面部檢測(cè)處理 中所采用的面部矩形1的數(shù)量越多,就越會(huì)提高處理的精確度,因而設(shè) 計(jì)者根據(jù)實(shí)驗(yàn)及經(jīng)驗(yàn)等,決定為了得到面部檢測(cè)處理的最終判斷的充分 的面部矩形1的數(shù)量。設(shè)計(jì)者根據(jù)該數(shù)量來(lái)決定圖層數(shù)及分配到各圖層 的面部矩形1的數(shù)量。根據(jù)在面部檢測(cè)處理時(shí)所求得的處理的速度及精 確度,適當(dāng)?shù)貨Q定該數(shù)量。 (面部檢測(cè)處理〕下面,對(duì)以往的面部檢測(cè)處理進(jìn)行說(shuō)明。圖2為表示面部檢測(cè)處理 的流程圖。首先,結(jié)合圖2對(duì)面部檢測(cè)處理的大致的流程進(jìn)行說(shuō)明。面部檢測(cè)處理是通過(guò)多個(gè)圖層來(lái)進(jìn)行的。將不同組合的面部矩形1分配到各圖層。在圖2中,被分配到各圖層的面部矩形1的數(shù)量也是不同的。另外,將實(shí)施判斷的順序分配到各圖層,各圖層根據(jù)該順序?qū)嵤┨幚?。即,例如在圖2中,在圖層l (Layer 1)的判斷之后,實(shí)施圖層2 (Layer 2)的判斷,在其后實(shí)施圖層3 (Layer 3)的判斷。各圖層根據(jù)分配到自身的順序,采用分配到自身的圖形的面部矩形 1來(lái)判斷在注目區(qū)域內(nèi)是否包含人物的面部。在某個(gè)圖層中,在判斷為注 目區(qū)域內(nèi)沒(méi)有包含人物的面部的情況下,在其后的圖層中就不實(shí)施對(duì)該 注目區(qū)域的判斷。然后,根據(jù)最后的圖層(在圖2中為圖層n (Layern)) 的判斷,在判斷為注目區(qū)域內(nèi)包含人物的面部的情況下,在面部檢測(cè)處 理中就最終判斷在注目區(qū)域內(nèi)包含人物的面部。圖3為表示面部檢測(cè)處理的流程的流程圖。下面,結(jié)合圖3對(duì)面部 檢測(cè)處理的具體的流程進(jìn)行說(shuō)明。在面部檢測(cè)處理中,首先從人物圖像中選擇成為處理對(duì)象的注目區(qū) 域(SOl)。基本上來(lái)講,根據(jù)從人物圖像的邊以一定間隔向縱方向或橫 方向偏移的情況、按順序來(lái)選擇該注目區(qū)域。例如,通過(guò)對(duì)人物進(jìn)行光 柵掃描來(lái)選擇注目區(qū)域。這時(shí),對(duì)任意的人物圖像實(shí)施多個(gè)大小的注目 區(qū)域的選擇。在該選擇法中,有將注目區(qū)域的大小固定、變化人物圖 像的大小的方法;及將人物圖像的大小固定、變更注目區(qū)域的大小的方 法等。圖4為表示將注目區(qū)域的大小固定的方法的圖。圖5為表示將人 物圖像的大小固定的方法的圖。在注目區(qū)域的大小變化的情況下,根據(jù) 該注目區(qū)域的大小的變化,面部矩形1、第一矩形2及第二矩形3的大小 也發(fā)生變化。即,在注目區(qū)域的大小變化的情況下,將在各圖層中所使 用的面部矩形1的大小控制為和該注目區(qū)域的大小相同或大致相同,隨 著面部矩形1的大小,第一矩形2及第二矩形3的大小也發(fā)生變化。接下來(lái),對(duì)被選擇的注目區(qū)域?qū)嵤┰谧⒛繀^(qū)域內(nèi)是否包含人物的面 部的判斷。在多個(gè)圖層的各個(gè)圖層中實(shí)施該判斷。因此,首先根據(jù)按照順序選擇實(shí)施判斷的圖層(S02)。接下來(lái),對(duì)被選擇的圖層實(shí)施判斷處理(S03)。在該圖層的判斷中, 在判斷為注目區(qū)域內(nèi)沒(méi)有包含人物的面部的情況下(S04—否),就實(shí)施 S07以后的處理。關(guān)于S07以后的處理,在后面進(jìn)行敘述。另一方面,在 判斷為注目區(qū)域內(nèi)包含人物的面部的情況下(S04 —是),就判斷之前的 判斷處理(S03的判斷處理)是否為最后的圖層的處理。在不是最后的圖 層的情況下(S05—否),就返回到S02的處理,選擇下一個(gè)圖層,對(duì)重 新被選擇的圖層實(shí)施判斷處理。另一方面,如果是最后的圖層的情況下 (S05 —是),進(jìn)行在現(xiàn)在的注目區(qū)域內(nèi)包含人物的面部的最終判斷 (S06)。在此時(shí),面部檢測(cè)裝置4判斷在該注目區(qū)域內(nèi)包含人物的面部。 即,在此時(shí),面部檢測(cè)裝置4初次檢測(cè)出了人物的面部。接下來(lái),判斷成為判斷對(duì)象的注目區(qū)域在人物圖像中是否為最后的 注目區(qū)域。在不是最后的注目區(qū)域的情況下(S07 —否),就返回到S01 的處理,選擇下一個(gè)注目區(qū)域,實(shí)施S02以后的處理。另一方面,如果 是最后的注目區(qū)域的情況下(S07—是),結(jié)束對(duì)該人物圖像的面部檢測(cè) 處理。圖6為表示各圖層的判斷的處理例的圖。下面,結(jié)合圖6對(duì)圖層及 各圖層的判斷的處理內(nèi)容進(jìn)行說(shuō)明。將一個(gè)以上的圖形的面部矩形1分配到各圖層。該分配是在學(xué)習(xí)處 理中通過(guò)AdaBoost等的增強(qiáng)學(xué)習(xí)算法來(lái)實(shí)施的。各圖層根據(jù)分配到自身 的圖形的面部矩形1,進(jìn)行在注目區(qū)域內(nèi)是否包含面部的判斷。在各圖層中,根據(jù)分配到各圖層的各圖形的面部矩形1,計(jì)算注目 區(qū)域內(nèi)的第一特征區(qū)域及第二特征區(qū)域的特征量。這時(shí),在特征量為各 區(qū)域內(nèi)的像素值的合計(jì)及平均等的情況下,即,在特征量為采用像素值 的合計(jì)所計(jì)算出的值的情況下,也可以采用積分圖像來(lái)計(jì)算出特征量。 圖7為表示積分圖像的示例的圖。結(jié)合圖7對(duì)采用積分圖像的特征量的 計(jì)算處理進(jìn)行說(shuō)明。在積分圖像中,各像素作為其像素值具有從原圖像的各像素至左上
方所有的像素的像素值的合計(jì)。例如,圖7的像素a作為像素值具有原 圖像的區(qū)域A所包含的全圖像的像素值的合計(jì)。因此,例如,通過(guò)從d 的像素值中減去b及c的像素值、加上a的像素值,就可以計(jì)算出原圖 像的區(qū)域D所包含的全圖像的像素值的合計(jì)(即,區(qū)域D的特征量)。接下來(lái),計(jì)算作為被計(jì)算出的特征量的相對(duì)值的差量值,根據(jù)該差 量值實(shí)施在注目區(qū)域內(nèi)包含人物的面部的判斷。具體來(lái)講,判斷被計(jì)算 出的差量值是否大于或小于在判斷時(shí)所采用的圖形的面部矩形1所設(shè)定 的閾值。然后,根據(jù)該判斷結(jié)果,判斷在注目區(qū)域內(nèi)是否存在有人物的 面部。但是,在此時(shí)的判斷為分別根據(jù)各圖形的面部矩形1的判斷,而不 是圖層的判斷。這樣,在各圖層中,根據(jù)分別分配到所有的圖形的面部 矩形l,實(shí)施個(gè)別的判斷,分別得到各個(gè)判斷結(jié)果(相當(dāng)于圖6的「面部 矩形個(gè)別的判斷」)。接下來(lái),計(jì)算出圖層的得分。對(duì)各圖形的面部矩形1分配各個(gè)得分 (例如Ptl, Pt2, ..., Ptn)。當(dāng)判斷在注目區(qū)域內(nèi)包含人物的面部時(shí), 就參照此時(shí)所使用的被分配到圖形的面部矩形1的得分,加上該圖層的 得分。這樣,將被加的得分的總計(jì)作為圖層的得分(以下,為了將該圖 層的得分的總計(jì)和各圖形的得分區(qū)別開(kāi)來(lái),稱為「總得分」)來(lái)計(jì)算。并 且,在該圖層的總得分超過(guò)特定的閾值的情況下,該圖層判斷在注目區(qū) 域內(nèi)包含人物的面部。另一方面,在該圖層的總得分沒(méi)有超過(guò)特定的閾 值的情況下,該圖層判斷在注目區(qū)域內(nèi)沒(méi)有包含人物的面部。在S02 S06 (參照?qǐng)D3)中,按照?qǐng)D層處理的輕重順序(例如被分 配的面部矩形1的數(shù)量少的圖層),對(duì)各圖層實(shí)施判斷(參照?qǐng)D2)。另外, 其結(jié)構(gòu)也可以為在實(shí)施各圖層的判斷之前,計(jì)算出注目區(qū)域內(nèi)的明亮 度的方差,根據(jù)所計(jì)算出的值來(lái)判斷是否進(jìn)行各圖層的判斷。在這樣的 結(jié)構(gòu)中,在判斷不進(jìn)行各圖層的判斷的情況下,實(shí)施圖3的S07的處理。 這是因?yàn)?,例如?duì)幾乎沒(méi)有明亮度的變化的注目區(qū)域(例如全黑的注目 區(qū)域及全白的注目區(qū)域等)就認(rèn)為不包含要進(jìn)行各圖層的判斷的面部。 [第一實(shí)施方式](原理〕在上述面部檢測(cè)裝置4中所應(yīng)用的面部檢測(cè)技術(shù)當(dāng)中,對(duì)以往的面 部檢測(cè)技術(shù)進(jìn)行了說(shuō)明。下面,對(duì)在該面部檢測(cè)技術(shù)中應(yīng)用于面部檢測(cè)裝置4的第一實(shí)施方式的面部檢測(cè)裝置4a的所變更的處理進(jìn)行說(shuō)明。另 外,在以下的說(shuō)明中,對(duì)所變更的處理進(jìn)行說(shuō)明。即,關(guān)于以下沒(méi)有說(shuō) 明的處理,實(shí)施和上述所說(shuō)明的面部檢測(cè)技術(shù)同樣的處理。在以往的面部檢測(cè)技術(shù)中,由于在計(jì)算各圖形的面部矩形1的閾值 時(shí)設(shè)定了單純的數(shù)學(xué)模型,因而對(duì)差量值和面部圖像及非面部圖像的樣 品數(shù)量的直方圖實(shí)際上成為哪種形狀沒(méi)有進(jìn)行設(shè)定。例如,在圖6的最 上方所示的面部矩形1的情況下,作為第一特征區(qū)域的特征量計(jì)算出左 右的眼部周圍的特征量,作為第二特征區(qū)域的特征量計(jì)算出鼻子及左右 臉頰周圍的特征量。以往,這樣的特征區(qū)域的特征量被設(shè)定為分別根據(jù)單純的數(shù)學(xué)模型 而分布并根據(jù)單純的數(shù)學(xué)模型計(jì)算出閾值。但是,例如在上述第一特征 區(qū)域的具體例的情況下,實(shí)際上可以假設(shè)有左右眼閉著的情況、單只眼 睛閉著的情況及左右眼睜著的情況等特征量變化大的三種情況。另外, 例如在上述第二特征區(qū)域的具體例子的情況下,可以假設(shè)有在由于臉頰 和鼻子在面部中也是為凸起的部位,因而因凸起的程度及皮膚的狀態(tài); 光的反射明顯的情況及不明顯的情況等特征量變化大的二種情況。因此, 在面部檢測(cè)裝置4a中,根據(jù)這樣的假設(shè),設(shè)定兩個(gè)特征區(qū)域的特征量的 差量值不是高斯分布那樣的單純的分布,而是具有多個(gè)波峰的分布。圖8為表示學(xué)習(xí)處理的數(shù)據(jù)收集所計(jì)算出的差量值的直方圖的示例 的圖。該直方圖為與某一個(gè)圖形的面部矩形1有關(guān),對(duì)各圖形的面部矩 形l同樣形成直方圖。直方圖的橫坐標(biāo)表示了第一特征區(qū)域的特征量和第二特征區(qū)域的特 征量的差量值。直方圖的縱坐標(biāo)表示了計(jì)算出的所對(duì)應(yīng)的差量值的樣品 圖像的數(shù)量(次數(shù))。所謂正解分布,為表示與面部圖像的樣品圖像有關(guān) 的分布,所謂非正解分布,為表示與非面部圖像的樣品圖像有關(guān)的分布。在第一實(shí)施方式的學(xué)習(xí)處理中,當(dāng)形成直方圖時(shí),橫坐標(biāo)被特定的間隔所隔開(kāi)。該間隔也可以有一定的寬度,也可以根據(jù)差量值為不同的 寬度。接下來(lái),在各區(qū)間中,根據(jù)正解分布的值(面部圖像的次數(shù))與 非正解分布的值(非面部圖像的次數(shù)),求得判斷值。圖9為表示根據(jù)所 形成的直方圖來(lái)求得各區(qū)間的判斷值的情況的圖。判斷值為表示分布于 所對(duì)應(yīng)的差量值的區(qū)間的圖像為面部圖像的概率是否高的值。例如,判 斷值在面部圖像概率高的區(qū)間(在圖9中為顏色淡的區(qū)間)中為"1",面部圖像概率低的區(qū)間(在圖9中為顏色濃的區(qū)間)為"0"。另外,例如,判斷值在某個(gè)區(qū)間的正解分布的次數(shù)高于非正解分布的次數(shù)的情況下等為"r,在某個(gè)區(qū)間的正解分布的次數(shù)低于非正解分布的次數(shù)的情況下等為"0"o然后,根據(jù)該直方圖作成LUT (—覽表(Look Up Table)) 19a。圖 IO為表示LUT 19a的示例的圖。LUT 19a具有與差量值的各區(qū)間相對(duì)應(yīng) 的判斷值。在變更后的面部檢測(cè)處理中,不是根據(jù)閾值,而是根據(jù)由這 樣的學(xué)習(xí)處理所作成的LUT19a來(lái)檢測(cè)圖像中的人物的面部。對(duì)所準(zhǔn)備的所有圖形的面部矩形1實(shí)施上述的處理,分別作成與所 有圖形的面部矩形1相對(duì)應(yīng)的LUT 19a。接下來(lái),在所得到的多個(gè)LUT 19a中,判斷在面部檢測(cè)處理中用使 用哪個(gè)LUT19a。 gp,判斷應(yīng)采用哪個(gè)圖形的面部矩形1來(lái)實(shí)施面部檢測(cè) 處理。在進(jìn)行該判斷時(shí),分別對(duì)在面部檢測(cè)處理中實(shí)施面部檢測(cè)的多個(gè) 圖層進(jìn)行在各圖層中所使用的圖形的面部矩形1的分配。通過(guò)AdaBoost 等的增強(qiáng)學(xué)習(xí)算法來(lái)實(shí)施該處理。在面部檢測(cè)裝置4a的面部檢測(cè)處理的各圖層中,根據(jù)被分配到各圖 層的各圖形的面部矩形1來(lái)計(jì)算出注目區(qū)域內(nèi)的第一特征區(qū)域及第二特 征區(qū)域的特征量。接下來(lái),計(jì)算被計(jì)算出的特征量的差量值。根據(jù)該差 量值,進(jìn)行在注目區(qū)域內(nèi)是否包含人物的面部的判斷。具體來(lái)講,從與 各圖形的面部矩形1相對(duì)應(yīng)的LUT 19a中求得與所計(jì)算出的差量值相對(duì) 應(yīng)的判斷值,根據(jù)該值來(lái)進(jìn)行判斷。例如,在采用了與圖IO所示的LUT 19a相對(duì)應(yīng)的圖形的面部矩形1的判斷中,在差量值至少為40以上不足 60, 100以上不足120,及140以上不足160的情況下,就判斷在注目區(qū)
域內(nèi)不包含人物的面部。另一方面,在差量值至少為60以上不足100, 及120以上不足140的情況下,就判斷在注目區(qū)域內(nèi)包含人物的面部。這樣,在面部檢測(cè)裝置4a中采用由具有多個(gè)波峰的分布的假定所設(shè) 定的LUT 19a,來(lái)實(shí)施以往采用由單純的分布的假定所設(shè)定的閾值所實(shí)施 的判斷處理?!蚕到y(tǒng)結(jié)構(gòu)〕<面部檢測(cè)裝置>下面,和以往相比較,對(duì)應(yīng)用了具有上述的變更點(diǎn)的面部判斷技術(shù) 的面部檢測(cè)裝置4a的結(jié)構(gòu)進(jìn)行說(shuō)明。面部檢測(cè)裝置4a在硬件方面具有 通過(guò)總線所連接的CPU (中央處理器)、主存儲(chǔ)裝置(RAM)、輔助存儲(chǔ) 裝置等。輔助存儲(chǔ)裝置是采用不易失性存儲(chǔ)裝置所構(gòu)成。在這里所說(shuō)的 不易失性存儲(chǔ)裝置,是指所謂的ROM (Read—Only Memory:包含 EPROM ( Erasable Programmable Read — Only Memory ) 、 EEPROM (Electrically Erasable Programmable Read—Only Memory)、主ROM等)、 FRAM (Ferroelectric RAM)、硬盤等。圖11為表示面部檢測(cè)裝置4a的功能方框圖。面部檢測(cè)裝置4a將輔 助存儲(chǔ)裝置所存儲(chǔ)的各種程序(OS,應(yīng)用程序等)裝入到主存儲(chǔ)裝置內(nèi)、 通過(guò)CPU來(lái)執(zhí)行,作為包含輸入部5、輸出部6、 LUT存儲(chǔ)部7a、判斷 部8a、及設(shè)定存儲(chǔ)部9等的裝置來(lái)發(fā)揮功能。下面,結(jié)合圖ll對(duì)面部檢 測(cè)裝置4a所具備的各功能部進(jìn)行說(shuō)明。 輸入部》輸入部5作為將人物圖像的原圖像的數(shù)據(jù)(以下稱為「原圖像的數(shù) 據(jù)」)輸入到面部檢測(cè)裝置4a內(nèi)的接口發(fā)揮功能。原圖像的數(shù)據(jù)也可以 為靜止圖像的數(shù)據(jù),也可以為動(dòng)態(tài)圖像的數(shù)據(jù)。通過(guò)輸入部5,從面部檢 測(cè)裝置4a的外部將原圖像的數(shù)據(jù)輸入到面部檢測(cè)裝置4a內(nèi)。輸入部5 也可以為采用將原圖像的數(shù)據(jù)輸入到面部檢測(cè)裝置4a內(nèi)的任何一種現(xiàn)有 技術(shù)的結(jié)構(gòu)。例如,也可以通過(guò)網(wǎng)絡(luò)(例如局域網(wǎng)及互聯(lián)網(wǎng))將原圖像的數(shù)據(jù)輸 入到面部檢測(cè)裝置4a內(nèi)。在該情況下,輸入部5也可以為釆用網(wǎng)絡(luò)接口
的結(jié)構(gòu)。另外,也可以從數(shù)字照相機(jī)及掃描儀、個(gè)人計(jì)算機(jī)、存儲(chǔ)裝置(例如硬盤驅(qū)動(dòng)裝置)等將原圖像的數(shù)據(jù)輸入到面部檢測(cè)裝置4a內(nèi)。在 該情況下,輸入部5可以為根據(jù)將數(shù)字照相機(jī)及個(gè)人計(jì)算機(jī)、存儲(chǔ)裝置 等和面部檢測(cè)裝置4a連接為可進(jìn)行數(shù)據(jù)通信的規(guī)格〔例如USB( Universal Serial Bus)及SCSI(Small Computer System Interface )等有線連接及blue tooth等的無(wú)線連接的規(guī)格〕的結(jié)構(gòu)。另外,也可以將存儲(chǔ)介質(zhì)〔例如各 種閃存存儲(chǔ)器及軟盤(注冊(cè)商標(biāo))、CD (Compact Disk)、 DVD (Digital Versatile Disc、 Digital Video Disc)〕所存儲(chǔ)的原圖像的數(shù)據(jù)輸入到面部檢 測(cè)裝置4a內(nèi)。在該情況下,輸入部5可以為采用從存儲(chǔ)介質(zhì)中讀出數(shù)據(jù) 的裝置(例如閃存存儲(chǔ)器讀出器及軟盤驅(qū)動(dòng)裝置、CD驅(qū)動(dòng)裝置、DVD 驅(qū)動(dòng)裝置)的結(jié)構(gòu)。另外,也可以將面部檢測(cè)裝置4a包含到數(shù)字照相機(jī)等的拍攝裝置、 或具有數(shù)字照相機(jī)等的拍攝裝置〔例如PDA (Personal Digital Assistant)) 內(nèi)、將所拍攝的人物圖像作為原圖像的數(shù)據(jù)輸入到面部檢測(cè)裝置4a內(nèi)。 在該情況下,輸入部5也可以為采用CCD (Charge—Coupled Devices) 及CMOS(Complementaiy Metal—Oxide Semiconductor)傳感器等的結(jié)構(gòu), 也可以為作為將CCD及CMOS傳感器等所拍攝的原圖像的數(shù)據(jù)輸入到 面部檢測(cè)裝置4a內(nèi)的接口的結(jié)構(gòu)。另外,也可以作為輸出數(shù)據(jù)將輸入到 該圖像輸出裝置內(nèi)的人物圖像作為原圖像的數(shù)據(jù)輸入到面部檢測(cè)裝置4a 內(nèi)。在該情況下,輸入部5也可以為采用將輸入到這些圖像輸出裝置內(nèi) 的原圖像的數(shù)據(jù)變換為在面部檢測(cè)裝置4a中可處理的數(shù)據(jù)的裝置等的結(jié) 構(gòu)。另外,輸入部5也可以為適合上述多種情況的結(jié)構(gòu)。
輸出部》輸出部6作為將表示判斷部8a是否檢測(cè)出了人物的面部的數(shù)據(jù)和/ 或表示被檢測(cè)出的面部的位置及大小等的數(shù)據(jù)輸出到面部檢測(cè)裝置4a 的外部的接口發(fā)揮功能。輸出部6也可以為采用從面部檢測(cè)裝置4a中 將與人物的面部檢測(cè)結(jié)果有關(guān)的數(shù)據(jù)進(jìn)行輸出的任何一種現(xiàn)有技術(shù)的 結(jié)構(gòu)。 例如,也可以通過(guò)網(wǎng)絡(luò)將與檢測(cè)結(jié)果有關(guān)的數(shù)據(jù)從面部檢測(cè)裝置4a 中輸出。在該情況下,輸出部6為采用網(wǎng)絡(luò)接口的結(jié)構(gòu)。另外,也可以將與檢測(cè)結(jié)果有關(guān)的數(shù)據(jù)輸出到個(gè)人計(jì)算機(jī)等的其他的信息處理裝置及存儲(chǔ)裝置中。在該情況下,輸出部6為根據(jù)將個(gè)人計(jì)算機(jī)等其他信息處 理裝置或存儲(chǔ)裝置等和面部檢測(cè)裝置4a連接為可進(jìn)行數(shù)據(jù)通信的規(guī)格的 結(jié)構(gòu)。另外,也可以將與檢測(cè)結(jié)果有關(guān)的數(shù)據(jù)輸出(寫入)到存儲(chǔ)介質(zhì) 內(nèi)。在該情況下,輸出部6為釆用將數(shù)據(jù)寫入到這些存儲(chǔ)裝置或存儲(chǔ)介 質(zhì)內(nèi)的裝置(例如閃存存儲(chǔ)器記錄器及軟盤驅(qū)動(dòng)裝置、CD—R驅(qū)動(dòng)裝置、 DVDR驅(qū)動(dòng)裝置)的結(jié)構(gòu)。對(duì)于輸出部6所輸出的數(shù)據(jù)的具體用途的例子也進(jìn)行說(shuō)明。例如, 為了將表示面部檢測(cè)裝置4a所檢測(cè)出的面部的區(qū)域的圖形輸出到顯示器 等的顯示裝置中,也可以使用輸出部6所輸出的數(shù)據(jù)。在此種情況下, 輸出部6例如也可以為作為和顯示器等的顯示裝置進(jìn)行數(shù)據(jù)通信的接口 的結(jié)構(gòu),也可以為作為與顯示器等的顯示裝置相連接、或?qū)?shù)據(jù)提交給 內(nèi)置的信息處理裝置的接口的結(jié)構(gòu)。另外,也可以為進(jìn)行例如在將面部 檢測(cè)裝置4a包含到數(shù)字照相機(jī)或具有數(shù)字照相機(jī)的各種裝置內(nèi)的情況 下,數(shù)字照相機(jī)以輸出部6所輸出的數(shù)據(jù)為基準(zhǔn)來(lái)進(jìn)行與焦點(diǎn)控制及曝 光補(bǔ)償?shù)鹊呐臄z有關(guān)的控制的結(jié)構(gòu)。在此種情況下,輸出部6例如也可 以為作為和數(shù)字照相機(jī)內(nèi)的信息處理裝置可進(jìn)行數(shù)據(jù)通信的接口的結(jié) 構(gòu)。另外,也可以為決定例如將面部檢測(cè)裝置4a包含到進(jìn)行圖像補(bǔ)償處理的信息處理裝置內(nèi)的情況及與此種信息處理裝置相連接的情況下,信 息處理裝置以輸出部6所輸出的數(shù)據(jù)為基準(zhǔn)來(lái)決定圖像補(bǔ)償處理的處理 區(qū)域及處理內(nèi)容等的結(jié)構(gòu)。在此種情況下,輸出部6例如也可以為作為 和此種信息處理裝置及其內(nèi)部的裝置可進(jìn)行數(shù)據(jù)通信的接口的結(jié)構(gòu)。另外,輸出部6也可以為適合上述的多種情況的結(jié)構(gòu)。 LUT存儲(chǔ)部》LUT存儲(chǔ)部7a為采用不易失性存儲(chǔ)裝置的結(jié)構(gòu)。LUT存儲(chǔ)部7a將 判斷部8a在進(jìn)行面部檢測(cè)處理時(shí)所使用的LUT19a進(jìn)行存儲(chǔ)。即,LUT 存儲(chǔ)部7a將對(duì)作為學(xué)習(xí)處理的結(jié)果所得到的各圖 LUT19a進(jìn)行存儲(chǔ)。因此,LUT存儲(chǔ)部7a可存儲(chǔ)多個(gè)LUT19a。
判斷部》判斷部8a采用LUT存儲(chǔ)部7a所存儲(chǔ)的LUT19a,根據(jù)設(shè)定存儲(chǔ)部9 所存儲(chǔ)的設(shè)定內(nèi)容實(shí)施面部檢測(cè)處理。判斷部8a將實(shí)施面部檢測(cè)處理的 結(jié)果提交給輸出部6。另外,判斷部8a通過(guò)圖中未示的輸入部和輸出部, 對(duì)輸入部5、輸出部6、 LUT存儲(chǔ)部7a及設(shè)定存儲(chǔ)部9進(jìn)行數(shù)據(jù)的輸出 入。判斷部8a是通過(guò)CPU執(zhí)行面部檢測(cè)程序來(lái)實(shí)現(xiàn)的。另外,判斷部 8a也可以為采用專用芯片的結(jié)構(gòu)。圖12為表示判斷部8a的內(nèi)部的功能方框圖。結(jié)合圖12對(duì)判斷部8a 的功能進(jìn)行說(shuō)明。判斷部8a包含特征量計(jì)算部10、第一判斷部lla、控 制部12及第二判斷部13a。特征量計(jì)算部10計(jì)算出在各圖層所計(jì)算的第一特征區(qū)域及第二特 征區(qū)域的特征量。并且,特征量計(jì)算部10計(jì)算所計(jì)算出的兩個(gè)特征量的 相對(duì)值(在這里為差量值)。第一判斷部lla取得與特征量計(jì)算部IO所計(jì)算出的差量值相對(duì)應(yīng)的 判斷值,根據(jù)1以上的判斷值,對(duì)在注目區(qū)域內(nèi)是否包含人物的面部進(jìn) 行判斷。具體來(lái)講,第一判斷部lla讀出與特征量計(jì)算部10計(jì)算特征量 時(shí)所使用的圖形相對(duì)應(yīng)的LUT19a。第一判斷部lla根據(jù)所讀出的 LUT19a,取得與特征量計(jì)算部10所計(jì)算出的差量值相對(duì)應(yīng)的判斷值。 第一判斷部lla取得與被分配到各圖層的所有圖形相對(duì)應(yīng)的判斷值,根 據(jù)這些判斷值,計(jì)算各圖層的總得分,進(jìn)行在注目區(qū)域內(nèi)是否包含人物 的面部的判斷(相當(dāng)于圖3的S03、 S04)??刂撇?2讀出設(shè)定存儲(chǔ)部9所存儲(chǔ)的各種設(shè)定內(nèi)容,將各圖形的第 一矩形2及第二矩形3的位置及大小等給予特征量計(jì)算部10。另外,控 制部12將特征量計(jì)算部10所計(jì)算出的特征量和與計(jì)算該特征量時(shí)所使 用的圖形相對(duì)應(yīng)的LUT19a給予第一判斷部11a。并且,將第一判斷部lla 的判斷結(jié)果給予第二判斷部13a。另外,控制部12除此之外還進(jìn)行注目 區(qū)域的選擇(相當(dāng)于圖3的S01)及判斷部8a的動(dòng)作的控制(相當(dāng)于圖
3的S02、 S05、 S07)。
第二判斷部13a根據(jù)第一判斷部lla的結(jié)果,即根據(jù)各圖層的判斷 結(jié)果,進(jìn)行在現(xiàn)在的注目區(qū)域內(nèi)是否包含面部的最終判斷(相當(dāng)于圖3 的S06)。
設(shè)定存儲(chǔ)部》
設(shè)定存儲(chǔ)部9是采用不易失性存儲(chǔ)裝置所構(gòu)成。設(shè)定存儲(chǔ)部9將判 斷部8a進(jìn)行面部檢測(cè)處理時(shí)的各種設(shè)定內(nèi)容進(jìn)行存儲(chǔ)。例如,設(shè)定存儲(chǔ) 部9將各圖形的面部矩形1進(jìn)行存儲(chǔ)。具體來(lái)講,將各圖形的第一矩形2 及第二矩形3的位置及大小等進(jìn)行存儲(chǔ)。另外,例如,設(shè)定存儲(chǔ)部9將 任何一個(gè)圖形的面部矩形1是否被分配到了各圖層的情況進(jìn)行存儲(chǔ)。另 外,設(shè)定存儲(chǔ)部9將從人物圖像中選擇注目區(qū)域的方法進(jìn)行存儲(chǔ)。
<表生成裝置下面,對(duì)生成面部檢測(cè)裝置4a所使用的LUT19a的表生成裝置14a 的結(jié)構(gòu)進(jìn)行說(shuō)明。表生成裝置14a在硬件方面具有通過(guò)總線相連接的 CPU (中央處理器)、主存儲(chǔ)裝置(RAM)、輔助存儲(chǔ)裝置等。輔助存儲(chǔ) 裝置是采用不易失性存儲(chǔ)裝置所構(gòu)成。
圖13為表示表生成裝置14a的功能方框圖。表生成裝置14a將輔助 存儲(chǔ)裝置所存儲(chǔ)的各種程序(OS、應(yīng)用程序等)裝入到主存儲(chǔ)裝置內(nèi), 通過(guò)CPU來(lái)執(zhí)行,作為包含特征量計(jì)算部15、次數(shù)獲得部16、判斷部 17a、及表生成部18a的裝置來(lái)發(fā)揮功能。
表生成裝置14a從整體上來(lái)講執(zhí)行變更后的學(xué)習(xí)處理。下面,結(jié)合 圖13對(duì)表生成裝置14a所具備的各功能部進(jìn)行說(shuō)明。
特征量計(jì)算部15對(duì)各樣品圖像根據(jù)圖形計(jì)算出第一特征區(qū)域及第 二特征區(qū)域的特征量。并且,特征量計(jì)算部15作為各特征量的相對(duì)值計(jì) 算出差量值。也可以將各圖形的特征(各特征區(qū)域的大小及位置等)存 儲(chǔ)到特征量計(jì)算部15內(nèi),也可以通過(guò)圖中未示的其他的功能部來(lái)進(jìn)行存 儲(chǔ)。
次數(shù)獲得部16根據(jù)特征量計(jì)算部15的計(jì)算結(jié)果,得到正解分布及 非正解分布。并且,次數(shù)獲得部16對(duì)正解分布及非正解分布獲得各區(qū)間
的次數(shù)。
判斷部17a根據(jù)次數(shù)獲得部16所獲得的正解分布及非正解分布的各 區(qū)間的次數(shù),求得各區(qū)間的判斷值。
表生成部18a生成將判斷部17a所求得的判斷值和該區(qū)間對(duì)應(yīng)起來(lái) 的LUT19a。另外,表生成部18a通過(guò)實(shí)施增強(qiáng)學(xué)習(xí)算法,判斷在面部檢 測(cè)裝置4a中應(yīng)使用哪個(gè)LUT19a,并進(jìn)行各圖層的分配。
根據(jù)面部檢測(cè)裝置4a,在面部檢測(cè)處理的各圖層的判斷處理中,在 基于各圖形的面部矩形1而進(jìn)行判斷時(shí),不使用閾值而使用LUT19a。在 該LUT19a中保存有各特征區(qū)域的特征量的差量值的范圍和與差量值的 各范圍相對(duì)應(yīng)的判斷值,以該判斷值為基準(zhǔn)進(jìn)行各圖形的判斷。
因此,在面部檢測(cè)裝置4a中,和根據(jù)某個(gè)閾值來(lái)判斷在注目區(qū)域內(nèi) 是否存在有面部的情況相比,在采用了各圖形的面部矩形1的判斷中, 可以進(jìn)行更準(zhǔn)確的判斷。例如,在通過(guò)學(xué)習(xí)得到圖9所示的直方圖的情 況下,由于在以往的技術(shù)中設(shè)定了單純的分布,因而例如就將從左到第4 個(gè)的區(qū)間和第5個(gè)的區(qū)間的邊界作為閾值來(lái)設(shè)定。即,對(duì)于具有小的波 峰的分布(在圖9中從右到第2個(gè)的區(qū)間及第3個(gè)的區(qū)間)就沒(méi)有具體 地進(jìn)行假設(shè)。但是,在面部檢測(cè)裝置4a中,通過(guò)采用LUT19a,對(duì)具有 這樣小的波峰的分布進(jìn)行獨(dú)立的判斷。因此,在面部檢測(cè)裝置4a中,采 用了各圖形的面部矩形l的各判斷和以往相比,更為準(zhǔn)確。
另外,在面部檢測(cè)裝置4a中,減少了分配到各圖層的面部矩形1的 圖形。以及/或,在面部檢測(cè)裝置4a中,減少了在面部檢測(cè)處理中所實(shí) 施的圖層的數(shù)量。即,在對(duì)一個(gè)注目區(qū)域的面部檢測(cè)處理中,減少了實(shí) 施判斷的面部矩形1的圖形的總數(shù)。
在面部檢測(cè)裝置4a所應(yīng)用的面部檢測(cè)技術(shù)的面部檢測(cè)處理中實(shí)施基 于多個(gè)圖形的面部矩形1的判斷的理由,說(shuō)起來(lái)是因?yàn)榛诟鲌D形的面 部矩形1的判斷,僅根據(jù)其中的某個(gè)判斷是非常不準(zhǔn)確的。即,由于在 各個(gè)圖形的面部矩形1所實(shí)施的判斷不準(zhǔn)確,因而通過(guò)基于多個(gè)圖形的 面部矩形1的判斷,可提高判斷處理的精確度。但是,根據(jù)面部檢測(cè)裝
置4a,可以提高基于每個(gè)圖形的面部矩形1的判斷處理的精確度。因此,
就可以減少在對(duì)一個(gè)注目區(qū)域的面部檢測(cè)處理中所使用的面部矩形1的 圖形的總數(shù),作為整體就可以在不降低面部檢測(cè)處理的精確度的情況下 實(shí)現(xiàn)高速化。 [變形例]
在上述中,作為特定被攝體檢測(cè)裝置的具體例,對(duì)從圖像中檢測(cè)出
人物面部的面部檢測(cè)裝置4a進(jìn)行了說(shuō)明。除此之外,作為特定被攝體檢 測(cè)裝置的具體例,還有從圖像中檢測(cè)出汽車的車體的裝置、及檢測(cè)出貓、 狗等的特定的動(dòng)物的裝置;檢測(cè)出特定的字及符號(hào)、標(biāo)記等的裝置。這 些裝置只是學(xué)習(xí)處理所采用的不同樣品圖像,基本的結(jié)構(gòu)等同樣可以和 面部檢測(cè)裝置4a進(jìn)行安裝。另外,根據(jù)被檢測(cè)出的各個(gè)特定被攝體,也 可以對(duì)面部檢測(cè)裝置4a實(shí)施適當(dāng)?shù)淖兏?br>
另外,在上述中,是采用了第一特征區(qū)域的特征量和第二特征區(qū)域 的特征量的差量值,也可以采用各個(gè)特征量的比例等相對(duì)的值。 (原理〕
下面,對(duì)在面部檢測(cè)裝置4的第二實(shí)施方式的面部檢測(cè)裝置4b中所 應(yīng)用的面部檢測(cè)技術(shù)的原理進(jìn)行說(shuō)明。另外,在以下的說(shuō)明中,對(duì)和第 一實(shí)施方式所應(yīng)用的面部檢測(cè)技術(shù)不同的點(diǎn)進(jìn)行說(shuō)明。
在第一實(shí)施方式中,在直方圖(參照?qǐng)D9)的橫坐標(biāo)以特定的間隔
被隔開(kāi)后,將"o"或"r中的其中一個(gè)判斷值給予各區(qū)間。對(duì)此,在第二實(shí)
施方式中,將實(shí)數(shù)的判斷值給予各區(qū)間。圖15為表示在第二實(shí)施方式中 給予直方屈的各區(qū)間的判斷值的示例的圖。在第二實(shí)施方式中,判斷值 表示分布到所對(duì)應(yīng)的差量值的區(qū)間的圖像為面部圖像的概率的高度或其 概率。即,第一實(shí)施方式的判斷值為表示「注目區(qū)域的圖像為面部的可 能性是否高」,對(duì)此,第二實(shí)施方式的判斷值為表示「注目區(qū)域的圖像為 面部的可能性的程度」。例如,判斷值取從"0"到"1"的實(shí)數(shù),表示該值越 大面部圖像的概率就越高。更具體地來(lái)講,判斷值也可以根據(jù)例如以下 的公式來(lái)計(jì)算出。在公式1中,作為h(x)計(jì)算出判斷值。公式1
如果/腸 6/ 貝iUw-^"
、『"+f,
其中=尸(/麵W e W j = /),/ = ±1, J = w.
6/", = ^~,/ = 1,.."" [_ J
fk咖是Haar特征
另外,該判斷值也可以根據(jù)正解分布的次數(shù)和非正解分布的次數(shù)的 差和比來(lái)求得。在該情況下,如果正解分布的次數(shù)對(duì)非正解分布的次數(shù) 越高的話,判斷值就取越大的值,相反,如果正解分布的次數(shù)對(duì)非正解 分布的次數(shù)越低的話,判斷值就取越小的值。
然后,根據(jù)該直方圖的各區(qū)間的判斷值作成LUT19b。圖16為表示 LUT19b的示例的圖。LUT19b具有對(duì)應(yīng)差量值的各區(qū)間的判斷值,該判 斷值以實(shí)數(shù)來(lái)表示。在第二實(shí)施方式中,和第一實(shí)施方式的LUT19a同 樣,作成與所有的圖形的面部矩形l分別相對(duì)應(yīng)的LUT19b。并且,通過(guò) 增加學(xué)習(xí)加法,將LUT19b分別分配到多個(gè)圖層。
在第二實(shí)施方式的面部檢測(cè)處理中,各圖層(除去最初進(jìn)行處理的 圖層)進(jìn)行和第一實(shí)施方式的各圖層不同的處理。圖17為表示第二實(shí)施 方式的各圖層的處理的概要圖。首先,最初的圖層(Layer 1)和第一實(shí) 施方式的各圖層同樣,取得分配到該圖層的各圖形的判斷值。然后,Layer 1以各圖形的判斷值為基準(zhǔn),計(jì)算出圖層的總得分,判斷在注目區(qū)域內(nèi)是 否存在有面部。另一方面,Layer2以后的圖層根據(jù)基于分配到各圖層的 各圖形的面部矩形1所得到的判斷值,及在前一個(gè)圖層所計(jì)算出的總得 分,判斷在注目區(qū)域內(nèi)是否存在有面部。即,第二實(shí)施方式的各圖層在 考慮前一個(gè)圖層的總得分來(lái)計(jì)算總得分這一點(diǎn)上,和第一實(shí)施方式的各 圖層不同。另外,第二實(shí)施方式的各圖層將各圖形的判斷值作為各圖形 的得分來(lái)考慮。但是,也可以將以各圖形的判斷值為基準(zhǔn)所得到的其他 的值作為各圖形的得分來(lái)處理。
圖18為表示第二實(shí)施方式的各圖層的處理的具體的示例的圖。圖層 m (圖層m不是最初進(jìn)行處理的圖層)根據(jù)分配到該圖層m的各圖形,
計(jì)算出特征量。接下來(lái),圖層m根據(jù)LUT19b及所計(jì)算出的特征量,對(duì) 每個(gè)圖形取得判斷值(pt2 ptn)。并且,圖層m作為判斷值ptl,取得 前一個(gè)圖層(圖層(m—l))的總得分。
另外,在第一實(shí)施方式中,在計(jì)算各圖層的總得分時(shí),只考慮判斷 值為"l"的圖形的得分,但在第二實(shí)施方式的各圖層考慮到所有的圖形的 實(shí)數(shù)的判斷值來(lái)計(jì)算總得分。因此,圖層m根據(jù)所有的各判斷值(pt1 ptn)來(lái)計(jì)算總得分,實(shí)施作為圖層m的判斷。圖層m在判斷為注目區(qū) 域內(nèi)包含面部的情況下,將圖層m的總得分提交給下一個(gè)圖層(圖層(m + 1))。并且,在最后的圖層中對(duì)注目區(qū)域內(nèi)是否存在有面部作出最終判斷。 〔系統(tǒng)結(jié)構(gòu)〕
<面部檢測(cè)裝置>
下面,對(duì)第二實(shí)施方式的面部檢測(cè)裝置4b的結(jié)構(gòu)進(jìn)行說(shuō)明。面部檢 測(cè)裝置4b在取代LUT存儲(chǔ)部7a、判斷部8a,具有LUT存儲(chǔ)部7b、判 斷部8b,這一點(diǎn)上與面部檢測(cè)裝置4 a不同。下面,對(duì)面部檢測(cè)裝置4b 和面部檢測(cè)裝置4 a的不同點(diǎn)進(jìn)行說(shuō)明。
LUT存儲(chǔ)部》
LUT存儲(chǔ)部7b在取代LUT19a (參照?qǐng)D10)存儲(chǔ)LUT19b (參照?qǐng)D 16)這一點(diǎn)上與LUT存儲(chǔ)部7a不同。LUT存儲(chǔ)部7b在其他的方面和 LUT存儲(chǔ)部7a為同樣的結(jié)構(gòu)。
判斷部》
判斷部8b采用LUT存儲(chǔ)部7b所存儲(chǔ)的LUT19b,根據(jù)設(shè)定存儲(chǔ)部 9所存儲(chǔ)的設(shè)定內(nèi)容進(jìn)行面部檢測(cè)處理。下面,結(jié)合圖12對(duì)判斷部8b的 功能塊進(jìn)行說(shuō)明。判斷部8b在取代第一判斷部lla,具有第一判斷部lib; 取代第二判斷部13a,具有第二判斷部13b,這一點(diǎn)上與判斷部8a不同。 下面,對(duì)判斷部8b和判斷部8a的不同點(diǎn)進(jìn)行說(shuō)明。
第一判斷部llb取得與特征量計(jì)算部IO所計(jì)算出的差量值相對(duì)應(yīng)的 判斷值,根據(jù)1以上的判斷值,進(jìn)行在注目區(qū)域內(nèi)是否包含人物的面部 的判斷。具體來(lái)講,第一判斷部llb讀出與特征量計(jì)算部10計(jì)算特征量 時(shí)所使用的圖形相對(duì)應(yīng)的LUT19b。第一判斷部lib根據(jù)所讀出的
LUT19b,取得與特征量計(jì)算部10所計(jì)算出的差量值相對(duì)應(yīng)的判斷值、 即各圖形的判斷值。第一判斷部lib根據(jù)這些判斷值,計(jì)算各圖層的總 得分,進(jìn)行在注目區(qū)域內(nèi)是否包含人物的面部的判斷。
第一判斷部llb在第二個(gè)以后的圖層中,作為一個(gè)判斷值,采用基 于前一個(gè)圖層的總得分的值。即,第一判斷部lib在第二個(gè)以后的圖層 中,采用基于前一個(gè)圖層的總得分的值及與分配到該圖層的各圖形相對(duì) 應(yīng)的所有的判斷值,來(lái)計(jì)算該圖層的總得分。并且,根據(jù)所計(jì)算出的該 總得分,對(duì)在現(xiàn)在的注目區(qū)域內(nèi)是否包含面部的判斷進(jìn)行該圖層的判斷。
第二判斷部13b根據(jù)第一判斷部lib的結(jié)果,即根據(jù)各圖層的判斷 結(jié)果,進(jìn)行在現(xiàn)在的注目區(qū)域內(nèi)是否包含面部的最終判斷(相當(dāng)于圖3 的S06)。
<表生成裝置>
下面,對(duì)生成面部檢測(cè)裝置4b所使用的LUT19b的表生成裝置14b 的結(jié)構(gòu)進(jìn)行說(shuō)明。表生成裝置14b在進(jìn)行第二實(shí)施方式的學(xué)習(xí)處理這一 點(diǎn)上和表生成裝置14a不同。S卩,表生成裝置14b在取代判斷部17a和 表生成部18a,具有判斷部17b和表生成部18b,這一點(diǎn)上和表生成裝置 14a不同。下面,關(guān)于表生成裝置14b,只對(duì)和表生成裝置14a不同的點(diǎn) 進(jìn)行說(shuō)明。
判斷部17b根據(jù)次數(shù)獲得部16所獲得的正解分布及非正解分布的各 區(qū)間的次數(shù),根據(jù)公式l,計(jì)算各區(qū)間的實(shí)數(shù)的判斷值。
表生成部18b生成將判斷部17b所計(jì)算出的實(shí)數(shù)的判斷值和該區(qū)間 對(duì)應(yīng)起來(lái)的LUT19b。另外,表生成部18b通過(guò)執(zhí)行增強(qiáng)學(xué)習(xí)算法,判斷 在面部檢測(cè)裝置4b中應(yīng)使用哪個(gè)LUT19b,并進(jìn)行對(duì)各圖層的分配。 〔作用/效果)
根據(jù)第二實(shí)施方式的面部檢測(cè)裝置4b,在面部檢測(cè)處理的各圖層的 判斷處理中,在基于各圖形的面部矩形1的判斷時(shí),不使用LUT19a,而 使用LUT19b (參照?qǐng)D16)。在該LUT19b中,作為與差量值的各范圍相 對(duì)應(yīng)的判斷值,保存有"0" 'T,的實(shí)數(shù)值,而不是"O"或'T'的兩個(gè)值。
因此,在面部檢測(cè)裝置4b中,與進(jìn)行釆用了LUT19a的處理的面部
檢測(cè)裝置4a相比,可以提高各圖層的處理的精確度。例如,在LUT19a 的情況下,在將根據(jù)正解分布和非正解分布的次數(shù)的不同幾乎無(wú)法看到 的微弱的差判斷判斷值為"O"的情況下(以下稱為情況l)、和在由于非正 解分布明顯地壓倒多數(shù)而判斷判斷值為"O"的情況下(以下稱為情況2), 均完全同等地進(jìn)行處理。另一方面,在LUT19b的情況下,區(qū)別開(kāi)來(lái)進(jìn) 行考慮在情況l的情況下,例如將判斷值定為"0.4";在情況2的情況 下,例如將判斷值定為"0.1"。因此,可以將情況1多的情況和情況2多 的情況作為不同的狀態(tài)(不同的得分)來(lái)考慮,可以提高檢測(cè)面部時(shí)的 精確度。另外,由于像這樣使各圖形的判斷值成為實(shí)數(shù),并提高了精確度, 因而可以在維持處理的精確度的情況下減少分配到各圖層的圖形的數(shù) 量。g卩,可以通過(guò)比以前少的圖形來(lái)進(jìn)行判斷處理。因此,可以實(shí)現(xiàn)處 理的高速化。根據(jù)同樣的理由,也可以減少圖層的數(shù)量,實(shí)現(xiàn)高速化。另外,根據(jù)第二實(shí)施方式的面部檢測(cè)裝置4b,通過(guò)在沒(méi)有完成判斷 處理的圖層中采用已經(jīng)完成了判斷處理的圖層的總得分,來(lái)實(shí)施該圖層 的判斷處理。換言之,根據(jù)將已經(jīng)完成了判斷處理的圖層的各圖形的判 斷值反映到后面的圖層的判斷處理中,在后面的圖層中,與實(shí)際所采用 的圖形的數(shù)量相比,通過(guò)設(shè)定增加了對(duì)判斷處理有影響的圖形的數(shù)量, 與沒(méi)有進(jìn)行這樣處理的面部檢測(cè)裝置4a相比,可以提高各圖層的判斷處 理的精確度。因此,在后面的圖層中,就可以在維持判斷處理的精確度 的情況下減少分配到各圖層的圖形的數(shù)量,實(shí)現(xiàn)處理的高速化。同樣, 也可以減少圖層的數(shù)量,實(shí)現(xiàn)處理的高速化。另外,為了減少圖形的數(shù) 量,也可以減少在面部檢測(cè)裝置4b中所使用的資源。 〔變形例〕在圖15所示的直方圖及圖16所示的LUT19b的例子中,判斷值作 為到有效位數(shù)1的小數(shù)點(diǎn)第一位的小數(shù)表示了判斷值,但判斷值并沒(méi)有 必要拘泥于這樣的基準(zhǔn)。即,作為判斷值的有效位數(shù)及到小數(shù)點(diǎn)第幾位 的值來(lái)表示判斷值,設(shè)計(jì)者也可以根據(jù)情況自由設(shè)定。第二判斷部13b也可以為不采用與分配到各圖層的各圖形相對(duì)應(yīng)
的判斷值來(lái)計(jì)算各圖層的總得分,而是在與分配到各圖層的各圖形相對(duì)應(yīng)的判斷值中,只采用超過(guò)了閾值(例如"0.2", "0.5")的判斷值來(lái)計(jì)算各圖層的總得分。另外,第二判斷部13b也可以為在計(jì)算各圖層的總得分時(shí),不限 于采用前一個(gè)圖層的總得分,也可以采用基于在該圖層之前實(shí)施了處理 的1個(gè)以上的圖層的總得分的值。另外,第二判斷部13b在采用以前實(shí)施了處理的1個(gè)以上的圖層的總得分得到判斷值時(shí),也可以將總得分作為判斷值來(lái)使用,也可以通過(guò) 對(duì)總得分附加某些加權(quán)來(lái)作為判斷值使用。
權(quán)利要求
1.一種判斷基準(zhǔn)生成裝置,該判斷基準(zhǔn)生成裝置特征在于,包括根據(jù)任意圖形計(jì)算出多個(gè)樣品圖像的各個(gè)特征量的計(jì)算裝置;對(duì)多個(gè)特征量的各區(qū)間,求出由所述計(jì)算裝置所計(jì)算出的特征量被包含在所述區(qū)間內(nèi)的樣品圖像的次數(shù)的次數(shù)獲得裝置;對(duì)所述多個(gè)區(qū)間的各個(gè)區(qū)間,根據(jù)該區(qū)間中的次數(shù),通過(guò)判斷在根據(jù)該圖形所計(jì)算出的特征量被包含在所述區(qū)間內(nèi)的注目區(qū)域內(nèi)是否應(yīng)判斷為包含特定的被攝體的判斷裝置;和生成將所述各區(qū)間與由所述判斷裝置做出的判斷結(jié)果建立了對(duì)應(yīng)關(guān)聯(lián)的判斷基準(zhǔn)的判斷基準(zhǔn)生成裝置,其中,所述次數(shù)獲得裝置獲得正解的樣品圖像的次數(shù)和非正解的樣品圖像的次數(shù),所述判斷裝置根據(jù)正解的樣品圖像的次數(shù)和非正解的樣品圖像的次數(shù)這兩方進(jìn)行判斷。
2. 根據(jù)權(quán)利要求l所述的判斷基準(zhǔn)生成裝置,其特征在于,該判斷 基準(zhǔn)生成裝置還包括參照對(duì)圖像定義部分區(qū)域的區(qū)域圖形信息的裝置; 通過(guò)根據(jù)所述區(qū)域圖形信息執(zhí)行規(guī)定的運(yùn)算來(lái)計(jì)算出所述圖像的特 征量的運(yùn)算裝置;將對(duì)多個(gè)樣品圖像所計(jì)算出的特征量和與被計(jì)算出其特征量的圖像 所具有的屬性相關(guān)的判斷值組合存儲(chǔ)的判斷值存儲(chǔ)裝置;和根據(jù)對(duì)所述圖像計(jì)算出的特征量,判斷該圖像是否具有所述屬性的 判斷裝置。
3. —種方法,該方法特征在于,使信息處理裝置執(zhí)行以下步驟-根據(jù)任意圖形計(jì)算出多個(gè)樣品圖像的各個(gè)特征量的步驟; 對(duì)多個(gè)特征量的各區(qū)間,求得在所述區(qū)間內(nèi)包含所計(jì)算出的特征量的正解的樣品圖像的次數(shù)和非正解的樣品次數(shù)的步驟;對(duì)所述多個(gè)區(qū)間的各個(gè)區(qū)間,通過(guò)根據(jù)該區(qū)間中的正解和非正解這 兩方的次數(shù),判斷是否應(yīng)判斷為在所述區(qū)間內(nèi)包含由所述樣品圖像特征量計(jì)算裝置所計(jì)算出的特征量的注目區(qū)域內(nèi)包含特定的被攝體的步驟;和生成將所述各區(qū)間和判斷結(jié)果建立對(duì)應(yīng)關(guān)聯(lián)的表的步驟。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,該方法還執(zhí)行以下的步驟參照對(duì)圖像定義部分區(qū)域的區(qū)域圖形信息的步驟; 通過(guò)根據(jù)所述區(qū)域圖形信息執(zhí)行規(guī)定的運(yùn)算來(lái)計(jì)算出所述圖像的特 征量的運(yùn)算步驟;參照組合存儲(chǔ)了對(duì)多個(gè)樣品圖像所計(jì)算出的特征量和與被計(jì)算出其 特征量的圖像所具有的屬性相關(guān)的判斷值的判斷值存儲(chǔ)裝置的步驟;和根據(jù)對(duì)所述圖像計(jì)算出的特征量,判斷該圖像是否具有所述屬性的 判斷步驟。
全文摘要
本發(fā)明提供一種特定被攝體檢測(cè)裝置和方法。對(duì)于在圖像中的某個(gè)注目區(qū)域內(nèi)是否包含人物的面部的判斷處理,可實(shí)現(xiàn)高速化及高精確度化。本發(fā)明的特定被攝體檢測(cè)裝置不是象以往那樣根據(jù)一個(gè)閾值將注目區(qū)域的特征量與判斷值對(duì)應(yīng),而是通過(guò)采用一覽表等對(duì)每個(gè)特征量與判斷值分別獨(dú)立對(duì)應(yīng)。因此,判斷值和特征量的對(duì)應(yīng)關(guān)系更為準(zhǔn)確,可以實(shí)現(xiàn)處理的高精度化。另外,在以往為了保證判斷的精確度而多次反復(fù)進(jìn)行判斷,根據(jù)其綜合結(jié)果進(jìn)行最終判斷,而本發(fā)明由于提高了一次處理的精確度,可減少反復(fù)的次數(shù),實(shí)現(xiàn)高速化。
文檔編號(hào)G06K9/00GK101149796SQ20071016745
公開(kāi)日2008年3月26日 申請(qǐng)日期2004年5月14日 優(yōu)先權(quán)日2004年5月14日
發(fā)明者勞世紅, 勃 武, 艾海舟, 暢 黃 申請(qǐng)人:歐姆龍株式會(huì)社;清華大學(xué)