專利名稱：信息處理設備和方法、記錄介質及程序的制作方法
技術領域：
本發(fā)明涉及信息處理設備和方法、記錄介質及程序，并具體涉及一種信息處理設備和方法、記錄介質及程序，其能夠利用少量計算快速檢測感興趣的對象，如面部圖像。

背景技術：
已經(jīng)提出許多相關技術的面部檢測設備，這些面部檢測設備不利用在復雜圖像場景中的任何運動，而僅利用圖像信號的灰度(grayscale)模式。
圖1示出了相關技術的面部檢測設備1的示例配置(參見JP-A-2005-284487)。該面部檢測設備1輸出面部的位置和大小，其指示給定圖像(輸入圖像)中的面部區(qū)域。
面部檢測設備1的圖像輸出部分2，將灰度圖像(亮度圖像)提供給縮放(scaling)部分3，作為輸入到面部檢測設備1的輸入圖像。
縮放部分3將從圖像輸出部分2提供的輸入圖像，放大或縮小至指定的比例，并將產(chǎn)生的已縮放的圖像輸出給掃描器4。
特別地，圖2中所示的輸入圖像10A首先按原樣輸出給掃描器4。輸入圖像10A經(jīng)歷掃描器4和鑒別器(discriminator)5中執(zhí)行的處理(下文將描述)，然后通過縮小輸入圖像10A的大小產(chǎn)生輸入圖像10B。輸入圖像10B經(jīng)歷掃描器4和鑒別器5中執(zhí)行的處理，然后輸出通過進一步縮小輸入圖像10B的大小獲得的輸入圖像10C。類似地，順序產(chǎn)生進一步縮小的各圖像，如10D和10E，并且當縮小的圖像的圖像大小變得小于掃描器4在掃描操作中移動的窗口的大小時，停止這種處理。停止這種處理后，圖像輸出部分2就輸出下一個輸入圖像到縮放部分3。
掃描器4利用預定大小的窗口，以例如從左上到右下的方向，順序掃描從縮放部分3提供的已縮放的輸入圖像，并且輸出窗口中的圖像作為窗口圖像。
特別地，如圖3中所示，窗口11順序應用到給定圖像(如圖像10A)的整個部分(屏幕)，所述窗口11具有與隨后的鑒別器5接受的窗口大小相同的大小，并且將在窗口11中的每個位置的圖像(在下文中稱為剪切(cutout)圖像或窗口圖像)輸出到鑒別器5。
如圖4中所示，按像素在掃描操作中移動窗口11。即，在預定位置處的窗口11中的剪切圖像從掃描器4輸出之后，在下一次掃描中，窗口11向右移動一個像素，并且將在該位置的窗口11中的剪切圖像提供給鑒別器5。
雖然窗口大小是固定的，然而縮放部分3順序縮小輸入圖像，使得輸入圖像的圖像大小變換為如上所述的各種比例，允許檢測任意大小的對象。
即，輸入圖像中任意大小的面部被順序縮小，并且圖像大小最終變得與窗口大小基本上相等。結果，無論窗口11中的圖像是否是人類面部圖像，都能夠被檢測。
鑒別器5參考來自組學習機(group learner)6的學習結果，所述組學習機6對形成鑒別器5的多個弱鑒別器執(zhí)行組學習，以便辨別在掃描操作中由掃描器4逐次移動的每個窗口圖像是面部圖像(感興趣的對象)、還是除面部圖像以外的圖像(不感興趣的對象)。
如圖5中所示，鑒別器5包括由全體學習獲得的多個弱鑒別器21i(i＝1，2，3，...，K)和加法器22，該加法器22將來自各弱鑒別器的輸出(各辨別結果)與各自相應的權重αi(i＝1，2，3，...，K)相乘，以確定加權多數(shù)判決F(x)。
每一個弱鑒別器211到21K，基于窗口11內(nèi)的各像素中任意位置處的兩個像素，辨別窗口11中的圖像是否是人類面部圖像。參考字符K對應于從窗口11中的圖像可提取的兩個像素的組合數(shù)量。
特別地，兩個像素之間亮度的差異(在下文中稱為像素間差異特征)被用作特征量用于辨別目的。窗口圖像的特征量，與通過利用由多個灰度圖像形成的各學習采樣(閾值)而學習的特征量相比較，該多個灰度圖像預先已經(jīng)被標記為感興趣的對象或者不感興趣的對象，以便順序輸出估計值f(x)，用于以確定性或者概率性方式，估計窗口圖像是否為感興趣的對象。
對于輸出二進制值的弱鑒別器，如AdaBoost中，例如使用閾值將像素間差異特征二進制化，以便辨別感興趣的對象和不感興趣的對象。作為替代，如在Real-AdaBoost中，例如像素間差異特征可以用來輸出連續(xù)值，其以概率性方式表示是感興趣的對象的可能性。
根據(jù)預定的算法，通過學習過程中的組學習機6學習弱鑒別器21i需要什么，如用于辨別目的的特征量(閾值)和兩個像素。
由組學習機6連續(xù)產(chǎn)生多個弱鑒別器，該組學習機6根據(jù)下面將描述的算法，利用上述各學習采樣來執(zhí)行組學習。多個弱鑒別器以例如產(chǎn)生弱鑒別器的順序，計算上述各估計值。
加法器22將每個弱鑒別器21i的估計值與權重相乘，所述權重是對于每個弱鑒別器21i的可靠性，將各加權的值相加并輸出相加的值(加權多數(shù)判決的值)。
在學習過程中由組學習機6學習用于加權多數(shù)判決的權重(可靠性)，在學習過程中產(chǎn)生各弱鑒別器。
在鑒別器5中，如上所述，每個弱鑒別器21i順序輸出估計值f(x)，其表示輸入窗口圖像是否為面部，并且加法器22計算并輸出加權多數(shù)判決F(x)。根據(jù)加權多數(shù)判決F(x)的值，判斷裝置(未示出)最后判斷窗口圖像是否為感興趣的對象。
在加權多數(shù)判決過程期間，當在該點由計算的值判斷窗口圖像不是感興趣的對象時，鑒別器5不等待來自所有弱鑒別器的各計算結果，而甚至在其過程中也終止計算。
具體地，無論何時在學習過程中預先產(chǎn)生的多個弱鑒別器輸出估計值，各估計值與在學習過程中獲得的各個弱鑒別器的各權重相乘，并且將各加權的值相加以更新加權多數(shù)判決的值。無論何時更新加權多數(shù)判決的值(估計值)，使用中止(abort)閾值控制是否中止估計值的計算。中止閾值(參考值)在學習過程中由組學習機6學習。
鑒別器5具有弱鑒別器，其使用相當簡單的特征量，即，兩個像素之間的亮度差異(像素間差異特征)，以辨別感興趣的對象和不感興趣的對象，使得能夠增加檢測感興趣的對象的速度。另一方面，中止過程用來在計算過程中進行到用于下一個窗口圖像的辨別過程，而不等待來自所有弱鑒別器的計算結果，使得檢測過程中的計算量能夠顯著地減少。這些效果允許甚至更快的處理。
此外，在鑒別器5中，多個弱鑒別器形成節(jié)點并且多個節(jié)點以樹形結構放置。
圖6示出當所有下面的圖像作為學習采樣學習時、形成的樹形結構的實例；標記為朝前的面部的圖像(具有范圍從-15度到+15度的偏航角(yawangle)的圖像)(下文稱為標記W11圖像)、標記為朝左的面部的圖像(具有范圍從+15度到+65度的偏航角的圖像)(下文稱為標記W21圖像)、標記為朝右的面部的圖像(具有范圍從-65度到-15度的偏航角的圖像)(下文稱為標記W31圖像)、標記為從前面位置在滾動方向上旋轉+20度的面部的圖像(下文稱為標記W12圖像)、標記為在滾動方向上旋轉+20度的朝左的面部的圖像(下文稱為標記W22圖像)、標記為在滾動方向上旋轉+20度的朝右的面部的圖像(下文稱為標記W32圖像)、標記為從前面位置在滾動方向上旋轉-20度的面部的圖像(下文稱為標記W13圖像)、標記為在滾動方向上旋轉-20度的朝左的面部的圖像(下文稱為標記W23圖像)、以及標記為在滾動方向上旋轉-20度的朝右的面部的圖像(下文稱為標記W33圖像)。
如圖7A中所示，偏航角是中心位置在軸202上的角，軸202垂直于軸201，所述軸201與連接人雙眼并基本上穿過人頭部的中心的線相平行，并且軸202基本上垂直穿過人頭部的中心。偏航角被定義為在右方向上為負，而在左方向上為正。
滾動角表示圍繞垂直于軸201和202的軸203旋轉的角，并且當軸201為水平時被定義為零度。
還有另一個角稱為傾斜角(pitch angle)，其表示姿態(tài)。傾斜角是以軸201為中心的朝上和朝下的角，并且被定義為在朝上方向上為正，而在朝下方向上為負。
當圖6中所示的樹形結構未被使用時，例如，可能需要圖8中所示的弱鑒別器組231以便辨認(identify)一個標記。弱鑒別器組231具有K個弱鑒別器，即，弱鑒別器21-11到21-1k。這K個弱鑒別器學習一個標記的學習采樣。
因此，為了學習例如九個標記(即標記W11至W13、標記W21至W23和標記W31至W33)的學習采樣，需要準備用于學習標記W11的學習采樣的弱鑒別器組231-1、以及用于學習各自的標記(即標記W12、標記W13、標記W21到W23和標記W31到W33)的學習采樣的弱鑒別器組231-2到231-9，如圖9所示。這些弱鑒別器組231-2到231-9的每一個也具有K個弱鑒別器。
在圖6中所示的樹形結構中，從最上游節(jié)點到最下游節(jié)點的學習路徑中的弱鑒別器的數(shù)量，最大也是K。然而，如上所述，當加權多數(shù)判決的值小于中止閾值時，在該點中止辨別(辨認)過程，該加權多數(shù)判決的值，是通過將從辨別(辨認)過程中每個弱鑒別器中執(zhí)行的過程產(chǎn)生的值加權、并將各加權的值相加獲得的值。因此，可以減少弱鑒別器的數(shù)量。
圖10示意地示出了上述解釋。即，在該實施例中，雖然節(jié)點221基本由弱鑒別器211到21100形成，然而每個弱鑒別器21i具有基于中止閾值的中止能力，如圖11所示。在圖中，參考字符Y表示隨后的級接管(take over)輸出，而參考字符N表示過程在此中止。
因此，鑒別器5用作判斷裝置，不僅用于計算加權多數(shù)判決，作為用于判斷窗口圖像是否為感興趣的對象的估計值，而且基于該估計值判斷窗口圖像是否為感興趣的對象。
組學習機6利用組學習來預先學習各弱鑒別器、要與各弱鑒別器的輸出(估計值)相乘的各權重等等。
作為組學習，可以應用任何特定的方法，只要它們在多數(shù)判決過程中能夠確定多個弱鑒別器的結果。例如，可以應用利用增強(boosting)的組學習，如AdaBoost，其中加權數(shù)據(jù)以執(zhí)行加權多數(shù)判決。


發(fā)明內(nèi)容
然而，在如圖6所示的相關技術的面部檢測設備1中，需要對每個視圖(九類圖像)學習學習采樣，并且作為學習結果，存儲兩個像素的位置對(K對)、用于弱鑒別器的閾值(K個值)、用于加權多數(shù)判決的權重(弱鑒別器的可靠性)(K個權重)、和每個視圖的中止閾值(K個值)，產(chǎn)生大量字典(dictionary)數(shù)據(jù)。
為了使面部檢測設備1商品化為內(nèi)建LSI，需要減少邏輯門規(guī)模和制造成本。然而，當面部檢測設備1實現(xiàn)為硬件時，字典數(shù)據(jù)將存儲在ROM中，這可能需要比計算電路更大的電路(大量的邏輯門)。
鑒于上述情況，期望減少組學習中檢測感興趣的對象需要的字典數(shù)據(jù)量。
根據(jù)本發(fā)明的實施例的一種信息處理設備，包括高節(jié)點，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)學習第一標記的學習采樣和第二標記的學習采樣，所述第二標記的學習采樣與第一標記的學習采樣具有預定的坐標關系；第一低節(jié)點，其具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)基于高節(jié)點的辨別結果學習第一標記的學習采樣；以及第二低節(jié)點，不具有弱鑒別器。第一低節(jié)點基于高節(jié)點的辨別結果對輸入信號執(zhí)行辨認過程，以便識別(recognize)第一標記的圖像，并且第二低節(jié)點根據(jù)坐標關系，通過利用第一低節(jié)點中的弱鑒別器，基于高節(jié)點的辨認結果對輸入信號執(zhí)行辨認過程，以便辨認第二標記的圖像。
高節(jié)點和第一低節(jié)點中的弱鑒別器，基于學習采樣的圖像數(shù)據(jù)中的兩個像素值之間的差異與閾值有多少不同，執(zhí)行辨認過程，并且第二低節(jié)點可以基于根據(jù)輸入信號的圖像上的兩個像素值之間的差異、與對第一節(jié)點的辨認過程中使用的閾值有多少不同，執(zhí)行辨認過程，所述輸入信號的位置通過基于坐標關系、對在第一節(jié)點的辨認過程中使用的兩個像素的位置執(zhí)行坐標變換獲得。
第二標記的學習采樣對應于某圖像，其通過在滾動方向上旋轉第一標記的學習采樣預定的角度、或在水平方向上翻轉(flip)第一標記的學習采樣獲得，并且第二低節(jié)點可以基于根據(jù)輸入信號、圖像上的兩個像素值之間的差異、與對第一節(jié)點的辨認過程中使用的閾值有多少不同，執(zhí)行辨認過程，所述輸入信號的位置通過在滾動方向上將在第一節(jié)點的辨認過程中使用的兩個像素的位置旋轉預定的角度、或在水平方向上翻轉兩個像素的位置獲得。
進一步提供獲得信號的輸出裝置，該信號經(jīng)歷辨認過程并將其輸出到高節(jié)點、第一低節(jié)點或第二低節(jié)點，并且當?shù)诙凸?jié)點基于根據(jù)輸入信號、圖像上的兩個像素值之間的差異、與對第一圖像的辨認過程中使用的閾值有多少不同，執(zhí)行辨認過程時，輸出裝置能夠將大于學習采樣的圖像的圖像信號輸出到第二低節(jié)點，所述輸入信號的位置通過在滾動方向上將在第一節(jié)點的辨認過程中使用的兩個像素的位置旋轉預定的角度獲得。
形成高節(jié)點和第一低節(jié)點的弱鑒別器，根據(jù)從輸出裝置輸出的圖像信號，能夠適于在滾動方向上旋轉學習采樣預定的角度，其中心與圖像的中心對齊，并且根據(jù)圖像信號，對離開(go off)圖像的區(qū)域不執(zhí)行學習。
高節(jié)點以及第一和第二低節(jié)點，可以包括用于利用可靠性將每個辨別結果加權、累加各加權的辨別結果、并基于累加的和中止辨認過程的中止裝置。
無論何時加權并累加辨別結果、或者無論何時加權和累加預定數(shù)量的辨別結果，中止裝置都能夠判斷是否中止辨認過程。
根據(jù)本發(fā)明的另一實施例的一種信息處理方法，是一種用于信息處理設備的信息處理方法，該信息處理設備包括高節(jié)點，具有多個弱鑒別器，其已經(jīng)學習第一標記的學習采樣和第二標記的學習采樣，所述第二標記的學習采樣與第一標記的學習采樣具有預定的坐標關系；第一低節(jié)點，其具有多個弱鑒別器，所述多個弱鑒別器基于高節(jié)點的辨別結果，已經(jīng)學習第一標記的學習采樣；以及第二低節(jié)點，其不具有弱鑒別器。信息處理方法包括步驟利用第一低節(jié)點，基于高節(jié)點的辨別結果對輸入信號執(zhí)行辨認過程，以便識別第一標記的圖像；以及利用第二低節(jié)點，根據(jù)坐標關系，通過利用第一低節(jié)點中的弱鑒別器，基于高節(jié)點的辨認結果對輸入信號執(zhí)行辨認過程，以便辨認第二標記的圖像。
根據(jù)本發(fā)明的另一實施例的程序，是一種用于信息處理設備的程序，該信息處理設備包括高節(jié)點，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)學習第一標記的學習采樣和第二標記的學習采樣，所述第二標記的學習采樣與第一標記學習采樣具有預定的坐標關系；第一低節(jié)點，其具有多個弱鑒別器，所述多個弱鑒別器基于高節(jié)點的辨別結果，已經(jīng)學習第一標記的學習采樣；以及第二低節(jié)點，其不具有弱鑒別器。該程序包括步驟利用第一低節(jié)點，基于高節(jié)點的辨別結果對輸入信號執(zhí)行辨認過程，以便辨認第一標記的圖像，以及利用第二低節(jié)點，根據(jù)坐標關系，通過利用第一低節(jié)點中的弱鑒別器，基于高節(jié)點的辨認結果對輸入信號執(zhí)行辨認過程，以便辨認第二標記的圖像。
在根據(jù)本發(fā)明的實施例的信息處理設備、信息處理方法及程序中，基于高節(jié)點(其具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)學習第一標記的學習采樣和第二標記的學習采樣，所述第二標記的學習采樣與第一標記的學習采樣具有預定的坐標關系)的辨別結果，第一低節(jié)點(其具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)學習第一標記的學習采樣)基于高節(jié)點的辨別結果用來對輸入信號執(zhí)行辨認過程，以便辨認第一標記的圖像，并且第二低節(jié)點(其不具有弱鑒別器)用來根據(jù)坐標關系、通過利用第一低節(jié)點中的弱鑒別器、基于高節(jié)點的辨認結果對輸入信號執(zhí)行辨認過程，以便辨認第二標記的圖像。
根據(jù)本發(fā)明的實施例，可以減少面部圖像辨別過程需要的字典數(shù)據(jù)。



圖1是示出相關技術的對象檢測設備的處理功能的功能框圖； 圖2是用于解釋比例變換的視圖； 圖3是用于解釋如何在掃描操作中移動搜索窗口的視圖； 圖4是用于解釋搜索窗口的移動的視圖； 圖5示出鑒別器的配置； 圖6是用于解釋相關技術中各節(jié)點的樹形結構的視圖； 圖7A和7B是用于解釋面部姿態(tài)角度的視圖； 圖8是用于解釋典型的AdaBoost中的辨別器(identifier)的配置的視圖； 圖9是用于解釋典型的AdaBoost如何辨認標記的視圖； 圖10示出具有拒絕判斷能力的弱鑒別器形成的節(jié)點的配置； 圖11示出具有拒絕判斷能力的弱鑒別器的配置； 圖12是示出應用本發(fā)明的對象檢測設備的處理功能的功能框圖； 圖13示出鑒別器的配置； 圖14是用于解釋像素間差異特征的視圖； 圖15A到15C是用于解釋像素間差異特征和閾值之間關系的視圖； 圖16是用于解釋頻率分布的視圖； 圖17A和17B是用于解釋基于概率密度的像素間差異特征的視圖； 圖18示出加權多數(shù)判決F(x)的值的變化； 圖19示出學習采樣的分類的示例； 圖20是用于解釋學習過程中各節(jié)點的樹形結構的視圖； 圖21是用于解釋節(jié)點的數(shù)據(jù)結構的視圖； 圖22是示出組學習機的示例性功能配置的方框圖； 圖23是用于解釋學習過程的流程圖； 圖24是示出節(jié)點學習部分的示例性功能配置的方框圖； 圖25是用于解釋圖23中步驟S12處的節(jié)點學習過程的流程圖； 圖26是示出弱鑒別器選擇器的示例性功能配置的方框圖； 圖27是用于解釋圖25中步驟S43處的弱鑒別器選擇過程的流程圖； 圖28是用于解釋閾值的移動的視圖； 圖29是示出鑒別器的示例性功能配置的方框圖； 圖30是用于解釋對象檢測過程的流程圖； 圖31是用于解釋圖30中步驟S103處的辨認過程的流程圖； 圖32是用于解釋辨別過程中的各節(jié)點的樹形結構的視圖； 圖33是用于解釋圖31中步驟S132處的評估值計算過程的流程圖； 圖34是用于解釋圖33中步驟S162處的、要對學習節(jié)點執(zhí)行的評估值計算過程的流程圖； 圖35是用于解釋圖33中步驟S163處的、要對未學習節(jié)點執(zhí)行的評估值計算過程的流程圖； 圖36是用于解釋與學習節(jié)點相關聯(lián)的標記的圖像、和與未學習節(jié)點相關聯(lián)的標記的圖像之間的坐標關系的視圖； 圖37是示出作為學習結果獲得的兩個像素對的位置、和當在未學習節(jié)點計算特征量時使用的各像素的位置之間的關系的視圖； 圖38是示出作為學習結果獲得的兩個像素對的位置、和當在未學習節(jié)點計算特征量時使用的各像素的位置之間的關系的另一個視圖； 圖39A和39B示出另一示例性窗口圖像；以及 圖40是示出示例性計算機配置的方框圖。

具體實施例方式 在下面描述執(zhí)行本發(fā)明的最佳方式之前，例如如下解釋公開的發(fā)明是如何對應于實施例的即使在此描述了一個實施例，但是該實施例未描述為對應本發(fā)明，其不意味該實施例不符合本發(fā)明。相反地，即使在此根據(jù)本發(fā)明描述了一個實施例，也不意味該實施例唯一地對應于本發(fā)明。
此外，不意味著下面的描述包括在此描述的全部發(fā)明。換句話說，下面的描述不排除存在這里描述但在本申請中未請求保護的發(fā)明，即，可以用作分案申請的發(fā)明、或者可以在將來作為改進公開并補充的發(fā)明。
根據(jù)本發(fā)明的實施例的一種信息處理設備包括 高節(jié)點(例如，圖32中的學習節(jié)點81-1-1)，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)學習第一標記的學習采樣(例如，圖36中標記W11的圖像)和第二標記的學習采樣，所述第二標記的學習采樣與第一標記的學習采樣具有預定的坐標關系(例如，通過在滾動方向旋轉圖36中標記W11的圖像+20度，能夠獲得標記W12的圖像)， 第一低節(jié)點(例如，圖32中的學習節(jié)點81-1-1-1)，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)基于高節(jié)點的辨別結果學習第一標記的學習采樣，以及 第二低節(jié)點(例如，圖32中的未學習節(jié)點81-1-1-2)，其不具有弱鑒別器。
第一低節(jié)點對輸入信號執(zhí)行辨認過程，以便基于高節(jié)點的辨別結果識別第一標記的圖像，以及 第二低節(jié)點根據(jù)坐標關系，通過利用第一低節(jié)點中的弱鑒別器，對輸入信號執(zhí)行辨認過程，以便基于高節(jié)點的辨別結果辨認第二標記的圖像。
高節(jié)點和第一低節(jié)點中的弱鑒別器，基于學習采樣的圖像數(shù)據(jù)中兩個像素值之間的差異和閾值有多少不同，執(zhí)行辨認過程，以及 第二低節(jié)點可以基于根據(jù)輸入信號、圖像上的兩個像素值之間的差異、與對第一節(jié)點的辨認過程中使用的閾值有多少不同，執(zhí)行辨認過程，所述輸入信號的位置通過基于坐標關系(例如，圖37或38)、對在第一節(jié)點的辨認過程中使用的兩個像素的位置執(zhí)行坐標轉換得到。
第二標記的學習采樣對應于一圖像，其通過在滾動方向上以預定的角度旋轉第一標記的學習采樣、或在水平方向上翻轉第一標記的學習采樣獲得，以及 第二低節(jié)點可以基于根據(jù)輸入信號、圖像上的兩個像素值之間的差異、與對第一節(jié)點的辨認過程中使用的閾值有多少不同，執(zhí)行辨認過程，所述輸入信號的位置通過基于坐標關系(例如，圖37或38)、對在對第一節(jié)點的辨認過程中使用的兩個像素的位置執(zhí)行坐標轉換得到。
進一步提供獲得信號的輸出裝置(例如，圖12中的掃描器54)，該信號經(jīng)歷辨認過程并將其輸出到高節(jié)點、第一低節(jié)點或第二低節(jié)點，以及 當?shù)诙凸?jié)點基于根據(jù)輸入信號、圖像上的兩個像素值之間的差異、與對第一節(jié)點的辨認過程中使用的閾值有多少不同，執(zhí)行辨認過程時，輸出裝置能夠將大于學習采樣的圖像的圖像信號(例如，圖39B)輸出到第二低節(jié)點，所述輸入信號的位置通過在滾動方向上、將在第一節(jié)點的辨認過程中使用的兩個像素的位置旋轉預定的角度得到。
形成高節(jié)點和第一低節(jié)點的弱鑒別器，根據(jù)從輸出裝置輸出的圖像信號，適于在滾動方向上旋轉學習采樣預定的角度，其中心與圖像的中心對齊，并且根據(jù)圖像信號，對離開圖像的區(qū)域不執(zhí)行學習(圖39B中四個角處的像素)。
高節(jié)點以及第一和第二低節(jié)點，可以包括中止裝置，用于將每個辨別結果用可靠性加權、累加各加權的辨別結果、并基于累加的和中止辨認過程(例如，圖29中的判斷部分472，其執(zhí)行圖34中的步驟S175處的過程)。
無論何時加權并累加辨別結果、或者無論何時加權和累加預定數(shù)量的辨別結果，中止裝置都可以判斷是否中止辨認過程。
根據(jù)本發(fā)明的另一個實施例的一種信息處理方法或程序，是用于信息處理設備的信息處理方法或程序，該信息處理設備包括 高節(jié)點(例如，圖32中的學習節(jié)點81-1-1)，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)學習第一標記的學習采樣(例如，圖36中標記W11的圖像)和第二標記的學習采樣，所述第二標記的學習采樣與第一標記的學習采樣具有預定的坐標關系(例如，通過在滾動方向上旋轉圖36中標記W11的圖像+20度，能夠獲得的標記W12的圖像)， 第一低節(jié)點(例如，圖32中的學習節(jié)點81-1-1-1)，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)基于高節(jié)點的辨別結果學習第一標記的學習采樣，以及 第二低節(jié)點(例如，圖32中的未學習節(jié)點81-1-1-2)，其不具有弱鑒別器。
信息處理方法或程序包括步驟 利用第一低節(jié)點，基于高節(jié)點的辨別結果對輸入信號執(zhí)行辨認過程，以便識別第一標記的圖像(例如，圖33中的步驟S121)，以及 利用第二低節(jié)點，根據(jù)坐標關系，通過利用第一低節(jié)點中的弱鑒別器，基于高節(jié)點的辨認結果對輸入信號執(zhí)行辨認過程，以便辨認第二標記的圖像(例如，圖33中的步驟S163)。
下面將參考附圖詳細描述應用本發(fā)明的特定實施例。
在本發(fā)明的實施例中，利用整體學習(組學習)以檢測來自圖像的感興趣的對象的信息處理設備，被應用于對象檢測設備。
由組學習獲得的學習機，包括大量弱假設和組合這些弱假設的組合器。
增強是結合弱假設的輸出的組合器的示例，所述弱假設由獨立于輸入的固定權重加權。
在增強中，操作學習采樣服從的分布，使得以前產(chǎn)生的弱假設的學習結果，被用來增加已經(jīng)產(chǎn)生誤差的學習采樣(練習)的權重，并且基于操作的分布學習新的弱假設。這樣，相對于其他增加了學習采樣的權重，所述學習采樣引起大量錯誤答復，并因此難于作為感興趣的對象辨別，使得順序選擇弱鑒別器，每一個為具有大權重(即，難以辨認)的學習采樣提供正確答復。在這種情形，在學習過程中順序產(chǎn)生弱假設，并且新產(chǎn)生的弱假設取決于以前所產(chǎn)生的弱假設。
為了檢測感興趣的對象，使用如上面所述的學習過程中連續(xù)產(chǎn)生的、大量弱假設的辨別結果。例如，在AdaBoost中，學習過程中產(chǎn)生的弱假設的所有辨別結果(1對應于感興趣的對象，而-1對應于不感興趣的對象)(下文中稱為弱鑒別器)被提供給組合器，該組合器利用可靠性為每個辨別結果加權，所述可靠性在對每個相應的弱鑒別器執(zhí)行的學習過程中計算，將各加權的值相加，輸出加權多數(shù)判決的結果，并且評估組合器的輸出值，以便選擇輸入圖像是否為感興趣的對象。
弱鑒別器使用某些特征數(shù)量，以判斷輸入圖像是感興趣的對象還是不感興趣的對象。弱鑒別器可以以確定性方式輸出輸入圖像是感興趣的對象還是不感興趣的對象，或者可以以概率密度形式或者以概率方式等輸出是感興趣的對象的可能性。
該實施例使用利用弱鑒別器的組學習機，每一個弱鑒別器利用非常簡單的特征量，即，兩個像素之間亮度的差異(像素間差異特征)，來辨別感興趣的對象與不感興趣的對象。組學習機設計為在要判斷的各視圖中、僅學習預定視圖的學習采樣，并且能夠利用學習結果來判斷其他視圖。
即，盡管本發(fā)明特別涉及一種辨別過程，仍然將提供下面的部分便于理解，如JP-A-2005-284487中 (1)對象檢測設備 (2)組學習機 (2-1-1)輸出二進制值的弱鑒別器 (2-1-2)輸出連續(xù)值的弱鑒別器 (2-2)中止閾值 (3)弱鑒別器組裝(assembly)結構 (4)學習方法 (4-1)鑒別器的產(chǎn)生 (4-2)弱鑒別器的產(chǎn)生 在以基本與JP-A-2005-284487類似的方法描述上述部分之后，將在下面部分描述特別涉及本發(fā)明的部分 (5)對象檢測方法 (1)對象檢測設備的配置 圖12示出本發(fā)明應用的對象檢測設備51的示例性結構。對象檢測設備51檢測來自給定圖像(輸入圖像)的感興趣的對象。
圖像輸出部分52輸出灰度圖像(亮度圖像)，作為輸入到對象檢測設備51的輸入圖像，如圖1中圖像輸出部分2。
縮放部分53放大或者縮小，即，縮放輸入圖像，如圖1中縮放部分3。
掃描器54利用預定大小的窗口，在例如從左上到右下的方向中順序掃描已縮放的輸入圖像，并且輸出窗口中的圖像作為窗口圖像，如圖1中的掃描器4。
鑒別器55由具有多個弱鑒別器等的樹形結構的節(jié)點形成，并且該鑒別器55辨別掃描操作中由掃描器54連續(xù)移動的每個窗口圖像，是感興趣的對象還是不感興趣的對象。
即，縮放部分53輸出已縮放的圖像，所述圖像通過放大或者縮小輸入圖像至所有指定比例獲得。
掃描器54利用具有要檢測的感興趣的對象大小的窗口，順序掃描每個已縮放的圖像，以便剪切窗口圖像，并且鑒別器55辨別每個窗口圖像是否是面部。
鑒別器55參考組學習機56的學習結果，所述組學習機56對形成鑒別器55的多個弱鑒別器執(zhí)行組學習，以便辨別當前窗口圖像是否是感興趣的對象，如面部圖像，或者不感興趣的對象(不是面部圖像的圖像)。
當從輸入圖像檢測多個感興趣的對象時，對象檢測設備51輸出多個區(qū)域信息塊。此外，當多個區(qū)域信息塊中的一些區(qū)域相互重疊時，對象檢測設備51也可以利用下面將描述的方法，選擇評估為最可能是感興趣的對象的區(qū)域。
從圖像輸出部分52輸出的圖像(灰度圖像)首先輸入到縮放部分53?？s放部分53利用雙線性插值來減小圖像大小。在該實施例中，縮放部分53最初并不產(chǎn)生多個減少的圖像，而是重復將需要的圖像輸出給掃描器54的操作、和在處理需要的圖像之后產(chǎn)生下一個進一步減小的圖像的操作。
即，如圖2所示的情況，縮放部分53首先將輸入圖像10A按原樣輸出給掃描器54。然后，縮放部分53等待掃描器54和鑒別器55中對輸入圖像10A執(zhí)行的處理的完成，然后產(chǎn)生通過減小輸入圖像10A的大小獲得的輸入圖像10B。此外，縮放部分53等待掃描器54和鑒別器55中對輸入圖像10B執(zhí)行的處理的完成，然后將通過進一步減小輸入圖像10B的大小獲得的輸入圖像10C，輸出給掃描器54。這樣，縮放部分53順序產(chǎn)生進一步減小的圖像，如10D和10E，并且當減小的圖像的圖像大小變得小于窗口的大小時，終止該過程，掃描器54在掃描操作中移動所述窗口。中止該過程后，圖像輸出部分52輸出下一個輸入圖像給縮放部分53。
在掃描器54中，如圖3所示的情況中，窗口11被順序應用到給定圖像的整個部分(屏幕)，如圖像10A，所述窗口具有與隨后的鑒別器55接受的窗口大小相同的大小，并且將在窗口11中的每個位置上的圖像(在下文中稱為剪切圖像或窗口圖像)輸出到鑒別器55。
在掃描操作中基于像素移動窗口11，如圖4所示的情況。即，從掃描器54輸出窗口11中預定位置的剪切圖像之后，在下一次掃描中，窗口11向右移動一個像素，并且該位置處的窗口11中的剪切圖像被提供給鑒別器55。
盡管窗口大小是固定的，然而縮放部分53順序減小輸入圖像，使得輸入圖像的圖像大小變換為如上所述的各種比例，允許檢測任意大小的對象。
即，輸入圖像中任何大小的面部被順序縮小，并且圖像大小最終變得基本上與窗口大小相等。結果，無論窗口11中的圖像是否是人類面部圖像，都能夠被檢測。
鑒別器55判斷從前級提供的剪切圖像是否是感興趣的對象，如面部。
如圖13所示，鑒別器55包括通過整體學習獲得的多個弱鑒別器61i(i＝1，2，3，...，K)和加法器62，該加法器22將來自各弱鑒別器的輸出(辨別結果)與各自相應的權重αi(i＝1，2，3，...，K)相乘，以確定加權多數(shù)判決F(x)。
基于窗口11內(nèi)各像素之間的任意位置處的兩個像素，每個弱鑒別器611到61K辨別窗口11中的圖像是否是人類面部圖像。參考字符K對應于從窗口11中的圖像提取的兩個像素的組合數(shù)量。
在鑒別器55中，每個弱鑒別器61i順序輸出估計值f(x)，其表示輸入窗口圖像是否為感興趣的對象，并且加法器62計算并輸出加權多數(shù)判決F(x)。根據(jù)加權多數(shù)判決F(x)的值，判斷單元(未示出)進行最后的判斷窗口圖像是否為感興趣的對象。
組學習機56利用下面將描述的方法，使用組學習來提前學習弱鑒別器61i、以及要與各弱鑒別器的輸出(估計值)相乘的權重。
如組學習，可以使用任何指定的方法，只要它們能夠確定多數(shù)判決過程中多個弱鑒別器的結果。例如，可以使用利用增強的組學習，如AdaBoost，其中加權數(shù)據(jù)來執(zhí)行加權多數(shù)判決。
形成鑒別器55的每一個弱鑒別器61i，利用兩個像素之間亮度的差異(像素間差異特征)作為用于辨認目的的特征量。然后，每一個弱鑒別器61i，將窗口圖像的特征量、與通過利用多個灰度圖像形成的學習采樣學習的特征量相比較，該多個灰度圖像已經(jīng)預先被標記為感興趣的對象或者不感興趣的對象，以便輸出估計值，用于以確定性或者概率性方式估計窗口圖像是否為感興趣的對象。
加法器62將每個弱鑒別器61i的估計值與權重(其是對于每個弱鑒別器61i的可靠性)相乘，將各加權的值相加并輸出相加的值(加權多數(shù)判決的值)。在AdaBoost中，多個弱鑒別器61i順序計算各估計值，根據(jù)該估計值，連續(xù)更新加權多數(shù)判決的值。
由組學習機56連續(xù)產(chǎn)生多個弱鑒別器，該組學習機56根據(jù)下面將描述的算法，利用上述學習采樣來執(zhí)行組學習。多個弱鑒別器例如以產(chǎn)生弱鑒別器的順序計算上述各估計值。在學習過程中學習用于加權多數(shù)判決的權重(可靠性)，在所述學習過程中產(chǎn)生弱鑒別器，其將在下文描述。
如在AdaBoost中弱鑒別器輸出二進制值的情形，例如，弱鑒別器61i利用閾值來將像素間差異特征二進制化，以便辨別感興趣的對象和不感興趣的對象。多個閾值可以用于辨別的目的。作為替代，如在Real-AdaBoost中，例如，弱鑒別器可以利用像素間差異特征輸出連續(xù)值，所述連續(xù)值指示以概率性方式為感興趣的對象的可能性。根據(jù)該算法，在學習過程中還學習這些弱鑒別器61i需要什么，如用于辨別目的的特征量。
此外在該實施例中，在加權多數(shù)判決過程期間，當計算的值在該點判斷窗口圖像不是感興趣的對象時，無需等待來自所有弱鑒別器的計算結果，就中止計算，甚至在其過程中。因此，在學習過程中學習中止閾值(參考值)。該中止過程允許檢測過程中顯著減少計算量。這樣，在計算過程中可以進行下一個窗口圖像的辨別過程，而無需等待來自所有弱鑒別器的計算結果，允許更快的處理。
因此，鑒別器55運行為判斷單元，不僅用于計算加權多數(shù)判決作為評估值，用于判斷窗口圖像是否為感興趣的對象，而且基于該評估值，判斷窗口圖像是否為感興趣的對象。
此外，無論何時在學習過程中預先產(chǎn)生的多個弱鑒別器輸出估計值，鑒別器55都將用于各個弱鑒別器的權重與估計值相乘，所述各個弱鑒別器在學習過程中獲得，并且將各加權的值相加，以更新加權多數(shù)判決的值。無論何時更新加權多數(shù)判決的值(評估值)，中止閾值都被用來控制是否中止估計值的計算。
根據(jù)組學習機56中的預定算法，通過利用學習采樣以執(zhí)行組學習，產(chǎn)生鑒別器55。在下面的描述中，將首先描述組學習機56中的組學習方法，然后利用通過組學習獲得鑒別器55的方法，所述方法用于辨別來自輸入圖像的感興趣的對象。
(2)組學習機 使用增強算法來執(zhí)行組學習的組學習機56，如上所述將多個弱鑒別器組合以執(zhí)行學習，使得最終獲得強的鑒別結果。
盡管每個單獨的弱鑒別器具有相當簡單的配置、以及獨立辨別面部和非面部的很弱的能力，但是例如可以組合數(shù)百上千個弱鑒別器，以提供高辨別能力。
組學習機56使用例如稱為學習采樣的數(shù)千采樣圖像，其每一個包括感興趣的對象和不感興趣的對象，例如，面部圖像和非面部圖像，其可預先被提供(標記)各自正確的答復。然后，組學習機56根據(jù)預定的學習算法，從大量學習模型(假設的組合)選擇(學習)一個假設，以便產(chǎn)生弱鑒別器并確定如何組合各弱鑒別器。
盡管弱鑒別器自身具有較差的辨別性能，然而適當選擇并組合各弱鑒別器，能夠最終提供具有高辨別能力的鑒別器。因此，組學習機56學習如何組合各弱鑒別器，即，如何選擇各弱鑒別器。組學習機56還學習各權重，所述各權重用于對各弱鑒別器的輸出執(zhí)行加權多數(shù)判決等等。
現(xiàn)在將描述一種組學習機56的學習方法，用于獲得具有大量適當?shù)娜蹊b別器的鑒別器，所述弱鑒別器根據(jù)學習算法組合。在描述組學習機56的學習方法之前，將描述，在組學習過程中要學習的學習數(shù)據(jù)之中，用于形成弱鑒別器的像素間差異特征、和用于在辨別過程(檢測過程)期間中止檢測的中止閾值(參考值)。
(2-1)弱鑒別器的配置(像素間差異特征) 本實施例中鑒別器55包括多個弱鑒別器。每個弱鑒別器具有相當簡單的配置，其中從輸入圖像的全部像素選擇的兩個像素之間亮度的差異(像素間差異特征)被用來辨別面部和非面部。這增加了辨別過程中弱鑒別器的辨別結果的計算速度。
要輸入到弱鑒別器的圖像是學習過程中的學習采樣，而輸入圖像是在辨別(辨認)過程中從已縮放的圖像剪切的窗口圖像。
圖14是示出用于解釋像素間差異特征的圖像的圖表視圖。在圖像70中，兩個任意像素之間亮度的差異，例如，像素71的亮度值I1和像素72的亮度值I2之間的差異，即，從下式(1)中獲得的值d被定義為本實施例中的像素間差異特征。
d＝I1-I2... (1) 弱鑒別器的能力取決于哪個像素間差異特征d被用于面部檢測。因此，用于弱鑒別器的一對像素位置，需要從采樣圖像或窗口圖像中任意兩個像素的組合(也稱為濾波器或弱假設)選擇。
例如，在AdaBoost中，弱鑒別器可能需要提供+1(感興趣的對象)或-1(不感興趣的對象)的確定性輸出。那么，在AdaBoost中，能夠通過利用一個或多個閾值產(chǎn)生弱鑒別器，以將任意像素位置處的像素間差異特征d二進制化(+1或-1)。
在增強算法中，例如Real-AdaBoost和Gentle Boost，其中以概率性的方式輸出指示學習采樣的概率分布的連續(xù)值(實數(shù))，來代替這種二進制輸出，弱鑒別器輸出表示輸入圖像是感興趣的對象的可能性(概率)。因此，弱鑒別器的輸出可以是確定性的或者概率性的。首先，將描述輸出這種二進制值的弱鑒別器。
(2-1-1)輸出二進制輸出的弱鑒別器 產(chǎn)生確定性輸出的弱鑒別器，根據(jù)像素間差異特征d的值，在感興趣的對象和不感興趣的對象之間進行兩類辨別。令I1和I2為目標圖像區(qū)域中兩個像素的亮度值，并且Th1為根據(jù)像素間差異特征d辨別感興趣的對象和不感興趣的對象的閾值，下式(2)是否滿足確定了學習采樣屬于哪一類 I1-I2＞Th1... (2) 為了在該點處形成弱鑒別器，需要確定兩個像素的位置和閾值。下面將描述用于確定這些值的方法。利用式(2)的基于閾值的判斷示出最簡單的情況。在基于閾值的判斷中，可以使用由下式(3)或(4)表達的兩個閾值 TH11＞I1-I2＞Th12... (3) I1-I2＜Th21或者Th22＞I1-I2... (4) 圖15A到15C是示出由上式(2)到(4)表達的三種辨別方法、并且根據(jù)數(shù)據(jù)頻率分布的各自特性示例所畫出的圖表視圖，其中垂直軸表示數(shù)據(jù)頻率、以及水平軸表示像素間差異特征d。在圖15A到15C中，yi表示弱鑒別器的輸出。具體地，虛線表示判斷為yi＝-1(不感興趣的對象)的學習采樣的分布，而實線表示判斷為yi＝1(感興趣的對象)的學習采樣的分布。圖15A到15C中所示的直方圖，通過為大量學習采樣劃分具有相同的像素間差異特征d的頻率獲得，所述大量學習采樣包括面部圖像和非面部圖像。
實線和虛線表示相互獨立的判斷為yi＝1和yi＝-1的頻率。因此，例如，圖16示出通過將用于圖15A中所示的像素間差異特征d的分布圖相加獲得的分布。
如圖15A中所示，當表示不感興趣的對象的虛線和表示感興趣的對象的實線以常態(tài)(normal)曲線形式相似地分布、并且各分布曲線的峰值位置在水平方向中相互移動時，在分布曲線的交叉點處設置閾值Th1，并且式(2)可以用來辨別感興趣的對象和不感興趣的對象。
在AdaBoost中，例如，令f(x)為弱鑒別器的輸出(辨別結果)，輸出f(x)為1(感興趣的對象)或者-1(不感興趣的對象)。圖15A示出其中當像素間差異特征d大于閾值Th1時、學習采樣被判斷為感興趣的對象并且因此弱鑒別器的輸出f(x)變?yōu)?的情形的示例。
當兩個直方圖的峰值位置在基本上相同的位置、并且一個直方圖的分布的寬度不同于另一個直方圖的分布的寬度時，具有較窄分布寬度的直方圖的、像素間差異特征d的上部和下部極限區(qū)域的值可用作閾值，以基于上式(3)或(4)辨別感興趣的對象和不感興趣的對象。
圖15B示出具有較窄分布寬度的直方圖被判斷為感興趣的對象、因此弱鑒別器的輸出f(x)變?yōu)?的情形的示例，而圖15C示出通過從具有較寬分布寬度的直方圖中減去具有較窄分布寬度的直方圖獲得的直方圖、被判斷為感興趣的對象、因此弱鑒別器的輸出f(x)變?yōu)?的情形的示例。
當通過確定像素間差異特征d和因此的閾值形成弱鑒別器時，需要選擇像素間差異特征d，其將誤差率最小化或者將判斷的辨別率最大化。
例如，通過選擇兩個像素的位置、確定用于標記為要校正的學習采樣的直方圖(如圖15A到15C中所示的任何一個)、以及搜索提供最高正確答復率的閾值，換句話說，最低錯誤答復率(誤差率)的閾值，來確定閾值。
兩個像素的位置連同閾值一起可被選擇，例如來提供最低誤差率。然而，在AdaBoost中，反映辨別的難度級別的權重(數(shù)據(jù)權重)被應用到每個學習采樣，并且執(zhí)行學習過程，使得適當選擇的像素間差異特征d(由在適當選擇的位置處的兩個像素的亮度值定義的特征值)提供最低加權誤差率，其將在下面進行描述。
(2-1-2)輸出連續(xù)值的弱鑒別器 產(chǎn)生概率性輸出的弱鑒別器的示例為在Real-AdaBoost、Gentle Boost等中輸出連續(xù)值的弱鑒別器，如上所述。與上面提及的情況不同，其中預定的固定值(閾值)被用來解決辨別問題、并且輸出二進制輸出(f(x)＝1或-1)，在這種情況中的弱鑒別器，輸出表示輸入圖像是感興趣的對象的可能性，例如，作為概率密度函數(shù)。
這種表示是感興趣的對象的可能性(概率)的概率輸出，可以是由下式(5)表達的函數(shù)f(x) f(x)＝Pp(x)-Pn(x) ...(5) 其中當輸入像素間差異特征d時，Pp(x)為表示學習采樣為感興趣的對象的概率密度函數(shù)，而Pn(x)為表示學習采樣為不感興趣的對象的概率密度函數(shù)。
圖17A示出數(shù)據(jù)頻率分布的特征示例，其中垂直軸表示概率密度，水平軸表示像素間差異特征d。圖17B示出用于圖17A中所示的數(shù)據(jù)分布的函數(shù)f(x)，其中垂直軸表示函數(shù)f(x)的值，而水平軸表示像素間差異特征d。圖17A中，虛線表示指示是不感興趣的對象的概率密度，而實線表示指示是感興趣的對象的概率密度。圖17B示出從上述式(5)獲得的函數(shù)f(x)。在學習過程或辨別過程中，弱鑒別器輸出對應于像素間差異特征d的函數(shù)f(x)，所述像素間差異特征d上述式(1)表達，并從所輸入的學習采樣或窗口圖像獲得。函數(shù)f(x)指示是感興趣的對象的可能性，并且可以具有連續(xù)值，例如，范圍從-1到1，其中-1表示不感興趣的對象，而1表示感興趣的對象。例如，通過存儲由像素間差異特征d的值和相應的f(x)的值形成的表格，f(x)的值可以根據(jù)輸入從表格讀出并且輸出。因此，盡管存儲量可能稍微大于固定閾值Th1或固定閾值Th11和Th12或者Th21和Th22，但將改進辨別性能。
通過在整體學習中以組合方式使用多個估計方法(辨別方法)，可以期望改進辨別性能。作為替代，僅有任何一個辨別方法可以用來提高執(zhí)行速度性能。
盡管，由上述辨別方法的最簡單的式(2)表達的、并且對像素間差異特征d執(zhí)行的、基于閾值的判斷提供非常滿意的辨別結果，其中辨別方法將允許弱鑒別器依據(jù)要解決的問題改變來有效地運行。因此，合適時用于設置閾值的方法可被選擇。在一些問題中，代替兩個像素之間亮度的差異的、三個或者多個像素之中亮度的差異可以用作特征量。
(2-2)中止閾值 下面將描述中止閾值。
通常，如上所述，在基于增強的組學習機中，形成鑒別器55的所有弱鑒別器的輸出經(jīng)歷加權多數(shù)判決，以辨別窗口圖像是否為感興趣的對象。
通過將各弱鑒別器的辨別結果(估計值)連續(xù)相加，計算加權多數(shù)判決。例如，令t(＝1，...，K)為弱鑒別器的數(shù)量，αt為相應于每個弱鑒別器的加權多數(shù)判決(可靠性)，以及ft(x)為每個弱鑒別器的輸出，AdaBoost中加權多數(shù)判決F(x)的值可以由下式(6)確定 圖18示出根據(jù)輸入信號是否是感興趣的對象、圖示加權多數(shù)判決F(x)的值的變化的曲線圖。圖18中，水平軸表示弱鑒別器的數(shù)量，而垂直軸表示由上述式(6)表達的加權多數(shù)判決F(x)的值。
圖18中，由虛線表示的數(shù)據(jù)V1到V4，通過輸入標記為感興趣的對象的圖像(學習采樣)、利用弱鑒別器來順序計算各估計值f(x)、并且順序確定加權多數(shù)判決F(x)的值來獲得。如數(shù)據(jù)V1到V4所示，當輸入圖像為感興趣的對象、并且特定數(shù)量的弱鑒別器對這些數(shù)據(jù)執(zhí)行辨別時，加權多數(shù)判決F(x)的值變?yōu)檎?br> 該實施例介紹了一種與典型增強算法不同的方法。即，在將各弱鑒別器的辨別結果連續(xù)相加的過程中，甚至在獲得所有弱鑒別器的結果之前，也將中止用于辨別顯然不是感興趣的對象的窗口圖像的辨別過程。在學習過程期間，學習確定是否中止辨別過程的中止閾值(參考值)。
通過利用中止閾值，當其能夠可靠地估計窗口圖像是不感興趣的對象、而無需利用所有弱鑒別器的輸出結果時，各弱鑒別器的估計值f(x)的計算可以在計算期間中止。與使用所有弱鑒別器進行加權多數(shù)判決的情況相比，這顯著減少了過程所需的時間和計算量。
中止閾值可以是可能的加權多數(shù)判決值的最小值，所述可能的加權多數(shù)判決值從學習采樣的辨別結果獲得，所述學習采樣代表在標記的學習采樣中要檢測的對象。
在辨別過程中，用于窗口圖像的弱鑒別器的辨別結果，順序加權并輸出，即，順序更新加權多數(shù)判決的值。無論何時執(zhí)行更新，即，無論何時一個弱鑒別器輸出辨別結果，更新的值都與中止閾值比較。當加權多數(shù)判決的更新值小于中止閾值時，判斷窗口圖像為不感興趣的對象并可以中止計算。這樣，消除不需要的計算并且可以增加辨別過程的速度。
即，用于第M個弱鑒別器的輸出fM(x)的中止閾值RM被設置為在學習采樣xi(i＝1到N)之中，當使用是感興趣的對象(正采樣)的學習采樣xj(j＝1到J)時，獲得的加權多數(shù)判決F(x)的最小值。中止閾值RM如下定義 如式(7)所表示的，當用于學習采樣x1到xJ(其每一個為感興趣的對象)的加權多數(shù)判決F(x)的最小值大于零時，中止閾值RM被設置為零。當利用AdaBoost(其中閾值零被用作辨別目的)時，操作中止閾值不超過零，并且這取決于組學習的方法可能不同。
在AdaBoost中，如圖18中實線所示，當感興趣的對象輸入作為輸入圖像時，在得到的所有數(shù)據(jù)V1到V4中，中止閾值RM設置為加權多數(shù)判決F(x)的各可能值的最小值。當在所有數(shù)據(jù)V1到V4中加權多數(shù)判決F(x)的最小值超過零時，中止閾值RM設置為零。
在該實施例中，例如，無論何時產(chǎn)生弱鑒別器都通過在辨別過程中學習中止閾值RM(R1到RK)(將在下面描述)，其中多個弱鑒別器順序輸出估計值，并且順序更新加權多數(shù)判決的值，如由數(shù)據(jù)V5所表示的，當更新的值變得低于中止閾值RM時，要由隨后的弱鑒別器執(zhí)行的辨別過程將中止。即，通過學習中止閾值RM，無論何時弱鑒別器計算估計值，都可能確定對下一個弱鑒別器是否執(zhí)行計算。當輸入圖像明顯地判斷不是感興趣的對象時，無需等待所有弱鑒別器的辨別結果，就可以判斷輸入圖像不是感興趣的對象，使得在其過程期間可以中止計算，導致更快的檢測過程。
(3)弱鑒別器組裝結構 下面將描述本實施例中的弱鑒別器組裝結構。在本實施例中，多個學習采樣被用作學習。每個學習采樣由24乘24個像素組成。每個學習采樣是人類面部圖像并且包括各種變化，如照明條件和種族。
在本實施例中，基于人類面部(頭部)姿態(tài)執(zhí)行標記。
如圖19所示，本實施例利用分類(標記)為九組(標記)的學習采樣，所述九組(標記)由以下形成標記為朝前的面部的圖像(具有范圍在-15度到+15度的偏航角的圖像)(在下文中稱為標記W11圖像)、標記為朝左的面部的圖像(具有范圍在+15度到+65度的偏航角的圖像)(下文中稱為標記W21圖像)、標記為朝右的面部的圖像(具有范圍在-65度到-15度的偏航角的圖像)(下文中稱為標記W31圖像)、標記為在滾動方向上旋轉+20度的朝前的面部的圖像(下文稱為標記W12圖像)、標記為在滾動方向上旋轉+20度的朝左的面部的圖像(下文稱為標記W22圖像)、標記為在滾動方向上旋轉+20度的朝右的面部的圖像(下文稱為標記W32圖像)、標記為在旋轉方向上旋轉-20度的朝前的面部的圖像(下文稱為標記W13圖像)、標記為在滾動方向上旋轉-20度的朝左的面部的圖像(下文稱為標記W23圖像)、和標記為在滾動方向上旋轉-20度的朝右的面部的圖像(下文稱為標記W33圖像)。
即，本示例中人類面部通過偏航角和滾動角(圖7A和7B)確定，并且學習具有預定的偏航角和滾動角的人類面部的圖像。
在本實施例中，節(jié)點基本由固定數(shù)量(例如，100)的弱鑒別器形成，并且每個節(jié)點放置在樹形結構中。執(zhí)行學習和因此的辨認，使得能夠辨認每個標記圖像。較高級別層次處的弱鑒別器，學習較低級別層次處的弱鑒別器中執(zhí)行的學習中處理的所有標記。
例如，為了學習分為九種標記的圖像，即，標記W11到W13、標記W21到W23和標記W31到W33，形成如圖20所示的樹形結構。
最高節(jié)點81-1由100個弱鑒別器91-11到91-1100形成。節(jié)點81-1學習分為九種標記的學習采樣(所有標記)，即，標記W11到W13、標記W21到W23和標記W31到W33。
兩個節(jié)點81-1-1和81-1-2形成為節(jié)點81-1的低節(jié)點。
節(jié)點81-1-1由100個弱鑒別器91-1-11到91-1-1100形成，并且節(jié)點81-1-2由100個弱鑒別器91-1-21到91-1-2100形成，盡管未示出其參考字符。
節(jié)點81-1-1和81-1-2為高節(jié)點81-1的子節(jié)點，并且節(jié)點81-1相對于節(jié)點81-1-1和81-1-2為父節(jié)點。節(jié)點81-1-1和81-1-2相對于父節(jié)點81-1為兄弟節(jié)點。術語父節(jié)點和子節(jié)點以相對意義使用，即，處于甚至更高層級別處的節(jié)點之下的父節(jié)點，變成相對于該節(jié)點的子節(jié)點。
節(jié)點81-1-1學習標記W11到W13圖像，標記W11到W13圖像涉及分類為九種標記的學習采樣之中朝前的圖像，所述九種標記被父節(jié)點81-1學習，即標記W11到W13、標記W21到W23和標記W31到W33。
節(jié)點81-1-2學習標記W21到W23圖像，標記W21到W23圖像涉及父節(jié)點81-1學習的各標記中的朝左的圖像。
提供節(jié)點81-1-1-1作為節(jié)點81-1-1的低節(jié)點(子節(jié)點)。節(jié)點81-1-1-1由100個弱鑒別器91-1-1-11到91-1-1-1100形成，并且學習標記W11學習采樣。
提供節(jié)點81-1-1-1-1作為節(jié)點81-1-1-1的低節(jié)點(子節(jié)點)。節(jié)點81-1-1-1-1是不進一步具有其他低節(jié)點的終端節(jié)點。節(jié)點81-1-1-1-1由L11個弱鑒別器91-1-1-1-11到91-1-1-1-1L11形成，并且學習標記W11學習采樣。
提供節(jié)點81-1-2-1作為節(jié)點81-1-2的低節(jié)點(子節(jié)點)。節(jié)點81-1-2-1由100個弱鑒別器91-1-2-11到91-1-2-1100形成，盡管未示出其參考字符，并且學習標記W21學習采樣。
提供節(jié)點81-1-2-1-1作為節(jié)點81-1-2-1的低節(jié)點(子節(jié)點)。節(jié)點81-1-2-1-1是不進一步具有低節(jié)點的終端節(jié)點。節(jié)點81-1-2-1-1由L21個弱鑒別器91-1-2-1-11到91-1-2-1-1L21形成，盡管未示出其參考字符，并且學習標記W21學習采樣。
設置終端節(jié)點81-1-1-1-1中的弱鑒別器的數(shù)量L11、以及終端節(jié)點81-1-2-1-1中的弱鑒別器的數(shù)量L21，使得當每個節(jié)點學習相應的標記學習采樣時，加權的誤差率et變?yōu)榱?足夠小的值)。
這樣，可以減少弱鑒別器的數(shù)量。
即，當不使用這種樹形結構時，可能需要如參照圖8到11描述的大量弱鑒別器。
圖20所示的樹形結構不同于圖6所示的樹形結構，盡管樹形結構都學習相同的學習采樣。圖20所示的樹形結構不具有學習標記W31到W33圖像的節(jié)點(對應于節(jié)點31-1-3的節(jié)點)、或分別學習標記W12、標記W13、標記W22、標記W23、標記W31、標記W32和標記33的節(jié)點(對應于節(jié)點31-1-1-2、31-1-1-2-1、31-1-1-3、31-1-1-3-1、31-1-2-2、31-1-2-2-1、31-1-2-3、31-1-2-3-1、31-1-3-1、31-1-3-1-1、31-1-3-2、31-1-3-2-1、31-1-3-3和31-1-3-3-1的各節(jié)點)。將在下面解釋原因。
如圖21所示，為每個節(jié)點定義數(shù)據(jù)結構。
節(jié)點ID是用于辨認每個節(jié)點的數(shù)字。例如，節(jié)點81-1-1的節(jié)點ID設置為節(jié)點81-1-1的數(shù)據(jù)結構中的節(jié)點ID。
父節(jié)點ID表示從正被討論(in question)的節(jié)點看的父節(jié)點的節(jié)點ID。節(jié)點81-1-1的父節(jié)點為節(jié)點81-1，并且在這種情況中設置節(jié)點81-1的節(jié)點ID。當不存在父節(jié)點(例如，最高的節(jié)點81-1的情況)時，父節(jié)點ID設置為-1。
如子節(jié)點ID，設置子節(jié)點的ID。然而，例如，節(jié)點81-1-1-1-1是終端節(jié)點并且不具有子節(jié)點，使得節(jié)點ID設置為-1。
標記表示將由正被討論的節(jié)點處理的采樣的標記。節(jié)點81-1-1-1-1的標記設置為標記W11。
弱鑒別器的數(shù)量表示正被討論的節(jié)點具有的弱鑒別器的數(shù)量。在節(jié)點81-1-1-1-1的情況中，弱鑒別器的數(shù)量被設置為L11。
(4)學習方法 下面將描述用于組學習機56的學習方法。
作為模式辨認問題的先決條件是找出給定數(shù)據(jù)是否為面部，并且當其為面部時，確定面部所朝的方向，準備預先手動標記(提供正確答復)的圖像(訓練數(shù)據(jù))，其為學習采樣。
學習采樣包括通過剪切要檢測的感興趣的對象的區(qū)域獲得的圖像組(正采樣)、以及剪切來自與感興趣的對象無關的圖像的隨機圖像組，如風景圖像(負采樣)。
基于這些學習采樣應用學習算法以產(chǎn)生要在辨別期間使用的學習數(shù)據(jù)。在辨別期間使用的學習數(shù)據(jù)為包括上述的學習數(shù)據(jù)的下面四種學習數(shù)據(jù) (A)兩個像素的位置對(K對) (B)弱鑒別器的閾值(K個值) (C)用于加權多數(shù)判決的權重(弱鑒別器的可靠性)(K個權重) (D)中止閾值(K個值) 設置上述信息，作為每個節(jié)點中的每個弱鑒別器的數(shù)據(jù)結構(圖21)。
(4-1)弱鑒別器的產(chǎn)生 下面將描述從學習采樣學習如上所列的四種類型的學習數(shù)據(jù)(A)到(D)的算法，所述學習采樣被分類成上述的標記W11到W13、標記W21到W23和標記W31到W33。
為了實現(xiàn)學習過程，組學習機56具有圖22中所示的功能配置。
即，組學習機56包括初始化部分301、節(jié)點學習部分302、判斷部分303、選擇器304和返回部分305。這些部分可以針對彼此發(fā)送并接收需要的數(shù)據(jù)。
初始化部分301設置各種初始值。
節(jié)點學習部分302對每個節(jié)點中的弱鑒別器執(zhí)行學習過程。
判斷部分303，例如，將子節(jié)點數(shù)量(size(numChild))與分支計數(shù)(branch_count[i])相比較，這將在下面描述，并且判斷節(jié)點ID是否為正。
選擇器304選擇下一個要處理的節(jié)點。
返回部分305例如返回已處理的節(jié)點到父節(jié)點。
圖23是示出用于組學習機56的學習方法的流程圖。在這個示例中，盡管將描述根據(jù)利用固定值作為閾值的算法的學習，所述閾值用于作為學習算法的弱鑒別器(AdaBoost)，然而學習算法不限于AdaBoost，而可以是其他學習算法，只要它們執(zhí)行組學習以便組合多個弱鑒別器，如，使用表示正確答復的可能性(概率)的連續(xù)值作為閾值的Real-AdaBoost。
如上所述，首先，準備預先標注為感興趣的對象或不感興趣的對象的N個學習采樣。
學習采樣例如為N個圖像，并且每個圖像由24乘24個圖像形成。每個學習采樣為人類面部圖像并且被標記為標記W11到W13、標記W21到W23和標記W31到W33中的一個。
在步驟S11，初始化部分301設置各初始值。
具體地，將表示要處理的節(jié)點的ID的變量i設置為最高節(jié)點的ID(根節(jié)點)(圖20中所示的示例中的節(jié)點81-1的ID)。數(shù)據(jù)權重Dt設置為所有數(shù)據(jù)的1/N，其中N表示采樣數(shù)量。此外，所有節(jié)點的多數(shù)判決權重F(x)初始化為零，并且變量branch_count[i]初始化為零，所述變量branch_count[i]表示從每個節(jié)點到其低節(jié)點(各子節(jié)點)的訪問數(shù)量。
在步驟S12，節(jié)點學習部分302對節(jié)點執(zhí)行學習過程，所述節(jié)點正被處理并且具有變量i中當前設置的ID。
將參照圖25的流程圖詳細描述節(jié)點學習過程，該過程對要被處理的節(jié)點中的弱鑒別器執(zhí)行學習。存儲節(jié)點的處理結果，以便由子節(jié)點接管。
在該點處，由于變量i已經(jīng)設置為圖20中所示的節(jié)點81-1的ID，因此對節(jié)點81-1執(zhí)行學習過程。
那么，在步驟S13，判斷部分303將正處理的節(jié)點的變量branch_count[i]的值與變量大小(numChild)比較，其中已經(jīng)設置了正處理的節(jié)點的數(shù)據(jù)結構(圖21)中的子節(jié)點數(shù)量。當branch_count[i]的值小于子節(jié)點的數(shù)量時，學習過程并未對所有子節(jié)點完成，使得過程進入步驟S14。
在該點處，節(jié)點81-1的branch_count[i]的值為零(步驟S11處的過程)，并且節(jié)點81-1具有兩個子節(jié)點(81-1-1和81-1-2)。因此，步驟S13處的判斷為是并且過程進入步驟S14。
在步驟S14，選擇器304選擇下一個要被處理的節(jié)點。
具體的，正處理的節(jié)點81-1的變量branch_count[i]的值遞增1(在該點處變?yōu)?)，并且表示正處理的節(jié)點的變量i，設置為由變量branch_count[i]指定的子節(jié)點的節(jié)點ID。
在圖20中所示的舉例中，例如，作為當前處理的節(jié)點81-1的子節(jié)點的節(jié)點81-1-1的ID在變量i中設置。
那么，過程返回步驟S12，并且對已經(jīng)在變量i中設置的節(jié)點執(zhí)行節(jié)點學習過程。
在該點處，對節(jié)點81-1-1執(zhí)行學習過程。
那么，在步驟S13處，判斷部分303判斷對應于正處理的節(jié)點的變量branch_count[i]的值是否小于正處理的節(jié)點的子節(jié)點的數(shù)量。在該點處，正處理的節(jié)點是節(jié)點81-1-1，并且節(jié)點81-1-1具有一個子節(jié)點，該子節(jié)點是節(jié)點81-1-1-1。
由于當前正處理的節(jié)點81-1-1的變量branch_count[i]已經(jīng)在步驟S1設置的初始化中設置為零，變量branch_count[i]被判斷小于子節(jié)點的數(shù)量(＝1)，并且過程進入步驟S14。然后，在步驟S14，正處理的節(jié)點81-1-1的變量branch_count[i]遞增1(變?yōu)?)，并且變量i設置為子節(jié)點81-1-1-1的ID，該子節(jié)點81-1-1-1為節(jié)點81-1-1的子節(jié)點，并且由節(jié)點81-1-1的branch_count[i]指定。
然后，過程返回步驟S12，并且對節(jié)點81-1-1-1執(zhí)行學習過程，節(jié)點81-1-1-1是具有變量i中設置的ID的節(jié)點。
然后，在步驟S13，判斷部分303判斷變成正處理的節(jié)點的節(jié)點81-1-1-1的變量branch_count[i]的值是否小于子節(jié)點的數(shù)量。節(jié)點81-1-1-1具有一個子節(jié)點，該子節(jié)點是節(jié)點81-1-1-1-1。
由于節(jié)點81-1-1-1的變量branch_count[i]已經(jīng)在步驟S11處設置的初始化設置為零，所以變量branch_count[i]被判斷小于子節(jié)點的數(shù)量(＝1)，并且過程進入步驟S14。那么，在步驟S14，節(jié)點81-1-1-1的變量branch_count[i]遞增1(變?yōu)?)，并且變量i設置為子節(jié)點81-1-1-1-1的ID，該子節(jié)點81-1-1-1-1是節(jié)點81-1-1-1的子節(jié)點，并由節(jié)點81-1-1-1的branch_count[i]指定。
然后，過程返回步驟S12，并且對節(jié)點81-1-1-1-1執(zhí)行學習過程，該節(jié)點81-1-1-1-1是具有在變量i中設置的ID的節(jié)點。
然后，在步驟S13，判斷部分303判斷正處理的節(jié)點81-1-1-1-1的變量branch_count[i]的值是否小于子節(jié)點的數(shù)量。由于節(jié)點81-1-1-1-1是終端節(jié)點，所以節(jié)點81-1-1-1-1不具有子節(jié)點。
盡管節(jié)點81-1-1-1-1的變量branch_count[i]已經(jīng)在步驟S11處設置的初始化中設置為零，然而子節(jié)點的數(shù)量為零(變量branch_count[i](＝0)等于子節(jié)點的數(shù)量(＝0))，使得變量branch_count[i]被判斷不小于子節(jié)點的數(shù)量。因此，過程進入步驟S15。
在步驟S15，返回部分305返回處理的節(jié)點到父節(jié)點。
具體的，變量i設置為節(jié)點81-1-1-1的ID，該節(jié)點81-1-1-1為節(jié)點81-1-1-1-1的父節(jié)點，節(jié)點81-1-1-1-1是當前正處理的節(jié)點。
然后，如在步驟S16，返回部分305判斷步驟S15處設置的變量i是否大于零。
由于不同于最高父節(jié)點(根節(jié)點)81-1的節(jié)點被設置具有正ID值，所以在該點處步驟S16的判斷為是。然后，返回部分305返回過程到步驟S13。
在步驟S13，判斷部分303判斷具有在變量i中設置的ID的節(jié)點(在該點是節(jié)點81-1-1-1)的變量branch_count[i]是否小于該節(jié)點的子節(jié)點的數(shù)量。由于節(jié)點81-1-1-1的變量branch_count[i]在該節(jié)點處已經(jīng)設置為1，并且該節(jié)點的子節(jié)點的數(shù)量為1(變量branch_count[i](＝1)等于子節(jié)點的數(shù)量(＝1))，所以變量branch_count[i]被判斷為不小于子節(jié)點的數(shù)量。因此，過程進入步驟S15。
在步驟S15，變量i設置為在該節(jié)點處的節(jié)點81-1-1的ID，節(jié)點81-1-1是節(jié)點81-1-1-1的父節(jié)點，節(jié)點81-1-1-1是當前正處理的節(jié)點。
在步驟S16，由于其中已經(jīng)設置節(jié)點81-1-1的ID的變量i大于零，因此判斷為是并且過程返回步驟S13。
在步驟S13，判斷部分303判斷具有在變量i中設置的ID的節(jié)點81-1-1的變量branch_count[i]是否小于該節(jié)點的子節(jié)點的數(shù)量。因為已經(jīng)將節(jié)點81-1-1的變量branch_count[i]在該節(jié)點處設置為1，并且該節(jié)點的子節(jié)點的數(shù)量為1(變量branch_count[i](＝1)等于子節(jié)點的數(shù)量(＝1))，所以變量branch_count[i]被判斷為不小于子節(jié)點的數(shù)量。因此，過程進入步驟S15。
在步驟S15，變量i在該節(jié)點處被設置為節(jié)點81-1，節(jié)點81-1是節(jié)點81-1-1的父節(jié)點，節(jié)點81-1-1是當前正處理的節(jié)點。
在步驟S16，因為其中已經(jīng)設置節(jié)點81-1的ID的變量i大于零，所以判斷為是并且過程返回步驟S13。
在步驟S13，判斷部分303判斷具有變量i中設置的ID的節(jié)點81-1的變量branch_count[i]是否小于該節(jié)點的子節(jié)點的數(shù)量。由于節(jié)點81-1的變量branch_count[i]已經(jīng)在該節(jié)點處設置為1，并且該節(jié)點的子節(jié)點的數(shù)量為2，所以變量branch_count[i]被判斷為小于子節(jié)點的數(shù)量。因此，過程進入步驟S14。
在步驟S14，正處理的節(jié)點81-1的變量branch_count[i]遞增1(變?yōu)?)，并且變量i設置為子節(jié)點的ID，該子節(jié)點為節(jié)點81-1的子節(jié)點并且由節(jié)點81-1的變量branch_count[i]指定。在圖20中所示的示例中，節(jié)點81-1-2的ID是在變量i中設置的節(jié)點81-1的另一個子節(jié)點。
然后，以相似的方式對節(jié)點81-1-2及其低節(jié)點執(zhí)行學習。
在圖20中所示的示例中，當過程返回到最高節(jié)點81-1(根節(jié)點)時，并且在步驟S15變量i被設置為-1作為其父節(jié)點ID，在步驟S16變量i(＝-1)被判斷為不大于零。因此，過程結束。
這樣，對樹形結構中放置的每個節(jié)點中的弱鑒別器執(zhí)行學習。
下面將詳細描述圖23中步驟S12處的節(jié)點學習過程。
為了執(zhí)行該過程，圖22中的節(jié)點學習部分302被配置為如圖24中所示。
即，節(jié)點學習部分302包括采樣選擇器331、接管部分332、弱鑒別器選擇器333、多數(shù)判決權重計算部分334、數(shù)據(jù)權重更新部分335、加權多數(shù)判決計算部分336、閾值計算部分337、判斷部分338和存儲部分339。
采樣選擇器331選擇節(jié)點學習需要的正采樣和負采樣。
接管部分332接管在在前的節(jié)點存儲的值作為為后來節(jié)點處理的初始值。
弱鑒別器選擇器333基于數(shù)據(jù)權重Dt選擇弱鑒別器。
多數(shù)判決權重計算部分334計算多數(shù)判決權重αt。
數(shù)據(jù)權重更新部分335更新數(shù)據(jù)權重Dt。
加權多數(shù)判決計算部分336通過將每個弱鑒別器的輸出加權多數(shù)判決權重αt、并將各加權的輸出相加來計算加權多數(shù)判決。具體的，加權多數(shù)判決計算部分336執(zhí)行上式(6)的計算。
閾值計算部分337計算由式(7)表達的中止閾值(參考值RM)。
判斷部分338判斷，例如，加權多數(shù)判決的值是否變得小于閾值計算部分337中計算的中止閾值RM，或者節(jié)點中對所有弱鑒別器的學習過程是否完成。
存儲部分339存儲加權多數(shù)判決F(x)和數(shù)據(jù)權重Dt，作為節(jié)點中最后的弱鑒別器的辨別結果(節(jié)點的輸出)。
下面將參照圖25的流程圖描述節(jié)點學習過程。
首先，在步驟S41，采樣選擇器331選擇要在該節(jié)點學習的標記的正采樣。
例如，在圖20中的節(jié)點81-1的學習過程中，選擇所有標記的正采樣，即，標記W11到W13、標記W21到W23和標記W31到W33。另一方面，在節(jié)點81-1-1-1-1的學習過程中，僅選擇標記W11的正采樣。在這兩個學習過程中，使用所有的負采樣。
在步驟S42，接管部分332接管父節(jié)點的輸出。
由于作為最高父節(jié)點的節(jié)點81-1不具有父節(jié)點，所以加權多數(shù)判決F(x)的值初始化為零，并且數(shù)據(jù)權重Dt的值設置為1/N(值N表示學習采樣的數(shù)量)。
對于具有父節(jié)點的節(jié)點，在下面將描述的步驟S49處的過程中，讀出存儲部分339中存儲的父節(jié)點的數(shù)據(jù)權重Dt和加權多數(shù)判決F(x)，并將其設為初始值。
在接管父節(jié)點的輸出的過程中，歸一化數(shù)據(jù)權重Dt，使得數(shù)據(jù)權重Dt的和是1。
然后，在步驟S43，弱鑒別器選擇器333選擇弱鑒別器。
在該選擇過程(將參照圖27詳細描述)中，從K個(像素間差異特征d的數(shù)量)弱鑒別器選擇(產(chǎn)生)具有最低加權誤差率et的弱鑒別器。
在步驟S44，多數(shù)判決權重計算部分334計算多數(shù)判決權重αt。
基于式(8)計算多數(shù)判決權重(可靠性)αt。
如從上述式(8)明顯的，弱鑒別器的加權誤差率et越小，可靠性αt越大。
在步驟S45，數(shù)據(jù)權重更新部分335更新用于學習采樣的數(shù)據(jù)權重Dt，i。
即，從式(8)獲得的可靠性αt，用來通過利用下式(9)更新學習采樣的數(shù)據(jù)權重Dt，i。需要歸一化數(shù)據(jù)權重Dt，i，使得所有數(shù)據(jù)權重Dt，i的和通常變?yōu)?。然后，如由式(10)所表示的歸一化數(shù)據(jù)權重Dt，i。
Dt+1，i＝Dt，1exp(-αiyifi(xi))...(9) 在步驟S46處，加權多數(shù)判決計算部分336更新加權多數(shù)判決F(x)?；谑?6)執(zhí)行該過程。多數(shù)判決權重αt是步驟S44處計算的值，并且ft(x)是在步驟S43計算的值。
然后，在步驟S47，閾值計算部分337計算中止閾值RM?；谑?7)執(zhí)行該計算。中止閾值RM將用在圖34中的步驟S175處的過程、或者圖35中的步驟S195處的過程，其將在稍后描述。
在步驟S48，當正處理的節(jié)點具有子節(jié)點時，判斷部分338判斷是否所有弱鑒別器的學習已經(jīng)完成，而當正處理的節(jié)點不具有子節(jié)點時，判斷部分338判斷在步驟S43處的過程中計算的加權誤差率et的值是否已經(jīng)足夠小。
當正處理的節(jié)點具有子節(jié)點時，在本實施例中弱鑒別器的數(shù)量是100，如上所述。因此，當并未完成100個弱鑒別器的學習時，過程返回到步驟S43并且重復執(zhí)行下面的過程。當正處理的節(jié)點是終端節(jié)點時，重復過程直到加權誤差率et變得足夠小。
具體的，當加權誤差率et的值是零或者更小時，加權誤差率et被判斷為足夠小，而當加權誤差率et不是足夠小時，過程返回至步驟S43并且重復執(zhí)行下面的過程。即，執(zhí)行從步驟S43到S48的過程的次數(shù)是對應于節(jié)點中弱鑒別器的數(shù)量的倍數(shù)。
在步驟S48，當判斷所有弱鑒別器的學習已經(jīng)完成時，過程進入步驟S49，并且存儲部分339存儲加權多數(shù)判決F(x)的值作為輸出、以及數(shù)據(jù)權重Dt的值作為最后的弱鑒別器的辨別結果。在步驟S42通過較低子節(jié)點接管存儲的輸出作為初始值。
這樣，對于圖23中的步驟S12處的每個節(jié)點，執(zhí)行圖25中所示的過程。
(4-2)弱鑒別器的產(chǎn)生 下面將描述在上述的圖25的流程圖中的步驟S43處的、弱鑒別器的選擇過程(產(chǎn)生方法)。
輸出二進制值的弱鑒別器的產(chǎn)生不同于弱鑒別器的產(chǎn)生，所述弱鑒別器輸出連續(xù)值作為由上述式(5)表達的函數(shù)f(x)。在二進制輸出的情況中，當使用一個閾值Th1、進行如上式(2)表達的辨別時執(zhí)行的過程，稍稍不同于當使用兩個閾值Th11和Th12或者Th21和Th22、進行如式(3)或者(4)表達的辨別時執(zhí)行的過程。在下面的描述中，將解釋利用一個閾值Th1輸出二進制值的弱鑒別器的學習方法(產(chǎn)生方法)。
因此，如圖26所示，弱鑒別器選擇器333包括判定部分421、頻率分布計算部分422、閾值設置部分423、弱假設計算部分424、加權誤差率計算部分425、判斷部分426和選擇器427。
判定部分421從輸入學習采樣隨機確定兩個像素。
頻率分布計算部分422收集與判定部分421中確定的各像素相關聯(lián)的像素間差異特征d，并且計算像素間差異特征d的頻率分布。
閾值設置部分423設置弱鑒別器的閾值。
弱假設計算部分424計算弱鑒別器的弱假設，并且輸出辨別結果f(x)。
加權誤差率計算部分425計算由式(11)表達的加權誤差率et。
如上式(11)所表達的，加權誤差率et是在所有學習采樣中僅學習采樣的數(shù)據(jù)權重的總和，其使得弱鑒別器提供錯誤辨別結果(ft(xi)≠yi)(標記為yi＝1但被判斷為f(xi)＝-1的學習采樣，以及標記為yi＝-1但被判斷為f(xi)＝1的學習采樣)。如上所述，具有大數(shù)據(jù)權重Dt，i(難于辨別)的學習采樣的錯誤辨別增加加權誤差率et。
判斷部分426判斷用于弱鑒別器的閾值Th是否大于(或小于)最大像素間差異特征d。
選擇器427選擇對應于閾值Th的弱鑒別器，所述閾值Th對應于最小加權誤差率et。
圖27是弱鑒別器的步驟S43處的學習方法(產(chǎn)生方法)的流程圖，該弱鑒別器利用一個閾值Th1輸出二進制值。
步驟S71處，判定部分421在一個學習采樣(24乘24個像素)中隨機確定兩個像素的位置S1和S2。
當使用24乘24個像素的學習采樣時，選擇用于選擇兩個像素的576乘576個可能的方法之一。在下面的描述中，令S1和S2為兩個像素的位置，并且I1和I2為兩個像素的亮度值。
步驟S72處，頻率分布計算部分422對所有學習采樣確定像素間差異特征，并且計算像素間差異特征d的頻率分布。即，對于所有(N個)學習采樣確定像素間差異特征d，其為在步驟S71處選擇的、兩個位置S1和S2處的各像素之間的亮度值I1和I2的差，(I1-I2)，然后計算直方圖(頻率分布)，如圖15A中所示。
步驟S73處，閾值設置部分423設置閾值Th小于最小像素間差異特征d。
例如，如圖28中所示，當像素間差異特征d的值在d1和d9之間分布時，最小像素間差異特征d為d1。因此，小于像素間差異特征d1的閾值Th31被設置為在該點處的閾值Th。
然后，在步驟S74處，弱假設計算部分424執(zhí)行式(12)的計算作為弱假設，其中當值A為正時函數(shù)sign(A)輸出+1，而當值A為負時輸出-1。
f(x)＝sign(d-Th)...(12) 在該點處，由于Th＝Th31，因此對于d1和d9之間的像素間差異特征d的任何值，d-Th的值為正。因此，由式(12)表達的弱假設的鑒別結果f(x)為+1。
在步驟S75，加權誤差率計算部分425計算加權誤差率et1和et2。加權誤差率et1和et2具有由式(13)表達的關系。
et2＝1-etl...(13) 加權誤差率et1是通過式(11)確定的值。當在位置S1和S2處的像素值分別為I1和I2時，加權誤差率et1是加權誤差率。換句話說，當位置S1處的像素值是I2、并且在位置S2處的像素值是I1時，加權誤差率et2是加權誤差率。
即，當?shù)谝晃恢脼槲恢肧1并且第二位置為位置S2時得到的組合，不同于當?shù)谝晃恢脼镾2并且第二位置為位置S1時的組合。然而，兩個組合的加權誤差率et的值具有由上述式(13)表達的關系。因此，在步驟S75的過程中，同時計算兩個組合的加權誤差率et。如果兩個加權誤差率et1和et2在步驟S75處不同時計算，需要重復從步驟S71到S81的過程，直到在步驟S81判斷過程已經(jīng)重復了對應于兩個像素的所有組合的數(shù)量的K倍次，所述兩個像素從學習采樣中的各像素提取。然而，通過在步驟S75計算兩個加權誤差率et1和et2，重復的數(shù)量可以減小到K的一半，K是所有組合的數(shù)量。
然后，在步驟S76，加權誤差率計算部分425，選擇在步驟S75的過程中計算的較小的加權誤差率et1或et2。
在步驟S77，判斷部分426判斷閾值是否大于最大像素間差異特征。即，判斷部分426判斷當前設置的閾值Th是否大于最大像素間差異特征d(例如，圖28中所示情況的d9)。在該點，由于閾值Th是圖28中的閾值Th31，因此閾值Th被判斷為小于最大像素間差異特征d9。因此，過程進入步驟S78。
在步驟S78，閾值設置部分423設置大于并且最接近于當前的閾值的像素間差異特征、和大于并且第二接近于當前的閾值的像素間差異特征之間的中間閾值Th。在圖28的示例中的該點，閾值設置部分423設置大于并最接近于當前閾值Th31的像素間差異特征d1、和大于并第二接近于當前閾值Th31的像素間差異特征d2之間的中間閾值Th32。
然后，過程返回步驟S74，并且弱假設計算部分424，根據(jù)上述式(12)計算弱假設判斷結果f(x)。在這種情況中，如圖28所示，當像素間差異特征d的值為d2到d9中的任一個時，f(x)的值為+1，而當像素間差異特征d的值為d1時，f(x)的值為-1。
在步驟S75，根據(jù)式(11)計算加權誤差率et1，并且根據(jù)式(13)計算加權誤差率et2。然后，在步驟S76，選擇較小的加權誤差率et1或et2。
在步驟S77，再次判斷閾值是否大于最大像素間差異特征。在該點處，因為閾值Th32小于最大像素間差異特征d9，過程進入步驟S78，并且閾值Th被設置為像素間差異特征d2和d3之間的閾值Th33。
這樣，順序更新閾值Th到較大的值。在步驟S74，例如，當閾值Th是像素間差異特征d3和d4之間的Th34時，對于像素間差異特征d4或者更大的值，弱假設辨別結果f(x)變?yōu)?1，而對于像素間差異特征d3或者更小的值，弱假設辨別結果f(x)變?yōu)?1。同樣地，當像素間差異特征d的值大于或者等于閾值Thi時，弱假設辨別結果f(x)的值變?yōu)?1，而當像素間差異特征d的值小于或者等于閾值Thi時，弱假設辨別結果f(x)的值變?yōu)?1。
重復執(zhí)行上述過程，直到在步驟S77閾值Th被判斷為大于最大像素間差異特征。在圖28的示例中，重復各過程直到閾值變?yōu)榇笥谧畲笙袼亻g差異特征d9的值Th40。即，通過重復從步驟S74到S78的過程，每個設置的閾值Th的加權誤差率et對于選擇的各像素的一個組合確定。然后，在步驟S79，選擇器427從因此確定的加權誤差率et確定最小加權誤差率。
然后，在步驟S80，選擇器427設置對應于最小加權誤差率的閾值，作為當前弱假設的閾值。即，從其中獲得在步驟S79選擇的最小加權誤差率et的閾值Thi，被設置為弱鑒別器的閾值(從一對像素的組合產(chǎn)生弱鑒別器)。
在步驟S81，判斷部分426判斷過程是否已經(jīng)重復對應于所有組合的數(shù)量的倍數(shù)次。當對于所有組合過程并未執(zhí)行時，過程返回到步驟S71，并且重復執(zhí)行下面的過程。即，再次從24乘24的像素隨機確定兩個像素的位置S1和S2(不同于之前的位置)，并且對于位置S1和S2處的像素值I1和I2執(zhí)行相似的過程。
重復執(zhí)行上述過程，直到在步驟S81判斷過程重復了對應于來自學習采樣的兩個像素的所有可提取組合數(shù)量的K倍次。然而，如上所述，在該實施例中，由于當位置S1和S2相反時執(zhí)行的過程在步驟S75有效地執(zhí)行，因此步驟S81處判斷的過程的數(shù)量僅為K的一半，K是所有組合的數(shù)量。
在步驟S81，當判斷對于全部組合過程已經(jīng)完成時，選擇器427在步驟S82從產(chǎn)生的弱鑒別器，選擇具有最小加權誤差率的弱鑒別器。即，因此學習并產(chǎn)生K個弱鑒別器中的一個弱鑒別器(例如，圖13中的弱鑒別器61)。
然后，過程返回到圖25中的步驟S43，并且將執(zhí)行步驟S44和下面的步驟。然后，將重復地執(zhí)行圖25中的各過程，直到在步驟S48，當存在子節(jié)點時判斷所有弱鑒別器的學習已經(jīng)完成、或者當不存在子節(jié)點時判斷加權誤差率足夠小。即，在圖25的第二輪的過程中，圖13中的弱鑒別器612經(jīng)歷產(chǎn)生和學習操作，并且在第三輪的過程中，弱鑒別器613經(jīng)歷產(chǎn)生和學習操作。然后，弱鑒別器61i的產(chǎn)生和學習，將要執(zhí)行對應于節(jié)點中弱鑒別器數(shù)量的倍數(shù)次。
(5)對象檢測方法 下面將描述圖12中所示的對象檢測設備51中使用的對象檢測方法。
為了執(zhí)行該過程，鑒別器55包括初始化部分471、判斷部分472、選擇器473、返回部分474、接管部分475、弱假設計算部分476、評估值計算部分477、設置部分478和輸出部分479，如圖29所示。
初始化部分471初始化最高節(jié)點中的弱鑒別器。
判斷部分472執(zhí)行下面的判斷操作是否存在下一個已縮放的圖像、感興趣的對象的區(qū)域是否相互重疊、窗口圖像是否為面部，是否存在子節(jié)點、變量branch_count[i]是否大于(或小于)子節(jié)點的數(shù)量、以及變量i是否為正等等。
選擇器473提取兩個重疊區(qū)域，選擇區(qū)域等等。
返回部分474返回處理的節(jié)點到父節(jié)點。
接管部分475接管父節(jié)點的輸出。
弱假設計算部分476基于式(12)計算弱假設。評估值計算部分477基于式(6)計算評估值s。
設置部分478為評估值s設置最大值。輸出部分479輸出評估值s。
從初始化部分471到輸出部分479的這些部件，可以針對彼此發(fā)送和接收需要的數(shù)據(jù)。
在檢測過程(辨別過程)中，利用學習過程中因此產(chǎn)生的弱鑒別器的鑒別器55，被用來根據(jù)預定的算法從圖像確定感興趣的對象(人類面部)。圖30的流程圖示出了這種過程。
在步驟S101，縮放部分53對從圖像輸出部分52輸入的灰度圖像執(zhí)行預定比率縮小的放縮。
圖像輸出部分52可以直接接收灰度圖像作為輸入圖像，或者可以將有色輸入圖像變換為灰度圖像。
盡管縮放部分53最初不對圖像輸出部分52提供的圖像執(zhí)行比例轉換，而按原樣輸出圖像，并且在下一個定時和稍后輸出已經(jīng)經(jīng)歷縮小比例的已縮放的圖像，然而從縮放部分53輸出的所有圖像，為了方便稱為已縮放的圖像。產(chǎn)生已縮放的圖像的定時，為當已經(jīng)完成跨越以前輸出的已縮放的圖像的面部檢測時，并且當已縮放的圖像變得小于窗口圖像時，開始下一個畫面(frame)的輸入圖像的過程。
在步驟S102，掃描器54在掃描操作中移動搜索窗口并剪切圖像。即，掃描器54在已縮放的圖像上的預定位置放置搜索窗口，在窗口中剪切圖像作為窗口圖像，并且將其輸出到鑒別器55。
在步驟S103，鑒別器55執(zhí)行辨認(identification)過程。將在下面參照圖31中的流程圖詳細描述辨認過程，辨認過程判斷搜索窗口中的圖像是否為人類面部圖像，并且當圖像為人類面部圖像時，判斷圖像中的人類面部是朝向什么方向(圖像被分類入標記W11到W13、標記W21到W23或者標記W31到W33)。
然后，在步驟S104，鑒別器55中的判斷部分472判斷是否存在下一個搜索窗口。當存在下一個搜索窗口時，過程返回到步驟S102，并且掃描器54將當前已縮放的圖像上的搜索窗口向右移動一個像素，剪切搜索窗口中的圖像，并且將其輸出到鑒別器55。此后，鑒別器55在步驟S103執(zhí)行處理，以判斷窗口圖像是什么標記的人類面部圖像。
這樣，搜索圖像如圖4所示的在右下方向順序移動一個像素，并且其判斷每個搜索窗口中的圖像是什么標記的人類面部圖像。當搜索窗口的位置移動到已縮放的圖像的右下位置時，在步驟S104判斷不存在下一個搜索窗口，并且過程進入步驟S105。
在步驟S105，縮放部分53判斷是否存在下一個已縮放的圖像。當存在下一個已縮放的圖像時，在步驟S101，縮放部分53產(chǎn)生以較高縮小率(進一步減小)放縮的圖像，并且將其輸出到掃描器54。然后，對已縮放的圖像執(zhí)行上述相同的過程。
重復執(zhí)行上述過程，直到在步驟S105判斷不存在下一個已縮放的圖像。即，重復執(zhí)行上述各過程，直到已縮放的圖像變得小于窗口圖像。
如上所述，搜索窗口在右下方向連續(xù)移動一個像素。因此，例如，當一個搜索窗口中的圖像被判斷為人類面部時，在大多數(shù)情況下，朝右或朝下移動一個像素的窗口中的圖像也被判斷為人類面部圖像。因此，多個窗口圖像將被檢測為相同的人類面部圖像。當已經(jīng)處理了所有已縮放的圖像時，執(zhí)行用于消除各搜索窗口的重疊的過程。
因此，在步驟S106，判斷部分472判斷感興趣的對象的兩個或者更多區(qū)域是否相互重疊。當感興趣的對象的兩個或者更多區(qū)域相互重疊時，在步驟S107，選擇器473提取相互重疊的兩個區(qū)域。例如，當判斷一個搜索窗口中的圖像在感興趣的對象的區(qū)域中獲得時，通過向右移動一個像素的搜索窗口也將被判斷為人類面部圖像，以便提取這兩個窗口區(qū)域。在步驟S108，選擇器473從在步驟S107提取的兩個區(qū)域，選擇具有較大評估值s的一個區(qū)域(將在圖34中的步驟S174處或圖35中的步驟S194處描述)。
然后，過程返回到步驟S106，并且重復執(zhí)行后面的步驟。
這樣，具有小評估值s的區(qū)域被認為較不可靠并且因此被忽略，而具有最高評估值s的區(qū)域被選擇。重復上述過程，直到在步驟S106判斷感興趣的對象的兩個或多個區(qū)域相互不重疊。當判斷不存在重疊時，終止用于該畫面的過程。然后，如果需要，進一步執(zhí)行用于下一個畫面的過程。
下面將參照圖31的流程圖描述圖30中的步驟S103處的辨認過程。
在步驟S131，鑒別器55中的初始化部分471設置初始值。具體的，初始化部分471設置變量i中的最高節(jié)點(根節(jié)點)的ID，所述變量i表示正處理的節(jié)點的ID。
根據(jù)參照圖20描述的學習過程，通過學習圖20中所示的各節(jié)點，已經(jīng)提供了學習結果，如，與形成每個節(jié)點的弱鑒別器相關聯(lián)的兩個像素(圖21)的位置。即，根據(jù)本發(fā)明的實施例，由圖32中實線所表示的節(jié)點(下文中合適時稱為學習節(jié)點)在鑒別器55中形成，而由圖32中虛線表示的節(jié)點(下文中稱為未學習節(jié)點)也在鑒別器55中形成。因為未學習節(jié)點未經(jīng)歷學習過程，所以它們與任何學習結果不相關聯(lián)，如兩個像素的位置。未學習節(jié)點具有相應的節(jié)點ID、父節(jié)點ID、子節(jié)點ID、標記、弱鑒別器的數(shù)量，等等(圖21)。
最高學習節(jié)點81-1由100個鑒別器91-11到91-1100形成。學習節(jié)點81-1辨認標記W11到W13、標記W21到W23和標記W31到W33的圖像。
學習節(jié)點81-1-1和81-1-2以及一個未學習節(jié)點81-1-3形成為學習節(jié)點81-1的低節(jié)點。
學習節(jié)點81-1-1由100個鑒別器91-1-11到91-1-1100形成，盡管其參考字符并未示出，并且節(jié)點81-1-2由100個鑒別器91-1-21到91-1-2100形成，盡管其參考字符未示出。未學習節(jié)點81-1-3不具有弱鑒別器。
學習節(jié)點81-1-1利用弱鑒別器91-1-1來辨認標記W11到W13圖像。
學習節(jié)點81-1-2利用弱鑒別器91-1-2來辨認標記W21到W23圖像。
如將在下面描述的，未學習節(jié)點81-1-3利用學習節(jié)點81-1-2中的弱鑒別器91-1-2來辨認標記W31到W33圖像。
學習節(jié)點81-1-1-1和未學習節(jié)點81-1-1-2和81-1-1-3形成為學習節(jié)點81-1-1的低節(jié)點(子節(jié)點)。
學習節(jié)點81-1-1-1由100個鑒別器91-1-1-11到91-1-1-1100形成，盡管其參考字符并未示出，并辨認標記W11圖像。
如將在下面描述的，盡管未學習節(jié)點81-1-1-2和81-1-1-3不具有弱鑒別器，然而它們利用學習節(jié)點81-1-1-1中的弱鑒別器91-1-1-1，以分別辨認標記W12和W13圖像。
學習節(jié)點81-1-1-1-1被提供作為學習節(jié)點81-1-1-1的低節(jié)點(子節(jié)點)。學習節(jié)點81-1-1-1-1是終端節(jié)點，其不進一步具有低節(jié)點。學習節(jié)點81-1-1-1-1由L11個弱鑒別器91-1-1-1-11到91-1-1-1-1L11形成，盡管其參考字符并未示出，并且辨認標記W11圖像。
未學習節(jié)點81-1-1-2-1被提供作為未學習節(jié)點81-1-1-2的低節(jié)點(子節(jié)點)。未學習節(jié)點81-1-1-2-1是終端節(jié)點，其不進一步具有低節(jié)點且不具有弱鑒別器，但利用學習節(jié)點81-1-1-1-1中的弱鑒別器91-1-1-1-1來辨認標記W12圖像，如將在后面描述的。
未學習節(jié)點81-1-1-3-1被提供作為未學習節(jié)點81-1-1-3的低節(jié)點(子節(jié)點)。未學習節(jié)點81-1-1-3-1是終端節(jié)點，其不進一步具有低節(jié)點且不具有弱鑒別器，但利用學習節(jié)點81-1-1-1-1中的弱鑒別器91-1-1-1-1來辨認標記W13圖像，如將在后面描述的。
學習節(jié)點81-1-2-1和未學習節(jié)點81-1-2-2和81-1-2-3形成為學習節(jié)點81-1-2的子節(jié)點。
學習節(jié)點81-1-2-1由100個弱鑒別器91-1-2-11到91-1-2-1100形成，盡管其參考字符并未示出，并辨認標記W21圖像。
盡管未學習節(jié)點81-1-2-2和81-1-2-3不具有弱鑒別器，然而它們利用學習節(jié)點81-1-2-1中的弱鑒別器91-1-2-1，如將在下面描述的，來分別辨認標記W22和W23圖像。
學習節(jié)點81-1-2-1-1被提供作為學習節(jié)點81-1-2-1的子節(jié)點。學習節(jié)點81-1-2-1-1是終端節(jié)點，其不進一步具有低節(jié)點。學習節(jié)點81-1-2-1-1由L21個弱鑒別器91-1-2-1-11到91-1-2-1-1L21形成，盡管其未參考字符示出，并且辨認標記W21圖像。
未學習節(jié)點81-1-2-2-1被提供作為未學習節(jié)點81-1-2-2的子節(jié)點。未學習節(jié)點81-1-2-2-1是終端節(jié)點，其不進一步具有低節(jié)點且不具有弱鑒別器，但利用學習節(jié)點81-1-2-1-1中的弱鑒別器91-1-2-1-1來辨認標記W22圖像，如將在后面描述的。
未學習節(jié)點81-1-2-3-1被提供作為未學習節(jié)點81-1-2-3的子節(jié)點。未學習節(jié)點81-1-2-3-1是終端節(jié)點，其不進一步具有低節(jié)點且不具有弱鑒別器，但利用學習節(jié)點81-1-2-1-1中的弱鑒別器91-1-2-1-1來辨認標記W23圖像，如將在后面描述的。
未學習節(jié)點81-1-3-1、81-1-3-2和81-1-3-3形成為未學習節(jié)點81-1-3的子節(jié)點。
盡管未學習節(jié)點81-1-3-1、81-1-3-2和81-1-3-3不具有弱鑒別器，然而它們利用學習節(jié)點81-1-2-1中的弱鑒別器91-1-2-1，以分別辨認標記W31、W32和W33圖像，如將在下面描述的。
未學習節(jié)點81-1-3-1-1被提供作為未學習節(jié)點81-1-3-1的子節(jié)點。未學習節(jié)點81-1-3-1-1是終端節(jié)點，其不進一步具有低節(jié)點且不具有弱鑒別器，但利用學習節(jié)點81-1-2-1-1中的弱鑒別器91-1-2-1-1來辨認標記W31圖像，如將在后面描述的。
未學習節(jié)點81-1-3-2-1被提供作為未學習節(jié)點81-1-3-2的子節(jié)點。未學習節(jié)點81-1-3-2-1是終端節(jié)點，其不進一步具有低節(jié)點且不具有弱鑒別器，但利用學習節(jié)點81-1-2-1-1中的弱鑒別器91-1-2-1-1來辨認標記W32圖像，如將在后面描述的。
未學習節(jié)點81-1-3-3-1被提供作為未學習節(jié)點81-1-3-3的子節(jié)點。未學習節(jié)點81-1-3-3-1是終端節(jié)點，其不進一步具有低節(jié)點且不具有弱鑒別器，但利用學習節(jié)點81-1-2-1-1中的弱鑒別器91-1-2-1-1來辨認標記W33圖像，如將在后面描述的。
返回到圖31，在步驟S131，圖32中的示例中，在該點處設置最高學習節(jié)點81-1。變量branch_count[i]的值對于所有節(jié)點都初始化為零，所述變量branch_count[i]是對于每個節(jié)點設置的變量、并且表示每個節(jié)點已經(jīng)訪問的子節(jié)點的數(shù)量。對于所有節(jié)點將評估值s初始化為零，所述評估值s是基于式 (6)計算的加權多數(shù)判決。
然后，在步驟S132，評估值計算部分477等執(zhí)行評估值計算過程。將參照圖33和圖34或35的流程圖詳細描述評估值計算過程，其計算正處理的已學習的或者未學習節(jié)點的評估值s。
在步驟S133，判斷部分472判斷當前正辨認的窗口圖像是否為面部?；谠诓襟ES132計算的評估值s執(zhí)行該判斷。
當評估值s為正(更具體的，當評估值s大于圖34中的步驟S178或者圖35中的步驟S198處設置的參考值(-HUGE_VAL)時(其將在稍后進行描述)，窗口圖像被判斷為面部，而當評估值s等于或者小于零時(當評估值s小于參考值時)，窗口圖像被判斷為不是面部。
當正辨認的窗口圖像被判斷為不是面部圖像時，在步驟S138，返回部分474將處理的節(jié)點返回到父節(jié)點。
具體的，父節(jié)點的ID在變量i中設置。因為在該點正處理的節(jié)點為作為最高節(jié)點的學習節(jié)點81-1，因此不存在更高的父節(jié)點。因此，變量i被設置為-1，如上所述。
在步驟S139，判斷部分472判斷步驟S138處設置的變量i的值是否大于零。當變量i的值被判斷為不大于零時，過程進入步驟S140。
在該點，由于變量i的值為-1，其不大于零，因此過程進入步驟S140。
在步驟S140，判斷部分472判斷當前正處理的窗口圖像不是面部。
即，在這種情況中，僅通過對最高學習節(jié)點81-1執(zhí)行的處理，已經(jīng)判斷窗口圖像不為人類面部圖像。
當在步驟S133窗口圖像被判斷為人類面部圖像(當評估值s被判斷為正時)，過程進入步驟S134，并且判斷部分472判斷當前正處理的節(jié)點是否具有子節(jié)點。當判斷存在子節(jié)點時，過程進入步驟S135。
因為在該點正處理的學習節(jié)點81-1具有三個子節(jié)點，即，學習節(jié)點81-1-1和81-1-2以及未學習節(jié)點81-1-3，因此過程進入步驟S135。
在步驟S135，判斷部分472判斷正處理的節(jié)點81-1的變量branch_count[i]是否小于節(jié)點81-1的子節(jié)點的數(shù)量(size(numChild))。當變量branch_count[i]被判斷為小于size(numChild)時，過程進入步驟S136。
在該點，由于學習節(jié)點81-1的變量branch_count[i]的值為零(在該點處，變量branch_count[i]已經(jīng)在步驟S131初始化為零)，并且子節(jié)點的數(shù)量為3，因此變量的值被判斷為小于子節(jié)點的數(shù)量，過程進入步驟S136。
在步驟S136，選擇器473選擇下一個要處理的節(jié)點。
具體的，正處理的節(jié)點的變量branch_count[i]的值遞增一，并且在變量i中設置子節(jié)點的ID，所述子節(jié)點對應于因此設置的變量branch_count[i]的值。
在該點，學習節(jié)點81-1的變量branch_count[i]設置為1。然后，在變量i中設置子節(jié)點的ID，所述子節(jié)點對應于由此設置的變量branch_count[i]的值，例如，作為學習節(jié)點81-1的子節(jié)點的學習節(jié)點81-1-1的ID。
然后，過程返回到步驟S132，并且對具有在變量i中設置的ID的節(jié)點(在該點的學習節(jié)點81-1-1)執(zhí)行評估值計算處理。即，學習節(jié)點81-1-1用來計算評估值s(判斷窗口圖像是什么標記人類面部圖像)。
在步驟S133，判斷部分472判斷窗口圖像是否為面部(評估值s是否為正)。當窗口圖像為面部圖像時，過程進入步驟S134，并且判斷作為當前正處理的節(jié)點的學習節(jié)點81-1-1是否具有子節(jié)點。
由于學習節(jié)點81-1-1總共具有三個子節(jié)點，即，學習節(jié)點81-1-1-1和未學習節(jié)點81-1-1-2以及81-1-1-3，因此過程進入步驟S135。
在步驟S135，判斷部分472將學習節(jié)點81-1-1的變量branch_count[i]的值與其子節(jié)點的數(shù)量(在本情況中為3)比較。
在該點，由于在步驟S131的過程中已經(jīng)將變量branch_count[i]初始化為零，且學習節(jié)點81-1-1的子節(jié)點的量為3，因此branch_count[i]的值小于子節(jié)點的數(shù)量。因此，過程進入到步驟S136。
在步驟S136，選擇器473將學習節(jié)點81-1-1的變量branch_count[i]的值遞增一，使得變量branch_count[i]被設置為1，然后在變量i中設置學習節(jié)點81-1-1-1，其是學習節(jié)點81-1-1的子節(jié)點、并且對應于遞增的變量branch_count[i]的子節(jié)點。
然后，在步驟S132，評估值計算部分477計算節(jié)點81-1-1-1的評估值s，該節(jié)點81-1-1-1是具有在變量i中設置的ID的節(jié)點。
在步驟S133，判斷部分472判斷學習節(jié)點81-1-1-1的評估值s是否指示窗口圖像為面部。當窗口圖像為面部時，過程進入步驟S134并且判斷當前正處理的學習節(jié)點81-1-1-1是否具有子節(jié)點。
由于學習節(jié)點81-1-1-1具有一個子節(jié)點，其是學習節(jié)點81-1-1-1-1，因此過程進入步驟S135。
在步驟S135，判斷學習節(jié)點81-1-1-1的變量branch_count[i]的值是否小于其子節(jié)點的數(shù)量。
在該點，由于在步驟S131的過程中已經(jīng)將變量branch_count[i]初始化為零、并且學習節(jié)點81-1-1-1的子節(jié)點的數(shù)量為3，因此變量branch_count[i]的值小于子節(jié)點的數(shù)量。因此，過程進入步驟S136。
在步驟S136，選擇器473將學習節(jié)點81-1-1-1的變量branch_count[i]的值遞增一，使得變量branch_count[i]設置為一，然后在變量i中設置學習節(jié)點81-1-1-1-1的ID，所述學習節(jié)點81-1-1-1-1是學習節(jié)點81-1-1-1的子節(jié)點，并且對應于遞增的變量branch_count[i]的子節(jié)點。
然后，在步驟S132，評估值計算部分477利用學習節(jié)點81-1-1-1-1來計算評估值。
在步驟S133，判斷部分472判斷學習節(jié)點81-1-1-1-1的評估值s是否為正(窗口圖像是否為面部圖像)。當評估值s為正時，過程進入步驟S134，并且判斷當前正處理的學習節(jié)點81-1-1-1-1是否具有子節(jié)點。
學習節(jié)點81-1-1-1-1是終端節(jié)點并且不具有子節(jié)點。因此，在這種情況中，如步驟S137，判斷部分472判斷窗口圖像是與學習節(jié)點81-1-1-1-1相關聯(lián)的標記W11面部。
另一方面，如步驟S133，當評估值s為負時(當窗口圖像被判斷不為面部時)，在步驟S138，返回部分474在變量i中設置父節(jié)點的ID。
在該點，在變量i中設置作為學習節(jié)點81-1-1-1-1的父節(jié)點的學習節(jié)點81-1-1-1的ID。
在步驟S139，變量i被判斷為正，并且在步驟S135，判斷部分472判斷節(jié)點81-1-1-1的變量branch_count[i]是否小于其子節(jié)點的數(shù)量。
在該點，由于變量branch_count[i]的值為1并且子節(jié)點的數(shù)量為1，其意味著它們相等，因此變量branch_count[i]被判斷為不小于子節(jié)點的數(shù)量。因此，在步驟S138，在變量i中設置父節(jié)點的ID。
在該點，在變量i中設置作為學習節(jié)點81-1-1-1的父節(jié)點的學習節(jié)點81-1-1的ID。
在步驟S139，變量i被判斷為正，并且在步驟S135，判斷部分472判斷學習節(jié)點81-1-1的變量branch_count[i]是否小于其子節(jié)點的數(shù)量。
在該點，由于變量branch_count[i]的值為1、并且學習節(jié)點81-1-1的子節(jié)點的數(shù)量為3，因此變量branch_count[i]的值被判斷為小于子節(jié)點的數(shù)量。在步驟S136，選擇器473將變量branch_count[i]的值遞增一，使得變量branch_count[i]被設置為2。此外，在變量i中設置子節(jié)點的ID，所述子節(jié)點對應于因此遞增的變量branch_count[i]。
具體的，未學習節(jié)點81-1-1-2的ID在變量i中設置。在步驟S132，評估值計算部分477計算未學習節(jié)點81-1-1-2的評估值s。
在步驟S133，判斷部分472判斷未學習節(jié)點81-1-1-2的評估值s是否表示窗口圖像為面部。當窗口圖像為面部時，過程進入步驟S 134，并且判斷當前正處理的未學習節(jié)點81-1-1-2是否具有子節(jié)點。
由于未學習節(jié)點81-1-1-2具有一個子節(jié)點，其為未學習節(jié)點81-1-1-2-1，因此過程進入步驟S135。
在步驟S135，判斷未學習節(jié)點81-1-1-2的變量branch_count[i]的值是否小于其子節(jié)點的數(shù)量。
在該點，由于在步驟S131的過程中已經(jīng)將變量branch_count[i]初始化為零、并且未學習節(jié)點81-1-1-2的子節(jié)點的數(shù)量為1，因此branch_count[i]的值小于子節(jié)點的數(shù)量。因此，過程進入步驟S136。
在步驟S136，選擇器473將未學習節(jié)點81-1-1-2的變量branch_count[i]的值遞增1，使得變量branch_count[i]被設置為1，然后在變量i中設置未學習節(jié)點81-1-1-2-1的ID，所述未學習節(jié)點81-1-1-2-1是未學習節(jié)點81-1-1-2的子節(jié)點，并且其對應于遞增的變量branch_count[i]。
然后，在步驟S132，評估值計算部分477利用未學習節(jié)點81-1-1-2-1來計算評估值。
在步驟S133，判斷部分472判斷未學習節(jié)點81-1-1-2-1的評估值s是否為正(窗口圖像是否為面部圖像)。當評估值s為正時，過程進入到步驟S134，并且判斷當前正處理的未學習節(jié)點81-1-1-2-1是否具有子節(jié)點。
未學習節(jié)點81-1-1-2-1是終端節(jié)點并且不具有子節(jié)點。因此，在這種情況中，如步驟S137，判斷部分472判斷窗口圖像是與未學習節(jié)點81-1-1-2-1相關聯(lián)的標記W12面部。
另一方面，在步驟S133，當評估值s為負時(當窗口圖像被判斷為不是面部時)，在步驟S138，返回部分474在變量i中設置父節(jié)點的ID。
具體的，在該點，在變量i中設置作為未學習節(jié)點81-1-1-2-1的父節(jié)點的未學習節(jié)點81-1-1-2的ID。
在步驟S139，變量i被判斷為正，并且在步驟S135，判斷部分472判斷未學習節(jié)點81-1-1-2的變量branch_count[i]是否小于其子節(jié)點的數(shù)量。
在該點，由于變量branch_count[i]的值為1并且子節(jié)點的數(shù)量為1，其意味著它們相等，所以變量branch_count[i]的值被判斷為不小于子節(jié)點的數(shù)量。在步驟S138，在變量i中設置作為未學習節(jié)點81-1-1-2的父節(jié)點的已學習節(jié)點81-1-1的ID。
在步驟S139，變量i被判斷為正，并且在步驟S135，判斷部分472判斷學習節(jié)點81-1-1的變量branch_count[i]是否小于其子節(jié)點的數(shù)量。
在該點，由于變量branch_count[i]的值為2并且學習節(jié)點81-1-1的子節(jié)點的數(shù)量為3，因此變量branch_count[i]的值被判斷為小于子節(jié)點的數(shù)量。在步驟S136，選擇器473將變量branch_count[i]的值遞增一，使得變量branch_count[i]被設置為3。此外，在變量i中設置未學習節(jié)點81-1-1-3的ID，所述未學習節(jié)點81-1-1-3為對應于因此遞增的變量branch_count[i]的子節(jié)點。在步驟S132，評估值計算部分477計算未學習節(jié)點81-1-1-3的評估值s。
下面將參照圖33的流程圖，描述圖31中的步驟S132處的評估值計算過程。
在步驟S161，判斷對其執(zhí)行評估值計算的節(jié)點是否為學習節(jié)點。當正處理的節(jié)點被判斷為學習節(jié)點時，過程進入步驟S162。
在步驟S162，對學習節(jié)點執(zhí)行評估值計算過程，其將在下面描述。
另一方面，當在步驟S161要處理的節(jié)點被判斷為不是學習節(jié)點時，在步驟S163對未學習節(jié)點執(zhí)行評估值計算過程，其將在下面描述。
在步驟S162或者S163，在對學習節(jié)點或者未學習節(jié)點執(zhí)行評估值計算過程之后，過程進入圖31中的步驟S133，并且基于在評估值計算過程中獲得的評估值s，判斷窗口圖像是否為面部。
下面將參照圖34的流程圖，描述在圖33中的步驟S162處要對學習節(jié)點執(zhí)行的評估值計算過程。
在步驟S171，接管部分475接管父節(jié)點的輸出。具體的，當前節(jié)點的評估值s(i)初始化為評估值s，所述評估值s由在父節(jié)點計算的加權多數(shù)判決表達。當不存在父節(jié)點時，即，在最高節(jié)點81-1的情況下，評估值s(i)初始化為零。
在步驟S172，變量t在弱假設計算部分476中初始化為1，所述變量t表示已處理的弱鑒別器的數(shù)量(順序)。
然后，在步驟S173，弱假設計算部分476利用由變量t指定的弱鑒別器，計算弱假設f(x)?；谏鲜?12)執(zhí)行這種計算。該弱鑒別器對應于像素間差異特征d，所述像素間差異特征d由如上所述的一對像素I1和I2定義，并且在上述的學習過程中預先設置像素對和閾值Th(圖21)。
在步驟S174，評估值計算部分477基于式(14)將當前弱鑒別器的弱假設(估計值)與可靠性(多數(shù)判決權重)αt相乘，將其與之前的評估值s相加，以更新評估值s。
即，基于式(12)計算的、作為弱鑒別器的辨別結果的估計值f(x)，由通過式(8)表達的多數(shù)判決權重αt加權，并且計算加權多數(shù)判決F(x)的值，以提供評估值s。
s(i)＝s(i)+α×f(x)...(14) 在該點，當弱鑒別器根據(jù)式(2)到(4)輸出二進制估計值時評估值s如何影響估計的值、與當弱鑒別器輸出由式(5)表達的函數(shù)f(x)作為估計值時評估值s如何影響估計的值不同。
首先，當式(2)用于弱鑒別器來輸出二進制值作為估計的值時，由下式(15)表達評估值s。

即，當像素間差異特征d的值大于閾值Tht時，弱鑒別器的辨別結果ft(x)的值為+1，否則為-1。結果，當像素間差異特征d的值大于閾值時，通過將估計的值ft(x)與權重αt相乘獲得的值為αt，否則為-αt。然后，根據(jù)式(6)任一個結果值與之前的評估值s相加。從而更新評估值s，其是根據(jù)式(6)的加權多數(shù)判決F(x)的值。
當式(3)用來為弱鑒別器輸出作為估計的值的二進制值時，通過下式(16)表達評估值s。

當式(4)用于為弱鑒別器輸出作為估計的值的二進制值時，由下式(17)表達評估值s。

當式(5)用來為弱鑒別器輸出作為估計的值的函數(shù)f(x)時，由下式(18)表達評估值s。
s←s+f(d)...(18) 然后，在步驟S175，判斷部分472將評估值s(i)與中止閾值RM(t)相比較。即，判斷步驟S174處更新的評估值s(i)是否大于弱鑒別器(第t個弱鑒別器)的中止閾值RM(t)，其已經(jīng)在學習過程中學習(圖21)。當評估值s(i)大于中止閾值RM(t)時，在步驟S176，判斷部分472將變量t遞增1。
然后，在步驟S177，判斷部分472判斷步驟S176處遞增的變量t是否大于預先設置的常量值T。常量值T表示節(jié)點中包含的弱鑒別器的數(shù)量。在本實施例中，T的值為100，除非節(jié)點是終端節(jié)點，而當節(jié)點為終端節(jié)點時，T的值被單獨設置。當變量t等于或者小于常量值T時，不對所有弱鑒別器執(zhí)行判斷過程。因此，過程返回步驟S173。
然后，在步驟S173，弱假設計算部分476對下一個弱鑒別器執(zhí)行弱假設計算(對應于遞增的變量t的弱鑒別器)。此后，連續(xù)重復相同的過程。
然后，在步驟S177，當變量t被判斷為大于常量值T時，在步驟S179處，輸出部分479輸出在步驟S174的過程中更新的評估值s(i)，作為節(jié)點的評估值(辨別結果)。
另一方面，在步驟S175，當評估值s(i)被判斷為等于或者小于中止閾值RM(t)時，在步驟S178，評估值s(i)被設置為設置部分478中的大負值(-HUCE_VAL)。那么，在步驟S179，輸出部分479輸出評估值s(i)作為節(jié)點的辨別結果，評估值s(i)已經(jīng)在步驟S178設置為大負值。
即，在這種情況中，評估值s(i)、于中止閾值RM(t)意味著，窗口圖像被判斷為不是標記W11到W13、標記W21到W23和標記W31到W33的任何一個的人類面部圖像。因此，將不執(zhí)行下面的辨認過程，從而允許更快的辨認。
然后，過程返回到圖31到圖33中的步驟S133，并且如上所述，基于評估值s判斷節(jié)點處的窗口圖像是否為面部。當在步驟S178已經(jīng)設置評估值s為參考值時，窗口圖像被判斷為不是人類面部圖像，而當評估值s大于參考值時，如上所述，窗口圖像被判斷為人類面部圖像。
下面將參照圖35的流程圖，描述對圖33中的步驟S163處的未學習節(jié)點執(zhí)行的評估值計算過程。
即，在步驟S191，在接管部分475中，將當前節(jié)點的評估值s(i)初始化為評估值s，所述評估值s由在父節(jié)點計算的加權多數(shù)判決表達，如圖34中的步驟S171。由于未學習節(jié)點具有圖32所示的父節(jié)點，因此評估值s(i)將不被初始化為零。
在步驟S192，變量t被初始化為弱假設計算部分476中的一個，所述變量t表示正使用的學習節(jié)點中的弱鑒別器的數(shù)量(順序)。
然后，在步驟S193，弱假設計算部分476利用由變量t指定的弱鑒別器，以計算弱假設f(x)。
基于上述式(12)進行這種計算。然而，未學習節(jié)點與用來計算像素間差異特征d的閾值Th、或者像素對不關聯(lián)。然后，與未學習節(jié)點相關聯(lián)的圖像、以及與圖像(所述圖像與圖像(其與未學習節(jié)點相關聯(lián))具有預定的坐標關系)相關聯(lián)的學習節(jié)點中的弱鑒別器，被用來確定像素對，所述像素對用來計算像素間差異特征d。
如圖36所示，因為在滾動方向上旋轉標記W11圖像+20度導致分類為標記W12的圖像，所以通過學習標記W12圖像將獲得的兩個像素的位置，可以通過將通過學習標記W11圖像獲得的兩個像素的位置在滾動方向上旋轉+20度獲得，如圖37所示。
這種關系可由式(19)表示，其中xk和yk(k＝1，2)是所引用的(referenced)學習節(jié)點處的評估值計算過程中使用的兩個節(jié)點的坐標；sw是窗口圖像的側面寬度；sh是窗口圖像的縱向寬度；以及x’k和y’k是未學習節(jié)點處的評估值計算過程中使用的各像素的坐標。
即，當對未學習節(jié)點81-1-1-2或未學習節(jié)點81-1-1-2-1執(zhí)行評估值計算過程時，式(19)用來在滾動方向上將窗口圖像上兩個像素的位置旋轉+20度，所述兩個像素的位置用來計算弱鑒別器的弱假設f(x)，所述弱鑒別器由已經(jīng)學習標記W11的學習節(jié)點81-1-1-1-1、或者學習節(jié)點81-1-1-1的變量t指定。然后，在結果產(chǎn)生的旋轉的位置處的各像素的像素間差異特征d將被計算。
如圖36所示，因為在滾動方向上旋轉標記W11圖像-20度導致分類為標記W13的圖像，所以通過學習標記W13圖像將獲得的兩個像素的位置，可以通過將通過學習標記W11圖像獲得的兩個像素的位置在滾動方向上旋轉-20度獲得。
即，當對未學習節(jié)點81-1-1-3或未學習節(jié)點81-1-1-3-1執(zhí)行評估值計算過程時，式(19)用來在滾動方向上將窗口圖像上兩個像素的位置旋轉-20度，所述兩個像素的位置用來計算弱鑒別器的弱假設f(x)，所述弱鑒別器由學習節(jié)點81-1-1-1-1、或者學習節(jié)點81-1-1-1的變量t指定。然后，在結果產(chǎn)生的旋轉的位置處的各像素的像素間差異特征d將被計算。
如圖36中所示，由于在滾動方向上旋轉標記W21圖像+20度導致分類為標記W22的圖像，所以通過學習標記W22圖像將獲得的兩個像素的位置，可以通過將通過學習標記W21圖像獲得的兩個像素的位置在滾動方向上旋轉+20度獲得。
即，當對未學習節(jié)點81-1-2-2或未學習節(jié)點81-1-2-2-1執(zhí)行評估值計算過程時，式(19)用來在滾動方向上將窗口圖像上的兩個像素的位置旋轉+20度，所述兩個像素的位置用來計算弱鑒別器的弱假設f(x)，所述弱鑒別器由已經(jīng)學習標記W21的學習節(jié)點81-1-2-1-1、或者學習節(jié)點81-1-2-1的變量t指定。然后，在結果產(chǎn)生的旋轉的位置處的各像素的像素間差異特征d將被計算。
如圖36中所示，由于在滾動方向上旋轉標記W21圖像-20度導致分類為標記W23的圖像，所以通過學習標記W23圖像將獲得的兩個像素的位置，可以通過將通過學習標記W21圖像獲得的兩個像素的位置在滾動方向上旋轉-20度獲得。
即，當對未學習節(jié)點81-1-2-3或未學習節(jié)點81-1-2-3-1執(zhí)行評估值計算過程時，式(19)用來在滾動方向上將窗口圖像上的兩個像素的位置旋轉-20度，所述兩個像素的位置用來計算弱鑒別器的弱假設f(x)，所述弱鑒別器由已經(jīng)學習標記W21的學習節(jié)點81-1-2-1-1、或者學習節(jié)點81-1-2-1的變量t指定。然后，在結果產(chǎn)生的旋轉的位置處的各像素的像素間差異特征將被計算。
如圖36所示，因為繞穿過圖像的水平中心的垂直軸翻轉標記W21圖像(在水平方向翻轉)導致分類為標記W31的圖像，所以通過學習標記W31圖像將獲得的兩個像素的位置，可以通過在水平方向上翻轉兩個像素的位置獲得，后述兩個像素的位置通過學習標記W21圖像獲得，如圖38所示。
通過式(20)能表達這種關系。
x′k＝sw-xk，y′k＝y(tǒng)k...(20) 即，當對未學習節(jié)點81-1-3-1或者未學習節(jié)點81-1-3-1-1執(zhí)行評估值計算過程時，式(20)用來在水平方向上翻轉窗口圖像上的兩個像素的位置，所述兩個像素的位置用來計算弱鑒別器的弱假設f(x)，所述弱鑒別器由已學習標記W21的學習節(jié)點81-1-2-1-1、或學習節(jié)點81-1-2-1的變量t指定。然后，翻轉結果的位置處的各像素的像素間差異特征d將被計算。
如圖36中所示，因為在滾動方向上旋轉標記W21圖像-20度、并且在水平方向上翻轉結果產(chǎn)生的標記W23圖像導致分類為標記W32的圖像，所以通過學習標記W32圖像將獲得的兩個像素的位置，可以通過將通過學習標記W21圖像獲得的兩個像素的位置在滾動方向上旋轉-20度、并且在水平方向上翻轉旋轉的位置來獲得。
即，當對未學習節(jié)點81-1-3-2或者未學習節(jié)點81-1-3-2-1執(zhí)行評估值計算過程時，式(19)和(20)用來在水平方向上將窗口圖像上的兩個像素的位置旋轉-20度，所述兩個像素的位置用來計算弱鑒別器的弱假設f(x)，所述弱鑒別器由已學習標記W21的學習節(jié)點81-1-2-1-1或學習節(jié)點81-1-2-1的變量t指定，并且在水平方向上翻轉旋轉的位置。然后，旋轉和翻轉結果的位置處的各像素的像素間差異特征d將被計算。
如圖36中所示，由于在滾動方向上旋轉標記W21圖像+20度、并且在水平方向上翻轉結果產(chǎn)生的標記W22圖像導致分類為標記W33的圖像，所以通過學習標記W33將獲得的兩個像素的位置，可以通過將通過學習標記W21圖像獲得的兩個像素的位置在滾動方向上旋轉+20度、并且在水平方向上翻轉旋轉的位置來獲得。
即，當對未學習節(jié)點81-1-3-3或者未學習節(jié)點81-1-3-3-1執(zhí)行評估值計算過程時，式(19)和(20)用來在滾動方向上將窗口圖像上的兩個像素的位置旋轉+20度，所述兩個像素的位置用來計算弱鑒別器的弱假設f(x)，所述弱鑒別器由已學習標記W21的學習節(jié)點81-1-2-1-1、或學習節(jié)點81-1-2-1的變量t指定，并在水平方向上翻轉旋轉的位置。然后，旋轉和翻轉結果的位置處的各像素的像素間差異特征d將被計算。
利用相似的原理，當對辨認標記W31到W33的圖像的未學習節(jié)點81-1-3執(zhí)行評估值計算過程時，式(20)用來翻轉水平方向中的窗口圖像上的兩個像素的位置，所述兩個像素的位置用來計算弱鑒別器的弱假設f(x)，所述弱鑒別器由已經(jīng)學習標記W21到W23的學習節(jié)點81-1-2的變量t指定。然后，結果產(chǎn)生的翻轉的位置處的各像素的像素間差異特征d將被計算。
關于需要計算式(12)的閾值Th，當對未學習節(jié)點81-1-1-2或81-1-1-2-1、或者未學習節(jié)點81-1-1-3或81-1-1-3-1執(zhí)行評估值計算過程時，使用由學習節(jié)點81-1-1-1或者81-1-1-1-1的變量t指定的弱鑒別器的閾值。
當對未學習節(jié)點81-1-2-2或81-1-2-2-1、未學習節(jié)點81-1-2-3或81-1-2-3-1、未學習節(jié)點81-1-3-1或81-1-3-1-1、未學習節(jié)點81-1-3-2或81-1-3-2-1、或者未學習節(jié)點81-1-3-3或81-1-3-3-1執(zhí)行評估值計算過程時，使用由學習節(jié)點81-1-2-1或81-1-2-1-1的變量t指定的弱鑒別器的閾值。
當對未學習節(jié)點81-1-3執(zhí)行評估值計算過程時，使用由學習節(jié)點81-1-2的變量t指定的弱鑒別器的閾值。
當旋轉學習節(jié)點處的兩個像素的位置(所述兩個像素的位置用來計算像素間差異特征d)，以辨認未學習節(jié)點處的用來計算像素間差異特征d的兩個像素時，可以想像旋轉的位置可能離開窗口圖像，如圖39A所示。
為了解決該問題，在本實施例中，掃描器54放大窗口11，使得它變得稍微大于用于模式檢測的圖像，然后對放大的圖像的中心區(qū)域執(zhí)行模式檢測，如圖39B所示。
具體的，例如，首先通過學習20乘20的學習采樣，然后將兩個像素加到每個坐標，以將已學習的坐標變換為24乘24的坐標系統(tǒng)，24乘24的窗口用來在檢測過程中檢測。
實際上，當旋轉角θ為+/-20度時，20乘20正方形的四個角處的四個像素旋轉時將離開24乘24的窗口。然而，這個問題可以通過在滾動方向上旋轉學習采樣(中心與窗口圖像的中心相對齊)、以及排除四個角處的像素來處理，該四個角處的像素離開在學習過程中要處理的圖像。
返回圖35，在步驟S194，如圖34中的步驟S174，評估值計算部分477將當前弱鑒別器的弱假設(估計值)與可靠性(多數(shù)判決權重)αt相乘，將其加到之前的評估值s，以基于式(14)更新評估值s。
然而，未學習節(jié)點不與任何可靠性(多數(shù)判決權重)αt相關聯(lián)。
因此，再次在這種情況中，當對未學習節(jié)點81-1-1-2或81-1-1-2-1、或者未學習節(jié)點81-1-1-3或81-1-1-3-1執(zhí)行評估值計算過程時，使用由學習節(jié)點81-1-1-1或81-1-1-1-1的變量t指定的弱鑒別器的可靠性。
當對未學習節(jié)點81-1-2-2或81-1-2-2-1、未學習節(jié)點81-1-2-3或81-1-2-3-1、未學習節(jié)點81-1-3-1或81-1-3-1-1、未學習節(jié)點81-1-3-2或81-1-3-2-1、或者未學習節(jié)點81-1-3-3或81-1-3-3-1執(zhí)行評估值計算過程時，使用由學習節(jié)點81-1-2-1或81-1-2-1-1的變量t指定的弱鑒別器的可靠性。
當對未學習節(jié)點81-1-3執(zhí)行評估值計算過程時，使用由學習節(jié)點81-1-2的變量t指定的弱鑒別器的可靠性。
然后，在步驟S195，如圖34中的步驟S175中，判斷部分472將評估值s(i)與中止閾值RM(t)相比較。
然而，未學習節(jié)點不與任何閾值RM相關聯(lián)。
因此，再次在這種情況中，當對未學習節(jié)點81-1-1-2或81-1-1-2-1、或者未學習節(jié)點81-1-1-3或81-1-1-3-1執(zhí)行評估值計算過程時，使用由學習節(jié)點81-1-1-1或81-1-1-1-1的變量t指定的弱鑒別器的閾值RM。
當對未學習節(jié)點81-1-2-2或81-1-2-2-1、未學習節(jié)點81-1-2-3或81-1-2-3-1、未學習節(jié)點81-1-3-1或81-1-3-1-1、未學習節(jié)點81-1-3-2或81-1-3-2-1、或者未學習節(jié)點81-1-3-3或81-1-3-3-1執(zhí)行評估值計算過程時，使用由學習節(jié)點81-1-2-1或81-1-2-1-1的變量t指定的弱鑒別器的閾值RM。
當對未學習節(jié)點81-1-3執(zhí)行評估值計算過程時，使用由學習節(jié)點81-1-2的變量t指定的弱鑒別器的閾值RM。
在步驟S195，當評估值s(i)大于中止閾值RM(t)時，在步驟S196，判斷部分472將變量t遞增1。然后，在步驟S197，判斷部分472判斷步驟S196處遞增的變量t是否大于預先設置的常量值T。
常量值T表示學習節(jié)點中包括的弱鑒別器的數(shù)量，未學習節(jié)點參考所述學習節(jié)點。當變量t等于或者小于常量值T時，不對所有弱鑒別器執(zhí)行判斷過程。因此，過程返回到步驟S193。然后，在步驟S193，弱假設計算部分476對下一個弱鑒別器執(zhí)行弱假設的計算(對應于遞增的變量t的弱鑒別器)。此后，連續(xù)重復相同的過程。
然后，在步驟S197，當變量t被判斷大于常量值T時，在步驟S199，輸出部分479輸出在步驟S194的過程中更新的評估值s(i)，作為節(jié)點的評估值(辨別結果)。
另一方面，在步驟S195，當評估值s(i)被判斷等于或者小于中止閾值RM(t)時，在步驟S198，評估值s(i)在設置部分478中被設置為大負值(-HUGE_VAL)。然后，在步驟S199，輸出部分479輸出評估值s(i)(其已經(jīng)在步驟S198設置為大負值)作為節(jié)點的辨別結果。
即，在這種情況中，評估值s(i)小于中止閾值RM(t)意味著，窗口圖像被判斷為不是標記W12、W13、W22、W23、W31、W32和W33中任何一個的人類面部圖像。因此，將不執(zhí)行后面的辨認過程，從而允許更快的辨認。
然后，過程進入圖31到圖33中的步驟S133，并且基于評估值s判斷窗口圖像是否被判斷為未學習節(jié)點的面部，如上所述。當評估值s已經(jīng)在步驟S198設置為參考值時，窗口圖像被判斷為不是人類面部圖像，而當評估值s大于參考值時，窗口圖像被判斷為是人類面部圖像，如上所述。
如上所述，根據(jù)本實施例的對象檢測方法，為了通過利用鑒別器(所述鑒別器利用組學習來學習弱鑒別器，所述弱鑒別器使用像素間差異特征以執(zhí)行不穩(wěn)固的辨別)檢測感興趣的對象，在步驟S173或S193計算感興趣的對象的特征量的過程，僅通過讀出窗口圖像中的兩個相應像素的亮度值、并計算亮度的差異來完成。因此，能夠以稍微快的方式執(zhí)行面部檢測過程，允許實時面部檢測。
然后，無論何時將通過特征量獲得的辨別結果(估計值)、與用于辨別的弱鑒別器的可靠性相乘，并且添加結果值以連續(xù)更新評估值s，評估值s都與中止值RM相比較，從而判斷是否繼續(xù)弱鑒別器的估計值的計算。當評估值s變得小于中止閾值RM時，中止弱鑒別器的估計值的計算，并且過程進入下一個窗口，允許不需要的計算的大量減少和甚至更高速度的面部檢測。
即，當掃描通過對輸入圖像執(zhí)行縮小比例獲得的已縮放的圖像、和輸入圖像的所有區(qū)域時，從這些圖像剪切各窗口圖像，這些窗口圖像的大多數(shù)不可能是感興趣的對象，而是不感興趣的對象。通過在辨別過程期間中止窗口圖像(其是不感興趣的對象)的辨別，可能以顯著有效的方式執(zhí)行辨別過程。相反，當要檢測的大量的對象包含在這些圖像中時，利用上述中止閾值的相似方法可以用來提供閾值，通過該閾值，中止顯然是感興趣的對象的窗口圖像的計算。此外，通過縮放部分中改變輸入圖像的比例，可以設置任意大小的搜索窗口，以檢測任意大小的對象。
此外，如上所述，對各圖像(通過對預定標記圖像(圖20)執(zhí)行坐標變換能獲得所述各圖像)不執(zhí)行學習，而利用已學習的標記圖像的學習結果。因此，盡管在相關技術中，例如在每個節(jié)點需要產(chǎn)生并保留形成該節(jié)點的各弱鑒別器，例如，如圖6所示，可以在部分節(jié)點中省略各弱鑒別器的產(chǎn)生和保留，如圖32所示。即，不需要存儲相應的兩個像素的位置對、用于各弱鑒別器的閾值、加權多數(shù)判決(每一個對應于弱鑒別器的可靠性)的權重、和中止閾值，允許鑒別器55的字典數(shù)據(jù)的減少。
例如，在圖6所示的情況中，假設終端節(jié)點中的弱鑒別器的數(shù)量是3000，則總共可需要28300(＝100+300+900+27000)個弱鑒別器。
即，當學習結果包括下面的數(shù)據(jù)量時，可需要大約228-KB存儲容量。
加權系數(shù)16位 像素差異閾值9位 中止閾值21位 坐標x15位 坐標y15位 坐標x25位 坐標y25位 總共66位 另一方面，通過應用本發(fā)明，弱鑒別器的數(shù)量減小到6400(＝100+100+200+6000)，如圖32所示，使得存儲容量能夠因此減小到37.3KB。
在上述描述中，盡管無論何時更新加權多數(shù)判決的值，都判斷是否中止估計值的計算，然而將判斷的頻率減小到每N次中一次，可以減小要保留的中止閾值的數(shù)量，允許在字典數(shù)據(jù)中的進一步減小。
由于通常加權多數(shù)判決的值如圖18中所示適當?shù)馗淖?，因此即使當減小是否中止估計值的計算的判斷的頻率時，下面的閾值最終也將中止估計值的計算。因此，盡管判斷頻率的減少導致速度稍微減少(在計算中止之前，增加估計值計算的頻率)，然而中止判斷可適當?shù)貓?zhí)行。
例如，當判斷是否中止以每10次中的一次的頻率的估計值的計算時，弱鑒別器的數(shù)據(jù)量能夠從66位減小到47.1位，即，存儲容量為36.8KB。
本發(fā)明并不僅限于上述實施例，而當然可以進行各種變化，只要這些變化不偏離本發(fā)明的精神。本發(fā)明能夠應用到包括各種圖像處理設備的信息處理設備，如接收并顯示運動圖像和靜止圖像的機器人(robot)。
利用硬件或者軟件可以執(zhí)行上述一系列過程。在這種情況中，例如，對象檢測設備包括圖40所示的計算機。
在圖40中，CPU(中央處理單元)621根據(jù)ROM(只讀存儲器)622中存儲的程序、或者從存儲部分628加載到RAM(隨機存取存儲器)623的程序，執(zhí)行各種過程。RAM 623合適時也存儲CPU 621執(zhí)行各種處理需要的數(shù)據(jù)等。
CPU 621、ROM 622和RAM 623經(jīng)由總線624相互連接。輸入/輸出接口625也連接到總線624。
輸入/輸出接口625連接到包括鍵盤和鼠標的輸入部分626、包括顯示器(如CRT(陰極射線管)和LCD(液晶顯示器))以及揚聲器的輸出部分627、包括硬盤的存儲部分628、和包括調制解調器的通信部分629。通信部分629經(jīng)由包括因特網(wǎng)的網(wǎng)絡執(zhí)行通信過程。
輸入/輸出接口625如果需要也連接到驅動器630，合適時在其中加載可移動介質631，如磁盤、光盤、磁光盤和半導體存儲器。從可移動介質讀取的計算機程序如果需要被安裝到存儲部分628中。
當利用軟件要執(zhí)行一系列程序時，形成軟件的程序從網(wǎng)絡或記錄介質安裝到與專用硬件相結合的計算機中，或者例如能夠安裝各種程序來執(zhí)行各種功能的通用個人計算機。
如圖40所示，記錄介質不僅包括可移動介質631(包括磁盤(包括軟盤)、光盤(包括CD-ROM(致密盤-只讀存儲器)和DVD(數(shù)字多功能盤))、磁光盤(包括MD(迷你盤))和半導體存儲器)，其上記錄程序并且其從設備主體中分離出來并被分發(fā)以提供程序給用戶，而且也可以包括并入存儲部分628的硬盤和ROM 622，其上記錄程序并且在預先并入設備主體時，提供給用戶。
在本文中，描述在記錄介質上記錄程序的各步驟，不僅包括以時間序列方式的指定順序執(zhí)行的各過程，而且還包括不需要以時間序列方式執(zhí)行、而以并行或單獨執(zhí)行的過程。
在本文中，系統(tǒng)指由多個設備形成的全部設備。
本領域的技術人員應當理解，取決于設計需要和其他因素可以發(fā)生各種修改、組合、子組合和更改，只要它們在權利要求或其等價物的范圍之內(nèi)。
相關申請的交叉引用
本申請包含于2006年3月17日在日本專利局提交的、日本專利申請JP2006-075517的主題，該申請全部內(nèi)容通過引用在此并入。
權利要求
1.一種信息處理設備，包括
高節(jié)點，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)學習第一標記的學習采樣和第二標記的學習采樣，所述第二標記的學習采樣與所述第一標記的學習采樣具有預定的坐標關系；
第一低節(jié)點，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)基于高節(jié)點的辨別結果，學習第一標記的學習采樣；以及
第二低節(jié)點，不具有弱鑒別器，
其中所述第一低節(jié)點基于高節(jié)點的辨別結果對輸入信號執(zhí)行辨認過程，以便辨認第一標記的圖像，以及
所述第二低節(jié)點根據(jù)坐標關系，通過利用第一低節(jié)點中的各弱鑒別器，基于高節(jié)點的辨別結果對輸入信號執(zhí)行辨認過程，以便辨認第二標記的圖像。
2.根據(jù)權利要求1所述的信息處理設備，其中所述高節(jié)點和所述第一低節(jié)點中的各弱鑒別器，基于學習采樣的圖像數(shù)據(jù)中的兩個像素值之間的差異與閾值有多少不同，執(zhí)行辨認過程，以及
所述第二低節(jié)點，基于根據(jù)輸入信號、圖像上的兩個像素值間的差異與對第一節(jié)點的辨認過程中使用的閾值有多少不同，執(zhí)行辨認過程，所述輸入信號的位置通過基于坐標關系、對第一節(jié)點的辨認過程中使用的兩個像素的位置執(zhí)行坐標變換得到。
3.根據(jù)權利要求2所述的信息處理設備，其中第二標記的學習采樣對應于通過在滾動方向上旋轉第一標記的學習采樣預定的角度、或在水平方向上翻轉第一標記的學習采樣獲得的圖像，以及
第二低節(jié)點基于根據(jù)輸入信號、圖像上兩個像素值間的差異與對第一節(jié)點的辨認過程中使用的閾值有多少不同，執(zhí)行辨認過程，所述輸入信號的位置通過在滾動方向上將對第一節(jié)點的辨認過程中使用的兩個像素的位置旋轉預定的角度、或在水平方向上翻轉兩個像素的位置得到。
4.根據(jù)權利要求3所述的信息處理設備，進一步包括獲得信號的輸出裝置，該信號經(jīng)歷辨認過程，并將其輸出到高節(jié)點、第一低節(jié)點或第二低節(jié)點，
其中當?shù)诙凸?jié)點基于根據(jù)輸入信號、圖像上兩個像素值間的差異與對第一節(jié)點的辨認過程中使用的閾值有多少不同、執(zhí)行辨認過程時，輸出裝置將大于學習采樣的圖像的圖像信號輸出到第二低節(jié)點，所述輸入信號的位置通過在滾動方向上將第一節(jié)點的辨認過程中使用的兩個像素的位置旋轉預定的角度得到。
5.根據(jù)權利要求4所述的信息處理設備，其中形成高節(jié)點和第一低節(jié)點的各弱鑒別器，根據(jù)從輸出裝置輸出的圖像信號，在滾動方向上旋轉學習采樣預定的角度，其中心對齊圖像的中心，并且根據(jù)圖像信號對離開圖像的區(qū)域不執(zhí)行學習。
6.根據(jù)權利要求1所述的信息處理設備，其中高節(jié)點以及第一和第二低節(jié)點包括中止裝置，該中止裝置用于將每個辨別結果用可靠性加權，累加各加權的辨別結果，并基于累加的和中止辨認過程。
7.根據(jù)權利要求6所述的信息處理設備，其中無論何時加權并累加辨別結果、或者無論何時加權和累加預定數(shù)量的辨別結果，中止裝置都判斷是否中止辨認過程。
8.一種用于信息處理設備的信息處理方法，該信息處理設備包括
高節(jié)點，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)學習第一標記的學習采樣和第二標記的學習采樣，所述第二標記的學習采樣與第一標記的學習采樣具有預定的坐標關系，
第一低節(jié)點，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)基于高節(jié)點的辨別結果，學習第一標記的學習采樣，以及
第二低節(jié)點，不具有弱鑒別器，
該信息處理方法包括以下步驟
利用第一低節(jié)點，基于高節(jié)點的辨認結果對輸入信號執(zhí)行辨認過程，以便識別第一標記的圖像，以及
利用第二低節(jié)點，根據(jù)坐標關系，通過利用第一低節(jié)點中的弱鑒別器，基于高節(jié)點的辨別結果對輸入信號執(zhí)行辨認過程，以便辨認第二標記的圖像。
9.一種記錄介質，其上記錄了用于信息處理設備的計算機可讀程序，該信息處理設備包括
高節(jié)點，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)學習第一標記的學習采樣和第二標記的學習采樣，所述第二標記的學習采樣與第一標記的學習采樣具有預定的坐標關系，
第一低節(jié)點，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)基于高節(jié)點的辨別結果學習第一標記的學習采樣，以及
第二低節(jié)點，不具有弱鑒別器，
該程序包括以下步驟
利用第一低節(jié)點，基于高節(jié)點的辨認結果對輸入信號執(zhí)行辨認過程，以便識別第一標記的圖像，以及
利用第二低節(jié)點，根據(jù)坐標關系，通過利用第一低節(jié)點中的弱鑒別器，基于高節(jié)點的辨別結果對輸入信號執(zhí)行辨認過程，以便辨認第二標記的圖像。
10.一種用于信息處理設備的程序，該信息處理設備包括
高節(jié)點，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)學習第一標記的學習采樣和第二標記的學習采樣，所述第二標記的學習采樣與第一標記的學習采樣具有預定的坐標關系，
第一低節(jié)點，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)基于高節(jié)點的辨別結果學習第一標記的學習采樣，以及
第二低節(jié)點，不具有弱鑒別器，
該程序使計算機執(zhí)行以下步驟
利用第一低節(jié)點，基于高節(jié)點的辨認結果對輸入信號執(zhí)行辨認過程，以便識別第一標記的圖像，以及
利用第二低節(jié)點，根據(jù)坐標關系，通過利用第一低節(jié)點中的弱鑒別器，基于高節(jié)點的辨別結果對輸入信號執(zhí)行辨認過程，以便辨認第二標記的圖像。
全文摘要
一種信息處理設備，包括高節(jié)點，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)學習第一標記的學習采樣和第二標記的學習采樣，所述第二標記的學習采樣與第一標記的學習采樣具有預定的坐標關系；第一低節(jié)點，具有多個弱鑒別器，所述多個弱鑒別器已經(jīng)基于高節(jié)點的辨別結果學習第一標記的學習采樣；以及第二低節(jié)點，不具有弱鑒別器。
文檔編號G06K9/68GK101127079SQ200710129249
公開日2008年2月20日 申請日期2007年3月19日 優(yōu)先權日2006年3月17日
發(fā)明者佐部浩太郎, 日臺健一, 小屋啟 申請人:索尼株式會社