專利名稱：對(duì)象檢測裝置,成像設(shè)備,對(duì)象檢測方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對(duì)象檢測裝置，更具體地說，涉及一種從成像圖 像中檢測諸如人物之類的識(shí)別對(duì)象的對(duì)象檢測裝置，成像裝置及其處 理方法，和使計(jì)算機(jī)執(zhí)行其方法的程序。
背景技術(shù)：
迄今為止，提出了被攝體識(shí)別技術(shù)，其中識(shí)別包括在由諸如數(shù)字 靜態(tài)照相機(jī)或數(shù)字?jǐn)z像機(jī)(例如，集成的照相機(jī)/錄像機(jī)等)產(chǎn)生的成像 圖像中的被攝體是什么。例如，作為被攝體識(shí)別技術(shù)，提出了借助使 用諸如亮度和顏色之類特征量的圖像處理，從成像圖像中檢測人物面 部的面部檢測技術(shù)?？梢韵氲?，利用這種檢測技術(shù)能夠檢測人物。不 過，在檢測對(duì)象是人物的情況下，衣服等的顏色常常隨人物而不同， 從而認(rèn)為難以借助使用諸如亮度和顏色之類特征量的圖像處理檢測 人物。
因此，提出了利用待檢測對(duì)象的輪廓檢測諸如人物或車輛之類對(duì)
象的對(duì)象檢測技術(shù)。例如，提出了一種利用梯度方向直方圖(HOG: 有向梯度的直方圖)進(jìn)行對(duì)象檢測的技術(shù)，梯度方向直方圖是圖像內(nèi)的 多個(gè)區(qū)域的亮度的一種直方圖(頻率分布)(例如，參見"Histograms of Oriented Gradients for Human Detection", Navneet Dalal， 2005)。 梯度方向直方圖是通過把目標(biāo)圖像分成例如多個(gè)區(qū)域，計(jì)算每個(gè)區(qū)域 的亮度的梯度強(qiáng)度和梯度方向，并根據(jù)亮度的梯度強(qiáng)度和梯度方向創(chuàng) 建的。

發(fā)明內(nèi)容
就上述技術(shù)來說，例如，為了避免因?qū)ο蟮拿?暗而降低檢測精度，創(chuàng)建的梯度方向直方圖被歸一化，并利用歸一化之后的梯度方向 直方圖進(jìn)行對(duì)象檢測。
不過，在對(duì)利用數(shù)字靜態(tài)照相機(jī)，或諸如數(shù)字靜態(tài)照相機(jī)之類成 像裝置產(chǎn)生的成像圖像進(jìn)行對(duì)象檢測的情況下，提高對(duì)象檢測的精 度，以及降低與對(duì)象檢測相關(guān)的處理的負(fù)擔(dān)變得重要。從而，在每種 情況下，提高對(duì)象檢測的精度，以及降低與對(duì)象檢測相關(guān)的處理的負(fù) 擔(dān)變得重要。
一直存在能恰當(dāng)檢測包括在圖像中的被檢對(duì)象的需求。 按照本發(fā)明的一個(gè)實(shí)施例，提供一種對(duì)象檢測裝置，其處理方法，
和使計(jì)算機(jī)執(zhí)行所述方法的程序，所述對(duì)象檢測裝置包括計(jì)算單元， 用于對(duì)圖像中的多個(gè)區(qū)域計(jì)算亮度的梯度強(qiáng)度和梯度方向，和對(duì)每個(gè)
區(qū)域計(jì)算亮度梯度強(qiáng)度相對(duì)于計(jì)算的亮度梯度方向的頻率分布；和確
定單元，用于通過比較對(duì)每個(gè)區(qū)域計(jì)算的多個(gè)頻率分布，確定識(shí)別對(duì)
象是否包括在圖像中。從而，通過對(duì)圖像的多個(gè)區(qū)域計(jì)算與亮度的梯
度強(qiáng)度和梯度方向相關(guān)的頻率分布，并比較多個(gè)頻率分布，產(chǎn)生確定
識(shí)別對(duì)象是否包括在圖像中的操作。
計(jì)算單元計(jì)算在所述圖像中預(yù)先設(shè)定的第一區(qū)域和第二區(qū)域的
所述頻率分布中的每個(gè)；確定單元可通過比較關(guān)于第一區(qū)域計(jì)算的頻 率分布的多種級(jí)別中的一種預(yù)設(shè)級(jí)別的值和關(guān)于第二區(qū)域計(jì)算的頻 率分布的多種級(jí)別中的一種預(yù)設(shè)級(jí)別的值，確定識(shí)別對(duì)象是否包括在 圖像中。從而，通過比較關(guān)于第一區(qū)域計(jì)算的頻率分布的多種級(jí)別中 的一種預(yù)設(shè)級(jí)別的值和關(guān)于第二區(qū)域計(jì)算的頻率分布的多種級(jí)別中
的 一種預(yù)設(shè)級(jí)別的值，產(chǎn)生確定識(shí)別對(duì)象是否包括在圖像中的操作。 計(jì)算單元可計(jì)算與第一區(qū)域相關(guān)的頻率分布和與第二區(qū)域相關(guān)
的頻率分布的多個(gè)組合；確定單元可通過比較關(guān)于第一區(qū)域計(jì)算的頻 率分布的多種級(jí)別中的一種預(yù)設(shè)級(jí)別的值和關(guān)于第二區(qū)域計(jì)算的頻 率分布的多種級(jí)別中的一種預(yù)設(shè)級(jí)別的值的每個(gè)組合，確定識(shí)別對(duì)象 是否包括在圖像中。從而，通過對(duì)于多種組合中的每種組合，比較關(guān) 于第一區(qū)域計(jì)算的頻率分布的多種級(jí)別中的一種預(yù)設(shè)級(jí)別的值和關(guān)
6于第二區(qū)域計(jì)算的頻率分布的多種級(jí)別中的一種預(yù)設(shè)級(jí)別的值，產(chǎn)生 確定識(shí)別對(duì)象是否包括在圖像中的操作。
確定單元可通過計(jì)算關(guān)于第一區(qū)域計(jì)算的頻率分布的多種級(jí)別 中的一種預(yù)設(shè)級(jí)別的值和關(guān)于所述第二區(qū)域計(jì)算的頻率分布的多種 級(jí)別中的一種預(yù)設(shè)級(jí)別的值之間的差值，并根據(jù)該差值確定識(shí)別對(duì)象 是否包括在圖像中。從而，通過計(jì)算關(guān)于第一區(qū)域計(jì)算的頻率分布的 多種級(jí)別中的一種預(yù)設(shè)級(jí)別的值和關(guān)于所述第二區(qū)域計(jì)算的頻率分 布的多種級(jí)別中的 一種預(yù)設(shè)級(jí)別的值之間的差值，產(chǎn)生確定識(shí)別對(duì)象 是否包括在圖像中的操作，所述確定基于所述差值。
第一區(qū)域和第二區(qū)域是圖像中不相互重疊的區(qū)域。從而，通過使 用對(duì)不相互重疊的兩個(gè)區(qū)域計(jì)算的兩個(gè)頻率分布，產(chǎn)生確定識(shí)別對(duì)象 是否包括在圖像中的操作。
對(duì)象檢測裝置還包括確定信息存儲(chǔ)單元，用于保存多個(gè)確定信 息，所迷多個(gè)確定信息包括下述信息的組合第一位置，所述第一位 置是圖像中區(qū)域的位置；第一級(jí)別，第一級(jí)別是頻率分布的多種級(jí)別 中的一種級(jí)別；第二位置，第二位置是圖像中區(qū)域的位置，并且不同 于第一位置；第二級(jí)別，第二級(jí)別是頻率分布的多種級(jí)別中的一種級(jí) 別；閾值；和加權(quán)值；其中計(jì)算單元可關(guān)于每組確定信息，計(jì)算第一 頻率分布和第二頻率分布，第一頻率分布是與由第一位置識(shí)別的區(qū)域
相關(guān)的頻率分布，第二頻率是與由第二位置識(shí)別的區(qū)域相關(guān)的頻率分 布；并且其中確定單元根據(jù)評(píng)估值確定識(shí)別對(duì)象是否包括在所述圖像 中，評(píng)估值是通過計(jì)算第 一頻率分布的多種級(jí)別中的第 一級(jí)別的值和 第二頻率分布的多種級(jí)別中的第二級(jí)別的值之間的差值；比較差值和 閾值；和通過根據(jù)比較結(jié)果進(jìn)行加權(quán)值的計(jì)算，計(jì)算評(píng)估值。從而， 通過計(jì)算第一頻率分布的多種級(jí)別中的第一級(jí)別的值和第二頻率分 布的多種級(jí)別中的第二級(jí)別的值之間的差值，比較差值和閾值，并通 過根據(jù)關(guān)于每組確定信息的比較結(jié)果進(jìn)行加權(quán)值的計(jì)算，來計(jì)算評(píng)估 值，產(chǎn)生確定識(shí)別對(duì)象是否包括在圖像中的操作。
識(shí)別對(duì)象可以是人物。從而，通過關(guān)于圖像中的多個(gè)區(qū)域計(jì)算與
7亮度的梯度強(qiáng)度和梯度方向相關(guān)的頻率分布，并比較多個(gè)頻率分布， 產(chǎn)生確定識(shí)別對(duì)象是否包括在圖像中的操作。
另外，按照本發(fā)明的一個(gè)實(shí)施例，提供一種成傳J殳備，其處理方
法，和使計(jì)算機(jī)執(zhí)行該方法的程序，所述成像設(shè)備包括成像單元， 用于對(duì)被攝體成像，并產(chǎn)生成像圖像；圖像提取單元，用于從成像圖 像中提取充當(dāng)確定目標(biāo)的確定目標(biāo)圖像；計(jì)算單元，用于對(duì)確定目標(biāo) 圖像中的多個(gè)區(qū)域計(jì)算亮度的梯度強(qiáng)度和梯度方向，和對(duì)每個(gè)區(qū)域計(jì) 算亮度梯度強(qiáng)度相對(duì)于計(jì)算的亮度梯度方向的頻率分布；和確定單 元，用于通過比較對(duì)每個(gè)區(qū)域計(jì)算的多個(gè)頻率分布，確定識(shí)別對(duì)象是 否包括在確定目標(biāo)圖像中。從而，通過對(duì)提取自成像圖像的確定目標(biāo) 圖像中的多個(gè)區(qū)域計(jì)算與亮度的梯度強(qiáng)度和梯度方向相關(guān)的頻率分 布，并比較其中的多個(gè)頻率分布，產(chǎn)生確定識(shí)別對(duì)象是否包括在確定 目標(biāo)圖像中的操作。
按照上面的配置，能夠獲得可適宜地檢測包括在圖像中的識(shí)別對(duì) 象的優(yōu)點(diǎn)。


圖1是按照本發(fā)明的一個(gè)實(shí)施例，例示成像設(shè)備的功能配置的例 子的框圖2是按照本發(fā)明的 一 個(gè)實(shí)施例，例示照相機(jī)控制單元的功能配 置的例子的框圖3是按照本發(fā)明的一個(gè)實(shí)施例，例示人物檢測單元的功能配置 的例子的框圖4A和4B是按照本發(fā)明的一個(gè)實(shí)施例，簡要例示將成為人物 確定單元的人物確定處理的目標(biāo)的圖像的示圖5A至5C是按照本發(fā)明的一個(gè)實(shí)施例，簡要例示在HOG計(jì) 算單元的HOG計(jì)算事件中使用的像素的示圖6A至6C是按照本發(fā)明的一個(gè)實(shí)施例，簡要例示利用由HOG 計(jì)算單元計(jì)算的亮度梯度角和亮度梯度強(qiáng)度表述的向量、直方圖和邊緣強(qiáng)度分布的示圖7A至7C是簡要例示包括人物的確定目標(biāo)圖像，和表示關(guān)于
該確定目標(biāo)圖像創(chuàng)建的邊緣強(qiáng)度分布的多個(gè)線段中的一部分的示圖8A至8C是例示包括人物的圖像、該圖像的縮小圖像和表示
關(guān)于該縮小圖像創(chuàng)建的邊緣強(qiáng)度分布的線段的示圖9A至9C是例示包括不同于人物的對(duì)象的圖像、該圖像的縮 小圖像和表示關(guān)于該縮小圖像創(chuàng)建的邊緣強(qiáng)度分布的線段的示圖IOA和IOB是例示表示圖8A至圖9C中所示的邊緣強(qiáng)度分布 的線段的示圖11是按照本發(fā)明的一個(gè)實(shí)施例，簡要例示保存在人物檢測字 典存儲(chǔ)單元中的人物檢測字典的示圖12是按照本發(fā)明的一個(gè)實(shí)施例，簡要例示提取圖像的圖像提 取方法的示圖，所述圖像將成為人物確定單元的人物確定處理的目 標(biāo)；
圖13是按照本發(fā)明的一個(gè)實(shí)施例，簡要例示提取圖像的圖像提 取方法的示圖，所述圖像將成為人物確定單元的人物確定處理的目 標(biāo)；
圖14是按照本發(fā)明的一個(gè)實(shí)施例，例示確定目標(biāo)圖像和用于確 定處理的直方圖(HOG)的示圖15是按照本發(fā)明的一個(gè)實(shí)施例，例示確定目標(biāo)圖像和用于確 定處理的直方圖(HOG)的示圖16是按照本發(fā)明的一個(gè)實(shí)施例，例示成為人物檢測單元的人
物檢測處理的目標(biāo)的圖像，和人物檢測單元的人物檢測處理的檢測結(jié) 果的示圖17是按照本發(fā)明的一個(gè)實(shí)施例，說明成像設(shè)備的成像圖像記
錄處理的處理過程的流程圖18是按照本發(fā)明的一個(gè)實(shí)施例，說明成像設(shè)備的成像圖像記 錄處理的人物檢測處理過程的流程圖19是按照本發(fā)明的一個(gè)實(shí)施例，說明成像設(shè)備的人物檢測處理的確定處理過程的流程圖。
具體實(shí)施例方式
下面參考附圖，詳細(xì)說明本發(fā)明的實(shí)施例。圖l是按照本發(fā)明的
一個(gè)實(shí)施例，例示成像設(shè)備100的功能配置例子的框圖。成像設(shè)備100具有鏡頭lll、成像單元112、系統(tǒng)控制單元120、存儲(chǔ)器單元130、外部接口單元140、記錄單元150、操作輸入單元160、顯示單元170、音頻輸出單元180和照相機(jī)控制單元200。例如，成像設(shè)備100可由數(shù)字靜態(tài)照相機(jī)實(shí)現(xiàn)，所述數(shù)字靜態(tài)照相機(jī)能夠?qū)Ρ粩z體成像，從而產(chǎn)生圖像數(shù)據(jù)，借助圖像分析從圖像數(shù)據(jù)中提取各種特征量，并利用各種提取的特征量進(jìn)行各種圖像處理。
鏡頭111由會(huì)聚來自被攝體的光的多個(gè)透鏡(變焦透鏡，聚焦透鏡等)構(gòu)成，從被攝體照射的光經(jīng)其中的透鏡被提供給成像單元112。
成像單元112具有成像元件(未示出)和信號(hào)處理單元(未示出)，成像元件具有電子快門功能，信號(hào)處理單元處理來自成像元件的輸出信號(hào)，從而產(chǎn)生成像圖像(圖像信號(hào))。即，通過在成像元件的成像面上形成經(jīng)鏡頭111照射的被攝體的光學(xué)圖像、成像元件在這種狀態(tài)下進(jìn)行成像操作并且信號(hào)處理單元對(duì)成像信號(hào)進(jìn)行信號(hào)處理，在成像單元112產(chǎn)生成像圖像。產(chǎn)生的成像圖像隨后被提供給存儲(chǔ)器單元130并被保存。注意由照相機(jī)控制單元200順序地確定用于產(chǎn)生成像圖像的照相機(jī)參數(shù)(成像參數(shù))。
照相機(jī)控制單元200根據(jù)經(jīng)存儲(chǔ)器單元130從成1象單元112供給的成像圖像和系統(tǒng)控制單元120的控制，控制成像單元112。注意，后面將參考圖2詳細(xì)說明照相機(jī)控制單元200。
系統(tǒng)控制單元120對(duì)整個(gè)成像設(shè)備100進(jìn)4亍控制。例如，系統(tǒng)控制單元120按照操作輸入單元160從用戶接受的操作輸入進(jìn)行控制。另外，系統(tǒng)控制單元120控制顯示在顯示單元170上的菜單屏幕等的顯示、關(guān)于記錄單元150的成像圖像的記錄和讀取、經(jīng)外部接口單元140進(jìn)行的與外部計(jì)算機(jī)和網(wǎng)絡(luò)的通信，等等。此外，在成像操作期間進(jìn)行監(jiān)視時(shí)，系統(tǒng)控制單元120進(jìn)行把成像單元112產(chǎn)生的成像圖像顯示在顯示單元170上的控制。
存儲(chǔ)器單元130是臨時(shí)把成像圖像等保存在成像設(shè)備100的系統(tǒng)上的主存儲(chǔ)裝置，例如由DRAM(動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)構(gòu)成。即，成像設(shè)備100內(nèi)各個(gè)單元之間的成像圖像的交換主要是通過存儲(chǔ)器單元130進(jìn)行的。
外部接口單元140是具有諸如USB(通用串行總線)之類輸入/輸出端子的外部接口，并且提供與外部計(jì)算機(jī)和網(wǎng)絡(luò)連接的接口。
記錄單元150根據(jù)系統(tǒng)控制單元120的控制，記錄成像單元112產(chǎn)生的成像圖像。另外，記錄單元150根據(jù)系統(tǒng)控制單元120的控制，讀取記錄的成像圖像，并將其提供給系統(tǒng)控制單元120。例如，諸如閃速存儲(chǔ)器之類的記錄介質(zhì)可被用作記錄單元150。另外，記錄單元150可被內(nèi)置到成像設(shè)備100中，或者可以可拆卸地安裝在成像設(shè)備100上。
操作輸入單元160是接收來自用戶的操作輸入的操作輸入單元，并且與接收的操作輸入相應(yīng)的信號(hào)被輸出給系統(tǒng)控制單元120。例如，當(dāng)快門按鈕被按下，指示成像圖像的記錄時(shí)，與按下快門按鈕對(duì)應(yīng)的信號(hào)被輸出給系統(tǒng)控制單元120。
顯示單元170是根據(jù)系統(tǒng)控制單元120的控制，顯示各種圖像的顯示單元。例如，顯示單元170顯示由成像單元112產(chǎn)生的成像圖像、從記錄單元150讀取的成像圖像、提供給用戶的菜單屏幕，等等。
音頻輸出單元180根據(jù)系統(tǒng)控制單元120的控制，輸出各種音頻信息。例如，音頻輸出單元180可用揚(yáng)聲器實(shí)現(xiàn)。
圖2是按照本發(fā)明的一個(gè)實(shí)施例，例示照相機(jī)控制單元200的功能配置例子的框圖。隨同照相機(jī)控制單元200的功能配置例子一起，圖2中還表示了圖1中所示的成像單元112、系統(tǒng)控制單元120和存儲(chǔ)器單元130的配置。照相機(jī)控制單元200具有順序控制單元210、照相機(jī)參數(shù)控制單元220、人物檢測單元230和存儲(chǔ)器接口 240?，F(xiàn)在，在存儲(chǔ)器單元130和照相機(jī)參數(shù)控制單元220之間，或者在存儲(chǔ)器單元130和人物檢測單元230之間進(jìn)行的成像圖像的交換是通過存儲(chǔ)器接口 240實(shí)現(xiàn)的。
順序控制單元210依據(jù)來自系統(tǒng)控制單元120的成像圖像記錄等待命令被啟動(dòng)，并保持在能夠記錄成像單元112產(chǎn)生的成像圖像的狀態(tài)。在成像圖像記錄等待狀態(tài)下，成像單元112產(chǎn)生的成像圖像被順序保存在存儲(chǔ)器單元130中。例如，以1/60秒的間隔順序更新保存在存儲(chǔ)器單元130中的成像圖像。另外，順序控制單元210進(jìn)行控制，以致照相機(jī)參數(shù)控制單元220根據(jù)保存在存儲(chǔ)器單元130中的當(dāng)前成像圖像(借助成像單元112產(chǎn)生的最新的成像圖4象)確定照相機(jī)參數(shù)。另外，順序控制單元210進(jìn)行對(duì)人物檢測單元230的控制，以便對(duì)保存在存儲(chǔ)器單元130中的當(dāng)前成像圖像進(jìn)行人物檢測處理?，F(xiàn)在，在從人物檢測單元230輸出指示已檢測到人物的人物檢測信息的情況下，順序控制單元210把大意是已檢測到人物的信息輸出給系統(tǒng)控制單元120和照相機(jī)參數(shù)控制單元220。
照相機(jī)參數(shù)控制單元220確定與成像圖^^相關(guān)的照相機(jī)參數(shù)，并利用確定的照相機(jī)參數(shù)對(duì)成像單元112進(jìn)行成^f象控制。具體地說，照相機(jī)參數(shù)控制單元220根據(jù)來自順序控制單元210的觸發(fā)信號(hào)，經(jīng)存儲(chǔ)器接口 240獲得保存在存儲(chǔ)器單元130中的當(dāng)前成像圖像。照相機(jī)參數(shù)控制單元220隨后評(píng)估當(dāng)前的成像圖像，并確定照相機(jī)參數(shù)，比如快門速度、曝光、白平衡等等。另外，在當(dāng)前成像圖像中檢測到人物的情況下，照相機(jī)參數(shù)控制單元220根據(jù)被檢人物和當(dāng)前成像圖像的評(píng)估，確定照相機(jī)參數(shù)，比如快門速度、曝光、白平衡等等。例如，在檢測到人物的情況下，根據(jù)成像圖像中被檢人物的位置和大小，對(duì)被檢人物確定最佳照相機(jī)參數(shù)。
人物檢測單元230對(duì)保存在存儲(chǔ)器單元130中的當(dāng)前成像圖像進(jìn)行人物檢測處理，在檢測到人物的情況下，人物檢測信息被輸出給順序控制單元210。具體地說，人物檢測單元230才艮據(jù)來自順序控制單元210的觸發(fā)信號(hào)，經(jīng)存儲(chǔ)器接口 240，獲得保存在存儲(chǔ)器單元130中的當(dāng)前成像圖像，并對(duì)當(dāng)前成像圖像進(jìn)行人物檢測處理。現(xiàn)在，人
12物檢測信息是與被檢人物相關(guān)的信息，例如是包括表示在被檢人物的 成像圖像中該人物的位置、大小和程度的分?jǐn)?shù)的信息。注意下面將參
考圖3詳細(xì)說明人物檢測單元230。
圖3是按照本發(fā)明的一個(gè)實(shí)施例，例示人物檢測單元230的功能 配置例子的框圖。人物檢測單元230具有圖像采集單元231、圖像縮 小單元232、圖像提取單元233、 HOG計(jì)算單元234、人物確定單元 235、確定結(jié)果輸出單元236和人物檢測字典存儲(chǔ)單元300。
圖像采集單元231經(jīng)存儲(chǔ)器接口 240獲得保存在存儲(chǔ)器單元130 中的成像圖像，并把荻得的成像圖像輸出給圖像縮小單元232。
圖像縮小單元232通過按預(yù)定的比例，順序地縮小從圖像采集單 元231輸出的成像圖像，產(chǎn)生不同大小的多個(gè)圖《象，并順序地把每個(gè) 產(chǎn)生的圖像輸出給圖像提取單元233。注意，后面將參考圖13詳細(xì)說 明此處的成像圖像的縮小。
圖像提取單元233對(duì)從圖像縮小單元232輸出的每個(gè)圖像，順序 地提取包括在預(yù)定區(qū)域中的圖像，并把提取的圖像(確定目標(biāo)圖像)輸 出給HOG計(jì)算單元234。注意，后面將參考圖12和13，詳細(xì)說明此 處的圖像的提取。
人物檢測字典存儲(chǔ)單元300保存人物檢測字典以對(duì)從圖像提取 單元233輸出的圖像進(jìn)行人物檢測處理。例如，人物檢測處理進(jìn)行 HOG計(jì)算單元234的梯度方向直方圖(HOG:有向梯度的直方圖)的 計(jì)算處理，和人物確定單元235的人物確定處理。保存的人物檢測字 典隨后被提供給HOG計(jì)算單元234和人物確定單元235。注意后面 將參考圖11詳細(xì)說明人物檢測字典。人物檢測字典存儲(chǔ)單元300是 在發(fā)明內(nèi)容中提及的確定信息存儲(chǔ)單元的一個(gè)例子。
HOG計(jì)算單元234利用從圖像提取單元233輸出的確定目標(biāo)圖 像中的亮度值來計(jì)算多個(gè)區(qū)域的HOG，并把計(jì)算的HOG輸出給人物 確定單元235。注意根據(jù)保存在人物檢測字典存儲(chǔ)單元300中的人物 檢測字典的位置信息識(shí)別將充當(dāng)HOG計(jì)算單元234的HOG計(jì)算目 標(biāo)的確定目標(biāo)圖像的每個(gè)區(qū)域。注意后面將參考圖4A至10B詳細(xì)說
13明HOG。另夕卜，后面將參考圖14和15詳細(xì)說明確定目標(biāo)圖像的HOG 的計(jì)算。HOG計(jì)算單元234是在發(fā)明內(nèi)容中提及的計(jì)算單元的一個(gè) 例子。
人物確定單元235進(jìn)行人物確定處理，以確定人物是否包括在從 圖像提取單元233輸出的確定目標(biāo)圖像中。確定結(jié)構(gòu)隨后被輸出給確 定結(jié)果輸出單元236。作為此處所述確定的結(jié)果，輸出成像圖像中被 檢人物的位置和大小，和表示其中所述人物的程度的分?jǐn)?shù)。具體地說， 人物確定單元235通過利用保存在人物檢測字典存儲(chǔ)單元300中的人 物檢測字典，比較從HOG計(jì)算單元234輸出的多個(gè)HOG,進(jìn)行人物 確定處理。后面將參考圖14至圖16詳細(xì)說明人物確定單元235的人 物確定處理。人物確定單元235是在發(fā)明內(nèi)容中提及的確定單元的一 個(gè)例子。
在從人物確定單元235輸出確定人物包括在從圖像提取單元233 輸出的確定目標(biāo)圖像中的確定結(jié)果的情況下，確定結(jié)果輸出單元236 把表示大意是從成像圖像中檢測到人物的信息的人物檢測信息輸出 給順序控制單元210。例如，人物檢測信息包括成像圖像中被檢人物 的位置和大小，以及表示其中該人物的程度的分?jǐn)?shù)。
下面，參考附圖詳細(xì)說明在按照本發(fā)明的實(shí)施例的人物檢測處理 中使用的梯度方向直方圖(HOG)?，F(xiàn)在，HOG是一種直方圖(頻率分 布)，例如可以是把確定目標(biāo)圖像分成多個(gè)區(qū)域，計(jì)算每個(gè)區(qū)域中的亮 度的梯度強(qiáng)度和梯度角(梯度方向)，并根據(jù)其中的值對(duì)每個(gè)區(qū)域進(jìn)行 計(jì)算的直方圖。按照本發(fā)明的一個(gè)實(shí)施例，將"^兌明其中通過把為確定 目標(biāo)圖像的識(shí)別區(qū)域而計(jì)算的HOG用作確定目標(biāo)圖像的特征量，進(jìn) 行人物檢測處理的例子。
圖4A和4B是按照本發(fā)明的一個(gè)實(shí)施例，示意表示充當(dāng)人物確 定單元235的人物確定處理的目標(biāo)的圖像的示圖。圖4A表示充當(dāng)人 物確定單元235的人物確定處理的目標(biāo)的確定目標(biāo)圖像800，并且圖 4B表示區(qū)域810，區(qū)域810是確定目標(biāo)圖像800的一部分的區(qū)域。注 意在圖4A中，被分成200個(gè)區(qū)域的確定目標(biāo)圖像800中的每個(gè)區(qū)域被表示成矩形，在圖4B中，包括在區(qū)域810中的每個(gè)像素被表示成 矩形。另外，確定目標(biāo)圖像800是由例如50像素xl00像素構(gòu)成的圖 像，確定目標(biāo)圖像800中的每個(gè)區(qū)域是由例如5像素x5像素構(gòu)成的區(qū) 域，如圖4B中所示。
圖5A至5C是按照本發(fā)明的一個(gè)實(shí)施例，簡要地示出了在HOG 計(jì)算單元234的HOG計(jì)算的情況中使用的像素的示圖。圖5A表示 包括在圖4B中所示的區(qū)域810中的像素1-25，和在區(qū)域810的周圍 的像素26-49。圖5B表示包括在圖5A中所示的各個(gè)像素的區(qū)域811 中的9個(gè)像素。圖5C用向量簡要地示出了關(guān)于圖5B中所示的像素1 計(jì)算的亮度的梯度角和梯度強(qiáng)度?，F(xiàn)在，為了計(jì)算區(qū)域810的HOG, 將示例性地說明其中關(guān)于區(qū)域810的左上角的4象素1來計(jì)算亮度的梯 度角和梯度強(qiáng)度的情況。亮度的梯度角是表示例如目標(biāo)像素的亮度的 梯度角的值，亮度的梯度強(qiáng)度是指示例如目標(biāo)像素的亮度的梯度強(qiáng)度 的值。下面將詳細(xì)說明這些值。
在關(guān)于像素1計(jì)算亮度的梯度角和梯度強(qiáng)度的情況下，在像素1 的水平方向(x方向)和垂直方向(y方向)上相鄰的四個(gè)^^素(虛線812內(nèi) 的像素2、 6、 27和49)，例如，如圖5B中所示。首先，提取與像素 1相鄰的四個(gè)像素(像素2、 6、 27和49)的亮度分量(Y分量)。例如， 在像素1的坐標(biāo)為Z(x，y)的情況下，像素2的亮度分量為P(x+l，y)， 像素6的亮度分量為P(x，y+1)，像素27的亮度分量為P(x，y-l)，以及 像素49的亮度分量為P(x-l，y)。這種情況下，例如，利用表達(dá)式l計(jì) 算像素1中的亮度的梯度角e(x，y)。另外，利用表達(dá)式2計(jì)算像素1 中的亮度的梯度強(qiáng)度I(x，y)。
W，力 〔P^1，力一P(^，力〗 表達(dá)式i
/(x，力=/( P(:c+1,力-P (義一1，力)2+ ( P(x,少+ 1) - P(x，;;一l))2
表達(dá)式2
從而利用與像素1相鄰的四個(gè)像素(像素2、 6、 27和49)的亮度 分量的差值，計(jì)算與像素1相關(guān)的亮度的梯度角e(x，y)和亮度的梯度
15強(qiáng)度I(x，y)。亮度的梯度不必考慮方向，因?yàn)榱炼鹊奶荻冉莈(x，y)具有 0~180°的范圍。通過利用這樣計(jì)算的亮度的梯度角e(x，y)和亮度的梯 度強(qiáng)度I(x，y)，能夠創(chuàng)建表示與像素l相關(guān)的亮度的梯度的向量813， 如圖5C中所示。例如，能夠創(chuàng)建向量813，其中亮度的梯度角e(x，y) 是關(guān)于水平方向(x軸)的角度，亮度的梯度強(qiáng)度I(x，y)是大小。圖5C 表示在指示像素1的矩形的中心附近為起點(diǎn)的向量813。另外，對(duì)于 包括在區(qū)域810中的像素2至25，能夠類似地計(jì)算亮度的梯度角e(x，y) 和亮度的梯度強(qiáng)度I(x，y)。
注意對(duì)于存在于確定目標(biāo)圖像的邊緣部分的每個(gè)像素，不計(jì)算亮 度的梯度角e(x，y)和亮度的梯度強(qiáng)度I(x，y),從而不進(jìn)行這些計(jì)算。例 如，在圖4A中所示的區(qū)域801-804中，矩形的兩個(gè)側(cè)邊適用于確定 目標(biāo)圖像800的邊緣部分。于是，對(duì)于與所述兩個(gè)側(cè)邊接觸的每個(gè)像 素，不進(jìn)行亮度的梯度角和亮度的梯度強(qiáng)度的計(jì)算。另外，對(duì)存在于 區(qū)域801和802之間的每個(gè)區(qū)域、存在于區(qū)域802和803之間的每個(gè) 區(qū)域、存在于區(qū)域803和804之間的每個(gè)區(qū)域和存在于區(qū)域804和801 之間的每個(gè)區(qū)域，矩形的一個(gè)側(cè)邊適用于確定目標(biāo)圖像800本身的邊 緣部分。于是，對(duì)于與其一個(gè)側(cè)邊接觸的每個(gè)^^素，不進(jìn)行亮度的梯 度角和亮度的梯度強(qiáng)度的計(jì)算。
注意說明了其中利用在水平方向和垂直方向上與作為亮度的梯 度角和梯度強(qiáng)度的計(jì)算目標(biāo)的像素(目標(biāo)像素)相鄰的四個(gè)像素，計(jì)算 亮度的梯度角和梯度強(qiáng)度的例子。不過，例如，可利用在目標(biāo)像素的 水平方向和垂直方向上相隔一個(gè)像素的四個(gè)^^素來計(jì)算亮度的梯度 角和梯度強(qiáng)度。另外，例如，可利用在水平方向和垂直方向上存在于 目標(biāo)像素附近的另外四個(gè)像素來計(jì)算亮度的梯度角和梯度強(qiáng)度。
圖6A至6C是按照本發(fā)明的一個(gè)實(shí)施例，簡要地示出了利用由 HOG計(jì)算單元234計(jì)算的亮度梯度角和亮度梯度強(qiáng)度表述的向量、 直方圖和邊緣強(qiáng)度分布的示圖。
圖6A表示與關(guān)于包括在圖4A中所示的區(qū)域810中的每個(gè)像素 1-25計(jì)算的亮度的梯度角e(x，y)和亮度的梯度強(qiáng)度I(x，y)對(duì)應(yīng)的向量。和圖5C中的例子相似，圖6A中所示的例子表示以指示每個(gè)像素1-25 的矩形的中心附近作為起點(diǎn)的向量以亮度的梯度角e(x，y)作為對(duì)應(yīng)于 水平方向(x軸)的角度，以亮度的梯度強(qiáng)度I(x，y)作為其大小。借助其 中的向量，能夠直觀地容易理解區(qū)域810的亮度的梯度角和梯度強(qiáng)度。
圖6B表示根據(jù)關(guān)于包括在圖4A中所示的區(qū)域810中的每個(gè)像 素1-25計(jì)算的亮度的梯度角e(x，y)和亮度的梯度強(qiáng)度I(x，y)創(chuàng)建的直 方圖。圖6B中所示的直方圖是HOG，其中水平軸是表示亮度的梯度 角的軸，垂直軸是指示亮度的梯度強(qiáng)度的頻率的軸。
在該例子中，對(duì)于亮度的梯度角的范圍(在0-180。之間的區(qū)段)定 義8個(gè)區(qū)段的角度區(qū)， 一個(gè)區(qū)段的范圍為22.5°。隨后，用關(guān)于已計(jì) 算的亮度梯度角e(x，y)的亮度梯度強(qiáng)度I(x，y)創(chuàng)建直方圖。即，計(jì)算的 亮度的梯度角e(x，y)被量化成8種級(jí)別的區(qū)段是水平軸，相對(duì)于所述 量化的亮度梯度角e(x，y)的亮度梯度強(qiáng)度I(x，y)的總值是垂直軸，從而 計(jì)算直方圖(頻率分布)。從而創(chuàng)建圖6B中所示的直方圖。即，在計(jì)算 區(qū)域810的直方圖的情況下，例如，計(jì)算是按照從區(qū)域810中左上角 的像素1到像素25的光柵順序進(jìn)行的。
圖6C表示層疊在圖4B中所示的區(qū)域810上的與圖6B中所示直 方圖對(duì)應(yīng)的邊緣強(qiáng)度分布的線段821-828。這里，線段821-828相對(duì) 水平方向的角度對(duì)應(yīng)于圖6B中所示的直方圖的級(jí)別，線段821-828 的粗細(xì)(heaviness)對(duì)應(yīng)于圖6B中所示的直方圖的頻率。即，具有更大 的亮度梯度(輪廓分量)的部分具有更粗的線段。從而，能夠用線段 821-828表示與圖6B中所示的直方圖對(duì)應(yīng)的邊緣強(qiáng)度分布。另外，能 夠容易地了解作為直方圖的計(jì)算目標(biāo)的區(qū)域810的邊緣強(qiáng)度分布。另 外，通過對(duì)確定目標(biāo)圖像的每個(gè)區(qū)域表示與線段821-828類似的線段， 能夠容易地了解整個(gè)確定目標(biāo)圖像的邊緣強(qiáng)度分布。從而，能夠了解 包括在確定目標(biāo)圖像中的對(duì)象的輪廓。下面將參考附圖詳細(xì)說明表示 整個(gè)確定目標(biāo)圖像的邊緣強(qiáng)度分布的線段。
圖7A-7C是示意表示包括人物的確定目標(biāo)圖像830和表示對(duì)確 定目標(biāo)圖像830創(chuàng)建的邊緣強(qiáng)度分布的多個(gè)線段中的一部分的示圖。
17圖7A表示包括人物831的目標(biāo)圖像830，僅僅繪出了輪廓并且被簡 化。圖7B表示其中表示為確定目標(biāo)圖像830創(chuàng)建的邊緣強(qiáng)度分布的 多個(gè)線段(箭頭)的一部分被疊加在確定目標(biāo)圖像830上的情況。圖7C 示出了表示圖7B中所示的邊緣強(qiáng)度分布的線段。
為包括人物831的確定目標(biāo)圖像830的每個(gè)區(qū)域計(jì)算HOG，并 且示出了表示與其中HOG對(duì)應(yīng)的邊緣強(qiáng)度分布的線段，從而能夠顯 露出人物831的輪廓，如圖7B和7C中所示。
圖8A-8C是表示包括人物的圖像840、圖像840的縮小圖像841 和示出為縮小圖像841創(chuàng)建的邊緣強(qiáng)度分布的線段的示圖。圖8A表 示包括人物的圖像840，圖8B表示對(duì)將成為人物檢測處理的目標(biāo)的 圖像840進(jìn)行縮小處理的縮小圖像841(例如，分辨率轉(zhuǎn)換到50像素 xlOO像素)。圖8C表示圖像842，其中繪出了表示關(guān)于縮小圖像841 創(chuàng)建的邊緣強(qiáng)度分布的多個(gè)線段。如圖8C中所示，具有更大的亮度 梯度(輪廓分量)的部分具有顏色更深的線段。從而，計(jì)算縮小圖像841 中的每個(gè)區(qū)域的HOG，表示與其HOG對(duì)應(yīng)的邊緣強(qiáng)度分布的線段被 顯示，從而能夠顯露出包括在圖像840中的人物的輪廓。
圖9A-9C是表示包括不同于人物的對(duì)象的圖像850、圖像850 的縮小圖像851和為縮小圖像851創(chuàng)建的表示邊緣強(qiáng)度分布的線段的 示圖。圖9A表示包括不同于人物的對(duì)象(摩托車的一部分)的圖像850， 圖9B表示對(duì)圖像850進(jìn)行縮小處理，從而成為人物檢測處理的目標(biāo) 的縮小圖像851(例如，分辨率轉(zhuǎn)換到50像素xl00像素)。注意是在一 部分的文本等被省略的情況表示圖像850的。圖9C示出了圖像852， 其中繪出了表示關(guān)于縮小圖像851創(chuàng)建的邊緣強(qiáng)度分布的多個(gè)線段。 如圖9C中所示，具有更大的亮度梯度(輪廓分量)的部分具有顏色更深 的線段。從而，計(jì)算縮小圖像851中的每個(gè)區(qū)域的HOG，表示與其 HOG對(duì)應(yīng)的邊緣強(qiáng)度分布的線段被表示出來，從而能夠顯露出包括 在圖像850中的對(duì)象的輪廓。不過，包括在圖像850的對(duì)象是不同于 人物的對(duì)象，因此將不顯露出人物的輪廓。
圖10A和10B是示出表示圖8A至圖9C中所示的邊緣強(qiáng)度分布的線段的示圖。圖IOA示出了圖8C中所示的圖像842，圖10B示出 了圖9C中所示的圖像852。注意所示圖像842和852省略了一部分 線段。如圖10A和10B中所示，當(dāng)把從其中包括人物的圖像創(chuàng)建的表 示邊緣強(qiáng)度分布的多個(gè)線段與從其中包括不同于人物的對(duì)象的圖像 創(chuàng)建的表示邊緣強(qiáng)度分布的多個(gè)線段進(jìn)行比較時(shí)，能夠了解人物獨(dú)有 的圖案。從而，通過收集大量的包括人物的圖像和不包括人物的圖像， 并通過學(xué)習(xí)人物獨(dú)有的圖案，能夠創(chuàng)建用于人物檢測處理的人物檢測字典。
圖11是按照本發(fā)明的一個(gè)實(shí)施例，表示保存在人物檢測字典存 儲(chǔ)單元300中的人物檢測字典310的概要示圖。人物檢測字典310是 計(jì)算由圖像提取單元233提取的確定目標(biāo)圖像的識(shí)別區(qū)域的HOG的 確定信息，并且用于利用此處的HOG進(jìn)行人物確定處理。注意下面 將用把站立人物的身體檢測為人物的例子，說明本發(fā)明的實(shí)施例。
人物檢測字典310中保存有位置1 (xl，yl) 311、級(jí)別1 (Rl) 312、 位置2 (x2，y2) 313、級(jí)別2 (R2) 314、閾值(th) 315和加權(quán)(a) 316的t 組組合。另外，人物檢測字典310是為了檢測站立人物的身體的確定 信息。
確定目標(biāo)圖像上充當(dāng)HOG計(jì)算目標(biāo)的區(qū)域的位置被保存在位置 1 (xl，yl) 311中。例如，在圖像提取單元233提取的確定目標(biāo)圖像是 xy坐標(biāo)(平面坐標(biāo))的情況下的坐標(biāo)(x，y)被保存在位置1 (xl，yl) 311。 例如，在圖4A中所示的確定目標(biāo)圖像800中的區(qū)域810的位置被保 存在位置1 (xl，yl) 311的情況下，位于區(qū)域810(示于圖4B中)的左上 角的像素1的坐標(biāo)(x，y)被保存。
在關(guān)于位置被保存在位置1 (xl，yl)311中的區(qū)域計(jì)算的HOG級(jí) 別中，用于人物檢測處理的級(jí)別被保存在級(jí)別1 (Rl) 312中。例如， 在類似于圖6B，關(guān)于由保存在位置1(xl，yl)311中的位置識(shí)別的區(qū)域 計(jì)算的HOG級(jí)別是8種級(jí)別的情況下，某一級(jí)別的值(例如，0-7的 值)被保存在級(jí)別1 (Rl) 312中。
確定目標(biāo)圖像中充當(dāng)HOG計(jì)算目標(biāo)的區(qū)域的位置被保存在位置2 (x2，y2) 313中。注意，保存在位置2 (x2，y2) 313中的內(nèi)容與位置1 (xl，yl)311類似，從而這里省略對(duì)其的描述。不過，我們假定由保存 在相同記錄中的位置2 (x2，y2) 313中的位置識(shí)別的區(qū)域是與由保存在 位置1(xl，yl)311中的位置識(shí)別的區(qū)域不同的區(qū)域。
在關(guān)于位置被保存在位置2 (x2，y2) 313中的區(qū)域計(jì)算的HOG級(jí) 別中，用于人物檢測處理的級(jí)別被保存在級(jí)別2 (R2) 314中。注意， 保存在級(jí)別2 (R2)314中的內(nèi)容與級(jí)別1(Rl)312相似，從而這里省 略對(duì)其的描述。不過，可能存在其中保存在相同記錄中的級(jí)別2(R2) 314中的級(jí)別與保存在級(jí)別1 (Rl) 312中的級(jí)別相同的情況，和可能 存在其中所述級(jí)別不同的情況。
和與保存在級(jí)別1 (Rl)312中的級(jí)別對(duì)應(yīng)的值同與保存在級(jí)別2 (R2) 314中的級(jí)別對(duì)應(yīng)的值之間的差值相關(guān)的閾值^/f呆存在閾值(th) 315中。即，保存在關(guān)于由保存在位置1 (xl，yl) 311中的位置所識(shí)別 的區(qū)域來計(jì)算的HOG中的級(jí)別1 (Rl) 312中的級(jí)別的值被提取。另 外，保存在關(guān)于由保存在位置2(x2，y2)313中的位置所識(shí)別的區(qū)域來 計(jì)算的HOG中的級(jí)別2 (R2) 中的級(jí)別的值被提取。保存在閾值 (th)315中的閾值被用作與此處兩個(gè)提取值的差值相關(guān)的闊值。
用于計(jì)算供進(jìn)行人物檢測處理之用的分?jǐn)?shù)的加權(quán)被保存在加權(quán) (a)316中。所述分?jǐn)?shù)是表述人物的程度的評(píng)估值。注意后面將參考圖 14-1詳細(xì)說明利用所述值進(jìn)行的表示人物的程度的分?jǐn)?shù)計(jì)算。注意與 人物檢測字典310的相同記錄相關(guān)的每個(gè)值是在發(fā)明內(nèi)容中提及的確 定信息的一個(gè)例子。
另外，此處所述每個(gè)值是利用由諸如AdaBoost之類的機(jī)械學(xué)習(xí) 算法學(xué)習(xí)的那些組合中的500種最有效組合設(shè)定的。例如，包括站立 人物的身體的圖像和不包括站立人物的身體的圖像被用作學(xué)習(xí)目標(biāo) 的圖像。另外，用于確定處理的人物檢測字典是在決定確定目標(biāo)圖像 是否包括人物的情況下，只保持與確定標(biāo)準(zhǔn)相關(guān)的數(shù)據(jù)，而不保持圖 像本身的確定信息。于是，能夠減小存儲(chǔ)容量，同時(shí)快速進(jìn)行確定處 理。注意SVM(支持向量機(jī))或者Real AdaBoost等可被用作機(jī)械學(xué)習(xí)
20算法。
下面，參考附圖詳細(xì)說明檢測人物的人物檢測方法。
圖12和13是按照本發(fā)明的一個(gè)實(shí)施例，簡要地示出了提取圖像 (確定目標(biāo)圖像)的圖像提取方法的示圖，所述圖像將充當(dāng)人物確定單 元235的人物確定處理的目標(biāo)。在圖12中，(a)示出了經(jīng)歷圖像縮小 單元232的縮小處理的圖像400， (b)簡要地示出了在從圖像400提取 確定目標(biāo)圖像的情況下的圖像提取方法。注意，確定目標(biāo)圖像的提取 由圖像提取單元233進(jìn)行。
圖12中的(a)中所示的圖像400是其中站在地上的人物是其被攝 體的成像圖像。在從圖像400中提取確定目標(biāo)圖像的情況下，如圖12 中的(b)中所示，提取框401被置于圖像400的左上角，包括在提取框 401中的圖像被提取。隨后，提取框向右側(cè)方向(箭頭411-416表示的 方向)被移動(dòng)一個(gè)像素，包括在提取框中內(nèi)的圖像被提取。類似地，提 取框每次沿右側(cè)方向被順序移動(dòng)一個(gè)像素，并順序提取包括在提取框 中的圖像。當(dāng)提取框被移動(dòng)到充當(dāng)圖像400的右邊緣的提取框402的 位置并且包括在提取框402中的圖像被提取時(shí)，提取框被向下移動(dòng)一 個(gè)像素，并移動(dòng)到圖像400的左側(cè)邊緣。接下來，當(dāng)包括在移動(dòng)到邊 緣400的左側(cè)邊緣之后的提取框中的圖像被提取時(shí)，提取框每次沿右 側(cè)方向被順序移動(dòng)一個(gè)像素，并且包括在提取框中的圖像被順序提 取。之后，類似地順序提取包括在提取框中的圖像。當(dāng)提取框被移動(dòng) 到充當(dāng)圖像400的右邊緣和下邊緣的提取框404的位置并且包括在提 取框404中的圖像被提取時(shí)，結(jié)束從圖像400提取確定目標(biāo)圖像的處 理。
圖13表示經(jīng)歷圖像縮小單元232的順序縮小處理的圖像 421-423。另外，在位于(a)-(c)的左側(cè)的圖像421-423中，示出了提取 框430的第一放置位置，在位于(a)-(c)的右側(cè)的圖像421-423中，示 出了提取框430的最終放置位置?，F(xiàn)在，提取框430從第一放置位置 到最終放置位置的移動(dòng)與在圖12中的(b)中所示的移動(dòng)類似。另外， 提取框430的大小恒定，與充當(dāng)提取目標(biāo)的圖像的大小無關(guān)。進(jìn)行圖像提取處理，直到經(jīng)歷圖像縮小單元232的縮小處理的圖像的大小小 于提取框430為止。注意，例如，充當(dāng)縮小處理目標(biāo)的源圖像是320 像素x240像素的圖像。另外，例如，圖像縮小單元232進(jìn)行的縮小處 理可以是把前一圖像縮小0.83倍的縮小處理。
下面，參考附圖詳細(xì)說明利用人物檢測字典，對(duì)于確定目標(biāo)圖像 進(jìn)行確定處理的例子。
圖14和15是表示按照本發(fā)明的實(shí)施例的確定目標(biāo)圖像，和用于 確定處理的直方圖(HOG)的示圖。在圖14中，(a)示出了由圖像提取 單元233提取的確定目標(biāo)圖像450，圖14中的(b)和(c)示出了用于確 定處理的兩個(gè)HOG。另外，圖15表示使用在(b)和(c)中所示的兩個(gè) HOG的計(jì)算方法的模型。本例中，將說明利用確定目標(biāo)圖像450的 確定目標(biāo)字典310(示于圖11中)進(jìn)行確定處理的情況，如圖14中的(a) 中所示，以確定目標(biāo)圖像450的左上角作為原點(diǎn)，水平方向作為x軸， 垂直方向作為y軸。
在圖14中的(a)中所示的確定目標(biāo)圖像450是由圖像提取單元 233從源于成像單元112產(chǎn)生的成像圖像，并經(jīng)歷圖像縮小單元232 的縮小處理的圖像中提取的圖像。我們假定作為圖像縮小單元232的 縮小處理的目標(biāo)的源圖像是例如320像素x240像素的圖像，確定目標(biāo) 圖像450是例如50像素xl00像素的圖像，與圖4A和4B中所示的確 定目標(biāo)圖像800類似。
首先，HOG計(jì)算單元234識(shí)別用于確定的兩個(gè)區(qū)域(區(qū)域El(i) 和區(qū)域E2(i))。所述兩個(gè)區(qū)域由保存在人物檢測字典310的位置1 (xl，yl)和位置2(x2，y2)中的位置識(shí)別。例如，區(qū)域El(i)被識(shí)別，以致 在區(qū)域El(i)中的矩形的左上角的像素位于保存在人物檢測字典310 的位置l(xl，yl)中的坐標(biāo)點(diǎn)的位置。另外，類似地，區(qū)域E2(i)由保存 在人物檢測字典310的位置2(x2，y2)中的位置識(shí)別?，F(xiàn)在，i是表示人 物檢測字典310中的每條記錄的值，從而lSi^t。
隨后，HOG計(jì)算單元234關(guān)于在確定目標(biāo)圖像450中識(shí)別的每 個(gè)區(qū)域El(i)和區(qū)域E2(i)計(jì)算HOG。這里的HOG計(jì)算方法與圖4A-6C
22中所示的方法類似，因此這里省略對(duì)其的說明。
隨后，人物確定單元235從關(guān)于區(qū)域El(i)計(jì)算的HOG級(jí)別中 提取與保存在人物檢測字典310的級(jí)別l(Rl) 312中的級(jí)別Rl(i)的值 對(duì)應(yīng)的級(jí)別的值A(chǔ)(i)。另外，人物確定單元235從關(guān)于區(qū)域E2(i)計(jì)算 的HOG級(jí)別中提取與保存在人物檢測字典310的級(jí)別2(R2) 314中 的級(jí)別R2(i)的值對(duì)應(yīng)的級(jí)別的值B(i)。接下來，人物確定單元235 計(jì)算這兩個(gè)提取值之間的差值D(i)。差值D(i)=A(i)-B(i)。
隨后，人物確定單元235把保存在人物檢測字典310的閾值(th) 315中的閾值th(i)與差值D(i)進(jìn)行比較。接下來，按照閾值是否小于 差值D(i)，人物確定單元235計(jì)算弱學(xué)習(xí)機(jī)(Weak Learner) h(i)。 具體地說，利用下述表達(dá)式計(jì)算弱學(xué)習(xí)機(jī)h(i)。
如果差值D(i):H萄值th(i)，那么弱學(xué)習(xí)機(jī)h(i)-l 如果差值D(i)S閾值th(i)，那么弱學(xué)習(xí)機(jī)h(i)-O 隨后，人物確定單元235通過把計(jì)算的弱學(xué)習(xí)機(jī)h(i)和保存在加 權(quán)(a) 316中的值a(i)相乘，計(jì)算h(i)a(i)。人物確定單元235從人物檢 測字典310的第一行到第t行反復(fù)進(jìn)行該計(jì)算處理，并且計(jì)算h(i)a(i) 的總值作為分?jǐn)?shù)S。具體地說，利用表達(dá)式3計(jì)算分?jǐn)?shù)S(最終假定)。 這里的分?jǐn)?shù)S是在發(fā)明內(nèi)容中提及的評(píng)估值的例子。<formula>formula see original document page 23</formula> 隨后，人物確定單元235根據(jù)依據(jù)表達(dá)式3計(jì)算的分?jǐn)?shù)S，確定 人物是否包括在確定目標(biāo)圖像450中。具體地說，在分?jǐn)?shù)S滿足表達(dá) 式4的情況下，確定人物包括在確定目標(biāo)圖像450中。另一方面，在 分?jǐn)?shù)S不滿足表達(dá)式4的情況下，確定人物未包括在確定目標(biāo)圖像450 中。注意表達(dá)式4右側(cè)的值可被保存在人物檢測字典M0中，或者可 借助每個(gè)人物檢測處理進(jìn)行計(jì)算得到。另外，可通過利用增益系數(shù)等調(diào)整差值D(i)。例如，在增益系數(shù)為K的情況下，差值D(i)可被調(diào)整為K.D(i)。另外，在本例中，作為利用人物檢測字典310的確定，說明了根據(jù)分?jǐn)?shù)S的值是否滿足表達(dá)式4做出確定的確定例子，不過可利用除表達(dá)式4右側(cè)的值之外的值進(jìn)行確定。即，能夠酌情調(diào)整與分?jǐn)?shù)S比較的值。
下面，說明具體的計(jì)算方法。在圖14中的(a)中，我們假定分別根據(jù)在人物檢測字典310的第一行中保存的位置l(xl，yl)和位置2(x2，y2)的值識(shí)別的區(qū)域?yàn)閰^(qū)域461和462。另外我們假定分別根據(jù)在人物檢測字典310的第二行中保存的位置l(xl，yl)和位置2(x2，y2)的值識(shí)別的區(qū)域?yàn)閰^(qū)域463和464。另外我們還假定分別根據(jù)在人物檢測字典310的第三行中保存的位置l(xl，yl)和位置2(x2，y2)的值識(shí)別的區(qū)域?yàn)閰^(qū)域465和466。
首先，進(jìn)行確定的分?jǐn)?shù)S的值被設(shè)為0，進(jìn)行利用保存在人物檢測字典310的第一行中的每個(gè)值的計(jì)算。具體地說，根據(jù)人物檢測字典310的第一行的位置l(xl，yl) 311和位置2(x2，y2) 313識(shí)別兩個(gè)區(qū)域461和462。隨后，關(guān)于這兩個(gè)區(qū)域461和462分別計(jì)算HOG。例如，關(guān)于區(qū)域461計(jì)算出在圖14中的(b)中所示的HOG，關(guān)于區(qū)域462計(jì)算出在圖14中的(c)中所示的HOG。注意在圖14中的(b)中所示的HOG和在圖15中的(a)中所示的HOG相同，在圖14中的(c)中所示的HOG和在圖15中的(b)中所示的HOG相同。
隨后，從關(guān)于區(qū)域461計(jì)算的HOG的各個(gè)級(jí)別中提取與保存在人物檢測字典310的第一行中的級(jí)別l(Rl) 312的值對(duì)應(yīng)的級(jí)別值。另外，從關(guān)于區(qū)域462計(jì)算的HOG的各個(gè)級(jí)別中提取與保存在人物檢測字典310的第一行中的級(jí)別2(R2)314的值對(duì)應(yīng)的級(jí)別值。例如，從在圖15中的(a)中所示的HOG(區(qū)域461)提取級(jí)別l(陰影所示)的值。另外，例如，從在圖15中的(b)中所示的HOG(區(qū)域"q提取級(jí)別5(陰影所示)的值。這里，我們假定從關(guān)于區(qū)域461計(jì)算的HOG中提取的值為A(l)，從關(guān)于區(qū)域462計(jì)算的HOG中提取的值為B(l)。利用下面的表達(dá)式，計(jì)算差值D(l)。D(1)=A(1)-B(1)
例如，如圖15中的(c)中所示，計(jì)算差值D(l)。注意如圖15中的(a)和(b)中所示，與保存在人物檢測字典310中的級(jí)別1(R1)312或級(jí)別2(R2) 314的值對(duì)應(yīng)的級(jí)別的值不一定是最大值。
隨后，比較計(jì)算的差值D(l)和保存在人物檢測字典310的第一行中的閾值(th)315的閾值th(l)。按照差值D(l)是否小于閾值th(l)，計(jì)算弱學(xué)習(xí)機(jī)h(l)。注意，弱學(xué)習(xí)機(jī)h(l)是利用上述表達(dá)式計(jì)算的。
隨后，通過使計(jì)算的弱學(xué)習(xí)機(jī)h(l)與保存在人物檢測字典310的第 一行中的加權(quán)(a)316的值a(l)相乘，計(jì)算h(l)a(l)。計(jì)算的h(l)a(l)被加入到分?jǐn)?shù)S中。
隨后，利用保存在人物檢測字典310的笫二行中的每個(gè)值，重復(fù)上述計(jì)算。具體地說，關(guān)于由人物檢測字典310的第二行的位置l(xl，yl) 311和位置2(x2，y2) 313識(shí)別的區(qū)域463和464的每一個(gè)，計(jì)算HOG。隨后，從關(guān)于區(qū)域463計(jì)算的HOG的各個(gè)級(jí)別中提取與保存在人物檢測字典310的第二行中的級(jí)別l(Rl) 312的值對(duì)應(yīng)的級(jí)別值A(chǔ)(2)。另外，從關(guān)于區(qū)域464計(jì)算的HOG的各個(gè)級(jí)別中提取與保存在人物檢測字典310的第二行中的級(jí)別2(R2) 314的值對(duì)應(yīng)的級(jí)別值B(2)。隨后利用下述表達(dá)式計(jì)算差值D(2)。
D(2)=A(2)-B(2)
隨后，比較計(jì)算的差值D(2)和保存在人物檢測字典310的第二行中的閾值(th)315的閾值th(2)。按照差值D(2)是否小于閾值th(2)，計(jì)算弱學(xué)習(xí)機(jī)h(2)。
隨后，通過把所計(jì)算的弱學(xué)習(xí)機(jī)h(2)與保存在人物檢測字典310的第二行中的加權(quán)(a)316的值a(2)相乘，計(jì)算h(2)a(2)。計(jì)算的h(2)a(2)被加入到分?jǐn)?shù)S中。
隨后，對(duì)于人物檢測字典310的第三行和之后各行，順序利用一直保存到第t行的值，重復(fù)上面的計(jì)算。當(dāng)使用保存在人物檢測字典310的第t行中的每個(gè)值的計(jì)算結(jié)束時(shí)，確定分?jǐn)?shù)S的值是否滿足表達(dá)式4。例如，我們?cè)O(shè)想學(xué)習(xí)的情況，其中在利用上述機(jī)械學(xué)習(xí)算法學(xué)習(xí)的時(shí)候，人物檢測成功的學(xué)習(xí)樣本位于肯定方，人物檢測失敗時(shí)的學(xué)習(xí)樣本位于否定方。這種情況下，如果在結(jié)束利用保存在人物檢測字
典310的第一行到第t行中的每個(gè)值進(jìn)行的各個(gè)計(jì)算之后，分?jǐn)?shù)S的值滿足表達(dá)式4,那么確定人物包括在確定目標(biāo)圖像中。另一方面，如果在結(jié)束各個(gè)計(jì)算之后，分?jǐn)?shù)S的值不滿足表達(dá)式4，那么確定人物未包括在確定目標(biāo)圖像中。
圖16是表示按照本發(fā)明的一個(gè)實(shí)施例，作為人物檢測單元230的人物檢測處理的目標(biāo)的圖像400,和人物檢測單元230的人物檢測處理的檢測結(jié)果的示圖。在圖16中的(a)中所示的圖像400和在圖12中的(a)中所示的圖像400相同，并且包括人物405。在圖16中，(b)用框架406簡要地示出了在檢測到包括在圖像400中的人物405的情況下的檢測結(jié)果。框架406是表示人物檢測單元230的人物檢測處理的檢測結(jié)果的位置和大小的框架。例如，根據(jù)檢測結(jié)果，照相機(jī)參數(shù)控制單元220能夠確定被檢人物的適當(dāng)照相機(jī)參數(shù)。另外，例如，在圖像400被顯示在顯示單元170上的情況下，框架406可被疊加在圖像400上并被顯示。
下面，參考

按照本發(fā)明的實(shí)施例的成像設(shè)備100的操作。
圖17是按照本發(fā)明的一個(gè)實(shí)施例，說明成像設(shè)備100的成像圖像記錄處理的處理過程的流程圖。在本例中，將關(guān)于成像圖像記錄等待狀態(tài)說明一個(gè)例子，其中產(chǎn)生成像圖像，并對(duì)所述成像圖像進(jìn)行人物檢測處理。
首先，確定成像設(shè)備是否處于成像圖像記錄等待狀態(tài)(步驟S901)。在成像圖像記錄等待狀態(tài)的情況下(步驟S901)，成像單元112產(chǎn)生成像圖像(步驟S902),人物檢測單元230對(duì)產(chǎn)生的成像圖像進(jìn)行人物檢測處理(步驟S920)。后面將參考圖18詳細(xì)說明人物檢測處理?？蓪?duì)每一幀進(jìn)行人物檢測處理，或者可每隔恒定間隔對(duì)幀進(jìn)行人物檢測處理。另一方面，在成像設(shè)備不處于成像圖像記錄等待狀態(tài)的情況下(步驟S901)，結(jié)束成像圖像記錄處理的操作。
隨后，照相機(jī)參數(shù)控制單元220確定照相機(jī)參數(shù)(步驟S903)。例 如，在從人物檢測單元230輸出人物檢測信息的情況下，照相機(jī)參數(shù) 控制單元220根據(jù)成像圖像中被檢人物的位置和大小，確定檢測到的 人物的最佳照相機(jī)參數(shù)。隨后，確定快門按鈕是否被按下(步驟S904), 在快門按鈕被按下的情況下，產(chǎn)生的成像圖像被記錄在記錄單元150 中(步驟S905)。另一方面，在快門按鈕未被按下的情況下，結(jié)束成像 圖像記錄處理的操作。
圖18是按照本發(fā)明的一個(gè)實(shí)施例，表示成像設(shè)備100的成像圖 像記錄處理的人物檢測處理過程(圖17中所示的步驟S920的處理過程) 的流程圖。
首先，獲得保存在存儲(chǔ)器單元130中的當(dāng)前成像圖像(步驟 S921)。隨后，提取框被置于獲得的成像圖像的左上角(步驟S922)，并 且提取框內(nèi)的圖像被提取(步驟S923)。之后，利用保存在人物檢測字 典存儲(chǔ)單元300中的人物檢測字典310，對(duì)從提取框提取的圖像(確定 目標(biāo)圖像)執(zhí)行確定處理(步驟S940)。注意，后面將參考圖19詳細(xì)說 明此處所述確定處理。
隨后，判定確定目標(biāo)圖像是否小于提取框(步驟S924)。在確定目 標(biāo)圖像不小于提取框的情況下(步驟S924),確定提取框是否位于確定 目標(biāo)圖像的右邊緣(步驟S925)。在提取框不位于確定目標(biāo)圖像的右邊 緣的情況下(步驟S925),在確定目標(biāo)圖像上把提取框向右側(cè)移動(dòng)一個(gè) 像素(步驟S926)，流程返回步驟S923。另一方面，在提取框位于確定 目標(biāo)圖像的右邊緣的情況下(步驟S925),確定提取框是否位于確定目 標(biāo)圖像的下邊緣(步驟S927)。在提取框不位于確定目標(biāo)圖像的下邊緣 的情況下(步驟S927)，提取框在確定目標(biāo)圖像上被向下側(cè)移動(dòng)一個(gè)像 素(步驟S928),同時(shí)被置于確定目標(biāo)圖像的左邊緣(步驟S928)，并且 流程返回步驟S923。在提取框位于確定目標(biāo)圖像的下邊緣的情況下 (步驟S927)，那么按預(yù)定比例對(duì)確定目標(biāo)圖像進(jìn)行縮小處理(步驟 S929)，提取框被置于縮小處理后的圖像的左上角(步驟S922)。
27另一方面，如果確定目標(biāo)圖像小于提取框(步驟S924)，那么決定 是否確定人物包括在確定目標(biāo)圖像中(步驟S930)。在確定人物包括在 確定目標(biāo)圖像中的情況下(步驟S930)，作為確定結(jié)果，輸出指示大意 是已檢測到人物的信息的人物檢測信息(步驟S932)。如果確定在確定 目標(biāo)圖像中包括多個(gè)人物，那么輸出與多個(gè)人物相關(guān)的人物檢測信 息。另外，對(duì)于重疊區(qū)域，在多次確定包括人物的情況下，根據(jù)其中 在步驟S940中的確定處理中計(jì)算的分?jǐn)?shù)S為最大的提取框的位置和 大小，輸出人物檢測信息。另外，如果未確定人物包括在確定目標(biāo)圖 像中(步驟S930)，那么輸出未檢測到人物的信息，表示大意是未檢測 到人物的信息，作為確定結(jié)果(步驟S931)。
注意在本例中，說明了即使在已經(jīng)確定人物包括在確定目標(biāo)圖像 中的情況下，仍然反復(fù)進(jìn)行確定處理，直到確定目標(biāo)圖像變得小于提 取框?yàn)橹梗⒏鶕?jù)其確定結(jié)果，確定是否從當(dāng)前成像圖像中檢測到人 物的例子。不過，如果曾經(jīng)確定人物包括在確定目標(biāo)圖像中，那么可 在不對(duì)其它確定目標(biāo)圖像進(jìn)行確定處理的情況下，輸出表示大意是已 從當(dāng)前成像圖像中檢測到人物的信息的人物檢測信息。
圖19是按照本發(fā)明的一個(gè)實(shí)施例，表示成像設(shè)備100的人物檢 測處理的確定處理過程(圖18中所示的步驟S940中的處理過程)的流 程圖。
首先，分?jǐn)?shù)S^皮初始化為"0"(步驟S941)，變量i被初始化為"l"(步 驟S942)。隨后，根據(jù)保存在人物檢測字典310的第i行中的位置 l(xl，yl)的值，識(shí)別確定目標(biāo)圖像中的區(qū)域El(i)，根據(jù)位置2(x2，y2) 的值識(shí)別確定目標(biāo)圖像中的區(qū)域E2(i)。之后，分別關(guān)于識(shí)別的區(qū)域 El(i)和E2(i)計(jì)算HOG(步驟S944)。注意關(guān)于識(shí)別的區(qū)域計(jì)算的HOG 被順序保存，并且能被用于關(guān)于其它記錄的HOG計(jì)算的情況。步驟 S944是在發(fā)明內(nèi)容中提及的計(jì)算的一個(gè)例子。
隨后，從關(guān)于區(qū)域El(i)計(jì)算的HOG的各個(gè)級(jí)別中，提取與保 存在人物檢測字典310的第i行中的級(jí)別l(Rl) 312的值對(duì)應(yīng)的級(jí)別 值A(chǔ)(i)。另外，從關(guān)于區(qū)域E2(i)計(jì)算的HOG的各個(gè)級(jí)別中，提取與
28保存在人物檢測字典310的第i行中的級(jí)別2(R2) 314的值對(duì)應(yīng)的級(jí) 別值B(i)(步驟S945)。隨后，計(jì)算提取的值A(chǔ)(i)和B(i)之間的差值 D(i)(步驟S946)。
隨后，比較保存在人物檢測字典310的第i行中的閾值(th)315 的閾值th(i)和所計(jì)算的差值D(i)(步驟S947)。如果計(jì)算的差值D(i)大 于閾值th(i)(步驟S947)，那么計(jì)算弱學(xué)習(xí)機(jī)h(i)-l成立(步驟S948)。 另一方面，如果所計(jì)算的差值D(i)小于閾值th(i)(步驟S947)，那么計(jì) 算弱學(xué)習(xí)機(jī)h(i)-O成立(步驟S949)。
隨后，使保存在人物檢測字典310的笫i行中的加權(quán)(a)316的值 a(i)和所計(jì)算的弱學(xué)習(xí)機(jī)h(i)相乘，相乘獲得的值h(i)a(i)被增加到分 數(shù)S中(步驟S950)。
隨后，"l"被增加到變量i中(步驟S951)，確定變量i是否大于 t(步驟S952)。如果變量i不大于t(步驟S952),那么關(guān)于人物檢測字 典310的每一行的值的確定處理尚未結(jié)束，從而流程返回步驟S943， 并且重復(fù)確定處理(步驟S943-S951)。另一方面，如果變量i大于t(步 驟S952)，那么關(guān)于人物檢測字典310的每一行的值的確定處理已結(jié) 束，從而流程進(jìn)入步驟S953,并且確定分?jǐn)?shù)S的值是否滿足上述表達(dá) 式4(步驟S953)。
如果分?jǐn)?shù)S的值滿足上述表達(dá)式4(步驟S953)，那么判定確定目 標(biāo)圖像包括人物(步驟S954)。另一方面，如果分?jǐn)?shù)S的值不滿足上述 表達(dá)式4(步驟S953),那么判定確定目標(biāo)圖像不包括人物(步驟S955)。 注意步驟S945-S955是在發(fā)明內(nèi)容中提及的確定的例子。
在本例中，說明了順序計(jì)算與從人物檢測字典310的第一行到第 t行的每個(gè)值對(duì)應(yīng)的HOG的例子。不過，例如，可做出這樣的安排， 其中首先對(duì)確定目標(biāo)圖像中的所有區(qū)域計(jì)算和保存HOG，然后利用 保存的HOG，與從人物檢測字典310的第一行到第t行的每個(gè)值對(duì)應(yīng) 地計(jì)算分?jǐn)?shù)S。
另夕卜，在本例中，說明了在利用從人物檢測字典310的第一行到 第t行的每個(gè)值計(jì)算分?jǐn)?shù)S之后進(jìn)行確定處理的例子。不過，可做出這樣的安排，其中例如保存與人物檢測字典310的每個(gè)記錄對(duì)應(yīng)的截 止閾值，在步驟S950中獲得的分?jǐn)?shù)S低于截止閾值的情況下，中斷 確定處理。從而可使確定處理更快。
如上所述，按照本發(fā)明的一個(gè)實(shí)施例，利用人物的輪廓進(jìn)行人物 檢測，從而即使在人物的衣服等的顏色不同的情況下，也能夠恰當(dāng)?shù)?進(jìn)行人物檢測。另外，確定處理是利用關(guān)于兩個(gè)區(qū)域計(jì)算的HOG級(jí) 別的差值進(jìn)行的，從而，例如不必按照被攝體的明/暗進(jìn)行歸一化。另 外，確定目標(biāo)圖像中作為HOG計(jì)算目標(biāo)的各個(gè)區(qū)域不被層疊，從而 能夠減少諸如HOG計(jì)算之類的計(jì)算量。從而，可使人物檢測處理的 處理速度更快。另外，人物檢測是利用亮度梯度元素的差，而不是亮 度本身進(jìn)行的，從而，能夠提高人物檢測處理的精度，而與被攝體的 明/暗無關(guān)。
另外，檢測是利用人物的輪廓進(jìn)行的，從而，通過利用人物檢測 字典310，能夠恰當(dāng)?shù)貦z測面朝前站立的人物的身體和面朝后站立的 人物的身體。另外，例如，通過使用人物的側(cè)視輪廓或者面部等的側(cè) 視輪廓，能夠恰當(dāng)?shù)貦z測站立人物的身體，而與雙手的位置無關(guān)。例 如，通過利用人物檢測字典310，能夠檢測舉起雙臂站立的人物的身 體。
另外，按照本發(fā)明的一個(gè)實(shí)施例說明了其中HOG級(jí)別為8個(gè)級(jí) 別的例子，不過，HOG級(jí)別可以不同于8個(gè)級(jí)別。另外，按照本發(fā) 明的一個(gè)實(shí)施例，說明了其中經(jīng)歷HOG計(jì)算的區(qū)域是5像素x5像素， 不過，所述區(qū)域可以是4像素x4像素等等。另外，確定目標(biāo)圖像中經(jīng) 歷HOG計(jì)算的每個(gè)區(qū)域的一部分可被設(shè)置成重疊的。
另外，按照本發(fā)明的一個(gè)實(shí)施例，說明了其中利用人物檢測字典 310檢測站立人物的身體的例子，不過，可使利用檢測字典的檢測例 如分別對(duì)應(yīng)于躺著的人物和坐著的人物。所述字典是關(guān)于受到檢測的 每個(gè)人物而學(xué)習(xí)的字典。
另外，按照本發(fā)明的一個(gè)實(shí)施例，說明了其中利用人物檢測字典 310，僅僅檢測一個(gè)站立人物的身體的例子，不過，通過例如利用多
30個(gè)檢測字典，能夠檢測多個(gè)被檢對(duì)象。例如，多個(gè)檢測字典可被保存
在人物檢測字典存儲(chǔ)單元300中，通過把每個(gè)檢測字典用于每個(gè)成像 圖像，能夠進(jìn)行對(duì)象檢測處理。即，如果每個(gè)檢測字典的格式相同， 并且確定目標(biāo)圖像的分辨率相同，那么能夠交換多個(gè)檢測字典，從而 對(duì)于多個(gè)被檢對(duì)象能夠用相同的算法進(jìn)行對(duì)象檢測處理。
另夕卜，按照本發(fā)明的一個(gè)實(shí)施例，說明了其中站立人物的身體被 檢測為作為對(duì)象檢測處理的目標(biāo)的識(shí)別對(duì)象的例子，不過，本發(fā)明的 實(shí)施例適用于能夠依據(jù)輪廓識(shí)別的不同于人物的對(duì)象。例如，本發(fā)明 的實(shí)施例也適用于被檢對(duì)象是諸如哺乳動(dòng)物、爬行動(dòng)物和魚(例如寵物) 之類動(dòng)物的身體，或者車輛的車身、飛機(jī)的機(jī)身等的情況。
另外，本發(fā)明的實(shí)施例可應(yīng)用于各種成像設(shè)備，比如成像靜止圖 像或者運(yùn)動(dòng)圖像的數(shù)字?jǐn)z像機(jī)(例如，集成的照相機(jī)/錄像機(jī))和具有成 像功能的便攜式電話機(jī)。另外，例如，本發(fā)明的實(shí)施例可應(yīng)用于諸如 檢測其它車輛的車輛對(duì)象檢測裝置之類的對(duì)象檢測裝置。
另外，按照本發(fā)明的實(shí)施例描述的處理過程可被看作包括過程流 程的方法，或者可被看作執(zhí)行所述過程流程的計(jì)算機(jī)程序，和記錄所 述程序的記錄介質(zhì)。記錄介質(zhì)的例子包括CD(光盤)、MD(小型光盤)、 DVD(數(shù)字多功能光盤)、存儲(chǔ)卡和藍(lán)光光盤(注冊(cè)商標(biāo))。
本申請(qǐng)包含涉及于2008年9月12日在日本專利局提交的日本優(yōu) 先權(quán)專利申請(qǐng)JP 2008-234085 乂〉開的主題的主題內(nèi)容，該專利申請(qǐng) 的整個(gè)內(nèi)容在此引為參考。
本領(lǐng)域的技術(shù)人員應(yīng)明白，根據(jù)設(shè)計(jì)要求和其它因素，可做出各 種修改、組合、子組合和變更，只要它們?cè)谒降臋?quán)利要求或其等等 價(jià)范圍之內(nèi)。
權(quán)利要求
1、一種對(duì)象檢測裝置，包括計(jì)算單元，所述計(jì)算單元被配置成對(duì)圖像中的多個(gè)區(qū)域計(jì)算亮度的梯度強(qiáng)度和梯度方向，和對(duì)每個(gè)所述區(qū)域計(jì)算亮度梯度強(qiáng)度相對(duì)于所述計(jì)算的亮度梯度方向的頻率分布；和確定單元，所述確定單元被配置成通過比較對(duì)每個(gè)所述區(qū)域計(jì)算的多個(gè)頻率分布，確定識(shí)別對(duì)象是否包括在所述圖像中。
2、 按照權(quán)利要求1所述的對(duì)象檢測裝置，其中所述計(jì)算單元計(jì) 算在所述圖像中預(yù)先設(shè)定的第一區(qū)域和第二區(qū)域的所述頻率分布中的每個(gè)；其中所述確定單元通過比較關(guān)于所述第一區(qū)域計(jì)算的頻率分布 的多種級(jí)別中的一種預(yù)設(shè)級(jí)別的值和關(guān)于所述第二區(qū)域計(jì)算的頻率 分布的多種級(jí)別中的一種預(yù)設(shè)級(jí)別的值，確定識(shí)別對(duì)象是否包括在所 述圖像中。
3、 按照權(quán)利要求2所述的對(duì)象檢測裝置，其中所述計(jì)算單元計(jì) 算與所述第一區(qū)域相關(guān)的所述頻率分布和與所述第二區(qū)域相關(guān)的所 述頻率分布的多個(gè)組合；其中所述確定單元通過比較關(guān)于所述第一區(qū)域計(jì)算的頻率分布 的多種級(jí)別中的一種預(yù)設(shè)級(jí)別的值，和關(guān)于所述第二區(qū)域計(jì)算的頻率 分布的多種級(jí)別中的一種預(yù)設(shè)級(jí)別的值的每個(gè)所述組合，確定識(shí)別對(duì) 象是否包括在所述圖像中。
4、 按照權(quán)利要求2所述的對(duì)象檢測裝置，其中所述確定單元通 過計(jì)算關(guān)于所述第一區(qū)域計(jì)算的頻率分布的多種級(jí)別中的一種預(yù)設(shè) 級(jí)別的值和關(guān)于所述第二區(qū)域計(jì)算的頻率分布的多種級(jí)別中的一種 預(yù)設(shè)級(jí)別的值之間的差值，并根據(jù)所述差值確定識(shí)別對(duì)象是否包括在 所述圖像中。
5、 按照權(quán)利要求2所述的對(duì)象檢測裝置，其中所述第一區(qū)域和所述第二區(qū)域是所述圖像中不相互重疊的區(qū)域。
6、 按照權(quán)利要求1所述的對(duì)象檢測裝置，還包括 確定信息存儲(chǔ)單元，所述確定信息存儲(chǔ)單元被配置成保存多組確定信息，包括下述信息的組合第一位置，所述第一位置是所述圖像中區(qū)域的位置， 第一級(jí)別，所述笫一級(jí)別是所述頻率分布的多種級(jí)別中的一種，第二位置，所述第二位置是所述圖像中區(qū)域的位置，并且不 同于所述第一位置，第二級(jí)別，所述第二級(jí)別是所述頻率分布的多種級(jí)別中的一種，閾值，和 加權(quán)值；其中所述計(jì)算單元關(guān)于每組所述確定信息，計(jì)算第一頻率分布和 第二頻率分布，第一頻率分布是與由所述第一位置識(shí)別的區(qū)域相關(guān)的所述頻率分布，第二頻率分布是與由所述第二位置識(shí)別的區(qū)域相關(guān)的 所述頻率分布；其中所述確定單元根據(jù)評(píng)估值確定識(shí)別對(duì)象是否包括在所述圖 像中，所述評(píng)估值是如下計(jì)算的計(jì)算所述第一頻率分布的多種級(jí)別中的所述第一級(jí)別的值 和所述第二頻率分布的多種級(jí)別中的所述第二級(jí)別的值之間的差值， 比較所述差值和所述閾值，和通過根據(jù)關(guān)于每組所述確定信息的所述比較結(jié)果進(jìn)行所述 加權(quán)值的計(jì)算來計(jì)算評(píng)估值。
7、 按照權(quán)利要求1所述的對(duì)象檢測裝置，其中所述識(shí)別對(duì)象是人物。
8、 一種成像設(shè)備，包括成像單元，所述成像單元被配置成對(duì)被攝體成像并產(chǎn)生成像圖像；圖像提取單元，所述圖像提取單元被配置成從所述成像圖像中提取充當(dāng)確定目標(biāo)的確定目標(biāo)圖像；計(jì)算單元，所述計(jì)算單元被配置成對(duì)所述確定目標(biāo)圖像中的多個(gè)區(qū)域計(jì)算亮度的梯度強(qiáng)度和 梯度方向，和對(duì)每個(gè)所述區(qū)域計(jì)算亮度梯度強(qiáng)度相對(duì)于所述計(jì)算的亮度 梯度方向的頻率分布；和確定單元，所述確定單元被配置成通過比較對(duì)每個(gè)所述區(qū)域計(jì)算 的多個(gè)頻率分布，確定識(shí)別對(duì)象是否包括在所述確定目標(biāo)圖像中。
9、 一種對(duì)象檢測方法，包括下述步驟 對(duì)圖像中的多個(gè)區(qū)域計(jì)算亮度的梯度強(qiáng)度和梯度方向； 對(duì)每個(gè)所述區(qū)域計(jì)算亮度梯度強(qiáng)度相對(duì)于所述計(jì)算的亮度梯度方向的頻率分布；和通過比較對(duì)每個(gè)所述區(qū)域計(jì)算的多個(gè)頻率分布，確定識(shí)別對(duì)象是 否包括在所迷圖像中。
10、 一種使計(jì)算機(jī)執(zhí)行下述步驟的程序 對(duì)圖像中的多個(gè)區(qū)域計(jì)算亮度的梯度強(qiáng)度和梯度方向； 對(duì)每個(gè)所述區(qū)域計(jì)算亮度梯度強(qiáng)度相對(duì)于所述計(jì)算的亮度梯度方向的頻率分布；和通過比較對(duì)每個(gè)所述區(qū)域計(jì)算的多個(gè)頻率分布，確定識(shí)別對(duì)象是 否包括在所述圖像中。
全文摘要
一種對(duì)象檢測裝置，包括計(jì)算單元，所述計(jì)算單元被配置成對(duì)圖像中的多個(gè)區(qū)域，計(jì)算亮度的梯度強(qiáng)度和梯度方向，和對(duì)每個(gè)區(qū)域計(jì)算亮度梯度強(qiáng)度相對(duì)于計(jì)算的亮度梯度方向的頻率分布，和確定單元，所述確定單元被配置成通過比較對(duì)每個(gè)區(qū)域計(jì)算的多個(gè)頻率分布，確定識(shí)別對(duì)象是否包括在圖像中。
文檔編號(hào)G06K9/00GK101673342SQ20091016667
公開日2010年3月17日 申請(qǐng)日期2009年8月26日 優(yōu)先權(quán)日2008年9月12日
發(fā)明者小川要 申請(qǐng)人:索尼株式會(huì)社