專利名稱：圖像處理設(shè)備、圖像處理方法、程序以及電子器件的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法、程序以及電子器件。更特別地，例如，本 發(fā)明涉及當(dāng)從拍攝圖像中檢測(cè)對(duì)象時(shí)，適合使用的圖像處理設(shè)備、圖像處理方法、程序以及 電子器件。
背景技術(shù)：
一段時(shí)間以來(lái)，例如，存在從捕獲一個(gè)或多個(gè)人臉的拍攝圖像中檢測(cè)臉部的檢測(cè) 設(shè)備(例如，見日本未審查的專利申請(qǐng)公布第2005-157679和2005-284487號(hào))。在這樣的 檢測(cè)設(shè)備中，例如，以多個(gè)比例(即，放大系數(shù))縮小或放大拍攝圖像。然后，從得到的多個(gè) 縮放圖像中的每個(gè)圖像中剪裁預(yù)定尺寸的窗口圖像。隨后，檢測(cè)設(shè)備確定在剪裁窗口圖像中是否顯示了臉部。如果確定在特定窗口圖 像中顯示了臉部，那么把在該窗口圖像中顯示的臉部檢測(cè)作為在拍攝圖像中存在的臉部。

發(fā)明內(nèi)容
同時(shí)，在現(xiàn)有技術(shù)的檢測(cè)設(shè)備中，縮放圖像的整個(gè)圖像區(qū)域被設(shè)置作為將用于臉 部檢測(cè)的檢測(cè)區(qū)域，并且隨后從這些檢測(cè)區(qū)域中剪裁窗口圖像。為此，從拍攝圖像中檢測(cè)一 個(gè)或多個(gè)臉部占用了大量時(shí)間。根據(jù)這樣的情況而設(shè)計(jì)的本發(fā)明的實(shí)施例使得實(shí)現(xiàn)了從拍攝圖像中對(duì)諸如人臉 的特征的更快檢測(cè)。根據(jù)本發(fā)明的第一實(shí)施例的圖像處理設(shè)備被配置成從通過(guò)成像獲取的拍攝圖像 中檢測(cè)被設(shè)置作為檢測(cè)目標(biāo)的一個(gè)或多個(gè)對(duì)象。該圖像處理設(shè)備包括生成裝置，其用于生 成用來(lái)檢測(cè)一個(gè)或多個(gè)對(duì)象的圖像金字塔，其中，通過(guò)使用比例來(lái)縮小或放大拍攝圖像以 生成圖像金字塔，該比例是根據(jù)從進(jìn)行成像的成像單元到要檢測(cè)的一個(gè)或多個(gè)對(duì)象的距離 來(lái)預(yù)先設(shè)置的；確定裝置，其用于從圖像金字塔中的整個(gè)圖像區(qū)域當(dāng)中確定用于檢測(cè)一個(gè) 或多個(gè)對(duì)象的一個(gè)或多個(gè)檢測(cè)區(qū)域；以及對(duì)象檢測(cè)裝置，其用于從一個(gè)或多個(gè)檢測(cè)區(qū)域中 檢測(cè)一個(gè)或多個(gè)對(duì)象?？商孢x地，以上圖像處理設(shè)備可被實(shí)現(xiàn)為使得計(jì)算機(jī)起圖像處理設(shè) 備和它所包括的部件作用的程序。圖像處理設(shè)備還可配備有估計(jì)裝置，其用于估計(jì)成像單元的方位。在這種情況下， 確定裝置可基于所估計(jì)的成像單元的方位，確定一個(gè)或多個(gè)檢測(cè)區(qū)域。圖像處理設(shè)備還可配備有獲取裝置，其用于基于對(duì)象檢測(cè)結(jié)果，獲取關(guān)于一個(gè)或 多個(gè)對(duì)象的詳細(xì)信息。在估計(jì)出成像單元的方位被固定在特定方向上的情況下，確定裝置 可基于所獲取的詳細(xì)信息，確定一個(gè)或多個(gè)檢測(cè)區(qū)域。由獲取裝置獲取的詳細(xì)信息可至少包括表示拍攝圖像中一個(gè)或多個(gè)對(duì)象的位置 的位置信息?；谶@樣的位置信息，確定裝置可確定一個(gè)或多個(gè)檢測(cè)區(qū)域是拍攝圖像中的、 其中存在對(duì)象的概率等于或大于預(yù)定門限值的區(qū)域。圖像處理設(shè)備還可配備有運(yùn)動(dòng)體檢測(cè)裝置，其用于檢測(cè)表示拍攝圖像中運(yùn)動(dòng)體的運(yùn)動(dòng)體區(qū)域。在這種情況下，確定裝置可確定一個(gè)或多個(gè)檢測(cè)區(qū)域是所檢測(cè)到的運(yùn)動(dòng)體區(qū) 域。運(yùn)動(dòng)體檢測(cè)裝置可設(shè)置運(yùn)動(dòng)體門限值，其用來(lái)從構(gòu)成拍攝圖像的區(qū)域當(dāng)中檢測(cè)運(yùn) 動(dòng)體區(qū)域。對(duì)于包含由對(duì)象檢測(cè)裝置檢測(cè)到的一個(gè)或多個(gè)對(duì)象的對(duì)象鄰近區(qū)域和對(duì)于除了 對(duì)象鄰近區(qū)域之外的所有區(qū)域，可設(shè)置不同的運(yùn)動(dòng)體門限值。在運(yùn)動(dòng)體檢測(cè)裝置基于相鄰幀中拍攝圖像之間的絕對(duì)差是否等于或大于用于檢 測(cè)運(yùn)動(dòng)體區(qū)域的運(yùn)動(dòng)體門限值來(lái)檢測(cè)運(yùn)動(dòng)體區(qū)域的情況下，運(yùn)動(dòng)體檢測(cè)裝置可根據(jù)拍攝圖 像之間的成像時(shí)刻的差來(lái)修改運(yùn)動(dòng)體門限值。圖像處理設(shè)備還可配備有背景更新裝置，其用于針對(duì)構(gòu)成拍攝圖像的區(qū)域進(jìn)行背 景更新處理。在運(yùn)動(dòng)體檢測(cè)裝置基于拍攝圖像與僅有背景的、其中未捕獲一個(gè)或多個(gè)對(duì)象 的背景圖像之間的絕對(duì)差來(lái)檢測(cè)運(yùn)動(dòng)體區(qū)域的情況下，對(duì)于與拍攝圖像中背景部分對(duì)應(yīng)的 區(qū)域和對(duì)于與除了拍攝圖像中背景之外的所有部分對(duì)應(yīng)的區(qū)域，背景更新處理可以是不同 的。圖像處理設(shè)備還可配備有輸出裝置，其用于輸出表示由運(yùn)動(dòng)體檢測(cè)裝置檢測(cè)到的 運(yùn)動(dòng)體區(qū)域的運(yùn)動(dòng)體區(qū)域信息，其中，輸出裝置在由對(duì)象檢測(cè)裝置檢測(cè)到一個(gè)或多個(gè)對(duì)象 之前輸出運(yùn)動(dòng)體區(qū)域信息。圖像處理設(shè)備還可配備有距離計(jì)算裝置，其用于計(jì)算到由成像單元成像的成像 目標(biāo)的距離；以及映射生成裝置，其用于基于所計(jì)算出的距離來(lái)生成深度映射，其中，深度 映射表示到拍攝圖像中各成像目標(biāo)的距離。在這種情況下，確定裝置可基于深度映射，確定 一個(gè)或多個(gè)檢測(cè)區(qū)域。確定裝置可根據(jù)比例來(lái)將圖像金字塔細(xì)分成多個(gè)區(qū)域，并且確定一個(gè)或多個(gè)檢測(cè) 區(qū)域是來(lái)自多個(gè)區(qū)域當(dāng)中的一個(gè)區(qū)域。對(duì)象檢測(cè)裝置可在來(lái)自一個(gè)或多個(gè)檢測(cè)區(qū)域當(dāng)中的部分區(qū)域中檢測(cè)一個(gè)或多個(gè) 對(duì)象?？苫谠谖恢蒙舷嗖瞀莻€(gè)像素(其中η> 1)的各部分區(qū)域中是否存在對(duì)象來(lái)做出 檢測(cè)。生成裝置可通過(guò)以各自不同的比例來(lái)縮小或放大拍攝圖像以生成包含多個(gè)金字 塔圖像的圖像金字塔。對(duì)象檢測(cè)裝置可從用于圖像金字塔中各金字塔圖像的一個(gè)或多個(gè)檢 測(cè)區(qū)域中檢測(cè)一個(gè)或多個(gè)對(duì)象，其中，按從最接近成像單元的對(duì)象開始的順序來(lái)檢測(cè)一個(gè) 或多個(gè)對(duì)象。在已經(jīng)檢測(cè)到了預(yù)定數(shù)目的對(duì)象的情況下，對(duì)象檢測(cè)裝置可終止對(duì)一個(gè)或多個(gè)對(duì) 象的檢測(cè)。對(duì)象檢測(cè)裝置可從一個(gè)或多個(gè)檢測(cè)區(qū)域中檢測(cè)一個(gè)或多個(gè)對(duì)象，其中，已經(jīng)從一 個(gè)或多個(gè)檢測(cè)區(qū)域中移除了包含已經(jīng)檢測(cè)到的對(duì)象的區(qū)域。在檢測(cè)到在拍攝圖像中存在的、還沒有由對(duì)象檢測(cè)裝置檢測(cè)到的對(duì)象的情況下， 對(duì)象檢測(cè)裝置可基于表示從特定方向觀看到的對(duì)象的第一模板圖像，從一個(gè)或多個(gè)檢測(cè)區(qū) 域中檢測(cè)對(duì)象?？紤]在第一拍攝圖像中存在的、并且已經(jīng)由對(duì)象檢測(cè)裝置檢測(cè)到的對(duì)象。如果將 在與第一拍攝圖像不同的另一個(gè)拍攝圖像中檢測(cè)該對(duì)象，那么基于在第一拍攝圖像中已經(jīng) 檢測(cè)到的對(duì)象所存在的位置，確定裝置可另外確定用來(lái)對(duì)另一個(gè)拍攝圖像中的對(duì)象進(jìn)行檢測(cè)的另一個(gè)圖像金字塔中的一個(gè)或多個(gè)檢測(cè)區(qū)域。對(duì)象檢測(cè)裝置可基于分別表示從多個(gè)方 向觀看到的對(duì)象的多個(gè)第二模板圖像，從另一個(gè)圖像金字塔中的一個(gè)或多個(gè)檢測(cè)區(qū)域中檢 測(cè)對(duì)象。在圖像處理設(shè)備中執(zhí)行根據(jù)本發(fā)明的另一實(shí)施例的圖像處理方法，該圖像處理設(shè) 備被配置成從通過(guò)成像獲取的拍攝圖像中檢測(cè)被設(shè)置作為檢測(cè)目標(biāo)的一個(gè)或多個(gè)對(duì)象。圖 像處理設(shè)備包括生成裝置；確定裝置；以及對(duì)象檢測(cè)裝置。該方法包括如下步驟使得生 成裝置生成用于檢測(cè)一個(gè)或多個(gè)對(duì)象的圖像金字塔，其中，通過(guò)使用比例來(lái)縮小或放大拍 攝圖像以生成圖像金字塔，該比例是根據(jù)從進(jìn)行成像的成像單元到要檢測(cè)的一個(gè)或多個(gè)對(duì) 象的距離來(lái)預(yù)先設(shè)置的；使得確定裝置從圖像金字塔中的整個(gè)圖像區(qū)域當(dāng)中確定用于檢測(cè) 一個(gè)或多個(gè)對(duì)象的一個(gè)或多個(gè)檢測(cè)區(qū)域；以及使得對(duì)象檢測(cè)裝置從一個(gè)或多個(gè)檢測(cè)區(qū)域中 檢測(cè)一個(gè)或多個(gè)對(duì)象。根據(jù)類似于上述實(shí)施例的本發(fā)明的實(shí)施例，生成用來(lái)檢測(cè)一個(gè)或多個(gè)對(duì)象的圖像 金字塔。通過(guò)使用比例來(lái)縮小或放大拍攝圖像以生成圖像金字塔，該比例是根據(jù)從進(jìn)行成 像的成像單元到要檢測(cè)的一個(gè)或多個(gè)對(duì)象的距離來(lái)預(yù)先設(shè)置的。從圖像金字塔中的整個(gè)圖 像區(qū)域當(dāng)中，確定用于檢測(cè)一個(gè)或多個(gè)對(duì)象的一個(gè)或多個(gè)檢測(cè)區(qū)域。然后，從一個(gè)或多個(gè)檢 測(cè)區(qū)域中檢測(cè)一個(gè)或多個(gè)對(duì)象。根據(jù)本發(fā)明的另一實(shí)施例的電子器件被配置成從通過(guò)成像獲取的拍攝圖像中檢 測(cè)被設(shè)置作為檢測(cè)目標(biāo)的一個(gè)或多個(gè)對(duì)象，并且進(jìn)行基于檢測(cè)結(jié)果的處理。電子器件包括 生成裝置，其用于生成用來(lái)檢測(cè)一個(gè)或多個(gè)對(duì)象的圖像金字塔，其中，通過(guò)使用比例來(lái)縮小 或放大拍攝圖像以生成圖像金字塔，該比例是根據(jù)從進(jìn)行成像的成像單元到要檢測(cè)的一個(gè) 或多個(gè)對(duì)象的距離來(lái)預(yù)先設(shè)置的；確定裝置，其用于從圖像金字塔中的整個(gè)圖像區(qū)域當(dāng)中 確定用于檢測(cè)一個(gè)或多個(gè)對(duì)象的一個(gè)或多個(gè)檢測(cè)區(qū)域；以及對(duì)象檢測(cè)裝置，其用于從一個(gè) 或多個(gè)檢測(cè)區(qū)域中檢測(cè)一個(gè)或多個(gè)對(duì)象。根據(jù)類似于上述實(shí)施例的本發(fā)明的實(shí)施例，生成用來(lái)檢測(cè)一個(gè)或多個(gè)對(duì)象的圖像 金字塔。通過(guò)使用比例來(lái)縮小或放大拍攝圖像以生成圖像金字塔，該比例是根據(jù)從進(jìn)行成 像的成像單元到要檢測(cè)的一個(gè)或多個(gè)對(duì)象的距離來(lái)預(yù)先設(shè)置的。從圖像金字塔中的整個(gè)圖 像區(qū)域當(dāng)中，確定用于檢測(cè)一個(gè)或多個(gè)對(duì)象的一個(gè)或多個(gè)檢測(cè)區(qū)域。然后，從一個(gè)或多個(gè)檢 測(cè)區(qū)域中檢測(cè)一個(gè)或多個(gè)對(duì)象，并且進(jìn)行基于檢測(cè)結(jié)果的處理。因此，根據(jù)本發(fā)明的實(shí)施例，有可能更快地并且利用更少計(jì)算來(lái)從拍攝圖像中檢 測(cè)人臉或其它對(duì)象。


圖IA和IB是用于說(shuō)明本發(fā)明的實(shí)施例的概述的圖；圖2是示出了根據(jù)第一實(shí)施例的圖像處理設(shè)備的示例性配置的框圖；圖3是用于說(shuō)明用于生成圖像金字塔的生成處理的第一個(gè)圖；圖4是用于說(shuō)明用于生成圖像金字塔的生成處理的第二個(gè)圖；圖5A和5B是用于說(shuō)明用于確定檢測(cè)區(qū)域的第一確定處理的一個(gè)示例的圖；圖6A和6B示出了臉部檢測(cè)模板的示例；圖7A和7B是用于說(shuō)明臉部檢測(cè)處理的圖8是用于說(shuō)明第一對(duì)象檢測(cè)處理的流程圖；圖9是用于說(shuō)明用于確定檢測(cè)區(qū)域的第二確定處理的一個(gè)示例的圖；圖10是示出了根據(jù)第二實(shí)施例的圖像處理設(shè)備的示例性配置的框圖；圖IlA到IlC是用于說(shuō)明背景差分處理的圖；圖12是用于說(shuō)明背景更新處理的圖；圖13是用于說(shuō)明用于確定檢測(cè)區(qū)域的第三確定處理的一個(gè)示例的圖；圖14是用于說(shuō)明第二對(duì)象檢測(cè)處理的流程圖；圖15示出了如何根據(jù)幀速率來(lái)改變?cè)趲g差分處理中使用的運(yùn)動(dòng)體門限值的一 個(gè)示例；圖16是示出了根據(jù)第三實(shí)施例的圖像處理設(shè)備的示例性配置的框圖；圖17是用于說(shuō)明用于確定檢測(cè)區(qū)域的第四確定處理的一個(gè)示例的圖；圖18是用于說(shuō)明第三對(duì)象檢測(cè)處理的流程圖；圖19是用于說(shuō)明如何一旦檢測(cè)到了預(yù)定數(shù)目的對(duì)象則結(jié)束處理的圖；圖20是用于說(shuō)明如何在排除其中存在先前檢測(cè)到的對(duì)象的檢測(cè)區(qū)域的同時(shí)進(jìn)行 對(duì)象檢測(cè)的圖；圖21A到21D是用于說(shuō)明如何從檢測(cè)區(qū)域提取要與模板比較的比較區(qū)域的圖；圖22是示出了根據(jù)第四實(shí)施例的顯示控制設(shè)備的示例性配置的框圖；圖23示出了如何在針對(duì)對(duì)象的狀態(tài)的分析結(jié)果之前輸出運(yùn)動(dòng)體區(qū)域信息的一個(gè) 示例；并且圖24是示出了計(jì)算機(jī)的示例性配置的框圖。
具體實(shí)施例方式在下文中，將描述用于執(zhí)行本發(fā)明的實(shí)施例(在下文中，被稱為實(shí)施例)。將如下 進(jìn)行描述。1.實(shí)施例的概述2.第一實(shí)施例(根據(jù)攝影機(jī)方位確定檢測(cè)區(qū)域的示例)3.第二實(shí)施例(根據(jù)拍攝圖像中的運(yùn)動(dòng)體確定檢測(cè)區(qū)域的示例)4.第三實(shí)施例(根據(jù)到對(duì)象的距離確定檢測(cè)區(qū)域的示例)5.修改6.第四實(shí)施例(包括檢測(cè)對(duì)象的圖像處理器的顯示控制設(shè)備的示例)1.實(shí)施例的概述現(xiàn)在將參照?qǐng)DIA和IB描述實(shí)施例的概述。在這里描述的實(shí)施例中，進(jìn)行對(duì)象檢測(cè)處理，其中，從由多個(gè)拍攝圖像構(gòu)成的運(yùn)動(dòng) 圖像中檢測(cè)被設(shè)置作為檢測(cè)目標(biāo)的一個(gè)或多個(gè)對(duì)象，諸如人臉。換句話說(shuō)，在這里描述的實(shí)施例中，進(jìn)行全掃描以檢測(cè)在拍攝圖像中出現(xiàn)的所有 對(duì)象。以構(gòu)成運(yùn)動(dòng)圖像的拍攝圖像的每若干幀(或者場(chǎng))一幀的頻率進(jìn)行全掃描。另外，在這里描述的實(shí)施例中，在全掃描之后進(jìn)行部分掃描。部分掃描檢測(cè)由全掃 描檢測(cè)到的一個(gè)或多個(gè)對(duì)象。此外，部分掃描從與進(jìn)行全掃描的拍攝圖像不同的其它拍攝 圖像中檢測(cè)一個(gè)或多個(gè)對(duì)象。
9
更具體地，圖IA示出了例如從構(gòu)成先前記錄的運(yùn)動(dòng)圖像的拍攝圖像中檢測(cè)一個(gè) 或多個(gè)對(duì)象的情況。如圖IA中所示，每五幀進(jìn)行一次用于在拍攝圖像中檢測(cè)所有對(duì)象的全 掃描。另外，還進(jìn)行用于檢測(cè)由全掃描檢測(cè)到的一個(gè)或多個(gè)對(duì)象的部分掃描。部分掃描從 與全掃描幀前面的兩幀和隨后的兩幀對(duì)應(yīng)的拍攝圖像中檢測(cè)一個(gè)或多個(gè)對(duì)象。圖IB示出了例如從從攝影機(jī)順次輸入而未被記錄的拍攝圖像中檢測(cè)一個(gè)或多個(gè) 對(duì)象的另一情況。如圖IB中所示，每五幀進(jìn)行一次用于在拍攝圖像中檢測(cè)所有對(duì)象的全掃 描。另外，還進(jìn)行用于檢測(cè)由全掃描檢測(cè)到的一個(gè)或多個(gè)對(duì)象的部分掃描。部分掃描從與 全掃描幀隨后的四幀對(duì)應(yīng)的每個(gè)拍攝圖像中檢測(cè)一個(gè)或多個(gè)對(duì)象。在下文中，針對(duì)從通過(guò)攝影機(jī)成像獲取的拍攝圖像中相繼地檢測(cè)對(duì)象的情況，描 述第一到第三實(shí)施例。然而，應(yīng)該明白的是，針對(duì)從先前記錄的運(yùn)動(dòng)圖像中檢測(cè)對(duì)象的情 況，第一到第三實(shí)施例也可借助于類似處理來(lái)檢測(cè)對(duì)象。然而，由于這樣的處理與用于從通 過(guò)攝影機(jī)成像獲取的拍攝圖像中檢測(cè)對(duì)象的情況的處理類似，因此在下文中省略對(duì)這樣的 處理的進(jìn)一步描述。2.第一實(shí)施例圖像處理設(shè)備1的示例性配置圖2示出了根據(jù)第一實(shí)施例的圖像處理設(shè)備1的示例性配置。圖像處理設(shè)備1配備有攝影機(jī)21、圖像金字塔生成器22、加速度傳感器23、攝影 機(jī)位置估計(jì)器24、檢測(cè)區(qū)域確定單元25、對(duì)象檢測(cè)器26、字典存儲(chǔ)單元27、詳細(xì)信息獲取器 28、狀態(tài)分析器29以及控制器30。攝影機(jī)21進(jìn)行成像，并且將作為結(jié)果獲得的拍攝圖像提供到圖像金字塔生成器 22。在此，根據(jù)來(lái)自控制器30的指示來(lái)改變攝影機(jī)21的方位?；趤?lái)自攝影機(jī)21的拍攝圖像，圖像金字塔生成器22生成圖像金字塔。例如，圖 像金字塔由用來(lái)檢測(cè)諸如人臉的對(duì)象的多個(gè)金字塔圖像構(gòu)成。應(yīng)該明白的是，要檢測(cè)的目 標(biāo)對(duì)象不限于人臉，并且還有可能檢測(cè)諸如人手或腳的特征，以及諸如汽車的車輛。然而， 這里針對(duì)檢測(cè)人臉的情況來(lái)描述第一到第三實(shí)施例。用于生成圖像金字塔的示例性生成處理現(xiàn)在將參照?qǐng)D3和4描述圖像金字塔生成器22借以生成多個(gè)金字塔圖像的生成處理。圖3示出了多個(gè)金字塔圖像43-1到43-4的一個(gè)示例，這多個(gè)金字塔圖像43_1到 43-4是通過(guò)以各自不同的比例縮小(或者放大)來(lái)自攝影機(jī)21的拍攝圖像41獲得的。如圖3所示，在拍攝圖像41中顯示要檢測(cè)的多個(gè)目標(biāo)臉部。在拍攝圖像41中，更 接近攝影機(jī)21的臉部顯得更大。為了檢測(cè)在離攝影機(jī)21預(yù)定距離處的臉部，要檢測(cè)的目標(biāo)臉部在尺寸上應(yīng)該與 模板42的模板尺寸相似。模板42表示與目標(biāo)臉部比較的、用于臉部檢測(cè)的圖像。因此，為了使得目標(biāo)臉部的尺寸與模板尺寸相似，圖像金字塔生成器22通過(guò)分別 縮小或放大拍攝圖像41來(lái)生成金字塔圖像43-1到43-4。根據(jù)從攝影機(jī)21到目標(biāo)臉部的 各個(gè)距離來(lái)預(yù)設(shè)縮小或放大拍攝圖像41的比例(在圖3中，例如，以1. 0倍、0. 841倍以及 0. 841 * 0. 841倍的比例縮小拍攝圖像41)。圖4示出了如何以根據(jù)到目標(biāo)臉部的各個(gè)距離預(yù)設(shè)的比例來(lái)縮小拍攝圖像41的一個(gè)示例。如圖4中所示，在第一種情況下，檢測(cè)目標(biāo)之一是在最接近攝影機(jī)21的空間范圍 Dl中存在的臉部。在這種情況下，圖像金字塔生成器22以根據(jù)從攝影機(jī)21到該目標(biāo)臉部 的距離的比例來(lái)縮小拍攝圖像41，并且因此生成金字塔圖像43-1。在第二種情況下，檢測(cè)目標(biāo)之一是在空間圖像范圍D2(其比空間范圍Dl更遠(yuǎn)離攝 影機(jī)21)中存在的臉部。在這種情況下，圖像金字塔生成器22以根據(jù)從攝影機(jī)21到該目 標(biāo)臉部的距離的比例(在這種情況下，0. 841 ★ 0. 841倍)來(lái)縮小拍攝圖像41，并且因此生 成金字塔圖像43-2。在第三種情況下，檢測(cè)目標(biāo)之一是在空間圖像范圍D3 (其比空間范圍D2更遠(yuǎn)離攝 影機(jī)21)中存在的臉部。在這種情況下，圖像金字塔生成器22以根據(jù)從攝影機(jī)21到該目 標(biāo)臉部的距離的比例(在這種情況下，0. 841倍)來(lái)縮小拍攝圖像41，并且因此生成金字塔 圖像43-3。在第四種情況下，檢測(cè)目標(biāo)之一是在空間圖像范圍D4 (其比空間范圍D3更遠(yuǎn)離攝 影機(jī)21)中存在的臉部。在這種情況下，圖像金字塔生成器22以根據(jù)從攝影機(jī)21到目標(biāo) 臉部的距離的比例(在這種情況下，1.0倍)縮小拍攝圖像41，并且因此生成金字塔圖像 43-4。在下文的描述中，當(dāng)在金字塔圖像43-1到43-4當(dāng)中沒有進(jìn)行特定區(qū)分時(shí)，金字塔 圖像43-1到43-4將簡(jiǎn)單地被稱為圖像金字塔43。圖像金字塔生成器22將生成的圖像金字塔43 (例如，由多個(gè)金字塔圖像43_1到 43-4構(gòu)成)提供到對(duì)象檢測(cè)器26。返回到圖2，在攝影機(jī)21中配備了加速度傳感器23。加速度傳感器23檢測(cè)在攝 影機(jī)21中產(chǎn)生的加速度(或者表示這樣加速度的信息)，并且將加速度提供到攝影機(jī)位置 估計(jì)器24。基于來(lái)自加速度傳感器23的加速度，攝影機(jī)位置估計(jì)器24估計(jì)攝影機(jī)21的方 位，并且將估計(jì)結(jié)果提供到檢測(cè)區(qū)域確定單元25。在這里的圖像處理設(shè)備1中，還可實(shí)現(xiàn)角速度傳感器或類似部件以替代加速度傳 感器23。在這種情況下，攝影機(jī)位置估計(jì)器24基于來(lái)自角速度傳感器的角速度，估計(jì)攝影 機(jī)21的方位。當(dāng)進(jìn)行全掃描時(shí)，檢測(cè)區(qū)域確定單元25使用來(lái)自攝影機(jī)位置估計(jì)器24的估計(jì)結(jié) 果作為基礎(chǔ)，用于在圖像金字塔43內(nèi)確定用來(lái)檢測(cè)臉部的檢測(cè)區(qū)域?？紤]如下示例基于來(lái)自攝影機(jī)位置估計(jì)器24的估計(jì)結(jié)果，檢測(cè)區(qū)域確定單元25 確定攝影機(jī)21的方位隨時(shí)間改變(例如，攝影機(jī)21可移動(dòng)鏡頭)。在這種情況下，如下確 定全掃描檢測(cè)區(qū)域。對(duì)于圖像金字塔43的用來(lái)檢測(cè)遠(yuǎn)離攝影機(jī)21的目標(biāo)臉部的部分(例如，諸如金 字塔圖像43-4)，檢測(cè)區(qū)域確定單元25確定檢測(cè)區(qū)域是圖像金字塔43內(nèi)的中心區(qū)域。對(duì)于 圖像金字塔43的所有其它部分(例如，諸如金字塔圖像43-1到43-3)，檢測(cè)區(qū)域確定單元 25確定檢測(cè)區(qū)域是圖像金字塔43內(nèi)的整個(gè)區(qū)域?？紤]如下另一個(gè)示例基于來(lái)自攝影機(jī)位置估計(jì)器24的估計(jì)結(jié)果，檢測(cè)區(qū)域確定 單元25確定攝影機(jī)21的方位被固定在特定方向上。此外，假設(shè)攝影機(jī)21的特定方向是不
11確定的。在這種情況下，如下確定全掃描檢測(cè)區(qū)域。對(duì)于設(shè)定的時(shí)間量，檢測(cè)區(qū)域確定單元25確定全掃描檢測(cè)區(qū)域是圖像金字塔43 中的所有區(qū)域。另外，檢測(cè)區(qū)域確定單元25計(jì)算在圖像金字塔43內(nèi)各個(gè)區(qū)域中出現(xiàn)人臉 的概率。然后，檢測(cè)區(qū)域確定單元25通過(guò)逐漸變窄圖像金字塔43中的區(qū)域的范圍以便排 除其計(jì)算出的概率未能滿足給定門限值的區(qū)域，來(lái)確定最終檢測(cè)區(qū)域。這里，由檢測(cè)區(qū)域確定單元25基于拍攝圖像中臉部的位置(或者表示這樣位置的 信息)來(lái)計(jì)算在給定區(qū)域中出現(xiàn)人臉的概率。在通過(guò)在下文中要描述的詳細(xì)信息獲取器28 獲取的詳細(xì)信息中包括這樣的臉部位置。作為另一個(gè)示例，檢測(cè)區(qū)域確定單元25還通過(guò)利用包括在詳細(xì)信息中的對(duì)象信 息來(lái)確定檢測(cè)區(qū)域。這樣的對(duì)象信息可表示人的姿勢(shì)、年齡、高度或其它信息。換句話說(shuō)， 基于包括在對(duì)象信息中的姿勢(shì)或高度，檢測(cè)區(qū)域確定單元25可預(yù)測(cè)其中很可能出現(xiàn)要檢 測(cè)的人臉的拍攝圖像41的區(qū)域(例如，如果人的高度很高，那么檢測(cè)區(qū)域確定單元25可預(yù) 測(cè)人臉很可能在拍攝圖像41的上部區(qū)域出現(xiàn))。然后，檢測(cè)區(qū)域確定單元25可確定檢測(cè)區(qū) 域是預(yù)測(cè)的區(qū)域。考慮如下另一個(gè)示例基于來(lái)自攝影機(jī)位置估計(jì)器24的估計(jì)結(jié)果，檢測(cè)區(qū)域確定 單元25確定攝影機(jī)21的方位被固定在特定方向上。此外，假設(shè)已經(jīng)確定了攝影機(jī)21的特 定方向。在這種情況下，根據(jù)攝影機(jī)21的方位來(lái)確定全掃描檢測(cè)區(qū)域。稍后，圖5A和5B將用于詳細(xì)描述用于在如下情況下根據(jù)攝影機(jī)21的方位來(lái)確定 檢測(cè)區(qū)域的方法已經(jīng)確定了攝影機(jī)21的方位被固定在特定方向上，并且其中也已經(jīng)確定 了攝影機(jī)21的特定方向。當(dāng)進(jìn)行部分掃描時(shí)，檢測(cè)區(qū)域確定單元25使用從對(duì)象檢測(cè)器26提供的臉部區(qū)域 信息作為基礎(chǔ)，用于確定用來(lái)在圖像金字塔43中檢測(cè)臉部的檢測(cè)區(qū)域。臉部區(qū)域信息表示 在過(guò)去拍攝圖像(在要經(jīng)受部分掃描的拍攝圖像之前一幀)中的臉部區(qū)域(即，存在臉部 的區(qū)域)。換句話說(shuō)，當(dāng)進(jìn)行部分掃描時(shí)，例如，檢測(cè)區(qū)域確定單元25可確定部分掃描檢測(cè) 區(qū)域是包含由從對(duì)象檢測(cè)器26提供的臉部區(qū)域信息表示的臉部區(qū)域的區(qū)域。另外，當(dāng)進(jìn)行部分掃描時(shí)，檢測(cè)區(qū)域確定單元25還可確定部分掃描檢測(cè)區(qū)域是包 含由緊接在前的部分掃描檢測(cè)到的臉部區(qū)域的區(qū)域。全掃描檢測(cè)區(qū)域的示例性確定圖5A和5B示出了檢測(cè)區(qū)域確定單元25基于來(lái)自攝影機(jī)位置估計(jì)器24的估計(jì)結(jié) 果來(lái)確定全掃描檢測(cè)區(qū)域的一個(gè)示例?？紤]如下示例基于來(lái)自攝影機(jī)位置估計(jì)器24的估計(jì)結(jié)果，檢測(cè)區(qū)域確定單元25 確定出攝影機(jī)21的方位被固定在特定方向上。此外，假設(shè)已經(jīng)確定了攝影機(jī)21的特定方 向。在這種情況下，根據(jù)攝影機(jī)21的方位來(lái)確定全掃描檢測(cè)區(qū)域。在該示例中，檢測(cè)區(qū)域確定單元25已經(jīng)確定了攝影機(jī)21的方位是在圖5A中示出 的狀態(tài)。在攝影機(jī)21的成像范圍61 (S卩，由從攝影機(jī)21延展的兩條線定界的范圍)內(nèi)，幾 乎所有人臉將存在于中心范圍62中。利用該參數(shù)，檢測(cè)區(qū)域確定單元25確定圖像金字塔 43內(nèi)的檢測(cè)區(qū)域是中心范圍62 ( S卩，與中心范圍62對(duì)應(yīng)的區(qū)域)。更具體地，考慮如下示例在空間區(qū)域Dl中存在的人臉被設(shè)置作為要檢測(cè)的目標(biāo)臉部。在這種情況下，如圖5A和5B中所示，確定用于空間范圍Dl中的中心范圍62 ( S卩，與 中心范圍62對(duì)應(yīng)的區(qū)域)的檢測(cè)區(qū)域是金字塔圖像43-1內(nèi)的區(qū)域62-1?？紤]如下另一個(gè)示例在空間區(qū)域D2中存在的人臉被設(shè)置作為要檢測(cè)的目標(biāo)臉 部。在這種情況下，如圖5A和5B中所示，確定用于空間范圍D2中的中心范圍62的檢測(cè)區(qū) 域是金字塔圖像43-2內(nèi)的區(qū)域62-2?？紤]如下另一個(gè)示例在空間區(qū)域D3中存在的人臉被設(shè)置作為要檢測(cè)的目標(biāo)臉 部。在這種情況下，如圖5A和5B中所示，確定用于空間范圍D3中的中心范圍62的檢測(cè)區(qū) 域是金字塔圖像43-3內(nèi)的區(qū)域62-3。同時(shí)，類似地確定用于空間范圍D4的檢測(cè)區(qū)域是金 字塔圖像43-4內(nèi)的區(qū)域。然后，檢測(cè)區(qū)域確定單元25向?qū)ο髾z測(cè)器26提供檢測(cè)區(qū)域信息，其表示針對(duì)圖像 金字塔43已經(jīng)被確定了的檢測(cè)區(qū)域(例如，諸如檢測(cè)區(qū)域62-1到62-3)。返回到圖2，對(duì)象檢測(cè)器26從字典存儲(chǔ)單元27讀取臉部檢測(cè)模板。隨后，對(duì)象檢 測(cè)器26進(jìn)行處理以使用讀取的模板來(lái)檢測(cè)臉部。針對(duì)來(lái)自圖像金字塔生成器22的圖像金 字塔43內(nèi)的檢測(cè)區(qū)域進(jìn)行臉部檢測(cè)處理。基于來(lái)自檢測(cè)區(qū)域確定單元25的檢測(cè)區(qū)域信息， 確定檢測(cè)區(qū)域。稍后將參照?qǐng)D7詳細(xì)描述由對(duì)象檢測(cè)器26進(jìn)行的臉部檢測(cè)處理。字典存儲(chǔ)單元27以全掃描模板和部分掃描模板的形式預(yù)先存儲(chǔ)臉部檢測(cè)模板。示例性模板圖6A和6B示出了全掃描模板和部分掃描模板的一個(gè)示例。如圖6A中所示，字典存儲(chǔ)單元27可預(yù)先存儲(chǔ)簡(jiǎn)單的字典。在簡(jiǎn)單的字典中，各個(gè) 模板與性別和年齡的多個(gè)組合中的每個(gè)相關(guān)聯(lián)，其中每個(gè)模板表示與相應(yīng)的參數(shù)組合匹配 的人的平均臉的正面圖像。如圖6B中所示，字典存儲(chǔ)單元27還可預(yù)先存儲(chǔ)豐富的樹字典。在樹中，各自不同 的面部表情每個(gè)與多個(gè)模板相關(guān)聯(lián)，其中所述多個(gè)模板利用從多個(gè)角度觀看到的相應(yīng)面部 表情來(lái)表示平均臉的圖像。同時(shí)，當(dāng)進(jìn)行全掃描時(shí)，使用簡(jiǎn)單的字典。除臉部檢測(cè)之外，簡(jiǎn)單的字典還用于檢 測(cè)在拍攝圖像與拍攝圖像之間不變化的臉部屬性。例如，這樣的屬性可包括人的性別和年 齡。當(dāng)進(jìn)行部分掃描時(shí)，使用豐富的樹字典。除臉部檢測(cè)之外，豐富的樹字典還用于檢測(cè)在 拍攝圖像與拍攝圖像之間(可很容易地)變化的屬性。例如，這樣的屬性可包括面部表情。示例性臉部檢測(cè)處理現(xiàn)在，圖7A和7B將用來(lái)詳細(xì)描述由對(duì)象檢測(cè)器26使用存儲(chǔ)在字典存儲(chǔ)單元27 中的模板來(lái)進(jìn)行的臉部檢測(cè)處理?？紤]如下情況對(duì)象檢測(cè)器26進(jìn)行全掃描，以在與拍攝圖像41對(duì)應(yīng)的圖像金字塔 43中檢測(cè)所有臉部。在這種情況下，如圖7A中所示，對(duì)象檢測(cè)器26使用模板42 (例如，在 圖6A中示出的簡(jiǎn)單的字典模板)，以在圖像金字塔43內(nèi)的目標(biāo)檢測(cè)區(qū)域中檢測(cè)臉部。現(xiàn)在考慮如下情況對(duì)象檢測(cè)器26進(jìn)行部分掃描，以從與另一個(gè)拍攝圖像41對(duì)應(yīng) 的圖像金字塔43中檢測(cè)由全掃描檢測(cè)到的臉部。在這種情況下，如圖7B中所示，對(duì)象檢測(cè) 器26使用模板42 (諸如在圖6B中示出的豐富的樹字典中的模板)，以在圖像金字塔43內(nèi) 的目標(biāo)檢測(cè)區(qū)域中檢測(cè)臉部。
13
在任一示例中，如果對(duì)象檢測(cè)器26借助于全掃描或部分掃描臉部檢測(cè)處理檢測(cè) 到一個(gè)或多個(gè)臉部，那么對(duì)象檢測(cè)器26向檢測(cè)區(qū)域確定單元25和詳細(xì)信息獲取器28提供 臉部區(qū)域信息，其表示圖像金字塔43內(nèi)的一個(gè)或多個(gè)臉部區(qū)域。另外，對(duì)象檢測(cè)器26還向詳細(xì)信息獲取器28提供用來(lái)檢測(cè)一個(gè)或多個(gè)臉部的模 板。返回到圖2，詳細(xì)信息獲取器28基于從對(duì)象檢測(cè)器26接收的臉部區(qū)域信息和模 板，獲取關(guān)于拍攝圖像41內(nèi)存在的一個(gè)或多個(gè)臉部的詳細(xì)信息。換句話說(shuō)，例如，詳細(xì)信息 獲取器28可基于來(lái)自對(duì)象檢測(cè)器26的臉部區(qū)域信息，確定拍攝圖像41中一個(gè)或多個(gè)臉部 的位置，并且隨后將該位置信息作為詳細(xì)信息提供到狀態(tài)分析器29。作為另一個(gè)示例，詳細(xì)信息獲取器28還可讀取來(lái)自字典存儲(chǔ)單元27的、與從對(duì)象 檢測(cè)器26接收的模板相關(guān)聯(lián)的信息。例如，這樣的信息可包括性別、年齡以及面部表情信 息。然后，詳細(xì)信息獲取器28將該信息作為詳細(xì)信息提供到狀態(tài)分析器29。基于來(lái)自詳細(xì)信息獲取器28的詳細(xì)信息，狀態(tài)分析器29分析對(duì)象的狀態(tài)(即，外 形)，并且隨后輸出分析結(jié)果。控制器30對(duì)從攝影機(jī)21到狀態(tài)分析器29的部件進(jìn)行控制。從由攝影機(jī)21獲取 的拍攝圖像當(dāng)中，控制器30使得以每若干幀一幀的頻率進(jìn)行全掃描，同時(shí)還使得針對(duì)剩余 幀進(jìn)行部分掃描。第一對(duì)象檢測(cè)處理的操作現(xiàn)在，圖8中的流程圖將用來(lái)詳細(xì)描述由圖像處理設(shè)備1進(jìn)行的第一對(duì)象檢測(cè)處理。在步驟Sl中，攝影機(jī)拍攝(即，獲取圖像)，并且向圖像金字塔生成器22提供作為 結(jié)果獲取的拍攝圖像41。在步驟S2中，圖像金字塔生成器22基于來(lái)自攝影機(jī)21的拍攝圖像41，生成圖像 金字塔43 (即，多個(gè)金字塔圖像)。例如，圖像金字塔43可用于檢測(cè)人臉，并且可按參照?qǐng)D 3和4描述的方式生成。將生成的圖像金字塔43提供到對(duì)象檢測(cè)器26。在步驟S3中，控制器30確定是否進(jìn)行全掃描?；谕ㄟ^(guò)攝影機(jī)21的成像獲取的 拍攝圖像的數(shù)目，做出該確定。在步驟S3中，如果控制器30基于通過(guò)攝影機(jī)21的成像獲取的拍攝圖像的數(shù)目， 確定進(jìn)行全掃描，那么處理前進(jìn)到步驟S4。在步驟S4到步驟S8中，從加速度傳感器23到詳細(xì)信息獲取器28的部件遵循來(lái) 自控制器30的指示來(lái)借助于全掃描檢測(cè)一個(gè)或多個(gè)臉部。還獲取了從檢測(cè)結(jié)果獲得的詳
細(xì)信息。換句話說(shuō)，在步驟S4中，加速度傳感器23檢測(cè)在攝影機(jī)21中產(chǎn)生的加速度(或 者表示這樣的加速度的信息)，并且將加速度提供到攝影機(jī)位置估計(jì)器24。在步驟S5中，檢測(cè)區(qū)域確定單元25基于來(lái)自加速度傳感器23的加速度，估計(jì)攝 影機(jī)21的方位，并且將估計(jì)結(jié)果提供到檢測(cè)區(qū)域確定單元25。在步驟S6中，檢測(cè)區(qū)域確定單元25基于來(lái)自攝影機(jī)位置估計(jì)器24的估計(jì)結(jié)果， 確定一個(gè)或多個(gè)全掃描檢測(cè)區(qū)域。在步驟S7中，對(duì)象檢測(cè)器26在由步驟S6中的處理確定的一個(gè)或多個(gè)檢測(cè)區(qū)域中檢測(cè)臉部。對(duì)象檢測(cè)器26通過(guò)使用用于多個(gè)因素(諸如性別和年齡)的組合中每個(gè)組合 的相應(yīng)模板(即，圖7A中的簡(jiǎn)單的字典)來(lái)檢測(cè)臉部。如果對(duì)象檢測(cè)器26借助于臉部檢測(cè)處理檢測(cè)到一個(gè)或多個(gè)臉部，那么對(duì)象檢測(cè) 器26向檢測(cè)區(qū)域確定單元25和詳細(xì)信息獲取器28提供表示圖像金字塔43內(nèi)一個(gè)或多個(gè) 臉部區(qū)域的臉部區(qū)域信息。另外，對(duì)象檢測(cè)器26向詳細(xì)信息獲取器28提供用來(lái)檢測(cè)一個(gè)或多個(gè)臉部的模板。在步驟S8中，詳細(xì)信息獲取器28訪問(wèn)字典存儲(chǔ)單元27，并且讀取與從對(duì)象檢測(cè) 器26接收的模板相關(guān)聯(lián)的信息。例如，這樣的信息可包括性別和年齡信息。另外，基于來(lái) 自對(duì)象檢測(cè)器26的臉部區(qū)域信息，詳細(xì)信息獲取器28確定拍攝圖像41中的一個(gè)或多個(gè)人 臉的位置。然后，詳細(xì)信息獲取器28將詳細(xì)信息提供到狀態(tài)分析器29。例如，詳細(xì)信息可包 括讀取的性別和年齡信息，以及所確定的一個(gè)或多個(gè)人臉的位置。然后，處理前進(jìn)到步驟 S12。在首先描述步驟S9到步驟Sll中的處理之后將描述步驟S12中的處理。在步驟S3中，如果控制器30基于通過(guò)攝影機(jī)21的成像獲取的拍攝圖像的數(shù)目而 確定不進(jìn)行全掃描，那么處理前進(jìn)到步驟S9。換句話說(shuō)，當(dāng)控制器30確定進(jìn)行部分掃描時(shí)， 處理前進(jìn)到步驟S9。在步驟S9到步驟Sll中，從檢測(cè)區(qū)域確定單元25到詳細(xì)信息獲取器28的部件遵 循來(lái)自控制器30的指示，以借助于部分掃描檢測(cè)由全掃描檢測(cè)到的一個(gè)或多個(gè)臉部。還獲 取了從檢測(cè)結(jié)果獲得的詳細(xì)信息。換句話說(shuō)，在步驟S9中，檢測(cè)區(qū)域確定單元25基于在先前步驟S7或Sll的處理 中從對(duì)象檢測(cè)器26提供的臉部區(qū)域信息，確定部分掃描檢測(cè)區(qū)域。更具體地，例如，檢測(cè)區(qū)域確定單元25可確定部分掃描檢測(cè)區(qū)域是圖像金字塔43 內(nèi)的、包含由從對(duì)象檢測(cè)器26提供的臉部區(qū)域信息表示的一個(gè)或多個(gè)臉部區(qū)域的區(qū)域。在步驟SlO中，對(duì)象檢測(cè)器26在由步驟S9中的處理確定的檢測(cè)區(qū)域中檢測(cè)臉部。 對(duì)象檢測(cè)器26通過(guò)使用用于多個(gè)各自不同面部表情中每個(gè)面部表情的相應(yīng)模板(S卩，圖7B 中的豐富的樹字典)來(lái)檢測(cè)臉部。如果對(duì)象檢測(cè)器26借助于臉部檢測(cè)處理檢測(cè)到一個(gè)或多個(gè)臉部，那么對(duì)象檢測(cè) 器26向檢測(cè)區(qū)域確定單元25和詳細(xì)信息獲取器28提供臉部區(qū)域信息，其表示圖像金字塔 43內(nèi)存在臉部的一個(gè)或多個(gè)區(qū)域。另外，對(duì)象檢測(cè)器26向詳細(xì)信息獲取器28提供用來(lái)檢測(cè)一個(gè)或多個(gè)臉部的模板。在步驟Sll中，詳細(xì)信息獲取器28訪問(wèn)字典存儲(chǔ)單元27，并且讀取與從對(duì)象檢測(cè) 器26接收的模板相關(guān)聯(lián)的信息。例如，這樣的信息可包括面部表情(或者表示這樣的表情 的信息)。另外，基于來(lái)自對(duì)象檢測(cè)器26的臉部區(qū)域信息，詳細(xì)信息獲取器28確定拍攝圖 像41中的一個(gè)或多個(gè)人臉的位置。然后，詳細(xì)信息獲取器28將詳細(xì)信息提供到狀態(tài)分析器29。例如，詳細(xì)信息可包 括讀取的面部表情，以及所確定的一個(gè)或多個(gè)人臉的位置。然后，處理前進(jìn)到步驟S12。在步驟S12中，狀態(tài)分析器29確定對(duì)于預(yù)定的多個(gè)拍攝圖像中的每個(gè)拍攝圖像， 是否已經(jīng)從詳細(xì)信息獲取器28獲取了所有詳細(xì)信息。(例如，如圖IB中所示，預(yù)定的多個(gè)拍攝圖像可包括經(jīng)受全掃描的一個(gè)拍攝圖像以及經(jīng)受部分掃描的四個(gè)拍攝圖像。)換句話 說(shuō)，狀態(tài)分析器29確定是否獲取了足夠用于分析對(duì)象的狀態(tài)的詳細(xì)信息。在步驟S12中，如果狀態(tài)分析器29確定對(duì)于預(yù)定的多個(gè)拍攝圖像，尚未從詳細(xì)信 息獲取器28獲取所有詳細(xì)信息，那么處理返回到步驟Si，并且此后進(jìn)行與以上類似的處理。相反，在步驟S12中，如果狀態(tài)分析器29確定對(duì)于預(yù)定的多個(gè)拍攝圖像，已經(jīng)從詳 細(xì)信息獲取器28獲取了所有詳細(xì)信息，那么處理前進(jìn)到步驟S13。在步驟S13中，狀態(tài)分析器29基于來(lái)自詳細(xì)信息獲取器28的多個(gè)詳細(xì)信息，分析 對(duì)象的狀態(tài)(例如，外形)，并且輸出分析結(jié)果。隨后，處理返回到步驟Si，并且此后進(jìn)行與 以上類似的處理。這里，例如，當(dāng)圖像處理設(shè)備1通過(guò)用戶操作斷電時(shí)，可終止第一對(duì)象檢測(cè)處理。 可類似地終止在下文中將描述的第二和第三對(duì)象檢測(cè)處理(見圖14和18)。如上所述，當(dāng)根據(jù)第一對(duì)象檢測(cè)處理來(lái)進(jìn)行全掃描時(shí)，檢測(cè)區(qū)域確定單元25使用 攝影機(jī)21的方位作為用于確定檢測(cè)區(qū)域的基礎(chǔ)。確定檢測(cè)區(qū)域是來(lái)自圖像金字塔43中的 區(qū)域當(dāng)中的預(yù)先規(guī)定的區(qū)域。另外，當(dāng)進(jìn)行部分掃描時(shí)，檢測(cè)區(qū)域確定單元25確定檢測(cè)區(qū)域是包含有在先前掃 描中檢測(cè)到的臉部區(qū)域的區(qū)域。全掃描比部分掃描更多地依賴處理器，并且因此，在第一對(duì)象檢測(cè)處理的步驟S7 中，使用簡(jiǎn)單的字典。例如，與使用豐富的樹字典相比，使用簡(jiǎn)單的字典更少地依賴處理器。 此外，以每若干幀一次的頻率進(jìn)行全掃描。同時(shí)，當(dāng)進(jìn)行部分掃描時(shí)，在步驟SlO中使用豐富的樹字典。例如，雖然與使用簡(jiǎn) 單的字典相比，使用豐富的樹字典更多地依賴處理器，但是對(duì)豐富的樹字典的使用使得實(shí) 現(xiàn)了從多個(gè)角度對(duì)臉部的自由跟蹤。因此，與對(duì)于每幀都將檢測(cè)區(qū)域設(shè)置為圖像金字塔43中所有區(qū)域的情況相比，根 據(jù)第一對(duì)象檢測(cè)處理，有可能更快且更準(zhǔn)確、并且利用更少的計(jì)算來(lái)檢測(cè)對(duì)象。在這里的第一實(shí)施例中，攝影機(jī)21被描述為根據(jù)來(lái)自控制器30的指示在方位上 變化。然而，應(yīng)該明白的是，被實(shí)現(xiàn)為攝影機(jī)21的攝影機(jī)還可以是靜止攝影機(jī)，其方位被固 定在給定方向上。在這種情況下，可從配置中省略加速度傳感器23和攝影機(jī)位置估計(jì)器24。然后， 檢測(cè)區(qū)域確定單元25可通過(guò)如下兩種方法之一來(lái)確定全掃描檢測(cè)區(qū)域用于攝影機(jī)21的 方位被固定在特定但是未被確定的方向上的情況的檢測(cè)區(qū)域確定方法；以及用于攝影機(jī) 21的方位被固定在已經(jīng)確定了的特定方向上的情況的檢測(cè)區(qū)域確定方法(見圖5A和5B)。另外，當(dāng)進(jìn)行全掃描時(shí)，檢測(cè)區(qū)域確定單元25這里被配置成基于來(lái)自攝影機(jī)位置 估計(jì)器24的估計(jì)結(jié)果，確定全掃描檢測(cè)區(qū)域。然而，例如，檢測(cè)區(qū)域確定單元25還可確定 檢測(cè)區(qū)域是其它區(qū)域，諸如由用戶預(yù)設(shè)的區(qū)域。當(dāng)進(jìn)行全掃描時(shí)，檢測(cè)區(qū)域確定單元25還有可能不管攝影機(jī)21的方位而確定全 掃描檢測(cè)區(qū)域。檢測(cè)區(qū)域的示例性確定圖9示出了不管攝影機(jī)21的方位而確定全掃描檢測(cè)區(qū)域的一個(gè)示例。
如圖9中所示，檢測(cè)區(qū)域確定單元25首先從圖像金字塔43中取得使用在0. 8倍 與ι. O倍之間(包括0. 8倍和1. 0倍在內(nèi))的縮小系數(shù)來(lái)縮放過(guò)的一個(gè)或多個(gè)金字塔圖像。 然后，檢測(cè)區(qū)域確定單元25將那些金字塔圖像細(xì)分成多個(gè)區(qū)域(例如，四個(gè))，并且每次進(jìn) 行全掃描時(shí)，相繼地將那些區(qū)域設(shè)置作為檢測(cè)區(qū)域。更具體地，例如，檢測(cè)區(qū)域確定單元25可將金字塔圖像43-3和43_4細(xì)分成四個(gè) 區(qū)域81a到81d。隨后，每次進(jìn)行全掃描時(shí)，檢測(cè)區(qū)域確定單元25按如下順序設(shè)置檢測(cè)區(qū) 域區(qū)域81a、區(qū)域81b、區(qū)域81c、區(qū)域81d、區(qū)域81a等。另外，如圖9中所示，檢測(cè)區(qū)域確定單元25還從圖像金字塔43中取得使用等于或 大于0. 51倍但小于0. 8倍的系數(shù)來(lái)縮放過(guò)的一個(gè)或多個(gè)金字塔圖像。然后，檢測(cè)區(qū)域確定 單元25將那些金字塔圖像細(xì)分成多個(gè)區(qū)域(例如，兩個(gè))，并且每次進(jìn)行全掃描時(shí)，相繼地 將那些區(qū)域設(shè)置作為檢測(cè)區(qū)域。更具體地，例如，檢測(cè)區(qū)域確定單元25可將金字塔圖像43-2細(xì)分成兩個(gè)區(qū)域82a 和82b。隨后，每次進(jìn)行全掃描時(shí)，檢測(cè)區(qū)域確定單元25按如下順序設(shè)置檢測(cè)區(qū)域區(qū)域 82a、區(qū)域82b、區(qū)域82a等。另外，如圖9所示，檢測(cè)區(qū)域確定單元25還從圖像金字塔43中取得使用等于或大 于0倍但小于0.51倍的系數(shù)來(lái)縮放的一個(gè)或多個(gè)金字塔圖像。然后，檢測(cè)區(qū)域確定單元25 將那些金字塔圖像的全部區(qū)域設(shè)置作為檢測(cè)區(qū)域。更具體地，每次進(jìn)行全掃描時(shí)，檢測(cè)區(qū)域確定單元25可將金字塔圖像43-1內(nèi)的整 個(gè)區(qū)域設(shè)置作為檢測(cè)區(qū)域。根據(jù)參照?qǐng)D9描述的檢測(cè)區(qū)域確定方法，可以不管攝影機(jī)21的方位而確定檢測(cè)區(qū) 域。在這種情況下，可以省略第一對(duì)象檢測(cè)處理的步驟S4(檢測(cè)在攝影機(jī)21中產(chǎn)生的加速 度)和步驟S5(估計(jì)攝影機(jī)21的方位)中的處理。為此，變得有可能更快地執(zhí)行對(duì)象檢測(cè)處理。這里，例如，作為用戶在攝影機(jī)21前執(zhí)行經(jīng)識(shí)別的手勢(shì)或類似操作的結(jié)果，也可 啟用從拍攝圖像41中檢測(cè)一個(gè)或多個(gè)對(duì)象的圖像處理設(shè)備1。在這樣的情況下，用戶通常在離攝影機(jī)21較近距離處執(zhí)行手勢(shì)操作。因此，在多 數(shù)情況下，更接近攝影機(jī)21的對(duì)象是用于檢測(cè)的更重要對(duì)象。因此，根據(jù)參照?qǐng)D9描述的檢測(cè)區(qū)域確定方法，根據(jù)要檢測(cè)的對(duì)象的重要性(即， 根據(jù)對(duì)象靠近攝影機(jī)21的程度)來(lái)增大圖像金字塔43內(nèi)檢測(cè)區(qū)域的尺寸。為此，變得有 可能更快地執(zhí)行對(duì)象檢測(cè)處理，同時(shí)還減少對(duì)重要對(duì)象的錯(cuò)誤檢測(cè)或未檢測(cè)。在參照?qǐng)D9描述的檢測(cè)區(qū)域確定方法中，圖像金字塔43中的金字塔圖像被細(xì)分成 多個(gè)區(qū)域(諸如區(qū)域81a到81d)，然后這些區(qū)域按預(yù)定順序被設(shè)置作為全掃描檢測(cè)區(qū)域。 然而，應(yīng)該明白的是，本發(fā)明不限于以上描述。換句話說(shuō)，例如，圖像金字塔43中的金字塔圖像可被細(xì)分成多個(gè)區(qū)域，并且可根 據(jù)在該區(qū)域中存在對(duì)象的概率來(lái)改變這些區(qū)域中每個(gè)區(qū)域被設(shè)置作為檢測(cè)區(qū)域的頻率。在 這種情況下，與將圖像金字塔43中的金字塔圖像細(xì)分成多個(gè)區(qū)域并且隨后按預(yù)定順序?qū)?那些區(qū)域中的每個(gè)區(qū)域設(shè)置作為檢測(cè)區(qū)域的情況相比，變得有可能提高檢測(cè)到對(duì)象的概率。這里，可基于包括在由詳細(xì)信息獲取器28獲取的詳細(xì)信息中的、拍攝圖像中臉部
17的位置(或者表示這樣的位置的信息)，計(jì)算在給定區(qū)域中存在對(duì)象的概率。在第一實(shí)施例中，基于攝影機(jī)21的方位，確定檢測(cè)區(qū)域。然而，還可按其它方式確 定檢測(cè)區(qū)域。例如，可在拍攝圖像41內(nèi)檢測(cè)運(yùn)動(dòng)體(即，運(yùn)動(dòng)的人或物體)，并且隨后可基 于拍攝圖像41中運(yùn)動(dòng)體的位置，確定檢測(cè)區(qū)域。3.第二實(shí)施例圖像處理設(shè)備101的示例性配置圖10示出了根據(jù)第二實(shí)施例的圖像處理設(shè)備101的示例性配置。圖像處理設(shè)備 101被配置成在拍攝圖像41內(nèi)檢測(cè)運(yùn)動(dòng)體(即，運(yùn)動(dòng)的人或物體)，并且隨后基于該運(yùn)動(dòng) 體在拍攝圖像41中的位置，確定檢測(cè)區(qū)域。這里，圖10中與圖2中示出的第一實(shí)施例對(duì)應(yīng)的部分被給予相同附圖標(biāo)記，并且 可在下文中省略對(duì)這樣的部分的進(jìn)一步描述。因此，圖像處理設(shè)備101新配備有運(yùn)動(dòng)體檢測(cè)器121和背景更新單元122。另外， 由檢測(cè)區(qū)域確定單元123、狀態(tài)分析器124以及控制器125分別替換了檢測(cè)區(qū)域確定單元 25、狀態(tài)分析器29以及控制器30。在其它方面，第二實(shí)施例被配置成與第一實(shí)施例類似。運(yùn)動(dòng)體檢測(cè)器121被分別提供了如下圖像和信息從攝影機(jī)21提供的拍攝圖像 41 ；從對(duì)象檢測(cè)器26提供的、用于緊接在前的幀中的拍攝圖像的臉部區(qū)域信息；以及從背 景更新單元122提供的、僅示出背景并且其中沒有出現(xiàn)對(duì)象的背景圖像。基于來(lái)自攝影機(jī)21的拍攝圖像41、來(lái)自對(duì)象檢測(cè)器26的臉部區(qū)域信息以及來(lái)自 背景更新單元122的背景圖像，運(yùn)動(dòng)體檢測(cè)器121在來(lái)自攝影機(jī)21的拍攝圖像41中檢測(cè) 運(yùn)動(dòng)體。換句話說(shuō)，例如，運(yùn)動(dòng)體檢測(cè)器121可進(jìn)行背景差分處理。在背景差分處理中，運(yùn) 動(dòng)體檢測(cè)器121在參考來(lái)自對(duì)象檢測(cè)器26的臉部區(qū)域信息的同時(shí)，基于來(lái)自攝影機(jī)21的 拍攝圖像41與來(lái)自背景更新單元122的背景圖像之間的絕對(duì)差，檢測(cè)運(yùn)動(dòng)體。稍后將參照 圖IlA到IlC描述該背景差分處理。除了上述背景差分處理之外，幀間差分或類似處理還可被實(shí)現(xiàn)為用于檢測(cè)運(yùn)動(dòng)體 的方法。在幀間差分處理中，基于來(lái)自相鄰幀的兩個(gè)不同拍攝圖像41之間的絕對(duì)差，檢測(cè) 運(yùn)動(dòng)體。示例性背景差分處理現(xiàn)在將參照?qǐng)DIlA到IlC描述由運(yùn)動(dòng)體檢測(cè)器121進(jìn)行的背景差分處理。圖IlA中示出的拍攝圖像41表示在給定時(shí)間獲取的拍攝圖像。圖IlB中示出的 拍攝圖像41表示在圖IlA中示出的拍攝圖像41之前一幀的拍攝圖像。圖IlC中示出的拍 攝圖像41表示在圖IlB中示出的拍攝圖像41之前一幀的拍攝圖像。運(yùn)動(dòng)體檢測(cè)器121計(jì)算拍攝圖像41和背景圖像中的相應(yīng)像素的像素值中的絕對(duì) 差值。如果計(jì)算的絕對(duì)差值等于或超過(guò)用于檢測(cè)運(yùn)動(dòng)體出現(xiàn)的運(yùn)動(dòng)體門限值，那么運(yùn)動(dòng)體 檢測(cè)器121檢測(cè)滿足門限值的相應(yīng)區(qū)域作為運(yùn)動(dòng)體區(qū)域。更具體地，如在圖IlA中作為示例所示，針對(duì)對(duì)象鄰近區(qū)域141，運(yùn)動(dòng)體檢測(cè)器121 可使用相對(duì)小的運(yùn)動(dòng)體門限值來(lái)進(jìn)行背景差分處理。對(duì)象鄰近區(qū)域141是拍攝圖像41內(nèi) 的區(qū)域，其包含由從對(duì)象檢測(cè)器26提供的臉部區(qū)域信息表示的臉部區(qū)域。因?yàn)樵趯?duì)象鄰近區(qū)域141中將很可能存在運(yùn)動(dòng)體，因此在此使用小的運(yùn)動(dòng)體門限值。例如，如同在圖IlA到IlC中示出的運(yùn)動(dòng)，使用小的運(yùn)動(dòng)體門限值使得有可能檢測(cè)到運(yùn) 動(dòng)體的微小運(yùn)動(dòng)。另外，對(duì)象鄰近區(qū)域141中的運(yùn)動(dòng)體門限值隨時(shí)間逐漸增大。這是因?yàn)樵趯?duì)象鄰 近區(qū)域141中存在運(yùn)動(dòng)體的概率隨時(shí)間降低。此外，如在圖IlA到IlC中作為示例所示，針對(duì)拍攝圖像41內(nèi)除了對(duì)象鄰近區(qū)域 141之外的所有區(qū)域，運(yùn)動(dòng)體檢測(cè)器121還可使用相對(duì)大的運(yùn)動(dòng)體門限值來(lái)進(jìn)行背景差分 處理。為了避免由于噪聲或其它因素而對(duì)運(yùn)動(dòng)體的錯(cuò)誤檢測(cè)，可進(jìn)行這樣的背景差分處理。運(yùn)動(dòng)體檢測(cè)器121向背景更新單元122、檢測(cè)區(qū)域確定單元123以及狀態(tài)分析器 124提供運(yùn)動(dòng)體區(qū)域信息，其表示在拍攝圖像41的圖像區(qū)域內(nèi)其中存在檢測(cè)到的運(yùn)動(dòng)體的 運(yùn)動(dòng)體區(qū)域。現(xiàn)在返回到圖10，背景更新單元122被提供了來(lái)自運(yùn)動(dòng)體檢測(cè)器121的運(yùn)動(dòng)體區(qū) 域信息。另外，背景更新單元122被提供了來(lái)自攝影機(jī)21的拍攝圖像41，以及來(lái)自對(duì)象檢 測(cè)器26的臉部區(qū)域信息?；趤?lái)自對(duì)象檢測(cè)器26的臉部區(qū)域信息和來(lái)自運(yùn)動(dòng)體檢測(cè)器121的運(yùn)動(dòng)體區(qū)域 信息，背景更新單元122確定來(lái)自攝影機(jī)21的拍攝圖像41中的哪些區(qū)域是關(guān)于圖像的背 景部分的區(qū)域(即，背景區(qū)域)，以及哪些區(qū)域是關(guān)于除了背景部分之外的部分的區(qū)域(例 如，諸如捕獲臉部或運(yùn)動(dòng)體的區(qū)域)。然后，背景更新單元122進(jìn)行背景更新處理。在背景更新處理中，背景更新單元 122通過(guò)使用各自不同的比率執(zhí)行背景區(qū)域和非背景區(qū)域的加權(quán)相加來(lái)更新背景圖像。背景更新處理的說(shuō)明現(xiàn)在將參照?qǐng)D12描述由背景更新單元122進(jìn)行的、更新背景圖像的背景更新處理。如同在圖12中作為示例示出的那樣，背景更新單元122可被提供來(lái)自攝影機(jī)21 的拍攝圖像41。在該示例中，拍攝圖像41由其中顯示桌子161a和遙控器161b的背景區(qū)域 161以及其中顯示人的區(qū)域162構(gòu)成。如在圖12中作為示例所示，背景更新單元122可將顯示桌子161a的背景圖像181 相加到來(lái)自攝影機(jī)的拍攝圖像41。通過(guò)這樣做，背景更新單元122獲取了更新的背景圖像 182，其中，除桌子161a之外，還顯示遙控器161b。換句話說(shuō)，基于來(lái)自對(duì)象檢測(cè)器26的臉部區(qū)域信息和來(lái)自運(yùn)動(dòng)體檢測(cè)器121的運(yùn) 動(dòng)體區(qū)域信息，背景更新單元122可確定拍攝圖像41內(nèi)的哪個(gè)區(qū)域是背景區(qū)域161，以及哪 個(gè)區(qū)域是非背景區(qū)域162 (即，人或運(yùn)動(dòng)體被作為對(duì)象顯示的區(qū)域)。背景更新單元122將比較大的權(quán)重施加到構(gòu)成來(lái)自攝影機(jī)21的拍攝圖像41中背 景區(qū)域161的像素的像素值，同時(shí)將比較小的權(quán)重施加到構(gòu)成背景圖像181中與背景區(qū)域 161對(duì)應(yīng)的區(qū)域部分的像素的像素值。另外，背景更新單元122將比較小的權(quán)重施加到構(gòu)成來(lái)自攝影機(jī)21的拍攝圖像41 中非背景區(qū)域162的像素的像素值，同時(shí)將比較大的權(quán)重施加到構(gòu)成背景圖像181中與區(qū) 域162對(duì)應(yīng)的區(qū)域部分的像素的像素值。隨后，背景更新單元122將通過(guò)加權(quán)新獲得的相應(yīng)像素值一起相加，并且將作為 結(jié)果獲得的像素值設(shè)置作為新背景圖像181的像素值。
背景更新單元122還可被配置成不將來(lái)自攝影機(jī)21的拍攝圖像41中的非背景區(qū) 域162和背景圖像181中與區(qū)域162對(duì)應(yīng)的區(qū)域部分相加。在此，將比較大的加權(quán)施加到拍攝圖像41上的背景區(qū)域161，使得在新背景圖像 182中更多地反映構(gòu)成新背景的背景區(qū)域161。另外，為了防止在新背景圖像181中顯著地反映非背景區(qū)域162(其不應(yīng)該成為背 景的部分)，將比較小的加權(quán)施加到非背景區(qū)域162，并且和在背景圖像181中與區(qū)域162 對(duì)應(yīng)的區(qū)域部分一起相加。這類似于不將非背景區(qū)域162和在背景圖像181中與區(qū)域162對(duì)應(yīng)的區(qū)域部分一 起相加的情況。此外，背景更新單元122使用來(lái)自攝影機(jī)21的新拍攝圖像41和由當(dāng)前背景更新 處理獲得的新背景圖像181再一次進(jìn)行背景更新處理。以該方式，通過(guò)重復(fù)背景更新處 理，背景更新單元122最終獲得更新的背景圖像182，其中，除桌子161a之外還顯示遙控器 161b?，F(xiàn)在返回到圖10，當(dāng)進(jìn)行全掃描時(shí)，檢測(cè)區(qū)域確定單元123基于至少以下之一來(lái) 確定全掃描檢測(cè)區(qū)域來(lái)自攝影機(jī)位置估計(jì)器24的估計(jì)結(jié)果；或者來(lái)自運(yùn)動(dòng)體檢測(cè)器121 的運(yùn)動(dòng)體區(qū)域信息。換句話說(shuō)，檢測(cè)區(qū)域確定單元123可使用來(lái)自運(yùn)動(dòng)體檢測(cè)器121的運(yùn)動(dòng)體區(qū)域信 息來(lái)確定圖像金字塔43內(nèi)的檢測(cè)區(qū)域。稍后將參照?qǐng)D13詳細(xì)描述用于將運(yùn)動(dòng)體區(qū)域設(shè)置 作為檢測(cè)區(qū)域的處理。作為另一個(gè)示例，與第一實(shí)施例類似，檢測(cè)區(qū)域確定單元123還可被配置成基于 從攝影機(jī)位置估計(jì)器24提供的關(guān)于攝影機(jī)21的方位的估計(jì)結(jié)果來(lái)確定檢測(cè)區(qū)域。作為另一個(gè)示例，檢測(cè)區(qū)域確定單元123還有可能首先基于來(lái)自攝影機(jī)位置估計(jì) 器24的估計(jì)結(jié)果來(lái)確定檢測(cè)區(qū)域，并且還基于來(lái)自運(yùn)動(dòng)體檢測(cè)器121的運(yùn)動(dòng)體區(qū)域信息來(lái) 確定檢測(cè)區(qū)域。然后，檢測(cè)區(qū)域確定單元123可確定最終檢測(cè)區(qū)域是來(lái)自以上確定的區(qū)域 的組合區(qū)域部分。當(dāng)進(jìn)行部分掃描時(shí)，與第一實(shí)施例類似，檢測(cè)區(qū)域確定單元123可基于從對(duì)象檢 測(cè)器26提供的如下臉部區(qū)域信息來(lái)確定部分掃描檢測(cè)區(qū)域該臉部區(qū)域信息是用于在經(jīng) 受部分掃描的拍攝圖像之前一幀的拍攝圖像的?；谶\(yùn)動(dòng)體區(qū)域的檢測(cè)區(qū)域的示例性確定圖13示出了如下處理的細(xì)節(jié)憑借該處理，檢測(cè)區(qū)域確定單元123基于來(lái)自運(yùn)動(dòng) 體檢測(cè)器121的運(yùn)動(dòng)體區(qū)域信息，確定部分掃描檢測(cè)區(qū)域。如在圖13的左側(cè)上所示，檢測(cè)區(qū)域確定單元123確定檢測(cè)區(qū)域是由來(lái)自運(yùn)動(dòng)體檢 測(cè)器121的運(yùn)動(dòng)體區(qū)域信息表示的運(yùn)動(dòng)體區(qū)域201。然后，檢測(cè)區(qū)域確定單元123向?qū)ο髾z 測(cè)器26提供表示所確定的檢測(cè)區(qū)域的檢測(cè)區(qū)域信息。如在圖13的右側(cè)上所示，作為以上的結(jié)果，對(duì)象檢測(cè)器26使用從檢測(cè)區(qū)域確定單 元123提供的檢測(cè)區(qū)域信息作為用于進(jìn)行臉部檢測(cè)處理的基礎(chǔ)，其中，金字塔圖像43-1到 43-4中的各個(gè)運(yùn)動(dòng)體區(qū)域201被設(shè)置作為檢測(cè)區(qū)域?，F(xiàn)在返回到圖10，狀態(tài)分析器124基于來(lái)自詳細(xì)信息獲取器28的詳細(xì)信息，分析 對(duì)象的狀態(tài)，并且隨后輸出分析結(jié)果。另外，在分析對(duì)象的狀態(tài)的處理占用大量時(shí)間的情況下，狀態(tài)分析器124還在輸出分析結(jié)果之前，輸出來(lái)自運(yùn)動(dòng)體檢測(cè)器121的運(yùn)動(dòng)體區(qū)域信
肩、ο通過(guò)這樣做，可以更快地識(shí)別對(duì)象已經(jīng)運(yùn)動(dòng)了的可能性。例如，考慮狀態(tài)識(shí)別設(shè)備 (諸如稍后將描述的圖22中的顯示控制設(shè)備321)連接到圖像處理設(shè)備101的情況。狀態(tài) 識(shí)別設(shè)備基于來(lái)自狀態(tài)分析器124的結(jié)果，識(shí)別對(duì)象的狀態(tài)。在這種情況下，狀態(tài)識(shí)別設(shè)備 能使用在分析結(jié)果之前從狀態(tài)分析器124提供的運(yùn)動(dòng)體區(qū)域信息，來(lái)更快地識(shí)別對(duì)象已經(jīng) 運(yùn)動(dòng)了的可能性?？刂破?25對(duì)從攝影機(jī)21到攝影機(jī)位置估計(jì)器24的部件、從對(duì)象檢測(cè)器26到詳 細(xì)信息獲取器28的部件、以及從運(yùn)動(dòng)體檢測(cè)器121到狀態(tài)分析器124的部件進(jìn)行控制。從 由攝影機(jī)21獲取的拍攝圖像當(dāng)中，控制器125使得以每若干幀一幀的頻率進(jìn)行全掃描，同 時(shí)還使得針對(duì)剩余幀進(jìn)行部分掃描。第二對(duì)象檢查處理的操作現(xiàn)在，圖14中的流程圖將用來(lái)詳細(xì)描述由圖像處理設(shè)備101進(jìn)行的第二對(duì)象檢測(cè)處理。在步驟S31和S32中，進(jìn)行與圖8中的步驟Sl和S2的處理類似的處理。在步驟S33中，控制器125確定是否進(jìn)行全掃描?；谕ㄟ^(guò)攝影機(jī)21的成像已經(jīng) 獲取的拍攝圖像的數(shù)目，做出該確定。如果控制器125基于通過(guò)攝影機(jī)21的成像獲取的拍 攝圖像的數(shù)目，確定不進(jìn)行全掃描，那么處理前進(jìn)到步驟S41。換句話說(shuō)，當(dāng)控制器125確定 進(jìn)行部分掃描時(shí)，處理前進(jìn)到步驟S41。在步驟S41到S43中，進(jìn)行與圖8中的步驟S9到Sll的處理類似的處理。同時(shí)，如果控制器125基于通過(guò)攝影機(jī)21的成像獲取的拍攝圖像的數(shù)目，確定進(jìn) 行全掃描，那么處理前進(jìn)到步驟S34。在步驟S34和S35中，進(jìn)行與圖8中的步驟S4和S5的處理類似的處理。在步驟S36中，如圖11中所示，運(yùn)動(dòng)體檢測(cè)器121基于來(lái)自對(duì)象檢測(cè)器26的臉部 區(qū)域信息、來(lái)自攝影機(jī)21的拍攝圖像41以及來(lái)自背景更新單元122的背景圖像，檢測(cè)來(lái)自 攝影機(jī)21的拍攝圖像41中的運(yùn)動(dòng)體。在步驟S37中，背景更新單元122如圖12中所示，使用來(lái)自對(duì)象檢測(cè)器26的臉部 區(qū)域信息以及來(lái)自運(yùn)動(dòng)體檢測(cè)器121的運(yùn)動(dòng)體區(qū)域信息作為基礎(chǔ)，用于確定來(lái)自攝影機(jī)21 的拍攝圖像41中哪些區(qū)域與用于背景部分的背景區(qū)域161對(duì)應(yīng)，以及哪些區(qū)域與用于除了 背景部分之外的所有部分的區(qū)域162對(duì)應(yīng)。隨后，背景更新單元122進(jìn)行背景更新處理。換句話說(shuō)，背景更新單元122通過(guò)使 用各自不同的比率執(zhí)行背景區(qū)域161和非背景區(qū)域162的加權(quán)相加，來(lái)根據(jù)背景圖像181 獲取更新的背景圖像182。在步驟S38中，檢測(cè)區(qū)域確定單元123如圖13中所示可例如確定全掃描檢測(cè)區(qū)域 是由從運(yùn)動(dòng)體檢測(cè)器121提供的運(yùn)動(dòng)體區(qū)域信息表示的運(yùn)動(dòng)體區(qū)域201。作為另一個(gè)示例，檢測(cè)區(qū)域確定單元123還可被配置成首先基于來(lái)自攝影機(jī)位置 估計(jì)器24的估計(jì)結(jié)果來(lái)確定檢測(cè)區(qū)域，并且還基于來(lái)自運(yùn)動(dòng)體檢測(cè)器121的運(yùn)動(dòng)體區(qū)域信 息來(lái)確定檢測(cè)區(qū)域。然后，檢測(cè)區(qū)域確定單元123可確定最終的檢測(cè)區(qū)域是來(lái)自以上確定 的區(qū)域的組合區(qū)域部分。
21
在步驟S39、S40以及S44中，分別進(jìn)行與圖8中的步驟S7、S8以及S12的處理類 似的處理。在步驟S45中，狀態(tài)分析器124基于來(lái)自詳細(xì)信息獲取器28的詳細(xì)信息，分析對(duì) 象的狀態(tài)，并且隨后輸出分析結(jié)果。另外，在分析對(duì)象的狀態(tài)的處理占用大量時(shí)間的情況 下，狀態(tài)分析器124還在輸出分析結(jié)果之前，輸出來(lái)自運(yùn)動(dòng)體檢測(cè)器121的運(yùn)動(dòng)體區(qū)域信 肩、ο一旦已經(jīng)完成了步驟S45中的處理，處理返回到步驟S31，并且此后進(jìn)行與以上類 似的處理。如上所述，根據(jù)第二對(duì)象檢測(cè)處理，例如，當(dāng)進(jìn)行全掃描時(shí)，檢測(cè)區(qū)域確定單元123 可確定檢測(cè)區(qū)域是拍攝圖像41內(nèi)的運(yùn)動(dòng)體區(qū)域。因此，根據(jù)第二對(duì)象檢測(cè)處理，與對(duì)于每幀將圖像金字塔43內(nèi)的整個(gè)圖像區(qū)域設(shè) 置作為檢測(cè)區(qū)域的情況相比，有可能更快地并且利用更少計(jì)算來(lái)檢測(cè)對(duì)象。在幀間差分處理中改變運(yùn)動(dòng)體門限值的示例同時(shí)，如前面所述，幀間差分處理可替代背景差分處理被實(shí)現(xiàn)為運(yùn)動(dòng)體檢測(cè)器121 借以檢測(cè)運(yùn)動(dòng)體的方法。由于控制器125上的負(fù)載或者其它因素，從攝影機(jī)21提供到運(yùn)動(dòng)體檢測(cè)器121的 拍攝圖像的幀速率可能變化。在這樣的情況下，如果在幀間差分處理中使用固定運(yùn)動(dòng)體門 限值而不考慮幀速率變化，則可能出現(xiàn)錯(cuò)誤檢測(cè)運(yùn)動(dòng)體的某些運(yùn)動(dòng)的情況。換句話說(shuō)，在由于幀速率的變化而幀速率增大的情況下(即，在相鄰幀之間的成 像間隔變得更短的情況下)，在相鄰幀之間產(chǎn)生的運(yùn)動(dòng)體的運(yùn)動(dòng)變得比較小。為此，如果使 用固定運(yùn)動(dòng)體門限值，那么可能檢測(cè)不到運(yùn)動(dòng)體的微小運(yùn)動(dòng)。作為另一個(gè)示例，在由于幀速率的變化而幀速率降低的情況下(即，在相鄰幀之 間的成像間隔變得更長(zhǎng)的情況下)，沒有被視為運(yùn)動(dòng)體的靜止體的運(yùn)動(dòng)變得比較大。為此， 如果使用固定運(yùn)動(dòng)體門限值，那么靜止體的較大運(yùn)動(dòng)可能被錯(cuò)誤檢測(cè)為運(yùn)動(dòng)體的運(yùn)動(dòng)。因此，在從攝影機(jī)21提供到運(yùn)動(dòng)體檢測(cè)器121的拍攝圖像的幀速率中存在變化 時(shí)，優(yōu)選地是，根據(jù)幀速率中的變化來(lái)適當(dāng)?shù)馗淖冞\(yùn)動(dòng)體門限值。圖15示出了如何根據(jù)幀速率來(lái)改變運(yùn)動(dòng)體門限值的一個(gè)示例。在圖15中，水平軸表示相鄰幀之間的時(shí)間At，同時(shí)垂直軸表示運(yùn)動(dòng)體門限值。在時(shí)間At短的情況下(即，在幀速率高的情況下)，相鄰幀之間顯示的運(yùn)動(dòng)體的 運(yùn)動(dòng)變得小。相反，在時(shí)間At長(zhǎng)的情況下(S卩，在幀速率低的情況下)，相鄰幀之間顯示的 運(yùn)動(dòng)體的運(yùn)動(dòng)變得大。因此，如圖15中所示，由于在時(shí)間At短的情況下幀之間的運(yùn)動(dòng)體的運(yùn)動(dòng)變得更 小，因此運(yùn)動(dòng)體檢測(cè)器121降低運(yùn)動(dòng)體門限值。隨著時(shí)間At變得更長(zhǎng)，幀之間的運(yùn)動(dòng)體的 運(yùn)動(dòng)變得更大，并且因此運(yùn)動(dòng)體檢測(cè)器121增大運(yùn)動(dòng)體門限值。通過(guò)這樣做，即使當(dāng)幀速率變化時(shí)，也有可能檢測(cè)到運(yùn)動(dòng)體的某些運(yùn)動(dòng)而不錯(cuò)誤 檢測(cè)靜止體。這里，第二實(shí)施例被配置為使得基于至少以下之一來(lái)確定全掃描檢測(cè)區(qū)域來(lái)自 攝影機(jī)位置估計(jì)器24的估計(jì)結(jié)果(S卩，攝影機(jī)21的方位)，或者拍攝圖像41內(nèi)的運(yùn)動(dòng)體區(qū) 域。然而，應(yīng)該明白的是，有可能以除了以上之外的方式配置第二實(shí)施例以確定檢測(cè)區(qū)域。例如，可通過(guò)查閱表示從攝影機(jī)21到成像目標(biāo)(除要檢測(cè)的對(duì)象之外，深度映射還可包括 關(guān)于不作為檢測(cè)目標(biāo)的物體的信息)的距離的深度映射(見下文中將描述的圖17)，來(lái)確定 檢測(cè)區(qū)域。4.第三實(shí)施例圖16示出了根據(jù)第三實(shí)施例的圖像處理設(shè)備221的示例性配置。圖像處理設(shè)備 221被配置成通過(guò)查閱表示從攝影機(jī)21到成像目標(biāo)的距離的深度映射來(lái)確定全掃描檢測(cè) 區(qū)域。這里，與圖10中示出的第二實(shí)施例對(duì)應(yīng)的圖16中的部分被給予相同附圖標(biāo)記，并 且可在下文中省略對(duì)這樣的部分的進(jìn)一步描述。因此，根據(jù)第三實(shí)施例的圖像處理設(shè)備221新配備有距離檢測(cè)器241。另外，由檢 測(cè)區(qū)域確定單元242和控制器243分別替換了檢測(cè)區(qū)域確定單元123和控制器125。在其 它方面，第三實(shí)施例被配置成與第二實(shí)施例類似。例如，距離檢測(cè)器241包括諸如激光測(cè)距儀的部件。借助于激光測(cè)距儀，距離檢測(cè) 器241朝成像目標(biāo)照射激光，并且檢測(cè)作為激光照明成像目標(biāo)并被反射回來(lái)的結(jié)果而獲得 的反射光。隨后，距離檢測(cè)器241測(cè)量當(dāng)朝成像目標(biāo)照射激光時(shí)與當(dāng)檢測(cè)到反射光時(shí)之間 的時(shí)間量?；谒鶞y(cè)量的時(shí)間量和激光的速度，計(jì)算從距離檢測(cè)器241 ( S卩，圖像處理設(shè)備 221)到成像目標(biāo)的距離。然后，距離檢測(cè)器241向檢測(cè)區(qū)域確定單元242提供距離信息，其將所計(jì)算的距離 與成像目標(biāo)中的位置相關(guān)聯(lián)。應(yīng)該明白的是，距離檢測(cè)器241可被配置成以除了以上之外的方式計(jì)算到成像目 標(biāo)的距離。例如，可使用涉及多個(gè)攝影機(jī)的立體聲方法，其中，多個(gè)攝影機(jī)當(dāng)中的視差用于 計(jì)算到成像目標(biāo)的距離?；趤?lái)自距離檢測(cè)器241的距離信息，檢測(cè)區(qū)域確定單元242生成深度映射，其表 示到在拍攝圖像41中顯示的成像目標(biāo)的距離。隨后，例如，檢測(cè)區(qū)域確定單元242基于所生成的深度映射，確定用于金字塔圖像 43-1到43-4的各個(gè)檢測(cè)區(qū)域。稍后將參照?qǐng)D17詳細(xì)描述用于基于深度映射來(lái)確定檢測(cè)區(qū) 域的方法。這里，檢測(cè)區(qū)域確定單元242生成深度映射，并且隨后基于所生成的深度映射，確 定檢測(cè)區(qū)域。除以上之外，然而，檢測(cè)區(qū)域確定單元242有可能基于至少以下之一來(lái)確定檢 測(cè)區(qū)域來(lái)自攝影機(jī)位置估計(jì)器24的估計(jì)結(jié)果，來(lái)自運(yùn)動(dòng)體檢測(cè)器121的運(yùn)動(dòng)體區(qū)域信息， 或者所生成的深度映射。作為更具體的示例，檢測(cè)區(qū)域確定單元242有可能首先基于來(lái)自攝影機(jī)位置估計(jì) 器24的估計(jì)結(jié)果來(lái)確定檢測(cè)區(qū)域，并且基于來(lái)自運(yùn)動(dòng)體檢測(cè)器121的運(yùn)動(dòng)體區(qū)域信息來(lái)確 定檢測(cè)區(qū)域。然后，檢測(cè)區(qū)域確定單元242可確定最終檢測(cè)區(qū)域是來(lái)自至少一個(gè)以上檢測(cè) 區(qū)域以及基于生成的深度映射來(lái)確定的檢測(cè)區(qū)域的組合區(qū)域部分?；谏疃扔成涞臋z測(cè)區(qū)域的示例性確定圖17示出了如下處理的細(xì)節(jié)憑借該處理，檢測(cè)區(qū)域確定單元242基于使用來(lái)自 距離檢測(cè)器241的距離信息生成的深度映射，確定全掃描檢測(cè)區(qū)域。如在圖17的左側(cè)所示，檢測(cè)區(qū)域確定單元242基于來(lái)自距離檢測(cè)器241的距離信息，生成深度映射。在圖17的左側(cè)上示出了深度映射中的若干區(qū)域。區(qū)域261-1表示從攝影機(jī)21到 在空間范圍Dl內(nèi)存在的成像目標(biāo)的部分的距離(即，區(qū)域261-1是其中顯示在空間范圍Dl 內(nèi)存在的成像目標(biāo)的部分的區(qū)域)。區(qū)域261-2表示從攝影機(jī)21到在空間范圍D2內(nèi)存在 的成像目標(biāo)的部分的距離(即，區(qū)域261-2是其中顯示在空間范圍D2內(nèi)存在的成像目標(biāo)的 部分的區(qū)域)。區(qū)域261-3表示從攝影機(jī)21到在空間范圍D3內(nèi)存在的成像目標(biāo)的部分的距離 (即，區(qū)域261-3是其中顯示在空間范圍D3內(nèi)存在的成像目標(biāo)的部分的區(qū)域)。區(qū)域261-4 表示從攝影機(jī)21到在空間范圍D4內(nèi)存在的成像目標(biāo)的部分的距離(即，區(qū)域261-4是其 中顯示在空間范圍D4內(nèi)存在的成像目標(biāo)的部分的區(qū)域)。如在圖17的右側(cè)所示，檢測(cè)區(qū)域確定單元242確定所生成的深度映射中的區(qū)域 261-1是用于金字塔圖像43-1的檢測(cè)區(qū)域。該檢測(cè)區(qū)域?qū)⒂糜跈z測(cè)在空間范圍Dl內(nèi)存在 的一個(gè)或多個(gè)人的臉部。另外，檢測(cè)區(qū)域確定單元242確定所生成的深度映射中的區(qū)域261-2是用于金字 塔圖像43-2的檢測(cè)區(qū)域。該檢測(cè)區(qū)域?qū)⒂糜跈z測(cè)在空間范圍D2內(nèi)存在的一個(gè)或多個(gè)人的 臉部。檢測(cè)區(qū)域確定單元242確定所生成的深度映射中的區(qū)域261-3是用于金字塔圖像 43-3的檢測(cè)區(qū)域。該檢測(cè)區(qū)域?qū)⒂糜跈z測(cè)在空間范圍D3內(nèi)存在的一個(gè)或多個(gè)人的臉部。檢測(cè)區(qū)域確定單元242確定所生成的深度映射中的區(qū)域261-4是用于金字塔圖像 43-4的檢測(cè)區(qū)域。該檢測(cè)區(qū)域?qū)⒂糜跈z測(cè)在空間范圍D4內(nèi)存在的一個(gè)或多個(gè)人的臉部。然后，檢測(cè)區(qū)域確定單元242向?qū)ο髾z測(cè)器26提供檢測(cè)區(qū)域信息，其表示確定的 檢測(cè)區(qū)域?？刂破?43對(duì)從攝影機(jī)21到攝影機(jī)位置估計(jì)器24的部件、從對(duì)象檢測(cè)器26到詳 細(xì)信息獲取器28的部件、以及運(yùn)動(dòng)體檢測(cè)器121、背景更新單元122、狀態(tài)分析器124、距離 檢測(cè)器241以及檢測(cè)區(qū)域確定單元242進(jìn)行控制。從由攝影機(jī)21獲取的拍攝圖像當(dāng)中，控 制器243使得以每若干幀一幀的頻率進(jìn)行全掃描，同時(shí)還使得針對(duì)剩余幀進(jìn)行部分掃描。第三對(duì)象檢測(cè)處理的操作現(xiàn)在將參照?qǐng)D18中的流程圖描述由圖像處理設(shè)備221進(jìn)行的第三對(duì)象檢測(cè)處理。在步驟S61和S62中，進(jìn)行與圖14中的步驟S31和S32的處理類似的處理。在步驟S63中，控制器243確定是否進(jìn)行全掃描?；谕ㄟ^(guò)攝影機(jī)21的成像已經(jīng) 獲取的拍攝圖像的數(shù)目，做出該確定。如果控制器243基于通過(guò)攝影機(jī)21的成像獲取的拍 攝圖像的數(shù)目，確定不進(jìn)行全掃描，那么處理前進(jìn)到步驟S72。換句話說(shuō)，當(dāng)控制器243確定 進(jìn)行部分掃描時(shí)，處理前進(jìn)到步驟S72。在步驟S72到S74中，進(jìn)行與圖14中的步驟S41到S43的處理類似的處理。同時(shí)，如果在步驟S63中控制器243基于通過(guò)攝影機(jī)21的成像已經(jīng)獲取的拍攝圖 像的數(shù)目，確定進(jìn)行全掃描，那么處理前進(jìn)到步驟S64。在步驟S64到S67中，進(jìn)行與圖14中的步驟S34到S37的處理類似的處理。在步驟S68中，距離檢測(cè)器241朝圖像目標(biāo)照射激光，并且檢測(cè)作為激光照明成像 目標(biāo)并被反射回來(lái)的結(jié)果獲得的反射光。隨后，距離檢測(cè)器241測(cè)量當(dāng)朝成像目標(biāo)照射激光時(shí)與當(dāng)檢測(cè)到反射光時(shí)之間的時(shí)間量。基于所測(cè)量的時(shí)間量和激光的速度，計(jì)算從距離 檢測(cè)器241 ( S卩，圖像處理設(shè)備221)到成像目標(biāo)的距離。然后，距離檢測(cè)器241向檢測(cè)區(qū)域確定單元242提供距離信息，距離信息將所計(jì)算 的距離與成像目標(biāo)中的位置相關(guān)聯(lián)。在步驟S69中，檢測(cè)區(qū)域確定單元242基于來(lái)自距離檢測(cè)器241的距離信息，生成 深度映射。深度映射表示到在拍攝圖像41中顯示的一個(gè)或多個(gè)對(duì)象的距離。隨后，檢測(cè)區(qū)域確定單元242使用生成的深度映射作為用于確定用于金字塔圖像 43-1到43-4的各個(gè)檢測(cè)區(qū)域的基礎(chǔ)。然后，檢測(cè)區(qū)域確定單元242向?qū)ο髾z測(cè)器26提供 檢測(cè)區(qū)域信息，檢測(cè)區(qū)域信息表示所確定的檢測(cè)區(qū)域。如前面所述，應(yīng)該明白的是，除深度映射之外，檢測(cè)區(qū)域確定單元242還有可能基 于諸如來(lái)自運(yùn)動(dòng)體檢測(cè)器121的運(yùn)動(dòng)體區(qū)域信息和來(lái)自攝影機(jī)位置估計(jì)器24的估計(jì)結(jié)果 的信息，確定檢測(cè)區(qū)域。在步驟S70、S71、S75以及S76中，分別進(jìn)行與圖14中的步驟S39、S40、S44以及 S45的處理類似的處理。如上所述，根據(jù)第三對(duì)象檢測(cè)處理，當(dāng)進(jìn)行全掃描時(shí)，檢測(cè)區(qū)域確定單元242可確 定檢測(cè)區(qū)域是來(lái)自圖像金字塔43中的區(qū)域當(dāng)中的特定區(qū)域?；诒硎镜匠上衲繕?biāo)的距離 的深度映射，做出該確定。因此，根據(jù)第三對(duì)象檢測(cè)處理，與對(duì)于每幀將圖像金字塔43內(nèi)的整個(gè)圖像區(qū)域設(shè) 置作為檢測(cè)區(qū)域的情況相比，變得有可能更快并且利用更少計(jì)算來(lái)檢測(cè)對(duì)象。5.修改第一到第三實(shí)施例被配置為使得當(dāng)進(jìn)行全掃描時(shí)，對(duì)象檢測(cè)器26檢測(cè)在用于所 有金字塔圖像43-1到43-4的各個(gè)檢測(cè)區(qū)域中存在的臉部。然而，在第一到第三實(shí)施例中，更接近圖像處理設(shè)備1(或101或221)的對(duì)象是更 重要的用于檢測(cè)的對(duì)象。通過(guò)考慮該因素，實(shí)施例還可被配置成按43-1、43-2、43-3、43-4 的順序從各金字塔圖像中檢測(cè)一個(gè)或多個(gè)人臉(即，按D1、D2、D3、D4的順序從各空間范圍 中檢測(cè)一個(gè)或多個(gè)人臉)。一旦檢測(cè)到的臉部的數(shù)目符合或超過(guò)預(yù)定數(shù)目，則可終止處理。在這種情況下，變得有可能縮短處理時(shí)間，同時(shí)依然使得實(shí)現(xiàn)對(duì)用于檢測(cè)的重要 的人臉的檢測(cè)。另外，在第一到第三實(shí)施例中，對(duì)象檢測(cè)器26被配置成在被設(shè)置作為檢測(cè)區(qū)域的 全部一個(gè)或多個(gè)區(qū)域中檢測(cè)一個(gè)或多個(gè)臉部。然而，如果存在已經(jīng)檢測(cè)到一個(gè)或多個(gè)臉部 的區(qū)域，那么可從檢測(cè)區(qū)域中移除那些區(qū)域，并且可確定最終檢測(cè)區(qū)域是在這樣的移除之 后剩余的區(qū)域。作為示例，考慮在圖20中示出的情況，其中，在用于金字塔圖像43-1的檢測(cè)區(qū)域 中已經(jīng)檢測(cè)到了臉部區(qū)域281 (在這種情況下，檢測(cè)區(qū)域是整個(gè)金字塔圖像43-1)。在這種 情況下，從用于金字塔圖像43-2的檢測(cè)區(qū)域中移除臉部區(qū)域281 (在這種情況下，移除之前 的檢測(cè)區(qū)域是整個(gè)金字塔圖像43-2)。有可能配置實(shí)施例使得，如果在金字塔圖像43-2中隨后檢測(cè)到另一個(gè)臉部區(qū)域 282，那么從用于金字塔圖像43-3的檢測(cè)區(qū)域中移除臉部區(qū)域281和臉部區(qū)域282 (在這種 情況下，移除之前的檢測(cè)區(qū)域是整個(gè)金字塔圖像43-3)。同樣，從用于金字塔圖像43-4的檢測(cè)區(qū)域中移除臉部區(qū)域281和臉部區(qū)域282 (在這種情況下，移除之前的檢測(cè)區(qū)域是整個(gè)金 字塔圖像43-4)。另外，在第一到第三實(shí)施例中，對(duì)象檢測(cè)器26被配置為使得對(duì)于每個(gè)拍攝圖像， 對(duì)象檢測(cè)器26相繼地聚焦于構(gòu)成與當(dāng)前拍攝圖像對(duì)應(yīng)的圖像金字塔43內(nèi)的檢測(cè)區(qū)域的多 個(gè)像素。然后，對(duì)象檢測(cè)器26通過(guò)取得總共包含四個(gè)像素的正方形區(qū)域(其中，當(dāng)前聚焦 像素被設(shè)置作為左上角像素)來(lái)提取比較區(qū)域。然后，對(duì)象檢測(cè)器26對(duì)提取的比較區(qū)域和 模板進(jìn)行比較，并且基于比較結(jié)果，進(jìn)行臉部檢測(cè)。然而，例如，對(duì)象檢測(cè)器26還可針對(duì)圖像金字塔43僅聚焦于1/4的像素，并且因 此將所提取的比較區(qū)域的數(shù)目減少到1/4。這樣做，有可能縮短在臉部檢測(cè)中占用的處理時(shí) 間?，F(xiàn)在，圖21A到21D將用于描述用于從圖像金字塔43提取正方形比較區(qū)域(用于 與模板比較)的方法的一個(gè)示例。在圖21A中示出的檢測(cè)區(qū)域301示出了用于在給定時(shí)間進(jìn)行的第一全掃描的檢測(cè) 區(qū)域。在圖21B中示出的檢測(cè)區(qū)域302示出了用于在第一全掃描之后緊接著進(jìn)行的第二全 掃描的檢測(cè)區(qū)域。在圖21C中示出的檢測(cè)區(qū)域303示出了用于在第二全掃描之后緊接著進(jìn)行的第三 全掃描的檢測(cè)區(qū)域。在圖21D中示出的檢測(cè)區(qū)域304示出了用于在第三全掃描之后緊接著 進(jìn)行的第四全掃描的檢測(cè)區(qū)域。作為示例，在第一全掃描期間，對(duì)象檢測(cè)器26可相繼地將聚焦像素設(shè)置為構(gòu)成圖 像金字塔43中檢測(cè)區(qū)域301(見圖21A)的多個(gè)像素當(dāng)中以白色示出的像素之一。對(duì)象檢測(cè)器26還提取總共包含四個(gè)像素的正方形比較區(qū)域，其中，每個(gè)相繼的聚 焦像素分別被設(shè)置作為左上角像素。然后，對(duì)象檢測(cè)器26對(duì)所提取的比較區(qū)域和模板進(jìn)行 比較，并且基于比較結(jié)果，進(jìn)行臉部檢測(cè)。作為另一個(gè)示例，在第二全掃描期間，對(duì)象檢測(cè)器26可相繼地將聚焦像素設(shè)置為 構(gòu)成圖像金字塔43中檢測(cè)區(qū)域302(見圖21B)的多個(gè)像素當(dāng)中以白色示出的像素之一。對(duì)象檢測(cè)器26還提取總共包含四個(gè)像素的正方形比較區(qū)域，其中，每個(gè)相繼的聚 焦像素分別被設(shè)置作為左上角像素。對(duì)象檢測(cè)器26對(duì)所提取的比較區(qū)域和模板進(jìn)行比較， 并且基于比較結(jié)果，進(jìn)行臉部檢測(cè)。作為另一個(gè)示例，在第三全掃描期間，對(duì)象檢測(cè)器26可相繼地將聚焦像素設(shè)置為 構(gòu)成圖像金字塔43中檢測(cè)區(qū)域303 (見圖21C)的多個(gè)像素當(dāng)中以白色示出的像素之一。對(duì)象檢測(cè)器26還提取總共包含四個(gè)像素的正方形比較區(qū)域，其中，每個(gè)相繼的聚 焦像素分別被設(shè)置作為左上角像素。對(duì)象檢測(cè)器26對(duì)所提取的比較區(qū)域和模板進(jìn)行比較， 并且基于比較結(jié)果，進(jìn)行臉部檢測(cè)。作為另一個(gè)示例，在第四全掃描期間，對(duì)象檢測(cè)器26可相繼地將聚焦像素設(shè)置為 構(gòu)成圖像金字塔43中檢測(cè)區(qū)域304(見圖21D)的多個(gè)像素當(dāng)中以白色示出的像素之一。對(duì)象檢測(cè)器26還提取總共包含四個(gè)像素的正方形比較區(qū)域，其中，每個(gè)相繼的聚 焦像素分別被設(shè)置作為左上角像素。然后，對(duì)象檢測(cè)器26對(duì)提取的比較區(qū)域和模板進(jìn)行比 較，并且基于比較結(jié)果，進(jìn)行臉部檢測(cè)。通過(guò)這樣做，與當(dāng)構(gòu)成檢測(cè)區(qū)域的所有像素被設(shè)置作為聚焦像素時(shí)的情況相比，被設(shè)置作為聚焦像素的像素的數(shù)目可以被設(shè)置為1/4。為此，所提取的比較區(qū)域的數(shù)目也變 成1/4，因此使得有可能縮短處理時(shí)間。另外，根據(jù)在圖21中示出的比較區(qū)域提取方法，雖然分別從檢測(cè)區(qū)域301到304 提取的比較區(qū)域的數(shù)目變成1/4，但是檢測(cè)區(qū)域自身的尺寸沒有減少到1/4，反而保持相 同。為此，有可能防止作為比較區(qū)域的數(shù)目降低到1/4的結(jié)果，臉部檢測(cè)率也下降到1/4。應(yīng)該明白的是，在圖21中示出的比較區(qū)域提取方法還可以被應(yīng)用到部分掃描檢 測(cè)區(qū)域。另外，用于確定檢測(cè)區(qū)域的方法不限于在第一到第三實(shí)施例中描述的檢測(cè)區(qū)域確 定方法。任一在前描述的多個(gè)確定方法可用于確定檢測(cè)區(qū)域。替選地，多個(gè)確定方法中的 至少兩個(gè)或多個(gè)可用來(lái)分別確定檢測(cè)區(qū)域。然后，可確定最終檢測(cè)區(qū)域是來(lái)自以上所確定 的區(qū)域的組合區(qū)域。在第一實(shí)施例中，圖像處理設(shè)備1被描述為內(nèi)置攝影機(jī)21和加速度傳感器23。然 而，除此配置之外，攝影機(jī)21和加速度傳感器23可與圖像處理設(shè)備1分離配置，并且不被 內(nèi)置在圖像處理設(shè)備1中。類似推理也可被應(yīng)用到第二和第三實(shí)施例。在第三實(shí)施例中，圖像處理設(shè)備221被描述為內(nèi)置距離檢測(cè)器241。然而，除此配 置之外，距離檢測(cè)器241可與圖像處理設(shè)備221分離配置，并且不被內(nèi)置在圖像處理設(shè)備 221 中。雖然第一對(duì)象檢測(cè)處理被配置為使得當(dāng)進(jìn)行全掃描時(shí)不進(jìn)行部分掃描，但是第一 對(duì)象檢測(cè)處理不限于此。換句話說(shuō)，例如，第一對(duì)象檢測(cè)處理還可被配置為使得當(dāng)進(jìn)行全掃 描時(shí)還進(jìn)行部分掃描。在這種情況下，在第一對(duì)象檢測(cè)處理中將進(jìn)行更多的部分掃描。結(jié)果，詳細(xì)信息獲 取器28將能獲取更多數(shù)量的詳細(xì)信息，同時(shí)狀態(tài)分析器29將能基于所獲取的詳細(xì)信息，更 詳細(xì)地分析對(duì)象的狀態(tài)。類似推理也可被應(yīng)用到第二和第三對(duì)象檢測(cè)處理。6.第四實(shí)施例圖22示出了顯示控制設(shè)備321的示例性配置。顯示控制設(shè)備321包括圖像處理 器342，圖像處理器342進(jìn)行與圖像處理設(shè)備1、101或221的處理類似的處理。顯示控制設(shè)備321連接到如下器件由多個(gè)攝影機(jī)構(gòu)成的攝影機(jī)組322 ；輸出音 頻的一個(gè)或多個(gè)揚(yáng)聲器323 ；由諸如加速度傳感器、角速度傳感器、激光測(cè)距儀的多個(gè)傳感 器構(gòu)成的傳感器組324 ；顯示電視節(jié)目或其它內(nèi)容的顯示器325 ；以及存儲(chǔ)由顯示控制設(shè)備 321收集的信息的信息收集服務(wù)器326。顯示控制設(shè)備321設(shè)置有圖像輸入單元341、圖像處理器342、觀眾狀態(tài)分析器 343、觀眾狀態(tài)存儲(chǔ)單元344、系統(tǒng)最優(yōu)化處理器345以及系統(tǒng)控制器346。圖像輸入單元341將拍攝圖像從攝影機(jī)組322提供(輸入)到圖像處理器342。圖像處理器342被提供來(lái)自圖像輸入單元341的拍攝圖像，同時(shí)還被提供來(lái)自傳 感器組324的各種信息。例如，圖像處理設(shè)備342還接收由加速度傳感器檢測(cè)到的加速度、 由角速度傳感器檢測(cè)到的角速度以及由激光測(cè)距儀檢測(cè)到的到成像目標(biāo)的距離?；趶膫鞲衅鹘M324提供的加速度、角速度或者到成像目標(biāo)的距離、以及從圖像 輸入單元341提供的拍攝圖像，圖像處理器342進(jìn)行與前面描述的第一到第三對(duì)象檢測(cè)處 理的處理類似的處理。然后，圖像處理器342向觀眾狀態(tài)分析器343提供關(guān)于一個(gè)或多個(gè)對(duì)象的狀態(tài)得到的分析結(jié)果?；趤?lái)自圖像處理器342的分析結(jié)果，觀眾狀態(tài)分析器343分析觀看在顯示器325 上顯示的圖像(即，電視節(jié)目)的一個(gè)或多個(gè)用戶(即，對(duì)象)的注意力。然后，觀眾狀態(tài) 分析器343將分析結(jié)果作為識(shí)別數(shù)據(jù)信息提供到觀眾狀態(tài)存儲(chǔ)單元344和系統(tǒng)最優(yōu)化處理 器 345。經(jīng)由諸如因特網(wǎng)或局域網(wǎng)(LAN)的網(wǎng)絡(luò)，觀眾狀態(tài)存儲(chǔ)單元344在信息收集服務(wù) 器326中將從觀眾狀態(tài)分析器343提供的識(shí)別數(shù)據(jù)信息發(fā)送并存儲(chǔ)(即，記錄)。另外，觀 眾狀態(tài)存儲(chǔ)單元344經(jīng)由諸如因特網(wǎng)或LAN的網(wǎng)絡(luò)接收從信息收集服務(wù)器326提供的識(shí)別 數(shù)據(jù)信息，并且將接收到的信息提供到系統(tǒng)最優(yōu)化處理器345?；趶挠^眾狀態(tài)分析器343或觀眾狀態(tài)存儲(chǔ)單元344提供的識(shí)別數(shù)據(jù)信息，系統(tǒng) 最優(yōu)化處理器345使得系統(tǒng)控制器346針對(duì)一個(gè)或多個(gè)用戶的注意力進(jìn)行優(yōu)化控制。遵循系統(tǒng)最優(yōu)化處理器345的指示，系統(tǒng)控制器346調(diào)整各種設(shè)置，諸如顯示器 325的顯示亮度；在顯示器325上顯示的節(jié)目?jī)?nèi)容；以及從一個(gè)或多個(gè)揚(yáng)聲器323輸出的音
頻的音量。同時(shí)，在顯示控制設(shè)備321中，觀眾狀態(tài)分析器343被配置成基于關(guān)于從圖像處理 器342提供的一個(gè)或多個(gè)對(duì)象的狀態(tài)的分析結(jié)果，分析一個(gè)或多個(gè)用戶的注意力。因此，觀眾狀態(tài)分析器343在如下情況下將不能分析用戶注意力，直到完成了對(duì) 象狀態(tài)分析處理為止在圖像處理器342中用于分析一個(gè)或多個(gè)對(duì)象的狀態(tài)的對(duì)象狀態(tài)分 析處理占用大量時(shí)間。在這樣的情況下，作為在對(duì)象狀態(tài)分析處理中占用過(guò)長(zhǎng)時(shí)間的結(jié)果，觀眾狀態(tài)分 析器343可能不能很快分析用戶注意力。因此，圖像處理器342可被配置成使得在對(duì)象狀態(tài)分析處理占用大量時(shí)間的情況 下，如圖23中所示，在作為對(duì)象狀態(tài)分析處理的結(jié)果獲得的分析結(jié)果之前，將運(yùn)動(dòng)體區(qū)域 信息提供到觀眾狀態(tài)分析器343。示例性圖像處理器342圖23示出了圖像處理器342的一個(gè)示例，其在作為對(duì)象狀態(tài)分析處理的結(jié)果獲得 的分析結(jié)果之前輸出運(yùn)動(dòng)體區(qū)域信息。圖像處理器342與第二或第三實(shí)施例中的圖像處理設(shè)備101或221類似地配置。在圖23中，“應(yīng)用”指與顯示控制設(shè)備321中的圖像輸入單元341和觀眾狀態(tài)分析 器343對(duì)應(yīng)的應(yīng)用。如在圖23中作為示例所示，在時(shí)刻tl處，圖像處理器342可在從圖像輸入單元 341提供的拍攝圖像中檢測(cè)運(yùn)動(dòng)體區(qū)域，并且確定全掃描檢測(cè)區(qū)域是檢測(cè)到的運(yùn)動(dòng)體區(qū)域。 隨后，圖像處理器342可在所確定的檢測(cè)區(qū)域中檢測(cè)一個(gè)或多個(gè)對(duì)象，并且基于檢測(cè)結(jié)果， 分析一個(gè)或多個(gè)對(duì)象的狀態(tài)。在時(shí)刻t3處，圖像處理器342正在將分析結(jié)果輸出到觀眾狀 態(tài)分析器343應(yīng)用。在這種情況下，觀眾狀態(tài)分析器343不能分析用戶注意力，直到在時(shí)刻t3處從圖 像處理器342輸出分析結(jié)果為止。因此，圖像處理器342被配置成使得在時(shí)刻tl處從圖像輸入單元341應(yīng)用提供的 拍攝圖像中檢測(cè)到了運(yùn)動(dòng)體區(qū)域之后，圖像處理器342在時(shí)刻t2處將表示檢測(cè)到的運(yùn)動(dòng)體區(qū)域的運(yùn)動(dòng)體區(qū)域信息輸出到觀眾狀態(tài)分析器343，其中時(shí)刻t2比時(shí)刻t3更早。通過(guò)這樣做，觀眾狀態(tài)分析器343應(yīng)用變得有可能使用從圖像處理器342提供的 運(yùn)動(dòng)體區(qū)域信息作為用于確定用戶運(yùn)動(dòng)的可能性的基礎(chǔ)。通過(guò)利用這樣的信息作為用戶注 意力的狀態(tài)，觀眾狀態(tài)分析器343能夠更快地分析對(duì)象狀態(tài)。如果圖像處理器342包括與根據(jù)第一實(shí)施例的圖像處理設(shè)備1類似的功能，那么 還可像在第二和第三實(shí)施例中那樣配備運(yùn)動(dòng)體檢測(cè)器121。此外，例如，借助于并行處理，可加速在配備在圖像處理器342中的運(yùn)動(dòng)體檢測(cè)器 121中執(zhí)行的檢測(cè)運(yùn)動(dòng)體區(qū)域的處理。通過(guò)這樣做，可以在由對(duì)象狀態(tài)分析處理輸出的分析 結(jié)果之前輸出運(yùn)動(dòng)體區(qū)域信息，其中，所述對(duì)象狀態(tài)分析處理在從攝影機(jī)21到狀態(tài)分析器 29 (見圖2)的部件中進(jìn)行。可以在專用硬件或者在軟件中執(zhí)行上述系列處理。在以軟件執(zhí)行系列處理的情況 下，構(gòu)成這樣軟件的程序可從記錄介質(zhì)安裝到被稱為內(nèi)置或嵌入式計(jì)算機(jī)上。替選地，這樣 的程序可從記錄介質(zhì)安裝到作為在其上安裝各種程序的結(jié)果而能夠執(zhí)行各種功能的通用 個(gè)人計(jì)算機(jī)或類似設(shè)備上。計(jì)算機(jī)的示例性配置圖24示出了借助于程序執(zhí)行上述系列處理的計(jì)算機(jī)的示例性配置。中央處理單元(CPU) 401通過(guò)遵循存儲(chǔ)在只讀存儲(chǔ)器(ROM) 402或存儲(chǔ)單元408中 的程序來(lái)執(zhí)行各種處理。將由CPU 401執(zhí)行的程序和其它數(shù)據(jù)適當(dāng)?shù)卮鎯?chǔ)在隨機(jī)存取存儲(chǔ) 器(RAM)403中。CPU 40UR0M402以及RAM 403經(jīng)由總線404相互連接。CPU 401還通過(guò)總線404連接到輸入/輸出(I/O)接口 405。以下單元連接到I/ 0接口 405 輸入單元406，其可包括諸如鍵盤、鼠標(biāo)以及麥克風(fēng)的器件；以及輸出單元407， 其可包括諸如顯示器和一個(gè)或多個(gè)揚(yáng)聲器的器件。CPU 401根據(jù)從輸入單元406輸入的命 令來(lái)執(zhí)行各種處理。然后，CPU 401將處理結(jié)果輸出到輸出單元407。例如，連接到I/O接口 405的存儲(chǔ)單元408可包括硬盤。存儲(chǔ)單元408存儲(chǔ)諸如 由CPU 401執(zhí)行的程序的信息和各種數(shù)據(jù)。通信單元409經(jīng)由諸如因特網(wǎng)或局域網(wǎng)的網(wǎng)絡(luò) 與外部設(shè)備通信。另外，可經(jīng)由通信單元409獲取并且在存儲(chǔ)單元408中存儲(chǔ)程序。驅(qū)動(dòng)器410連接到I/O接口 405。諸如磁盤、光盤、磁光盤、或者半導(dǎo)體存儲(chǔ)器的可 移除介質(zhì)411可被加載到驅(qū)動(dòng)器410。驅(qū)動(dòng)器410驅(qū)動(dòng)可移動(dòng)介質(zhì)411，并且獲取記錄在可 移動(dòng)介質(zhì)411上的程序、數(shù)據(jù)、或其它信息。所獲取的程序和數(shù)據(jù)可被傳送到存儲(chǔ)單元408， 并且被適當(dāng)?shù)卮鎯?chǔ)。如圖24中所示，存儲(chǔ)被安裝在計(jì)算機(jī)上并且被計(jì)算機(jī)變成可執(zhí)行狀態(tài)的程序的 記錄介質(zhì)可以是封裝式介質(zhì)，其以如下形式被配備作為可移動(dòng)介質(zhì)411 一個(gè)或多個(gè)磁盤 (包括軟盤)、光盤(包括致密盤只讀存儲(chǔ)器(⑶-ROM)盤和數(shù)字多功能盤(DVD))、磁光盤 (包括小型盤(MD))或者半導(dǎo)體存儲(chǔ)器。替選地，可由暫時(shí)或永久存儲(chǔ)這樣程序的ROM 402、 或者由諸如構(gòu)成存儲(chǔ)單元408的硬盤的器件實(shí)現(xiàn)這樣的記錄介質(zhì)。視情況，可通過(guò)利用諸 如局域網(wǎng)、因特網(wǎng)或者數(shù)字衛(wèi)星廣播的有線或無(wú)線通信介質(zhì)來(lái)進(jìn)行將程序記錄到記錄介質(zhì) 上，并且可經(jīng)由構(gòu)成通信單元的一個(gè)或多個(gè)路由器、調(diào)制解調(diào)器或者接口進(jìn)行在這樣通信 介質(zhì)上的任何通信。
29
表明了被記錄在記錄介質(zhì)上的程序的步驟顯然可包括按遵循在本說(shuō)明書中給定 的順序的時(shí)間序列進(jìn)行的處理。然而，還應(yīng)該明白的是，這樣的步驟還可包括并行或單獨(dú)執(zhí) 行的、而沒有按嚴(yán)格時(shí)間序列被處理的處理。還應(yīng)該明白的是，本發(fā)明的實(shí)施例不限于在前描述的第一到第四實(shí)施例，并且在 不脫離本發(fā)明的范圍和精神的情況下，各種修改是可能的。本申請(qǐng)包含與2009年9月2日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP 2009-202266中公開的主題內(nèi)容相關(guān)的主題內(nèi)容，在此通過(guò)引用將其全文合并于此。本領(lǐng)域的技術(shù)人員應(yīng)該理解，可以在所附權(quán)利要求或其等同物的范圍內(nèi)根據(jù)設(shè)計(jì) 需要或其它因素進(jìn)行各種修改、組合、子組合和變更。
權(quán)利要求
1.一種圖像處理設(shè)備，其被配置成從通過(guò)成像獲取的拍攝圖像中檢測(cè)被設(shè)置作為檢測(cè) 目標(biāo)的一個(gè)或多個(gè)對(duì)象，所述圖像處理設(shè)備包括生成裝置，其用于生成用來(lái)檢測(cè)所述一個(gè)或多個(gè)對(duì)象的圖像金字塔，其中，通過(guò)使用比 例來(lái)縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據(jù)從進(jìn)行所述成像的 成像單元到要檢測(cè)的所述一個(gè)或多個(gè)對(duì)象的距離來(lái)預(yù)先設(shè)置的；確定裝置，其用于從所述圖像金字塔中的整個(gè)圖像區(qū)域當(dāng)中確定用于檢測(cè)所述一個(gè)或 多個(gè)對(duì)象的一個(gè)或多個(gè)檢測(cè)區(qū)域；以及對(duì)象檢測(cè)裝置，其用于從所述一個(gè)或多個(gè)檢測(cè)區(qū)域中檢測(cè)所述一個(gè)或多個(gè)對(duì)象。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其還包括 估計(jì)裝置，其用于估計(jì)所述成像單元的方位；其中，所述確定裝置基于所估計(jì)的所述成像單元的方位，確定所述一個(gè)或多個(gè)檢測(cè)區(qū)域。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其還包括獲取裝置，其用于基于所述對(duì)象檢測(cè)結(jié)果，獲取關(guān)于所述一個(gè)或多個(gè)對(duì)象的詳細(xì)信息；其中，在估計(jì)出所述成像單元的方位被固定在特定方向上的情況下，所述確定裝置基 于所獲取的所述詳細(xì)信息，確定所述一個(gè)或多個(gè)檢測(cè)區(qū)域。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中由所述獲取裝置獲取的所述詳細(xì)信息至少包括表示所述拍攝圖像中所述一個(gè)或多個(gè) 對(duì)象的位置的位置信息，并且基于所述位置信息，所述確定裝置確定所述一個(gè)或多個(gè)檢測(cè)區(qū)域是所述拍攝圖像中 的、其中存在對(duì)象的概率等于或大于預(yù)定門限值的區(qū)域。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其還包括運(yùn)動(dòng)體檢測(cè)裝置，其用于檢測(cè)表示所述拍攝圖像中運(yùn)動(dòng)體的運(yùn)動(dòng)體區(qū)域； 其中，所述確定裝置確定所述一個(gè)或多個(gè)檢測(cè)區(qū)域是所檢測(cè)到的所述運(yùn)動(dòng)體區(qū)域。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中所述運(yùn)動(dòng)體檢測(cè)裝置設(shè)置運(yùn)動(dòng)體門限值，其用來(lái)從構(gòu)成所述拍攝圖像的區(qū)域當(dāng)中檢測(cè) 所述運(yùn)動(dòng)體區(qū)域，并且對(duì)于包含由所述對(duì)象檢測(cè)裝置檢測(cè)到的所述一個(gè)或多個(gè)對(duì)象的對(duì)象鄰近區(qū)域和對(duì)于 除了所述對(duì)象鄰近區(qū)域之外的所有區(qū)域設(shè)置不同的運(yùn)動(dòng)體門限值。
7.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中在所述運(yùn)動(dòng)體檢測(cè)裝置基于相鄰幀中拍攝圖像之間的絕對(duì)差是否等于或大于用于檢 測(cè)所述運(yùn)動(dòng)體區(qū)域的運(yùn)動(dòng)體門限值來(lái)檢測(cè)所述運(yùn)動(dòng)體區(qū)域的情況下，所述運(yùn)動(dòng)體檢測(cè)裝置根據(jù)所述拍攝圖像之間的成像時(shí)刻的差來(lái)修改所述運(yùn)動(dòng)體門限值。
8.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其還包括背景更新裝置，其用于針對(duì)構(gòu)成所述拍攝圖像的區(qū)域進(jìn)行背景更新處理； 其中，在所述運(yùn)動(dòng)體檢測(cè)裝置基于所述拍攝圖像與僅有背景的、其中未捕獲所述一個(gè) 或多個(gè)對(duì)象的背景圖像之間的絕對(duì)差來(lái)檢測(cè)所述運(yùn)動(dòng)體區(qū)域的情況下，對(duì)于與所述拍攝圖像中背景部分對(duì)應(yīng)的區(qū)域和對(duì)于與除了所述拍攝圖像中背景之外 的所有部分對(duì)應(yīng)的區(qū)域，所述背景更新處理是不同的。
9.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其還包括輸出裝置，其用于輸出表示由所述運(yùn)動(dòng)體檢測(cè)裝置檢測(cè)到的所述運(yùn)動(dòng)體區(qū)域的運(yùn)動(dòng)體 區(qū)域信息，其中，所述輸出裝置在由所述對(duì)象檢測(cè)裝置檢測(cè)到所述一個(gè)或多個(gè)對(duì)象之前輸 出所述運(yùn)動(dòng)體區(qū)域信息。
10.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其還包括距離計(jì)算裝置，其用于計(jì)算到由所述成像單元成像的成像目標(biāo)的距離；以及映射生成裝置，其用于基于所計(jì)算出的所述距離來(lái)生成深度映射，其中，所述深度映射 表示到所述拍攝圖像中各成像目標(biāo)的所述距離；其中，所述確定裝置基于所述深度映射，確定所述一個(gè)或多個(gè)檢測(cè)區(qū)域。
11.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述確定裝置根據(jù)所述比例來(lái)將所述圖像金字塔細(xì)分成多個(gè)區(qū)域，并且確定所述一個(gè) 或多個(gè)檢測(cè)區(qū)域是來(lái)自所述多個(gè)區(qū)域當(dāng)中的一個(gè)區(qū)域。
12.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述對(duì)象檢測(cè)裝置在來(lái)自所述一個(gè)或多個(gè)檢測(cè)區(qū)域當(dāng)中的部分區(qū)域中檢測(cè)所述一個(gè) 或多個(gè)對(duì)象，并且基于在位置上相差η個(gè)像素的各部分區(qū)域中是否存在所述對(duì)象做出檢測(cè)，其中η > 1。
13.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述生成裝置通過(guò)以各自不同的比例來(lái)縮小或放大所述拍攝圖像以生成包含多個(gè)金 字塔圖像的圖像金字塔，并且所述對(duì)象檢測(cè)裝置從用于所述圖像金字塔中各金字塔圖像的所述一個(gè)或多個(gè)檢測(cè)區(qū) 域中檢測(cè)所述一個(gè)或多個(gè)對(duì)象，其中，按從最接近所述成像單元的對(duì)象開始的順序來(lái)檢測(cè) 所述一個(gè)或多個(gè)對(duì)象。
14.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，其中在已經(jīng)檢測(cè)到了預(yù)定數(shù)目的對(duì)象的情況下，所述對(duì)象檢測(cè)裝置終止對(duì)所述一個(gè)或多個(gè) 對(duì)象的檢測(cè)。
15.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，其中所述對(duì)象檢測(cè)裝置從所述一個(gè)或多個(gè)檢測(cè)區(qū)域中檢測(cè)所述一個(gè)或多個(gè)對(duì)象，其中，已 經(jīng)從所述一個(gè)或多個(gè)檢測(cè)區(qū)域中移除了包含已經(jīng)檢測(cè)到的對(duì)象的區(qū)域。
16.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中在檢測(cè)到在所述拍攝圖像中存在的、還沒有由所述對(duì)象檢測(cè)裝置檢測(cè)到的對(duì)象的情況下，所述對(duì)象檢測(cè)裝置基于表示從特定方向觀看到的所述對(duì)象的第一模板圖像，從所述一 個(gè)或多個(gè)檢測(cè)區(qū)域中檢測(cè)所述對(duì)象。
17.根據(jù)權(quán)利要求16所述的圖像處理設(shè)備，其中當(dāng)給定在第一拍攝圖像中存在的、并且已經(jīng)由所述對(duì)象檢測(cè)裝置檢測(cè)到的對(duì)象時(shí)，在 將在與所述第一拍攝圖像不同的另一個(gè)拍攝圖像中檢測(cè)該對(duì)象的情況下，基于所述第一拍攝圖像中已經(jīng)檢測(cè)到的所述對(duì)象所存在的位置，所述確定裝置另外確定用來(lái)對(duì)所述另一個(gè)拍攝圖像中的所述對(duì)象進(jìn)行檢測(cè)的另一個(gè)圖像金字塔中的一個(gè)或多 個(gè)檢測(cè)區(qū)域，并且所述對(duì)象檢測(cè)裝置基于分別表示從多個(gè)方向觀看到的所述對(duì)象的多個(gè)第二模板圖像， 從所述另一個(gè)圖像金字塔中的所述一個(gè)或多個(gè)檢測(cè)區(qū)域中檢測(cè)所述對(duì)象。
18.—種在圖像處理設(shè)備中執(zhí)行的圖像處理方法，所述圖像處理設(shè)備被配置成從通過(guò) 成像獲取的拍攝圖像中檢測(cè)被設(shè)置作為檢測(cè)目標(biāo)的一個(gè)或多個(gè)對(duì)象，所述圖像處理設(shè)備包 括生成裝置， 確定裝置，以及 對(duì)象檢測(cè)裝置，并且，所述方法包括如下步驟使得所述生成裝置生成用于檢測(cè)所述一個(gè)或多個(gè)對(duì)象的圖像金字塔，其中，通過(guò)使用 比例來(lái)縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據(jù)從進(jìn)行所述成像 的成像單元到要檢測(cè)的所述一個(gè)或多個(gè)對(duì)象的距離來(lái)預(yù)先設(shè)置的；使得所述確定裝置從所述圖像金字塔中的整個(gè)圖像區(qū)域當(dāng)中確定用于檢測(cè)所述一個(gè) 或多個(gè)對(duì)象的一個(gè)或多個(gè)檢測(cè)區(qū)域；以及使得所述對(duì)象檢測(cè)裝置從所述一個(gè)或多個(gè)檢測(cè)區(qū)域中檢測(cè)所述一個(gè)或多個(gè)對(duì)象。
19.一種由圖像處理設(shè)備的計(jì)算機(jī)執(zhí)行的程序，其中，所述圖像處理設(shè)備被配置成從通 過(guò)成像獲取的拍攝圖像中檢測(cè)被設(shè)置作為檢測(cè)目標(biāo)的一個(gè)或多個(gè)對(duì)象，所述程序使得所述 計(jì)算機(jī)起如下作用生成裝置，其用于生成用于檢測(cè)所述一個(gè)或多個(gè)對(duì)象的圖像金字塔，其中，通過(guò)使用比 例來(lái)縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據(jù)從進(jìn)行所述成像的 成像單元到要檢測(cè)的所述一個(gè)或多個(gè)對(duì)象的距離來(lái)預(yù)先設(shè)置的；確定裝置，其用于從所述圖像金字塔中的整個(gè)圖像區(qū)域當(dāng)中確定用于檢測(cè)所述一個(gè)或 多個(gè)對(duì)象的一個(gè)或多個(gè)檢測(cè)區(qū)域；以及對(duì)象檢測(cè)裝置，其用于從所述一個(gè)或多個(gè)檢測(cè)區(qū)域中檢測(cè)所述一個(gè)或多個(gè)對(duì)象。
20.一種電子器件，其被配置成從通過(guò)成像獲取的拍攝圖像中檢測(cè)被設(shè)置作為檢測(cè)目 標(biāo)的一個(gè)或多個(gè)對(duì)象，并且基于所述檢測(cè)結(jié)果而進(jìn)行處理，所述電子器件包括生成裝置，其用于生成用于檢測(cè)所述一個(gè)或多個(gè)對(duì)象的圖像金字塔，其中，通過(guò)使用比 例來(lái)縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據(jù)從進(jìn)行所述成像的 成像單元到要檢測(cè)的所述一個(gè)或多個(gè)對(duì)象的距離來(lái)預(yù)先設(shè)置的；確定裝置，其用于從所述圖像金字塔中的整個(gè)圖像區(qū)域當(dāng)中確定用于檢測(cè)所述一個(gè)或 多個(gè)對(duì)象的一個(gè)或多個(gè)檢測(cè)區(qū)域；以及對(duì)象檢測(cè)裝置，其用于從所述一個(gè)或多個(gè)檢測(cè)區(qū)域中檢測(cè)所述一個(gè)或多個(gè)對(duì)象。
21.—種圖像處理設(shè)備，其被配置成從通過(guò)成像獲取的拍攝圖像中檢測(cè)被設(shè)置作為檢 測(cè)目標(biāo)的一個(gè)或多個(gè)對(duì)象，所述圖像處理設(shè)備包括圖像金字塔生成器，其被配置成生成用于檢測(cè)所述一個(gè)或多個(gè)對(duì)象的圖像金字塔，其 中，通過(guò)使用比例來(lái)縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據(jù)從 進(jìn)行所述成像的成像單元到要檢測(cè)的所述一個(gè)或多個(gè)對(duì)象的距離來(lái)預(yù)先設(shè)置的；檢測(cè)區(qū)域確定單元，其被配置成從所述圖像金字塔中的整個(gè)圖像區(qū)域當(dāng)中確定用于檢 測(cè)所述一個(gè)或多個(gè)對(duì)象的一個(gè)或多個(gè)檢測(cè)區(qū)域；以及對(duì)象檢測(cè)器，其被配置成從所述一個(gè)或多個(gè)檢測(cè)區(qū)域中檢測(cè)所述一個(gè)或多個(gè)對(duì)象。
22. 一種電子器件，其被配置成從通過(guò)成像獲取的拍攝圖像中檢測(cè)被設(shè)置作為檢測(cè)目 標(biāo)的一個(gè)或多個(gè)對(duì)象，并且基于所述檢測(cè)結(jié)果而進(jìn)行處理，所述電子器件包括圖像金字塔生成器，其被配置成生成用于檢測(cè)所述一個(gè)或多個(gè)對(duì)象的圖像金字塔，其 中，通過(guò)使用比例來(lái)縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據(jù)從 進(jìn)行所述成像的成像單元到要檢測(cè)的所述一個(gè)或多個(gè)對(duì)象的距離來(lái)預(yù)先設(shè)置的；檢測(cè)區(qū)域確定單元，其被配置成從所述圖像金字塔中的整個(gè)圖像區(qū)域當(dāng)中確定用于檢 測(cè)所述一個(gè)或多個(gè)對(duì)象的一個(gè)或多個(gè)檢測(cè)區(qū)域；以及對(duì)象檢測(cè)器，其被配置成從所述一個(gè)或多個(gè)檢測(cè)區(qū)域中檢測(cè)所述一個(gè)或多個(gè)對(duì)象。
全文摘要
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法、程序以及電子器件。該圖像處理設(shè)備從通過(guò)成像獲取的拍攝圖像中檢測(cè)被設(shè)置作為檢測(cè)目標(biāo)的一個(gè)或多個(gè)對(duì)象。圖像金字塔生成器生成用于檢測(cè)一個(gè)或多個(gè)對(duì)象的圖像金字塔，其中，通過(guò)使用比例來(lái)縮小或放大拍攝圖像以生成圖像金字塔，該比例是根據(jù)從進(jìn)行成像的成像單元到要檢測(cè)的一個(gè)或多個(gè)對(duì)象的距離來(lái)預(yù)先設(shè)置的。檢測(cè)區(qū)域確定單元從圖像金字塔中的整個(gè)圖像區(qū)域當(dāng)中確定用于檢測(cè)一個(gè)或多個(gè)對(duì)象的一個(gè)或多個(gè)檢測(cè)區(qū)域。對(duì)象檢測(cè)器從一個(gè)或多個(gè)檢測(cè)區(qū)域中檢測(cè)一個(gè)或多個(gè)對(duì)象。
文檔編號(hào)G06K9/62GK102004918SQ201010270169
公開日2011年4月6日 申請(qǐng)日期2010年8月26日 優(yōu)先權(quán)日2009年9月2日
發(fā)明者后藤智彥, 孫赟, 阪井祐介, 鶴見辰吾 申請(qǐng)人:索尼公司