專利名稱：運動物體檢測裝置、運動物體檢測方法、運動物體檢測程序、運動物體跟蹤裝置、運動物體 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運動物體檢測裝置、運動物體檢測方法以及運動物體檢測程序和運動物體跟蹤裝置、運動物體跟蹤方法以及運動物體跟蹤程序。
背景技術(shù)：
目前公知有采用圖像來檢測運動物體的裝置或采用圖像來跟蹤運動物體的裝置(例如，參照專利文獻1、2)。專利文獻I記載的裝置將圖像幀分割為多個小塊，將每個小塊的運動矢量的累計值的最小值定義為背景運動矢量，并從原圖像幀中減去，由此來分離 背景，檢測運動物體。專利文獻2記載的裝置按種類來預(yù)先設(shè)定運動物體的顏色，在圖像的對象區(qū)域內(nèi)求出運動物體顏色的含有率以及方差，在含有率以及方差滿足規(guī)定條件的情況下，判定為存在與所設(shè)定顏色對應(yīng)的種類的運動物體。另外，專利文獻2記載的裝置預(yù)先估計背景顏色的分布，根據(jù)與背景顏色的差異來檢測異顏色圖像組，采用該異顏色圖像組來進行移動體的場所確定。現(xiàn)有技術(shù)文獻專利文獻專利文獻I日本特開2003-319387號公報專利文獻2日本特開2007-213264號公報

發(fā)明內(nèi)容
發(fā)明要解決的課題但是，在專利文獻I記載的裝置中，當(dāng)背景雜亂運動時難以區(qū)別背景的運動與運動物體的運動。因此，運動物體的檢測有可能不穩(wěn)定。另外，在專利文獻2記載的裝置中，因為需要預(yù)先確定運動物體的顏色，預(yù)先估計背景顏色的分布，所以當(dāng)產(chǎn)生照明變化或服裝變化等環(huán)境變化時，有可能無法檢測運動物體。因此，本發(fā)明是為了解決這樣的技術(shù)課題而作出的，其目的是提供不用事先設(shè)定與運動物體或背景相關(guān)的信息就能夠穩(wěn)定地檢測運動物體的運動物體檢測裝置、運動物體檢測方法以及運動物體檢測程序和運動物體跟蹤裝置、運動物體跟蹤方法以及運動物體跟蹤程序。用于解決課題的手段S卩，本發(fā)明的運動物體檢測裝置采用圖像來檢測運動物體，其構(gòu)成為具備運動度取得部，其取得圖像幀之間的像素的運動度；顏色取得部，其取得上述圖像幀所包含的像素的顏色；評價得分計算部，其按上述顏色取得部所取得的顏色，根據(jù)上述運動度來計算表示顏色的運動程度的評價得分；以及運動物體檢測部，其根據(jù)每一顏色的上述評價得分來檢測上述運動物體。
在本發(fā)明的運動物體檢測裝置中，利用運動度取得部來取得圖像幀間的像素的運動度，利用顏色取得部來取得圖像幀所包含的像素的顏色，利用評價得分計算部根據(jù)運動度按顏色來計算表示顏色的運動程度的評價得分，利用運動物體檢測部根據(jù)每一顏色的評價得分來檢測運動物體。這樣，可通過評價顏色的運動程度來檢測運動物體。因此，不用事先設(shè)定與運動物體或背景相關(guān)的信息就能夠檢測運動物體。另外，無需采用運動矢量來分離運動物體和背景就能夠檢測運動物體，所以可穩(wěn)定地檢測運動物體。這里，上述評價得分計算部可按顏色來累積上述圖像幀內(nèi)的像素數(shù)以及該像素的運動度，并根據(jù)上述圖像幀內(nèi)的累積像素數(shù)以及累積運動度來計算該顏色的上述評價得分。通過這樣的結(jié)構(gòu)，可提高每一顏色的評價得分的精度。另外，上述評價得分計算部可按顏色累積像素的位置信息，上述運動物體檢測部根據(jù)每一顏色的上述累積像素數(shù)以及累積位置信息來確定上述運動物體的位置。通過這樣的結(jié)構(gòu)，可提高運動物體的位置的精度。另外，本發(fā)明的運動物體檢測方法，采用圖像來檢測運動物體，該運動物體檢測方法的特征是具有以下的步驟取得步驟，取得第I圖像幀與上述第I圖像幀之后輸入的第2圖像幀之間的像素的運動度以及上述第2圖像幀所包含的像素的顏色；評價得分計算步驟，按上述取得步驟所取得的顏色，根據(jù)上述運動度來計算表示顏色的運動程度的評價得分；以及運動物體檢測步驟，根據(jù)每一顏色的上述評價得分來檢測在上述第2圖像幀內(nèi)描繪出的上述運動物體。根據(jù)本發(fā)明的運動物體檢測方法，得到與上述本發(fā)明的運動物體檢測裝置同樣的效果。另外，本發(fā)明的運動物體檢測程序使計算機發(fā)揮功能以采用圖像來檢測運動物體，其特征在于，該運動物體檢測程序使計算機發(fā)揮以下部件的功能運動度取得部，其取得圖像幀之間的像素的運動度；顏色取得部，其取得上述圖像幀所包含的像素的顏色；評價得分計算部，其按上述顏色取得部所取得的顏色，根據(jù)上述運動度來計算表示顏色的運動程度的評價得分；以及運動物體檢測部，其根據(jù)每一顏色的上述評價得分來檢測上述運動物體。根據(jù)本發(fā)明的運動物體檢測程序，得到與上述本發(fā)明的運動物體檢測裝置同樣的效果。另外，本發(fā)明的運動物體跟蹤裝置采用圖像來跟蹤運動物體，該運動物體跟蹤裝置的特征是具備運動度取得部，其取得圖像幀之間的像素的運動度；顏色取得部，其取得上述圖像幀所包含的像素的顏色；評價得分計算部，其按上述顏色取得部所取得的顏色，根據(jù)上述運動度來計算表示顏色的運動程度的評價得分；運動物體檢測部，其根據(jù)像素的顏色以及每一顏色的評價得分，生成將上述評價得分作為像素值的第I似然度圖像來檢測上述運動物體；以及運動物體跟蹤部，其跟蹤所檢測的上述運動物體。在本發(fā)明的運動物體跟蹤裝置中，利用運動度取得部來取得圖像幀間的像素的運動度，利用顏色取得部來取得圖像幀所包含的像素的顏色，利用評價得分計算部根據(jù)運動度按顏色來計算表示顏色的運動程度的評價得分，利用運動物體檢測部，根據(jù)像素的顏色以及每一顏色的評價得分，生成將評價得分作為像素值的第I似然度圖像來檢測運動物體，利用運動物體跟蹤部跟蹤所檢測出的上述運動物體。這樣，通過評價顏色的運動程度來檢測運動物體。并且，根據(jù)所檢測出的運動物體的顏色來跟蹤運動物體。因此，不用事先設(shè)定與運動物體或背景相關(guān)的信息就能夠跟蹤運動物體。另外，無需采用運動矢量來分離運動物體和背景就能夠跟蹤運動物體，所以可穩(wěn)定地跟蹤運動物體。這里，上述運動度取得部將上述圖像幀分割為規(guī)定的塊，并根據(jù)塊單位的運動來計算上述圖像幀整體的運動，從上述圖像幀所包含的像素的運動減去上述圖像幀整體的運動來計算運動度。通過這樣的結(jié)構(gòu)，可從與整體運動的差分中取得局部的運動。另外，上述運動物體跟蹤部可根據(jù)上述運動物體檢測部所檢測出的上述運動物體的顏色來跟蹤上述運動物體。通過這樣的結(jié)構(gòu)，可將所檢測出的運動物體的顏色作為基準(zhǔn)進行跟蹤。另外，上述運動物體跟蹤部可根據(jù)上述評價得分來確定上述運動物體的代表顏色，根據(jù)所確定的代表顏色來跟蹤上述運動物體。在此情況下，上述運動物體跟蹤部可根據(jù)與上述運動物體的代表顏色的顏色類似度按顏色計算似然度，作成將像素的似然度作為像素值的第2似然度圖像來跟蹤上述運動物體。這樣通過采用第2似然度圖像，可高精度地區(qū)別與運動物體的代表顏色相同或類似的顏色和其它顏色。另外，上述評價得分計算部可按顏色計算對運動度是規(guī)定值以上的像素數(shù)進行累積而得到的前景像素數(shù)以及對運動度不是規(guī)定值以上的像素數(shù)進行累積而得到的背景像素數(shù)，上述運動物體跟蹤部針對上述前景像素數(shù)小于上述背景像素數(shù)的顏色減小似然度。通過這樣的結(jié)構(gòu)，可避免在與運動物體的顏色接近的顏色中將運動少的背景等作為運動物體進行跟蹤。另外，上述運動物體跟蹤部在將上次運動物體的位置作為基準(zhǔn)的像素的相對位置矢量與像素的運動矢量的內(nèi)積為負的情況下，可減小該像素中的似然度。通過這樣的結(jié)構(gòu)，可避免將以與運動物體的顏色接近的顏色運動的不同的背景等作為運動物體進行跟蹤。另外，上述運動物體跟蹤部可將小于上述第2似然度圖像的區(qū)域作為跟蹤矩形，并使該跟蹤矩形移動，使得上述第2似然度圖像的上述跟蹤矩形內(nèi)的像素值的分布重心為上述跟蹤矩形的中心，由此來跟蹤上述運動物體。通過這樣的結(jié)構(gòu)，可利用簡易的結(jié)構(gòu)來適當(dāng)跟蹤運動物體。另外，上述運動物體跟蹤部采用背景似然度圖像與上述圖像幀的上述第2似然度圖像的差分圖像來跟蹤上述運動物體，上述背景似然度圖像根據(jù)上次輸入的上述圖像幀的上述第2似然度圖像以及上述跟蹤矩形而作成。通過這樣的結(jié)構(gòu)，可避免將與運動物體的顏色接近的顏色背景等作為運動物體進行跟蹤。另外，本發(fā)明的運動物體跟蹤方法采用圖像來跟蹤運動物體，其特征是具有以下的步驟取得步驟，取得圖像幀間的像素的運動度以及上述圖像幀所包含的像素的顏色；評價得分計算步驟，按上述取得步驟所取得的顏色，根據(jù)上述運動度來計算表示顏色的運動程度的評價得分；運動物體檢測步驟，根據(jù)像素的顏色以及每一顏色的評價得分，生成將上述評價得分作為像素值的第I似然度圖像來檢測上述運動物體；以及運動物體跟蹤步驟，跟蹤所檢測到的上述運動物體。根據(jù)本發(fā)明的運動物體跟蹤方法，可得到與上述本發(fā)明的運動物體跟蹤裝置同樣的效果。另外，本發(fā)明的運動物體跟蹤程序使計算機發(fā)揮功能以采用圖像來檢測運動物體，其特征在于，該運動物體跟蹤程序使計算機發(fā)揮以下部件的功能運動度取得部，其取得圖像幀之間的像素的運動度；顏色取得部，其取得上述圖像幀所包含的像素的顏色；評價得分計算部，其按上述顏色取得部所取得的顏色，根據(jù)上述運動度來計算表示顏色的運動程度的評價得分；運動物體檢測部，其根據(jù)像素的顏色以及每一顏色的評價得分，生成將上述評價得分作為像素值的第I似然度圖像來檢測上述運動物體；以及運動物體跟蹤部，其跟蹤所檢測出的上述運動物體。根據(jù)本發(fā)明的運動物體跟蹤程序，可得到與上述本發(fā)明的運動物體跟蹤裝置同樣的效果。發(fā)明效果根據(jù)本發(fā)明，不用事先設(shè)定與運動物體或背景相關(guān)的信息就能夠穩(wěn)定地檢測運動物體。


圖1是搭載有第I實施方式的運動物體檢測裝置的設(shè)備的功能框圖。圖2是圖1所示的設(shè)備的硬件結(jié)構(gòu)圖。圖3是說明圖1所示的運動物體檢測裝置的整體動作的流程圖。圖4是說明圖1所示的運動物體檢測裝置的檢測區(qū)域設(shè)定動作的流程圖。圖5是說明檢測區(qū)域的一例的概要圖。圖6是說明圖1所示的運動物體檢測裝置的手檢測動作的流程圖。圖7是說明圖1所示的運動物體檢測裝置的手檢測動作的流程圖。圖8是示出對于檢測區(qū)域的像素中的顏色ID的度數(shù)的直方圖的一例。(A)是累積出現(xiàn)數(shù)，⑶是累積位置信息(X座標(biāo))，(C)是累積位置信息(y座標(biāo))，⑶是累積運動量(X方向)，(E)是累積運動量(y方向)。圖9(A)是示出對于本次圖像幀中的顏色ID的評價得分的直方圖的一例。(B)是示出對于顏色ID的累積評價得分的直方圖。圖10是說明評價得分的概要圖。圖11是搭載有第2實施方式的運動物體檢測裝置的設(shè)備的功能框圖。圖12是說明圖11所示的運動物體檢測裝置的運動物體檢測動作的流程圖。圖13是說明運動度取得處理的概要圖。圖14是說明第I似然度圖像的概要圖。圖15是說明運動物體檢測區(qū)域的概要圖。圖16是搭載有第3實施方式的運動物體跟蹤裝置的設(shè)備的功能框圖。圖17是說明圖16所示的運動物體跟蹤裝置的整體動作的流程圖。圖18是說明圖16所示的運動物體跟蹤裝置的初始化動作的流程圖。圖19是示出對于顏色ID的度數(shù)的跟蹤用似然度直方圖的一例。(A)示出顏色類似的似然度，(B)示出檢測時的評價得分，(C)示出前景度以及背景度，(D)示出最終的似然度。圖20是說明圖16所示的運動物體跟蹤裝置的似然度計算動作的流程圖。圖21是說明運動物體跟蹤中的已采用光流的似然度計算的概要圖。
圖22是第2似然度圖像的一例。圖23是說明圖16所示的運動物體跟蹤裝置的跟蹤動作的流程圖。圖24是說明跟蹤動作的概要圖。圖25是說明圖16所示的運動物體跟蹤裝置的背景似然度計算動作的流程圖。圖26是說明背景似然度計算動作的概要圖。(A)是上次圖像幀的第2似然度圖像，(B)是背景似然度圖像，(C)是本次圖像幀的第2似然度圖像，(D)是考慮背景的似然度圖像。
具體實施例方式以下，參照附圖來說明本發(fā)明的實施方式。此外，在各個圖中對相同或相當(dāng)?shù)牟糠謽?biāo)注同一符號，并省略重復(fù)的說明。(第I實施方式)本實施方式的運動物體檢測裝置是采用圖像來檢測運動物體的裝置。本實施方式的運動物體檢測裝置例如適用于在識別手的運動的手勢識別裝置或檢測侵入者的監(jiān)視照相機等檢測動態(tài)物體的裝置。以下，考慮說明理解的容易性，作為本發(fā)明的運動物體檢測裝置的一例，說明檢測運動的手的手檢測裝置。圖1是具有本實施方式的手檢測裝置(運動物體檢測裝置)I的裝置2的功能框圖。圖1所示的裝置2例如是數(shù)碼相機、便攜終端、游戲終端或電視等家庭用電氣產(chǎn)品，具有圖2所示的硬件結(jié)構(gòu)。圖2是裝置2的硬件結(jié)構(gòu)圖。如圖2所示，裝置2物理上構(gòu)成為包含 CPU (Central Processing Unit :中央處理器)100、ROM (Read OnlyMemory :只讀存儲器)101以及RAM (Random Access Memory :隨機存取存儲器)102等主存儲裝置、照相機或鍵盤等輸入設(shè)備103、顯示器等輸出設(shè)備104、硬盤等輔助存儲裝置105等的通常計算機系統(tǒng)。通過在CPU100、R0M101、RAM102等硬件上讀入規(guī)定的計算機軟件來根據(jù)CPU100的控制使輸入設(shè)備103以及輸出設(shè)備104運動，并且進行主存儲裝置及輔助存儲裝置105中的數(shù)據(jù)讀出以及寫入，由此實現(xiàn)后述的裝置2以及手檢測裝置I的各個功能。此外，上述說明對裝置2的硬件結(jié)構(gòu)進行了說明，但手檢測裝置I可構(gòu)成為包含CPU100、R0M101以及RAM102等主存儲裝置、輸入設(shè)備103、輸出設(shè)備104、輔助存儲裝置105等的通常計算機系統(tǒng)。另外，裝置2可具備通信模塊等。如圖1所示，裝置2具備照相機20、手檢測裝置1、面部檢測部21以及顯示部22。照相機20具有對圖像或動態(tài)圖像進行攝像的功能。例如，采用攝像元件等作為照相機20。照相機20具有將所攝像的多個圖像或動態(tài)圖像作為圖像幀向手檢測裝置I輸出的功能。手檢測裝置I具備圖像輸入部10、運動度取得部11、檢測區(qū)域設(shè)定部12、顏色取得部13、評價得分計算部14以及手檢測部(運動物體檢測部)15。圖像輸入部10與照相機20連接。圖像輸入部10例如具有將照相機20所攝像的多個圖像或動態(tài)圖像作為圖像幀輸入的功能。圖像輸入部10具有將所輸入的圖像幀保存在裝置2所具備的存儲區(qū)域的功能。運動度取得部11構(gòu)成為可參照由圖像輸入部10輸入并保存的圖像幀。并且，運動度取得部11具有按像素來取得圖像幀之間的像素(像點)運動度的功能。例如，運動度取得部11采用光流等現(xiàn)有技術(shù)按像素來取得運動量作為運動度?；蛘撸\動度取得部11可取得幀間像素的差分作為運動度。運動度取得部11具有將像素的運動度向評價得分計算部14輸出的功能。面部檢測部21構(gòu)成為可參照由圖像輸入部10輸入并保存的圖像幀。并且，面部檢測部21具有檢測人的面部位置的功能。面部檢測部21例如利用已采用Haar-Like特征的識別器及圖形匹配等來檢測面部的位置信息。面部檢測部21具有將面部的位置信息向檢測區(qū)域設(shè)定部12輸出的功能。檢測區(qū)域設(shè)定部12構(gòu)成為可參照由圖像輸入部10輸入并保存的圖像幀。并且，檢測區(qū)域設(shè)定部12具有采用面部檢測部21的檢測結(jié)果來設(shè)定檢測手的對象區(qū)域即檢測區(qū)域的功能。即，檢測區(qū)域設(shè)定部12利用面部的位置信息來設(shè)定檢測區(qū)域。例如，檢測區(qū)域設(shè)定部12具有將與面部左右鄰接的規(guī)定大小的區(qū)域設(shè)定為手的檢測區(qū)域的功能。并且，檢測區(qū)域設(shè)定部12具有將所設(shè)定的檢測區(qū)域向顏色取得部13輸出的功能。顏色取得部13具有取得圖像幀所包含的像素的顏色的功能。例如，顏色取得部13具有與像素各自的位置信息(座標(biāo))對應(yīng)著取得檢測區(qū)域設(shè)定部12所設(shè)定的檢測區(qū)域所包含的像素顏色的功能。此外，顏色取得部13具有考慮后述的處理將所取得的像素值變換為唯一的顏色ID的功能。例如，顏色取得部13用YUV顏色空間來表現(xiàn)像素值，在Y、U以及V的分量值分別是0 255 (8比特)范圍的情況下，輸出與所取得的像素值對應(yīng)的一維的顏色ID。這里，顏色取得部13可根據(jù)需要適當(dāng)變更像素值與顏色ID的對應(yīng)關(guān)系。例如，刪除YUV分量(各自是8比特)的下位4比特來進行變換，成為0 4095的12比特。并且，顏色取得部13具有將像素各自的顏色ID向評價得分計算部14輸出的功能。評價得分計算部14具有按顏色取得部13所取得的顏色ID根據(jù)運動度來計算評價得分的功能。這里，所謂評價得分就是用于評價是否是運動物體(這里為手)的顏色的指標(biāo)。例如，評價得分計算部14將運動度取得部11所取得的像素運動度作為該像素的得分。然后，評價得分計算部14根據(jù)得分以及顏色取得部13所取得的像素顏色ID，按顏色ID來累積得分以及顯示頻度(像素數(shù))。并且，評價得分計算部14根據(jù)累積得分以及累積像素數(shù)來計算評價得分。例如，通過將累積得分除以累積像素數(shù)來計算該顏色ID的評價得分。即，所謂評價得分可以說是表示顏色的運動程度的量。此外，評價得分計算部14具有為了取得手的位置而按顏色ID累積0像素的位置信息(例如X座標(biāo)以及y座標(biāo))的功能。并且，評價得分計算部14具有將已計算的按顏色ID的評價得分以及累積位置信息向手檢測部15輸出的功能。手檢測部15具有根據(jù)評價得分計算部14所輸出的按顏色ID的評價得分來檢測運動的手的功能。如上述那樣，因為評價得分表示顏色的運動程度，手檢測部15將在圖像中評價得分比其它部分高的部分檢測為物體。并且，手檢測部15針對所確定的的顏色ID，根據(jù)評價得分計算部14所輸出的累積位置信息以及累積像素數(shù)來確定手的位置。例如，手檢測部15通過將累積位置信息除以累積像素數(shù)來估計手的中心位置。并且，手檢測部15具有將與檢測到的手相關(guān)的信息向顯示部22輸出并顯示的功能。另外，手檢測部15例如可具有根據(jù)每個顏色ID的評價得分來確定手的顏色的功能。手檢測部15例如以評價得分越大成為代表顏色的可能性越高的方式來選定代表顏色。例如，將評價得分最大的顏色ID確定為是手的顏色(代表顏色)。此外，可選擇多個包含評價得分最大值的范圍的顏色ID來確定為手的顏色。
顯示部22例如具有在顯示當(dāng)前的圖像幀時以強調(diào)手檢測部15所檢測出的手的方式進行顯示的功能。例如采用液晶顯示器等來作為顯示部22。接著，對本實施方式的手檢測裝置I的動作進行說明。圖3是表示本實施方式的手檢測裝置I的動作的流程圖。例如，在開通的定時執(zhí)行裝置2的攝像功能，以規(guī)定的周期反復(fù)執(zhí)行圖3所示的控制處理。此外，考慮到說明理解的容易性，在圖3的執(zhí)行之前說明手檢測裝置I輸入第I圖像幀進行記錄的內(nèi)容。另外，還說明所檢測的物體是手。如圖3所示，首先，圖像輸入部10輸入圖像幀(第2圖像幀)(SlO)。當(dāng)SlO的處理結(jié)束時，向運動度取得處理轉(zhuǎn)移(S12)。在S12的處理中，運動度取得部11根據(jù)光流等來取得在SlO的處理中已取得的圖像幀的像素的運動度。當(dāng)S12的處理結(jié)束時，向面部檢測處理轉(zhuǎn)移(S14)。在S14中，面部檢測部21檢測在圖像幀內(nèi)描繪出的面部的位置信息。這里，面部檢測部21可檢測多個面部。當(dāng)S14的處理結(jié)束時，轉(zhuǎn)移到檢測區(qū)域設(shè)定處理(S16)。在S16的處理中，檢測區(qū)域設(shè)定部12在圖像幀內(nèi)設(shè)定檢測區(qū)域。檢測區(qū)域設(shè)定部12將與檢測區(qū)域相關(guān)的信息記錄到檢測區(qū)域表中。后面詳細敘述該處理。當(dāng)S16的處理結(jié)束時，向檢測區(qū)域選擇處理轉(zhuǎn)移(S18)。S18的處理是顏色取得部13參照在S16的處理中記錄的檢測區(qū)域表來選擇I個檢測區(qū)域的處理。當(dāng)S18的處理結(jié)束時，向手檢測處理轉(zhuǎn)移(S20)。S20的處理是顏色取得部13、評價得分計算部14以及手檢測部15檢測在S18的處理中選擇出的檢測區(qū)域內(nèi)的手的處理。后面敘述此處理。當(dāng)S20的處理結(jié)束時，向結(jié)束判定處理轉(zhuǎn)移(S22)。在S22的處理中，顏色取得部13判定是否對檢測區(qū)域表所記錄的全部檢測區(qū)域執(zhí)行手檢測處理。在S22的處理中，當(dāng)判定為沒有對全部檢測區(qū)域執(zhí)行手檢測處理時，再次向S18的處理轉(zhuǎn)移。在S18的處理中，顏色取得部13參照檢測區(qū)域表來再次選擇新的檢測區(qū)域。這樣，反復(fù)執(zhí)行S18 S22的處理，直到在檢測區(qū)域表所記載的全部檢測區(qū)域執(zhí)行手檢測處理為止。另一方面，在S22的處理中，當(dāng)判定為對全部檢測區(qū)域執(zhí)行手檢測處理時，向顯示處理轉(zhuǎn)移(S24)。在S24的處理中，顯示部22顯示以矩形等包圍手部分的方式來強調(diào)的圖像幀。此夕卜，在S20的處理中沒能檢測到手的情況下，顯示部22顯示通常的圖像幀。當(dāng)S24的處理結(jié)束時，結(jié)束圖3所示的控制處理。接著，對圖3中的各處理進行詳細說明。首先，采用圖4來詳細說明檢測區(qū)域設(shè)定處理(S16)。圖4是示出本實施方式的手檢測裝置I的檢測區(qū)域設(shè)定動作的流程圖。此外，考慮到說明理解的容易性，參照圖5說明檢測區(qū)域設(shè)定動作。圖5是說明檢測區(qū)域的一例的概要圖。如圖4所示，首先，檢測區(qū)域設(shè)定部12從在S14的處理檢測到的面部中選擇一個面部(S30)。例如圖5所示，在S14的處理中在圖像幀F(xiàn)1內(nèi)檢測多個面部K:、K2。此時，檢測區(qū)域設(shè)定部12例如選擇面部I。當(dāng)S30的處理結(jié)束時，向面部判定處理轉(zhuǎn)移(S32)。在S32的處理中，檢測區(qū)域設(shè)定部12判定在S30的處理中選擇出的面部K1是否是最初選擇的面部。在S32的處理中，當(dāng)判定為在S30的處理中選擇出的面部K1是最初選擇的面部時，轉(zhuǎn)移到檢測區(qū)域表追加處理(S34)。
在S34的處理中，檢測區(qū)域設(shè)定部12根據(jù)在S30的處理中選擇出的面部位置來設(shè)定檢測區(qū)域。例如圖5所示，檢測區(qū)域設(shè)定部12將與面部K1左右鄰接的規(guī)定大小的矩形區(qū)域設(shè)定為檢測區(qū)域R1、R2。檢測區(qū)域RpR2的位置根據(jù)面部K1的位置和大小來相對地決定。檢測區(qū)域設(shè)定部12在檢測區(qū)域表中追加設(shè)定的檢測區(qū)域R1、R2。當(dāng)S34的處理結(jié)束時向結(jié)束判定處理轉(zhuǎn)移(S36)。另一方面，在S32的處理中，當(dāng)判定為在S30的處理中選擇出的面部K1不是最初選擇的面部時，因為在過去已經(jīng)設(shè)定了檢測區(qū)域，所以不用追加到檢測區(qū)域表就向結(jié)束判定處理轉(zhuǎn)移(S36)。在S36的處理中，檢測區(qū)域設(shè)定部12判定是否對在S14的處理中檢測出的全部面部執(zhí)行了檢測區(qū)域的設(shè)定。在S36的處理中，當(dāng)判定為沒有對全部面部執(zhí)行檢測區(qū)域的設(shè)定時，再次向S30的處理轉(zhuǎn)移。在S30的處理中，檢測區(qū)域設(shè)定部12再次選擇新的面部K2。并且，檢測區(qū)域設(shè)定部12在S32的處理中執(zhí)行面部判定，在S32的處理中設(shè)定檢測區(qū)域R3、R4。這樣，反復(fù)執(zhí)行S30 S36的處理，直到對S14的處理中檢測出的全部面部執(zhí)行檢測區(qū)域的設(shè)定處理為止。另一方面，在S36的處理中，當(dāng)判定為對全部檢測區(qū)域執(zhí)行了檢測區(qū)域的設(shè)定處理時，向檢測區(qū)域的選擇處理轉(zhuǎn)移(S38)。在以下的S38 S44的處理中，進行檢測區(qū)域表的重新觀察。在S38的處理中，檢測區(qū)域設(shè)定部12參照檢測區(qū)域表，選擇一個檢測區(qū)域。當(dāng)S38的處理結(jié)束時，向?qū)?yīng)判定處理轉(zhuǎn)移(S40)。在S40的處理中，檢測區(qū)域設(shè)定部12判定是否存在與在S38的處理中選擇出的檢測區(qū)域?qū)?yīng)的面部。在S40的處理中，當(dāng)判定為不存在與檢測區(qū)域?qū)?yīng)的面部時，向刪除處理轉(zhuǎn)移(S42)。在S42的處理中，檢測區(qū)域設(shè)定部12從檢測區(qū)域表中刪除在S38的處理選擇出的檢測區(qū)域。當(dāng)S42的處理結(jié)束時，向結(jié)束判定處理轉(zhuǎn)移(S44)。另一方面，在S40的處理中，當(dāng)判定為存在與檢測區(qū)域?qū)?yīng)的面部時，不用從檢測區(qū)域表中刪除該檢測區(qū)域就向結(jié)束判定處理轉(zhuǎn)移(S44)。在S44的處理中，檢測區(qū)域設(shè)定部12針對全部檢測區(qū)域判定重新觀察處理是否已結(jié)束。在S44的處理中，當(dāng)針對全部檢測區(qū)域判定為重新觀察處理沒有結(jié)束時，再次向S38的處理轉(zhuǎn)移。由此，在S38的處理中，檢測區(qū)域設(shè)定部12再次選擇新的檢測區(qū)域。并且，檢測區(qū)域設(shè)定部12在S38的處理中執(zhí)行對應(yīng)判定處理。這樣，反復(fù)執(zhí)行S38 S44的處理，直到對檢測區(qū)域表的全部檢測區(qū)域執(zhí)行重新觀察處理為止。另一方面，在S44的處理中，當(dāng)針對全部檢測區(qū)域判定為重新觀察處理已結(jié)束時，結(jié)束圖4所示的控制處理。以上結(jié)束圖4所示的控制處理。能夠通過執(zhí)行圖4所示的控制處理，在所檢測的面部兩側(cè)設(shè)定檢測區(qū)域，并且從檢測區(qū)域表中刪除與在圖像幀內(nèi)沒有描繪的面部對應(yīng)的檢測區(qū)域。接著，對圖3中的手檢測處理(S20)進行詳細說明。圖6、7是示出本實施方式的手檢測裝置I的手檢測動作的流程圖。此外，考慮到說明理解的容易性，參照圖8 10說明檢測區(qū)域設(shè)定動作。圖8是示出對于檢測區(qū)域像素中的顏色ID的度數(shù)的直方圖的一例，(A)是累積出現(xiàn)數(shù)，⑶是累積位置信息(X座標(biāo))，(C)是累積位置信息(y座標(biāo))，⑶是累積運動量(累積運動度，X方向)，(E)是累積運動量(累積運動度，y方向)。圖9(A)是示出對于本次圖像幀中顏色ID的權(quán)重的直方圖的一例。圖9(B)是示出對于顏色ID的累積評價得分的直方圖的一例。在圖8、9中，各直方圖的橫軸是同一標(biāo)尺，各直方圖中的顏色ID是共用的。圖10是說明顏色ID以及評價得分的概念的概要圖。如圖6所示，首先，評價得分計算部14選擇檢測區(qū)域內(nèi)的I個像素(S60)。例如，選擇檢測區(qū)域內(nèi)左上的像素。當(dāng)S60的處理結(jié)束時，向運動度取得處理轉(zhuǎn)移(S62)。在S62的處理中，運動度取得部11取得在S60的處理中選擇出的像素的運動度。運動度取得部11根據(jù)例如在圖3的S12的處理中取得的光流來取得像素單位的運動量(dx、dy)。當(dāng)S62的處理結(jié)束時，向?qū)蛹壌_定處理轉(zhuǎn)移(S64)。在S64的處理中，顏色取得部13將在S60的處理中選擇出的像素顏色(例如YUV值)向唯一的顏色ID變換。如后所述，評價得分計算部14如圖8 (A) (E)所示，準(zhǔn)備將
顏色ID作為橫軸(層級)的直方圖進行運算。因此，通過向顏色ID變換，來確定該顏色ID所屬的直方圖的層級。當(dāng)S64的處理結(jié)束時，向直方圖更新處理轉(zhuǎn)移(S66)。在S66的處理中，評價得分計算部14對在S64的處理中確定的直方圖的層級累積該像素的信息。評價得分計算部14在例如圖8 (A)所示的出現(xiàn)數(shù)的直方圖中對在S64的處理中確定的層級加1，更新累積出現(xiàn)數(shù)XA。另外，評價得分計算部14在例如圖8(B)、(C)所示的位置信息(x、y)的直方圖中，對在S64的處理中確定的層級加上該像素的位置信息(x、y)，并更新累積位置信息Ix、Iy。另外，評價得分計算部14例如在圖8 (D)、(E)所示的運動量(dx、dy)的直方圖中，對在S64的處理中確定的層級加上該像素的運動量(dx、dy)，更新累積運動量Dx、Dy。此外，不僅已確定的顏色ID的直方圖，還可以在鄰接的顏色ID的直方圖中累積結(jié)果，由此能夠使信息平滑化。當(dāng)S66的處理結(jié)束時，向結(jié)束判定處理轉(zhuǎn)移(S68)。在S68的處理中，評價得分計算部14判定是否已選擇檢測區(qū)域內(nèi)的全部像素。在S68的處理中，當(dāng)判定為沒有選擇檢測區(qū)域內(nèi)的全部像素時，再次向S60的處理轉(zhuǎn)移。在S60的處理中，評價得分計算部14選擇檢測區(qū)域內(nèi)的一個其它像素。例如，選擇從檢測區(qū)域內(nèi)左上的像素向右移動I個位置的像素。這樣，反復(fù)執(zhí)行S60 S68的處理，直到選擇檢測區(qū)域內(nèi)的全部像素為止。另一方面，在S68的處理中，當(dāng)判定為已選擇檢測區(qū)域內(nèi)的全部像素時，向?qū)蛹夁x擇處理轉(zhuǎn)移(S70)。在S70的處理中，評價得分計算部14從與當(dāng)前的圖像幀對應(yīng)的直方圖中選擇一個層級。例如，從圖8所示的直方圖的層級中選擇一個層級。當(dāng)S70的處理結(jié)束時，向權(quán)重決定處理轉(zhuǎn)移(S72)。在S72的處理中，評價得分計算部14計算在S70的處理中選擇出的層級的權(quán)重。例如，評價得分計算部14計算在S66的處理中計算出的累積運動量Dx、Dy的絕對值平均值，作為在S70的處理中選擇出的層級的評價得分(權(quán)重)。即，利用下式I來計算某顏色ID中的權(quán)重W。式I

權(quán)利要求
1.一種運動物體檢測裝置，采用圖像來檢測運動物體，其特征在于，具備 運動度取得部，其取得圖像幀之間的像素的運動度； 顏色取得部，其取得上述圖像幀所包含的像素的顏色； 評價得分計算部，其按上述顏色取得部所取得的顏色，根據(jù)上述運動度來計算表示顏色的運動程度的評價得分；以及 運動物體檢測部，其根據(jù)每一顏色的上述評價得分來檢測上述運動物體。
2.根據(jù)權(quán)利要求1所述的運動物體檢測裝置，其中， 上述評價得分計算部按顏色來累積上述圖像幀內(nèi)的像素數(shù)以及該像素的運動度，并根據(jù)上述圖像幀內(nèi)的累積像素數(shù)以及累積運動度來計算該顏色的上述評價得分。
3.根據(jù)權(quán)利要求2所述的運動物體檢測裝置，其中， 上述評價得分計算部按顏色來累積像素的位置信息， 上述運動物體檢測部根據(jù)每一顏色的上述累積像素數(shù)以及累積位置信息來確定上述運動物體的位置。
4.一種運動物體檢測方法，采用圖像來檢測運動物體，該運動物體檢測方法的特征在于，具有以下的步驟 取得步驟，取得第I圖像幀與上述第I圖像幀之后輸入的第2圖像幀之間的像素的運動度以及上述第2圖像幀所包含的像素的顏色； 評價得分計算步驟，按上述取得步驟所取得的顏色，根據(jù)上述運動度來計算表示顏色的運動程度的評價得分；以及 運動物體檢測步驟，根據(jù)每一顏色的上述評價得分來檢測在上述第2圖像幀內(nèi)描繪出的上述運動物體。
5.一種運動物體檢測程序，使計算機發(fā)揮功能以采用圖像來檢測運動物體，其特征在于，該運動物體檢測程序使計算機作為如下部件發(fā)揮功能 運動度取得部，其取得圖像幀之間的像素的運動度； 顏色取得部，其取得上述圖像幀所包含的像素的顏色； 評價得分計算部，其按上述顏色取得部所取得的顏色，根據(jù)上述運動度來計算表示顏色的運動程度的評價得分；以及 運動物體檢測部，其根據(jù)每一顏色的上述評價得分來檢測上述運動物體。
6.一種運動物體跟蹤裝置，采用圖像來跟蹤運動物體，該運動物體跟蹤裝置的特征在于，具備 運動度取得部，其取得圖像幀之間的像素的運動度； 顏色取得部，其取得上述圖像幀所包含的像素的顏色； 評價得分計算部，其按上述顏色取得部所取得的顏色，根據(jù)上述運動度來計算表示顏色的運動程度的評價得分； 運動物體檢測部，其根據(jù)像素的顏色以及每一顏色的評價得分，生成將上述評價得分作為像素值的第I似然度圖像來檢測上述運動物體；以及運動物體跟蹤部，其跟蹤所檢測的上述運動物體。
7.根據(jù)權(quán)利要求6所述的運動物體跟蹤裝置，其中， 上述運動度取得部將上述圖像幀分割為規(guī)定的塊，并根據(jù)塊單位的運動來計算上述圖像幀整體的運動，從上述圖像幀所包含的像素的運動減去上述圖像幀整體的運動來計算運動度。
8.根據(jù)權(quán)利要求6或7所述的運動物體跟蹤裝置，其中， 上述運動物體跟蹤部根據(jù)上述運動物體檢測部所檢測出的上述運動物體的顏色來跟蹤上述運動物體。
9.根據(jù)權(quán)利要求8所述的運動物體跟蹤裝置，其特征在于， 上述運動物體跟蹤部根據(jù)上述評價得分來確定上述運動物體的代表顏色，并根據(jù)所確定的代表顏色來跟蹤上述運動物體。
10.根據(jù)權(quán)利要求9所述的運動物體跟蹤裝置，其中， 上述運動物體跟蹤部根據(jù)與上述運動物體的代表顏色的顏色類似度按顏色來計算似然度，并作成將像素的似然度作為像素值的第2似然度圖像來跟蹤上述運動物體。
11.根據(jù)權(quán)利要求10所述的運動物體跟蹤裝置，其中， 上述評價得分計算部按顏色計算對運動度是規(guī)定值以上的像素數(shù)進行累積而得到的前景像素數(shù)以及對運動度不是規(guī)定值以上的像素數(shù)進行累積而得到的背景像素數(shù)， 上述運動物體跟蹤部針對上述前景像素數(shù)小于上述背景像素數(shù)的顏色減小似然度。
12.根據(jù)權(quán)利要求10或11所述的運動物體跟蹤裝置，其中， 上述運動物體跟蹤部在將上次運動物體的位置作為基準(zhǔn)的像素的相對位置矢量與像素的運動矢量的內(nèi)積為負的情況下，減小該像素中的似然度。
13.根據(jù)權(quán)利要求10 12中任意一項所述的運動物體跟蹤裝置，其中， 上述運動物體跟蹤部將小于上述第2似然度圖像的區(qū)域作為跟蹤矩形，并使該跟蹤矩形移動，使得上述第2似然度圖像的上述跟蹤矩形內(nèi)的像素值的分布重心為上述跟蹤矩形的中心，由此來跟蹤上述運動物體。
14.根據(jù)權(quán)利要求10 13中任意一項所述的運動物體跟蹤裝置，其中， 上述運動物體跟蹤部采用背景似然度圖像與上述圖像幀的上述第2似然度圖像的差分圖像來跟蹤上述運動物體，上述背景似然度圖像根據(jù)上次輸入的上述圖像幀的上述第2似然度圖像以及上述跟蹤矩形而作成。
15.一種運動物體跟蹤方法，采用圖像來跟蹤運動物體，其特征在于，具有以下的步驟 取得步驟，取得圖像幀間的像素的運動度以及上述圖像幀所包含的像素的顏色； 評價得分計算步驟，按上述取得步驟所取得的顏色，根據(jù)上述運動度來計算表示顏色的運動程度的評價得分； 運動物體檢測步驟，根據(jù)像素的顏色以及每一顏色的評價得分，生成將上述評價得分作為像素值的第I似然度圖像來檢測上述運動物體；以及運動物體跟蹤步驟，跟蹤所檢測到的上述運動物體。
16.一種運動物體跟蹤程序，使計算機發(fā)揮功能以采用圖像來檢測運動物體，其特征在于，該運動物體跟蹤程序使計算機作為以下部件發(fā)揮功能 運動度取得部，其取得圖像幀之間的像素的運動度； 顏色取得部，其取得上述圖像幀所包含的像素的顏色； 評價得分計算部，其按上述顏色取得部所取得的顏色，根據(jù)上述運動度來計算表示顏色的運動程度的評價得分； 運動物體檢測部，其根據(jù)像素的顏色以及每一顏色的評價得分，生成將上述評價得分作為像素值的第I似然度圖像來檢測上述運動物體；以及運動物體跟蹤部，其跟蹤所檢測出的上述運動物體。
全文摘要
采用圖像檢測運動物體的運動物體檢測裝置(1)，具備取得圖像幀間的像素的運動度的運動度取得部(11)；取得上述圖像幀所包含的像素的顏色的顏色取得部(13)；按上述顏色取得部所取得的顏色根據(jù)上述運動度來計算表示顏色的運動程度的評價得分的評價得分計算部(14)；以及根據(jù)每一顏色的上述評價得分來檢測上述運動物體的運動物體檢測部(15)。
文檔編號G06T7/20GK103003842SQ20118000167
公開日2013年3月27日 申請日期2011年3月22日 優(yōu)先權(quán)日2011年3月22日
發(fā)明者澤井省吾 申請人:株式會社摩如富