專利名稱：確定人體動作周期及識別人體動作的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及計(jì)算機(jī)領(lǐng)域，具體來說，涉及人體行為的計(jì)算機(jī)識別，更具體來說，涉及一種確定視頻中人體動作周期的方法和裝置以及一種識別視頻中人體動作的方法和裝置。
背景技術(shù)：
人體行為識別技術(shù)具有廣泛的應(yīng)用前景并且得到越來越多的關(guān)注。利用該技術(shù)可以從視頻中快速地檢測出人們關(guān)注的行為。人體行為識別技術(shù)可被應(yīng)用到視頻監(jiān)控(銀行、醫(yī)院、工廠等環(huán)境)、人機(jī)交互(虛擬游戲等場景)、體育自動解說等領(lǐng)域。 針對人體行為識別技術(shù)，目前已經(jīng)提出了多種實(shí)現(xiàn)方法，其中基于時空特征的實(shí)現(xiàn)方法是一種流行且有效的方法。在這類方法中，通過時空特征來描述當(dāng)前幀以及相鄰數(shù)幀的信息，而后利用時空特征實(shí)現(xiàn)人體行為識別。在提取時空特征的處理中，對所有運(yùn)動視頻，設(shè)定相同長度的人體動作周期。然而，由于不同行為、不同個體存在差異性，為了進(jìn)一步提高利用時空特征實(shí)現(xiàn)的人體行為識別的準(zhǔn)確性，希望可以針對不同行為、不同個體來確定相應(yīng)的人體動作周期以便提取時空特征，進(jìn)而實(shí)現(xiàn)更為準(zhǔn)確的人體行為識別。

發(fā)明內(nèi)容
在下文中給出了關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細(xì)描述的前序。本發(fā)明旨在提供一種確定視頻中人體動作周期的方法和裝置以及相應(yīng)的確定視頻中人體動作的方法和裝置，其可以針對不同行為、不同個體來確定相應(yīng)的人體動作周期，由此可以更為準(zhǔn)確地提取時空特征，并進(jìn)而實(shí)現(xiàn)更為準(zhǔn)確的人體行為識別。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種確定視頻中人體動作周期的方法，包括在搜索范圍內(nèi)搜索人體姿態(tài)與當(dāng)前幀相似的幀；如果在搜索范圍內(nèi)搜索到所述人體姿態(tài)與當(dāng)前幀相似的幀，則將當(dāng)前幀與所述人體姿態(tài)與當(dāng)前幀相似的幀之間的時長作為視頻中的人體動作周期；否則，則將第一時長作為人體動作周期。根據(jù)本發(fā)明的另一個方面，提供了一種識別視頻中人體動作的方法，包括根據(jù)上述確定視頻中人體動作周期的方法來確定視頻中的人體動作的周期；基于確定出的周期來提取時空特征以確定視頻中的人體動作。根據(jù)本發(fā)明的另一個方面，還提供了一種確定視頻中人體動作周期的裝置，包括搜索部，被配置成在搜索范圍內(nèi)搜索人體姿態(tài)與當(dāng)前幀相似的幀；周期確定部，被配置成如果所述搜索部在搜索范圍內(nèi)搜索到所述人體姿態(tài)與當(dāng)前幀相似的幀，則將當(dāng)前幀與所述人體姿態(tài)與當(dāng)前幀相似的幀之間的時長作為視頻中的人體動作周期。
根據(jù)本發(fā)明的另一個方面，還提供了一種識別視頻中人體動作的裝置，包括包括上述確定視頻中人體動作周期的裝置的人體動作周期確定部，被配置成確定視頻中的人體動作的周期；識別部，被配置成基于確定出的周期來提取時空特征以識別視頻中的人體動作。依據(jù)本發(fā)明的其它方面，還提供了相應(yīng)的計(jì)算機(jī)程序代碼、計(jì)算機(jī)可讀存儲介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。通過以下結(jié)合附圖對本發(fā)明的最佳實(shí)施例的詳細(xì)說明，本發(fā)明的這些以及其他優(yōu)點(diǎn)將更加明顯。


本發(fā)明可以通過參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連同下面的詳細(xì)說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進(jìn)一步舉例說明本發(fā)明的優(yōu)選實(shí)施例和解釋本發(fā)明的原理和優(yōu)點(diǎn)。在附圖中圖I示出了根據(jù)本發(fā)明一個實(shí)施例的確定視頻中人體動作周期的方法的流程圖；圖2示出了根據(jù)本發(fā)明的一個實(shí)施例的搜索人體姿態(tài)與當(dāng)前幀相似的幀的處理的流程圖；圖3示出了根據(jù)本發(fā)明一個實(shí)施例的計(jì)算搜索范圍內(nèi)的每一幀中人體區(qū)域的面積的處理的流程圖；圖4示出了根據(jù)本發(fā)明另一個實(shí)施例的計(jì)算搜索范圍內(nèi)的每一幀中人體區(qū)域的面積的處理的流程圖；圖5示出了根據(jù)本發(fā)明一個實(shí)施例的計(jì)算運(yùn)動直方圖的處理的流程圖；圖6示出了根據(jù)本發(fā)明另一個實(shí)施例的計(jì)算運(yùn)動直方圖的處理的流程圖；圖7示出了根據(jù)本發(fā)明一個實(shí)施例的根據(jù)運(yùn)動直方圖和人體區(qū)域面積來搜索人體姿態(tài)與當(dāng)前幀相似的幀的處理的流程圖；圖8示出了根據(jù)本發(fā)明一個實(shí)施例的識別視頻中人體動作的方法的流程圖；圖9示出了根據(jù)本發(fā)明一個實(shí)施例的確定視頻中人體動作周期的裝置的示意圖；圖10示出了根據(jù)本發(fā)明一個實(shí)施例的搜索部的示意圖；圖11示出了根據(jù)本發(fā)明一個實(shí)施例的面積計(jì)算部的示意圖；圖12示出了根據(jù)本發(fā)明另一個實(shí)施例的面積計(jì)算部的示意圖；圖13示出了根據(jù)本發(fā)明一個實(shí)施例的運(yùn)動直方圖計(jì)算部的示意圖；圖14示出了根據(jù)本發(fā)明另一個實(shí)施例的運(yùn)動直方圖計(jì)算部的示意圖；圖15示出了根據(jù)本發(fā)明一個實(shí)施例的幀搜索部的示意圖；圖16示出根據(jù)本發(fā)明一個實(shí)施例的識別視頻中人體動作的裝置的示意圖；以及圖17是示出了其中可以實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的方法和/或裝置的通用個人計(jì)算機(jī)的示例性結(jié)構(gòu)的方框圖。
具體實(shí)施例方式在下文中將結(jié)合附圖對本發(fā)明的示范性實(shí)施例進(jìn)行描述。為了清楚和簡明起見，在說明書中并未描述實(shí)際實(shí)施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實(shí)際實(shí)施例的過程中必須做出很多特定于實(shí)施方式的決定，以便實(shí)現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會隨著實(shí)施方式的不同而有所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費(fèi)時的，但對得益于本公開內(nèi)容的本領(lǐng)域技術(shù)人員來說，這種開發(fā)工作僅僅是例行的任務(wù)。在此，還需要說明的一點(diǎn)是，為了避免因不必要的細(xì)節(jié)而模糊了本發(fā)明，在附圖中僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明關(guān)系不大的其他細(xì)節(jié)。圖I示出了根據(jù)本發(fā)明一個實(shí)施例的確定視頻中人體動作周期的方法的流程圖。如圖I所示，在步驟S102處，搜索人體姿態(tài)與當(dāng)前幀相似的幀?？紤]到人體動作往往具有周期性，當(dāng)動作周期結(jié)束時，人體可以回到動作開始的姿態(tài)。因而，可以通過搜索人體姿態(tài)與當(dāng)前幀相似的幀來確定一個完整的人體動作的周期。 接著，在步驟S104處，可以按照搜索結(jié)果來判斷搜索范圍內(nèi)是否存在人體姿態(tài)與當(dāng)前幀相似的幀。如果搜索結(jié)果表明搜索到所述人體姿態(tài)與當(dāng)前幀相似的幀，則在步驟S106處，將當(dāng)前幀與所述人體姿態(tài)與當(dāng)前幀相似的幀之間的時長作為視頻中的人體動作周期。如果搜索結(jié)果表明在搜索范圍內(nèi)沒有搜索到所述人體姿態(tài)與當(dāng)前幀相似的幀，則在步驟S108處，可以將預(yù)定的第一時長作為人體動作周期。其中，所述第一時長是足以包括一個完整的人體動作的時間長度，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)不同的應(yīng)用場景來合理地設(shè)置所述第一時長。通過合理地設(shè)置所述第一時長，可以避免在搜索范圍內(nèi)不存在人體姿態(tài)與當(dāng)前幀相似的幀的情況下的反復(fù)搜索，由此可以減少計(jì)算量，提高效率。圖I所示實(shí)施例的方法可以基于人體動作的周期性來確定人體動作周期。因而，可以準(zhǔn)確地檢測出視頻中人體動作的周期。在上述確定視頻中人體動作周期的方法中，根據(jù)不同的應(yīng)用場景或根據(jù)不同的需要可以設(shè)置不同的搜索范圍來搜索人體姿態(tài)與當(dāng)前幀相似的幀。在本發(fā)明的一個實(shí)施例中，所述搜索范圍可以是以當(dāng)前幀為起點(diǎn)向后經(jīng)過預(yù)定第二時長的時段。其中，所述第二時長可以是足以包括一個人體動作的時間長度，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)具體應(yīng)用場景來合理地設(shè)置所述第二時長。所述第二時長可以和上述的第一時長相同，也可以和所述第一時長不同。以上描述的搜索范圍僅為示例，本發(fā)明不限于此，而是還可以根據(jù)其它方式來設(shè)置搜索范圍。在本發(fā)明的另一個實(shí)施例中，所述搜索范圍也可以是以當(dāng)前幀為起點(diǎn)向前經(jīng)過預(yù)定的第三時長的時段。其中，所述第三時長可以是足以包括一個人體動作的時間長度，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)具體應(yīng)用場景來合理地設(shè)置所述第三時長。另外，第三時長可以和第二時長相同，也可以和第二時長不同。在根據(jù)任意上述實(shí)施例的確定視頻中人體動作周期的方法中，可以根據(jù)幀中人體區(qū)域的面積和運(yùn)動直方圖來搜索人體姿態(tài)與當(dāng)前幀相似的幀。其中，所述運(yùn)動直方圖指的是與幀中的人體的運(yùn)動有關(guān)的直方圖，其可以反映出幀中各個位置處的人體運(yùn)動或人體姿態(tài)。例如，所述運(yùn)動直方圖可以反映出幀中的人體運(yùn)動或人體姿態(tài)在水平方向上的分布的運(yùn)動直方圖，也可以是幀中的人體運(yùn)動或人體姿態(tài)在垂直方向上的分布的運(yùn)動直方圖。在以下的描述中，以水平方向上的運(yùn)動直方圖為例進(jìn)行描述，但本發(fā)明不限于此，本發(fā)明的實(shí)施例也可以應(yīng)用垂直方向上的運(yùn)動直方圖或者水平方向和垂直方向上的運(yùn)動直方圖的組合。顯然，如果兩個幀中的人體姿態(tài)相似，則兩個幀中的人體區(qū)域的面積大小也應(yīng)該相似；另一方面，兩個幀中的人體的運(yùn)動直方圖也應(yīng)該相似。因而，可以基于根據(jù)幀中人體區(qū)域的面積和運(yùn)動直方圖來搜索人體姿態(tài)與當(dāng)前幀相似的幀。
圖2示出了根據(jù)本發(fā)明的一個實(shí)施例的搜索人體姿態(tài)與當(dāng)前幀相似的幀的處理的流程圖。如圖2所示，可以在步驟S202處，計(jì)算幀中的人體區(qū)域的面積?？梢岳酶鞣N合適的方法來計(jì)算幀中的人體區(qū)域的面積。例如，可以通過人體邊緣來計(jì)算幀中的人體區(qū)域的面積。再例如，也可以根據(jù)前景中的人體區(qū)域中的前景像素的數(shù)目來確定幀中的人體區(qū)域的面積。如圖2所示，接著，可以在步驟S204處，計(jì)算幀的運(yùn)動直方圖?？梢酝ㄟ^各種合適的方式來計(jì)算幀的運(yùn)動直方圖。例如，可以基于幀的前景或者也可以基于幀的幀差圖像來計(jì)算運(yùn)動直方圖。在計(jì)算出幀中人體區(qū)域的面積和幀的運(yùn)動直方圖之后，在步驟S206處，可以根據(jù)運(yùn)動直方圖和人體區(qū)域面積在搜索范圍內(nèi)搜索人體姿態(tài)與當(dāng)前幀相似的幀。具體來說，在搜索范圍內(nèi)針對每一幀，根據(jù)每一幀的幀的運(yùn)動直方圖和人體區(qū)域面積與當(dāng)前幀的運(yùn)動直方圖和人體區(qū)域面積的相似性，來搜索人體姿態(tài)與當(dāng)前幀相似的幀。由此，可以實(shí)現(xiàn)在搜索范圍內(nèi)對人體姿態(tài)與當(dāng)前幀相似的幀的搜索。如上所述，可以采用各種合適的方法來計(jì)算幀中的人體區(qū)域的面積。圖3示出了根據(jù)本發(fā)明一個實(shí)施例的計(jì)算搜索范圍內(nèi)的每一幀中人體區(qū)域的面積的處理的流程圖。如圖3所示，在步驟S302處，可以先提取幀中的人體區(qū)域的邊緣?？梢圆捎萌我庖阎娜梭w邊緣的提取方法來提取幀中的人體區(qū)域的邊緣。例如，可以利用canny算法來提取幀中的人體區(qū)域的邊緣。其中，canny算法是圖像處理領(lǐng)域中常用的一種邊緣提取方法。關(guān)于canny算法的詳細(xì)內(nèi)容可以參見Canny, J.發(fā)表的題為“A Computational Approach To EdgeDetection，，的文章(見 IEEE Trans. Pattern Analysis and Machine Intelligence,8 679-714，1986)，該文章的全部內(nèi)容通過引用合并于此，在此不再贅述以使說明書保持簡潔。接著，在步驟S304處，可以基于提取出的邊緣來計(jì)算幀中的人體區(qū)域的面積。
具體來說，可以基于得到的人體區(qū)域的邊緣，計(jì)算該邊緣所包圍的面積作為幀中的人體區(qū)域的面積。由此，可以通過圖3所示的方法計(jì)算出幀中的人體區(qū)域的面積。在幀中場景較為復(fù)雜(例如，除了人以外還有其它運(yùn)動物體的情形)的情況下，圖3所示的方法可以準(zhǔn)確地計(jì)算出幀中的人體區(qū)域的面積。圖3所示的實(shí)施例僅為示例，本發(fā)明不限于此，而是還可以通過其它方式來計(jì)算幀中的人體區(qū)域的面積。例如，圖4示出了根據(jù)本發(fā)明另一個實(shí)施例的計(jì)算幀中人體區(qū)域的面積的處理的流程圖。在圖4所示的實(shí)施例中，可以直接根據(jù)幀中的前景的大小來計(jì)算人體區(qū)域的面 積。如圖4所示，在步驟S402處，可以從幀中提取出前景。可以采用各種已知的前景提取方法來從幀中提取前景。作為一個簡單的示例，可以直接將幀與相應(yīng)的背景模型相減來提取出前景。接著，在步驟S404處，可以根據(jù)提取出的前景來計(jì)算人體區(qū)域的面積。具體來說，可以通過統(tǒng)計(jì)前景中為I的像素的數(shù)量來計(jì)算人體區(qū)域的面積。由此，可以通過圖4所示的方法計(jì)算出幀中的人體區(qū)域的面積。在幀中場景較為簡單(例如，幀中前景僅包括人)的情況下，圖4所示的方法可以準(zhǔn)確高效地計(jì)算出幀中的人體區(qū)域的面積。圖3、圖4所示的實(shí)施例均僅為示例，本發(fā)明不限于此，而是還可以通過其它方式來計(jì)算幀中的人體區(qū)域的面積?；蛘?，也可以基于圖3和圖4所示的方法的組合來計(jì)算幀中人體區(qū)域的面積。如上所述，在根據(jù)本發(fā)明的確定視頻中人體動作周期的方法中，可以基于幀的前景或者也可以基于幀的幀差圖像來計(jì)算運(yùn)動直方圖。圖5示出了根據(jù)本發(fā)明一個實(shí)施例的計(jì)算運(yùn)動直方圖的處理的流程圖，其中，基于幀的前景來計(jì)算運(yùn)動直方圖。如圖5所示，在步驟S502處，可以從幀中提取出前景?？梢圆捎酶鞣N已知的前景提取方式來從幀中提取前景。例如，可以直接將幀與相應(yīng)的背景模型相減來提取出前景。接著，在步驟S504處，可以將幀劃分成多個部分。優(yōu)選地，可以在水平方向上平行地將幀等分為多個矩形的小格子。或者，也可以在垂直方向上平行地將幀等分為多個矩形的小格子。接著，在步驟S506處，可以基于提取出的幀的前景來形成運(yùn)動直方圖。具體來說，可以統(tǒng)計(jì)在水平方向或垂直方向上的每個小格子中前景像素的數(shù)量，由此形成了運(yùn)動直方圖。通過上述的方式，可以得到能夠反映出人體姿態(tài)在水平方向或垂直方向上的分布的運(yùn)動直方圖。圖5所示的方法僅為示例，本發(fā)明不限于此。例如，也可以利用幀差圖像來計(jì)算幀的運(yùn)動直方圖。
圖6示出了根據(jù)本發(fā)明另一個實(shí)施例的計(jì)算運(yùn)動直方圖的處理的流程圖，其中，基于幀差圖像來計(jì)算運(yùn)動直方圖。如圖6所示，在步驟S602處，可以計(jì)算幀的幀差圖像。在一個示例中，可以通過將所述幀與相鄰幀(例如，前一幀或后一幀)進(jìn)行相減的方式來得到幀差圖像。顯然，所述幀差圖像中包含了人體的運(yùn)動信息。接著，在步驟S604處，可以將幀劃分成多個部分。優(yōu)選地，可以在水平方向上平行地將幀等分為多個矩形的小格子?；蛘?，也可以在垂直方向上平行地將幀等分為多個矩形的小格子。接著，在步驟S606處，可以基于幀差圖像來形成運(yùn)動直方圖。 例如，可以計(jì)算幀差圖像在水平方向或垂直方向上的每個小格子中的像素的灰度值之和，由此形成了運(yùn)動直方圖。盡管以上以灰度值為例進(jìn)行說明，但以上描述僅為示例，本發(fā)明不限于此。事實(shí)上，也可以根據(jù)除了灰度值之外的其它合適參數(shù)來形成運(yùn)動直方圖。通過上述的方式，可以計(jì)算出能夠反映出人體運(yùn)動在水平方向或垂直方向上的分布的運(yùn)動直方圖。圖7示出了根據(jù)本發(fā)明一個實(shí)施例的根據(jù)運(yùn)動直方圖和人體區(qū)域面積來搜索人體姿態(tài)與當(dāng)前幀相似的幀的處理的流程圖。如圖7所示，在步驟S702處，分別計(jì)算搜索范圍內(nèi)的每一幀與當(dāng)前幀之間的運(yùn)動直方圖相似度和人體區(qū)域面積相似度。可以采用任意已知的技術(shù)來計(jì)算搜索范圍內(nèi)的每一幀與當(dāng)前幀之間的運(yùn)動直方圖相似度。例如，可以通過直方圖峰值匹配法來計(jì)算搜索范圍內(nèi)的每一幀與當(dāng)前幀之間的運(yùn)動直方圖相似度。關(guān)于直方圖峰值匹配法的詳細(xì)描述，參見Das M. > Riseman E. M.和Draper B.A等人發(fā)表的題為 “Searching for multi-colored objects in a diverse image database，，的文章(參見 IEEE Conference on Computer Vision and Pattern Recognition, 1997,PP 756-761)，其全部內(nèi)容通過引用合并于此。再例如，也可以基于窗口間平均差異來計(jì)算搜索范圍內(nèi)的每一幀與當(dāng)前幀之間的運(yùn)動直方圖相似度。關(guān)于基于窗口間平均差異來計(jì)算相似度的詳細(xì)描述，參見于2007年公開的題為“基于窗口間平均差異的直方圖相似性度量方法”的中國專利申請(CN200710042916. 3)，其全部內(nèi)容通過引用合并于此。此外，也可以利用任意已知的方式來計(jì)算搜索范圍內(nèi)的每一幀與當(dāng)前幀之間的人體區(qū)域面積的相似度。例如，可以基于每一幀的人體區(qū)域面積與當(dāng)前幀的人體區(qū)域面積的差和平均值來計(jì)算搜索范圍內(nèi)的每一幀與當(dāng)前幀之間的人體區(qū)域面積的相似度。在一個具體的示例中，可以按照公式(I)來進(jìn)行計(jì)算J.^1 \Ai~A\( I )
A
在公式(I)中，r表示計(jì)算搜索范圍內(nèi)的每一幀與當(dāng)前幀之間的人體區(qū)域面積相似度-A表示搜索范圍內(nèi)的每一幀的人體區(qū)域面積A1表示當(dāng)前幀的人體區(qū)域面積； 表示搜索范圍內(nèi)的每一幀的人體區(qū)域面積與當(dāng)前幀的人體區(qū)域面積的平均值。在分別計(jì)算出運(yùn)動直方圖相似度和人體區(qū)域面積相似度之后，接著，在步驟S704處，可以分別為人體區(qū)域面積相似度和運(yùn)動直方圖相似度設(shè)置影響因子。具體來說，可以根據(jù)不同的應(yīng)用場景或根據(jù)經(jīng)驗(yàn)值來設(shè)置合理的影響因子。在一個優(yōu)選示例中，可以將人體區(qū)域面積相似度和運(yùn)動直方圖相似度各自設(shè)置為0. 5。
接著，在步驟S706處，可以計(jì)算總相似度。其中，所述總相似度可以是表征幀中人體行為的相似程度的物理量。在本發(fā)明的一個實(shí)施例中，可以基于人體區(qū)域面積相似度和運(yùn)動直方圖相似度來計(jì)算所述總相似度。例如，可以基于人體區(qū)域面積相似度和運(yùn)動直方圖相似度、按照設(shè)置的影響因子來計(jì)算總相似度。在一個具體的示例中，可以按照公式(2)來進(jìn)行計(jì)算R= a T1+^ r2(2)在公式(2)中，R表示總相似度，ri、r2分別表示人體區(qū)域面積相似度和運(yùn)動直方圖相似度，a、^分別表示用于人體區(qū)域面積相似度和運(yùn)動直方圖相似度的影響因子。這樣，可以針對搜索范圍中的每一幀，計(jì)算出其與當(dāng)前幀的總相似度。接著，在步驟S708處，可以將最大總相似度與預(yù)定的第一閾值進(jìn)行比較。其中，所述第一閾值任意合適的值，例如可以是0. 85,0. 9,0. 95等。如果最大總相似度大于第一閾值,則在步驟S710處,可以將與具有最大總相似度的幀判定為與當(dāng)前幀中的人體姿態(tài)相同的幀。如果最大總相似度沒有大于第一閾值，則在步驟S712處，可以判定在搜索范圍內(nèi)未找到與當(dāng)前幀中的人體姿態(tài)相同的幀。如上所述，通過圖7所示的方法，實(shí)現(xiàn)了在搜索范圍內(nèi)搜索人體姿態(tài)與當(dāng)前幀相似的幀的處理。然而，圖7所示的方法僅為示例，本發(fā)明不限于此，而是還可以進(jìn)行其它有益的改型。例如，在本發(fā)明的另一個實(shí)施例中，也可以僅基于運(yùn)動直方圖來搜索人體姿態(tài)與當(dāng)如巾貞相似的巾貞。由此，可以進(jìn)一步減少計(jì)算量，提聞效率?；谏鲜鰧?shí)施例中的確定視頻中人體動作周期的方法，本發(fā)明還進(jìn)一步提供了一種識別視頻中人體動作的方法。圖8示出了根據(jù)本發(fā)明一個實(shí)施例的確定視頻中人體動作的方法的流程圖。如圖8所示，在步驟S802處，可以確定視頻中人體動作周期。例如，可以根據(jù)任意上述實(shí)施例的方法來確定視頻中人體動作周期。接著，在步驟S804處，可以基于確定出的人體動作周期來識別人體動作。具體來說，可以基于確定出的人體動作周期來提取時空特征，并基于時空特征來識別人體動作。在上述的人體動作識別的方法中，針對不同行為、不同個體來確定相應(yīng)的人體動作周期，由此可以更為準(zhǔn)確地提取時空特征，并進(jìn)而可以實(shí)現(xiàn)更為準(zhǔn)確的人體行為識別。與上述的方法對應(yīng)，本發(fā)明的實(shí)施例還相應(yīng)地提供了與方法對應(yīng)的裝置。圖9示出了根據(jù)本發(fā)明一個實(shí)施例的確定視頻中人體動作周期的裝置的示意圖。如圖9所示，根據(jù)本發(fā)明實(shí)施例的確定視頻中人體動作周期的裝置900可以包括搜索部902和周期確定部904。其中，搜索部902可以在預(yù)定的搜索范圍內(nèi)搜索人體姿態(tài)與當(dāng)前幀相似的幀。周期確定部904可以根據(jù)搜索部902提供的搜索結(jié)果來確定人體動作的周期。具體來說，如果搜索部902在搜索范圍內(nèi)搜索到所述人體姿態(tài)與當(dāng)前幀相似的幀，則周期確定部904可以將當(dāng)前幀與所述人體姿態(tài)與當(dāng)前幀相似的幀之間的時長確定為 視頻中的人體動作周期。另一方面，如果搜索結(jié)果是在搜索范圍內(nèi)沒有搜索到所述人體姿態(tài)與當(dāng)前幀相似的幀，則周期確定部904可以將第一時長作為人體動作周期。其中，所述第一時長是足以包括一個完整的人體動作的時間長度，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)不同的應(yīng)用場景來合理地設(shè)置所述第一時長。圖9所示的確定視頻中人體動作周期的裝置可以基于人體動作的周期性來確定人體動作周期。因而，可以準(zhǔn)確地檢測出視頻中人體動作的周期。此外，上述的搜索范圍可以根據(jù)不同的應(yīng)用場景或不同的需求來設(shè)置。 在本發(fā)明的一個實(shí)施例中，所述搜索范圍可以是以當(dāng)前幀為起點(diǎn)向后經(jīng)過預(yù)定第二時長的時段。其中，所述第二時長可以是足以包括一個人體動作的時間長度，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)具體應(yīng)用場景來合理地設(shè)置所述第二時長。以上描述的搜索范圍僅為示例，本發(fā)明不限于此，而是還可以根據(jù)其它方式來設(shè)置搜索范圍。在本發(fā)明的另一個實(shí)施例中，所述搜索范圍也可以是以當(dāng)前幀為起點(diǎn)向前經(jīng)過預(yù)定的第三時長的時段。其中，所述第三時長可以是足以包括一個人體動作的時間長度，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)具體應(yīng)用場景來合理地設(shè)置所述第三時長。另外，第三時長可以和第二時長相同，也可以和第二時長不同。在根據(jù)本發(fā)明的又一個實(shí)施例中，所述搜索范圍也可以是由以當(dāng)前幀為起點(diǎn)向前第二時長的時段與以當(dāng)前巾貞為起點(diǎn)向后第三時長的時段構(gòu)成。在根據(jù)任意上述實(shí)施例的確定視頻中人體動作周期的裝置中，所述搜索部可以根據(jù)幀中人體區(qū)域的面積和運(yùn)動直方圖來搜索人體姿態(tài)與當(dāng)前幀相似的幀。圖10示出了根據(jù)本發(fā)明一個實(shí)施例的搜索部的示意圖。如圖10所示，搜索部1000可以包括面積計(jì)算部1002、運(yùn)動直方圖計(jì)算部1004和幀搜索部1006。其中，關(guān)于運(yùn)動直方圖的定義，可以參照之前在方法實(shí)施例中描述的內(nèi)容，在此不再贅述以使說明書保持簡潔。面積計(jì)算部1002可以利用各種合適的方法來計(jì)算當(dāng)前幀中的人體區(qū)域的面積。例如，面積計(jì)算部1002可以通過人體邊緣來計(jì)算幀中的人體區(qū)域的面積。再例如，面積計(jì)算部1002也可以根據(jù)前景中的人體區(qū)域中的前景像素的數(shù)目來確定幀中的人體區(qū)域的面積。
運(yùn)動直方圖計(jì)算部1004可以通過各種合適的方式來計(jì)算幀的運(yùn)動直方圖。例如，運(yùn)動直方圖計(jì)算部1004可以基于幀的前景或者也可以基于幀的幀差圖像來計(jì)算運(yùn)動直方圖。在計(jì)算出幀中人體區(qū)域的面積和幀的運(yùn)動直方圖之后，幀搜索部1006可以根據(jù)運(yùn)動直方圖和人體區(qū)域面積在搜索范圍內(nèi)搜索人體姿態(tài)與當(dāng)前幀相似的幀。具體來說，幀搜索部1006可以在搜索范圍內(nèi)針對每一幀，根據(jù)每一幀的運(yùn)動直方圖和人體區(qū)域面積與當(dāng)前幀的運(yùn)動直方圖和人體區(qū)域面積的相似性，來搜索人體姿態(tài)與當(dāng)前幀相似的幀。圖11示出了根據(jù)本發(fā)明一個實(shí)施例的面積計(jì)算部的示意圖。如圖11所示，所述面積計(jì)算部可以包括邊緣確定部1102和人體區(qū)域面積計(jì)算部 1104。其中，可以采用任意已知的邊緣提取方法來提取幀中的人體區(qū)域的邊緣。例如，邊緣確定部1102可以利用canny算法來提取幀中的人體區(qū)域的邊緣。人體區(qū)域面積計(jì)算部1104可以基于提取出的邊緣來計(jì)算幀中的人體區(qū)域的面積。具體來說，人體區(qū)域面積計(jì)算部1104可以基于得到的人體區(qū)域的邊緣，計(jì)算該邊緣所包圍的面積作為幀中的人體區(qū)域的面積。在幀中場景較為復(fù)雜(例如，除了人以外還有其它運(yùn)動物體的情形)的情況下，圖11所示的面積計(jì)算部可以準(zhǔn)確地計(jì)算出幀中的人體區(qū)域的面積。圖11所示的實(shí)施例僅為示例，本發(fā)明不限于此，圖12示出了根據(jù)本發(fā)明另一個實(shí)施例的面積計(jì)算部的示意圖。如圖12所示，面積計(jì)算部1200包括前景提取部1202和人體區(qū)域面積計(jì)算部1204。前景提取部1202可以采用各種已知的前景提取方法來從幀中提取前景。作為一個簡單的示例，前景提取部1202可以直接將幀與相應(yīng)的背景模型相減來提取出前景。人體區(qū)域面積計(jì)算部1204可以根據(jù)提取出的前景來計(jì)算人體區(qū)域的面積。具體來說，人體區(qū)域面積計(jì)算部1204可以通過統(tǒng)計(jì)前景中為I的像素的數(shù)量來計(jì)算人體區(qū)域的面積。由此，可以通過圖12所示的面積計(jì)算部計(jì)算出幀中的人體區(qū)域的面積。在幀中場景較為簡單(例如，幀中前景僅包括人)的情況下，圖12所示的面積計(jì)算部可以準(zhǔn)確高效地計(jì)算出幀中的人體區(qū)域的面積。圖11、圖12所示的實(shí)施例均僅為示例，本發(fā)明不限于此，面積計(jì)算部也可以以其它合適的方式實(shí)現(xiàn)，例如，面積計(jì)算部也可以基于圖11和圖12所示的面積計(jì)算部的組合來實(shí)現(xiàn)。圖13示出了根據(jù)本發(fā)明一個實(shí)施例的運(yùn)動直方圖計(jì)算部的示意圖。如圖13所示，運(yùn)動直方圖計(jì)算部1300可以包括前景提取部1302、幀劃分部1304和直方圖生成部1306。前景提取部1302可以采用各種已知的前景提取方法來從幀中提取前景。
作為一個簡單的示例，前景提取部1302可以直接將幀與相應(yīng)的背景模型相減來提取出前景。幀劃分部1304可以將幀劃分成多個部分。優(yōu)選地，幀劃分部1304可以在水平方向上平行地將幀等分為多個矩形的小格子。或者，幀劃分部1304也可以在垂直方向上平行地將幀等分為多個矩形的小格子。直方圖生成部1306可以基于提取出的幀的前景來形成運(yùn)動直方圖。具體來說，直方圖生成部1306可以統(tǒng)計(jì)在水平方向或垂直方向上的每個小格子中前景像素的數(shù)量，由此形成了運(yùn)動直方圖。通過上述的方式，可以得到能夠反映出人體姿態(tài)在水平方向或垂直方向上的分布 的運(yùn)動直方圖。圖13所示的直方圖計(jì)算部僅為示例，本發(fā)明不限于此。例如，直方圖計(jì)算部也可以根據(jù)幀差圖像來計(jì)算幀的運(yùn)動直方圖。圖14示出了根據(jù)本發(fā)明另一個實(shí)施例的運(yùn)動直方圖計(jì)算部的示意圖。如圖14所示，運(yùn)動直方圖計(jì)算部1400可以包括幀差圖像計(jì)算部1402、幀劃分部1404和直方圖生成部1406。幀差圖像計(jì)算部1402可以計(jì)算幀的幀差圖像。在一個示例中，幀差圖像計(jì)算部1402可以通過將幀與相鄰幀(例如，前一幀或后一幀)進(jìn)行相減的方式來得到幀差圖像。顯然，所述幀差圖像中包含了人體的運(yùn)動信息。幀劃分部1404可以將幀劃分成多個部分。優(yōu)選地，幀劃分部1404可以在水平方向上平行地將幀等分為多個矩形的小格子。或者，幀劃分部1404也可以在垂直方向上平行地將幀等分為多個矩形的小格子。直方圖生成部1406可以基于幀差圖像來形成運(yùn)動直方圖。例如，直方圖生成部1406可以計(jì)算幀差圖像在水平方向或垂直方向上的每個小格子中的像素的灰度值之和，由此形成了運(yùn)動直方圖。盡管以上以灰度值為例進(jìn)行說明，但以上描述僅為示例，本發(fā)明不限于此。事實(shí)上，直方圖生成部也可以根據(jù)除了灰度值之外的其它合適參數(shù)來形成運(yùn)動直方圖。通過上述的方式，運(yùn)動直方圖計(jì)算部1400可以計(jì)算出能夠反映出人體運(yùn)動在水平方向或垂直方向上的分布的運(yùn)動直方圖。圖15示出了根據(jù)本發(fā)明一個實(shí)施例的可以根據(jù)運(yùn)動直方圖和人體區(qū)域面積來搜索人體姿態(tài)與當(dāng)前幀相似的幀的幀搜索部的示意圖。如圖15所示，幀搜索部1500包括計(jì)算部1502、影響因子設(shè)置部1504、總相似度計(jì)算部1506和搜索結(jié)果生成部1508。計(jì)算部1502可以分別計(jì)算搜索范圍內(nèi)的每一幀與當(dāng)前幀之間的運(yùn)動直方圖相似度和人體區(qū)域面積相似度。計(jì)算部1502可以采用任意已知的技術(shù)來計(jì)算搜索范圍內(nèi)的每一幀與當(dāng)前幀之間的運(yùn)動直方圖相似度。例如，計(jì)算部1502可以通過直方圖峰值匹配法來計(jì)算搜索范圍內(nèi)的每一幀與當(dāng)前幀之間的運(yùn)動直方圖相似度。再例如，計(jì)算部1502也可以基于窗口間平均差異來計(jì)算搜索范圍內(nèi)的每一幀與當(dāng)前幀之間的運(yùn)動直方圖相似度。此外，計(jì)算部1502也可以利用任意已知的方式來計(jì)算搜索范圍內(nèi)的每一幀與當(dāng)前幀之間的人體區(qū)域面積的相似度。例如，計(jì)算部1502可以基于每一幀的人體區(qū)域面積與當(dāng)前幀的人體區(qū)域面積的差和平均值來計(jì)算搜索范圍內(nèi)的每一幀與當(dāng)前幀之間的人體區(qū)域面積的相似度。影響因子設(shè)置部1504可以分別為人體區(qū)域面積相似度和運(yùn)動直方圖相似度設(shè)置影響因子。 具體來說，影響因子設(shè)置部1504可以根據(jù)不同的應(yīng)用場景或根據(jù)經(jīng)驗(yàn)值來設(shè)置合理的影響因子。在一個優(yōu)選示例中，影響因子設(shè)置部1504可以將人體區(qū)域面積相似度和運(yùn)動直方圖相似度各自設(shè)置為0.5。總相似度計(jì)算部1506可以計(jì)算總相似度。其中，所述總相似度可以是表征幀中人體行為的相似程度的物理量。在本發(fā)明的一個實(shí)施例中，可以基于人體區(qū)域面積相似度和運(yùn)動直方圖相似度來計(jì)算所述總相似度。例如，可以基于人體區(qū)域面積相似度和運(yùn)動直方圖相似度、按照設(shè)置的影響因子來計(jì)算總相似度。這樣，總相似度計(jì)算部1506可以針對搜索范圍中的每一幀，計(jì)算出其與當(dāng)前幀的總相似度。搜索結(jié)果生成部1508可以基于計(jì)算出的總相似度來得到搜索結(jié)果。具體來說，搜索結(jié)果生成部1508可以先將最大總相似度與預(yù)定的第一閾值進(jìn)行比較。如果最大總相似度大于第一閾值，則搜索結(jié)果生成部1508可以將與具有最大總相似度的幀作為與當(dāng)前幀中的人體姿態(tài)相同的幀。如果最大總相似度沒有大于第一閾值，則搜索結(jié)果生成部1508可以判定在搜索范圍內(nèi)未找到與當(dāng)前幀中的人體姿態(tài)相同的幀。這樣，幀搜索部1500可以實(shí)現(xiàn)在搜索范圍內(nèi)搜索人體姿態(tài)與當(dāng)前幀相似的幀的處理。然而，圖15所示的方法僅為示例，本發(fā)明不限于此，幀搜索部還可以進(jìn)行其它有益的改型。例如，在本發(fā)明的另一個實(shí)施例中，幀搜索部也可以僅基于運(yùn)動直方圖來搜索人體姿態(tài)與當(dāng)前幀相似的幀。由此，可以進(jìn)一步減少計(jì)算量，提高效率?；谏鲜鰧?shí)施例中的確定視頻中人體動作周期的裝置，本發(fā)明還進(jìn)一步提供了一種識別視頻中人體動作的方法。圖16示出根據(jù)本發(fā)明一個實(shí)施例的識別視頻中人體動作的裝置的示意圖。如圖16所示，根據(jù)本發(fā)明實(shí)施例的識別視頻中人體動作的裝置1600可以包括人體動作周期確定部1602和識別部1604。人體動作周期確定部1602可以確定視頻中人體動作周期。例如，人體動作周期確定部1602可以包括根據(jù)任意上述實(shí)施例的確定人體動作周期的裝置以確定視頻中人體動作周期。
識別部1604可以基于確定出的人體動作周期來識別人體動作。具體來說，識別部1604可以基于確定出的人體動作周期來提取時空特征，并基于時空特征來識別人體動作。上述識別人體動作的裝置可以針對不同行為、不同個體來確定相應(yīng)的人體動作周期，由此可以更為準(zhǔn)確地提取時空特征，并進(jìn)而可以實(shí)現(xiàn)更為準(zhǔn)確的人體行為識別。關(guān)于所述確定視頻中人體動作周期的裝置、所述識別視頻中人體動作的裝置以及其中所包括的部件的更為詳細(xì)的技術(shù)細(xì)節(jié)，可以參見之前結(jié)合方法進(jìn)行的描述，在此不再贅述以使說明書保持簡潔。另外，應(yīng)理解，本文所述的各種示例和實(shí)施例均是示例性的，本發(fā)明不限于此。在本說明書中，“第一”、“第二”等表述僅僅是為了將所描述的特征在文字上區(qū)分開，以清楚地描述本發(fā)明。因此，不應(yīng)將其視為具有任何限定性的含義。 上述裝置中各個組成模塊、單元可通過軟件、固件、硬件或其組合的方式進(jìn)行配置。配置可使用的具體手段或方式為本領(lǐng)域技術(shù)人員所熟知，在此不再贅述。在通過軟件或固件實(shí)現(xiàn)的情況下，從存儲介質(zhì)或網(wǎng)絡(luò)向具有專用硬件結(jié)構(gòu)的計(jì)算機(jī)(例如圖17所示的通用計(jì)算機(jī)1700)安裝構(gòu)成該軟件的程序，該計(jì)算機(jī)在安裝有各種程序時，能夠執(zhí)行各種功能等。在圖17中，中央處理單元(CPU) 1701根據(jù)只讀存儲器(ROM) 1702中存儲的程序或從存儲部分1708加載到隨機(jī)存取存儲器(RAM) 1703的程序執(zhí)行各種處理。在RAM 1703中，也根據(jù)需要存儲當(dāng)CPU 1701執(zhí)行各種處理等等時所需的數(shù)據(jù)。CPU 170UR0M 1702和RAM1703經(jīng)由總線1704彼此連接。輸入/輸出接口 1705也連接到總線1704。下述部件連接到輸入/輸出接口 1705 :輸入部分1706(包括鍵盤、鼠標(biāo)等等)、輸出部分1707(包括顯示器，比如陰極射線管(CRT)、液晶顯示器(LCD)等，和揚(yáng)聲器等)、存儲部分1708 (包括硬盤等)、通信部分1709 (包括網(wǎng)絡(luò)接口卡比如LAN卡、調(diào)制解調(diào)器等)。通信部分1709經(jīng)由網(wǎng)絡(luò)比如因特網(wǎng)執(zhí)行通信處理。根據(jù)需要，驅(qū)動器1710也可連接到輸入/輸出接口 1705?？刹鹦督橘|(zhì)1711比如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等等根據(jù)需要被安裝在驅(qū)動器1710上，使得從中讀出的計(jì)算機(jī)程序根據(jù)需要被安裝到存儲部分1708中。在通過軟件實(shí)現(xiàn)上述系列處理的情況下，從網(wǎng)絡(luò)比如因特網(wǎng)或存儲介質(zhì)比如可拆卸介質(zhì)1711安裝構(gòu)成軟件的程序。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這種存儲介質(zhì)不局限于圖17所示的其中存儲有程序、與設(shè)備相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)1711?？刹鹦督橘|(zhì)1711的例子包含磁盤(包含軟盤(注冊商標(biāo)))、光盤(包含光盤只讀存儲器(⑶-ROM)和數(shù)字通用盤(DVD))、磁光盤(包含迷你盤(MD)(注冊商標(biāo)))和半導(dǎo)體存儲器?；蛘?，存儲介質(zhì)可以是ROM 1702、存儲部分1708中包含的硬盤等等，其中存有程序，并且與包含它們的設(shè)備一起被分發(fā)給用戶。本發(fā)明還提出一種存儲有機(jī)器可讀取的指令代碼的程序產(chǎn)品。所述指令代碼由機(jī)器讀取并執(zhí)行時，可執(zhí)行上述根據(jù)本發(fā)明實(shí)施例的方法。相應(yīng)地，用于承載上述存儲有機(jī)器可讀取的指令代碼的程序產(chǎn)品的存儲介質(zhì)也包括在本發(fā)明的公開中。所述存儲介質(zhì)包括但不限于軟盤、光盤、磁光盤、存儲卡、存儲棒等
坐寸o
最后，還需要說明的是，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。此外，在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。以上雖然結(jié)合附圖詳細(xì)描述了本發(fā)明的實(shí)施例，但是應(yīng)當(dāng)明白，上面所描述的實(shí)施方式只是用于說明本發(fā)明，而并不構(gòu)成對本發(fā)明的限制。對于本領(lǐng)域的技術(shù)人員來說，可以對上述實(shí)施方式作出各種修改和變更而沒有背離本發(fā)明的實(shí)質(zhì)和范圍。因此，本發(fā)明的范圍僅由所附的權(quán)利要求及其等效含義來限定。通過以上的描述可以看出，本申請至少提供了以下的技術(shù)方案I. 一種確定視頻中人體動作周期的方法，包括在搜索范圍內(nèi)搜索人體姿態(tài)與當(dāng)前幀相似的幀； 如果搜索到所述人體姿態(tài)與當(dāng)前幀相似的幀，則將當(dāng)前幀與所述人體姿態(tài)與當(dāng)前幀相似的幀之間的時長作為視頻中的人體動作周期。2.根據(jù)技術(shù)方案I所述的確定視頻中人體動作周期的方法，其中，所述搜索范圍是以當(dāng)前幀為起點(diǎn)向后經(jīng)過第二時長或向前經(jīng)過第三時長的時段中的幀。3.根據(jù)技術(shù)方案2所述的確定視頻中人體動作周期的方法，其中，搜索人體姿態(tài)與當(dāng)前幀相似的幀的處理包括計(jì)算所述搜索范圍內(nèi)的每一幀中人體區(qū)域的面積；計(jì)算所述每一幀的運(yùn)動直方圖；根據(jù)所述運(yùn)動直方圖和所述人體區(qū)域面積來搜索所述人體姿態(tài)與當(dāng)前幀相似的幀。4.根據(jù)技術(shù)方案3所述的確定視頻中人體動作周期的方法，其中，計(jì)算搜索范圍內(nèi)的每一幀中人體區(qū)域的面積的處理包括確定所述每一幀中人體區(qū)域的邊緣；根據(jù)人體區(qū)域的邊緣來計(jì)算人體區(qū)域的面積。5.根據(jù)技術(shù)方案3所述的確定視頻中人體動作周期的方法，其中，計(jì)算搜索范圍內(nèi)的每一幀中人體區(qū)域的面積的處理包括從所述每一幀中提取出前景；根據(jù)所述前景來計(jì)算人體區(qū)域的面積。6.根據(jù)技術(shù)方案3所述的確定視頻中人體動作周期的方法，其中，計(jì)算每一幀的運(yùn)動直方圖的處理包括從所述每一幀中提取出前景；將所述每一幀在水平方向或垂直方向上分為多個小格子；根據(jù)前景來計(jì)算在每個小格子中前景像素的數(shù)量，由此得到所述運(yùn)動直方圖。7.根據(jù)技術(shù)方案3所述的確定視頻中人體動作周期的方法，其中，計(jì)算每一幀的運(yùn)動直方圖的處理包括計(jì)算所述每一幀與相鄰幀的幀差圖像；將所述每一幀在水平方向和/或垂直方向上分為多個小格子；
計(jì)算所述幀差圖像在每個小格子中的像素的灰度值之和，由此得到所述運(yùn)動直方圖。8.根據(jù)技術(shù)方案3所述的確定視頻中人體動作周期的方法，其中，根據(jù)所述運(yùn)動直方圖和所述人體區(qū)域面積來搜索人體姿態(tài)與當(dāng)前幀相似的幀的處理包括分別計(jì)算當(dāng)前幀和所述每一幀的運(yùn)動直方圖相似度和人體區(qū)域面積相似度；分別為所述運(yùn)動直方圖相似度和所述人體區(qū)域面積相似度設(shè)置影響因子；基于所述影響因子來計(jì)算總相似度；如果最大總相似度低于預(yù)定閾值，則判定所述搜索范圍內(nèi)不存在人體姿態(tài)與當(dāng)前幀相似的幀；如果最大總相似度大于預(yù)定閾值，則將具有最大總相似度的幀作為人體姿態(tài)與當(dāng)前幀相似的幀。 9. 一種識別視頻中人體動作的方法，包括根據(jù)技術(shù)方案1-8中任意一項(xiàng)所述的方法來確定視頻中人體動作的周期確定視頻中的人體動作的周期；基于確定出的周期來提取時空特征以識別視頻中的人體動作。10. 一種確定視頻中人體動作周期的裝置，包括搜索部，被配置成在搜索范圍內(nèi)搜索人體姿態(tài)與當(dāng)前幀相似的幀；周期確定部，被配置成在所述搜索部在搜索范圍內(nèi)搜索到所述人體姿態(tài)與當(dāng)前幀相似的幀的情況下，將當(dāng)前幀與所述人體姿態(tài)與當(dāng)前幀相似的幀之間的時長作為視頻中的人體動作周期。11.根據(jù)技術(shù)方案10所述的確定視頻中人體動作周期的裝置，其中，所述搜索范圍是以當(dāng)前幀為起點(diǎn)向后經(jīng)過第二時長或向前經(jīng)過第三時長的時段中的幀。12.根據(jù)技術(shù)方案11所述的確定視頻中人體動作周期的裝置，其中，所述搜索部包括面積計(jì)算部，被配置成計(jì)算所述搜索范圍內(nèi)的每一幀中人體區(qū)域的面積；運(yùn)動直方圖計(jì)算部，被配置成計(jì)算所述每一幀的運(yùn)動直方圖；幀搜索部，被配置成根據(jù)所述運(yùn)動直方圖和上述人體區(qū)域面積來搜索人體姿態(tài)與當(dāng)前幀相似的幀。13.根據(jù)技術(shù)方案12所述的確定視頻中人體動作周期的裝置，其中，所述面積計(jì)算部包括邊緣確定部，被配置成確定所述每一幀中人體區(qū)域的邊緣；人體區(qū)域面積計(jì)算部，被配置成根據(jù)人體區(qū)域的邊緣來計(jì)算人體區(qū)域的面積。14.根據(jù)技術(shù)方案12所述的確定視頻中人體動作周期的裝置，其中，所述面積計(jì)算部包括前景提取部，被配置成從所述每一幀中提取出前景；人體區(qū)域面積計(jì)算部，被配置成根據(jù)所述前景來計(jì)算人體區(qū)域的面積。15.根據(jù)技術(shù)方案12所述的確定視頻中人體動作周期的裝置，其中，所述運(yùn)動直方圖計(jì)算部包括前景提取部，被配置成從所述每一幀中提取出前景；
幀劃分部，被配置成將所述每一幀在水平方向或垂直方向上分為多個小格子；直方圖生成部，被配置成根據(jù)前景來計(jì)算在每個小格子中前景像素的數(shù)量，由此得到所述運(yùn)動直方圖。16.根據(jù)技術(shù)方案12所述的確定視頻中人體動作周期的裝置，其中，所述運(yùn)動直方圖計(jì)算部包括
幀差圖像計(jì)算部，被配置成計(jì)算所述每一幀與相鄰幀的幀差圖像；幀劃分部，被配置成將所述每一幀在水平方向和/或垂直方向上分為多個小格子;直方圖生成部，被配置成計(jì)算所述幀差圖像在每個小格子中的像素的灰度值之和，由此得到所述運(yùn)動直方圖。17.根據(jù)技術(shù)方案12所述的確定視頻中人體動作周期的裝置，其中，所述幀搜索部包括計(jì)算部，被配置成分別計(jì)算當(dāng)前幀和所述每一幀的運(yùn)動直方圖相似度和人體區(qū)域面積相似度；影響因子設(shè)置部，被配置成分別為所述運(yùn)動直方圖相似度和所述人體區(qū)域面積相似度設(shè)置影響因子；總相似度計(jì)算部，被配置成基于所述影響因子來計(jì)算總相似度；搜索結(jié)果生成部，被配置成如果最大總相似度低于預(yù)定閾值，則判定所述搜索范圍內(nèi)不存在人體姿態(tài)與當(dāng)前幀相似的幀；如果最大總相似度大于預(yù)定閾值，則將具有最大總相似度的幀作為人體姿態(tài)與當(dāng)前幀相似的幀。18. 一種識別視頻中人體動作的裝置，包括包括根據(jù)技術(shù)方案10-17中任意一項(xiàng)所述的確定視頻中人體動作周期的裝置人體動作周期確定部，被配置成確定視頻中的人體動作的周期；識別部，被配置成基于確定出的周期來提取時空特征以識別視頻中的人體動作。
權(quán)利要求
1.一種確定視頻中人體動作周期的方法，包括 在搜索范圍內(nèi)搜索人體姿態(tài)與當(dāng)前幀相似的幀； 在搜索到所述人體姿態(tài)與當(dāng)前幀相似的幀的情況下，將當(dāng)前幀與所述人體姿態(tài)與當(dāng)前幀相似的幀之間的時長作為視頻中的人體動作周期。
2.根據(jù)權(quán)利要求I所述的確定視頻中人體動作周期的方法，其中，所述搜索范圍是以當(dāng)前幀為起點(diǎn)向后經(jīng)過第二時長或向前經(jīng)過第三時長的時段中的幀。
3.根據(jù)權(quán)利要求2所述的確定視頻中人體動作周期的方法，其中，在搜索范圍內(nèi)搜索人體姿態(tài)與當(dāng)前幀相似的幀的處理包括 計(jì)算所述搜索范圍內(nèi)的每一幀中人體區(qū)域的面積； 計(jì)算所述每一幀的運(yùn)動直方圖； 根據(jù)所述運(yùn)動直方圖和所述人體區(qū)域面積來搜索所述人體姿態(tài)與當(dāng)前幀相似的幀。
4.根據(jù)權(quán)利要求3所述的確定視頻中人體動作周期的方法，其中，計(jì)算所述搜索范圍內(nèi)的每一幀中人體區(qū)域的面積的處理包括 確定所述每一幀中人體區(qū)域的邊緣； 根據(jù)人體區(qū)域的邊緣來計(jì)算人體區(qū)域的面積。
5.根據(jù)權(quán)利要求3所述的確定視頻中人體動作周期的方法，其中，計(jì)算每一幀的運(yùn)動直方圖的處理包括 從所述每一幀中提取出前景； 將所述每一巾貞在水平方向或垂直方向上分為多個小格子； 根據(jù)前景來計(jì)算在每個小格子中前景像素的數(shù)量，由此得到所述運(yùn)動直方圖。
6.根據(jù)權(quán)利要求3所述的確定視頻中人體動作周期的方法，其中，計(jì)算每一幀的運(yùn)動直方圖的處理包括 計(jì)算所述每一幀與相鄰幀的幀差圖像； 將所述每一巾貞在水平方向和/或垂直方向上分為多個小格子； 計(jì)算所述幀差圖像在每個小格子中的像素的灰度值之和，由此得到所述運(yùn)動直方圖。
7.根據(jù)權(quán)利要求3所述的確定視頻中人體動作周期的方法，其中，根據(jù)所述運(yùn)動直方圖和所述人體區(qū)域面積來搜索人體姿態(tài)與當(dāng)前幀相似的幀的處理包括 分別計(jì)算當(dāng)前幀和所述每一幀的運(yùn)動直方圖相似度和人體區(qū)域面積相似度； 分別為所述運(yùn)動直方圖相似度和所述人體區(qū)域面積相似度設(shè)置影響因子；基于所述影響因子來計(jì)算總相似度； 如果最大總相似度低于預(yù)定閾值，則判定所述搜索范圍內(nèi)不存在人體姿態(tài)與當(dāng)前幀相似的幀； 如果最大總相似度大于預(yù)定閾值，則將具有最大總相似度的幀作為人體姿態(tài)與當(dāng)前幀相似的幀。
8.一種識別視頻中人體動作的方法，包括 根據(jù)權(quán)利要求1-7中任意一項(xiàng)所述的方法來確定視頻中的人體動作的周期； 基于確定出的周期來提取時空特征以識別視頻中的人體動作。
9.一種確定視頻中人體動作周期的裝置，包括 搜索部，被配置成在搜索范圍內(nèi)搜索人體姿態(tài)與當(dāng)前幀相似的幀；周期確定部，被配置成在所述搜索部在搜索范圍內(nèi)搜索到所述人體姿態(tài)與當(dāng)前幀相似的幀的情況下，將當(dāng)前幀與所述人體姿態(tài)與當(dāng)前幀相似的幀之間的時長作為視頻中的人體動作周期。
10.一種識別視頻中人體動作的裝置，包括 人體動作周期確定部，其包括根據(jù)權(quán)利要求9所述的確定視頻中人體動作周期的裝置； 識別部，被配置成基于確定出的周期來提取時空特征以識別視頻中的人體動作。
全文摘要
本發(fā)明公開了確定人體動作周期及識別人體動作的方法和裝置。所述確定視頻中人體動作周期的方法包括在預(yù)定的搜索范圍內(nèi)搜索人體姿態(tài)與當(dāng)前幀相似的幀；如果在搜索范圍內(nèi)搜索到人體姿態(tài)與當(dāng)前幀相似的幀，則將當(dāng)前幀與所述人體姿態(tài)與當(dāng)前幀相似的幀之間的時長作為視頻中的人體動作周期。通過針對不同行為、不同個體來確定相應(yīng)的人體動作周期，可以更為準(zhǔn)確地提取時空特征，并實(shí)現(xiàn)更為準(zhǔn)確的人體行為識別。
文檔編號G06K9/64GK102855462SQ20111019274
公開日2013年1月2日 申請日期2011年7月1日 優(yōu)先權(quán)日2011年7月1日
發(fā)明者王月紅, 劉汝杰, 李斐, 遠(yuǎn)藤進(jìn), 上原祐介 申請人:富士通株式會社