專利名稱：確定人體動作周期及識別人體動作的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及計算機領(lǐng)域，具體來說，涉及人體行為的計算機識別，更具體來說，涉及一種確定視頻中人體動作周期的方法和裝置以及識別視頻中人體動作的方法和裝置。
背景技術(shù)：
人體行為識別技術(shù)具有廣泛的應(yīng)用前景并且得到越來越多的關(guān)注。利用該技術(shù)可以從視頻中快速地檢測出人們關(guān)注的行為。人體行為識別技術(shù)可被應(yīng)用到視頻監(jiān)控(銀行、醫(yī)院、工廠等環(huán)境)、人機交互(虛擬游戲等場景)、體育自動解說等領(lǐng)域。
針對人體行為識別技術(shù)，目前已經(jīng)提出了多種實現(xiàn)方法，其中基于時空特征的實現(xiàn)方法是一種流行且有效的方法。在這類方法中，通過時空特征來描述當(dāng)前幀以及相鄰數(shù)幀的信息，而后利用時空特征實現(xiàn)人體行為識別。在提取時空特征的處理中，對所有運動視頻，設(shè)定相同長度的人體動作周期。然而，由于不同行為、不同個體存在差異性，為了進一步提高利用時空特征實現(xiàn)的人體行為識別的準(zhǔn)確性，希望可以針對不同行為、不同個體來確定相應(yīng)的人體動作周期以便提取時空特征，進而實現(xiàn)更為準(zhǔn)確的人體行為識別。

發(fā)明內(nèi)容
在下文中給出了關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。本發(fā)明旨在提供一種確定視頻中人體動作周期的方法和裝置以及相應(yīng)的確定視頻中人體動作的方法和裝置，其可以針對不同行為、不同個體來確定相應(yīng)的人體動作周期，由此可以更為準(zhǔn)確地提取時空特征，并進而實現(xiàn)更為準(zhǔn)確的人體行為識別。為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種確定視頻中人體動作周期的方法，包括將搜索范圍內(nèi)的每個幀的人體區(qū)域劃分成多個人體部分；確定當(dāng)前幀中每個人體部分的局部動作周期；根據(jù)所述局部動作周期來確定當(dāng)前幀中的人體動作周期。根據(jù)本發(fā)明的一個方面，提供了一種識別視頻中人體動作的方法，包括根據(jù)上述的方法來確定視頻中的人體動作周期；基于所述人體動作周期來提取時空特征以識別視頻中的人體動作。根據(jù)本發(fā)明的另一個方面，還提供了一種確定視頻中人體動作周期的裝置，包括人體部分劃分部，被配置成將搜索范圍內(nèi)的每個幀的人體區(qū)域劃分成多個人體部分；局部動作周期確定部，被配置成確定當(dāng)前幀中每個人體部分的局部動作周期；人體動作周期確定部，被配置成根據(jù)所述局部動作周期來確定當(dāng)前幀中的人體動作周期。。根據(jù)本發(fā)明的另一個方面，還提供了一種識別視頻中人體動作的裝置，包括人體動作周期確定部，包括上述確定視頻中人體動作周期的裝置以確定視頻中的人體動作周期；識別部，被配置成基于所述人體動作周期來提取時空特征以識別視頻中的人體動作。依據(jù)本發(fā)明的其它方面，還提供了相應(yīng)的計算機程序代碼、計算機可讀存儲介質(zhì)和計算機程序產(chǎn)品。通過以下結(jié)合附圖對本發(fā)明的最佳實施例的詳細說明，本發(fā)明的這些以及其他優(yōu)點將更加明顯。


本發(fā)明可以通過參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連同下面的詳細說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進一步舉例說明本發(fā)明的優(yōu)選實施例和解釋本發(fā)明的原理和優(yōu)點。在附圖中
圖I示出了根據(jù)本發(fā)明一個實施例的確定視頻中人體動作周期的方法的流程圖；圖2示出了根據(jù)本發(fā)明的一個實施例的將幀中的人體區(qū)域劃分成多個人體部分的處理的流程圖；圖3示出了根據(jù)本發(fā)明一個實施例的確定局部動作周期的流程圖；圖4示出了根據(jù)本發(fā)明一個實施例的識別視頻中人體動作的方法的流程圖；圖5示出了根據(jù)本發(fā)明一個實施例的確定視頻中人體動作周期的裝置的示意圖；圖6示出了根據(jù)本發(fā)明一個實施例的人體部分劃分部的示意圖；圖7示出了根據(jù)本發(fā)明一個實施例的局部動作周期確定部的示意圖；圖8示出根據(jù)本發(fā)明一個實施例的識別視頻中人體動作的裝置的示意圖；以及圖9是示出了其中可以實現(xiàn)根據(jù)本發(fā)明實施例的方法和/或裝置的通用個人計算機的示例性結(jié)構(gòu)的方框圖。
具體實施例方式在下文中將結(jié)合附圖對本發(fā)明的示范性實施例進行描述。為了清楚和簡明起見，在說明書中并未描述實際實施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實際實施例的過程中必須做出很多特定于實施方式的決定，以便實現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會隨著實施方式的不同而有所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費時的，但對得益于本公開內(nèi)容的本領(lǐng)域技術(shù)人員來說，這種開發(fā)工作僅僅是例行的任務(wù)。在此，還需要說明的一點是，為了避免因不必要的細節(jié)而模糊了本發(fā)明，在附圖中僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明關(guān)系不大的其他細節(jié)。圖I示出了根據(jù)本發(fā)明一個實施例的確定視頻中人體動作周期的方法的流程圖。在圖I所示的確定人體動作周期的方法中，可以利用人體動作的周期性來確定視頻中的人體動作周期。具體來說，人體動作往往具有周期性，當(dāng)動作周期結(jié)束時，人體各個部分都可以回到動作開始的姿態(tài)。因而，可以根據(jù)視頻中人體各個部分的動作周期來確定視頻中的人體動作周期。如圖I所示，在步驟S102處，可以對視頻中的人體區(qū)域進行劃分以形成多個人體部分。具體來說，可以對預(yù)定搜索范圍內(nèi)的每個幀進行人體區(qū)域的劃分，由此在每個幀中得到多個人體部分。接著，在步驟S104處，可以確定當(dāng)前幀中的每個人體部分的局部動作周期。具體來說，可以基于當(dāng)前幀中的每個人體部分的運動矢量來確定所述每個部分的局部動作周期。接著，在步驟S106處，可以根據(jù)當(dāng)前幀中多個人體部分的局部動作周期來確定視頻中當(dāng)前幀的人體動作周期。 具體來說，可以將當(dāng)前幀中多個人體部分的局部動作周期中的最大局部動作周期確定為視頻中當(dāng)前幀的人體動作周期。由此，通過上述利用人體動作周期性的基于人體部分的確定視頻中人體動作周期的方法，可以基于人體動作的周期性來準(zhǔn)確地確定出視頻中的人體動作周期。在上述確定視頻中人體動作周期的方法中，根據(jù)不同的應(yīng)用場景或根據(jù)不同的需求可以設(shè)置不同的搜索范圍。在本發(fā)明的一個實施例中，所述搜索范圍可以是以當(dāng)前幀為起點向后經(jīng)過預(yù)定第一時長的時段中的幀。其中，所述第一時長可以是足以包括一個人體動作的時間長度，可以根據(jù)經(jīng)驗值或根據(jù)具體應(yīng)用場景來合理地設(shè)置所述第一時長。以上描述的搜索范圍僅為示例，本發(fā)明不限于此，而是還可以根據(jù)其它方式來設(shè)置搜索范圍。在本發(fā)明的另一個實施例中，所述搜索范圍也可以是以當(dāng)前幀為起點向前經(jīng)過預(yù)定的第二時長的時段中的幀。其中，所述第二時長可以是足以包括一個人體動作的時間長度，可以根據(jù)經(jīng)驗值或根據(jù)具體應(yīng)用場景來合理地設(shè)置所述第二時長。另外，第二時長可以和第一時長相同，也可以和第一時長不同。在上述的方法中，將幀中的人體區(qū)域劃分成多個人體部分處理可以通過各種合適的技術(shù)手段來實現(xiàn)。圖2示出了根據(jù)本發(fā)明的一個實施例的將幀中的人體區(qū)域劃分成多個人體部分的處理的流程圖。如圖2所示，在步驟S202處，可以提取出幀中的人體區(qū)域的輪廓線?？梢圆捎萌我庖阎倪吘壧崛》椒▉硖崛械娜梭w區(qū)域的輪廓線。例如，可以利用canny算法來提取幀中的人體區(qū)域的輪廓線。其中，canny算法是圖像處理領(lǐng)域中常用的一種邊緣提取方法。關(guān)于canny算法的詳細內(nèi)容可以參見Canny, J.發(fā)表的題為“A Computational Approach To EdgeDetection，，的文章(見 IEEE Trans. Pattern Analysis and Machine Intelligence,8 679-714，1986)，該文章的全部內(nèi)容通過引用合并于此，在此不再贅述以使說明書保持簡潔。接著，在步驟S204處，可以根據(jù)提取出的人體區(qū)域的輪廓線來進一步確定出輪廓線上的連接點。
其中，所述連接點可以是在輪廓線上連接兩個不同人體部分的連接點，例如，手臂與肢體的連接點等。具體來說，考慮到輪廓線上連接兩個不同人體部分的區(qū)域往往呈現(xiàn)為凹谷的形態(tài)而輪廓線上的連接點應(yīng)處于凹谷的底點，因而可以通過確定凹谷底點的方式來確定連接點。例如，手臂與肢體相接處在輪廓線上呈現(xiàn)為一個凹谷，而該凹谷的底點則為需要確定的連接點(即手臂與肢體相接的連接點)。在本發(fā)明的一個實施例中，可以通過計算輪廓線上各個像素點的曲率的方式來確定出人體輪廓線上的連接點。接著，在步驟S206處，可以基于連接點來進一步將人體區(qū)域分割成多個人體部分。
具體來說，在確定出連接點之后，可以根據(jù)人特有的一些信息(例如，頭的形狀近似為圓形、四肢形狀可以近似為矩形等)來完成人的分割，由此得到多個人體部分。關(guān)于上述基于輪廓線上連接點來將人體劃分為多個人體部分的具體技術(shù)細節(jié)，例如可以參見Rafael C. Gonzalez和Richard E. Woods所著的“數(shù)字圖像處理”(電子工業(yè)出版社，2002)，其全部內(nèi)容通過引用合并與此，在此不再進行贅述以使說明書保持簡潔。這樣，通過圖2所示的實施例，可以高效準(zhǔn)確地將幀中的人體區(qū)域劃分成多個人體部分。圖2所示的實施例僅為示例，本發(fā)明不限于此，例如，也可以通過其它已知的人體劃分方法(例如，基于區(qū)域的方法等)來將幀中的人體區(qū)域劃分成多個人體部分。在上述的方法中，在將人體分割成多個人體部分后，可以進一步來分別確定各個人體部分的局部動作周期。圖3示出了根據(jù)本發(fā)明一個實施例的確定人體部分的局部動作周期的流程圖。如圖3所示，在步驟S302處，可以計算人體部分的運動矢量。其中，所述運動矢量是可以表示人體部分的運動速度以及方向的參量。可以基于人體部分中的全部或部分像素的運動來計算所述人體部分的運動矢量。在本發(fā)明的一個實施例中，可以根據(jù)人體部分中的部分像素的運動來得出整個人體部分的運動矢量。例如，在所述人體部分是頭部的情況下，可以先根據(jù)特征像素(例如，與眼睛、鼻子、嘴巴位置對應(yīng)的像素)的運動，來分別計算這些特征像素的運動矢量。具體來說，可以通過特征像素在相鄰兩幀(例如，前一幀或后一幀)之間的位置差來得到各個特征像素的運動矢量。然后，對人體部分的各特征像素的運動矢量求和，由此可以得到所述人體部分的
運動矢量。盡管在以上示例性描述中根據(jù)部分特征像素來計算人體部分的運動矢量，但是本發(fā)明不限于此，而是還可以進行其它的改型。例如，在本發(fā)明的另一個實施例中，也可以計算人體部分中所有像素的運動矢量，然后對所有的運動矢量求和，由此得到所述人體部分的運動矢量?；氐綀D3，接著在步驟S304處，可以基于人體部分的運動矢量在搜索范圍內(nèi)搜索人體動作的動作結(jié)束幀。在搜索出人體動作的動作結(jié)束幀的情況下，在步驟S306處，可以將當(dāng)前幀與動作結(jié)束幀之間的時長確定為人體部分的局部動作周期。此外，如果沒有在搜索范圍內(nèi)搜索到動作結(jié)束幀，則在步驟S308處可以將預(yù)定的第三時長確定為所述人體部分的局部動作周期。其中，所述第三時長是足以包括一個完整的人體動作的時間長度，可以根據(jù)經(jīng)驗值或根據(jù)不同的應(yīng)用場景來合理地設(shè)置所述第三時長。由此，可以確定出當(dāng)前幀中每個人體部分的局部動作周期。在上述的實施例中，在搜索范圍內(nèi)搜索人體部分的動作結(jié)束幀的處理可以基于所述人體部分的運動矢量來實現(xiàn)。 在本發(fā)明的一個實施例中，可以通過在搜索范圍內(nèi)搜索可以使各個幀中的所述人體部分的運動矢量的矢量和趨于零的幀，來確定人體部分的動作結(jié)束幀。具體來說，例如在實時確定視頻幀序列中的人體動作周期的情況下，可以以當(dāng)前幀為起點，在預(yù)定的搜索范圍內(nèi)，依次向前對幀中的人體部分的運動矢量進行累加。在發(fā)現(xiàn)運動矢量的累加值趨近于零時(例如，在累加值已經(jīng)小于預(yù)設(shè)的第一閾值時)，則可以將當(dāng)運動矢量的累加值小于第一閾值時的幀確定為人體部分的動作結(jié)束幀。其中，所述第一閾值可以是根據(jù)經(jīng)驗值或根據(jù)實際應(yīng)用情景而預(yù)設(shè)的接近零的值。另一方面，如果在預(yù)定的搜索范圍內(nèi)，運動矢量的累加值始終沒有小于第一閾值，則可以判定在所述預(yù)定的搜索范圍內(nèi)沒有搜索到所述動作結(jié)束幀。由此，可以實現(xiàn)在搜索范圍內(nèi)搜索人體部分的動作結(jié)束幀的處理。盡管在以上描述中，以實時確定視頻幀序列中的人體動作周期的情況(向前依次搜索)為例進行說明，但是以上描述僅為示例，本發(fā)明不限于此。例如，在本發(fā)明的另一個實施例中，例如，在針對已有視頻進行分析來確定視頻幀序列中的人體動作周期的情況下，也可以以當(dāng)前幀為起點，在預(yù)定的搜索范圍內(nèi)，依次向后對幀中的人體部分的運動矢量進行累加來搜索人體部分的動作接收幀。由此，也可以實現(xiàn)在搜索范圍內(nèi)搜索人體部分的動作結(jié)束幀的處理?；谏鲜鰧嵤├械拇_定視頻中人體動作周期的方法，本發(fā)明還進一步提供了一種識別視頻中人體動作的方法。圖4示出了根據(jù)本發(fā)明一個實施例的識別視頻中人體動作的方法的流程圖。如圖4所示，在步驟S402處，可以確定視頻中人體動作周期。例如，可以根據(jù)任意上述實施例的方法來確定視頻中人體動作周期。接著，在步驟404處，可以基于確定出的人體動作周期來識別人體動作。具體來說，可以基于確定出的人體動作周期來提取時空特征，并基于時空特征來識別人體動作。在上述的人體動作識別的方法中，針對不同行為、不同個體來確定相應(yīng)的人體動作周期，由此可以更為準(zhǔn)確地提取時空特征，并進而可以實現(xiàn)更為準(zhǔn)確的人體行為識別。與上述的方法對應(yīng)，本發(fā)明的實施例還相應(yīng)地提供了與方法對應(yīng)的裝置。圖5示出了根據(jù)本發(fā)明一個實施例的確定視頻中人體動作周期的裝置的示意圖。
如圖5所示，確定視頻中人體動作周期的裝置500可以包括人體部分劃分部502、局部動作周期確定部504和人體動作周期確定部506。人體部分劃分部502可以對視頻中的人體區(qū)域進行劃分以形成多個人體部分。具體來說，人體部分劃分部502可以對預(yù)定搜索范圍內(nèi)的每個幀進行人體區(qū)域的劃分，由此在每個幀中得到多個人體部分。局部動作周期確定部504可以確定當(dāng)前幀中的每個人體部分的局部動作周期。具體來說，局部動作周期確定部504可以基于當(dāng)前幀中的每個人體部分的運動矢量來確定所述每個部分的局部動作周期。 人體動作周期確定部506可以根據(jù)當(dāng)前幀中多個人體部分的局部動作周期來確定視頻中當(dāng)前幀的人體動作周期。具體來說，人體動作周期確定部506可以將當(dāng)前幀中多個人體部分的局部動作周期中的最大局部動作周期確定為視頻中當(dāng)如巾貞的人體動作周期。由此，通過上述利用人體動作周期性的基于人體部分來確定視頻中人體動作周期的裝置，可以基于人體動作的周期性來準(zhǔn)確地確定出視頻中的人體動作周期。在上述確定視頻中人體動作周期的方法中，根據(jù)不同的應(yīng)用場景或根據(jù)不同的需求可以設(shè)置不同的搜索范圍。在本發(fā)明的一個實施例中，所述搜索范圍可以是以當(dāng)前幀為起點向后經(jīng)過預(yù)定第一時長的時段中的幀。其中，所述第一時長可以是足以包括一個人體動作的時間長度，可以根據(jù)經(jīng)驗值或根據(jù)具體應(yīng)用場景來合理地設(shè)置所述第一時長。以上描述的搜索范圍僅為示例，本發(fā)明不限于此，而是還可以根據(jù)其它方式來設(shè)置搜索范圍。在本發(fā)明的另一個實施例中，所述搜索范圍也可以是以當(dāng)前幀為起點向前經(jīng)過預(yù)定的第二時長的時段中的幀。其中，所述第二時長可以是足以包括一個人體動作的時間長度，可以根據(jù)經(jīng)驗值或根據(jù)具體應(yīng)用場景來合理地設(shè)置所述第二時長。另外，第二時長可以和第一時長相同，也可以和第一時長不同。在上述的裝置中，人體部分劃分部可以通過各種合適的技術(shù)手段來將幀中的人體區(qū)域劃分成多個人體部分。圖6示出了根據(jù)本發(fā)明一個實施例的人體部分劃分部的示意圖。如圖6所示，人體部分劃分部600可以包括輪廓提取部602、連接點提取部604和分割部606。輪廓提取部602可以采用任意已知的邊緣提取方法來提取幀中的人體區(qū)域的輪廓線。例如，可以利用canny算法來提取幀中的人體區(qū)域的輪廓線。連接點提取部604可以根據(jù)提取出的人體區(qū)域的輪廓線來進一步確定出輪廓線上的連接點。具體來說，考慮到輪廓線上連接兩個不同人體部分的區(qū)域往往呈現(xiàn)為凹谷的形態(tài)而輪廓線上的連接點應(yīng)處于凹谷的底點，因而可以通過確定凹谷底點的方式來確定連接點。在本發(fā)明的一個實施例中，可以通過計算輪廓線上各個像素點的曲率的方式來確定出人體輪廓線上的連接點。分割部606可以基于連接點來進一步將人體區(qū)域分割成多個人體部分。具體來說，在確定出連接點之后，可以根據(jù)人特有的一些信息(例如，頭的形狀近似為圓形、四肢形狀可以近似為矩形等)來完成人的分割，由此得到多個人體部分。以上結(jié)合圖6所示的人體部分劃分部的實施例僅為示例，本發(fā)明不限于此，例如，人體部分劃分部也可以通過其它已知的人體劃分方法(例如，基于區(qū)域的方法等)來將幀中的人體區(qū)域劃分成多個人體部分。在上述的裝置中，在人體部分劃分部將人體分割成多個人體部分后，局部動作周期確定部可以分別確定各個人體部分的局部動作周期圖7示出了根據(jù)本發(fā)明一個實施例的局部動作周期確定部的示意圖。
如圖7所示，局部動作周期確定部700可以包括運動矢量計算部702、動作結(jié)束幀搜索部704以及時長確定部706。運動矢量計算部702可以計算人體部分的運動矢量。運動矢量計算部702可以基于人體部分中的全部或部分像素的運動來計算所述人體部分的運動矢量。在本發(fā)明的一個實施例中，運動矢量計算部702可以根據(jù)人體部分中的部分像素的運動來得出整個人體部分的運動矢量。例如，在所述人體部分是頭部的情況下，運動矢量計算部可以先根據(jù)特征像素(例如，與眼睛、鼻子、嘴巴位置對應(yīng)的像素)的運動，來分別計算這些特征像素的運動矢量。具體來說，運動矢量計算部702可以通過特征像素在相鄰兩幀(例如，前一幀或后一幀)之間的位置差來得到各個特征像素的運動矢量。然后，對人體部分的各特征像素的運動矢量求和，由此可以得到所述人體部分的
運動矢量。盡管在以上示例性描述中根據(jù)部分特征像素來計算人體部分的運動矢量，但是本發(fā)明不限于此，而是還可以進行其它的改型。例如，在本發(fā)明的另一個實施例中，運動矢量計算部702也可以計算人體部分中所有像素的運動矢量，然后對所有的運動矢量求和，由此得到人體部分的運動矢量。動作結(jié)束幀搜索部704可以基于動作矢量計算部計算出的人體部分的運動矢量在搜索范圍內(nèi)搜索人體動作的動作結(jié)束幀。在動作結(jié)束幀搜索部704搜索出人體動作的動作結(jié)束幀的情況下，時長確定部706可以將當(dāng)前幀與動作結(jié)束幀之間的時長確定為人體部分的局部動作周期。此外，如果動作結(jié)束幀搜索部704沒有在搜索范圍內(nèi)搜索到動作結(jié)束幀，時長確定部706可以將預(yù)定的第三時長確定為所述人體部分的局部動作周期。其中，所述第三時長是足以包括一個完整的人體動作的時間長度，可以根據(jù)經(jīng)驗值或根據(jù)不同的應(yīng)用場景來合理地設(shè)置所述第三時長。由此，局部動作周期確定部700可以確定出當(dāng)前幀中每個人體部分的局部動作周期。在上述的實施例中，動作結(jié)束幀搜索部在搜索范圍內(nèi)搜索人體部分的動作結(jié)束幀的處理可以基于所述人體部分的運動矢量來實現(xiàn)。在本發(fā)明的一個實施例中，動作結(jié)束幀搜索部可以通過在搜索范圍內(nèi)搜索可以使所述人體部分的運動矢量的矢量和趨于零的幀，來確定人體部分的動作結(jié)束幀。具體來說，例如在實時確定視頻幀序列中的人體動作周期的情況下，動作結(jié)束幀搜索部可以以當(dāng)前幀為起點，在預(yù)定的搜索范圍內(nèi)，依次向前對幀中的人體部分的運動矢量進行累加。在發(fā)現(xiàn)運動矢量的累加值趨近于零時(例如，在累加值已經(jīng)小于預(yù)設(shè)的第一閾值時)，動作結(jié)束幀搜索部可以將當(dāng)運動矢量的累加值小于第一閾值時的幀確定為人體部分的動作結(jié)束幀。其中，所述第一閾值可以是根據(jù)經(jīng)驗值或根據(jù)實際應(yīng)用情景而預(yù)設(shè) 的接近零的值。另一方面，如果在預(yù)定的搜索范圍內(nèi)，運動矢量的累加值始終沒有小于第一閾值，則動作結(jié)束幀搜索部可以判定在所述預(yù)定的搜索范圍內(nèi)沒有搜索到所述動作結(jié)束幀。由此，動作結(jié)束幀搜索部可以實現(xiàn)在搜索范圍內(nèi)對人體部分的動作結(jié)束幀的搜索。盡管在以上描述中，以實時確定視頻幀序列中的人體動作周期的情況(向前依次搜索)為例對動作結(jié)束幀搜索部的操作進行說明，但是以上描述僅為示例，本發(fā)明不限于此。例如，在本發(fā)明的另一個實施例中，例如，在針對已有視頻進行分析來確定視頻幀序列中的人體動作周期的情況下，動作結(jié)束幀搜索部也可以以當(dāng)前幀為起點，在預(yù)定的搜索范圍內(nèi)，依次向后對幀中的人體部分的運動矢量進行累加來搜索人體部分的動作接收幀。由此，動作結(jié)束幀搜索部也可以實現(xiàn)在搜索范圍內(nèi)對人體部分的動作結(jié)束幀的搜索?；谏鲜鰧嵤├械拇_定視頻中人體動作周期的裝置，本發(fā)明還進一步提供了一種識別視頻中人體動作的裝置。圖8示出根據(jù)本發(fā)明一個實施例的識別視頻中人體動作的裝置的示意圖。如圖所示，根據(jù)本發(fā)明實施例的識別視頻中人體動作的裝置800可以包括人體動作周期確定部802和識別部804。人體動作周期確定部802可以確定視頻中人體動作周期。例如，人體動作周期確定部802可以包括根據(jù)任意上述實施例的確定人體動作周期的裝置以確定視頻中人體動作周期。識別部804可以基于確定出的人體動作周期來識別人體動作。具體來說，識別部804可以基于確定出的人體動作周期來提取時空特征，并基于時空特征來識別人體動作。上述識別人體動作的裝置可以針對不同行為、不同個體來確定相應(yīng)的人體動作周期，由此可以更為準(zhǔn)確地提取時空特征，并進而可以實現(xiàn)更為準(zhǔn)確的人體行為識別。關(guān)于所述確定視頻中人體動作周期的裝置、所述識別視頻中人體動作的裝置以及其中所包括的部件的更為詳細的技術(shù)細節(jié)，可以參見之前結(jié)合方法進行的描述，在此不再贅述以使說明書保持簡潔。另外，應(yīng)理解，本文所述的各種示例和實施例均是示例性的，本發(fā)明不限于此。在本說明書中，“第一”、“第二”等表述僅僅是為了將所描述的特征在文字上區(qū)分開，以清楚地描述本發(fā)明。因此，不應(yīng)將其視為具有任何限定性的含義。上述裝置中各個組成模塊、單元可通過軟件、固件、硬件或其組合的方式進行配置。配置可使用的具體手段或方式為本領(lǐng)域技術(shù)人員所熟知，在此不再贅述。在通過軟件或固件實現(xiàn)的情況下，從存儲介質(zhì)或網(wǎng)絡(luò)向具有專用硬件結(jié)構(gòu)的計算機(例如圖9所示的通用計算機900)安裝構(gòu)成該軟件的程序，該計算機在安裝有各種程序時，能夠執(zhí)行各種功倉泛·。在圖9中，中央處理單元(CPU)901根據(jù)只讀存儲器(ROM)902中存儲的程序或從存儲部分908加載到隨機存取存儲器(RAM) 903的程序執(zhí)行各種處理。在RAM 903中，也根據(jù)需要存儲當(dāng)CPU 901執(zhí)行各種處理等等時所需的數(shù)據(jù)。CPU 90KROM 902和RAM 903經(jīng) 由總線904彼此連接。輸入/輸出接口 905也連接到總線904。下述部件連接到輸入/輸出接口 905 :輸入部分906 (包括鍵盤、鼠標(biāo)等等)、輸出部分907 (包括顯示器，比如陰極射線管(CRT)、液晶顯示器(LCD)等，和揚聲器等)、存儲部分908 (包括硬盤等)、通信部分909 (包括網(wǎng)絡(luò)接口卡比如LAN卡、調(diào)制解調(diào)器等)。通信部分909經(jīng)由網(wǎng)絡(luò)比如因特網(wǎng)執(zhí)行通信處理。根據(jù)需要，驅(qū)動器910也可連接到輸入/輸出接口 905。可拆卸介質(zhì)911比如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等等根據(jù)需要被安裝在驅(qū)動器910上，使得從中讀出的計算機程序根據(jù)需要被安裝到存儲部分908中。在通過軟件實現(xiàn)上述系列處理的情況下，從網(wǎng)絡(luò)比如因特網(wǎng)或存儲介質(zhì)比如可拆卸介質(zhì)911安裝構(gòu)成軟件的程序。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這種存儲介質(zhì)不局限于圖9所示的其中存儲有程序、與設(shè)備相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)911?？刹鹦督橘|(zhì)911的例子包含磁盤(包含軟盤(注冊商標(biāo)))、光盤(包含光盤只讀存儲器(⑶-ROM)和數(shù)字通用盤(DVD))、磁光盤(包含迷你盤(MD)(注冊商標(biāo)))和半導(dǎo)體存儲器?；蛘撸鎯橘|(zhì)可以是ROM 902、存儲部分908中包含的硬盤等等，其中存有程序，并且與包含它們的設(shè)備一起被分發(fā)給用戶。本發(fā)明還提出一種存儲有機器可讀取的指令代碼的程序產(chǎn)品。所述指令代碼由機器讀取并執(zhí)行時，可執(zhí)行上述根據(jù)本發(fā)明實施例的方法。相應(yīng)地，用于承載上述存儲有機器可讀取的指令代碼的程序產(chǎn)品的存儲介質(zhì)也包括在本發(fā)明的公開中。所述存儲介質(zhì)包括但不限于軟盤、光盤、磁光盤、存儲卡、存儲棒等
坐寸ο最后，還需要說明的是，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。此外，在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。以上雖然結(jié)合附圖詳細描述了本發(fā)明的實施例，但是應(yīng)當(dāng)明白，上面所描述的實施方式只是用于說明本發(fā)明，而并不構(gòu)成對本發(fā)明的限制。對于本領(lǐng)域的技術(shù)人員來說，可以對上述實施方式作出各種修改和變更而沒有背離本發(fā)明的實質(zhì)和范圍。因此，本發(fā)明的范圍僅由所附的權(quán)利要求及其等效含義來限定。通過以上的描述可以看出，本申請至少提供了以下的技術(shù)方案I. 一種確定視頻中人體動作周期的方法，包括將搜索范圍內(nèi)的每個幀的人體區(qū)域劃分成多個人體部分；確定當(dāng)前幀中每個人體部分的局部動作周期；根據(jù)所述局部動作周期來確定當(dāng)前幀中的人體動作周期。2.根據(jù)技術(shù)方案I所述的確定視頻中人體動作周期的方法，其中，所述搜索范圍是以當(dāng)前幀為起點向后經(jīng)過第一時長或向前經(jīng)過第二時長的時段中的幀。
3.根據(jù)技術(shù)方案2所述的確定視頻中人體動作周期的方法，其中，將搜索范圍內(nèi)的每個幀的人體區(qū)域劃分成多個人體部分的處理包括提取出幀中人體區(qū)域的輪廓線；根據(jù)輪廓線來確定人體區(qū)域的連接點；基于連接點來將人體區(qū)域分割成多個人體部分。4.根據(jù)技術(shù)方案2所述的確定視頻中人體動作周期的方法，其中，確定當(dāng)前幀中每個人體部分的局部動作周期的處理包括計算所述人體部分的運動矢量；在所述搜索范圍內(nèi)搜索所述人體部分的動作結(jié)束幀；如果搜索到所述動作結(jié)束幀，則將所述動作結(jié)束幀和所述當(dāng)前幀之間的時長確定所述人體部分的局部動作周期。5.根據(jù)技術(shù)方案4所述的確定視頻中人體動作周期的方法，其中，在所述搜索范圍內(nèi)搜索所述人體部分的動作結(jié)束幀的處理包括在所述搜索范圍內(nèi)搜索可以使所述人體部分的運動矢量之和小于第一閾值的幀作為所述動作結(jié)束幀。6.根據(jù)技術(shù)方案4所述的確定視頻中人體動作周期的方法，其中，計算所述人體部分的運動矢量的處理包括基于所述人體部分中的全部或部分像素的運動來計算所述人體部分的運動矢量。7.根據(jù)技術(shù)方案2所述的確定視頻中人體動作周期的方法，其中，根據(jù)所述局部動作周期來確定當(dāng)前幀中的人體動作周期的處理包括將所述多個人體部分的局部動作周期中的最大的局部動作周期確定為人體動作周期。8. 一種識別視頻中人體動作的方法，包括根據(jù)技術(shù)方案1-7中任意一項所述的方法來確定視頻中的人體動作周期；基于所述人體動作周期來提取時空特征以識別視頻中的人體動作。9. 一種確定視頻中人體動作周期的裝置，包括人體部分劃分部，被配置成將搜索范圍內(nèi)的每個幀的人體區(qū)域劃分成多個人體部分；局部動作周期確定部，被配置成確定當(dāng)前幀中每個人體部分的局部動作周期；人體動作周期確定部，被配置成根據(jù)所述局部動作周期來確定當(dāng)前幀中的人體動作周期。
10.根據(jù)技術(shù)方案9所述的確定視頻中人體動作周期的裝置，其中，所述搜索范圍是以當(dāng)前幀為起點向后經(jīng)過第一時長或向前經(jīng)過第二時長的時段中的幀。11.根據(jù)技術(shù)方案10所述的確定視頻中人體動作周期的裝置，其中，所述人體部分劃分部包括輪廓提取部，被配置成提取出幀中人體區(qū)域的輪廓線；連接點提取部，被配置成根據(jù)輪廓線來確定人體區(qū)域的連接點；分割部，被配置成基于連接點來將人 體區(qū)域分割成多個人體部分。12.根據(jù)技術(shù)方案10所述的確定視頻中人體動作周期的裝置，其中，所述局部動作周期確定部包括運動矢量計算部，被配置成計算所述人體部分的運動矢量；動作結(jié)束幀搜索部，被配置成在所述搜索范圍內(nèi)搜索所述人體部分的動作結(jié)束幀；時長確定部，被配置成如果搜索到所述動作結(jié)束幀，則將所述動作結(jié)束幀和所述當(dāng)前幀之間的時長確定所述人體部分的局部動作周期。13.根據(jù)技術(shù)方案12所述的確定視頻中人體動作周期的裝置，其中，所述動作結(jié)束幀搜索部被進一步配置成在所述搜索范圍內(nèi)搜索可以使所述人體部分的運動矢量之和小于第一閾值的幀作為所述動作結(jié)束幀。14.根據(jù)技術(shù)方案12所述的確定視頻中人體動作周期的裝置，其中，所述運動矢量計算部被進一步配置成基于所述人體部分中的全部或部分像素的運動來計算所述人體部分的運動矢量。15.根據(jù)技術(shù)方案10所述的確定視頻中人體動作周期的裝置，其中，所述人體動作周期確定部被進一步配置成在所述多個人體部分的局部動作周期中確定出最大的局部動作周期，并將所述最大的局部動作周期確定為人體動作周期。16. 一種識別視頻中人體動作的裝置，包括人體動作周期確定部，包括根據(jù)技術(shù)方案9-15中任意一項所述的裝置以確定視頻中的人體動作周期；識別部，被配置成基于所述人體動作周期來提取時空特征以識別視頻中的人體動作。
權(quán)利要求
1.一種確定視頻中人體動作周期的方法，包括 將搜索范圍內(nèi)的每個幀的人體區(qū)域劃分成多個人體部分； 確定當(dāng)前幀中每個人體部分的局部動作周期； 根據(jù)所述局部動作周期來確定當(dāng)前幀中的人體動作周期。
2.根據(jù)權(quán)利要求I所述的確定視頻中人體動作周期的方法，其中，所述搜索范圍是以當(dāng)前幀為起點向后經(jīng)過第一時長或向前經(jīng)過第二時長的時段中的幀。
3.根據(jù)權(quán)利要求2所述的確定視頻中人體動作周期的方法，其中，將搜索范圍內(nèi)的每個幀的人體區(qū)域劃分成多個人體部分的處理包括 提取出幀中人體區(qū)域的輪廓線； 根據(jù)輪廓線來確定人體區(qū)域的連接點； 基于連接點來將人體區(qū)域分割成多個人體部分。
4.根據(jù)權(quán)利要求2所述的確定視頻中人體動作周期的方法，其中，確定當(dāng)前幀中每個人體部分的局部動作周期的處理包括 計算所述人體部分的運動矢量； 在所述搜索范圍內(nèi)搜索所述人體部分的動作結(jié)束幀； 如果搜索到所述動作結(jié)束幀，則將所述動作結(jié)束幀和所述當(dāng)前幀之間的時長確定所述人體部分的局部動作周期。
5.根據(jù)權(quán)利要求4所述的確定視頻中人體動作周期的方法，其中，在所述搜索范圍內(nèi)搜索所述人體部分的動作結(jié)束幀的處理包括在所述搜索范圍內(nèi)搜索可以使所述人體部分的運動矢量之和小于第一閾值的幀作為所述動作結(jié)束幀。
6.根據(jù)權(quán)利要求4所述的確定視頻中人體動作周期的方法，其中，計算所述人體部分的運動矢量的處理包括基于所述人體部分中的全部或部分像素的運動來計算所述人體部分的運動矢量。
7.根據(jù)權(quán)利要求2所述的確定視頻中人體動作周期的方法，其中，根據(jù)所述局部動作周期來確定當(dāng)前幀中的人體動作周期的處理包括 將所述多個人體部分的局部動作周期中的最大的局部動作周期確定為人體動作周期。
8.一種識別視頻中人體動作的方法，包括 根據(jù)權(quán)利要求1-7中任意一項所述的方法來確定視頻中的人體動作周期； 基于所述人體動作周期來提取時空特征以識別視頻中的人體動作。
9.一種確定視頻中人體動作周期的裝置，包括 人體部分劃分部，被配置成將搜索范圍內(nèi)的每個幀的人體區(qū)域劃分成多個人體部分； 局部動作周期確定部，被配置成確定當(dāng)前幀中每個人體部分的局部動作周期； 人體動作周期確定部，被配置成根據(jù)所述局部動作周期來確定當(dāng)前幀中的人體動作周期。
10.一種識別視頻中人體動作的裝置，包括 人體動作周期確定部，其包括根據(jù)權(quán)利要求9所述的裝置，，被配置成確定視頻中的人體動作周期； 識別部，被配置成基于所述人體動作周期來提取時空特征以識別視頻中的人體動作。
全文摘要
本發(fā)明公開了確定人體動作周期及識別人體動作的方法和裝置。所述確定視頻中人體動作周期的方法包括將搜索范圍內(nèi)的每個幀的人體區(qū)域劃分成多個人體部分；確定當(dāng)前幀中每個人體部分的局部動作周期；根據(jù)所述局部動作周期來確定當(dāng)前幀中的人體動作周期。通過針對不同行為、不同個體來確定相應(yīng)的人體動作周期，可以更為準(zhǔn)確地提取時空特征，并實現(xiàn)更為準(zhǔn)確的人體行為識別。
文檔編號G06T7/20GK102855635SQ20111019281
公開日2013年1月2日 申請日期2011年7月1日 優(yōu)先權(quán)日2011年7月1日
發(fā)明者王月紅, 劉汝杰, 李斐, 遠藤進, 上原祐介 申請人:富士通株式會社