專利名稱：基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種運(yùn)動(dòng)視頻處理的方法，具體是一種基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法。
背景技術(shù)：
運(yùn)動(dòng)視頻分析在視頻檢索、運(yùn)動(dòng)訓(xùn)練、視頻編輯等領(lǐng)域具有重要的應(yīng)用?；谝曨l的運(yùn)動(dòng)捕捉在視頻監(jiān)控過程中不需要與被監(jiān)控者有直接接觸，很容易讓被監(jiān)控者所接受， 具有廣泛的應(yīng)用。經(jīng)過對(duì)現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，已有很多不同的運(yùn)動(dòng)視頻分析算法被提出。A. Ekin, A. Tekalp, and R. Mehrotra 在《IEEE Trans. Circuits and Systems for Video Technology, vol. 12，no. 7，2003.》(電氣電子工程師協(xié)會(huì)電路與系統(tǒng)期刊視頻技術(shù)學(xué)報(bào)2003年11月12日7號(hào)刊)第796頁(yè)到807頁(yè)上發(fā)表的“Automatic Soccer Video Analysis and Summarization"(自動(dòng)足球比賽視頻分析和匯總)論文中提出一種基于目標(biāo)特征的足球視頻自動(dòng)分析和匯總的框架。該框架包括一些低級(jí)的視頻處理方法，包括主色區(qū)域檢測(cè)、鏡頭邊界檢測(cè)以及鏡頭分類等，也包括一些高級(jí)的目標(biāo)檢測(cè)方法，包括裁判檢測(cè)、禁區(qū)檢測(cè)等。目前各方法主要是針對(duì)球類運(yùn)動(dòng)應(yīng)用，很少有研究對(duì)體育運(yùn)動(dòng)中的周期性特性進(jìn)行檢測(cè)分析，而周期運(yùn)動(dòng)的檢測(cè)和分析在實(shí)際的應(yīng)用中有廣闊的應(yīng)用前景。

發(fā)明內(nèi)容
本發(fā)明針對(duì)以上不足，結(jié)合實(shí)際體育運(yùn)動(dòng)訓(xùn)練中的需求，提出一種基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法，有效對(duì)周期運(yùn)動(dòng)視頻進(jìn)行檢測(cè)，本發(fā)明首先確定運(yùn)動(dòng)視頻每幀中的運(yùn)動(dòng)模式，然后確定運(yùn)動(dòng)模式，在此基礎(chǔ)上針對(duì)不同情形對(duì)周期運(yùn)動(dòng)進(jìn)行檢測(cè)，不僅可以實(shí)時(shí)對(duì)周期運(yùn)動(dòng)視頻進(jìn)行檢測(cè)并計(jì)數(shù)，而且可以有效地對(duì)周期運(yùn)動(dòng)動(dòng)作的合格性進(jìn)行判斷。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明包括以下步驟 第一步確定運(yùn)動(dòng)模式
對(duì)由靜止攝像機(jī)拍攝的運(yùn)動(dòng)視頻的幀圖像序列進(jìn)行幀差處理，將得到的幀差圖像作閾值化處理，得到物體的運(yùn)動(dòng)邊緣；采用運(yùn)動(dòng)歷史圖像(MHI)算法提取出運(yùn)動(dòng)視頻中的運(yùn)動(dòng)前景；計(jì)算該運(yùn)動(dòng)前景中各個(gè)運(yùn)動(dòng)部件相對(duì)于圖像幀的運(yùn)動(dòng)矢量，得到各個(gè)運(yùn)動(dòng)部分的運(yùn)
動(dòng)矢量表。第二步運(yùn)動(dòng)模式匹配與運(yùn)動(dòng)模式濾波
通過顏色空間和相對(duì)位置等特征向量對(duì)本幀中的運(yùn)動(dòng)物體與上幀中的運(yùn)動(dòng)物體進(jìn)行相似性度量，達(dá)到最佳匹配，從而確定當(dāng)前幀的運(yùn)動(dòng)模式。運(yùn)動(dòng)模式匹配后，分兩種情形提取周期運(yùn)動(dòng)模式、濾除非周期運(yùn)動(dòng)模式。對(duì)于較容易獲取運(yùn)動(dòng)模式的周期運(yùn)動(dòng)場(chǎng)景，采用基于軌跡分析的策略，即將各條軌跡與預(yù)定的標(biāo)準(zhǔn)周期運(yùn)動(dòng)模式軌跡進(jìn)行相似性比較，從而濾除非周期運(yùn)動(dòng)而保留周期運(yùn)動(dòng)軌跡；對(duì)于不易提取運(yùn)動(dòng)模式的復(fù)雜周期運(yùn)動(dòng)場(chǎng)景，采取基于區(qū)域的濾波策略，即在每一幀中選取具有區(qū)分意義的運(yùn)動(dòng)區(qū)域，并對(duì)該區(qū)域的特征矢量進(jìn)行分析，通過與預(yù)定的周期運(yùn)動(dòng)規(guī)則比較而達(dá)到濾除非周期運(yùn)動(dòng)、保留周期運(yùn)動(dòng)模式的目的。第三步周期運(yùn)動(dòng)檢測(cè)和計(jì)數(shù)
通過對(duì)周期運(yùn)動(dòng)的合格性進(jìn)行判斷，并對(duì)周期運(yùn)動(dòng)進(jìn)行計(jì)數(shù)，將周期運(yùn)動(dòng)每一幀的特征向量與合格的周期運(yùn)動(dòng)判決條件進(jìn)行比較，當(dāng)該周期運(yùn)動(dòng)對(duì)各個(gè)判決條件的符合度超過了某個(gè)閾值，就判斷該周期運(yùn)動(dòng)是合格的運(yùn)動(dòng)，否則即為不合格，不予計(jì)數(shù)；其中對(duì)于時(shí)間滿足性的判斷，通過采用循環(huán)移位的優(yōu)化算法每次只更新一位數(shù)值來(lái)降低復(fù)雜度。對(duì)于具有空間要求的周期運(yùn)動(dòng)(例如舉啞鈴運(yùn)動(dòng))，對(duì)得到的各條周期運(yùn)動(dòng)軌跡進(jìn)行合格性判斷。分析各個(gè)判決條件，如果該周期運(yùn)動(dòng)對(duì)各個(gè)判決條件的符合度之和超過某個(gè)閾值，就判定該運(yùn)動(dòng)具有空間滿足性，是合格的周期運(yùn)動(dòng)，否則即為不合格周期運(yùn)動(dòng)；對(duì)于具有時(shí)間要求的周期運(yùn)動(dòng)(例如舉重規(guī)則要求杠鈴在最高處保持至少3秒鐘)，基于運(yùn)動(dòng)特征向量采取循環(huán)移位的方法判斷時(shí)間滿足性。在成功判別周期運(yùn)動(dòng)的狀態(tài)后對(duì)該運(yùn)動(dòng)進(jìn)行相應(yīng)的計(jì)數(shù)工作。本發(fā)明的原理是，由靜止攝像機(jī)拍攝的運(yùn)動(dòng)視頻，在運(yùn)動(dòng)的過程中背景保持基本不變，因此采用幀差法可以得到相鄰兩幀的變化部分，即運(yùn)動(dòng)物體的邊緣。由于運(yùn)動(dòng)背景受光照、攝像機(jī)采樣干擾等環(huán)境因素影響，相鄰兩幀的背景存在少許差異，故采用閾值化處理排除較小的運(yùn)動(dòng)部件；得到各個(gè)運(yùn)動(dòng)部件的輪廓之后，采用運(yùn)動(dòng)歷史圖像(MHI)的方法提取出每一幀中的運(yùn)動(dòng)物體，即運(yùn)動(dòng)前景。將得到的每一幀中的運(yùn)動(dòng)部分分別與前面一幀進(jìn)行相似性匹配，通過最佳匹配而獲得物體的運(yùn)動(dòng)模式。對(duì)于較為簡(jiǎn)單的運(yùn)動(dòng)場(chǎng)景(如舉啞鈴運(yùn)動(dòng))，結(jié)合運(yùn)動(dòng)物體相對(duì)于視頻幀的運(yùn)動(dòng)坐標(biāo)，獲得運(yùn)動(dòng)物體的軌跡。為排除由于干擾影響而存在的非周期運(yùn)動(dòng)，需要判斷視頻幀中的運(yùn)動(dòng)是否是所需要的周期運(yùn)動(dòng)，將各條運(yùn)動(dòng)軌跡與標(biāo)準(zhǔn)的周期運(yùn)動(dòng)模式軌跡進(jìn)行匹配，以判斷運(yùn)動(dòng)物體的運(yùn)動(dòng)狀態(tài)，從而得到符合周期運(yùn)動(dòng)條件的運(yùn)動(dòng)軌跡(基于軌跡的周期運(yùn)動(dòng)軌跡識(shí)別)；對(duì)類似于舉重等較為復(fù)雜的周期運(yùn)動(dòng)，在運(yùn)動(dòng)過程中，難以對(duì)特定的部分(如杠鈴)進(jìn)行跟蹤，選取具有區(qū)分意義的區(qū)域， 并將該區(qū)域中的運(yùn)動(dòng)特征矢量作為跟蹤矢量來(lái)判斷運(yùn)動(dòng)的周期性(基于區(qū)域的周期運(yùn)動(dòng)識(shí)別)。通過基于軌跡和基于區(qū)域的周期運(yùn)動(dòng)濾波策略濾除非周期運(yùn)動(dòng)，得到周期性運(yùn)動(dòng)部分。在此基礎(chǔ)上分析周期運(yùn)動(dòng)的有效性，判斷該周期運(yùn)動(dòng)是否達(dá)到了合格標(biāo)準(zhǔn)。將周期運(yùn)動(dòng)分為基于空間和基于時(shí)間兩種類型，分別對(duì)周期運(yùn)動(dòng)在空間和時(shí)間的滿足性進(jìn)行判斷。在上述步驟基礎(chǔ)上即可以對(duì)周期運(yùn)動(dòng)進(jìn)行相應(yīng)的計(jì)數(shù)。本發(fā)明根據(jù)周期運(yùn)動(dòng)本身的特點(diǎn)和周期運(yùn)動(dòng)合格性的判定準(zhǔn)則，實(shí)現(xiàn)了對(duì)周期運(yùn)動(dòng)視頻實(shí)時(shí)檢測(cè)、作出合格性判斷并進(jìn)行計(jì)數(shù)的目的。在各種實(shí)驗(yàn)條件下，該方法的平均成功率達(dá)到了 95%，具有良好的應(yīng)用性。


圖1是周期運(yùn)動(dòng)例圖。圖2是本發(fā)明方法對(duì)周期運(yùn)動(dòng)檢測(cè)以及計(jì)數(shù)的實(shí)施流程圖。圖3是本發(fā)明中基于運(yùn)動(dòng)歷史圖像的運(yùn)動(dòng)模式提取結(jié)果。圖4是本發(fā)明中不同質(zhì)量周期運(yùn)動(dòng)的示意圖(以舉啞鈴為例)。圖5是本發(fā)明中對(duì)具有時(shí)間要求的周期運(yùn)動(dòng)的示例(以舉重為例)。
圖6是對(duì)具有空間要求的周期運(yùn)動(dòng)的一個(gè)周期的分解圖(以舉 鈴為例)。圖7是本發(fā)明中對(duì)具有空間要求的運(yùn)動(dòng)的合格性判斷。圖8是對(duì)具有時(shí)間要求的周期運(yùn)動(dòng)的一個(gè)周期的分解圖(以舉重為例)。圖9是本發(fā)明中對(duì)具有時(shí)間要求運(yùn)動(dòng)進(jìn)行時(shí)間判斷的軌跡圖。圖10是循環(huán)移位方式對(duì)有時(shí)間要求的周期運(yùn)動(dòng)進(jìn)行時(shí)間判斷的示意圖。圖11分別是未滿足空間和時(shí)間要求的周期運(yùn)動(dòng)動(dòng)作(以舉重為例)。圖12是本發(fā)明中未達(dá)到空間和時(shí)間要求的運(yùn)動(dòng)的軌跡圖。圖13是舉啞鈴運(yùn)動(dòng)的運(yùn)行結(jié)果。圖14是舉重運(yùn)動(dòng)的運(yùn)行結(jié)果。
具體實(shí)施例方式
權(quán)利要求
1.一種基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法，其特征在于，包括以下步驟第一步、采用幀差法得到由靜止攝像機(jī)拍攝到的幀圖像序列的運(yùn)動(dòng)邊緣，采用運(yùn)動(dòng)歷史圖像方法提取出運(yùn)動(dòng)物體的前景，基于運(yùn)動(dòng)前景計(jì)算出各個(gè)運(yùn)動(dòng)部分相對(duì)于圖像幀的運(yùn)動(dòng)矢量，得到各個(gè)運(yùn)動(dòng)部分的運(yùn)動(dòng)矢量表；第二步、根據(jù)第一步中的運(yùn)動(dòng)矢量表，通過運(yùn)動(dòng)模式匹配得到本圖像幀的運(yùn)動(dòng)物體在上一幀中的位置，運(yùn)動(dòng)模式匹配采取對(duì)不同特征通道加不同權(quán)重的策略，找到具有最優(yōu)匹配特性的運(yùn)動(dòng)部分；運(yùn)動(dòng)模式匹配后，分別對(duì)簡(jiǎn)單周期運(yùn)動(dòng)場(chǎng)景和復(fù)雜周期運(yùn)動(dòng)場(chǎng)景采取基于軌跡分析和基于區(qū)域分析的策略來(lái)濾除非周期運(yùn)動(dòng)而保留周期運(yùn)動(dòng)；第三步、通過對(duì)周期運(yùn)動(dòng)的合格性進(jìn)行判斷，并對(duì)周期運(yùn)動(dòng)進(jìn)行計(jì)數(shù)，將周期運(yùn)動(dòng)每一幀的特征向量與合格的周期運(yùn)動(dòng)判決條件進(jìn)行比較，當(dāng)該周期運(yùn)動(dòng)對(duì)各個(gè)判決條件的符合度超過了某個(gè)閾值，就判斷該周期運(yùn)動(dòng)是合格的運(yùn)動(dòng)，否則即為不合格，不予計(jì)數(shù)；其中對(duì)于時(shí)間滿足性的判斷，通過采用循環(huán)移位的優(yōu)化算法每次只更新一位數(shù)值來(lái)降低復(fù)雜度。
2.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法，其特征是，第一步中所述的基于運(yùn)動(dòng)前景計(jì)算出各個(gè)運(yùn)動(dòng)部分相對(duì)于圖像幀的運(yùn)動(dòng)矢量，具體為
3.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法，其特征是，第一步中 所述的運(yùn)動(dòng)矢量表是指采用運(yùn)動(dòng)歷史圖像方法提取出的運(yùn)動(dòng)部分的特征矢量，包括位置坐標(biāo)、速度、顏色信息組成的矢量表。
4.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法，其特征是，第二步中所述運(yùn)動(dòng)模式匹配為了確定當(dāng)前視頻幀中的運(yùn)動(dòng)物體在上一幀的位置而對(duì)運(yùn)動(dòng)物體進(jìn)行相似性匹配的方法，采取如下的運(yùn)動(dòng)模式匹配策略
5.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法，其特征是，第二步中簡(jiǎn)單場(chǎng)景周期運(yùn)動(dòng)和復(fù)雜場(chǎng)景周期運(yùn)動(dòng)分別是指容易提取運(yùn)動(dòng)模式的簡(jiǎn)單運(yùn)動(dòng)和不容易提取周期運(yùn)動(dòng)模式的復(fù)雜運(yùn)動(dòng)。
6.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法，其特征是，第二步中基于軌跡的濾波策略是對(duì)于簡(jiǎn)單場(chǎng)景的周期運(yùn)動(dòng)將以提取出來(lái)的運(yùn)動(dòng)部分的軌跡作為判別該運(yùn)動(dòng)是否是周期運(yùn)動(dòng)的依據(jù)，從而保留周期運(yùn)動(dòng)而濾除非周期運(yùn)動(dòng)，即
7.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法，其特征是，第二步中基于區(qū)域的濾波策略是指對(duì)于復(fù)雜場(chǎng)景的周期運(yùn)動(dòng)將對(duì)每一幀中具有區(qū)分意義的運(yùn)動(dòng)區(qū)域進(jìn)行跟蹤，并在該區(qū)域中尋找符合判別準(zhǔn)則的運(yùn)動(dòng)模式，即，
8.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法，其特征是，第三步中周期運(yùn)動(dòng)的合格性是指對(duì)視頻序列中的每個(gè)動(dòng)作進(jìn)行逐個(gè)分析，以判斷該周期運(yùn)動(dòng)是否符合預(yù)定標(biāo)準(zhǔn)，這里采用
9.根據(jù)權(quán)利要求8所述的基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法，其特征是，對(duì)于具有空間要求的動(dòng)作，采用以下公式判斷該周期運(yùn)動(dòng)是否符合預(yù)定標(biāo)準(zhǔn)
10.根據(jù)權(quán)利要求8所述的基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法，其特征是，對(duì)于具有時(shí)間要求的周期運(yùn)動(dòng)，采用以下公式判斷該周期運(yùn)動(dòng)是否符合預(yù)定標(biāo)準(zhǔn)
全文摘要
本發(fā)明公開一種基于運(yùn)動(dòng)視頻的周期運(yùn)動(dòng)檢測(cè)方法，通過對(duì)周期運(yùn)動(dòng)視頻的運(yùn)動(dòng)物體進(jìn)行分析，得到運(yùn)動(dòng)部分的運(yùn)動(dòng)矢量表；通過對(duì)視頻中提取出來(lái)的運(yùn)動(dòng)模式區(qū)域進(jìn)行匹配而實(shí)現(xiàn)最佳匹配，從而確定每一幀中的運(yùn)動(dòng)模式；運(yùn)動(dòng)模式匹配后，通過對(duì)運(yùn)動(dòng)場(chǎng)景進(jìn)行分類分別采用基于軌跡和基于區(qū)域的方法濾除非周期運(yùn)動(dòng)而保留周期運(yùn)動(dòng)。最后通過對(duì)周期運(yùn)動(dòng)進(jìn)行合格性判斷而達(dá)到對(duì)運(yùn)動(dòng)進(jìn)行計(jì)數(shù)的目的。本發(fā)明具有實(shí)時(shí)特性，針對(duì)不同的運(yùn)動(dòng)情形，有效識(shí)別率達(dá)到了95%，具有良好的應(yīng)用表現(xiàn)。
文檔編號(hào)H04N5/14GK102281385SQ20111023441
公開日2011年12月14日 申請(qǐng)日期2011年8月16日 優(yōu)先權(quán)日2011年8月16日
發(fā)明者任亞飛, 林巍峣, 范波 申請(qǐng)人:上海交通大學(xué)