本發(fā)明屬于人工智能領(lǐng)域的運(yùn)動(dòng)目標(biāo)檢測技術(shù)，特別是一種時(shí)空域相似度判斷、統(tǒng)計(jì)整體相似度和視頻局部帶權(quán)重特征結(jié)合的運(yùn)動(dòng)目標(biāo)檢方法。

背景技術(shù)：

為了更高效的從日益增長的海量的視頻中提取目標(biāo)信息、提高搜索效率等，運(yùn)動(dòng)目標(biāo)檢測模型研究一直是人工智能領(lǐng)域的重點(diǎn)發(fā)展技術(shù)?，F(xiàn)有的監(jiān)督類方法需要大量訓(xùn)練、算法復(fù)雜度高，而非監(jiān)督類方法檢測精度低、依賴于特征。本文根據(jù)運(yùn)動(dòng)目標(biāo)檢測精度高、時(shí)效快、參數(shù)少、易實(shí)現(xiàn)的要求，探索并設(shè)計(jì)實(shí)現(xiàn)了一種時(shí)空域統(tǒng)計(jì)匹配局部特征的運(yùn)動(dòng)目標(biāo)檢測方法。

三維lark特征由seo等人在2010年提出，具有旋轉(zhuǎn)和尺度不變性，抓住圖像潛在結(jié)構(gòu)而不受噪聲影響、穩(wěn)定性好的優(yōu)點(diǎn)，但是不能區(qū)分中心像素點(diǎn)和鄰域像素點(diǎn)的重要性；而hog特征沒有尺度、旋轉(zhuǎn)不變性，lbp特征無法保留圖像細(xì)節(jié)，sift特征容易被背景和噪聲影響；cnn特征通過卷積核由淺入深地提取不同層次的特征，效果較好但是訓(xùn)練樣本冗長復(fù)雜。

在檢測方法方面，非監(jiān)督類中seo的方法使用全背景整體模板，目標(biāo)與模板整體匹配，導(dǎo)致待測視頻適用場景有限；當(dāng)運(yùn)動(dòng)目標(biāo)動(dòng)作路徑與模板不同時(shí)，待測視頻拍攝角度與模板拍攝角度差別較大時(shí)，當(dāng)背景與模板不接近時(shí)，檢測精度很低；監(jiān)督類的方法需要對目標(biāo)和背景分開訓(xùn)練，訓(xùn)練之后再進(jìn)行驗(yàn)證調(diào)整，方法過程復(fù)雜、效率低。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種精確高效、簡單方便的時(shí)空域統(tǒng)計(jì)匹配局部特征的運(yùn)動(dòng)目標(biāo)檢測方法。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為：一種時(shí)空域統(tǒng)計(jì)匹配局部特征的運(yùn)動(dòng)目標(biāo)檢測方法，包括以下步驟：

步驟1、提出3-dlwr算子：根據(jù)鄰域像素點(diǎn)距離中心像素點(diǎn)的距離遠(yuǎn)近，設(shè)置基于圓域?yàn)V波器的時(shí)空權(quán)重濾波器f，結(jié)合現(xiàn)有的局部自適應(yīng)回歸核，得到時(shí)空局部帶權(quán)重的回歸核3-dlwr算子；

步驟2、構(gòu)建復(fù)合模板集：將模板視頻轉(zhuǎn)成灰度圖片序列，然后將圖片序列去背景，選取運(yùn)動(dòng)半身和多尺度縮放處理，再用3-dlwr算子提取模板的局部特征，最后用主成分分析法和向量余弦匹配法對模板局部特征做冗余去除處理；

步驟3、待測視頻預(yù)處理：將待測視頻轉(zhuǎn)換為灰度圖片序列，并提取顯著性區(qū)域，提取顯著視頻的3-dlwr特征，并用主成分分析法進(jìn)行去冗余處理；

步驟4、時(shí)空域相似性評估：將待測視頻顯著區(qū)域內(nèi)每一像素點(diǎn)對應(yīng)的3-dlwr特征向量，與復(fù)合模板集的所有特征向量進(jìn)行余弦匹配，記錄最大匹配值對應(yīng)的模板中向量的位置；

步驟5、時(shí)空域整體相似度統(tǒng)計(jì)：設(shè)立時(shí)空統(tǒng)計(jì)窗口，統(tǒng)計(jì)窗口內(nèi)不同的位置數(shù)目，得到運(yùn)動(dòng)目標(biāo)存在的概率矩陣；

步驟6、根據(jù)統(tǒng)計(jì)概率矩陣，用非極大值抑制的方法，逐幀提取出運(yùn)動(dòng)目標(biāo)位置，并恢復(fù)成視頻。

本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)為：(1)提出了3-dlwr特征提取算子，通過濾波器區(qū)分了時(shí)空像素點(diǎn)的重要性，可以更加精細(xì)地描述視頻數(shù)據(jù)結(jié)構(gòu)；(2)采用復(fù)合模板集，用簡單的幾幀動(dòng)作，帶入后續(xù)檢測處理流程，不需要復(fù)雜的樣本訓(xùn)練過程，降低算法復(fù)雜度，同時(shí)提高了時(shí)間效率；(3)通過先判斷局部相似度，再統(tǒng)計(jì)得到整體相似度的分解過程，檢測多角度拍攝的視頻、多場景視頻以及目標(biāo)動(dòng)作路徑多變的視頻，有效降低了誤檢率。

附圖說明

圖1為本發(fā)明時(shí)空域統(tǒng)計(jì)匹配局部特征的運(yùn)動(dòng)目標(biāo)檢測方法的流程圖。

圖2為多樣局部結(jié)構(gòu)構(gòu)成整個(gè)運(yùn)動(dòng)目標(biāo)說明圖。

圖3為整體相似性評估的時(shí)空統(tǒng)計(jì)過程圖。

圖4為檢測結(jié)果和對應(yīng)的統(tǒng)計(jì)概率矩陣圖，其中(a)與(c)為不同幀的統(tǒng)計(jì)概率對比圖，(b)與(d)為不同幀的檢測結(jié)果圖；(e)與(g)為不同幀的統(tǒng)計(jì)概率對比圖，(f)與(h)為不同幀的檢測結(jié)果圖；(i)與(k)為不同幀的統(tǒng)計(jì)概率對比圖，(j)與(l)為不同幀的檢測結(jié)果圖。

圖5為運(yùn)動(dòng)目標(biāo)的提取過程圖，其中(a)為整體相似度圖像s1；(b)為運(yùn)動(dòng)目標(biāo)圖像tmax；(c)為標(biāo)記目標(biāo)區(qū)域。

圖6本發(fā)明方法檢測標(biāo)準(zhǔn)庫的結(jié)果圖，其中(a)～(d)為標(biāo)準(zhǔn)庫中sufer視頻的不同幀檢測結(jié)果圖，(e)～(h)為標(biāo)準(zhǔn)庫中jogging視頻的不同幀檢測結(jié)果圖，(i)～(l)為標(biāo)準(zhǔn)庫中dance視頻的不同幀檢測結(jié)果圖。

圖7本發(fā)明方法與seo算法檢測結(jié)果對比圖，其中左列(a)、(b)、(e)、(f)為本發(fā)明的檢測結(jié)果，右列(c)、(d)、(g)、(h)為seo算法的檢測結(jié)果。

圖8本發(fā)明方法檢測被遮擋目標(biāo)的結(jié)果圖，其中(a)～(d)為涼亭遮擋人體不同部位時(shí)目標(biāo)的檢測結(jié)果圖。

圖9為檢測揮手動(dòng)作使用的半身模板圖，其中(a)～(f)為檢測揮手動(dòng)作使用的半身模板序列圖。

圖10為本發(fā)明檢測識別揮手動(dòng)作的結(jié)果圖，其中(a)～(d)為檢測揮手動(dòng)作手處于不同位置時(shí)的結(jié)果圖。

圖11為檢測下蹲動(dòng)作使用半身模板圖，其中(a)～(g)為檢測下蹲動(dòng)作使用半身模板序列圖。

圖12為本發(fā)明檢測識別下蹲動(dòng)作的結(jié)果圖，其中(a)～(d)為檢測識別下蹲動(dòng)作蹲至不同位置時(shí)的結(jié)果圖。

圖13為三種方法檢測標(biāo)準(zhǔn)庫thumoschallenge2014中的部分自然拍攝的長視頻檢測精度柱狀對比圖。

具體實(shí)施方式

本發(fā)明創(chuàng)建了整個(gè)運(yùn)動(dòng)目標(biāo)檢測方法，先提出了3-dlwr算子，用于提取模板視頻和待測視頻特征，通過時(shí)空域局部相似度判斷，再統(tǒng)計(jì)時(shí)空域整體相似度的過程，優(yōu)化了目標(biāo)存在的統(tǒng)計(jì)概率圖，提高了運(yùn)動(dòng)目標(biāo)檢測的準(zhǔn)確率。

本發(fā)明時(shí)空域統(tǒng)計(jì)匹配局部特征的運(yùn)動(dòng)目標(biāo)檢測方法，包括以下步驟：

步驟1、提出3-dlwr算子：根據(jù)鄰域像素點(diǎn)距離中心像素點(diǎn)的距離遠(yuǎn)近，設(shè)置基于圓域?yàn)V波器的時(shí)空權(quán)重濾波器f，結(jié)合現(xiàn)有的局部自適應(yīng)回歸核(locallyadaptiveregressionkernel，lark)，得到時(shí)空局部帶權(quán)重的回歸核3-dlwr(three-dimensionallocallyweightedregression)算子；

步驟1中所述時(shí)空權(quán)重濾波器f的大小為5×5×3，中間第二幀為圓域均值濾波器，第一幀和第三幀相同，具體為：

步驟1-1、3-dlwr特征基于的局部自適應(yīng)回歸算子，公式為：

式中，xl是時(shí)空中心點(diǎn)，xi是中心點(diǎn)時(shí)空鄰域窗口內(nèi)的像素點(diǎn)，h是全局平滑參數(shù)，cl∈r^3×3是基于行、列和時(shí)間方向上的梯度向量的協(xié)方差矩陣；計(jì)算cl∈r^3×3時(shí)需要另取一個(gè)時(shí)空鄰域范圍，設(shè)為5×5×3，鄰域范圍內(nèi)的像素點(diǎn)被同等的選取，且cl∈r^3×3計(jì)算公式為：

其中，m＝5×5×3＝75，梯度向量矩陣j公式為

步驟1-2、區(qū)分中心點(diǎn)周圍像素點(diǎn)的重要性，將協(xié)方差矩陣與時(shí)空權(quán)重濾波器f結(jié)合，其公式為：

jnew＝j(luò)l×f，∈5×5×3

步驟1-3、時(shí)空權(quán)重濾波器f∈5×5×3，中間第二幀為半徑為5的圓域均值濾波器，如下式f(：，：，2)所示；第一幀和第三幀由基于圓域均值濾波器乘以權(quán)重因子0.6變形而成；由于cl∈r^3×3在計(jì)算的過程中要使用奇異值分解，用于降低維度的主成分分析法pca中要使用特征值分解，數(shù)值為0則不必經(jīng)歷奇異值分解和特征值分解，由于0.2138乘以權(quán)重因子0.6后的數(shù)值接近于0，因此將其設(shè)置為0，將小數(shù)點(diǎn)后面第二位的數(shù)字忽略，得到權(quán)重矩陣的第一和第三幀，如下式f(：，：，1)所示，具體公式為：

步驟1-4、對步驟1中所述的3-dlwr，其中協(xié)方差矩陣公式為：

使用帶權(quán)重的clnew代替原來的cl，得到整個(gè)視頻中每個(gè)點(diǎn)的核值k，再進(jìn)行歸一化，將歸一化之后窗口內(nèi)的各像素點(diǎn)對應(yīng)的元素值按序排成一列，得到該點(diǎn)的局部自適應(yīng)回歸核特征向量wⁱ，即3-dlwr，公式為：

其中，i為任意一點(diǎn)，m為視頻內(nèi)總像素點(diǎn)的數(shù)目。

步驟2、構(gòu)建復(fù)合模板集：將模板視頻轉(zhuǎn)成灰度圖片序列，然后將圖片序列去背景，選取運(yùn)動(dòng)半身和多尺度縮放處理，再用3-dlwr算子提取模板的局部特征，最后用主成分分析法和向量余弦匹配法對模板局部特征做冗余去除處理；

所述模板視頻為感興趣目標(biāo)完成一個(gè)完整動(dòng)作的圖片序列，去背景后，由于只統(tǒng)計(jì)窗口內(nèi)變化的像素點(diǎn)，而忽略不變的像素點(diǎn)，所以模板的每一幀只包含目標(biāo)的運(yùn)動(dòng)部分即可，即半身模板；比如，行走動(dòng)作的模板只要包含人腰部以下部分，檢測揮手的人只要包含人肩部以上部分，如圖9所示；將半身模板圖片序列縮放，對得到的多尺度模板進(jìn)行3-dlwr(3-d為時(shí)空域的縮寫)特征提取，得到模板視頻的特征集wq，公式為：

其中，q為模板queryvideo的縮寫，mq為模板視頻總像素點(diǎn)個(gè)數(shù)；

然后使用主成分分析法降低單個(gè)特征向量的維度，經(jīng)過pca后，單個(gè)像素點(diǎn)的3-dlwr維度從1×75降低為1×4；由于后續(xù)統(tǒng)計(jì)過程需要統(tǒng)計(jì)滑動(dòng)窗口內(nèi)不相似的局部結(jié)構(gòu)數(shù)目，為保證統(tǒng)計(jì)匹配的準(zhǔn)確性，由于后續(xù)統(tǒng)計(jì)過程需要統(tǒng)計(jì)滑動(dòng)窗口內(nèi)不相似的局部結(jié)構(gòu)數(shù)目，模板特征集中的局部結(jié)構(gòu)必須是互不相似的，因此用向量余弦匹配去除向量間冗余，公式為：

其中，是任意模板特征集中的兩個(gè)向量；

當(dāng)兩個(gè)向量之間的相似度超過閾值的時(shí)候，表明這兩個(gè)向量相似，則舍棄其中一個(gè)向量，得到復(fù)合模板集矩陣

步驟3、待測視頻預(yù)處理：將待測視頻轉(zhuǎn)換為灰度圖片序列，并提取顯著性區(qū)域，提取顯著視頻的3-dlwr特征，并用主成分分析法進(jìn)行去冗余處理；

所述將待測視頻轉(zhuǎn)換為灰度視頻，之后進(jìn)行顯著性提取預(yù)處理，顯著性區(qū)域內(nèi)的像素點(diǎn)進(jìn)行3-dlwr特征提取得到局部結(jié)構(gòu)特征矩陣wt，之后對wt進(jìn)行降低向量間維度處理，得到待測視頻特征矩陣：t為待測視頻(testvideo)縮寫，mt是顯著性區(qū)域內(nèi)像素點(diǎn)的數(shù)量。

步驟4、時(shí)空域相似性評估：將待測視頻顯著區(qū)域內(nèi)每一像素點(diǎn)對應(yīng)的3-dlwr特征向量，與復(fù)合模板集的所有特征向量進(jìn)行余弦匹配，記錄最大匹配值對應(yīng)的模板中向量的位置；

所述時(shí)空域相似度判斷，具體為：

步驟4-1、將待測視頻特征矩陣中每一個(gè)非零列向量，與復(fù)合模板集中所有列向量逐個(gè)進(jìn)行向量余弦匹配，得到相似度向量ρ公式為：

其中，j為模板集中任意一個(gè)列向量；

步驟4-2、找出向量ρ中最大的匹配值其對應(yīng)位置的復(fù)合模板集中的向量，即與待測視頻特征矩陣當(dāng)前列向量最相似；將對應(yīng)位置編號保留在待測視頻中當(dāng)前列向量對應(yīng)的像素點(diǎn)的位置；

步驟4-3、對待測視頻顯著區(qū)域中所有像素點(diǎn)重復(fù)步驟4-1和步驟4-2的操作，并將位置編號按照視頻像素點(diǎn)順序排列，設(shè)視頻大小為m×n×t，最后得到時(shí)空域位置矩陣p∈r^m×n×t；

步驟4-4、設(shè)定相似度判斷閾值α，當(dāng)待測視頻每個(gè)像素點(diǎn)對應(yīng)的最大的匹配值小于α?xí)r，將對應(yīng)向量的位置編碼在時(shí)空域位置矩陣p中置零。

步驟5、時(shí)空域整體相似度統(tǒng)計(jì)：設(shè)立時(shí)空統(tǒng)計(jì)窗口，統(tǒng)計(jì)窗口內(nèi)不同的位置數(shù)目，得到運(yùn)動(dòng)目標(biāo)存在的概率矩陣；

所述時(shí)空統(tǒng)計(jì)窗口為16×16×5，窗口遍歷時(shí)空域位置矩陣p之后得到時(shí)空統(tǒng)計(jì)概率矩陣s∈r^{(m-16)×(n-16)×(t-5)}；然后進(jìn)行運(yùn)動(dòng)目標(biāo)位置提取，具體為：

步驟5-1、首先判斷每一幀圖片中是否存在目標(biāo)，將整體相似度矩陣s的第三維度依次讀取，得到單幀相似度矩陣s1∈r^{(m-16)×(n-16)}，s1中的最大值代表最多的相似局部結(jié)構(gòu)，即最強(qiáng)的運(yùn)動(dòng)信息，因此若s1中的最大值小于設(shè)定的目標(biāo)閾值λ，則表示當(dāng)前幀中不包含目標(biāo)；

步驟5-2、確定當(dāng)前幀中包含至少一個(gè)目標(biāo)后，用非極大值抑制的方法提取目標(biāo)。

步驟6、根據(jù)統(tǒng)計(jì)概率矩陣，用非極大值抑制的方法，逐幀提取出運(yùn)動(dòng)目標(biāo)位置，并恢復(fù)成視頻。所述非極大值抑制方法中搜尋范圍參數(shù)σ的取值為0.92～0.97。

下面結(jié)合實(shí)施例對本發(fā)明的目標(biāo)動(dòng)作識別方法做進(jìn)一步詳細(xì)的描述：

實(shí)施例1

本實(shí)施例中時(shí)空域統(tǒng)計(jì)匹配局部特征的運(yùn)動(dòng)目標(biāo)檢測方法是利用3-dlwr特征和復(fù)合模板集進(jìn)行時(shí)空域的統(tǒng)計(jì)匹配，其中3-dlwr特征包括對梯度向量矩陣通過時(shí)空域?yàn)V波器分配權(quán)重，視頻預(yù)處理部分包括構(gòu)建無背景多尺度模板和對待測視頻提取時(shí)空域顯著區(qū)域，對模板和待測視頻提取3-dlwr特征，并進(jìn)行降維和去冗余處理，得到復(fù)合模板集和待測視頻特征集。相似性評估分局部相似性評估和統(tǒng)計(jì)整體相似度。最后判斷單幀中包含目標(biāo)以后提取目標(biāo)動(dòng)作。具體為：

第一步：梯度向量矩陣j的定義如下：

m1×n1×t1是計(jì)算協(xié)方差矩陣時(shí)的窗口。上式表明，窗口內(nèi)像素點(diǎn)都是平等選取的，不利于區(qū)分像素點(diǎn)的時(shí)空重要性。為了區(qū)分像素點(diǎn)的重要性，將權(quán)重矩陣f和jl結(jié)合來實(shí)現(xiàn)權(quán)重分配。

jnew＝j(luò)l×f，∈m1×n1×t1

三維窗口內(nèi)離中心像素點(diǎn)越遠(yuǎn)的點(diǎn)權(quán)重分配越小，表明該像素點(diǎn)的梯度向量越不重要；反之離中心像素點(diǎn)越近的點(diǎn)權(quán)重分配越大，表明該像素點(diǎn)的梯度向量越重要。權(quán)重矩陣的權(quán)重類似于紡錘形，中間權(quán)重大，而兩端權(quán)重小。例如，當(dāng)三維窗口是5×5×3的時(shí)候，權(quán)重矩陣的大小也是5×5×3。最中間的二維矩陣，即第二幀，是一個(gè)5×5的圓域均值濾波器。圓域?yàn)V波器在二維空間內(nèi)自帶權(quán)重，圓心處權(quán)重大，邊緣處權(quán)重小。權(quán)重矩陣的第一和第三幀離中心像素點(diǎn)較遠(yuǎn)，越往外權(quán)重越小，且距離相同，因此第一第三幀權(quán)重大小相同，初始設(shè)置為第二幀的0.6倍，得到的矩陣的邊緣處的值接近于0。

由于協(xié)方差矩陣在計(jì)算的過程中要使用奇異值分解，以及用于降低維度的主成分分析法(pca)中要使用特征值分解，而數(shù)值為0則不必經(jīng)歷奇異值分解和特征值分解，本文將接近于0的數(shù)值設(shè)置為0,同時(shí)將小數(shù)點(diǎn)后面第二位的數(shù)字省略，使計(jì)算精簡，最后得到權(quán)重矩陣的第一和第三幀,具體時(shí)空域權(quán)重濾波器公式為：

然后使用帶權(quán)重的clnew代替cl，帶入局部自適應(yīng)核回歸公式，定義如下：

其中，xl是中心點(diǎn)，xi是鄰域像素點(diǎn)。h是全局平滑參數(shù)，clnew∈r^3×3是協(xié)方差矩陣，

計(jì)算后得到每個(gè)像素點(diǎn)核值knew。

第二步：構(gòu)建復(fù)合模板集。選取運(yùn)動(dòng)目標(biāo)完成一個(gè)動(dòng)作的幾幀圖片，并去除背景，針對運(yùn)動(dòng)信息只集中在目標(biāo)一部分的，本發(fā)明選擇半身模板，如圖8和圖10所示，分別為檢測揮手目標(biāo)和下蹲目標(biāo)所使用的半身模板。之后將無背景模板縮放為0.5倍、1倍和1.5倍。計(jì)算三個(gè)模板圖片序列的3-dlwk特征，3-dlwk繼承了lark特征尺度不變和旋轉(zhuǎn)不變性，適用于本發(fā)明的縮放模板。

本發(fā)明設(shè)置計(jì)算3-dlwk的時(shí)空域窗口為5×5×3，則每個(gè)像素點(diǎn)的3-dlwk向量大小為1×75，使用pca降低單個(gè)向量的維度后為1×4。向量余弦匹配法用于去除模板集向量間冗余，公式為：

其中，是任意模板特征集中的兩個(gè)向量。設(shè)置去冗余閾值α1，相似度大于閾值的向量只保留一個(gè)，本發(fā)明經(jīng)過數(shù)據(jù)分析，選取α1＝0.93，實(shí)驗(yàn)表明相似結(jié)構(gòu)去冗余步驟保留了足夠的原始向量，同時(shí)降低了向量間維度，得到互不相似局部結(jié)構(gòu)模板特征集，即復(fù)合模板集。

第三步：構(gòu)建待測視頻特征集。為了提高算法速度，且更準(zhǔn)確的識別目標(biāo)，去除與感興趣目標(biāo)無關(guān)的背景，獲取感興趣區(qū)域，是待測視頻預(yù)處理中重要部分，這個(gè)過程稱為顯著性提取。對顯著性區(qū)域內(nèi)的像素點(diǎn)進(jìn)行3-dlwk特征提取，并進(jìn)行pca降低單個(gè)向量維度，最后形成待測視頻特征集。

第四步：局部特征相似性評估。利用余弦相似度將待測視頻和模板進(jìn)行匹配，待測視頻特征集中每一個(gè)列向量需要與復(fù)合模板集中每一個(gè)像素點(diǎn)對應(yīng)的局部結(jié)構(gòu)特征向量進(jìn)行匹配，向量余弦匹配公式為：

得到每一個(gè)點(diǎn)與復(fù)合模板集中所有列的匹配向量為：

在匹配向量ρ中，找出最大的ρj值，將其對應(yīng)向量在復(fù)合模板集中的位置編號保留在待測視頻中相應(yīng)像素點(diǎn)的位置，待測視頻特征集中每一個(gè)像素點(diǎn)都經(jīng)過上述步驟，形成時(shí)空位置矩陣p∈r^m×n×t。

其中，index為最大的ρj值對應(yīng)的向量在復(fù)合模板集中的位置編號。

ρ值小的代表模板與待測視頻當(dāng)前像素點(diǎn)對應(yīng)的局部結(jié)構(gòu)相似度低，設(shè)立一個(gè)閾值θ，低于閾值的ρ值對應(yīng)的向量位置編號賦為0，只保留相似度大于閾值θ的剩余位置編號。

第五步：評估與模板的整體相似性。記錄最相似向量對的位置，以統(tǒng)計(jì)在一定的空間內(nèi)，相似的局部結(jié)構(gòu)的數(shù)目。局部結(jié)構(gòu)如圖2左邊所示，同時(shí)也是右邊黑框內(nèi)的部分。模板特征去冗余步驟保證了復(fù)合模板集內(nèi)向量代表的局部特征互不相似，當(dāng)白色框內(nèi)包含足夠多的局部特征，才能檢測窗口內(nèi)整體為運(yùn)動(dòng)目標(biāo)。

待測視頻中目標(biāo)信息包含在位置矩陣p中，但單個(gè)像素點(diǎn)相似只是局部疑似目標(biāo)，不能說明整體就是目標(biāo)。背景中可能有部分結(jié)構(gòu)與目標(biāo)結(jié)構(gòu)相似導(dǎo)致誤識別，如檢測行人的時(shí)候，人邁步的腿與樹枝的分叉、窗戶角的方向都是相似的，可能識別為行人。為了避免這個(gè)問題，本文利用運(yùn)動(dòng)目標(biāo)的整體結(jié)構(gòu)。在相似度匹配后，統(tǒng)計(jì)相似結(jié)構(gòu)的數(shù)目，統(tǒng)計(jì)值為統(tǒng)計(jì)窗口區(qū)域與模板的整體相似度。樹杈、窗戶角等雖然與行人的腿部相似，但周圍沒有人的擺臂、軀干等，因此統(tǒng)計(jì)整體相似度可以降低誤識別率。

設(shè)立時(shí)空統(tǒng)計(jì)窗口smum遍歷整個(gè)位置矩陣，窗口大小一般設(shè)為16×16×5。在矩陣p中，統(tǒng)計(jì)得到時(shí)空整體相似度矩陣s∈r^{(m-16)×(n-16)×(t-5)}，統(tǒng)計(jì)過程如圖3所示。

圖4中列出了運(yùn)動(dòng)目標(biāo)位置統(tǒng)計(jì)概率圖和最后目標(biāo)位置提取結(jié)果的對比圖。使用本發(fā)明方法檢測visualtrackerbenchmarkdatasets標(biāo)準(zhǔn)庫中運(yùn)動(dòng)目標(biāo)，這個(gè)標(biāo)準(zhǔn)庫主要用于目標(biāo)跟蹤檢測，在2013年提出。庫內(nèi)包含來自最近文獻(xiàn)的100個(gè)視頻，本文選取了部分適用于單個(gè)或少數(shù)幾個(gè)目標(biāo)檢測的視頻。當(dāng)同一視頻中運(yùn)動(dòng)目標(biāo)在不同的位置或姿態(tài)不同時(shí)，統(tǒng)計(jì)概率圖也有明顯不同，結(jié)合圖4，(a)與(c)為標(biāo)準(zhǔn)庫中同一視頻不同幀的統(tǒng)計(jì)概率對比圖，(b)與(d)為同一視頻中不同幀的檢測結(jié)果圖；(e)與(g)為標(biāo)準(zhǔn)庫中同一視頻不同幀的統(tǒng)計(jì)概率對比圖，(f)與(h)為同一視頻中不同幀的檢測結(jié)果圖；(i)與(k)為標(biāo)準(zhǔn)庫中同一視頻不同幀的統(tǒng)計(jì)概率對比圖，(j)與(l)為同一視頻中不同幀的檢測結(jié)果圖。

第六步，在得到時(shí)空統(tǒng)計(jì)矩陣s后，逐幀獨(dú)立提取運(yùn)動(dòng)目標(biāo)。先考慮每一幀圖片中是否存在目標(biāo)，將整體相似度矩陣s的第三維度依次讀取，得到單幀相似度矩陣s1∈r^{(m-16)×(n-16)}。設(shè)定一個(gè)目標(biāo)閾值λ用于判斷單幀圖片中是否存在至少一個(gè)目標(biāo)。s1中的最大值代表了最多的相似的局部結(jié)構(gòu)，即最強(qiáng)的運(yùn)動(dòng)信息，因此若s1中的最大值少于設(shè)定目標(biāo)閾值λ，則表示當(dāng)前幀中沒有目標(biāo)，經(jīng)統(tǒng)計(jì)概率矩陣最大值分析和測試，當(dāng)運(yùn)動(dòng)目標(biāo)占幅不過大或過小的時(shí)候，λ設(shè)為20。

確定當(dāng)前幀中包含至少一個(gè)目標(biāo)后，用非極大值抑制的方法提取目標(biāo)。尋找s1中的最大值，然后將最大值一定范圍鄰域內(nèi)像素點(diǎn)的值置零，繼續(xù)尋找剩下數(shù)值中的次極大值，重復(fù)上述過程，最后將數(shù)值為0的點(diǎn)提取出來。若單幀當(dāng)中有多個(gè)目標(biāo)，則逐個(gè)通過尋找最大值，將鄰域像素點(diǎn)設(shè)置為0的方法，框出目標(biāo)，得到運(yùn)動(dòng)目標(biāo)單幀圖像tmax。

非極大值抑制方法需要循環(huán)搜尋當(dāng)前數(shù)值中的最大值，為了確定循環(huán)次數(shù)，設(shè)定一個(gè)搜尋范圍參數(shù)α，只在α范圍內(nèi)搜尋最大值。在一幅圖像中，目標(biāo)在整幅圖片中占的比例一般較小，大部分像素點(diǎn)是不需要搜尋最大值的。因此α一般范圍設(shè)置為0.92-0.97。結(jié)合運(yùn)動(dòng)目標(biāo)圖像tmax，在原始圖像中標(biāo)記出運(yùn)動(dòng)目標(biāo)，最后將多幀圖像恢復(fù)成視頻，如圖5所示，(a)為統(tǒng)計(jì)概率圖，(b)為tmax，(c)為單幀檢測結(jié)果圖。

圖6列出了本發(fā)明檢測visualtrackerbenchmarkdatasets標(biāo)準(zhǔn)庫中sufer、jogging、dance三個(gè)視頻的不同幀檢測結(jié)果，其中(a)～(d)為標(biāo)準(zhǔn)庫中sufer視頻的不同幀檢測結(jié)果圖，(e)～(h)為標(biāo)準(zhǔn)庫中jogging視頻的不同幀檢測結(jié)果圖，(i)～(l)為標(biāo)準(zhǔn)庫中dance視頻的不同幀檢測結(jié)果圖。對整個(gè)標(biāo)準(zhǔn)庫檢測的結(jié)果來說，本方法檢測精度較高，適用場景多。當(dāng)視頻中對比度明顯的時(shí)候，如dance，檢測精準(zhǔn)度一般達(dá)到90％，檢測的位置定位也很準(zhǔn)確，這主要?dú)w因于對待測視頻預(yù)處理的顯著性提取，人眼視覺注意力機(jī)制將顯著性提取鎖定在對比度明顯的區(qū)域。

圖7列出了本發(fā)明與seo的3dlsk方法檢測結(jié)果對比，左列(a)、(b)、(e)、(f)為本發(fā)明的檢測結(jié)果，右列(c)、(d)、(g)、(h)為seo算法的檢測結(jié)果。實(shí)驗(yàn)證明，本發(fā)明可以檢測同一幀中多尺度目標(biāo)，對背景復(fù)雜的場景也有很好的檢測結(jié)果，而seo的方法識別結(jié)果較為混亂。

圖8列出了本發(fā)明用只包含動(dòng)作的半身的模板，檢測被遮擋目標(biāo)的實(shí)驗(yàn)結(jié)果，其中(a)～(d)為涼亭遮擋人體不同部位時(shí)目標(biāo)的檢測結(jié)果圖?？傮w來說半身模板識別精度低于全身模板，且框出的目標(biāo)對于目標(biāo)的正確位置有偏移，且有幾幀未能測出。未檢測出幀在每秒25幀以上的視頻中所占比例小，可以忽略。半身模板集適用于精度要求不高而時(shí)間效率要求高的測試。對于精度要求高的應(yīng)用，例如，自動(dòng)駕駛視覺系統(tǒng)，則不能使用半身復(fù)合模板集。

去背景半身復(fù)合模板集，使待測視頻的適用場景和視頻拍攝角度得到擴(kuò)展，不僅效率更高，還能解決前景遮擋的問題。如圖8所示，當(dāng)涼亭遮擋部分人體的時(shí)候，本發(fā)明方法也能測出目標(biāo)，且沙灘上的長椅類似與人腿，但也不會(huì)影響行人目標(biāo)的檢測。

本發(fā)明不僅可以識別行走動(dòng)作，也可以識別其他動(dòng)作。圖9為檢測識別揮手動(dòng)作使用的半身模板，其中(a)～(f)為檢測揮手動(dòng)作使用的半身模板序列圖。圖10為檢測識別揮手動(dòng)作的結(jié)果，其中(a)～(d)為檢測揮手動(dòng)作手處于不同位置時(shí)的結(jié)果圖。圖11為檢測下蹲動(dòng)作使用的半身模板，其中(a)～(g)為檢測下蹲動(dòng)作使用半身模板序列圖。圖12為檢測識別下蹲動(dòng)作的結(jié)果，其中(a)～(d)為檢測識別下蹲動(dòng)作蹲至不同位置時(shí)的結(jié)果圖。。

本發(fā)明與非監(jiān)督類方法對比，有更高的檢測精度；與監(jiān)督類方法對比，使用簡單高效的復(fù)合模板集，也能達(dá)到同樣的檢測精度。圖13列出了在標(biāo)準(zhǔn)庫thumoschallenge2014中的部分自然拍攝的長視頻檢測精度柱狀對比圖，對比的非監(jiān)督方法包括：(1)s-cnn是通過三個(gè)分段實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)法對目標(biāo)進(jìn)行時(shí)空定位；(2)wang等人建立一個(gè)基于idt的系統(tǒng)，運(yùn)用循環(huán)神經(jīng)網(wǎng)絡(luò)提取目標(biāo)特征。

由上可知，本發(fā)明的一種時(shí)空域統(tǒng)計(jì)匹配局部特征運(yùn)動(dòng)目標(biāo)檢測方法，在對多角度拍攝、多場景的長視頻中多尺度運(yùn)動(dòng)目標(biāo)檢測中，具有良好的檢測效果，并能有效識別同一幀中不同尺寸的目標(biāo)，識別運(yùn)動(dòng)目標(biāo)的不同動(dòng)作。3-dlwk特征對光照、噪聲具有良好的魯棒性，在一定程度上改善了lark特征算子的性能，使提取的目標(biāo)特征更精準(zhǔn)，檢測準(zhǔn)確率更高。