本發(fā)明涉及圖像，視頻處理技術(shù)領(lǐng)域，具體地說是涉及一種基于軌跡有向圖的視頻對象協(xié)同分割方法。

背景技術(shù)：

隨著互聯(lián)網(wǎng)和多媒體技術(shù)的蓬勃發(fā)展，人們獲取圖像的手段日益方便與靈活，如在監(jiān)控視頻，社交網(wǎng)絡(luò)，新聞報(bào)道等領(lǐng)域中，視頻數(shù)據(jù)逐漸增多，視頻數(shù)據(jù)包含更為豐富的信息，在視頻數(shù)據(jù)爆炸性增長的過程中，人們對視頻數(shù)據(jù)智能化處理的需求也日益增長。視頻對象分割是一個(gè)具有挑戰(zhàn)性的領(lǐng)域，旨在視頻中提取人們所關(guān)注的主要對象的區(qū)域，相較于圖片分割，視頻對象分割利用視頻中對象的運(yùn)動(dòng)信息，可以更為有效地提取有意義的對象區(qū)域，然而對于一些運(yùn)動(dòng)復(fù)雜的視頻，視頻對象分割依然較難以準(zhǔn)確提取對象，視頻協(xié)同分割利用多組視頻的信息，不僅利用了單個(gè)視頻內(nèi)對象的運(yùn)動(dòng)信息，同時(shí)利用了與其他視頻內(nèi)對象的相似性，因此可以在多個(gè)視頻內(nèi)更為準(zhǔn)確地提取多類對象。視頻對象協(xié)同分割可以用于視頻檢索，視頻監(jiān)控，基于內(nèi)容的圖像/視頻縮放，圖像/視頻編碼等領(lǐng)域。

Fu等人在2014年美國電氣電子工程師協(xié)會(huì)計(jì)算機(jī)視覺和模式識(shí)別會(huì)議上發(fā)表了“基于物體的多類前景視頻協(xié)分割”一文，該文將各個(gè)候選區(qū)域作為每幀的各個(gè)狀態(tài)，并設(shè)計(jì)了一個(gè)多狀態(tài)選擇圖模型，通過能量函數(shù)最小化方法在各個(gè)幀內(nèi)挑選多類對象，該算法要需要多類對象均共同存在于每個(gè)視頻中，并且無法處理如遮擋現(xiàn)象等對象不存在于某一幀內(nèi)的情況，限制了算法的應(yīng)用。

Zhang等人在2014年歐洲計(jì)算機(jī)視覺國際會(huì)議上發(fā)表了“基于加權(quán)團(tuán)的視頻對象協(xié)分割”一文，該文利用候選對象跟蹤構(gòu)成軌跡，將多個(gè)視頻的所有軌跡相連構(gòu)成最大團(tuán)，再使用相似性閾值將共同對象之間邊保留，非共同對象的邊去除，將加權(quán)團(tuán)分?jǐn)?shù)最大的團(tuán)作為主要共同對象，該方法的具體步驟如下：

(1)、為每個(gè)視頻幀生成光流場及若干候選對象區(qū)域，并計(jì)算各個(gè)候選對象的分?jǐn)?shù)；

(2)、為每個(gè)候選對象進(jìn)行前向及后向的跟蹤，形成大量軌跡，對軌跡進(jìn)行最大化抑制，減少軌跡數(shù)目，并對最大化抑制后的軌跡進(jìn)行軌跡分割。

(3)、將各條軌跡兩兩相連，構(gòu)成一個(gè)無向有權(quán)圖，各條軌跡為圖中的結(jié)點(diǎn)，計(jì)算軌跡之間的相似性作為邊的權(quán)值，根據(jù)(1)中的候選對象分?jǐn)?shù)計(jì)算軌跡的分?jǐn)?shù)作為結(jié)點(diǎn)的權(quán)值，通過一個(gè)人工設(shè)定的閾值將圖中邊的權(quán)值小于閾值的邊去掉，利用最大團(tuán)提取算法提取各個(gè)最大團(tuán)，并計(jì)算各個(gè)最大團(tuán)的加權(quán)團(tuán)分?jǐn)?shù)，將加權(quán)團(tuán)分?jǐn)?shù)最大的最大團(tuán)作為主要對象進(jìn)行提取。提取后的最大團(tuán)內(nèi)的對象區(qū)域作為種子點(diǎn)建立GMM模型對每幀進(jìn)行細(xì)化分割，得到最終的分割結(jié)果。

(4)、將已提取的最大團(tuán)從圖結(jié)構(gòu)中剔除，重新加權(quán)團(tuán)分?jǐn)?shù)最大的最大團(tuán)作為主要對象并進(jìn)行細(xì)化分割。

但是上述方法存在的不足是需要人工設(shè)定視頻間共同對象的相似性，使得算法不夠可靠，對相似性閾值的敏感度較高。綜上所述，現(xiàn)有的視頻對象協(xié)同分割方法，不能準(zhǔn)確、無約束地提取多個(gè)視頻內(nèi)的各個(gè)對象，這影響了視頻對象協(xié)同分割方法的廣泛應(yīng)用。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于針對已有技術(shù)中存在的缺陷，提出一種基于軌跡有向圖的視頻對象協(xié)同分割方法，該方法能夠在不需要人工設(shè)定視頻間共同對象的相似性閾值的情況下，更為準(zhǔn)確地自動(dòng)地提取出視頻組中出現(xiàn)的多類對象。

為了達(dá)到上述目的，本發(fā)明采用的技術(shù)方案如下：

一種基于軌跡有向圖的視頻對象協(xié)同分割方法，具體步驟如下：

(1)、分別輸入原始視頻組中個(gè)第m個(gè)視頻序列V_m(m＝1,...,M)，對視頻V_m其中的第t幀記為F_m,t(t＝1,...,N_m)；

(2)、利用稠密光流法算法，得到視頻幀F(xiàn)_m,t的像素點(diǎn)的運(yùn)動(dòng)矢量場，為各個(gè)視頻幀F(xiàn)_m,t產(chǎn)生初始顯著性圖IS_m,t，利用候選對象生成方法，為各個(gè)視頻幀F(xiàn)_m,t產(chǎn)生q個(gè)候選對象區(qū)域，記為x_m,t,i(i＝1,...,q)；

(3)、對各個(gè)視頻幀內(nèi)的各個(gè)候選對象區(qū)域x_m,t,i分別在整段視頻內(nèi)進(jìn)行前向以及后向的追蹤，并對產(chǎn)生的軌跡進(jìn)行最大化抑制以及軌跡分割，最終生成一組軌跡集合X_k(k＝1,...,K)；

(4)、構(gòu)建一個(gè)有向有權(quán)圖G＝(V,E)，其中，V表示視頻組內(nèi)所有軌跡X_k(k＝1,...,K)的集合，E表示圖中結(jié)點(diǎn)之間所有有向邊的集合，e＝(X_k,X_l)為X_k與X_l之間設(shè)置一條有向邊，方向由X_k指向X_l。

(5)、將有向有權(quán)圖G＝(V,E)轉(zhuǎn)化為無向有權(quán)圖G＝(V,E')，利用最大團(tuán)提取算法提取各個(gè)最大團(tuán)，并計(jì)算各個(gè)最大團(tuán)的加權(quán)團(tuán)分?jǐn)?shù)，將加權(quán)團(tuán)分?jǐn)?shù)最大的最大團(tuán)作為第j類主要對象O_j，對應(yīng)團(tuán)內(nèi)的軌跡的各個(gè)區(qū)域作為主要對象區(qū)域，利用主要對象區(qū)域作流型排序，得到對象級(jí)的顯著性圖OS_m,t，利用主要對象區(qū)域及對象級(jí)顯著性圖作GrabCut得到最終的細(xì)化分割結(jié)果。

(6)、提取多類對象，根據(jù)得到的第j類主要對象的細(xì)化分割結(jié)果，更新初始顯著性圖，重新計(jì)算最大團(tuán)分?jǐn)?shù)，得到其他類的對象；

上述步驟(2)中的生成像素點(diǎn)的運(yùn)動(dòng)矢量場，初始顯著性圖及候選對象區(qū)域的方法，具體步驟如下：

(2-1)、對于視頻幀F(xiàn)_m,t，參照其前一幀F(xiàn)_m,t-1，利用稠密光流場估計(jì)算法LDOF，得到視頻幀F(xiàn)_m,t中每個(gè)像素點(diǎn)相對應(yīng)于前一幀F(xiàn)_m,t-1的每個(gè)像素點(diǎn)運(yùn)動(dòng)矢量，把所有的運(yùn)動(dòng)矢量保存到w×h的矩陣?yán)铮玫揭曨l幀F(xiàn)_m,t-1的運(yùn)動(dòng)矢量場其中，w和h分別為視頻幀的寬度和高度；

(2-2)、為每個(gè)視頻V_m單獨(dú)使用基于超像素的時(shí)空顯著性檢測方法，即SP法，獲得每幀的初始顯著性圖IS_m,t；

(2-3)、利用候選對象生成算法為每個(gè)視頻幀F(xiàn)_m,t單獨(dú)生成q個(gè)候選對象區(qū)域，q取100；

上述步驟(3)中的為各個(gè)視頻生成軌跡集合的方法，具體步驟如下：

(3-1)、首先定義各個(gè)候選對象的初始對象分?jǐn)?shù)IOS(x_m,t,i)，其計(jì)算公式為：

其中，p表示像素點(diǎn)，p∈x_m,t,i表示候選對象x_m,t,i內(nèi)的像素點(diǎn)，p∈F_m,t表示幀F(xiàn)_m,t內(nèi)的所有像素點(diǎn)，|x_m,t,i|表示候選對象x_m,t,i內(nèi)的像素?cái)?shù)目；

(3-2)、為每個(gè)候選對象x_m,t,i在單個(gè)視頻V_m內(nèi)進(jìn)行前向及后向的軌跡跟蹤，向前跟蹤至第一幀，向后跟蹤至最后一幀，得到每個(gè)候選對象x_m,t,i所對應(yīng)的一條軌跡X_m,t,i，以后向跟蹤為例，對于第t幀的候選對象x_m,t,i向后尋找第t+1幀中的一個(gè)最匹配候選對象x_m,t+1,j，前后兩幀的任意兩個(gè)候選對象的匹配性記為S^simi(x_m,t,i,x_m,t+1,j)，其計(jì)算公式為：

其中，h_m,t,i及h_m,t+1,j分別表示候選對象x_m,t,i及x_m,t+1,j的RGB顏色直方圖，χ²(·)計(jì)算顏色直方圖之間的卡方距離，warp_t,t+1(x_m,t+1,j)為將候選對象x_m,t+1,j通過運(yùn)動(dòng)矢量場映射到第t幀中的區(qū)域，|x_m,t,i∩warp_t+1,t(x_m,t+1,j)|為兩個(gè)區(qū)域之間的交集像素?cái)?shù)目，|x_m,t,i∪warp_t+1,t(x_m,t+1,j)|為兩個(gè)區(qū)域的并集像素?cái)?shù)目；

(3-3)、在單個(gè)視頻V_m內(nèi)對所有軌跡進(jìn)行最大化抑制，定義每條軌跡的初始軌跡分?jǐn)?shù)ITS(X_m,t,i)，其計(jì)算公式為：

ITS(X_m,t,i)＝∑_x∈Xm,t,i IOS(x)

其中，x表示一個(gè)候選對象，x∈X_m,t,i表示屬于軌跡X_m,t,i的所有候選對象，從所有軌跡中選擇一條初始軌跡分?jǐn)?shù)最高的軌跡，作為參考軌跡X^R，并依次計(jì)算X^R與其他所有軌跡Y的重疊度O(X^R,Y)，其計(jì)算公式為：

其中，x∈X^R表示所有屬于參考軌跡X^R的候選對象，y∈Y表示所有屬于軌跡Y的候選對象，將O(X^R,Y)＞0.5的所有軌跡Y從軌跡集合中剔除，從新的軌跡集合中選取一條除X以外的另一條初始軌跡分?jǐn)?shù)最高的軌跡，并重復(fù)此步驟多次，直到所有剩余的軌跡都已被作為參考軌跡；

(3-4)、對最大化抑制后的所有軌跡進(jìn)行軌跡拆分，若軌跡內(nèi)前后兩幀候選對象匹配性符合S^simi(x_m,t,i,x_m,t+1,_j)＜(u-1.5·σ²)

則將x_m,t,i與x_m,t+1,j的邊斷開，使成為兩條新的軌跡，其中，u為原軌跡中所有前后兩幀候選對象匹配性的平均值，σ²為原軌跡中所有前后兩幀候選對象匹配性的方差，最終生成一組軌跡集合X_m,k(m＝1,...,M；k＝1,...,K)；

上述步驟(4)中的構(gòu)建一個(gè)有向有權(quán)圖的方法，具體步驟如下：

(4-1)、依次為每條軌跡X_m,k生成一組臨時(shí)協(xié)同顯著性圖定義并初始化定義一組標(biāo)記圖并初始化為任意兩條軌跡的相似性定義為S^simi(X_m,k,X_n,l)，其計(jì)算公式為：

S^simi(X_m,k,X_n,l)＝1-χ²(h_m,k,h_n,l)

其中，h_m,k為軌跡X_m,k的顏色直方圖，h_n,l為軌跡X_n,l的顏色直方圖，為軌跡X_m,k在視頻V_n中找到一條最相似軌跡X_n,l，將X_n,l內(nèi)的候選對象與標(biāo)記圖作交集獲得比較區(qū)域

并更新標(biāo)記圖：

計(jì)算軌跡X_m,k與各幀比較區(qū)域的相似性

將賦給相似性圖中的對應(yīng)位置：

隨后為軌跡X_m,k在視頻V_n中尋找下一條最相似軌跡X_n,l，重復(fù)進(jìn)行上面的步驟，直到視頻V_n中的所有軌跡都被尋找過，至所有軌跡都被尋找過后，計(jì)算軌跡X_m,k與標(biāo)記圖的相似性：

將賦給相似性圖中的對應(yīng)位置：

最后，將得到的相似性歸一化到0到1之間，并與初始顯著性圖相乘得到臨時(shí)協(xié)同顯著性圖

(4-2)、構(gòu)建一個(gè)有向有權(quán)圖G＝(V,E)，為每條軌跡X_m,k計(jì)算其他軌跡X_n,l的軌跡分?jǐn)?shù)FTS_m,k(X_n,l)，計(jì)算公式為：

為每條軌跡X_m,k在各個(gè)視頻的各幀中尋找軌跡分?jǐn)?shù)FTS_m,k(X_n,l)最大的軌跡X_n,l，并在軌跡X_k與X_l之間設(shè)置一條有向邊，方向由X_k指向X_l，記為e＝(X_m,k,X_n,l)，其中，V表示視頻組內(nèi)所有軌跡X_k(k＝1,...,K)的集合，E表示圖中結(jié)點(diǎn)之間所有有向邊的集合；

上述步驟(5)中的主要對象提取的方法，具體步驟如下：

(5-1)、將相互指向?qū)Ψ降膬蓷l軌跡之間設(shè)定為有邊相連，將沒有相互指向?qū)Ψ降膬蓚€(gè)軌跡結(jié)點(diǎn)以及沒有任意有向邊相連的兩個(gè)軌跡結(jié)點(diǎn)之間設(shè)定為沒有邊相連，以此將有向有權(quán)圖G＝(V,E)轉(zhuǎn)化為無向有權(quán)圖G＝(V,E')，并利用最大團(tuán)提取算法提取各個(gè)最大團(tuán)；

(5-2)、計(jì)算各個(gè)最大團(tuán)的加權(quán)團(tuán)分?jǐn)?shù)W(C_h)，計(jì)算公式為：

將加權(quán)團(tuán)分?jǐn)?shù)最大的最大團(tuán)作為第j類主要對象O_j，對應(yīng)團(tuán)內(nèi)的軌跡的各個(gè)區(qū)域作為對象區(qū)域。

(5-3)、對于各個(gè)視頻V_m將(5-2)中提取出的屬于第j類主要對象內(nèi)的候選對象區(qū)域x_m,t,i∈O_j內(nèi)的像素點(diǎn)作為查詢結(jié)點(diǎn)，對各個(gè)視頻V_m分別做流型排序，生成一組對象級(jí)的顯著性圖OS_m,t

(5-4)、對于各個(gè)視頻V_m將(5-2)中提取出的屬于第j類主要對象內(nèi)的候選對象區(qū)域x_m,t,i∈C_j內(nèi)的像素點(diǎn)作為種子點(diǎn)作視頻V_m的屬于前景的高斯混合模型，對于視頻V_m中的各幀F(xiàn)_m,t將(5-3)中得到的對象級(jí)的顯著性圖OS_m,t做最大類間方差閾值分割，將得到的背景區(qū)域的像素作幀F(xiàn)_m,t的屬于背景的高斯混合模型，利用視頻V_m的前景高斯混合模型以及視頻幀F(xiàn)_m,t的背景高斯混合模型對各幀F(xiàn)_m,t作圖分割得到最終的第j類主要對象的細(xì)化分割結(jié)果。

上述步驟(6)中的多類對象提取的方法，具體步驟如下：

(6-1)、為提取多類對象，對于(5-4)中得到的細(xì)化分割結(jié)果的區(qū)域在初始顯著性圖IS_m,t中置為一個(gè)適當(dāng)?shù)呢?fù)數(shù)，更新得到新的初始顯著性圖，基于新的初始顯著性圖重新利用(3-1)中的公式計(jì)算候選對象的分?jǐn)?shù)，并重復(fù)步驟(5-2)～(6-1)，依次得到多類對象的分割結(jié)果。

本發(fā)明的基于軌跡有向圖的視頻對象協(xié)同分割方法與現(xiàn)有的技術(shù)相比，具有如下優(yōu)點(diǎn)：

該發(fā)明基于軌跡有向圖的進(jìn)行視頻對象協(xié)同分割，能夠不需要定義視頻間對象的相似性程度，更為自動(dòng)、更準(zhǔn)確、完整地檢測視頻中的顯著對象。

附圖說明

圖1是本發(fā)明的基于軌跡有向圖的進(jìn)行視頻對象協(xié)同分割的流程圖。

圖2是本發(fā)明步驟(1)輸入視頻組中的兩個(gè)視頻中各抽取的一幀原始圖像。

圖3(a)是本發(fā)明步驟(2-2)中獲得的初始顯著性圖。

圖3(b)是本發(fā)明步驟(2-3)中獲得的其中若干個(gè)候選對象區(qū)域。

圖4是本發(fā)明步驟(3)中得到的一段連續(xù)3幀的軌跡結(jié)果。

圖5(a)是本發(fā)明步驟(4)中得到的相似性圖。

圖5(b)是本發(fā)明步驟(4)中得到的臨時(shí)協(xié)同顯著性圖。

圖6(a)是本發(fā)明步驟(5)中得到的對象級(jí)顯著性圖。

圖6(b)是本發(fā)明步驟(5)中得到的第一類對象的細(xì)化分割結(jié)果。

圖7(a)是本發(fā)明步驟(6)中更新后的初始顯著性圖。

圖7(b)是本發(fā)明步驟(6)得到的第二類對象的細(xì)化分割結(jié)果。

具體實(shí)施方式

下面結(jié)合說明書附圖對本發(fā)明的實(shí)施例作進(jìn)一步詳細(xì)說明。

本發(fā)明進(jìn)行的仿真實(shí)驗(yàn)是在CPU為3.4GHz、內(nèi)存為16G的PC測試平臺(tái)上編程實(shí)現(xiàn)。

如圖1所示，本發(fā)明的基于軌跡有向圖的視頻對象協(xié)同分割方法，其具體步驟如下：

(1)、分別輸入原始視頻組中個(gè)第m個(gè)視頻序列V_m(m＝1,...,M)，對視頻V_m其中的第t幀記為F_m,t(t＝1,...,N_m)，如圖2所示分別為兩個(gè)視頻的首幀；

(2)、利用稠密光流法算法，得到視頻幀F(xiàn)_m,t的像素點(diǎn)的運(yùn)動(dòng)矢量場，為各個(gè)視頻幀F(xiàn)_m,t產(chǎn)生初始顯著性圖IS_m,t，利用候選對象生成方法，為各個(gè)視頻幀F(xiàn)_m,t產(chǎn)生q個(gè)候選對象區(qū)域，記為x_m,t,i(i＝1,...,q)；

(2-1)、對于視頻幀F(xiàn)_m,t，參照其前一幀F(xiàn)_m,t-1，利用稠密光流場估計(jì)算法LDOF，得到視頻幀F(xiàn)_m,t中每個(gè)像素點(diǎn)相對應(yīng)于前一幀F(xiàn)_m,t-1的每個(gè)像素點(diǎn)運(yùn)動(dòng)矢量，把所有的運(yùn)動(dòng)矢量保存到w×h的矩陣?yán)?，得到視頻幀F(xiàn)_m,t-1的運(yùn)動(dòng)矢量場其中，w和h分別為視頻幀的寬度和高度；

(2-2)、為每個(gè)視頻V_m單獨(dú)使用基于超像素的時(shí)空顯著性檢測方法，即SP法，獲得每幀的初始顯著性圖IS_m,t，如圖3(a)所示；

(2-3)、利用候選對象生成算法為每個(gè)視頻幀F(xiàn)_m,t單獨(dú)生成q個(gè)候選對象區(qū)域，q取100，如圖3(b)所示，為其中若干個(gè)候選對象區(qū)域；

(3)、對各個(gè)視頻幀內(nèi)的各個(gè)候選對象區(qū)域x_m,t,i分別在整段視頻內(nèi)進(jìn)行前向以及后向的追蹤，并對產(chǎn)生的軌跡進(jìn)行最大化抑制以及軌跡分割，最終生成一組軌跡集合X_k(k＝1,...,K)；

(3-1)首先定義各個(gè)候選對象的初始對象分?jǐn)?shù)IOS(x_m,t,i)，其計(jì)算公式為：

其中，p表示像素點(diǎn)，p∈x_m,t,i表示候選對象x_m,t,i內(nèi)的像素點(diǎn)，p∈F_m,t表示幀F(xiàn)_m,t內(nèi)的所有像素點(diǎn)，|x_m,t,i|表示候選對象x_m,t,i內(nèi)的像素?cái)?shù)目，每個(gè)候選對象x_m,t,i在單個(gè)視頻V_m內(nèi)進(jìn)行前向及后向的軌跡跟蹤，向前跟蹤至第一幀，向后跟蹤至最后一幀，得到每個(gè)候選對象x_m,t,i所對應(yīng)的一條軌跡X_m,t,i，以后向跟蹤為例，對于第t幀的候選對象x_m,t,i向后尋找第t+1幀中的一個(gè)最匹配候選對象x_m,t+1,j，前后兩幀的任意兩個(gè)候選對象的匹配性記為S^simi(x_m,t,i,x_m,t+1,j)，其計(jì)算公式為：

其中，h_m,t,i及h_m,t+1,j分別表示候選對象x_m,t,i及x_m,t+1,j的RGB顏色直方圖，χ²(·)計(jì)算顏色直方圖之間的卡方距離，warp_t,t+1(x_m,t+1,j)為將候選對象x_m,t+1,j通過運(yùn)動(dòng)矢量場映射到第t幀中的區(qū)域，|x_m,t,i∩warp_t+1,t(x_m,t+1,j)|為兩個(gè)區(qū)域之間的交集像素?cái)?shù)目，|x_m,t,i∪warp_t+1,t(x_m,t+1,j)|為兩個(gè)區(qū)域的并集像素?cái)?shù)目；

(3-3)、在單個(gè)視頻V_m內(nèi)對所有軌跡進(jìn)行最大化抑制，首先定義每條軌跡的初始軌跡分?jǐn)?shù)ITS(X_m,t,i)，其計(jì)算公式為：

其中，x表示一個(gè)候選對象，x∈X_m,t,i表示屬于軌跡X_m,t,i的所有候選對象，從所有軌跡中選擇一條初始軌跡分?jǐn)?shù)最高的軌跡，作為參考軌跡X^R，并依次計(jì)算X^R與其他所有軌跡Y的重疊度O(X^R,Y)，其計(jì)算公式為：

其中，x∈X^R表示所有屬于參考軌跡X^R的候選對象，y∈Y表示所有屬于軌跡Y的候選對象，將O(X^R,Y)＞0.5的所有軌跡Y從軌跡集合中剔除，從新的軌跡集合中選取一條除X以外的另一條初始軌跡分?jǐn)?shù)最高的軌跡，并重復(fù)此步驟多次，直到所有剩余的軌跡都已被作為參考軌跡；

(3-4)、對最大化抑制后的所有軌跡進(jìn)行軌跡拆分，若軌跡內(nèi)前后兩幀候選對象匹配性符合S^simi(x_m,t,i,x_m,t+1,j)＜(u-1.5·σ²)

則將x_m,t,i與x_m,t+1,j的邊斷開，使成為兩條新的軌跡，其中，u為原軌跡中所有前后兩幀候選對象匹配性的平均值，σ²為原軌跡中所有前后兩幀候選對象匹配性的方差，最終生成一組軌跡集合X_m,k(m＝1,...,M；k＝1,...,K)，如圖4所示為一段軌跡區(qū)域；

(4)、構(gòu)建一個(gè)有向有權(quán)圖G＝(V,E)，其中，V表示視頻組內(nèi)所有軌跡X_k(k＝1,...,K)的集合，E表示圖中結(jié)點(diǎn)之間所有有向邊的集合，e＝(X_k,X_l)為X_k與X_l之間的一條有向邊，方向由X_k指向X_l。

(4-1)、依次為每條軌跡X_m,k生成一組臨時(shí)協(xié)同顯著性圖定義并初始化定義一組標(biāo)記圖并初始化為任意兩條軌跡的相似性定義為S^simi(X_m,k,X_n,l)，其計(jì)算公式為：

S^simi(X_m,k,X_n,l)＝1-χ²(h_m,k,h_n,l)

其中，h_m,k為軌跡X_m,k的顏色直方圖，h_n,l為軌跡X_n,l的顏色直方圖，為軌跡X_m,k在視頻V_n中找到一條最相似軌跡X_n,l，將X_n,l內(nèi)的候選對象與標(biāo)記圖作交集獲得比較區(qū)域

并更新標(biāo)記圖：

計(jì)算軌跡X_m,k與各幀比較區(qū)域的相似性

將賦給臨時(shí)協(xié)同顯著性圖中的對應(yīng)位置：

隨后為軌跡X_m,k在視頻V_n中尋找下一條最相似軌跡X_n,l，重復(fù)進(jìn)行上面的步驟，直到視頻V_n中的所有軌跡都被尋找過，至所有軌跡都被尋找過后，計(jì)算軌跡X_m,k與標(biāo)記圖的相似性：

將賦給臨時(shí)協(xié)同顯著性圖中的對應(yīng)位置：

最后，將得到的相似性圖歸一化到0到1之間，圖4中軌跡的相似性圖如圖5(a)所示，將相似性圖與初始顯著性圖相乘得到臨時(shí)協(xié)同顯著性圖如圖5(b)所示：

(4-2)、構(gòu)建一個(gè)有向有權(quán)圖G＝(V,E)，為每條軌跡X_m,k計(jì)算其他軌跡X_n,l的軌跡分?jǐn)?shù)FTS_m,k(X_n,l)，計(jì)算公式為：

為每條軌跡X_m,k在各個(gè)視頻的各幀中尋找軌跡分?jǐn)?shù)FTS_m,k(X_n,l)最大的軌跡X_n,l，并在軌跡X_k與X_l之間設(shè)置一條有向邊，方向由X_k指向X_l，記為e＝(X_m,k,X_n,l)，其中，V表示視頻組內(nèi)所有軌跡X_k(k＝1,...,K)的集合，E表示圖中結(jié)點(diǎn)之間所有有向邊的集合，圖結(jié)構(gòu)展示如圖5所示；

(5)、將有向有權(quán)圖G＝(V,E)轉(zhuǎn)化為無向有權(quán)圖G＝(V,E')，利用最大團(tuán)提取算法提取各個(gè)最大團(tuán)，并計(jì)算各個(gè)最大團(tuán)的加權(quán)團(tuán)分?jǐn)?shù)，將加權(quán)團(tuán)分?jǐn)?shù)最大的最大團(tuán)作為第j類主要對象O_j，對應(yīng)團(tuán)內(nèi)的軌跡的各個(gè)區(qū)域作為主要對象區(qū)域，利用主要對象區(qū)域作流型排序，得到對象級(jí)的顯著性圖OS_m,t，利用主要對象區(qū)域及對象級(jí)顯著性圖作Grabcut得到最終的細(xì)化分割結(jié)果。

(5-1)、將相互指向?qū)Ψ降膬蓷l軌跡之間設(shè)定為有邊相連，將沒有相互指向?qū)Ψ降膬蓚€(gè)軌跡結(jié)點(diǎn)以及沒有任意有向邊相連的兩個(gè)軌跡結(jié)點(diǎn)之間設(shè)定為沒有邊相連，以此將有向有權(quán)圖G＝(V,E)轉(zhuǎn)化為無向有權(quán)圖G＝(V,E')，并利用最大團(tuán)提取算法提取各個(gè)最大團(tuán)；

(5-2)、計(jì)算各個(gè)最大團(tuán)的加權(quán)團(tuán)分?jǐn)?shù)W(C_h)，計(jì)算公式為：

將加權(quán)團(tuán)分?jǐn)?shù)最大的最大團(tuán)作為第j類主要對象O_j，對應(yīng)團(tuán)內(nèi)的軌跡的各個(gè)區(qū)域作為對象區(qū)域。

(5-3)、對于各個(gè)視頻V_m將(5-2)中提取出的屬于第j類主要對象內(nèi)的候選對象區(qū)域x_m,t,i∈O_j內(nèi)的像素點(diǎn)作為查詢結(jié)點(diǎn)，對各個(gè)視頻V_m分別做流型排序，生成一組對象級(jí)的顯著性圖OS_m,t，如圖6(a)所示；

(5-4)、對于各個(gè)視頻V_m將(5-2)中提取出的屬于第j類主要對象內(nèi)的候選對象區(qū)域x_m,t,i∈C_j內(nèi)的像素點(diǎn)作為種子點(diǎn)作視頻V_m的屬于前景的高斯混合模型，對于視頻V_m中的各幀F(xiàn)_m,t將(5-3)中得到的對象級(jí)的顯著性圖OS_m,t做最大類間方差閾值分割，將得到的背景區(qū)域的像素作幀F(xiàn)_m,t的屬于背景的高斯混合模型，利用視頻V_m的前景高斯混合模型以及視頻幀F(xiàn)_m,t的背景高斯混合模型對各幀F(xiàn)_m,t作圖分割得到最終的第j類主要對象的細(xì)化分割結(jié)果，如圖6(b)所示。

(6)、提取多類對象，根據(jù)得到的第j類主要對象的細(xì)化分割結(jié)果，重新計(jì)算最大團(tuán)分?jǐn)?shù)，得到其他類的對象；

(6-1)、為提取多類對象，對于(5-4)中得到的細(xì)化分割結(jié)果的區(qū)域在初始顯著性圖IS_m,t中置為一個(gè)適當(dāng)?shù)呢?fù)數(shù)，更新得到新的初始顯著性圖，如圖7(a)所示，基于新的初始顯著性圖重新利用(3-1)中的公式計(jì)算候選對象的分?jǐn)?shù)，并重復(fù)步驟(5-2)～(6-1)，依次得到多類對象的分割結(jié)果，如圖7(b)所示。

從上述仿真實(shí)驗(yàn)結(jié)果可以看出，本發(fā)明基于軌跡有向圖的進(jìn)行視頻對象協(xié)同分割的方法，不需要定義視頻間對象的相似性程度，更為自動(dòng)、更準(zhǔn)確、完整地檢測視頻中的顯著對象。