專利名稱：一種目標(biāo)跟蹤方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及目標(biāo)跟蹤技術(shù)，尤其涉及一種存在遮擋情況下的目標(biāo)跟蹤方法及系統(tǒng)。

背景技術(shù)：
目標(biāo)跟蹤是計(jì)算機(jī)視覺的重要研究領(lǐng)域，在視頻監(jiān)控、人機(jī)交互、出入控制等很多場合下都有著重要的應(yīng)用。
遮擋是指運(yùn)動目標(biāo)的一部分甚至全部被背景中的物體擋住了，在圖像中不可見。存在遮擋情況下的目標(biāo)跟蹤是目標(biāo)跟蹤技術(shù)的主要挑戰(zhàn)之一，現(xiàn)有技術(shù)中尚不能很好的解決存在遮擋時(shí)的目標(biāo)跟蹤問題，因此跟蹤過程中很容易失去目標(biāo)而導(dǎo)致跟蹤失敗。


發(fā)明內(nèi)容
有鑒于此，本發(fā)明中一方面提供一種目標(biāo)跟蹤方法，另一方面提供一種目標(biāo)跟蹤系統(tǒng)，以提高目標(biāo)跟蹤的成功率。
本發(fā)明所提供的目標(biāo)跟蹤方法，包括 采集跟蹤目標(biāo)的視頻圖像； 在未建立跟蹤目標(biāo)的目標(biāo)模型時(shí)，對所述視頻圖像進(jìn)行分析，獲取所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域，在所述完整目標(biāo)對應(yīng)的區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到N個(gè)興趣點(diǎn)，以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述N個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述跟蹤目標(biāo)的目標(biāo)模型； 在已建立跟蹤目標(biāo)的目標(biāo)模型后，對所述視頻圖像進(jìn)行分析，獲取當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置，將所述目標(biāo)區(qū)域可能存在的位置作為候選目標(biāo)區(qū)域，對所有共K個(gè)候選目標(biāo)區(qū)域中的第k個(gè)候選目標(biāo)區(qū)域，在所述候選目標(biāo)區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到Mk個(gè)興趣點(diǎn)，以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述Mk個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述候選目標(biāo)區(qū)域的特征，分別將每個(gè)候選目標(biāo)區(qū)域的特征與所述目標(biāo)模型按照金字塔匹配算法進(jìn)行匹配，將匹配結(jié)果最大的候選目標(biāo)區(qū)域作為跟蹤目標(biāo)的當(dāng)前目標(biāo)區(qū)域； 其中，N、K、k和Mk均為大于0的整數(shù)，且Mk≤N，1≤k≤K。
較佳地，所述將候選目標(biāo)區(qū)域內(nèi)的特征與所述目標(biāo)模型按照金字塔匹配算法進(jìn)行匹配計(jì)算包括 對第k個(gè)候選目標(biāo)區(qū)域的特征和所述目標(biāo)模型構(gòu)造一個(gè)從粗到細(xì)或從細(xì)到粗的多層粒度空間，標(biāo)記為l＝0，1，…，L，其中，Pi和Qi分別為對應(yīng)一個(gè)興趣點(diǎn)的設(shè)定維數(shù)的局部圖像特征向量； 在第l個(gè)粒度層，將所述局部圖像特征向量的每維分別以nl為步長劃分為lj個(gè)特征單元，用直方圖來統(tǒng)計(jì)每個(gè)特征單元內(nèi)的特征分布，得到候選目標(biāo)區(qū)域圖像第l個(gè)粒度層第j個(gè)特征單元的特征個(gè)數(shù)

和目標(biāo)模型第l個(gè)粒度層第j個(gè)特征單元的特征個(gè)數(shù)

0≤j≤lj； 計(jì)算所述和在第l個(gè)粒度層的匹配度M

得到 計(jì)算所述和在所述多層粒度空間的匹配度K(Fk，F(xiàn)0)，得到將所述K(Fk，F(xiàn)0)作為所述第k個(gè)候選目標(biāo)區(qū)域的特征與所述目標(biāo)模型的匹配結(jié)果； 其中，n為大于1的正整數(shù)。
較佳地，該方法進(jìn)一步包括在所述匹配結(jié)果最大的候選目標(biāo)區(qū)域?yàn)楦櫮繕?biāo)的完整目標(biāo)對應(yīng)的區(qū)域時(shí)，利用所述匹配結(jié)果最大的候選目標(biāo)區(qū)域的特征更新所述目標(biāo)模型。
較佳地，所述對視頻圖像進(jìn)行分析，獲取所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域?yàn)閷λ鲆曨l圖像進(jìn)行目標(biāo)檢測或手工標(biāo)定，得到所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域。
較佳地，所述對視頻圖像進(jìn)行分析，獲取當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置為根據(jù)所述視頻圖像中當(dāng)前圖像的前一幀圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域位置，估計(jì)得到當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置。
較佳地，所述根據(jù)視頻圖像中當(dāng)前圖像的前一幀圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域位置，估計(jì)得到當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置為根據(jù)視頻圖像中當(dāng)前圖像的前一幀圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域位置，利用一階自回歸動態(tài)模型或高斯隨機(jī)游走模型估計(jì)得到當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置。
本發(fā)明所提供的目標(biāo)跟蹤系統(tǒng)，包括 圖像采集單元，用于采集跟蹤目標(biāo)的視頻圖像； 目標(biāo)模型建立單元，用于在未建立跟蹤目標(biāo)的目標(biāo)模型時(shí)，對所述圖像采集單元采集到的視頻圖像進(jìn)行分析，獲取所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域，在所述完整目標(biāo)對應(yīng)的區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到N個(gè)興趣點(diǎn)，以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述N個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述跟蹤目標(biāo)的目標(biāo)模型； 目標(biāo)區(qū)域圖像獲取單元，用于在已建立跟蹤目標(biāo)的目標(biāo)模型后，對所述視頻圖像進(jìn)行分析，獲取當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置，將所述目標(biāo)區(qū)域可能存在的位置作為候選目標(biāo)區(qū)域，對所有共K個(gè)候選目標(biāo)區(qū)域中的第k個(gè)候選目標(biāo)區(qū)域，在所述候選目標(biāo)區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到Mk個(gè)興趣點(diǎn)，以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述Mk個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述候選目標(biāo)區(qū)域的特征； 目標(biāo)匹配單元，用于分別將每個(gè)候選目標(biāo)區(qū)域的特征與所述目標(biāo)模型按照金字塔匹配算法進(jìn)行匹配，將匹配結(jié)果最大的候選目標(biāo)區(qū)域作為跟蹤目標(biāo)的當(dāng)前目標(biāo)區(qū)域。
較佳地，所述目標(biāo)模型建立單元包括 目標(biāo)區(qū)域獲取子單元，用于在未建立跟蹤目標(biāo)的目標(biāo)模型時(shí)，對所述視頻圖像進(jìn)行目標(biāo)檢測或根據(jù)所述視頻圖像中的人工標(biāo)定，獲取所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域； 興趣點(diǎn)檢測子單元，用于在所述跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到N個(gè)興趣點(diǎn)； 目標(biāo)模型生成子單元，用于以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述N個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述跟蹤目標(biāo)的目標(biāo)模型。
較佳地，所述目標(biāo)區(qū)域圖像獲取單元包括 候選目標(biāo)區(qū)域獲取子單元，用于在已建立跟蹤目標(biāo)的目標(biāo)模型后，對所述視頻圖像進(jìn)行分析，獲取當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置，將所述目標(biāo)區(qū)域可能存在的位置作為候選目標(biāo)區(qū)域； 興趣點(diǎn)檢測子單元，用于對所有共K個(gè)候選目標(biāo)區(qū)域中的第k個(gè)候選目標(biāo)區(qū)域，在所述候選目標(biāo)區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到Mk個(gè)興趣點(diǎn)； 目標(biāo)區(qū)域圖像生成子單元，用于以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述Mk個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述候選目標(biāo)區(qū)域的特征。
較佳地，所述目標(biāo)匹配單元包括 粒度空間劃分子單元，用于對每個(gè)候選目標(biāo)區(qū)域的特征和所述目標(biāo)模型，構(gòu)造一個(gè)從粗到細(xì)或從細(xì)到粗的多層粒度空間； 直方圖特征統(tǒng)計(jì)子單元，用于在每個(gè)粒度層，對應(yīng)所述候選目標(biāo)區(qū)域的特征和所述目標(biāo)模型所包含的局部圖像特征向量的每維劃分多個(gè)特征單元，用直方圖來統(tǒng)計(jì)每個(gè)特征單元內(nèi)的特征分布，得到候選目標(biāo)區(qū)域圖像每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)和目標(biāo)模型每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)； 匹配計(jì)算子單元，用于對所述候選目標(biāo)區(qū)域圖像每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)和目標(biāo)模型每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)進(jìn)行匹配，得到所述候選目標(biāo)區(qū)域的特征與所述目標(biāo)模型的匹配結(jié)果。
從上述方案可以看出，本發(fā)明中在進(jìn)行目標(biāo)的跟蹤匹配時(shí)，通過在得到的目標(biāo)區(qū)域中提取興趣點(diǎn)，并根據(jù)興趣點(diǎn)獲取局部圖像特征，得到由局部圖像特征集合構(gòu)成的目標(biāo)模型和候選目標(biāo)區(qū)域圖像，然后再將二者按照金字塔匹配算法進(jìn)行匹配，從而完成了目標(biāo)的跟蹤過程。眾所周知，在存在遮擋的情況下，候選目標(biāo)區(qū)域中的興趣點(diǎn)通常小于或等于完整目標(biāo)對應(yīng)的區(qū)域中的興趣點(diǎn)，但本發(fā)明中基于興趣點(diǎn)檢測和金字塔匹配算法的跟蹤匹配，不會因?yàn)槠ヅ鋵ο箝g的興趣點(diǎn)不同而匹配失敗，因此解決了存在遮擋情況的人臉跟蹤問題，提高了目標(biāo)跟蹤的成功率。



圖1為本發(fā)明實(shí)施例中人臉跟蹤方法的示例性流程圖； 圖2為本發(fā)明實(shí)施例中人臉跟蹤系統(tǒng)的示例性結(jié)構(gòu)圖； 圖3為圖2所示系統(tǒng)中目標(biāo)模型建立單元的內(nèi)部結(jié)構(gòu)圖； 圖4為圖2所示系統(tǒng)中目標(biāo)區(qū)域圖像獲取單元的內(nèi)部結(jié)構(gòu)圖； 圖5為圖2所示系統(tǒng)中目標(biāo)匹配單元的內(nèi)部結(jié)構(gòu)圖。

具體實(shí)施例方式 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí)施例和附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。
圖1為本發(fā)明實(shí)施例中人臉跟蹤方法的示例性流程圖。如圖1所示，該流程包括如下步驟 步驟101，采集跟蹤目標(biāo)的視頻圖像。
步驟102，判斷當(dāng)前是否已經(jīng)建立跟蹤目標(biāo)的目標(biāo)模型，如果沒有，則執(zhí)行步驟103；否則，執(zhí)行步驟104。
步驟103，對所述視頻圖像進(jìn)行分析，獲取所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域，根據(jù)所獲取的完整目標(biāo)對應(yīng)的區(qū)域，建立跟蹤目標(biāo)的目標(biāo)模型。
本步驟中，可通過對跟蹤目標(biāo)的視頻圖像進(jìn)行目標(biāo)檢測或手工標(biāo)定，得到視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域。
此外，建立跟蹤對象的目標(biāo)模型的過程可以是在完整目標(biāo)對應(yīng)的區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測(Interest Point Detection)，得到N個(gè)興趣點(diǎn)，如{q0，q1，…，qN}，以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，該局部圖像特征的范圍大小可根據(jù)實(shí)際需要進(jìn)行設(shè)定，然后將這N個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合{Q0，Q1，…，QN}，即作為跟蹤目標(biāo)的目標(biāo)模型。其中，Qi為對應(yīng)一個(gè)興趣點(diǎn)的局部圖像特征向量，該向量具有設(shè)定的維數(shù)，N為大于0的整數(shù)。
其中，興趣點(diǎn)檢測技術(shù)是一種提取圖像中“顯著“點(diǎn)的技術(shù)，具體實(shí)現(xiàn)時(shí)，可采用現(xiàn)有技術(shù)中的多種算子進(jìn)行興趣點(diǎn)檢測并提取局部圖像特征，例如，SIFT(尺度不變特征變換)算子、Harris-Laplace(哈里斯-拉普拉斯)算子等。這些算子可以提取圖像中對圖像縮放、旋轉(zhuǎn)甚至仿射變換都保持不變的局部圖像特征，在存在遮擋的情況下，這些局部圖像特征對于目標(biāo)跟蹤就顯得尤其重要了。
步驟104，對所述視頻圖像進(jìn)行分析，獲取當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置，將所述目標(biāo)區(qū)域可能存在的位置作為候選目標(biāo)區(qū)域。
步驟105，分別將每個(gè)候選目標(biāo)區(qū)域與目標(biāo)模型進(jìn)行匹配，將匹配結(jié)果最大的候選目標(biāo)區(qū)域作為跟蹤目標(biāo)的當(dāng)前目標(biāo)區(qū)域。
本實(shí)施例中，為了與步驟103中所描述的目標(biāo)模型進(jìn)行匹配，可首先在每個(gè)候選目標(biāo)區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，并提取每個(gè)興趣點(diǎn)周圍的局部圖像特征，將各興趣點(diǎn)對應(yīng)的局部圖像特征構(gòu)成的集合作為各候選目標(biāo)區(qū)域的特征與目標(biāo)模型進(jìn)行匹配。
例如假設(shè)共有K個(gè)候選目標(biāo)區(qū)域，則以其中的任一個(gè)候選目標(biāo)區(qū)域，如第k個(gè)候選目標(biāo)區(qū)域?yàn)槔?，可在該第k個(gè)候選目標(biāo)區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到Mk個(gè)興趣點(diǎn)，如{p0，p1，…，

}，以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述Mk個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合{P0，P1，…，

}，即作為所述候選目標(biāo)區(qū)域的特征。其中，Pi為對應(yīng)一個(gè)興趣點(diǎn)的具有設(shè)定維數(shù)的局部圖像特征向量，K、k和Mk均為大于0的整數(shù)，且Mk≤N，1≤k≤K。
基于上述的興趣點(diǎn)檢測及局部圖像特征的提取，本步驟中在將候選目標(biāo)區(qū)域的特征與目標(biāo)模型進(jìn)行匹配時(shí)，可按照金字塔匹配算法進(jìn)行匹配。金字塔匹配的核心思想是在多層次特征空間中尋找特征點(diǎn)之間的對應(yīng)關(guān)系。具體來說，首先將特征空間按照由粗到細(xì)或由細(xì)到粗的原則劃分成多層的粒度空間。然后，在某個(gè)具體的粒度層劃分多個(gè)特征單元，如果兩個(gè)特征落入同一個(gè)特征單元中，則認(rèn)為兩個(gè)特征在該層中匹配。最后將多層空間中得到的匹配加權(quán)起來就得到兩個(gè)集合的特征匹配指數(shù)。加權(quán)過程中，在細(xì)粒度層得到的匹配將比粗粒度層得到的匹配擁有更大的權(quán)值。金字塔匹配用在跟蹤問題中的優(yōu)點(diǎn)在于較低的復(fù)雜度，同時(shí)和其他匹配方法相比，未找到對應(yīng)關(guān)系的特征點(diǎn)不會對匹配結(jié)果產(chǎn)生干擾，這對有遮擋發(fā)生時(shí)或者跟蹤過程中部分特征點(diǎn)檢測不穩(wěn)定的情況有較好的魯棒性。本實(shí)施例中的具體實(shí)現(xiàn)過程可如下所示 對每個(gè)候選目標(biāo)區(qū)域的特征和所述目標(biāo)模型，構(gòu)造一個(gè)從粗到細(xì)或從細(xì)到粗的多層粒度空間。例如，對第k個(gè)候選目標(biāo)區(qū)域的特征和所述目標(biāo)模型構(gòu)造一個(gè)從粗到細(xì)或從細(xì)到粗的多層粒度空間，假設(shè)標(biāo)記為l＝0，1，…，L。
在每個(gè)粒度層，對應(yīng)候選目標(biāo)區(qū)域的特征和所述目標(biāo)模型所包含的局部圖像特征向量的每維劃分多個(gè)特征單元，用直方圖來統(tǒng)計(jì)每個(gè)特征單元內(nèi)的特征分布，得到該候選目標(biāo)區(qū)域圖像每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)和目標(biāo)模型每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)。例如，在第l個(gè)粒度層，可以2l為步長劃分lj個(gè)特征單元，用直方圖來統(tǒng)計(jì)每個(gè)特征單元內(nèi)的特征分布時(shí)，得到候選目標(biāo)區(qū)域圖像第l個(gè)粒度層第j個(gè)特征單元的特征個(gè)數(shù)

和目標(biāo)模型第l個(gè)粒度層第j個(gè)特征單元的特征個(gè)數(shù)

0≤j≤lj。其中，步長的選擇可以有多種方式，例如，在第l個(gè)粒度層，還可以nl為步長進(jìn)行劃分，其中，n為大于1的正整數(shù)，可見，2l為n＝2時(shí)的一個(gè)特例。
之后，對所述候選目標(biāo)區(qū)域圖像每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)和目標(biāo)模型每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)進(jìn)行匹配，之后，得到該候選目標(biāo)區(qū)域的特征與所述目標(biāo)模型的匹配結(jié)果。例如，可首先計(jì)算每個(gè)粒度層的匹配度，以第l個(gè)粒度層為例，則和在第l個(gè)粒度層的匹配度

為然后計(jì)算所有粒度層的匹配度，則和在所述多層粒度空間的匹配度K(Fk，F(xiàn)0)為計(jì)算得到的K(Fk，F(xiàn)0)即為第k個(gè)候選目標(biāo)區(qū)域的特征與目標(biāo)模型的匹配結(jié)果。其中，當(dāng)以nl為步長劃分特征單元時(shí)， 進(jìn)一步地，該流程中還可包括如下步驟 步驟106，判斷匹配結(jié)果最大的候選目標(biāo)區(qū)域是否為跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域，如果是，則執(zhí)行步驟107；否則，結(jié)束當(dāng)前流程。
步驟107，利用匹配結(jié)果最大的候選目標(biāo)區(qū)域的特征更新目標(biāo)模型。
以上對本發(fā)明實(shí)施例中的目標(biāo)跟蹤方法進(jìn)行了詳細(xì)描述，下面再對本發(fā)明實(shí)施例中的目標(biāo)跟蹤系統(tǒng)進(jìn)行詳細(xì)描述。
圖2為本發(fā)明實(shí)施例中目標(biāo)跟蹤系統(tǒng)的示例性結(jié)構(gòu)圖。如圖2所示，該系統(tǒng)包括圖像采集單元、目標(biāo)模型建立單元、目標(biāo)區(qū)域圖像獲取單元和目標(biāo)匹配單元。
其中，圖像采集單元用于采集跟蹤目標(biāo)的視頻圖像。
目標(biāo)模型建立單元用于在未建立跟蹤目標(biāo)的目標(biāo)模型時(shí)，對所述圖像采集單元采集到的視頻圖像進(jìn)行分析，獲取所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域，根據(jù)所獲取的完整目標(biāo)對應(yīng)的區(qū)域，建立跟蹤目標(biāo)的目標(biāo)模型。具體實(shí)現(xiàn)時(shí)，可通過對跟蹤目標(biāo)的視頻圖像進(jìn)行目標(biāo)檢測或根據(jù)所述視頻圖像中的手工標(biāo)定，得到視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域。建立目標(biāo)模型時(shí)，可在上述完整目標(biāo)對應(yīng)的區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到N個(gè)興趣點(diǎn)，以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述N個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述跟蹤目標(biāo)的目標(biāo)模型。
目標(biāo)區(qū)域圖像獲取單元用于在已建立跟蹤目標(biāo)的目標(biāo)模型后，對所述視頻圖像進(jìn)行分析，獲取當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置，將所述目標(biāo)區(qū)域可能存在的位置作為候選目標(biāo)區(qū)域。為了與前面所描述的目標(biāo)模型進(jìn)行匹配，可對所有共K個(gè)候選目標(biāo)區(qū)域中的每個(gè)候選目標(biāo)區(qū)域，如第k(1≤k≤K)個(gè)候選目標(biāo)區(qū)域，在所述候選目標(biāo)區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到Mk(Mk≤N)個(gè)興趣點(diǎn)，以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述Mk個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述候選目標(biāo)區(qū)域的特征。
目標(biāo)匹配單元用于分別將每個(gè)候選目標(biāo)區(qū)域的特征與所述目標(biāo)模型按照金字塔匹配算法進(jìn)行匹配，將匹配結(jié)果最大的候選目標(biāo)區(qū)域作為跟蹤目標(biāo)的當(dāng)前目標(biāo)區(qū)域。進(jìn)一步地，在匹配結(jié)果最大的候選目標(biāo)區(qū)域?yàn)楦櫮繕?biāo)的完整目標(biāo)對應(yīng)的區(qū)域時(shí)，可將該匹配結(jié)果最大的候選目標(biāo)區(qū)域的特征發(fā)送給目標(biāo)模型建立單元以更新所述目標(biāo)模型。
具體實(shí)現(xiàn)時(shí)，目標(biāo)模型建立單元的內(nèi)部結(jié)構(gòu)可有多種實(shí)現(xiàn)形式，圖3為其中的一種內(nèi)部結(jié)構(gòu)圖示意圖。如圖3所示，該目標(biāo)模型建立單元可包括目標(biāo)區(qū)域獲取子單元、興趣點(diǎn)檢測子單元和目標(biāo)模型生成子單元。
其中，目標(biāo)區(qū)域獲取子單元用于在未建立跟蹤目標(biāo)的目標(biāo)模型時(shí)，對所述視頻圖像進(jìn)行目標(biāo)檢測或根據(jù)所述視頻圖像中的人工標(biāo)定，獲取所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域。
興趣點(diǎn)檢測子單元用于在所述跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到N個(gè)興趣點(diǎn)。
目標(biāo)模型生成子單元用于以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述N個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述跟蹤目標(biāo)的目標(biāo)模型。
具體實(shí)現(xiàn)時(shí)，目標(biāo)區(qū)域圖像獲取單元的內(nèi)部結(jié)構(gòu)可有多種實(shí)現(xiàn)形式，圖4為其中的一種內(nèi)部結(jié)構(gòu)圖示意圖。如圖4所示，該目標(biāo)區(qū)域圖像獲取單元可包括候選目標(biāo)區(qū)域獲取子單元、興趣點(diǎn)檢測子單元和目標(biāo)區(qū)域圖像生成子單元。
其中，候選目標(biāo)區(qū)域獲取子單元用于在已建立跟蹤目標(biāo)的目標(biāo)模型后，對所述視頻圖像進(jìn)行分析，獲取當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置，將所述目標(biāo)區(qū)域可能存在的位置作為候選目標(biāo)區(qū)域。
興趣點(diǎn)檢測子單元用于對所有共K個(gè)候選目標(biāo)區(qū)域中的第k個(gè)候選目標(biāo)區(qū)域，在所述候選目標(biāo)區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到Mk個(gè)興趣點(diǎn)。
目標(biāo)區(qū)域圖像生成子單元用于以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述Mk個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述候選目標(biāo)區(qū)域的特征。
其中，目標(biāo)區(qū)域圖像獲取單元中的興趣點(diǎn)檢測子單元和目標(biāo)模型建立單元中的興趣點(diǎn)檢測子單元在物理上可以為同一個(gè)單元。目標(biāo)區(qū)域圖像獲取單元中的目標(biāo)區(qū)域圖像生成子單元和目標(biāo)模型建立單元中的目標(biāo)模型生成子單元在物理上可以為同一個(gè)單元。
具體實(shí)現(xiàn)時(shí)，目標(biāo)匹配單元的內(nèi)部結(jié)構(gòu)可有多種實(shí)現(xiàn)形式，圖5為其中的一種內(nèi)部結(jié)構(gòu)圖示意圖。如圖5所示，該目標(biāo)匹配單元可包括粒度空間劃分子單元、直方圖特征統(tǒng)計(jì)子單元和匹配計(jì)算子單元。
其中，粒度空間劃分子單元用于對每個(gè)候選目標(biāo)區(qū)域的特征和所述目標(biāo)模型，構(gòu)造一個(gè)從粗到細(xì)或從細(xì)到粗的多層粒度空間。
直方圖特征統(tǒng)計(jì)子單元用于在每個(gè)粒度層，對應(yīng)所述候選目標(biāo)區(qū)域的特征和所述目標(biāo)模型所包含的局部圖像特征向量的每維劃分多個(gè)特征單元，用直方圖來統(tǒng)計(jì)每個(gè)特征單元內(nèi)的特征分布，得到候選目標(biāo)區(qū)域圖像每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)和目標(biāo)模型每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)。
匹配計(jì)算子單元用于對所述候選目標(biāo)區(qū)域圖像每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)和目標(biāo)模型每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)進(jìn)行匹配，得到所述候選目標(biāo)區(qū)域的特征與所述目標(biāo)模型的匹配結(jié)果。
綜上可見，本發(fā)明中提出了一種在存在遮擋的情況下進(jìn)行目標(biāo)跟蹤的有效方法。該方法通過興趣點(diǎn)檢測技術(shù)(Interest Point Detection)獲取初始的目標(biāo)圖像上的所有“顯著“特征點(diǎn)并提取對應(yīng)的局部圖像特征，這些局部圖像特征通常在圖像縮放、旋轉(zhuǎn)甚至仿射變換時(shí)都保持不變。然后將所有候選目標(biāo)區(qū)域的興趣點(diǎn)處提取的局部圖像特征與目標(biāo)模型對應(yīng)的局部圖像特征進(jìn)行金字塔特征匹配，最后根據(jù)匹配結(jié)果選擇相似程度最大的候選區(qū)域作為當(dāng)前目標(biāo)的區(qū)域，從而解決了遮擋情況下的目標(biāo)跟蹤問題。
以上所述的具體實(shí)施例，對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1、一種目標(biāo)跟蹤方法，其特征在于，該方法包括
采集跟蹤目標(biāo)的視頻圖像；
在未建立跟蹤目標(biāo)的目標(biāo)模型時(shí)，對所述視頻圖像進(jìn)行分析，獲取所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域，在所述完整目標(biāo)對應(yīng)的區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到N個(gè)興趣點(diǎn)，以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述N個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述跟蹤目標(biāo)的目標(biāo)模型；
在已建立跟蹤目標(biāo)的目標(biāo)模型后，對所述視頻圖像進(jìn)行分析，獲取當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置，將所述目標(biāo)區(qū)域可能存在的位置作為候選目標(biāo)區(qū)域，對所有共K個(gè)候選目標(biāo)區(qū)域中的第k個(gè)候選目標(biāo)區(qū)域，在所述候選目標(biāo)區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到Mk個(gè)興趣點(diǎn)，以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述Mk個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述候選目標(biāo)區(qū)域的特征，分別將每個(gè)候選目標(biāo)區(qū)域的特征與所述目標(biāo)模型按照金字塔匹配算法進(jìn)行匹配，將匹配結(jié)果最大的候選目標(biāo)區(qū)域作為跟蹤目標(biāo)的當(dāng)前目標(biāo)區(qū)域；
其中，N、K、k和Mk均為大于0的整數(shù)，且Mk≤N，1≤k≤K。
2、如權(quán)利要求1所述的方法，其特征在于，所述將候選目標(biāo)區(qū)域內(nèi)的特征與所述目標(biāo)模型按照金字塔匹配算法進(jìn)行匹配計(jì)算包括
對第k個(gè)候選目標(biāo)區(qū)域的特征和所述目標(biāo)模型構(gòu)造一個(gè)從粗到細(xì)或從細(xì)到粗的多層粒度空間，標(biāo)記為l＝0，1，…，L，其中，Pi和Qi分別為對應(yīng)一個(gè)興趣點(diǎn)的設(shè)定維數(shù)的局部圖像特征向量；
在第l個(gè)粒度層，將所述局部圖像特征向量的每維分別以nl為步長劃分為lj個(gè)特征單元，用直方圖來統(tǒng)計(jì)每個(gè)特征單元內(nèi)的特征分布，得到候選目標(biāo)區(qū)域圖像第l個(gè)粒度層第j個(gè)特征單元的特征個(gè)數(shù)
和目標(biāo)模型第l個(gè)粒度層第j個(gè)特征單元的特征個(gè)數(shù)
0≤j≤lj；
計(jì)算所述和在第l個(gè)粒度層的匹配度
得到
計(jì)算所述和在所述多層粒度空間的匹配度K(Fk，F(xiàn)0)，得到將所述K(Fl，F(xiàn)0)作為所述第k個(gè)候選目標(biāo)區(qū)域的特征與所述目標(biāo)模型的匹配結(jié)果；
其中，n為大于1的正整數(shù)。
3、如權(quán)利要求l所述的方法，其特征在于，該方法進(jìn)一步包括在所述匹配結(jié)果最大的候選目標(biāo)區(qū)域?yàn)楦櫮繕?biāo)的完整目標(biāo)對應(yīng)的區(qū)域時(shí)，利用所述匹配結(jié)果最大的候選目標(biāo)區(qū)域的特征更新所述目標(biāo)模型。
4、如權(quán)利要求l所述的方法，其特征在于，所述對視頻圖像進(jìn)行分析，獲取所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域?yàn)閷λ鲆曨l圖像進(jìn)行目標(biāo)檢測或手工標(biāo)定，得到所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域。
5、如權(quán)利要求1所述的方法，其特征在于，所述對視頻圖像進(jìn)行分析，獲取當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置為根據(jù)所述視頻圖像中當(dāng)前圖像的前一幀圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域位置，估計(jì)得到當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置。
6、如權(quán)利要求5所述的方法，其特征在于，所述根據(jù)視頻圖像中當(dāng)前圖像的前一幀圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域位置，估計(jì)得到當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置為根據(jù)視頻圖像中當(dāng)前圖像的前一幀圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域位置，利用一階自回歸動態(tài)模型或高斯隨機(jī)游走模型估計(jì)得到當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置。
7、一種目標(biāo)跟蹤系統(tǒng)，其特征在于，該系統(tǒng)包括
圖像采集單元，用于采集跟蹤目標(biāo)的視頻圖像；
目標(biāo)模型建立單元，用于在未建立跟蹤目標(biāo)的目標(biāo)模型時(shí)，對所述圖像采集單元采集到的視頻圖像進(jìn)行分析，獲取所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域，在所述完整目標(biāo)對應(yīng)的區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到N個(gè)興趣點(diǎn)，以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述N個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述跟蹤目標(biāo)的目標(biāo)模型；
目標(biāo)區(qū)域圖像獲取單元，用于在已建立跟蹤目標(biāo)的目標(biāo)模型后，對所述視頻圖像進(jìn)行分析，獲取當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置，將所述目標(biāo)區(qū)域可能存在的位置作為候選目標(biāo)區(qū)域，對所有共K個(gè)候選目標(biāo)區(qū)域中的第k個(gè)候選目標(biāo)區(qū)域，在所述候選目標(biāo)區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到Mk個(gè)興趣點(diǎn)，以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述Mk個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述候選目標(biāo)區(qū)域的特征；
目標(biāo)匹配單元，用于分別將每個(gè)候選目標(biāo)區(qū)域的特征與所述目標(biāo)模型按照金字塔匹配算法進(jìn)行匹配，將匹配結(jié)果最大的候選目標(biāo)區(qū)域作為跟蹤目標(biāo)的當(dāng)前目標(biāo)區(qū)域。
8、如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述目標(biāo)模型建立單元包括
目標(biāo)區(qū)域獲取子單元，用于在未建立跟蹤目標(biāo)的目標(biāo)模型時(shí)，對所述視頻圖像進(jìn)行目標(biāo)檢測或根據(jù)所述視頻圖像中的人工標(biāo)定，獲取所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域；
興趣點(diǎn)檢測子單元，用于在所述跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到N個(gè)興趣點(diǎn)；
目標(biāo)模型生成子單元，用于以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述N個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述跟蹤目標(biāo)的目標(biāo)模型。
9、如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述目標(biāo)區(qū)域圖像獲取單元包括
候選目標(biāo)區(qū)域獲取子單元，用于在已建立跟蹤目標(biāo)的目標(biāo)模型后，對所述視頻圖像進(jìn)行分析，獲取當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置，將所述目標(biāo)區(qū)域可能存在的位置作為候選目標(biāo)區(qū)域；
興趣點(diǎn)檢測子單元，用于對所有共K個(gè)候選目標(biāo)區(qū)域中的第k個(gè)候選目標(biāo)區(qū)域，在所述候選目標(biāo)區(qū)域內(nèi)進(jìn)行興趣點(diǎn)檢測，得到Mk個(gè)興趣點(diǎn)；
目標(biāo)區(qū)域圖像生成子單元，用于以每個(gè)興趣點(diǎn)為中心，提取所述興趣點(diǎn)對應(yīng)的局部圖像特征，將所述Mk個(gè)興趣點(diǎn)對應(yīng)的局部圖像特征所構(gòu)成的局部圖像特征集合作為所述候選目標(biāo)區(qū)域的特征。
10、如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述目標(biāo)匹配單元包括
粒度空間劃分子單元，用于對每個(gè)候選目標(biāo)區(qū)域的特征和所述目標(biāo)模型，構(gòu)造一個(gè)從粗到細(xì)或從細(xì)到粗的多層粒度空間；
直方圖特征統(tǒng)計(jì)子單元，用于在每個(gè)粒度層，對應(yīng)所述候選目標(biāo)區(qū)域的特征和所述目標(biāo)模型所包含的局部圖像特征向量的每維劃分多個(gè)特征單元，用直方圖來統(tǒng)計(jì)每個(gè)特征單元內(nèi)的特征分布，得到候選目標(biāo)區(qū)域圖像每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)和目標(biāo)模型每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)；
匹配計(jì)算子單元，用于對所述候選目標(biāo)區(qū)域圖像每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)和目標(biāo)模型每個(gè)粒度層各特征單元內(nèi)的特征個(gè)數(shù)進(jìn)行匹配，得到所述候選目標(biāo)區(qū)域的特征與所述目標(biāo)模型的匹配結(jié)果。
全文摘要
本發(fā)明公開了一種目標(biāo)跟蹤方法及系統(tǒng)，其中，方法包括采集跟蹤目標(biāo)的視頻圖像；在未建立跟蹤目標(biāo)的目標(biāo)模型時(shí)，對所述視頻圖像進(jìn)行分析，獲取所述視頻圖像中跟蹤目標(biāo)的完整目標(biāo)對應(yīng)的區(qū)域，根據(jù)所獲取的完整目標(biāo)對應(yīng)的區(qū)域，建立跟蹤目標(biāo)的目標(biāo)模型；在已建立跟蹤目標(biāo)的目標(biāo)模型后，對所述視頻圖像進(jìn)行分析，獲取當(dāng)前圖像中跟蹤目標(biāo)的目標(biāo)區(qū)域可能存在的位置，將所述目標(biāo)區(qū)域可能存在的位置作為候選目標(biāo)區(qū)域；基于興趣點(diǎn)檢測和局部圖像特征提取技術(shù)按照金字塔匹配算法，分別將每個(gè)候選目標(biāo)區(qū)域的特征與所述目標(biāo)模型進(jìn)行匹配，將匹配結(jié)果最大的候選目標(biāo)區(qū)域作為跟蹤目標(biāo)的當(dāng)前目標(biāo)區(qū)域。本發(fā)明提供的技術(shù)方案能夠提高跟蹤的成功率。
文檔編號G06T7/20GK101339664SQ20081011899
公開日2009年1月7日 申請日期2008年8月27日 優(yōu)先權(quán)日2008年8月27日
發(fā)明者磊 王, 鄧亞峰, 英 黃 申請人:北京中星微電子有限公司