基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法
【專利摘要】本發(fā)明提供一種基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法，包括：對(duì)視頻圖像進(jìn)行對(duì)象檢測(cè)，獲取當(dāng)前幀圖像中至少一個(gè)對(duì)象；根據(jù)像素顏色信息對(duì)所述對(duì)象進(jìn)行超像素分割；根據(jù)所述對(duì)象中符合預(yù)設(shè)條件的超像素，確定所述對(duì)象的顏色特征和結(jié)構(gòu)特征；通過與對(duì)象模型數(shù)據(jù)庫中待跟蹤對(duì)象進(jìn)行顏色特征和結(jié)構(gòu)特征比對(duì)匹配，確定所述圖像中待跟蹤的目標(biāo)對(duì)象，記錄所述目標(biāo)對(duì)象在所述視頻當(dāng)前幀圖像中的位置信息；在所述視頻下一幀圖像中，重復(fù)上述部分步驟，通過與所述視頻上一幀圖像中目標(biāo)對(duì)象的顏色特征和結(jié)構(gòu)特征進(jìn)行比對(duì)匹配，確定所述圖像中待跟蹤的目標(biāo)對(duì)象，更新目標(biāo)對(duì)象的位置信息。本發(fā)明有效增強(qiáng)了視頻跟蹤算法對(duì)紋理單一目標(biāo)跟蹤的準(zhǔn)確性和魯棒性。
【專利說明】基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及模式識(shí)別以及計(jì)算機(jī)視覺【技術(shù)領(lǐng)域】，尤其涉及一種基于顏色-結(jié)構(gòu)特 征的目標(biāo)對(duì)象跟蹤方法。

【背景技術(shù)】
[0002] 增強(qiáng)現(xiàn)實(shí)（Augmented Reality, AR)技術(shù)能夠?qū)⒄鎸?shí)世界與計(jì)算機(jī)生成的虛擬世 界間的對(duì)象和信息進(jìn)行無縫地融合，具有虛實(shí)結(jié)合、實(shí)時(shí)交互等特點(diǎn)，可以為人們提供更加 豐富的信息和更加便捷的信息獲取體驗(yàn)，增強(qiáng)人們對(duì)真實(shí)世界的理解和感知。
[0003] 基于視頻的增強(qiáng)現(xiàn)實(shí)技術(shù)由于應(yīng)用成本較低且能夠普遍適用于多種環(huán)境場(chǎng)景中， 近年來發(fā)展迅速。如何準(zhǔn)確跟蹤真實(shí)世界中的物體，是實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)技術(shù)中虛實(shí)結(jié)合的關(guān) 鍵之一。作為增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)的基礎(chǔ)，基于視頻圖像的目標(biāo)跟蹤技術(shù)，目前廣泛應(yīng)用于安 全監(jiān)控、車輛自主駕駛、導(dǎo)航制導(dǎo)與控制、人機(jī)交互等領(lǐng)域，是近年來計(jì)算機(jī)視覺領(lǐng)域的重 點(diǎn)研究方向之一。
[0004] 基于視頻的增強(qiáng)現(xiàn)實(shí)技術(shù)中，視頻對(duì)象跟蹤通常需要將虛擬對(duì)象跟蹤并注冊(cè)在一 個(gè)實(shí)時(shí)拍攝的現(xiàn)實(shí)對(duì)象上，對(duì)于運(yùn)動(dòng)對(duì)象的跟蹤，如果一個(gè)視頻序列的每幅關(guān)鍵巾貞圖像都 重復(fù)同樣的跟蹤算法，算法的復(fù)雜度和計(jì)算量將非常大。同時(shí)，鑒于對(duì)運(yùn)動(dòng)對(duì)象的特征識(shí)別 及運(yùn)動(dòng)中形態(tài)變化對(duì)象的跟蹤的復(fù)雜性，如何有效地保證運(yùn)動(dòng)對(duì)象識(shí)別的精度及檢測(cè)跟蹤 的實(shí)時(shí)性，成為增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)廣泛應(yīng)用亟待解決的技術(shù)問題。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)問題在于針對(duì)現(xiàn)有技術(shù)中對(duì)視頻圖像中運(yùn)動(dòng)對(duì)象跟蹤的 復(fù)雜度高與準(zhǔn)確性低的缺陷，提供一種基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法，根據(jù)顏 色特征和結(jié)構(gòu)結(jié)合對(duì)視頻圖像中目標(biāo)對(duì)象進(jìn)行識(shí)別，通過與預(yù)設(shè)模型數(shù)據(jù)庫進(jìn)行比對(duì)匹 配，實(shí)現(xiàn)目標(biāo)對(duì)象確定及跟蹤，提高基于視頻圖像的目標(biāo)跟蹤系統(tǒng)的準(zhǔn)確性、實(shí)時(shí)性和魯棒 性。
[0006] 有鑒于此，本發(fā)明提供了一種基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法，包括：步 驟101，對(duì)視頻圖像進(jìn)行對(duì)象檢測(cè)，獲取所述視頻當(dāng)前幀圖像中的至少一個(gè)對(duì)象；步驟102， 根據(jù)所述對(duì)象的像素顏色信息，對(duì)所述對(duì)象進(jìn)行超像素分割；步驟103,根據(jù)所述對(duì)象中符 合預(yù)設(shè)條件的超像素，確定所述對(duì)象的顏色特征和結(jié)構(gòu)特征；步驟104,通過與對(duì)象模型數(shù) 據(jù)庫中待跟蹤對(duì)象進(jìn)行顏色特征和結(jié)構(gòu)特征比對(duì)匹配，確定所述圖像中待跟蹤的目標(biāo)對(duì) 象，記錄所述目標(biāo)對(duì)象在所述視頻當(dāng)前幀圖像中的位置信息；步驟105 :在所述視頻下一幀 圖像中，重復(fù)步驟101至103,通過與所述視頻上一幀圖像中目標(biāo)對(duì)象的顏色特征和結(jié)構(gòu)特 征進(jìn)行比對(duì)匹配，確定所述圖像中待跟蹤的目標(biāo)對(duì)象，更新所述目標(biāo)對(duì)象的位置信息。
[0007] 在該技術(shù)方案中，通過識(shí)別獲取視頻當(dāng)前幀圖像中的對(duì)象，根據(jù)圖像的像素顏色 信息對(duì)圖像對(duì)象進(jìn)行超像素分割，篩選出該對(duì)象中符合預(yù)設(shè)條件的超像素，計(jì)算得到該對(duì) 象的顏色特征和結(jié)構(gòu)特征，基于所述顏色特征和結(jié)構(gòu)特征與對(duì)象模型數(shù)據(jù)庫中待跟蹤對(duì)象 進(jìn)行比對(duì)匹配，確定視頻圖像中的目標(biāo)對(duì)象，記錄目標(biāo)對(duì)象在視頻圖像中的位置信息。在視 頻下一幀圖像中，通過重復(fù)上述部分步驟，得到圖像中對(duì)象的顏色特征和結(jié)構(gòu)特征，并與所 述視頻上一幀圖像中目標(biāo)對(duì)象的顏色特征和結(jié)構(gòu)特征進(jìn)行比對(duì)匹配確定待跟蹤的目標(biāo)對(duì) 象，更新目標(biāo)對(duì)象的位置信息，實(shí)現(xiàn)對(duì)視頻圖像中目標(biāo)對(duì)象的跟蹤。
[0008] 在上述技術(shù)方案中，優(yōu)選地，所述步驟101具體為：讀取視頻圖像序列，通過前景 識(shí)別或輪廓識(shí)別，獲取所述視頻當(dāng)前幀圖像中的至少一個(gè)對(duì)象。
[0009] 在上述技術(shù)方案中，優(yōu)選地，所述步驟102具體為：根據(jù)所述獲取到的對(duì)象的 像素顏色信息，對(duì)所述對(duì)象進(jìn)行超像素分割，所述對(duì)象得到一組包含1個(gè)超像素的集合 {S1, S2, S3, - ,S1I0
[0010] 在該技術(shù)方案中，基于對(duì)象像素的顏色信息，對(duì)所述對(duì)象進(jìn)行超像素分割，得到若 干超像素的集合，其中，每個(gè)超像素中包含若干個(gè)像素。
[0011] 在上述技術(shù)方案中，優(yōu)選地，所述步驟103具體為：所述每個(gè)對(duì)象的超像素集合 中，超像素 Sk所包含的像素?cái)?shù)為nk，所述對(duì)象包含的像素?cái)?shù)為N，則所述超像素 Sk的大小P k 為

【權(quán)利要求】
1. 一種基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法，其特征在于，所述方法包括： 步驟101 :對(duì)視頻圖像進(jìn)行對(duì)象檢測(cè)，獲取所述視頻當(dāng)前幀圖像中的至少一個(gè)對(duì)象； 步驟102 :根據(jù)所述對(duì)象的像素顏色信息，對(duì)所述對(duì)象進(jìn)行超像素分割； 步驟103 :根據(jù)所述對(duì)象中符合預(yù)設(shè)條件的超像素，確定所述對(duì)象的顏色特征和結(jié)構(gòu) 特征； 步驟104 :通過與對(duì)象模型數(shù)據(jù)庫中待跟蹤對(duì)象進(jìn)行顏色特征和結(jié)構(gòu)特征比對(duì)匹配， 確定所述圖像中待跟蹤的目標(biāo)對(duì)象，記錄所述目標(biāo)對(duì)象在所述視頻當(dāng)前幀圖像中的位置信 息； 步驟105 :在所述視頻下一幀圖像中，重復(fù)步驟101至103,通過與所述視頻上一幀圖像 中目標(biāo)對(duì)象的顏色特征和結(jié)構(gòu)特征進(jìn)行比對(duì)匹配，確定所述圖像中待跟蹤的目標(biāo)對(duì)象，更 新所述目標(biāo)對(duì)象的位置信息。
2. 根據(jù)權(quán)利要求1所述的基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法，其特征在于，所述 步驟101，具體為： 讀取視頻圖像序列，通過前景識(shí)別或輪廓識(shí)別，獲取所述視頻當(dāng)前幀圖像中的至少一 個(gè)對(duì)象。
3. 根據(jù)權(quán)利要求1或2所述的基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法，其特征在于， 所述步驟102,具體為： 根據(jù)所述獲取到的對(duì)象的像素顏色信息，對(duì)所述對(duì)象進(jìn)行超像素分割，所述對(duì)象得到 一組包含1個(gè)超像素的集合{S1，S2,S3,…，S1}。
4. 根據(jù)權(quán)利要求3所述的基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法，其特征在于，所述 步驟103,具體為： 所述每個(gè)對(duì)象的超像素集合中，超像素Sk所包含的像素?cái)?shù)為nk，所述對(duì)象包含的像素 L· L· Iy) γ)Γν 數(shù)為Ν，則所述超像素Sk的大小Pk為：=T =D; 根據(jù)所述對(duì)象超像素集合中大小P大于0.05的超像素，計(jì)算得到所述對(duì)象的顏色特 征和結(jié)構(gòu)特征。
5. 根據(jù)權(quán)利要求4所述的基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法，其特征在于，所述 步驟103中根據(jù)所述對(duì)象中符合預(yù)設(shè)條件的超像素，確定所述對(duì)象顏色特征之前，還包括： 將基于HSV顏色空間描述的所述像素顏色信息，轉(zhuǎn)換為通過柱坐標(biāo)系下的歐氏空 間坐標(biāo)表示所述像素的顏色特征，則所述超像素的顏色特征描述為（Cl，c2,C3)，其中， rC1 =s·cosh C2 = 5 sinh. 、C3 =V
6. 根據(jù)權(quán)利要求4所述的基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法，其特征在于，所述 對(duì)象的結(jié)構(gòu)特征包括所述對(duì)象中超像素的距離和夾角。
7. 根據(jù)權(quán)利要求4所述的基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法，其特征在于，所述 步驟104,具體為： 通過與對(duì)象模型數(shù)據(jù)庫中待跟蹤對(duì)象進(jìn)行顏色特征和結(jié)構(gòu)特征比對(duì)匹配，計(jì)算所述對(duì) 象與所述待跟蹤對(duì)象的匹配度，若所述匹配度達(dá)到預(yù)設(shè)閾值，則確定所述對(duì)象為所述圖像 中待跟蹤的目標(biāo)對(duì)象，記錄所述目標(biāo)對(duì)象在所述視頻當(dāng)前幀圖像中的位置信息。
8. 根據(jù)權(quán)利要求4所述的基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法，其特征在于，所述 步驟105之前，還包括： 在所述視頻當(dāng)前幀圖像中，根據(jù)所述目標(biāo)對(duì)象的位置信息，采用運(yùn)動(dòng)模型估測(cè)所述目 標(biāo)對(duì)象在下一幀圖像中的位置信息。
9. 根據(jù)權(quán)利要求8所述的基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法，其特征在于，所述 步驟105,具體為： 在所述視頻下一幀圖像中，以所述估測(cè)的位置信息為參考位置，提取所述參考位置預(yù) 設(shè)范圍內(nèi)的子圖像，對(duì)所述子圖像重復(fù)步驟102至103,通過與所述視頻上一幀圖像中目標(biāo) 對(duì)象的顏色特征和結(jié)構(gòu)特征進(jìn)行比對(duì)匹配，確定所述圖像中待跟蹤的目標(biāo)對(duì)象，更新所述 目標(biāo)對(duì)象的位置信息。
10. 根據(jù)權(quán)利要求1所述的基于顏色-結(jié)構(gòu)特征的目標(biāo)對(duì)象跟蹤方法，其特征在于，所 述步驟101之前,還包括： 建立對(duì)象模型數(shù)據(jù)庫，存儲(chǔ)待跟蹤對(duì)象的顏色特征和結(jié)構(gòu)特征，用于與所述視頻圖像 中的對(duì)象進(jìn)行比對(duì)匹配，確定所述視頻圖像中待跟蹤的目標(biāo)對(duì)象。
【文檔編號(hào)】G06T7/20GK104240266SQ201410450138
【公開日】2014年12月24日 申請(qǐng)日期:2014年9月4日 優(yōu)先權(quán)日:2014年9月4日
【發(fā)明者】柳寅秋 申請(qǐng)人:成都理想境界科技有限公司