一種基于深度圖像或深度視頻序列的實(shí)時(shí)跟蹤目標(biāo)的計(jì)算方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于深度圖像或深度視頻序列的實(shí)時(shí)跟蹤目標(biāo)的計(jì)算方法，屬計(jì) 算機(jī)視覺領(lǐng)域。
【背景技術(shù)】
[0002] 在彩色圖像的實(shí)時(shí)目標(biāo)跟蹤技術(shù)中，跟蹤效果往往受光照、遮擋及復(fù)雜背景等因 素的干擾，跟蹤性能大受影響。因此，目標(biāo)跟蹤仍然是個(gè)具有挑戰(zhàn)性的問題。
[0003] 獲取深度圖像或深度視頻序列的設(shè)備主要有雙目視覺攝像機(jī)、激光掃描儀、 Kinect設(shè)備等。其中，Kinect是微軟在2010年6月14日對XB0X360體感周邊外設(shè)正式發(fā) 布的名字，是一種3D體感攝影機(jī)（開發(fā)代號"Project Natal"），同時(shí)它導(dǎo)入了即時(shí)動態(tài)捕 捉、影像辨識、麥克風(fēng)輸入、語音辨識、社群互動等功能。隨著Kinect的推出，通過Kinect 采集的深度信息可不受場景光照和陰影的影響，為跟蹤領(lǐng)域的研究提供了新的契機(jī)。
[0004] 現(xiàn)有的實(shí)時(shí)目標(biāo)跟蹤算法中存在跟蹤不準(zhǔn)確、運(yùn)算速度慢、目標(biāo)移動過快或變化 過大造成目標(biāo)丟失、執(zhí)彳T效率低等缺點(diǎn)。

【發(fā)明內(nèi)容】

[0005] 針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于深度圖像或深度視頻序列的實(shí)時(shí)跟 蹤目標(biāo)的計(jì)算方法；
[0006] 該算法大致分為三步：（1)預(yù)處理深度圖像，包括腐蝕、膨脹、邊緣提取、距離變換 等；（2)利用粗搜索到精搜索的搜索方法，確定預(yù)處理后的深度圖像中跟蹤目標(biāo)的位置； (3)實(shí)時(shí)更新跟蹤模板。在該部分的研究中，常用的技術(shù)為模板匹配，加權(quán)平均等。
[0007] 術(shù)語解釋：
[0008] 求補(bǔ)：將圖像進(jìn)行取反。
[0009] 腐蝕：利用一定尺寸的模版對圖像進(jìn)行與操作。
[0010] 膨脹：利用一定尺寸的模版對圖像進(jìn)行或操作。
[0011] 填充：在圖像上利用緊鄰像素恢復(fù)像素的缺失值。
[0012] 重構(gòu)：在對圖像進(jìn)行膨脹腐蝕操作后，基于原圖像的圖像恢復(fù)操作。
[0013] 邊緣提取：在圖像上利用不同的邊緣算子提取圖像的邊緣信息。
[0014] 距離變換：在圖像上計(jì)算任意點(diǎn)到目標(biāo)點(diǎn)的距離。
[0015] 歸一化：在圖像上通過數(shù)學(xué)關(guān)系式，使數(shù)據(jù)分布在一定區(qū)間范圍內(nèi)。
[0016] 本發(fā)明的技術(shù)方案為：
[0017] -種基于深度圖像或深度視頻序列的實(shí)時(shí)跟蹤目標(biāo)的計(jì)算方法，具體步驟包括：
[0018] (1)采集深度圖像，并對采集的深度圖像進(jìn)行預(yù)處理，所述預(yù)處理包括依次進(jìn)行求 補(bǔ)、腐蝕、膨脹、填充、重構(gòu)、邊緣提取、距離變換、歸一化；
[0019] 由于環(huán)境噪聲和設(shè)備噪聲的存在，深度圖像的質(zhì)量不理想，所以需要對獲取的深 度圖像進(jìn)行預(yù)處理。
[0020] (2)在第1幀深度圖像中，手動標(biāo)記初始跟蹤目標(biāo)A1;在初始跟蹤目標(biāo)A 近取若 干個(gè)訓(xùn)練樣本Xlt，訓(xùn)練樣本Xlt中心點(diǎn)的選取方法為：在以初始跟蹤目標(biāo)A 圓心、（1-20) 個(gè)像素點(diǎn)為半徑的圓內(nèi)隨機(jī)取若干個(gè)像素點(diǎn)；在遠(yuǎn)離初始跟蹤目標(biāo)A1處取若干個(gè)訓(xùn)練樣本 Yu，訓(xùn)練樣本Ylj中心點(diǎn)的選取方法為：在以初始跟蹤目標(biāo)A1為圓心、（20-100)像素點(diǎn)為內(nèi) 半徑、（40-150)個(gè)像素點(diǎn)為外半徑的圓環(huán)內(nèi)隨機(jī)取若干個(gè)像素點(diǎn)；任一訓(xùn)練樣本X lt、任一 訓(xùn)練樣本Yu均與初始跟蹤目標(biāo)A i大小相同；訓(xùn)練樣本B H包括所有的訓(xùn)練樣本X lt及所有 的訓(xùn)練樣本Yu, i = t+j，將每一個(gè)訓(xùn)練樣本B11分別與初始跟蹤目標(biāo)A i進(jìn)行模板匹配并分 類，模式匹配并分類公式如式（I )所示：
[0022] 式（I )中，C11為第一幀深度圖像中初始跟蹤目標(biāo)A1與訓(xùn)練樣本B11的匹配值， 均值，瓦為心的均值，召為B 11的矩陣，m為的行，η為為的列；為 4的矩陣，m為__的行，η為為_的列；
[0023] 當(dāng)C11的值大于閾值S時(shí)，訓(xùn)練樣本B Η屬于正樣本，S的取值范圍為（0· 4-0. 8)， 否則，屬于負(fù)樣本；
[0024] 分類完畢后，將獲取的所有正樣本加權(quán)平均，得到S1，并與初始跟蹤目標(biāo)A 1加權(quán)， 加權(quán)公式如式（II )所示，得到第1幀圖像的跟蹤模板；
[0025] T1= a !XS^a2XA1 ( II )
[0026] 式（II )中，T1為第1幀圖像的跟蹤模板；a ^ a 2= I，a i的取值范圍為 (0. 5-0. 8)；
[0027] (3)設(shè)定步驟⑴獲取〇幀深度圖像，p = 2,2 < p < 〇,執(zhí)行以下步驟：
[0028] A、在第p幀深度圖像中，對應(yīng)第p-1幀圖像中Ap i的相同位置為中心、（30-100)個(gè) 像素點(diǎn)為半徑、（5-10)個(gè)像素點(diǎn)為步長的圓內(nèi)獲取測試樣本Dpl的中心，測試樣本D pl與跟 蹤模板Tp i大小相同；將測試樣本D pl與T p i進(jìn)行模板匹配，模板匹配公式如式（III)所示：
[0030] 式（III)中，C' pl為第p幀深度圖像中測試樣本D pl與跟蹤模板T p i的匹配值， i為Tp i的均值，為Dpl的均值，為矩陣，m為的行，η為的列； 為矩陣，m為的行，η為的列；1為正整數(shù)； ±r -mn F Lmn r Lmn
[0031] 選出通過公式（III)求取的最大的匹配值對應(yīng)的測試樣本，以最大的匹配值對 應(yīng)的測試樣本位置為中心、（5-10)個(gè)像素點(diǎn)為半徑、1個(gè)像素點(diǎn)為步長的圓內(nèi)取測試樣本 D' pl的中心，將測試樣本D' ^與Tpl進(jìn)行模板匹配，模板匹配公式如式（IV)所示：
[0033] 式（IV)中，C" pl為第p幀深度圖像中測試樣本D' pl與跟蹤模板Tpl的匹配值， 為Tp i的均值，5二為D，pl的均值，/^,為矩陣，m為！)；^的行，η為的列； 為矩陣，m為Tt i的行，η為的列； F 1Jtin r lnw r Lmn
[0034] 選出通過公式（IV)求取的最大的匹配值對應(yīng)的測試樣本即第P幀深度圖像的跟 蹤目標(biāo)A p;
[0035] 判斷通過公式（IV)求取的最大的匹配值是否大于閾值S，S的取值范圍為 (0. 4-0. 8)，如果大于，則進(jìn)入步驟B，否則，Tp= T p 1;T p為第p幀圖像的跟蹤模板，進(jìn)入步驟 C；
[0036] B、在跟蹤目標(biāo)Ap附近取若干個(gè)訓(xùn)練樣本Xpt，訓(xùn)練樣本Xpt中心點(diǎn)的選取方法為：在 以跟蹤目標(biāo)A p為圓心、（1-20)個(gè)像素點(diǎn)為半徑的圓內(nèi)隨機(jī)取若干個(gè)像素點(diǎn)；在遠(yuǎn)離跟蹤目 標(biāo)Ap處取若干個(gè)訓(xùn)練樣本Y w，訓(xùn)練樣本Yw中心點(diǎn)的選取方法為：在以跟蹤目標(biāo)Ap為圓心、 (20-100)像素點(diǎn)為內(nèi)半徑、（40-150)個(gè)像素點(diǎn)為外半徑的圓環(huán)內(nèi)隨機(jī)取若干個(gè)像素點(diǎn)；任 一訓(xùn)練樣本X pt、任一訓(xùn)練樣本Yw均與跟蹤目標(biāo)A p大小相同；訓(xùn)練樣本B P1包括所有的訓(xùn)練 樣本Xpt及所有的訓(xùn)練樣本Y w，i = t+j，將每一個(gè)訓(xùn)練樣本Bpi分別與跟蹤模板T p i進(jìn)行模 板匹配并分類，模式匹配并分類公式如式（V )所示：
[0038] 式（V )中，Cpi為第p幀深度圖像中每一個(gè)訓(xùn)練樣本B P1與跟蹤模板T p i的匹配 值，L為Tpl的均值，I為Bpi的均值，為矩陣，m為的行，!!為義'的列；?。籢 為矩陣，m為？^_ lwn的行，η為的列；
[0039] 當(dāng)Cpi的值大于閾值S時(shí)，訓(xùn)練樣本B P1屬于正樣本，S的取值范圍為（0· 4-0. 8)， 否則，屬于負(fù)樣本；
[0040] 分類完畢后，將獲取的所有正樣本加權(quán)平均，得到Sp，并與初始跟蹤目標(biāo)A 1加權(quán)， 加權(quán)公式如式（VI)所示，得到第P幀圖像的跟蹤模板；
[0041] Tp= a IXSja2XA1 (VI)
[0042] 式（VI )中，Tp為第ρ幀圖像的跟蹤模板；
[0043] C、判斷ρ是否等于〇,如果是，結(jié)束，否則，ρ加1，進(jìn)入步驟Α。
[0044] 根據(jù)本發(fā)明優(yōu)選的，所述距離變換采用歐氏距離變換，歐氏距離變換公式如式 (W)所示：
[0046] 式（VE)中，D為兩點(diǎn)之間的歐氏距離，（Xl，yi)為獨(dú)立的像素點(diǎn)，（x 2，y2)為離（Xl， yi)最近的非零像素點(diǎn)。
[0047] 根據(jù)本發(fā)明優(yōu)選的，步驟A中，如果通過公式（IV)求取的最大的匹配值不大于閾 值s，T p= T p i，Tp為第P幀圖像的跟蹤模板，進(jìn)入步驟C，并在搜索下一幀圖像的跟蹤目標(biāo) 時(shí)擴(kuò)大測試樣本Dpl中心點(diǎn)的選取范圍，其選取范圍的半徑可擴(kuò)大（1-50)個(gè)像素點(diǎn)。
[0048] 本發(fā)明的有益效果為：
[0049] 1、本發(fā)明所述方法應(yīng)用于深度圖像，能在保護(hù)跟蹤目標(biāo)隱私的同時(shí)，實(shí)時(shí)跟蹤目 標(biāo)。
[0050] 2、由于深度圖像不受場景光照、陰影等復(fù)雜背景的影響，因此，本發(fā)明對光照、陰 影等復(fù)雜背景有很強(qiáng)的魯棒性，并且實(shí)驗(yàn)表明，本發(fā)明對遮擋有較強(qiáng)的魯棒性；
[0051] 3、本發(fā)明執(zhí)行效率高，在預(yù)測跟蹤目標(biāo)時(shí)，本發(fā)明提出的方法采用了粗搜索到精 搜索的搜索方法，減少了測試樣本的數(shù)目，提高了算法的運(yùn)行速度；
[0052] 4、本發(fā)明具有較高的跟蹤準(zhǔn)確度，在跟蹤目標(biāo)的匹配值較低時(shí)，本發(fā)明不更新跟 蹤模板并對下一幀圖像擴(kuò)大搜索范圍，避免了跟蹤目標(biāo)移動過快或變化過大造成的目標(biāo)丟 失。
【具體實(shí)施方式】
[0053] 下面結(jié)合實(shí)施例對本發(fā)明作進(jìn)一步限定，但不限于此。
[0054] 實(shí)施例1
[0055] -種基于深度圖像或深度視頻序列的實(shí)時(shí)跟蹤目標(biāo)的計(jì)算方法，具體步驟包括：
[0056] (1)采集深度圖像，并對采集的深度圖像進(jìn)行預(yù)處理，所述預(yù)處理包括依次進(jìn)行求 補(bǔ)、腐蝕、膨脹、填充、重構(gòu)、邊緣提取、距離變換、歸一化；
[0057] 由于環(huán)境噪聲和設(shè)備噪聲的存在，深度圖像的質(zhì)量不理想，所以需要對獲取的深 度圖像進(jìn)行預(yù)處理。
[0058] (2)在第1幀深度圖像中，手動標(biāo)記初始跟蹤目標(biāo)A1;在初始跟蹤目標(biāo)A 近取若 干個(gè)訓(xùn)練樣本Xlt，訓(xùn)練樣本Xlt中心點(diǎn)的選取方法為：在以初始跟蹤目標(biāo)A1S圓心、10個(gè)像 素點(diǎn)為半徑的圓內(nèi)隨機(jī)取20個(gè)像素點(diǎn)；在遠(yuǎn)離初始跟蹤目標(biāo)A1處取若干個(gè)訓(xùn)練樣本Y y 訓(xùn)練樣本Yu中心點(diǎn)的選取方法為：在以初始跟蹤目標(biāo)A1為圓心、30像素點(diǎn)為內(nèi)半徑、50個(gè) 像素點(diǎn)為外半徑的圓環(huán)內(nèi)隨機(jī)取20個(gè)像素點(diǎn)；任一訓(xùn)練樣本X lt、任一訓(xùn)練樣本Yu均與初 始跟蹤目標(biāo)A1大小相同；訓(xùn)練樣本B Η包括所有的訓(xùn)練樣本X lt及所有的訓(xùn)練樣本Y w i = t+j，將每一個(gè)訓(xùn)練樣本B11分別與初始跟蹤目標(biāo)A i進(jìn)行模板匹配并分類，模式匹配并分類 公式如式（I )所示：
[0060] 式（I )中，C11為第一幀深度圖像中初始跟蹤目標(biāo)A1與訓(xùn)練樣本B11的匹配值， 為A1的均值，瓦為B11的均值，凡為B11的矩陣，m為凡·的行，η為凡.的列；為 ? Ii. 聰. Ximn iIfm iMn- 為矩陣，m為J1的行，η為4的列； mn- mn
[00