本發(fā)明屬于計(jì)算機(jī)
技術(shù)領(lǐng)域：
，更進(jìn)一步涉及計(jì)算機(jī)視頻目標(biāo)跟蹤
技術(shù)領(lǐng)域：
中的一種使用計(jì)算機(jī)圖形處理器GPU(GraphicsProcessingUnit)硬件的追蹤學(xué)習(xí)檢測(cè)TLD(Tracking-Learning-Detection)視頻運(yùn)動(dòng)目標(biāo)跟蹤方法。本發(fā)明可以實(shí)現(xiàn)對(duì)追蹤學(xué)習(xí)檢測(cè)TLD(Tracking-Learning-Detection)視頻運(yùn)動(dòng)目標(biāo)跟蹤算法的加速，可在通用計(jì)算機(jī)上實(shí)現(xiàn)對(duì)視頻中的運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤。
背景技術(shù)：
：具有高速、高性能的目標(biāo)跟蹤方法是計(jì)算機(jī)視覺(jué)領(lǐng)域的核心技術(shù)。目前的目標(biāo)跟蹤方法分為兩類(lèi)：一類(lèi)是基于特征匹配的跟蹤方法，該方法主要是構(gòu)建能夠代表目標(biāo)的特征，然后通過(guò)特征間的匹配度來(lái)判斷目標(biāo)的位置；另一類(lèi)是基于目標(biāo)與背景分離的跟蹤方法，該方法運(yùn)用機(jī)器學(xué)習(xí)的方法學(xué)習(xí)一個(gè)能夠分離目標(biāo)與背景的分類(lèi)器，學(xué)習(xí)過(guò)程一般為在線訓(xùn)練過(guò)程，通過(guò)學(xué)習(xí)到的分類(lèi)器來(lái)判斷目標(biāo)位置。相比之下，前者具有計(jì)算簡(jiǎn)單，但對(duì)具有光照、遮擋、尺度等因素變化的情況不能很好地處理。后者在一定程度上能夠解決前者遇到的問(wèn)題，而具有較高的魯棒性，但其計(jì)算復(fù)雜度較高。西北農(nóng)林科技大學(xué)在其申請(qǐng)的專(zhuān)利文獻(xiàn)“一種基于全局搜索的實(shí)時(shí)分布場(chǎng)目標(biāo)跟蹤方法”(申請(qǐng)日：2014年6月26日，申請(qǐng)?zhí)枺?01410298728.7，公開(kāi)號(hào)：CN104036528A)中公開(kāi)了一種基于特征匹配的跟蹤方法。該方法將目標(biāo)的分布場(chǎng)作為目標(biāo)模型，在計(jì)算候選區(qū)域分布場(chǎng)與目標(biāo)模型相關(guān)系數(shù)矩陣時(shí)，借助二維傅里葉變換的良好性質(zhì)，將局部范圍的搜索擴(kuò)大到全局范圍的搜索，并且保證了很高的處理速度，具有實(shí)時(shí)跟蹤視頻中運(yùn)動(dòng)目標(biāo)的能力。但是，該方法仍然存在的不足之處是，由于視頻中運(yùn)動(dòng)目標(biāo)被遮擋和光照變化造成的魯棒性降低，導(dǎo)致跟蹤視頻中運(yùn)動(dòng)目標(biāo)的準(zhǔn)確度低。SamHare、AmirSaffari和PhilipH.S.Torr在其發(fā)表的論文“Struck:StructuredOutputTrackingwithKernels”(IEEEInternationalConferenceonComputerVision,ICCV2011,Barcelona,Spain,November6-13,2011,pages263–270)中公開(kāi)提出了一種基于目標(biāo)與背景分離的Struck目標(biāo)跟蹤方法。該方法采用結(jié)構(gòu)化支持向量機(jī)模型，學(xué)習(xí)一個(gè)能區(qū)分目標(biāo)與背景的分類(lèi)器，通過(guò)學(xué)習(xí)到的分類(lèi)器來(lái)判斷目標(biāo)的位置。該方法雖然具有跟蹤準(zhǔn)確度較高的優(yōu)點(diǎn)，在一定程度上克服了傳統(tǒng)方法魯棒性低的問(wèn)題。但是，該方法仍然存在的不足之處是，處理速度慢，無(wú)法對(duì)視頻中運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的不足，提供了一種使用GPU硬件的TLD視頻運(yùn)動(dòng)目標(biāo)跟蹤方法，可實(shí)現(xiàn)對(duì)視頻中的運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤。實(shí)現(xiàn)本發(fā)明目的的思路是，針對(duì)TLD算法無(wú)法實(shí)現(xiàn)視頻中的運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤的缺陷，使用GPU硬件，針對(duì)TLD算法中計(jì)算量大的部分進(jìn)行改進(jìn)，開(kāi)發(fā)了基于GPU硬件的TLD視頻運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)，達(dá)到了在普通PC上對(duì)視頻中運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤的效果。實(shí)現(xiàn)本發(fā)明目的的具體步驟如下：(1)獲取灰度圖像：將待跟蹤視頻中的任意一幀圖像加載到計(jì)算機(jī)內(nèi)存后轉(zhuǎn)化為灰度圖像；(2)判斷灰度圖像是否是待跟蹤視頻中的第1幀圖像，若是，則執(zhí)行步驟(3)，否則，執(zhí)行步驟(5)；(3)確定初始運(yùn)動(dòng)目標(biāo)位置矩形框：從待跟蹤視頻中第1幀灰度圖像中，將含有待跟蹤運(yùn)動(dòng)目標(biāo)的矩形框作為運(yùn)動(dòng)目標(biāo)的位置矩形框；(4)獲得灰度圖像元：以15個(gè)像素點(diǎn)為步長(zhǎng)，將灰度圖像劃分為圖像元后執(zhí)行步驟(9)；(5)追蹤灰度圖像元特征點(diǎn)：(5a)在運(yùn)動(dòng)目標(biāo)位置矩形框內(nèi)，以5個(gè)像素點(diǎn)為步長(zhǎng)，選取100個(gè)點(diǎn)為待追蹤點(diǎn)，組成待追蹤點(diǎn)集合；(5b)使用光流法，對(duì)待追蹤點(diǎn)集合中的所有的點(diǎn)進(jìn)行追蹤，得到相鄰兩幀灰度圖像間處于同一位置的多個(gè)點(diǎn)，組成特征點(diǎn)集合；(5c)按照下式，計(jì)算每個(gè)待追蹤點(diǎn)集合與特征點(diǎn)集合的位置誤差：e＝||pi-qj||其中，e表示待追蹤點(diǎn)集合pi中的第i個(gè)點(diǎn)與特征點(diǎn)集合qj中第j個(gè)點(diǎn)的位置誤差，||·||表示0范數(shù)操作；(6)篩選灰度圖像的圖像元：(6a)利用高斯低通濾波器，對(duì)灰度圖像中的隨機(jī)噪聲進(jìn)行高斯濾波；(6b)計(jì)算每一幀灰度圖像中所有圖像元方差的均值，舍棄灰度圖像中圖像元中所有方差大于均值的圖像元，得到方差小于均值的所有圖像元；(7)對(duì)灰度圖像的圖像元濾波：(7a)利用計(jì)算機(jī)圖形處理器GPU設(shè)備中的隨機(jī)森林分類(lèi)器，并行對(duì)灰度圖像中方差小于均值的的圖像元進(jìn)行濾波，得到濾波后的所有圖像元；(7b)利用計(jì)算機(jī)圖形處理器GPU設(shè)備中的最小鄰近分類(lèi)器，對(duì)濾波后的圖像元并行的進(jìn)行濾波，得到含有目標(biāo)的所有圖像元；(8)確定運(yùn)動(dòng)目標(biāo)位置矩形框：從灰度圖像元的所有特征點(diǎn)中，選擇位于左上角、右上角，左下角、右下角的特征點(diǎn)，將這四個(gè)點(diǎn)確定的矩形，作為運(yùn)動(dòng)目標(biāo)位置矩形框；(9)訓(xùn)練分類(lèi)器：(9a)將步驟(1)獲得的灰度圖像中與目標(biāo)位置矩形框重疊面積最大的10個(gè)圖像元作為正樣本集，重疊面積最小的10個(gè)圖像元作為負(fù)樣本集；(9b)從正、負(fù)樣本集的每一個(gè)圖像元中隨機(jī)選取26個(gè)像素點(diǎn)，任意組成13個(gè)像素點(diǎn)對(duì)；(9c)分別將每對(duì)像素點(diǎn)中的兩個(gè)像素點(diǎn)相減，將其差值為正的標(biāo)記為1，其余的標(biāo)記為0，將所以標(biāo)記結(jié)果組成一個(gè)13比特的二進(jìn)制數(shù)；(10)判斷是否加載完待跟蹤視頻的所有幀圖像，若是，則執(zhí)行步驟(11),否則執(zhí)行步驟(1)；(11)結(jié)束目標(biāo)跟蹤。本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：第一，本發(fā)明利用計(jì)算機(jī)圖形處理器GPU設(shè)備中的隨機(jī)森林分類(lèi)器，并行地對(duì)灰度圖像中方差較小的圖像元進(jìn)行濾波，克服了現(xiàn)有技術(shù)中利用隨機(jī)森林分類(lèi)器對(duì)圖像元濾波速度慢的問(wèn)題，使得本發(fā)明大大提高了隨機(jī)森林分類(lèi)器對(duì)圖像元的過(guò)濾速度，由此提高了跟蹤目標(biāo)的速度。第二，本發(fā)明利用計(jì)算機(jī)圖形處理器GPU設(shè)備中的最小鄰近分類(lèi)器，并行地對(duì)灰度圖像中隨機(jī)森林分類(lèi)器濾波后的圖像元進(jìn)行濾波，克服了現(xiàn)有技術(shù)中使用最小鄰近分類(lèi)器對(duì)圖像元濾波速度慢的問(wèn)題，使得本發(fā)明大大提高了最小鄰近分類(lèi)器對(duì)圖像元的過(guò)濾速度，由此提高了跟蹤目標(biāo)的速度，使得本發(fā)明具有實(shí)時(shí)性。附圖說(shuō)明圖1是本發(fā)明的流程圖。具體實(shí)施方式參照?qǐng)D1，對(duì)本發(fā)明的具體步驟作進(jìn)一步的描述。步驟1，獲取灰度圖像。將待跟蹤視頻中的任意一幀圖像加載到計(jì)算機(jī)內(nèi)存后轉(zhuǎn)化為灰度圖像。步驟2，判斷灰度圖像是否是待跟蹤視頻中的第1幀圖像，若是，則執(zhí)行步驟3，否則，執(zhí)行步驟5。步驟3，確定初始運(yùn)動(dòng)目標(biāo)位置矩形框。從待跟蹤視頻中第1幀灰度圖像中，將含有待跟蹤運(yùn)動(dòng)目標(biāo)的矩形框作為運(yùn)動(dòng)目標(biāo)的位置矩形框。步驟4，獲得灰度圖像元。以15個(gè)像素點(diǎn)為步長(zhǎng)，將灰度圖像劃分為圖像元后執(zhí)行步驟(9)。步驟5，追蹤灰度圖像元特征點(diǎn)。在運(yùn)動(dòng)目標(biāo)位置矩形框內(nèi)，以5個(gè)像素點(diǎn)為步長(zhǎng)，選取100個(gè)點(diǎn)為待追蹤點(diǎn)，組成待追蹤點(diǎn)集合。使用光流法，對(duì)待追蹤點(diǎn)集合中的所有的點(diǎn)進(jìn)行追蹤，得到相鄰兩幀灰度圖像間處于同一位置的多個(gè)點(diǎn)，組成特征點(diǎn)集合。使用光流法的具體步驟如下。第1步，按照下式，獲得四層高斯金字塔中的每層灰度圖像：其中，Gt+1表示第t+1層高斯金字塔的灰度圖像，Gt表示第t層高斯金字塔的灰度圖像，t的取值從1到3，表示下采樣操作，表示卷積操作，g5*5表示5乘5的高斯核。第2步，按照下式，分別計(jì)算待追蹤點(diǎn)集合中的每個(gè)點(diǎn)在高斯金字塔的每層灰度圖像中對(duì)應(yīng)點(diǎn)：其中，uk表示第k層圖像金字塔中的特征點(diǎn)，k取值從1到4，p表示待追蹤點(diǎn)集合中的任意點(diǎn)。第3步，按照下式，計(jì)算每個(gè)待追蹤點(diǎn)集合與特征點(diǎn)集合的位置誤差：e＝||pi-qj||其中，e表示待追蹤點(diǎn)集合pi中的第i個(gè)點(diǎn)與特征點(diǎn)集合qj中第j個(gè)點(diǎn)的位置誤差，||·||表示0范數(shù)操作。步驟6，篩選灰度圖像的圖像元。利用高斯低通濾波器，對(duì)灰度圖像中的隨機(jī)噪聲進(jìn)行高斯濾波。計(jì)算每一幀灰度圖像中所有圖像元方差的均值，舍棄灰度圖像中圖像元中所有方差大于均值的圖像元，得到方差小于均值的所有圖像元。計(jì)算每一幀灰度圖像中所有圖像元方差的均值的具體步驟如下。第1步，按照下式，計(jì)算每一幀灰度圖像中每個(gè)圖像元的均值：其中，M(a,b)表示第a幀灰度圖像中第b個(gè)圖像元的均值，pn表示第a幀灰度圖像中第b個(gè)圖像元的第n個(gè)像素點(diǎn)，n表示第a幀灰度圖像中第b個(gè)圖像元的像素點(diǎn)總數(shù)。第2步，按照下式，計(jì)算每一幀灰度圖像中每個(gè)圖像元的方差：其中，s2表示第a幀灰度圖像中第b個(gè)圖像元的方差。第3步，按照下式，計(jì)算每一幀灰度圖像中所有圖像元方差的均值：其中，表示第a幀灰度圖像中所有圖像元方差的均值，表示第a幀灰度圖像中第c個(gè)圖像元的方差，c表示第a幀灰度圖像中圖像元的總數(shù)。步驟7，對(duì)灰度圖像的圖像元濾波。利用計(jì)算機(jī)圖形處理器GPU設(shè)備中的隨機(jī)森林分類(lèi)器，并行對(duì)灰度圖像中方差小于均值的的圖像元進(jìn)行濾波，得到濾波后的所有圖像元。計(jì)算每一幀灰度圖像中所有圖像元方差的均值的具體步驟如下。第1步，在計(jì)算機(jī)圖形處理器GPU設(shè)備中，為灰度圖像中每一個(gè)方差小于均值的圖像元，分配一個(gè)隨機(jī)森林分類(lèi)器。第2步，利用計(jì)算機(jī)圖形處理器GPU設(shè)備中的隨機(jī)森林分類(lèi)器，并行地從灰度圖像中每一個(gè)方差小于均值的圖像元中隨機(jī)選取26個(gè)像素點(diǎn)，任意組成13個(gè)像素點(diǎn)對(duì)。第3步，利用計(jì)算機(jī)圖形處理器GPU設(shè)備中的隨機(jī)森林分類(lèi)器，并行地將每對(duì)像素點(diǎn)中的兩個(gè)像素點(diǎn)相減，將其差值為正的標(biāo)記為1，其余的標(biāo)記為0，將所以標(biāo)記結(jié)果組成一個(gè)13比特的二進(jìn)制數(shù)。利用計(jì)算機(jī)圖形處理器GPU設(shè)備中的最小鄰近分類(lèi)器，對(duì)濾波后的圖像元并行的進(jìn)行濾波，得到含有目標(biāo)的所有圖像元。利用計(jì)算機(jī)圖形處理器GPU設(shè)備中的最小鄰近分類(lèi)器，對(duì)濾波后的圖像元并行的進(jìn)行濾波的具體步驟如下。第1步，在計(jì)算機(jī)圖形處理器GPU設(shè)備中，為灰度圖像中每一個(gè)隨機(jī)森林分類(lèi)器濾波后的圖像元，分配一個(gè)最小鄰近分類(lèi)器。第2步，按照下式，計(jì)算灰度圖像中經(jīng)過(guò)隨機(jī)森林分類(lèi)器濾波后的每個(gè)圖像元與運(yùn)動(dòng)目標(biāo)位置框的互相關(guān)值：其中，Re表示灰度圖像中經(jīng)過(guò)隨機(jī)森林分類(lèi)器濾波后的第e個(gè)圖像元與運(yùn)動(dòng)目標(biāo)位置框的互相關(guān)值，e取值從1到100，∑表示求和操作，Td表示運(yùn)動(dòng)目標(biāo)位置框中的第d個(gè)像素，Id表示灰度圖像中經(jīng)過(guò)隨機(jī)森林分類(lèi)器濾波后的第e個(gè)圖像元中的第d個(gè)像素，d取值從1到100。步驟8，確定運(yùn)動(dòng)目標(biāo)位置矩形框。從灰度圖像元的所有特征點(diǎn)中，選擇位于左上角、右上角，左下角、右下角的特征點(diǎn)，將這四個(gè)點(diǎn)確定的矩形，作為運(yùn)動(dòng)目標(biāo)位置矩形框。步驟9，訓(xùn)練分類(lèi)器。將步驟(1)獲得的灰度圖像中與目標(biāo)位置矩形框重疊面積最大的10個(gè)圖像元作為正樣本集，重疊面積最小的10個(gè)圖像元作為負(fù)樣本集。從正、負(fù)樣本集的每一個(gè)圖像元中隨機(jī)選取26個(gè)像素點(diǎn)，任意組成13個(gè)像素點(diǎn)對(duì)。分別將每對(duì)像素點(diǎn)中的兩個(gè)像素點(diǎn)相減，將其差值為正的標(biāo)記為1，其余的標(biāo)記為0，將所以標(biāo)記結(jié)果組成一個(gè)13比特的二進(jìn)制數(shù)。步驟10，判斷是否加載完待跟蹤視頻的所有幀圖像，若是，則執(zhí)行步驟11,否則執(zhí)行步驟1。步驟11，結(jié)束目標(biāo)跟蹤。本發(fā)明的效果可以用在以下測(cè)試環(huán)境下得到的如下測(cè)試結(jié)果說(shuō)明。1.測(cè)試環(huán)境：操作系統(tǒng):ubuntu14.04。中央處理器CPU:Intel(R)Core(TM)i3CPUM380@2.53GHz。圖像處理器GPU:ATIRadeonHD5650。2.測(cè)試內(nèi)容及其結(jié)果分析：用本發(fā)明中的使用GPU硬件的TLD視頻運(yùn)動(dòng)目標(biāo)跟蹤方法和TLD原始視頻跟蹤算法分別對(duì)10組測(cè)試視頻進(jìn)行測(cè)試，測(cè)試結(jié)果如下表1所示。表1本發(fā)明與TLD原始算法性能對(duì)比一覽表測(cè)試視頻原算法幀頻原算法準(zhǔn)確率本發(fā)明幀頻本發(fā)明準(zhǔn)確率加速比01_david2.57fps100％8.26fps100％3.2102_jumping3.92fps80.3％16.13fp80.2％4.1103_pedestrian16.13fps47.9％20.83fp46.5％3.4004_pedestrian27.94fps94.4％25fps94.4％3.1505_pedestrian35.21fps85.3％21.28fp85.3％4.0806_car7.58fps94.8％23.81fp94.6％3.1407_motocross9.17fps29.9％31.25fp29.9％3.4008_volkswagen2.86fps28.5％11.9fps30.8％4.1609_carchase5.56fps20.9％18.52fp20.9％3.3310_panda11.9fps28.9％38.46fp31.77％3.23由表1可見(jiàn)，通過(guò)對(duì)10組視頻進(jìn)行測(cè)試，測(cè)試結(jié)果表明本發(fā)明中的使用GPU硬件的TLD視頻運(yùn)動(dòng)目標(biāo)跟蹤方法和TLD原始視頻跟蹤算法相比，在跟蹤準(zhǔn)確率沒(méi)有明顯下降的情況下，本發(fā)明的處理幀頻大大增加，平均可達(dá)到3到4倍的加速比。當(dāng)前第1頁(yè)1 2 3