本發(fā)明涉及一種在一段視頻中自動(dòng)地檢測(cè)品牌logo空間位置的品牌識(shí)別技術(shù)，具體地說是一種應(yīng)用于視頻品牌識(shí)別系統(tǒng)的實(shí)時(shí)跟蹤模塊。

背景技術(shù)：

視頻內(nèi)品牌識(shí)別技術(shù)是在一段視頻中自動(dòng)地檢測(cè)品牌logo的空間位置，并且在接下來的時(shí)間里，自動(dòng)地跟蹤該logo的運(yùn)動(dòng)軌跡，并且識(shí)別出該logo所屬品牌的一種技術(shù)，涉及到圖像處理、計(jì)算機(jī)視覺、模式識(shí)別、人工智能等前沿技術(shù)。本發(fā)明提供了一種實(shí)時(shí)跟蹤模塊，本實(shí)時(shí)跟蹤模塊應(yīng)用在視頻品牌識(shí)別系統(tǒng)中。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為解決上述技術(shù)問題而采用的技術(shù)方案是提供一種應(yīng)用于視頻品牌識(shí)別系統(tǒng)的實(shí)時(shí)跟蹤模塊，其中，具體技術(shù)方案為：

實(shí)時(shí)跟蹤模塊包含算法調(diào)度模塊、通用的高性能多線程調(diào)度模塊、基于簡(jiǎn)單工廠模式封裝的各種算法模塊、高性能鏡頭切換檢測(cè)模塊；輸入視頻幀通過調(diào)度模塊，之后進(jìn)入基于簡(jiǎn)單工廠模式，算法通用的高性能多線程調(diào)度模塊、基于簡(jiǎn)單工廠模式封裝的各種算法模塊、高性能鏡頭切換檢測(cè)模塊默認(rèn)配置為使能的部分，當(dāng)算法調(diào)度模塊沒有被使能的時(shí)候，默認(rèn)是執(zhí)行的這個(gè)部分，即默認(rèn)的配置。

上述的應(yīng)用于視頻品牌識(shí)別系統(tǒng)的實(shí)時(shí)跟蹤模塊，其中：算法調(diào)度模塊，1)根據(jù)xml進(jìn)行默認(rèn)值配置；2)由于不同跟蹤算法的優(yōu)勢(shì)劣勢(shì)互不相同，根據(jù)場(chǎng)景識(shí)別或者提前xml配置，在程序中進(jìn)行動(dòng)態(tài)的跟蹤器選取。

上述的應(yīng)用于視頻品牌識(shí)別系統(tǒng)的實(shí)時(shí)跟蹤模塊，其中：通用的高效多線程調(diào)度模塊，支持多進(jìn)程，需要一個(gè)參數(shù)的配置，只需要根據(jù)xml配置文件進(jìn)行一個(gè)flag的配置，系統(tǒng)當(dāng)前默認(rèn)是設(shè)置成多線程的，根據(jù)實(shí)驗(yàn)數(shù)據(jù)，多線程調(diào)度比多進(jìn)程調(diào)度效率快3-4％。。

上述的應(yīng)用于視頻品牌識(shí)別系統(tǒng)的實(shí)時(shí)跟蹤模塊，其中：

基于簡(jiǎn)單工廠模式的跟蹤算法模塊包含四種；

tld-lite；

m-kerneltracker；

asmsbased；

facetracker；

1)m-kerneltracker，在原算法的基礎(chǔ)上加入了7個(gè)scale的跟蹤，并且進(jìn)行了優(yōu)化，包括根據(jù)目標(biāo)大小動(dòng)態(tài)resize，浮點(diǎn)轉(zhuǎn)定點(diǎn)；tracker算法是基于kcf；

a加入了對(duì)被跟蹤物體scale變化的支持

b給原圖像加擾動(dòng)，以提高其在跟蹤過程中對(duì)環(huán)境的適應(yīng)能力；

c對(duì)算法進(jìn)行了優(yōu)化，包括根據(jù)目標(biāo)大小動(dòng)態(tài)resize，浮點(diǎn)轉(zhuǎn)定點(diǎn)，采用了快速傅里葉變換(fft)進(jìn)行加速，部分關(guān)鍵代碼使用了intel的sse2指令集進(jìn)行了加速；

2)tld-lite，去掉了學(xué)習(xí)和檢測(cè)模塊，利用tld的跟蹤模塊，將trackingpoint的選取由陣列式選取該為先根據(jù)梯度的模值大小來提取特征點(diǎn)，然后再進(jìn)行跟蹤，降低選取到無效的特征點(diǎn)的可能性；

3)asmsbased，基于meanshift的算法，支持單scale的跟蹤；

4)facetracker，基于人臉特征點(diǎn)的跟蹤，在facetracker中加入了速度極快的人臉檢測(cè)，從而使得其具備了跟蹤分?jǐn)?shù)過低時(shí)候，自動(dòng)使用facedetection進(jìn)行re-detect，從而對(duì)跟蹤軌跡進(jìn)行了糾正，如果無法檢測(cè)到人臉，若干幀后，即判斷為目標(biāo)丟失。

上述的應(yīng)用于視頻品牌識(shí)別系統(tǒng)的實(shí)時(shí)跟蹤模塊，其中：高性能鏡頭切換檢測(cè)算法模塊：

有兩個(gè)核心模塊，直方圖匹配模塊與s-kernel(smeanssinglescale)跟蹤模塊，首先，進(jìn)行前后兩幀的直方圖匹配，得到一個(gè)分?jǐn)?shù)，如果這個(gè)分?jǐn)?shù)過低或者圖像本身的灰度極低，為了支持兩個(gè)鏡頭之間插入黑色幀則立即判斷為鏡頭切換。否則，根據(jù)直方圖匹配的分?jǐn)?shù)對(duì)s-kernel全場(chǎng)景跟蹤模塊的學(xué)習(xí)率進(jìn)行調(diào)整：直方圖匹配分?jǐn)?shù)高，則調(diào)高s-kerneltracker學(xué)習(xí)率；反之，亦然；這樣做的原理是如果直方圖分?jǐn)?shù)匹配較高，那么說明當(dāng)前可能沒有發(fā)生鏡頭切換，這個(gè)時(shí)候調(diào)高了s-kernel。

本發(fā)明相對(duì)于現(xiàn)有技術(shù)具有如下有益效果：

經(jīng)由前處理處理過后的幀輸入到檢測(cè)識(shí)別模塊中后，對(duì)品牌logo的檢測(cè)和識(shí)別，如果在某一幀中檢測(cè)和識(shí)別到了logo，那么在這一幀就初始化跟蹤器，在接下來的視頻序列中對(duì)這個(gè)檢測(cè)到的logo通過申請(qǐng)方案進(jìn)行跟蹤，直到發(fā)生跟蹤丟失的情況或者發(fā)生了鏡頭切換，至此一個(gè)跟蹤序列結(jié)束。

附圖說明

圖1為本發(fā)明提供的應(yīng)用于視頻品牌識(shí)別系統(tǒng)的實(shí)時(shí)跟蹤模塊的系統(tǒng)示意圖。

圖2為高性能鏡頭切換算法模塊的示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的描述。

本發(fā)明提供了一種應(yīng)用于視頻品牌識(shí)別系統(tǒng)的實(shí)時(shí)跟蹤模塊，可廣泛應(yīng)用于需要實(shí)現(xiàn)實(shí)時(shí)跟蹤功能的系統(tǒng)，本申請(qǐng)方案不限定其應(yīng)用范圍，在于保護(hù)其實(shí)現(xiàn)功能的具體技術(shù)方案。

本發(fā)明提供了一種應(yīng)用于視頻品牌識(shí)別系統(tǒng)的實(shí)時(shí)跟蹤模塊包括實(shí)時(shí)跟蹤模塊包含算法調(diào)度模塊、通用的高性能多線程調(diào)度模塊、基于簡(jiǎn)單工廠模式封裝的各種算法模塊、高性能鏡頭切換檢測(cè)模塊；輸入視頻幀通過調(diào)度模塊，之后進(jìn)入基于簡(jiǎn)單工廠模式，算法通用的高性能多線程調(diào)度模塊、基于簡(jiǎn)單工廠模式封裝的各種算法模塊、高性能鏡頭切換檢測(cè)模塊默認(rèn)配置為使能的部分，當(dāng)算法調(diào)度模塊沒有被使能的時(shí)候，默認(rèn)是執(zhí)行的這個(gè)部分，即默認(rèn)的配置。

算法調(diào)度模塊：

1)根據(jù)xml進(jìn)行默認(rèn)值配置；2)由于不同跟蹤算法的優(yōu)勢(shì)劣勢(shì)互不相同，根據(jù)場(chǎng)景識(shí)別或者提前xml配置，在程序中進(jìn)行動(dòng)態(tài)的跟蹤器選取。

通用的高效多線程調(diào)度模塊，支持多進(jìn)程，需要一個(gè)參數(shù)的配置，只需要根據(jù)xml配置文件進(jìn)行一個(gè)flag的配置，系統(tǒng)當(dāng)前默認(rèn)是設(shè)置成多線程的，根據(jù)實(shí)驗(yàn)數(shù)據(jù)，多線程調(diào)度比多進(jìn)程調(diào)度效率快3-4％。。

基于簡(jiǎn)單工廠模式的跟蹤算法模塊包含四種；

tld-lite；

m-kerneltracker；

asmsbased；

facetracker；

1)m-kerneltracker，在原算法的基礎(chǔ)上加入了7個(gè)scale的跟蹤，并且進(jìn)行了優(yōu)化，包括根據(jù)目標(biāo)大小動(dòng)態(tài)resize，浮點(diǎn)轉(zhuǎn)定點(diǎn)；tracker算法是基于kcf；

a加入了對(duì)被跟蹤物體scale變化的支持

b給原圖像加擾動(dòng)，以提高其在跟蹤過程中對(duì)環(huán)境的適應(yīng)能力；

c對(duì)算法進(jìn)行了優(yōu)化，包括根據(jù)目標(biāo)大小動(dòng)態(tài)resize，浮點(diǎn)轉(zhuǎn)定點(diǎn)，采用了快速傅里葉變換(fft)進(jìn)行加速，部分關(guān)鍵代碼使用了intel的sse2指令集進(jìn)行了加速；

2)tld-lite，去掉了學(xué)習(xí)和檢測(cè)模塊，利用tld的跟蹤模塊，將trackingpoint的選取由陣列式選取該為先根據(jù)梯度的模值大小來提取特征點(diǎn)，然后再進(jìn)行跟蹤，降低選取到無效的特征點(diǎn)的可能性；

3)asmsbased，基于meanshift的算法，支持單scale的跟蹤；

4)facetracker，基于人臉特征點(diǎn)的跟蹤，在facetracker中加入了速度極快的人臉檢測(cè)，從而使得其具備了跟蹤分?jǐn)?shù)過低時(shí)候，自動(dòng)使用facedetection進(jìn)行re-detect，從而對(duì)跟蹤軌跡進(jìn)行了糾正，如果無法檢測(cè)到人臉，若干幀后，即判斷為目標(biāo)丟失。

高性能鏡頭切換檢測(cè)算法模塊：

有兩個(gè)核心模塊，直方圖匹配模塊與s-kernel(smeanssinglescale)跟蹤模塊，首先，進(jìn)行前后兩幀的直方圖匹配，得到一個(gè)分?jǐn)?shù)，如果這個(gè)分?jǐn)?shù)過低或者圖像本身的灰度極低，為了支持兩個(gè)鏡頭之間插入黑色幀則立即判斷為鏡頭切換。否則，根據(jù)直方圖匹配的分?jǐn)?shù)對(duì)s-kernel全場(chǎng)景跟蹤模塊的學(xué)習(xí)率進(jìn)行調(diào)整：直方圖匹配分?jǐn)?shù)高，則調(diào)高s-kerneltracker學(xué)習(xí)率；反之，亦然；這樣做的原理是如果直方圖分?jǐn)?shù)匹配較高，那么說明當(dāng)前可能沒有發(fā)生鏡頭切換，這個(gè)時(shí)候調(diào)高了s-kernel。

本發(fā)明提供了一種應(yīng)用于視頻品牌識(shí)別系統(tǒng)的實(shí)時(shí)跟蹤模塊，在視頻中品牌識(shí)別系統(tǒng)其實(shí)現(xiàn)方法為：

當(dāng)視頻輸入進(jìn)來時(shí)，首先進(jìn)行了視頻前處理，進(jìn)行視頻解碼、視頻圖像處理、包括resize、直方圖均衡化、去噪操作，目的是為了將解碼出來的視頻幀以一種合適的方式送入檢測(cè)識(shí)別模塊和實(shí)時(shí)跟蹤模塊；

其次，經(jīng)由前處理處理過后的幀輸入到檢測(cè)識(shí)別模塊中，對(duì)品牌logo的檢測(cè)和識(shí)別是同時(shí)進(jìn)行，如果在某一幀中檢測(cè)和識(shí)別到了logo，即得到了其位置信息，那么在這一幀就初始化跟蹤器，并且在接下來的視頻序列中對(duì)這個(gè)檢測(cè)到的logo進(jìn)行跟蹤，直到發(fā)生跟蹤丟失的情況或者發(fā)生了鏡頭切換，至此一個(gè)跟蹤序列結(jié)束；

同一幀的畫面中同時(shí)跟蹤多個(gè)目標(biāo)，每檢測(cè)識(shí)別一次卻需要150ms，并采用了加速方法，每隔十幀才檢測(cè)識(shí)別一次；

接下來，在每十幀的時(shí)候有可能既有檢測(cè)結(jié)果又有跟蹤結(jié)果，那么就牽扯到融合，在融合之后，便得到了一個(gè)個(gè)logo序列，每一個(gè)序列都包含如下信息：序列開始幀號(hào)、序列結(jié)束幀號(hào)、幀數(shù)、位置、識(shí)別的類別號(hào)、識(shí)別的置信度或者說分?jǐn)?shù)；于是，為了得到最終的識(shí)別結(jié)果，需要一個(gè)投票操作；經(jīng)過了這個(gè)投票操作后，對(duì)于每一個(gè)序列均會(huì)得到一個(gè)統(tǒng)一的label、一個(gè)統(tǒng)一的分?jǐn)?shù)；至此經(jīng)過對(duì)整個(gè)視頻的掃描后，對(duì)這個(gè)視頻內(nèi)的品牌信息已經(jīng)分析完畢；

最后，將結(jié)構(gòu)化的視頻數(shù)據(jù)寫入到j(luò)son文件中或者數(shù)據(jù)庫中，輸入一個(gè)視頻，經(jīng)過系統(tǒng)，輸出一個(gè)結(jié)構(gòu)化的識(shí)別結(jié)果。

雖然本發(fā)明已以較佳實(shí)施例揭示如上，然其并非用以限定本發(fā)明，任何本領(lǐng)域技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作些許的修改和完善，因此本發(fā)明的保護(hù)范圍當(dāng)以權(quán)利要求書所界定的為準(zhǔn)。