本發(fā)明涉及視頻分析領(lǐng)域，尤其是涉及了一種基于局部特征描述符的視頻分析方法。

背景技術(shù)：

隨著各種新興技術(shù)的發(fā)展，基于圖片和視頻的媒體信息快速增加，關(guān)于圖片和視頻處理的相關(guān)技術(shù)也在加速發(fā)展。其中，視頻分析技術(shù)越來越受到人們的關(guān)注，它可用于移動(dòng)ar技術(shù)、汽車、監(jiān)控和媒體娛樂，在汽車的應(yīng)用上，視頻分析技術(shù)有強(qiáng)大物體檢測(cè)功能，能夠有效預(yù)警碰撞情況和提示當(dāng)前道路流量。在監(jiān)控的應(yīng)用上，一旦目標(biāo)在視頻場(chǎng)景中出現(xiàn)了違反預(yù)定義規(guī)則的行為，系統(tǒng)會(huì)自動(dòng)發(fā)出報(bào)警，監(jiān)控工作站自動(dòng)彈出報(bào)警信息并發(fā)出警示音，用戶可以通過點(diǎn)擊報(bào)警信息，減少了人力、物力和時(shí)間。在其他應(yīng)用上，可以使用圖像作為查詢來搜索視頻，或者使用視頻作為查詢來搜索對(duì)應(yīng)的圖像。然而，當(dāng)前的視頻分析方法的計(jì)算復(fù)雜度和壓縮率太高，所占的存儲(chǔ)空間很大，忽視了兩個(gè)關(guān)鍵幀之間的中間信息。

本發(fā)明提出了一種基于局部特征描述符的視頻分析方法，先在視頻中提取關(guān)鍵幀的特征描述符，用顏色直方圖進(jìn)行幀級(jí)距離比較，結(jié)合用于視頻分析的緊湊描述符的手動(dòng)設(shè)計(jì)特征和基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)，再通過在粗略到精細(xì)策略中比較實(shí)現(xiàn)成對(duì)匹配，最后提取數(shù)據(jù)庫中的候選關(guān)鍵幀，通過局部描述符匹配進(jìn)一步檢查，通過視頻級(jí)相似度進(jìn)行排序。本發(fā)明消除了視頻的冗余時(shí)間，實(shí)現(xiàn)了高效率和低延遲的移動(dòng)視覺搜索，大大節(jié)省了內(nèi)存大小、帶寬資源和運(yùn)行時(shí)的成本，減小了壓縮率，降低了性能損失。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)計(jì)算復(fù)雜度和壓縮率太高等問題，本發(fā)明的目的在于提供一種基于局部特征描述符的視頻分析方法，先在視頻中提取關(guān)鍵幀的特征描述符，用顏色直方圖進(jìn)行幀級(jí)距離比較，結(jié)合用于視頻分析的緊湊描述符的手動(dòng)設(shè)計(jì)特征和基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)，再通過在粗略到精細(xì)策略中比較實(shí)現(xiàn)成對(duì)匹配，最后提取數(shù)據(jù)庫中的候選關(guān)鍵幀，通過局部描述符匹配進(jìn)一步檢查，通過視頻級(jí)相似度進(jìn)行排序。

為解決上述問題，本發(fā)明提供一種基于局部特征描述符的視頻分析方法，其主要內(nèi)容包括：

(一)查詢視頻；

(二)基于深度學(xué)習(xí)的特征提??；

(三)緊湊局部特征描述符編碼；

(四)視頻匹配；

(五)視頻檢索。

其中，所述的查詢視頻，視頻由一系列高度相關(guān)的幀組成，進(jìn)行關(guān)鍵幀檢測(cè)時(shí)僅提取關(guān)鍵幀的特征描述符；用顏色直方圖代替用于視頻分析的緊湊描述符進(jìn)行幀級(jí)距離比較，兩個(gè)關(guān)鍵幀之間的中間幀表示為預(yù)測(cè)幀(p幀)；在p幀中，通過多個(gè)參考預(yù)測(cè)幀來預(yù)測(cè)局部描述符；對(duì)于p幀中的全局描述符，從當(dāng)前幀和先前幀中選擇分量，將二進(jìn)制子向量從前一幀中的相應(yīng)子矢量中復(fù)制，并保存編碼位。

其中，所述的基于深度學(xué)習(xí)的特征提取，為了進(jìn)一步將旋轉(zhuǎn)和尺度不變性編碼為卷積神經(jīng)網(wǎng)絡(luò)，根據(jù)不變性理論，提出了嵌套不變性池用全局特征向量表示每個(gè)幀。

進(jìn)一步地，所述的幀，給定一個(gè)輸入幀，它可以r次旋轉(zhuǎn)，每次提取特征圖(w×h×c)；其中，w和h表示地圖的寬度和高度，c是特征頻道的數(shù)量；基于特征圖，執(zhí)行多尺度均勻感興趣區(qū)域(roi)采樣，得到尺寸為(r×s×w′×h′×c)的五維特征更新；其中，s是多尺度區(qū)域采樣中采樣roi的數(shù)量；隨后，嵌套不變性池對(duì)轉(zhuǎn)換w′×h′、標(biāo)度(s)和最后旋轉(zhuǎn)(r)進(jìn)行嵌套匯總；因此，可以生成c維全局卷積神經(jīng)網(wǎng)絡(luò)特征描述符；采用余弦相似度函數(shù)評(píng)估兩個(gè)嵌套不變性池特征描述符之間的相似性。

其中，所述的緊湊局部特征描述符編碼，用于視頻分析的緊湊描述符標(biāo)準(zhǔn)采用高斯興趣點(diǎn)拉普拉斯算子；采用低階多項(xiàng)式方法計(jì)算拉普拉斯高斯濾波后的局部響應(yīng)；隨后，定義相關(guān)性度量來選擇特征描述符的子集，基于包括尺度、峰值響應(yīng)、圖像中心的距離等局部特征進(jìn)行統(tǒng)計(jì)學(xué)習(xí)；在用于視頻分析的緊湊描述符中采用手動(dòng)設(shè)計(jì)尺度不變特征轉(zhuǎn)換(sift)描述符開發(fā)局部特征描述符以及通過三元標(biāo)量量化進(jìn)行變換實(shí)現(xiàn)的緊湊sift壓縮方案，減小特征尺寸；在用于視頻分析的緊湊描述符中，位置坐標(biāo)由二進(jìn)制直方圖和直方圖計(jì)數(shù)數(shù)組組成的直方圖表示；直方圖和計(jì)數(shù)數(shù)組由簡(jiǎn)單的算術(shù)編碼器和基于上下文的算術(shù)編碼器分開編碼。

進(jìn)一步地，所述的局部特征描述符聚合，將每個(gè)描述符分配給多個(gè)高斯函數(shù)，所選擇的sift描述符聚合到費(fèi)舍爾向量；為了壓縮高維費(fèi)舍爾向量，高斯混合模型中的高斯分量子集基于其每個(gè)子向量的標(biāo)準(zhǔn)偏差的排名來選擇；所選擇的高斯函數(shù)的數(shù)量取決于可用的編碼比特，實(shí)現(xiàn)描述符可擴(kuò)展性；最后，應(yīng)用一位標(biāo)量量化器與漢明距離快速比較。

進(jìn)一步地，所述的深度學(xué)習(xí)與手動(dòng)設(shè)計(jì)特征的結(jié)合，手動(dòng)設(shè)計(jì)的特征有利于提取豐富的紋理斑點(diǎn)，而基于深度學(xué)習(xí)的特征更有效地聚集了顯著區(qū)域更深入和更豐富的特征；因此，在用于視頻分析的緊湊描述符框架組合了基于深度學(xué)習(xí)的特征和用于視頻分析的緊湊描述符手動(dòng)設(shè)計(jì)特征；組合策略優(yōu)于基于深度學(xué)習(xí)或用于視頻分析的緊湊描述符手動(dòng)設(shè)計(jì)特征。

其中，所述的視頻匹配，給定視頻對(duì)中的關(guān)鍵幀的用于視頻分析的緊湊描述符，可以通過在粗略到精細(xì)策略中比較成對(duì)匹配，實(shí)現(xiàn)成對(duì)匹配；具體來說，首先將一個(gè)視頻中的每個(gè)關(guān)鍵幀與另一視頻中的所有關(guān)鍵幀進(jìn)行比較；如果相似度大于閾值，意味著兩幀之間存在可能的匹配，則可以使用幾何一致性檢查，進(jìn)一步執(zhí)行局部描述符比較；隨后通過全局和局部描述符的匹配分?jǐn)?shù)的乘法來計(jì)算關(guān)鍵幀級(jí)相似度；最后，通過選擇所有關(guān)鍵幀級(jí)別相似度中最大的匹配分?jǐn)?shù)來獲得視頻級(jí)相似度。

進(jìn)一步地，所述的時(shí)間定位，基于記錄的時(shí)間戳定位包含相似的感興趣項(xiàng)目的視頻段；與顏色直方圖比較方面相比，拍攝的第一關(guān)鍵幀的距離小于某個(gè)閾值的連續(xù)關(guān)鍵幀的組；如果關(guān)鍵幀級(jí)相似度大于閾值，則將包含關(guān)鍵幀的鏡頭視為匹配間隔；多個(gè)匹配間隔也可以并置在一起，獲得定位的最后間隔。

其中，所述的視頻檢索，與視頻匹配相反，以一對(duì)一的方式執(zhí)行視頻檢索，意味著訪問數(shù)據(jù)庫中的視頻，并且選擇具有較高匹配分?jǐn)?shù)的頂級(jí)視頻；特別地，執(zhí)行與全局描述符的關(guān)鍵幀級(jí)匹配，提取數(shù)據(jù)庫中的頂部kg候選關(guān)鍵幀；隨后，通過局部描述符匹配進(jìn)一步檢查這些關(guān)鍵幀，并且根據(jù)全局和局部相似性的組合排名，關(guān)鍵幀候選數(shù)據(jù)集進(jìn)一步縮小到kl；這些關(guān)鍵幀重新組織成視頻，最終根據(jù)視頻匹配流水線的原理，通過視頻級(jí)相似度進(jìn)行排序。

附圖說明

圖1是本發(fā)明一種基于局部特征描述符的視頻分析方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于局部特征描述符的視頻分析方法的用于視頻分析的緊湊描述符的應(yīng)用。

圖3是本發(fā)明一種基于局部特征描述符的視頻分析方法的深度學(xué)習(xí)與手動(dòng)設(shè)計(jì)特征的結(jié)合。

具體實(shí)施方式

需要說明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。

圖1是本發(fā)明一種基于局部特征描述符的視頻分析方法的系統(tǒng)流程圖。主要包括查詢視頻，基于深度學(xué)習(xí)的特征提取，緊湊局部特征描述符編碼，視頻匹配和視頻檢索。

查詢視頻，視頻由一系列高度相關(guān)的幀組成，進(jìn)行關(guān)鍵幀檢測(cè)時(shí)僅提取關(guān)鍵幀的特征描述符；用顏色直方圖代替用于視頻分析的緊湊描述符進(jìn)行幀級(jí)距離比較，兩個(gè)關(guān)鍵幀之間的中間幀表示為預(yù)測(cè)幀(p幀)；在p幀中，通過多個(gè)參考預(yù)測(cè)幀來預(yù)測(cè)局部描述符；對(duì)于p幀中的全局描述符，從當(dāng)前幀和先前幀中選擇分量，將二進(jìn)制子向量從前一幀中的相應(yīng)子矢量中復(fù)制，并保存編碼位。

基于深度學(xué)習(xí)的特征提取，為了進(jìn)一步將旋轉(zhuǎn)和尺度不變性編碼為卷積神經(jīng)網(wǎng)絡(luò)，根據(jù)不變性理論，提出了嵌套不變性池用全局特征向量表示每個(gè)幀。

給定一個(gè)輸入幀，它可以r次旋轉(zhuǎn)，每次提取特征圖(w×h×c)；其中，w和h表示地圖的寬度和高度，c是特征頻道的數(shù)量；基于特征圖，執(zhí)行多尺度均勻感興趣區(qū)域(roi)采樣，得到尺寸為(r×s×w′×h′×c)的五維特征更新；其中，s是多尺度區(qū)域采樣中采樣roi的數(shù)量；隨后，嵌套不變性池對(duì)轉(zhuǎn)換w′×h′、標(biāo)度(s)和最后旋轉(zhuǎn)(r)進(jìn)行嵌套匯總；因此，可以生成c維全局卷積神經(jīng)網(wǎng)絡(luò)特征描述符；采用余弦相似度函數(shù)評(píng)估兩個(gè)嵌套不變性池特征描述符之間的相似性。

緊湊局部特征描述符編碼，用于視頻分析的緊湊描述符標(biāo)準(zhǔn)采用高斯興趣點(diǎn)拉普拉斯算子；采用低階多項(xiàng)式方法計(jì)算拉普拉斯高斯濾波后的局部響應(yīng)；隨后，定義相關(guān)性度量來選擇特征描述符的子集，基于包括尺度、峰值響應(yīng)、圖像中心的距離等局部特征進(jìn)行統(tǒng)計(jì)學(xué)習(xí)；在用于視頻分析的緊湊描述符中采用手動(dòng)設(shè)計(jì)尺度不變特征轉(zhuǎn)換(sift)描述符開發(fā)局部特征描述符以及通過三元標(biāo)量量化進(jìn)行變換實(shí)現(xiàn)的緊湊sift壓縮方案，減小特征尺寸；在用于視頻分析的緊湊描述符中，位置坐標(biāo)由二進(jìn)制直方圖和直方圖計(jì)數(shù)數(shù)組組成的直方圖表示；直方圖和計(jì)數(shù)數(shù)組由簡(jiǎn)單的算術(shù)編碼器和基于上下文的算術(shù)編碼器分開編碼。

局部特征描述符聚合，將每個(gè)描述符分配給多個(gè)高斯函數(shù)，所選擇的sift描述符聚合到費(fèi)舍爾向量；為了壓縮高維費(fèi)舍爾向量，高斯混合模型中的高斯分量子集基于其每個(gè)子向量的標(biāo)準(zhǔn)偏差的排名來選擇；所選擇的高斯函數(shù)的數(shù)量取決于可用的編碼比特，實(shí)現(xiàn)描述符可擴(kuò)展性；最后，應(yīng)用一位標(biāo)量量化器與漢明距離快速比較。

視頻匹配，給定視頻對(duì)中的關(guān)鍵幀的用于視頻分析的緊湊描述符，可以通過在粗略到精細(xì)策略中比較成對(duì)匹配，實(shí)現(xiàn)成對(duì)匹配；具體來說，首先將一個(gè)視頻中的每個(gè)關(guān)鍵幀與另一視頻中的所有關(guān)鍵幀進(jìn)行比較；如果相似度大于閾值，意味著兩幀之間存在可能的匹配，則可以使用幾何一致性檢查，進(jìn)一步執(zhí)行局部描述符比較；隨后通過全局和局部描述符的匹配分?jǐn)?shù)的乘法來計(jì)算關(guān)鍵幀級(jí)相似度；最后，通過選擇所有關(guān)鍵幀級(jí)別相似度中最大的匹配分?jǐn)?shù)來獲得視頻級(jí)相似度。

時(shí)間定位，基于記錄的時(shí)間戳定位包含相似的感興趣項(xiàng)目的視頻段；與顏色直方圖比較方面相比，拍攝的第一關(guān)鍵幀的距離小于某個(gè)閾值的連續(xù)關(guān)鍵幀的組；如果關(guān)鍵幀級(jí)相似度大于閾值，則將包含關(guān)鍵幀的鏡頭視為匹配間隔；多個(gè)匹配間隔也可以并置在一起，獲得定位的最后間隔。

視頻檢索，與視頻匹配相反，以一對(duì)一的方式執(zhí)行視頻檢索，意味著訪問數(shù)據(jù)庫中的視頻，并且選擇具有較高匹配分?jǐn)?shù)的頂級(jí)視頻；特別地，執(zhí)行與全局描述符的關(guān)鍵幀級(jí)匹配，提取數(shù)據(jù)庫中的頂部kg候選關(guān)鍵幀；隨后，通過局部描述符匹配進(jìn)一步檢查這些關(guān)鍵幀，并且根據(jù)全局和局部相似性的組合排名，關(guān)鍵幀候選數(shù)據(jù)集進(jìn)一步縮小到kl；這些關(guān)鍵幀重新組織成視頻，最終根據(jù)視頻匹配流水線的原理，通過視頻級(jí)相似度進(jìn)行排序。

圖2是本發(fā)明一種基于局部特征描述符的視頻分析方法的用于視頻分析的緊湊描述符的應(yīng)用。可用于移動(dòng)ar技術(shù)、汽車、監(jiān)控和媒體娛樂，在汽車的應(yīng)用上，視頻分析技術(shù)有強(qiáng)大物體檢測(cè)功能，能夠有效預(yù)警碰撞情況和提示當(dāng)前道路流量。在監(jiān)控的應(yīng)用上，一旦目標(biāo)在視頻場(chǎng)景中出現(xiàn)了違反預(yù)定義規(guī)則的行為，系統(tǒng)會(huì)自動(dòng)發(fā)出報(bào)警，監(jiān)控工作站自動(dòng)彈出報(bào)警信息并發(fā)出警示音，用戶可以通過點(diǎn)擊報(bào)警信息，減少了人力、物力和時(shí)間。在其他應(yīng)用上，可以使用圖像作為查詢來搜索視頻，或者使用視頻作為查詢來搜索對(duì)應(yīng)的圖像。

圖3是本發(fā)明一種基于局部特征描述符的視頻分析方法的深度學(xué)習(xí)與手動(dòng)設(shè)計(jì)特征的結(jié)合。手動(dòng)設(shè)計(jì)的特征有利于提取豐富的紋理斑點(diǎn)，而基于深度學(xué)習(xí)的特征更有效地聚集了顯著區(qū)域更深入和更豐富的特征；因此，在用于視頻分析的緊湊描述符框架組合了基于深度學(xué)習(xí)的特征和用于視頻分析的緊湊描述符手動(dòng)設(shè)計(jì)特征；組合策略優(yōu)于基于深度學(xué)習(xí)或用于視頻分析的緊湊描述符手動(dòng)設(shè)計(jì)特征。

對(duì)于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實(shí)施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實(shí)現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。