] 關鍵帖的索引信息采用YYYYZZZZ格式，其中YYYY為視頻鏡頭編號，ZZZZ為關鍵 帖編號；根據(jù)視頻庫中視頻數(shù)量的多少，YYYY，ZZZZ的長度可W進行擴展。
[0066] 9.特征庫的特征信息
[0067] 所有關鍵帖圖像的二維直方圖特征
[0068] 10.待關聯(lián)查詢圖像和視頻關鍵帖圖像之間的關聯(lián)度的計算
[0069] 關鍵帖關聯(lián)查詢模塊用待關聯(lián)查詢圖像和視頻關鍵帖圖像之間的二維直方圖特 征的相似性歐式距離來表征它們的關聯(lián)度，相似性歐式距離越小，關聯(lián)度越大，反之，關聯(lián) 度越小。
[0070] 關鍵帖關聯(lián)查詢模塊將視頻帖數(shù)據(jù)抽象為矢量，設相鄰的兩個視頻帖分別對應為 兩個n維矢量J'，其中X二知馬，…X。)％y=(祐捉，…乂并，Xi,而，…X。代表矢量.X.從1到 n每一維的矢量值，yi，72,…y。代表矢量y從1到n每一維的矢量值，t表示轉置矩陣，矢量 間距離記為￡^林，才） .〇
[0071] 歐式巧uclidean)距離。
[0072]
[0073] 11.視頻鏡頭片段和視頻的關聯(lián)查詢結果的獲得
[0074] 視頻片段或視頻關聯(lián)查詢模塊按照關聯(lián)度由大到小的順序，根據(jù)關鍵帖的索引信 息，從關鍵帖關聯(lián)出對應的視頻鏡頭片段，由于一個視頻鏡頭對應一個或者多個關鍵帖，去 除重復的關聯(lián)結果，得出視頻鏡頭片段的關聯(lián)查詢結果；根據(jù)視頻鏡頭邊界的索引信息，從 視頻鏡頭片段關聯(lián)出對應的視頻，由于一個視頻對應一個或者多個視頻鏡頭，去除重復的 關聯(lián)結果，得出視頻的關聯(lián)查詢結果。
[0075] 作為本發(fā)明的一個實施例，針對實驗采集的含有人、車等目標的紅外視頻，采用上 述方法搭建了 一個基于內容的紅外圖像視頻關聯(lián)查詢演示系統(tǒng)。演示系統(tǒng)還具有視頻瀏覽 和播放功能。
[0076] 把幾個含有人、車目標的紅外圖像提交給系統(tǒng)進行關聯(lián)查詢。針對提交的待關聯(lián) 查詢圖像，關聯(lián)查詢結果顯示的是系統(tǒng)關聯(lián)查詢到的視頻關鍵帖圖像。視頻庫列表中給出 了按關聯(lián)度排序的視頻列表。系統(tǒng)還給出了待關聯(lián)查詢圖像和每個視頻關鍵帖的關聯(lián)度量 值。點擊任一視頻關鍵帖關聯(lián)查詢結果，系統(tǒng)可W播放其對應的視頻片段。系統(tǒng)很好地關 聯(lián)出了相似的視頻關鍵帖，并按關聯(lián)度遞減的順序顯示給用戶。
[0077] 本發(fā)明所屬技術領域中具有通常知識者，在不脫離本發(fā)明的精神和范圍內，當可 作各種的更動與潤飾。因此，本發(fā)明的保護范圍當視權利要求書所界定者為準。
【主權項】
1. 一種關聯(lián)查詢紅外視頻圖像特定內容的方法，其特征在于包括以下步驟： 在鏡頭邊界檢測模塊中設置滑動窗口截取紅外視頻段，計算出相鄰幀圖像間的二維直 方圖幀差值與滑動窗口閾值，將幀差值與滑動窗口閾值進行比較，判斷確定紅外視頻鏡頭 邊界，標識鏡頭邊界，建立鏡頭邊界索引；同時將計算出的每個視頻的鏡頭邊界送入關鍵幀 提取模塊，計算每個鏡頭的內容變化率SCCR值及對應的判決閾值，關鍵幀提取模塊抽取視 頻鏡頭內關鍵幀圖像，標識關鍵幀圖像，建立關鍵幀圖像索引；再用二維直方圖特征提取模 塊把計算出的關鍵幀圖像的二維直方圖特征，作為關鍵幀圖像特征參量存入特征庫；二維 直方圖特征提取模塊將計算出的待關聯(lián)查詢紅外圖像的二維直方圖特征送入關鍵幀關聯(lián) 查詢模塊；關鍵幀關聯(lián)查詢模塊計算待查詢圖像與特征庫中所有關鍵幀圖像二維直方圖特 征之間的關聯(lián)度，依據(jù)關聯(lián)度排序得到關鍵幀關聯(lián)查詢結果，視頻片段或視頻關聯(lián)查詢模 塊結合關鍵幀關聯(lián)查詢結果與索引庫的信息，查詢出紅外視頻的關聯(lián)內容，輸出視頻片段 或視頻關聯(lián)查詢結果。2. 根據(jù)權利要求1所述的關聯(lián)查詢紅外視頻圖像特定內容的方法，其特征在于，鏡頭 邊界檢測模塊采用相鄰視頻幀的二維直方圖幀差值的閾值判決檢測確定紅外視頻段的視 頻鏡頭邊界。3. 根據(jù)權利要求1所述的關聯(lián)查詢紅外視頻圖像特定內容的方法，其特征在于，關鍵 幀提取模塊采用視頻鏡頭內容變化率標識判決法抽取紅外視頻鏡頭內的關鍵幀。4. 根據(jù)權利要求1所述的關聯(lián)查詢紅外視頻圖像特定內容的方法，其特征在于，二維 直方圖特征提取模塊對大小為MXN，具有L個灰度級的圖像F=f(i，j)進行平滑處理，將 得到的平滑圖像記為G=g(i，j)，平滑圖像的圖像大小和灰度等級與原圖像相同，其中，i 為圖像的X軸坐標值，i= 0, 1，…M-I;j為圖像的y軸坐標值，j= 0, 1，…N-I。設二元組 h(s，t)表示像素點灰度值為s，領域的灰度平均值為t的像素數(shù)目，那么{h(s，t)，s，t= 〇, 1，…L-1}就是圖像F關于點灰度與區(qū)域灰度均值的二維直方圖。5. 根據(jù)權利要求1所述的關聯(lián)查詢紅外視頻圖像特定內容的方法，其特征在于，關鍵 幀關聯(lián)查詢模塊計算待查詢圖像和特征庫中所有關鍵幀圖像特征之間關聯(lián)度時，計算待關 聯(lián)查詢圖像和關鍵幀圖像的二維直方圖特征的相似性歐式距離，得到待查詢圖像與關鍵幀 的關聯(lián)度量值，計算出的相似性歐式距離越小，關聯(lián)度量值越大，反之，關聯(lián)度量值越小，然 后按照關聯(lián)度量值給出待查詢圖像與關鍵幀的關聯(lián)程度排序。6. 根據(jù)權利要求1所述的關聯(lián)查詢紅外視頻圖像特定內容的方法，其特征在于，視頻 片段或視頻關聯(lián)查詢模塊依據(jù)關聯(lián)度量值查找得出關聯(lián)內容的視頻鏡頭片段及其視頻，實 現(xiàn)基于圖像內容的視頻段關聯(lián)查詢。7. 根據(jù)權利要求1所述的關聯(lián)查詢紅外視頻圖像特定內容的方法，其特征在于，視頻 片段或視頻關聯(lián)查詢模塊依據(jù)關聯(lián)度量值查找得出關聯(lián)內容的視頻鏡頭片段及其視頻，按 照關聯(lián)度由大到小順序，根據(jù)視頻鏡頭邊界和關鍵幀的索引信息，從一個視頻鏡頭對應的 一個或者多個關鍵幀中關聯(lián)出對應的視頻鏡頭片段，去除重復的關聯(lián)結果，得出視頻鏡頭 片段或視頻的關聯(lián)查詢結果。8. 根據(jù)權利要求1所述的關聯(lián)查詢紅外視頻圖像特定內容的方法，其特征在于，鏡頭 邊界檢測模塊在滑動窗口內計算相鄰紅外視頻幀圖像間的二維直方圖幀差值和滑動窗口 內幀間二維直方圖幀差值的局部閾值，將幀差值與閾值進行比較，當幀差值大于閾值時，則 存在視頻鏡頭邊界，否則，沒有視頻鏡頭邊界發(fā)生，完成上述檢測后，繼續(xù)下一個窗口的檢 測。9. 根據(jù)權利要求1所述的關聯(lián)查詢紅外視頻圖像特定內容的方法，其特征在于，鏡頭 邊界檢測模塊在確定滑動窗口內閾值時，首先定義一個時間長度為2R+1的窗口，將需要檢 測的幀位于滑動窗口正中，計算窗口內二維直方圖幀差的最大值max和最小值min，以及平 均值mean，以max和min的中值為分界點，將窗口劃分為較小值和較大值兩個集合，分別計 算出這兩個集合的平均值mmax和mmin〇10. 根據(jù)權利要求9所述的關聯(lián)查詢紅外視頻圖像特定內容的方法，其特征在于，鏡頭 邊界檢測模塊米用 |mmax-mmin| > (Factor^mean) 做判斷，如果判斷為真，就返回比_ax小的值T = (mmin+_ax*2) /3作為閾值，否則返 回max+10以表示窗口內沒有視頻鏡頭切換。
【專利摘要】本發(fā)明提出的一種關聯(lián)查詢紅外視頻圖像特定內容的方法，旨提供一種高效準確、檢索效率和識別率高，視頻圖像特征提取方法簡單的關聯(lián)查詢方法，本發(fā)明通過下述技術方案予以實現(xiàn)：采用滑動窗口截取紅外視頻段，通過鏡頭邊界檢測模塊計算相鄰幀圖像間的二維直方圖幀差值與滑動窗口的窗口閾值，以窗口閾值硬判決得到視頻鏡頭邊界，建立視頻鏡頭邊界標識的視頻段索引庫；計算每個視頻鏡頭內容變化率，采用視頻鏡頭內容變化率標識判決抽取關鍵幀圖像，建立關鍵幀標識的索引庫和關鍵幀二維直方圖特征庫；計算關聯(lián)查詢紅外圖像的二維直方圖及與關鍵幀二維直方圖的關聯(lián)度，依據(jù)關聯(lián)度排序進行紅外視頻的關聯(lián)內容查詢。本發(fā)明解決了紅外圖像與視頻段的關聯(lián)查詢問題。
【IPC分類】G06F17/30
【公開號】CN105183752
【申請?zhí)枴緾N201510410008
【發(fā)明人】丁洪麗, 陳懷新, 俞鴻波
【申請人】中國電子科技集團公司第十研究所
【公開日】2015年12月23日
【申請日】2015年7月13日