一種視頻檢索方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種視頻檢索方法，用于基于視頻內(nèi)容的快速視頻檢索，該方法包括：預(yù)先建立倒排文檔，倒排文檔中包括標(biāo)準(zhǔn)特征分類與標(biāo)準(zhǔn)特征分類中對應(yīng)的標(biāo)準(zhǔn)視頻的索引；提取待檢索視頻中的關(guān)鍵幀并提取關(guān)鍵幀中的局部特征；將提取到的局部特征進行合并，生成包含全部局部特征的廣義關(guān)鍵幀；將廣義關(guān)鍵幀在倒排文檔中進行倒排索引，獲得第一檢索結(jié)果，第一檢索結(jié)果包括待檢索視頻與索引獲得的對應(yīng)的標(biāo)準(zhǔn)視頻列表。本發(fā)明還公開了一種視頻檢索裝置。
【專利說明】一種視頻檢索方法及裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機【技術(shù)領(lǐng)域】，具體涉及一種視頻檢索方法及裝置。

【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)帶寬以及數(shù)據(jù)傳輸不再存在瓶頸，人們已經(jīng)不再滿足于單純文字的傳輸，開始越來越多地在互聯(lián)網(wǎng)上進行圖像以及視頻的分享和應(yīng)用。因此，用戶可能會面對大量的視頻文件內(nèi)容，進而有進行視頻檢索的需求。例如，用戶有一小段視頻文件，想要獲得該段視頻文件所對應(yīng)的完整視頻，就需要進行視頻的快速檢索。
[0003]現(xiàn)有技術(shù)中，應(yīng)用的比較廣泛的視頻檢索系統(tǒng)一般是基于視頻屬性或者視頻標(biāo)題方面的檢索，這樣可以將視頻檢索轉(zhuǎn)換為文字檢索。但是，這種視頻檢索方法準(zhǔn)確率低，現(xiàn)有技術(shù)中還沒有一種高速準(zhǔn)確地基于視頻內(nèi)容的視頻檢索方法。


【發(fā)明內(nèi)容】

[0004]有鑒于此，本發(fā)明的主要目的是提供一種視頻檢索方法及裝置，以實現(xiàn)高速準(zhǔn)確地基于視頻內(nèi)容對視頻進行檢索。
[0005]為解決上述問題，本發(fā)明提供的技術(shù)方案如下:
[0006]一種視頻檢索方法，所述方法包括:
[0007]預(yù)先建立倒排文檔，所述倒排文檔中包括標(biāo)準(zhǔn)特征分類與所述標(biāo)準(zhǔn)特征分類中對應(yīng)的標(biāo)準(zhǔn)視頻的索引；
[0008]提取待檢索視頻中的關(guān)鍵巾貞并提取所述關(guān)鍵巾貞中的局部特征；
[0009]將提取到的所述局部特征進行合并，生成包含全部局部特征的廣義關(guān)鍵幀；
[0010]將所述廣義關(guān)鍵幀在所述倒排文檔中進行倒排索引，獲得第一檢索結(jié)果，所述第一檢索結(jié)果包括所述待檢索視頻與索引獲得的對應(yīng)的標(biāo)準(zhǔn)視頻列表。
[0011]相應(yīng)的，所述預(yù)先建立倒排文檔包括:
[0012]提取所述標(biāo)準(zhǔn)視頻中的關(guān)鍵幀并提取所述關(guān)鍵幀中的局部特征作為標(biāo)準(zhǔn)特征；
[0013]利用若干個所述標(biāo)準(zhǔn)特征訓(xùn)練K-means樹模型,所述K_means樹的葉子節(jié)點包括特征均值向量以及量化索引，所述葉子節(jié)點作為標(biāo)準(zhǔn)特征分類；
[0014]將全部所述標(biāo)準(zhǔn)特征在所述K-means樹模型中進行遍歷，根據(jù)所述標(biāo)準(zhǔn)特征與所述葉子節(jié)點的特征均值向量的相似性度量，判斷所述標(biāo)準(zhǔn)特征是否與所述K-means樹模型的葉子節(jié)點匹配；
[0015]如果是，獲得所述標(biāo)準(zhǔn)特征對應(yīng)的所述葉子節(jié)點的量化索引，在該葉子節(jié)點上添加該標(biāo)準(zhǔn)特征所對應(yīng)的標(biāo)準(zhǔn)視頻的索引，從而建立倒排文檔。
[0016]相應(yīng)的，所述提取待檢索視頻中的關(guān)鍵巾貞，包括:
[0017]對待檢索視頻進行解碼；
[0018]對解碼后的待檢索視頻的每幀圖像進行RGB-HSV顏色空間轉(zhuǎn)換；
[0019]利用相鄰兩幀或多幀圖像的HSV直方圖的差異性進行待檢索視頻的場景分割；
[0020]每個場景選取一幀圖像作為待檢索視頻中的關(guān)鍵幀，所述關(guān)鍵幀是與該場景的其他圖像幀差異性最小的一幀。
[0021]相應(yīng)的，所述局部特征為旋轉(zhuǎn)不變性特征，所述提取所述關(guān)鍵幀中的局部特征，包括:
[0022]對所述關(guān)鍵幀中的極值點進行檢測；
[0023]精確定位所述極值點；
[0024]計算所述極值點的主方向；
[0025]生成所述極值點的向量描述，作為所述關(guān)鍵幀中的局部特征。
[0026]相應(yīng)的，所述將所述廣義關(guān)鍵幀在所述倒排文檔中進行倒排索引，包括:
[0027]將所述廣義關(guān)鍵幀的全部所述局部特征在所述倒排文檔中進行遍歷，根據(jù)所述局部特征與所述葉子節(jié)點的特征均值向量的相似性度量，判斷所述局部特征是否與所述K-means樹模型的葉子節(jié)點匹配,如果是，記錄該葉子節(jié)點對應(yīng)的標(biāo)準(zhǔn)視頻，當(dāng)記錄的標(biāo)準(zhǔn)視頻次數(shù)達(dá)到預(yù)設(shè)閾值時，則該標(biāo)準(zhǔn)視頻與所述待檢索視頻對應(yīng)，獲得第一檢索結(jié)果。
[0028]相應(yīng)的，所述方法還包括:
[0029]將第一檢索結(jié)果索引獲得的標(biāo)準(zhǔn)視頻進行視頻時序篩選驗證，獲得第二檢索結(jié)果O
[0030]一種視頻檢索裝置，所述裝置包括:
[0031]建立單元，用于預(yù)先建立倒排文檔，所述倒排文檔中包括標(biāo)準(zhǔn)特征分類與所述標(biāo)準(zhǔn)特征分類中對應(yīng)的標(biāo)準(zhǔn)視頻的索引；
[0032]第一提取單兀，用于提取待檢索視頻中的關(guān)鍵巾貞；
[0033]第二提取單元，用于提取所述關(guān)鍵幀中的局部特征；
[0034]生成單元，用于將提取到的所述局部特征進行合并，生成包含全部局部特征的廣義關(guān)鍵幀；
[0035]索引單元，用于將所述廣義關(guān)鍵幀在所述倒排文檔中進行倒排索引，獲得第一檢索結(jié)果，所述第一檢索結(jié)果包括所述待檢索視頻與索引獲得的對應(yīng)的標(biāo)準(zhǔn)視頻列表。
[0036]相應(yīng)的,所述建立單元包括:
[0037]提取子單元，用于提取所述標(biāo)準(zhǔn)視頻中的關(guān)鍵幀并提取所述關(guān)鍵幀中的局部特征作為標(biāo)準(zhǔn)特征；
[0038]訓(xùn)練子單元,用于利用若干個所述標(biāo)準(zhǔn)特征訓(xùn)練K-means樹模型,所述K-means樹的葉子節(jié)點包括特征均值向量以及量化索引，所述葉子節(jié)點作為標(biāo)準(zhǔn)特征分類；
[0039]第一量化子單元，用于將全部所述標(biāo)準(zhǔn)特征在所述K-means樹模型中進行遍歷，根據(jù)所述標(biāo)準(zhǔn)特征與所述葉子節(jié)點的特征均值向量的相似性度量，判斷所述標(biāo)準(zhǔn)特征是否與所述K-means樹模型的葉子節(jié)點匹配；
[0040]添加子單元，用于如果所述標(biāo)準(zhǔn)特征與所述K-means樹模型的葉子節(jié)點匹配，獲得所述標(biāo)準(zhǔn)特征對應(yīng)的所述葉子節(jié)點的量化索引，在該葉子節(jié)點上添加該標(biāo)準(zhǔn)特征所對應(yīng)的標(biāo)準(zhǔn)視頻的索引，從而建立倒排文檔。
[0041]相應(yīng)的，所述第一提取單元包括:
[0042]解碼子單元，用于對待檢索視頻進行解碼；
[0043]轉(zhuǎn)換子單元，用于對解碼后的待檢索視頻的每幀圖像進行RGB-HSV顏色空間轉(zhuǎn)換；
[0044]分割子單元，用于利用相鄰兩幀或多幀圖像的HSV直方圖的差異性進行待檢索視頻的場景分割；
[0045]選取子單元，用于每個場景選取一幀圖像作為待檢索視頻中的關(guān)鍵幀，所述關(guān)鍵幀是與該場景的其他圖像幀差異性最小的一幀。
[0046]相應(yīng)的，所述局部特征為旋轉(zhuǎn)不變性特征，所述第二提取單元包括:
[0047]檢測子單元，應(yīng)用對所述關(guān)鍵幀中的極值點進行檢測；
[0048]定位子單元，用于精確定位所述極值點；
[0049]計算子單元，用于計算所述極值點的主方向；
[0050]生成子單元，用于生成所述極值點的向量描述，作為所述關(guān)鍵幀中的局部特征。
[0051]相應(yīng)的，所述索引單元具體用于:
[0052]將所述廣義關(guān)鍵幀的全部所述局部特征在所述倒排文檔中進行遍歷，根據(jù)所述局部特征與所述葉子節(jié)點的特征均值向量的相似性度量，判斷所述局部特征是否與所述K-means樹模型的葉子節(jié)點匹配,如果是，記錄該葉子節(jié)點對應(yīng)的標(biāo)準(zhǔn)視頻，當(dāng)記錄的標(biāo)準(zhǔn)視頻次數(shù)達(dá)到預(yù)設(shè)閾值時，則該標(biāo)準(zhǔn)視頻與所述待檢索視頻對應(yīng)，獲得第一檢索結(jié)果。
[0053]相應(yīng)的，所述裝置還包括:
[0054]驗證單元，用于將第一檢索結(jié)果索引獲得的標(biāo)準(zhǔn)視頻進行視頻時序篩選驗證，獲得第二檢索結(jié)果。
[0055]由此可見，本發(fā)明具有如下有益效果:
[0056]本發(fā)明實施例通過待檢索視頻中的關(guān)鍵幀進行視頻索引，實現(xiàn)了基于內(nèi)容的視頻搜索,通過將一個待檢索視頻的全部關(guān)鍵幀中的全部局部特征合并為一幀廣義關(guān)鍵幀，即一個待檢索視頻通過對一個廣義關(guān)鍵幀的檢索就可以完成視頻搜索，實現(xiàn)了在海量標(biāo)準(zhǔn)視頻中對待檢索視頻的快速檢索。另外，通過視頻時序篩選可以去除干擾視頻，獲得更為準(zhǔn)確的檢索結(jié)果。

【專利附圖】

【附圖說明】
[0057]圖1為本發(fā)明實施例視頻檢索方法實施例一的流程圖；
[0058]圖2為本發(fā)明實施例視頻檢索方法實施例二的流程圖；
[0059]圖3為本發(fā)明實施例中K-means樹模型的示意圖；
[0060]圖4為本發(fā)明實施例視頻檢索方法實施例二的流程圖；
[0061]圖5為本發(fā)明實施例中量化HSV直方圖的示意圖；
[0062]圖6為本發(fā)明實施例視頻檢索方法實施例四的流程圖；
[0063]圖7為本發(fā)明實施例中計算極值點主方向的示意圖；
[0064]圖8為本發(fā)明實施例視頻檢索方法實施例五的流程圖；
[0065]圖9為本發(fā)明實施例視頻檢索方法實施例六的流程圖；
[0066]圖10為本發(fā)明實施例視頻檢索裝置實施例的示意圖；
[0067]圖11為本發(fā)明實施例視頻檢索裝置中建立單元實施例的示意圖；
[0068]圖12為本發(fā)明實施例視頻檢索裝置中第一提取單元實施例的示意圖；
[0069]圖13為本發(fā)明實施例視頻檢索裝置中第二提取單元實施例的示意圖；
[0070]圖14為本發(fā)明實施例提供的一種服務(wù)器的結(jié)構(gòu)示意圖。

【具體實施方式】
[0071]為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和【具體實施方式】對本發(fā)明實施例作進一步詳細(xì)的說明。
[0072]本發(fā)明視頻檢索方法及裝置，是針對現(xiàn)有技術(shù)中無法實現(xiàn)高速準(zhǔn)確地基于視頻內(nèi)容的視頻檢索，提出利用標(biāo)準(zhǔn)視頻庫建立倒排文檔，提取通過提取視頻關(guān)鍵幀及關(guān)鍵幀中的局部特征，將一個視頻的全部局部特征組合為一幀廣義關(guān)鍵幀代表該視頻，利用廣義關(guān)鍵幀在倒排文檔中進行索引，從而實現(xiàn)基于內(nèi)容的快速視頻檢索。
[0073]基于上述思想，參見圖1所示，本發(fā)明視頻檢索方法實施例一可以包括以下步驟:
[0074]步驟101:預(yù)先建立倒排文檔，倒排文檔中包括標(biāo)準(zhǔn)特征分類與標(biāo)準(zhǔn)特征分類中對應(yīng)的標(biāo)準(zhǔn)視頻的索引。
[0075]可以利用海量視頻庫建立倒排文檔，倒排文檔可以離線建立，它是文檔檢索系統(tǒng)中的一種數(shù)據(jù)結(jié)構(gòu)。在本發(fā)明實施例中，倒排文檔的概念被弓I入到視頻搜索中，可以記錄一個單詞(即特征)的水平反向索引，即該單詞對應(yīng)出現(xiàn)的每一個視頻文檔的記錄索引。
[0076]在本發(fā)明的一些實施例中，倒排文檔的建立可以通過訓(xùn)練K-means樹模型建立一個標(biāo)準(zhǔn)特征分類模型，將標(biāo)準(zhǔn)特征聚類到K-means樹的葉子節(jié)點，葉子節(jié)點可以作為標(biāo)準(zhǔn)特征分類，葉子節(jié)點可以包括特征均值向量以及量化索引，量化索引可以理解為葉子節(jié)點的標(biāo)識，如ID號。則每個K-means樹的葉子節(jié)點上可以添加在該聚類下的標(biāo)準(zhǔn)特征所對應(yīng)的標(biāo)準(zhǔn)視頻的索引，例如記錄葉子節(jié)點上所添加的標(biāo)準(zhǔn)視頻ID，建立后續(xù)視頻檢索所需要的倒排文檔。
[0077]步驟102:提取待檢索視頻中的關(guān)鍵巾貞并提取關(guān)鍵巾貞中的局部特征。
[0078]關(guān)鍵幀可以指視頻中角色或者物體運動或場景變化中的關(guān)鍵動作所處的一幀圖像，在本發(fā)明的實施例中關(guān)鍵幀可以代表某個視頻中某個場景的穩(wěn)定代表圖像，即關(guān)鍵幀是與該場景的其他圖像幀差異性最小的一幀。
[0079]局部特征是指圖像中一些比較局部的描述子，用來表述圖像的唯一性和差異性。提取關(guān)鍵幀中的局部特征，為了找到可以代表待檢索視頻的具有唯一性和差異性的特征。
[0080]在本發(fā)明的一些實施例中，局部特征可以但不限定為旋轉(zhuǎn)不變性特征sift特征，sift特征(Scale-1nvariant feature transform,旋轉(zhuǎn)不變性特征)是一種局部特征，可以用來描述圖像的差異性。
[0081]步驟103:將提取到的局部特征進行合并，生成包含全部局部特征的廣義關(guān)鍵幀。
[0082]將提取到的每個關(guān)鍵幀的多個局部特征進行合并，相當(dāng)于將一個待檢索視頻的全部局部特征組成一個特征序列，即組成一個包含全部局部特征的廣義關(guān)鍵幀，則這個廣義關(guān)鍵幀可以代表該待檢索視頻去除時序特征的視頻內(nèi)容本身的特征。
[0083]將待檢索視頻的各個關(guān)鍵幀的局部特征拼接成一幀廣義關(guān)鍵幀,則將視頻搜索可以轉(zhuǎn)換為一次圖像搜索，大大提高了視頻搜索的速度，避免了逐幀迭代搜索的巨大時間開銷。
[0084]步驟104:將廣義關(guān)鍵幀在倒排文檔中進行倒排索引，獲得第一檢索結(jié)果，第一檢索結(jié)果包括待檢索視頻與索引獲得的對應(yīng)的標(biāo)準(zhǔn)視頻列表。
[0085]廣義關(guān)鍵幀中的各個局部特征在倒排文檔進行遍歷，確定局部特征屬于哪個葉子節(jié)點，記錄該葉子節(jié)點下所對應(yīng)的標(biāo)準(zhǔn)視頻標(biāo)識(視頻ID號)，當(dāng)各個局部特征在倒排文檔遍歷完成，標(biāo)準(zhǔn)視頻被記錄的次數(shù)達(dá)到預(yù)設(shè)閾值時，則可以認(rèn)為這些標(biāo)準(zhǔn)視頻與待檢索視頻對應(yīng)。
[0086]由此可見，本發(fā)明實施例通過待檢索視頻中的關(guān)鍵幀進行視頻索引，實現(xiàn)了基于內(nèi)容的視頻搜索，通過將一個待檢索視頻的全部關(guān)鍵幀中的全部局部特征合并為一幀廣義關(guān)鍵幀，即一個待檢索視頻通過對一個廣義關(guān)鍵幀的檢索就可以完成視頻搜索，實現(xiàn)了在海量標(biāo)準(zhǔn)視頻中對待檢索視頻的快速檢索。
[0087]參見圖2所示，在本發(fā)明的一些實施例中，預(yù)先建立倒排文檔的具體實現(xiàn)過程可以包括:
[0088]步驟201:提取標(biāo)準(zhǔn)視頻中的關(guān)鍵巾貞并提取關(guān)鍵巾貞中的局部特征作為標(biāo)準(zhǔn)特征。
[0089]提取標(biāo)準(zhǔn)視頻中的關(guān)鍵幀與提取關(guān)鍵幀中的局部特征作為標(biāo)準(zhǔn)特征與上述實施例中提取待檢索視頻中的關(guān)鍵巾貞與提聞提取關(guān)鍵巾貞中的局部特征的過程基本類似。
[0090]步驟202:利用若干個標(biāo)準(zhǔn)特征的量化值訓(xùn)練K-means樹模型，K-means樹的葉子節(jié)點包括特征均值向量以及量化索引，所述葉子節(jié)點作為標(biāo)準(zhǔn)特征分類。
[0091]K-means是一種聚類算法，采用距離作為相似性的評價指標(biāo)，即認(rèn)為兩個對象的距離越近，其相似度就越大。該算法認(rèn)為簇是由距離靠近的對象組成的，因此把得到緊湊且獨立的簇作為最終目標(biāo)。
[0092]K-means樹的訓(xùn)練，在實際應(yīng)用中，例如選取訓(xùn)練樣本數(shù)為3萬幀關(guān)鍵幀對應(yīng)90萬個標(biāo)準(zhǔn)特征，采用K-means算法訓(xùn)練的K-means樹為2層250叉樹,該K-means樹模型參見圖3所示，保留每個葉子節(jié)點的聚類中心，聚類中心可以是一個特征的均值向量，則K-means樹的葉子節(jié)點可以包括特征均值向量以及該葉子節(jié)點的量化索引，每個葉子節(jié)點可以理解為一個特征分類。
[0093]步驟203:將全部標(biāo)準(zhǔn)特征在K-means樹模型中進行遍歷,根據(jù)所述標(biāo)準(zhǔn)特征與葉子節(jié)點的特征均值向量的相似性度量，判斷標(biāo)準(zhǔn)特征是否與K-means樹模型的葉子節(jié)點匹配。
[0094]該過程是一個量化的過程，量化是對高維特征采用低維特征來進行描述的一種方式，類似于降維。根據(jù)標(biāo)準(zhǔn)特征與葉子節(jié)點的特征均值向量的相似性度量，可以判斷標(biāo)準(zhǔn)特征是否與K-means樹模型的葉子節(jié)點匹配，即對標(biāo)準(zhǔn)特征量化可以獲得其對應(yīng)的K-means樹模型的葉子節(jié)點，則標(biāo)準(zhǔn)特征可以由128維向量描述，量化為一個所對應(yīng)的葉子節(jié)點的量化索引即一個2維向量。
[0095]步驟204:如果標(biāo)準(zhǔn)特征與K-means樹模型的葉子節(jié)點匹配,獲得標(biāo)準(zhǔn)特征對應(yīng)的葉子節(jié)點的量化索引，在該葉子節(jié)點上添加該標(biāo)準(zhǔn)特征所對應(yīng)的標(biāo)準(zhǔn)視頻的索引，從而建立倒排文檔。
[0096]將全部標(biāo)準(zhǔn)特征在K-means樹模型中進行遍歷，尋找標(biāo)準(zhǔn)特征添加到哪個葉子節(jié)點上,記錄每個葉子節(jié)點上的標(biāo)準(zhǔn)特征所對應(yīng)的標(biāo)準(zhǔn)視頻，即每個葉子節(jié)點上的若干個標(biāo)準(zhǔn)特征所對應(yīng)的標(biāo)準(zhǔn)視頻標(biāo)識作為索引都被記錄下來，完成倒排文檔的建立。
[0097]預(yù)先建立倒排文檔的實現(xiàn)過程可以為離線建立，也可以根據(jù)標(biāo)準(zhǔn)視頻庫的更新而不斷更新。
[0098]通過建立K-means樹模型的方式建立倒排文檔，可以加快特征對比的速度，例如，2層250叉樹的K-means樹模型，一個特征僅需對比2*250次就可以獲得最終對應(yīng)的特征分類，相較于逐個特征對比確定特征分類的速度提高很多。另外，需要注意的是，通過K-means樹模型預(yù)先建立倒排文檔的方式是較為優(yōu)選的實施方法，但并不局限于這種方式。
[0099]參見圖4所示，在本發(fā)明的一些實施例中，提取待檢索視頻中的關(guān)鍵幀的具體實現(xiàn)過程可以包括:
[0100]步驟401:對待檢索視頻進行解碼。
[0101]將待檢索視頻解碼為一巾貞一巾貞的圖像，在實際應(yīng)用中可以調(diào)用OpenCV進行視頻解碼。
[0102]步驟402:對解碼后的待檢索視頻的每幀圖像進行RGB-HSV顏色空間轉(zhuǎn)換。
[0103]RGB顏色空間使用R、G、B，3個顏色通道可以表示任何的顏色、灰度級。HSV顏色空間使用色度、灰度、亮度來表示顏色。進行RGB-HSV顏色空間轉(zhuǎn)換為后續(xù)提取待檢索視頻中的關(guān)鍵幀進行圖像的預(yù)處理。
[0104]步驟403:利用相鄰兩幀或多幀圖像的HSV直方圖的差異性進行待檢索視頻的場景分割。
[0105]獲得了解碼后的視頻圖像后，對獲得每幀圖像的HSV直方圖。HSV直方圖所描述的是不同色彩在整幅圖像中所占的比例。
[0106]計算HSV直方圖需要將HSV顏色空間劃分成若干個小的顏色區(qū)間，每個小區(qū)間成為直方圖的一個bin。這個過程稱為顏色量化。然后，通過計算顏色落在每個小區(qū)間內(nèi)的像素數(shù)量可以得到HSV直方圖。
[0107]顏色量化有許多方法，例如向量量化、聚類方法或者神經(jīng)網(wǎng)絡(luò)方法。最為常用的做法是將顏色空間的各個分量(維度)均勻地進行劃分。參見圖5所示，是一個量化HSV直方圖的示意圖，例如圖像被切分為2*2個block，每個blcok得到一個250個bin的直方圖，然后將四個直方圖串聯(lián)在一起獲得HSV直方圖。
[0108]前后相鄰兩幀或多幀圖像得到的HSV直方圖，采用直方圖的交來進行度量，分?jǐn)?shù)越小，表示兩幀的差異性越小，也就意味著場景變化的可能性越大?？梢酝ㄟ^預(yù)設(shè)直方圖的交的閾值，當(dāng)前后幀HSV直方圖的交小于閾值時，則可以認(rèn)為是前后幀不同場景，進行待檢索視頻的場景分割。
[0109]步驟404:每個場景選取一幀圖像作為待檢索視頻中的關(guān)鍵幀，關(guān)鍵幀是與該場景的其他圖像幀差異性最小的一幀。
[0110]在將待檢索視頻的場景進行了分割后，可以通過計算每個場景的所有幀的單像素的灰度平均值，尋找與灰度平均值差值和最小的那一幀，將該幀數(shù)據(jù)保存下來，作為該場景的關(guān)鍵幀的方法在每個場景選取一幀圖像作為待檢索視頻中的關(guān)鍵幀。
[0111]需要注意的是，本發(fā)明實施例提取待檢索視頻中的關(guān)鍵幀并不局限于本實施例所提供的方法，例如還可以采用其他的顏色模型，或其他的特征來提取關(guān)鍵幀。
[0112]本實施例實現(xiàn)了提取待檢索視頻中的關(guān)鍵幀的過程，類似的，提取標(biāo)準(zhǔn)視頻中的關(guān)鍵幀的具體實現(xiàn)可以包括:對標(biāo)準(zhǔn)視頻進行解碼，對解碼后的標(biāo)準(zhǔn)視頻的每幀圖像進行RGB-HSV顏色空間轉(zhuǎn)換，利用相鄰兩幀或多幀圖像的HSV直方圖的差異性進行標(biāo)準(zhǔn)視頻的場景分割，每個場景選取一幀圖像作為標(biāo)準(zhǔn)視頻中的關(guān)鍵幀。
[0113]參見圖6所示，在本發(fā)明的一些實施例中，提取關(guān)鍵幀中的局部特征的具體實現(xiàn)過程可以包括:
[0114]步驟601:對關(guān)鍵幀中的極值點進行檢測。
[0115]局部特征可以為旋轉(zhuǎn)不變性特征sift特征，sift特征對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性，即使少數(shù)的幾個物體也可以產(chǎn)生大量sift特征向量?？梢酝ㄟ^每幀圖像的若干個局部特征來代表該關(guān)鍵幀。
[0116]具體的，可以對關(guān)鍵幀圖像進行不同高斯參數(shù)的高斯平滑，利用雙高斯差(Difference Of Gaussian, DOG)模型來檢測角點,通過角點的檢測可以確定極大值點以及極小值點，最終實現(xiàn)關(guān)鍵幀中的極值點的檢測。
[0117]步驟602:精確定位極值點。
[0118]通過擬和三維二次函數(shù)以精確確定極值點的位置和尺度(達(dá)到亞像素精度)，因為DOG算子會產(chǎn)生較強的邊緣響應(yīng)，因此可以同時去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點，以增強匹配穩(wěn)定性、提高抗噪聲能力。
[0119]步驟603:計算極值點的主方向。
[0120]在以極值點為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計鄰域像素的梯度方向。梯度直方圖的范圍是O?360度，其中每10度一個柱，總共36個柱。直方圖的峰值則代表了該關(guān)鍵點處鄰域梯度的主方向，即作為該關(guān)鍵點的方向。參見圖7所示，是采用7個柱時使用梯度直方圖計算極值點主方向的示例圖。
[0121]步驟604:生成極值點的向量描述，作為關(guān)鍵幀中的局部特征。
[0122]每個極值點可以使用4X4共16個種子點來描述，每個種子點的方向量化為8個bin，則局部特征的總維度是4*4*8=128維，生成極值點的向量描述，作為關(guān)鍵幀中的局部特征。
[0123]需要注意的是，本發(fā)明實施例提取關(guān)鍵幀中的局部特征并不局限于提取sift特征，也可以提取其他類型的局部特征，作為圖像的局部特征進行使用。
[0124]本實施例實現(xiàn)了提取關(guān)鍵幀中的局部特征的過程，類似的，提取標(biāo)準(zhǔn)視頻中的關(guān)鍵幀中的局部特征作為標(biāo)準(zhǔn)特征的實現(xiàn)過程同樣可以包括:對關(guān)鍵幀中的極值點進行檢測，精確定位極值點，計算極值點的主方向，生成極值點的向量描述，作為關(guān)鍵幀中的局部特征。
[0125]參見圖8所示，在本發(fā)明的一些實施例中，將廣義關(guān)鍵幀在倒排文檔中進行倒排索引的具體實現(xiàn)可以包括:
[0126]步驟801:將廣義關(guān)鍵幀的全部局部特征在倒排文檔中進行遍歷，根據(jù)局部特征與葉子節(jié)點的特征均值向量的相似性度量，判斷局部特征是否與K-means樹模型的葉子節(jié)點匹配。
[0127]該過程可以理解為量化的過程，量化是對高維特征采用低維特征來進行描述的一種方式，類似于降維。在上述實施例中，生成極值點的向量描述，作為關(guān)鍵幀中的局部特征。繼續(xù)對局部特征量化可以獲得局部特征的所匹配的葉子節(jié)點的量化索引。
[0128]步驟802:如果局部特征與K-means樹模型的葉子節(jié)點匹配,則記錄該葉子節(jié)點對應(yīng)的標(biāo)準(zhǔn)視頻，當(dāng)記錄的標(biāo)準(zhǔn)視頻次數(shù)達(dá)到預(yù)設(shè)閾值時，則該標(biāo)準(zhǔn)視頻與待檢索視頻對應(yīng)，獲得第一檢索結(jié)果。
[0129]即每個局部特征在倒排文檔中進行遍歷，尋找該局部特征所匹配的葉子節(jié)點，當(dāng)找到所匹配的葉子節(jié)點后，則該葉子節(jié)點上添加的標(biāo)準(zhǔn)特征所對應(yīng)的標(biāo)準(zhǔn)視頻都記錄一次，即投票一次，最終當(dāng)廣義關(guān)鍵幀中的全部局部特征均在倒排文檔中遍歷后，會有若干個標(biāo)準(zhǔn)視頻獲得了投票，當(dāng)記錄的標(biāo)準(zhǔn)視頻次數(shù)達(dá)到預(yù)設(shè)閾值時，則可以認(rèn)為這些標(biāo)準(zhǔn)視頻與待檢索視頻對應(yīng)，獲得第一檢索結(jié)果。
[0130]類似的,局部特征通過在K-means樹模型中尋找匹配的葉子節(jié)點，可以加快特征分類的速度，同時，利用廣義關(guān)鍵幀中的局部特征在倒排文檔中遍歷，可以通過投票獲得待檢索視頻對應(yīng)的若干個標(biāo)準(zhǔn)視頻的列表，一方面實現(xiàn)了基于內(nèi)容的視頻檢索，另一方面合成廣義關(guān)鍵幀可以將視頻檢索簡化為類似對圖像進行檢索，大大加快了視頻檢索的速度。
[0131]在本發(fā)明的一些實施例中，本發(fā)明實施例視頻檢索方法進一步還可以包括:
[0132]將第一檢索結(jié)果索引獲得的標(biāo)準(zhǔn)視頻進行視頻時序篩選驗證，獲得第二檢索結(jié)果O
[0133]第一檢索結(jié)果的獲得是將待檢索視頻中的關(guān)鍵幀合并生成了廣義關(guān)鍵幀，相當(dāng)于轉(zhuǎn)化為沒有時序的圖像進行的快速檢索，為了獲得更為準(zhǔn)確的結(jié)果，在獲得了第一檢索結(jié)果后，將與待檢索視頻相對應(yīng)的標(biāo)準(zhǔn)視頻縮小到一定范圍后，再通過時序篩選驗證，可以去除干擾視頻，獲得更為準(zhǔn)確的檢索結(jié)果。
[0134]參見圖9所示，本發(fā)明視頻檢索方法實施例六可以包括以下步驟:
[0135]步驟901:預(yù)先建立倒排文檔。
[0136]步驟902:提取待檢索視頻中的關(guān)鍵巾貞并提取關(guān)鍵巾貞中的局部特征。
[0137]步驟903:將提取到的局部特征進行合并，生成包含全部局部特征的廣義關(guān)鍵幀。
[0138]步驟904:將廣義關(guān)鍵幀的全部局部特征在倒排文檔中進行遍歷，根據(jù)局部特征與葉子節(jié)點的特征均值向量的相似性度量，判斷局部特征是否與K-means樹模型的葉子節(jié)點匹配，如果是，記錄該葉子節(jié)點對應(yīng)的標(biāo)準(zhǔn)視頻，當(dāng)記錄的標(biāo)準(zhǔn)視頻次數(shù)達(dá)到預(yù)設(shè)閾值時，則該標(biāo)準(zhǔn)視頻與待檢索視頻對應(yīng)，獲得第一檢索結(jié)果。
[0139]步驟905:將第一檢索結(jié)果索引獲得的標(biāo)準(zhǔn)視頻進行視頻時序篩選驗證，獲得第二檢索結(jié)果。
[0140]由此可見，本發(fā)明實施例通過待檢索視頻中的關(guān)鍵幀進行視頻索引，實現(xiàn)了基于內(nèi)容的視頻搜索，通過將一個待檢索視頻的全部關(guān)鍵幀中的全部局部特征合并為一幀廣義關(guān)鍵幀，即一個待檢索視頻通過對一個廣義關(guān)鍵幀的檢索就可以完成視頻搜索，實現(xiàn)了在海量標(biāo)準(zhǔn)視頻中對待檢索視頻的快速檢索。另外，通過視頻時序篩選可以去除干擾視頻，獲得更為準(zhǔn)確的檢索結(jié)果。即利用廣義關(guān)鍵幀快速定位待檢索視頻對應(yīng)的標(biāo)準(zhǔn)視頻后，通過時序篩選在獲得的標(biāo)準(zhǔn)視頻中進一步獲得待檢索視頻對應(yīng)的更為準(zhǔn)確的標(biāo)準(zhǔn)視頻，實現(xiàn)聞速、準(zhǔn)確地實現(xiàn)基于內(nèi)容的視頻搜索。
[0141]相應(yīng)的，本發(fā)明實施例還提供一種視頻檢索裝置實施例，參見圖10所示，該裝置實施例可以包括:
[0142]建立單元1001，用于預(yù)先建立倒排文檔，倒排文檔中包括標(biāo)準(zhǔn)特征分類與標(biāo)準(zhǔn)特征分類中對應(yīng)的標(biāo)準(zhǔn)視頻；
[0143]第一提取單兀1002,用于提取待檢索視頻中的關(guān)鍵巾貞；
[0144]第二提取單元1003，用于提取關(guān)鍵幀中的局部特征；
[0145]生成單元1004，用于將提取到的局部特征進行合并，生成包含全部局部特征的廣義關(guān)鍵巾貞;
[0146]索引單元1005，用于將廣義關(guān)鍵幀在倒排文檔中進行倒排索引，獲得第一檢索結(jié)果，第一檢索結(jié)果包括待檢索視頻與索引獲得的對應(yīng)的標(biāo)準(zhǔn)視頻列表。
[0147]具體的，在本發(fā)明的一些實施例中，參見圖11所示，建立單元1001可以包括:
[0148]提取子單元1101，用于提取標(biāo)準(zhǔn)視頻中的關(guān)鍵幀并提取關(guān)鍵幀中的局部特征作為標(biāo)準(zhǔn)特征；
[0149]訓(xùn)練子單元1102,用于利用若干個標(biāo)準(zhǔn)特征訓(xùn)練K-means樹模型,K-means樹的葉子節(jié)點包括特征均值向量以及量化索引，葉子節(jié)點作為標(biāo)準(zhǔn)特征分類；
[0150]第一量化子單元1103，用于將全部所述標(biāo)準(zhǔn)特征在所述K-means樹模型中進行遍歷，根據(jù)標(biāo)準(zhǔn)特征與所述葉子節(jié)點的特征均值向量的相似性度量，判斷所述標(biāo)準(zhǔn)特征是否與所述K-means樹模型的葉子節(jié)點匹配；
[0151]添加子單元1104,用于如果所述標(biāo)準(zhǔn)特征與所述K-means樹模型的葉子節(jié)點匹配，獲得所述標(biāo)準(zhǔn)特征對應(yīng)的所述葉子節(jié)點的量化索引，在該葉子節(jié)點上添加該標(biāo)準(zhǔn)特征所對應(yīng)的標(biāo)準(zhǔn)視頻的索引，從而建立倒排文檔。
[0152]具體的，在本發(fā)明的一些實施例中，參見圖12所示，第一提取單元1002可以包括:
[0153]解碼子單元1201，用于對待檢索視頻進行解碼；
[0154]轉(zhuǎn)換子單元1202，用于對解碼后的待檢索視頻的每幀圖像進行RGB-HSV顏色空間轉(zhuǎn)換；
[0155]分割子單元1203，用于利用相鄰兩幀或多幀圖像的HSV直方圖的差異性進行待檢索視頻的場景分割；
[0156]選取子單元1204，用于每個場景選取一幀圖像作為待檢索視頻中的關(guān)鍵幀，關(guān)鍵幀是與該場景的其他圖像幀差異性最小的一幀。
[0157]具體的，在本發(fā)明的一些實施例中，參見圖13所示，局部特征可以為尺度不變特征轉(zhuǎn)換(sift特征)，第二提取單元1003可以包括:
[0158]檢測子單元1301，應(yīng)用對關(guān)鍵幀中的極值點進行檢測；
[0159]定位子單元1302，用于精確定位極值點；
[0160]計算子單元1303，用于計算極值點的主方向；
[0161]生成子單元1304，用于生成極值點的向量描述，作為關(guān)鍵幀中的局部特征。
[0162]具體的，在本發(fā)明的一些實施例中，參見圖14所示，索引單元1005具體用于:
[0163]將廣義關(guān)鍵幀的全部局部特征在倒排文檔中進行遍歷，根據(jù)局部特征與葉子節(jié)點的特征均值向量的相似性度量，判斷局部特征是否與K-means樹模型的葉子節(jié)點匹配，如果是，記錄該葉子節(jié)點對應(yīng)的標(biāo)準(zhǔn)視頻，當(dāng)記錄的標(biāo)準(zhǔn)視頻次數(shù)達(dá)到預(yù)設(shè)閾值時，則該標(biāo)準(zhǔn)視頻與待檢索視頻對應(yīng)，獲得第一檢索結(jié)果。
[0164]在本發(fā)明的一些實施例中，本發(fā)明實施例視頻檢索裝置還可以包括:
[0165]驗證單元，用于將第一檢索結(jié)果索引獲得的標(biāo)準(zhǔn)視頻進行視頻時序篩選驗證，獲得第二檢索結(jié)果。
[0166]相應(yīng)的，本發(fā)明實施例還提供一種服務(wù)器，參見圖14所示，可以包括:
[0167]處理器1401、存儲器1402、輸入裝置1403和輸出裝置1404。瀏覽器服務(wù)器中的處理器1401的數(shù)量可以一個或多個，圖14中以一個處理器為例。在本發(fā)明的一些實施例中，處理器1401、存儲器1402、輸入裝置1403和輸出裝置1404可通過總線或其它方式連接，其中，圖14中以通過總線連接為例。
[0168]存儲器1402可用于存儲軟件程序以及模塊，處理器1401通過運行存儲在存儲器1402的軟件程序以及模塊，從而執(zhí)行瀏覽器服務(wù)器的各種功能應(yīng)用以及數(shù)據(jù)處理。存儲器1402可主要包括存儲程序區(qū)和存儲數(shù)據(jù)區(qū)，其中，存儲程序區(qū)可存儲操作系統(tǒng)、至少一個功能所需的應(yīng)用程序等。此外，存儲器1402可以包括高速隨機存取存儲器，還可以包括非易失性存儲器，例如至少一個磁盤存儲器件、閃存器件、或其他易失性固態(tài)存儲器件。輸入裝置1403可用于接收輸入的數(shù)字或字符信息，以及產(chǎn)生與瀏覽器服務(wù)器的用戶設(shè)置以及功能控制有關(guān)的鍵信號輸入。
[0169]具體在本實施例中，處理器1401會按照如下的指令，將一個或一個以上的應(yīng)用程序的進程對應(yīng)的可執(zhí)行文件加載到存儲器1402中，并由處理器1401來運行存儲在存儲器1402中的應(yīng)用程序，從而實現(xiàn)各種功能:
[0170]預(yù)先建立倒排文檔，所述倒排文檔中包括標(biāo)準(zhǔn)特征分類與所述標(biāo)準(zhǔn)特征分類中對應(yīng)的標(biāo)準(zhǔn)視頻的索引；
[0171]提取待檢索視頻中的關(guān)鍵巾貞并提取所述關(guān)鍵巾貞中的局部特征；
[0172]將提取到的所述局部特征進行合并，生成包含全部局部特征的廣義關(guān)鍵幀；
[0173]將所述廣義關(guān)鍵幀在所述倒排文檔中進行倒排索引，獲得第一檢索結(jié)果，所述第一檢索結(jié)果包括所述待檢索視頻與索引獲得的對應(yīng)的標(biāo)準(zhǔn)視頻列表。
[0174]相應(yīng)的，所述預(yù)先建立倒排文檔包括:
[0175]提取所述標(biāo)準(zhǔn)視頻中的關(guān)鍵幀并提取所述關(guān)鍵幀中的局部特征作為標(biāo)準(zhǔn)特征；
[0176]利用若干個所述標(biāo)準(zhǔn)特征訓(xùn)練K-means樹模型,所述K-means樹的葉子節(jié)點包括特征均值向量以及量化索引，所述葉子節(jié)點作為標(biāo)準(zhǔn)特征分類；
[0177]將全部所述標(biāo)準(zhǔn)特征在所述K-means樹模型中進行遍歷，根據(jù)所述標(biāo)準(zhǔn)特征與所述葉子節(jié)點的特征均值向量的相似性度量，判斷所述標(biāo)準(zhǔn)特征是否與所述K-means樹模型的葉子節(jié)點匹配；
[0178]如果是，獲得所述標(biāo)準(zhǔn)特征對應(yīng)的所述葉子節(jié)點的量化索引，在該葉子節(jié)點上添加該標(biāo)準(zhǔn)特征所對應(yīng)的標(biāo)準(zhǔn)視頻的索引，從而建立倒排文檔。
[0179]相應(yīng)的，所述提取待檢索視頻中的關(guān)鍵巾貞，包括:
[0180]對待檢索視頻進行解碼；
[0181]對解碼后的待檢索視頻的每幀圖像進行RGB-HSV顏色空間轉(zhuǎn)換；
[0182]利用相鄰兩幀或多幀圖像的HSV直方圖的差異性進行待檢索視頻的場景分割；
[0183]每個場景選取一幀圖像作為待檢索視頻中的關(guān)鍵幀，所述關(guān)鍵幀是與該場景的其他圖像幀差異性最小的一幀。
[0184]相應(yīng)的，所述局部特征為旋轉(zhuǎn)不變性特征，所述提取所述關(guān)鍵幀中的局部特征，包括:
[0185]對所述關(guān)鍵幀中的極值點進行檢測；
[0186]精確定位所述極值點；
[0187]計算所述極值點的主方向；
[0188]生成所述極值點的向量描述，作為所述關(guān)鍵幀中的局部特征。
[0189]相應(yīng)的，所述將所述廣義關(guān)鍵幀在所述倒排文檔中進行倒排索引，包括:
[0190]將所述廣義關(guān)鍵幀的全部所述局部特征在所述倒排文檔中進行遍歷，根據(jù)所述局部特征與所述葉子節(jié)點的特征均值向量的相似性度量，判斷所述局部特征是否與所述K-means樹模型的葉子節(jié)點匹配,如果是，記錄該葉子節(jié)點對應(yīng)的標(biāo)準(zhǔn)視頻，當(dāng)記錄的標(biāo)準(zhǔn)視頻次數(shù)達(dá)到預(yù)設(shè)閾值時，則該標(biāo)準(zhǔn)視頻與所述待檢索視頻對應(yīng)，獲得第一檢索結(jié)果。
[0191]相應(yīng)的，還包括:
[0192]將第一檢索結(jié)果索引獲得的標(biāo)準(zhǔn)視頻進行視頻時序篩選驗證，獲得第二檢索結(jié)果O
[0193]由此可見，本發(fā)明實施例通過待檢索視頻中的關(guān)鍵幀進行視頻索引，實現(xiàn)了基于內(nèi)容的視頻搜索，通過將一個待檢索視頻的全部關(guān)鍵幀中的全部局部特征合并為一幀廣義關(guān)鍵幀，即一個待檢索視頻通過對一個廣義關(guān)鍵幀的檢索就可以完成視頻搜索，實現(xiàn)了在海量標(biāo)準(zhǔn)視頻中對待檢索視頻的快速檢索。另外，通過視頻時序篩選可以去除干擾視頻，獲得更為準(zhǔn)確的檢索結(jié)果。
[0194]需要說明的是，本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對于實施例公開的系統(tǒng)或裝置而言，由于其與實施例公開的方法相對應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法部分說明即可。
[0195]還需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。
[0196]結(jié)合本文中所公開的實施例描述的方法或算法的步驟可以直接用硬件、處理器執(zhí)行的軟件模塊，或者二者的結(jié)合來實施。軟件模塊可以置于隨機存儲器(RAM)、內(nèi)存、只讀存儲器(ROM)、電可編程ROM、電可擦除可編程ROM、寄存器、硬盤、可移動磁盤、CD-ROM、或【技術(shù)領(lǐng)域】內(nèi)所公知的任意其它形式的存儲介質(zhì)中。
[0197]對所公開的實施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。
【權(quán)利要求】
1.一種視頻檢索方法，其特征在于，所述方法包括: 預(yù)先建立倒排文檔，所述倒排文檔中包括標(biāo)準(zhǔn)特征分類與所述標(biāo)準(zhǔn)特征分類中對應(yīng)的標(biāo)準(zhǔn)視頻的索引； 提取待檢索視頻中的關(guān)鍵巾貞并提取所述關(guān)鍵巾貞中的局部特征； 將提取到的所述局部特征進行合并，生成包含全部局部特征的廣義關(guān)鍵幀； 將所述廣義關(guān)鍵幀在所述倒排文檔中進行倒排索引，獲得第一檢索結(jié)果，所述第一檢索結(jié)果包括所述待檢索視頻與索引獲得的對應(yīng)的標(biāo)準(zhǔn)視頻列表。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)先建立倒排文檔包括: 提取所述標(biāo)準(zhǔn)視頻中的關(guān)鍵幀并提取所述關(guān)鍵幀中的局部特征作為標(biāo)準(zhǔn)特征； 利用若干個所述標(biāo)準(zhǔn)特征訓(xùn)練K-means樹模型,所述K-means樹的葉子節(jié)點包括特征均值向量以及量化索引，所述葉子節(jié)點作為標(biāo)準(zhǔn)特征分類； 將全部所述標(biāo)準(zhǔn)特征在所述K-means樹模型中進行遍歷，根據(jù)所述標(biāo)準(zhǔn)特征與所述葉子節(jié)點的特征均值向量的相似性度量，判斷所述標(biāo)準(zhǔn)特征是否與所述K-means樹模型的葉子節(jié)點匹配； 如果是，獲得所述標(biāo)準(zhǔn)特征對應(yīng)的所述葉子節(jié)點的量化索引，在該葉子節(jié)點上添加該標(biāo)準(zhǔn)特征所對應(yīng)的標(biāo)準(zhǔn)視頻的索引，從而建立倒排文檔。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取待檢索視頻中的關(guān)鍵幀，包括: 對待檢索視頻進行解碼； 對解碼后的待檢索視頻的每幀圖像進行RGB-HSV顏色空間轉(zhuǎn)換； 利用相鄰兩幀或多幀圖像的HSV直方圖的差異性進行待檢索視頻的場景分割； 每個場景選取一幀圖像作為待檢索視頻中的關(guān)鍵幀，所述關(guān)鍵幀是與該場景的其他圖像幀差異性最小的一幀。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述局部特征為旋轉(zhuǎn)不變性特征，所述提取所述關(guān)鍵幀中的局部特征，包括: 對所述關(guān)鍵幀中的極值點進行檢測； 精確定位所述極值點； 計算所述極值點的主方向； 生成所述極值點的向量描述，作為所述關(guān)鍵幀中的局部特征。
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述廣義關(guān)鍵幀在所述倒排文檔中進行倒排索引，包括: 將所述廣義關(guān)鍵幀的全部所述局部特征在所述倒排文檔中進行遍歷，根據(jù)所述局部特征與所述葉子節(jié)點的特征均值向量的相似性度量，判斷所述局部特征是否與所述K-means樹模型的葉子節(jié)點匹配，如果是，記錄該葉子節(jié)點對應(yīng)的標(biāo)準(zhǔn)視頻，當(dāng)記錄的標(biāo)準(zhǔn)視頻次數(shù)達(dá)到預(yù)設(shè)閾值時，則該標(biāo)準(zhǔn)視頻與所述待檢索視頻對應(yīng)，獲得第一檢索結(jié)果。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 將第一檢索結(jié)果索引獲得的標(biāo)準(zhǔn)視頻進行視頻時序篩選驗證，獲得第二檢索結(jié)果。
7.一種視頻檢索裝置，其特征在于，所述裝置包括: 建立單元，用于預(yù)先建立倒排文檔，所述倒排文檔中包括標(biāo)準(zhǔn)特征分類與所述標(biāo)準(zhǔn)特征分類中對應(yīng)的標(biāo)準(zhǔn)視頻的索引； 第一提取單兀，用于提取待檢索視頻中的關(guān)鍵巾貞； 第二提取單元，用于提取所述關(guān)鍵幀中的局部特征； 生成單元，用于將提取到的所述局部特征進行合并，生成包含全部局部特征的廣義關(guān)鍵幀； 索引單元，用于將所述廣義關(guān)鍵幀在所述倒排文檔中進行倒排索引，獲得第一檢索結(jié)果，所述第一檢索結(jié)果包括所述待檢索視頻與索引獲得的對應(yīng)的標(biāo)準(zhǔn)視頻列表。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述建立單元包括: 提取子單元，用于提取所述標(biāo)準(zhǔn)視頻中的關(guān)鍵幀并提取所述關(guān)鍵幀中的局部特征作為標(biāo)準(zhǔn)特征； 訓(xùn)練子單元，用于利用若干個所述標(biāo)準(zhǔn)特征訓(xùn)練1(1168118樹模型，所述1(1168118樹的葉子節(jié)點包括特征均值向量以及量化索引，所述葉子節(jié)點作為標(biāo)準(zhǔn)特征分類； 第一量化子單元，用于將全部所述標(biāo)準(zhǔn)特征在所述樹模型中進行遍歷，根據(jù)所述標(biāo)準(zhǔn)特征與所述葉子節(jié)點的特征均值向量的相似性度量，判斷所述標(biāo)準(zhǔn)特征是否與所述1(-111621118樹模型的葉子節(jié)點匹配； 添加子單元，用于如果所述標(biāo)準(zhǔn)特征與所述1(116^8樹模型的葉子節(jié)點匹配，獲得所述標(biāo)準(zhǔn)特征對應(yīng)的所述葉子節(jié)點的量化索引，在該葉子節(jié)點上添加該標(biāo)準(zhǔn)特征所對應(yīng)的標(biāo)準(zhǔn)視頻的索引，從而建立倒排文檔。
9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述第一提取單元包括: 解碼子單元，用于對待檢索視頻進行解碼； 轉(zhuǎn)換子單元，用于對解碼后的待檢索視頻的每幀圖像進行顏色空間轉(zhuǎn)換；分割子單元，用于利用相鄰兩幀或多幀圖像的1137直方圖的差異性進行待檢索視頻的場景分割； 選取子單元，用于每個場景選取一幀圖像作為待檢索視頻中的關(guān)鍵幀，所述關(guān)鍵幀是與該場景的其他圖像幀差異性最小的一幀。
10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述局部特征為旋轉(zhuǎn)不變性特征，所述第二提取單元包括: 檢測子單元，應(yīng)用對所述關(guān)鍵幀中的極值點進行檢測； 定位子單元，用于精確定位所述極值點； 計算子單元，用于計算所述極值點的主方向； 生成子單元，用于生成所述極值點的向量描述，作為所述關(guān)鍵幀中的局部特征。
11.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述索引單元具體用于: 將所述廣義關(guān)鍵幀的全部所述局部特征在所述倒排文檔中進行遍歷，根據(jù)所述局部特征與所述葉子節(jié)點的特征均值向量的相似性度量，判斷所述局部特征是否與所述1(-111621118樹模型的葉子節(jié)點匹配，如果是，記錄該葉子節(jié)點對應(yīng)的標(biāo)準(zhǔn)視頻，當(dāng)記錄的標(biāo)準(zhǔn)視頻次數(shù)達(dá)到預(yù)設(shè)閾值時，則該標(biāo)準(zhǔn)視頻與所述待檢索視頻對應(yīng)，獲得第一檢索結(jié)果。
12.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括: 驗證單元，用于將第一檢索結(jié)果索引獲得的標(biāo)準(zhǔn)視頻進行視頻時序篩選驗證，獲得第二檢索結(jié)果。
【文檔編號】G06K9/46GK104376003SQ201310351539
【公開日】2015年2月25日 申請日期:2013年8月13日 優(yōu)先權(quán)日:2013年8月13日
【發(fā)明者】梅樹起, 劉伯興 申請人:深圳市騰訊計算機系統(tǒng)有限公司