專利名稱：：基于視頻摘要元數據的檢索方法
技術領域：
：本發(fā)明涉及視頻信息處理領域，具體涉及針對視頻檢索提出一種新的快速的基于視頻摘要元數據的檢索方法。
背景技術：
：視頻檢索就是從海量的視頻數據中檢索到自己需要的視頻片斷。視頻摘要即是對一長段視頻內容的簡短的總結。更加明確一點,視頻摘要就是一連串靜止或運動的圖像,它們用精簡的方式代表了原視頻的內容，而保留了原內容的要點。隨著電視臺視頻節(jié)目的積累、網上數字視頻的增加，以及數字圖書館、視頻點播、遠程教學等大量的多媒體應用，如何在海量視頻中快速檢索出所需要的資料顯得至關重要。由于視頻數據量大，具有時間及空間結構，其表達、存儲、傳輸、組織具有更大的難度，只有合理地組織這些視頻數據，才能有效地瀏覽、檢索這些信息。比較經典的視頻檢索技術是基于內容的視頻檢索，這是一種比較具體的視覺內容描述(更接近人類的感知)，可以充分發(fā)揮人類感知能力的交互方法，用戶不僅可以借助文字查詢方法，也可以借助視覺瀏覽和視覺范例查詢方法利用搜索引擎進入索引進行檢索，這種技術是直接根據圖像內容進行圖像信息的査詢，即抽取整幅圖像的特征，與所要檢索圖像的特征進行比較，根據一定的相似性匹配準則來判斷其相似性。它是基于兩幅圖片整個信息的比較，而用戶需求的是一幅圖片中的一部分，那么其他的無關信息就影響了計算量，和判斷圖片相關性的準確性。這樣一種視頻檢索技術也沒有生成一個有效的視頻結構來供用戶來瀏覽、檢索視頻信息。
發(fā)明內容本發(fā)明克服了上述已有視頻檢索算法的缺陷，提供了一種高效、快速的基于視頻摘要元數據的檢索方法。本發(fā)明解決其技術問題所采取的技術方案是一種基于視頻摘要元數據的檢索方法，包括如下步驟提取視頻數據中的關鍵幀，建立視頻摘要；對視頻摘要中的每幀圖像，分別求出灰度分布和概率密度函數；利用灰度分布和概率密度函數建立元數據，存入數據庫；根據用作檢索的原始圖像的元數據與數據庫中的各視頻摘要的元數據進行比對，取相似度最高的視頻圖像為檢索結果。在所述提取視頻數據中的關鍵幀的步驟，進一步包括對視頻數據進行鏡頭歸類，分別從各自歸類后的鏡頭中選取當前鏡頭中的指定幀作為關鍵幀。對視頻摘要中的每幀圖像進行劃分，對劃分后的各部分分別求出灰度分布和概率密度函數。所述對視頻摘要中的每幀圖像進行劃分，包括將圖像劃分為場景部分和主題部分。所述鏡頭的歸類，可根據利用相鄰圖像幀的交互信息量，根據設定的閾值進行歸類。所述相似度的比對具體為，逐一計算所述原始圖像中的元數據和所述各視頻摘要中的元數據的交互信息量，取交互信息量最大者為相似度最高的視頻圖像。根據用作檢索的原始圖像的元數據與數據庫中的各視頻摘要的元數據進行比對的步驟，進一步為將原始圖像的元數據與數據庫中的各視頻摘要中劃分后各部分的元數據進行比對。本發(fā)明根據視頻圖像中關鍵幀的灰度分布和概率密度函數來產生視頻摘要的元數據，利用對元數據的相似性的比對，獲取視頻檢索結果，相比傳統的基于內容的視頻檢索系統中的方法，可以更快速、準確的檢索出用戶所需要的視頻內容。圖1是本發(fā)明中生成視頻元數據的流程圖2是本發(fā)明中新聞視頻片段的圖像間交互信息量實驗數據結果圖3是本發(fā)明中利用元數據來判斷兩段視頻所在場景的相似性的流程圖。具體實施例方式本發(fā)明提供了一種基于視頻摘要元數據的檢索方法，主要是根據視頻信息的元數據結構進行視頻檢索，通過結構化的元數據搜索并確定用戶所需要的視頻內容。其具體實現過程如下1.通過閾值^來進行鏡頭歸類及提取關鍵幀，并用這些關鍵幀建立視頻摘要。通過多次實驗，計算兩相鄰圖像交互信息量，合理設定閾值^，當兩相鄰圖像的交互信息量超過該閾值e時，則認為鏡頭中的畫面已經發(fā)生轉換，對鏡頭進行歸類，并從歸類后的鏡頭中選取當前鏡頭中的指定幀作為關鍵幀，例如一組鏡頭中的首幀、尾幀或中間幀。2.把視頻摘要中的每一幀圖像進行劃分，并分別求出劃分后各部分的灰度分布和概率密度函數。如圖1中所示，從視頻摘要中生成視頻元數據的流程圖，首先逐個讀取視頻摘要幀序列中的各個幀，將每一幀圖像進行劃分，例如，根據場景和主題圖像內容的不同，按比例K劃分為場景和主題兩個部分，對于一幅單獨的圖像，計算場景部分或主題部分的灰度分布和概率密度，保存得到的結果?？梢哉J為其各自象素的灰度值為獨立的樣本，則這幅圖像的灰度分布為<formula>formulaseeoriginaldocumentpage7</formula>，其中尸,為灰度值為/的象素點的個數與圖像總的象素點之比。設被比較的兩個圖像A、B具有相同的灰度級別(如都是256級灰度圖像)，設圖像的灰度級為L，令A(")和/VZ))分別表示圖像A、B的概率密度函數，概率密度函數可以方便的由圖像的直方圖除以圖像總的象素個數得到，令i^(",6)表示圖像A、B的聯合概率密度，它在求出的圖像A、B的聯合灰度直方圖的基礎上，除以圖像總的象素個數得到。在鏡頭檢測方法中，對于相鄰的連續(xù)兩幀，分別獨立地計算其三個RGB分量的交互信息量。相鄰圖像幀C+1在^分量上的交互信息量可以表示為<formula>formulaseeoriginaldocumentpage7</formula>同理可以得到相鄰圖像幀W+1在G、B分量上的交互信息量，則圖像W+1之間總的交互信息量可表示為<formula>formulaseeoriginaldocumentpage7</formula>圖2示出了一段新聞視頻的各幀圖像間交互信息量實驗數據結果圖，可以看出，對于一幀圖像，其灰度分布和概率密度是表達圖像內容的兩個重要參數，而交互信息量很好的描述了圖像之間的相關3.建立視頻信息元數據結構，首先，要生成視頻元數據，即通過第二步中統計的每一幀圖像的場景或主題部分的灰度分布，計算概率密度函數W"，得到多個元數據。其次，對生成的視頻元數據進行結構化處理；結構化視頻元數據，其結構定義為序列號，視頻文件名，場景名，主題名和元數據。其中元數據由圖像灰度分布和圖像的概率密度函數組成。所述元數據是具有描述、解釋、定位信息資源功能的結構化信息，有了元數據可以使得獲取、使用和管理信息更加容易，通俗來講，元數據就是描述數據的數據，或者描述信息的信息，我們使用與視頻相關的元數據來描述視頻的主要內容，從視頻中提取信息來生成元數據，然后在后續(xù)的進行檢索時，用元數據進行比較。本發(fā)明生成視頻的元數據來進行視頻檢索，定義圖像灰度分布和圖像的概率密度函數作為該圖片的元數據，組成作為該圖片的元數據，保存元數據的格式定義，主要項如下〈pictureMeta〉〈灰度分布meant"灰度值為i的象素點的個數與圖像總的象素點的比值"><象素〉<灰度〉<value>i<\value〉<\灰度><個數〉〈value〉number〈\value〉〈個數〉〈\象素〉<\灰度分布〉〈概率密度函數mean^〃圖像直方圖與圖像的總的像素個數的比值〃〉〈象素〉〈灰度〉<value>i<\value〉<\灰度〉<個數〉<value>number<\value><個數〉<\象素><\概率密度函數〉<\pictureMeta〉即，形成如下表中的視頻元數據結構<table>tableseeoriginaldocumentpage9</column></row><table>4.最后，視頻元數據的使用，利用元數據來判斷原始檢索圖片與圖片數據庫中場景或主題的相似性。如圖3中所示，為本發(fā)明中利用元數據來判斷兩段視頻所在場景的相似性的流程圖。首先對輸入的用作檢索的原始圖像A，根據上述2、3步驟中方法計算該圖像的灰度分布S和概率密度P(a)，然后逐一取出數據庫中記錄的視頻元數據，計算兩者的交互信息量，從而通過判斷二者的相似性，取相似性最高者獲得檢索結果。通過在步驟2中對圖像幀的劃分，便于對特定要素的檢索，例如檢索特定主題的進行視頻圖像，或檢索特定場景的視頻圖像等，而且，可以根據實際需要進行其他形式的劃分，例如，根據圖像幀中的不同顏色進行劃分等。以上對本發(fā)明所提供的基于視頻摘要元數據的檢索方法進行了詳細介紹，本文中應用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領域的一般技術人員，依據本發(fā)明的思想，在具體實施方式及應用范圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發(fā)明的限制。權利要求1.一種基于視頻摘要元數據的檢索方法，其特征在于，包括如下步驟提取視頻數據中的關鍵幀，建立視頻摘要；對視頻摘要中的每幀圖像，分別求出灰度分布和概率密度函數；利用灰度分布和概率密度函數建立元數據，存入數據庫；根據用作檢索的原始圖像的元數據與數據庫中的各視頻摘要的元數據進行比對，取相似度最高的視頻圖像為檢索結果。2.根據權利要求1所述的基于視頻摘要元數據的檢索方法，其特征在于在所述提取視頻數據中的關鍵幀的步驟，進一步包括對視頻數據進行鏡頭歸類，分別從各自歸類后的鏡頭中選取當前鏡頭中的指定幀作為關鍵幀。3.根據權利要求2所述的基于視頻摘要元數據的檢索方法，其特征在于所述鏡頭的歸類，可根據利用相鄰圖像幀的交互信息量，根據設定的閾值進行歸類。4.根據權利要求1所述的基于視頻摘要元數據的檢索方法，其特征在于對視頻摘要中的每幀圖像進行劃分，對劃分后的各部分分別求出灰度分布和概率密度函數。5.根據權利要求4所述的基于視頻摘要元數據的檢索方法，其特征在于所述對視頻摘要中的每幀圖像進行劃分，包括將圖像劃分為場景部分和主題部分。6.根據權利要求15中任一項所述的基于視頻摘要元數據的檢索方法，其特征在于所述相似度的比對具體為，逐一計算所述原始圖像中的元數據和所述各視頻摘要中的元數據的交互信息量，取交互信息量最大者為相似度最高的視頻圖像。7.根據權利要求4或5所述的基于視頻摘要元數據的檢索方法，其特征在于根據用作檢索的原始圖像的元數據與數據庫中的各視頻摘要的元數據進行比對的步驟，進一步為將原始圖像的元數據與數據庫中的各視頻摘要中劃分后各部分的元數據進行比對。全文摘要本發(fā)明涉及視頻信息處理領域，具體涉及針對視頻檢索提出一種新的快速的基于視頻摘要元數據的檢索方法，包括提取視頻數據中的關鍵幀，建立視頻摘要；對視頻摘要中的每幀圖像，分別求出灰度分布和概率密度函數；利用灰度分布和概率密度函數建立元數據，存入數據庫；根據用作檢索的原始圖像的元數據與數據庫中的各視頻摘要的元數據進行比對，取相似度最高的視頻圖像為檢索結果。本發(fā)明根據視頻圖像中關鍵幀的灰度分布和概率密度函數來產生視頻摘要的元數據，利用對元數據的相似性的比對，獲取視頻檢索結果，相比傳統的基于內容的視頻檢索系統中的方法，可以更快速、準確的檢索出用戶所需要的視頻內容。文檔編號G06F17/30GK101369281SQ200810170219公開日2009年2月18日申請日期2008年10月9日優(yōu)先權日2008年10月9日發(fā)明者萬守杰,宋繪宏,廣方,偉李,楊黎東,沈未名,種衍文,蔣霜霜,魏小莉,盛魯申請人:湖北科創(chuàng)高新網絡視頻股份有限公司