專利名稱：基于雙空間學習的跨媒體檢索方法
技術領域：
本發(fā)明涉及模式識別技術領域，特別是一種基于雙空間學習的跨媒體檢索方法。
背景技術：
近些年來，隨著Web2. O技術的興起，互聯(lián)網(wǎng)上的多媒體數(shù)據(jù)呈現(xiàn)出爆炸式的增長，用戶需要從這些海量數(shù)據(jù)中檢索自己想要的文章、圖片、視頻等內(nèi)容。而現(xiàn)在的主流搜索引擎如百度、谷歌等，采用的搜索技術依然是基于關鍵字的，而這種搜索技術無法解決各個媒體之間存在的語義鴻溝。為了實現(xiàn)跨媒體檢索，需要提供一種從一類多媒體數(shù)據(jù)檢索另一類多媒體數(shù)據(jù)的綜合檢索方法?？缑襟w檢索方法的研究已經(jīng)引起了國內(nèi)外學術界的重視。目前國際上已經(jīng)提出了一些方法來建模不同模態(tài)的多媒體數(shù)據(jù)之間的關系，現(xiàn)有方法可以分為兩類1)將兩個模態(tài)的多媒體數(shù)據(jù)映射到同一子空間，然后在這個學習到的子空間里度量不同模態(tài)的多媒體之間的相似性，以此來實現(xiàn)跨媒體檢索。2)將一類模態(tài)的多媒體數(shù)據(jù)轉(zhuǎn)換到另一種模態(tài)的多媒體數(shù)據(jù)的特征空間中進行不同模態(tài)數(shù)據(jù)的相似性度量，以此來實現(xiàn)跨媒體檢索。然而，現(xiàn)有方法都忽略了另一個重要問題，即如何從不同模態(tài)的特征空間中同時選擇出最相關和最有區(qū)分力的特征，這個問題稱為雙空間特征選擇。為了在學習子空間的同時，進行雙空間特征選擇，本發(fā)明提出一種基于雙空間學習的跨媒體檢索方法，該方法有效地實現(xiàn)了不同模態(tài)媒體之間的語義鴻溝的跨越，進而使得搜索引擎返回的結(jié)果更加準確。

發(fā)明內(nèi)容
為了解決現(xiàn)有技術存在的問題，本發(fā)明的目的是提供一種基于雙空間學習的跨媒體檢索方法。該方法通過最小化一個目標函數(shù)，能同時進行子空間學習和雙空間特征選擇，在學習到的子空間中度量不同模態(tài)的多媒體數(shù)據(jù)的相似性，以此來實現(xiàn)跨媒體檢索。本發(fā)明提出的一種基于雙空間學習的跨媒體檢索方法包括以下步驟步驟SI，收集不同模態(tài)的多媒體數(shù)據(jù)樣本，建立跨媒體檢索知識數(shù)據(jù)庫，并將所述數(shù)據(jù)庫分為訓練集和測試集；步驟S2，提取所述數(shù)據(jù)庫中不同模態(tài)多媒體數(shù)據(jù)樣本的特征向量；步驟S3，基于所述訓練集中的不同模態(tài)數(shù)據(jù)的特征向量得到與所述不同模態(tài)分別對應的映射矩陣；步驟S4，根據(jù)所述測試集中多媒體數(shù)據(jù)樣本的模態(tài)類別，利用所述步驟S3得到的映射矩陣將它們映射到同一空間；步驟S5，將映射到同一空間后的測試集中同一模態(tài)類別的多媒體數(shù)據(jù)作為查詢集，另一模態(tài)類別的多媒體數(shù)據(jù)作為目標集； 步驟S6，對于所述查詢集中的一個多媒體數(shù)據(jù)，根據(jù)多媒體數(shù)據(jù)之間的相似度，得到所述目標集中與它最為相似的多媒體數(shù)據(jù)，從而得到跨媒體檢索結(jié)果。根據(jù)本發(fā)明的方法，可以將不同模態(tài)的多媒體數(shù)據(jù)映射入統(tǒng)一空間進行度量，且在映射的同時進行了特征選擇，提高了檢索的魯棒性和準確性，具有良好的運用前景。本發(fā)明方法能有效地跨越了不同模態(tài)媒體之間的語義鴻溝，進而使得跨媒體搜索引擎返回的結(jié)果更加準確。


圖1是本發(fā)明基于雙空間學習的跨媒體檢索方法流程圖；圖2是根據(jù)本發(fā)明跨媒體檢索方法從文本到圖像的檢索效果示意圖。
具體實施例方式為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進一步詳細說明。本發(fā)明通過雙空間學習來學習兩個映射矩陣，將不同模態(tài)的數(shù)據(jù)映射到同一個子空間中去，并在映射的同時進行了特征選擇；在學習到的子空間中度量不同模態(tài)的數(shù)據(jù)的相似性，以此來實現(xiàn)跨媒體檢索的目的。圖1是本發(fā)明基于雙空間學習的跨媒體檢索方法流程圖，如圖1所示，本發(fā)明提出的一種基于雙空間學習的跨模態(tài)檢索方法包括以下幾個步驟步驟SI，收集不同模態(tài)的多媒體數(shù)據(jù)樣本，建立跨媒體檢索知識數(shù)據(jù)庫，并將所述數(shù)據(jù)庫分為訓練集和測試集；所述不同模態(tài)比如可以為文本、圖像等模態(tài)，為了便于對本發(fā)明進行說明，下文以文本和圖像這兩個模態(tài)的數(shù)據(jù)為例進行解釋。在將所述數(shù)據(jù)庫分為訓練集和測試集時，可根據(jù)實際需要進行劃分，比如可將所述數(shù)據(jù)庫中的80%的數(shù)據(jù)劃分為訓練集，剩下的20%的數(shù)據(jù)劃分為測試集。步驟S2，提取所述數(shù)據(jù)庫中不同模態(tài)多媒體數(shù)據(jù)樣本的特征向量；本發(fā)明中，對于文本和圖像分別使用隱狄雷克雷分布(Latent DirichletAllocation, LDA)算法和尺度不變特征變換(Scale-1nvariant Feature Transform, SIFT)算法進行特征提取。步驟S3，基于所述訓練集中的不同模態(tài)數(shù)據(jù)的特征向量得到與所述不同模態(tài)分別對應的映射矩陣；在對該步驟進行詳細介紹前，先介紹一些矩陣運算符對于矩陣M e Mnxm為nXm的矩陣空間,矩陣M的第i行元素表示為Hii，矩陣M的第j列元素表示為m」，而矩陣M的Frobenius范數(shù)，簡稱F-范數(shù)定義為
權(quán)利要求
1.一種基于雙空間學習的跨媒體檢索方法，其特征在于，該方法包括以下步驟步驟Si，收集不同模態(tài)的多媒體數(shù)據(jù)樣本，建立跨媒體檢索知識數(shù)據(jù)庫，并將所述數(shù)據(jù)庫分為訓練集和測試集；步驟S2，提取所述數(shù)據(jù)庫中不同模態(tài)多媒體數(shù)據(jù)樣本的特征向量；步驟S3，基于所述訓練集中的不同模態(tài)數(shù)據(jù)的特征向量得到與所述不同模態(tài)分別對應的映射矩陣；步驟S4，根據(jù)所述測試集中多媒體數(shù)據(jù)樣本的模態(tài)類別，利用所述步驟S3得到的映射矩陣將它們映射到同一空間；步驟S5，將映射到同一空間后的測試集中同一模態(tài)類別的多媒體數(shù)據(jù)作為查詢集，另一模態(tài)類別的多媒體數(shù)據(jù)作為目標集；步驟S6，對于所述查詢集中的一個多媒體數(shù)據(jù)，根據(jù)多媒體數(shù)據(jù)之間的相似度，得到所述目標集中與它最為相似的多媒體數(shù)據(jù)，從而得到跨媒體檢索結(jié)果。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述不同模態(tài)為雙模態(tài)。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述雙模態(tài)為文本和圖像。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，對于文本多媒體數(shù)據(jù)樣本，提取其隱狄雷克雷分布特征向量；對于圖像多媒體數(shù)據(jù)樣本，提取其尺度不變特征變換特征向量。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S3進一步包括以下步驟步驟S31，基于所述訓練集中不同模態(tài)數(shù)據(jù)的特征向量建立目標函數(shù)；步驟S32，求解所述目標函數(shù)得到與所述不同模態(tài)分別對應的映射矩陣。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述目標函數(shù)為
7.根據(jù)權(quán)利要求5所述的方法，其特征在于，對于所述目標函數(shù)的求解使用迭代算法來進行。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述步驟S32進一步包括以下步驟步驟S321，設置映射矩陣Ua和Ub的初始值為零矩陣，設置最大迭代次數(shù)k，迭代次數(shù)的初始值為I ;步驟S322，對矩陣(XruaUfXa + X6rU6UfX6)進行特征值分解，得到特征值分解結(jié)果:VDiag(d) VT，其中，Xa = [X1aX，為所述訓練集中文本多媒體數(shù)據(jù)的特征向量組成的矩陣，dl為特征向量的維數(shù)，η為特征向量的個數(shù)，a表示模態(tài)類別；X, =[ …為所述訓練集中圖像多媒體數(shù)據(jù)的特征向量組成的矩陣，d2為特征向量的維數(shù)，η為特征向量的個數(shù)，b表示模態(tài)類別；￥為以矩陣
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多媒體數(shù)據(jù)之間的相似度使用歐式距離來度量。
全文摘要
本發(fā)明公開了一種基于雙空間學習的跨媒體檢索方法。該方法包括首先提取不同模態(tài)的多媒體數(shù)據(jù)的特征，利用雙空間學習方法學習得到兩個映射矩陣，將不同模態(tài)的數(shù)據(jù)映射到同一個空間；對于測試樣本集，將其分為兩部分查詢數(shù)據(jù)集和目標數(shù)據(jù)集，使用學習得到的映射矩陣將兩個數(shù)據(jù)集的數(shù)據(jù)映射到統(tǒng)一空間，然后度量查詢數(shù)據(jù)和目標數(shù)據(jù)之間的距離，并得到與查詢數(shù)據(jù)距離最近的目標數(shù)據(jù)。本發(fā)明可以將不同模態(tài)的多媒體數(shù)據(jù)映射入統(tǒng)一空間進行度量，且在映射的同時進行了特征選擇，提高了檢索的魯棒性和準確性，具有良好的運用前景。
文檔編號G06F17/30GK103049526SQ20121055908
公開日2013年4月17日 申請日期2012年12月20日 優(yōu)先權(quán)日2012年12月20日
發(fā)明者王亮, 譚鐵牛, 赫然, 王開業(yè), 王威 申請人:中國科學院自動化研究所