本發(fā)明屬于多模態(tài)信息檢索領(lǐng)域，具體是涉及基于語義增強(qiáng)的在線多模態(tài)相似性檢索方法及系統(tǒng)。

背景技術(shù)：

1、隨著便攜式電子設(shè)備、傳感器的迅速普及，產(chǎn)生的數(shù)據(jù)不僅數(shù)據(jù)量大，且具有“結(jié)構(gòu)復(fù)雜，形式多樣”的特點(diǎn)。比如：一個(gè)網(wǎng)頁同時(shí)包含文字信息和圖像信息；一個(gè)視頻同時(shí)包含視覺信息和音頻信息；傳感器可以接收超聲波、雷達(dá)等不同通道信息；這些信息具有不同的來源或表達(dá)形式，稱為模態(tài)。在同一媒介下，往往存在多種不同的模態(tài)，由不同的模態(tài)組成的數(shù)據(jù)稱為多模態(tài)數(shù)據(jù)。與單模態(tài)信息相比，多模態(tài)數(shù)據(jù)攜帶更豐富的高級語義，有助于更全面更直接地理解事物；但多媒體流數(shù)據(jù)的具有結(jié)構(gòu)復(fù)雜、維數(shù)高及數(shù)據(jù)海量等特點(diǎn)，并且分布在不同的特征空間，存在著語義鴻溝及異構(gòu)鴻溝等難題，增加了多模態(tài)相似性檢索的難度。海量大規(guī)模多模態(tài)數(shù)據(jù)涌現(xiàn)在互聯(lián)網(wǎng)上，極易在語義層面形成了邏輯孤島，面臨著信息噪音多、質(zhì)量差、可信度低、語義模糊等一系列嚴(yán)峻的挑戰(zhàn)，因此，多媒體信息檢索成為目前研究的熱點(diǎn)問題之一。

2、哈希技術(shù)憑借其存儲(chǔ)消耗小以及計(jì)算成本低，是應(yīng)用于計(jì)算機(jī)視覺以及信息檢索等領(lǐng)域?qū)崿F(xiàn)高效檢索的一項(xiàng)技術(shù)?，F(xiàn)有的哈希檢索技術(shù)主要分為兩類：數(shù)據(jù)獨(dú)立哈希和數(shù)據(jù)依賴哈希。多模態(tài)哈希方法旨在融合不同模態(tài)數(shù)據(jù)的不同特征分布和維度，從而獲得更有判別性的二進(jìn)制哈希碼。鑒于在日常生活中，多媒體數(shù)據(jù)通常以數(shù)據(jù)流的方式涌入，使得在線跨模態(tài)哈希學(xué)習(xí)方法的需求與日倶增，而絕大多數(shù)的檢索方法都是通過對固定數(shù)據(jù)集的不斷訓(xùn)練學(xué)習(xí)實(shí)現(xiàn)批處理搜索，隨著大數(shù)據(jù)時(shí)代爆炸，網(wǎng)絡(luò)數(shù)據(jù)以流的形式不斷更新，已有的哈希方法不再能處理新數(shù)據(jù)到來的問題，如何針對大規(guī)模異構(gòu)流數(shù)據(jù)來建立高效的、魯棒性的多模態(tài)檢索方法及系統(tǒng)成為學(xué)術(shù)界、工業(yè)界關(guān)注的焦點(diǎn)。

技術(shù)實(shí)現(xiàn)思路

1、當(dāng)大量流媒體數(shù)據(jù)動(dòng)態(tài)融入數(shù)據(jù)庫時(shí)，為了降低模型學(xué)習(xí)時(shí)間復(fù)雜度和提高哈希碼的判別能力，同時(shí)為了能夠有效地解決離散二元約束問題以及在哈希碼學(xué)習(xí)過程中保留更多的語義信息，本發(fā)明提出了基于語義增強(qiáng)的在線多模態(tài)相似性檢索方法及系統(tǒng)。

2、本發(fā)明所述的基于語義增強(qiáng)的在線多模態(tài)相似性檢索方法，包括以下步驟：

3、步驟1、獲取多模態(tài)流數(shù)據(jù)集，并對所述多模態(tài)流數(shù)據(jù)集進(jìn)行均等分組，得到共有n個(gè)批次的多媒體數(shù)據(jù)塊，構(gòu)建多模態(tài)流數(shù)據(jù)集對應(yīng)的樣本集合，利用各批次的多媒體數(shù)據(jù)塊模擬在線多媒體數(shù)據(jù)流；

4、步驟2、當(dāng)?shù)赼批次多媒體數(shù)據(jù)塊在線流入到多模態(tài)流數(shù)據(jù)集時(shí)，a＝2，…n，保持多模態(tài)流數(shù)據(jù)集中a-1批次學(xué)習(xí)的哈希碼不變，利用第a批次數(shù)據(jù)和a-1批次累積數(shù)據(jù)構(gòu)造全局目標(biāo)優(yōu)化函數(shù)，進(jìn)行哈希碼學(xué)習(xí)保存；

5、步驟3、利用第a批次融入的流數(shù)據(jù)和第a批次學(xué)習(xí)的哈希碼，學(xué)習(xí)多媒體流數(shù)據(jù)投影到哈希碼的哈希函數(shù)；

6、步驟4、利用哈希函數(shù)對查詢樣本進(jìn)行解算得到查詢二進(jìn)制碼，將所述查詢二進(jìn)制碼與多模態(tài)流數(shù)據(jù)集中的哈希碼進(jìn)行海明距離解算，得到待檢索樣本對應(yīng)的多模態(tài)檢索結(jié)果。

7、進(jìn)一步地，步驟1具體為：

8、步驟1-1、獲取多模態(tài)流數(shù)據(jù)集其中，xm為第m模態(tài)的流數(shù)據(jù)的特征矩陣，y為標(biāo)簽矩陣，dm為對應(yīng)第m模態(tài)的特征維度，n為流數(shù)據(jù)集大小，c為語義標(biāo)簽的種類數(shù)；

9、步驟1-2、對多模態(tài)流數(shù)據(jù)集進(jìn)行均等分處理，每組包含的多模態(tài)流數(shù)據(jù)塊的樣本數(shù)量相同，得到共有n個(gè)批次的多模態(tài)流數(shù)據(jù)塊；其中第a批次多模態(tài)流數(shù)據(jù)塊用表示，其中，nt為第a批次多模態(tài)流數(shù)據(jù)塊的大??；為第a批次流入數(shù)據(jù)集時(shí)，已經(jīng)存在的舊數(shù)據(jù)集；為當(dāng)?shù)赼批次流入數(shù)據(jù)集時(shí)，數(shù)據(jù)集的大??；ni為第i批次數(shù)據(jù)塊的大小，為對應(yīng)第a批次流數(shù)據(jù)塊的標(biāo)簽矩陣；為第a批次時(shí)，數(shù)據(jù)集中已有標(biāo)簽矩陣。

10、進(jìn)一步地，步驟2具體為：

11、步驟2-1、第a批次多模態(tài)流數(shù)據(jù)塊達(dá)到樣本集時(shí)，挖掘多模態(tài)流數(shù)據(jù)和哈希碼之間的關(guān)聯(lián)關(guān)系，構(gòu)建多模態(tài)流數(shù)據(jù)的矩陣三因子分解模型：

12、

13、式中，α和β為模型的權(quán)衡參數(shù)，γ為正則化項(xiàng)的懲罰參數(shù)，為第a批次的公共子空間與各個(gè)模態(tài)數(shù)據(jù)特征間的轉(zhuǎn)換矩陣，為第a批次的哈希碼與各個(gè)模態(tài)映射公共子空間之間的轉(zhuǎn)換矩陣；表示矩陣的f范式；r為哈希碼的長度；和分別為第a批次的待學(xué)習(xí)哈希碼和數(shù)據(jù)庫中已存在的哈希碼；和分別為第a批次的潛在公共子空間和已存在的潛在公共子空間；

14、步驟2-2、第a批次在線數(shù)據(jù)動(dòng)態(tài)流入時(shí)，構(gòu)造基于相似性矩陣的非對稱語義標(biāo)簽嵌入損失函數(shù)，挖掘現(xiàn)有數(shù)據(jù)和新數(shù)據(jù)之間的語義相關(guān)性：

15、

16、式中,為對應(yīng)的第a批次流入數(shù)據(jù)集時(shí)新的列歸一化標(biāo)簽矩陣，為第a批次流入數(shù)據(jù)集時(shí)，數(shù)據(jù)集中舊的列歸一化標(biāo)簽矩陣。為矩陣的第i列，為矩陣的第i列的值；則可以利用求解的值，即同理，為矩陣的第i列，為矩陣的第i列的值；則利用求解的值，即

17、為了減小潛在子空間的量化損失，添加的正交和均衡約束：和其中i為單位矩陣；

18、步驟2-3、構(gòu)建基于語義標(biāo)簽拖拽策略的損失函數(shù)，充分挖掘多標(biāo)簽語義的歸屬分類：

19、

20、式中，⊙為哈達(dá)瑪乘積算子，為第a批次待求解的非負(fù)松弛矩陣，為在第a-1批次已經(jīng)解算得到的非負(fù)松弛矩陣；為語義標(biāo)簽的映射矩陣；為當(dāng)前批次新的引導(dǎo)語義標(biāo)簽拖拽常數(shù)矩陣，為舊的引導(dǎo)語義標(biāo)簽拖拽常數(shù)矩陣；當(dāng)矩陣的第j行第k列的值為1時(shí)，則矩陣的第j行第k列的值為+1，否則值為-1；當(dāng)矩陣的第j行第k列的值為1時(shí)，則矩陣的第j行第k列的值為+1，否則值為-1。

21、步驟2-4、結(jié)合上述步驟2-1至步驟2-3，構(gòu)造基于語義增強(qiáng)的多模態(tài)數(shù)據(jù)流哈希學(xué)習(xí)方法的全局目標(biāo)優(yōu)化函數(shù)：

22、

23、式中，μ和ω為權(quán)衡語義嵌入和標(biāo)簽遷移策略對整體檢索性能的影響參數(shù)；

24、步驟2-5、采用交替迭代優(yōu)化求解方法解算步驟2-4的全局目標(biāo)優(yōu)化函數(shù)，得到待求解參數(shù)的最優(yōu)值。

25、進(jìn)一步地，步驟2-5具體為：

26、步驟2-5-1、更新參數(shù)固定其他參數(shù)，本發(fā)明為了便于描述參數(shù)解算過程，用表示為全局目標(biāo)優(yōu)化函數(shù)關(guān)于的優(yōu)化子函數(shù)。則全局目標(biāo)優(yōu)化函數(shù)轉(zhuǎn)為關(guān)于的優(yōu)化子函數(shù)

27、

28、式中，tr(.)表示矩陣的跡；為對參數(shù)的偏導(dǎo)數(shù)，解算并設(shè)為零，得到關(guān)于參數(shù)的閉式解；

29、

30、式中，和為中間變量，和為第a-1批次次解算的值，而和是在本輪進(jìn)行求解，其值只與第a批次的流數(shù)據(jù)有關(guān)聯(lián)性；

31、步驟2-5-2、更新參數(shù)固定其他參數(shù)，本發(fā)明為了便于描述參數(shù)解算過程，用表示為全局目標(biāo)優(yōu)化函數(shù)關(guān)于的優(yōu)化子函數(shù)，則全局優(yōu)化函數(shù)

32、轉(zhuǎn)為關(guān)于的優(yōu)化子函數(shù)

33、

34、令為對參數(shù)的偏導(dǎo)數(shù)，解算并設(shè)為零，得到關(guān)于參數(shù)的閉式解；

35、

36、式中，為中間變量，為第a-1批次解算的值，而是在本批次進(jìn)行求解，其值只與第a批次的流數(shù)據(jù)有關(guān)聯(lián)性；

37、步驟2-5-3、更新參數(shù)g(t)，固定其他參數(shù)，本發(fā)明為了便于描述參數(shù)解算過程，用表示為全局目標(biāo)優(yōu)化函數(shù)關(guān)于g(t)的優(yōu)化子函數(shù)，則全局優(yōu)化函數(shù)轉(zhuǎn)為關(guān)于g(t)的優(yōu)化子函數(shù)

38、

39、解算對參數(shù)g(t)的偏導(dǎo)數(shù)并設(shè)為零，得到關(guān)于參數(shù)g(t)的閉式解；

40、

41、式中，為中間變量；為了便于求解，用矩陣表示用矩陣表示則和為第a-1批次次解算的值，而和是在本批次進(jìn)行求解，且只與第a批次的流數(shù)據(jù)有關(guān)聯(lián)性；

42、步驟2-5-4、更新參數(shù)去除和參數(shù)無關(guān)項(xiàng)，本發(fā)明為了便于描述參數(shù)解算過程，用表示為全局目標(biāo)優(yōu)化函數(shù)關(guān)于的優(yōu)化子函數(shù)，則全局優(yōu)化函數(shù)轉(zhuǎn)為關(guān)于的優(yōu)化子函數(shù)

43、

44、解算得到參數(shù)的閉式解；

45、

46、步驟2-5-5、更新參數(shù)去除和參數(shù)無關(guān)項(xiàng)，本發(fā)明為了便于描述參數(shù)解算過程，用表示為全局目標(biāo)優(yōu)化函數(shù)關(guān)于的優(yōu)化子函數(shù)，則全局優(yōu)化函數(shù)轉(zhuǎn)為關(guān)于的優(yōu)化子函數(shù)

47、為了求解優(yōu)化子函數(shù)將優(yōu)化子函數(shù)進(jìn)行轉(zhuǎn)換為：

48、

49、式中,為的中間變量；令δ＝i-(1/nt)11t，其中i為單位矩陣，1為全為1的單位矩陣；為了便于對優(yōu)化子函數(shù)進(jìn)行求解，利用matlab內(nèi)置的奇異值分解函數(shù)svd(.)對矩陣進(jìn)行分析，即利用svd(k(t)δk(t)t)求解得到σ、u(t)和其中σ為正特征值的對角矩陣，u(t)為正特征值的對應(yīng)的特征向量，為是其余的與零特征值對應(yīng)的特征向量。令矩陣q(t)＝δk(t)tu(t)σ-12，利用matlab的內(nèi)置的矩陣正交規(guī)范基函數(shù)orth(.)對矩陣q(t)進(jìn)行正交運(yùn)算得到正交基矩陣并對矩陣進(jìn)行施密特正交化得到矩陣既而解算得到關(guān)于參數(shù)的閉式解；

50、

51、步驟2-5-6、更新參數(shù)去除和參數(shù)無關(guān)項(xiàng),則全局目標(biāo)優(yōu)化函數(shù)轉(zhuǎn)為關(guān)于的子優(yōu)化函數(shù)：

52、

53、解算關(guān)于參數(shù)的閉式解：

54、

55、式中,為中間變量，為第a-1批次解算的值，而是在本批次進(jìn)行求解，其值只與第a批次的流數(shù)據(jù)有關(guān)聯(lián)性。

56、進(jìn)一步地，步驟3具體為：

57、步驟3-1、通過步驟2學(xué)習(xí)得到的構(gòu)建哈希函數(shù)學(xué)習(xí)模型對應(yīng)的損失函數(shù)：

58、

59、式中，⊙表示哈達(dá)瑪乘積算子，表示待學(xué)習(xí)的在線流數(shù)據(jù)的哈希函數(shù)，為第a批次的偏移方向矩陣并且矩陣中的數(shù)值為非負(fù)，是第a-1批次解算得到的偏移方向矩陣，ξ是用于避免過擬合系數(shù)；

60、步驟3-2、采用交替迭代優(yōu)化求解方法，獲取最優(yōu)參數(shù)的值。

61、進(jìn)一步地，步驟3-2中，獲取最優(yōu)參數(shù)的值，具體為：

62、步驟3-2-1、更新參數(shù)去除和參數(shù)無關(guān)項(xiàng),本發(fā)明為了便于描述參數(shù)解算過程，用表示為全局目標(biāo)優(yōu)化函數(shù)關(guān)于的優(yōu)化子函數(shù)，則全局目標(biāo)優(yōu)化函數(shù)轉(zhuǎn)為關(guān)于的子優(yōu)化函數(shù)

63、

64、步驟3-2-2、更新求解參數(shù)去除和參數(shù)無關(guān)項(xiàng),則優(yōu)化函數(shù)轉(zhuǎn)為關(guān)于的子優(yōu)化函數(shù)；

65、

66、解算得到關(guān)于參數(shù)的閉式解：

67、

68、進(jìn)一步地，步驟4具體為：利用哈希函數(shù)對查詢樣本進(jìn)行解算得到查詢二進(jìn)制碼，將查詢二進(jìn)制碼與流數(shù)據(jù)庫中的哈希碼進(jìn)行異或運(yùn)算，得到海明距離；對海明距離進(jìn)行從小到大排序，反饋前t個(gè)數(shù)據(jù)作為待檢索樣本對應(yīng)的多模態(tài)檢索結(jié)果，t為正整數(shù)；具體為：

69、待檢索多模態(tài)數(shù)據(jù)為xq，根據(jù)獲得的映射待檢索模態(tài)數(shù)據(jù)的離散哈希編碼：

70、

71、本發(fā)明還提供了一種基于語義增強(qiáng)的在線多模態(tài)相似性檢索系統(tǒng)，用于實(shí)現(xiàn)所述方法，包括多模態(tài)數(shù)據(jù)流的采集模塊、哈希碼學(xué)習(xí)模塊、哈希函數(shù)學(xué)習(xí)模塊和多模態(tài)相似性檢索模塊；

72、所述多模態(tài)數(shù)據(jù)流的采集模塊，用于獲取多模態(tài)流數(shù)據(jù)集，并對多模態(tài)數(shù)據(jù)集處理得到n批多模態(tài)數(shù)據(jù)塊；

73、所述哈希碼學(xué)習(xí)模塊，用于保持第a-1批次的多模態(tài)數(shù)據(jù)對應(yīng)的哈希碼不變，對流入到異構(gòu)數(shù)據(jù)庫中的第a批次多模態(tài)數(shù)據(jù)塊，進(jìn)行第a批次的哈希碼學(xué)習(xí)和保存；

74、所述哈希函數(shù)學(xué)習(xí)模塊，利用第a批次學(xué)習(xí)的哈希碼，學(xué)習(xí)對應(yīng)的多模態(tài)數(shù)據(jù)的哈希函數(shù)；

75、所述多模態(tài)相似性檢索模塊，通過學(xué)習(xí)的哈希函數(shù)，得到對應(yīng)的查詢二進(jìn)制碼，將得到的查詢二進(jìn)制碼與數(shù)據(jù)集中的哈希碼進(jìn)行海明距離解算，得到待檢索模態(tài)數(shù)據(jù)的檢索結(jié)果。

76、本發(fā)明所述的有益效果為：

77、1)本發(fā)明為解決大規(guī)模流數(shù)據(jù)動(dòng)態(tài)融入過程中，面臨的高效多模態(tài)哈希學(xué)習(xí)問題，通過挖掘多模態(tài)流數(shù)據(jù)和哈希碼之間的關(guān)聯(lián)關(guān)系，并設(shè)計(jì)了一種語義增強(qiáng)的哈希學(xué)習(xí)模型，采用兩步哈希學(xué)習(xí)策略，先學(xué)習(xí)得到哈希碼，再進(jìn)一步開展在線流數(shù)據(jù)的哈希函數(shù)的學(xué)習(xí)；在每輪數(shù)據(jù)塊進(jìn)行哈希碼學(xué)習(xí)過程中，將前一輪流數(shù)據(jù)學(xué)習(xí)的哈希碼保持不變，無需重復(fù)訓(xùn)練數(shù)據(jù)庫中的舊數(shù)據(jù)，即可進(jìn)行高效的在線流數(shù)據(jù)的哈希碼學(xué)習(xí)，使得在進(jìn)行多媒體在線流數(shù)據(jù)學(xué)習(xí)過程中，能夠包含更多語義信息的同時(shí)在時(shí)間和空間開銷之間取得平衡，本發(fā)明不僅具有可擴(kuò)展性和適應(yīng)性，同時(shí)也具有較好的檢索性能；

78、2)考慮到多模態(tài)數(shù)據(jù)量不斷增長，為了解決流數(shù)據(jù)多模態(tài)學(xué)習(xí)模型涉及的離散二元約束問題以及在哈希碼學(xué)習(xí)過程中保留更多的語義信息，本發(fā)明構(gòu)造一種語義增強(qiáng)的在線多模態(tài)相似性檢索模型，與其它流數(shù)據(jù)多模態(tài)相似性檢索方法相比，本發(fā)明不僅增強(qiáng)了哈希碼的細(xì)粒度語義信息，同時(shí)也滿足了日益增長的在線學(xué)習(xí)需求，加速多模態(tài)數(shù)據(jù)間的檢索速率，有利于實(shí)現(xiàn)對大規(guī)模在線流數(shù)據(jù)的多模態(tài)進(jìn)行快速相似性檢索。