一種基于詞間相關(guān)性的圖像自動(dòng)標(biāo)注方法
【專利摘要】本發(fā)明公開了一種基于詞間相關(guān)性的圖像自動(dòng)標(biāo)注方法，訓(xùn)練集合T包含l個(gè)圖像，所述訓(xùn)練集合T的每個(gè)圖像標(biāo)注有n個(gè)標(biāo)注詞，且有相應(yīng)的視覺詞元，待標(biāo)注圖像為I，該方法包括：根據(jù)公式計(jì)算每一個(gè)標(biāo)注詞w的語(yǔ)義矢量，將標(biāo)注詞w表示為矢量形式w＝＜v1,v2,…,vm＞，其中，ci為上下文關(guān)聯(lián)詞，共有m個(gè)上下文關(guān)聯(lián)詞；根據(jù)公式計(jì)算標(biāo)注詞之間的語(yǔ)義相似度，其中||·||為向量模計(jì)算；根據(jù)公式計(jì)算p(A)，其中A為標(biāo)注詞組{w1,w2,…wn}，n為標(biāo)注詞組的個(gè)數(shù)；根據(jù)公式計(jì)算條件概率p(I/wi)；根據(jù)計(jì)算p(I/A)；由公式A＝arg?maxAp(I/A)p(A)計(jì)算待標(biāo)注圖像I的標(biāo)注詞組A。
【專利說明】一種基于詞間相關(guān)性的圖像自動(dòng)標(biāo)注方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理領(lǐng)域，特別是一種基于詞間相關(guān)性的圖像自動(dòng)標(biāo)注方法。
【背景技術(shù)】
[0002]隨著多媒體及互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，人們的日常生活、工作對(duì)圖像等多媒體信息的依賴越來越強(qiáng)烈?；谡Z(yǔ)義的圖像檢索不僅能準(zhǔn)確表達(dá)用戶的檢索意圖，還方便于用戶的使用，因此該檢索方式不僅成為圖像檢索的一種重要形式，而且成為研究人員追逐的技術(shù)熱點(diǎn)。
[0003]而圖像自動(dòng)標(biāo)注技術(shù)是圖像語(yǔ)義檢索中的一項(xiàng)重要而富有挑戰(zhàn)性的工作，圖像自動(dòng)標(biāo)注技術(shù)的出現(xiàn)是為了自動(dòng)獲取圖像視覺內(nèi)容中包含的語(yǔ)義信息，它試圖在圖像底層視覺特征和高層語(yǔ)義之間構(gòu)建一座橋梁，從而在語(yǔ)義級(jí)別上對(duì)語(yǔ)義檢索做出支持。因此，基于圖像語(yǔ)義的自動(dòng)標(biāo)注算法研究已成為圖像檢索領(lǐng)域中一個(gè)十分活躍的研究分支和關(guān)鍵技術(shù)，具有很好的應(yīng)用前景和研究?jī)r(jià)值。
[0004]圖像自動(dòng)標(biāo)注就是讓計(jì)算機(jī)自動(dòng)給無(wú)標(biāo)注的圖像加上能夠反映圖像內(nèi)容的語(yǔ)義關(guān)鍵詞。它利用已標(biāo)注的圖像集合或者其他可獲得的信息自動(dòng)練習(xí)語(yǔ)義概念空間與視覺特征空間的關(guān)系模型，并用此模型標(biāo)注未知語(yǔ)義的圖像。通過在圖像的高層語(yǔ)義信息和底層特征之間建立一種映射關(guān)系，在一定程度上解決語(yǔ)義鴻溝問題。
[0005]聯(lián)合媒體相關(guān)模型的圖像自動(dòng)標(biāo)注方法是目前基于生成模型圖像標(biāo)注方法中應(yīng)用最為廣泛的一種圖像標(biāo)注算法，得到了學(xué)者的廣泛研究。該標(biāo)注模型的基本思想是利用概率統(tǒng)計(jì)的方法建立圖像視覺特征空間與語(yǔ)義概念空間的概率相關(guān)性，通過統(tǒng)計(jì)學(xué)習(xí)二者之間存在的聯(lián)合概率分布，找出一組語(yǔ)義標(biāo)注詞使之與圖像內(nèi)容之間的聯(lián)合概率最大，并將這組標(biāo)注詞作為待測(cè)圖像的最終標(biāo)注。
[0006]但是聯(lián)合媒體相關(guān)模型屬于概率模型的一種，該類模型對(duì)發(fā)生頻率高的標(biāo)注詞有偏向性。其次在聯(lián)合媒體相關(guān)模型圖像自動(dòng)標(biāo)注標(biāo)方法中，不同候選標(biāo)注詞在標(biāo)注過程中被假定是相互獨(dú)立的，而標(biāo)注詞之間的相關(guān)性并沒有被充分挖掘。事實(shí)上同一幅圖像內(nèi)，不同標(biāo)注詞之間存在著共生、層次或空間等多種關(guān)聯(lián)。
[0007]例如一幅包含了 “sun、sky、cloud、mountain、tree”等語(yǔ)義對(duì)象的圖像,從圖像視覺內(nèi)容上可以看出“sun”和“sky”對(duì)象存在一定的空間關(guān)聯(lián)性，“sun”不能脫離“sky”這一語(yǔ)義對(duì)象而獨(dú)立存在；同樣，對(duì)于圖像內(nèi)容中的“mountain”和“tree”兩個(gè)語(yǔ)義對(duì)象來說，“tree”對(duì)象的存在是以“mountain”語(yǔ)義對(duì)象為視覺內(nèi)容背景，二者在圖像視覺內(nèi)容上同樣有著密不可分的聯(lián)系，不能絕對(duì)地假設(shè)這兩個(gè)標(biāo)注詞是相互獨(dú)立進(jìn)行標(biāo)注。因此，聯(lián)合媒體相關(guān)模型圖像自動(dòng)標(biāo)注算法在標(biāo)注過程中認(rèn)為不同候選標(biāo)注詞之間相互獨(dú)立的做法存在一定的缺陷，可能會(huì)因忽略詞間相關(guān)性而導(dǎo)致標(biāo)注結(jié)果中標(biāo)注詞之間語(yǔ)義不一致的現(xiàn)象。

【發(fā)明內(nèi)容】

[0008]有鑒于此，本發(fā)明提供了一種基于詞間相關(guān)性的圖像自動(dòng)標(biāo)注方法，以克服聯(lián)合媒體相關(guān)模型圖像自動(dòng)標(biāo)注算法在標(biāo)注過程中認(rèn)為不同候選標(biāo)注詞之間相互獨(dú)立的做法存在的缺陷，解決因忽略詞間相關(guān)性而導(dǎo)致標(biāo)注結(jié)果中標(biāo)注詞之間語(yǔ)義不一致的問題。本發(fā)明提出的技術(shù)方案是:
[0009]一種基于詞間相關(guān)性的圖像自動(dòng)標(biāo)注方法，訓(xùn)練集合T包含I個(gè)圖像，所述I個(gè)圖像構(gòu)成圖像集合P= [P1 P2-P1];所述訓(xùn)練集合T的每個(gè)圖像標(biāo)注有η個(gè)標(biāo)注詞，訓(xùn)練集合T中所有標(biāo)注詞構(gòu)成標(biāo)注詞集合W = [W1 WVWs];訓(xùn)練集合T的每個(gè)圖像有相應(yīng)的視覺詞元，訓(xùn)練集合T中所有視覺詞元構(gòu)成視覺詞元集合B = [Id1 bfby],待標(biāo)注圖像為I,該方法包括:
[0010]A.根據(jù)公式
【權(quán)利要求】
1.一種基于詞間相關(guān)性的圖像自動(dòng)標(biāo)注方法，其特征在于，訓(xùn)練集合T包含I個(gè)圖像，所述I個(gè)圖像構(gòu)成圖像集合P= [P1 P2-P1];所述訓(xùn)練集合T的每個(gè)圖像標(biāo)注有η個(gè)標(biāo)注詞，訓(xùn)練集合T中所有標(biāo)注詞構(gòu)成標(biāo)注詞集合W = [W1 WfWs];訓(xùn)練集合T的每個(gè)圖像有相應(yīng)的視覺詞元，訓(xùn)練集合T中所有視覺詞元構(gòu)成視覺詞元集合B = [Id1 bfby],待標(biāo)注圖像為I，該方法包括:

A.根據(jù)公式
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟D進(jìn)一步包括: P (Wi)為標(biāo)注詞Wi在訓(xùn)練集合T中出現(xiàn)的次數(shù)與訓(xùn)練集合T所有標(biāo)注詞出現(xiàn)總次數(shù)的
<img/ > P (Wi, bu…，bn)的計(jì)算方法為:


<img/ >其中p (j)表示在圖像集合P中隨機(jī)
抽取一幅訓(xùn)練圖像J的概率；p(Wi/J)表示訓(xùn)練圖像J中出現(xiàn)詞匯Wi的后驗(yàn)概率；而？隊(duì)/J)表示訓(xùn)練圖像J中出現(xiàn)視覺詞元bk的后驗(yàn)概率；且
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述上下文關(guān)聯(lián)詞為訓(xùn)練集合T中的標(biāo)注詞。
【文檔編號(hào)】G06F17/30GK103714178SQ201410008553
【公開日】2014年4月9日 申請(qǐng)日期:2014年1月8日 優(yōu)先權(quán)日:2014年1月8日
【發(fā)明者】安震 申請(qǐng)人:北京京東尚科信息技術(shù)有限公司, 北京京東世紀(jì)貿(mào)易有限公司