專利名稱：結(jié)合圖像內(nèi)部空間關(guān)系及視覺共生關(guān)系的圖像標(biāo)注方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于上下文信息的圖像標(biāo)注算法，尤其涉及一種結(jié)合圖像內(nèi)部空間關(guān)系及視覺共生關(guān)系的圖像標(biāo)注方法，屬于圖像處理技術(shù)領(lǐng)域。
背景技術(shù)：
隨著hternet和數(shù)字圖像技術(shù)的發(fā)展，圖像數(shù)據(jù)海量增長(zhǎng)，對(duì)圖像的組織、分析、 檢索和管理等都是一個(gè)巨大的挑戰(zhàn)。人們對(duì)于圖像所包含的語(yǔ)義概念的興趣更加達(dá)到了前所未有的規(guī)模，從而迫切需要一種符合人類感知和認(rèn)知機(jī)理、基于語(yǔ)義概念理解的圖像管理方法。圖像標(biāo)注通過(guò)建立低層視覺特征與高層語(yǔ)義之間的映射關(guān)系，可以在一定程度上解決圖像檢索中存在的“語(yǔ)義鴻溝”問(wèn)題。圖像標(biāo)注可以分為手動(dòng)標(biāo)注和自動(dòng)標(biāo)注兩類。使用人工的方式進(jìn)行圖像標(biāo)注是最直接也是最有效的方式，但是這也是非常耗時(shí)耗力的一項(xiàng)工作，因此目前有很多目前有很多網(wǎng)站和組織鼓勵(lì)web上的廣大用戶為其提供的圖像進(jìn)行標(biāo)注。然而隨著圖像數(shù)量的急劇增長(zhǎng)，光靠人工標(biāo)注是不能滿足要求的，這也推動(dòng)了圖像的自動(dòng)標(biāo)注方法的研究。Hanbury等根據(jù)標(biāo)注的形式將圖像的標(biāo)注分為三種，基于關(guān)鍵詞的標(biāo)注、基于本體的標(biāo)注和基于自然語(yǔ)言的標(biāo)注。在圖像標(biāo)注的研究工作中，目前研究最多的是基于關(guān)鍵詞的標(biāo)注。而圖像的區(qū)域標(biāo)注是基于關(guān)鍵詞的圖像標(biāo)注中常見的一種形式，上下文信息，包括空間關(guān)系、共生關(guān)系等在圖像區(qū)域標(biāo)注中被廣泛的應(yīng)用，并且有效的提高了圖像標(biāo)注的準(zhǔn)確性。其主要流程包括三部分圖像分割、特征提取及標(biāo)注算法。但現(xiàn)有圖像標(biāo)注方法不能同時(shí)利用圖像中各種不同上下文信息。

發(fā)明內(nèi)容
發(fā)明目的針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題與不足，本發(fā)明提供一種能同時(shí)利用圖像中各種不同上下文信息的結(jié)合圖像內(nèi)部空間關(guān)系及視覺共生關(guān)系的圖像標(biāo)注方法。技術(shù)方案一種結(jié)合圖像內(nèi)部空間關(guān)系及視覺共生關(guān)系的圖像標(biāo)注方法，包括如下步驟(1)利用過(guò)分割方法將每幅圖像分割為若干區(qū)域，該分割的目標(biāo)是將圖像中的不同物體分割到不同的區(qū)域，使每個(gè)分割區(qū)域中只包含單一類別的物體；(2)針對(duì)圖像中的每個(gè)區(qū)域，提取顏色、紋理、形狀、空間位置等特征信息，構(gòu)成一組連續(xù)值的特征向量；(3)利用Kmeans對(duì)所有的連續(xù)值的特征向量進(jìn)行聚類，得到K個(gè)聚類中心，構(gòu)成詞匯表V;(4)利用詞匯表V對(duì)每個(gè)區(qū)域的特征向量進(jìn)行量化，從而得到每個(gè)像素的視覺關(guān)鍵詞W;(5)針對(duì)圖像中所有分割區(qū)域的空間位置關(guān)系，考慮相鄰區(qū)域之間的空間關(guān)系，建立一階馬爾可夫網(wǎng)絡(luò)模型；
(6)根據(jù)圖像中所有區(qū)域的視覺關(guān)鍵詞，統(tǒng)計(jì)其視覺關(guān)鍵詞直方圖，利用隱含狄利克雷分配對(duì)視覺關(guān)鍵詞之間的共生關(guān)系進(jìn)行建模；
(7)結(jié)合圖像中各區(qū)域之間的空間關(guān)系和共生關(guān)系，建立一種結(jié)合一階馬爾可夫網(wǎng)絡(luò)和隱含狄利克雷分配的概率圖模型；
(8)利用人工標(biāo)注的圖像數(shù)據(jù)集按照所述步驟(1)至(7)，分割、提取特征、量化、 構(gòu)造和訓(xùn)練模型，得到一組模型的參數(shù)；
(9)針對(duì)未標(biāo)注的圖像，利用訓(xùn)練得到的參數(shù)初始化模型，并根據(jù)所提取的特征和視覺關(guān)鍵詞，對(duì)每個(gè)分割區(qū)域進(jìn)行標(biāo)注。
本發(fā)明的方法包括圖像的分割、特征提取及量化、一階馬爾可夫網(wǎng)絡(luò)模型及隱含狄利克雷分配的構(gòu)造、模型參數(shù)的訓(xùn)練以及未標(biāo)注圖像的分類四個(gè)部分，其中步驟(1)至 (4)描述了圖像的分割和視覺特征的提取以及視覺關(guān)鍵詞的構(gòu)造過(guò)程，步驟( 至(7)描述了一階馬爾可夫網(wǎng)絡(luò)模型及隱含狄利克雷分配的構(gòu)造，以及兩種概率圖模型的結(jié)合，步驟 (8)至(9)描述了如何基于上述概率圖模型進(jìn)行圖像標(biāo)注的訓(xùn)練和分類問(wèn)題。
有益效果本發(fā)明的方法與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)是能夠有效解結(jié)合圖像中的空間位置信息以及視覺共生關(guān)系兩種不同的上下文信息來(lái)提高圖像標(biāo)注的準(zhǔn)確性，通過(guò)使用一階馬爾可夫網(wǎng)絡(luò)模型來(lái)描述圖像中相鄰區(qū)域的空間位置關(guān)系，以及通過(guò)利用隱含狄利克雷分配對(duì)圖像中的視覺共生關(guān)系進(jìn)行建模，并據(jù)此結(jié)合兩種不同的概率圖模型，根據(jù)訓(xùn)練數(shù)據(jù)集進(jìn)行參數(shù)的優(yōu)化，從而達(dá)到了更好的圖像標(biāo)注準(zhǔn)確性。


圖1是本發(fā)明實(shí)施例中的隱含狄利克雷分配模型；
圖2是本發(fā)明實(shí)施例中的一階馬爾可夫網(wǎng)絡(luò)模型；
圖3是本發(fā)明實(shí)施例中的一階馬爾可夫網(wǎng)絡(luò)和隱含狄利克雷分配的構(gòu)造；
圖4是本發(fā)明實(shí)施例中結(jié)合一階馬爾可夫網(wǎng)絡(luò)模型及隱含狄利克雷分配模型的分類模型隱含狄利克雷馬爾可夫網(wǎng)絡(luò)模型。
具體實(shí)施方式
下面結(jié)合附圖和具體實(shí)施例，進(jìn)一步闡明本發(fā)明，應(yīng)理解這些實(shí)施例僅用于說(shuō)明本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對(duì)本發(fā)明的各種等價(jià)形式的修改均落于本申請(qǐng)所附權(quán)利要求所限定的范圍。
在利用隱含狄利克雷分配模型對(duì)圖像中的目標(biāo)進(jìn)行檢測(cè)、識(shí)別和定位時(shí)，忽略了圖像中各個(gè)區(qū)域之間的空間位置信息，同時(shí)需要對(duì)每個(gè)區(qū)域的視覺特征進(jìn)行量化，只能處理離散化的視覺關(guān)鍵詞，而一階馬爾可夫網(wǎng)絡(luò)模型能夠處理連續(xù)值的視覺特征(或特征向量)，同時(shí)可以處理區(qū)域之間的空間關(guān)系，因此，本發(fā)明提出了一種結(jié)合隱含狄利克雷分配模型和一階馬爾可夫網(wǎng)絡(luò)模型的圖像標(biāo)注模型，利用隱含狄利克雷分配模型生成的主題信息來(lái)描述圖像中的視覺共生關(guān)系，從而改進(jìn)一階馬爾可夫網(wǎng)絡(luò)模型的分類效果，同時(shí)利用隱含狄利克雷分配模型生成每個(gè)區(qū)域的主題信息時(shí)，不僅考慮每個(gè)節(jié)點(diǎn)對(duì)應(yīng)的關(guān)鍵詞，還加入了對(duì)應(yīng)的類別信息，從而進(jìn)一步提高圖像標(biāo)注的準(zhǔn)確性。
本發(fā)明方法的詳細(xì)流程如下
本方法包括下列步驟步驟(1)利用過(guò)分割方法將每幅圖像分割為若干區(qū)域，該分割的目標(biāo)是將圖像中的不同物體分割到不同的區(qū)域，使每個(gè)分割區(qū)域中只包含單一類別的物體；步驟(2)針對(duì)圖像中的每個(gè)區(qū)域，提取顏色、紋理、形狀、空間位置等特征信息，構(gòu)成一組連續(xù)值的特征向量；步驟(3)利用Kmeans對(duì)所有的連續(xù)值特征向量進(jìn)行聚類，得到K個(gè)聚類中心，構(gòu)成詞匯表V。針對(duì)當(dāng)前圖像中所有像素的27維的連續(xù)值特征向量，利用Kmeans進(jìn)行聚類， 得到K個(gè)聚類中心(C1，c2，...，cK)，構(gòu)成視覺詞匯表V= Ic1, C2, ... , cK} 0步驟利用詞匯表V對(duì)每個(gè)連續(xù)值特征向量印進(jìn)行量化，針對(duì)每個(gè)像素的連續(xù)值特征向量Hi在詞匯表中選擇歐式距離最小的視覺關(guān)鍵詞化=argmi~ \\Ht -C1 ||2。從而將原始圖像轉(zhuǎn)換為由每個(gè)像素的視覺關(guān)鍵詞組成的圖像。步驟(5)針對(duì)圖像中所有分割區(qū)域的空間位置關(guān)系，考慮相鄰區(qū)域之間的空間關(guān)系，建立一階馬爾可夫網(wǎng)絡(luò)模型，如圖3所示。一階馬爾可夫網(wǎng)絡(luò)模型模型同樣是最早用于自然語(yǔ)言的標(biāo)注，處理圖像數(shù)據(jù)需要用到二維的一階馬爾可夫網(wǎng)絡(luò)模型，其結(jié)構(gòu)如圖2 所示，其中分別代表圖像中每個(gè)區(qū)域的視覺特征和類別，圖像的一組標(biāo)注序列對(duì)應(yīng)的概率為
權(quán)利要求
1.一種結(jié)合圖像內(nèi)部空間關(guān)系及視覺共生關(guān)系的圖像標(biāo)注方法，其特征是包括下列步驟(1)利用過(guò)分割方法將每幅圖像分割為若干區(qū)域，將圖像中的不同物體分割到不同的區(qū)域，使每個(gè)分割區(qū)域中只包含單一類別的物體；(2)針對(duì)圖像中的每個(gè)區(qū)域，提取顏色、紋理、形狀和空間位置特征信息，構(gòu)成一組連續(xù)值的特征向量；(3)利用Kmeans對(duì)所有的連續(xù)值特征向量進(jìn)行聚類，得到K個(gè)聚類中心，構(gòu)成詞匯表V；(4)利用詞匯表V對(duì)每個(gè)區(qū)域的特征向量進(jìn)行量化，從而得到每個(gè)像素的視覺關(guān)鍵詞W ；(5)針對(duì)圖像中所有分割區(qū)域的空間位置關(guān)系，考慮相鄰區(qū)域之間的空間關(guān)系，建立一階馬爾可夫網(wǎng)絡(luò)模型；(6)根據(jù)圖像中所有區(qū)域的視覺關(guān)鍵詞，統(tǒng)計(jì)其視覺關(guān)鍵詞直方圖，利用隱含狄利克雷分配對(duì)視覺關(guān)鍵詞之間的共生關(guān)系進(jìn)行建模；(7)結(jié)合圖像中各區(qū)域之間的空間關(guān)系和共生關(guān)系，建立一種結(jié)合一階馬爾可夫網(wǎng)絡(luò)和隱含狄利克雷分配的概率圖模型；(8)利用人工標(biāo)注的圖像數(shù)據(jù)集按照所述步驟(1)至(7)，分割、提取特征、量化、構(gòu)造和訓(xùn)練模型，得到一組模型的參數(shù)；(9)針對(duì)未標(biāo)注的圖像，利用訓(xùn)練得到的參數(shù)初始化模型，并根據(jù)所提取的特征和視覺關(guān)鍵詞，對(duì)每個(gè)分割區(qū)域進(jìn)行標(biāo)注。
2.如權(quán)利要求1所述的結(jié)合圖像內(nèi)部空間關(guān)系及視覺共生關(guān)系的圖像標(biāo)注方法，其特征在于所述步驟(6)中在利用隱含狄利克雷分配來(lái)處理圖像數(shù)據(jù)時(shí)，首先需要將圖像進(jìn)行分塊，然后對(duì)每個(gè)分塊區(qū)域提取特征，并量化為若干關(guān)鍵詞，利用隱含狄利克雷分配來(lái)處理圖像中的視覺共生上下文信息，同時(shí)利用一階馬爾可夫網(wǎng)絡(luò)模型對(duì)圖像中區(qū)域之間的空間位置信息進(jìn)行建模。
全文摘要
本發(fā)明公開了一種結(jié)合圖像內(nèi)部空間關(guān)系及視覺共生關(guān)系的圖像標(biāo)注方法，該方法包括圖像分割、特征提取及標(biāo)注算法三部分組成，首先利用過(guò)分割方法將圖像過(guò)分割為若干區(qū)域，然后對(duì)每個(gè)區(qū)域提取視覺特征，最后通過(guò)結(jié)合利用圖像中各區(qū)域之間的空間位置關(guān)系以及視覺共生關(guān)系等上下文信息建立一個(gè)圖像標(biāo)注分類模型。本發(fā)明的優(yōu)點(diǎn)是圖像標(biāo)注準(zhǔn)確率高，能夠充分有效的利用圖像中空間位置關(guān)系以及視覺共生關(guān)系兩種不同類型的上下文信息來(lái)提高圖像標(biāo)注的準(zhǔn)確性。
文檔編號(hào)G06K9/62GK102495865SQ20111038273
公開日2012年6月13日 申請(qǐng)日期2011年11月28日 優(yōu)先權(quán)日2011年11月28日
發(fā)明者丁軼, 李寧, 郭喬進(jìn) 申請(qǐng)人:南京大學(xué)