專利名稱：一種基于語(yǔ)義和內(nèi)容的半自動(dòng)圖像標(biāo)注方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計(jì)算機(jī)圖像搜索和圖像標(biāo)注方法，尤其是一種基于語(yǔ)義和內(nèi) 容的半自動(dòng)圖像標(biāo)注方法。
背景技術(shù)：
近十多年來(lái)，隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的迅速發(fā)展、普及應(yīng)用以及數(shù)據(jù)存儲(chǔ)代價(jià) 的大幅度下滑，多媒體數(shù)據(jù)庫(kù)的使用變得越來(lái)越普遍。以圖像、音樂(lè)、視頻形式 展現(xiàn)的多媒體信息無(wú)論在商業(yè)還是娛樂(lè)中都顯現(xiàn)出了日益重要的作用。如何對(duì)如 此大量的數(shù)據(jù)進(jìn)行有效地管理和組織，并從中搜索出用戶所需要的信息就成為非 常重要的問(wèn)題。對(duì)于多媒體數(shù)據(jù)，尤其是圖像數(shù)據(jù)的瀏覽、搜索以及索引技術(shù)的 研究已經(jīng)有了很長(zhǎng)時(shí)間的歷史。如今，有關(guān)圖像數(shù)據(jù)庫(kù)和視覺(jué)信息搜索的話題已 經(jīng)變成了研究領(lǐng)域中最為活躍的一部分。
一個(gè)典型的圖像搜索過(guò)程通常由一個(gè)初始查詢和其后的一串相關(guān)反饋構(gòu)成， 通過(guò)這些反饋，用戶對(duì)檢索得到的內(nèi)容做出評(píng)價(jià)。 一個(gè)用戶查詢首先向系統(tǒng)提供 了一組對(duì)于想要圖像的描述。對(duì)于一個(gè)被標(biāo)注了關(guān)鍵字的圖像數(shù)據(jù)庫(kù)來(lái)說(shuō)，這些 描述可以是一組關(guān)鍵字查詢；對(duì)于一個(gè)被抽取了諸如全局亮度、像素點(diǎn)顏色百分 比等量化特征向量的圖像數(shù)據(jù)庫(kù)來(lái)說(shuō)，這些描述可以是一張案例圖像。前一種的 方式被稱作為基于語(yǔ)義的圖像搜索，后一種被稱作為基于內(nèi)容的圖像搜索。對(duì)于 一個(gè)基于語(yǔ)義的圖像搜索系統(tǒng)，我們一般可通過(guò)人為標(biāo)注或者機(jī)器標(biāo)注的方法給 數(shù)據(jù)庫(kù)中的圖像進(jìn)行標(biāo)注。人為標(biāo)注精確度高，但效率低；機(jī)器標(biāo)注效率高，但 精確度低。對(duì)于一個(gè)基于內(nèi)容的圖像搜索系統(tǒng)，用戶一般很難去定義這些描述， 同時(shí)計(jì)算機(jī)程序也很難理解這些描述。此外，即使用戶提供了一個(gè)比較不錯(cuò)的初
始査詢，如何讓之后的反饋信息作用于系統(tǒng)也是一個(gè)很大的問(wèn)題。
因此使用了人工標(biāo)注的基于語(yǔ)義的圖像搜索，使用了機(jī)器標(biāo)注的基于語(yǔ)義的
圖像搜索以及基于內(nèi)容的圖像搜索這三種方式各有利弊，目前還沒(méi)有一種能夠結(jié)
合上述三者優(yōu)點(diǎn)的圖像標(biāo)注索引系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種效率高、精確度高、交互方式友好的 基于語(yǔ)義和內(nèi)容的半自動(dòng)圖像標(biāo)注方法。本發(fā)明解決上述問(wèn)題所采用的技術(shù)方案是該標(biāo)注方法包括以下步驟-
(1) 建立基于語(yǔ)義和內(nèi)容的反饋圖像檢索系統(tǒng)，該系統(tǒng)的模型用三元組表 示為(F,込i (人,厶))，其中F是由數(shù)據(jù)庫(kù)中所有圖像的語(yǔ)義特征向量和內(nèi)容特征
向量/構(gòu)成的集合，g是用戶所表達(dá)的圖像語(yǔ)義和內(nèi)容信息需求的特征集， 及(入,^))式是計(jì)算/g e g ，厶e F得到的相似度，并按照其相似度大小從大到
小排列的排列函數(shù)；
(2) 用戶提交基于關(guān)鍵詞的査詢，系統(tǒng)將關(guān)鍵詞序列轉(zhuǎn)換為一組語(yǔ)義特征
向量<，每個(gè)關(guān)鍵詞的對(duì)應(yīng)權(quán)值與其出現(xiàn)在査詢序列中的位置成反比，系統(tǒng)使 用排列函數(shù)及(入,厶))對(duì)數(shù)據(jù)庫(kù)中的所有圖像做基于語(yǔ)義的査詢，將查詢結(jié)果
按照排序的高低返回給用戶；
(3) 用戶從查詢結(jié)果中選擇比較滿意的圖像并反饋給系統(tǒng)，系統(tǒng)再次使用
排列函數(shù)i (入，/,))對(duì)數(shù)據(jù)庫(kù)中的所有圖像做基于語(yǔ)義或者基于內(nèi)容或者綜合語(yǔ)
義和內(nèi)容的査詢，找出所有與用戶認(rèn)為比較滿意的圖像相似的圖像，并將査詢結(jié) 果按照排序的高低返回給用戶，同時(shí)對(duì)每張圖像相對(duì)應(yīng)的標(biāo)注信息的權(quán)值進(jìn)行調(diào)整。
本發(fā)明所述的內(nèi)容特征向量使用顏色特征向量和紋理特征向量。
本發(fā)明在步驟(3)做綜合語(yǔ)義和內(nèi)容的査詢時(shí)，將顏色特征向量和紋理特 征向量按一定的混合比結(jié)合，然后得到一個(gè)最終的相似度，該混合比可以是用戶 隨自己的需求進(jìn)行設(shè)定，也可以使用系統(tǒng)默認(rèn)的混合比。
本發(fā)明在數(shù)據(jù)庫(kù)中，每張圖像與其對(duì)應(yīng)的一組標(biāo)注構(gòu)成語(yǔ)義網(wǎng)絡(luò)，在每張圖 片與標(biāo)注值的鏈路上都賦有一個(gè)用于表示圖片和標(biāo)注值間的相干度的權(quán)值。
本發(fā)明所述權(quán)值采用tf-idf權(quán)值，tf-idf的向量R為 r 、 IDI IDI Pl
其中，lDl是系統(tǒng)中所有圖i的個(gè)數(shù)，ti是^第i個(gè)標(biāo)注所關(guān)聯(lián)圖像的個(gè)數(shù); 對(duì)權(quán)值進(jìn)行調(diào)整的具體方法為在每次系統(tǒng)開(kāi)始查詢之前，進(jìn)行一次重新計(jì)
算，得到一個(gè)新的語(yǔ)義權(quán)值向量wr-R、w^，將這個(gè)新的權(quán)值向量加到圖像原 來(lái)的語(yǔ)義權(quán)值向量上其中，swMW,t表示第i張圖像經(jīng)過(guò)調(diào)整后新的語(yǔ)義權(quán)值@量，sw td;i表示
第i張圖像未調(diào)整前的語(yǔ)義權(quán)值向量。
本發(fā)明所述相似度比較算法使用卡方檢驗(yàn)、JD分離和歐幾里德這三種方法。 本發(fā)明與現(xiàn)有技術(shù)相比，具有以下有益效果(1)該標(biāo)注方法利用混合比將 多個(gè)內(nèi)容特征向量結(jié)合在了一起，在搜索相似的反饋圖像時(shí)，系統(tǒng)可以將顏色特 征向量與紋理特征向量以一定的混合比相結(jié)合，得到最終的相似值；(2)該標(biāo)注 方法所采用的半自動(dòng)標(biāo)注過(guò)程比其他反饋系統(tǒng)更為"自動(dòng)"，傳統(tǒng)的反饋標(biāo)注系 統(tǒng)通常要求用戶標(biāo)出所有相關(guān)或者不相關(guān)的圖像，然后再對(duì)這些標(biāo)出圖像的特征 向量作一定的調(diào)整，在該系統(tǒng)中，用戶只需選出那張他認(rèn)為最為近似的圖像，然 后特征向量的調(diào)整便會(huì)在與該反饋圖像相似的圖像間自動(dòng)進(jìn)行；(3)傳統(tǒng)的反饋 標(biāo)注系統(tǒng)往往將反饋?zhàn)饔糜趫D像的內(nèi)容特征向量上，但事實(shí)上在對(duì)圖像進(jìn)行反饋 時(shí)，其圖像內(nèi)容并沒(méi)有發(fā)生任何改變，該標(biāo)注方法在傳統(tǒng)的特征向量之上又加了 一層語(yǔ)義層，并將反饋?zhàn)饔糜谄渖?，起到了?yōu)化其語(yǔ)義向量，使圖像對(duì)應(yīng)的語(yǔ)義 特征向量能夠更好的表達(dá)出圖像的作用。


圖l為本發(fā)明的語(yǔ)義網(wǎng)絡(luò)圖。
具體實(shí)施例方式
本實(shí)施例的具體步驟如下
(1) 建立一個(gè)基于語(yǔ)義和內(nèi)容的反饋圖像檢索系統(tǒng)，該系統(tǒng)的模型用三元 組表示為(F,2，i (入,乂,))，其中F是由數(shù)據(jù)庫(kù)中所有圖像的語(yǔ)義特征向量和內(nèi)
容特征向量/構(gòu)成的集合，g是用戶所表達(dá)的圖像語(yǔ)義和內(nèi)容信息需求的特征 集，W(A,力))式是計(jì)算^e2， ^eF得到的相似度，并按照其相似度大小從
大到小排列的排列函數(shù)；其中的內(nèi)容特征向量使用顏色特征向量和紋理特征向 量，即顏色一致性向量(CCV)與Gabor濾波向量。其中相似度比較算法使用卡方 檢驗(yàn)、JD分離和歐幾里德這三種方法。
(2) 用戶提交基于關(guān)鍵詞的査詢，如"pizza tower, sky, grass"，即 表示用戶想要得到一張以藍(lán)天草地為背景的比薩鐵塔的全景圖，系統(tǒng)自動(dòng)將關(guān)鍵詞序列轉(zhuǎn)換為一組語(yǔ)義特征向量^，其每個(gè)關(guān)鍵詞的對(duì)應(yīng)權(quán)值與其出現(xiàn)在查詢 序列中的位置成反比，即由上述關(guān)鍵字序列得到的語(yǔ)義特征向量 。(((pizza tower, 1.0)， (sky, 0.6)， (grass, 0.3))
針對(duì)上述語(yǔ)義特征向量，系統(tǒng)使用排列函數(shù)i c/;,厶))對(duì)數(shù)據(jù)庫(kù)中的所有
圖像做基于語(yǔ)義的査詢，將査詢結(jié)果按照排序的高低輸出至界面以返回給用戶； (3)用戶從査詢結(jié)果中選擇出最符合搜索目標(biāo)的圖像并反饋給系統(tǒng)，系統(tǒng)
再次使用i (y;,力))排列函數(shù)對(duì)數(shù)據(jù)庫(kù)中的所有圖像做基于語(yǔ)義或者基于內(nèi)容
或者綜合語(yǔ)義和內(nèi)容的査詢，找出所有與用戶認(rèn)為比較滿意的圖像相似的圖像， 并將査詢結(jié)果按照排序的高低返回給用戶，同時(shí)將語(yǔ)義特征向量
((pizza tower, 1.0)， (sky， 0.6)， (grass, 0.3))加載至査詢結(jié)果，
以對(duì)每張圖像相對(duì)應(yīng)的標(biāo)注信息的權(quán)值進(jìn)行調(diào)整。其中參數(shù)w與該圖像和反饋
Similarity G隱.械 圖像的相似度成正比，其公式為"、,她一—
其中，M表示所有查詢得到的圖像數(shù)量，i表示按相似度高低排序得到的第 i張圖像。
同時(shí)參見(jiàn)圖l，在數(shù)據(jù)庫(kù)中，每張圖像與其對(duì)應(yīng)的一組標(biāo)注構(gòu)成語(yǔ)義網(wǎng)絡(luò)， 在每張圖像與標(biāo)注值的鏈路上都賦有一個(gè)用于表示圖片和標(biāo)注值間相干度的權(quán)值。
從上述過(guò)程可以看到，隨著關(guān)鍵字的不斷調(diào)整，越來(lái)越多關(guān)鍵字被加入其中， 系統(tǒng)的關(guān)鍵字詞表不斷得到了擴(kuò)充，但同時(shí)由于個(gè)別關(guān)鍵字的多次重復(fù)查詢，有 些圖像與關(guān)鍵字間的權(quán)值將會(huì)變得很大，例如說(shuō)，每一次輸入查詢"grass"， 系統(tǒng)都會(huì)為每一個(gè)相關(guān)的圖片增加"grass"的權(quán)重，從而使得系統(tǒng)中所有其相 關(guān)的圖片都擁有一個(gè)很大的"grass"權(quán)重值，從而破壞了 "grass"關(guān)鍵字與其 它關(guān)鍵字之間的平衡，影響到下一次查詢的精度?？紤]到每一個(gè)權(quán)值都應(yīng)當(dāng)最恰 當(dāng)最客觀的表達(dá)出圖像與關(guān)鍵字間的相干度，所以每過(guò)一定的時(shí)間需要對(duì)關(guān)鍵字 的權(quán)值作一定的調(diào)整。
本實(shí)施例中的權(quán)值采用tf-idf權(quán)值。tf-idf權(quán)值是一個(gè)為了評(píng)估某一關(guān)鍵 字對(duì)文集中某一文檔重要性的統(tǒng)計(jì)測(cè)量方法。關(guān)鍵字的重要性與其出現(xiàn)在該文檔中的頻次(tf一term frequency)成正比，與其出現(xiàn)在文集中其他文檔的頻次(idf —inverse document frequency)成反比。因此，這里可以把tf看作為上面計(jì)算
得到的叫，idf看作為系統(tǒng)中與某一標(biāo)注相關(guān)聯(lián)圖像的個(gè)數(shù)。
這里就得到tf-idf的向量R為
<formula>formula see original document page 8</formula>
其中，iDl是系統(tǒng)中所有圖像的個(gè)i^是與第i個(gè)標(biāo)注所關(guān)聯(lián)圖像的個(gè)數(shù);
R是一個(gè)全局的向量，是一個(gè)統(tǒng)計(jì)量，少數(shù)標(biāo)注值的改變并不能對(duì)其精準(zhǔn)度產(chǎn)生 較大的影響，因此對(duì)權(quán)值進(jìn)行調(diào)整的具體方法為在每次系統(tǒng)開(kāi)始查詢之前，進(jìn)行 一次重新計(jì)算，得到一個(gè)新的語(yǔ)義權(quán)值向量胃'-艮'.w，將這個(gè)新的權(quán)值向量 加到圖像原來(lái)的語(yǔ)義權(quán)值向量上
其中，sw^w表示第i張圖像經(jīng)過(guò)調(diào)整后新的語(yǔ)義權(quán)值向量，sw。w,t表示
第i張圖像未調(diào)整前的語(yǔ)義權(quán)值向量。
在步驟(3)做綜合語(yǔ)義和內(nèi)容的查詢時(shí)，將顏色特征向量和紋理特征向量 按一定的混合比結(jié)合，然后得到一個(gè)最終的相似度，該混合比可以是用戶隨自己 的需求進(jìn)行設(shè)定，也可以使用系統(tǒng)默認(rèn)的混合比。
在求這個(gè)系統(tǒng)默認(rèn)的混合比之前假設(shè)處于同一目錄下的所有圖像在語(yǔ)義上 是相互密切關(guān)聯(lián)的。因此一個(gè)目錄下的所有圖像應(yīng)當(dāng)擁有相同的內(nèi)容權(quán)重向量。 舉例來(lái)說(shuō)，位于'comic'目錄下的所有圖像應(yīng)當(dāng)對(duì)顏色較為敏感，因此對(duì)于顏 色特征向量他們應(yīng)當(dāng)擁有一個(gè)較小的權(quán)值，而對(duì)于'flower'目錄下的所有圖像 應(yīng)當(dāng)對(duì)紋理較為敏感，因此對(duì)于紋理特征向量他們應(yīng)當(dāng)擁有一個(gè)較小的權(quán)值。這 里又如果位于同一目錄下的所有圖像對(duì)于某一特征擁有一個(gè)較為相似的值，那么 就認(rèn)為該向量可以很好的表達(dá)出圖像的語(yǔ)義信息；反之，如果位于同一目錄下的 所有圖像對(duì)于某一特征出入較大，那么認(rèn)為該向量不能很好地表達(dá)出圖像的語(yǔ)義 信息。在該標(biāo)注方法中，使用一個(gè)"標(biāo)方差"的概念來(lái)恒量該"相似度"，在標(biāo) 注系統(tǒng)啟動(dòng)之前，將系統(tǒng)中的目錄圖片作為訓(xùn)練集，逐一求得該混合比。
當(dāng)需要在數(shù)據(jù)庫(kù)中增加新圖片時(shí)，不但需要將該新增圖片的特征向量提取出 來(lái)放入專門的特征向量數(shù)據(jù)庫(kù)中，還需要對(duì)每張新增的圖像作自動(dòng)標(biāo)注，這是由 于在該系統(tǒng)使用關(guān)鍵字來(lái)表示每張圖片的語(yǔ)義信息。最初始的情況下，所有的圖片被分為257個(gè)類別，每一個(gè)類別的名稱被初始 的標(biāo)注給類別中的所有圖片，例如"house"目錄下的所有圖片在最初始的情況 下都有且僅有一個(gè)"house"的標(biāo)注，其權(quán)重為1。新加入圖片自動(dòng)添加標(biāo)注的 過(guò)程為
(a) 對(duì)于系統(tǒng)中的每一個(gè)目錄，計(jì)算該目錄的代表特征向量，在本系統(tǒng)中， 取的是該目錄下所有特征向量的幾何平均值。
(b) 對(duì)于系統(tǒng)中的每一個(gè)目錄，計(jì)算該目錄的一組代表關(guān)鍵字。在本系統(tǒng) 中，對(duì)于一個(gè)系統(tǒng)下的所有圖片，將其標(biāo)注向量相加，取權(quán)值最大的三個(gè)關(guān)鍵字。
(c) 使用從新增圖片上抽取得到的特征值，然后與每個(gè)目錄的代表特征向 量求相似度，然后將最為相似的那個(gè)目錄的代表關(guān)鍵字賦值給新增圖片，并將新 增圖片放置于該目錄下。
圖像特征向量抽取的算法選擇顏色一致性特征向量抽取算法和Gabor濾波 的特征向量抽取算法。
其中，顏色一致性向量的實(shí)現(xiàn)過(guò)程如下
(a) 對(duì)圖像作模糊化，即使用相鄰像素點(diǎn)的平均值代替該像素原本的顏色 值。這樣做的目的是為了消除一些隨機(jī)的噪音。
(b) 對(duì)圖像的顏色空間作離散化，這樣使得一副圖像中具有n種不同的顏色矩。
(c) 對(duì)每個(gè)像素點(diǎn)根據(jù)它的一致或者非一致性，將它放置于對(duì)應(yīng)的顏色矩 中。 一個(gè)一致的像素點(diǎn)是一大組具有同樣顏色像素區(qū)域的一部份，反之，則是非 一致的像素點(diǎn)。使用計(jì)算圖像連通組件(connected component)的方法來(lái)決定 上述的像素區(qū)域。 一個(gè)連通組件C可以被定義為使具有下面特征像素點(diǎn)的最大 集合，對(duì)于任意的兩個(gè)像素點(diǎn)/7，；/eC ，在C中必有一條連接p與的
路徑，換句話說(shuō)，就是說(shuō)有一串像素點(diǎn)AA,iV..A,P'，來(lái)使得其中的每個(gè)P,， 都是相鄰的。這里把"相鄰"定義為是八個(gè)與該點(diǎn)最為相近的像素點(diǎn)，也
就是說(shuō)這里的"相鄰"還包括了對(duì)角線上的4個(gè)相鄰點(diǎn)。這里只對(duì)某一顏色矩 中的顏色進(jìn)行連通組件的計(jì)算。
(d) 當(dāng)上述過(guò)程完成之后，圖像中的每一像素點(diǎn)都將屬于某一確定的連通組件中。然后根據(jù)這些連通區(qū)域的大小來(lái)決定這些像素點(diǎn)是一致的還是非一致 的，給定一個(gè)閾值r，如果該像素所屬的連通組件的像素點(diǎn)個(gè)數(shù)大于這個(gè)值，則 認(rèn)為該點(diǎn)是一致的，反之，則認(rèn)為是非一致的。
對(duì)于一個(gè)給定的離散顏色值，有一些該顏色的像素為一致的，另一些則是非
一致的。把對(duì)于第j個(gè)顏色矩的一致的像素點(diǎn)個(gè)數(shù)稱作為Oj,把非一致的像素 點(diǎn)個(gè)數(shù)稱作為g 。很清楚的可以看到某一顏色矩的像素點(diǎn)個(gè)數(shù)的總合就是 Oj+pj,則一張圖片的灰度直方圖就可以被描述為是
對(duì)于每一種不同的顏色，計(jì)算得到如下的組對(duì)
把上述的組對(duì)稱作為第j個(gè)顏色的一致性對(duì)。那么顏色一致性向量則可以 以以下的形式表示
Gabor特征向量抽取的實(shí)現(xiàn)如下
(a) 對(duì)圖像作模糊化，即使用相鄰像素點(diǎn)的平均值代替該像素點(diǎn)原本的顏 色值。這樣做的目的是為了消除一些隨機(jī)的噪音。
(b) 對(duì)圖像的顏色空間作離散化，這樣使得一副圖像中具有n種不同的 顏色矩。
(c) 建立Gabor濾波核 <formula>formula see original document page 10</formula>
x = xcos8 + ysin8 y = —xsin6 + ycos6 上述的Gabor函數(shù)將根據(jù)不同的特定參數(shù)波長(zhǎng)A，方向0，相位位移牽，展 弦比y和頻寬o來(lái)計(jì)算得到不同的Gabor濾波核。在Image Annotationl. 0系統(tǒng) 中，經(jīng)過(guò)大量的實(shí)驗(yàn)之后，我們把Gabor濾波核的窗口大小取為9*9，將方向8分別取做為O，〗，〗，，，將頻寬c分別取做為0.3， 0.4， 0.5，將波長(zhǎng)A取作為頻寬
4 2 4'
的倒數(shù)，將相位移固定。最后得到12個(gè)不同的Gabor濾波核。
(d) 使用上述計(jì)算得到的12個(gè)9 * 9的Gabor濾波窗口分別對(duì)圖像做巻積 運(yùn)算，生成12張新的經(jīng)過(guò)Gabor濾波過(guò)后的圖像。
(e) 對(duì)上述12張新圖像作求n維灰度直方圖，對(duì)于每一張輸入圖像最后輸 出一個(gè)12 * n維的特征向量。
特征向量相似度比較算法的實(shí)現(xiàn)采用卡方檢驗(yàn)和JD分離和歐幾里德這三種 方法。
其中，卡方檢驗(yàn)算法實(shí)現(xiàn)過(guò)程如下
卡方檢驗(yàn)是用途很廣的一種假設(shè)檢驗(yàn)方法，主要是比較兩個(gè)及兩個(gè)以上樣本 率以及兩個(gè)分類變量的關(guān)聯(lián)性分析。其根本思想就是在于比較理論期望值和實(shí)際 檢驗(yàn)值之間的吻合程度或者說(shuō)是擬合優(yōu)度問(wèn)題。其應(yīng)用包括有檢驗(yàn)兩個(gè)樣本之間 差別的顯著性；檢驗(yàn)多個(gè)樣本或構(gòu)比之間差比的顯著性；檢驗(yàn)兩個(gè)雙向無(wú)序分類 變量是否存在關(guān)聯(lián)。
對(duì)于輸入特征向量^,v:，卡方檢驗(yàn)的計(jì)算可分為以下幾個(gè)步驟
(a)計(jì)算向量v間的理論期望值，這里我們將這兩個(gè)向量間的幾何中點(diǎn)作 為它們的理論期望值，即
(b)計(jì)算向量v間的卡方統(tǒng)計(jì)值，即
(oteerved — expected)2 — Cv鄉(xiāng)- vemp)2 (v鄉(xiāng)- v，)2 — f fi 平- v3i)2 e鄰erted— vesp —vesp vexpt
JD分離的實(shí)現(xiàn)過(guò)程如下
Kullback-Leibler(KL)分離測(cè)量的是如果將其中的一個(gè)向量作為編碼簿， 令一個(gè)向量使用該編碼后的壓縮程度。對(duì)于兩個(gè)特征向量v》、，它們的Kullback-Leibler (KL)分離計(jì)算公式如下所示
恥、,&) =、、10§7=丄、麵[
其中，= pSn'k22.'"'ife性)
Jeffery(JD)分離是對(duì)Kullback-Leibler(KL)分離的一種改進(jìn)，與KL相比， 它是對(duì)稱的，并且更加穩(wěn)定。對(duì)于兩個(gè)特征向量VpV2，它們的Jeffery(JD)分離 計(jì)算公式如下所示
其中，& = (kii'kw…kn)
a f廣廣 廣、 L +1，2 ，u k12 +! 22k工n"h kscK
v = (k工''"'k J = = (~1~' ^~—' ~1^)
在Image Annotationl. 0中就使用了 JD分離，對(duì)于輸入特征向量^,&，其 計(jì)算可以分為以下幾個(gè)步驟
(a) 計(jì)算向量^,v:間幾何中點(diǎn),
(b) 根據(jù)上述公式求得向量、'^2間的JD距離DO,, v2) 歐幾里德距離實(shí)現(xiàn)過(guò)程如下
歐幾里德距離計(jì)算中所使用的特征向量并不是上述計(jì)算中的圖像特征向量， 而是各特征向量的平均值與標(biāo)方差值。它不僅記錄了兩輸入圖像的顏色平均信 息，還記錄兩張圖片的顏色變化信息。對(duì)于輸入特征向量v,，V2，其計(jì)算可以分
為以下幾個(gè)步驟
(a)對(duì)特征向量v,，^ ，分別計(jì)算它們的幾何平均值<formula>formula see original document page 13</formula>
(b)對(duì)特征向量巧,V2，分別計(jì)算它們的標(biāo)方差
<formula>formula see original document page 13</formula>
(c)對(duì)特征向量巧,^的歐幾里德距離
權(quán)利要求
1、一種基于語(yǔ)義和內(nèi)容的半自動(dòng)圖像標(biāo)注方法，其特征是包括以下步驟(1)建立基于語(yǔ)義和內(nèi)容的反饋圖像檢索系統(tǒng)，該系統(tǒng)的模型用三元組表示為(F，Q，R(fq，fd))，其中F是由數(shù)據(jù)庫(kù)中所有圖像的語(yǔ)義特征向量和內(nèi)容特征向量f構(gòu)成的集合，Q是用戶所表達(dá)的圖像語(yǔ)義和內(nèi)容信息需求的特征集，R(fq，fd))式是計(jì)算fq∈Q，fd∈F得到的相似度，并按照其相似度大小從大到小排列的排列函數(shù)；(2)用戶提交基于關(guān)鍵詞的查詢，系統(tǒng)將關(guān)鍵詞序列轉(zhuǎn)換為一組語(yǔ)義特征向量ωi，每個(gè)關(guān)鍵詞的對(duì)應(yīng)權(quán)值與其出現(xiàn)在查詢序列中的位置成反比，系統(tǒng)使用排列函數(shù)R(fq，fd))對(duì)數(shù)據(jù)庫(kù)中的所有圖像做基于語(yǔ)義的查詢，將查詢結(jié)果按照排序的高低返回給用戶；(3)用戶從查詢結(jié)果中選擇比較滿意的圖像并反饋給系統(tǒng)，系統(tǒng)再次使用排列函數(shù)R(fq，fd))對(duì)數(shù)據(jù)庫(kù)中的所有圖像做基于語(yǔ)義或者基于內(nèi)容或者綜合語(yǔ)義和內(nèi)容的查詢，找出所有與用戶認(rèn)為比較滿意的圖像相似的圖像，并將查詢結(jié)果按照排序的高低返回給用戶，同時(shí)對(duì)每張圖像相對(duì)應(yīng)的標(biāo)注信息的權(quán)值進(jìn)行調(diào)整。
2、 根據(jù)權(quán)利要求1所述的基于語(yǔ)義和內(nèi)容的半自動(dòng)圖像標(biāo)注方法，其特征是所述的內(nèi)容特征向量使用顏色特征向量和紋理特征向量。
3、 根據(jù)權(quán)利要求1或2所述的基于語(yǔ)義和內(nèi)容的半自動(dòng)圖像標(biāo)注方法，其 特征是在步驟(3)做綜合語(yǔ)義和內(nèi)容的查詢時(shí)，將顏色特征向量和紋理特征向量按一定的混合比結(jié)合，然后得到一個(gè)最終的相似度，該混合比可以是用戶隨 自己的需求進(jìn)行設(shè)定，也可以使用系統(tǒng)默認(rèn)的混合比。
4、 根據(jù)權(quán)利要求1所述的基于語(yǔ)義和內(nèi)容的半自動(dòng)圖像標(biāo)注方法，其特征 是在數(shù)據(jù)庫(kù)中，每張圖像與其對(duì)應(yīng)的一組標(biāo)注構(gòu)成語(yǔ)義網(wǎng)絡(luò)，在每張圖片與標(biāo) 注值的鏈路上都賦有一個(gè)用于表示圖片和標(biāo)注值間的相干度的權(quán)值。
5、 根據(jù)權(quán)利要求1或4所述的基于語(yǔ)義和內(nèi)容的半自動(dòng)圖像標(biāo)注方法，其特征是所述權(quán)值采用tf-idf權(quán)值，tf-idf的向量R為:IDIiai p:i其中，lDl是系統(tǒng)中所有圖像的個(gè)數(shù)，ti是與第i個(gè)標(biāo)注所關(guān)聯(lián)圖像的個(gè)數(shù);對(duì)權(quán)值進(jìn)行調(diào)整的具體方法為在每次系統(tǒng)開(kāi)始査詢之前，進(jìn)行一次重新計(jì) 算，得到一個(gè)新的語(yǔ)義權(quán)值向量W-R'.Wt'，將這個(gè)新的權(quán)值向量加到圖像原 來(lái)的語(yǔ)義權(quán)值向量上其中，sw^，,i表示第i張圖像經(jīng)過(guò)調(diào)整后新的語(yǔ)義權(quán)值向量，sw。llU表示第i張圖像未調(diào)整前的語(yǔ)義權(quán)值向量。
6、根據(jù)權(quán)利要求l所述的基于語(yǔ)義和內(nèi)容的半自動(dòng)圖像標(biāo)注方法，其特征 是所述相似度比較算法使用卡方檢驗(yàn)、JD分離和歐幾里德這三種方法。
全文摘要
本發(fā)明公開(kāi)了一種基于語(yǔ)義和內(nèi)容的半自動(dòng)圖像標(biāo)注方法。該標(biāo)注方法包括以下步驟建立基于語(yǔ)義和內(nèi)容的反饋圖像檢索系統(tǒng)，該系統(tǒng)的模型用三元組表示為(F，Q，R(f_q，f_d))；用戶提交基于關(guān)鍵詞的查詢，系統(tǒng)將關(guān)鍵詞序列轉(zhuǎn)換為一組語(yǔ)義特征向量ω_i′，系統(tǒng)使用排列函數(shù)R(f_q，f_d))對(duì)數(shù)據(jù)庫(kù)中的所有圖像做基于語(yǔ)義的查詢，將查詢結(jié)果按照排序的高低返回給用戶；用戶從查詢結(jié)果中選擇比較滿意的圖像并反饋給系統(tǒng)，系統(tǒng)再次使用排列函數(shù)R(f_q，f_d))對(duì)數(shù)據(jù)庫(kù)中的所有圖像做基于語(yǔ)義或者基于內(nèi)容或者綜合語(yǔ)義和內(nèi)容的查詢，找出所有與用戶認(rèn)為比較滿意的圖像相似的圖像，同時(shí)對(duì)每張圖像相對(duì)應(yīng)的標(biāo)注信息的權(quán)值進(jìn)行調(diào)整。本發(fā)明具有效率高、精確度高、交互方式友好的優(yōu)點(diǎn)。
文檔編號(hào)G06F17/30GK101419606SQ20081012224
公開(kāi)日2009年4月29日 申請(qǐng)日期2008年11月13日 優(yōu)先權(quán)日2008年11月13日
發(fā)明者丁艷春, 吳朝暉, 姜曉紅, 鄭清照 申請(qǐng)人:浙江大學(xué)