一種基于優(yōu)化視覺詞袋信息量權(quán)重的圖像概念檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像概念檢測技術(shù)領(lǐng)域，尤其涉及一種基于優(yōu)化視覺詞袋信息量權(quán)重 的圖像概念檢測方法。
【背景技術(shù)】
[0002] 作為基于內(nèi)容的圖像檢索的基本步驟，近年來，圖像概念檢測得到了深入的研宄， 學者們提出了不同的方法和特征。由于其在捕捉圖像局部信息方面的能力，視覺詞袋特征 (Bag-of-Visual-Words，BoW)獲得了巨大成功并被廣泛應用。
[0003] 視覺詞袋來源于文本詞袋模型，將"詞袋"引入到圖像分析與檢索研宄的基本思 想是將圖像的局部視覺特征對應文本中的"單詞"概念，將一副圖像看作是一篇由"視覺單 詞"組成的文檔。在傳統(tǒng)的視覺詞袋特征提取過程中，首先檢測圖像的局部興趣點（Local Interest Points，也稱關(guān)鍵點），并米用 SIFT (Scale Invariant Feature Transform，尺度 無關(guān)特征變換）進行描述，再將局部興趣點聚類到不同組，形成視覺詞典，每一個類對應一 個視覺單詞。圖3描繪了視覺詞典的構(gòu)建過程。對于一個待檢測圖像，提取其中的關(guān)鍵點， 并將每一個關(guān)鍵點映射到最近的視覺單詞。然后統(tǒng)計每個單詞對應的關(guān)鍵點的數(shù)目，形成 該圖像在視覺詞典上的直方圖，用于描述圖像內(nèi)容。最后用機器學習的方法訓練分類器，檢 測和識別圖像中的概念。
[0004] 視覺詞典的典型大小一般是200到5000,而每一個圖像所含關(guān)鍵點的數(shù)目從幾十 個到幾千個不等。實際上，一個概念的視覺信息不可能在整個詞匯表上均勻分布。對于特定 概念的檢測，一些視覺單詞可能包含更多信息，而其他視覺單詞可能是噪聲。例如圖3中， 視覺單詞vl包含一個車輪的圖像碎片，對于檢測汽車或車輛這樣的概念非常重要，而對于 人物概念的檢測或許沒有作用。類似地，v2的出現(xiàn)表示這是一個人或人臉的可能性較大， 而汽車概念和視覺單詞v2之間的聯(lián)系比較弱。
[0005] 對于一個概念的檢測，傳統(tǒng)的BoW模型對每一個視覺單詞都平等對待。由于以下 兩個方面因素，導致視覺單詞的區(qū)分能力受到嚴重削弱：1) 一般圖像中的圖像背景極其復 雜，除了與概念相關(guān)的對象和場景，還包含許多其他無關(guān)的視覺信息。所以，基于整個詞典 的BoW特征很容易有噪聲。2)在目前大多數(shù)的數(shù)據(jù)集中，很多概念的正類樣本數(shù)量有限，一 些概念只有幾十個正類樣本。所以，沒有足夠可用的數(shù)據(jù)，去噪很困難。
[0006] 基于以上原因，對基于BoW特征的概念檢測，需要選擇比較重要或信息量豐富的 單詞。傳統(tǒng)的加權(quán)方法如 TF-IDF (Term Frequency-Inverse Document Frequency，特征頻 率一逆文檔頻率）在信息檢索方面證實有效，但對于在概念檢測中衡量一個視覺單詞對某 個特殊概念的重要性而言，它并不適合。首先，由于圖像的背景包含很多噪聲，幾乎每個概 念的正類中都能發(fā)現(xiàn)視覺詞典中的所有單詞，意味著不同視覺單詞的DF幾乎相同。所以 視覺單詞的DF不能傳達足夠的有用信息。其次，對于一個概念的檢測，視覺單詞的重要程 度依賴于它的信息量而不是頻率。例如，圖1中，詞vl的出現(xiàn)對于檢測汽車很重要。雖然 只有一個關(guān)鍵點分配給vl，但它比背景中分配到v3的那些關(guān)鍵點更重要。此外，由于缺乏 正類樣本，TF-IDF方法中計算的統(tǒng)計信息通常不可靠。
[0007] 因此，亟需一種能夠在基于視覺詞袋特征的圖像概念檢測中，對不同的概念針對 性地選擇不同的視覺單詞描述圖像內(nèi)容的方法，根據(jù)其相關(guān)程度，給不同視覺單詞賦予不 同的權(quán)重。將該方法運用于圖像概念檢測中，從而提高圖像概念檢測的性能。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明提出了一種基于優(yōu)化視覺詞袋信息量權(quán)重的圖像概念檢測方法，包括如下 步驟：
[0009] 步驟一：檢測一組訓練圖像的局部興趣點，通過尺度無關(guān)特征變換和聚類得到一 個以上視覺單詞，從而構(gòu)建視覺詞典；
[0010] 步驟二：利用所述視覺詞典產(chǎn)生所述訓練圖像的視覺詞袋特征向量，用于描述圖 像所含視覺信息；
[0011] 步驟三：對于給定的概念配置每個視覺詞典的權(quán)重值，形成權(quán)重向量，并利用所述 權(quán)重向量改寫并優(yōu)化支持向量機的內(nèi)核；
[0012] 步驟四：優(yōu)化所述權(quán)重向量，直至所述內(nèi)核與最優(yōu)核之間的內(nèi)核對齊得分最大時 為止，得到優(yōu)化后的權(quán)重向量；
[0013] 步驟五：利用所述權(quán)重向量配置支持向量機，利用所述支持向量機對所述待檢測 圖像進行圖像概念檢測。
[0014] 本發(fā)明提出的所述基于優(yōu)化視覺詞袋信息量權(quán)重的圖像概念檢測方法中，步驟三 中對于給定的概念根據(jù)不同視覺單詞對該概念檢測的重要性配置權(quán)重值，改寫支持向量機 內(nèi)核的徑向基核函數(shù)以如下公式表示：
[0015]
【主權(quán)項】
1. 一種基于優(yōu)化視覺詞袋信息量權(quán)重的圖像概念檢測方法，其特征在于，包括如下步 驟： 步驟一：檢測一組訓練圖像的局部興趣點，通過尺度無關(guān)特征變換和聚類得到一個以 上視覺單詞，從而構(gòu)建視覺詞典； 步驟二：利用所述視覺詞典產(chǎn)生所述訓練圖像的視覺詞袋特征向量，用于描述圖像所 含視覺信息； 步驟三：對于給定的概念配置每個視覺詞典的權(quán)重值，形成權(quán)重向量，并利用所述權(quán)重 向量改寫并優(yōu)化支持向量機的內(nèi)核； 步驟四：優(yōu)化所述權(quán)重向量，直至所述內(nèi)核與最優(yōu)核之間的內(nèi)核對齊得分最大時為止， 得到優(yōu)化后的權(quán)重向量； 步驟五：利用所述權(quán)重向量配置支持向量機，利用所述支持向量機對所述待檢測圖像 進行圖像概念檢測。
2. 如權(quán)利要求1所述的基于優(yōu)化視覺詞袋信息量權(quán)重的圖像概念檢測方法，其特征在 于，步驟三中對于給定的概念根據(jù)不同視覺單詞對該概念檢測的重要性配置權(quán)重值，改寫 支持向量機內(nèi)核的徑向基核函數(shù)以如下公式表示： Kij = exp (- σ ·公11=1 Wtn . (Xjm-Xjm)2)，其中，W = [wl，w2…wc]，= 1; 式中，Kij表示支持向量機的核函數(shù)，σ是一個自由參數(shù)，Wi表示權(quán)重向量w中對應第 i個視覺單詞的權(quán)重值，c表示視覺詞典中單詞個數(shù)，m表示視覺單詞編號，m的取值范圍為 [1，c]。
3. 如權(quán)利要求1所述的基于優(yōu)化視覺詞袋信息量權(quán)重的圖像概念檢測方法，其特征在 于，所述內(nèi)核對齊得分用于衡量所述內(nèi)核與最優(yōu)核的對其程度，所述內(nèi)核對齊得分以如下 公式表示：
式中，Ku表示支持向量機中用核函數(shù)計算的第i和第j個圖像樣本間的距離，Ν'是歸 一數(shù)值，IdP L分別表示第i和第j個圖像樣本是否含有給定概念，N IP N +分別表示負類 樣本和正類樣本的數(shù)量，％和&』根據(jù)數(shù)據(jù)集中正負樣本的數(shù)量比在計算內(nèi)核對齊得分時對 樣本i和j的貢獻進行調(diào)整。
4. 如權(quán)利要求1所述的基于優(yōu)化視覺詞袋信息量權(quán)重的圖像概念檢測方法，其特征在 于，所述步驟四中，利用梯度下降法優(yōu)化所述權(quán)重向量，其優(yōu)化過程包括如下步驟： 步驟al :初始化每個視覺單詞的權(quán)重值w和支持向量機中的自由參數(shù)σ，并計算該初 始權(quán)重向量條件下的內(nèi)核對齊得分，所述自由參數(shù)σ以如下公式表示：
式中，c表示視覺詞典中單詞個數(shù)，Wi為第i個視覺單詞的權(quán)重值，Ν'是權(quán)利要求3中 得到的歸一數(shù)值，Xim和X >分別表示第i和第j個圖像樣本中分配到第m個視覺單詞的特 征點的數(shù)量； 步驟a2 :計算內(nèi)核對齊得分關(guān)于每個權(quán)重值的偏導數(shù)，并根據(jù)所述偏導數(shù)優(yōu)化每個視 覺單詞的權(quán)重值W和所述自由參數(shù)σ ; 步驟a3 :更新權(quán)重值w和自由參數(shù)σ ; 步驟a4:利用更新后的權(quán)重值w和自由參數(shù)〇重新計算內(nèi)核對齊得分，若更新前后內(nèi) 核對齊得分相等，則重新進行步驟a2至步驟a4進行更新，直至更新前后內(nèi)核對其得分的差 異與原數(shù)值的比值小于閾值時為止，得到優(yōu)化的權(quán)重值w和自由參數(shù) 〇。
5. 如權(quán)利要求4所述的基于優(yōu)化視覺詞袋信息量權(quán)重的圖像概念檢測方法，其特征在 于，步驟a3中更新后的權(quán)重值以如下公式表示：
乃S 式中，《111表示視覺單詞原有權(quán)重值，^表示內(nèi)核對齊得分關(guān)于權(quán)重值的偏導數(shù)，δ￥表 示每次權(quán)重更新的步長；其中，進一步對更新后的權(quán)重W m進行歸一化，得到歸一化的權(quán) 重值Wm，
式中，k表示視覺單詞，wm為視覺單詞新的權(quán)重值。
6. 如權(quán)利要求4所述的基于優(yōu)化視覺詞袋信息量權(quán)重的圖像概念檢測方法，其特征在 于，步驟a3中更新后的自由參數(shù)〇以如下公式表示：
式中，￡表示內(nèi)核對齊得分關(guān)于自由參數(shù)σ的偏導數(shù)，δ。表示更新自由參數(shù)〇的步 長。
7. 如權(quán)利要求4所述的基于優(yōu)化視覺詞袋信息量權(quán)重的圖像概念檢測方法，其特征在 于，所述步驟a4中，所述閾值為0.5%。
【專利摘要】本發(fā)明公開了一種基于優(yōu)化視覺詞袋信息量權(quán)重的圖像概念檢測方法，包括如下步驟：檢測一組訓練圖像的局部興趣點，通過尺度無關(guān)特征變換和聚類得到一個以上視覺單詞構(gòu)建視覺詞典；利用視覺詞典產(chǎn)生訓練圖像的視覺詞袋特征向量；對于給定的概念配置每個視覺詞典的權(quán)重值，形成權(quán)重向量，并利用權(quán)重向量改寫并優(yōu)化支持向量機的內(nèi)核；優(yōu)化權(quán)重向量，直至內(nèi)核與最優(yōu)核之間的內(nèi)核對齊得分最大時為止，得到優(yōu)化后的權(quán)重向量；利用權(quán)重向量配置支持向量機，利用支持向量機對待檢測圖像進行圖像概念檢測。本發(fā)明根據(jù)視覺單詞的重要程度不同賦予其不同的權(quán)重，提高了概念檢測的性能，進一步發(fā)揮視覺詞袋特征的區(qū)分能力，從而提高圖像概念檢測的性能。
【IPC分類】G06F17-30
【公開號】CN104657427
【申請?zhí)枴緾N201510035323
【發(fā)明人】王峰, 黃慶亞
【申請人】華東師范大學
【公開日】2015年5月27日
【申請日】2015年1月23日