一種圖像對(duì)象共定位及無(wú)關(guān)樣本判定方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理、計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，是一種圖像對(duì)象共定位及無(wú)關(guān)樣本 判定方法。
【背景技術(shù)】
[0002] 給定可能包含相同類別物體的輸入圖片集，圖像對(duì)象共定位（Co-localization) 主要研究在缺乏標(biāo)注的情景下如何能夠從中定位出相似物體的具體位置，以便更好的，更 快速地自動(dòng)識(shí)別單一類別的物體。對(duì)此首先需要進(jìn)行無(wú)標(biāo)注圖像的對(duì)象性（〇bjectness) 分析研究，在2010年，Alexe等人提出了圖像對(duì)象性的概念，利用顯著前景分析等方法在 沒(méi)有任何標(biāo)注的圖像上提取可能包含對(duì)象的區(qū)域，該方法綜合考慮了顏色對(duì)比度（Color Contrast)，邊緣密度（Edge Density)以及超像素跨度（Superpixels Straddling)，可以對(duì) 無(wú)標(biāo)注的圖像生成多個(gè)檢測(cè)區(qū)域并給出對(duì)象性檢測(cè)得分（Objectness score)。
[0003] 另外需要考慮的是圖像顯著性檢測(cè)，2013年Jiang等人提出了一種區(qū)域特征整合 的顯著性檢測(cè)方法，該方法將顯著性檢測(cè)問(wèn)題看做一個(gè)回歸模型，利用多層圖像分割結(jié)果 十分有效地獲取圖像顯著圖。
[0004] 而在特征優(yōu)化理論方面，最大流最小割定理是圖像處理及計(jì)算機(jī)視覺(jué)領(lǐng)域的常用 分析算法。最大流最小割定理指：假設(shè)N = (V，e)是一個(gè)有向圖，其中結(jié)點(diǎn)S和t分別是N的 起點(diǎn)和終點(diǎn)。在一個(gè)網(wǎng)絡(luò)流中，能夠從起點(diǎn)到達(dá)終點(diǎn)的最大流量，等于如果從網(wǎng)絡(luò)中移除就 能夠?qū)е戮W(wǎng)絡(luò)流中斷的邊的集合的最小容量和。網(wǎng)絡(luò)流定義f定義為|f| = sum {f(s，v)}， 代表從源點(diǎn)流入?yún)R點(diǎn)的流量。最大流問(wèn)題即是求得|f|的最大值。在比率函數(shù)的應(yīng)用與優(yōu) 化方面，2014年Bai等人提出了一種結(jié)合用戶輸入與使用比率能量函數(shù)優(yōu)化graph cut圖 像分割結(jié)果的方法。該方法中對(duì)于比率函數(shù)：

，則可將比率能量函數(shù)改寫為如下線性形式：
[0008] 改寫之后的線性形式，可以使用牛頓迭代法對(duì)比率能量函數(shù)進(jìn)行迭代優(yōu)化，而且 有較高的迭代效率，且可以獲得穩(wěn)定的等價(jià)最優(yōu)解。
[0009] 在相關(guān)技術(shù)方面，2010年，Alexe等人提出了圖像對(duì)象性的概念，利用顯著前景分 析等方法在沒(méi)有任何標(biāo)注的圖像上提取可能包含對(duì)象的區(qū)域，該方法綜合考慮了顏色對(duì)比 度（Color Contrast)。2010年Shai Bagon等人提出了一種物體協(xié)同檢測(cè)與素描生成方 法。輸入少量包含同一物體的圖片，可以檢測(cè)出其中包含的物體并且給出一個(gè)二值的草圖。 該算法由兩部分組成：（1)通過(guò)所有輸入圖片檢測(cè)出一個(gè)相互一致的總體性的"自相似描 述子"(self-similar)。（2)找到這樣一個(gè)全體性描述子之后，經(jīng)過(guò)轉(zhuǎn)化精煉得到一個(gè)最能 表現(xiàn)該對(duì)象的草圖。這些草圖適用于檢測(cè)，檢索，協(xié)同分割，以及繪圖等。在圖結(jié)構(gòu)應(yīng)用方 面，2012年Thomas Deselaers等在IJCV上的論文中提出了一種基于屬性知識(shí)的弱監(jiān)督學(xué) 習(xí)和定位方法。該方法首先提供一些經(jīng)過(guò)弱標(biāo)注（Weakly Supervised Localization)的 圖片，物體定位信息并沒(méi)有給出，弱監(jiān)督學(xué)習(xí)需要學(xué)習(xí)一個(gè)物體類別模型，可以被用來(lái)決定 一張測(cè)試圖片是否包含一個(gè)類別甚至將其定位出來(lái)。方法中的定位模型是一個(gè)稠密的CRF 模型。其中每個(gè)訓(xùn)練圖片都是一個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)空間大小足以包含圖片內(nèi)的窗口集。其中的 單點(diǎn)勢(shì)能（Unary potential)測(cè)量的是一個(gè)窗口包含一個(gè)種類物體的可能性，而對(duì)于成對(duì) 點(diǎn)勢(shì)能（Pairwise potential)則是表示兩個(gè)窗口是否包含同一未知類別的物體。
[0010] 2014年澳大利亞國(guó)立大學(xué)的Zeeshan Hayder等人發(fā)明了 一種通過(guò)建立一個(gè) 稠密的條件隨機(jī)場(chǎng)并進(jìn)行協(xié)同檢測(cè)的方法，該方法旨在利用整個(gè)圖像集的協(xié)同信息解決 co-detection的問(wèn)題，其中關(guān)鍵的步驟在于建立了一個(gè)以代表物體之間相似性為邊緣值的 CRF模型。該方法學(xué)習(xí)一個(gè)相似函數(shù)使得可以更有效率地進(jìn)行能效推斷，這與之前許多方法 利用貪婪性算法進(jìn)行搜索計(jì)算不同。首先該方法給出了一些物體代表區(qū)域，利用事先訓(xùn)練 的檢測(cè)器在保證高度查全率的基礎(chǔ)上進(jìn)行物體檢測(cè)，然后將檢測(cè)結(jié)果輸入全連接的CRF模 型，最終計(jì)算優(yōu)化結(jié)果。2014年，Kevin Tang等人提出了一種對(duì)真實(shí)圖像進(jìn)行共定位的方 法，該方法運(yùn)用了一種圖片與包圍盒相結(jié)合的模型來(lái)進(jìn)行聯(lián)合求解。首先對(duì)輸入圖片進(jìn)行 對(duì)象窗口顯著性分析（〇b jectness measure)，然后生成對(duì)象包圍盒，將原始輸入圖片和包 圍盒（Bounding boxes)信息分別輸入各自模型進(jìn)行處理。最后將兩者進(jìn)行聯(lián)合求解得到 最佳的包圍盒信息。包含物體的包圍盒標(biāo)注為1，不包含物體的包圍盒標(biāo)注0。組合兩個(gè)模 型時(shí)，需要依靠圖像模型來(lái)防止包圍盒模型受到無(wú)關(guān)樣本的干擾，且模型中需要引入對(duì)每 個(gè)包圍盒的先驗(yàn)信息來(lái)判斷無(wú)關(guān)樣本。

【發(fā)明內(nèi)容】

[0011] 根據(jù)上述實(shí)際需求和關(guān)鍵問(wèn)題，本發(fā)明的目的在于：提出了一種圖像對(duì)象共定位 及無(wú)關(guān)樣本判定方法，在標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集上有良好的表現(xiàn)。
[0012] 為完成本發(fā)明的目的，本發(fā)明采用的技術(shù)方案是：圖像對(duì)象共定位及無(wú)關(guān)樣本判 定方法，主要包括如下步驟：
[0013] (1)給定由η張圖片組成的可能包含同一類物體的圖片集：11= 對(duì)每張圖像?使用對(duì)象性分析（〇bjectness measure)，對(duì)象性分析主要用于對(duì)無(wú)標(biāo)注圖像 提取假設(shè)區(qū)域，在每輸入圖像上得到K個(gè)對(duì)象假設(shè)區(qū)域，總共n*K個(gè)假設(shè)區(qū)域，每個(gè)區(qū)域的 對(duì)象性檢測(cè)得分為八/G= I么…人）_·.對(duì)每個(gè)對(duì)象假設(shè)區(qū)域賦予一個(gè)二值變量 = 1，2,…，n ;j = 1，2,…，Κ)，1表示第i張圖像中的第j個(gè)對(duì)象區(qū)域被選中， Χ?^= 0則表示該區(qū)域被認(rèn)為是無(wú)關(guān)樣本排除。
[0014] (2)對(duì)給定的圖片集中的所有圖像的每個(gè)像素點(diǎn)均生成128維的dense sift 特征，后利用Kmeans算法生成1000維的特征字典。根據(jù)特征字典對(duì)于每個(gè)區(qū)域均可得 到1000維的Bag-of-words特征直方圖，每個(gè)區(qū)域的特征表示為4 j (i = 1，2,…，η ; j = 1，2,…，K)，& ,表示第i張圖像中的第j個(gè)對(duì)象區(qū)域的特征，將所有特征組合表示為矩陣 形式，可以得到特征矩陣D。
[0015] (3)對(duì)給定的圖片集中的所有圖像生成顯著圖，顯著圖以灰度圖像表示。通過(guò)計(jì) 算第i張圖像中的第j個(gè)對(duì)象區(qū)域的的平均灰度得到每個(gè)區(qū)域顯著性檢測(cè)得分項(xiàng)\ , (i = 1，2,…，n ;j = 1，2,…，Κ) 〇
[0016] (4)通過(guò)以下幾步構(gòu)建全連接的圖結(jié)構(gòu)關(guān)系，以比率函數(shù)形式：
[0017] 1、計(jì)算區(qū)域總得分項(xiàng)作為頂點(diǎn)懲罰值（unary cost)，得到區(qū)域?qū)ο笮缘梅忠约帮@ 著性得分后，第i張圖像中的第j個(gè)對(duì)象區(qū)域的總得分項(xiàng)uu的計(jì)算方式如下：
[0019] 其中a、,為顯著性得分，Φ i,為對(duì)象性檢測(cè)得分，μ為大于0小于1的調(diào)節(jié)系數(shù)， 為最終的總得分。
[0020] 2、計(jì)算區(qū)域特征距離的函數(shù)作為邊懲罰值（pairwise cost)，對(duì)于所有區(qū)域的特 征距離矩陣S的計(jì)算公式如下：
[0022] 其中，fkl、fk2分別為第k p k2個(gè)假設(shè)區(qū)域的特征向量。γ為特征系數(shù)，取值為 (10d) 1/2,其中d為特征維度，取值為1000。特征距離的計(jì)算使用到了卡方距離，卡方距離 公式如下：
[0024] 3、在計(jì)算得到特征距離矩陣S后，為了便于進(jìn)行優(yōu)化計(jì)算，引入拉普拉斯矩陣轉(zhuǎn) 換，將特征矩陣S改寫為正定矩陣L。拉普拉斯矩陣的計(jì)算公式為L(zhǎng) = I-D1/2SD1/2,其中I 單位矩陣，D為度矩陣，S為特征矩陣。由于拉普拉斯矩陣是正定的，該優(yōu)化問(wèn)題化解成為一 個(gè)求解凸函數(shù)的過(guò)程，可以進(jìn)行有效求解。根據(jù)拉普拉斯矩陣和總得分項(xiàng)得到的二次優(yōu)化 問(wèn)題：
[0028] 優(yōu)化式的最終解X為{0, 1}二值向量。對(duì)于單張圖片中所有的區(qū)域的解之和，加 以一個(gè)約束向量v，使得每張圖像中的區(qū)域解
目的在于進(jìn)行無(wú)關(guān)樣本判定。如 此，將二次優(yōu)化式改寫為比率函數(shù)形式：

[0032] 比率函數(shù)形式的含義在于最小化能量懲罰項(xiàng)的同時(shí)使得每張圖像上所有的假設(shè) 區(qū)域的解盡可能偏大，防止〇解。
[0033] (5)在將表達(dá)式改寫成為比率函數(shù)形式之后，為了便于計(jì)算，將自變量松弛為0到 1之間的連續(xù)值，同時(shí)將約束向量也作為自變量加入優(yōu)化式中，比率函數(shù)變?yōu)椋?br>[0037] 其中新自變量y = [x;v]，Lext表示為0元素?cái)U(kuò)展后的拉普拉斯矩陣，uext為0元 素?cái)U(kuò)展后的區(qū)域得分向量，Μ為常量，c是系數(shù)矩陣使得