本發(fā)明涉及多媒體領(lǐng)域圖像匹配技術(shù)和圖像分割技術(shù)，尤其涉及一種創(chuàng)新圖像局部特征提取方案。

背景技術(shù)：

前景提取(foregroundextraction)指的是從一幅靜態(tài)圖像或者一陣視頻圖像中提取出任意形狀的前景對象，傳統(tǒng)的前景提取技術(shù)需要用戶標(biāo)注前景像素點或區(qū)域，通過對區(qū)域的像素分析，得出圖像中目標(biāo)的大致輪廓。

目前,最常用的前景提取方案包括如下幾種：

1)顯著性檢測

通過對圖像的顏色、亮度、方向等全局特征提取圖像的顯著圖模型，可以反映圖像中最能引起用戶興趣，最能表現(xiàn)圖像內(nèi)容的區(qū)域。

顯著性特征檢測問題來源于計算機模擬人類視覺，以期達到人眼對物體選擇的能力。在顯著性檢測模型中低級視覺起到了十分重要的作用，比如顏色、方向、亮度、紋理和邊緣等等。

相對于其他視覺特征，人眼對圖像的顏色信息更加敏感，所以顏色特征的統(tǒng)計在計算機視覺中尤其重要。有兩種顏色特征計算的方法被廣泛的應(yīng)用到顯著性檢測中:第一類是建立顏色直方圖，然后對比直方圖之間的差異，第二類是對圖像進行分塊，把每塊圖像內(nèi)部的顏色平均值與其他色塊進行比較，以此得到顏色顯著度；亮度也是圖像中最基本的視覺特征，在顯著圖檢測模型中，計算亮度特征的時，通過提取局部特征區(qū)域亮度分量的統(tǒng)計值來表示該區(qū)域整體的亮度特征，然后通過與其他區(qū)域的對比得到圖像的亮度顯著度；方向特征反應(yīng)物體表面的本質(zhì)特征，在圖像的顯著檢測中的方向特征計算主 要是gabor能量法，可以很好地模擬人類視覺系統(tǒng)的多通道和多分辨率的特征。

顯著圖的特征基于圖像的全局特征，能夠很好的模擬人眼感興趣區(qū)的特征，但是存在以下不足：首先，顯著區(qū)域的選擇是非常主觀的，由于不同用戶的需求，同一幅圖像的感興趣區(qū)域可能有較大的差異性；其次，顯著性特征基于圖像的全局特征，對目標(biāo)的局部變化魯棒性較低。并且在應(yīng)用中，該方法需要人工干預(yù)標(biāo)記目標(biāo)區(qū)域的全局特征塊，在簡單地少數(shù)圖像處理的情況下，該方法還有實用空間。但是隨著搜索引擎以及網(wǎng)絡(luò)的發(fā)展，數(shù)據(jù)的容量以爆炸式增長，少數(shù)圖像的處理方法已經(jīng)遠無法滿足用戶的急切需求，然而傳統(tǒng)的方法因為人工干預(yù)很難在龐大的圖像數(shù)據(jù)庫中展現(xiàn)出合格的結(jié)果。因此自動的前景匹配算法是現(xiàn)當(dāng)代圖像處理領(lǐng)域急切需求的方法。

2)幀差分方法

通常利用圖像序列中相鄰的幀圖像之間做差來提取出圖像中的運動區(qū)域。將相鄰兩幀的圖像序列進行灰度化處理，然后矯正在同一坐標(biāo)系當(dāng)中，在進行差分運算，灰度不發(fā)生變化的背景部分將被剪除掉。由于感興趣區(qū)域大多為運動目標(biāo)，所以經(jīng)過差分運算可以得到灰度發(fā)生變化的區(qū)域輪廓，也就是感興趣區(qū)域的大致輪廓。從而確定前景圖像。

相鄰的幀差分方法能夠很好地解決在簡單場景視頻序列中的前景提取問題，但是由于相鄰的幀差分方法需求輸入連續(xù)的視頻相鄰的幀序列，因此很難應(yīng)用到靜態(tài)圖像的處理中。其次對于復(fù)雜的背景或者變化的背景，幀差分方法的魯棒性較低。

從上述內(nèi)容可以看出，針對靜態(tài)圖像提出的基于圖像顯著特征圖來獲取大致前景區(qū)域的方法利用圖像的全局特征，無法考慮到圖像的局部細節(jié)，魯棒性較差。而由于背景的復(fù)雜程度，和圖像的相似程度等原因，對象的前景輪廓可能會有細小的瑕疵，因此需要再次提高算法的精確程度。

技術(shù)實現(xiàn)要素：

本發(fā)明公開了一種基于圖像匹配的前景分割方法，可以解決現(xiàn)有圖像匹配的自動前景分割中準(zhǔn)確性低的問題。

本發(fā)明公開了一種基于圖像匹配的前景分割方法，包括：

分別取兩幅輸入圖像的局部特征，根據(jù)提取的局部特征信息進行關(guān)鍵點的匹配；

從得到的關(guān)鍵點的匹配點中篩除錯誤匹配點得到所有正確的匹配點；

使用聚類分析從所有正確的匹配點中得出前景目標(biāo)上的特征點群組；

根據(jù)所得出的特征點群組，利用圖片分割算法得出圖片中的前景目標(biāo)。

可選地，上述方法中，取兩幅輸入圖像的局部特征的過程包括：

將用戶輸入的兩幅圖片進行灰度化處理，使用surf特征提取圖片的局部特征信息。

可選地，上述方法中，根據(jù)提取的局部特征信息進行關(guān)鍵點的匹配的過程包括：

使用近鄰算法確定兩幅輸入圖像中第一輸入圖像中的關(guān)鍵點在第二輸入圖像中對應(yīng)的匹配點。

可選地，上述方法中，從得到的關(guān)鍵點的匹配點中篩除錯誤匹配點得到所有正確的匹配點的過程包括：

配置尺度比例sr和方向oa，根據(jù)之前匹配所得到的結(jié)果，計算兩幅輸入圖像中第一輸入圖像中的關(guān)鍵點與第二輸入圖像中的匹配點的尺度比例以及方向比例，并以此構(gòu)建如下二維數(shù)組：

p＝{〈sr1,oa1〉,〈sr2,oa2〉…〈srn,oan〉}

其中，

進行匹配點的篩選。

可選地，上述方法中，使用聚類分析從所有正確的匹配點中得出前景目標(biāo)上的特征點群組的過程包括：

采用如下算法隨機選取k個聚類之心點(clustercentroids)為

對于每一個樣例i，計算到k個種子點的距離，距離種子點μn最近的點屬于μn點群，其中，按照如下公式計算128維sift特征空間中的歐氏距離；

將每一個點群的μn種子點移動到該點群的中心，

重復(fù)計算各種點的距離，直到每一個類的中心逐漸穩(wěn)定，得到前景點群和背景種子點群。

本發(fā)明還公開了一種基于圖像匹配的前景分割裝置，包括：

第一單元，分別取兩幅輸入圖像的局部特征，根據(jù)提取的局部特征信息進行關(guān)鍵點的匹配；

第二單元，從得到的關(guān)鍵點的匹配點中篩除錯誤匹配點得到所有正確的匹配點；

第三單元，使用聚類分析從所有正確的匹配點中得出前景目標(biāo)上的特征點群組；

第四單元，根據(jù)所得出的特征點群組，利用圖片分割算法得出圖片中的前景目標(biāo)。

可選地，上述裝置中，所述第一單元取兩幅輸入圖像的局部特征包括：

將用戶輸入的兩幅圖片進行灰度化處理，使用surf特征提取圖片的局部特征信息。

可選地，上述裝置中，所述第一單元根據(jù)提取的局部特征信息進行關(guān)鍵點的匹配包括：

使用近鄰算法確定兩幅輸入圖像中第一輸入圖像中的關(guān)鍵點在第二輸入圖像中對應(yīng)的匹配點。

可選地，上述裝置中，所述第二單元從得到的關(guān)鍵點的匹配點中篩除錯誤匹配點得到所有正確的匹配點包括：

配置尺度比例sr和方向oa，根據(jù)之前匹配所得到的結(jié)果，計算兩幅輸入圖像中第一輸入圖像中的關(guān)鍵點與第二輸入圖像中的匹配點的尺度比例以及方向比例，并以此構(gòu)建如下二維數(shù)組：

p＝{〈sr1,oa1〉,〈sr2,oa2〉…〈srn,oan〉}

其中，

進行匹配點的篩選。

可選地，上述裝置中，所述第三單元使用聚類分析從所有正確的匹配點中得出前景目標(biāo)上的特征點群組包括：

采用如下算法隨機選取k個聚類之心點(clustercentroids)為

對于每一個樣例i，計算到k個種子點的距離，距離種子點μn最近的點屬于μn點群，其中，按照如下公式計算128維sift特征空間中的歐氏距離；

將每一個點群的μn種子點移動到該點群的中心，

重復(fù)計算各種點的距離，直到每一個類的中心逐漸穩(wěn)定，得到前景點群 和背景種子點群。

與顯著圖方法相比，采用本申請技術(shù)方案可以客觀的得出圖片中的前景目標(biāo)，使得結(jié)果更加準(zhǔn)確直觀，能夠替代傳統(tǒng)的人機交互方法，減少了整體時間，提高效率，并且在實驗數(shù)據(jù)集中可以得到較好的實驗結(jié)果。同時解決了圖像中的局部特征信息丟失的問題，提高了方法的魯棒性。相比相鄰的幀差分方法，尤其適用靜態(tài)圖片，提高了前景分割輪廓的準(zhǔn)確性。

附圖說明

圖1是本發(fā)明實施例提供的自動前景提取技術(shù)的總流程圖；

圖2是本發(fā)明實施例中采用的圖像分割原理示意圖；

圖3是采用本發(fā)明實施例測試圖片及前景分割結(jié)果示意圖；

圖4是本發(fā)明聚類分析實例示意圖；

圖5(a)、圖5(b)、圖5(c)和圖5(d)是本發(fā)明實施例中輸入的四幅圖的特征點提取示意圖。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，下文將結(jié)合具體實施方式對本發(fā)明技術(shù)方案作進一步詳細說明。需要說明的是，在不沖突的情況下，本申請的實施例和實施例中的特征可以任意相互組合。

實施例1

本申請發(fā)明人發(fā)現(xiàn)目前的自動前景分割方案主要著眼于視頻連續(xù)幀的特征提取，又或者聯(lián)合用戶干預(yù)及全局特征的靜態(tài)圖像前景提取。而本申請?zhí)岢隹梢圆捎秒p圖像聯(lián)合自動前景提取手段，即提取圖片的局部特征，通過特征點匹配，聚類分析，得到前景區(qū)域，再使用圖片分割算法，實現(xiàn)對前景圖像的自動分割方法。其中，局部特征，指一些局部才會出現(xiàn)的特征，其能夠 穩(wěn)定出現(xiàn)并且具有良好的可區(qū)分性的一些點。與方差、顏色等全局特征不同，局部特征能夠更好地總結(jié)圖像所攜帶的信息，減少計算量并且提升算法的抗干擾能力。

基于上述思想，本實施例提供一種基于圖像匹配的前景分割方法，主要包括如下操作：

步驟100：特征匹配；

該步驟主要包括兩部分操作，首先，分別取兩幅輸入圖像的局部特征；

然后根據(jù)提取的局部特征進行關(guān)鍵點的匹配；

本實施例中所涉及的圖像局部特征(localfeatures)，不同于圖像的全局特征(globalfeatures)，是一些局部才會出現(xiàn)的特征。在物體受到遮擋的情況下，仍然穩(wěn)定存在的一些特征點，能夠簡單、準(zhǔn)確的描述衣服圖像的特征，如harris、sift、surf、fast。

步驟200：匹配點篩選；

其中，可以根據(jù)匹配點的尺度比例和旋轉(zhuǎn)方向比例篩選掉錯誤匹配點；

步驟300：前景圖像提取。

其中，先使用聚類分析得出前景目標(biāo)上的特征點群組；

再根據(jù)所得出的特征點群組，利用圖片分割算法得出圖片中的前景目標(biāo)。

要說明的是，本實施例所涉及的聚類分析：指將數(shù)據(jù)分類到不同的類或簇的一個過程，同一個簇中的數(shù)據(jù)具有很高的相似性；而在不同的簇之間，數(shù)據(jù)有很大的向異性。是一種無監(jiān)督式學(xué)習(xí)的過程，不依賴事先定義的類或帶標(biāo)記的訓(xùn)練實例，如k-means。

本實施例所涉及的圖像分割：是將圖像分割成若干個特定的、具有獨特性質(zhì)的區(qū)域并提出感興趣目標(biāo)的技術(shù)和過程。如基于閥值分割、基于區(qū)域分割、基于邊緣分割以及基于特定的理論分割。

而本實施例采用聚類分析，是因為此分析可以將抽象的關(guān)鍵點信息轉(zhuǎn)換成前景區(qū)域，從而給接下來的圖像分割技術(shù)提供了支持，使得圖像匹配技術(shù)與分割技術(shù)的聯(lián)合應(yīng)用，實現(xiàn)對傳統(tǒng)的人工交互的圖像分割技術(shù)的提升。

下面結(jié)合附圖說明上述方法的具體實施。

上述方法的具體實現(xiàn)原理如圖1所示。通過對原有輸入圖像的原始特征進行聚類算法，得出前景物體的建議區(qū)域，最后通過圖割方法對圖像進行整體的前景分割。操作過程包括：

第一步：輸入圖片特征匹配；

局部特征提取

將用戶輸入的圖片進行灰度化處理。使用surf(speeduprobustfeature)特征提取圖片的局部特征信息，如圖5。

關(guān)鍵點的匹配

在關(guān)鍵點的匹配中，我們使用近鄰算法來確定輸入圖像a中的關(guān)鍵點在圖像b中對應(yīng)的匹配點。以k最近鄰(k-nearestneighbor,knn)分類算法為例，首先設(shè)定一個參數(shù)k。計算圖像a中的關(guān)鍵點特征與b中的歐氏距離，維持一個大小為k的按照距離由大到小排列的隊列，用于存儲最近鄰訓(xùn)練元祖。遍歷該訓(xùn)練元祖，計算當(dāng)前元祖的關(guān)鍵點與a關(guān)鍵點的距離，將所得距離與最大距離lmax進行比較。若l>＝lmax，則舍棄這個元祖，遍歷下一個元祖。若l<＝lmax，則刪除最大距離的元祖，加入該元祖進入k隊列。遍歷完畢，可得到與a中關(guān)鍵點同一類別的b圖中的匹配點。

第二步：匹配點的篩選；

經(jīng)過初步匹配的關(guān)鍵點存在很多的誤差，因為涉及到目標(biāo)背景的復(fù)雜性、多樣性以及和前景目標(biāo)的相似性，我們對第一步所得的結(jié)果要進行篩選，以求得到更好的前景目標(biāo)匹配點區(qū)域。

在這一步中，我們提出了獨有的關(guān)鍵點篩選方法，在該方法中我們設(shè)定兩個衡量參數(shù)：尺度比例sr(scalerate)和方向oa(orientationrate)。根據(jù)之前匹配所得到的結(jié)果，計算圖a中的關(guān)鍵點與圖b中的匹配點的尺度比例以及方向比例，并以此構(gòu)建一個二維數(shù)組

p＝{〈sr1,oa1〉,〈sr2,oa2〉…〈srn,oan〉}

來進行匹配點的篩選。在圖像特征點的匹配過程中，經(jīng)過觀察，我們發(fā)現(xiàn)：在同一物體上的特征點往往維持同一尺度變化及方向變化，因此，通過對p的處理，可得到該二維數(shù)組分布較大的區(qū)域，即為前景目標(biāo)上的匹配點所在區(qū)域，以此方法來對背景的干擾點進行去除。

第三步前景圖像提取；

首先，進行匹配點的聚類分析。

此步驟是本發(fā)明的核心步驟，本方法創(chuàng)新性的將數(shù)據(jù)聚類分析的方法應(yīng)用到關(guān)鍵點的同質(zhì)性分析中去，可以很好地將圖像特征匹配方法和圖像分割的方法有機的結(jié)合。通過上一步的篩選，我們得到了圖片a中的匹配關(guān)鍵點的組合c⁽ⁱ⁾，由于圖片背景的復(fù)雜性，匹配的關(guān)鍵點中極有可能含有與前景目標(biāo)關(guān)鍵點相似的干擾匹配點，此外為了給下一步的圖片分割自動提供前景像素種子，本發(fā)明采用k-means聚類分析算法，對上一步所得到的關(guān)鍵點進行分組歸類，以求得前景目標(biāo)的關(guān)鍵點，提升圖片分割的準(zhǔn)確程度。與原始的k-means分析算法不同的是，我們的聚類方法并不是根據(jù)點的距離特征，而是采用的關(guān)鍵點128維sift特征，分析關(guān)鍵點在sift特征空間的歐氏距離。這種創(chuàng)新性的方法能夠更好地分析特征點的同屬性，從而得出更加精確的前景建議區(qū)域。以下介紹原始k-means的分析步驟：

k-means算法是將樣本x⁽ⁱ⁾聚類成k個簇(cluster)，聚類屬于無監(jiān)督式學(xué)習(xí)，無需用戶提供樣本的類別標(biāo)注，具體算法描述如下：

隨機選取k個聚類之心點(clustercentroids)為

對于每一個樣例i，計算到這k個種子店的距離，假如點c⁽ⁿ⁾距離種子點μn最近，那么c⁽ⁿ⁾屬于μn點群。在本發(fā)明中需要計算128維sift特征空間中的歐氏距離。

接下來將每一個點群的μn種子點移動到該點群的中心。

sn為匹配點的尺度信息。

重復(fù)第2、3步，直到每一個類的中心逐漸穩(wěn)定。

經(jīng)過聚類分析后，我們可以得到前景點群和背景種子點群，用來標(biāo)記圖像中的前景區(qū)域和背景區(qū)域，如圖4。

然后進行前景提取。

本實施例使用現(xiàn)有的圖片分割的算法對有前景和背景區(qū)域標(biāo)識的圖像進行目標(biāo)輪廓的切割及提取。

首先用一個無向圖g＝<v,e>表示要分割的圖像a，v和e分別是頂點(vertex)和邊(edge)的集合。在這個無向圖中分為兩類邊和頂點：第一類是對應(yīng)圖像中每一個像素的普通定點。每兩個領(lǐng)域定點(對應(yīng)圖中的兩個鄰域像素)的連接就是一條邊，即為n-links。除普通頂點外，還另外有兩個終端頂點，叫做s(source：源點)和t(sink：匯點)。這類頂點與每一個普通頂點之間都有連接，這種邊叫做t-links。

接下來給每一條邊分配權(quán)重，假設(shè)圖像的分割為l時，圖像的能量可以表示為：e(l)＝αr(l)+b(l)，其中r(l)為區(qū)域項，b(l)為邊界項。e(l)表示的是權(quán)值，也叫能量函數(shù)，圖像分割的目標(biāo)就是優(yōu)化能量函數(shù)使其達到最小值。

區(qū)域項的權(quán)值如下：

r(l)＝rx(lx)

區(qū)域的項權(quán)值代表t-links邊的權(quán)值。該點屬于s或者t的可能性越高， 那么它的權(quán)值就越大，反之則越小。

邊界項的權(quán)值如下：

b(l)＝b<x,y〉·δ(lx,ly)

邊界項代表n-links邊的權(quán)值。當(dāng)相鄰的兩個像素的相似度越高，這兩點相連的邊的權(quán)值也就越高。

再對每一條邊的權(quán)重進行賦值以后，使用mincut算法來找到最小的割，這些邊的斷開正好可以使得目標(biāo)和背景被分開，如圖2。

下面結(jié)合實驗進行數(shù)據(jù)說明如下：

1、數(shù)據(jù)集：在實驗中可以隨機從cmu-cornell的數(shù)據(jù)集中選擇成對的圖片作為方法的測試集,同時因為cmu-cornell的數(shù)據(jù)集中開源了圖片所包含目標(biāo)的真值圖，所以以提供的真值輪廓圖作為方法準(zhǔn)確度的測試集。

2、實驗設(shè)置：在實驗中，以交并比作為實驗結(jié)果的評價參數(shù)。交并比(intersectionrate)如下：

其中p′是本實施例取出的前景圖像，p是該圖像的真實輪廓，可通過將實驗得到的結(jié)果和開源數(shù)據(jù)集的同一對象的truth_ground進行對比，求得正確像素點的比率，即可評價該方法的準(zhǔn)確程度。

3、實驗結(jié)果：實驗結(jié)果如圖3所示，可以得出前景圖像的大致輪廓。

4、結(jié)果分析：如圖所示，大部分的前景輪廓可以得到保證，但是由于背景與目標(biāo)的相似性，前景目標(biāo)的輪廓含有細小的瑕疵，但整體的準(zhǔn)確度可以達到約85％。

實施例2

本實施例提供一種基于圖像匹配的前景分割裝置，主要包括如下各單元。

第一單元，分別取兩幅輸入圖像的局部特征，根據(jù)提取的局部特征信息進行關(guān)鍵點的匹配；

其中，第一單元取兩幅輸入圖像的局部特征包括：

將用戶輸入的兩幅圖片進行灰度化處理，使用surf特征提取圖片的局部特征信息。

第一單元根據(jù)提取的局部特征信息進行關(guān)鍵點的匹配包括：

使用近鄰算法確定兩幅輸入圖像中第一輸入圖像中的關(guān)鍵點在第二輸入圖像中對應(yīng)的匹配點。

第二單元，從得到的關(guān)鍵點的匹配點中篩除錯誤匹配點得到所有正確的匹配點；

具體地，第二單元從得到的關(guān)鍵點的匹配點中篩除錯誤匹配點得到所有正確的匹配點包括：

配置尺度比例sr和方向oa，根據(jù)之前匹配所得到的結(jié)果，計算兩幅輸入圖像中第一輸入圖像中的關(guān)鍵點與第二輸入圖像中的匹配點的尺度比例以及方向比例，并以此構(gòu)建一個如下二維數(shù)組：

p＝{<sr1,oa1>,<sr2,oa2>…<srn,oan>}

其中，

進行匹配點的篩選。

第三單元，使用聚類分析從所有正確的匹配點中得出前景目標(biāo)上的特征點群組；

具體地，第三單元使用聚類分析從所有正確的匹配點中得出前景目標(biāo)上的特征點群組包括：

采用如下算法隨機選取k個聚類之心點(clustercentroids)為

對于每一個樣例i，計算到k個種子點的距離，距離種子點μn最近的點屬于μn點群，其中，按照如下公式計算128維sift特征空間中的歐氏距離；

將每一個點群的μn種子點移動到該點群的中心，

重復(fù)計算各種點的距離，直到每一個類的中心逐漸穩(wěn)定，得到前景點群和背景種子點群。

第四單元，根據(jù)所得出的特征點群組，利用圖片分割算法得出圖片中的前景目標(biāo)。

由于上述裝置可實現(xiàn)上述實施例1的方法，故上述裝置中各單元的其他詳細操作可參見實施例1的相應(yīng)內(nèi)容，在此不再贅述。

從上述實施例可以看出，本申請技術(shù)方案利用圖像特征，并應(yīng)用于靜態(tài)圖像的自動前景提取的核心問題。相比現(xiàn)有技術(shù)，提出了利用兩幅圖像的特征點，通過特征點的匹配，經(jīng)過聚類分析得出感興趣區(qū)域的輪廓，最后使用圖像分割算法自動提取出靜態(tài)圖片的前景目標(biāo)。尤其適用于靜態(tài)圖片數(shù)據(jù)，具有較高的準(zhǔn)確性。

本領(lǐng)域普通技術(shù)人員可以理解上述方法中的全部或部分步驟可通過程序來指令相關(guān)硬件完成，所述程序可以存儲于計算機可讀存儲介質(zhì)中，如只讀存儲器、磁盤或光盤等?？蛇x地，上述實施例的全部或部分步驟也可以使用一個或多個集成電路來實現(xiàn)。相應(yīng)地，上述實施例中的各模塊/單元可以采用硬件的形式實現(xiàn)，也可以采用軟件功能模塊的形式實現(xiàn)。本申請不限制于任何特定形式的硬件和軟件的結(jié)合。

以上所述，僅為本發(fā)明的較佳實例而已，并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。