本發(fā)明涉及計算機技術(shù)領(lǐng)域，尤其涉及一種局部視覺特征選擇方法及裝置。

背景技術(shù)：

隨著智能移動設(shè)備和移動互聯(lián)網(wǎng)的普及，移動視覺搜索的應(yīng)用越來越多。通常，圖像檢索依賴局部視覺特征進行查詢和匹配。一種典型的圖像檢索系統(tǒng)架構(gòu)為：客戶端提取查詢圖像的局部視覺特征，并將局部視覺特征描述子發(fā)送到服務(wù)器端；服務(wù)器端將接收到的局部視覺特征描述子與事先存儲的大量圖像的局部視覺特征描述子進行匹配，返回局部視覺特征描述子相似度最高的圖像作為查詢結(jié)果。由于移動智能設(shè)備及移動互聯(lián)網(wǎng)的內(nèi)存、帶寬限制，往往需要將局部描述子進行緊湊表達；同時，隨著互聯(lián)網(wǎng)圖像的爆炸式增增長，也需要對圖像數(shù)據(jù)庫的局部描述子進行緊湊表達以緩解磁盤存儲負擔(dān)。

一張圖像(VGA或更高分辨率)中通?？梢詸z測出其中數(shù)百甚至數(shù)千個局部視覺特征。一方面，若將檢測出的局部視覺特征全部傳輸至服務(wù)器端進行匹配檢測，則會造成較大的內(nèi)存消耗與傳輸時延，影響移動視覺檢索應(yīng)用的用戶體驗；另一方面，檢測出的局部視覺特征中包含部分噪聲局部視覺特征(如非查詢目標的背景局部視覺特征等)，噪聲局部視覺特征將對視覺檢索過程產(chǎn)生干擾，返回與查詢目標無關(guān)的檢索結(jié)果。因此，通常需要對圖像中檢測出的全部局部視覺特征進行篩選，選擇出全部局部視覺特征的一個子集，使得該子集盡可能多地包含位于查詢目標中的局部視覺特征，并將該子集傳輸至服務(wù)器端并進行匹配檢測。局部視覺特征選擇方法能夠減少圖像的局部視覺特征數(shù)據(jù)量，使得局部視覺表達更為緊湊，同時減少噪聲特征對檢索過程的干擾，提高檢索性能。

當(dāng)前，往往基于局部視覺特征的自有屬性(如局部視覺特征的尺度、方向、到圖像中心的距離等)建立局部視覺特征選擇模型。值得一提的是，在查詢目標通常位于圖像中心的假設(shè)下，到圖像中心的距離這一屬性是建立局部視覺特征選擇模型的關(guān)鍵屬性。然而，這個假設(shè)只描述了查詢目標在二維平面內(nèi)的位置分布規(guī)律，沒有描述查詢目標在三維空間內(nèi)的位置分布規(guī)律，在某些較為常見的情形下(如，查詢目標不位于圖像中心、圖像場景較為雜亂等)該假設(shè)對局部視覺特征選擇模型建立不具有指導(dǎo)意義。

因此，上述特征選擇方法出現(xiàn)的問題是：在查詢目標不位于圖像中心、圖像場景較為雜亂等情形下，基于局部視覺特征自有屬性的局部視覺特征選擇方法無法使得選擇出的局部視覺特征子集包含盡量多的位于查詢目標上的局部視覺特征。

技術(shù)實現(xiàn)要素：

針對現(xiàn)有技術(shù)的缺陷，本發(fā)明提供一種局部視覺特征選擇方法及裝置，能夠解決現(xiàn)有技術(shù)中的局部視覺特征選擇方法無法使得選擇出的局部視覺特征子集包含盡量多的位于查詢目標上的局部視覺特征的問題。

第一方面，本發(fā)明提供了一種局部視覺特征選擇方法，所述方法包括：

檢測獲取目標圖像中的多個局部視覺特征，并獲得每個局部視覺特征的自有屬性；

獲得部分或全部所述局部視覺特征的深度信息，并通過歸一化方法獲得所述局部視覺特征的深度屬性；

根據(jù)所述每個局部視覺特征的自有屬性，以及部分或全部局部視覺特征的深度屬性，采用預(yù)先建立的局部視覺特征的特征選擇模型獲得所述每個局部視覺特征位于查詢目標中的可能性數(shù)值；

按照所述可能性數(shù)值從高到低的順序選擇預(yù)設(shè)數(shù)量的局部視覺特征作為局部視覺特征子集。

優(yōu)選地，所述根據(jù)所述每個局部視覺特征的自有屬性，以及部分或全部局部視覺特征的深度屬性，采用預(yù)先建立的局部視覺特征的特征選擇模型獲得所述每個局部視覺特征位于所述目標圖像中的可能性數(shù)值之前，所述方法還包括：

根據(jù)局部視覺特征的自有屬性、深度屬性以及所述自有屬性和所述深度屬性間的依賴關(guān)系，對所述自有屬性及所述深度屬性進行分組；

針對每組屬性，訓(xùn)練局部視覺特征在所述屬性上對應(yīng)不同的屬性值時，所述局部視覺特征能夠匹配成功的概率，以建立局部視覺特征的特征選擇模型。

優(yōu)選地，所述針對每組屬性，訓(xùn)練局部視覺特征在所述屬性上對應(yīng)不同的屬性值時，所述局部視覺特征能夠匹配成功的概率，以建立局部視覺特征的特征選擇模型，包括：

收集若干匹配圖像對；

檢測獲取每個圖像的局部視覺特征，并獲得所述局部視覺特征的自有屬性；

獲得部分或全部局部視覺特征的深度信息，并獲得歸一化的深度屬性；

將所有匹配圖像對的局部視覺特征作為訓(xùn)練數(shù)據(jù)集，并對每個匹配圖像對中對應(yīng)的局部視覺特征進行匹配，根據(jù)匹配成功與否將所述局部視覺特征標注為正樣本或者負樣本；

根據(jù)所述訓(xùn)練數(shù)據(jù)集及所述訓(xùn)練數(shù)據(jù)集中局部視覺特征的標注信息，采用監(jiān)督學(xué)習(xí)方法分別對每組屬性進行訓(xùn)練，學(xué)習(xí)所述局部視覺特征在所述屬性上對應(yīng)不同的屬性值時，所述局部視覺特征能夠匹配成功的概率，以獲得局部視覺特征的特征選擇模型。

優(yōu)選地，獲得全部所述局部視覺特征的深度信息，并通過歸一化方法獲得所述局部視覺特征的深度屬性；

相應(yīng)地，所述根據(jù)所述每個局部視覺特征的自有屬性，以及部分或全部局部視覺特征的深度屬性，采用預(yù)先建立的局部視覺特征的特征選擇模型獲得所述每個局部視覺特征位于查詢目標中的可能性數(shù)值，包括：

根據(jù)所述每個局部視覺特征的自有屬性值以及深度屬性值，采用預(yù)先建立的局部視覺特征的特征選擇模型計算得到所述每個局部視覺特征位于查詢目標中的可能性數(shù)值。

優(yōu)選地，所述采用預(yù)先建立的局部視覺特征的特征選擇模型計算得到所述每個局部視覺特征位于查詢目標中的可能性數(shù)值，包括：

采用所述預(yù)先建立的局部視覺特征的特征選擇模型，計算分別對應(yīng)不同屬性組時所述局部視覺特征位于查詢目標的概率；

所述局部視覺特征位于查詢目標中的可能性數(shù)值為不同屬性組對應(yīng)的概率的乘積。

優(yōu)選地，獲得部分所述局部視覺特征的深度信息，并通過歸一化方法獲得所述局部視覺特征的深度屬性；

相應(yīng)地，所述根據(jù)所述每個局部視覺特征的自有屬性，以及部分或全部局部視覺特征的深度屬性，采用預(yù)先建立的局部視覺特征的特征選擇模型獲得所述每個局部視覺特征位于查詢目標中的可能性數(shù)值，包括：

對于獲得深度信息的第一局部視覺特征，根據(jù)所述第一局部視覺特征的自有屬性值以及深度屬性值，采用預(yù)先建立的局部視覺特征的特征選擇模型計算得到所述第一局部視覺特征位于查詢目標中的可能性數(shù)值；

對于未獲得深度信息的第二局部視覺特征，根據(jù)所述第二局部視覺特征的自有屬性值，采用預(yù)先建立的局部視覺特征的特征選擇模型計算得到所述第二局部視覺特征位于查詢目標中的可能性數(shù)值。

優(yōu)選地，所述采用預(yù)先建立的局部視覺特征的特征選擇模型計算得到所述第二局部視覺特征位于查詢目標中的可能性數(shù)值，包括：

采用所述預(yù)先建立的局部視覺特征的特征選擇模型，計算分別對應(yīng)不同屬性組時所述第二局部視覺特征位于查詢目標的概率；所述屬性組不包括深度屬性的屬性組；

所述第二局部視覺特征位于查詢目標中的可能性數(shù)值為不同屬性組對應(yīng)的概率及正則化參數(shù)的乘積。

優(yōu)選地，所述自有屬性包括：尺度、方向、高斯差分的峰值及到圖像中心的距離；

所述深度信息包括：距離攝像機的深度數(shù)值或者視差數(shù)值。

第二方面，本發(fā)明提供了一種局部視覺特征的選擇裝置，所述裝置包括：

自有屬性獲取模塊，用于檢測獲取目標圖像中的多個局部視覺特征，并獲得每個局部視覺特征的自有屬性；

深度屬性獲取模塊，用于獲得部分或全部所述局部視覺特征的深度信息，并通過歸一化方法獲得所述局部視覺特征的深度屬性；

可能性數(shù)值計算模塊，用于根據(jù)所述每個局部視覺特征的自有屬性，以及部分或全部局部視覺特征的深度屬性，采用預(yù)先建立的局部視覺特征的特征選擇模型獲得所述每個局部視覺特征位于查詢目標中的可能性數(shù)值；

局部視覺特征選擇模塊，用于按照所述可能性數(shù)值從高到低的順序選擇預(yù)設(shè)數(shù)量的局部視覺特征作為局部視覺特征子集。

優(yōu)選地，所述裝置還包括：模型建立模塊，用于：

根據(jù)局部視覺特征的自有屬性、深度屬性以及所述自有屬性和所述深度屬性間的依賴關(guān)系，對所述自有屬性及所述深度屬性進行分組；

針對每組屬性，訓(xùn)練局部視覺特征在所述屬性上對應(yīng)不同的屬性值時，所述局部視覺特征能夠匹配成功的概率，以建立局部視覺特征的特征選擇模型。

由上述技術(shù)方案可知，本發(fā)明提供一種局部視覺特征選擇方法及裝置，通過檢測獲取目標圖像中的多個局部視覺特征，并獲得每個局部視覺特征的自有屬性及部分或全部所述局部視覺特征的深度屬性；采用預(yù)先建立的局部視覺特征的特征選擇模型獲得所述每個局部視覺特征位于查詢目標中的可能性數(shù)值；按照所述可能性數(shù)值從高到低的順序選擇預(yù)設(shè)數(shù)量的局部視覺特征作為局部視覺特征子集。如此，本發(fā)明將局部視覺特征的深度屬性引入局部視覺特征選擇方法，針對查詢目標的三維位置分布規(guī)律建立局部視覺特征選擇模型，使得在局部視覺特征子集內(nèi)特征數(shù)目較少的配置下，仍然能夠使得選擇出的局部視覺特征盡可能多地包含位于查詢目標中的局部視覺特征，在保持視覺特征描述子緊湊表達的前提下保證較為可靠的檢索結(jié)果。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些圖獲得其他的附圖。

圖1是本發(fā)明實施例1提供的一種局部視覺特征選擇方法的流程示意圖；

圖2是本發(fā)明實施例1提供的建立局部視覺特征的特征選擇模型的流程示意圖；

圖3是本發(fā)明實施例2提供的一種局部視覺特征選擇方法的流程示意圖；

圖4是本發(fā)明實施例3提供的一種局部視覺特征選擇方法的流程示意圖；

圖5是本發(fā)明實施例3提供的一種局部視覺特征選擇方法的流程示意圖；

圖6是本發(fā)明實施例4提供的一種局部視覺特征的選擇裝置的結(jié)構(gòu)示意圖；

圖7是本發(fā)明實施例4提供的一種局部視覺特征的選擇裝置的結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

實施例1

圖1是本發(fā)明實施例1提供的一種局部視覺特征選擇方法的流程示意圖，如圖1所示，所述方法包括如下步驟：

S101：檢測獲取目標圖像中的多個局部視覺特征，并獲得每個局部視覺特征的自有屬性。

具體來說，采用局部視覺特征檢測方法，檢測出目標圖像中的局部視覺特征，形成局部視覺特征描述子全集，并獲得每個局部視覺特征的自有屬性。

其中，局部視覺特征檢測方法可為任意適用于圖像局部視覺特征的檢測方法，例如尺度不變特征(Scale Invariant Feature Transform，簡稱SIFT)中的局部視覺特征檢測方法。

其中，局部視覺特征的自有屬性可為上述局部視覺特征檢測方法檢測出的局部視覺特征所包含的屬性。本實施例以SIFT為例，其自有屬性可包括尺度、方向、高斯差分的峰值、到圖像中心的距離等。

S102：獲得部分或全部所述局部視覺特征的深度信息，并通過歸一化方法獲得所述局部視覺特征的深度屬性。

其中，局部視覺特征的深度信息可為該局部視覺特征距離攝像機的深度數(shù)值，也可以是該局部視覺特征的視差數(shù)值。

進一步地，對于局部視覺特征的深度信息(距離攝像機的深度數(shù)值或者視差數(shù)值)，按照該信息的數(shù)值大小順序(從大至小或者從小至大)進行排序。對于局部視覺特征全集中的任一局部視覺特征，獲取其深度信息的排位順序，并將該排位順序歸一化到[0,1]區(qū)間內(nèi)，將歸一化后的深度信息作為該局部視覺特征的深度屬性。

S103：根據(jù)所述每個局部視覺特征的自有屬性，以及部分或全部局部視覺特征的深度屬性，采用預(yù)先建立的局部視覺特征的特征選擇模型獲得所述每個局部視覺特征位于查詢目標中的可能性數(shù)值。

需要說明的是，目標圖像中的局部視覺特征包括：位于查詢目標的局部視覺特征，還可能包括部分噪聲局部視覺特征，如非查詢目標的背景局部視覺特征。

具體來說，對于目標圖像中的局部視覺特征，根據(jù)某個局部視覺特征是否能夠獲得深度屬性而動態(tài)地選擇深度屬性與自有屬性的融合方法，參照預(yù)先建立的局部視覺特征選擇模型，計算每個局部視覺特征位于查詢目標的可能性數(shù)值。其中，對于任一局部視覺特征，獲得對應(yīng)不同屬性時該局部視覺特征位于查詢目標的概率，且根據(jù)該局部視覺特征的不同屬性對應(yīng)的概率可求得該局部視覺特征位于查詢目標的可能性數(shù)值。

如此，使得對目標圖像進行特征選擇時，根據(jù)具體某個局部視覺特征是否能夠獲取深度信息動態(tài)地選擇深度屬性與自有屬性的融合方法，使得本方法能夠適應(yīng)于不同的深度信息獲取方式，更加具有靈活性。

S104：按照所述可能性數(shù)值從高到低的順序選擇預(yù)設(shè)數(shù)量的局部視覺特征作為局部視覺特征子集。

具體來說，將局部視覺特征位于查詢目標中的可能性數(shù)值從高到低排列，按從高到低的順序選擇預(yù)設(shè)數(shù)量的局部視覺特征，如此，便可使得選擇出的局部視覺特征盡可能多地包含位于查詢目標中的局部視覺特征。

由此可見，本實施例提供一種局部視覺特征選擇方法，通過檢測獲取目標圖像中的多個局部視覺特征，并獲得每個局部視覺特征的自有屬性及部分或全部所述局部視覺特征的深度屬性；采用預(yù)先建立的局部視覺特征的特征選擇模型獲得所述每個局部視覺特征位于查詢目標中的可能性數(shù)值；按照所述可能性數(shù)值從高到低的順序選擇預(yù)設(shè)數(shù)量的局部視覺特征作為局部視覺特征子集。如此，本實施例將局部視覺特征的深度屬性引入局部視覺特征選擇方法，針對查詢目標的三維位置分布規(guī)律建立局部視覺特征選擇模型，使得在局部視覺特征子集內(nèi)特征數(shù)目較少的配置下，仍然能夠使得選擇出的局部視覺特征盡可能多地包含位于查詢目標中的局部視覺特征，在保持視覺特征描述子緊湊表達的前提下保證較為可靠的檢索結(jié)果。

進一步地，在所述步驟S103之前，該方法還包括如下步驟：

根據(jù)局部視覺特征的自有屬性、深度屬性以及所述自有屬性和所述深度屬性間的依賴關(guān)系，對所述自有屬性及所述深度屬性進行分組。針對每組屬性，訓(xùn)練局部視覺特征在所述屬性上對應(yīng)不同的屬性值時，所述局部視覺特征能夠匹配成功的概率，以建立局部視覺特征的特征選擇模型。

舉例來說，本實施例以SIFT特征包含的尺度、方向、高斯差分的峰值、距離圖像中心的距離四種自有屬性為例，對局部視覺特征的屬性分組方法進行說明。經(jīng)過分析可知，四個自有屬性之間滿足兩兩互相獨立的假設(shè)，而深度屬性與尺度屬性存在依賴關(guān)系。因此，在本實施例中方向、高斯差分的峰值、距離圖像中心的距離被單獨分成三組，尺度與深度屬性被分為一組。值得注意的是，局部視覺特征中包含的自有屬性通常滿足兩兩獨立假設(shè)，可以進行單獨分組；深度屬性往往與尺度屬性存在依賴關(guān)系，當(dāng)局部視覺特征的自有屬性中包含尺度屬性時，深度屬性與尺度屬性往往被分為一組，當(dāng)局部視覺特征的自有屬性中不包含尺度屬性時，深度屬性可以獨立分組。每種屬性僅能夠被分配在一個屬性分組內(nèi)。

如此，根據(jù)局部視覺特征的自有屬性、深度屬性，考慮到自有屬性和深度屬性間的依賴關(guān)系，分析位于查詢目標中的局部視覺特征的三維空間位置分布規(guī)律，離線地建立局部視覺特征的特征選擇模型。

由此可見，本實施例在離線建立局部視覺特征的特征選擇模型時，考慮深度屬性與自有屬性之間的依賴關(guān)系，使得模型建立更加具有統(tǒng)計客觀性。

進一步地為了訓(xùn)練局部特征選擇模型，需構(gòu)建訓(xùn)練數(shù)據(jù)集。具體來說，上述針對每組屬性，訓(xùn)練局部視覺特征在所述屬性上對應(yīng)不同的屬性值時，所述局部視覺特征能夠匹配成功的概率，以建立局部視覺特征的特征選擇模型的步驟，如圖2所示，具體包括如下步驟：

S201：收集若干匹配圖像對。

其中，匹配圖像對指的是包含同一物體或者場景的兩幅圖像。

S202：檢測獲取每個圖像的局部視覺特征，并獲得所述局部視覺特征的自有屬性。

S203：獲得部分或全部局部視覺特征的深度信息，并獲得歸一化的深度屬性。

S204：將所有匹配圖像對的局部視覺特征作為訓(xùn)練數(shù)據(jù)集，并對每個匹配圖像對中對應(yīng)的局部視覺特征進行匹配，根據(jù)匹配成功與否將所述局部視覺特征標注為正樣本或者負樣本。

具體來說，對于任意一對匹配圖像對，將能夠成功匹配的局部視覺特征標記為正樣本，將無法成功匹配的局部視覺特征標記為負樣本，且所有匹配圖像對內(nèi)檢測出的局部視覺特征構(gòu)成了訓(xùn)練數(shù)據(jù)集。

需要說明的是，在實際應(yīng)用中，還可以采取其他方式構(gòu)建訓(xùn)練數(shù)據(jù)集，對數(shù)據(jù)集中的正樣本與負樣本進行標注。

S205：根據(jù)所述訓(xùn)練數(shù)據(jù)集及所述訓(xùn)練數(shù)據(jù)集中局部視覺特征的標注信息，采用監(jiān)督學(xué)習(xí)方法分別對每組屬性進行訓(xùn)練，學(xué)習(xí)所述局部視覺特征在所述屬性上對應(yīng)不同的屬性值時，所述局部視覺特征能夠匹配成功的概率，以獲得局部視覺特征的特征選擇模型。

舉例來說，在本實施例中，可采用貝葉斯估計的方法進行訓(xùn)練?？衫斫獾?，在實際應(yīng)用中，可采用任何其他監(jiān)督學(xué)習(xí)方法，如邏輯回歸、支持向量機等。

需要說明的是，構(gòu)建數(shù)據(jù)集中的匹配圖像對和圖像與上述實施例中的目標圖像是不同的。

實施例2

圖3是本發(fā)明實施例2提供的一種局部視覺特征選擇方法的流程示意圖，如圖3所示，所述方法包括如下步驟：

S301：檢測獲取目標圖像中的多個局部視覺特征，并獲得每個局部視覺特征的自有屬性。

本步驟S301與實施例1中的步驟S101相同，在此不再贅述。

S302：獲得全部所述局部視覺特征的深度信息，并通過歸一化方法獲得所述局部視覺特征的深度屬性。

可選地，對于局部視覺特征，其獲得的深度信息可以是該局部視覺特征距離攝像機的深度數(shù)值，也可以是該局部視覺特征的視差數(shù)值。

目標圖像的局部視覺特征全集中，為獲得每一個局部視覺特征距離攝像機的深度數(shù)值的方法，可以采用Kinect等深度攝像機拍攝獲取深度圖的方法，也可以采用其他深度數(shù)據(jù)獲取設(shè)備進行采集。

目標圖像的局部視覺特征全集中，為獲得每一個局部視覺特征的視差數(shù)值，可以使用任何立體匹配算法，為雙視圖像計算視差圖。

對于局部視覺特征的深度信息(距離攝像機的深度數(shù)值或者視差數(shù)值)，按照該信息的數(shù)值大小順序(從大至小或者從小至大)進行排序。對于局部視覺特征全集中的任一局部視覺特征，獲取其深度信息的排位順序，并將該排位順序歸一化到[0,1]區(qū)間內(nèi)，將歸一化后的深度信息作為該局部視覺特征的深度屬性。

本實施例以獲取目標圖像中局部視覺特征全集中每一個局部視覺特征的視差數(shù)值，按照從大至小的順序進行排列為例，歸一化方法的形式化表述如下：

假設(shè)局部視覺特征全集共包含N個獲得視差數(shù)值的局部視覺特征，對于任一局部視覺特征F_i。按照從大至小的順序，F(xiàn)_i視差數(shù)值在全部獲得視差數(shù)值的局部視覺特征中的排位順序為rank_i，則F_i的深度屬性d_i計算方法為：

d_i＝rank_i/N (1)

S303：根據(jù)局部視覺特征的自有屬性、深度屬性以及所述自有屬性和所述深度屬性間的依賴關(guān)系，對所述自有屬性及所述深度屬性進行分組。針對每組屬性，訓(xùn)練局部視覺特征在所述屬性上對應(yīng)不同的屬性值時，所述局部視覺特征能夠匹配成功的概率，以建立局部視覺特征的特征選擇模型。

本實施例以SIFT特征包含的尺度、方向、高斯差分的峰值、距離圖像中心的距離四種自有屬性為例，對局部視覺特征的屬性分組方法進行說明。經(jīng)過分析可知，四個自有屬性之間滿足兩兩互相獨立的假設(shè)，而深度屬性與尺度屬性存在依賴關(guān)系。因此，在本實施例中方向、高斯差分的峰值、距離圖像中心的距離被單獨分成三組，尺度與深度屬性被分為一組。值得注意的是，局部視覺特征中包含的自有屬性通常滿足兩兩獨立假設(shè)，可以進行單獨分組；深度屬性往往與尺度屬性存在依賴關(guān)系，當(dāng)局部視覺特征的自有屬性中包含尺度屬性時，深度屬性與尺度屬性往往被分為一組，當(dāng)局部視覺特征的自有屬性中不包含尺度屬性時，深度屬性可以獨立分組。每種屬性僅能夠被分配在一個屬性分組內(nèi)。

為了訓(xùn)練局部特征選擇模型，需要構(gòu)建訓(xùn)練數(shù)據(jù)集，并對數(shù)據(jù)集中的正樣本與負樣本進行標注。首先，收集若干匹配圖像對，其中匹配圖像對時指包含同一個物體或者場景的兩幅圖像。然后，對任何一對匹配圖像對，分別檢測兩張圖像的局部視覺特征，提取局部視覺特征的描述子，并對兩幅圖像中的局部視覺特征進行匹配。最終，對于任何一對匹配圖像對，將能夠成功匹配的局部視覺特征標記為正樣本，將無法成功匹配的局部視覺特征標記為負樣本，所有匹配圖像對內(nèi)檢測出的局部視覺特征構(gòu)成了訓(xùn)練數(shù)據(jù)集。在實際應(yīng)用中，也可以采取其他方式構(gòu)建訓(xùn)練數(shù)據(jù)集，對數(shù)據(jù)集中的正樣本與負樣本進行標注。

根據(jù)構(gòu)建的訓(xùn)練數(shù)據(jù)集及標注信息，采用監(jiān)督學(xué)習(xí)方法分別對每組屬性進行訓(xùn)練，學(xué)習(xí)局部視覺特征在一組屬性中取不同數(shù)值時，該局部視覺特征位于查詢目標的概率。在本實施例中，采用貝葉斯估計的方法進行訓(xùn)練。在實際應(yīng)用中，可以使用任何其他監(jiān)督學(xué)習(xí)方法(如邏輯回歸、支持向量機等)。

需要說明的是，構(gòu)建數(shù)據(jù)集所用的匹配圖像對中的圖像與步驟S301中的目標圖像是不同的。特別的，步驟303是可以在步驟S304之前預(yù)先執(zhí)行的。

S304：根據(jù)所述每個局部視覺特征的自有屬性值以及深度屬性值，采用預(yù)先建立的局部視覺特征的特征選擇模型計算得到所述每個局部視覺特征位于查詢目標中的可能性數(shù)值。

具體地，步驟S304包括：采用所述預(yù)先建立的局部視覺特征的特征選擇模型，計算分別對應(yīng)不同屬性組時所述局部視覺特征位于查詢目標的概率；所述局部視覺特征位于查詢目標中的可能性數(shù)值為不同屬性組對應(yīng)的概率的乘積。

即對于任一局部視覺特征，根據(jù)步驟303中離線訓(xùn)練的特征選擇模型，獲得的每組屬性取不同數(shù)值時，該局部視覺特征位于查詢目標的概率，則該局部視覺特征位于查詢目標的可能性數(shù)值為每組屬性概率的乘積。

獲得局部視覺特征位于查詢目標的可能性數(shù)值方法的形式化表達如下：

假設(shè)局部視覺特征共包含M組不同的屬性，根據(jù)303步驟中離線訓(xùn)練的特征選擇模型，局部視覺特征F_i在M組屬性中的概率依次為P_i1,P_i2,…,P_iM，則F_i位于查詢目標的可能性數(shù)值r_i可計算為：

r_i＝P_i1×P_i2×…×P_iM (2)

在實際應(yīng)用中，也可以根據(jù)303步驟中離線訓(xùn)練的特征選擇模型，采用任何其他可能性數(shù)值的計算方法，本實施例對此不加以限制。

S305：按照所述可能性數(shù)值從高到低的順序選擇預(yù)設(shè)數(shù)量的局部視覺特征作為局部視覺特征子集。

具體來說，將局部視覺特征位于查詢目標中的可能性數(shù)值從高到低排列，按從高到低的順序選擇預(yù)設(shè)數(shù)量的局部視覺特征，如此，使得選擇出的局部視覺特征盡可能多地包含位于查詢目標中的局部視覺特征。

實施例3

圖4是本發(fā)明實施例3提供的一種局部視覺特征選擇方法的流程示意圖，本實施例與實施例2的區(qū)別之處在于，一些深度信息獲取方式僅可能獲取目標圖像中局部視覺特征全集中一部分局部視覺特征的深度信息，在這種情形下，本實施例對局部視覺特征提供了另一種可能性數(shù)值計算方法。

具體地，如圖4所示，所述方法包括如下步驟：

S401：檢測獲取目標圖像中的多個局部視覺特征，并獲得每個局部視覺特征的自有屬性。

本步驟S401與實施例1中的步驟S101相同，在此不再贅述。

S402：獲得部分所述局部視覺特征的深度信息，并通過歸一化方法獲得所述局部視覺特征的深度屬性。

可選地，對于局部視覺特征，其獲得的深度信息可以是該局部視覺特征距離攝像機的深度數(shù)值，也可以是該局部視覺特征的視差數(shù)值。

目標圖像的局部視覺特征全集中，采用從運動中恢復(fù)結(jié)構(gòu)(Structure From Motion，簡稱SFM)方法、即使定位與地圖構(gòu)建(Simultaneous Localization And Mapping，簡稱SLAM)方法等其他任何基于特征的三維重建算法獲得部分局部視覺特征距離攝像機的深度數(shù)值。

目標圖像的局部視覺特征全集中，可以借助于輔助圖像，對目標圖像與輔助圖像進行局部視覺特征的檢測、描述子提取及描述子匹配，根據(jù)成功匹配的局部視覺特征對兩幅圖像進行校正，并計算成功匹配局部視覺特征的視差數(shù)值。

在本實施例中，采用“R.I.Hartley.Theory and practice of projective rectification.International Journal of Computer Vision(IJCV),vol.35,no.2,pp.115–127,1999.”中所公開的校正方法。在實際應(yīng)用中，也可以采取其他校正方法，本實施例對此不加以限制。

S403：根據(jù)局部視覺特征的自有屬性、深度屬性以及所述自有屬性和所述深度屬性間的依賴關(guān)系，對所述自有屬性及所述深度屬性進行分組。針對每組屬性，訓(xùn)練局部視覺特征在所述屬性上對應(yīng)不同的屬性值時，所述局部視覺特征能夠匹配成功的概率，以建立局部視覺特征的特征選擇模型。

需要說明的是，在構(gòu)建訓(xùn)練數(shù)據(jù)集時，僅將能夠獲得深度信息的部分局部視覺特征包含在訓(xùn)練數(shù)據(jù)集中。本步驟S403的具體過程與步驟S303一致，在此不再贅述。

S404：根據(jù)所述每個局部視覺特征的自有屬性，以及部分局部視覺特征的深度屬性，采用預(yù)先建立的局部視覺特征的特征選擇模型獲得所述每個局部視覺特征位于查詢目標中的可能性數(shù)值。

具體地，在視覺檢索過程中，對于目標圖像中局部視覺特征，依據(jù)局部視覺特征是否獲得深度信息，分別計算兩類局部視覺特征位于查詢目標的可能性數(shù)值。

具體來說，如圖5所示，步驟S404具體可包括如下子步驟：

S4041：對于獲得深度信息的第一局部視覺特征，根據(jù)所述第一局部視覺特征的自有屬性值以及深度屬性值，采用預(yù)先建立的局部視覺特征的特征選擇模型計算得到所述第一局部視覺特征位于查詢目標中的可能性數(shù)值。

其中，步驟S4041中計算可能性數(shù)值的過程與實施例2中步驟S304一致，在此不再贅述。

S4042：對于未獲得深度信息的第二局部視覺特征，根據(jù)所述第二局部視覺特征的自有屬性值，采用預(yù)先建立的局部視覺特征的特征選擇模型計算得到所述第二局部視覺特征位于查詢目標中的可能性數(shù)值。

舉例來說，步驟S4042具體可采用如下方式求出可能性數(shù)值：

采用所述預(yù)先建立的局部視覺特征的特征選擇模型，計算分別對應(yīng)不同屬性組時所述第二局部視覺特征位于查詢目標的概率；所述屬性組不包括深度屬性的屬性組；則所述第二局部視覺特征位于查詢目標中的可能性數(shù)值為不同屬性組對應(yīng)的概率及正則化參數(shù)的乘積。

即對于未獲得深度信息的局部視覺特征，在計算可能性數(shù)值時僅考慮不包含深度屬性的屬性分組，同時增加正則化參數(shù)。對于未獲得深度信息的局部視覺特征，計算可能性數(shù)值的形式化表達如下：

假設(shè)局部視覺特征共包含M-1組不包含深度屬性的屬性分析分組，根據(jù)403步驟中離線訓(xùn)練的特征選擇模型，局部視覺特征F_i在M-1組屬性中的概率依次為P_i1,P_i2,…,P_i(M-1)，正則化參數(shù)為b，則F_i位于查詢目標的可能性數(shù)值r_i可計算為：

r_i＝b×P_i1×P_i2×…×P_i(M-1) (3)

在本實施例中，b的取值可為0.3。

S405：按照所述可能性數(shù)值從高到低的順序選擇預(yù)設(shè)數(shù)量的局部視覺特征作為局部視覺特征子集。

需要說明的是，在為獲得深度信息與未獲得深度信息的局部視覺特征分別計算可能性數(shù)值后，將局部視覺特征全集中的所有特征不加區(qū)分地按照可能性數(shù)值進行排序，根據(jù)子集中局部視覺特征數(shù)量配置，按照可能性數(shù)值從高至低的順序從局部視覺特征全集中選擇出一個子集。

實施例4

圖6是本發(fā)明實施例4提供的一種局部視覺特征的選擇裝置的結(jié)構(gòu)示意圖，如圖6所示，所述裝置包括：自有屬性獲取模塊601、深度屬性獲取模塊602、可能性數(shù)值計算模塊603及局部視覺特征選擇模塊604。其中：

自有屬性獲取模塊601用于檢測獲取目標圖像中的多個局部視覺特征，并獲得每個局部視覺特征的自有屬性；深度屬性獲取模塊602用于獲得部分或全部所述局部視覺特征的深度信息，并通過歸一化方法獲得所述局部視覺特征的深度屬性；可能性數(shù)值計算模塊603用于根據(jù)所述每個局部視覺特征的自有屬性，以及部分或全部局部視覺特征的深度屬性，采用預(yù)先建立的局部視覺特征的特征選擇模型獲得所述每個局部視覺特征位于查詢目標中的可能性數(shù)值；局部視覺特征選擇模塊604用于按照所述可能性數(shù)值從高到低的順序選擇預(yù)設(shè)數(shù)量的局部視覺特征作為局部視覺特征子集。

由此可見，本實施例通過自有屬性獲取模塊601檢測獲取目標圖像中的多個局部視覺特征，并獲得每個局部視覺特征的自有屬性，通過深度屬性獲取模塊602獲取部分或全部所述局部視覺特征的深度屬性；可能性數(shù)值計算模塊603采用預(yù)先建立的局部視覺特征的特征選擇模型獲得所述每個局部視覺特征位于查詢目標中的可能性數(shù)值；局部視覺特征選擇模塊604按照所述可能性數(shù)值從高到低的順序選擇預(yù)設(shè)數(shù)量的局部視覺特征作為局部視覺特征子集。如此，本實施例將局部視覺特征的深度屬性引入以進行局部視覺特征選擇，針對查詢目標的三維位置分布規(guī)律建立局部視覺特征選擇模型，使得在局部視覺特征子集內(nèi)特征數(shù)目較少的配置下，仍然能夠使得選擇出的局部視覺特征盡可能多地包含位于查詢目標中的局部視覺特征，在保持視覺特征描述子緊湊表達的前提下保證較為可靠的檢索結(jié)果。

進一步地，如圖7所示，所述裝置還包括：模型建立模塊605。

模型建立模塊605用于根據(jù)局部視覺特征的自有屬性、深度屬性以及所述自有屬性和所述深度屬性間的依賴關(guān)系，對所述自有屬性及所述深度屬性進行分組；針對每組屬性，訓(xùn)練局部視覺特征在所述屬性上對應(yīng)不同的屬性值時，所述局部視覺特征能夠匹配成功的概率，以建立局部視覺特征的特征選擇模型。

具體地，模型建立模塊605，具體用于：

收集若干匹配圖像對；

檢測獲取每個圖像的局部視覺特征，并獲得所述局部視覺特征的自有屬性；

獲得部分或全部局部視覺特征的深度信息，并獲得歸一化的深度屬性；

將所有匹配圖像對的局部視覺特征作為訓(xùn)練數(shù)據(jù)集，并對每個匹配圖像對中對應(yīng)的局部視覺特征進行匹配，根據(jù)匹配成功與否將所述局部視覺特征標注為正樣本或者負樣本；

根據(jù)所述訓(xùn)練數(shù)據(jù)集及所述訓(xùn)練數(shù)據(jù)集中局部視覺特征的標注信息，采用監(jiān)督學(xué)習(xí)方法分別對每組屬性進行訓(xùn)練，學(xué)習(xí)所述局部視覺特征在所述屬性上對應(yīng)不同的屬性值時，所述局部視覺特征能夠匹配成功的概率，以獲得局部視覺特征的特征選擇模型。

進一步地，可能性數(shù)值計算模塊603，具體用于：

利用局部視覺特征檢測對查詢圖像進行局部視覺特征檢測，獲取距視覺特征的自有屬性；

利用深度屬性計算單元計算全部或者部分局部視覺特征的歸一化深度屬性；

根據(jù)自有屬性及深度屬性，進行可能性數(shù)值計算及局部視覺特征選擇。具體步驟為：首先，對于任一局部視覺特征，依據(jù)其是否獲得深度屬性選擇對應(yīng)的可能性數(shù)值計算方法；然后，對所有局部視覺特征不加區(qū)分地按照可能性數(shù)值從高至低的進行排序；最后，根據(jù)子集中局部視覺特征數(shù)量配置，選擇可能性數(shù)值較高的局部視覺特征，形成用于匹配檢索的局部視覺特征子集。

對于裝置實施例而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實施例的部分說明即可。

在本領(lǐng)域普通技術(shù)人員可以理解：實現(xiàn)上述各方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成。前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中。該程序在執(zhí)行時，執(zhí)行包括上述各方法實施例的步驟；而前述的存儲介質(zhì)包括：ROM、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

還需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。

以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。