一種球面特征提取方法
【專利摘要】本發(fā)明公開了一種球面特征提取方法，涉及計算機視覺領(lǐng)域，所述方法包括以下步驟：通過測地線網(wǎng)格獲取均勻參數(shù)化表示的球面圖像；對球面圖像進(jìn)行FAST的特征檢測；通過圖像灰度值比較的球面圖像特征點描述算法對過濾后特征點進(jìn)行處理，獲取過濾后特征點的描述符。本發(fā)明計算速度快，能夠?qū)崟r地對球面特征進(jìn)行檢測和描述。本發(fā)明相對于現(xiàn)有的球面特征提取算法和基于局部平面投影的方法也具有較好的算法魯棒性。本發(fā)明的魯棒性在相機發(fā)生旋轉(zhuǎn)和移動時均有所體現(xiàn)。
【專利說明】一種球面特征提取方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機視覺領(lǐng)域，尤其涉及一種球面特征提取方法，本發(fā)明作為計算 機視覺領(lǐng)域的基礎(chǔ)技術(shù)可用于全景圖拼接、基于球面圖像的圖像檢索以及基于大視角圖像 的三維重建等。

【背景技術(shù)】
[0002] 隨著圖像拼接技術(shù)的日趨成熟和全景相機的發(fā)展，非專業(yè)用戶也能夠利用自己手 中的設(shè)備進(jìn)行球面全景數(shù)據(jù)的采集。由于擁有更廣闊的視野，球面全景圖像越來越多地應(yīng) 用于虛擬現(xiàn)實、漫游導(dǎo)航、變化檢測、場景重建等系統(tǒng)中。球面圖像普及的同時，如何對球面 全景圖像進(jìn)行特征提取成為研究人員日益關(guān)注的話題。
[0003] (1) ORB (Oriented FAST and Rotated BRIEF)特征（見文獻(xiàn)[1]) :Rublee 等 在2011年提出一種快速魯棒的平面圖像二值特征。該特征以FAST(Features from Accelerated Segment Test)特征檢測算子和 BRIEF (Binary Robust Independent Elementary Features)特征描述符為基礎(chǔ)，并引入了尺度不變性和旋轉(zhuǎn)不變性。其中尺度 不變性通過構(gòu)建圖像尺度金字塔，在尺度金字塔的每一層中進(jìn)行特征點的檢測和描述來實 現(xiàn)。旋轉(zhuǎn)不變性通過將描述符采樣模式依據(jù)特征點的主方向進(jìn)行旋轉(zhuǎn)來實現(xiàn)，其中特征點 主方向由圖像灰度質(zhì)心確定。為了提高算法的魯棒性，BRIEF特征描述算法中隨機生成的 采樣模式改為借助機器學(xué)習(xí)的方式來得到。由于FAST特征檢測算子和BRIEF描述符都是 基于圖像灰度值大小的比較來實現(xiàn)，0RB能夠快速地對特征點進(jìn)行檢測和描述。生成的二 值特征不僅降低了存儲消耗，也提高了描述符匹配的速度。
[0004] (2)球面 SIFT (Scale Invariant Feature Transform)特征（見文獻(xiàn)[2]):該方 法將平面SIFT特征提取方法移植到球面圖像上，由Cruz-Mota等于2012年提出。球面圖 像與平面圖像最大的不同在于球面圖像一般存在采樣不一致問題，例如球面兩極區(qū)域的采 樣率遠(yuǎn)高于赤道區(qū)域。因此，如何處理這種采樣不一致性成為球面特征提取需要首先解決 的問題。Cruz-Mota等借助球面調(diào)和函數(shù)對球面圖像進(jìn)行高斯模糊，進(jìn)而建立球面域尺度金 字塔?；谇蛎娼鹱炙?，SIFT特征被移植來對球面圖像進(jìn)行特征檢測和描述。然而，由于 球面調(diào)和函數(shù)自身存在計算復(fù)雜度高、具有帶寬約束等問題，該方法在計算速度、魯棒性等 方面存在一定缺陷。
[0005] 由于球面圖像的采樣不一致性，平面圖像的特征提取算法（如文獻(xiàn)[1])不能直 接應(yīng)用到球面全景圖像上?，F(xiàn)有的球面特征提取算法（如文獻(xiàn)[2])大多借助球面調(diào)和函 數(shù)建立球面尺度空間，進(jìn)而在球面域內(nèi)檢測或描述特征。然而，由于球面調(diào)和函數(shù)的計算 復(fù)雜度比較高，此類方法不適用于對處理速度要求比較嚴(yán)格的應(yīng)用，如SLAM (Simultaneous Localization And Mapping,同步定位與地圖構(gòu)建）等。同時，由于球面調(diào)和函數(shù)具有帶寬 約束的問題，此類方法在魯棒性等方面也存在一定缺陷。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供了一種球面特征提取方法，本發(fā)明實現(xiàn)了快速地檢測、描述特征，并且 能夠魯棒地在不同球面圖像間找到相互匹配的像素點，為高層應(yīng)用提供必要的匹配點輸 入，詳見下文描述：
[0007] -種球面特征提取方法，所述方法包括以下步驟：
[0008] 通過測地線網(wǎng)格獲取均勻參數(shù)化表示的球面圖像；
[0009] 對球面圖像進(jìn)行FAST的特征檢測；
[0010] 通過圖像灰度值比較的球面圖像特征點描述算法對過濾后特征點進(jìn)行處理，獲取 過濾后特征點的描述符。
[0011] 本發(fā)明的基礎(chǔ)是球面均勻參數(shù)化表示方法，球面經(jīng)過均勻參數(shù)化表示后，球面的 每個像素?fù)碛薪葡嗤泥徲蚪Y(jié)構(gòu)，并且其鄰域可以當(dāng)成局部平面來處理。由于這些特性， 平面圖像快速魯棒的特征提取技術(shù)可以被移植，用于處理球面圖像。本發(fā)明以平面0RB特 征為原型，提出了用于處理球面全景圖像的特征檢測與描述算法。本發(fā)明具有以下優(yōu)點：
[0012] (1)與現(xiàn)有基于球面調(diào)和函數(shù)的球面特征提取算法相比，本發(fā)明計算速度快，能夠 實時地對球面特征進(jìn)行檢測和描述。其速度優(yōu)勢主要源于三個方面：第一，以球面FAST為 特征檢測算子，通過對樣本球面圖像進(jìn)行訓(xùn)練的方式，對特征檢測過程進(jìn)行了加速；第二， 通過比較特征點鄰域內(nèi)若干組像素灰度級大小的方式來產(chǎn)生描述符，代替了傳統(tǒng)浮點型描 述符中計算梯度直方圖并進(jìn)行歸一化的過程，對特征描述過程進(jìn)行了加速；第三，本發(fā)明生 成的描述符為二進(jìn)制串，進(jìn)行匹配時采用的距離度量為海明距離。海明距離的計算可以通 過對兩個二進(jìn)制串進(jìn)行異或操作并統(tǒng)計結(jié)果串中為1的位的數(shù)目實現(xiàn)，對特征匹配過程進(jìn) 行了加速。
[0013] (2)與直接使用平面特征提取算法對球面特征進(jìn)行檢測和描述的方法相比，本發(fā) 明具有更好的魯棒性。該魯棒性體現(xiàn)在特征檢測算子的可重復(fù)性（repeatability)和描述 符的準(zhǔn)確性（precision)上。同時，本發(fā)明相對于現(xiàn)有的球面特征提取算法和基于局部平 面投影的方法也具有較好的算法魯棒性。本發(fā)明的魯棒性在相機發(fā)生旋轉(zhuǎn)和移動時均有所 體現(xiàn)。

【專利附圖】

【附圖說明】
[0014] 圖1為geodesic grid(測地線網(wǎng)格）的構(gòu)建方式示意圖：
[0015] (a)為正二十面體示意圖；(b)為弧等分示意圖；（c)為弧4等分時得到的多面體； (d)為多面體的對偶網(wǎng)格geodesic grid。
[0016] 圖2為geodesic grid(測地線網(wǎng)格）的結(jié)構(gòu)示意圖：
[0017] (a)為geodesic grid被分成全等的五部分示意圖；(b)為計算網(wǎng)格示意圖；（c) 為存儲網(wǎng)格不意圖。
[0018] 圖3為對存儲網(wǎng)格進(jìn)行邊界擴展的示意圖；
[0019] 圖4為計算網(wǎng)格和存儲網(wǎng)格鄰域定義及坐標(biāo)系轉(zhuǎn)換示意圖；
[0020] (a)為計算網(wǎng)格的鄰域定義及坐標(biāo)系轉(zhuǎn)換示意圖；(b)為存儲網(wǎng)格鄰域定義及坐 標(biāo)系轉(zhuǎn)換示意圖。
[0021] 圖5為球面FAST特征檢測算子示意圖；
[0022] 其中，k為待處理像素，加粗邊界的六邊形標(biāo)記的像素為對像素 k檢測特征時需要 考查的像素。
[0023] 圖6為一種球面特征提取方法的流程圖。

【具體實施方式】
[0024] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面對本發(fā)明實施方式作進(jìn)一步 地詳細(xì)描述。
[0025] 本發(fā)明提出了快速魯棒的球面特征提取新技術(shù)。與現(xiàn)有技術(shù)不同，本發(fā)明以球面 的均勻參數(shù)化表示方法為基礎(chǔ)，在球面域內(nèi)采用灰度值比較的方式來檢測和描述特征點， 不僅加快了特征提取的速度，并有效的提高了算法的魯棒性。本發(fā)明屬于計算機視覺領(lǐng)域， 涉及球面圖像均勻參數(shù)化表示、球面圖像特征檢測、球面圖像特征描述與匹配三部分，詳見 下文描述：
[0026] 101 :通過geodesic grid(測地線網(wǎng)格）獲取均勻參數(shù)化表示的球面圖像；
[0027] a)建立單位球內(nèi)接正二十面體，作為初始的多面體A ;
[0028] b)二等分多面體A的所有邊，并歸一化等分點，使等分點落在球面上；
[0029] c)根據(jù)多面體的信息連接相應(yīng)的等分點與原始頂點，得到細(xì)分的多面體B ;
[0030] d)若多面體B的分辨率達(dá)到預(yù)設(shè)的分辨率，進(jìn)入步驟e);否則，將B作為初始多面 體A，重復(fù)步驟b)和步驟c);
[0031] e)構(gòu)建d)中生成多面體的對偶網(wǎng)格即geodesic grid ;
[0032] f)基于geodesic grid對球面圖像進(jìn)行采樣，得到該表示方法下的球面圖像。
[0033] 下面結(jié)合附圖來說明本步驟的詳細(xì)操作，本步驟包括：geodesic grid的構(gòu)建、球 面圖像的轉(zhuǎn)換、轉(zhuǎn)換后圖像邊界的擴展等步驟；
[0034] l、geodesic grid的構(gòu)建：首先建立單位球的內(nèi)接正二十面體。由于需要構(gòu)建球面 圖像的尺度金字塔，采用弧等分的方式代替二等分多面體的邊再歸一化等分點的方案。使 用球面大弧連接正二十面體的相鄰頂點。將每條弧線進(jìn)行η等分，用大弧兩兩連接等分點， 等分點和弧線的交點作為多面體新的頂點。當(dāng)三條弧線不能交于同一點時，使用三個交點 的質(zhì)心（經(jīng)過歸一化處理）作為新的頂點，如圖1所示。連接新的頂點和正二十面體初始 的頂點，得到指定分辨率的多面體。構(gòu)建多面體的對偶網(wǎng)格，即以多面體的每個頂點為中心 構(gòu)建維諾單元。得到的對偶網(wǎng)格便為geodesic grid。根據(jù)其構(gòu)建方式可知，弧線進(jìn)行η等 分時生成的geodesic grid的分辨率，即網(wǎng)格單元的數(shù)目，為Ne= 10Χη2+2。為了建立球面 圖像的尺度金字塔，分別構(gòu)建η = 64,80,102,128,162, 204, 256的geodesic grid，即尺度 金字塔每層的分辨率分別為 40962,64002,104042,163842, 262442,416162,655362。由于不 同的球面圖像對應(yīng)相同的球面參數(shù)化表示方式，將構(gòu)建的geodesic grid進(jìn)行存儲。處理 新的球面圖像時，直接讀取存儲的網(wǎng)格信息對球面圖像進(jìn)行轉(zhuǎn)換，提高了算法的執(zhí)行速度。
[0035] 2、球面圖像的轉(zhuǎn)換：根據(jù)存儲的geodesic grid信息對球面圖像進(jìn)行采樣，采樣 時依據(jù)經(jīng)緯度對球面像素進(jìn)行雙線性插值。將球面拆成全等的五部分（如圖2a所示）并 將每部分展平得到一個平行四邊形結(jié)構(gòu)（如圖2b所示）。由于后續(xù)的特征檢測和描述基于 該結(jié)構(gòu)，稱其為計算網(wǎng)格。將計算網(wǎng)格通過一定程度的拉伸得到易于存儲的矩形結(jié)構(gòu)，稱其 為存儲網(wǎng)格。像素的存儲和索引基于存儲網(wǎng)格進(jìn)行。由于存儲網(wǎng)格是通過計算網(wǎng)格進(jìn)行拉 伸得到，為了將存儲網(wǎng)格中像素的坐標(biāo)轉(zhuǎn)換成計算網(wǎng)格中的形式，需要定義坐標(biāo)轉(zhuǎn)換矩陣。 根據(jù)存儲網(wǎng)格中的正交坐標(biāo)系和計算網(wǎng)格中傾斜的坐標(biāo)系相對應(yīng)這一事實（圖4a中兩個 短箭頭定義的坐標(biāo)系），可得坐標(biāo)轉(zhuǎn)換矩陣的形式為：
[0036]

【權(quán)利要求】
1. 一種球面特征提取方法，其特征在于，所述方法包括以下步驟： 通過測地線網(wǎng)格獲取均勻參數(shù)化表示的球面圖像； 對球面圖像進(jìn)行FAST的特征檢測； 通過圖像灰度值比較的球面圖像特征點描述算法對過濾后特征點進(jìn)行處理，獲取過濾 后特征點的描述符。
2. 根據(jù)權(quán)利要求1所述的一種球面特征提取方法，其特征在于，所述通過測地線網(wǎng)格 獲取均勻參數(shù)化表示的球面圖像的步驟具體為： a) 建立單位球內(nèi)接正二十面體，作為初始的多面體A ; b) 二等分多面體A的所有邊，并歸一化等分點，使等分點落在球面上； c) 根據(jù)多面體的信息連接相應(yīng)的等分點與原始頂點，得到細(xì)分的多面體B ; d) 若多面體B的分辨率達(dá)到預(yù)設(shè)的分辨率，進(jìn)入步驟e);否則，將多面體B作為初始多 面體A，重復(fù)步驟b)和步驟c); e) 構(gòu)建d)中生成多面體的對偶網(wǎng)格； f) 基于對偶網(wǎng)格對球面圖像進(jìn)行采樣，得到球面圖像。
3. 根據(jù)權(quán)利要求1所述的一種球面特征提取方法，其特征在于，所述對球面圖像進(jìn)行 FAST的特征檢測的步驟具體為： a) 建立不同分辨率下以的球面圖像，每一種分辨率下的球面圖像作為球面尺度金字塔 中的一層； b) 對球面尺度金字塔的每一層利用球面FAST進(jìn)行特征點檢測； c) 計算潛在特征點的FAST得分，當(dāng)?shù)梅衷卩徲蛳袼氐腇AST得分中最大時保留該特征 點，否則將該特征點移除。
4. 根據(jù)權(quán)利要求1所述的一種球面特征提取方法，其特征在于，所述通過圖像灰度值 比較的球面圖像特征點描述算法對過濾后特征點進(jìn)行處理，獲取過濾后特征點的描述符的 步驟具體為： a) 利用像素點鄰域的灰度質(zhì)心計算特征點的主方向； b) 根據(jù)計算得到的每個特征點的主方向，對采樣模式進(jìn)行相應(yīng)的旋轉(zhuǎn)； c) 對旋轉(zhuǎn)后采樣模式中的每個位置對（Xi，yi)，如果像素灰度值I (Xi) < I (yi)，則描述 符中對應(yīng)的位為1 ;否則為0 ; d) 將c)中根據(jù)每個位置對得到的二進(jìn)制比較值進(jìn)行串聯(lián)，組成某個特征點的描述符。
【文檔編號】G06T15/10GK104217459SQ201410448587
【公開日】2014年12月17日 申請日期:2014年9月4日 優(yōu)先權(quán)日:2014年9月4日
【發(fā)明者】萬亮, 馮偉, 張加萬, 趙強 申請人:天津大學(xué)