專利名稱：基于旋轉(zhuǎn)矩陣搜索的魚(yú)眼圖像匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種計(jì)算機(jī)視覺(jué)領(lǐng)域的方法，具體是一種基于旋轉(zhuǎn)矩陣搜索的魚(yú)眼圖像匹配方法。
背景技術(shù)：
從二維圖像中恢復(fù)三維物體可見(jiàn)表面幾何結(jié)構(gòu)的三維重建技術(shù)一直是計(jì)算機(jī)視覺(jué)的重要研究?jī)?nèi)容。近些年來(lái)，隨著數(shù)字博物館、數(shù)字考古，虛擬現(xiàn)實(shí)等領(lǐng)域應(yīng)用的不斷發(fā)展，物體表面結(jié)構(gòu)的視覺(jué)效果已成為三維重建技術(shù)越來(lái)越關(guān)注的問(wèn)題，而圖像對(duì)應(yīng)點(diǎn)的匹配方法是應(yīng)用三維重建技術(shù)的一個(gè)關(guān)鍵問(wèn)題。目前常用的匹配算法如基于特征點(diǎn)、基于Harris角點(diǎn)，基于相關(guān)性等匹配算法都是針對(duì)透視圖像的，而關(guān)于魚(yú)眼圖像匹配方法的報(bào)道還很少。魚(yú)眼攝像機(jī)由于視角廣，在大視角的應(yīng)用場(chǎng)合如大場(chǎng)景重建中比普通透視攝像機(jī)具有更大優(yōu)勢(shì)。對(duì)于普通透視攝像機(jī)需要幾十幅圖像來(lái)重建的場(chǎng)景，魚(yú)眼攝像機(jī)僅僅需要幾幅圖像就可以覆蓋場(chǎng)景范圍。因此，本發(fā)明研究的魚(yú)眼圖像匹配算法具有重要的應(yīng)用價(jià)值。經(jīng)對(duì)現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn),Micusik等人在文獻(xiàn)《3D Metric Reconstructionfrom Uncalibrated Omnidirectional Images》 (Proceedings of the Asian Conferenceon Computer Vision, 2004 :545-550,亞洲計(jì)算機(jī)視覺(jué)會(huì)議)上，闡述了基于魚(yú)眼圖像的匹配方法，要求在精確估計(jì)魚(yú)眼攝像機(jī)的變形參數(shù)和外參數(shù)及兩幅魚(yú)眼圖像的對(duì)極幾何關(guān)系的情況下，該方法實(shí)現(xiàn)了兩幅魚(yú)眼圖像之間特征點(diǎn)的匹配；許振輝等人在文獻(xiàn)《基于鄰域傳遞的魚(yú)眼圖像的準(zhǔn)稠密匹配》(35(9) :1159-1167,2009,自動(dòng)化學(xué)報(bào))上，闡述了采用鄰域傳遞思路在魚(yú)眼圖像對(duì)應(yīng)區(qū)域之間建立局部仿射模型變換關(guān)系，從而估計(jì)魚(yú)眼圖像的準(zhǔn)稠密匹配點(diǎn)；Xiaoming Li 等人在文獻(xiàn)《Ratation Model Based Quasi-Dense MatchingPropagation for Uncalibrated Fisheye Images)) (VII181-185,2010 InternationalConference on Computer Applicatin and System Modeling,國(guó)際計(jì)算機(jī)應(yīng)用于系統(tǒng)模型會(huì)議)上，闡述了基于魚(yú)眼圖像平面旋轉(zhuǎn)模型的準(zhǔn)稠密特征點(diǎn)匹配方法。以上這些魚(yú)眼圖像匹配方法都是在魚(yú)眼圖像平面上進(jìn)行的，沒(méi)有很好的利用魚(yú)眼圖像上特征點(diǎn)在單位球面上的投影點(diǎn)信息。

發(fā)明內(nèi)容
本發(fā)明的目的在于不需要精確獲取魚(yú)眼攝像機(jī)模型參數(shù)的情況下，將魚(yú)眼圖像的特征點(diǎn)投影到單位球面上，提出一種基于兩幅圖像之間旋轉(zhuǎn)矩陣搜索的魚(yú)眼圖像匹配方法。本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明從兩幅魚(yú)眼圖像上的特征點(diǎn)出發(fā)，提 出在僅僅估計(jì)魚(yú)眼攝像機(jī)的焦距及圖像主點(diǎn)坐標(biāo)的情況下，將魚(yú)眼圖像特征點(diǎn)投影到單位球面上變換為三維球面點(diǎn)坐標(biāo)；然后根據(jù)計(jì)算旋轉(zhuǎn)矩陣和平移向量需要的最少對(duì)應(yīng)點(diǎn)數(shù)目，即在第一幅魚(yú)眼圖像及第二幅魚(yú)眼圖像對(duì)應(yīng)的單位球面上分別選擇一組可能的匹配點(diǎn)對(duì)估計(jì)旋轉(zhuǎn)矩陣和平移向量；通過(guò)計(jì)算的旋轉(zhuǎn)矩陣和平移向量估計(jì)出第一幅球面透視圖像上的點(diǎn)在第二幅球面透視圖像上的反投影點(diǎn)與第二幅球面透視圖像上特征點(diǎn)的夾角和；最后，根據(jù)夾角和最小化估計(jì)出兩幅魚(yú)眼圖像之間對(duì)應(yīng)的旋轉(zhuǎn)矩陣和平移向量，從而確定兩幅圖像間正確的匹配點(diǎn)對(duì)。一種基于旋轉(zhuǎn)矩陣搜索的魚(yú)眼圖像匹配方法，其特征在于，具體步驟如下(I)提取兩幅原始魚(yú)眼圖像上的所有特征點(diǎn)Hii及!11' i，這兩組特征點(diǎn)作為需要匹配的數(shù)據(jù)；(2)在第一幅魚(yú)眼圖像上選擇特征點(diǎn)IV以這個(gè)特征點(diǎn)為中心選擇矩形相關(guān)窗口，再在第二幅魚(yú)眼圖像上以與點(diǎn)Hli相同的坐標(biāo)為中心選擇大小為矩形相關(guān)窗口 2倍大的矩形搜索窗口； (3)計(jì)算第一幅魚(yú)眼圖像上特征點(diǎn)Hii = (u，ν)τ與第二幅魚(yú)眼圖像上在矩形搜索窗口中的特征點(diǎn)m' i = (u' ,V' )τ的灰度相關(guān)系數(shù)Cor Ov m'):設(shè)定的灰度相關(guān)系數(shù)閾值為O. 6，則在第二幅魚(yú)眼圖像上灰度相關(guān)系數(shù)大于閾值的特征點(diǎn)是與第一幅魚(yú)眼圖像上的特征點(diǎn)Hli相匹配的候選特征點(diǎn)；(4)由魚(yú)眼圖像的焦距及主點(diǎn)坐標(biāo)將第一幅魚(yú)眼圖像上的特征點(diǎn)投影為單位球面點(diǎn)吣二丨七^(guò)” 廣在第二幅魚(yú)眼圖像上的候選匹配點(diǎn)投影為單位球面點(diǎn)^ i=(x' i;I' i，z, i)T ；(5)單位球面點(diǎn)Mi與候選匹配點(diǎn)的單位球面投影M' i間存在對(duì)應(yīng)關(guān)系M' i =
權(quán)利要求
1.一種基于旋轉(zhuǎn)矩陣搜索的魚(yú)眼圖像匹配方法，其特征在于，具體步驟如下 (1)提取兩幅原始魚(yú)眼圖像上的所有特征點(diǎn)Hii及m'i，這兩組特征點(diǎn)作為需要匹配的數(shù)據(jù)； (2)在第一幅魚(yú)眼圖像上選擇特征點(diǎn)IV以這個(gè)特征點(diǎn)為中心選擇矩形相關(guān)窗ロ，再在第二幅魚(yú)眼圖像上以與點(diǎn)Hii相同的坐標(biāo)為中心選擇大小為矩形相關(guān)窗ロ 2倍大的矩形搜索窗ロ ； (3)計(jì)算第一幅魚(yú)眼圖像上特征點(diǎn)Hli= (U，ν)τ與第二幅魚(yú)眼圖像上在矩形搜索窗ロ中的特征點(diǎn)m' i = (u' ,V' )τ的灰度相關(guān)系數(shù)CorOvm'設(shè)定的灰度相關(guān)系數(shù)閾值為O. 6，則在第二幅魚(yú)眼圖像上灰度相關(guān)系數(shù)大于閾值的特征點(diǎn)是與第一幅魚(yú)眼圖像上的特征點(diǎn)Hii相匹配的候選特征點(diǎn)； (4)由魚(yú)眼圖像的焦距及主點(diǎn)坐標(biāo)將第一幅魚(yú)眼圖像上的特征點(diǎn)投影為單位球面點(diǎn)Mi=(Xi，yi，Zi)T，在第二幅魚(yú)眼圖像上的候選匹配點(diǎn)投影為單位球面點(diǎn)M' i=(x' ”デi;z'ア； (5)単位球面點(diǎn)Mi與候選匹配點(diǎn)的単位球面投影M',間存在對(duì)應(yīng)關(guān)系rU rU ら、 M, i = RWi+T，其中R是3X3的旋轉(zhuǎn)矩陣，T是3X1的平移向量；令尺
全文摘要
一種基于旋轉(zhuǎn)矩陣搜索的魚(yú)眼圖像匹配方法屬于計(jì)算機(jī)視覺(jué)研究領(lǐng)域。本發(fā)明采用通過(guò)兩幅圖像特征點(diǎn)的單位球面投影之間旋轉(zhuǎn)矩陣搜索的魚(yú)眼圖像匹配方法，國(guó)內(nèi)外目前還沒(méi)有類似文獻(xiàn)報(bào)道。本方法從兩幅魚(yú)眼圖像上提取的特征點(diǎn)出發(fā)，根據(jù)圖像的主點(diǎn)坐標(biāo)和焦距將特征點(diǎn)投影到單位球面上；然后由單位球面上的投影點(diǎn)隨機(jī)選擇至少6對(duì)對(duì)應(yīng)點(diǎn)估計(jì)出旋轉(zhuǎn)矩陣；最后，由所有旋轉(zhuǎn)矩陣估計(jì)第一幅單位球面圖像上的特征點(diǎn)在第二幅單位球面圖像上的投影點(diǎn)，并計(jì)算這些投影點(diǎn)與第二幅單位球面圖像上相應(yīng)特征點(diǎn)的夾角和，對(duì)應(yīng)于夾角和最小的旋轉(zhuǎn)矩陣就是搜索到的旋轉(zhuǎn)矩陣。本發(fā)明能夠通過(guò)魚(yú)眼圖像間的旋轉(zhuǎn)矩陣搜索以80％以上的準(zhǔn)確匹配率確定魚(yú)眼圖像之間的對(duì)應(yīng)點(diǎn)。
文檔編號(hào)G06T7/00GK102651131SQ20121009163
公開(kāi)日2012年8月29日 申請(qǐng)日期2012年3月30日 優(yōu)先權(quán)日2012年3月30日
發(fā)明者徐曉波, 王旋, 祝海江 申請(qǐng)人:北京化工大學(xué)