一種全景拼接判斷圖像匹配方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其是一種全景拼接判斷圖像匹配方法及裝置。
【背景技術(shù)】
[0002] 在監(jiān)控系統(tǒng)快速發(fā)展的今天，系統(tǒng)規(guī)模越來越大，監(jiān)控點越來越多，工作人員面對 越來越多的監(jiān)控圖像已無暇顧及，隨著監(jiān)控范圍的不斷擴大，需要對整座橋梁、機場、很長 一段公路或者高層建筑進行監(jiān)控，大多數(shù)攝像機的視場達不到這樣大的監(jiān)控范圍，因此對 大視場視頻監(jiān)控的要求逐漸增多，逐漸形成了一種高端需求。視頻全景拼接作為一種解決 方案，也得到了越來越多的關(guān)注。全景拼接過程中往往在圖像匹配這一重要環(huán)節(jié)出現(xiàn)圖像 的誤匹配，因此，如何判斷圖像匹配是當(dāng)前較關(guān)注的問題。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明所要解決的技術(shù)問題是：提供一種全景拼接判斷圖像匹配方法及裝置，用 來判斷圖像是否匹配，實現(xiàn)消除圖像的誤匹配。
[0004] 為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：
[0005] -種全景拼接判斷圖像匹配方法，包括：
[0006] S101、采集兩幅以上待拼接的全景分區(qū)圖；
[0007] S102、將所述全景分區(qū)圖進行特征提??；
[0008] S103、將S102所得全景分區(qū)圖分別進行特征粗匹配和特征精匹配，并計算特征粗 匹配和特征精匹配的匹配特征點對數(shù)；
[0009] S104、根據(jù)所述匹配特征點對數(shù)，判斷圖像是否匹配。
[0010] 本發(fā)明采用的另一技術(shù)方案為：
[0011] -種全景拼接判斷圖像匹配裝置，包括依次連接的圖像采集模塊、特征提取模塊、 特征匹配模塊、計算模塊和判斷匹配模塊；
[0012] 所述圖像采集模塊，用于采集兩幅以上待拼接的全景分區(qū)圖；
[0013] 所述特征提取模塊，用于將采集到的兩幅以上待拼接的全景分區(qū)圖進行特征提 取；
[0014] 所述特征匹配模塊，用于將特征提取過的兩幅以上待拼接的全景分區(qū)圖進行特征 粗匹配和特征精匹配；
[0015] 所述計算模塊，用于計算特征粗匹配和特征精匹配的匹配特征點對數(shù)；
[0016] 所述判斷匹配模塊，用于根據(jù)所述匹配特征點對數(shù)，判斷圖像是否匹配。
[0017] 本發(fā)明的有益效果在于：通過對采集到的所述全景分區(qū)圖進行特征提取、特征匹 配，再通過計算特征粗匹配和特征精匹配的匹配特征點對數(shù)，根據(jù)所述匹配特征點對數(shù)，判 斷圖像是否匹配，從而消除了拼接過程的圖像誤匹配，本發(fā)明的主要功效是將待拼接圖像 序列中，不是同一場景下的圖像剔除，使得余下的圖像都是來自同一場景，利用RANSAC算 法選取內(nèi)點獲取最佳匹配對集合，能夠更高效的完成拼接。
【附圖說明】
[0018] 圖1為本發(fā)明【具體實施方式】全景拼接判斷圖像匹配方法的步驟圖；
[0019] 圖2為本發(fā)明【具體實施方式】中的尺度空間極值檢測的示意圖；
[0020] 圖3為本發(fā)明【具體實施方式】中提取sift特征點生成本地特征描述符的示意圖；
[0021] 圖4為本發(fā)明【具體實施方式】中的灰色區(qū)域積分的示意圖；
[0022] 圖5為本發(fā)明【具體實施方式】中提取surf特征點生成本地特征描述符的示意圖；
[0023] 圖6為本發(fā)明【具體實施方式】中提取到的harris角點的示意圖；
[0024] 圖7為本發(fā)明【具體實施方式】全景拼接判斷圖像匹配裝置的結(jié)構(gòu)示意圖；
[0025] 標(biāo)號說明：
[0026] 10、圖像采集模塊；20、特征提取模塊；30、特征匹配模塊；40、計算模塊；50、判斷 匹配模塊。
【具體實施方式】
[0027] 為詳細說明本發(fā)明的技術(shù)內(nèi)容、所實現(xiàn)目的及效果，以下結(jié)合實施方式并配合附 圖予以說明。
[0028] 本發(fā)明最關(guān)鍵的構(gòu)思在于：將特征提取過的兩幅以上待拼接的全景分區(qū)圖分別進 行特征粗匹配和特征精匹配，并計算特征粗匹配和特征精匹配的匹配特征點對數(shù)，從而判 斷圖像是否匹配，實現(xiàn)消除圖像的誤匹配。
[0029] 請參照圖1，是本發(fā)明【具體實施方式】全景拼接判斷圖像匹配方法的步驟圖；
[0030] 一種全景拼接判斷圖像匹配方法，包括：
[0031] S101、采集兩幅以上待拼接的全景分區(qū)圖；
[0032] S102、將所述全景分區(qū)圖進行特征提??；
[0033] S103、將S102所得全景分區(qū)圖分別進行特征粗匹配和特征精匹配，并計算特征粗 匹配和特征精匹配的匹配特征點對數(shù)；
[0034] S104、根據(jù)所述匹配特征點對數(shù)，判斷圖像是否匹配。
[0035] 從上述描述可知，本發(fā)明的有益效果在于：通過對采集到的所述全景分區(qū)圖進行 特征提取、特征匹配，再通過計算特征粗匹配和特征精匹配的匹配特征點對數(shù)，根據(jù)所述匹 配特征點對數(shù)，判斷圖像是否匹配，從而消除了拼接過程的圖像誤匹配，本發(fā)明的主要功效 是將待拼接圖像序列中，不是同一場景下的圖像剔除，使得余下的圖像都是來自同一場景， 利用RANSAC算法選取內(nèi)點計算獲取最佳匹配對集合，能夠更高效的完成拼接。
[0036] 進一步的，所述步驟S102中"特征提取"為提取sift、surf或harris特征點。
[0037] 所述提取sift特征點步驟為：
[0038] 1)尺度空間極值檢測，初步確定關(guān)鍵點位置和所在尺度。通過高斯核函數(shù)與圖像 的卷積來實現(xiàn)二維圖像的尺度空間。
[0039]
5
[0040] 在檢測尺度空間極值時，圖2中標(biāo)記為叉號的像素需要跟包括同一尺度的周圍鄰 域8個像素和相鄰尺度對應(yīng)位置的周圍鄰域9X2個像素總共26個像素進行比較，以確保 在尺度空間和二維圖像空間都檢測到局部極值；
[0041] 2)精確定位特征點的位置，通過擬合三維二次函數(shù)以精確確定關(guān)鍵點的位置和尺 度，同時去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點；
[0042] 亦羊鍵占々卜田表勒屏開式徨剎，
[0043]
'，：
[0044] 式中，X = (X，y，σ )τ為關(guān)鍵點的偏移量，D是在D(x，y，〇 )關(guān)鍵點處的值；
[0045] 3)確定特征點的主方向；
[0046]
[0047] Θ (x, y) =a tan2((L(x, y+l)-L(x, y-l))/(L(x+l, y)-L(x-l, y)))；
[0048] 4)生成本地特征描述符；
[0049] 首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點的方向，以關(guān)鍵點為中心取4*4的窗口，如圖3所示。 圖3中左圖的黑點為當(dāng)前關(guān)鍵點的位置，每個小格代表關(guān)鍵點鄰域所在尺度空間的一個像 素，箭頭方向代表該像素的梯度方向，箭頭長度代表梯度的大小，圓圈代表高斯加權(quán)的范圍 (越靠近關(guān)鍵點的像素梯度方向信息貢獻越大）。接下來在每個4*4的小塊上計算8個方向 的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點，一個關(guān)鍵點由4*4 共16個種子點組成，每個種子點有8個方向向量信息，即最終形成128維的sift特征向量。
[0050] 所述提取surf特征點步驟為：
[0051] 1) Integral Images (積分圖）；
[0052] 積分圖主要是計算圖像內(nèi)某一個區(qū)域的像素和，積分圖在位置X處的定義如下：
[0053]
[0054] 如圖4中灰色區(qū)域積分圖為：A-B_C+D ;
[0055] 2)近似 Hessian 矩陣；
[0056] 給定圖像I中一點X = (X, y),其Hessian矩陣為：
[0057]
[0058] 3)尺度空間描述；
[0059] surf中只是boxfilter的大小變化，而非圖像縮放；
[0060] 4)特征點定位；
[0061] 根據(jù)Hessian矩陣求出尺度圖像在（X，y)處的極值后，首先在極值點的3X3X3 的立體鄰域內(nèi)進行非極大值抑制，在尺度空間和圖像空間中進行插值，使用二次擬合函數(shù) 進行插值：
[0062]
[0063] 對上式進行求導(dǎo)，并取得極值點處的極值為：
[0064]
[0065] 當(dāng)極值彡0· 03,該點為特征點；
[0066] 5)特征描述符；
[0067] 如圖5,以特征點為中心，沿著主方位構(gòu)建一個邊長為20的正方形，再分為4*4的 子區(qū)域，在每個小區(qū)域內(nèi)又分為5*5采樣點，計算Haar小波在相對于主方位響應(yīng)的水平和 垂直方向上的響應(yīng)；
[0068] 所述提取harris特征點步驟為：
[0069] 1)對每一像素點計算相關(guān)矩陣m ;
[0070]
[0071]
[0072]
[0073] 2)對m的四個元素進行高斯平滑濾波，得到新的m，高斯函數(shù)為：
[0074]
[0075] 3)利用m計算每個像素的角點量cim ;
[0076]
[0077] 4) cim滿足大于某一個閾值和cim是某鄰域局部極大值，滿足條件的就是角點；
[0078] 如圖6為一幅圖像中提取到的harri s角點。
[0079] 由上述描述可知，所述"特征提取"采用提取sift特征點中"通過擬合三維二次函 數(shù)以精確確定關(guān)鍵點的位置和尺度，同時去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點" 可增強匹配穩(wěn)定性、提高抗噪聲能力；所述"特征提取"采用提取surf特征點中"在尺度空 間和圖像空間中進行插值"能夠?qū)蜻x特征點進行亞像素定位。
[0080] 進一步的，所述步驟S103中"特征粗匹配"和"特征精匹配"是通過歐式距離進行 特征匹配。
[0081] 所述采用歐式距離具體步驟為：
[0082] 1)假設(shè)待匹配圖像為圖像1 (1，m)，圖像2 (2, η)，圖像1有m個特征點，圖像2有 η個特征點，圖像1中特征點i = 1，2, .... m，在圖像2中為圖像1中的每一個特征點尋找 匹配對；
[0083] 2)圖像1中特征點i =