在位置x處的定義如下:
[0067]
[0068] 如圖4中灰色區(qū)域積分圖為:A-B_C+D ;
[0069] 2)近似 Hessian 矩陣;
[0070] 給定圖像I中一點X = (X,y),其Hessian矩陣為:
[0071]
[0072] 3)尺度空間描述;
[0073] surf中只是boxfilter的大小變化,而非圖像縮放;
[0074] 4)特征點定位;
[0075] 根據(jù)Hessian矩陣求出尺度圖像在(X,y)處的極值后,首先在極值點的3X3X3 的立體鄰域內(nèi)進(jìn)行非極大值抑制,在尺度空間和圖像空間中進(jìn)行插值,使用二次擬合函數(shù) 進(jìn)行插俜·
[0076]
[0077] 對上式進(jìn)行求導(dǎo),并取得極值點處的極值為:
[007?
[0079] 當(dāng)極值彡0· 03,該點為特征點;
[0080] 5)特征描述符;
[0081] 如圖5,以特征點為中心,沿著主方位構(gòu)建一個邊長為20的正方形,再分為4*4的 子區(qū)域,在每個小區(qū)域內(nèi)又分為5*5采樣點,計算Haar小波在相對于主方位響應(yīng)的水平和 垂直方向上的響應(yīng);
[0082] 所述提取harris特征點步驟:
[0083] 1)對每一像素點計算相關(guān)矩陣m ;
[0084]
[0085]
[0086]
[0087] 2)對m的四個元素進(jìn)行高斯平滑濾波,得到新的m,高斯函數(shù)為:
[0088]
[0089] 3)利用m計算每個像素的角點量cim ;
[0090]
[0091] 4) cim滿足大于某一個閾值和cim是某鄰域局部極大值,滿足條件的就是角點;
[0092] 圖6為一幅圖像中提取到的harri s角點。
[0093] 由上述描述可知,所述"特征提取"采用提取sift特征點中"通過擬合三維二次函 數(shù)以精確確定關(guān)鍵點的位置和尺度,同時去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點" 可增強匹配穩(wěn)定性、提高抗噪聲能力;所述"特征提取"采用提取surf特征點中"在尺度空 間和圖像空間中進(jìn)行插值"能夠?qū)蜻x特征點進(jìn)行亞像素定位。
[0094] 進(jìn)一步的,所述步驟S103中"特征匹配"是通過歐式距離進(jìn)行特征匹配;所述步驟 S103中"獲取匹配特征點對數(shù)"采用RANSAC算法進(jìn)行計算。
[0095] 所述步驟S103中的"特征匹配"采用歐式距離具體步驟:
[0096] 1)假設(shè)待匹配圖像為圖像1 (1,m),圖像2 (2, η),圖像1有m個特征點,圖像2有 η個特征點,圖像1中特征點i = 1,2, .... m,在圖像2中為圖像1中的每一個特征點尋找 匹配對;
[0097] 2)圖像1中特征點i = 1,在圖像2中為圖像1中的第一個特征點尋找最近點dl 和次近點d2,前面提到過每個特征點有(sift :128維)特征描述符,通過特征點描述符計 算歐式距離,如果滿足下面公式,那么就認(rèn)為特征i = 1與圖像2中歐式距離最近點匹配。
[0098]
[0099] 3)重復(fù)步驟2)中i = 2, 3,4..…m,尋找圖像1中其它特征點在圖像2中尋找匹 配對。
[0100] 所述步驟S103中的"獲取匹配特征點對數(shù)"采用RANSAC算法具體如下:
[0101] 以相鄰兩幀圖像為例,設(shè)匹配特征點對數(shù)目為N,匹配特征點集合分別記為P(l, N),P(2, N),其中P(l,N)為基準(zhǔn)圖像的特征點集合,P(2, N)為待匹配圖像的特征點集合, 具體步驟如下:
[0102] 1)從初始N對匹配特征點中隨機選取4對匹配特征點;
[0103] 2)由選取的4對匹配特征點計算出基準(zhǔn)圖像和待匹配圖像間透視變換矩陣M12, 利用變換矩陣M12對待匹配圖像的特征點集合P (2, N)中剩余N-4個特征點P (2, N-2)變換 到基準(zhǔn)圖像坐標(biāo)系下,記為P'(2,N-4);
[0104] 3)計算變換后的特征點P'(2, N-4)與特征點P(l,N-4)之間的坐標(biāo)誤差;
[0105] 4)從N對匹配特征點對中找出坐標(biāo)誤差在一定誤差閾值內(nèi)的特征點對個數(shù),記為 i,即為內(nèi)點;
[0106] 5)反復(fù)迭代1)至4)步驟η次,找到i最大的集合為最大內(nèi)點集,其余N-i為誤匹 配點,即為外點。用最小二乘法來減小誤差,去除了誤匹配的影響,得到空間變換矩陣M。
[0107] 進(jìn)一步的,所述步驟S106中"獲取全局變換矩陣"具體為:
[0108] 1、根據(jù)特征匹配對采用最小二乘法獲取每幅圖像與其匹配圖像的透視變換矩陣 化;如3X3的透視變換矩陣H(i = 3, j = 3);
[0109]
?
[0110] 2、根據(jù)透視變換矩陣t計算每幅圖像的初始景深Α和一個3 X 3的旋轉(zhuǎn)矩陣民,3 者之間滿B加下'f玄.
[0111]
[0112] 3、定義一個 3X 1 的矩陣 rOp avgZi ;
[0113]
[0114]
[0115] 4、對covsum做SVD分解,獲取到正交矩陣,定義rl為該正交矩陣的第3行;所述 rO = avgsumTXrl,歸一化 rO, r2 = rOXrl ;
[0116] 5、獲取全局變換矩陣u;
[0117]
[0118] 由上述描述可知,獲取全局變換矩陣的有益效果在于:通過獲取這樣一個全局變 換矩陣,將它與旋轉(zhuǎn)矩陣相乘,能夠有效的去除輸出全景圖的彎曲效果。因此,不管是圖像 旋轉(zhuǎn)、傾斜,攝像機有一個分量始終在一個平面上,通過尋找這個平面的垂直向量來達(dá)到矯 正全景圖像的目的。
[0119] 進(jìn)一步的,所述步驟S107中的"圖像融合"采用平均疊加法、多分辨率融合或加權(quán) 融合。
[0120] 所述步驟S107中的"圖像融合"采用平均疊加法具體為:
[0121] 如圖7,圖像重疊區(qū)域中像素點的像素值Pixel由兩幅圖像中對應(yīng)點的像素值 Pixel_L和Pixel_R平均疊加得到:
[0122] Pixel = 0· 5* (Pixel_L+Pixel_R);
[0123] 所述步驟S107中的"圖像融合"采用多分辨率融合具體為:
[0124] 首先構(gòu)建圖像金字塔分層結(jié)構(gòu),將輸入圖像分解為一系列不同頻帶的帶通層;然 后對各帶通層分別進(jìn)行融合得到拼接圖像的帶通層:最后由拼接圖像的帶通層組合得到最 終的拼接圖像。因為圖像融合在不同的頻帶分別進(jìn)行,所以能有效避免圖像的融合鬼影;并 且由于圖像的多頻帶分解和組合是一個互逆的過程,使用這種方法可以保證所得拼接圖像
[0126] 》 其中G。為原始圖像,w(m, η) = w(m) 的正確性。[0125] 1)構(gòu)建圖像金字塔分層結(jié)構(gòu),得到每一幅圖像的低通層G。,匕,....GN i :
w (η)為5x5窗口的加權(quán)函數(shù)。[0127] 2)利用所得圖像的各低通層,分解得到該圖像的帶通層L。,L .... LN i ; >
[0128]
[0129] 3)在各帶通層中分別進(jìn)行圖像融合操作,這里使用加權(quán)法平均實現(xiàn),針對當(dāng)前的 Lk層,有:
[0130]
[0131] 經(jīng)過該步操作,得到輸出圖像所對應(yīng)的帶通空間LQc]Ut,Llc]Ut,. . . . LN lc]Ut。
[0132] 4)將所得各帶通層進(jìn)行組合,得到最終的拼接圖像:
[0133]
[0134] 所述步驟S107中的"圖像融合"采用加權(quán)融合具體為:
[0135] 圖像融合區(qū)域中像素點的像素值Pixel由兩幅圖像中對應(yīng)點的像素值Pixel_I^P Pixel_R加權(quán)平均得到,即:Pixel = kXPixel_L+(l_k) XPixel_R,其中k是可調(diào)因子;
[0136] 通常情況下0<k彡1,即在融合區(qū)域中,沿圖像1向圖像2的方向,k由1漸變 為〇,從而實現(xiàn)融合區(qū)域的平滑拼接。為使圖像融合區(qū)域中的點與兩幅圖像建立更大的相關(guān) 性,令k = dV(dl+d2),如圖8,其中:dl,d2分別表示融合區(qū)域中的點到兩幅圖像融合區(qū)域 的左邊界和右邊界的距離。重疊區(qū)域并不等于融合區(qū)域,一旦2幅原始的圖像確定,那么重 疊區(qū)域?qū)捒隙ㄊ枪潭ǖ模诤蠀^(qū)域是人為控制的,可以在重疊區(qū)域范圍內(nèi)選擇任意只要 滿足融合區(qū)域Wl < W2就可以。
[0137] 即使用公式Pixel = dl/(dl+d2) XPixel_L+d2/(dl+d2) XPixel_R進(jìn)行縫合線處 理,非融合區(qū)域直接從原圖映射獲取。
[0138] 請參閱圖9,為本發(fā)明【具體實施方式】中全景拼接圖像彎曲矯正裝置的結(jié)構(gòu)示意圖, 具體如下:
[0139