尺度空間極值檢測，初步確定關(guān)鍵點(diǎn)位置和所在尺度。通過高斯核函數(shù)與圖像 的卷積來實(shí)現(xiàn)二維圖像的尺度空間。
[0064]
[0065] 在檢測尺度空間極值時(shí)，圖2中標(biāo)記為叉號的像素需要跟包括同一尺度的周圍鄰 域8個(gè)像素和相鄰尺度對應(yīng)位置的周圍鄰域9X2個(gè)像素總共26個(gè)像素進(jìn)行比較，以確保 在尺度空間和二維圖像空間都檢測到局部極值；
[0066] 2)精確定位特征點(diǎn)的位置，通過擬合三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺 度，同時(shí)去除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)；
[0067] 在關(guān)鍵點(diǎn)處用泰勒展開式得到：
[0068]
[0069] 式中，X = (X，y，σ )τ為關(guān)鍵點(diǎn)的偏移量，D是在D(x，y，σ )關(guān)鍵點(diǎn)處的值；
[0070] 3)確定特征點(diǎn)的主方向；
[0071]
[0072] Θ (x, y) =a tan2((L(x, y+l)-L(x, y-l))/(L(x+l, y)-L(x-l, y)))；
[0073] 4)生成本地特征描述符；
[0074] 首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，以關(guān)鍵點(diǎn)為中心取4*4的窗口，如圖3所示。 如圖3中左圖的黑點(diǎn)為當(dāng)前關(guān)鍵點(diǎn)的位置，每個(gè)小格代表關(guān)鍵點(diǎn)鄰域所在尺度空間的一個(gè) 像素，箭頭方向代表該像素的梯度方向，箭頭長度代表梯度的大小，圓圈代表高斯加權(quán)的范 圍（越靠近關(guān)鍵點(diǎn)的像素梯度方向信息貢獻(xiàn)越大）。接下來在每個(gè)4*4的小塊上計(jì)算8個(gè) 方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，即可形成一個(gè)種子點(diǎn)，一個(gè)關(guān)鍵點(diǎn)由 4*4共16個(gè)種子點(diǎn)組成，每個(gè)種子點(diǎn)有8個(gè)方向向量信息，即最終形成128維的sift特征 向量。
[0075] 所述提取surf特征點(diǎn)步驟為：
[0076] 1) Integral Images (積分圖）；
[0077] 積分圖主要是計(jì)算圖像內(nèi)某一個(gè)區(qū)域的像素和，積分圖在位置X處的定義如下：
[0078]
[0079] 如圖4中灰色區(qū)域積分圖為：A-B_C+D ;
[0080] 2)近似 Hessian 矩陣；
[0081] 給定圖像I中一點(diǎn)X = (x，y)，其Hessian矩陣為：
[0082]
[0083] 3)尺度空間描述；
[0084] surf中只是boxfilter的大小變化，而非圖像縮放；
[0085] 4)特征點(diǎn)定位；
[0086] 根據(jù)Hessian矩陣求出尺度圖像在（X，y)處的極值后，首先在極值點(diǎn)的3X3X3 的立體鄰域內(nèi)進(jìn)行非極大值抑制，在尺度空間和圖像空間中進(jìn)行插值，使用二次擬合函數(shù) 進(jìn)行插值：
[0087]
[0088] 對上式進(jìn)行求導(dǎo)，并取得極值點(diǎn)處的極值為：
[0089] 、-，，'·
，
[0090] 當(dāng)極值多〇· 03時(shí)，該點(diǎn)為特征點(diǎn)；
[0091] 5)特征描述符；
[0092] 如圖5,以特征點(diǎn)為中心，沿著主方位構(gòu)建一個(gè)邊長為20的正方形，再分為4*4的 子區(qū)域，在每個(gè)小區(qū)域內(nèi)又分為5*5采樣點(diǎn)，計(jì)算Haar小波在相對于主方位響應(yīng)的水平和 垂直方向上的響應(yīng)；
[0093] 所述提取harris特征點(diǎn)步驟為：
[0094] 1)對每一像素點(diǎn)計(jì)算相關(guān)矩陣m ;
[0095]
[0096]
[0097]
[0098] 2)對m的四個(gè)元素進(jìn)行高斯平滑濾波，得到新的m，高斯函數(shù)為：
[0099]
[0100] 3)利用m計(jì)算每個(gè)像素的角點(diǎn)量cim ;
[0101]
[0102] 4)cim滿足大于某一個(gè)閾值和cim是某鄰域局部極大值，滿足條件的就是角點(diǎn)；
[0103] 如圖6為一幅圖像中提取到的harris角點(diǎn)。
[0104] 由上述描述可知，所述"特征提取"為提取sift特征點(diǎn)中"通過擬合三維二次函數(shù) 以精確確定關(guān)鍵點(diǎn)的位置和尺度，同時(shí)去除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)"可 增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力；所述"特征提取"為提取surf特征點(diǎn)中"在尺度空間和 圖像空間中進(jìn)行插值"能夠?qū)蜻x特征點(diǎn)進(jìn)行亞像素定位。
[0105] 進(jìn)一步的，所述步驟S104中"投影"采用平面投影模型或柱面投影模型或球面投 影模型。
[0106] 所述全景圖，采用平面投影模型進(jìn)行投影合成具體步驟為：
[0107] 如圖7,平面投影模型是先使用圖像配準(zhǔn)技術(shù)求得待拼接圖像間的變換關(guān)系，再選 定參考平面，并將圖像逐個(gè)投影到參考平面，再使用圖像融合技術(shù)生成全景圖像。參考平面 的選取可以是一幅參考圖像所在平面，也可以是空間中的任意平面。由于是平面到平面的 變換，用8個(gè)參數(shù)模型透視變換矩陣H。
[0108]
[0109] 該透視變換矩陣是一個(gè)3X3的矩陣，最后一個(gè)參數(shù)固定為1，其余8個(gè)參數(shù)未知， 需通過特征匹配對計(jì)算獲取，通過至少4對特征匹配對，8個(gè)未知數(shù)，8個(gè)方程采用最小二乘 法計(jì)算。
[0110] 所述全景圖，采用柱面投影模型進(jìn)行投影合成具體步驟為：
[0111] 如圖8,把所有圖像投影到圓柱體表面，建立以視點(diǎn)〇為原點(diǎn)的柱面二維坐標(biāo)系 (Xc，Yc)，定義圓柱體的截面半徑為f，平面S為圖像平面，點(diǎn)P，Q為平面S上的點(diǎn)，點(diǎn)M，N 為圓柱面上的點(diǎn)，且M，N是只Q在圓柱面上的投影點(diǎn)，平面圖像S以C為坐標(biāo)原點(diǎn)。所述 Xc，Yc公式如下：
[0112]
[0113]
[0114] 所述全景圖，采用球面投影模型進(jìn)行投影合成具體步驟為：
[0115] 如圖9,把所有圖像投影到球體表面，建立以視點(diǎn)0為原點(diǎn)的球面二維坐標(biāo)系（Xs， Ys)，定義圓柱體的截面半徑為f，平面S為圖像平面，點(diǎn)P，Q為平面S上的點(diǎn)，點(diǎn)M，N為球 面上的點(diǎn)，且M，N是P，Q在球面上的投影點(diǎn)，平面圖像S以C為坐標(biāo)原點(diǎn)。
[0116] 定義球面原點(diǎn)坐標(biāo)為（0,0)，點(diǎn)P在球面坐標(biāo)系下的對應(yīng)點(diǎn)Μ的經(jīng)煒坐標(biāo)為：
[0117]
[0118]
[0119] 進(jìn)一步的，所述步驟S1041具體為：對每幅待拼接的全景分區(qū)圖采用加權(quán)函數(shù)進(jìn) 行低通濾波；所述步驟S1042的降采樣具體為：對低通濾波后的全景分區(qū)圖隔行隔列取點(diǎn)。
[0120] 如圖10,其中左邊的圖為原圖，右邊的圖為降采樣后圖像，每一個(gè)圖案可認(rèn)為是一 個(gè)像素。
[0121] 進(jìn)一步的，所述步驟S1045:將步驟S1044所得每幅全景分區(qū)圖的圖像像素值相減 后的第1層、第2層、……、第N層的圖像像素值分別進(jìn)行融合；所述融合為對融合區(qū)域像 素值進(jìn)行運(yùn)算的過程，如圖11，其圖中的圖像1和圖像2是原始圖像經(jīng)過分解后的圖像。圖 像融合區(qū)域中像素點(diǎn)的像素值Pixe 1由兩幅圖像中對應(yīng)點(diǎn)的像素值Pixe 1_L和Pixe 1_R加 權(quán)平均得到，即：Pixel = kXPixel_L+(l-k) XPixel_R，其中k是可調(diào)因子。
[0122] 通常情況下0彡k彡1，即在融合區(qū)域中，沿圖像1向圖像2的方向，k由1漸變 為0,從而實(shí)現(xiàn)融合區(qū)域的平滑拼接。為使圖像融合區(qū)域中的點(diǎn)與兩幅圖像建立更大的相關(guān) 性，令k = dlAdl+d2)，如圖12,其中：dl，d2分別表示融合區(qū)域中的點(diǎn)到兩幅圖像融合區(qū) 域的左邊界和右邊界的距離。重疊區(qū)域并不等于融合區(qū)域，一旦2幅原始的圖像確定，那么 重疊區(qū)域?qū)捒隙ㄊ枪潭ǖ?，但融合區(qū)域是人為控制的，可以在重疊區(qū)域范圍內(nèi)選擇任意只 要滿足融合區(qū)域Wl < W2就可以。
[0123] 即使用公式 Pixel = dl/(dl+d2) XPixel_L+d2/(dl+d2) XPixel_R 進(jìn)行縫合線處 理，非融合區(qū)域直接從原圖映射獲取。
[0124] 進(jìn)一步的，所述步驟S1046 :將步驟S1045所得融合后的第1層、第2層、……、第 N層的圖像像素值進(jìn)行重構(gòu)，獲取全景圖像。所述重構(gòu)為將不同頻帶上融合的圖像重新組合 成一幅完整的大圖，融合公式如下：
[0125]
[0126] 其中B為不同頻帶層融合后的圖像，W為權(quán)重，不同頻帶權(quán)重不一樣，不同頻帶融 合過程，分別處理融合區(qū)域和非融合區(qū)域，融合區(qū)域采用漸入漸出的方法消除拼接接縫。
[0127] 如圖13,本發(fā)明具體實(shí)施例一為：
[0128] 首先構(gòu)建圖像金字塔分層結(jié)構(gòu)，將輸入圖像分解為一系列不同頻帶的帶通層；然 后對各帶通層分別進(jìn)行融合得到拼接圖像的帶通層：最后由拼接圖像的帶通層重構(gòu)得到最 終的拼接圖像。因?yàn)閳D像融合在不同的頻帶分別進(jìn)行，所以能有效避免圖像融合產(chǎn)生鬼影； 并且由于圖像的多頻帶分解和重構(gòu)是一個(gè)互逆的過程，使用這種方法可以保證所得拼接圖 像的正確性。具體步驟如下：
[0129] Stepl :構(gòu)建圖像金字塔分層結(jié)構(gòu)，得到每一幅圖像的高斯金字塔G0以及分解得 到的G1，G2，……，GN;
[0130]
其中GO為原始圖像，w(m，n) = h(m) h (η)為5x5窗口的加權(quán)函數(shù)。
[0131] 如上面提供的公式：G0(x，y)為原始圖像，Gl(x，y)為第一層，那么可以根據(jù)以下 公式計(jì)算獲取尺度1圖像G1。
[0132]
[0133] h的選