一種全景拼接接縫處平滑方法及裝置的制造方法
【技術(shù)領域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領域，尤其是一種全景拼接接縫處平滑方法及裝置。
【背景技術(shù)】
[0002] 在監(jiān)控系統(tǒng)快速發(fā)展的今天，系統(tǒng)規(guī)模越來越大，監(jiān)控點越來越多，工作人員面對 越來越多的監(jiān)控圖像已無暇顧及，隨著監(jiān)控范圍的不斷擴大，需要對整座橋梁、機場、很長 一段公路或者高層建筑進行監(jiān)控，大多數(shù)攝像機的視場達不到這樣大的監(jiān)控范圍，因此對 大視場視頻監(jiān)控的要求逐漸增多，逐漸形成了一種高端需求。視頻全景拼接作為一種解決 方案，也得到了越來越多的關注。全景拼接接觸處往往無法拼接的很平滑，因此，需要一種 全景拼接接縫處平滑方法及裝置。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明所要解決的技術(shù)問題是：提供一種全景拼接接縫處平滑方法及裝置，實現(xiàn) 拼接接縫處平滑。
[0004] 為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：
[0005] -種全景拼接接縫處平滑方法，包括：
[0006] S101、采集兩幅以上待拼接的全景分區(qū)圖；
[0007] S102、將S101所得全景分區(qū)圖進行圖像特征提?。?br>[0008] S103、將S102所得全景分區(qū)圖進行圖像特征匹配；
[0009] S104、將S103所得全景分區(qū)圖投影至同一坐標系下，獲得重疊區(qū)域；
[0010] S105、在S104所得重疊區(qū)域中選取一區(qū)域作為融合區(qū)域，確定與其匹配圖像的融 合區(qū)域，剩余區(qū)域為非融合區(qū)域；
[0011] S106、根據(jù)映射關系獲取全景圖像上的每個像素值，根據(jù)所獲取的像素值對融合 區(qū)域進行圖像融合，非融合區(qū)域的像素從原始圖像映射獲取，獲得全景圖像；
[0012] S107、輸出全景圖像。
[0013] 本發(fā)明采用的另一技術(shù)方案為：
[0014] 一種全景拼接接縫處平滑裝置，包括依次連接的圖像采集模塊、特征提取模塊、特 征匹配模塊、圖像處理模塊、FPGA處理模塊和圖像輸出模塊；
[0015] 所述圖像采集模塊，用于采集兩幅以上待拼接的全景分區(qū)圖；
[0016] 所述特征提取模塊，用于將采集到的兩幅以上待拼接的全景分區(qū)圖進行圖像特征 提?。?br>[0017] 所述特征匹配模塊，用于將所述特征提取后的全景分區(qū)圖進行圖像特征匹配；
[0018] 所述圖像處理模塊，用于將所述特征匹配后的全景分區(qū)圖投影至同一坐標系下， 獲得重疊區(qū)域；
[0019] 所述FPGA處理模塊包括選取單元和獲取單元；
[0020] 所述選取單元，用于在圖像處理模塊所得重疊區(qū)域中選取一區(qū)域作為融合區(qū)域， 確定與其匹配圖像的融合區(qū)域，剩余區(qū)域為非融合區(qū)域；
[0021] 所述獲取單元，用于根據(jù)映射關系獲取全景圖像上的每個像素值，根據(jù)所獲取的 像素值對融合區(qū)域進行圖像融合，非融合區(qū)域的像素從原始圖像映射獲取，獲得全景圖 像；
[0022] 所述圖像輸出模塊，用于輸出全景圖像。
[0023] 本發(fā)明的有益效果在于：通過在重疊區(qū)域選取融合區(qū)域，將圖像分為融合區(qū)域和 非融合區(qū)域，分別對融合區(qū)域和非融合區(qū)域進行處理，合成全景圖，實現(xiàn)全景拼接接縫處的 平滑，合成全景圖，實現(xiàn)全景拼接接縫處的平滑。全景圖的產(chǎn)生滿足了大視場視頻監(jiān)控的要 求，隨著監(jiān)控范圍的不斷擴大，需要對整座橋梁、機場、很長一段公路或者高層建筑進行監(jiān) 控，大多數(shù)攝像機的視場達不到這樣大的監(jiān)控范圍，逐漸形成了一種高端需求。全景拼接接 縫處的平滑可以使全景圖看起來更加的流暢。
【附圖說明】
[0024] 圖1為本發(fā)明【具體實施方式】全景拼接接縫處平滑方法的步驟圖；
[0025] 圖2為本發(fā)明【具體實施方式】中的尺度空間極值檢測示意圖；
[0026] 圖3為本發(fā)明【具體實施方式】中提取s ift特征點生成本地特征描述符示意圖；
[0027] 圖4為本發(fā)明【具體實施方式】中的灰色區(qū)域積分示意圖；
[0028] 圖5為本發(fā)明【具體實施方式】中提取surf特征點生成本地特征描述符示意圖；
[0029] 圖6為本發(fā)明【具體實施方式】中提取到的harris角點示意圖；
[0030] 圖7為本發(fā)明【具體實施方式】中平面投影模型示意圖；
[0031] 圖8為本發(fā)明【具體實施方式】中柱面投影模型示意圖；
[0032] 圖9為本發(fā)明【具體實施方式】中球面投影模型示意圖；
[0033] 圖10為本發(fā)明【具體實施方式】中平均疊加法示意圖；
[0034] 圖11為本發(fā)明【具體實施方式】中選取融合區(qū)域的示意圖；
[0035] 圖12為本發(fā)明【具體實施方式】中全景拼接接縫處平滑裝置的結(jié)構(gòu)示意圖；
[0036] 標號說明：
[0037] 10、圖像采集模塊；20、特征提取模塊；30、特征匹配模塊；40、圖像處理模塊；50、 FPGA處理模塊；60、圖像輸出模塊。
【具體實施方式】
[0038] 為詳細說明本發(fā)明的技術(shù)內(nèi)容、所實現(xiàn)目的及效果，以下結(jié)合實施方式并配合附 圖予以說明。
[0039] 本發(fā)明最關鍵的構(gòu)思在于：通過在重疊區(qū)域選取融合區(qū)域，將圖像分為融合區(qū)域 和非融合區(qū)域，分別對融合區(qū)域和非融合區(qū)域進行處理，合成全景圖，實現(xiàn)全景拼接接縫處 的平滑。
[0040] 請參照圖1，是本發(fā)明【具體實施方式】全景拼接接縫處平滑方法的步驟圖，具體如 下：
[0041 ] -種全景拼接接縫處平滑方法，包括：
[0042] S101、采集兩幅以上待拼接的全景分區(qū)圖；
[0043] S102、將S101所得全景分區(qū)圖進行圖像特征提??；
[0044] S103、將S102所得全景分區(qū)圖進行圖像特征匹配；
[0045] S104、將S103所得全景分區(qū)圖投影至同一坐標系下，獲得重疊區(qū)域；
[0046] S105、在S104所得重疊區(qū)域中選取一區(qū)域作為融合區(qū)域，確定與其匹配圖像的融 合區(qū)域，剩余區(qū)域為非融合區(qū)域；
[0047] S106、根據(jù)映射關系獲取全景圖像上的每個像素值，根據(jù)所獲取的像素值對融合 區(qū)域進行圖像融合，非融合區(qū)域的像素從原始圖像映射獲取，獲得全景圖像；
[0048] S107、輸出全景圖像。
[0049] 從上述描述可知，本發(fā)明的有益效果在于：通過在重疊區(qū)域選取融合區(qū)域，將圖像 分為融合區(qū)域和非融合區(qū)域，分別對融合區(qū)域和非融合區(qū)域進行處理，合成全景圖，實現(xiàn)全 景拼接接縫處的平滑。全景圖的產(chǎn)生滿足了大視場視頻監(jiān)控的要求，隨著監(jiān)控范圍的不斷 擴大，需要對整座橋梁、機場、很長一段公路或者高層建筑進行監(jiān)控，大多數(shù)攝像機的視場 達不到這樣大的監(jiān)控范圍，逐漸形成了一種高端需求。全景拼接接縫處的平滑可以使全景 圖看起來更加的流暢。
[0050] 進一步的，所述步驟S102中"特征提取"采用提取sift、surf或harris特征點。
[0051] 所述提取s ift特征點步驟：
[0052] 1)尺度空間極值檢測，初步確定關鍵點位置和所在尺度。通過高斯核函數(shù)與圖像 的卷積來實現(xiàn)二維圖像的尺度空間。
[0053]
[0054] 在檢測尺度空間極值時，圖2中標記為叉號的像素需要跟包括同一尺度的周圍鄰 域8個像素和相鄰尺度對應位置的周圍鄰域9X2個像素總共26個像素進行比較，以確保 在尺度空間和二維圖像空間都檢測到局部極值；
[0055] 2)精確定位特征點的位置，通過擬合三維二次函數(shù)以精確確定關鍵點的位置和尺 度，同時去除低對比度的關鍵點和不穩(wěn)定的邊緣響應點；
[0056] 在關鍵點處用泰勒展開式得到：
[0057]
.，
[0058] 式中，X = (X，y，〇 )τ為關鍵點的偏移量，D是在D(x，y，〇 )關鍵點處的值；
[0059] 3)確定特征點的主方向；
[0060]
[0061] Θ (x, y) =a tan2((L(x, y+l)-L(x, y-l))/(L(x+l, y)-L(x-l, y)))；
[0062] 4)生成本地特征描述符；
[0063] 首先將坐標軸旋轉(zhuǎn)為關鍵點的方向，以關鍵點為中心取4*4的窗口，如圖3所示。 圖3中左圖的黑點為當前關鍵點的位置，每個小格代表關鍵點鄰域所在尺度空間的一個像 素，箭頭方向代表該像素的梯度方向，箭頭長度代表梯度的大小，圓圈代表高斯加權(quán)的范圍 (越靠近關鍵點的像素梯度方向信息貢獻越大）。接下來在每個4*4的小塊上計算8個方向 的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點，一個關鍵點由4*4 共16個種子點組成，每個種子點有8個方向向量信息，即最終形成128維的s ift特征向 量。
[0064] 所述提取surf特征點步驟：
[0065] 1) Integral Images (積分圖）；
[0066] 積分圖主要是計算圖像內(nèi)某一個區(qū)域的像素和，積分圖在位置X處的定義如下：
[0067]
[0068] 如圖4中灰色區(qū)域積分圖為：A-B_C+D ;
[0069] 2)近似 Hess ian 矩陣；
[0070] 給定圖像I中一點X = (X，y)，其Hess ian矩陣為：
[0071]
[0072] 3)尺度空間描述；
[0073] surf中只是boxfilter的大小變化，而非圖像縮放；
[0074] 4)特征點定位；
[0075] 根據(jù)Hess ian矩陣求出尺度圖像在（x，y)處的極值后，首先在極值點的3X3X3 的立體鄰域內(nèi)進行非極大值抑制，在尺度空間和圖像空間中進行插值，使用二次擬合函數(shù) 進行插值：
[0076]
,τ
[0077] 對上式進行求導，并取得極值點處的極值為：
[0078]
[0079] 當極值彡0· 03時，該點為特征點；
[0080] 5)特征描述符；
[0081] 如圖5,以特征點為中心，沿著主方位構(gòu)建一個邊長為20的正方形，再分為4*4的 子區(qū)域，在每個小區(qū)域內(nèi)又分為5*5采樣點，計算Haar小波在相對于主方位響應的水平和 垂直方向上的響應；
[0082] 所述提取harris特征點步驟：
[0083] 1)對每一像素點計算相關矩陣m ;
[0084]
[0085]
[0086] . 5
[0087] 2)對m的四個元素進行高斯平滑濾波，得到新的m，高斯函數(shù)為：
[0088]
[0089] 3)利用m計算每個像素的角點量cim ;
[0090]
[0091] 4) cim滿足大于某一個閾值和cim是某鄰域局部極大值，滿足條件的就是角點；
[0092] 圖6為一幅圖像中提取到的harri s角點。
[0093] 由上述描述可知，所述"特征提取"采用提取sift特征點中"通過擬合三維二次函 數(shù)以精確確定關鍵點的位置和尺度，同時去除低對比度的關鍵點和不穩(wěn)定的邊緣響應點" 可增強匹配穩(wěn)定性、提高抗噪聲能力；所述"特征提取"采用提取surf特征點中"在尺度空 間和圖像空間中進行插值"能夠?qū)蜻x特征點進行亞像素定位。
[0094] 進一步的，所述步驟S104中"