一種全景拼接圖像彎曲矯正方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其是一種全景拼接圖像彎曲矯正方法及裝置。
【背景技術(shù)】
[0002] 在監(jiān)控系統(tǒng)快速發(fā)展的今天，系統(tǒng)規(guī)模越來越大，監(jiān)控點(diǎn)越來越多，工作人員面對(duì) 越來越多的監(jiān)控圖像已無暇顧及，隨著監(jiān)控范圍的不斷擴(kuò)大，需要對(duì)整座橋梁、機(jī)場(chǎng)、很長(zhǎng) 一段公路或者高層建筑進(jìn)行監(jiān)控，大多數(shù)攝像機(jī)的視場(chǎng)達(dá)不到這樣大的監(jiān)控范圍，因此對(duì) 大視場(chǎng)視頻監(jiān)控的要求逐漸增多，逐漸形成了一種高端需求。視頻全景拼接作為一種解決 方案，也得到了越來越多的關(guān)注。由于選取的世界坐標(biāo)系存在一個(gè)未知的3D旋轉(zhuǎn)，全景拼 接后往往圖像有彎曲效果，因此，需要一種全景拼接圖像彎曲矯正方法及裝置，用來消除彎 曲效果。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明所要解決的技術(shù)問題是：提供一種全景拼接圖像彎曲矯正方法及裝置，實(shí) 現(xiàn)圖像彎曲矯正，消除圖像彎曲效果。
[0004] 為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：
[0005] -種全景拼接圖像彎曲矯正方法，包括：
[0006] S101、采集兩幅以上待拼接的全景分區(qū)圖；
[0007] S102、將S101所得全景分區(qū)圖進(jìn)行特征提?。?br>[0008] S103、將S102所得全景分區(qū)圖進(jìn)行特征匹配，獲取匹配特征點(diǎn)對(duì)數(shù)；
[0009] S104、根據(jù)所述匹配特征點(diǎn)對(duì)數(shù)對(duì)S103所得全景分區(qū)圖進(jìn)行圖像匹配；
[0010] S105、將S104所得全景分區(qū)圖進(jìn)行計(jì)算透視變換矩陣，根據(jù)透視變換矩陣可計(jì)算 出每幅圖像的初始景深和旋轉(zhuǎn)矩陣，通過旋轉(zhuǎn)矩陣變換獲取全局變換矩陣；
[0011] S106、將全局變換矩陣與旋轉(zhuǎn)矩陣進(jìn)行乘法運(yùn)算；
[0012] S107、將S106所得全景分區(qū)圖投影至同一坐標(biāo)系后進(jìn)行圖像融合；
[0013] S108、輸出S107所得圖像。
[0014] 本發(fā)明采用的另一技術(shù)方案為：
[0015] -種全景拼接圖像彎曲矯正裝置，包括依次連接的圖像采集模塊、特征提取模塊、 特征匹配模塊、圖像匹配模塊、全局變換矩陣獲取模塊、運(yùn)算模塊、圖像融合模塊和圖像輸 出豐吳塊；
[0016] 所述圖像采集模塊，用于采集兩幅以上待拼接的全景分區(qū)圖；
[0017] 所述特征提取模塊，用于將采集到的所得全景分區(qū)圖進(jìn)行特征提??；
[0018] 所述特征匹配模塊，用于將特征提取所得全景分區(qū)圖進(jìn)行特征匹配，獲取匹配特 征點(diǎn)對(duì)數(shù)；
[0019] 所述圖像匹配模塊，用于根據(jù)所述匹配特征點(diǎn)對(duì)數(shù)對(duì)特征匹配所得全景分區(qū)圖進(jìn) 行圖像匹配；
[0020] 所述全局變換矩陣獲取模塊，用于將圖像匹配模塊所得全景分區(qū)圖進(jìn)行計(jì)算透視 變換矩陣，根據(jù)透視變換矩陣計(jì)算出每幅圖像的初始景深和旋轉(zhuǎn)矩陣，通過旋轉(zhuǎn)矩陣變換 獲取全局變換矩陣；
[0021] 所述運(yùn)算模塊，用于將全局變換矩陣與旋轉(zhuǎn)矩陣進(jìn)行乘法運(yùn)算；
[0022] 所述圖像融合模塊，用于將運(yùn)算模塊所得全景分區(qū)圖投影至參考平面后進(jìn)行圖像 融合；
[0023] 所述圖像輸出模塊，用于輸出圖像融合模塊所得圖像。
[0024] 本發(fā)明的有益效果在于：通過對(duì)圖像特征匹配所得全景分區(qū)圖進(jìn)行計(jì)算透視變換 矩陣，根據(jù)透視變換矩陣可計(jì)算出每幅圖像的初始景深和旋轉(zhuǎn)矩陣，再通過旋轉(zhuǎn)矩陣變換 獲取全局變換矩陣，全局變換矩陣與旋轉(zhuǎn)矩陣進(jìn)行乘法運(yùn)算，消除3D旋轉(zhuǎn)，從而消除圖像 彎曲，實(shí)現(xiàn)圖像的彎曲矯正效果，提升拼接的效果。
【附圖說明】
[0025] 圖1為本發(fā)明【具體實(shí)施方式】中全景拼接圖像彎曲矯正方法的步驟圖；
[0026] 圖2為本發(fā)明實(shí)施例中的尺度空間極值檢測(cè)的示意圖；
[0027] 圖3為本發(fā)明實(shí)施例中提取sift特征點(diǎn)生成本地特征描述符的示意圖；
[0028] 圖4為本發(fā)明實(shí)施例中的灰色區(qū)域積分的示意圖；
[0029] 圖5為本發(fā)明實(shí)施例中提取surf特征點(diǎn)生成本地特征描述符的示意圖；
[0030] 圖6為本發(fā)明實(shí)施例中提取到的harris角點(diǎn)的示意圖；
[0031] 圖7為本發(fā)明實(shí)施例步驟S107中平均疊加法的示意圖；
[0032] 圖8為本發(fā)明【具體實(shí)施方式】中dl、d2的示意圖；
[0033] 圖9為本發(fā)明【具體實(shí)施方式】中全景拼接圖像彎曲矯正裝置的結(jié)構(gòu)示意圖；
[0034] 標(biāo)號(hào)說明：
[0035] 10、圖像采集模塊；20、特征提取模塊；30、特征匹配模塊；40、圖像匹配模塊；50、 全局變換矩陣獲取模塊；60、運(yùn)算模塊；70、圖像融合模塊；80、圖像輸出模塊。
【具體實(shí)施方式】
[0036] 為詳細(xì)說明本發(fā)明的技術(shù)內(nèi)容、所實(shí)現(xiàn)目的及效果，以下結(jié)合實(shí)施方式并配合附 圖予以說明。
[0037] 本發(fā)明最關(guān)鍵的構(gòu)思在于：通過對(duì)圖像特征匹配所得全景分區(qū)圖進(jìn)行計(jì)算透視變 換矩陣，根據(jù)透視變換矩陣可計(jì)算出每幅圖像的初始景深和旋轉(zhuǎn)矩陣，再通過旋轉(zhuǎn)矩陣變 換獲取全局變換矩陣，全局變換矩陣與旋轉(zhuǎn)矩陣進(jìn)行乘法運(yùn)算，實(shí)現(xiàn)圖像彎曲矯正。
[0038] 請(qǐng)參照?qǐng)D1，為本發(fā)明【具體實(shí)施方式】中全景拼接圖像彎曲矯正方法的步驟圖，具體 如下：
[0039] -種全景拼接圖像彎曲矯正方法，包括：
[0040] S101、采集兩幅以上待拼接的全景分區(qū)圖；
[0041] S102、將S101所得全景分區(qū)圖進(jìn)行特征提取；
[0042] S103、將S102所得全景分區(qū)圖進(jìn)行特征匹配，獲取匹配特征點(diǎn)對(duì)數(shù)；
[0043] S104、根據(jù)所述匹配特征點(diǎn)對(duì)數(shù)對(duì)S103所得全景分區(qū)圖進(jìn)行圖像匹配；
[0044] S105、將S104所得全景分區(qū)圖進(jìn)行計(jì)算透視變換矩陣，根據(jù)透視變換矩陣可計(jì)算 出每幅圖像的初始景深和旋轉(zhuǎn)矩陣，通過旋轉(zhuǎn)矩陣變換獲取全局變換矩陣；
[0045] S106、將全局變換矩陣與旋轉(zhuǎn)矩陣進(jìn)行乘法運(yùn)算；
[0046] S107、將S106所得全景分區(qū)圖投影至同一坐標(biāo)系上后進(jìn)行圖像融合；
[0047] S108、輸出S107所得圖像。
[0048] 從上述描述可知，本發(fā)明的有益效果在于：通過對(duì)圖像特征匹配所得全景分區(qū)圖 進(jìn)行計(jì)算透視變換矩陣，根據(jù)透視變換矩陣可計(jì)算出每幅圖像的初始景深和旋轉(zhuǎn)矩陣，再 通過旋轉(zhuǎn)矩陣變換獲取全局變換矩陣，全局變換矩陣與旋轉(zhuǎn)矩陣進(jìn)行乘法運(yùn)算，消除3D旋 轉(zhuǎn)，從而消除圖像彎曲，實(shí)現(xiàn)圖像的彎曲矯正效果，提升拼接的效果。
[0049] 進(jìn)一步的，所述步驟S102中的"特征提取"采用提取sift、surf或harris特征點(diǎn)。
[0050] 所述提取sift特征點(diǎn)步驟：
[0051] 1)尺度空間極值檢測(cè)，初步確定關(guān)鍵點(diǎn)位置和所在尺度。通過高斯核函數(shù)與圖像 的卷積來實(shí)現(xiàn)二維圖像的尺度空間。
[0052]
[0053] 在檢測(cè)尺度空間極值時(shí)，圖2中標(biāo)記為叉號(hào)的像素需要跟包括同一尺度的周圍鄰 域8個(gè)像素和相鄰尺度對(duì)應(yīng)位置的周圍鄰域9X2個(gè)像素總共26個(gè)像素進(jìn)行比較，以確保 在尺度空間和二維圖像空間都檢測(cè)到局部極值；
[0054] 2)精確定位特征點(diǎn)的位置，通過擬合三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺 度，同時(shí)去除低對(duì)比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)；
[0055] 在關(guān)鍵點(diǎn)處用泰勒展開式得到：
[0056]
[0057] 式中，X = (X，y，〇 )τ為關(guān)鍵點(diǎn)的偏移量，D是在D(x，y，〇 )關(guān)鍵點(diǎn)處的值；
[0058] 3)確定特征點(diǎn)的主方向；
[0059]
[0060] Θ (x, y) =a tan2((L(x, y+l)-L(x, y-l))/(L(x+l, y)-L(x-l, y)))；
[0061] 每個(gè)關(guān)鍵點(diǎn)有三個(gè)信息：位置、所處尺度、方向；
[0062] 4)生成本地特征描述符；
[0063] 首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，以關(guān)鍵點(diǎn)為中心取4*4的窗口，如圖3所示。 圖3中左圖的黑點(diǎn)為當(dāng)前關(guān)鍵點(diǎn)的位置，每個(gè)小格代表關(guān)鍵點(diǎn)鄰域所在尺度空間的一個(gè)像 素，箭頭方向代表該像素的梯度方向，箭頭長(zhǎng)度代表梯度的大小，圓圈代表高斯加權(quán)的范圍 (越靠近關(guān)鍵點(diǎn)的像素梯度方向信息貢獻(xiàn)越大）。接下來在每個(gè)4*4的小塊上計(jì)算8個(gè)方向 的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，即可形成一個(gè)種子點(diǎn)，一個(gè)關(guān)鍵點(diǎn)由4*4 共16個(gè)種子點(diǎn)組成，每個(gè)種子點(diǎn)有8個(gè)方向向量信息，即最終形成128維的sift特征向量。
[0064] 所述提取surf特征點(diǎn)步驟：
[0065] 1) Integral Images (積分圖）；
[0066] 積分圖主要是計(jì)算圖像內(nèi)某一個(gè)區(qū)域的像素和，積分圖