一種搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)的制作方法
【專利摘要】本發(fā)明提出一種搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)。首先將航拍視頻序列中連續(xù)兩幀彩色圖像轉(zhuǎn)化成灰度圖像；利用圖像三值化方法對灰度圖像進(jìn)行三值化處理、利用邊緣檢測sobel算子提取邊緣特征信息圖像、使用Harris算法提取特征點(diǎn)；利用光流金字塔算法完成特征點(diǎn)匹配；結(jié)合DLT算法和RANSAC算法計(jì)算彩色圖像的最優(yōu)單應(yīng)性矩陣；利用修正幾何轉(zhuǎn)換矩陣對彩色圖像進(jìn)行圖像修正后完成圖像全景的拼接；在圖像全景拼接過程中動(dòng)態(tài)調(diào)整圖像三值化的上下限閾值以及sobel算子的邊緣檢測的閾值。本發(fā)明提高了圖像拼接的準(zhǔn)確度和穩(wěn)健性。
【專利說明】一種搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像自動(dòng)拼接【技術(shù)領(lǐng)域】，具體涉及一種搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)。
【背景技術(shù)】
[0002]圖像拼接中最關(guān)鍵的步驟是圖像特征點(diǎn)的尋找及匹配。楊濤等人(基于場景復(fù)雜度與不變特征的航拍視頻實(shí)時(shí)配準(zhǔn)算法.電子學(xué)報(bào)，2010.5，5期38卷)提出了利用Harris角點(diǎn)和SIFT描述子相結(jié)合的方式進(jìn)行圖像匹配，保證了算法具有良好的旋轉(zhuǎn)、尺度、亮度不變性和配準(zhǔn)精度使算法。但由于前期特征點(diǎn)提取的數(shù)量較多，導(dǎo)致后期計(jì)算量過大，無法真正意義上實(shí)現(xiàn)圖像拼接的實(shí)時(shí)性。針對這個(gè)問題，需要從簡化特征點(diǎn)的提取與匹配運(yùn)算量入手優(yōu)化算法。
[0003]很多人提出了多種圖像自動(dòng)拼接技術(shù)的實(shí)現(xiàn)方法，主要有基于特征點(diǎn)的方法、基于光流的方法，基于圖像融合的方法等等。這些方法主要是利用圖像的幾何變換矩陣完成對圖像的修正。這種方法對于幀數(shù)較少的圖像序列來說，拼接效果很好，但隨著視頻序列幀數(shù)的增加，圖像拼接的幾何變換矩陣就會因?yàn)榍捌诓粩嗟丿B加而產(chǎn)生誤差的累積與放大；同時(shí)，由于飛機(jī)的抖動(dòng)和場景變換明顯，也會導(dǎo)致圖像拼接的準(zhǔn)確率降低，同時(shí)還會導(dǎo)致圖像拼接過程的中斷

【發(fā)明內(nèi)容】

[0004]本發(fā)明公開了一種搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)，提高了圖像拼接的準(zhǔn)確度和穩(wěn)健性。
[0005]為了解決上述技術(shù)問題，本發(fā)明提出一種搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)，包括以下步驟:
[0006]步驟一:將航拍視頻序列中連續(xù)兩幀彩色圖像I和J轉(zhuǎn)化成灰度圖像Ig和Jg,并記錄幀序號Z和Z+1 ；
[0007]步驟二:利用圖像三值化方法對灰度圖像Ig進(jìn)行三值化處理獲得三值化圖像，利用邊緣檢測sobel算子提取三值化圖像的邊緣特征信息獲得邊緣特征信息圖像If，使用Harris算法提取邊緣特征信息圖像If的特征點(diǎn)，在提取三值化圖像邊緣特征信息的過程中，設(shè)定sobel算子的邊緣檢測閾值為S1和S2A1代表水平方向的邊緣計(jì)算參數(shù)閾值，S2代表垂直方向的邊緣計(jì)算參數(shù)閾值；
[0008]步驟三:利用光流金字塔(KLT)算法計(jì)算光流，完成灰度圖像Ig和Jg的特征點(diǎn)匹配；
[0009]步驟四:結(jié)合DLT算法和RANSAC算法計(jì)算得出彩色圖像I和J的最優(yōu)單應(yīng)性矩陣Hu和圖像拼接的修正矩陣H’ z，并求解出圖像拼接的修正幾何轉(zhuǎn)換矩陣P ；
[0010]步驟五:利用修正幾何轉(zhuǎn)換矩陣P對彩色圖像J進(jìn)行圖像修正得到圖像J’，設(shè)置一個(gè)長寬為彩色圖像J長寬兩倍的黑色背景，將修正后的圖像J’的像素信息J’(X’，y’)貼至黑色背景中，完成圖像全景的拼接；
[0011]步驟六:將當(dāng)前幀圖像的單應(yīng)性矩陣Hu與已保存的前幀圖像的單應(yīng)性矩陣Hm比較，將準(zhǔn)確匹配的特征點(diǎn)對數(shù)目N與特征點(diǎn)對數(shù)目閾值Nf進(jìn)行比較，根據(jù)比較結(jié)果動(dòng)態(tài)調(diào)整圖像三值化的上下限閾值T1和T2以及sobel算子的邊緣檢測的閾值S1和S2。
[0012]本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)在于，采用圖像三值化、邊緣提取和Harris角點(diǎn)檢測三者結(jié)合的方法來降低特征點(diǎn)的數(shù)量，并篩選出圖像中最為穩(wěn)定的、特征最為突出的特征點(diǎn)；采用了 RANSAC算法與DLT算法結(jié)合的方法，求解出帶有修正矩陣的圖像幾何轉(zhuǎn)換矩陣矩陣，提高圖像拼接的準(zhǔn)確度；閾值動(dòng)態(tài)調(diào)整有效解決了因圖像場景變換明顯或飛機(jī)抖動(dòng)等原因造成的程序中斷問題。
【專利附圖】

【附圖說明】
[0013]圖1是本發(fā)明簡要流程圖。
[0014]圖2是本發(fā)明詳細(xì)流程圖。
[0015]圖3 (a)是僅利用Harris算法提取特征點(diǎn)效果圖；圖3 (b)是本發(fā)明步驟二中經(jīng)過圖像三值化和sobel算子邊緣檢測后，再利用Harris算法提取特征點(diǎn)的效果圖。
[0016]圖4 Ca)和圖4 (b)分別為本發(fā)明實(shí)施例自動(dòng)拼接70幀和150幀的總場景圖。
【具體實(shí)施方式】
[0017]如圖1和圖2所示，本發(fā)明一種搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)，包括以下步驟:
[0018]步驟一:將航拍視頻序列中連續(xù)兩幀彩色圖像I和J轉(zhuǎn)化成灰度圖像Ig和Jg,并記錄幀序號Z和Z+1。
[0019]圖像灰度化可以將R，G, B任何一個(gè)分量作為圖像的灰度值，也可以用R，G, B三者的平均值作為灰度值，也可以利用亮度公式將R，G, B分量轉(zhuǎn)換成灰度值。本發(fā)明采用亮度公式的方法，將彩色圖像I和J轉(zhuǎn)換成只包含亮度信息的灰度圖像Ig和Jg，亮度公式為公式(1):
[0020]Y = 0.3R+0.59G+0.1lB (1)
[0021]步驟二:利用圖像三值化方法對灰度圖像Ig進(jìn)行三值化處理獲得三值化圖像，利用邊緣檢測sobel算子提取三值化圖像的邊緣特征信息獲得邊緣特征信息圖像If，使用Harris算法提取邊緣特征信息圖像If的特征點(diǎn)，在提取三值化圖像邊緣特征信息的過程中，設(shè)定sobel算子的邊緣檢測閾值為S1和S2A1代表水平方向的邊緣計(jì)算參數(shù)閾值，S2代表垂直方向的邊緣計(jì)算參數(shù)閾值；
[0022]所述獲得三值化圖像的計(jì)算方法如公式(2)所示，
[0023]
【權(quán)利要求】
1.一種搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)，其特征在于，包括以下步驟: 步驟一:將航拍視頻序列中連續(xù)兩幀彩色圖像I和J轉(zhuǎn)化成灰度圖像Ig和Jg，并記錄幀序號Z和Z+1 ； 步驟二:利用圖像三值化方法對灰度圖像Ig進(jìn)行三值化處理獲得三值化圖像，利用邊緣檢測SObel算子提取三值化圖像的邊緣特征信息獲得邊緣特征信息圖像If，使用Harris算法提取邊緣特征信息圖像If的特征點(diǎn)，在提取三值化圖像邊緣特征信息的過程中，設(shè)定sobel算子的邊緣檢測閾值為S1和S2，S1代表水平方向的邊緣計(jì)算參數(shù)閾值，S2代表垂直方向的邊緣計(jì)算參數(shù)閾值； 步驟三:利用光流金字塔(KLT)算法計(jì)算光流，完成灰度圖像Ig和Jg的特征點(diǎn)匹配；步驟四:結(jié)合DLT算法和RANSAC算法計(jì)算得出彩色圖像I和J的最優(yōu)單應(yīng)性矩陣Hu和圖像拼接的修正矩陣H’ z，并求解出圖像拼接的修正幾何轉(zhuǎn)換矩陣P ； 步驟五:利用修正幾何轉(zhuǎn)換矩陣P對彩色圖像J進(jìn)行圖像修正得到圖像J’，設(shè)置一個(gè)長寬為彩色圖像J長寬兩倍的黑色背景，將修正后的圖像J’的像素信息J’(x’，y’)貼至黑色背景中，完成圖像全景的拼接； 步驟六:將當(dāng)前幀圖像的單應(yīng)性矩陣Hu與已保存的前幀圖像的單應(yīng)性矩陣Hm比較，將準(zhǔn)確匹配的特征點(diǎn)對數(shù)目N與特征點(diǎn)對數(shù)目閾值Nf進(jìn)行比較，根據(jù)比較結(jié)果動(dòng)態(tài)調(diào)整圖像三值化的上下限閾值T1和T2以及sobel算子的邊緣檢測的閾值S1和S2。
2.如權(quán)利要求1所述的搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)，其特征在于，所述步驟一中，采用亮度公式將彩色圖像I和J轉(zhuǎn)換成只包含亮度信息的灰度圖像Ig和Jg。
3.如權(quán)利要求1所述的搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)，其特征在于，步驟二中， 所述獲得三值化圖像的計(jì)算方法如公式(I)所示，
4.如權(quán)利要求1所述的搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)，其特征在于，所述步驟三的計(jì)算過程如下: 4.1利用下采樣公式分別對灰度圖18和Jg進(jìn)行下采樣，獲得灰度圖18和Jg的圖像金字塔，計(jì)算方法如公式(5)所示，
5.如權(quán)利要求1所述的搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)，其特征在于，步驟四中， 所述最優(yōu)單應(yīng)性矩陣Hu的計(jì)算過程如下: 5.1利用公式(8)判斷每一對特征點(diǎn)對是否為準(zhǔn)確匹配的特征點(diǎn)對，將誤差較大的特征點(diǎn)對剔除，將準(zhǔn)確匹配的特征點(diǎn)對存入特征點(diǎn)對集合S中，并統(tǒng)計(jì)出準(zhǔn)確匹配的特征點(diǎn)對數(shù)N ；
Dpq ≥ |ρ[χ” yj-qlix，” y，J |(8) 式(8)中，Dpq為特征點(diǎn)對的平均距離，計(jì)算方式如公式(9)所示，


6.如權(quán)利要求1所述的搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)，其特征在于，步驟五中，利用修正幾何轉(zhuǎn)換矩陣P對彩色圖像J進(jìn)行圖像修正獲得圖像J’的計(jì)算方式如公式(17)所示，
7.如權(quán)利要求1所述的搜跟系統(tǒng)中航拍視頻的快速自動(dòng)拼接技術(shù)，其特征在于，步驟六的具體計(jì)算過程為:按照公式(18)或公式(19)，將當(dāng)前幀圖像的單應(yīng)性矩陣Hu與已保存的前幀圖像的單應(yīng)性矩陣H^1,比較，將準(zhǔn)確匹配的特征點(diǎn)對數(shù)目N與特征點(diǎn)對數(shù)目閾值Nf進(jìn)行比較， 若公式(18)和公式(19)有任意一個(gè)公式成立的，則將圖像三值化的上下限閾值T1和T2調(diào)整為T1-0.1和T2+0.1，將sobel算子的邊緣檢測的閾值S1和S2調(diào)整為S1-0.1和S2-0.1，用于下幀圖像的處理， 若公式(18)和公式(19)都不成立的，則保持圖像三值化的上下限閾值T1和T2以及sobel算子的邊緣檢測的閾值S1和S2不變，
Iiij-YijI ≥ 1.0，i = 1,2,3, j = 1,2,3 (18) N ^ Nf(19) 式(18)中,Iiij為矩陣Hu中第i行第j列的參數(shù)，n’u為矩陣Hm中第i行第j列的參數(shù)；式(19)中Nf為準(zhǔn)確匹配的特征點(diǎn)對數(shù)目閾值。
【文檔編號】G06T5/50GK103745449SQ201310721570
【公開日】2014年4月23日 申請日期:2013年12月24日 優(yōu)先權(quán)日:2013年12月24日
【發(fā)明者】顧國華, 韓魯, 劉恒建, 劉琳, 廖逸琪, 錢惟賢, 任侃 申請人:南京理工大學(xué)