一種基于圖像拼接的全景圖合成方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于圖像拼接的全景圖合成方法，對(duì)全景圖分塊拍攝，得到全景圖的分塊拍攝圖像，相鄰的分塊拍攝圖像之間存在影像重合度；將所得分塊拍攝圖像按每一個(gè)像素轉(zhuǎn)換成對(duì)應(yīng)的二維數(shù)組矩陣，采用齊次坐標(biāo)系來(lái)表示分塊拍攝圖像中各像素的坐標(biāo)，采用基于圖像灰度相似度和最大似然估計(jì)的算法，計(jì)算矩陣M；采用最小化相鄰元素圖像灰度值的平方和來(lái)估算矩陣M中的未知變量；采用LM迭代算法來(lái)求解相應(yīng)的非線性最小二乘問(wèn)題。本發(fā)明中采用基于圖像灰度相似度和最大似然估計(jì)的算法來(lái)計(jì)算矩陣M，這種算法確保了所得解的最優(yōu)性，并且無(wú)需提供容易辨識(shí)的特征點(diǎn)。計(jì)算量相對(duì)較小且匹配誤差小，可以實(shí)現(xiàn)精確匹配。
【專(zhuān)利說(shuō)明】一種基于圖像拼接的全景圖合成方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明公開(kāi)了一種基于圖像拼接的全景圖合成方法，涉及圖像處理【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002]全景圖是一種重要的場(chǎng)景表示方法，在實(shí)際應(yīng)用中主要有兩種方式來(lái)獲得，直接法和圖像拼接法。直接法使用特殊的全景相機(jī)等器材可以直接獲取，但是拍攝用的器材通常比較昂貴，而且拍照時(shí)需要精確地校準(zhǔn)攝像機(jī)，實(shí)用性較差，而采用普通攝像機(jī)圖像拼接獲得全景圖是一種低成本而且比較靈活的方法。采用圖像拼接的方式獲取全景圖這種方式對(duì)拍照的器材沒(méi)有太高的要求，可以使用普通的照相機(jī)。
[0003]圖像拼接(Photo graphic mosaic)或稱(chēng)蒙太奇拼貼,是一種影像處理技術(shù),廣泛應(yīng)用于虛擬環(huán)境構(gòu)建和電影特效的制作。其基本原理是通過(guò)對(duì)包含某一大場(chǎng)景部分信息的各小照片的校準(zhǔn)，將這些校準(zhǔn)和標(biāo)定后的小照片無(wú)縫地合成為一張包含場(chǎng)景全部信息的大圖像。
[0004]圖像拼接技術(shù)主要包括兩個(gè)關(guān)鍵環(huán)節(jié)即圖像配準(zhǔn)和圖像融合對(duì)于圖像融合部分，由于其耗時(shí)不太大，且現(xiàn)有的幾種主要方法效果差別也不多，所以總體來(lái)說(shuō)算法上比較成熟。而圖像配準(zhǔn)部分是整個(gè)圖像拼接技術(shù)的核心部分，它直接關(guān)系到圖像拼接算法的成功率和運(yùn)行速度，因此配準(zhǔn)算法的研究是多年來(lái)研究的重點(diǎn)。目前的圖像配準(zhǔn)算法基本上可以分為兩類(lèi):基于頻域的方法(相位相關(guān)方法)和基于時(shí)域的方法。
[0005]相位相關(guān)法最早是由Kuglin和Hines在1975年提出的，并且證明在純二維平移的情形下，拼接精度可以達(dá)到I個(gè)像素，多用于航空照片和衛(wèi)星遙感圖像的配準(zhǔn)等領(lǐng)域。該方法對(duì)拼接的圖像進(jìn)行快速傅立葉變換，將兩幅待配準(zhǔn)圖像變換到頻域，然后通過(guò)它們的互功率譜直接計(jì)算出兩幅圖像間的平移矢量，從而實(shí)現(xiàn)圖像的配準(zhǔn)。由于其具有簡(jiǎn)單而精確的特點(diǎn)，后來(lái)成為最有前途的圖像配準(zhǔn)算法之一。但是相位相關(guān)方法一般需要比較大的重疊比例(通常要求配準(zhǔn)圖像之間有50%的重疊比例)，如果重疊比例較小，則容易造成平移矢量的錯(cuò)誤估計(jì)，從而較難實(shí)現(xiàn)圖像的配準(zhǔn)。
[0006]基于時(shí)域的方法又可具體分為基于特征的方法和基于區(qū)域的方法?；谔卣鞯姆椒ㄊ紫日页鰞煞鶊D像中的特征點(diǎn)(如邊界點(diǎn)、拐點(diǎn))，并確定圖像間特征點(diǎn)的對(duì)應(yīng)關(guān)系，然后利用這種對(duì)應(yīng)關(guān)系找到兩幅圖像間的變換關(guān)系。這一類(lèi)方法不直接利用圖像的灰度信息，因而對(duì)光線變化不敏感，但對(duì)特征點(diǎn)對(duì)應(yīng)關(guān)系的精確程度依賴(lài)很大。這一類(lèi)方法采用的思想較為直觀，大部分的圖像配準(zhǔn)算法都可以歸為這一類(lèi)。基于區(qū)域的方法是以一幅圖像重疊區(qū)域中的一塊作為模板，在另一幅圖像中搜索與此模板最相似的匹配塊，這種算法精度較高，但計(jì)算量過(guò)大。
[0007]按照匹配算法的具體實(shí)現(xiàn)又可以分為直接法和搜索法兩大類(lèi)，直接法主要包括變換優(yōu)化法，它首先建立兩幅待拼接圖像間的變換模型，然后采用非線性迭代最小化算法直接計(jì)算出模型的變換參數(shù)，從而確定圖像的配準(zhǔn)位置。該算法效果較好，收斂速度較快，但是它要達(dá)到過(guò)程的收斂要求有較好的初始估計(jì)，如果初始估計(jì)不好，則會(huì)造成圖像拼接的失敗。搜索法主要是以一幅圖像中的某些特征為依據(jù)，在另一幅圖像中搜索最佳配準(zhǔn)位置，常用的有比值匹配法，塊匹配法和網(wǎng)格匹配法。比值匹配法是從一幅圖像的重疊區(qū)域中部分相鄰的兩列上取出部分像素，然后以它們的比值作模板，在另一幅圖像中搜索最佳匹配。這種算法計(jì)算量較小，但精度較低；塊匹配法則是以一幅圖像重疊區(qū)域中的一塊作為模板，在另一幅圖像中搜索與此模板最相似的匹配塊，這種算法精度較高，但計(jì)算量過(guò)大；網(wǎng)格匹配法減小了塊匹配法的計(jì)算量，它首先要進(jìn)行粗匹配，每次水平或垂直移動(dòng)一個(gè)步長(zhǎng)，記錄最佳匹配位置，然后在此位置附近進(jìn)行精確匹配，每次步長(zhǎng)減半，然后循環(huán)此過(guò)程直至步長(zhǎng)減為O。這種算法較前兩種運(yùn)算量都有所減小，但在實(shí)際應(yīng)用中仍然偏大，而且粗匹配時(shí)如果步長(zhǎng)取的太大，很可能會(huì)造成較大的粗匹配誤差，從而很難實(shí)現(xiàn)精確匹配。
[0008]圖像拼接的關(guān)鍵在于對(duì)各個(gè)元素圖片的標(biāo)定，即確定變換矩陣M。


【發(fā)明內(nèi)容】

[0009]本發(fā)明所要解決的技術(shù)問(wèn)題是:針對(duì)現(xiàn)有技術(shù)的缺陷，提供一種基于圖像拼接的全景圖合成方法。
[0010]本發(fā)明為解決上述技術(shù)問(wèn)題采用以下技術(shù)方案:
[0011]一種基于圖像拼接的全景圖合成方法，具體步驟如下:
[0012]步驟一、對(duì)全景圖分塊拍攝，得到全景圖的分塊拍攝圖像，相鄰的分塊拍攝圖像之間存在影像重合度；
[0013]步驟二、將步驟一所得分塊拍攝圖像按每一個(gè)像素轉(zhuǎn)換成對(duì)應(yīng)的二維數(shù)組矩陣，采用齊次坐標(biāo)系來(lái)表示分塊拍攝圖像中各像素的坐標(biāo)，分塊拍攝圖像的幾何變換表達(dá)式如下:

【權(quán)利要求】
1.一種基于圖像拼接的全景圖合成方法，其特征在于，具體步驟如下: 步驟一、對(duì)全景圖分塊拍攝，得到全景圖的分塊拍攝圖像，相鄰的分塊拍攝圖像之間存在影像重合度； 步驟二、將步驟一所得分塊拍攝圖像按每一個(gè)像素轉(zhuǎn)換成對(duì)應(yīng)的二維數(shù)組矩陣，采用齊次坐標(biāo)系來(lái)表示分塊拍攝圖像中各像素的坐標(biāo)，分塊拍攝圖像的幾何變換表達(dá)式如下:
其中，m0至m7分別表示像素點(diǎn)的四個(gè)主要方向上，該像素點(diǎn)與鄰近像素點(diǎn)的灰度變化情況，即像素點(diǎn)的興趣值；(X，y，w)表示齊次坐標(biāo)系中分塊拍攝圖像上某一像素的位置，對(duì)應(yīng)的笛卡爾坐標(biāo)為(x/w，y/w) ；x, y表示像素點(diǎn)舊坐標(biāo)，《表示尺度參數(shù)；(1’，/，《’)表示在其他分塊拍攝圖像中與(x，y，w)相對(duì)應(yīng)的像素坐標(biāo)； 設(shè)定矩陣M為變換矩陣，當(dāng)發(fā)生剛性變換時(shí)，表示為:
其中，Θ表示變換矩陣的旋轉(zhuǎn)角度；τχ、^表示剛體變換矩陣中沿X、y方向的平移量; 當(dāng)發(fā)生線性幾何變換時(shí)，矩陣M用仿射變換來(lái)表示，即:
步驟三、采用基于圖像灰度相似度和最大似然估計(jì)的算法，計(jì)算矩陣M，計(jì)算公式為:
其中，X'、1'表示求出的像素新坐標(biāo)； 步驟四、采用最小化相鄰元素圖像灰度值的平方和來(lái)估算矩陣M中的未知變量，相應(yīng)的最小~ 乘問(wèn)題表不為:
E= Σ [ (X, ,Y' )-1 (x, y)]2 = Σθ2 其中，I(x，y)表示圖像數(shù)據(jù)在點(diǎn)(x，y)處的灰度值； U丨，y')表示圖像數(shù)據(jù)在點(diǎn)(X' ,1')處的灰度值；e表示二者灰度差值； 步驟五、采用LM迭代算法來(lái)求解上述非線性最小二乘問(wèn)題； 步驟六、檢查誤差e的大小，并且將其與設(shè)定的閾值進(jìn)行比較，誤差e低于設(shè)定的閾值時(shí)，計(jì)算結(jié)束；誤差e高于設(shè)定的閾值時(shí)，還需要再次迭代運(yùn)算，直到誤差滿(mǎn)足設(shè)定的閾值要求為止。
2.如權(quán)利要求1所述的一種基于圖像拼接的全景圖合成方法，其特征在于:完成步驟一至步驟六之后，用平滑濾波的方法對(duì)拼接后的圖像進(jìn)行再次處理。
3.如權(quán)利要求1所述的一種基于圖像拼接的全景圖合成方法，其特征在于:步驟二中所述像素是指分塊拍攝圖像在當(dāng)前位置的顏色索引值或顏色值，當(dāng)分塊拍攝圖像是灰度圖像是，像素用灰度值表示；當(dāng)分塊拍攝圖像是彩色圖像時(shí)，像素用復(fù)數(shù)個(gè)灰度值來(lái)表示。
4.如權(quán)利要求1所述的一種基于圖像拼接的全景圖合成方法，其特征在于:步驟二中所述剛性變換包括平移變換和旋轉(zhuǎn)變換。
5.如權(quán)利要求1所述的一種基于圖像拼接的全景圖合成方法，其特征在于:步驟二中所述線性幾何變換包括平移變換，旋轉(zhuǎn)變換和尺度變換。
6.如權(quán)利要求3所述的一種基于圖像拼接的全景圖合成方法，其特征在于:對(duì)于分塊拍攝圖像中非整數(shù)坐標(biāo) 處的灰度值，采用雙線性插值來(lái)進(jìn)行估算。
【文檔編號(hào)】G06T3/40GK104077764SQ201410330763
【公開(kāi)日】2014年10月1日 申請(qǐng)日期:2014年7月11日 優(yōu)先權(quán)日:2014年7月11日
【發(fā)明者】周洪成, 胡艷, 陳存寶, 姜志鵬, 劉海陵 申請(qǐng)人:金陵科技學(xué)院