本發(fā)明涉及一種存在運動目標的場景圖像拼接方法，屬于圖像全景信息中圖像拼接技術領域。

背景技術：

目前，全景圖像獲取是計算機視覺的新興研究領域和熱點內容。獲取全景圖像的方式主要有兩種：(1)直接利用專用廣角成像設備，一次攝取足夠大的水平角度的圖像，如魚眼光學鏡頭、凸面反射光學鏡頭等非線性光學成像設備，但其造價較高，分辨率和視角不能兼顧，圖像會嚴重畸變；(2)通過圖像拼接處理，將一組具有重疊區(qū)域的低分辨率或小視角圖像，拼接成一幅高分辨率、大視角的新圖像，其成本低，效果好。因此，圖像拼接方法對于獲取全景圖像信息非常重要。

圖像拼接過程中的核心部分是圖像配準和圖像融合，這兩個部分分別是提高圖像配準精度和消除“鬼影”提高拼接圖像清晰度的關鍵環(huán)節(jié)。圖像配準是根據(jù)一些相似性度量來計算不同圖像間的變換參數(shù)，使不同成像設備在不同時間和不同視角獲取的同一場景的多幅重疊圖像變換到同一坐標系下，并得到最佳匹配的過程。圖像融合就是采用一定的算法，將重疊區(qū)域的圖像數(shù)據(jù)進行融合，使得融合后的圖像沒有拼接縫隙、沒有亮度差異、沒有模糊和失真現(xiàn)象，視覺效果良好。

然而，一般情況下，場景中除了靜態(tài)目標還具有動態(tài)目標。傳統(tǒng)的圖像拼接方法有的配準精度低，會產生視差誤差，有的雖然也會考慮由動態(tài)目標造成的拼接“鬼影”，但并不能很好解決“鬼影”現(xiàn)象，因此會導致拼接圖像不清晰。

如目前普遍使用的理論成熟且計算簡單的方法是基于直接線性變換估計方法和線性融合的圖像拼接方法，用直接線性變換方法估計圖像的全局投影變換矩陣后，對圖像中所有像素都用這一個投影變換矩陣進行變換，沒有考慮像素間的相關性，從而會出現(xiàn)配準誤差。而簡單的線性融合方法取變換后圖像對應的權值矩陣(像素值不為0的元素對應權值為1，否則為0)，在圖像三通道中，同時將變換后圖像與其對應權值矩陣相乘，相乘后的結果相加，再除以權值矩陣之和，即可得到線性融合后的拼接圖像，此方法無法消除圖像中由運動目標造成的“鬼影”，圖像清晰度會大大降低。以上兩個問題導致此圖像拼接方法無法獲得高匹配精度且不能有效消除“鬼影”，不適用于具有運動目標的場景圖像拼接。

技術實現(xiàn)要素：

針對上述問題，本發(fā)明的目的是提供一種基于移動直接線性變換估計和局部不變線性融合的簡單快速、高效、準確、清晰度高的運動目標圖像拼接方法，以適應存在大量運動目標的場景圖像有效拼接問題，實現(xiàn)提高拼接圖像視覺效果的目的。

本發(fā)明首先利用攝像機獲取存在運動目標的場景圖像，然后采用SIFT算法提取圖像特征，再利用提取的特征完成兩幅圖像特征之間的匹配，通過RANSAC算法去除錯誤的特征匹配，從而得到正確的特征匹配，通過特征的匹配關系建立圖像間的幾何變換模型以完成圖像的配準，最后根據(jù)圖像融合方法對配準后的圖像進行融合處理。

本發(fā)明通過以下具體步驟實現(xiàn)：

(1)圖像獲?。韩@取存在運動目標的多個場景圖像是第k個場景s_k中的第i幅圖像；

(2)提取圖像特征：對于第k個場景s_k中具有重疊區(qū)域的第i幅圖像(對應采集時間為t_i)和第j幅圖像(對應采集時間為t_j)，(i＜j,t_i＜t_j)，采用SIFT算法分別提取圖像和的特征和包含圖像中特征的位置坐標和所處尺度及方向信息，表示圖像中特征的128維描述子，該特征具有尺度不變性、旋轉不變性、平移不變性及光照魯棒性等特點；

(3)特征匹配：計算圖像和中描述子之間的最近鄰距離和次近鄰距離，最近鄰距離與次近鄰距離的比率ratio小于閾值ε(一般取0.5)的認為是正確匹配；

(4)去除錯誤匹配：一般得到的匹配點對都會存在錯誤的匹配，因此采用RANSAC算法來去除錯誤的匹配，從而得到可信度高的正確匹配

(5)求解圖像投影變換模型參數(shù)并進行圖像變換：給定場景s_k下的兩幅具有重疊區(qū)域的圖像x＝[x y]^T和x'＝[x' y']^T分別是圖像匹配點，其齊次坐標表示分別為和

本發(fā)明采用移動直接線性變換求解圖像位置相關局部投影變換矩陣H_*。得到H_*后，對圖像進行變換并對齊，圖像中的任意像素x_*被變形到圖像坐標系下的位置即得到圖像變換后的圖像對圖像的四個角點進行變換，得到其變換后圖像的大小，只需要將圖像放在相同大小的畫布中，并做一個簡單的偏移，就能得到對齊后的圖像

(6)圖像融合獲得拼接后的圖像：采用局部不變線性融合對位置相關局部投影變換矩陣得到的變換圖像進行融合。具體描述如下：

對變換后圖像和分別取相應的權值矩陣w₁,w₂(像素值不為0的元素對應權值為1，否則為0)。令兩幅圖像重疊區(qū)域為O，其內接矩形區(qū)域為R，R左上角像素坐標為(c_min,r_min)，右下角像素坐標為(c_max,r_max)，令對應的權值矩陣w₁中與R位置相同區(qū)域的元素為0，隨后與線性融合一樣，在圖像三通道中，同時將變換后圖像與其對應權值矩陣相乘，相乘后的結果相加，再除以權值矩陣之和，即可得到局部不變線性融合得到的拼接圖像I_mlocal。這樣其實就是保留了運動目標t_j時刻的運動狀態(tài)，消除了其t_i時刻的運動狀態(tài)。因此能夠有效解決“鬼影”問題。

(7)圖像拼接效果評估：根據(jù)各場景中待拼接圖像，分別由直接線性變換結合線性融合得到圖像拼接結果和移動直接線性變換結合局部不變線性融合得到圖像拼接結果，通過對圖像拼接結果進行主觀視覺觀察評價，移動直接線性變換結合局部不變線性融合方法得到的拼接圖像比直接線性變換結合線性融合得到的拼接圖像在配準精度和“鬼影”去除效果兩方面均有了很大改善。

本發(fā)明基于移動直接線性變換估計和局部不變線性融合方法，通過提高圖像配準精度和去除由運動目標造成的拼接“鬼影”，達到提高拼接圖像質量和清晰度的目的。在圖像配準階段，本發(fā)明通過采用位置相關局部投影變換矩陣，使得圖像非重疊區(qū)域變換表現(xiàn)出一種全局的投影變換，而圖像重疊區(qū)域變換表現(xiàn)出非常好的靈活性，提高了圖像重疊區(qū)域的配準精度。在圖像融合階段，本發(fā)明通過保持運動目標后一時刻的運動狀態(tài)，消除其前一時刻的運動狀態(tài)，從而達到去除“鬼影”的效果。由于本發(fā)明的算法簡單快速，工作量小、一致性好、效率高、配準精度高，同時消除了由運動目標造成的“鬼影”，特別適用于存在運動目標的場景圖像拼接。

附圖說明

圖1為本發(fā)明的整體流程圖。

圖2為本發(fā)明具體實施例中靜態(tài)陸上場景圖像拼接結果。

其中，(a)和(b)為靜態(tài)陸上場景待拼接圖像；(c)和(d)分別為靜態(tài)陸上場景圖像(a)和(b)的SIFT特征提取結果；(e)為靜態(tài)陸上場景圖像(a)和(b)的特征匹配結果；(f)為用RANSAC算法去除錯誤匹配的結果圖；(g)和(h)分別為用直接線性變換估計得到的全局投影變換矩陣對圖像進行變換的結果和用本發(fā)明中移動直接線性變換估計得到的位置相關局部投影變換矩陣對圖像進行變換的結果；(i)是用線性融合對直接線性變換獲得的變換圖像進行融合得到的拼接圖像；(j)是用線性融合對移動直接線性變換獲得的變換圖像進行融合得到的拼接圖像。

圖3為本發(fā)明具體實施例中具有運動目標的陸上場景圖像拼接結果。

其中，(a)和(b)為存在運動目標的陸上場景待拼接圖像；(c)和(d)分別為陸上場景圖像(a)和(b)的SIFT特征提取結果；(e)為陸上場景圖像(a)和(b)的特征匹配結果；(f)為用RANSAC算法去除錯誤匹配的結果圖；(g)和(h)分別為用直接線性變換估計得到的全局投影變換矩陣對圖像進行變換的結果和用本發(fā)明中移動直接線性變換估計得到的位置相關局部投影變換矩陣對圖像進行變換的結果；(i)是用線性融合對直接線性變換獲得的變換圖像進行融合得到的拼接圖像；(j)是用本發(fā)明中局部不變線性融合對移動直接線性變換獲得的變換圖像進行融合得到的拼接圖像。

具體實施方式

為了驗證本發(fā)明的有效性，下面以一組存在運動目標的陸上場景圖像為例，結合附圖詳細說明本發(fā)明的具體實施過程。

本發(fā)明的整體流程如圖1所示，具體詳細過程如下：

1.圖像獲取：分別以靜態(tài)的“railtracks”場景圖像數(shù)據(jù)和具有運動目標的“bridge”場景圖像數(shù)據(jù)為例(Che-Han Chang et.al,2014)，作為本發(fā)明實施例中的待拼接圖像其中表示場景s₁中的第i幅圖像；

2.提取圖像特征：采用SIFT算法提取具有重疊區(qū)域的陸上場景圖像和的特征和包含圖像中特征的位置坐標和所處尺度及方向信息，表示圖像中特征的128維描述子，該特征具有尺度不變性、旋轉不變性、平移不變性及光照魯棒性等特點；

3.特征匹配：根據(jù)比較最近鄰距離與次近鄰距離的方法，距離比率ratio小于閾值ε(一般取0.5)的認為是正確匹配；

4.去除錯誤匹配：一般得到的匹配點對都會存在錯誤的匹配，因此采用RANSAC算法來去除錯誤的匹配，從而得到可信度高的正確匹配

5.求解圖像投影變換模型參數(shù)并進行圖像變換：給定場景s₁下的兩幅具有重疊區(qū)域的圖像x＝[x y]^T和x'＝[x' y']^T分別是圖像的匹配點，其齊次坐標表示分別為和為了說明本發(fā)明方法的有效性，下面采用兩種方法求解圖像投影變換模型矩陣并對圖像進行相應變換：

(1)直接線性變換求解圖像全局投影變換矩陣H(H為3×3的單應性矩陣)并進行圖像變換：

(a)x到x'的投影變換關系為

表示相差一個尺度因子。令r_j是H的第j行。

(b)將重新改寫為一個隱含條件并線性化為

其中，h是通過向量化H得到。(2)中只有兩行是線性獨立的。

(c)令a_i是第i個匹配點對在式(2)中P矩陣的前兩行。給定一個估計的h，||a_ih||是第i個數(shù)據(jù)的代數(shù)誤差。直接線性變換最小化代數(shù)誤差的平方和

其中，范數(shù)約束避免了那些價值不高的解。

(d)對于所有的i，將a_i垂直堆疊到矩陣以上問題可以改寫為

上式的解是A的最不顯著的右奇異向量。

(e)給定估計的H(從重建出的)，對圖像進行排列對齊，圖像中的任意像素x*被變形到圖像坐標系下的位置即

為了避免產生較大的精度偏差，在直接線性變換估計H之前，首先將數(shù)據(jù)進行標準化，有了估計的H，在執(zhí)行(5)之前規(guī)格化。

(f)圖像變換：得到H后，通過(5)式，可以得到圖像變換后的圖像對圖像的四個角點進行變換，可以得到其變換后圖像的大小，只需要將圖像放在相同大小的畫布中，并做一個簡單的偏移，就能得到對齊后的圖像

(2)移動直接線性變換求解圖像局部位置相關局部投影變換矩陣H_*并進行圖像變換：用直接線性變換方法估計圖像全局投影變換模型后，對圖像中所有像素都用這一個投影變換模型矩陣進行變換，沒有考慮像素間的相關性，從而會出現(xiàn)配準誤差。本發(fā)明提出用移動直接線性變換求解圖像位置相關局部投影變換模型矩陣，具體過程如下：

(a)使用位置相關局部投影變換矩陣H_*對任意像素x_*進行變換

H_*由下面加權問題得到

其中σ是高斯尺度因子，γ是權值補償。x_i是第i個匹配點對{x_i，x′_i}中屬于待變換圖像的點的坐標。距離像素x_*越近的x_i，權值越大。

(b)將(7)式寫為矩陣形式

其中

(c)對W_*A矩陣進行奇異值分解，就可得到此目標函數(shù)的解，即為W_*A矩陣的最不顯著的右奇異向量，從而得到待變換圖像的投影變換矩陣H_*。由此，可以獲得每一個像素的位置相關局部投影變換矩陣，得到變換后的圖像，這樣能更好的保留x_*周圍的局部結構信息。

(d)圖像變換：在實際計算中，每個像素的變換都求解一遍目標函數(shù)是一種不必要的浪費，因為相鄰位置的像素會產生非常相似的權值，從而得到非常相似的位置相關局部投影變換矩陣。因此，我們?yōu)榱颂岣哂嬎阈?，將待變換圖像分為100×100的網格，取每個網格的中心作為x_*。同一個網格中的像素都用x_*對應的位置相關局部投影變換矩陣進行變換，從而得到變換后的圖像可以得到其變換后圖像的大小，只需要將圖像放在相同大小的畫布中，并做一個簡單的偏移，就能得到對齊后的圖像采取這種變換方式，使得圖像非重疊區(qū)域的變換表現(xiàn)為一種全局的投影變換，而重疊區(qū)域的變換具有靈活地適應性，從而可以得到更好的配準精度。

6.圖像融合獲得拼接后的圖像：與上述兩種圖像變換模型矩陣對應，分別采用兩種方法對變換后的圖像進行融合處理，即線性融合對全局投影變換矩陣得到的變換圖像進行融合，局部不變線性融合對位置相關局部投影變換矩陣得到的變換圖像進行融合。具體描述如下：

(1)線性融合：對變換后圖像和分別取相應的權值矩陣w₁,w₂(像素值不為0的元素對應權值為1，否則為0)，則線性融合得到拼接圖像I_S為

(2)局部不變線性融合：簡單的線性融合無法消除圖像中有運動目標造成的“鬼影”，從而圖像清晰度會大大降低。針對這個問題，本發(fā)明提出用局部不變線性融合來消除此“鬼影”。對變換后圖像和分別取相應的權值矩陣w₁,w₂(像素值不為0的元素對應權值為1，否則為0)。令兩幅圖像重疊區(qū)域為O，其內接矩形區(qū)域為R，R左上角像素坐標為(c_min,r_min)，右下角像素坐標為(c_max,r_max)，因此內接矩形的長和寬分別為m＝c_max-c_min+1，n＝r_max-r_min+1，設zeros(m,n)表示一個m×n的零矩陣，w₁(c_min:c_max,r_min:r_max)表示權值矩陣w₁中與R對應的一個矩形區(qū)域,令w₁(c_min:c_max,r_min:r_max)＝zeros(m,n)，局部不變線性融合得到的拼接圖像I_mlocal為

這樣其實就是保留了運動目標后一時刻的運動狀態(tài)，去除了其前一時刻的運動狀態(tài)。因此能夠有效解決“鬼影”問題。

7.圖像拼接效果評估：根據(jù)各場景中待拼接圖像，分別由直接線性變換結合線性融合得到圖像拼接結果和移動直接線性變換結合局部不變線性融合得到圖像拼接結果，通過主觀視覺感受，從拼接圖像的配準精度和“鬼影”去除效果兩方面進行比較分析。由圖2可知，移動直接線性變換估計得到的拼接圖像與直接線性變換得到的拼接圖像相比，基本上能夠消除視差誤差，從而獲得較好的配準精度。由圖3可知，對于存在運動目標的圖像，本發(fā)明中局部不變線性融合與基本的線性融合相比，又能夠很好地消除場景中由運動目標造成的“鬼影”。因此，本發(fā)明基于移動直接線性變換和局部不變線性融合的圖像拼接方法，切實可行，方便有效。

本發(fā)明提出基于移動直接線性變換和局部不變線性融合的圖像拼接方法，對陸上場景圖像進行圖像拼接處理，通過與基于直接線性變換和線性融合的圖像拼接方法對比，本發(fā)明方法拼接圖像配準精度高，無運動目標“鬼影”，圖像清晰度高。由于本發(fā)明的算法簡單快速，工作量小、一致性好、效率高、配準精度高，同時消除了由運動目標造成的“鬼影”，特別適用于存在運動目標的場景圖像拼接。