基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找方法及系統(tǒng)的制作方法
【專利摘要】一種基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找方法及系統(tǒng)，進(jìn)行待拼接影像數(shù)據(jù)準(zhǔn)備，獲得各待拼接影像之間所有重疊區(qū)域及相應(yīng)重疊度；對(duì)待拼接影像進(jìn)行預(yù)處理，綜合考慮顏色、梯度以及紋理信息確定圖割全局能量函數(shù)，圖割全局能量函數(shù)包括數(shù)據(jù)項(xiàng)和平滑項(xiàng)，平滑項(xiàng)能量權(quán)重設(shè)置，采用圖割能量?jī)?yōu)化方法，對(duì)總能量進(jìn)行優(yōu)化，獲取最優(yōu)拼接線。本發(fā)明所得拼接線盡量避免通過色差過大、紋理復(fù)雜區(qū)域以及明顯地物的邊緣，從而最大程度上保證了拼接線的最優(yōu)化，解決了多影像多度重疊區(qū)域拼接線聯(lián)合優(yōu)化的問題，適用性廣。
【專利說明】基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)字影像處理【技術(shù)領(lǐng)域】，特別是涉及一種基于圖割(Graph-CutS)能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找技術(shù)方案及系統(tǒng)。
【背景技術(shù)】
[0002]在數(shù)字影像拼接過程中，由于受到影像配準(zhǔn)幾何誤差以及影像色差等因素的影響，在拍攝視角或目標(biāo)運(yùn)動(dòng)等造成影像間差異較大的區(qū)域(如建筑物、車輛以及行人等明顯地物)，拼接后的影像往往存在較為明顯的錯(cuò)位現(xiàn)象。因此，如何快速高效地尋找一條最優(yōu)的拼接線(避免穿過影像差異較大區(qū)域)，是影像拼接中最為關(guān)鍵的技術(shù)，也是計(jì)算機(jī)視覺和攝影測(cè)量領(lǐng)域研究的熱點(diǎn)課題之一，在全景影像拼接和航空影像拼接(尤其是低空傾斜影像拼接)等中應(yīng)用最為廣泛。
[0003]目前拼接線自動(dòng)尋找的方法主要有三種技術(shù)路線:一是基于輔助數(shù)據(jù)的方法，二是基于對(duì)象的拼接線尋找方法，三是基于重疊區(qū)域影像差異的方法。
[0004]基于輔助數(shù)據(jù)的拼接線尋找方法主要利用輔助數(shù)據(jù)(道路矢量數(shù)據(jù)、LiDAR點(diǎn)云數(shù)據(jù)等)對(duì)拼接線的走向進(jìn)行約束，從而取得較好的拼接結(jié)果。該方法的主要缺陷在于對(duì)輔助數(shù)據(jù)的依賴性，拼接結(jié)果的好壞很大程度上取決于輔助數(shù)據(jù)的精度。
[0005]基于對(duì)象的拼接線尋找方法結(jié)合影像分割算法，對(duì)重疊區(qū)域進(jìn)行影像分割，得到明顯地物的分 布區(qū)域，從而用于指導(dǎo)最優(yōu)拼接線的尋找。該方法的局限性主要在于目標(biāo)分割的準(zhǔn)確性得不到保證，影響拼接的效果。
[0006]基于重疊區(qū)域影像差異的拼接線尋找方法利用重疊區(qū)域?qū)?yīng)像素的差異，構(gòu)建合理的能量函數(shù)，并采用適當(dāng)?shù)哪芰績(jī)?yōu)化方法進(jìn)行優(yōu)化。該方法能夠得到較好的拼接效果，但耗時(shí)較長(zhǎng)，計(jì)算復(fù)雜度較高，效率較低。

【發(fā)明內(nèi)容】

[0007]為了解決上述技術(shù)問題，能快速、穩(wěn)定、準(zhǔn)確地從影像間重疊區(qū)域中尋找到最優(yōu)的拼接線，本發(fā)明提供了一種基于圖割(Graph-Cuts)能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找技術(shù)。
[0008]本發(fā)明所采用的技術(shù)方案提供了一種基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找方法，包括以下步驟:
[0009]步驟1，進(jìn)行待拼接影像數(shù)據(jù)準(zhǔn)備，獲得各待拼接影像之間所有重疊區(qū)域及相應(yīng)重
疊度；
[0010]步驟2，對(duì)待拼接影像進(jìn)行預(yù)處理；
[0011]步驟3，確定圖割全局能量函數(shù)如下，
[0012]設(shè)當(dāng)前待拼接影像為N張，分別為影像I1, I2, I3,…，In，構(gòu)成的影像集為5 = m，圖割全局能量函數(shù)包括Edata和Es_th兩項(xiàng)，
[0013]
【權(quán)利要求】
1.一種基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找方法，包括以下步驟: 步驟1，進(jìn)行待拼接影像數(shù)據(jù)準(zhǔn)備，獲得各待拼接影像之間所有重疊區(qū)域及相應(yīng)重疊度； 步驟2，對(duì)待拼接影像進(jìn)行預(yù)處理； 步驟3，確定圖割全局能量函數(shù)如下， 設(shè)當(dāng)前待拼接影像為N張，分別為影像I1, I2, I3,…，In，構(gòu)成的影像集為7 = {I/JL1-圖割全局能量函數(shù)包括Edata和Es_th兩項(xiàng)，


2.根據(jù)權(quán)利要求1所述基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找方法，其特征在于:當(dāng)根據(jù)步驟5所得最優(yōu)拼接線進(jìn)行優(yōu)化后出現(xiàn)局部?jī)?yōu)化效果不佳時(shí)，對(duì)局部?jī)?yōu)化效果不佳區(qū)域的每個(gè)重疊區(qū)域分別加入干預(yù)，優(yōu)化拼接線，步驟如下， 步驟Al，在重疊區(qū)域中選取點(diǎn)集，并賦予相應(yīng)影像歸屬編號(hào)，設(shè)選取的M個(gè)點(diǎn)的集合定義為Y = (Xjfl1,相應(yīng)賦予的影像歸屬編號(hào)表示為
3.根據(jù)權(quán)利要求1或2所述基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找方法，其特征在于:所述相鄰像素P和q在IjP Ib重疊區(qū)域?qū)?yīng)的顏色空間平滑項(xiàng)能量和梯度空間平滑項(xiàng)能量^color (.Pf iI, 32)和(P, tI, 的猶取方式如下， 針對(duì)拼接后影像J中每個(gè)像素P來自影像對(duì)％ = (IrtJb)的紋理空間能量Etextur ,(P,72)定義如下，
4.根據(jù)權(quán)利要求1或2所述基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找方法，其特征在于:步驟2所述對(duì)待拼接影像進(jìn)行預(yù)處理，包括影像降采樣、影像顏色空間轉(zhuǎn)換及灰度化、影像梯度計(jì)算和紋理復(fù)雜度計(jì)算。
5.根據(jù)權(quán)利要求4所述基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找方法，其特征在于:當(dāng)待拼接影像為全景圖像時(shí)，步驟2所述對(duì)待拼接影像進(jìn)行預(yù)處理中包括進(jìn)行影像擴(kuò)展。
6.一種基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找系統(tǒng)，包括以下模塊: 數(shù)據(jù)準(zhǔn)備模塊，用于進(jìn)行待拼接影像數(shù)據(jù)準(zhǔn)備，獲得各待拼接影像之間所有重疊區(qū)域及相應(yīng)重疊度； 預(yù)處理模塊，用于對(duì)待拼接影像進(jìn)行預(yù)處理； 能量函數(shù)確定模塊，用于確定圖割全局能量函數(shù)如下， 設(shè)當(dāng)前待拼接影像為N張，分別為影像I1, I2, I3,…，In，構(gòu)成的影像集為3 = {I,JL1-圖割全局能量函數(shù)包括Edata和Es_th兩項(xiàng)，
7.根據(jù)權(quán)利要求6所述基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找系統(tǒng)，其特征在于:設(shè)置干預(yù)模塊，用于當(dāng)根據(jù)優(yōu)化模塊所得最優(yōu)拼接線進(jìn)行優(yōu)化后出現(xiàn)局部?jī)?yōu)化效果不佳時(shí)，對(duì)局部?jī)?yōu)化效果不佳區(qū)域的每個(gè)重疊區(qū)域分別加入干預(yù)，優(yōu)化拼接線，步驟如下， 步驟Al，在重疊區(qū)域中選取點(diǎn)集，并賦予相應(yīng)影像歸屬編號(hào)，設(shè)選取的M個(gè)點(diǎn)的集合定義為
8.根據(jù)權(quán)利要求6或7所述基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找系統(tǒng)，其特征在于:所述相鄰像素P和q在、和Ib重疊區(qū)域?qū)?yīng)的顏色空間平滑項(xiàng)能量和梯度空間平滑項(xiàng)能量
9.根據(jù)權(quán)利要求6或7所述基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找系統(tǒng)，其特征在于:預(yù)處理模塊對(duì)待拼接影像進(jìn)行的預(yù)處理，包括影像降采樣、影像顏色空間轉(zhuǎn)換及灰度化、影像梯度計(jì)算和紋理復(fù)雜度計(jì)算。
10.根據(jù)權(quán)利要求9所述基于圖割能量?jī)?yōu)化的影像間最優(yōu)拼接線尋找系統(tǒng)，其特征在于:當(dāng)待拼接影像為全景圖像時(shí) ，預(yù)處理模塊待拼接影像進(jìn)行的預(yù)處理中包括進(jìn)行影像擴(kuò)展。
【文檔編號(hào)】G06T5/50GK103985133SQ201410242353
【公開日】2014年8月13日 申請(qǐng)日期:2014年5月30日 優(yōu)先權(quán)日:2014年5月30日
【發(fā)明者】姚劍, 李禮, 唐文莉, 常娟 申請(qǐng)人:武漢大學(xué)