專利名稱：一種全景圖像融合方法、系統(tǒng)及圖像處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種全景圖像融合方法、系統(tǒng)及圖像/ 視頻處理設(shè)備。
背景技術(shù)：
目前，全景圖像的生成一般采取兩類方式第一類是利用廣角鏡頭或全景反射光 學(xué)鏡頭生成全景圖像；第二類是利用普通相機(jī)獲取的多個視角的圖像經(jīng)過變換、拼接、融合 為一個包含各視角圖像內(nèi)容的大視場全景圖像。在第二類方式中，由于相機(jī)獲取的多個視角的圖像之間存在視場大小、方向、亮 度、色彩等方面的差異，一般需要通過兩個步驟才能夠?qū)⑦@些圖像拼接為一幅無縫全景圖 像。第一個步驟是對各個圖像進(jìn)行投影變換，將它們變換到一個統(tǒng)一的視場中；第二個步驟 是對變換后的各個圖像在它們的公共視場交疊區(qū)域進(jìn)行色彩和亮度的一致性調(diào)整，消除圖 像拼接的馬賽克效應(yīng)，即消除全景圖像中的拼接痕跡。目前對全景圖像中的公共視場交疊區(qū)域進(jìn)行色彩和亮度的一致性調(diào)整的技術(shù)主 要有下面幾種方式平均值法在兩幅圖像的公共視場重疊區(qū)中的像素顏色值是兩幅圖像的顏色值的 平均值。最佳縫合線法在兩幅圖像的公共重疊區(qū)域中，尋找出兩幅圖像中那些顏色值和 鄰域幾何結(jié)構(gòu)最相似的點作為縫合線，在縫合線的一側(cè)只取其中的一幅圖像的內(nèi)容，以實 現(xiàn)兩幅圖像的全景拼接。多分辨融合法采用拉普拉斯金字塔型分解、或小波分解將圖像分解為多分辨的 形式，然后在不同分辨級上進(jìn)行圖像融合，最后將融合后的不同分辨級圖像進(jìn)行多分辨合 成。漸入漸出法在兩幅圖像的公共重疊區(qū)域中，為每一個像素點計算出一個混合加 權(quán)系數(shù)，該混合加權(quán)系數(shù)在公共重疊區(qū)域中隨位置的不同具有漸變過渡特性，將兩幅圖像 中對應(yīng)的像素按照混合加權(quán)系數(shù)進(jìn)行顏色值加權(quán)疊加，以使公共區(qū)域的色彩和亮度在兩幅 圖像之間呈現(xiàn)出逐漸過渡的特點。該方法也稱為阿爾法混合法。在上述色彩和亮度的一致性調(diào)整方式中，漸入漸出法不僅可以得到無縫漸變的全 景圖像，而且在融合過程中運算相對簡單，可以快速實現(xiàn)，因此使用廣泛。漸入漸出法的關(guān) 鍵是混合加權(quán)系數(shù)的定義和計算。目前的方法中，混合加權(quán)系數(shù)的計算方式主要包括①沿 圖像的其中一維坐標(biāo)方向計算混合系數(shù)，該方法的主要問題是，在圖像重疊區(qū)域邊界的另 外一維坐標(biāo)方向上會出現(xiàn)明顯的拼接痕跡；②圖像四邊形重疊區(qū)域的面積加權(quán)法，該方法 假設(shè)兩幅圖像的重疊區(qū)域為四邊形，首先找出四邊形四個頂點的位置，計算公共區(qū)域中的 任意像素點與這四個頂點形成的四個三角形的面積，并以此為基礎(chǔ)計算出混合系數(shù)。后一 種方法雖然可以克服前面方法的缺點，但它只能對重疊區(qū)域為四邊形的情況進(jìn)行計算，使 得它的使用范圍受到限制。
現(xiàn)有漸入漸出融合技術(shù)生成全景圖像時，存在無法對公共視場重疊區(qū)域為任意幾 何形狀時的情況進(jìn)行有效融合的問題，以及由于公共視場重疊區(qū)域的形狀不同的原因造成 的融合算法不統(tǒng)一的問題。

發(fā)明內(nèi)容
本發(fā)明實施例的目的在于提供一種全景圖像融合方法，旨在使圖像融合過程與圖 像的具體幾何形狀無關(guān)，并最終生成無縫全景圖像。本發(fā)明實施例是這樣實現(xiàn)的，一種全景圖像融合方法，包括以下步驟步驟al，對待融合的兩幅圖像進(jìn)行到全景視場的投影變換處理，并通過插值運算 得到待融合的兩幅圖像在全景視場中的對應(yīng)鑲嵌圖；步驟a2，計算兩幅鑲嵌圖的區(qū)域掩模圖，并根據(jù)所述兩幅鑲嵌圖的區(qū)域掩模圖得 到兩幅鑲嵌圖的公共重疊視場區(qū)域以及公共重疊視場區(qū)域的相異視場邊界集合；步驟a3，計算所述公共重疊視場區(qū)域中的像素點到所述相異視場邊界集合的距 離，并根據(jù)計算結(jié)果進(jìn)一步計算得到融合系數(shù)；步驟a4，根據(jù)所述融合系數(shù)、所述兩幅鑲嵌圖的區(qū)域掩模圖、所述兩幅鑲嵌圖的公 共重疊視場區(qū)域、所述兩幅鑲嵌圖得到兩幅圖像融合后的全景圖像。進(jìn)一步地，若待融合的圖像數(shù)量多于兩幅，則所述方法在步驟al之前還包括以下 步驟步驟aOl，將待融合的η幅圖像投影變換到全景視場中，并通過插值運算得到所述 η幅圖像在全景視場中的對應(yīng)鑲嵌圖Τ1、Τ2.....Τη；步驟a02，計算所述η幅鑲嵌圖Tl、Τ2.....Tn的區(qū)域掩模圖Rl、R2.....Rn ；計
算各區(qū)域掩模圖之間的視場空間相鄰關(guān)系，若其中的兩個掩模圖之間存在有視場公共重疊 區(qū)域，則判斷它們的視場相鄰并建立相鄰視場連通鏈表，否則不相鄰；在步驟a4之后，所述方法還包括以下步驟步驟a5，根據(jù)相鄰視場連通鏈表對全景視場鑲嵌圖重新排序為T。i、T。2.....T。n，并
采用順序迭代方式計算全景融合圖像，如下Pk+1 =Pk Tck+1，k = 1，2，· · ·，n-1其中， 是圖像融合運算符，Pk是由k個鑲嵌圖T。i、T。2.....T。k生成的部分全景圖，
P1 = Tca, Pn是最終的全景圖。本發(fā)明實施例還提供了一種全景圖像融合系統(tǒng)，包括鑲嵌圖運算單元，用于對待融合的兩幅圖像進(jìn)行到全景視場的投影變換處理，并 通過插值運算得到待融合的兩幅圖像在全景視場中的對應(yīng)鑲嵌圖；全景圖像參數(shù)運算單元，用于計算兩幅鑲嵌圖的區(qū)域掩模圖，并根據(jù)所述兩幅鑲 嵌圖的區(qū)域掩模圖得到兩幅鑲嵌圖的公共重疊視場區(qū)域以及公共重疊視場區(qū)域的相異視 場邊界集合；還用于計算所述公共重疊視場區(qū)域中的像素點到所述相異視場邊界集合的距 離，并根據(jù)計算結(jié)果進(jìn)一步計算得到融合系數(shù)；全景圖像合成單元，用于根據(jù)所述融合系數(shù)、所述兩幅鑲嵌圖的區(qū)域掩模圖、所述 兩幅鑲嵌圖的公共重疊視場區(qū)域、所述兩幅鑲嵌圖得到兩幅圖像融合后的全景圖像。進(jìn)一步地，所述鑲嵌圖運算單元用于將待融合的η幅圖像投影變換到全景視場中，并通過插值運算得到所述η幅圖像在全景視場中的鑲嵌圖T1、T2.....Tn ；所述全景圖
像參數(shù)運算單元用于計算所述η幅鑲嵌圖T1、T2.....Tn的區(qū)域掩模圖R1、R2.....Rn；所述系統(tǒng)還包括相鄰視場連通鏈表建立單元，用于根據(jù)所述全景圖像參數(shù)運算單元計算得到的區(qū)
域掩模圖Rl、R2.....Rn，計算各區(qū)域掩模圖之間的視場空間相鄰關(guān)系，若其中的兩個掩模
圖之間存在有視場公共重疊區(qū)域，則判斷它們的視場相鄰并建立相鄰視場連通鏈表，否則 不相鄰；所述全景圖像合成單元還用于根據(jù)相鄰視場連通鏈表對全景視場鑲嵌圖重新排 序為T。i、T。2.....Tcn,并采用順序迭代方式計算全景融合圖像，如下Pk+I = Pk 十 Tck+, , k = 1，2，· · ·，n-1，其中，Θ是圖像融合運算符，Pk是由k個鑲嵌圖Tel、T。2.....T。k生成的部分全景圖，
P1 = Tca, Pn是最終的全景圖。本發(fā)明實施例還提供了一種包括如上所述的全景圖像融合系統(tǒng)的全景圖像處理 設(shè)備。本發(fā)明實施例中，通過將具有一定視場重合的兩幅圖像，通過投影變換計算出它 們在全景視場中的鑲嵌圖；利用鑲嵌圖中的公共視場重疊區(qū)域，計算出相異視場邊界像素 集合，并計算出公共視場重疊區(qū)域的像素點到相異視場邊界的距離；根據(jù)相異視場邊界距 離計算融合系數(shù)，建立公共視場區(qū)域的融合系數(shù)表；根據(jù)融合系數(shù)表對公共視場區(qū)域的圖 像進(jìn)行融合。整個處理過程與視場具體幾何形狀無關(guān)，具有通用性，應(yīng)用范圍廣，從而實現(xiàn) 了一種通用的對兩幅圖像公共視場重疊區(qū)域進(jìn)行全景圖像無縫融合的方法，解決了已有的 全景圖像融合方法無法很好地處理在公共重疊視場區(qū)域為任意形狀時的無縫融合問題，也 解決了以往由于不同形狀公共視場重疊區(qū)域的原因造成的融合算法不統(tǒng)一的問題，本發(fā)明 經(jīng)過簡單的擴(kuò)展還可用于η (η彡3)幅圖像的無縫融合。


圖1是本發(fā)明實施例提供的全景圖像融合方法的實現(xiàn)流程圖；圖2是本發(fā)明實施例提供的兩幅圖像全景融合的鑲嵌圖ΤΑ、ΤΒ，區(qū)域掩模圖Ra、Rb、 公共重疊視場區(qū)域掩模圖Rab，以及公共重疊視場區(qū)域掩模圖Rab的相異視場邊界集合Eab、 Eba的關(guān)系示意圖；圖3是本發(fā)明實施例提供的像素點X的3X3鄰域N(X)的示意圖；圖4是本發(fā)明實施例提供的4幅圖像全景融合的視場示意圖；圖5是本發(fā)明實施例提供的全景圖像融合系統(tǒng)的結(jié)構(gòu)原理圖；圖6是本發(fā)明實施例提供的η幅圖像的全景圖像融合方法的實現(xiàn)流程圖。
具體實施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。本發(fā)明實施例通過將具有一定視場重合的兩幅圖像，通過投影變換計算出它們在全景視場中的鑲嵌圖；利用鑲嵌圖中的公共視場重疊區(qū)域，計算出相異視場邊界像素集合， 并計算出公共視場重疊區(qū)域的像素點到相異視場邊界的距離；根據(jù)相異視場邊界距離計算 融合系數(shù)，建立公共視場區(qū)域的融合系數(shù)表；根據(jù)融合系數(shù)表對公共視場區(qū)域的圖像進(jìn)行 融合。實現(xiàn)了一種通用的對兩幅圖像公共視場重疊區(qū)域進(jìn)行全景圖像無縫融合的方法，也 實現(xiàn)了 n(n > 3)幅圖像的全景無縫融合方法。圖1示出了本發(fā)明實施例提供的全景圖像融合方法的實現(xiàn)流程，詳述如下。在步驟SlOl中，對待融合的兩幅圖像，計算它們到全景視場的投影變換，并通過 插值運算得到它們在全景視場中的對應(yīng)鑲嵌圖。在計算圖像投影變換前，需要得到投影變換矩陣。在只有兩幅圖像的全景圖像生 成中，可以將其中一幅圖像的視場作為基準(zhǔn)視場，然后計算另一幅圖像的視場對基準(zhǔn)視場 的投影變換矩陣；在兩幅以上圖像的全景生成中，需要將其中一幅圖像的視場確定為基準(zhǔn) 視場，然后計算其它圖像視場對基準(zhǔn)視場的投影變換矩陣。現(xiàn)有技術(shù)中，計算一幅圖像到基 準(zhǔn)視場的投影變換矩陣的方法有多種，其中基于尺度不變特征變換(SIFT)的特征匹配點 提取和匹配點對的RANSAC提純方法的投影矩陣計算方法是較佳的一種，它可以利用公共 視場重疊區(qū)域的圖像特征點對，自動計算出投影變換矩陣，此處不再一一列舉。本發(fā)明中所述的待融合圖像和融合后的全景圖像都是數(shù)字圖像，由于數(shù)字圖像具 有離散的特點，在圖像投影變換到全景基準(zhǔn)視場后得到的鑲嵌圖中，某些像素點可能是空 缺的，因此需要使用圖像插值方法補全那些空缺的像素點?，F(xiàn)有技術(shù)中，圖像的插值方法有 多種，其中的雙線性插值方法是較佳的一種，此處不再一一列舉。假設(shè)待融合的兩幅圖像為A、B,并且已經(jīng)得到了它們在全景視場中經(jīng)過投影變換 后的鑲嵌圖Ta(X)、Tb(X)，其中，X= (X，y)，是全景圖像視場中像素點的空間位置坐標(biāo)。同 時假設(shè)鑲嵌圖Ta(X)、Tb(X)的視場重疊區(qū)域是在空間位置上配準(zhǔn)的。在步驟S102中，利用SlOl中得到的鑲嵌圖Ta(X)、Tb(X)，計算區(qū)域掩模圖RaOO、 Rb⑴，公共重疊視場區(qū)域掩模圖Rab⑴，以及Rab⑴的相異視場邊界集合Eab⑴、Eba⑴。為了更清楚地說明，鑲嵌圖TA、TB，掩模圖Ra、Rb、Rab，以及邊界集合Eab、Eba的關(guān)系 請參閱圖2。具體詳述如下掩模圖Ra的計算如公式(1)，^(X) = I1' XGTa(1)
^ } [O, X^Ta公式⑴中，X = (x, y)，是全景視場中像素點的空間位置坐標(biāo)。掩模圖Rb的計算如公式(2)，
_ A(X) = K: χ ⑵掩模圖Rab的計算如公式(3)，RAB(X) = RA(X) · RB(X)(3)公式(3)中，·為乘積運算符。公式⑴中的Ra (X)、公式⑵中的RB(X)，以及公式(3)中的Rab⑴可以理解為集 合的指示函數(shù)，表示元素X是否屬于該集合。因此掩模圖Ra、Rb和Rab可以表示像素點的集 合。其中，Rab是Ra和Rb的交集。
9
邊界集合Eab、Eba的指示函數(shù)如公式⑷和公式(5) EAB (X)= Eba (X)=
1,
^ (χ) Π凡⑷
=1’
，且
0, otherwise
κ Σ
XteA/(X)
(4)
1,
^a(X) Π ^B (Χ,)
X4eW(X)
=1,
且
n tu .1< Σ & (XJ<9 (C)
,0, otherwisexteN(x)、)>在公式(4)和公式(5)中，Π是連乘積運算符，Σ是累加和運算符。N⑴是X的 以X為中心的3X3鄰域，是一個由9個元素組成的集合，請參閱圖3，其中X5 = X。Eab(X)、 Eba⑴分別是集合EAB、Eba的指示函數(shù)。在步驟S103中，計算公共重疊視場區(qū)域Rab中的像素點X到相異視場邊界集合Εαβ、 EBA的距離dAB(X)、dBA⑴。距離dAB(X)的具體計算如公式(6)，dBA(X)的具體計算如公式(7)dAR (X) = min {| | X-Xk |, Xk e EaJ ,XeR,
vAB
(6) dBA (X) = min {| | X-Xk |, Xk e EbJ , X e Ri
vAB
(7)公式(6)和公式(7)中，min{ · }是求集合中最小元素的運算，I |X_Xk| I是公共 重疊區(qū)域中的點X到相異邊界集合中的點Xk之間的距離運算。假設(shè)X=(x，y)，Xk= (xk, yk)，采用歐氏距離，則具體距離的計算如公式(8)
(8)在公式(6)和公式(7)中，CIab(X)和dBA(X)的實質(zhì)是一種點到集合之間的距離。 CIab⑴定義為點X到集合Eab中與其距離最近的點之間的距離；dBA⑴定義為點X到集合Eba 中與其距離最近的點之間的距離。在步驟S104中，利用S103中得到的距離CIab(X)和dBA(X)計算融合系數(shù)wAB (X)、 wBA (X)，如公式(9)，
w
AB
(x)、“衆(zhòng) 廣 ⑴，
(9)使用公式(6)、公式(7)和公式(9)，對公共重疊區(qū)域Rab中的每一個X點，計算融 合系數(shù)，將這些系數(shù)存儲并組織為一個區(qū)域Rab的融合系數(shù)表。在步驟S105中，根據(jù)融合系數(shù)表wAB⑴、《ΒΑ(Χ)、掩模圖RA、RjP Rab，以及全景鑲嵌 圖TA (X)、TB (X)，計算得到由圖像A、B融合后的全景圖Tp (X)。具體如公式(10)所示
Tp(X) =
Ux),
(X)-G(X) + (Χ)Λ(Χ), XeR
Xe Ra-Rb
AB
(10)
XeH
[(χ)’ 其中，公式(10)中，Ra-Rb是集合Ra與集合Rb的差集，Rb-Ra是集合Rb與集合Ra的差集。
10
所述公式(I)-(IO)的計算過程中，并未涉及圖像A、B的具體幾何形狀，也未涉及 Ra、Rb的具體幾何形狀，以及視場重疊區(qū)域Rab的具體幾何形狀。因此本發(fā)明所述的圖像融 合方法是一種與圖像具體幾何形狀，以及視場重疊區(qū)域具體幾何形狀無關(guān)的方法，是一種 通用的融合方法。如圖4所示，是四幅圖像進(jìn)行全景融合的視場關(guān)系示意圖，本發(fā)明所述全 景融合方法非常適合解決這類非規(guī)則幾何形狀的公共重疊區(qū)域的融合問題。本發(fā)明所述方法同樣適用于η幅(η彡3)圖像的全景融合問題。假設(shè)要將η幅圖 像融合為全景圖，且這些圖像到全景視場的投影變換參數(shù)已經(jīng)得到，則融合過程的流程圖 如圖5所示，具體步驟說明如下Stepl 將待融合的η幅圖像投影變換到全景視場中，并經(jīng)過適當(dāng)?shù)牟逯颠\算，得 到它們的鑲嵌圖Tl、Τ2.....Τη；St印2 計算這η幅鑲嵌圖的區(qū)域掩模圖Rl、R2.....Rn ；計算區(qū)域掩模圖之間的
視場空間相鄰關(guān)系。如果兩個掩模圖Ri、Rj存在有視場公共重疊區(qū)域，則它們的視場相鄰， 否則不相鄰；由視場相鄰關(guān)系，建立相鄰視場連通鏈表；Step3 根據(jù)相鄰視場連通鏈表對全景視場鑲嵌圖重新排序為Tc^ Tc2.....Tcn,并
采用順序迭代方式計算全景融合圖像。順序迭代如公式(11)Pk+1 = Pk Tck+1 , k = 1, 2, . . . , n-1(11)在公式(11)中，@是圖像融合運算符，Pk是由k個鑲嵌圖Tel、T。2.....T。k生成的
部分全景圖，特別P1 = Tca, Pn是最終的全景圖。在公式(11)中，生成部分全景圖像的每一 次順序迭代融合運算都是兩幅圖像之間的融合，采用本發(fā)明所述兩幅圖像的融合方法。本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述各實施例提供的方法中的全部或部分步 驟可以通過程序指令及相關(guān)的硬件來完成，所述的程序可以存儲于一計算機(jī)可讀取存儲介 質(zhì)中，該存儲介質(zhì)可以為ROM/RAM、磁盤、光盤等。圖6示出了本發(fā)明實施例提供的全景圖像融合系統(tǒng)的結(jié)構(gòu)原理，為了便于描述， 僅示出了與本實施例相關(guān)的部分。此全景圖像融合系統(tǒng)可以為內(nèi)置于全景圖像處理設(shè)備中 的軟件單元、硬件單元或軟硬件結(jié)合的單元。參照圖6，鑲嵌圖運算單元61用于對待融合的兩幅圖像進(jìn)行到全景視場的投影變 換處理，并通過插值運算得到待融合的兩幅圖像在全景視場中的對應(yīng)鑲嵌圖。全景圖像參 數(shù)運算單元62用于計算兩幅鑲嵌圖的區(qū)域掩模圖，并根據(jù)兩幅鑲嵌圖的區(qū)域掩模圖得到 兩幅鑲嵌圖的公共重疊視場區(qū)域以及公共重疊視場區(qū)域的相異視場邊界集合，并計算所述 公共重疊視場區(qū)域中的每一個像素點到所述相異視場邊界集合的距離，然后根據(jù)計算結(jié)果 進(jìn)一步計算得到所述公共重疊視場區(qū)域中的每一個像素點的融合系數(shù)。而全景圖像合成單 元63則用于根據(jù)公共重疊視場區(qū)域中的每一個像素點的融合系數(shù)、兩幅鑲嵌圖的區(qū)域掩 模圖、兩幅鑲嵌圖的公共重疊視場區(qū)域、兩幅鑲嵌圖得到兩幅圖像融合后的全景圖像。其中，全景圖像參數(shù)運算單元62計算得到兩幅鑲嵌圖的區(qū)域掩模圖RA、RB，以及計 算得到兩幅鑲嵌圖的公共重疊視場區(qū)域Rab，以及計算得到公共重疊視場區(qū)域的相異視場邊 界集合EAB、EBA，以及計算公共重疊視場區(qū)域中的像素點到相異視場邊界集合Eab、Eba的距離 (Iab⑴、dBA⑴，以及計算得到公共重疊區(qū)域Rab中的每一個X點的融合系數(shù)Wab⑴、wBA⑴的 原理如上文所述，全景圖像合成單元63得到兩幅圖像融合后的全景圖像的原理如上文所 述，此處不再一一贅述。
進(jìn)一步地，上述全景圖像融合系統(tǒng)也可擴(kuò)展適用于多于兩幅圖像的融合，此時鑲 嵌圖運算單元61用于將待融合的η幅圖像(n ^ 3)投影變換到全景視場中，并通過插值運
算得到η幅圖像在全景視場中的鑲嵌圖Τ1、Τ2.....Τη。全景圖像參數(shù)運算單元62用于計
算η幅鑲嵌圖Tl、Τ2.....Tn的區(qū)域掩模圖Rl、R2.....Rn。同時全景圖像融合系統(tǒng)還需
包括一相鄰視場連通鏈表建立單元(圖6中未示出)，用于根據(jù)全景圖像參數(shù)運算單元62
計算得到的區(qū)域掩模圖Rl、R2.....Rn，計算各區(qū)域掩模圖之間的視場空間相鄰關(guān)系，若其
中的兩個掩模圖之間存在有視場公共重疊區(qū)域，則判斷它們的視場相鄰并建立相鄰視場連 通鏈表，否則不相鄰。全景圖像合成單元63用于根據(jù)相鄰視場連通鏈表對全景視場鑲嵌圖 重新排序為Τ" Τ。2.....Tcn,并采用順序迭代方式計算全景融合圖像，如下Pk+1 =Pk Tck+,，k = 1，2，· · ·，n-1，其中，@是圖像融合運算符，Pk是由k個鑲嵌圖T。i、T。2.....T。k生成的部分全景圖，
P1 = T。1;pn是最終的全景圖。其中生成部分全景圖像的每一次順序迭代融合運算都是兩幅 圖像之間的融合，采用上文所述兩幅圖像的融合方法，不再贅述。本發(fā)明實施例通過將具有一定視場重合的兩幅圖像，通過投影變換計算出它們在 全景視場中的鑲嵌圖；利用鑲嵌圖中的公共視場重疊區(qū)域，計算出相異視場邊界像素集合， 并計算出公共視場重疊區(qū)域的像素點到相異視場邊界的距離；根據(jù)相異視場邊界距離計算 融合系數(shù)，建立公共視場區(qū)域的融合系數(shù)表；根據(jù)融合系數(shù)表對公共視場區(qū)域的圖像進(jìn)行 融合。實現(xiàn)了一種通用的對兩幅圖像公共視場重疊區(qū)域進(jìn)行全景圖像無縫融合的方法，解 決了已有的全景圖像融合方法無法很好地處理在公共重疊視場區(qū)域為任意形狀時的無縫 融合問題，也解決了以往由于不同形狀公共視場重疊區(qū)域的原因造成的融合算法不統(tǒng)一的 問題，本發(fā)明所述方法也適用于η幅(n ^ 3)圖像的全景圖像融合。以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精 神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
1權(quán)利要求
一種全景圖像融合方法，其特征在于，包括以下步驟步驟a1，對待融合的兩幅圖像進(jìn)行到全景視場的投影變換處理，并通過插值運算得到待融合的兩幅圖像在全景視場中的對應(yīng)鑲嵌圖；步驟a2，計算兩幅鑲嵌圖的區(qū)域掩模圖，并根據(jù)所述兩幅鑲嵌圖的區(qū)域掩模圖得到兩幅鑲嵌圖的公共重疊視場區(qū)域以及公共重疊視場區(qū)域的相異視場邊界集合；步驟a3，計算所述公共重疊視場區(qū)域中的每一個像素點到所述相異視場邊界集合的距離，并根據(jù)計算結(jié)果進(jìn)一步計算得到所述公共重疊視場區(qū)域中的每一個像素點的融合系數(shù)；步驟a4，根據(jù)所述公共重疊視場區(qū)域中的每一個像素點的融合系數(shù)、所述兩幅鑲嵌圖的區(qū)域掩模圖、所述兩幅鑲嵌圖的公共重疊視場區(qū)域、所述兩幅鑲嵌圖得到兩幅圖像融合后的全景圖像。
2.如權(quán)利要求1所述的方法，其特征在于，該步驟a2具體包括以下步驟步驟a21，計算兩幅鑲嵌圖的區(qū)域掩模圖Ra、Rb，^(X) = Ii' ^eJ4，I0' X^TA…[1, XeTflRb(χ) = |0 x-/，其中，x= (x，y)，是全景圖像視場中像素點的空間位置坐標(biāo)，τΑ、τΒ分別是待融合的兩幅圖像在全景視場中的鑲嵌圖；步驟a22，根據(jù)所述兩幅鑲嵌圖的區(qū)域掩模圖RA、RB得到兩幅鑲嵌圖的公共重疊視場區(qū) 域Rab，Rab⑴=RA(X) · RB(X),其中 為乘積運算符，Rab是R^PRb的交集； 步驟a23，進(jìn)一步得到公共重疊視場區(qū)域的相異視場邊界集合Ea^Eba:若EAB(X) = 0 ； 若A(X) Π 凡 ft=1,且 1< Z Α(Χα)<9，則 Eab⑴=1，否則=1,且1< Z 尺Α(Χ々)<9’則 EbaOO = 1，否則X*sA/(X)^λ(Χ) Π ^B (X,Eba(X) = 0 ；其中Π是連乘積運算符，Σ是累加和運算符。N(X)是X的以X為中心的3X3鄰域，是 一個由9個元素組成的集合，Eab(X)、Eba⑴分別是集合Effl、Eba的指示函數(shù)； 所述步驟a3具體包括以下步驟步驟a31，計算所述公共重疊視場區(qū)域中的像素點到所述相異視場邊界集合Ea^Eba的 距離屯(《、‘(《，如下CIab(X) =min{ |X_Xk| |，Xk e EAB}，X e Rab, dBA(X) =min{ |X_Xk| |，Xk e EBA}，X e Rab其中，min{·}是求集合中最小元素的運算，I IX-XkI I是計算公共重疊區(qū)域中的點X到 相異邊界集合中的點Xk之間的距離運算，假設(shè)X= (x，y)，Xk= (xk，yk)，采用歐氏距離，則具體距離的計算為||X-XJI=^(x-xk)2+(y-yk)2 ；步驟a32，根據(jù)步驟a31的計算結(jié)果，計算公共重疊區(qū)域Rab中的每一個X點的融合系Wl wab (χ) > wBA (χ)所述步驟a4具體為根據(jù)下述公式得到兩幅圖像融合后的全景圖像
3.如權(quán)利要求1所述的方法，其特征在于，若待融合的圖像數(shù)量多于兩幅，則所述方法 在步驟al之前還包括以下步驟步驟aOl，將待融合的η幅圖像投影變換到全景視場中，并通過插值運算得到所述η幅 圖像在全景視場中的對應(yīng)鑲嵌圖T1、T2.....Tn ；步驟a02，計算所述η幅鑲嵌圖T1、T2.....Tn的區(qū)域掩模圖R1、R2.....Rn ；計算各區(qū)域掩模圖之間的視場空間相鄰關(guān)系，若其中的兩個掩模圖之間存在有視場公共重疊區(qū)域， 則判斷它們的視場相鄰并建立相鄰視場連通鏈表，否則不相鄰；在步驟a4之后，所述方法還包括以下步驟步驟a5，根據(jù)相鄰視場連通鏈表對全景視場鑲嵌圖重新排序為T。i、T。2.....T。n，并采用順序迭代方式計算全景融合圖像，如下
4.一種全景圖像融合系統(tǒng)，其特征在于，包括鑲嵌圖運算單元，用于對待融合的兩幅圖像進(jìn)行到全景視場的投影變換處理，并通過 插值運算得到待融合的兩幅圖像在全景視場中的對應(yīng)鑲嵌圖；全景圖像參數(shù)運算單元，用于計算兩幅鑲嵌圖的區(qū)域掩模圖，并根據(jù)所述兩幅鑲嵌圖 的區(qū)域掩模圖得到兩幅鑲嵌圖的公共重疊視場區(qū)域以及公共重疊視場區(qū)域的相異視場邊 界集合；還用于計算所述公共重疊視場區(qū)域中的每一個像素點到所述相異視場邊界集合的 距離，并根據(jù)計算結(jié)果進(jìn)一步計算得到所述公共重疊視場區(qū)域中的每一個像素點的融合系 數(shù)；全景圖像合成單元，用于根據(jù)所述公共重疊視場區(qū)域中的每一個像素點的融合系數(shù)、 所述兩幅鑲嵌圖的區(qū)域掩模圖、所述兩幅鑲嵌圖的公共重疊視場區(qū)域、所述兩幅鑲嵌圖得 到兩幅圖像融合后的全景圖像。
5.如權(quán)利要求4所述的系統(tǒng)，其特征在于，所述全景圖像參數(shù)運算單元具體根據(jù)如下 公式計算兩幅鑲嵌圖的區(qū)域掩模圖Ra、Rb、以及所述兩幅鑲嵌圖的區(qū)域掩模圖Ra、Rb得到兩 幅鑲嵌圖的公共重疊視場區(qū)域Rab，“Y、-/1，Xe7^ η m-J1' Xer RAB(X) = RA(X) · RB(X)其中，X = (χ, y)，是全景圖像視場中像素點的空間位置坐標(biāo)，TA,Tb分別是待融合的兩 幅圖像在全景視場中的鑲嵌圖，·為乘積運算符，Rab是Ra和Rb的交集；所述全景圖像參數(shù)運算單元具體根據(jù)如下公式計算得到公共重疊視場區(qū)域的相異視 場邊界集合Eab、Eba 若 A(X) Π Ra(^)_^kSN(X)Eab(X) = 0 ；若 A(X) Π ^B (χ,)_、e"(X)Eba(X) = 0 ；其中，Π是連乘積運算符，Σ是累加和運算符。N(X)是X的以X為中心的3X3鄰域，是 一個由9個元素組成的集合，Eab(X)、Eba⑴分別是集合Effl、Eba的指示函數(shù)；所述全景圖像參數(shù)運算單元具體根據(jù)如下公式計算所述公共重疊視場區(qū)域中的像素 點到所述相異視場邊界集合Eab、Eba的距離dAB⑴、dBA⑴、以及公共重疊區(qū)域Rab中的每一 個X點的融合系數(shù)wAB⑴、wBA⑴CIab(X) = min{ X-XkI Xk e EAB}，X e Rab，dBA(X) = min{ |X_Xk| |，Xk e EbJ，X e Rab^b(X)= de^ 'Wba(X) = l-wAB(X) dAB(X) + dBA(X)其中，min{·}是求集合中最小元素的運算，I IX-Xj I是計算公共重疊區(qū)域中的點X到 相異邊界集合中的點Xk之間的距離運算，假設(shè)X= (x，y)，Xk= (xk，yk)，采用歐氏距離，則具體距離的計算為||χU + h)2 ；所述全景圖像合成單元根據(jù)下述公式得到兩幅圖像融合后的全景圖像V4(X),X^Ra-RbTp (X) = Wab (X) · Ta (X) + V^ (X)-Tb(X), Xe Rabr“x),XeH其中Ra-Rb是集合Ra與集合Rb的差集，Rb-Ra是集合Rb與集合Ra的差集。
6.如權(quán)利要求4所述的系統(tǒng)，其特征在于，所述鑲嵌圖運算單元用于將待融合的η幅圖 像投影變換到全景視場中，并通過插值運算得到所述η幅圖像在全景視場中的鑲嵌圖Tl、Τ2.....Tn ；所述全景圖像參數(shù)運算單元用于計算所述η幅鑲嵌圖T1、T2.....Tn的區(qū)域掩模圖 R1、R2、· · ·、Rn ； 所述系統(tǒng)還包括相鄰視場連通鏈表建立單元，用于根據(jù)所述全景圖像參數(shù)運算單元計算得到的區(qū)域掩=1,且1< Σ 尺s(Xj<9，則 EabOO = 1，否則=1,且1< J] & (Xit) <9，則 EbaOO = 1，否則Xt^(X)模圖Rl、R2.....Rn，計算各區(qū)域掩模圖之間的視場空間相鄰關(guān)系，若其中的兩個掩模圖之間存在有視場公共重疊區(qū)域，則判斷它們的視場相鄰并建立相鄰視場連通鏈表，否則不相 鄰；所述全景圖像合成單元還用于根據(jù)相鄰視場連通鏈表對全景視場鑲嵌圖重新排序為 Tcl, Tc2.....Tcn,并采用順序迭代方式計算全景融合圖像，如下Pk+i = Pk Tck+1，k= 1，2，···，n-l其中，θ是圖像融合運算符，Pk是由k個鑲嵌圖Τ?！?Tc2.....Tck生成的部分全景圖，P1=Tcl, Pn是最終的全景圖。
7. —種全景圖像處理設(shè)備，其特征在于，包括如權(quán)利要求4至6任一項所述的全景圖像 融合系統(tǒng)。
全文摘要
本發(fā)明適用于圖像處理技術(shù)領(lǐng)域，提供了一種全景圖像融合方法，包括以下步驟對具有一定視場重合的兩幅圖像A、B，計算它們對全景視場的投影變換參數(shù)，并將它們投影變換到統(tǒng)一的全景視場中；計算這兩幅圖像在全景視場中的公共視場重疊區(qū)域，計算公共視場重疊區(qū)域的相異視場邊界；計算公共視場重疊區(qū)域的像素點到相異視場邊界的距離；根據(jù)相異視場邊界距離計算融合系數(shù)；根據(jù)融合系數(shù)表對公共視場區(qū)域的圖像進(jìn)行融合。本發(fā)明解決了已有的全景圖像融合方法無法很好地處理在公共重疊視場區(qū)域為任意形狀時的無縫融合問題，也解決了已有的融合算法由于公共視場重疊區(qū)域的形狀不同造成的融合算法不統(tǒng)一的問題。
文檔編號G03B37/04GK101951487SQ20101025806
公開日2011年1月19日 申請日期2010年8月19日 優(yōu)先權(quán)日2010年8月19日
發(fā)明者楊烜, 裴繼紅, 謝維信 申請人:深圳大學(xué)