專利名稱：生成全景圖像的設備和方法
技術領域：
本發(fā)明涉及計算機圖像處理技術，具體涉及一種生成全景圖像的 設備和方法，尤其是一種產(chǎn)生平面主導的場景的多視點的全景圖像的 設備和方法。
背景技術：
近年來，圖像縫合技術無論在日常生活中還是商業(yè)中都得到了越 來越多的應用。例如，用戶可以用相機拍攝下某一位置周圍的局部的 圖像，然后利用圖像縫合技術將這些局部的圖像縫合起來，形成該位 置的全景圖像?；蛘?，用手機上的攝像頭拍攝下多幅小視場的畫面， 然后利用圖像縫合技術將這些圖像縫合在一起，形成大視場的畫面。
例如，非專利文獻1 (M. Shi, and J.Y. Zheng， A Slit Scanning Depth of Route Panorama from Stationary Blur， Proc. of CVPR， Vol.l， pp. 1047-1054,2005)提出以低速用高幀頻的相機掃描場景，從每一幀中 提取窄條，然后通過將這些窄條簡單地縫合在一起來形成最終的全景 圖像。另外，還可以對窄條寬度進行調(diào)整，以部分地對付場景結構的 深度變化帶來的不利影響。
非專利文獻2(A. Agarwalal et al., Photographing Long Scenes with Multi-Viewpoint Panoramas, Sigraph06, pp. 853-861， 2006)提出在像素 水平上，而并非在窄條水平上對圖像進行縫合。例如，通過指定一些 在最終的多視點全景圖像中要體現(xiàn)出的特征，利用馬爾可夫隨機場最 優(yōu)化技術來基于這些特征從任意形狀的圖像區(qū)域形成全景圖像。
非專利文獻3 (S. Kang, R. Szeliski， and M. Uyttendaele， Seamless Stitching using Multi-Perspective Plane Sweep, MSR-TR-2004-48)提出 了基于場景結構來縫合圖像。例如，將一對圖像中的重疊區(qū)域分割成 子區(qū)域，每個子區(qū)域被分配了各自的虛擬相機視角，然后針對每個子區(qū)域使用平面掃描算法(plane sweep algorithm)來獲得相似景深的映 射圖，使得最終產(chǎn)生的全景圖像的畫面表現(xiàn)是一致的。
但是，上述非專利文獻l提出的方法存在的問題是，構成的全景 圖像隨著景深的變化產(chǎn)生了畸變，雖然通過調(diào)整窄條的寬度可以消除 一些畸變，但是在景深沿著圖像的垂直軸變化的情況下，產(chǎn)生的景深 畸變則很難消除。另外，對于普通的用戶來說，獲得高速的視頻攝像 機也是很困難的。
另外，上述非專利文獻2'提出的方法存在的問題是，該方法只能 處理大致上平坦的場景，而且要由用戶自己來確定畫面中的平面場景。 在非專利文獻2中，為了針對全景圖像中的每個像素選擇合適的視點， 需要很強的運算能力來執(zhí)行最優(yōu)化操作。
另外，上述非專利文獻3提出的方法存在的問題是，相鄰圖像中 的直線在重疊區(qū)變成了曲線，為此，該方法只能在非重疊區(qū)對圖像進 行拼接。
因此，由于無法釆集到任一場景圖像的精確景深數(shù)據(jù)，尤其在以 不同的角度拍攝的多個重疊物體的情況下，很難將圖像精確地縫合在 一起。如何在沒有諸如景裸和場景結構之類先驗知識的情況下，來縫 合多幅圖像以形成全景圖像，就成了一個非常困難的問題。

發(fā)明內(nèi)容
鑒于上述問題，完成了本發(fā)明。本發(fā)明的目的是提供一種生成全 景圖像的設備和方法，能夠根據(jù)場景中的主導平面縫合圖像來形成平 面主導場景的多視點以及高質(zhì)量的全景圖像。
在本發(fā)明的一個方面，提出了一種產(chǎn)生全景圖像的方法，包括 估計每個均包含至少一個平面的輸入圖像中的主導平面；基于輸入圖 像關于主導平面的位置關系將輸入圖像作變形處理，使輸入圖像之間 部分重疊；以及融合輸入圖像，產(chǎn)生全景圖像。
在本發(fā)明的另一方面，提出了一種產(chǎn)生全景圖像的設備，包括 估計裝置，用于估計每個均包含至少一個平面的輸入圖像中的主導平 面；變形裝置，基于輸入圖像關于主導平面的位置關系將輸入圖像變形，以使輸入圖像之間部分重疊；以及融合裝置，融合所述輸入圖像， 以產(chǎn)生全景圖像。
利用本發(fā)明的上述設備和方法，可以在不需要先驗知識的情況下， 根據(jù)場景中的主導平面來縫合圖像，進而形成多視點的全景圖像。
另外，本發(fā)明通過不同圖像中相應特征的聚類來確定不同的平面， 從而解決了要估計景深的問題，并且可以估計不同平面對象的運動。
另外，基于場景圖像中的平面結構來選擇拼接縫，而非像傳統(tǒng)技 術那樣將拼接縫選擇為直線，進一步提高了全景圖像的縫合質(zhì)量。


從下面結合附圖的詳細描述中，本發(fā)明的上述特征和優(yōu)點將更明 顯，其中
圖1示出了根據(jù)本發(fā)明實施例的設備的結構框圖； 圖2是說明如圖1所示的對應關系確定單元的操作過程的示意圖； 圖3是說明如圖l所示的融合單元的操作過程的示意圖； 圖4 (a)是說明'鬼影'現(xiàn)象的示意圖4 (b)是用本發(fā)明的方法消餘了 ^鬼影'現(xiàn)象的示意圖； 圖5是說明如何選擇縫合線的示意圖； 圖6是本發(fā)明的方法的流程圖。
具體實施例方式
下面，參考附圖詳細說明本發(fā)明的優(yōu)選實施方式。 圖1示出了本發(fā)明實施例的設備的結構框圖。如圖1所示，根據(jù) 本發(fā)明實施例的設備用于從輸入的多幅圖像產(chǎn)生全景圖像，例如主要 由建筑物的表面之類的表面構成的場景，街景或風景區(qū)景色等，該設 備包括對應關系確定單元IO，用于從輸入的兩幅圖像中找到二者之 間的對應關系，例如圖像I!上的某個區(qū)域?qū)嶋H上對應于圖像l2上的某 個區(qū)域，也就是說兩圖像中有部分是可以重疊的；平面結構估計單元 20，利用參數(shù)變換算法，例如8參數(shù)變換算法或者2參數(shù)變換算法， 根據(jù)所述對應關系確定單元10所確定的圖像Ii和圖像12之間的對應關系，基于圖像的聚類特征來估計圖像中平面的個數(shù)和位置；主導平 面提取單元30，用于從圖像所包含的多個平面中找到具有最大的視覺 沖擊的平面，作為主導平面，該主導平面是根據(jù)圖像的特征進行選擇 的，具體選擇過程以下詳細描述；主導平面運動估計單元40，利用主 導平面的參數(shù)變換來估計所確定的主導平面在不同圖像之間的運動， 在本實施例中采用8參數(shù)變換來實現(xiàn)；變形單元50，用于通過插值方 法對圖像I,和圖像12的主導平面進行插值，以便將圖像L或者圖像12 變形成可彼此融合，并且使得二者部分重合；融合單元60，從圖像It 和圖像l2的重疊區(qū)域中選擇出適當?shù)膮^(qū)域，作為融合區(qū)，并且將圖像 I、和圖像12在融合區(qū)中的對應像素融合，從而將圖像Ii和圖像12縫合 在一起；以及后處理單元70，用于對縫合后的圖像進行均衡、對象移 除和紋理修復之類的操作，進而輸出最終的全景圖像。
這樣，針對其他的圖像進行同樣的操作，可以從相關聯(lián)的多幅圖 像創(chuàng)建全景圖像。下面結合附圖2 5詳細說明本發(fā)明的設備所包含的 各個單元的具體處理過程。
圖2是說明如圖1所示的對應關系確定單元的確定輸入圖像之間 的對應關系過程的示意圖。如圖2所示，對應關系確定單元IO對輸入 的圖像Ii和圖像12進行特征檢測，例如檢測圖像中的SIFT或者Harris Comer,然后在二者之間進行特征匹配，從而確定圖像^中的特征與 圖像12中的特征之間的對應關系。例如圖2中所示的區(qū)域P1中的若 干個特征分別對應于圖像12中區(qū)域Pl，的相應特征，則可以建立起區(qū) 域P1和區(qū)域P1'之間的對應關系。同理，圖像Ii中的區(qū)域P2的若干 個特征與圖像12中區(qū)域P2'中的特征之間存在匹配關系，則建立起區(qū) 域P2和區(qū)域P2'的對應關系。
在建立起對應關系之后，平面結構估計單元20對圖像I!和圖像
12中的平面結構進行估計，以便確定圖像Ii和圖像l2中的平面?zhèn)€數(shù)和
位置。不同視點和視角拍攝對平面進行拍攝所獲得圖像可以由非專利 文獻4 (R. Szeliski, 'Image Mosaicing for Tele-Reality Applications, Digital Equipment Corporation Cambridge Research Lab, Technical Report CRL-94-2, 1994)所描述的8參數(shù)變換來建立聯(lián)系。該非專利文獻4通過引用被合并于此。
假設圖像Ii中的像素力)在圖像12中的對應像素是"2，
》)，則下面的等式成立
& ^h,^,a +挑2 a =r (Xi);;i)- +附"+附5…(1)
t ^:^ +w7y+1 w^x+w7>^ +1
其中m。 m7是8個參數(shù)。由于存在8個參數(shù)，因此用4個非退化的對 應對(corresponding pair)就可以完全計算出參數(shù)矢量[w。， Wi， m2, m3, m4, w5,m6,m7]，，它對應于8維空間中.的一個點。
然后，在平面結構估計單元20中，利用聚類的方法，例如非專利 文獻5( A.K. Jain， M.N. Murty, and P丄Fly叫Data Clustering: A Review, ACM Computing Surveys, Vol. 31， No. 3， September 1999)所描述的凝 聚聚類方法，來確定場景圖像中所包含的平面的個數(shù)，它等于聚類的 個數(shù)，而8參 數(shù)可以用來描述每一個平面。該非專利文獻5通過引用 被合并于此。
換言之，通過聚類算法，將圖像中的特征聚類之后，通過判斷圖 像中聚類的個數(shù)就可以判斷出圖像中包含的平面的數(shù)目，并且通過前 面提到的8參數(shù)來描述每個平面，它可以通過聚類的均值來估計。
如上所述，主導平面提取單元30用來提取平面結構估計單元20 所估計出的平面中的主導平面，也就是這些平面中最具有視覺沖擊的 平面。例如，將與平面結構估計單元20所估計圖像中的最大的那個聚 類所對應的平面選擇為主導平面。但是，由于未考慮到圖像覆蓋面積 的大小，這種方法可能會不準確。為了進一步提高主導平面的判斷準 確度，可以從這些平面中尋找其8參數(shù)變換在圖像^和圖像l2之間具 有最小強度差的那個平面。上述的強度差通常用均方差來衡量-
ms￡= Z(/,(7;"力，7;"力)—/2"力)2 …(2)
當然，也可以對覆蓋面積、聚類尺寸和MSE進行加權求和的方式來 確定哪個平面是主導平面。這樣，可以對輸入圖像h和圖像l2分別確 定兩圖中的主導平面，例如圖像L中的區(qū)域P1和圖像I2中的區(qū)域P2。 然后，主導平面運動提取單元40通過對圖像L和圖像12中的主導平面進行8參數(shù)變換來確定主導平面在兩幅圖像之間的運動量，也 就是確定圖像L中的主導平面和圖像12中的主導平面之間的相對位 置。
接下來，變形單元50根據(jù)所確定的圖像L和圖像12的主導平面
之間的位置關系，利用預定的插值算法來對圖像Ii和/或圖像12進行變
形(waip)，以便將二者部分重疊，如圖3所示。
如上所述，融合單元60對圖像^和圖像12之間的重疊區(qū)域中選 定的融合區(qū)域進行融合，而非對整個重疊區(qū)進行融合，以便保證圖像 L和圖像l2之間的平滑過渡。在融合區(qū)之外，最終合成圖像的內(nèi)容分 別來自圖像I！和圖像12。圖3示出了已經(jīng)通過8參數(shù)變換變形后的一 副圖像與另一幅圖像之間的重疊區(qū)和融合區(qū)。
如圖3所示，圖像I,和圖像l2在水平方向上有平移，并且在垂直
方向上也有平移，因此形成了由陰影部分表示的矩形重疊區(qū)域。在重 疊區(qū)域中，可以將重疊區(qū)中間線兩側的區(qū)域作為融合區(qū)，也可以按照 某種準則選擇其他部分的區(qū)域作為融合區(qū)，例如從圖3中可以看出， 融合區(qū)域的中間線偏離了重疊區(qū)域的中間線一段距離。
如上所述，選擇融合區(qū)的一個方法是將重疊區(qū)的中間線兩側的區(qū) 域作為融合區(qū)，這是因為在每幅圖像的中間區(qū)域由相機的透鏡所產(chǎn)生 的畸變是最小的。這種方法對于縫合主導平面所占據(jù)的區(qū)域是非常有 利的。但是對于由其他平面所占據(jù)的區(qū)域的縫合，將會產(chǎn)生如圖4 (a) 所示的'鬼影'現(xiàn)象。
為了消除'鬼影'現(xiàn)象，就需要尋找出最優(yōu)的融合區(qū)，也就是兩幅 圖像的重合區(qū)中相互之間具有最小強度差的區(qū)域，來進行圖像的縫合。 因此，通過使下式最小化來求出最優(yōu)融合區(qū)
S(/1(x1+a，;;1+/ ) —/2(x2+aj2+/ ))2 ... (3)
其中L和12是兩幅圖像中對應像素的強度，cx是從重疊區(qū)域的中間線 算起的水平位移，P是從底邊算起的垂直位移，Q表示重疊區(qū)，Bl和 B2分別表示圖像^和圖像l2的融合區(qū)。圖4 (b)示出了基于最優(yōu)融 合區(qū)進行圖像縫合后得到的結果，從圖4 (b)中可以看出，'鬼影'現(xiàn)象被消除了，圖像質(zhì)量明顯提高。
作為另一選擇，縫合線并非必須是如圖3所示的直線，而是可以 是曲折線。例如，利用平面結構估計單元20所得到的結果，可以得知
縫合線必定橫穿主導平面而不會橫穿其他的平面。如圖5所示，縫合
線穿過了圖像L和圖像l2的主導平面Pl和P1'，而繞開了其他的平面
P2、 P2'、 P3和P3'。這樣，既能夠使得主導平面的縫合過程中不會產(chǎn) 生^鬼影'現(xiàn)象，也將縫合操作對其他平面的影響降低到最低。
在將圖像I,和圖像12進行融合之后，后處理器70對縫合后的圖 像進行均衡、對象移除和紋理修復之類的操作，進而輸出最終的全景 圖像。
雖然上面以8參數(shù)變換為例，對本發(fā)明的實施例做了描述，但是 也可以利用2參數(shù)變換來描述攝像機的運動，尤其在攝像機焦距固定， 垂直于所拍攝的場景并且隨著運動方向運動時。2參數(shù)變換包括水平 和垂直兩個方向的位移，可以表示如下
<formula>formula see original document page 11</formula> ... (4)
其中Ax表示由于攝像機的移動引起的主導平面在水平方向的位移， 而A少表示由于攝像機的抖動引起的主導平面在垂直方向的位移。在 這種情況下，上述提及的聚類算法可以用來分析二維空間中的平面結 構，這可以在保持圖像質(zhì)量的情況下大大提高處理效率。
下面對照附圖6說明根據(jù)本發(fā)明實施方式的方法的流程圖。 如圖6所示，在步驟S601，對應關系確定單元IO對輸入的圖像 L和圖像12進行特征檢測，例如檢測圖像中的SIFT或者Harris Corner, 然后在二者之間進行特征匹配，從而確定圖像h中的特征與圖像12中 的特征之間的對應關系。
在步驟S602，在建立起對應關系之后，平面結構估計單元20對 圖像L和圖像12中的平面結構進行估計，以便確定圖像L和圖像12 中的平面?zhèn)€數(shù)和位置。不同視點和視角拍攝對平面進行拍攝所獲得圖 像可以由非專利文獻4 (R. Szeliski， Image Mosaicing for Tele-Reality Applications, Digital Equipment Corporation Cambridge Research Lab， Technical Report CRL-94-2， 1994)所描述的8參數(shù)變換來建立聯(lián)系。該非專利文獻4通過引用被合并于此。
在步驟S603，主導平面提取單元30用來提取平面結構估計單元 20所估計出的平面中的主導平面，也就是這些平面中最具有視覺沖擊 的平面。例如，將與平面結構估計單元20所估計圖像中的最大的那個 聚類所對應的平面選擇為主導平面。
在步驟S604,主導平面運動提取單元40通過對圖像I！和圖像12 中的主導平面進行8參數(shù)變換來確定主導平面在兩幅圖像之間的運動 量，也就是確定圖像I,中的主導平面和圖像12中的主導平面之間的相 對位置。
在步驟S605，變形單元50根據(jù)所確定的圖像I,和圖像12的主導 平面之間的位置關系，利用預定的插值算法來對圖像1和/或圖像12 進行變形(warp)，以便將二者部分重疊，如圖3所示。
在步驟S606，融合單元60對圖像I,和圖像12之間的重疊區(qū)域中 選定的融合區(qū)域進行融合，而非對整個重疊區(qū)進行融合，以便保證圖 像li和圖像l2之間的平滑過渡。在融合區(qū)之外，最終合成圖像的內(nèi)容 分別來自圖像I,和圖像12。圖3示出了已經(jīng)通過8參數(shù)變換變形后的 一副圖像與另一幅圖像之間的重疊區(qū)和融合區(qū)。
在步驟S607，在將圖像I!和圖像12進行融合之后，后處理器70 對縫合后的圖像進行均衡、對象移除和紋理修復之類的操作，進而輸 出最終的全景圖像。
上面的描述僅用于實現(xiàn)本發(fā)明的實施方式，本領域的技術人員應 該理解，在不脫離本發(fā)明的范圍的任何修改或局部替換，均應該屬于 本發(fā)明的權利要求來限定的范圍，因此，本發(fā)祖的保護范圍應該以權 利要求書的保護范圍為準。
權利要求
1、一種產(chǎn)生全景圖像的方法，包括估計每個均包含至少一個平面的輸入圖像中的主導平面；基于輸入圖像關于主導平面的位置關系將輸入圖像作變形處理，使輸入圖像之間部分重疊；以及融合輸入圖像，產(chǎn)生全景圖像。
2、 如權利要求1所述的方法，其中所述融合步驟包括 由所述輸入圖像之間的重疊部分中選擇縫合區(qū)； 由縫合區(qū)將具有重疊部分的兩輸入圖像融合。
3、 如權利要求2所述的方法，其中所述縫合區(qū)為僅僅橫穿所述至少一個平面中的所述主導平面的縫合線。
4、 如權利要求2所述的方法，其中所述縫合區(qū)是兩輸入圖像的重 疊部分的垂直中間線。
5、 如權利要求2所述的方法，其中所述縫合區(qū)是融合區(qū)的中間線， 所述融合區(qū)是所述重疊區(qū)中輸入圖像之間具有最小強度差的區(qū)域。
6、 如權利要求l所述的方法，其中所述估計步驟包括-檢測確定輸入圖像之間的匹配對應關系； 應用聚類算法估計輸入圖像中的平面結構；根據(jù)圖像中的特征確定所輸入圖像的平面結構中的主導平面；以及估計輸入圖像之間的運動，以確定輸入圖像關于主導平面的位置 關系。
7、 如權利要求6所述的方法，其中確定主導平面的步驟是 根據(jù)聚類算法所估計的圖像中的每個平面具有的聚類確定圖像聚類最大的平面為主導平面。
8、 如權利要求7所述的方法，其中在確定主導平面時，將圖像聚 類與圖像特征中的圖像覆蓋面積、聚類尺寸以及MSE加權求和確定。
9、 如權利要求1所述的方法，其中基于輸入圖像與主導平面之間的位置關系將輸入圖像作變形處理，使輸入圖像之間部分重疊的步驟 之前包括對輸入圖像中的主導平面進行參數(shù)變換確定主導平面在待縫合圖 像之間的運動量，確定待縫合圖像的主導平面之間的相對位置。
10、 如權利要求7或8所述的方法，其中所述主導平面在輸入圖 像之間具有最小的強度差。
11、 如權利要求9所述的方法，其中所述參數(shù)變換是8參數(shù)或2 參數(shù)變換。
12、 一種產(chǎn)生全景圖像的設備，包括估計裝置，用于估計每個均包含至少一個平面的輸入圖像中的主導平面；變形裝置，基于輸入圖像關于主導平面的位置關系將輸入圖像變 形，以使輸入圖像之間部分重疊；以及融合裝置，融合所述輸入圖像，以產(chǎn)生全景圖像。
13、 如權利要求12所述的設備，其中所述融合裝置在輸入圖像的 重疊區(qū)域中選擇縫合區(qū)，并且沿著縫合區(qū)將所述輸入圖像融合。
14、 如權利要求13所述的設備，其中所述縫合區(qū)為僅僅橫穿所述 至少一個平面中的所述主導平面的縫合線。
15、 如權利要求13所述的設備，其中所述縫合區(qū)是輸入圖像的重 疊區(qū)的垂直中間線。
16、 如權利要求13所述的設備，其中所述縫合區(qū)是融合區(qū)的中間 線，所述融合區(qū)是所述重疊區(qū)中輸入圖像之間具有最小強度差的區(qū)域。
17、 如權利要求12所述的設備，其中所述估計裝置包括 對應關系確定單元，用于檢測確定輸入圖像之間的匹配對應關系； 平面結構估計單元，用于應用聚類算法估計輸入圖像中的平面結構；主導平面提取單元，用于根據(jù)圖像中的特征確定所輸入圖像的平 面結構中的主導平面；以及主導平面運動估計單元，用于估計輸入圖像之間的運動，以確定 輸入圖像關于主導平面的位置關系。
18、 如權利要求17所述的設備，其中所述主導平面提取單元根據(jù) 聚類算法所估計的圖像中的每個平面具有的聚類確定圖像聚類最大的 平面，作為所述主導平面。
19、 如權利要求18所述的設備，其中所述主導平面提取單元將圖 像聚類與圖像特征中的圖像覆蓋面積、聚類尺寸以及MSE加權求和 來確定所述主導平面，作為所述主導平面。
20、 如權利要求12所述的設備，其中所述主導平面運動估計單元 對輸入圖像中的主導平面進行參數(shù)變換確定主導平面在待縫合圖像之 間的運動量，確定待縫合圖像關于主導平面的相對位置。
21、 如權利要求18或19所述的設備，其中所述主導平面在輸入 圖像之間具有最小的強度差。
22、 如權利要求21所述的設備，其中所述參數(shù)變換是8參數(shù)或2 參數(shù)變換。
全文摘要
公開了一種產(chǎn)生全景圖像的方法和設備，用于產(chǎn)生平面主導的場景的多視點全景圖像。該方法包括估計每個均包含至少一個平面的輸入圖像中的主導平面；基于輸入圖像關于主導平面的位置關系將輸入圖像作變形處理，使輸入圖像之間部分重疊；以及融合輸入圖像，產(chǎn)生全景圖像。利用本發(fā)明的上述設備和方法，可以在不需要先驗知識的情況下，根據(jù)場景中的主導平面來縫合圖像，進而形成多視點的全景圖像。
文檔編號G06T5/50GK101414379SQ200710182320
公開日2009年4月22日 申請日期2007年10月17日 優(yōu)先權日2007年10月17日
發(fā)明者徐成華, 嘉 王, 王建宇, 謝杰成 申請人:日電(中國)有限公司