專利名稱：用于確定攝像機相對于真實環(huán)境的至少一個對象的姿態(tài)的方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及用于確定攝像機相對于真實環(huán)境的至少一個對象的姿態(tài)的方法和系統(tǒng)，用于創(chuàng)作中，例如，用于地球空間數(shù)據(jù)庫或增強的現(xiàn)實應用，其中由拍攝真實環(huán)境真實對象的攝像機產(chǎn)生至少一幅或兩幅圖像。根據(jù)所確定的攝像機姿態(tài)，可以根據(jù)創(chuàng)作或增強的現(xiàn)實技術，利用虛擬對象增強一幅或多幅圖像。
背景技術：
已知有這樣的應用，其利用所謂的增強現(xiàn)實(AR)技術以虛擬對象增強至少在攝像機上產(chǎn)生的圖像。在這樣的應用中，耦合到諸如微處理器的處理單元的攝像機拍攝真實環(huán)境的畫面，其中在顯示屏上顯示真實環(huán)境，除真實環(huán)境之外還可以顯示虛擬對象，從而利用顯示屏上任何種類的虛擬對象增強顯示屏上顯示的真實環(huán)境。在這樣的應用中，為了利用虛擬對象增強圖像，需要微處理器確定攝像機相對于真實環(huán)境至少一個對象的位置和取向(所謂的姿態(tài))，以便微處理器正確地利用任何虛擬對象增強拍攝的圖像。在這種語境中，利用任何虛擬對象正確地增強拍攝圖像意味著，顯示虛擬對象，使得虛擬對象以透視上和尺度上正確的方式擬合到圖像景色中。用于確定攝像機姿態(tài)的一種已知方法利用的是攝像機拍攝的真實環(huán)境對應部分的虛擬參考模型，其中利用開始就知道的姿態(tài)近似值將虛擬參考模型投射到圖像中并與真實環(huán)境的對應部分重疊。然后，圖像處理跟蹤算法使用虛擬參考模型判斷攝像機相對于真實環(huán)境的姿態(tài)，例如，通過特征檢測和參考模型和真實環(huán)境對應部分之間的比較。用于確定攝像機姿態(tài)的另一種已知方法使用了放入真實環(huán)境中并在拍攝圖像時被攝像機拍攝的標記。然后，圖像處理跟蹤算法使用該標記，尤其是利用已知的圖像處理方法分析圖像中的標記，以確定攝像機相對于真實環(huán)境的姿態(tài)。上述方法的缺點是，必須首先構思并存儲虛擬參考模型，這非常消耗時間和資源， 如果能夠在任何真實環(huán)境中自發(fā)地使用AR技術，這幾乎是不可能的。對于使用標記，用戶必須在拍攝圖像之前在起始步驟中在真實環(huán)境中放置標記，這也非常耗時且麻煩。具體而言，出于這些原因，幾乎不能將這些方法用于任何消費產(chǎn)品，例如具有集成攝像機和顯示器的移動電話或其他移動裝置。此外，從現(xiàn)有技術知道有所謂的來自運動和同時定位和跟蹤(SLAM)方法的結構。所有這些方法都用于確定攝像機相對于真實世界或真實世界一部分的位置和取向 (姿態(tài))。如果預先沒有可用的信息，在一些情況下，不可能確定攝像機相對于真實世界或真實世界一部分的絕對姿態(tài)，而僅確定攝像機姿態(tài)從特定時間點開始的變化。在上述應用中，可以使用SLAM方法得到距平點的取向，但缺點是不能確保識別出地平面或某個其他平面。此外，利用這樣的方法，通過沿例如IOcm距離平移攝像機并向系統(tǒng)傳送所涵蓋的距離，僅可以得到初始比例尺。此外，SLAM方法需要在不同攝像機姿態(tài)下拍攝的至少兩幅圖像(所謂的幀)以及校準的攝像機。在如下文獻中披露了另一種已知的技術Gerhard Reitmayr, Tom W. Drummond, “Initialisation for Visual Tracking in Urban Environments，，，Engineering Department Cambridge, University Cambridge, UK(Reitmayr, G.禾口 Drummond, T. W. (2007), Initialisation for Visual Tracking in Urban Environments in :6th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR 2007)，13-16 Nov 2007，Nara，Japan)。基于模型的跟蹤系統(tǒng)與測量3D轉(zhuǎn)速、3D加速度和3D磁場強度的傳感器組件集成，以在快速移動時更加魯棒并具有通過重力和磁場傳感器的絕對取向參照系。利用針對攝像機姿態(tài)動力學的恒速模型，與標準的擴展卡爾曼濾波器進行傳感器融合。利用SCAAT型方法(Greg Welch和Gary Bishop. Scaat incremental tracking with incomplete information,Proc. SIGGRAPH'97,pages 333-344, New York, NY, USA, 1997 ACM Press/Addison-ffesley Publishing Co.)中的單一測量功能結合不同的輸入，例如來自跟蹤系統(tǒng)的攝像機姿態(tài)或來自傳感器的測量結果。在 Gerhard Reitmayr, Tom W. Drummond 的"Robust Model-based Tracking for Outdoor Augmented Reality，，中披露了另一項技術(Gerhard Reitmayr 禾口 Tom Drummond, Going Out :Robust Model-based Tracking for Outdoor Augmented Reality, Proc.IEEE ISMAR，06,2006, Santa Barbara, California, USA)。跟蹤系統(tǒng)依賴于要跟蹤的景色的 3D 模型。在此前的系統(tǒng)中，3D模型描述了凸角邊緣和封閉面。使用攝像機姿態(tài)的先驗估計，將這個3D模型投射到針對每幀的攝像機視圖中，計算邊緣的可見部分。因特網(wǎng)上還有另一種應用稱為‘‘mydeco”，其中可以利用虛擬對象增強顯示真實環(huán)境的圖像。不過，這種系統(tǒng)需要設置地平面的旋轉(zhuǎn)，對于用戶而言這相當麻煩。在 Petri Honkamaa, Jani Jaeppinen, Charles Woodward 的"A Lightweight Approach for Augmented Reality on Camera Phones using 2D Images to Simulate 3D，，(ACM International Conference Proceeding Series ；Vol.284,Proceedings of the 6th international conference on Mobile and ubiquitous multimedia,OuIu,Finland, Pages 155-159, Year of Publication :2007, ISBN :978-1-59593-916-6)中，描述了使用人工交互進行初始化，尤其是借助于參考模型和用戶對其操控，是一種適當?shù)姆绞?，因為對于用戶而言跟蹤初始化是一項容易的任務，但使其自動化會需要事先了解環(huán)境、相當強的處理能力和/或額外的傳感器。此外，這種交互方案與環(huán)境無關，可以在“任何時候，任何地方”應用。在US 7,002, 551中，公開了一種用于提供光學透視增強現(xiàn)實比例尺修改顯示的方法和系統(tǒng)。它包括傳感器套裝，包括羅盤、慣性測量單元和視頻攝像機，用于精確測量用戶當前的取向和角旋轉(zhuǎn)速率?？梢园▊鞲衅魅诤夏K以產(chǎn)生對用戶角旋轉(zhuǎn)速率和當前取向的統(tǒng)一估計，提供給取向和速率估計模塊。取向和速率估計模塊以靜態(tài)或動態(tài)(預測) 模式工作。繪圖模塊接收取向；繪圖模塊使用該取向、來自位置測量系統(tǒng)的位置以及來自數(shù)據(jù)庫的數(shù)據(jù)在光學顯示器中繪示對象處于其正確取向和位置的圖形圖像。位置測量系統(tǒng)可有效地進行位置估計，用于產(chǎn)生對象的計算機產(chǎn)生圖像，以與實景合并，該系統(tǒng)與繪制模塊連接。位置測量系統(tǒng)的范例是差分GPS。因為用戶正在觀看距離相當遠的目標(例如通過雙筒望遠鏡)，所以由于位置測量系統(tǒng)中的位置誤差導致的配準誤差得到最小化。因此，有益的是，提供一種方法和系統(tǒng)，用于確定攝像機相對于真實環(huán)境的至少一個對象的姿態(tài)，用于創(chuàng)作或增強現(xiàn)實應用中，可以利用更少的處理要求和/或以更高的處理速度執(zhí)行其，更具體而言，提供事先無需對環(huán)境了解太多而創(chuàng)作3D對象的方法，在必要時，能夠集成用戶的交互以服務于姿態(tài)估計。

發(fā)明內(nèi)容
本發(fā)明的實施例包括以下方面。在第一方面中，提供了一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿態(tài)的方法，用于創(chuàng)作或增強現(xiàn)實應用中，包括以下步驟由拍攝真實環(huán)境真實對象的攝像機產(chǎn)生至少一個第一圖像；從與所述攝像機相關聯(lián)的至少一個取向傳感器或從算法產(chǎn)生第一取向數(shù)據(jù)，所述算法分析所述第一圖像以找到并確定表示所述攝像機取向的特征；提供用于分配攝像機到第一圖像中顯示的真實環(huán)境第一對象的距離的模塊，所述模塊產(chǎn)生表示所分配的攝像機到第一對象的距離的距離數(shù)據(jù)，并利用距離數(shù)據(jù)和第一取向數(shù)據(jù)確定攝像機相對于與真實環(huán)境的第一對象相關的坐標系的姿態(tài)。在第二方面中，提供了一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿態(tài)的方法，用于創(chuàng)作或增強現(xiàn)實應用中，包括以下步驟由拍攝真實環(huán)境對象的攝像機產(chǎn)生至少一個圖像；在圖像顯示模塊上顯示圖像；從與所述攝像機相關聯(lián)的至少一個取向傳感器或從算法產(chǎn)生取向數(shù)據(jù)，所述算法分析所述圖像以找到表示所述攝像機取向的特征；提供被顯示為與所述圖像中的真實環(huán)境疊加的虛擬參考模型，并從所述虛擬參考模型產(chǎn)生距離數(shù)據(jù)，所述距離數(shù)據(jù)表示所分配的所述攝像機到對象的距離；以及利用所述距離數(shù)據(jù)和所述取向數(shù)據(jù)確定所述攝像機相對于與所述真實環(huán)境的對象相關的坐標系的姿態(tài)。根據(jù)另一方面，提供了一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿態(tài)的方法，用于創(chuàng)作或增強現(xiàn)實應用中，包括以下步驟由拍攝真實環(huán)境對象的攝像機產(chǎn)生至少一個圖像；從與所述攝像機相關聯(lián)的至少一個取向傳感器或從算法產(chǎn)生取向數(shù)據(jù)，所述算法分析所述圖像以找到并確定表示所述攝像機取向的特征；提供與所述攝像機相關聯(lián)的測量裝置，用于測量至少一個表示所述攝像機和所述對象之間的距離的參數(shù)；以及基于至少一個參數(shù)和所述取向數(shù)據(jù)確定所述攝像機相對于與所述真實環(huán)境的對象相關的坐標系的姿態(tài)。根據(jù)另一方面，提供了一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿態(tài)的方法，用于創(chuàng)作或增強現(xiàn)實應用中，包括由拍攝真實環(huán)境真實對象的攝像機產(chǎn)生至少一個第一圖像；從與所述攝像機相關聯(lián)的至少一個取向傳感器或從算法或通過用戶交互產(chǎn)生第一取向數(shù)據(jù)，所述算法分析所述第一圖像以找到并確定表示所述攝像機取向的特征； 提供用于分配攝像機到第一圖像中顯示的真實環(huán)境真實對象的距離的模塊，所述模塊產(chǎn)生表示所分配的攝像機到真實對象的距離的距離數(shù)據(jù)，并利用距離數(shù)據(jù)和第一取向數(shù)據(jù)確定攝像機相對于與真實環(huán)境的真實對象相關的坐標系的姿態(tài)。該方法繼續(xù)進行由拍攝所述真實環(huán)境真實對象的攝像機產(chǎn)生第二圖像；從所述第一圖像和所述第二圖像提取至少一個相應特征，并匹配相應特征，以提供表示所述第一圖像和所述第二圖像之間對應關系的至少一個關系；提供所述攝像機相對于所述第一圖像中真實對象的姿態(tài)，并利用所述攝像機相對于所述第一圖像中真實對象的姿態(tài)和所述至少一個關系確定所述攝像機相對于所述第二圖像中真實對象的姿態(tài)；以及從所述第一圖像和所述第二圖像提取至少一個相應特征，用于確定第一和第二圖像中的地平面并移動放置坐標系以定位在所述地平面上。一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿態(tài)的系統(tǒng)，用于創(chuàng)作或增強現(xiàn)實系統(tǒng)中，可以包括以下部件和特征至少一個用于產(chǎn)生至少一個圖像的攝像機，所述攝像機拍攝真實環(huán)境的至少一個對象；用于顯示圖像的圖像顯示裝置；用于從與所述攝像機相關聯(lián)的至少一個取向傳感器或從算法產(chǎn)生取向數(shù)據(jù)的模塊，所述算法分析所述圖像以找到并確定表示所述攝像機取向的特征，特別是與攝像機相關聯(lián)的至少一個取向傳感器用于產(chǎn)生攝像機的取向數(shù)據(jù)；以及與攝像機和圖像顯示裝置耦合的處理裝置。布置處理裝置以與攝像機和圖像顯示裝置交互，執(zhí)行以下步驟提供被顯示為與所述圖像中的真實環(huán)境疊加的虛擬參考模型，并從所述虛擬參考模型產(chǎn)生距離數(shù)據(jù)，所述距離數(shù)據(jù)表示所分配的所述攝像機到對象的距離；以及經(jīng)由用戶接口接收用戶指令，用于由用戶在所述至少一個圖像之內(nèi)的特定位置放置所述參考模型，從而操控所述參考模型；以及利用所述距離數(shù)據(jù)和所述取向數(shù)據(jù)確定所述攝像機相對于與所述真實環(huán)境的至少一個對象相關的坐標系的姿態(tài)。另一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿態(tài)的系統(tǒng)用于創(chuàng)作或增強現(xiàn)實系統(tǒng)中，可以包括以下部件和特征至少一個用于產(chǎn)生至少一個圖像的攝像機， 所述攝像機拍攝真實環(huán)境的至少一個對象；用于從與所述攝像機相關聯(lián)的至少一個取向傳感器或從算法產(chǎn)生取向數(shù)據(jù)的模塊，所述算法分析所述圖像以找到并確定表示所述攝像機取向的特征，特別是與攝像機相關聯(lián)的至少一個取向傳感器用于產(chǎn)生攝像機的取向數(shù)據(jù)； 以及與所述攝像機相關聯(lián)的測量裝置，用于測量所述攝像機和所述至少一個對象之間的距離；以及與攝像機耦合的處理裝置，其中處理裝置布置成從實測距離產(chǎn)生距離數(shù)據(jù)，并利用距離數(shù)據(jù)和取向數(shù)據(jù)確定攝像機相對于與真實環(huán)境的至少一個對象相關的坐標系的姿態(tài)。例如，該系統(tǒng)包括在移動裝置中，其中移動裝置可以是移動電話。本發(fā)明可以利用如下事實當前很多移動電話提供了增強現(xiàn)實(AR)所需的各種部件，例如高分辨率攝像機和顯示器、加速度計、取向傳感器、GPS、通過WLAN和/或無線電鏈路的無線連接。從以下實施例的公開，本發(fā)明的其他方面、實施例和有利特征會顯而易見。


現(xiàn)在將結合例示了本發(fā)明各實施例的附圖更詳細地描述本發(fā)明。圖1示出了利用參考模型的根據(jù)本發(fā)明實施例的方法的流程圖例示。圖2示出了從用戶角度看來，利用根據(jù)圖1的過程中的參考模型的實施例的示意圖。圖3示出了根據(jù)本發(fā)明的系統(tǒng)和示范性場景的實施例示意圖。圖4示出了根據(jù)本發(fā)明的系統(tǒng)和示范性場景的實施例另一示意圖。圖5示出了利用虛擬對象增強的圖3場景的示意圖。圖6示出了用于計算攝像機拍攝的圖像中的放置坐標系的根據(jù)本發(fā)明方法實施例的流程圖例示。圖7示出了計算線條取向的圖。圖8示出了在有兩幅或更多攝像機拍攝的圖像時，用于計算地面坐標系的根據(jù)本發(fā)明方法另一實施例的流程圖例示。圖9-12示出了執(zhí)行圖8所示過程時的示范性圖像。
具體實施例方式在圖3、4和5中，示出了根據(jù)本發(fā)明系統(tǒng)實施例和示范性場景的示意圖。具體而言，圖3示出了系統(tǒng)1，其中用戶(未示出)手持移動裝置10，其結合或組合了攝像機11， 用于產(chǎn)生現(xiàn)實世界的至少一幅圖像30，例如，包含如圖所示的真實對象31、32。根據(jù)特定范例，真實對象31、32可以是桌子和柜子，放在具有地平面35的房間中，攝像機11拍攝真實環(huán)境的圖像，以在顯示屏20上顯示。也可以將地平面視為真實對象。在確定姿態(tài)之后，為真實環(huán)境提供坐標系33，例如圖3所示。此外，攝像機11與圖像顯示模塊20耦合，例如并入移動裝置10中的觸摸屏。不過，可以使用適于向用戶顯示圖像的任何其他圖像顯示模塊， 例如頭戴式顯示器或任何其他類型的移動或固定顯示裝置。此外，處理裝置13與移動裝置 10連接或并入其中，處理裝置13可以是例如微處理器。在本范例中，移動裝置10還結合了取向傳感器12或與之耦合。在特定應用中，移動裝置可以是具有集成的取向傳感器12、攝像機11、觸摸屏20和處理裝置13的移動電話。不過，出于本發(fā)明的目的，也可以將部件分布和/或用于不同應用中。此外，它們可以通過有線或無線的方式彼此耦合。系統(tǒng)1用于確定攝像機相對于真實環(huán)境的至少一個對象的姿態(tài)，用于創(chuàng)作或增強現(xiàn)實系統(tǒng)中。在顯示模塊20上，可以利用虛擬對象，例如如圖5所示，通過根據(jù)攝像機的姿態(tài)顯示與圖像30中的真實環(huán)境疊加的虛擬對象40來增強真實環(huán)境的圖像。攝像機的姿態(tài) (包括位置和取向數(shù)據(jù))可以是，例如相對于真實對象31的姿態(tài)。為此，可以相對于圖3所示的坐標系33確定姿態(tài)，坐標系又與相應對象31相關聯(lián)。在下文中，將結合如圖1和圖6中所示的流程圖描述根據(jù)本發(fā)明的過程的實施例。 具體而言，布置處理裝置13以與攝像機11和圖像顯示裝置20交互，執(zhí)行以下步驟在步驟1.0中，攝像機11拍攝真實環(huán)境的第一圖像，例如，如圖3所示。至少一個取向傳感器12與攝像機11相關聯(lián)，用于在步驟2. 0中產(chǎn)生攝像機的取向數(shù)據(jù)。不過， 應當指出，在任何情況下，取向傳感器都不是必需的。相反，可以從算法替代地或額外地產(chǎn)生取向數(shù)據(jù)，該算法分析第一圖像，以發(fā)現(xiàn)并確定表示攝像機取向的特征。本領域技術人員將認識到，這樣的算法是本領域公知的，例如，Whan Kim的文章“Geometry of Vanishing Points and its Application to External Calibration and Realtime Pose Estimation” (2006 年7月 1 日)中公開的"Orientation from lines (線條取向)”， Institute of Transportation Studies, Research Reports, Paper UCB-ITS-RR-2006-5。圖2A-2D示出了與圖3_5先前所述場景不同的場景。在圖2中，圖2A、2B所示的圖像對應于攝像機拍攝的第一圖像，例如如前所述的第一圖像30。圖2C，2D顯示了下文更詳細所述的由相同或不同攝像機拍攝的相應第二圖像60。為了反映圖像與相應第一和第二圖像的對應關系，結合不同場景使用與第一圖像(30)和第二圖像(60)相同的附圖標記。通常，根據(jù)本發(fā)明，用于向圖像30中顯示的真實對象31分配攝像機11的距離的模塊產(chǎn)生距離數(shù)據(jù)，距離數(shù)據(jù)表示所分配的攝像機11到真實對象31的距離。根據(jù)圖1中的步驟3. 0，提供用于分配攝像機到真實對象的距離的模塊包括提供虛擬參考模型，在第一圖像30中虛擬參考模型被顯示為與真實環(huán)境疊加。參考對象的初始距離可以是固定值(例如2.5米)和距離傳感器提供的距離之一。例如，如圖2A所示，根據(jù)取向傳感器12提供的取向在圖像30中放置參考模型50。參考模型50 (可以是任何種類的虛擬模型)的尺度，例
11如其高度、寬度或深度，是該系統(tǒng)已知的?！N實施方式可以包括平行于取向平面平移參考模型或利用平行于平行于平面法線的軸向參考模型施加旋轉(zhuǎn)或沿著由攝像機中心和已放置的對象質(zhì)心定義的線移動參考模型(允許增大或減小圖像中參考對象的尺寸)。結合步驟4. 0，系統(tǒng)正在接收用戶的指令，用于由用戶操控參考模型50，參考模型的操控包括如下至少一種在平面上第一圖像30之內(nèi)的特定位置移動參考模型50，該平面至少部分由取向數(shù)據(jù)定義；以及改變參考模型50的尺度或變量，例如移動參考模型50和/ 或改變參考模型50的高度(在圖1中，表示為移動和縮放參考模型)。在下一步中，利用虛擬參考模型50，由其利用圖像30中實際顯示的其參數(shù)，例如高度，確定攝像機11和真實對象31之間的距離數(shù)據(jù)。就此而言，系統(tǒng)假設用戶已在圖像之內(nèi)正確放置了參考模型50，使得參考模型50的比例對應于圖像30中真實對象31、32的比例。從參考模型50的尺度，考慮到固有攝像機參數(shù)，可以導出攝像機11和真實對象31之間的距離。然后利用來自步驟4. 0的距離數(shù)據(jù)和來自步驟2. 0的取向數(shù)據(jù)確定攝像機11 相對于真實對象31 (或相對于與對象31相關聯(lián)的坐標系33)的姿態(tài)。根據(jù)其最終位置和取向，參考模型50界定坐標系33的位置和取向。根據(jù)步驟5. 0，根據(jù)確定的攝像機姿態(tài)， 將圖2B或圖5所示的至少一個虛擬對象40與第一圖像30中的真實環(huán)境疊加。如圖2B所示，可以取消參考模型50。用戶操控參考模型50可以包括以下步驟中的至少一個使用兩個手指，借助觸摸屏觸摸參考模型，使手指彼此遠離以增大尺寸，使手指彼此靠近以減小參考模型的尺寸 (在具有來自傳感器的距離測量結果時，這可能不是必要的)，使用兩個手指，借助于觸摸屏觸摸參考模型，彼此相對地旋轉(zhuǎn)手指，以繞著垂直于地平面的軸旋轉(zhuǎn)參考模型，利用至少一個手指觸摸參考模型，并移動手指以在平面上移動參考模型。在取向傳感器表示攝像機的視軸取向接近平行于地面或向上看時，可以決定激活以替代以上交互方法的另一種交互可能是這樣的方法其中，用戶操控參考模型可以包括以下步驟中的至少一個-使用兩個手指，借助觸摸屏觸摸參考模型，使手指彼此遠離以使模型更接近觀看者，移動發(fā)生于假定的地平面上并平行于假定的地平面與包含攝像機中心的平面的交叉線，攝像機坐標系中的X為零。-使用兩個手指，借助觸摸屏觸摸參考模型，使手指彼此靠近以使模型遠離觀看者，移動發(fā)生于假定的地平面上并平行于假定的地平面與包含攝像機中心的平面的交叉線，攝像機坐標系中的X為零。-使用兩個手指，借助觸摸屏觸摸參考模型，并彼此相對地旋轉(zhuǎn)手指，以便繞著垂直于假定地平面的軸旋轉(zhuǎn)參考模型。-利用至少一個手指觸摸參考模型并上下移動手指，以便平行于假定地平面的法線移動參考模型。-利用至少一個手指觸摸參考模型并左右移動手指，以便在假定地平面上并平行于假定地平面和包含攝像機中心的平面的交叉線移動參考模型，攝像機坐標系中的y為零。根據(jù)另一實施例，提供用于分配攝像機11到真實對象31的距離的模塊包括提供與攝像機11相關聯(lián)的測量裝置，例如距離傳感器，用于測量表示攝像機11和真實對象31 之間距離的至少一個參數(shù)，其中基于該至少一個參數(shù)產(chǎn)生距離數(shù)據(jù)。例如，測量裝置包括以下裝置之一由攝像機的聚焦單元、距離傳感器、至少一個飛行時間攝像機和/或一個或多個立體攝像機提供的距離。根據(jù)圖3的實施例，測量裝置14可以與攝像機11相關聯(lián)，用于測量攝像機和對象 31之間的距離。與攝像機11耦合的處理裝置13被布置成從實測距離產(chǎn)生距離數(shù)據(jù)，并利用距離數(shù)據(jù)和取向數(shù)據(jù)確定攝像機相對于對象31的初始姿態(tài)?？梢砸罁?jù)在地平面上的位置以及繞平行于平面法線的軸的旋轉(zhuǎn)細化初始姿態(tài)。就此而言，圖4示出了在知道與聚焦對象(在圖4中與桌子31不同)的距離以及描述取向傳感器提供的地平面法線的兩個角度的情況下，如何確定攝像機11的姿態(tài)的范例。生成描述平面相對于攝像機旋轉(zhuǎn)的旋轉(zhuǎn)矩陣的一種可能是將第一矩陣列設置為重力矢量(可以由取向傳感器提供)。將第二矩陣矢量設置為與垂直于重力矢量的平面平行的任意矢量?？梢岳脙蓚€其他列的矢量積獲得第三矩陣列。所有列都應當被歸一化。在本發(fā)明的實施例中，該方法還包括提供表示攝像機繞垂直于地平面的軸的旋轉(zhuǎn)的參數(shù)，例如，由旋轉(zhuǎn)傳感器或羅盤提供(在圖6中表示為ζ旋轉(zhuǎn))。這使得如上所述的第二矩陣矢量不是任意的。一開始可以正確地對模型取向，該模型與地球坐標系，例如表示北的標志相關。在另一種方法中，提供用于分配攝像機11到真實對象31的距離的模塊可以包括提供至少一個參數(shù)并使用固有的攝像機參數(shù)，其表示圖像30中可見的真實環(huán)境兩個特征間的距離，例如桌子31的桌腿和柜子32的一個邊緣之間的距離。另一種有幫助的范例是提供位于地平面上的兩個特征的距離。在適當?shù)膱D像處理算法示出探測到的特征且用戶從其對真實環(huán)境的了解提供距離之后，可以由用戶以交互的方式提供該參數(shù)。也可以通過任何適當方式組合用于提供分配攝像機11到真實對象31的距離的模塊的任何上述方式。如圖3所示，使用距離數(shù)據(jù)和取向數(shù)據(jù)確定圖像30中的至少一個放置坐標系，例如坐標系33，其中相對于放置坐標系33使至少一個虛擬對象40與真實環(huán)境疊加。在僅有一幅圖像時，沒有例如指向地的距離傳感器，系統(tǒng)可能無法精確確定用于分配其上的對應坐標系的地平面。就此而言，假設放置坐標系33大致為地坐標系。如下文更詳細所述，可以利用從攝像機不同姿態(tài)拍攝的相同場景的第二圖像確定地平面，從而確定地坐標系。參考圖5，示出了與真實環(huán)境疊加的虛擬模型40，應當指出，虛擬模型40也可以充當上文參考圖2A所述的參考模型50。在圖像30所示的房間中疊加虛擬模型40，用戶可以獲得如果在現(xiàn)實世界的房間中放入真實的沙發(fā)將如何與虛擬模型40對應的印象。因此，用戶可以使用其移動電話拍攝圖像并利用任何種類的虛擬對象增強圖像，其中技術人員知曉各種應用。另一種應用例如可以是在現(xiàn)實世界的圖畫中放置對象并具有攝像機的GPS位置和絕對取向，利用本發(fā)明確定虛擬模型40的姿態(tài)，允許饋送定位在地球上的對象的全局數(shù)據(jù)庫，像GOOGLE Earth。在圖6中，如上所述，更詳細地示出了上述過程。在初始化步驟中，一開始假設參考模型50的距離。根據(jù)用戶的主觀印象在平面(平面平行于地平面)上移動參考模型50 和/或改變參考對象的尺度/參數(shù)，可以確定必要的平移數(shù)據(jù)。
參考圖更詳細地解釋了用于確定攝像機取向而不利用取向傳感器的遵循“線條取向”方式的算法隱沒點是平行線交叉點的圖像。令VX、Vy、Vz為隱沒點，VX為“無窮遠點Ix= (1， 0，0，0)”的圖像(χ軸)，vy為“無窮遠點Iy= (0，1，0，0) ”的圖像(y軸)，vz為“無窮遠點Iz = (0，0，1，0)”的圖像(ζ軸)。此外，令vx的齊次坐標為vx = [ul, vl, wl] = K*[R t]*Ix。可以利用irw(K)*VX并隨后將其歸一化到1獲得矩陣R的第一列。此外，令vy的齊次坐標為vy= [u2,v2,w2] = K*[R t]*Iy。可以利用inv(K)*vy并隨后將其歸一化到1 獲得矩陣R的第二列。最后，令vz的齊次坐標為vz = [u3,v3,w3] =K*[R t]*Iz?？梢岳胕nV(K)*VZ并隨后將其歸一化到1獲得矩陣R的第三列。如果vx、vy和vz中僅有兩個點可用，那么仍然能夠使用矢量積計算第三個，例如vz = vx'vy.參見Ζ. Kim,"Geometry of vanishing points and its application to external calibration and realtime pose estimation，，，Inst. Transp. Stud. , Res. Rep. UCB-ITS-RR-2006-5, Univ. Calif, Berkeley, CA，2006，獲取更多細節(jié)。根據(jù)圖8，將更詳細地解釋根據(jù)同一場景但從不同姿態(tài)拍攝的至少一個第二圖像或更多圖像計算地坐標系的方法。該方法包括由攝像機(可以是與拍攝第一圖像的攝像機相同或不同的攝像機，其固有參數(shù)也是已知的)產(chǎn)生第二圖像60的步驟，該攝像機從不同姿態(tài)拍攝真實環(huán)境的真實對象(例如，圖像30的對象31)。在下一步驟中，提取來自第一圖像30和第二圖像60 的至少一個相應特征，其中匹配相應特征以提供表示第一圖像和第二圖像之間對應關系的至少一個關系(在圖8中在步驟A2中該關系表示為“基本矩陣”，根據(jù)比例尺定義該矩陣 (要獲得更多細節(jié)，參見Multiple View Geometry In Computer Vision 第 11 章，第二版， Richard Hartley 禾口 Andrew Zisserman, Cambridge University Press,March 2004)在步驟B5中確定表示為“ α ”的Te比例尺)。根據(jù)步驟Al，可以使用從拍攝第二圖像時的新姿態(tài)導出的第二取向數(shù)據(jù)減少所需特征的量或檢查基本矩陣的結果。結果，第一圖像的放置坐標系33可以過渡到第二圖像。當然可以利用取向傳感器支持基本矩陣的計算，減少所需特征匹配的量。在下文中，更詳細地解釋缺失“ α ”的計算從第一圖像(圖像1)和第二圖像(圖像2)之間的點對應關系，能夠構建出基本矩陣F = K2_T [t] χ RIT1其中Kl是采集第一圖像的攝像機的攝像機固有參數(shù)矩陣，Κ2是采集第二圖像的攝像機的固有參數(shù)矩陣，t是兩個攝像機視圖之間的平移，R為旋轉(zhuǎn)。令pi和p2為圖像1和圖像2中的兩個對應點，它們證實了 p2T Fpl = 0因此F是按比例定義的。有了 K和F，可以得到成比例的實質(zhì)矩陣E= [t]x R可以從點對應關系直接計算實質(zhì)矩陣。因此，為了得到成比例的平移t和旋轉(zhuǎn) R(要獲得更多信息，參見 B. Horn !Recovering baseline and orientation from essential matrix,Journal of the Optical Society of America,January 1990)。 β 在兩幅圖像中都可見到平面，就可能計算出單應性，其將圖像1中這個平面上的每個點轉(zhuǎn)換成圖像2中的其對應點?？梢詫螒詫憺镚 = K2 (R+t/d ητ) ΚΓ1其中η為第一攝像機視圖中表達的平面的法向矢量，是第一視圖的攝像機中心和平面之間的距離。如果我們知道兩幅圖像包含該平面且該平面具有很多特征點，檢測位于平面上的點非常容易，例如驗證同一單應性的最大點集。另一種可能是探測平面以從對應關系重構3D點并找到包括大數(shù)量3D點的平面(任選地，接近平行于從權利要求1中的取向的平面，例如，以減小搜索空間并改進魯棒性)。從單應性G，能夠(再次)得到R，并能夠得至Ij t/d，能夠得至Ij η (利用 OD Faugeras, F Lustman 的 Motion and Structure From Motion in a Piecewise Planar Environment 的算法，Intern. J. of Pattern Recogn. and Artific. Intelige.，Vol. 2，No.，3. (1988)，pp. 485—508)。由此可以看到要解決的問題，有了 t的尺度將得到d，有了 d將得到t的尺度 (“α”)。兩個視圖之間的平移(車中的里程表或GPS···)會給出t的尺度。一個特征pi 的距離給出了這個特征的深度z，我們知道ζ pi = Kl [x y ζ]-在ρ在該平面上時，我們有nT[x y ζ] = d，這意味著 d = ζ n^l^pl.-在pi不在平面上時，需要求解K2(z RKF'pl+alpha t0) = beta p2其中tO是與真實平移共線的矢量，范數(shù)等于1，未知數(shù)為α和β，非常容易找到解(方程比未知數(shù)多)。兩個特征χ = [X y Ζ]和X’ = [X’ y’ Z’ ]之間的距離允許得到t的尺度實際上給出了I X-X' I I = I ZKF1Pl-Z' KF1Pl ρΓ |。利用方程Κ2 (Ζ RKF'pl+alpha t) = beta p2能夠表達ζ和ζ’，使得ζ = Aa且ζ’ = Α，α，其中A僅取決于K，R，t (成比例)， Pl和P2，而A’僅取決于K1，K2，R，t (成比例)，pl，和p2，(這些參數(shù)或者是假設給出的或者是上文計算的)。alpha = I |X-X，I |/| |A-A，I在步驟Cl中，從對第一圖像的先前處理提供攝像機相對于第一圖像中真實對象的姿態(tài)，使用攝像機相對于第一圖像中真實對象的姿態(tài)和至少一個關系確定攝像機相對于第二圖像中真實對象的姿態(tài)，至少一個關系即基本矩陣和“ α ”，用于確定姿態(tài)的平移參數(shù) tx,ty,tz,由定義攝像機位置和取向的參數(shù)tx，ty，tz，rx，ry，rz ( “t”代表平移，“r”代表三個不同維度上的旋轉(zhuǎn)參數(shù))構成。具體而言，使用針對第一圖像記錄的距離數(shù)據(jù)和第一取向數(shù)據(jù)確定第一圖像中的至少一個放置坐標系(例如坐標系33)及其在第一圖像中的位置和取向(如上所述)，其中基本矩陣和“ α ”用于為第二圖像中的放置坐標系分配對應于第一圖像中相應位置和取向的位置和取向。在圖2C中示出了這種情況，其中，第二圖像60(根據(jù)“轉(zhuǎn)換”的放置坐標系 33定位)中示出了圖2Α中的參考模型50 (根據(jù)放置坐標系33定位)，位置和取向?qū)诘谝粓D像30中的相應位置和取向(即，參考模型的后方轉(zhuǎn)向第一圖像30中的壁)。
根據(jù)實施例，提供至少一個關系(基本矩陣和α )的步驟還可以包括一種或多種以下步驟提供至少一個表示拍攝第一圖像和第二圖像之間攝像機運動的參數(shù)(步驟Bi)。 例如，在步驟Bl中提供至少一個參數(shù)可以包括提供拍攝第一圖像時攝像機的第一位置參數(shù)和拍攝第二圖像時攝像機的第二位置參數(shù)，位置參數(shù)是由定位系統(tǒng)或探測器，例如用戶 GPS的探測器產(chǎn)生的?？梢杂尚l(wèi)星定位系統(tǒng)、無線網(wǎng)絡定位機構、移動電話蜂窩位置機構和高度測量裝置，例如高度計，中的至少一種產(chǎn)生第一和第二位置參數(shù)中的至少一個。注意， (來自tx，ty, tz的)一個平移尺度的測量值或t的范數(shù)注意求解α。提供至少一個表示在第一和第二圖像中都可見的真實環(huán)境兩個特征間距離的參數(shù)(步驟Β2)。任選地，可以應用參考模型50給出的尺度生成的2D-3D對應(任選地，假設參考模型在一個平面上)(步驟Β3)向步驟Β2提供輸入。通過假設它們在平面上并假設參考模型50位于平面上來提供至少一個表示在圖像之一中都可見的真實環(huán)境兩個特征間距離的參數(shù)(步驟B》，參考模型的尺度為兩個特征之間的距離提供尺度。而且，可以查詢攝像機之一的位置附近特征(包括3D位置或特征距離)的數(shù)據(jù)庫，獲得圖像之一中的特征和數(shù)據(jù)庫中特征之間的特征對應關系?？梢岳迷谝阎藨B(tài)拍攝的圖像源生成這個數(shù)據(jù)庫，像GOOGLE Mreetview。匹配來自兩個位置的重疊圖像的特征并使用上述機制。提供至少一個表示真實環(huán)境的至少一個特征(在兩幅圖像中都匹配)和一個攝像機之間距離的參數(shù)(步驟B4)。例如，所提取的靠近攝像機投影中心或接近距離測量單元的特征是瞄準。此外，在步驟Cl中，在第二圖像中放置了放置坐標系(位置和取向?qū)诘谝粓D像中的相應位置和取向)之后，確定兩幅圖像中相對于放置坐標系的姿態(tài)。此外，確定兩幅圖像中所有匹配的特征對應關系的3D位置。在步驟C2中，利用上文所述的特征3D位置或利用單應性約束，可以確定主平面，例如地平面。繼續(xù)步驟C3，例如，通過沿著平面法線移動，將第一圖像中的放置坐標系定位在地平面上。圖9-12示出了與前述場景不同的場景。在圖9-12中，圖9-11所示的圖像對應于攝像機拍攝的第一圖像，于是像前述場景那樣，利用附圖標記30表示。另一方面，圖12示出了由同一或不同攝像機拍攝的與前述第二圖像60對應的第二圖像。轉(zhuǎn)到步驟C4，如圖9-12所示，該方法前進到根據(jù)第一圖像中確定的放置坐標系 33a將至少一個虛擬對象(例如，圖9中的對象71a，可以是參考模型或要與現(xiàn)實世界疊加的任何虛擬對象)與真實環(huán)境疊加。之后，根據(jù)現(xiàn)在位于第一圖像中先前確定的地平面上的放置坐標系33a(在將坐標系33a移動到所確定的地平面之后，現(xiàn)在被顯示為圖9中的對象71b，新定位的坐標系表示為33b)將虛擬對象與真實環(huán)境疊加。該過程繼續(xù)進行，沿著地平面移動放置坐標系33b (換言之，調(diào)節(jié)X，y)。如圖10所示，在地平面上移動并定位放置坐標系33b，使得根據(jù)第一圖像中的(原始)放置坐標系33a的虛擬對象(對象71a)的投影基本等于或接近(即，基本對應于)根據(jù)在地平面上移動并定位的放置坐標系33b的虛擬對象(對象71b)的投影。如圖11所示，該過程可以繼續(xù)，任選地縮放虛擬對象71b(即，改變尺度，例如其高度)，使其對應于用戶一開始在第一圖像30中放置的虛擬對象(對象 71a)的原始尺度。另一種實現(xiàn)這一目的的可能性是從攝像機中心在對象一點(例如位于下部)上發(fā)射射線。下一步是使射線與平面相交。然后，最后，繪制虛擬對象，使得該點與交點重疊?？梢葬槍λ蟹胖玫奶摂M對象逐一進行校正對象位置的過程，未必改變放置坐標系，但改變虛擬模型與放置坐標系的關系(tx，ty, tz, rx, ry, rz)。如圖12所示，現(xiàn)在根據(jù)第二圖像60中地平面上移動的放置坐標系將虛擬對象71b 與真實環(huán)境疊加，其中圖12示出，可以從實際的地平面位移第一圖像30中假設的放置坐標系。應當指出，可以在背景中執(zhí)行虛擬對象71a、71b的疊加，即不在顯示屏上顯示，而是僅僅在算法中疊加，用于確定在地平面上正確定位的最終放置坐標系。可以在任意其他圖像中使用這一地平面，用于將任何虛擬對象與真實環(huán)境疊加，不管其他圖像的相應遠景如何。盡管已經(jīng)參考示范性實施例描述了本發(fā)明，但本領域的技術人員將理解，可以進行各種改變，可以用等價元件替代其元件而不脫離本發(fā)明的范圍。此外，可以做出很多修改以針對本發(fā)明的教導調(diào)整特定狀況或材料，而不脫離其實質(zhì)范圍。因此，意在本發(fā)明不限于公開的具體實施例，而是本發(fā)明將包括落在所附權利要求范圍之內(nèi)的所有實施例。
權利要求
1.一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿態(tài)的方法，用于創(chuàng)作或增強現(xiàn)實應用中，所述方法包括由拍攝真實環(huán)境真實對象的攝像機產(chǎn)生包括至少一個圖像的第一圖像； 從與所述攝像機相關聯(lián)的至少一個取向傳感器或從算法產(chǎn)生第一取向數(shù)據(jù)，所述算法分析所述第一圖像以找到并確定表示所述攝像機取向的特征；分配所述攝像機到所述第一圖像中顯示的真實環(huán)境的真實對象的距離，并產(chǎn)生表示所述距離的距離數(shù)據(jù)；以及利用所述距離數(shù)據(jù)和所述第一取向數(shù)據(jù)確定所述攝像機相對于與所述真實環(huán)境的真實對象相關的坐標系的姿態(tài)。
2.根據(jù)權利要求1所述的方法，其中分配所述攝像機到所述真實對象的距離包括提供虛擬參考模型，在所述第一圖像中所述虛擬參考模型被顯示為與真實環(huán)境疊加，并從所述虛擬參考模型產(chǎn)生所述距離數(shù)據(jù)。
3.根據(jù)權利要求2所述的方法，其中所述方法還包括接收用于由用戶操控所述虛擬參考模型的用戶指令，操控所述虛擬參考模型包括如下至少一項在一平面上所述第一圖像之內(nèi)特定位置處移動所述虛擬參考模型，以及改變所述虛擬參考模型的尺度或變量，所述平面至少部分由所述第一取向數(shù)據(jù)界定。
4.根據(jù)權利要求3所述的方法，其中所述用戶操控所述虛擬參考模型可以包括如下至少一項使用兩個手指，利用觸摸屏觸摸所述虛擬參考模型，使兩個手指彼此遠離，以增大所述虛擬參考模型的尺寸，以及使兩個手指彼此接近，以減小所述虛擬參考模型的尺寸；使用兩個手指，利用觸摸屏觸摸所述虛擬參考模型，彼此相對地旋轉(zhuǎn)兩個手指，以繞著垂直于地平面的軸旋轉(zhuǎn)所述虛擬參考模型；使用至少一個手指觸摸所述虛擬參考模型，并移動所述至少一個手指，以便在整個所述平面上移動所述虛擬參考模型。
5.根據(jù)權利要求3或4所述的方法，其中所述用戶操控所述虛擬參考模型可以包括如下至少一項使用兩個手指，利用觸摸屏觸摸所述虛擬參考模型，使兩個手指彼此遠離，以將所述虛擬參考模型移動得更靠近觀看者，其中所述移動發(fā)生在假定地平面上并平行于所述假定地平面與包含攝像機中心的平面的交叉線，攝像機坐標系中的χ為零；使用兩個手指，利用觸摸屏觸摸所述虛擬參考模型，使兩個手指彼此靠近，以將所述虛擬參考模型移動得更遠離觀看者，其中所述移動發(fā)生在假定地平面上并平行于所述假定地平面與包含攝像機中心的平面的交叉線，攝像機坐標系中的χ為零；使用兩個手指，利用觸摸屏觸摸所述虛擬參考模型，并彼此相對地旋轉(zhuǎn)所述兩個手指， 以便繞垂直于所述假定地平面的軸旋轉(zhuǎn)所述虛擬參考模型；使用至少一個手指觸摸所述虛擬參考模型，并上下移動所述至少一個手指，以便平行于所述假定地平面的法線移動所述虛擬參考模型；使用至少一個手指觸摸所述虛擬參考模型，并左右移動所述至少一個手指，以便在所述假定地平面上并平行于所述假定地平面和包含攝像機中心的平面的交叉線移動所述虛擬參考模型，所述攝像機坐標系中的y為零。
6.根據(jù)權利要求1-5中的一項所述的方法，其中分配所述攝像機到所述真實對象的距離包括提供與所述攝像機相關聯(lián)的測量裝置，所述測量裝置測量至少一個表示所述攝像機和真實對象之間距離的參數(shù)，其中基于所述至少一個參數(shù)產(chǎn)生所述距離數(shù)據(jù)。
7.根據(jù)權利要求6所述的方法，其中提供所述測量裝置包括提供如下至少一項攝像機的聚焦單元、獨立的距離傳感器、至少一個飛行時間攝像機、一個或多個立體攝像機。
8.根據(jù)權利要求1-7中的一項所述的方法，還包括提供表示所述攝像機繞垂直于地球地平面的軸旋轉(zhuǎn)的參數(shù)。
9.根據(jù)權利要求1-8中的一項所述的方法，其中分配所述攝像機到所述真實對象的距離包括提供至少一個表示所述第一圖像中可見的真實環(huán)境的兩個特征之間距離的參數(shù)。
10.根據(jù)權利要求1-9中的一項所述的方法，還包括根據(jù)所述攝像機相對于與真實環(huán)境真實對象相關的坐標系的姿態(tài)來顯示與所述第一圖像中的真實環(huán)境疊加的至少一個虛擬對象。
11.根據(jù)權利要求10所述的方法，利用所述距離數(shù)據(jù)和所述第一取向數(shù)據(jù)來確定所述第一圖像中的至少一個放置坐標系，其中所述至少一個虛擬對象相對于所述至少一個放置坐標系與真實環(huán)境疊加。
12.根據(jù)權利要求1-11中的一項所述的方法，還包括由拍攝所述真實環(huán)境真實對象的攝像機產(chǎn)生第二圖像；從所述第一圖像和所述第二圖像提取至少一個相應特征，并匹配其中的至少一個相應特征，提供表示所述第一圖像和所述第二圖像之間對應關系的至少一個關系；以及提供所述攝像機相對于與所述第一圖像中真實對象相關的坐標系的姿態(tài)，并利用所述攝像機相對于與所述第一圖像中真實對象相關的坐標系的姿態(tài)和所述至少一個關系來確定所述攝像機相對于與所述第二圖像中真實對象相關的第二坐標系的姿態(tài)。
13.根據(jù)權利要求12所述的方法，還包括從所述至少一個取向傳感器產(chǎn)生與所述第二圖像相關聯(lián)的第二取向數(shù)據(jù)。
14.根據(jù)權利要求12或13所述的方法，還包括利用所述距離數(shù)據(jù)和所述第一取向數(shù)據(jù)來確定所述第一圖像中的至少一個放置坐標系及其在所述第一圖像中的位置和取向；以及利用所述至少一個關系在所述第二圖像中分配至少一個第二放置坐標系，第二位置和取向?qū)谒龅谝粓D像中的相應位置和取向。
15.根據(jù)權利要求12、13或14所述的方法，其中提供所述至少一個關系還包括如下至少一項提供至少一個表示拍攝第一圖像和第二圖像之間攝像機運動的參數(shù)；提供至少一個表示在所述第一圖像和所述第二圖像中都可見的真實環(huán)境的兩個特征間距離的第二參數(shù)；提供至少一個表示所述真實環(huán)境的至少一個特征和所述攝像機之間距離的第三參數(shù)。
16.根據(jù)權利要求15所述的方法，其中提供至少一個表示拍攝所述第一圖像和所述第二圖像之間所述攝像機的運動的參數(shù)包括提供拍攝所述第一圖像時攝像機的第一位置參數(shù)以及拍攝所述第二圖像時所述攝像機的第二位置參數(shù)。
17.根據(jù)權利要求16所述的方法，由衛(wèi)星定位系統(tǒng)和高度測量裝置中的至少一個來產(chǎn)生所述第一和第二位置參數(shù)中的至少一個。
18.根據(jù)權利要求1-17中的一項所述的方法，還包括提供被顯示為與所述第一圖像中的真實環(huán)境疊加的虛擬參考模型，在假定地平面上放置所述虛擬參考模型并在所述第一圖像中識別所述假定地平面上接近所述虛擬參考模型的真實環(huán)境的至少兩個特征，其中利用所述虛擬參考模型的已知尺度確定所述至少兩個特征之間的距離。
19.根據(jù)權利要求1-18中的一項所述的方法，還包括從所述第一圖像和所述第二圖像提取至少一個第二相應特征，用于確定所述第一圖像和所述第二圖像中的地平面并移動放置坐標系以定位在所述地平面上。
20.根據(jù)權利要求19所述的方法，還包括根據(jù)所述第一圖像中的放置坐標系將至少一個虛擬對象與所述真實環(huán)境疊加；根據(jù)定位在所述第一圖像中的地平面上的放置坐標系將所述至少一個虛擬對象與所述真實環(huán)境疊加；沿著所述地平面移動所述放置坐標系以定位成，使得根據(jù)所述第一圖像中的放置坐標系的所述至少一個虛擬對象的投影基本等于或接近根據(jù)定位在所述地平面上的放置坐標系的至少一個虛擬對象的投影。
21.根據(jù)權利要求20所述的方法，還包括根據(jù)所述地平面上的放置坐標系將至少一個虛擬對象與所述真實環(huán)境疊加。
22.一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿態(tài)的方法，用于創(chuàng)作或增強現(xiàn)實應用中，所述方法包括由拍攝所述真實環(huán)境對象的攝像機產(chǎn)生至少一個圖像；在圖像顯示器上顯示至少一個圖像；從與所述攝像機相關聯(lián)的至少一個取向傳感器或從算法產(chǎn)生取向數(shù)據(jù)，所述算法分析所述至少一個圖像以找到表示所述攝像機取向的特征；提供被顯示為與所述至少一個圖像中的真實環(huán)境疊加的虛擬參考模型，并從所述虛擬參考模型產(chǎn)生距離數(shù)據(jù)，其中所述距離數(shù)據(jù)表示所分配的所述攝像機到對象的距離；以及利用所述距離數(shù)據(jù)和所述取向數(shù)據(jù)來確定所述攝像機相對于與所述真實環(huán)境的對象相關的坐標系的姿態(tài)。
23.一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿態(tài)的方法，用于創(chuàng)作或增強現(xiàn)實應用中，所述方法包括由拍攝所述真實環(huán)境對象的攝像機產(chǎn)生至少一個圖像；從與所述攝像機相關聯(lián)的至少一個取向傳感器或從算法產(chǎn)生取向數(shù)據(jù)，所述算法分析所述至少一個圖像以找到并確定表示所述攝像機取向的特征；提供與所述攝像機相關聯(lián)的測量裝置，所述測量裝置用于測量至少一個表示所述攝像機和所述對象之間的距離的參數(shù)；基于所述至少一個參數(shù)和所述取向數(shù)據(jù)來確定所述攝像機相對于與所述真實環(huán)境的對象相關的坐標系的姿態(tài)。
24.一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿態(tài)的系統(tǒng)，用于創(chuàng)作或增強顯示系統(tǒng)中，所述系統(tǒng)包括配置成產(chǎn)生至少一個圖像的至少一個攝像機，所述至少一個攝像機拍攝真實環(huán)境的至少一個對象；配置成顯示所述至少一個圖像的圖像顯示裝置；與所述至少一個攝像機相關聯(lián)的至少一個取向傳感器，配置成產(chǎn)生所述至少一個攝像機的取向數(shù)據(jù)；與所述至少一個攝像機和所述圖像顯示裝置耦合的處理裝置，所述處理裝置被配置成提供虛擬參考模型并從所述虛擬參考模型產(chǎn)生距離數(shù)據(jù)，所述虛擬參考模型被顯示為與所述至少一個圖像中的真實環(huán)境疊加，所述距離數(shù)據(jù)表示所分配的所述至少一個攝像機到所述至少一個對象的距離；經(jīng)由用戶接口接收用戶指令，用于由用戶在所述至少一個圖像之內(nèi)的特定位置放置所述虛擬參考模型，從而操控所述虛擬參考模型；通過使用所述距離數(shù)據(jù)和所述取向數(shù)據(jù)來確定所述至少一個攝像機相對于與所述真實環(huán)境的至少一個對象相關的坐標系的姿態(tài)。
25.根據(jù)權利要求M所述的系統(tǒng)，其中所述系統(tǒng)包括在移動裝置中。
26.根據(jù)權利要求25所述的系統(tǒng)，其中所述移動裝置為移動電話。
27.一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿態(tài)的系統(tǒng)，用于創(chuàng)作或增強現(xiàn)實系統(tǒng)中，所述系統(tǒng)包括配置成產(chǎn)生至少一個圖像的至少一個攝像機，所述至少一個攝像機拍攝真實環(huán)境的至少一個對象；與所述至少一個攝像機相關聯(lián)的至少一個取向傳感器，配置成產(chǎn)生所述至少一個攝像機的取向數(shù)據(jù)；與所述至少一個攝像機相關聯(lián)的測量裝置，配置成測量所述至少一個攝像機和所述至少一個對象之間的距離；以及與所述至少一個攝像機耦合的處理裝置，其中所述處理裝置被配置成 從所述距離產(chǎn)生距離數(shù)據(jù)，并利用所述距離數(shù)據(jù)和所述取向數(shù)據(jù)來確定所述至少一個攝像機相對于與所述真實環(huán)境的至少一個對象相關的坐標系的姿態(tài)。
28.根據(jù)權利要求27所述的系統(tǒng)，其中所述系統(tǒng)包括在移動裝置中。
29.根據(jù)權利要求觀所述的系統(tǒng)，其中所述移動裝置為移動電話。
30.一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿態(tài)的方法，用于創(chuàng)作或增強現(xiàn)實應用中，所述方法包括由拍攝真實環(huán)境真實對象的攝像機產(chǎn)生包括至少一個圖像的第一圖像； 從與所述攝像機相關聯(lián)的至少一個取向傳感器或從算法或通過用戶交互產(chǎn)生第一取向數(shù)據(jù)，所述算法分析所述第一圖像以找到并確定表示所述攝像機取向的特征；分配所述攝像機到所述第一圖像中顯示的真實環(huán)境的真實對象的距離，并產(chǎn)生表示所分配的攝像機到真實對象距離的距離數(shù)據(jù)；利用所述距離數(shù)據(jù)和所述第一取向數(shù)據(jù)來確定所述攝像機相對于與所述第一圖像中的所述真實環(huán)境的真實對象相關的坐標系的姿態(tài)；由拍攝所述真實環(huán)境真實對象的所述攝像機產(chǎn)生第二圖像；從所述第一圖像和所述第二圖像提取至少一個相應特征，并匹配所述至少一個相應特征，以提供表示所述第一圖像和所述第二圖像之間對應關系的至少一個關系；提供所述攝像機相對于與所述第一圖像中真實對象相關的坐標系的姿態(tài)，并利用所述攝像機相對于與所述第一圖像中真實對象相關的坐標系的姿態(tài)和所述至少一個關系來確定所述攝像機相對于與所述第二圖像中真實對象相關的第二坐標系的姿態(tài)；以及從所述第一圖像和所述第二圖像提取至少一個第二相應特征，用于確定所述第一圖像和所述第二圖像中的地平面并移動放置坐標系以定位在所述地平面上。
全文摘要
一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿態(tài)的方法，用于創(chuàng)作/增強現(xiàn)實應用中，所述方法包括由拍攝真實環(huán)境真實對象的攝像機產(chǎn)生第一圖像；從與所述攝像機相關聯(lián)的至少一個取向傳感器或從算法產(chǎn)生第一取向數(shù)據(jù)，所述算法分析所述第一圖像以找到并確定表示所述攝像機取向的特征；分配攝像機到真實對象的距離；產(chǎn)生表示所分配距離的距離數(shù)據(jù)；利用所述距離數(shù)據(jù)和所述第一取向數(shù)據(jù)確定所述攝像機相對于與所述真實環(huán)境的真實對象相關的坐標系的姿態(tài)?？梢砸愿俚奶幚硪蠛?或更高處理速度，在移動裝置中執(zhí)行，移動裝置例如是具有顯示器、攝像機和取向傳感器的移動電話。
文檔編號G06T7/00GK102395997SQ201080016314
公開日2012年3月28日 申請日期2010年2月12日 優(yōu)先權日2009年2月13日
發(fā)明者B·布拉赫尼茨基, P·邁爾, S·本希馬內(nèi), S·米斯林格 申請人:Metaio有限公司