專利名稱：在真實(shí)環(huán)境的視圖中顯示虛擬信息的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在真實(shí)環(huán)境的視圖中顯示虛擬信息的方法，其中，提供用于在真實(shí)環(huán)境的視圖中顯不虛擬信息的系統(tǒng)，確定該系統(tǒng)的至少一個部分相對于真實(shí)環(huán)境的至少一個部分的當(dāng)前位姿。
背景技術(shù)：
在現(xiàn)有技術(shù)中，使用所謂的增強(qiáng)現(xiàn)實(shí)(AR)技術(shù)，用虛擬信息或者對象對至少一個照相機(jī)生成的一幅圖像或一些圖像進(jìn)行擴(kuò)增的應(yīng)用是已知的。在該應(yīng)用中，耦接到諸如微處理器之類的處理單元的照相機(jī)拍攝真實(shí)環(huán)境的圖片，其中該真實(shí)環(huán)境在顯示屏上以視圖方式向用戶顯示，除真實(shí)環(huán)境之外還可以顯示虛擬對象，使得使用任意種類的虛擬對象對顯示屏上顯示的真實(shí)環(huán)境進(jìn)行擴(kuò)增。作為顯示，可以使用(例如，諸如智能電話之類的移動設(shè)備的)顯示屏或者光學(xué)式透視顯示設(shè)備(例如，半透明帶在頭上的顯示器)。在該應(yīng)用中， 為了擴(kuò)增具有虛擬對象的圖像，需要微處理器確定照相機(jī)關(guān)于真實(shí)環(huán)境的至少一個對象的當(dāng)前位置和方位(本領(lǐng)域稱為“位姿”)，以便微處理器對具有任何虛擬對象的所捕獲圖像進(jìn)行正確地?cái)U(kuò)增。在該上下文中，對具有任何虛擬對象的所捕獲圖像進(jìn)行正確地?cái)U(kuò)增，意味著以虛擬對象適合于該圖像的場景的方式來顯示這些虛擬對象。在過去，可以獲得關(guān)于增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)技術(shù)的各種公開。本申請關(guān)注于生成對虛擬、基于位置的信息進(jìn)行顯示的改進(jìn)方法的細(xì)節(jié)方面。具體而言，在增強(qiáng)現(xiàn)實(shí)中，在真實(shí)環(huán)境的視圖中顯示虛擬信息的多種概念是公眾可獲得的。在虛擬現(xiàn)實(shí)中，“細(xì)節(jié)水平”的概念是已知的。這里，可以根據(jù)顯示系統(tǒng)的圖形能力或者與對象的距離，來顯示虛擬對象的不同描繪。本發(fā)明解決了隨著移動設(shè)備和基于位置的服務(wù)變得可用和普及，才在近年來變得突出的問題?；谖恢玫姆?wù)，特別是將虛擬數(shù)據(jù)覆蓋在真實(shí)世界視圖的之上的服務(wù)(例如，照相機(jī)圖像或者通過半透明顯示或通過投影方式，周圍環(huán)境上的投影信息)，通常依賴于不同的位置單元(可選)和獲得方位的單元(可選)。換言之，使用AR技術(shù)的基于位置的服務(wù)，通常使用位姿確定單元。該單元可以使用來自隨著用戶/設(shè)備移動的傳感器(內(nèi)至外的裝置)的數(shù)據(jù)，或者從外部對用戶的移動進(jìn)行測量的傳感器(外至內(nèi)的裝置)的數(shù)據(jù)。作為簡化，其在下文和貫穿整個申請中稱為“位姿”，其可以是處于1、2或者3自由度的位置或者處于不同的自由度的位置和方位或者僅僅方位。位姿可以是相對于以地球?yàn)橹行牡淖鴺?biāo)系統(tǒng)或者(例如，大型建筑物的)任何其它坐標(biāo)系統(tǒng)。相對于坐標(biāo)系統(tǒng)，直接或者間接地放置虛擬信息。在本領(lǐng)域的規(guī)定中描述了確定信息系統(tǒng)關(guān)于坐標(biāo)系統(tǒng)的位姿的多種方法。例如，這些方法中的一些使用GPS、指南針、或者重力傳感器，其它方法依賴于圖像或者距離測量設(shè)備，多種其它方法也是已知的。通常，這些方法對不同的傳感器進(jìn)行組合來估計(jì)位姿，或者根據(jù)它們的可用性，在不同的傳感器系統(tǒng)之間進(jìn)行切換。有時，還將整個方法從一種類型的位姿確定方法切換到另一種類型的位姿確定方法。
此外，不同的傳感器和/或不同的位姿確定方法在確定位姿時，具有不同的準(zhǔn)確度。例如，與用于確定位姿的基于光學(xué)的跟蹤方法(其按照更高水平的準(zhǔn)確度操作(或者較低水平的不準(zhǔn)確度，例如，以較低的不準(zhǔn)確度操作))相比，基于GPS傳感器的位姿確定方法按照較低水平的準(zhǔn)確度進(jìn)行操作(或者更高水平的不準(zhǔn)確度，例如，以更高的不準(zhǔn)確度操作)。與各種類型的真實(shí)世界場景相組合，當(dāng)在真實(shí)世界的視圖中顯示虛擬信息時，這可能導(dǎo)致問題。例如，可以存在一些場景，其中在這些場景中，按照相當(dāng)高水平的準(zhǔn)確度來顯示虛擬信息以適合該場景，例如當(dāng)真實(shí)世界的詳細(xì)程度在顯示該虛擬信息的位置處相當(dāng)?shù)馗?例如，在與該用戶相當(dāng)接近的真實(shí)世界的區(qū)域中)。在該情況下，位姿準(zhǔn)確度的方面是相當(dāng)重要的。另一方面，還可以存在真實(shí)世界的詳細(xì)程度在顯示該虛擬信息的位置處相當(dāng)?shù)氐偷膱鼍?例如，在與該用戶相當(dāng)遠(yuǎn)距離的真實(shí)世界的區(qū)域中)，在該情況下，位姿準(zhǔn)確度的方面不太重要。
因此，在考慮上面所提及的方面的情況下，提供在真實(shí)環(huán)境的視圖中顯示虛擬信息的方法將是有利的。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，提供了一種在真實(shí)環(huán)境的視圖中顯示虛擬信息的方法，該方法包括下面的步驟提供用于在真實(shí)環(huán)境的視圖中顯示虛擬信息的系統(tǒng)，確定該系統(tǒng)的至少一個部分相對于真實(shí)環(huán)境的至少一個部分的當(dāng)前位姿，提供該當(dāng)前位姿的準(zhǔn)確度信息，提供多條虛擬信息，向所述多條虛擬信息中的各條虛擬信息分配指示不同的位姿準(zhǔn)確度信息的不同參數(shù)中的一個，根據(jù)或者依據(jù)與所述多條虛擬信息中的至少一條的分配的參數(shù)有關(guān)的當(dāng)前位姿的準(zhǔn)確度信息，在真實(shí)環(huán)境的視圖中顯示所述多條虛擬信息中的所述至少一條虛擬信息。例如，所述準(zhǔn)確度信息包含關(guān)于位姿確定的準(zhǔn)確度或者不準(zhǔn)確度的信息。在本發(fā)明的一個實(shí)施例中，所述準(zhǔn)確度信息包含關(guān)于不準(zhǔn)確度的信息。通常，將不準(zhǔn)確度(其是本領(lǐng)域中通常公知的術(shù)語)理解為用于規(guī)定值(目前情況下，與位姿確定相關(guān)聯(lián)的值)的偏差的參數(shù)。但是，本發(fā)明可以結(jié)合用于指示位姿準(zhǔn)確度的任意類型的信息來使用。在該方面，對于熟練技術(shù)人員來說顯而易見的是，準(zhǔn)確度信息包括指示不準(zhǔn)確度的信息(其中術(shù)語“準(zhǔn)確度”和“不準(zhǔn)確度”通常可在本領(lǐng)域中互換地使用)。例如，根據(jù)本發(fā)明，依據(jù)當(dāng)前位姿的準(zhǔn)確度信息是否超過所述多條虛擬信息中的至少一條的分配的參數(shù)，在真實(shí)環(huán)境的視圖中顯示所述多條虛擬信息中的所述至少一條虛擬信息。根據(jù)一個實(shí)施例，通過跟蹤系統(tǒng)自己的準(zhǔn)確度裝置，通過自從位姿估計(jì)裝置上一次成功位姿估計(jì)之后經(jīng)過的時間，或者通過該系統(tǒng)的位置或者位置的改變，來確定當(dāng)前位姿的準(zhǔn)確度信息和/或準(zhǔn)確度信息的改變。根據(jù)另一個實(shí)施例，分別地針對位姿的每一個分量(自由度)或者分別針對方位和位置，來確定準(zhǔn)確度信息，該方法包括向所述多條虛擬信息中的各條虛擬信息分配指示不同的位姿準(zhǔn)確度信息的不同參數(shù)中的一個。在原理上，本發(fā)明可以用于能夠提供基于AR的服務(wù)的任何類型系統(tǒng)。例如，該方法可以用于諸如移動電話之類的移動設(shè)備，這是由于今天的多種移動電話提供增強(qiáng)現(xiàn)實(shí)所必需的各種組件，例如，高分辨率照相機(jī)和顯示器、加速計(jì)、方位傳感器、GPS、WLAN和/或無線鏈路所實(shí)現(xiàn)的無線連接。


通過下面的實(shí)施例的公開，本發(fā)明的其它方面、實(shí)施例和優(yōu)點(diǎn)特征變得顯而易見?，F(xiàn)結(jié)合附圖來更詳細(xì)地描述本發(fā)明，其中附圖描繪了本發(fā)明的各個實(shí)施例。圖I示出了可以在其中使用本發(fā)明的實(shí)施例的示例性AR場景的示意性視圖；圖2示出了根據(jù)本發(fā)明的一個實(shí)施例的方法的流程圖視圖；以及圖3示出了根據(jù)本發(fā)明的另一個實(shí)施例的方法的流程圖視圖。
具體實(shí)施例方式圖I示出了可以在其中使用本發(fā)明的實(shí)施例的示例性AR場景的示意性視圖。具體而言，在可以使用本發(fā)明的可能場景的示例中，圖I示出了展覽會的鳥瞰圖。用戶7持移動設(shè)備8接收關(guān)于不同的公司的虛擬信息，產(chǎn)生展覽會場的呈現(xiàn)。移動設(shè)備是用于在真實(shí)環(huán)境的視圖中顯示虛擬信息的系統(tǒng)的可能實(shí)現(xiàn)。但是，本發(fā)明并不受此限制，而是可以使用任意類型的AR系統(tǒng)。例如，用于在真實(shí)環(huán)境的視圖中顯示虛擬信息的系統(tǒng)還可以是分布式系統(tǒng)，其中在分布式系統(tǒng)中，處理器、顯示器和/或照相機(jī)等等不包含在同一殼體之內(nèi)。通常，可以用于實(shí)現(xiàn)本發(fā)明的用于在真實(shí)環(huán)境的視圖中顯示虛擬信息的系統(tǒng)，并入照相機(jī)(沒有示出)或者與照相機(jī)耦合，以生成真實(shí)世界的至少一幅圖像，例如包含如圖所示的真實(shí)對象1、2、3、4。提供該照相機(jī)用于捕獲真實(shí)環(huán)境的圖像，該照相機(jī)耦合到用于提供真實(shí)環(huán)境的視圖的顯示屏(例如，其在面向用戶7的移動設(shè)備8的一側(cè)提供)。但是，也可 以使用適合于向用戶顯示的任何其它圖像顯示單元，例如，半透明帶在頭上的顯示器或者任何其它類型的移動或靜止顯示設(shè)備。此外，該系統(tǒng)還包括處理設(shè)備(沒有示出)，后者可以是例如微處理器。在本實(shí)現(xiàn)中，處理設(shè)備與移動設(shè)備8相連接，或者并入到移動設(shè)備8中。在特定的非限制性應(yīng)用中，移動設(shè)備8可以是具有集成的方位傳感器、照相機(jī)、觸摸屏和處理設(shè)備的移動電話。此外，移動設(shè)備8可以包括加速計(jì)、GPS、由WLAN和/或無線鏈路實(shí)現(xiàn)的無線連接。為了本發(fā)明的描繪起見，這些組件也可以分布在不同的應(yīng)用中和/或用于不同的應(yīng)用。此外，它們可以以有線或無線方式進(jìn)行彼此耦合。根據(jù)另一個實(shí)施例，該系統(tǒng)或移動設(shè)備還可以分別是位于汽車或者任何其它車輛之內(nèi)的固定安裝部件。上面的組件中的一個或多個可以用于確定該系統(tǒng)的至少一個部分相對于真實(shí)環(huán)境的至少一個部分的當(dāng)前位姿。在確定當(dāng)前位姿時，還提供當(dāng)前位姿的準(zhǔn)確度信息。例如，當(dāng)通過GPS的方式確定位姿時，提供40的不準(zhǔn)確度(其指示40米的不準(zhǔn)確度)，而當(dāng)通過光跟蹤的方式確定位姿時，提供I的不準(zhǔn)確度(其指示I米的不準(zhǔn)確度)。在該情況下，該不準(zhǔn)確度分別指示可能的位姿值在40m或者Im的范圍之內(nèi)的偏差。在本領(lǐng)域的描述中，還通過期望的誤差值和不準(zhǔn)確度來描述系統(tǒng)的準(zhǔn)確度，所有這些不同的規(guī)定并不改變本發(fā)明的概念的指示。本文只是期望系統(tǒng)根據(jù)其模擬的方式，對準(zhǔn)確度規(guī)定起作用。在移動設(shè)備8的顯示單元上，可以通過根據(jù)照相機(jī)的位姿，在視圖中顯示與真實(shí)環(huán)境疊加的虛擬信息，來使用諸如POI (“感興趣點(diǎn)”，其通常稱為Ρ0Ι)之類的虛擬信息來擴(kuò)增真實(shí)環(huán)境的圖像。例如，照相機(jī)的位姿可以是關(guān)于真實(shí)對象1、2、3或4的位姿。為此，可以關(guān)于某個坐標(biāo)系統(tǒng)(沒有示出)來確定該位姿，其中該坐標(biāo)系統(tǒng)與真實(shí)世界的各對象相關(guān)聯(lián)。在圖I的場景中，存在具有不同區(qū)域(例如，5和6)的兩個主建筑物I和2。在每一個區(qū)域上，存在向展覽會的公眾顯示的不同產(chǎn)品3、4。根據(jù)本發(fā)明，不僅根據(jù)位姿，還根據(jù)位姿估計(jì)方法的準(zhǔn)確度(或者組合)，向用戶7呈現(xiàn)不同的虛擬視覺。為此，移動設(shè)備8中的系統(tǒng)保持或者存取多條虛擬信息(例如，多個POI )，其中向所述多條虛擬信息中的各條虛擬信息分配指示不同的位姿估計(jì)信息或者與不同的位姿估計(jì)信息有關(guān)的不同參數(shù)中的至少一個(比較，圖2和圖3中獲取這些參數(shù)的步驟2. O)。例如，向與建筑物1、2中的一個相關(guān)聯(lián)的POI分配指示40米的位姿準(zhǔn)確度信息(例如，不準(zhǔn)確度)的參數(shù)。另一方面，向與產(chǎn)品3、4中的一個相關(guān)聯(lián)的POI分配指示I米的位姿準(zhǔn)確度信息(例如，不準(zhǔn)確度)的參數(shù)。例如，如果用戶7位于建筑物1、2之外，則他只獲得顯示與這些建筑物有關(guān)的POI的指示，這是由于該移動設(shè)備的位姿是使用具有相當(dāng)高的不準(zhǔn)確度(相當(dāng)?shù)偷臏?zhǔn)確度)的 GPS和指南針來確定的。由于該準(zhǔn)確度是大約40米，因此不顯示關(guān)于區(qū)域5、6和產(chǎn)品3、4的信息。用戶可能現(xiàn)在移動到建筑物2之內(nèi)，其中在該建筑物中，可以使用更準(zhǔn)確的位姿估計(jì)方法，例如，增加的無線LAN定位裝置?，F(xiàn)在，位姿確定的不準(zhǔn)確度可以是大約10米?，F(xiàn)在，關(guān)于建筑物1、2的多條虛擬信息可以消失，而關(guān)于不同的區(qū)域5、6的多條虛擬信息(例如，Ρ0Ι)出現(xiàn)。用戶7可以使用該信息來確定方位，導(dǎo)航到他選擇的區(qū)域。當(dāng)?shù)竭_(dá)區(qū)域6時，啟動光跟蹤裝置，其訓(xùn)練有該區(qū)域的數(shù)據(jù)或者QR編碼(QR意味著快速響應(yīng)，其在物流和移動領(lǐng)域是通常公知的術(shù)語)，或者可以檢測保持位置信息的標(biāo)記。現(xiàn)在，準(zhǔn)確度改變到I米或者更小。在該時刻，虛擬產(chǎn)品信息(例如，如3D覆蓋)可以出現(xiàn)，并顯示給用戶。在該情況下，關(guān)于區(qū)域5、6的虛擬信息也保持可視。為了提供當(dāng)前位姿的準(zhǔn)確度信息，或者檢測準(zhǔn)確度何時發(fā)生改變，可以使用不同的裝置?？梢愿鶕?jù)位姿估計(jì)方法本身，或者通過不同的各位姿估計(jì)方法的不同準(zhǔn)確度的融合，來獲取準(zhǔn)確度信息。例如，I)時間該系統(tǒng)可以假定，在沒有從更準(zhǔn)確的跟蹤系統(tǒng)接收高準(zhǔn)確度結(jié)果的某個時間之后，整個系統(tǒng)準(zhǔn)確度適合于傳送數(shù)據(jù)的傳感器的準(zhǔn)確度。例如，在掃描QR碼(“快速響應(yīng)”，本領(lǐng)域公知的標(biāo)準(zhǔn)編碼)或者對象的光檢測之后，系統(tǒng)假定某個時間量(例如，30秒)的更高準(zhǔn)確度。根據(jù)位姿估計(jì)裝置或者位置(例如，假定在掃描QR碼之后，用戶在某個位置花用了某個數(shù)量的時間)，該時間跨度的持續(xù)時間是可配置的。2)當(dāng)前位置或者基于移動的預(yù)測的位置對于多種位姿確定系統(tǒng)來說，該系統(tǒng)操作的覆蓋區(qū)域是已知的。例如，如果使用安裝在屋頂?shù)恼障鄼C(jī)來確定用戶的位置，則只要該用戶移出此照相機(jī)的視野，準(zhǔn)確度就發(fā)生改變。對于例如依賴于在安裝照相機(jī)的設(shè)備的照相機(jī)圖像中檢測對象的系統(tǒng)來說，通?？赡艿膶ο髾z測和跟蹤的區(qū)域是已知的。如果用戶移出該區(qū)域之外，則可以立即重新設(shè)置整個系統(tǒng)的準(zhǔn)確度。一些位姿確定單元不僅依賴于關(guān)于已知坐標(biāo)系統(tǒng)的絕對測量，而且還基于運(yùn)動傳感器或者照相機(jī)圖像來跟蹤該位姿與前一位姿的關(guān)系(例如，使用光學(xué)流，參見下面的改進(jìn)使用“Hybrid Tracking ApproachUsing Optical Flow And Pose Estimation，，,Muriel Pressigout, Eric Marchand, EtienneMemin, IEEE Int. Conf. on Image Processing, ICIP，08 (2008)。如果用戶例如掃描QR碼(其具有在該編碼中編碼的位置)，則只要用戶移動離開，準(zhǔn)確度就急劇地下降。使用如J. H. Rieger, D. T. Lawton在SIGGRAPH Comput.Graph.18, I(January 1984),24-24 中的“Determining the instantaneous axis oftranslation from optic flow generated by arbitrary sensor motion，，里所描述的裝置，可以檢測該移動。此外，針對位姿的不同組成部分，當(dāng)然可以分別地處理該裝置的準(zhǔn)確度。例如，使用旋轉(zhuǎn)傳感器來確定系統(tǒng)的方位，使用QR碼和GPS來確定該系統(tǒng)的位置。3)跟蹤系統(tǒng)自己的準(zhǔn)確度裝置如上所述，例如 ，多個跟蹤系統(tǒng)具有它們特定的不準(zhǔn)確度確定方法，并可以動態(tài)地傳送不準(zhǔn)確度數(shù)據(jù)。因此，在本發(fā)明的方法中，根據(jù)與多條虛擬信息中的至少一條的分配的參數(shù)有關(guān)的當(dāng)前位姿的準(zhǔn)確度信息，在真實(shí)環(huán)境的視圖中顯示多條虛擬信息中的所述至少一條虛擬信息。換言之，該方法包括下面的步驟向不同的虛擬信息分配與準(zhǔn)確度信息有關(guān)的不同值，根據(jù)當(dāng)前位姿的準(zhǔn)確度來顯示這些信息。例如，如果當(dāng)前位姿的準(zhǔn)確度信息等于或者超過各個分配的參數(shù)所規(guī)定的閾值，則顯示或者不顯示各條虛擬信息，或者以不同的呈現(xiàn)或顯現(xiàn)方法等等來顯示。例如，在當(dāng)前位姿的準(zhǔn)確度信息等于或者超過某個閾值時，不顯示所述多條虛擬信息中的至少一條。在該方面，圖2顯示了根據(jù)本發(fā)明的一個實(shí)施例的方法的流程圖視圖。步驟I. O包括下面步驟確定當(dāng)前位姿的不準(zhǔn)確度(例如，10米)，而在步驟2. 0，獲取該位姿周圍的POI以及它們的不準(zhǔn)確度參數(shù)(例如，“最小不準(zhǔn)確度”=15m，“最大不準(zhǔn)確度”=5m)?？梢圆⑿械鼗蛘叽械剡\(yùn)行該處理的一部分(例如，POI不始終是新獲取的)。不準(zhǔn)確度越小，則當(dāng)前跟蹤越佳?！白畲蟛粶?zhǔn)確度”指定僅顯示良好跟蹤的對象。“最小不準(zhǔn)確度”指定僅顯示較差跟蹤的對象。這些值中的一個是可選的。在步驟3.0，判斷這些POI中的每一個是顯示還是沒有顯示。在第一可選子步驟中，判斷與該P(yáng)OI相關(guān)聯(lián)的真實(shí)環(huán)境的對象的距離是否小于指示與該對象的距離的參數(shù)(“最大距離”)。如果是，并且如果當(dāng)前位姿的不準(zhǔn)確度小于“最大不準(zhǔn)確度”，則顯示該P(yáng)OI。如果不是，并且如果當(dāng)前位姿的不準(zhǔn)確度大于“最小不準(zhǔn)確度”，則不顯示該P(yáng)OI。但是，如果當(dāng)前位姿的不準(zhǔn)確度等于或者小于“最小不準(zhǔn)確度”，則顯示該P(yáng)OI。在該情況下，當(dāng)前位姿的不準(zhǔn)確度處于兩個參數(shù)“最小不準(zhǔn)確度”和“最大不準(zhǔn)確度”之間的范圍之內(nèi)。當(dāng)然，為了避免在較短的時間之內(nèi)進(jìn)行過多的切換，還可以給予這些值另外的值，其不僅期望高于和低于某個閾值，還期望在某個時間量之內(nèi)進(jìn)行某種改變。因此，在當(dāng)前位姿的準(zhǔn)確度信息位于第一范圍之內(nèi)時，顯示第一數(shù)量的多條虛擬信息(Ρ0Ι)，在當(dāng)前位姿的準(zhǔn)確度信息位于與第一范圍不相同的第二范圍之內(nèi)時，顯示第二數(shù)量的多條虛擬信息(Ρ0Ι)。例如，在該準(zhǔn)確度到達(dá)某個閾值時，不顯示一些POI (例如，當(dāng)準(zhǔn)確度較高時，顯示一些POI，當(dāng)準(zhǔn)確度較低時，顯示其它POI )。本發(fā)明的一個實(shí)施例包括下面步驟將多條虛擬信息進(jìn)行聚類，根據(jù)所聚類的多條虛擬信息，生成一條上位的虛擬信息，向所述上位的虛擬信息分配指示位姿準(zhǔn)確度信息的參數(shù)，其中該參數(shù)與分配給所聚類的多條虛擬信息的參數(shù)不相同。用此方式，當(dāng)顯示多條虛擬信息沒有意義時，可以生成要顯示的單一虛擬信息(例如，通過對本地、細(xì)節(jié)信息進(jìn)行聚類，因此生成單一的一條信息，來根據(jù)信息自動地生成不同程度的準(zhǔn)確度。如，將與圖I的產(chǎn)品3和4有關(guān)的虛擬信息進(jìn)行聚類，通過其生成上位的虛擬信息，該信息自動地關(guān)聯(lián)到區(qū)域6，并當(dāng)與產(chǎn)品3、4有關(guān)的虛擬信息的不準(zhǔn)確度參數(shù)相比，當(dāng)前位姿不準(zhǔn)確度更高時進(jìn)行顯示)。本發(fā)明的一個實(shí)施例包括下面步驟向所述多條虛擬信息中的各條虛擬信息分配指示距離的各第二參數(shù)，確定系統(tǒng)的至少一個部分與真實(shí)環(huán)境的至少一個部分的當(dāng)前距離，根據(jù)或者依據(jù)該當(dāng)前距離是否超過所述多條虛擬信息中的至少一條的分配的第二參數(shù)，在真實(shí)環(huán)境的視圖中顯示多條虛擬信息中的所述至少一條虛擬信息。因此，可以根據(jù)指示最大距離的另外POI參數(shù)(第二參數(shù))來顯示信息，其中在該距離處，使信息顯示有意義。如果當(dāng)前距離超過該P(yáng)OI參數(shù)，則不顯示各個POI。根據(jù)本發(fā)明的另外實(shí)施例，提供當(dāng)前位姿的準(zhǔn)確度信息包括根據(jù)是使用光學(xué)位姿確定方法還是非光學(xué)位姿確定方法，區(qū)分當(dāng)前位姿的準(zhǔn)確度信息。本發(fā)明的一個實(shí)施例包括下面步驟根據(jù)下面二者的組合，在真實(shí)環(huán)境的視圖中顯示多條虛擬信息中的至少一條虛擬信息當(dāng)前位姿的準(zhǔn)確度信息、系統(tǒng)的至少一個部分 和與真實(shí)環(huán)境有關(guān)的多條虛擬信息中的至少一條的位置的距離(例如，在低準(zhǔn)確度時，不顯示近處的虛擬信息，但在低準(zhǔn)確度時，顯示遠(yuǎn)處的虛擬信息，這是由于距離越遠(yuǎn)，則位置不準(zhǔn)確度的影響越低)。本發(fā)明的一個實(shí)施例包括根據(jù)當(dāng)前位姿的準(zhǔn)確度信息，使用不同的呈現(xiàn)或顯現(xiàn)方法，在真實(shí)環(huán)境的視圖中顯示所述多條虛擬信息中的至少一條(例如，低準(zhǔn)確度情況下的浮動圖像和高準(zhǔn)確度情況下的3D對象)。在該方面，圖3示出了根據(jù)本發(fā)明的另一個實(shí)施例的方法的流程圖視圖?；旧?，可以獨(dú)立地實(shí)現(xiàn)如圖3中所示的處理，也可以結(jié)合如圖2中所示的處理來實(shí)現(xiàn)如圖3中所示的處理。在圖3的所示實(shí)施例中，步驟I. O和2. O基本上與圖2中的相同。在步驟2.0，規(guī)定了在如圖所示的步驟3. O中使用的另外參數(shù)“max_uncertainty_levell (最大不準(zhǔn)確度水平I)”和“max_uncertainty+level2 (最大不準(zhǔn)確度水平2)”。在步驟3. O,確定每一條虛擬信息(例如，Ρ0Ι)的顯示方法。這些子步驟與圖2的子步驟類似，或者如圖3中所指示的步驟3. IA到3. IC中的結(jié)果可與圖2進(jìn)行比較。具體而言，在步驟3.0中，確定如何顯示Ρ0Ι。如果當(dāng)前位姿的不準(zhǔn)確度小于“最大不準(zhǔn)確度水平1”，則將各POI顯示成3D模型。如果不是，并且如果當(dāng)前位姿的不準(zhǔn)確度小于“最大不準(zhǔn)確度水平2”，則將各POI顯示成圖像覆蓋。否則，不顯示各Ρ0Ι?；旧?，可以規(guī)定能與“最大不準(zhǔn)確度水平I”和“最大不準(zhǔn)確度水平2”進(jìn)行比較的任意數(shù)量的水平。本發(fā)明的一個實(shí)施例包括在當(dāng)前位姿的較高準(zhǔn)確度的情況下，在真實(shí)環(huán)境上正確地透視覆蓋的真實(shí)環(huán)境的視圖中，顯示所述多條虛擬信息中的至少一條，在當(dāng)前位姿的較低準(zhǔn)確度的情況下，在非正確地覆蓋的真實(shí)環(huán)境的視圖中，顯示所述多條虛擬信息中的至少一條。本發(fā)明的一個實(shí)施例包括提供能夠以第一模式提供增強(qiáng)現(xiàn)實(shí)視圖和以第二模式提供地圖視圖的信息系統(tǒng)，其中，在增強(qiáng)現(xiàn)實(shí)視圖中，而不是在地圖視圖中，執(zhí)行根據(jù)當(dāng)前位姿的準(zhǔn)確度信息來顯示多條虛擬信息中的至少一條的步驟。同樣，在增強(qiáng)現(xiàn)實(shí)視圖中，而不是在地圖視圖中，考慮每一條虛擬信息的準(zhǔn)確度信息。
本發(fā)明的另外實(shí)施例包括不僅根據(jù)當(dāng)前位姿的準(zhǔn)確度信息，而且還根據(jù)關(guān)于真實(shí)環(huán)境中的遮擋對象的距離和/或信息，和/或系統(tǒng)的顯示器關(guān)于針對真實(shí)環(huán)境所固定的坐標(biāo)系統(tǒng)的當(dāng)前速度，確定一條虛擬信息的繪畫風(fēng)格的可見度。雖然參照示例性實(shí)施例描述了本發(fā)明，但本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解的是，在不脫離權(quán)利要求書的保護(hù)范圍的基礎(chǔ)上，可以進(jìn)行各種改變，針對其組成元素用等同物替代。因此，本發(fā)明并不旨在限于所公開的具體實(shí)施例，而是本發(fā)明包括落入所附權(quán)利要求書 的保護(hù)范圍之內(nèi)的所有實(shí)施例。
權(quán)利要求
1.一種用于在真實(shí)環(huán)境的視圖中顯示虛擬信息的方法，包括下面的步驟 -提供用于在真實(shí)環(huán)境的視圖中顯示虛擬信息的系統(tǒng)， -確定所述系統(tǒng)的至少ー個部分相對于所述真實(shí)環(huán)境的至少ー個部分的當(dāng)前位姿，提供所述當(dāng)前位姿的準(zhǔn)確度信息， -提供多條虛擬信息，向所述多條虛擬信息中相應(yīng)的一條虛擬信息分配指示不同的位姿準(zhǔn)確度信息的不同參數(shù)中的ー個， -根據(jù)與至少一條虛擬信息的所分配參數(shù)有關(guān)的當(dāng)前位姿的準(zhǔn)確度信息，在所述真實(shí)環(huán)境的視圖中顯示所述至少一條虛擬信息。
2.根據(jù)權(quán)利要求I所述的方法，其中，所述準(zhǔn)確度信息包含關(guān)于不準(zhǔn)確度的信息。
3.根據(jù)權(quán)利要求I或2所述的方法，其中，當(dāng)所述當(dāng)前位姿的準(zhǔn)確度信息等于或者超過某個閾值時，不顯示所述多條虛擬信息中的至少一條。
4.根據(jù)權(quán)利要求3所述的方法，其中，當(dāng)所述當(dāng)前位姿的準(zhǔn)確度信息位于第一范圍吋，顯示第一數(shù)量的多條虛擬信息，當(dāng)所述當(dāng)前位姿的準(zhǔn)確度信息位干與所述第一范圍不相同的第二范圍時，顯示第二數(shù)量的多條虛擬信息。
5.根據(jù)權(quán)利要求I到4中的一個所述的方法，包括 -對多條虛擬信息進(jìn)行聚類， -根據(jù)所聚類的多條虛擬信息，生成一條上位的虛擬信息， -向所述上位的虛擬信息分配指示位姿準(zhǔn)確度信息的參數(shù)，其中該參數(shù)與分配給所聚類的多條虛擬信息的參數(shù)不相同。
6.根據(jù)權(quán)利要求I到5中的一個所述的方法，包括 -向所述多條虛擬信息中相應(yīng)的一條虛擬信息分配指示距離的相應(yīng)的第二參數(shù)， -確定所述系統(tǒng)的至少ー個部分至所述真實(shí)環(huán)境的至少ー個部分的當(dāng)前距離， -根據(jù)與至少一條虛擬信息的所分配第二參數(shù)有關(guān)的當(dāng)前距離，在所述真實(shí)環(huán)境的視圖中顯示所述至少一條虛擬信息。
7.根據(jù)權(quán)利要求I到6中的一個所述的方法，其中， 提供所述當(dāng)前位姿的準(zhǔn)確度信息包括根據(jù)是使用光學(xué)位姿確定方法還是非光學(xué)位姿確定方法，區(qū)分所述當(dāng)前位姿的準(zhǔn)確度信息。
8.根據(jù)權(quán)利要求I到7中的一個所述的方法，包括 根據(jù)下面二者的組合，在所述真實(shí)環(huán)境的視圖中顯示至少一條虛擬信息所述當(dāng)前位姿的準(zhǔn)確度信息、所述系統(tǒng)的至少ー個部分至與所述真實(shí)環(huán)境有關(guān)的所述至少一條虛擬信息的位置的距離。
9.根據(jù)權(quán)利要求I到8中的一個所述的方法，包括 根據(jù)所述當(dāng)前位姿的準(zhǔn)確度信息，使用不同的呈現(xiàn)或可視化方法，在所述真實(shí)環(huán)境的視圖中顯示所述至少一條虛擬信息。
10.根據(jù)權(quán)利要求I到9中的一個所述的方法，包括 在所述當(dāng)前位姿的較高準(zhǔn)確度的情況下，在所述真實(shí)環(huán)境上正確地透視覆蓋的所述真實(shí)環(huán)境的視圖中，顯示所述多條虛擬信息中的至少一條；在所述當(dāng)前位姿的較低準(zhǔn)確度的情況下，在非正確地透視覆蓋的所述真實(shí)環(huán)境的視圖中，顯示所述至少一條虛擬信息。
11.根據(jù)權(quán)利要求I到10中的一個所述的方法，還包括-提供能夠以第一模式提供增強(qiáng)現(xiàn)實(shí)視圖和以第二模式提供地圖視圖的信息系統(tǒng)， -其中，在所述增強(qiáng)現(xiàn)實(shí)視圖中，而不是在所述地圖視圖中，執(zhí)行根據(jù)所述當(dāng)前位姿的準(zhǔn)確度信息來顯示所述至少一條虛擬信息的步驟。
12.根據(jù)權(quán)利要求I到11中的一個所述的方法，包括 不僅根據(jù)所述當(dāng)前位姿的準(zhǔn)確度信息，而且還根據(jù)關(guān)于所述真實(shí)環(huán)境中的遮擋對象的距離和/或信息，和/或所述系統(tǒng)的顯示器關(guān)于針對所述真實(shí)環(huán)境固定的坐標(biāo)系統(tǒng)的當(dāng)前速度，確定一條虛擬信息的繪畫風(fēng)格的可見度。
13.根據(jù)權(quán)利要求I到12中的一個所述的方法，其中，通過跟蹤系統(tǒng)自己的準(zhǔn)確度裝置，通過自從位姿估計(jì)裝置上一次成功位姿估計(jì)之后經(jīng)過的時間，或者通過所述系統(tǒng)的位置或者位置的改變，來確定所述當(dāng)前位姿的準(zhǔn)確度信息和/或準(zhǔn)確度信息的改變。
14.根據(jù)權(quán)利要求I到13中的一個所述的方法，其中，分別地針對所述位姿的每ー個分量或者分別針對方位和位置，來確定所述準(zhǔn)確度信息，向所述多條虛擬信息中相應(yīng)的一條虛擬信息分配指示不同的位姿準(zhǔn)確度信息的不同參數(shù)中的ー個。
全文摘要
在真實(shí)環(huán)境的視圖中顯示虛擬信息的方法包括下面步驟提供用于在真實(shí)環(huán)境的視圖中顯示虛擬信息的系統(tǒng)，確定該系統(tǒng)的至少一個部分相對于真實(shí)環(huán)境的至少一個部分的當(dāng)前位姿，提供該當(dāng)前位姿的準(zhǔn)確度信息，提供多條虛擬信息，向所述多條虛擬信息中的各條虛擬信息分配指示不同的位姿準(zhǔn)確度信息的不同參數(shù)中的一個，根據(jù)與所述多條虛擬信息中的至少一條的分配的參數(shù)有關(guān)的當(dāng)前位姿的準(zhǔn)確度信息，在真實(shí)環(huán)境的視圖中顯示所述多條虛擬信息中的所述至少一條虛擬信息。
文檔編號G02B27/01GK102834799SQ201180011462
公開日2012年12月19日 申請日期2011年2月28日 優(yōu)先權(quán)日2010年3月1日
發(fā)明者P·邁耶 申請人:Metaio有限公司