用于在真實(shí)環(huán)境中表示虛擬信息的方法
【專利說明】用于在真實(shí)環(huán)境中表示虛擬信息的方法
[0001]本發(fā)明涉及一種用于在真實(shí)環(huán)境的視圖中表示虛擬信息的方法，該方法包括提供具有至少一個(gè)顯示裝置的系統(tǒng)設(shè)備的步驟，其中，該系統(tǒng)設(shè)備適于在顯示裝置上混和虛擬信息。本發(fā)明還涉及一種包括用于執(zhí)行該方法的軟件代碼部分的計(jì)算機(jī)程序產(chǎn)品。
[0002]已知增強(qiáng)現(xiàn)實(shí)(AR)系統(tǒng)通過提供將計(jì)算機(jī)生成的虛擬信息與真實(shí)環(huán)境的視圖或真實(shí)環(huán)境的一部分的視圖疊加的可視化來增強(qiáng)真實(shí)環(huán)境的信息。虛擬信息可以是任何類型的視覺可感知數(shù)據(jù)，例如對象、文本、圖畫、視頻及其組合。如本文中所理解的，真實(shí)環(huán)境的視圖或真實(shí)環(huán)境的一部分的視圖可以被用戶的眼睛感知為視覺印象，和/或可以通過相機(jī)，例如由用戶佩戴的或附接在用戶持有的裝置上的相機(jī)，作為一個(gè)或更多個(gè)圖像獲取。
[0003]疊加或混和的虛擬信息原則上可以是各種虛擬信息項(xiàng)。例如，可以增強(qiáng)真實(shí)環(huán)境的信息的虛擬信息項(xiàng)可以是感興趣的點(diǎn)，正如像在地圖或?qū)Ш綉?yīng)用中已知的。感興趣的點(diǎn)(POI)可以表示真實(shí)環(huán)境的真實(shí)對象(例如，建筑物或地標(biāo))的位置，并且經(jīng)常包括與該真實(shí)對象相關(guān)的數(shù)字內(nèi)容。例如，該位置為全球位置(例如，地理坐標(biāo)，如經(jīng)度和瑋度的2D坐標(biāo)或者經(jīng)度、瑋度和海拔高度的3D坐標(biāo))或郵政地址(例如，樓層、街道、郵政編碼、國家)。郵政地址和全球位置可以彼此轉(zhuǎn)換。POI的數(shù)字內(nèi)容可以包含各種數(shù)據(jù)，例如與真實(shí)對象相關(guān)的名稱、描述和聯(lián)系方式。
[0004]增強(qiáng)現(xiàn)實(shí)系統(tǒng)的一個(gè)主要功能是向真實(shí)環(huán)境的視圖疊加虛擬信息項(xiàng)，如感興趣的點(diǎn)(POI)。在基于位置的(移動)增強(qiáng)現(xiàn)實(shí)應(yīng)用例如用于探索城市環(huán)境的旅游向?qū)е?，這是特別有用且流行的，如本文在說明書的結(jié)尾所引用的參考文獻(xiàn)[1，2，4]中所描述的。例如，當(dāng)用戶處于新地方并想要獲得關(guān)于他們看見的事物的信息時(shí)，用戶可以使用增強(qiáng)現(xiàn)實(shí)應(yīng)用來將POI疊加至真實(shí)環(huán)境的視圖。在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，POI信息必須表示在真實(shí)環(huán)境中或真實(shí)環(huán)境的一部分中，使得其滿足期望的視覺感知和可用性。用于POI信息的大部分?jǐn)?shù)據(jù)源不會將與真實(shí)世界中的點(diǎn)相關(guān)的信息提供為具有多于一個(gè)的點(diǎn)或頂點(diǎn)的三維模型。本發(fā)明非常適合于處理由瑋度、經(jīng)度和可選的海拔高度以及另外的元信息所描述的虛擬信息項(xiàng)的可視化，該元信息包括文本和2D圖像信息。
[0005]已經(jīng)開發(fā)出用于改善在增強(qiáng)現(xiàn)實(shí)應(yīng)用中向真實(shí)環(huán)境的視圖混和或疊加POI信息的視覺感知和可用性的若干種方法。
[0006]POI的視距是指POI的位置與相機(jī)或用戶所處的位置之間的距離。POI的視向是指從相機(jī)或用戶所處的位置到POI的位置的方向。
[0007]Hoellerer等人在參考文獻(xiàn)[4]中提出:以對于用戶的觀看姿態(tài)而言正確的視角將POI顯示為虛擬標(biāo)志和標(biāo)簽，同時(shí)標(biāo)簽面對用戶并且無論距離如何都保持它們的大小以確?？勺x性。
[0008]增強(qiáng)現(xiàn)實(shí)系統(tǒng)面臨著更加有用地向用戶顯示POI的顯著技術(shù)挑戰(zhàn)。Uusitalo等人在參考文獻(xiàn)[I]中公開了一種基于對真實(shí)環(huán)境的分區(qū)來顯示POI信息的方法。該方法基于真實(shí)環(huán)境的視圖中的一個(gè)或多個(gè)分區(qū)來確定疊加一個(gè)或更多個(gè)POI。他們教導(dǎo)利用建筑物的平面圖或高度的知識將該建筑物分隔為各分區(qū)，并且將POI疊加至建筑物的圖像中的相應(yīng)分區(qū)。
[0009]當(dāng)POI具有相同的視向時(shí)，POI可以在增強(qiáng)現(xiàn)實(shí)應(yīng)用中被布置成逐次向后以用于顯示。在這一點(diǎn)上，上述POI中的一些可能不是可見的，因?yàn)槠淇赡茈[藏在其他POI后面。為此，Sandberg在參考文獻(xiàn)[2]中激發(fā)使具有相同視向的POI成組，然后以可見的方式顯示成組的POI。
[0010]Meier等人在參考文獻(xiàn)[3]中公開了一種通過基于區(qū)域到視點(diǎn)的距離將真實(shí)環(huán)境的視圖細(xì)分成多個(gè)區(qū)域來在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中實(shí)現(xiàn)POI的人機(jī)工程學(xué)(ergonmic)表示的方法。
[0011]增強(qiáng)現(xiàn)實(shí)系統(tǒng)通常將POI不透明地疊加在真實(shí)環(huán)境的視圖的頂部。在圖9中示出了一種示例性場景，其中POI在真實(shí)環(huán)境51的圖像81的頂部疊加為不透明標(biāo)簽92、93、94、95、96、97、98和99。以這種方式，POI表示(例如，不透明標(biāo)簽)遮擋真實(shí)環(huán)境的圖像或真實(shí)環(huán)境的圖像的一部分。Sandberg在參考文獻(xiàn)[2]中以及Uusitalo等人在參考文獻(xiàn)[I]中也將POI的圖標(biāo)和標(biāo)簽不透明地疊加到真實(shí)環(huán)境的圖像。這使得用戶難以從疊加的POI快速并直觀地理解真實(shí)環(huán)境。
[0012]真實(shí)環(huán)境的真實(shí)對象有時(shí)可能在真實(shí)環(huán)境的視圖中不是可見的，原因在于從視點(diǎn)來看該對象可能被置于其前方的真實(shí)對象遮擋。在圖8中示出了一個(gè)示例(示出了圖9在不具有POI的情況下的場景)，其中真實(shí)環(huán)境51中的真實(shí)對象(建筑物)D(參照圖7)在該環(huán)境的圖像81中不可見。在這種情況下，在真實(shí)環(huán)境的視圖的頂部簡單地疊加與被遮擋對象相關(guān)的POI (如圖9所示)可能會以下述方式使用戶混淆:用戶可能錯(cuò)誤地使POI與視圖中可見的前方對象相關(guān)。在圖9的示例中，用戶可能會使POI信息93、94、95、96、97和98與真實(shí)對象(建筑物)A相關(guān)，而表示P0I_7和P0I_8的97和98與建筑物A不相關(guān)。
[0013]因此，可能期望以與可見的前方對象不同的方式，更具體地以用戶可以直觀地感知遮擋效果的方式來使與被遮擋對象相關(guān)的POI可視化。例如，與被遮擋對象相關(guān)的POI可以以半透明或虛線的方式示出，而與前方對象相關(guān)的POI可以以不透明、實(shí)線或不同顏色的方式示出。
[0014]Meier等人在參考文獻(xiàn)[3]中教導(dǎo)了使用沿著從視點(diǎn)到真實(shí)環(huán)境的POI的視向的深度，以便確定是否以遮擋模型來顯示該Ρ0Ι。根據(jù)參考文獻(xiàn)[3]，如果該P(yáng)OI具有長于上述深度的視距，則該P(yáng)OI以遮擋方式即半透明或虛線的方式進(jìn)行顯示。
[0015]真實(shí)環(huán)境的真實(shí)對象通常占據(jù)作為3D空間中的體積的三維空間，而與真實(shí)對象相關(guān)的POI表示作為3D空間中的點(diǎn)的位置。POI位置可以被分配到與POI相關(guān)的真實(shí)對象內(nèi)的任何地方。因此，從視點(diǎn)來看真實(shí)對象可能是可見的，而POI具有比沿著至真實(shí)對象的視向的估計(jì)深度長的視距。例如，建筑物(如，購物商場)在真實(shí)環(huán)境的視圖中是可見的，而與該建筑物相關(guān)的POI的視距比從視點(diǎn)到建筑物的外表面(如壁)的深度長。
[0016]在圖5、圖6、圖7和圖8中，描繪了下述示例:其中，真實(shí)對象A在圖像81中可見，而相對于視點(diǎn)71，與A相關(guān)的P0I_3 (圖7)比A更遠(yuǎn)。在這種情況下，Meier等人在參考文獻(xiàn)[3]中公開的方法會導(dǎo)致向真實(shí)環(huán)境的視圖疊加POI的不正確遮擋感知。
[0017]增強(qiáng)現(xiàn)實(shí)的空間中的普遍問題在于:人們很容易構(gòu)建具有好看的增強(qiáng)現(xiàn)實(shí)體驗(yàn)的實(shí)物模型或幻想電影，但是未考慮和未解決為了實(shí)現(xiàn)這樣的體驗(yàn)的細(xì)節(jié)問題。
[0018]POI表示位于另一真實(shí)對象內(nèi)的真實(shí)對象的情況對于在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中正確顯示該P(yáng)OI而言可能更具挑戰(zhàn)性。例如，P0I_4表示在真實(shí)環(huán)境51中處于建筑物A內(nèi)部的真實(shí)對象(房間)A3 (圖7)。當(dāng)用戶站立在建筑物A外部并使用增強(qiáng)現(xiàn)實(shí)技術(shù)來將P0I_4疊加至真實(shí)環(huán)境51的圖像時(shí)，優(yōu)選的是，以非遮擋模型顯示P0I_4信息，即P0I_4信息顯示在圖像中。在另一情況下，建筑物D在建筑物A外部，并且在圖像81中被A遮擋(圖7、8)。在這種情況下，優(yōu)選的是，在圖像81上以遮擋模型疊加與D相關(guān)的P0I_8，即P0I_8不會顯示在圖像中。先前開發(fā)的方法中沒有一種方法教導(dǎo)或有動機(jī)以遮擋模型顯示P0I_8，且以非遮擋模型顯示P0I_4。
[0019]因此，提供用于在真實(shí)環(huán)境中表示虛擬信息的方法將是有利的:該方法能夠在增強(qiáng)現(xiàn)實(shí)應(yīng)用或系統(tǒng)中混和虛擬信息項(xiàng)，具體是將其混和至真實(shí)環(huán)境的視圖時(shí)改善遮擋感知。
[0020]根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于在真實(shí)環(huán)境的視圖中表示虛擬信息的方法，該方法包括以下步驟:提供包括至少一個(gè)顯示裝置的系統(tǒng)設(shè)備，其中，所述系統(tǒng)設(shè)備適于在所述顯示裝置上將虛擬信息混和到所述視圖的至少一部分中；確定視點(diǎn)相對于所述真實(shí)環(huán)境的至少一個(gè)要素的位置和取向；提供所述真實(shí)環(huán)境的幾何模型，所述幾何模型包括所述真實(shí)環(huán)境的至少一個(gè)內(nèi)置真實(shí)對象的至少一種表示，其中，所述內(nèi)置真實(shí)對象的表示包括至少一個(gè)2D或3D幾何形狀，所述2D或3D幾何形狀具有用于界定所述對象的至少一個(gè)邊界；提供至少一個(gè)虛擬信息項(xiàng)和所述至少一個(gè)虛擬信息項(xiàng)的位置；確定所述虛擬信息項(xiàng)的位置是否在所述2D或3D幾何形狀內(nèi)，并且如果確定所述虛擬信息項(xiàng)在所述2D或3D幾何形狀內(nèi)，則將所述虛擬信息項(xiàng)與所述內(nèi)置真實(shí)對象相關(guān)聯(lián)；確定指示所述內(nèi)置真實(shí)對象在所述真實(shí)環(huán)境的視圖中是至少部分可見還是不可見的標(biāo)準(zhǔn)，所述標(biāo)準(zhǔn)通過使用所述幾何模型以及所述視點(diǎn)的位置和取向來計(jì)算；以及根據(jù)所述標(biāo)準(zhǔn)，在所述顯示裝置上將與所述內(nèi)置真實(shí)對象相關(guān)聯(lián)的所述至少一個(gè)虛擬信息項(xiàng)混和到所述真實(shí)環(huán)境的所述視圖的至少一部分中，其中，在所述標(biāo)準(zhǔn)指示所述內(nèi)置真實(shí)對象至少部分可見的情況下與在所述標(biāo)準(zhǔn)指示所述內(nèi)置真實(shí)對象在所述真實(shí)環(huán)境的視圖中不可見的情況下，所述虛擬信息不同地示出。
[0021]具體地說，通過使用視點(diǎn)的位置以及真實(shí)環(huán)境的幾何模型，優(yōu)選是2D和/或3D幾何模型，本發(fā)明解決了在增強(qiáng)現(xiàn)實(shí)應(yīng)用中向真實(shí)環(huán)境的視圖或真實(shí)環(huán)境的一部分的視圖混和或疊加數(shù)字內(nèi)容或虛擬信息項(xiàng)如感興趣點(diǎn)(POI)的不正確遮擋感知的問題。
[0022]數(shù)字內(nèi)容或虛擬信息項(xiàng)可以是任何類型的視覺可感知數(shù)據(jù)，例如對象、文本、圖畫、視頻及其組合。真實(shí)環(huán)境的視圖或真實(shí)環(huán)境的一部分的視圖由捕獲裝置捕獲。例如，真實(shí)環(huán)境的視圖可以由用戶的眼睛捕獲為視覺印象，或者可以通過由用戶佩戴的或附接在用戶持有的裝置上的相機(jī)而獲取為一個(gè)或更多個(gè)圖像。另一可替換的顯示裝置可以是例如安裝在汽車或飛機(jī)上的平視顯示器。人眼和相機(jī)具有相同的成像數(shù)學(xué)模型，即針孔投影模型。針孔投影模型描述了 3D點(diǎn)的坐標(biāo)與其到視圖上的圖像投影之間的關(guān)系。圖像平面是形成由光學(xué)系統(tǒng)生成的圖像的平面。3D點(diǎn)的圖像投影由從視點(diǎn)到3D點(diǎn)的射線與圖像平面之間的交點(diǎn)限定。
[0023]在已知的具有半透明玻璃的光學(xué)透視顯示器中，用戶可以看見虛擬信息項(xiàng)例如POI和真實(shí)環(huán)境的疊加或混和的信息。然后，用戶通過半透明玻璃看見利用POI的虛擬信息所增強(qiáng)的真實(shí)環(huán)境的對象，該P(yáng)OI的虛擬信息混和在上述玻璃中。在具有相機(jī)和常見顯示裝置的視頻透視顯示器中，用戶也可以看見POI和真實(shí)環(huán)境的疊加。真實(shí)環(huán)境由相機(jī)捕獲，并且在顯示器中向