。各種取向傳感器，如羅盤(pán)傳感器和重力傳感器，可以測(cè)量相對(duì)于全局坐標(biāo)系的取向。真實(shí)環(huán)境的2D或3D幾何模型也表示在全局坐標(biāo)系中。在具有該信息的情況下，可以確定視點(diǎn)相對(duì)于真實(shí)環(huán)境的位置和取向。各種基于視覺(jué)的姿態(tài)估計(jì)方法可以用來(lái)估計(jì)視點(diǎn)的位置和取向，例如基于真實(shí)環(huán)境的2D或3D模型幾何。視向連同視圖的角度覆蓋范圍一起限定可以觀看到真實(shí)環(huán)境的視場(chǎng)。
[0068]觀看姿態(tài)即視點(diǎn)的位置可以是地理位置或相對(duì)于參考坐標(biāo)系的位置。地理位置可以通過(guò)經(jīng)度和瑋度的2D坐標(biāo)或者經(jīng)度、瑋度和海拔高度的3D坐標(biāo)來(lái)描述。在許多情況下，例如在已知用戶或相機(jī)裝置處于真實(shí)環(huán)境的地平面的情況下，經(jīng)度和瑋度的2D坐標(biāo)足以確定觀看姿態(tài)的位置。
[0069]觀看姿態(tài)(即視點(diǎn))的取向描述了視向相對(duì)于參考坐標(biāo)系的角度位置或姿勢(shì)。觀看取向連同視圖的角度覆蓋范圍一起限定可以觀看到真實(shí)環(huán)境的視場(chǎng)。
[0070]在獲知視點(diǎn)的位置和取向并且使用幾何模型如真實(shí)環(huán)境的2D和/或3D幾何模型的情況下，如在下面更詳細(xì)地闡述的，本發(fā)明的一個(gè)方面是確定或檢查通過(guò)下述射線在幾何模型中與內(nèi)置對(duì)象的邊界的交叉點(diǎn)或交點(diǎn)的數(shù)目:該射線介于視點(diǎn)的位置與相應(yīng)的POI之間。
[0071]如本文中所描述的，真實(shí)環(huán)境的內(nèi)置真實(shí)對(duì)象是指由2D和/或3D幾何形狀表示的真實(shí)對(duì)象，該2D和/或3D幾何形狀分別在真實(shí)環(huán)境的2D和3D模型中具有至少一個(gè)邊界，具體是閉合邊界，例如邊緣、表面和/或壁，以用于界定該對(duì)象。該2D和/或3D幾何形狀可以通過(guò)描述邊緣和表面的任何數(shù)學(xué)表示來(lái)定義，例如用于2D幾何形狀的多邊形、圓形或閉合B樣條，以及用于3D幾何的多面體、球體、圓柱體。
[0072]本文中術(shù)語(yǔ)“邊界”應(yīng)當(dāng)被理解為:該邊界的一側(cè)朝向一側(cè)界定對(duì)象，例如其內(nèi)側(cè)，并且該邊界的另一側(cè)朝向其另一側(cè)界定對(duì)象，例如其外側(cè)。例如，該邊界可以是下述線:該線的一側(cè)朝向其內(nèi)側(cè)界定對(duì)象，即閉合或近乎閉合的對(duì)象如建筑物的內(nèi)部，并且該線的另一側(cè)朝向其外側(cè)界定對(duì)象，如建筑物的外部。例如，該線可以表示建筑物的壁。根據(jù)另一示例，邊界可以由具有兩側(cè)(即內(nèi)側(cè)和外側(cè))的壁限定，例如由一條線表示該壁的內(nèi)側(cè)并且由一條線表示該壁的外側(cè)。在該示例中，邊界應(yīng)當(dāng)被理解為由將壁表示為邊界的兩條線的集合形成，其中該邊界的一側(cè)(即，壁的內(nèi)側(cè)/線)朝向其內(nèi)側(cè)界定對(duì)象，而該邊界的另一側(cè)(即，壁的外側(cè)/線)朝向其外側(cè)界定對(duì)象。如果對(duì)象不是由閉合包界定的，如建筑物，而是具有開(kāi)放形狀(例如壁)，則對(duì)象的內(nèi)側(cè)應(yīng)當(dāng)被理解為邊界的面向遠(yuǎn)離視點(diǎn)的一側(cè)，而對(duì)象的外側(cè)應(yīng)當(dāng)被理解為邊界的面向視點(diǎn)的一側(cè)。
[0073]建筑物或道路通常是城市的內(nèi)置真實(shí)對(duì)象，原因在于建筑物或道路在2D城市地圖中通過(guò)多邊形表示。房間可以是室內(nèi)場(chǎng)景的內(nèi)置真實(shí)對(duì)象，原因在于房間在室內(nèi)場(chǎng)景的2D藍(lán)圖中通過(guò)多邊形表示。人或行駛的汽車(chē)經(jīng)常不是內(nèi)置真實(shí)對(duì)象，原因在于它們?cè)谡鎸?shí)環(huán)境的2D或3D模型中不被描述為真實(shí)環(huán)境的一部分。
[0074]根據(jù)本發(fā)明的一個(gè)方面，確定真實(shí)環(huán)境中的哪些內(nèi)置真實(shí)對(duì)象應(yīng)當(dāng)在真實(shí)環(huán)境的視圖中可見(jiàn)或部分可見(jiàn)。這可以通過(guò)使用觀看姿態(tài)的位置和取向以及真實(shí)環(huán)境的2D和/或3D幾何模型來(lái)實(shí)現(xiàn)。通過(guò)考慮來(lái)自距離傳感器的真實(shí)環(huán)境的視圖的深度圖可以獲得關(guān)于可見(jiàn)內(nèi)置真實(shí)對(duì)象的更加逼真的結(jié)果，其是可選的并且將在下面更詳細(xì)地描述。本發(fā)明的一個(gè)方面還公開(kāi)了一種確定POI應(yīng)當(dāng)以遮擋模式還是非遮擋模式進(jìn)行顯示的方法。如下面更詳細(xì)地描述的，這通過(guò)基于交叉或相交邊界的數(shù)目使相應(yīng)POI與內(nèi)置真實(shí)對(duì)象相關(guān)來(lái)實(shí)現(xiàn)。
[0075]具體地說(shuō)，真實(shí)環(huán)境的2D模型描述真實(shí)環(huán)境相對(duì)于特定平面的2D幾何形狀。幾何描述了以下屬性，但不限于:形狀、對(duì)稱(chēng)性、幾何尺寸、以及結(jié)構(gòu)。由2D模型描述的特定平面可以指2D模型的地平面。
[0076]真實(shí)環(huán)境的2D模型可以是城市地圖、城市藍(lán)圖、建筑物的平面圖或購(gòu)物商場(chǎng)的藍(lán)圖。城市地圖或藍(lán)圖通常描述城市相對(duì)于地平面的2D幾何形狀。建筑物的平面圖可以用作建筑物在特定樓層上的2D幾何形狀或結(jié)構(gòu)。地平面和地板平面在本文中分別用作2D城市地圖的地平面和2D地平面。
[0077]具體地說(shuō)，真實(shí)環(huán)境的3D模型描述真實(shí)環(huán)境的3D幾何和真實(shí)環(huán)境的真實(shí)對(duì)象。環(huán)境的3D模型可以從2D模型以及與2D模型的地平面正交的維度獲得。城市的3D模型可以根據(jù)城市藍(lán)圖以及相應(yīng)的高度數(shù)據(jù)來(lái)構(gòu)建。3D模型也可以是作為環(huán)境表面的垂直和水平維度的地形。
[0078]圖12示出了包括以建筑物F和G形式的真實(shí)對(duì)象的示例性真實(shí)環(huán)境，并且圖13示出了根據(jù)圖12的真實(shí)環(huán)境121的示例性藍(lán)圖，其中具有視點(diǎn)131和虛擬信息項(xiàng)(這里為Ρ0Ι)，特別地為P0I_10、P0I_11和P0I_12相對(duì)于真實(shí)環(huán)境的位置。圖14示出了在如圖13所示的視點(diǎn)與視場(chǎng)所獲取的真實(shí)環(huán)境的示例性圖像141。
[0079]當(dāng)POI位于在真實(shí)環(huán)境的視圖中可見(jiàn)的內(nèi)置真實(shí)對(duì)象內(nèi)時(shí)，在相關(guān)聯(lián)的POI與視點(diǎn)之間很可能存在內(nèi)置真實(shí)對(duì)象的一個(gè)邊界(參見(jiàn)例如圖13，其中具有視點(diǎn)131和用于作為真實(shí)環(huán)境121中的內(nèi)置真實(shí)對(duì)象的建筑物F的P0I_10，該邊界為建筑物F相對(duì)于在視點(diǎn)131處捕獲的視圖141的前壁)。因此，如果交叉(或相交)邊界的數(shù)目小于2，則該P(yáng)OI應(yīng)當(dāng)以非遮擋模式疊加至視圖，否則應(yīng)當(dāng)以遮擋模式疊加至視圖。視點(diǎn)131與P0I_10之間的射線134與I個(gè)邊界交叉。P0I_10以非遮擋模式例如實(shí)線疊加至視圖141 (參見(jiàn)圖14)。視點(diǎn)131與P0I_12之間的射線132與2個(gè)邊界交叉。P0I_12以遮擋模式例如虛線疊加至視圖141 (參見(jiàn)圖14)。P0I_11具有相同的情況(參見(jiàn)圖14)，原因在于射線133與3個(gè)邊界交叉。
[0080]也可以將與相應(yīng)內(nèi)置真實(shí)對(duì)象的少于2個(gè)邊界交叉的POI的位置相對(duì)于視點(diǎn)移動(dòng)至相應(yīng)交叉邊界的前方。然后，與對(duì)應(yīng)深度數(shù)據(jù)(例如來(lái)自距離傳感器)相比位于較靠近視點(diǎn)處的POI將以非遮擋模式顯示，而與對(duì)應(yīng)深度數(shù)據(jù)相比位于較遠(yuǎn)離視點(diǎn)處的POI將以遮擋模式顯示。只要在無(wú)需重新計(jì)算交叉邊界的數(shù)目的情況下交叉邊界在真實(shí)環(huán)境的視圖中可見(jiàn)，這可能對(duì)于所有情況起作用。
[0081]現(xiàn)在返回到圖1的處理，步驟3確定真實(shí)環(huán)境的視圖中的可見(jiàn)的內(nèi)置真實(shí)對(duì)象。可見(jiàn)的內(nèi)置真實(shí)對(duì)象是在真實(shí)環(huán)境的視圖中可見(jiàn)或部分可見(jiàn)的內(nèi)置真實(shí)對(duì)象(或者如在本文中簡(jiǎn)稱(chēng)為內(nèi)置對(duì)象)。部分可見(jiàn)意味著內(nèi)置對(duì)象的至少一部分在該視圖中是可見(jiàn)的。本發(fā)明的一個(gè)方面公開(kāi)了一種確定真實(shí)環(huán)境中的哪些內(nèi)置對(duì)象應(yīng)當(dāng)在真實(shí)環(huán)境的視圖中可見(jiàn)或部分可見(jiàn)的方法。這可以通過(guò)使用觀看姿態(tài)的位置和取向以及真實(shí)環(huán)境的2D和/或3D幾何模型來(lái)實(shí)現(xiàn)。通過(guò)考慮來(lái)自距離傳感器的真實(shí)環(huán)境的視圖的深度圖可以獲得確定可見(jiàn)內(nèi)置對(duì)象的更加逼真的結(jié)果。
[0082]在許多情況下，視點(diǎn)和POI的2D位置以及真實(shí)環(huán)境的2D模型足以確定可見(jiàn)內(nèi)置對(duì)象。一個(gè)示例為下述情況:視點(diǎn)和視場(chǎng)內(nèi)的內(nèi)置對(duì)象處于與真實(shí)環(huán)境的地平面相同的距離水平。例如，捕獲裝置位于地球平面，其中，所有建筑物和地標(biāo)均位于城市的真實(shí)環(huán)境中的同一地球平面。另一示例為下述情況:其中，視場(chǎng)內(nèi)的內(nèi)置對(duì)象處于與真實(shí)環(huán)境的地平面相同的距離水平，并且內(nèi)置對(duì)象具有與地平面相同的高度或者該高度不影響內(nèi)置對(duì)象在視圖中的可見(jiàn)性。例如，購(gòu)物商場(chǎng)內(nèi)的所有商店可以具有相同的高度，并且該高度不會(huì)影響在由購(gòu)物商場(chǎng)內(nèi)的捕獲裝置捕獲的視圖中的商店的可見(jiàn)性。
[0083]在圖2A中示出了根據(jù)圖1的步驟3使用真實(shí)環(huán)境的2D模型來(lái)確定可見(jiàn)內(nèi)置對(duì)象的實(shí)施例。步驟3.1A提供真實(shí)環(huán)境的2D模型。步驟3.2A根據(jù)在2D模型的2D平面上在視場(chǎng)內(nèi)從視點(diǎn)射出射線來(lái)確定可見(jiàn)的內(nèi)置對(duì)象。如果內(nèi)置對(duì)象的至少一部分與來(lái)自視點(diǎn)的射線最先相交，則該內(nèi)置對(duì)象在視圖中是可見(jiàn)的。交點(diǎn)坐標(biāo)可以基于來(lái)自視點(diǎn)的射線方程和內(nèi)置對(duì)象的2D幾何模型的方程來(lái)計(jì)算。此外，步驟3.2A計(jì)算每個(gè)可見(jiàn)內(nèi)置對(duì)象覆蓋的視圖區(qū)域的部分。例如，可見(jiàn)內(nèi)置對(duì)象覆蓋的視圖區(qū)域可以是可見(jiàn)內(nèi)置對(duì)象在真實(shí)環(huán)境的視圖下捕獲的圖像中的圖像區(qū)域。可見(jiàn)內(nèi)置對(duì)象覆蓋的視圖區(qū)域的部分可以基于圖像平面與確定視圖中的可見(jiàn)內(nèi)置對(duì)象的對(duì)應(yīng)射線或?qū)?yīng)射線的一部分之間的交點(diǎn)來(lái)確定。可見(jiàn)內(nèi)置對(duì)象覆蓋的視圖區(qū)域的部分還可以在獲知視點(diǎn)相對(duì)于真實(shí)環(huán)境的位置和取向的情況下基于將可見(jiàn)內(nèi)置對(duì)象的幾何形狀或該幾何形狀的一部分投影到圖像平面上來(lái)確定。
[0084]在步驟3.3A中，執(zhí)行是否存在來(lái)自一個(gè)或更多個(gè)距離傳感器(例如飛行時(shí)間相機(jī))的針對(duì)真實(shí)環(huán)境的視圖的深度圖的檢查。深度圖是由一個(gè)或多個(gè)距離傳感器測(cè)量的深度數(shù)據(jù)的集合，該一個(gè)或多個(gè)距離傳感器測(cè)量從視點(diǎn)到真實(shí)環(huán)境或真實(shí)環(huán)境的一部分的距離(即深度)。如果來(lái)自距離傳感器的深度圖不可用，則處理結(jié)束。如果根據(jù)步驟3.3A來(lái)自一個(gè)或更多個(gè)距離傳感器的深度圖是可用的，則執(zhí)行步驟3.4A。
[0085]真實(shí)環(huán)境通常包含真實(shí)對(duì)象，例如不存在于真實(shí)環(huán)境的2D模型中的行駛的汽車(chē)和/或人。使用來(lái)自距離傳感器的深度圖可以提供確定可見(jiàn)內(nèi)置對(duì)象的更加逼真的結(jié)果，原因在于距離傳感器測(cè)量從視點(diǎn)到真實(shí)環(huán)境的距離。
[0086]在步驟3.4A中，可以根據(jù)深度圖對(duì)在步驟3.3A中確定的可見(jiàn)內(nèi)置對(duì)象的可見(jiàn)性進(jìn)行重新確定。對(duì)于來(lái)自步驟3.3A的每個(gè)可見(jiàn)內(nèi)置對(duì)象，創(chuàng)建模擬高度，使得該模擬高度至少覆蓋相對(duì)于視場(chǎng)的地平面正交的維度。然后，可以根據(jù)模擬高度以及可見(jiàn)內(nèi)置對(duì)象的2D模型來(lái)重建該可見(jiàn)內(nèi)置對(duì)象的3D模型。將3D模型與來(lái)自深度數(shù)據(jù)的對(duì)應(yīng)深度進(jìn)行比較。如果3D模型的至少一部分與對(duì)應(yīng)深度相比并未離視點(diǎn)更遠(yuǎn)，則內(nèi)置對(duì)象在視圖中是可見(jiàn)的，否則內(nèi)置對(duì)象在視圖中是不可見(jiàn)的。注意到，深度圖的深度數(shù)據(jù)可以指示不存在內(nèi)置對(duì)象，如朝向天空。因而，在步驟3.4A中重新確定可見(jiàn)內(nèi)置對(duì)象之前，可以將超過(guò)一定閾值的深度設(shè)置為零深度。
[0087]在接下來(lái)的步驟3.5A中，圖像平面與根據(jù)深度圖重新確定可見(jiàn)內(nèi)置對(duì)象的對(duì)應(yīng)射線之間的交點(diǎn)可以重新定義可見(jiàn)內(nèi)置對(duì)象覆蓋的視圖區(qū)域的至少一部分。
[0088]在圖2B中示出了根據(jù)圖1的步驟3使用真實(shí)環(huán)境的3D模型來(lái)確定可見(jiàn)內(nèi)置對(duì)象的一個(gè)實(shí)施例。步驟3.1B提供真實(shí)環(huán)境的3D模型，在該3D模型中可以由多面體來(lái)表示真實(shí)環(huán)境的內(nèi)置對(duì)象。環(huán)境的3D模型可以從2D模型以及與2D模型的地平面正交的維度來(lái)獲得。城市的3D模型可以從城市藍(lán)圖以及對(duì)應(yīng)的高度數(shù)據(jù)來(lái)構(gòu)建。在接下來(lái)的步驟3.2B中，檢查是否存在來(lái)自距離傳感器(例如飛行時(shí)間相機(jī))的針對(duì)真實(shí)環(huán)境的視圖的深度圖。如果來(lái)自