虛擬和實(shí)際環(huán)境中的傳感器增強(qiáng)的定位的制作方法
【專利摘要】在一個(gè)實(shí)施例中，基于計(jì)算機(jī)的系統(tǒng)包含：測(cè)量裝置（120）；顯示器（112、204）；處理器（222）；和被存儲(chǔ)在與處理器（222）耦合的有形計(jì)算機(jī)可讀媒介中的邏輯指令（260），當(dāng)被處理器（222）執(zhí)行時(shí)，其配置處理器（222）從而確定測(cè)量裝置（120）在真實(shí)三維空間內(nèi)相對(duì)于在三維空間中的至少一個(gè)真實(shí)物體的位置和取向，并且在顯示器（112、204）上顯示對(duì)應(yīng)于在虛擬三維空間（145）內(nèi)的真實(shí)物體的虛擬物體的虛擬圖像的透視圖，其中虛擬物體的透視圖符合來(lái)自測(cè)量裝置（120）的位置的真實(shí)物體的透視圖。
【專利說(shuō)明】虛擬和實(shí)際環(huán)境中的傳感器增強(qiáng)的定位
【技術(shù)領(lǐng)域】【背景技術(shù)】
[0001]大型物體(例如可復(fù)位的結(jié)構(gòu))的裝配和維護(hù)，可能通過(guò)使用定位系統(tǒng)被協(xié)助，以引導(dǎo)組件的放置。例如，飛機(jī)可能在設(shè)施中被安裝，設(shè)施包含位置確定系統(tǒng)和設(shè)備以確定飛機(jī)特定組件的位置，例如機(jī)翼和尾翼，以保證組件合理布局。在飛機(jī)制造中，機(jī)械和質(zhì)量保證(QA)檢驗(yàn)員通常需要獲得在飛機(jī)上的特定位置。他們可能使用紙質(zhì)輸出件，其具有以笛卡爾坐標(biāo)X、Y、Z(有時(shí)被稱為測(cè)站、縱拋線、水線)列出的位置的文本說(shuō)明。附圖有時(shí)也被用于引導(dǎo)。一旦達(dá)到理想的位置，技工或QA檢查員可能需要執(zhí)行任務(wù)，例如編寫需要被修復(fù)的物品損害的坐標(biāo)。在一些情況中，卷尺可能被用于確定距靠近感興趣區(qū)域的地標(biāo)或特征的距離，其可能被寫入或輸入至筆記本電腦。這些程序可能是耗時(shí)的并且通常存在誤差的多來(lái)源問(wèn)題，例如文本或附圖的錯(cuò)誤解釋、關(guān)于如何執(zhí)行測(cè)量的混淆以及手工抄寫錯(cuò)誤。因此，需要具有一種運(yùn)動(dòng)跟蹤方法，其可與相應(yīng)虛擬環(huán)境的3D模型集成。
[0002]目前的位置確定系統(tǒng)具有不同的缺點(diǎn)。舉例說(shuō)明，光學(xué)運(yùn)動(dòng)捕捉受到系統(tǒng)尺寸和阻礙物的限制，磁追蹤受到磁干涉的影響，基于同步定位和地圖創(chuàng)建(SLAM)的方法需要在環(huán)境中高對(duì)比度特征的連續(xù)可視性，其不是永遠(yuǎn)可獲得的，尤其是在飛機(jī)外面。用于人員追蹤的標(biāo)準(zhǔn)慣性測(cè)量單元(MU)方法具有加速度計(jì)漂移問(wèn)題，其導(dǎo)致位置的直接計(jì)算隨著時(shí)間推移變得不可靠。
[0003]因此，在不同環(huán)境中的3D定位與導(dǎo)航系統(tǒng)和技術(shù)可能獲得利用。

【發(fā)明內(nèi)容】

[0004]在一個(gè)實(shí)施例中，基于計(jì)算機(jī)的方法包含:確定測(cè)量裝置在真實(shí)三維空間內(nèi)相對(duì)于該三維空間內(nèi)的至少一個(gè)真實(shí)物體的位置和取向；和在耦合到測(cè)量裝置的顯示器裝置上顯示虛擬三維空間中的對(duì)應(yīng)于真實(shí)物體的虛擬物體的虛擬圖像的透視圖，其中虛擬物體的透視圖對(duì)應(yīng)于來(lái)自源自從測(cè)量裝置接收的數(shù)據(jù)的位置和取向的真實(shí)物體的透視圖。
[0005]在另一實(shí)施例中，基于計(jì)算機(jī)的系統(tǒng)包含:測(cè)量裝置、顯示器、處理器以及邏輯指令，其被存儲(chǔ)在耦合到處理器的有形計(jì)算機(jī)可讀取的媒介中，當(dāng)被處理器執(zhí)行時(shí)，其配置處理器從而:確定測(cè)量裝置在真實(shí)三維空間內(nèi)相對(duì)于三維空間內(nèi)的至少一個(gè)真實(shí)物體的位置和取向；在顯示器上顯示虛擬三維空間中的對(duì)應(yīng)于真實(shí)物體的虛擬物體的虛擬圖像的透視圖，其中虛擬物體的透視圖對(duì)應(yīng)于來(lái)自測(cè)量裝置的位置的真實(shí)物體的透視圖。
[0006]在另外的實(shí)施例中，計(jì)算機(jī)產(chǎn)品包含邏輯指令，其被存儲(chǔ)在耦合到處理器的有形計(jì)算機(jī)可讀取的媒介中，當(dāng)被處理器執(zhí)行時(shí)，其配置處理器從而:確定測(cè)量裝置在真實(shí)三維空間內(nèi)相對(duì)于三維空間內(nèi)的至少一個(gè)真實(shí)物體的位置和取向；和在耦合到測(cè)量裝置的顯示器裝置上顯示虛擬三維空間中的對(duì)應(yīng)于真實(shí)物體的虛擬物體的虛擬圖像的透視圖，其中虛擬物體的透視圖對(duì)應(yīng)于來(lái)自測(cè)量裝置的位置的真實(shí)物體的透視圖。
[0007]從此處提供的說(shuō)明將顯而易見(jiàn)適用性的進(jìn)一步區(qū)域。應(yīng)被了解的是該說(shuō)明和特定示例意圖只用于示出的目的并且不意圖限制本公開(kāi)的范圍。
【專利附圖】

【附圖說(shuō)明】
[0008]根據(jù)本公開(kāi)的教示，方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品實(shí)施例參考附圖被詳細(xì)地描述:
[0009]圖1是根據(jù)實(shí)施例的其中基于IMU的定位被實(shí)施的計(jì)算環(huán)境的示意圖；
[0010]圖2根據(jù)一些實(shí)施例的計(jì)算裝置的示意圖，該計(jì)算裝置可以適用于執(zhí)行基于IMU的定位；
[0011]圖3-4是示出了根據(jù)實(shí)施例的基于IMU的定位的方法中的操作流程圖。
【具體實(shí)施方式】
[0012]使導(dǎo)航成為可能的基于IMU的定位系統(tǒng)和方法在此處被描述。如下說(shuō)明和附圖中提出的特定實(shí)施例的細(xì)節(jié)提供了這些實(shí)施例的全面理解。然而，本領(lǐng)域技術(shù)人員將了解的是沒(méi)有如下說(shuō)明中描述的幾個(gè)細(xì)節(jié)的替代實(shí)施例可能被實(shí)施。
[0013]此處描述的概念涉及交互技術(shù)以通過(guò)在對(duì)應(yīng)實(shí)際環(huán)境中的用戶移動(dòng)控制虛擬世界導(dǎo)航，同時(shí)仍允許用戶觀察和操縱實(shí)際物體并且使用CAD可視化特征用于分析。此處描述的不同實(shí)施例的背景被設(shè)置在復(fù)雜交通工具(例如飛機(jī)、船、火車、機(jī)動(dòng)交通工具、建筑物和其他結(jié)構(gòu)中)執(zhí)行制造和/或維護(hù)操作。根據(jù)此處的使用，術(shù)語(yǔ)“交通工具”被構(gòu)造為包含這些物品中的任意一個(gè)。根據(jù)此處描述的實(shí)施例，交通工具的虛擬三維(3D)模型可被存儲(chǔ)在基于計(jì)算機(jī)的系統(tǒng)的存儲(chǔ)器中。包含或被耦合到MU并且包含顯示器和足夠的處理能力以存儲(chǔ)至少部分3D模型的便攜式計(jì)算設(shè)備，可能被定位在臨近交通工具或交通工具內(nèi)部指定的、已知的位置，以便一個(gè)或更多真實(shí)物體被定位在緊鄰便攜式計(jì)算設(shè)備。對(duì)應(yīng)于真實(shí)物體的一個(gè)或更多虛擬物體的虛擬圖像，可被顯示在顯示器并且被排列以便在顯示器上虛擬圖像的透視圖對(duì)應(yīng)于一個(gè)或更多個(gè)真實(shí)物體的透視圖，其使用來(lái)自基于IMU的定位方法的有關(guān)的位置和取向數(shù)據(jù)，因此同步虛擬環(huán)境和真實(shí)環(huán)境。此步驟初始化在此方位的基于IMU位置和取向的追蹤方法，并且后續(xù)運(yùn)動(dòng)相對(duì)于該定位被限定。當(dāng)IMU移動(dòng)通過(guò)真實(shí)環(huán)境時(shí)，被描述在計(jì)算設(shè)備的顯示器上的虛擬環(huán)境也隨之改變。當(dāng)需要再次初始化基于MU的追蹤方法到一個(gè)新方位時(shí)，額外的修正可能由用戶實(shí)施。在一些實(shí)施例中，MU產(chǎn)生代表計(jì)算設(shè)備的旋轉(zhuǎn)和/或平移的信號(hào)。在其他的實(shí)施例中旋轉(zhuǎn)和平移輸入可被經(jīng)由用戶界面提供至計(jì)算設(shè)備。
[0014]圖1是根據(jù)實(shí)施例的計(jì)算環(huán)境的示意圖，其中基于IMU的定位可能被實(shí)施。參考圖1，在簡(jiǎn)要概述中，一個(gè)實(shí)施例環(huán)境100中包含基于計(jì)算機(jī)的設(shè)備110、慣性測(cè)量單元120、一個(gè)或更多通信網(wǎng)絡(luò)130、服務(wù)器140和文件存儲(chǔ)150。在一些實(shí)施例中，環(huán)境100可包含交通工具，例如飛機(jī)160。
[0015]基于計(jì)算機(jī)的設(shè)備可被具體化為便攜式計(jì)算設(shè)備，例如筆記本電腦、平板電腦、個(gè)人數(shù)字助理、智能手機(jī)或其他類似物。服務(wù)器140被具體化為固定計(jì)算設(shè)備。圖2是計(jì)算設(shè)備200的示意圖，其適用于基于計(jì)算機(jī)的設(shè)備110或服務(wù)器140中的一種。在一個(gè)實(shí)施例中，計(jì)算設(shè)備100包括一個(gè)或更多伴隨輸入/輸出設(shè)備，其包含具有屏幕204的顯示器202、一個(gè)或更多揚(yáng)聲器206、鍵盤210、一個(gè)或更多其他I/O裝置(212)以及鼠標(biāo)214。其他的I/O裝置212可能包含觸摸屏、聲控的輸入裝置、追蹤球(track ball)以及可允許系統(tǒng)200從用戶接收輸入的任何其他裝置。
[0016]計(jì)算裝置200包含系統(tǒng)硬件220和存儲(chǔ)器230，其可能被實(shí)現(xiàn)為隨機(jī)存取存儲(chǔ)器和/或只讀存儲(chǔ)器。文件存儲(chǔ)280被通信聯(lián)通地耦合到計(jì)算裝置208。文件存儲(chǔ)280可能在計(jì)算裝置108內(nèi)部，例如，一個(gè)或更多硬盤驅(qū)動(dòng)器、⑶-ROM驅(qū)動(dòng)、DVD-ROM驅(qū)動(dòng)或其他類型的存儲(chǔ)裝置。文件存儲(chǔ)280還可能是在計(jì)算機(jī)208外部，例如，一個(gè)或更多外部硬盤驅(qū)動(dòng)器、網(wǎng)絡(luò)附加存儲(chǔ)或獨(dú)立的存儲(chǔ)網(wǎng)絡(luò)。
[0017]系統(tǒng)硬件220可能包含一個(gè)或更多處理器222、一個(gè)或更多圖像處理器224、網(wǎng)絡(luò)接口 226和總線結(jié)構(gòu)228。根據(jù)此處的使用，術(shù)語(yǔ)“處理器”代表任何類型的計(jì)算單元，例如但不限制于，微處理器、微控制器、復(fù)雜指令集合計(jì)算(CISC)微處理器、精簡(jiǎn)指令集合計(jì)算(RISC)微處理器、超長(zhǎng)指令字(VLIW)微處理器或其他類型處理器或處理電路。
[0018](一個(gè)或更多)圖像處理器224可能作為(一個(gè)或更多)附處理器運(yùn)行，其管理圖像和/或視頻操作。(一個(gè)或多個(gè))圖像處理器224被集成到計(jì)算系統(tǒng)200的主板或可能經(jīng)由擴(kuò)充插槽被耦合到主板。
[0019]在一個(gè)實(shí)施例中，網(wǎng)絡(luò)接口 226可以是有線接口，例如以太網(wǎng)接口(詳見(jiàn)，例如電氣與電子工程師協(xié)會(huì)/IEEE802.3-2002)，或無(wú)線接口，例如IEEE802.1 la，b或g-兼容接口(詳見(jiàn)，例如，針對(duì)IT-系統(tǒng)LAN/MAN間的通訊與信息交換-的IEEE標(biāo)準(zhǔn)-第二部分:無(wú)限LAN媒介訪問(wèn)控制(MAC)和實(shí)際層(PHY)規(guī)范修正4:在2.4GHz頻段的更高數(shù)據(jù)速率擴(kuò)展，802.11G-2003)。另外的無(wú)線接口示例可能是通用分組無(wú)線業(yè)務(wù)(GPRS)接口(詳見(jiàn)，GPRS手機(jī)要求指南，移動(dòng)通信/GSM協(xié)會(huì)的全球系統(tǒng)，版本3.0.1，2002年12月)。
[0020]總線結(jié)構(gòu)228連接系統(tǒng)硬件220的各種組件。在一個(gè)實(shí)施例中，總線結(jié)構(gòu)228可能是幾種類型的總線結(jié)構(gòu)的一個(gè)或更多種，包含了存儲(chǔ)器總線、外圍總線或外部總線和/或局部總線，其使用任何各種可提供的總線結(jié)構(gòu)，包含但不限制于ιι-bit總線、工業(yè)標(biāo)準(zhǔn)結(jié)構(gòu)(ISA)、PC1、微通道架構(gòu)標(biāo)準(zhǔn)(MSA)、擴(kuò)充型ISA(EISA)、智能化驅(qū)動(dòng)電路(IDE)、VESA局部總線(VLB)、外圍組件互聯(lián)(PCI)、通用串行總線(USB)、高級(jí)圖像端口(AGP)、個(gè)人計(jì)算機(jī)存儲(chǔ)器卡國(guó)際協(xié)會(huì)總線(PCMCIA)以及小型計(jì)算系統(tǒng)接口(SCSI)、PCI高速(PC1-E)總線、串行ATA(SATA)總線等等。
[0021]存儲(chǔ)器230可能包含操作系統(tǒng)240用于管理計(jì)算裝置208的操作。在一個(gè)實(shí)施例中，操作系統(tǒng)240包含硬件接口模塊254，其對(duì)系統(tǒng)硬件220提供接口。此外，操作系統(tǒng)240可能包含文件系統(tǒng)250(其管理在計(jì)算裝置208運(yùn)行中使用的文件)以及程序控制子系統(tǒng)252 (其管理在計(jì)算裝置208上執(zhí)行的程序)。
[0022]操作系統(tǒng)240可能包含(或管理)一個(gè)或更多通信接口，其與系統(tǒng)硬件220結(jié)合操作，以從遠(yuǎn)程數(shù)據(jù)源收發(fā)數(shù)據(jù)包和/或數(shù)據(jù)流。操作系統(tǒng)240可能還包含系統(tǒng)調(diào)用接口模塊242，其提供操縱系統(tǒng)240與一個(gè)或更多位于存儲(chǔ)器130中應(yīng)用模塊之間的接口。操作系統(tǒng)可能被實(shí)現(xiàn)為Windows?操作系統(tǒng)或UNIX操作系統(tǒng)或者其任何衍生物(例如,Linux、Solaris、iOS、Android等等)或其他操作系統(tǒng)。
[0023]在一個(gè)實(shí)施例中，存儲(chǔ)器230包含虛擬映射模塊260，其被實(shí)現(xiàn)為編譯在有形計(jì)算機(jī)可讀媒介中的邏輯指令。圖1所示，在體現(xiàn)為服務(wù)器140的計(jì)算機(jī)裝置208中，在圖1中被標(biāo)記為145的虛擬映射模塊，保持三維環(huán)境和環(huán)境中物體的虛擬體現(xiàn)。舉例說(shuō)明，在一些實(shí)施例中，在服務(wù)器上的虛擬映射模塊145可能保持飛機(jī)160的三維環(huán)境。三維環(huán)境可能包括不同結(jié)構(gòu)和組件，其包含飛機(jī)160。圖1所示，在體現(xiàn)化為基于計(jì)算機(jī)的裝置110的計(jì)算裝置208中，虛擬映射模塊260可能包含邏輯指令，其當(dāng)被(一個(gè)或更多)處理器222執(zhí)行時(shí)，引起(一個(gè)或更多)處理器222通過(guò)由服務(wù)器140中虛擬映射模塊145保持的三維環(huán)境執(zhí)行基于IMU的定位。
[0024]回來(lái)參考圖1，在一些實(shí)施例中，慣性測(cè)量單元(MU) 120被集成到基于計(jì)算機(jī)的裝置110。在替代實(shí)施例中，MU120可能是單獨(dú)的裝置，其可能被耦合到基于計(jì)算機(jī)的裝置110，經(jīng)由合適的接口，例如通用串行總線(USB)端口等等。MU120可能包含內(nèi)部微處理器，或可能依賴于基于計(jì)算機(jī)的裝置110中用于處理任務(wù)的處理器。在一些實(shí)施例中，MU120可能包含一個(gè)或更多微機(jī)電系統(tǒng)(MEMS)，例如測(cè)量相對(duì)加速度(加速度計(jì))和旋轉(zhuǎn)速度(陀螺儀)的運(yùn)動(dòng)傳感器裝置。由頂U(kuò)120產(chǎn)生的輸出可能被提供至基于計(jì)算機(jī)的裝置110。由運(yùn)動(dòng)傳感器檢測(cè)的運(yùn)動(dòng)可能被用于當(dāng)MU在運(yùn)動(dòng)時(shí)計(jì)算MU120的位置和取向。在運(yùn)動(dòng)程序中，IMU120還可提供平移或旋轉(zhuǎn)移動(dòng)的估計(jì)。
[0025]IMU120和基于計(jì)算機(jī)的裝置110可經(jīng)由一個(gè)或更多通信網(wǎng)絡(luò)130被耦合到服務(wù)器140。( 一個(gè)或更多)通信網(wǎng)絡(luò)130可能被實(shí)現(xiàn)為個(gè)人局域網(wǎng)(PAN)、局域網(wǎng)(LAN)、城域網(wǎng)(MAN)或廣域網(wǎng)(WAN)、專有通信網(wǎng)絡(luò)等等。而且，通信網(wǎng)絡(luò)130、132、134可能包含一個(gè)或更多子網(wǎng)絡(luò)。舉例說(shuō)明，但不限制于，通信網(wǎng)絡(luò)130、132、134可能包含一個(gè)或更多訪問(wèn)點(diǎn)(Ap)，其建立對(duì)LAN或直接對(duì)骨干網(wǎng)(例如英特網(wǎng))的訪問(wèn)通路。此外，通信網(wǎng)絡(luò)130、132、134可能包含不同輸入/輸出傳輸，例如但不限制于:有限USB或串行鏈路、無(wú)線802.1lx鏈接、無(wú)線USB、藍(lán)牙、紅外鏈接、蜂窩網(wǎng)絡(luò)等等。
[0026]系統(tǒng)的結(jié)構(gòu)組件已經(jīng)被描述之后，現(xiàn)在將描述執(zhí)行系統(tǒng)不同組件的基于IMU的定位、操作和交互作用。在一些實(shí)施例中，基于計(jì)算機(jī)的裝置110和MU120合作以通過(guò)服務(wù)器140保存的虛擬環(huán)境使能導(dǎo)航。
[0027]圖3是流程圖，其根據(jù)實(shí)施例圖示基于IMU的定位方法中的操作。尤其，圖3描述了定位方法中的操作，由此可以選擇在虛擬空間中的初始位置。在一些實(shí)施例中，圖3中描述的操作可被虛擬映像模塊260執(zhí)行，虛擬映射模塊260在基于計(jì)算機(jī)的裝置110上單獨(dú)或與在服務(wù)器140中執(zhí)行的虛擬映像模塊145合作執(zhí)行。
[0028]參考圖3，在操作310虛擬環(huán)境被加載到基于計(jì)算機(jī)的裝置110的存儲(chǔ)器。在一些實(shí)施例中，完整的虛擬環(huán)境可從服務(wù)器140的虛擬映射模塊145中經(jīng)由(一個(gè)或更多)網(wǎng)絡(luò)130加載到計(jì)算裝置110的存儲(chǔ)器中。然而，在其他實(shí)施例中僅一部分的虛擬環(huán)境被加載到基于計(jì)算機(jī)的裝置110中。舉例說(shuō)明，基于計(jì)算機(jī)的裝置110的用戶可能要求虛擬環(huán)境的特定區(qū)域，并且僅要求的區(qū)域從服務(wù)器140的虛擬映射模塊145加載到基于計(jì)算機(jī)的裝置110的存儲(chǔ)器。
[0029]在操作315，IMU120被激活以便MU120將產(chǎn)生指示出由IMU經(jīng)歷的運(yùn)動(dòng)的信號(hào)。在操作320時(shí)信號(hào)被接收，其表示已知的實(shí)際方位，其在模擬環(huán)境中被建模。舉例說(shuō)明，用戶可能從觸摸屏顯示器112上菜單118中選擇靠近或位于飛機(jī)160內(nèi)多個(gè)預(yù)定方位中的一個(gè)，并且可能在選擇的方位安置基于計(jì)算機(jī)的裝置110和MU120。響應(yīng)該選擇，在基于計(jì)算機(jī)的裝置110上執(zhí)行的虛擬映射模塊260在操作320呈現(xiàn)所選擇方位的虛擬環(huán)境的圖像。
[0030]在操作330時(shí)，確定呈現(xiàn)在顯示器上的虛擬圖像是否與來(lái)自相同角度的真實(shí)環(huán)境的圖像對(duì)應(yīng)。在一些實(shí)施例中，確定可被手動(dòng)執(zhí)行。舉例說(shuō)明，基于計(jì)算機(jī)的裝置的用戶可觀察顯示在裝置Iio的顯示器112上的虛擬圖像，并且可做出關(guān)于是否圖像對(duì)應(yīng)的主觀判斷。在其他實(shí)施例中，此確定可能以客觀的方式通過(guò)在基于計(jì)算機(jī)的裝置110或耦合至其的計(jì)算機(jī)上執(zhí)行的邏輯進(jìn)行。舉例說(shuō)明，在一些實(shí)施例中，計(jì)算裝置110可能包含圖像捕捉裝置，例如，照相機(jī)，其可被用于捕捉靠近基于計(jì)算機(jī)的裝置的真實(shí)環(huán)境的圖像。在這些實(shí)施例中，被計(jì)算機(jī)裝置捕捉的圖像屬性可能與呈現(xiàn)在顯示器上的虛擬圖像屬性比較，以確定是否圖像是對(duì)應(yīng)的。
[0031]在操作330時(shí)，如果虛擬圖像不符合真實(shí)環(huán)境的圖像，則控制傳遞到操作335并且相對(duì)圖像位置和取向被用戶調(diào)整，直至虛擬和真實(shí)環(huán)境匹配。仍在其他實(shí)施例中，在顯示器上的虛擬圖像可能被操縱，例如，通過(guò)旋轉(zhuǎn)、移動(dòng)和/或變焦虛擬視點(diǎn)，其通過(guò)使用觸摸屏(或其他視點(diǎn)控制)或?qū)嶋H地移動(dòng)顯示器裝置(和附連的傳感器)直至虛擬圖像對(duì)應(yīng)于真實(shí)環(huán)境。與之相比，如果在操作330時(shí)圖像對(duì)應(yīng)，則定位程序被認(rèn)為是成功的并且基于計(jì)算機(jī)的裝置110和MU120在真實(shí)世界的方位與呈現(xiàn)在顯示器上的虛擬圖像的視角同步。
[0032]因此，控制進(jìn)行到操作340并且追蹤程序在基于計(jì)算機(jī)的裝置110上被開(kāi)始。在一些實(shí)施例中，追蹤程序使用單獨(dú)或結(jié)合來(lái)自顯示器112上的一個(gè)或更多用戶界面的用戶輸入的MU120，以允許用戶通過(guò)呈現(xiàn)在顯示器112上的對(duì)應(yīng)于MU120與計(jì)算裝置112在其中移動(dòng)的真實(shí)環(huán)境的虛擬圖像導(dǎo)航。
[0033]追蹤程序的另一方面將參考圖4進(jìn)行說(shuō)明。參考圖4，在操作410時(shí)虛擬圖像的透視圖被呈現(xiàn)在顯示器112上。在操作415時(shí)，在基于計(jì)算機(jī)的裝置110上執(zhí)行的虛擬映射模塊，接收表明MU120旋轉(zhuǎn)運(yùn)動(dòng)的取向信號(hào)。在一些實(shí)施例中，取向信號(hào)是由MU120產(chǎn)生以響應(yīng)通過(guò)用戶控制計(jì)算裝置110而使MU120旋轉(zhuǎn)。在其他實(shí)施例中，旋轉(zhuǎn)信號(hào)可以通過(guò)用戶輸入到觸摸屏顯示器112上的用戶界面產(chǎn)生。
[0034]類似地，在操作420時(shí)虛擬映射模塊260接收平移信號(hào)。在一些實(shí)施例中，平移信號(hào)表明MU120平移運(yùn)動(dòng)。在一些實(shí)施例中，平移信號(hào)是從MU120接收的數(shù)據(jù)中獲得以響應(yīng)MU120通過(guò)用戶控制基于計(jì)算機(jī)的裝置110使其平移。在其他實(shí)施例中，平移信號(hào)可以通過(guò)用戶輸入到觸摸屏顯示器112上的用戶界面114產(chǎn)生。
[0035]在操作430時(shí)，呈現(xiàn)在顯示器112上的虛擬圖像被更新以響應(yīng)旋轉(zhuǎn)信號(hào)和平移信號(hào)。在一些實(shí)施例中，來(lái)自MU120的取向信號(hào)可能被體現(xiàn)在3X3旋轉(zhuǎn)矩陣中。任何額外的基于屏幕的平移被包含在該解決方案中，其通過(guò)3X3旋轉(zhuǎn)矩陣乘以被限定在屏幕坐標(biāo)中的x、y、z平移的3X1矢量，如方程式⑴所示:
【權(quán)利要求】
1.一種基于計(jì)算機(jī)的方法，包括: 確定測(cè)量裝置(120)在真實(shí)三維空間內(nèi)相對(duì)于所述三維空間內(nèi)的至少一個(gè)真實(shí)物體的位置和取向；以及 在耦合到所述測(cè)量裝置(120)的顯示器裝置(112、202)上顯示虛擬三維空間(145)中的對(duì)應(yīng)于所述真實(shí)物體的虛擬物體的虛擬圖像的透視圖，其中所述虛擬物體的所述透視圖對(duì)應(yīng)于來(lái)自所述測(cè)量裝置(120)的所述位置的所述真實(shí)物體的所述透視圖。
2.根據(jù)權(quán)利要求1中所述的方法，其中確定測(cè)量裝置(120)在真實(shí)三維空間內(nèi)相對(duì)于至少一個(gè)物體的位置和取向包含: 接收表明所述測(cè)量裝置(120)位于所述真實(shí)三維空間中已知實(shí)際位置的信號(hào)； 在所述顯示器裝置(112、202 )上顯示來(lái)自所述已知實(shí)際位置視角的至少一個(gè)虛擬物體的虛擬圖像的透視 圖；以及 確認(rèn)所述真實(shí)物體的所述透視圖與所述虛擬物體的所述透視圖之間的對(duì)應(yīng)性。
3.根據(jù)權(quán)利要求2所述的方法，其中所述測(cè)量裝置(120)包含慣性測(cè)量單元(MU)(120)，并且還包含: 接收表明所述慣性測(cè)量裝置(120)相對(duì)于所述真實(shí)物體的取向改變的旋轉(zhuǎn)輸入；以及旋轉(zhuǎn)所述顯示器裝置(112、202)上的所述虛擬物體的所述透視圖，以便所述虛擬物體的所述透視圖匹配來(lái)自所述位置和取向的所述真實(shí)物體的所述透視圖，所述位置和取向源自從所述測(cè)量裝置(120)接收的數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的方法，其中所述旋轉(zhuǎn)輸入包含來(lái)自所述慣性測(cè)量單元(IMU)(120)的輸入或來(lái)自耦合到所述MU (120)或MU數(shù)據(jù)處理應(yīng)用(145、260)和所述顯示器裝置(112、202)的輸入裝置(112、202、204、206、210、212、214)的輸入的至少一個(gè)。
5.根據(jù)權(quán)利要求3所述的方法，其中確認(rèn)所述真實(shí)物體的所述透視圖和所述虛擬物體的所述透視圖之間的對(duì)應(yīng)性包含以下至少其中之一: 接收表明所述慣性測(cè)量單元(120)相對(duì)于所述真實(shí)物體的位置改變的平移輸入；以及在所述顯示器裝置(112、202)上更新所述虛擬三維空間(145)的所述透視圖，以便所述虛擬三維空間(145)的所述透視圖匹配來(lái)自所述測(cè)量裝置(120)的所述位置和取向的所述真實(shí)三維空間的所述透視圖。
6.根據(jù)權(quán)利要求5所述的方法，其中所述平移輸入包含來(lái)自所述測(cè)量裝置(120)的輸入或來(lái)自耦合到所述測(cè)量裝置處理應(yīng)用(145、260 )和所述顯示器裝置(112、202 )的輸入裝置(112、202、204、206、210、212、214)的輸入的至少一個(gè)，并且還包含: 接收所述顯示器裝置(112、202)中的輸入以選擇一個(gè)或更多感興趣的項(xiàng)目；以及 響應(yīng)所述輸入，顯示關(guān)于所述一個(gè)或更多感興趣的項(xiàng)目的信息。
7.一種基于計(jì)算機(jī)的系統(tǒng)，包含: 測(cè)量裝置(120); 顯示器(112、204)； 處理器(222);以及 邏輯指令(260)，其被存儲(chǔ)在耦合到所述處理器(222)的有形計(jì)算機(jī)可讀取的媒介(230 )中，當(dāng)被所述處理器(222 )執(zhí)行時(shí)，其配置所述處理器(222 )從而: 確定所述測(cè)量裝置(120)在真實(shí)三維空間內(nèi)相對(duì)于所述三維空間內(nèi)的至少一個(gè)真實(shí)物體的位置和取向； 在所述顯示器裝置(112、202)上顯示虛擬三維空間(145)中的對(duì)應(yīng)于所述真實(shí)物體的虛擬物體的虛擬圖像的透視圖，其中所述虛擬物體的所述透視圖對(duì)應(yīng)于來(lái)自所述測(cè)量裝置(120)的所述位置的所述真實(shí)物體的所述透視圖。
8.根據(jù)權(quán)利要求7所述的基于計(jì)算機(jī)的系統(tǒng)，其中確定在真實(shí)三維空間中的位置和取向的所述邏輯指令(260 )還包含如下邏輯指令:當(dāng)由所述處理器(222 )執(zhí)行時(shí)，其配置所述處理器(222)從而: 接收表明所述測(cè)量裝置(120)位于所述真實(shí)三維空間中已知實(shí)際位置的信號(hào)； 在所述顯示器上顯示來(lái)自所述已知實(shí)際位置視角的至少一個(gè)虛擬物體的虛擬圖像的透視圖；以及 確認(rèn)所述真實(shí)物體的所述透視圖與所述虛擬物體的所述透視圖之間的對(duì)應(yīng)性。
9.根據(jù)權(quán)利要求8所述的基于計(jì)算機(jī)的系統(tǒng)，其中所述邏輯指令(260)被存儲(chǔ)在耦合到所述處理器(222)的有形計(jì)算機(jī)可讀取的媒介(230)中，當(dāng)由所述處理器(222)執(zhí)行時(shí)，所述邏輯指令(260)配置所述處理器(222)從而執(zhí)行下列中的一者或更多: i)接收表明所述慣性測(cè)量裝置(120)相對(duì)于所述真實(shí)物體的所述取向改變的旋轉(zhuǎn)輸入；并且旋轉(zhuǎn)顯示器裝置(112、202)上的所述虛擬物體的所述透視圖，以便所述虛擬物體的所述透視圖匹配來(lái)自所述測(cè)量裝置(120)的所述位置和取向的所述真實(shí)物體的所述透視圖， 其中所述旋轉(zhuǎn)輸入包含來(lái)自 慣性測(cè)量單元(120)的輸入或來(lái)自耦合到測(cè)量裝置數(shù)據(jù)處理應(yīng)用(145、260)和所述顯示器裝置(112、202)的輸入裝置(112、202、204、206、210、212、214)的輸入的至少一個(gè)； ii)接收所述顯示器裝置(112、202)中的輸入以選擇一個(gè)或更多感興趣的項(xiàng)目；并且響應(yīng)所述輸入，顯示關(guān)于所述一個(gè)或更多感興趣的項(xiàng)目的信息，所述輸入包含來(lái)自所述測(cè)量裝置(120)的輸入或來(lái)自耦合到所述測(cè)量裝置數(shù)據(jù)處理應(yīng)用(145、260)和所述顯示器裝置(112、202)的所述輸入裝置(112、202、204、206、210、212、214)的輸入的至少一個(gè)；以及 iii)接收來(lái)自耦合到所述測(cè)量裝置處理應(yīng)用(145、260)和所述顯示器裝置(112、202)的輸入裝置(112、202、204、206、210、212、214)的輸入的確認(rèn)輸入；并且 接收來(lái)自確定所述真實(shí)物體的所述透視圖與所述真實(shí)物體的實(shí)時(shí)圖像之間匹配的匹配程序的確認(rèn)輸入。
10.根據(jù)權(quán)利要求7-9中任意一項(xiàng)所述的基于計(jì)算機(jī)的系統(tǒng)，其形成計(jì)算機(jī)程序產(chǎn)品。
【文檔編號(hào)】G06T7/20GK103456025SQ201310199985
【公開(kāi)日】2013年12月18日 申請(qǐng)日期:2013年5月27日 優(yōu)先權(quán)日:2012年6月1日
【發(fā)明者】J·J·特洛伊, K·普特博, C·埃斯波西托, J·C·加斯 申請(qǐng)人:波音公司