發(fā)明領(lǐng)域

本發(fā)明的至少一個實施例涉及顯示相關(guān)的技術(shù)，并更具體地涉及用于諸如增強現(xiàn)實或虛擬現(xiàn)實顯示設(shè)備之類的可穿戴可視化設(shè)備的虛擬測量工具。

背景

數(shù)千年來，人類發(fā)明并依賴各種類型的測量工具以量化并更好地理解他們的環(huán)境。例如，為了測量相對較短的空間距離，標(biāo)尺已經(jīng)被依賴了幾個世紀(jì)。卷尺是尺子的現(xiàn)代改編版，激光標(biāo)尺和其他有源測量工具的發(fā)明更是緊隨其后。

然而，一般人所負(fù)擔(dān)得起的諸如傳統(tǒng)標(biāo)尺、卷尺、以及激光標(biāo)尺之類的簡單的空間測量工具都有某些缺點。例如，它們?nèi)鄙賵?zhí)行諸如面積和體積測量之類的更復(fù)雜的測量的能力。此外，在許多情況下，某人可能希望在一位置處測量對象，并確定該對象是否適合于另一位置。例如，某人可能想為自己家購買一件新家具。通常在這種情況下，此人將測量他家中的可用空間并然后去家具店并測量感興趣的那些家具以確定它們是否將適合于該空間(反之亦然)。在這種情況下，該人需要要么記住，要么寫下可用空間的尺寸(或家具項目)，而這是不方便的。

概述

本文所介紹的技術(shù)包括在可穿戴可視化設(shè)備中生成和顯示虛擬測量工具(在下文的描述中也被簡稱為“工具”)的技術(shù)，所述可穿戴可視化設(shè)備諸如被配備以向用戶提供增強現(xiàn)實和/或虛擬現(xiàn)實(“ar/vr”)體驗的頭戴式組件、眼鏡或護目鏡。在某些實施例中，設(shè)備基于例如通過使用姿勢識別、注視跟蹤、語音識別或其某些組合所做出的來自用戶的輸入通過確定多個點來生成工具，每個點處在用戶所占據(jù)的三維(3d)空間(環(huán)境)(例如，房間)中的不同位置處。設(shè)備顯示工具以使該工具在用戶看來好像被覆蓋在用戶環(huán)境的實時、現(xiàn)實世界的視圖上。

在各種實施例中，在用戶看來該工具可作為全息標(biāo)尺或類似的測量工具。被用于定義該工具的點可被錨定到3d空間中的不同點，使得即使用戶移動穿過該3d空間，該工具在該用戶看來保持在空間中的固定位置和定向處。至少一個點可被錨定到物理對象上的對應(yīng)點。例如，通過姿勢識別、注視跟蹤和/或語音識別，用戶還可在六個自由度中的任何一個中移動工具(例如，沿任意三個正交軸平移或繞任意三個正交軸旋轉(zhuǎn))，并且可指定或調(diào)整工具的大小、形狀、單位以及其他特點。

在某些情況下，工具可基本上僅顯示為在空間中的兩個用戶指定點之間的線或非常薄的矩形。然而，在其他情況下，工具可采取以下形式：在三個或更多個用戶指定點處具有頂點的二維(2d)多邊形、或在四個或更多個用戶指定點處具有頂點的3d容體。在這些實施例的任何一個中，向用戶顯示的工具可包括具有數(shù)值和單位的標(biāo)尺。附加地，設(shè)備可自動地計算并向用戶顯示任何兩個確定點之間的長度值、任何三個或更多個確定點之間的面積值、或者任何四個或更多個確定點之間的體積值。此外，在某些實施例中，該設(shè)備允許用戶將工具的狀態(tài)(包括任何對應(yīng)的測量值和設(shè)置)保存在存儲器中，并在不同位置處重新加載/重新顯示該工具的狀態(tài)。

該設(shè)備可包括深度相機或其他類似的傳感器以測量該設(shè)備到用戶所占據(jù)的3d空間(例如，房間)中的對象的距離?；谠摼嚯x信息，該設(shè)備可生成該3d空間中各表面的3d網(wǎng)格模型，并可使用3d網(wǎng)格模型來確定多個確定點的空間坐標(biāo)。多個確定點中的一個或多個可在空間上與3d空間中的一個或多個對象相關(guān)聯(lián)。

根據(jù)附圖和詳細(xì)描述，該技術(shù)的其他方面將顯而易見。

提供本概述以便以簡化的形式介紹以下在詳細(xì)描述中進一步描述的一些概念。本概述并不旨在標(biāo)識所要求保護主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。

附圖簡述

在附圖中的各圖中作為示例而非限制解說了本發(fā)明的一個或多個實施例，其中相同的標(biāo)記指示相似的元素。

圖1例示出了ar/vr頭戴式組件的示例。

圖2是ar/vr頭戴式組件的某些組件的高級框圖。

圖3a至3m示出了透過ar/vr頭戴式組件的用戶的視圖的各種示例。

圖4例示出了頭戴式組件可結(jié)合虛擬測量工具執(zhí)行的過程的示例。

圖5更詳細(xì)地例示出了提供虛擬測量工具的過程的示例。

圖6更詳細(xì)地例示出了根據(jù)示例情景生成并顯示虛擬測量工具的過程。

詳細(xì)描述

在該描述中，對“一實施例”、“一個實施例”等的引用意味著描述的特定特征、功能、結(jié)構(gòu)或特性被包括在本文中引入的技術(shù)的至少一個實施例中。這樣的短語在本說明書中的出現(xiàn)不一定全部涉及同一實施例。另一方面，所涉及的各實施例也不一定是相互排斥的。

本文介紹的技術(shù)包括可穿戴可視化設(shè)備，其生成并顯示諸如全息標(biāo)尺之類的虛擬(例如，全息)測量工具(“工具”)?？梢暬O(shè)備可以是例如被配備以向用戶提供ar/vr體驗的頭戴式組件、眼鏡或護目鏡。工具使得設(shè)備的用戶(例如，穿戴者)能夠容易地測量與其附近的對象或空間相關(guān)聯(lián)的距離、面積和體積。設(shè)備使得用戶能夠用例如姿勢、眼睛注視、或語音或者其任何組合來容易地使用和操縱工具。用戶可將工具定制成任何他需要的長度、大小、或形狀。附加地，工具的狀態(tài)可被保存在存儲器中，并在不同環(huán)境中被重新加載/重新顯示。

圖1示出了根據(jù)本文介紹的技術(shù)可提供虛擬測量工具的ar/vr頭戴式組件的示例。但是注意，本文介紹的技術(shù)可基本上被實現(xiàn)在任何類型的可視化設(shè)備中，所述可視化設(shè)備允許將機器生成的圖像覆蓋(疊加)在用戶環(huán)境的實時、現(xiàn)實世界的視圖上。所例示的頭戴式組件1包括頭帶2，可通過該頭帶2將頭戴式組件1可移除地安裝在用戶的頭上。頭戴式組件1可簡單地通過頭帶2的剛度和/或通過圖1中未示出的緊固機制來被保持在適當(dāng)位置。頭帶2附接有一個或多個透明或半透明的透鏡3，該透鏡包括一個或多個透明或半透明的ar/vr顯示設(shè)備4，每個顯示設(shè)備可覆蓋用戶對他環(huán)境的單眼或雙眼視圖的圖像上。ar/vr顯示設(shè)備4的細(xì)節(jié)不與本文介紹的技術(shù)密切相關(guān)；能夠在用戶環(huán)境的實時、現(xiàn)實世界的視圖上覆蓋機器生成的圖像的顯示設(shè)備是本領(lǐng)域已知的，并且具有此類能力的任何已知的或方便的機制可被使用。

頭戴式組件1進一步包括：用于輸入來自用戶的語音的麥克風(fēng)5(例如，用于識別語音命令)；用于向用戶輸出聲音的一個或多個音頻揚聲器6；用于跟蹤用戶頭部在現(xiàn)實世界空間中的位置和定向的一個或多個眼睛跟蹤相機7；由眼睛追蹤相機7使用的一個或多個照明源8；用于檢測和測量距附近表面的距離的一個或多個深度相機9；用于捕獲用戶環(huán)境的標(biāo)準(zhǔn)視頻和/或確定用戶在該環(huán)境中的位置的一個或多個面向外瞄準(zhǔn)的可見光譜相機10；以及用于控制上述元件中的至少一些并執(zhí)行相關(guān)聯(lián)的數(shù)據(jù)處理功能的電路11。電路11可包括例如一個或多個處理器和一個或多個存儲器。注意，在其他實施例中，上述組件可位于頭戴式組件1上的不同位置處。附加地，一些實施例可省略一些上述組件和/或可包括上文未提及的附加組件。

圖2是根據(jù)本文所介紹的技術(shù)的一些實施例的ar/vr頭戴式組件20的某些組件的高級框圖。圖2中的頭戴式組件20和各組件可代表圖2中的頭戴式組件1。在圖2中，頭戴式組件20的功能部件包括以下中的每一者的一個或多個實例：處理器21、存儲器22、透明或半透明ar/vr顯示設(shè)備23、音頻揚聲器24、深度相機25、眼睛跟蹤相機26、麥克風(fēng)27、以及通信設(shè)備28，并全部通過互連29被(直接地或間接地)耦合在一起。互連29可以是或可以包括一個或多個導(dǎo)電跡線、總線、點到點連接、控制器、適配器、無線鏈路和/或其他常規(guī)連接設(shè)備和/或媒體，其中至少一些可彼此獨立地操作。

處理器21單獨地和/或共同地控制頭戴式組件20的整體操作并執(zhí)行各種數(shù)據(jù)處理功能。附加地，處理器21可提供用于生成和顯示上述虛擬測量工具的計算和數(shù)據(jù)處理功能中的至少一些。例如，每個處理器21可以是或可以包括一個或多個通用可編程微處理器、數(shù)字信號處理器(dsp)、移動應(yīng)用處理器、微控制器、專用集成電路(asic)、可編程門陣列(pga)等，或此類設(shè)備的組合。

將處理器31配置成執(zhí)行本文介紹的技術(shù)方面的數(shù)據(jù)和指令(代碼)30可被存儲在一個或多個存儲器22中。每個存儲器22可以是或可以包括一個或多個物理存儲設(shè)備，其可以是以下形式：隨機存取存儲器(ram)、只讀存儲器(rom)(其可以是可擦寫并可編程的)、閃存、微型硬盤驅(qū)動器、或其他合適類型的存儲設(shè)備、或這樣的設(shè)備的組合。

一個或多個通信設(shè)備28使得頭戴式組件20能夠從分開的外部處理系統(tǒng)(諸如個人計算機或游戲控制臺)接收數(shù)據(jù)和/或命令，并向該分開的外部處理系統(tǒng)發(fā)送數(shù)據(jù)和/或命令。例如，每個通信設(shè)備28可以是或可以包括通用串行總線(usb)適配器、wi-fi收發(fā)器、藍(lán)牙或藍(lán)牙低能量(ble)收發(fā)器、以太網(wǎng)適配器、電纜調(diào)制解調(diào)器、dsl調(diào)制解調(diào)器、蜂窩收發(fā)器(例如，3g、lte/4g或5g)、基帶處理器等，或其組合。

例如，每個深度相機25可應(yīng)用飛行時間原理來確定距附近對象的距離。由深度相機25獲取的距離信息被用于(例如，被處理器21)構(gòu)建用戶環(huán)境中各表面的3d網(wǎng)格模型。例如，每個眼睛跟蹤相機26可以是近紅外相機，該近紅外相機基于來自瞳孔和/或角膜閃光的由頭戴式組件上的一個或多個近ir源(諸如圖1中的照明源7)發(fā)射的近紅外光的鏡面反射來檢測注視方向。為了能夠檢測到此類反射，頭戴式組件的透鏡(例如，圖1中的透鏡3)的內(nèi)表面可涂覆有反射ir光但對可見光透明的物質(zhì)；此類物質(zhì)是本領(lǐng)域已知的。此方法允許來自ir源的照明從透鏡的內(nèi)表面反彈到用戶的眼睛，其中它被反射回眼睛跟蹤相機(可能再次經(jīng)由透鏡的內(nèi)表面)。

注意，上述組件中的任何一種或全部可在它們的上述功能方面完全自包；然而，在一些實施例中，一個或多個處理器21提供與其他組件相關(guān)聯(lián)的處理功能中的至少一些。例如，與深度相機25相關(guān)聯(lián)的用于深度檢測的數(shù)據(jù)處理中的至少一些可由處理器21執(zhí)行。類似地，與注視跟蹤相機26相關(guān)聯(lián)的用于注視跟蹤的數(shù)據(jù)處理中的至少一些可由處理器21執(zhí)行。類似地，支持ar/vr顯示器23的圖像處理中的至少一些可由處理器21執(zhí)行；等等。

現(xiàn)在將參考圖3a至3h描述ar/vr頭戴式組件可如何提供虛擬測量工具的示例。圖3a至3h示出了透過ar/vr頭戴式組件(例如，透過圖1中的透鏡3和顯示設(shè)備4)的用戶視圖的各種示例。具體地，圖3a示出了當(dāng)用戶穿戴頭戴式組件站在他家的房間中時，該頭戴式組件的用戶可能具有的視圖的中心部分(由于頁面大小限制，外圍視野在圖中被截除)。例如，用戶可看到位于咖啡桌22周圍的沙發(fā)31和椅子32。頭戴式組件可將一個或多個全息圖標(biāo)34或其他用戶界面元件顯示在用戶的視野中，以允許用戶能夠使用頭戴式組件的各種功能。例如，用戶界面元素中的一個可以是用于選擇/啟動虛擬測量工具的操作的圖標(biāo)35(或其他等效元素)。

在頭戴式組件可操作的情況下，它使用其深度相機構(gòu)建用戶的附近(例如，幾米內(nèi))的所有表面或至少用戶視野內(nèi)的所有鄰近的表面的3d網(wǎng)格模型，該3d網(wǎng)格模型包括表面距用戶(即，距頭戴式組件)的距離。通過使用深度檢測(例如，飛行時間)來生成鄰近表面的3d網(wǎng)格模型的技術(shù)在本領(lǐng)域中是已知的，而不需要在本文中被描述。因此，圖3a的示例中的3d網(wǎng)格模型將至少對以下各項進行建模：沙發(fā)31、椅子32和咖啡桌33的所有可見表面，以及房間的墻、地板和天花板、窗戶，以及諸如安裝在墻上的窗簾、藝術(shù)品(未顯示)之類的潛在的甚至更小的特征，等等。3d網(wǎng)格模型可被存儲在頭戴式組件上的存儲器中。通過使用3d網(wǎng)格模型和來自視覺跟蹤系統(tǒng)(例如，相機10)的圖像數(shù)據(jù)，頭戴式組件中的電路(例如，處理器21)可隨時確定房間內(nèi)用戶的精確位置。3d網(wǎng)格模型可在頻繁的基礎(chǔ)上(諸如每秒幾次)被自動更新。

現(xiàn)在假設(shè)用戶想要用新的咖啡桌替換咖啡桌33，但是希望用類似大小的咖啡桌替換它并保持在房間的相同位置處。因此，用戶可決定使用該工具來測量咖啡桌33的尺寸。為了這么做，用戶首先輸入選擇或初始化工具的命令。此命令與此描述中提及的所有其他用戶命令一樣，除非另有說明，否則可是例如手部姿勢、口述命令、或用戶的基于注視的動作(例如，用戶將他的目光集中在所顯示的全息圖標(biāo)上的動作)，或這些類型的輸入的組合。

在此示例中，在用戶選擇工具之后，用戶向頭戴式組件提供輸入以指定兩個點37，在此示例中點27是虛擬測量工具的用戶初始期望的端點。在其他實施例中，該工具可最初被顯示在相對于用戶的空間中的預(yù)定默認(rèn)位置和定向處。在此示例情景中，點37對應(yīng)于咖啡桌33的上表面的分開的角。例如，用戶可通過用指向咖啡桌的每個角的手指執(zhí)行“輕擊”姿勢，或通過指向每個角并說出諸如“放置點”之類的適當(dāng)?shù)拿顏碇付總€點37。通過將用戶的輸入與房間的已經(jīng)創(chuàng)建的3d網(wǎng)格模型相關(guān)聯(lián)，頭戴式組件中的處理器可確定用戶旨在標(biāo)識的最可能的3d空間坐標(biāo)。但是注意，在此上下文中的點37不一定必須與物理對象的角重合。例如，用戶可將工具的端點37指定為在用戶附近的任何(被頭戴式組件識別的)表面上，或甚至懸浮在空中。如果用戶的輸入看起來像指定物理對象上的點(如本示例所示)，則處理器會將該點與該對象相關(guān)聯(lián)并將該點錨定于該對象。自動將端點定位于物理對象上的一點并將該端點錨定于物理對象上的該點的過程被稱為“咬合(snap)”。咬合特征與在現(xiàn)實世界中的磁性吸引類似，因為虛擬標(biāo)尺38將看起來像是“粘貼”到物理對象，直到用戶通過一些輸入(例如，注視、語音或姿勢)清楚地指示解粘貼它的意圖。

在本示例中，一旦用戶已經(jīng)指定了兩個點37，則頭戴式組件顯示連接這兩個點37的全息(虛擬)線38，即虛擬標(biāo)尺。因此，在該示例中，線38沿著咖啡桌33的上表面中的一個較長的邊緣延伸。線38可用指示單位(諸如英尺和英寸)的碼線(hashmark)和/或數(shù)字，和/或其分?jǐn)?shù)來注釋。

當(dāng)虛擬標(biāo)尺38被錨定到對象時(如本示例所示)，頭戴式組件可默認(rèn)地調(diào)整其顯示，使得即使用戶在房間中移動，虛擬標(biāo)尺在用戶看來以相同的定向保持固定于該對象，除非用戶提供輸入以修改該功能。用戶可選擇將虛擬標(biāo)尺38從對象解錨并使虛擬標(biāo)尺在空間中移動，如圖3c和3d所示。例如，在圖3c中，用戶已將虛擬標(biāo)尺38垂直于咖啡桌33抬離(平移)。在圖3d中，用戶繞垂直軸旋轉(zhuǎn)虛擬標(biāo)尺38。用戶可沿著三個正交坐標(biāo)軸(例如，x、y和z)中的任何一個平移地移動虛擬標(biāo)尺38，并還可繞三個正交軸中的任何一個旋轉(zhuǎn)標(biāo)尺。同樣，這可通過任何合適的命令來實現(xiàn)，諸如口述命令、姿勢、以及用戶注視的改變，或其組合。

替代于最初將虛擬標(biāo)尺38錨定到對象，用戶可替代地實例化虛擬標(biāo)尺38，使得虛擬標(biāo)尺最初在空間中懸浮，并然后(可選地)使其咬合于物理對象。虛擬標(biāo)尺28可被咬合于在本地環(huán)境的3d網(wǎng)格中表示的任何邊緣或表面。頭戴式組件可基于各種輸入(諸如口述命令、姿勢、或用戶的注視集中在對象上，或其組合)中的任何一種來推斷用戶的咬合意圖。該確定/推斷也可基于物理對象距用戶接近程度和/或該對象在用戶視野中的中心程度。

通過允許用戶指定三個或更多個相關(guān)點而不是僅僅兩個端點，諸如本文所描述的虛擬測量工具也可具有(2d)多邊形的形式。在這種情況下，除了多邊形的每邊的長度之外，頭戴式組件可自動地計算并向用戶顯示該多邊形的面積值。例如，現(xiàn)在參考圖3e，用戶可能想要知道咖啡桌33占據(jù)多少面積；因此，用戶可將工具定義為與咖啡桌33的上表面對應(yīng)的矩形40的形式。盡管未在圖3e中示出，但是與線性實施例一樣，工具的多邊形實施例的顯示也可包括單位和數(shù)值。頭戴式組件還可自動計算并顯示此面積(例如，在本示例中為“8ft²(平方英尺)”)。在一些情況下，如上(圖3b)所述，當(dāng)定義初始端點時，用戶可初始指定所有三個或更多個點；替換地，用戶可初始地將工具定義為僅兩點之間的線(如上所述)，并然后隨后添加一個或多個附加點以將工具擴展成多邊形或3d容體。就此而言，頭戴式組件可使用各種技術(shù)中的任何一種來推斷用戶的意圖。例如，如果用戶最初在相對接近的時間內(nèi)指定三個或更多個點，或者全都在同一物理對象上，則可推斷用戶希望將該工具定義為多邊形。如果用戶最初將工具定義為線，則用戶可例如通過命令(例如，說“添加點”)隨后添加一個或多個點以將其轉(zhuǎn)換為多邊形，或者頭戴式組件可推斷用戶意圖以便基于用戶行為來添加點。如在線性測量工具(例如，虛擬標(biāo)尺38)的示例中，用戶可平移地和旋轉(zhuǎn)地移動多邊形工具。

以類似的方式，工具還可通過允許用戶指定四個或更多個相關(guān)點來具有3d對象的形式。在這樣的實例中，頭戴式組件可自動計算并向用戶顯示該工具的體積值、以及該對象的每邊的長度和任何表面的面積。例如，現(xiàn)在參考圖3f，用戶可將工具定義為表示咖啡桌的外空間“包絡(luò)”的矩形箱50。盡管未在圖3e中示出，但是與線性實施例一樣，工具的多邊形實施例的顯示也可包括單位和數(shù)值。如圖所示，頭戴式組件還可自動計算并顯示工具(箱50)的體積(例如，在本示例中為“8ft³(立方英尺)”)。如在線性和2d虛擬測量工具的示例中，用戶還可平移地和旋轉(zhuǎn)地移動3d工具。

在某些情況下，頭戴式組件允許用戶將工具的當(dāng)前狀態(tài)(包括任何對應(yīng)的測量值和設(shè)置)保存在存儲器中，并在不同位置處重新加載/重新顯示該工具的狀態(tài)。例如，在本示例中，用戶可能希望將工具以其當(dāng)前形式保存，并在另一位置(諸如，在家具店)處重新顯示該工具。因此，如圖3g所例示的，用戶可輸入適當(dāng)?shù)拿?例如，通過說“保存”或作出適當(dāng)?shù)氖植孔藙輥磉x擇對應(yīng)的顯示圖標(biāo)34)。之后，如圖3h所例示的，當(dāng)用戶訪問家具店時，用戶可通過適當(dāng)?shù)拿钍诡^戴式組件從存儲器加載工具并重新顯示該工具(例如，通過說“加載”或作出適當(dāng)?shù)氖植孔藙輥磉x擇對應(yīng)的顯示圖標(biāo)34)。用戶可調(diào)整工具的位置和定向以符合商店中的物理對象(例如，新的咖啡桌)的位置和定向，以使用戶能夠測量該對象。

考慮了虛擬測量工具的各種其他使用情景。例如，頭戴式組件可使用戶能夠按序指定三個或更多個端點，以及可自動計算并顯示由這三個或更多個端點定義的段的長度之和。這種使用場景的示例在圖3i中被示出，其中虛擬標(biāo)尺58由三個端點63定義的兩個連接的線性段61組成，其中每段的長度和兩個段的長度之和被示出。此外，如圖3j所例示的，通過使用頭戴式組件的表面識別能力，用戶可通過隨時間(或基于距離閾值)生成多個端點來繞一個或多個表面“封包”虛擬標(biāo)尺59，其中頭戴式組件可自動計算并顯示每段的長度和各段的長度之和。

附加地，虛擬測量工具不必被實例化為直線。例如，如圖3k所例示的，用戶可將虛擬標(biāo)尺70定義為彎曲/不規(guī)則線(例如，通過使用手部姿勢)，其中頭戴式組件仍可計算虛擬標(biāo)尺的總長度(例如，通過將其分成圍繞一個或多個對應(yīng)中心點的一個或多個半徑，并然后計算每個半徑的長度)。不管工具的形式是線性的段或是彎曲/不規(guī)則的段(或其組合)，用戶可將其端點“咬合”在一起形成諸如圖3l中的形狀72之類的封閉的2d形狀。在這種情況下，頭戴式組件可自動計算并顯示由新定義的形狀封閉的面積。此外，如圖3m所示，用戶可通過輸入適當(dāng)?shù)拿罡鶕?jù)任何2d形狀來創(chuàng)建3d形狀(諸如容體74)，在這種情況下，頭戴式組件還可自動計算并顯示由3d形狀封閉的總體積。

圖4例示出了根據(jù)一些實施例的可由頭戴式組件(例如，由處理器21)執(zhí)行以用于提供虛擬測量工具的過程的示例。最初，在步驟401，頭戴式組件通過基于來自用戶的輸入(諸如通過使用姿勢識別、注視跟蹤和/或語音識別)定義位于用戶所占據(jù)的三維空間中的不同位置處的多個點來生成虛擬測量工具。然后，在步驟402，頭戴式組件向用戶顯示虛擬測量工具，使得該工具在用戶看來好像被覆蓋在用戶所占據(jù)的3d空間的實時、現(xiàn)實世界的視圖上。

圖5更詳細(xì)地例示出了根據(jù)一些實施例的提供虛擬測量工具的過程的示例。當(dāng)頭戴式組件首次通電并初始化時，頭戴式組件在步驟501使用它的深度傳感器來測量頭戴式組件到用戶環(huán)境中的鄰近表面的距離。在步驟502，頭戴式組件然后基于所測得的距離生成那些表面的3d網(wǎng)格模型。用于生成3d網(wǎng)格模型表面的任何已知或方便的技術(shù)可在此步驟中被使用。在某個稍后時刻，并且不一定必須作為步驟502的結(jié)果，頭戴式組件在步驟503接收選擇虛擬測量工具的用戶輸入。頭戴式組件然后在步驟504接收用于指定用戶環(huán)境的空間中的兩個或多個點的用戶輸入(例如，一個或多個姿勢、口述命令和/或基于注視的命令)。在步驟505，頭戴式組件通過(至少部分地)基于3d網(wǎng)格模型確定每個用戶指定點的最可能的3d坐標(biāo)來確定用戶指定點。在步驟506，頭戴式組件將確定點用作測量工具的端點或頂點來向用戶顯示該測量工具。

圖6更詳細(xì)地例示出了根據(jù)示例情景生成并顯示工具的過程。在步驟601，頭戴式組件接收指定空間中的兩個或多個點的用戶輸入(例如，一個或多個姿勢、口述命令和/或基于注視的命令)。在步驟602，頭戴式組件基于3d網(wǎng)格模型確定每個點的最可能的3d坐標(biāo)。在此示例中，此步驟進一步包括將各點中的至少一個與用戶附近對象上的一點相關(guān)聯(lián)，其可進一步包括錨定對象的該點。因此，如果用戶移動穿過環(huán)境，則從用戶的角度來看該點(其定義工具的端點或頂點)將保持固定到對象。

在所例示的示例情景中，如果用戶僅指定了兩個點(步驟603)，則頭戴式組件在步驟606將測量工具定義并顯示為連接這兩個點的線(并且可選地，具有單位和數(shù)值的指示)。頭戴式組件還可計算并向用戶顯示該線的長度。該過程隨后前進至步驟604。在步驟604，如果用戶已指定了三個或更多個點并已指示了(明確地或隱含地)執(zhí)行2d測量(例如，面積測量)的期望，則在步驟608，頭戴式組件將測量工具定義并顯示為連接該三個或更多個點的多邊形。在步驟609，頭戴式組件還計算并顯示多邊形的面積，并然后前進至步驟604。在步驟604，如果用戶已指定了四個或更多個點并已指示了(明確地或隱含地)執(zhí)行3d測量(例如，體積測量)的期望，則在步驟610，頭戴式組件將測量工具定義并顯示為連接該四個或更多個點的3d容體。在步驟611，頭戴式組件還計算并顯示由工具封閉的體積。

在上述技術(shù)的變型中，虛擬測量工具可被在共享ar環(huán)境中協(xié)作的多個用戶實例化和/或使用。例如，兩個或更多個用戶(每個用戶都使用如上所述的可視化設(shè)備)，可一起測量共享的物理空間并可在現(xiàn)實世界中各自建立有助于整體測量和空間標(biāo)記的點。在這樣的實施例中，兩個或更多個可視化設(shè)備可直接地或通過分開的處理設(shè)備(例如，計算機)彼此進行通信；或者，可視化設(shè)備可與協(xié)調(diào)所有可視化設(shè)備的測量和顯示功能的所述分開的處理設(shè)備分開地進行通信。

因此，已經(jīng)描述了用于在可穿戴ar/vr顯示系統(tǒng)中使用的虛擬(全息)測量工具。

以上描述的機器實現(xiàn)的操作可由通過軟件來編程/配置的可編程電路，或者完全由專用電路，或者由這樣的形式的組合來實現(xiàn)。這樣的專用電路(如果有的話)可采用例如一個或多個專用集成電路(asic)、可編程邏輯設(shè)備(pld)、現(xiàn)場可編程門陣列(fpga)、片上系統(tǒng)(soc)等的形式。

用于實現(xiàn)本文中引入的技術(shù)的軟件可被儲存在機器可讀存儲介質(zhì)上，并可由一個或多個通用或?qū)Ｓ每删幊涛⑻幚砥鱽韴?zhí)行。如本文中所使用的術(shù)語“機器可讀介質(zhì)”包括可存儲機器(機器可以是例如計算機、網(wǎng)絡(luò)設(shè)備、蜂窩電話、個人數(shù)字助理(pda)、制造工具、具有一個或多個處理器的任意設(shè)備等)可訪問的形式的信息的任何機制。例如，機器可訪問介質(zhì)包括可記錄/不可記錄介質(zhì)(例如，只讀存儲器(rom)；隨機存取存儲器(ram)；磁盤存儲介質(zhì)、光學(xué)存儲介質(zhì)；閃存設(shè)備等)等。

某些實施例的示例

本文中引入的技術(shù)的某些實施例被概括在以下被編號的示例中：

1.一種方法，包括：被用戶穿戴的可視化設(shè)備通過基于以下各項中的至少一者確定位于所述用戶所占據(jù)的三維空間中的不同位置處的多個點生成虛擬測量工具：識別所述用戶的至少一個姿勢、跟蹤所述用戶的注視、或識別所述用戶的語音；以及通過所述可視化設(shè)備將所述虛擬測量工具顯示給所述用戶，使得所述虛擬測量工具在所述用戶看來好像被覆蓋在所述用戶所占據(jù)的所述三維空間的現(xiàn)實視圖上。

2.如示例1所述的方法，其中生成所述虛擬測量工具包括將所述多個點錨定到所述三維空間中的相應(yīng)不同點，使得所述用戶移動穿過所述三維空間時，所述虛擬測量工具在所述用戶看來保持在空間中的固定位置和定向處。

3.如示例1或示例2所述的方法，其中生成所述虛擬測量工具包括將所述多個點中的至少一個點在空間上相關(guān)聯(lián)于所述用戶所占據(jù)的所述三維空間中的物理對象上的對應(yīng)點。

4.如示例1至3中任一項所述的方法，其中生成所述虛擬測量工具包括將所述虛擬測量工具的至少一部分生成為所述多個點中的兩個點之間的線。

5.如示例1至4中任一項所述的方法，其中生成所述虛擬測量工具包括將所述虛擬測量工具生成為在所述多個點中的三個或更多個點處具有頂點的多邊形。

6.如示例1至5中任一項所述的方法，其中生成所述虛擬測量工具包括將所述虛擬測量工具生成為在所述多個點中的四個或更多個點處具有頂點的三維容體。

7.如示例1至6中任一項所述的方法，其中顯示所述虛擬測量工具包括在所述虛擬測量工具上或在所述虛擬測量工具附近顯示測量標(biāo)尺。

8.如示例1至7中任一項所述的方法，進一步包括：由所述可視化設(shè)備基于所述多個點來計算長度、面積或體積；以及由所述可視化設(shè)備向所述用戶輸出所述長度、面積或體積。

9.如示例1至8中任一項所述的方法，其中所述用戶所占據(jù)的所述三維空間是第一三維空間，所述方法進一步包括：響應(yīng)于第一用戶命令將所述虛擬測量工具保存到存儲器中；不繼續(xù)由所述可視化設(shè)備顯示所述虛擬測量工具；以及在所述用戶重新定位到第二三維空間之后響應(yīng)于第二用戶命令，在所述用戶占據(jù)所述第二三維空間時從所述存儲器檢索所述虛擬測量工具并將所述虛擬測量工具重新顯示給所述用戶，其中所述重新顯示包括將所述虛擬測量工具在空間上相關(guān)聯(lián)于所述第二三維空間中的對象。

10.如示例1至9中任一項所述的方法，進一步包括：使用深度傳感器來測量所述可視化設(shè)備距所述用戶所占據(jù)的所述三維空間中各對象的距離；以及基于所述測得的距離，生成所述用戶所占據(jù)的所述三維空間中各表面的3d網(wǎng)格模型；以及基于至少一個用戶輸入，使用所述3d網(wǎng)格模型來確定所述多個點的空間坐標(biāo)，其中使用所述3d網(wǎng)格模型以確定所述多個點的空間坐標(biāo)包括確定將在空間上相關(guān)聯(lián)于所述各對象中的一個對象的所述多個點中的至少一個點的位置。

11.如示例1至10中任一項所述的方法，進一步包括：通過以下各項中的至少一者來確定對所述虛擬測量工具的位置或定向的調(diào)整：識別所述用戶的姿勢、跟蹤所述用戶的注視、或識別所述用戶的語音；以及基于所述調(diào)整來調(diào)整被顯示給所述用戶的所述虛擬線性測量工具的所述位置或定向。

12.一種方法，包括：在頭戴式可視化設(shè)備上使用深度傳感器來測量所述可視化設(shè)備距所述可視化設(shè)備的用戶所占據(jù)的第一封閉空間中各對象的距離；基于所述測得的距離生成所述第一封閉空間中各表面的3d網(wǎng)格模型；所述可視化設(shè)備根據(jù)來自所述用戶的至少一個輸入通過確定位于所述第一封閉空間中的不同位置處的多個點生成虛擬測量工具，包括確定將在空間上相關(guān)聯(lián)于所述各對象中的一個對象的所述多個點中的至少一個點的位置，所述至少一個輸入包括以下各項中的至少一者：所述用戶的姿勢、所述用戶的注視方向、或所述用戶的語音；以及通過所述可視化設(shè)備將所述虛擬測量工具顯示給所述用戶，使得所述虛擬測量工具在所述用戶看來好像被覆蓋在所述第一封閉空間的現(xiàn)實視圖上，其中所述顯示包括在所述虛擬測量工具上或在所述虛擬測量工具附近顯示測量標(biāo)尺，其中生成所述虛擬測量工具包括將所述多個點錨定到所述第一封閉空間中的相應(yīng)不同點，使得所述用戶移動穿過所述第一封閉空間時，所述虛擬測量工具在所述用戶看來保持在空間中的固定位置和定向處；通過以下各項中的至少一者來確定對所述虛擬測量工具的位置或定向的調(diào)整：識別所述用戶的姿勢、跟蹤所述用戶的注視、或識別所述用戶的語音；以及基于所述調(diào)整來調(diào)整被顯示給所述用戶的所述虛擬線性測量工具的所述位置或定向。

13.如示例12所述的方法，其中生成所述虛擬測量工具包括將所述虛擬測量工具的至少一部分生成為所述多個點中的兩個點之間的線。

14.如示例12或示例13所述的方法，其中生成所述虛擬測量工具包括以下各項中的至少一個：將所述虛擬測量工具的至少一部分生成為在所述多個點中的三個或更多個點處具有頂點的多邊形；或著將所述虛擬測量工具的至少一部分生成為在所述多個點中的四個或更多個點處具有頂點的三維容體。

15.如示例12至14中任一項所述的方法，進一步包括：由所述可視化設(shè)備基于所述多個點來計算長度、面積或體積；以及由所述可視化設(shè)備向所述用戶輸出所述長度、面積或體積。

16.一種頭戴式可視化設(shè)備，包括：頭部配件，所述頭部配件用于將所述頭戴式可視化設(shè)備安裝到用戶的頭部；至少部分透明的顯示表面，所述至少部分透明的顯示表面被耦合到所述頭部配件，在所述至少部分透明的顯示表面上將所生成的圖像顯示給所述用戶；輸入子系統(tǒng)，所述輸入子系統(tǒng)用于接收來自所述用戶的輸入并被配置成執(zhí)行姿勢識別和注視檢測；深度傳感器，所述深度傳感器用于確定所述用戶的環(huán)境中各對象的位置；以及處理器，所述處理器被耦合到所述顯示表面、所述輸入子系統(tǒng)以及所述深度傳感器，并被配置成：根據(jù)經(jīng)由所述輸入子系統(tǒng)接收的來自所述用戶的至少一個輸入，通過確定位于所述用戶的所述環(huán)境中的不同位置處的多個點來生成虛擬測量工具，其中所述多個點中的至少一個點的所述位置被確定在空間上相關(guān)聯(lián)于所述用戶的所述環(huán)境中的所述各對象中的一個；以及導(dǎo)致所述顯示表面向所述用戶顯示具有距離、面積或體積指示的所述虛擬測量工具，其中所述用戶移動穿過所述環(huán)境時，所述虛擬測量工具在所述用戶看來保持在空間中的固定位置和定向處。

17.如示例16所述的頭戴式可視化設(shè)備，其中所述處理器被進一步配置成基于所述用戶的姿勢或所述用戶的注視中的至少一者來確定對所述虛擬測量工具的位置或定向的調(diào)整，并基于所述調(diào)整來調(diào)整被顯示給所述用戶的所述虛擬線性測量工具的所述位置或定向。

18.如示例16或示例17所述的頭戴式可視化設(shè)備，其中所述處理器被配置成將所述虛擬測量工具生成為在所述多個點中的三個或更多個點處具有頂點的多邊形。

19.如示例16至18中任一項所述的頭戴式可視化設(shè)備，其中所述處理器被配置成將所述虛擬測量工具生成為在所述多個點中的四個或更多個點處具有頂點的三維容體。

20.如示例16至19中任一項所述的頭戴式可視化設(shè)備，進一步包括存儲器，并且其中所述處理器被進一步被配置成：響應(yīng)于第一用戶輸入將所述虛擬測量工具保存到所述存儲器；不繼續(xù)由所述顯示表面顯示所述虛擬測量工具；以及在所述用戶重新定位到第二環(huán)境之后響應(yīng)于第二用戶輸入，在所述用戶占據(jù)所述第二環(huán)境時從所述存儲器檢索所述虛擬測量工具并導(dǎo)致所述顯示表面將所述虛擬測量工具重新顯示給所述用戶，包括將所述虛擬測量工具在空間上相關(guān)聯(lián)于所述第二環(huán)境中的對象。

21.一種裝置，包括：用于通過基于以下各項中的至少一者確定位于所述用戶所占據(jù)的三維空間中的不同位置處的多個點生成虛擬測量工具的裝置：識別所述用戶的至少一個姿勢、跟蹤所述用戶的注視、或識別所述用戶的語音；以及用于將所述虛擬測量工具顯示給所述用戶的裝置，使得所述虛擬測量工具在所述用戶看來好像被覆蓋在所述用戶所占據(jù)的所述三維空間的現(xiàn)實視圖上。

22.如示例21所述的裝置，其中用于生成所述虛擬測量工具的裝置包括用于將所述多個點錨定到所述三維空間中的相應(yīng)不同點的裝置，使得所述用戶移動穿過所述三維空間時，所述虛擬測量工具在所述用戶看來保持在空間中的固定位置和定向處。

23.如示例21或示例22所述的裝置，其中用于生成所述虛擬測量工具的裝置包括用于將所述多個點中的至少一個點在空間上相關(guān)聯(lián)于所述用戶所占據(jù)的所述三維空間中的物理對象上的對應(yīng)點的裝置。

24.如示例21至23中任一項所述的裝置，其中用于生成所述虛擬測量工具的裝置包括用于將所述虛擬測量工具的至少一部分生成為所述多個點中的兩個點之間的線的裝置。

25.如示例21至24中任一項所述的裝置，其中用于生成所述虛擬測量工具的裝置包括用于將所述虛擬測量工具生成為在所述多個點中的三個或更多個點處具有頂點的多邊形的裝置。

26.如示例21至25中任一項所述的裝置，其中用于生成所述虛擬測量工具的裝置包括用于將所述虛擬測量工具生成為在所述多個點中的四個或更多個點處具有頂點的三維容體的裝置。

27.如示例21至26中任一項所述的裝置，其中用于顯示所述虛擬測量工具的所述裝置包括用于在所述虛擬測量工具上或在所述虛擬測量工具附近顯示測量標(biāo)尺的裝置。

28.如示例21至27中任一項所述的裝置，進一步包括：用于基于所述多個點來計算長度、面積或體積的裝置；以及用于向所述用戶輸出所述長度、面積或體積的裝置。

29.如示例21至28中任一項所述的裝置，其中所述用戶所占據(jù)的所述三維空間是第一三維空間，所述裝置進一步包括：響應(yīng)于第一用戶命令用于將所述虛擬測量工具保存到存儲器中的裝置；不繼續(xù)顯示所述虛擬測量工具的裝置；以及在所述用戶重新定位到第二三維空間之后響應(yīng)于第二用戶命令，在所述用戶占據(jù)所述第二三維空間時用于從所述存儲器檢索所述虛擬測量工具并將所述虛擬測量工具重新顯示給所述用戶的裝置，其中所述重新顯示包括將所述虛擬測量工具在空間上相關(guān)聯(lián)于所述第二三維空間中的對象。

30.如示例21至29中任一項所述的裝置，進一步包括：用于使用深度傳感器來測量所述可視化設(shè)備距所述用戶所占據(jù)的所述三維空間中各對象的距離的裝置；以及基于所述測得的距離，用于生成所述用戶所占據(jù)的所述三維空間中各表面的3d網(wǎng)格模型的裝置；以及基于至少一個用戶輸入，用于使用所述3d網(wǎng)格模型來確定所述多個點的空間坐標(biāo)的裝置，其中用于使用所述3d網(wǎng)格模型以確定所述多個點的空間坐標(biāo)的裝置包括用于確定將在空間上相關(guān)聯(lián)于所述各對象中的一個對象的所述多個點中的至少一個點的位置的裝置。

31.如示例21至30中任一項所述的裝置，進一步包括：用于通過以下各項中的至少一者來確定對所述虛擬測量工具的位置或定向的調(diào)整的裝置：識別所述用戶的姿勢、跟蹤所述用戶的注視、或識別所述用戶的語音；以及用于基于所述調(diào)整來調(diào)整被顯示給所述用戶的所述虛擬線性測量工具的所述位置或定向的裝置。

以上所述的特征和功能中的任一者和全部可彼此組合，除了其可在以上被按其他方式被陳述或者任何這樣的實施例可由于其功能或結(jié)構(gòu)而不兼容的范疇以外，如對本領(lǐng)域的普通技術(shù)人員所顯而易見的。除非與物理可能性相反，否則可預(yù)期(i)本文中描述的方法/步驟可按任何順序和/或任何組合被執(zhí)行，以及(ii)相應(yīng)的實施例的組件可按任何方式被組合。

盡管用結(jié)構(gòu)特征和/或動作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。相反，上述特定特征和動作是作為實現(xiàn)權(quán)利要求書的示例而公開的，并且其他等價特征和動作旨在處于權(quán)利要求書的范圍內(nèi)。