平面自然特征目標的原位形成的制作方法
【專利說明】平面自然特征目標的原位形成
[0001]相關串請案的交叉參考
[0002]本申請案主張2013年3月14日提交的標題為“平面自然特征目標的原位形成(InSitu Creat1n of Planar Natural Feature Targets) ”的第 13/802，834號美國申請案的權益及優(yōu)先權，所述申請案轉讓給本受讓人且通過引用全文并入本文中。
技術領域
[0003]本文中所揭示的標的物通常涉及平面目標形成及追蹤。
【背景技術】
[0004]相機傳感器數(shù)據(jù)或圖像可用作構建環(huán)境的3D地圖的輸入。在擴增實境(AR)系統(tǒng)中，虛擬對象可插入到裝置顯示器中，所述虛擬對象與現(xiàn)實/物理世界對象交互或替代現(xiàn)實/物理世界對象。AR系統(tǒng)可包含來自相機傳感器的輸入以將現(xiàn)實世界對象記錄為圖像或視頻，并且將AR視圖顯示在裝置顯示器上。
[0005]AR系統(tǒng)可實施追蹤系統(tǒng)以相對于參考物估計用戶的位置及定向(姿態(tài))。傳統(tǒng)的追蹤系統(tǒng)受所追蹤參考物的類型以及用于開始追蹤的初始化工序的限制。舉例來說，在傳統(tǒng)的追蹤系統(tǒng)中，先前獲取的參考物或人工標記物可用于初始化環(huán)境的3維(3D)模型的追蹤。否則，在沒有先前已知的參考物的情況下，對象可呈現(xiàn)在錯誤位置或浮動在環(huán)境地圖的周圍。
[0006]利用單個相機的追蹤系統(tǒng)還可依賴于從通過單個相機俘獲的兩個后續(xù)參考圖像初始化3D地圖。如果兩個參考圖像之間的相機運動為適當?shù)牟⑶疫€維持兩個圖像中的場景之間的充分重疊，那么僅可能基于兩個參考圖像使用傳統(tǒng)技術形成3D地圖。
[0007]傳統(tǒng)的追蹤實施方案還可依賴于直接的用戶輸入以選擇兩個參考圖像或可提供額外的視覺目標以在可初始化3D地圖之前記錄6自由度^DoF)相機運動。
[0008]舉例來說，一些追蹤方法要求用戶執(zhí)行不具有視覺反饋的特定非直觀運動序列，因此3D重構方法可用于找到目標的現(xiàn)實平面。
[0009]由于追蹤技術的傳統(tǒng)方法的以上限制，當前的擴增實境用戶體驗可能感覺不自然。此外，大多數(shù)用戶不太可能知道或理解使用兩個參考圖像的傳統(tǒng)追蹤初始化所必需的運動。典型用戶還經(jīng)常對為何它們必需在擴增實境系統(tǒng)可顯示場景的追蹤更新之前執(zhí)行特定運動感到困惑。
[0010]因此，需要改進的用戶友好的3D環(huán)境初始化及追蹤。

【發(fā)明內容】

[0011]本文所揭示的實施例可涉及一種用于平面目標形成及追蹤的方法。所述方法包含從單個第一參考圖像且在處理后續(xù)圖像之前初始化三維目標。所述方法進一步包含處理一或多個后續(xù)圖像，及在所述處理所述一或多個后續(xù)圖像之后以6自由度^DoF)追蹤所述平面目標。所述方法進一步包含從所述經(jīng)處理的一或多個后續(xù)圖像中選擇第二參考圖像及將所述平面目標改進成更準確的平面目標。
[0012]本文所揭示的實施例還可涉及一種具有用以執(zhí)行平面目標形成及追蹤的指令的計算機可讀非暫時性存儲媒體。所述媒體包含從單個第一參考圖像且在處理后續(xù)圖像之前初始化三維目標。所述媒體進一步包含處理一或多個后續(xù)圖像，及在所述處理所述一或多個后續(xù)圖像之后以6DoF追蹤所述平面目標。所述媒體進一步包含從所述經(jīng)處理的一或多個后續(xù)圖像中選擇第二參考圖像及將所述平面目標改進成更準確的平面目標。
[0013]本文所揭示的實施例還可涉及一種設備，其包含用于從單個第一參考圖像且在處理后續(xù)圖像之前初始化三維目標的裝置。所述設備進一步包含用于處理一或多個后續(xù)圖像的裝置，及用于在所述處理所述一或多個后續(xù)圖像之后以6自由度^DoF)追蹤所述平面目標的裝置。所述設備進一步包含用于從所述經(jīng)處理的一或多個后續(xù)圖像中選擇第二參考圖像的裝置，及用于將所述平面目標改進成更準確的平面目標的裝置。
[0014]本文所揭示的實施例可進一步涉及一種數(shù)據(jù)處理系統(tǒng)，其包含處理器及可配置以存儲用以執(zhí)行平面目標形成及追蹤的指令的存儲裝置。所述指令致使所述處理器從單個第一參考圖像且在處理后續(xù)圖像之前初始化三維目標。所述指令進一步致使所述處理器處理一或多個后續(xù)圖像、從所述經(jīng)處理的一或多個后續(xù)圖像中選擇第二參考圖像，及以6DoF追蹤所述平面目標，及將所述平面目標改進成更準確的平面目標。
[0015]在其它實施例中，所述平面目標被假設為從正面平行視圖初始化且整個參考圖像用于初始化所述平面目標。
[0016]其它特征及優(yōu)點將從附圖及【具體實施方式】中顯而易見。
【附圖說明】
[0017]圖1是能夠執(zhí)行所揭示方法的系統(tǒng)的一個實施例的框圖；
[0018]圖2說明用于原位目標形成的方法的一個實施例的流程圖；
[0019]圖3說明正面平行于相機平面的示范性目標；
[0020]圖4說明從大致位于平面目標前方的裝置的第一視點；
[0021]圖5說明從位于平面目標前方的裝置的第二視點；
[0022]圖6及7說明在一個實施例中分別從圖4及圖5的相同裝置視點，其中相應目標表示具有經(jīng)正確估計的目標平面；及
[0023]圖8說明用于原位目標形成的方法的另一實施例的流程圖。
【具體實施方式】
[0024]詞語“示范性”或“實例”在本文中用于意味著“充當實例、例子或說明”。本文中描述為“示范性”或描述為“實例”的任何方面或實施例未必應被解釋為比其它方面或實施例優(yōu)選或有利。
[0025]圖1是說明其中可實踐本發(fā)明的實施例的系統(tǒng)的框圖。所述系統(tǒng)可為裝置100，所述裝置可包含通用處理器161、圖像處理器166、姿態(tài)處理器168、圖形引擎167及存儲器164。裝置100還可包含耦合到一或多個總線177的多個裝置傳感器或進一步耦合到處理器161、166及168中的至少一者的信號線。裝置100可為:移動裝置、無線裝置、蜂窩電話、個人數(shù)字助理、可穿戴式裝置(例如，眼鏡、手表、帽子，或類似身體附接裝置)、移動計算機、平板計算機、個人計算機、膝上型計算機，或具有處理能力的任何類型的裝置。
[0026]在一個實施例中，裝置100可為移動/便攜式平臺。裝置100可包含用于俘獲圖像的裝置，例如，相機114及/或CMOS傳感器(未展示)并且可任選地包含運動傳感器111，例如，加速度計、陀螺儀、電子羅盤，或其它類似運動傳感元件。裝置100還可在正向及/或后向相機(例如，相機114)上俘獲圖像。裝置100可進一步包含用戶接口 150，所述用戶接口包含用于顯示擴增實境圖像的裝置，例如，顯示器112。用戶接口 150還可包含用戶可經(jīng)由其將信息輸入到裝置100中的鍵盤、小鍵盤152，或其它輸入裝置。如果需要，通過觸摸屏/傳感器將虛擬小鍵盤集成到顯示器112中可免除鍵盤或小鍵盤152。用戶接口 150還可包含麥克風154及揚聲器156，例如，如果裝置100是例如蜂窩電話等移動平臺。裝置100可包含各種其它元件，例如，衛(wèi)星定位系統(tǒng)接收器、電源裝置(例如，電池)，以及通常與便攜式及非便攜式電子裝置相關聯(lián)的其它組件。
[0027]裝置100可充當移動或無線裝置并且可通過無線網(wǎng)絡經(jīng)由基于或另外支持任何合適的無線通信技術的一或多個無線通信鏈路來通信。舉例來說，在一些方面中，裝置100可為客戶端或服務器并且可與無線網(wǎng)絡相關聯(lián)。在一些方面中，網(wǎng)絡可包括人體局域網(wǎng)絡或個人局域網(wǎng)絡(例如，超寬帶網(wǎng)絡)。在一些方面中，網(wǎng)絡可包括局域網(wǎng)或廣域網(wǎng)。無線裝置可支持或以其它方式使用多種無線通信技術、協(xié)議或標準(例如，CDMA、TDMA, 0FDM、OFDMA、WiMAX及W1-Fi等)中的一或多者。類似地，無線裝置可支持或以其它方式使用多種對應調制或多路復用方案中的一或多者。移動無線裝置可以無線方式與其它移動裝置、蜂窩電話、其它有線及無線計算機、因特網(wǎng)網(wǎng)站等通信。
[0028]在一個實施例中，如本文所描述的原位目標形成模塊(ITC)可從單個參考圖像立即初始化平面目標。術語“模塊”用于指代能夠執(zhí)行所述功能的硬件、固件、軟件，或其某一組合。舉例來說，ITC可從單個相機114或單眼視頻輸入接收圖像或視頻。在處理單個參考圖像之后且在處理任何其它圖像之前可發(fā)生平面目標初始化。ITC可處理單個參考圖像(例如，提取與目標相關聯(lián)的特征點)并且可根據(jù)點對應的集合(例如，來自兩個或兩個以上圖像的特征)估計6自由度相機位置及定向(姿態(tài))。如本文所使用，特征點的檢測及用于特征點的6DoF相機姿態(tài)的估計共同地被稱為“追蹤”目標。ITC可在不具有用戶環(huán)境的先驗知識(例如，不具有預填充的地圖、CAD模型、場景中的標記物或類似預定義目標描述符)且不使用兩個不同精確參考圖像的情況下初始化平面目標。在一些實施例中，ITC可在初始化期間提供視頻(例如，所顯示的目標調整)反饋。
[0029]ITC可在接收圖像或視頻輸入之后輸出或顯示輸入圖像或視頻的擴增實境(AR)表示。在一些實施例中，ITC可取決于裝置100的能力實時、近實時、在短時窗內，或在從單個圖像初始化目標后立即顯示目標的AR表示(例如，虛擬對象的修改或到現(xiàn)實世界場景中的添加)。在一些實施例中，ITC模塊可初始化及顯示AR表示而不