分離的基于計算機視覺的姿勢與基于慣性傳感器的姿勢的顯示的制作方法
【專利說明】分離的基于計算機視覺的姿勢與基于慣性傳感器的姿勢的顯示
[0001]相關(guān)串請案的交叉參考
[0002]本申請案主張2012年12月21日申請且標(biāo)題為“分離的基于計算機視覺的姿勢與基于慣性傳感器的姿勢的顯不(Display of Separate Computer Vis1n Based Pose andInertial Sensor Based Pose) ”的第13/725，175號美國申請案的權(quán)益及優(yōu)先權(quán)，所述申請案轉(zhuǎn)讓給本受讓人，且以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0003]本文中所描述的標(biāo)的物的實施例大體上涉及將基于計算機視覺的姿勢及基于慣性傳感器的姿勢分離地用于視覺化應(yīng)用程序中，且更具體來說，涉及顯示針對基于計算機視覺的姿勢及基于慣性傳感器的姿勢的分離的圖形以提示用戶移動裝置的移動。
【背景技術(shù)】
[0004]例如智能電話、平板計算機、相機等等越來越多數(shù)目個移動裝置除了相機以外還包含各種類型的慣性傳感器。例如加速計及陀螺儀等慣性傳感器歸因于其在高取樣速率下測量加速度及角速度的能力而被用于跟蹤移動裝置的移動。例如擴增實境、室內(nèi)導(dǎo)航等等許多應(yīng)用程序使用慣性傳感器與計算機視覺的組合以用于確定移動裝置的姿勢(位置及定向)及跟蹤移動裝置。
[0005]為了將慣性傳感器用于準(zhǔn)確位置確定，特別在將慣性傳感器與計算機視覺技術(shù)組合時，需要對慣性傳感器的準(zhǔn)確校準(zhǔn)。慣性傳感器的校準(zhǔn)包含將慣性傳感器相對于相機對準(zhǔn)，以及校準(zhǔn)慣性傳感器的尺度(scale)及非正交性參數(shù)。然而，慣性傳感器的校準(zhǔn)當(dāng)前為耗時的工廠制程，每一個別移動裝置皆需要慣性傳感器的校準(zhǔn)。在慣性傳感器的工廠校準(zhǔn)期間，執(zhí)行移動裝置的一系列精確移動且使所述精確移動與慣性傳感器的響應(yīng)相關(guān)。雖然存在通過用戶運動校準(zhǔn)傳感器的一些途徑，但此些途徑的性能嚴(yán)重地取決于供應(yīng)與工廠運動質(zhì)量相似的用戶運動。指示用戶提供復(fù)雜且又高度準(zhǔn)確的運動是困難的。然而，在無此些充足運動的情況下，工廠校準(zhǔn)(其帶來成本增加)為用以可靠地獲得準(zhǔn)確校準(zhǔn)參數(shù)的唯一方式。

【發(fā)明內(nèi)容】

[0006]移動裝置使用由相機俘獲的圖像確定基于視覺的姿勢，且使用來自例如加速計及陀螺儀等慣性傳感器的數(shù)據(jù)確定基于傳感器的姿勢。所述基于視覺的姿勢及所述基于傳感器的姿勢分離地用于視覺化應(yīng)用程序中，所述視覺化應(yīng)用程序顯示針對所述不同姿勢的分離的圖形。舉例來說，所述視覺化應(yīng)用程序可用以校準(zhǔn)所述慣性傳感器，其中所述視覺化應(yīng)用程序基于所述基于視覺的姿勢顯示圖形且基于所述基于傳感器的姿勢顯示圖形，且提示用戶隨所述所顯示圖形在特定方向上移動所述移動裝置以加速對所述慣性傳感器的校準(zhǔn)的收斂。或者，所述視覺化應(yīng)用程序可為使用所述基于視覺的姿勢及所述基于傳感器的姿勢顯示分離的圖形的基于運動的游戲或攝影應(yīng)用程序。
[0007]在一實施方案中，一種方法包含:使用經(jīng)俘獲圖像確定移動裝置的基于視覺的姿勢；使用慣性傳感器確定所述移動裝置的基于傳感器的姿勢；及將所述基于視覺的姿勢及所述基于傳感器的姿勢分離地用于視覺化應(yīng)用程序中。
[0008]在一實施方案中，一種移動裝置包含:相機，其俘獲環(huán)境的圖像；慣性傳感器，其響應(yīng)于所述移動裝置的移動而產(chǎn)生數(shù)據(jù)；顯示器；及處理器，其耦合到所述顯示器、耦合到所述相機以接收所述環(huán)境的經(jīng)俘獲圖像且耦合到所述慣性傳感器以接收響應(yīng)于所述移動裝置的所述移動的所述數(shù)據(jù)，所述處理器經(jīng)配置以使用所述經(jīng)俘獲圖像確定所述移動裝置的基于視覺的姿勢；使用來自所述慣性傳感器的所述數(shù)據(jù)確定所述移動裝置的基于傳感器的姿勢；且使所述顯示器基于所述基于視覺的姿勢展示第一圖形且基于所述基于傳感器的姿勢展示第二圖形。
[0009]在一實施方案中，一種移動裝置包含:用于使用經(jīng)俘獲圖像確定所述移動裝置的基于視覺的姿勢的裝置；用于使用慣性傳感器確定所述移動裝置的基于傳感器的姿勢的裝置；及用于將所述基于視覺的姿勢及所述基于傳感器的姿勢分離地用于視覺化應(yīng)用程序中的裝置。
[0010]在一實施方案中，一種存儲媒體(包含存儲于其上的程序代碼)包含:用以使用經(jīng)俘獲圖像確定移動裝置的基于視覺的姿勢的程序代碼；用以使用慣性傳感器確定所述移動裝置的基于傳感器的姿勢的程序代碼；及用以將所述基于視覺的姿勢及所述基于傳感器的姿勢分離地用于視覺化應(yīng)用程序中的程序代碼。
【附圖說明】
[0011]圖1說明能夠從經(jīng)俘獲圖像確定基于視覺的姿勢及從慣性傳感器確定基于傳感器的姿勢且將所述基于視覺的姿勢及所述基于傳感器的姿勢分離地用于視覺化應(yīng)用程序中的移動裝置。
[0012]圖2說明可由移動裝置用于視覺化應(yīng)用程序中的圖形的一個可能實施方案。
[0013]圖3說明可由移動裝置用于視覺化應(yīng)用程序中的圖形的另一可能實施方案。
[0014]圖4說明可由移動裝置用于視覺化應(yīng)用程序中的圖形的另一可能實施方案。
[0015]圖5為說明將基于視覺的圖形及基于傳感器的圖形分離地用于視覺化應(yīng)用程序中的過程的流程圖。
[0016]圖6為說明將基于視覺的圖形、基于傳感器的圖形及混合圖形用于視覺化應(yīng)用程序中的過程的流程圖。
[0017]圖7為說明用于校準(zhǔn)慣性傳感器的視覺化應(yīng)用程序的特定實施例的流程圖。
[0018]圖8為能夠確定基于視覺的姿勢及基于傳感器的姿勢且將基于視覺的圖形及基于傳感器的圖形分離地用于視覺化應(yīng)用程序中的移動裝置的框圖。
【具體實施方式】
[0019]圖1說明能夠從經(jīng)俘獲圖像確定基于視覺的姿勢及從慣性傳感器確定基于傳感器的姿勢，且將所述基于視覺的姿勢及所述基于傳感器的姿勢分離地用于視覺化應(yīng)用程序中的移動裝置100。視覺化應(yīng)用程序針對基于視覺的姿勢及基于傳感器的姿勢顯示分離的圖形，所述圖形有時在本文中分別被稱作基于視覺的圖形及基于傳感器的圖形。通過實例，視覺化應(yīng)用程序可用以校準(zhǔn)慣性傳感器、游戲、攝影等等。舉例來說，可基于用戶響應(yīng)于所顯示圖形對移動裝置的操控而校準(zhǔn)慣性傳感器。移動裝置100被說明為包含顯示器102，所述顯示器102可為(但未必為)觸摸屏顯示器。移動裝置100包含用以使例如目標(biāo)101等環(huán)境成像的前向相機108，所述目標(biāo)101被說明為展示于顯示器102上。移動裝置100還包含慣性傳感器110，例如，加速計、陀螺儀或其類似者。移動裝置100還可包含與本發(fā)明不相關(guān)的其它特征，例如揚聲器104及麥克風(fēng)106 (例如，在移動裝置100為蜂窩式電話的情況下)。
[0020]如本文中所使用，“移動裝置”是指能夠根據(jù)經(jīng)俘獲圖像或視頻流進行基于視覺的位置檢測及跟蹤且包含慣性傳感器的任何便攜式電子裝置，且可包含(例如)蜂窩式或其它無線通信裝置、個人通信系統(tǒng)(PCS)裝置、個人導(dǎo)航裝置(PND)、個人信息管理器(PM)、個人數(shù)字助理(PDA)，或包含相機、無線通信裝置、計算機、膝上型計算機、平板計算機，等等的其它合適移動裝置。移動裝置可(但未必需要)能夠接收無線通信及/或?qū)Ш叫盘?例如，導(dǎo)航定位信號)。術(shù)語“移動裝置”還意欲包含(例如)通過短程無線、紅外線、有線連接或其它連接而與個人導(dǎo)航裝置(PND)通信的裝置一一而不管在裝置處或在PND處是否會發(fā)生衛(wèi)星信號接收、輔助數(shù)據(jù)接收及/或位置相關(guān)的處理。
[0021]移動裝置100包含視覺姿勢模塊112，視覺姿勢模塊112使用由相機108俘獲的圖像(例如，由相機108產(chǎn)生的系列視頻幀)以產(chǎn)生基于視覺的姿勢?；谝曈X的姿勢為使用計算機視覺技術(shù)而確定的移動裝置的位置及定向。應(yīng)理解，相機108可俘獲視頻圖像及/或幀，且術(shù)語圖像及幀在本文中可互換地使用。移動裝置100進一步包含慣性感測系統(tǒng)(INS) 114，所述慣性感測系統(tǒng)114使用慣性傳感器110的輸出以產(chǎn)生基于傳感器的姿勢。應(yīng)理解，基于視覺的姿勢及基于傳感器的姿勢中的一者或兩者可基于另一者而予以初始化，但在其它情況下(如本文中所使用)，基于視覺的姿勢獨立于基于傳感器的姿勢，且基于傳感器的姿勢獨立于基于視覺的姿勢。因此，在當(dāng)前時刻，當(dāng)呈現(xiàn)當(dāng)前擴增集合時基于視覺的姿勢及基于傳感器的姿勢是獨立的；但其可能在一過去時刻融合在一起。
[0022]移動裝置100使用視覺化應(yīng)用程序，所述視覺化應(yīng)用程序基于從經(jīng)俘獲圖像產(chǎn)生的基于視覺的姿勢及從慣性傳感器數(shù)據(jù)產(chǎn)生的基于傳感器的姿勢而在顯示器102上顯示分離的圖形。舉例來說，如圖1中所說明，移動裝置100可基于通過視覺姿勢模塊112產(chǎn)生的基于視覺的姿勢而呈現(xiàn)第一圖形120，且基于通過INS 114產(chǎn)生的基于傳感器的姿勢而呈現(xiàn)第二圖形122。視需要，基于視覺的圖形120及基于傳感器的圖形122可為同一所呈現(xiàn)對象的不同色彩通道，或其可為不同對象。圖1將圖形120及122說明為球狀，但應(yīng)理解，可使用任何類型的圖形。此外，視需要，可將多個圖形用于基于視覺的姿勢，且可將多個圖形用于基于傳感器的姿勢。舉例來說