的圖像捕獲時間異 步。在此情形中，如通過運動傳感器36感測的幀時間j，j+Ι中的每一者處的位置的估計將 從在圖像捕獲時間的任一側(cè)上的取樣時間處感測到的運動導(dǎo)出。舉例來說，過程50可使用 相對位置的線性時間內(nèi)插或替代地使用相對運動的計算出的速度來估計這兩個幀時間處 的相對位置。這兩種方式描述于上文并入的第S. N. 14/018, 695號美國專利申請案中。總 結(jié)起來，根據(jù)圖像捕獲時間trc與相對運動感測取樣時間t i、t2之間的時間差異沿X及y方 向（維度）中的每一者確定相對位置相對位置（\(tIC)，yJt IC))在相對運動感測取樣時間 tnt2之間的圖像捕獲時間trc處的線性時間內(nèi)插。在本發(fā)明的此實施例中，在過程50中如
[0062] 下計算相對位置（xr(tre)，yr(tIC)):
【主權(quán)項】
1. 一種操作包含手持人性化接口裝置的計算機(jī)系統(tǒng)的方法，其包括： 產(chǎn)生視覺有效負(fù)載圖像幀數(shù)據(jù)； 組合在第一及第二連續(xù)幀中應(yīng)用的對應(yīng)于所述視覺有效負(fù)載圖像幀數(shù)據(jù)的一或多個 所選擇像素位置處的互補(bǔ)強(qiáng)度方差的至少一個定位目標(biāo)圖案與所述視覺有效負(fù)載圖像幀 數(shù)據(jù)； 在顯示器上顯示所述經(jīng)組合視覺有效負(fù)載圖像幀數(shù)據(jù)及定位目標(biāo)圖案； 在所述手持人性化接口裝置處從所述第一及第二幀中的每一者捕獲表示包含所述定 位目標(biāo)的所述顯示器的至少一部分的圖像數(shù)據(jù)； 基于從所述裝置中的一或多個運動傳感器獲取的測量檢測所述裝置在從所述第一及 第二幀捕獲圖像數(shù)據(jù)的時間之間的相對運動； 基于所述所檢測到的相對運動使所述第一及第二幀的所述圖像數(shù)據(jù)對準(zhǔn)； 將來自所述第一及第二幀的所述經(jīng)對準(zhǔn)圖像數(shù)據(jù)彼此相減以恢復(fù)如在所述裝置處觀 看到的所述定位目標(biāo)圖案；及 響應(yīng)于所述經(jīng)恢復(fù)的定位目標(biāo)圖案確定所述裝置在所述第一及第二幀中的一者的時 間處所指向的所述顯示器的位置。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述一或多個運動傳感器包括： 圖像捕獲子系統(tǒng)。
3. 根據(jù)權(quán)利要求1所述的方法，其中所述一或多個運動傳感器包括： 多個慣性傳感器，其用于感測三個正交方向上的相對運動。
4. 根據(jù)權(quán)利要求3所述的方法，其中所述一或多個相對運動傳感器進(jìn)一步包括： 圖像捕獲子系統(tǒng)。
5. 根據(jù)權(quán)利要求1所述的方法，其中所述對準(zhǔn)步驟包括： 以對應(yīng)于所述所檢測到的相對運動的量值及方向移位所述第一及第二幀中的一者的 所述經(jīng)捕獲圖像數(shù)據(jù)中的元素的位置。
6. 根據(jù)權(quán)利要求5所述的方法，其中所述對準(zhǔn)步驟進(jìn)一步包括： 根據(jù)法向于所述顯示器的方向上的所述所檢測到的相對運動縮放所述第一及第二幀 中的一者的所述經(jīng)捕獲圖像數(shù)據(jù)中的所述元素的大小。
7. 根據(jù)權(quán)利要求5所述的方法，其中所述對準(zhǔn)步驟進(jìn)一步包括： 圍繞法向于所述顯示器的軸以對應(yīng)于所述裝置的所述所檢測到的相對運動的量旋轉(zhuǎn) 所述第一及第二幀中的一者的所述經(jīng)捕獲圖像數(shù)據(jù)中的所述元素。
8. 根據(jù)權(quán)利要求5所述的方法，其中所述對準(zhǔn)步驟進(jìn)一步包括： 圍繞平行于所述顯示器的一或多個軸以對應(yīng)于所述裝置的所述所檢測到的相對運動 的量偏斜所述第一及第二幀中的一者的所述圖像數(shù)據(jù)的所述元素。
9. 根據(jù)權(quán)利要求1所述的方法，其中所述組合步驟包括： 反轉(zhuǎn)來自所述第二幀的所述經(jīng)捕獲圖像數(shù)據(jù)；及 添加來自所述第一及第二幀的所述經(jīng)對準(zhǔn)圖像數(shù)據(jù)以恢復(fù)如在所述裝置處觀看到的 所述定位目標(biāo)圖案。
10. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括： 在所述手持人性化接口裝置處從第三幀捕獲表示包含所述定位目標(biāo)的所述顯示器的 至少一部分的圖像數(shù)據(jù)； 其中檢測所述裝置在從所述第一及第二幀捕獲圖像數(shù)據(jù)的所述時間之間的相對運動 的所述步驟包括： 檢測所述裝置在從所述第一及第三幀捕獲圖像數(shù)據(jù)的所述時間之間的相對運動；及 從所述裝置在所述第一及第三幀之間的所述所檢測到的相對運動內(nèi)插所述裝置在從 所述第一及第二幀捕獲圖像數(shù)據(jù)的所述時間之間的所述相對運動。
11. 一種交互式顯示系統(tǒng)，其包括： 計算機(jī)，其用于產(chǎn)生待在顯示器上顯示的顯示圖像數(shù)據(jù)； 圖形輸出電路，其用于以適合于顯示的格式產(chǎn)生對應(yīng)于所述顯示圖像數(shù)據(jù)的圖形輸出 信號； 指向裝置，其包括： 手持外殼； 圖像傳感器，其安置在所述外殼中； 一或多個運動傳感器；以及 圖像捕獲電路，其用于捕獲通過所述圖像傳感器獲得的圖像數(shù)據(jù)；以及 定位電路，其用于通過執(zhí)行多個操作確定所述指向裝置所瞄準(zhǔn)的所述顯示器處的位 置，所述多個操作包括： 產(chǎn)生視覺有效負(fù)載圖像幀數(shù)據(jù)； 組合在第一及第二連續(xù)幀中應(yīng)用的對應(yīng)于所述視覺有效負(fù)載圖像幀數(shù)據(jù)的一或多個 所選擇像素位置處的互補(bǔ)強(qiáng)度方差的至少一個定位目標(biāo)圖案與所述視覺有效負(fù)載圖像幀 數(shù)據(jù)； 在顯示器上顯示所述經(jīng)組合視覺有效負(fù)載圖像幀數(shù)據(jù)及定位目標(biāo)圖案； 在所述手持人性化接口裝置處從所述第一及第二幀中的每一者捕獲表示包含所述定 位目標(biāo)的所述顯示器的至少一部分的圖像數(shù)據(jù)； 基于從所述裝置中的一或多個運動傳感器獲取的測量檢測所述裝置在從所述第一及 第二幀捕獲圖像數(shù)據(jù)的時間之間的相對運動； 基于所述所檢測到相對運動使所述第一及第二幀的所述圖像數(shù)據(jù)對準(zhǔn)； 將來自所述第一及第二幀的所述經(jīng)對準(zhǔn)圖像數(shù)據(jù)彼此相減以恢復(fù)如在所述裝置處觀 看到的所述定位目標(biāo)圖案；以及 響應(yīng)于所述經(jīng)恢復(fù)的定位目標(biāo)圖案確定所述裝置在所述第一及第二幀中的一者的時 間處所指向的所述顯示器的位置。
12. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述一或多個運動傳感器由所述圖像捕獲電路 組成。
13. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述一或多個運動傳感器包括： 多個慣性傳感器，其用于感測三個正交方向上的相對運動。
14. 根據(jù)權(quán)利要求13所述的系統(tǒng)，其中所述一或多個相對運動傳感器由所述圖像捕獲 電路組成。
15. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述對準(zhǔn)操作包括： 以對應(yīng)于所述所檢測到的相對運動的量值及方向移位所述第一及第二幀中的一者的 所述經(jīng)捕獲圖像數(shù)據(jù)中的元素的位置。
16. 根據(jù)權(quán)利要求15所述的系統(tǒng)，其中所述對準(zhǔn)操作進(jìn)一步包括： 根據(jù)法向于所述顯示器的方向上的所述所檢測到的相對運動縮放所述第一及第二幀 中的一者的所述經(jīng)捕獲圖像數(shù)據(jù)中的所述元素的大小。
17. 根據(jù)權(quán)利要求15所述的系統(tǒng)，其中所述對準(zhǔn)操作進(jìn)一步包括： 圍繞法向于所述顯示器的軸以對應(yīng)于所述裝置的所述所檢測到的相對運動的量旋轉(zhuǎn) 所述第一及第二幀中的一者的所述經(jīng)捕獲圖像數(shù)據(jù)中的所述元素。
18. 根據(jù)權(quán)利要求15所述的系統(tǒng)，其中所述對準(zhǔn)操作進(jìn)一步包括： 圍繞平行于所述顯示器的一或多個軸以對應(yīng)于所述裝置的所述所檢測到的相對運動 的量偏斜所述第一及第二幀中的一者的所述圖像數(shù)據(jù)的所述元素。
19. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述組合操作包括： 反轉(zhuǎn)來自所述第二幀的所述經(jīng)捕獲圖像數(shù)據(jù)；及 添加來自所述第一及第二幀的所述經(jīng)對準(zhǔn)圖像數(shù)據(jù)以恢復(fù)如在所述裝置處觀看到的 所述定位目標(biāo)圖案。
20. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其進(jìn)一步包括： 在所述手持人性化接口裝置處從第三幀捕獲表示包含所述定位目標(biāo)的所述顯示器的 至少一部分的圖像數(shù)據(jù)； 其中檢測所述裝置在從所述第一及第二幀捕獲圖像數(shù)據(jù)的所述時間之間的相對運動 的操作包括： 檢測所述裝置在從所述第一及第三幀捕獲圖像數(shù)據(jù)的所述時間之間的相對運動；以及 從所述裝置在所述第一及第三幀之間的所述所檢測到的相對運動內(nèi)插所述裝置在從 所述第一及第二幀捕獲圖像數(shù)據(jù)的所述時間之間的所述相對運動。
【專利摘要】本發(fā)明揭示一種交互式顯示系統(tǒng)，其包含無線指向裝置及定位電路，所述定位電路能夠確定所述指向裝置所瞄準(zhǔn)的所述顯示器的絕對及相對位置。所述指向裝置捕獲由計算機(jī)顯示的圖像，所述圖像包含一或多個人類不可感知的定位目標(biāo)。所述定位目標(biāo)呈現(xiàn)為視覺有效負(fù)載的顯示幀中的強(qiáng)度的經(jīng)圖案化調(diào)制(例如，像素強(qiáng)度的變化)，接著是連續(xù)幀中的相反調(diào)制。將至少兩個經(jīng)捕獲圖像幀彼此相減以恢復(fù)所述經(jīng)捕獲視覺數(shù)據(jù)中的所述定位目標(biāo)及移除所述經(jīng)顯示圖像有效負(fù)載。通過相對運動傳感器檢測所述指向裝置在所述兩個幀之間的運動，且將所述運動用于使所述經(jīng)捕獲圖像中那些幀的所述定位目標(biāo)的位置對準(zhǔn)以提高所述經(jīng)恢復(fù)定位目標(biāo)在所述相減之后的保真度。
【IPC分類】G06F3-01, G06F3-033
【公開號】CN104737098
【申請?zhí)枴緾N201380053862
【發(fā)明人】約達(dá)姆·所羅門, 布拉尼斯拉夫·吉薩卡尼
【申請人】英特飛斯公司
【公開日】2015年6月24日
【申請日】2013年10月17日
【公告號】EP2909701A1, US8982050, US20140111433, WO2014062906A1