維持?jǐn)U增的連續(xù)性的制作方法
【專利摘要】本發(fā)明揭示用于維持?jǐn)U增的連續(xù)性的方法及設(shè)備。在一個(gè)實(shí)施例中，一種適用于具有擴(kuò)增實(shí)境功能的裝置ARD的方法包括：至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個(gè)對(duì)象及背景；至少部分基于不同于所述視覺信息的信息維持所述多個(gè)對(duì)象的狀態(tài)；以及響應(yīng)于所述多個(gè)對(duì)象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)。
【專利說明】維持?jǐn)U増的連續(xù)性
[0001]對(duì)相關(guān)申請(qǐng)案的交叉參考
[0002]本申請(qǐng)案主張以下申請(qǐng)案的權(quán)益:2013年3月15日申請(qǐng)且標(biāo)題為“維持?jǐn)U增的連續(xù)性(此00111:1111111:7 0？ 4110116111^1:10118)19^13/844,756^^^^^^^2012年7月26日申請(qǐng)且標(biāo)題為“有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互0？ 1811^1)316
811(1 八 11 職161^6(101^6(^8^^^ 61/676,246 ^^^^^^^^^2012^7^26
日申請(qǐng)且標(biāo)題為“維持?jǐn)U增的連續(xù)性00111:1111111:7 0？八110116111:511:10118) ”的第61/676，249號(hào)美國臨時(shí)申請(qǐng)案；2012年7月26日申請(qǐng)且標(biāo)題為“用于控制擴(kuò)增實(shí)境的方法及設(shè)備(161^0(1 811(1 八卯虹社仍？01~ 00111:1~011111^ 八 11 職16111:6(1 063111:7)19^61/676,278
號(hào)美國臨時(shí)申請(qǐng)案；2012年7月26日申請(qǐng)且標(biāo)題為“有形對(duì)象與擴(kuò)增實(shí)境對(duì)象的交互(1111:61-801:10118 0？ 1^11^11316 811(1 ^11^1116111:6(1 1？68111:7 0)3』6(^8)，，的第 61/676，255 號(hào)美國臨時(shí)申請(qǐng)案；以及2012年7月26日申請(qǐng)且標(biāo)題為“有形項(xiàng)目對(duì)虛擬空間中的顆粒系統(tǒng)擴(kuò)士曾的影口向11:611181 2^^601: 011 ？81~1:1016 3又8七6111 ^11^1116111:81:1011 111 ^11~81)8068) ”的第61/676，274號(hào)美國臨時(shí)申請(qǐng)案。前述美國申請(qǐng)案的全文特此以引用的方式并入。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及擴(kuò)增實(shí)境的領(lǐng)域。明確地說，本發(fā)明涉及維持?jǐn)U增的連續(xù)性。

【背景技術(shù)】
[0004]常規(guī)擴(kuò)增實(shí)境應(yīng)用提供對(duì)現(xiàn)實(shí)世界環(huán)境的實(shí)況觀看，其元素可被計(jì)算機(jī)生成的感覺輸入(例如視頻、聲音、圖形或⑶3數(shù)據(jù))加以擴(kuò)增。通過此類應(yīng)用，對(duì)現(xiàn)實(shí)的觀看可通過計(jì)算裝置修改，且所述應(yīng)用可增強(qiáng)用戶對(duì)現(xiàn)實(shí)的感知且提供關(guān)于用戶環(huán)境的更多信息。舉例來說，經(jīng)擴(kuò)增內(nèi)容可實(shí)時(shí)地且在環(huán)境元素的語義上下文(例如在比賽期間的賽事統(tǒng)計(jì)及概述)中應(yīng)用。隨著例如智能電話等移動(dòng)裝置的激增，關(guān)于用戶的周圍現(xiàn)實(shí)世界的信息可在具有額外擴(kuò)增內(nèi)容的情況下顯示在移動(dòng)裝置上，所述信息例如是關(guān)于具有重疊在現(xiàn)實(shí)世界對(duì)象上的虛擬對(duì)象的環(huán)境的人為信息。舉例來說，移動(dòng)裝置可經(jīng)配置以玩擴(kuò)增實(shí)境游戲；此類游戲可包含游戲設(shè)定及游戲棋子。
[0005]常規(guī)擴(kuò)增實(shí)境應(yīng)用的問題中的一者是當(dāng)所跟蹤對(duì)象不再處于移動(dòng)裝置的相機(jī)的視圖中時(shí)，常規(guī)擴(kuò)增實(shí)境應(yīng)用將停止跟蹤所述對(duì)象。此方法可引起不充分的用戶體驗(yàn)，在移動(dòng)裝置可能四處移動(dòng)(當(dāng)用戶與其環(huán)境交互時(shí)或當(dāng)一或多個(gè)游戲棋子可能不再處于移動(dòng)裝置的視圖中時(shí))的情境中尤其如此。因此，需要可改進(jìn)常規(guī)擴(kuò)增實(shí)境應(yīng)用的方法、計(jì)算機(jī)程序產(chǎn)品及具有擴(kuò)增實(shí)境功能的裝置。


【發(fā)明內(nèi)容】

[0006]本發(fā)明涉及維持?jǐn)U增的連續(xù)性。根據(jù)本發(fā)明的實(shí)施例，一種適用于具有擴(kuò)增實(shí)境功能的裝置(八即)的方法包括:至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個(gè)對(duì)象及背景；至少部分基于不同于所述視覺信息的信息維持所述多個(gè)對(duì)象的狀態(tài)；以及響應(yīng)于所述多個(gè)對(duì)象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)。
[0007]根據(jù)本發(fā)明的另一實(shí)施例，一種具有擴(kuò)增實(shí)境功能的裝置包括包含處理邏輯的控制單元；所述處理邏輯包括:經(jīng)配置以至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個(gè)對(duì)象及背景的邏輯；經(jīng)配置以至少部分基于不同于所述視覺信息的信息維持所述多個(gè)對(duì)象的狀態(tài)的邏輯；以及經(jīng)配置以響應(yīng)于所述多個(gè)對(duì)象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的邏輯。
[0008]根據(jù)本發(fā)明的又一實(shí)施例，一種適用于具有擴(kuò)增實(shí)境功能的裝置的計(jì)算機(jī)程序產(chǎn)品包括存儲(chǔ)用于由一或多個(gè)計(jì)算機(jī)系統(tǒng)執(zhí)行的指令的非暫時(shí)性媒體；所述指令包括:用于至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個(gè)對(duì)象及背景的指令；用于至少部分基于不同于所述視覺信息的信息維持所述多個(gè)對(duì)象的狀態(tài)的指令；以及用于響應(yīng)于所述多個(gè)對(duì)象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的指令。
[0009]根據(jù)本發(fā)明的又一實(shí)施例，一種系統(tǒng)包括:用于至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個(gè)對(duì)象及背景的裝置；用于至少部分基于不同于所述視覺信息的信息維持所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)的裝置；以及用于響應(yīng)于所述多個(gè)對(duì)象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的裝置。

【專利附圖】

【附圖說明】
[0010]在配合以下圖式閱讀了本發(fā)明的實(shí)施例的詳細(xì)描述之后，本發(fā)明的前述特征和優(yōu)點(diǎn)及其額外特征和優(yōu)點(diǎn)將可更加明確地理解。
[0011]圖1說明根據(jù)本發(fā)明的一些方面的具有擴(kuò)增實(shí)境功能的裝置。
[0012]圖2說明根據(jù)本發(fā)明的一些方面的示范性具有擴(kuò)增實(shí)境功能的裝置的框圖。
[0013]圖3說明根據(jù)本發(fā)明的一些方面的至少部分基于跟蹤背景中的標(biāo)記而提供交互的方法。
[0014]圖4說明根據(jù)本發(fā)明的一些方面的至少部分基于跟蹤背景中的多個(gè)對(duì)象而提供交互的另一方法。
[0015]圖5說明根據(jù)本發(fā)明的一些方面的至少部分基于跟蹤現(xiàn)實(shí)環(huán)境中的項(xiàng)目而提供交互的又一方法。
[0016]圖6說明根據(jù)本發(fā)明的一些方面的至少部分基于跟蹤虛擬及現(xiàn)實(shí)環(huán)境兩者中的項(xiàng)目而提供交互的又一方法。
[0017]圖7說明根據(jù)本發(fā)明的一些方面的當(dāng)目標(biāo)在視圖外時(shí)維持?jǐn)U增的連續(xù)性的方法。
[0018]圖8說明根據(jù)本發(fā)明的一些方面的通過對(duì)丟失的跟蹤提供校正而維持?jǐn)U增的連續(xù)性的另一方法。
[0019]圖9說明根據(jù)本發(fā)明的一些方面的至少部分基于通過即10的跟蹤而提供交互的又一方法。
[0020]圖10說明根據(jù)本發(fā)明的一些方面的跨越多個(gè)具有擴(kuò)增實(shí)境功能的裝置提供交互的方法。
[0021]圖11說明根據(jù)本發(fā)明的一些方面的維持?jǐn)U增的連續(xù)性的流程圖。
[0022]貫穿各圖使用相同數(shù)字。

【具體實(shí)施方式】
[0023]揭示維持?jǐn)U增的連續(xù)性的實(shí)施例。呈現(xiàn)以下描述以便使得所屬領(lǐng)域的技術(shù)人員能夠制作和使用本發(fā)明。具體實(shí)施例和應(yīng)用的描述僅是作為實(shí)例提供。所屬領(lǐng)域的技術(shù)人員將容易明白本文所述的實(shí)例的各種修改及組合，且在不脫離本發(fā)明的精神和范圍的情況下，本文中所界定的一般原理可以應(yīng)用于其它實(shí)例和應(yīng)用。因此，本發(fā)明并不希望限于所描述和展示的實(shí)例，而是應(yīng)被賦予符合本文揭示的原理和特征的最寬范圍。詞語“示范性”或“實(shí)例”在本文中用于意味著“充當(dāng)實(shí)例、例子或說明”。本文中描述為“示范性”或描述為“實(shí)例”的任何方面或?qū)嵤├幢貞?yīng)被解釋為比其它方面或?qū)嵤├齼?yōu)選或有利。
[0024]圖1說明根據(jù)本發(fā)明的一些方面的具有擴(kuò)增實(shí)境功能的裝置。如圖1所示，具有擴(kuò)增實(shí)境功能的裝置(八即)14包含外殼101、顯示器112、一或多個(gè)揚(yáng)聲器118，及麥克風(fēng)116?？蔀橛|摸屏顯示器的顯示器112可說明由相機(jī)108俘獲的圖像或任何其它所要用戶接口信息。當(dāng)然，八即14可包含未必與本發(fā)明有關(guān)的額外組件。
[0025]如本文中所使用，仙0裝置指代任何便攜式電子裝置，例如蜂窩式或其它無線通信裝置、個(gè)人通信系統(tǒng)$(:3)裝置、個(gè)人導(dǎo)航裝置冊(cè)〉、個(gè)人信息管理器頂〉、個(gè)人數(shù)字助理004)、膝上型計(jì)算機(jī)或其它合適的移動(dòng)平臺(tái)。移動(dòng)平臺(tái)可能夠接收無線通信及/或?qū)Ш叫盘?hào)，例如導(dǎo)航定位信號(hào)。術(shù)語八即還意欲包含例如通過短程無線、紅外線、有線連接或其它連接而與個(gè)人導(dǎo)航裝置仰)通信的裝置，而不管是在所述裝置處還是在？冊(cè)處發(fā)生衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收及丨或定位相關(guān)處理。而且，八即意欲包含所有電子裝置，包含能夠俘獲用于姿勢(shì)跟蹤的圖像以及能夠執(zhí)行擴(kuò)增實(shí)境用戶接口功能的無線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī)平板計(jì)算機(jī)、智能電話、數(shù)碼相機(jī)等。
[0026]圖2說明根據(jù)本發(fā)明的一些方面的示范性具有擴(kuò)增實(shí)境功能的裝置的框圖。八尺014的移動(dòng)平臺(tái)包含用于俘獲環(huán)境的圖像的相機(jī)108，所述圖像可為個(gè)別照片或視頻幀。八尺014的移動(dòng)平臺(tái)還可包含傳感器109，傳感器109可用以提供八即14的移動(dòng)平臺(tái)可借以確定其位置及定向(即，姿勢(shì))的數(shù)據(jù)?？膳c八即14的移動(dòng)平臺(tái)一起使用的傳感器的實(shí)例包含加速度計(jì)、石英傳感器、陀螺儀、用作線性加速度計(jì)的微機(jī)電系統(tǒng)(1213)傳感器，以及磁力計(jì)。在一些實(shí)施方案中，皮膚電響應(yīng)((--傳感器或其它生物計(jì)量傳感器可放置在八即14的側(cè)面或表面上。
[0027]八即14的移動(dòng)平臺(tái)還可包含用戶接口110，所述用戶接口 110包含能夠顯示圖像的顯示器112。用戶接口 110還可包含用戶可借以將信息輸入到八即14的移動(dòng)平臺(tái)的小鍵盤114或其它輸入裝置。如果需要，則可通過將虛擬小鍵盤集成到具有觸摸傳感器的顯示器112中而消除小鍵盤114。用戶接口 110還可包含麥克風(fēng)116及一或多個(gè)揚(yáng)聲器118(例如，如果移動(dòng)平臺(tái)為蜂窩式電話當(dāng)然，八即14的移動(dòng)平臺(tái)可包含與本發(fā)明不相關(guān)的其它組件。
[0028]八即14的移動(dòng)平臺(tái)進(jìn)一步包含控制單元120，控制單元120可連接到相機(jī)108及傳感器109以及用戶接口 110連同任何其它所要特征且與之通信?？刂茊卧?20可由一或多個(gè)處理器122及相關(guān)聯(lián)的存儲(chǔ)器/存儲(chǔ)裝置124提供?？刂茊卧?20還可包含軟件126以及硬件128及固件130?？刂茊卧?20包含跟蹤單元132，所述跟蹤單元132經(jīng)配置以跟蹤八即14的位置并且跟蹤由八即14監(jiān)視的一或多個(gè)對(duì)象的位置?？刂茊卧?20可進(jìn)一步包含擴(kuò)增實(shí)境用戶接口單元134，所述擴(kuò)增實(shí)境用戶接口單元134經(jīng)配置以在八即14的顯示器112上呈現(xiàn)擴(kuò)增實(shí)境交互?？刂茊卧?20可進(jìn)一步包含經(jīng)配置以與一或多個(gè)即10傳感器或簽名通信的即10控制器136。跟蹤單元132、擴(kuò)增實(shí)境用戶接口單元134及即10控制器為了清楚起見而說明為與處理器122及/或硬件128分開，但可基于軟件126及固件130中的指令而組合及/或?qū)嵤┯谔幚砥?22及/或硬件128中。
[0029]根據(jù)本發(fā)明的方面，可結(jié)合一或多個(gè)有形接口項(xiàng)目來使用仙0 14。在本文所述的實(shí)例中的許多者中，有形接口項(xiàng)目稱為“對(duì)象”或“玩偶”。然而，還可使用其它類型的有形對(duì)象，且本文所揭示的技術(shù)不限于玩偶。舉例來說，有形接口項(xiàng)目可包含用戶的環(huán)境中的一或多個(gè)項(xiàng)目，例如可在八即14的相機(jī)的視野內(nèi)的可樂罐、咖啡杯、雜志或其它有形項(xiàng)目。
[0030]由八即14提供的擴(kuò)增可形成連續(xù)故事路徑。此類連續(xù)故事路徑在本文中可被稱作“場景”。八即14的擴(kuò)增邏輯可經(jīng)配置以監(jiān)視用戶的注意力，且如果用戶看起來對(duì)特定場景失去興趣，則改變場景。下文更詳細(xì)地描述用于與用戶交互及用于定制由八即14提供的擴(kuò)增內(nèi)容的技術(shù)。
[0031]根據(jù)本發(fā)明的實(shí)施例，八即14經(jīng)配置以提供一致的用戶體驗(yàn)、保留暫止疑惑且促進(jìn)探索。所揭示的方法在用戶探索環(huán)境的同時(shí)維持場景的連續(xù)性，即使某些對(duì)象可能在八尺014的相機(jī)視圖外也是這樣。換句話說，八即14可經(jīng)配置以獨(dú)立于所跟蹤的對(duì)象而跟蹤環(huán)境。此外，八即14可經(jīng)配置以進(jìn)一步用額外信息加強(qiáng)所述環(huán)境，所述額外信息例如如圖3中所說明的經(jīng)擴(kuò)增環(huán)境16中的地板及/或一或多個(gè)虛擬窗戶36、虛擬門37及虛擬墻壁38。
[0032]在一些實(shí)施方案中，跟蹤參考背景12(例如墊)的方法可包含但不限于:1)跟蹤所述墊的子區(qū)域跟蹤如圖3中所說明的在所述墊上的標(biāo)記或子特征；3〉跟蹤如圖4中所說明的可臨時(shí)或永久地組合以形成較大墊(例如盥洗室地板上的瓷磚，例如123到126)的多個(gè)小墊；以及4)跟蹤這些子區(qū)域/標(biāo)記/小墊與總體墊的關(guān)系，使得使一個(gè)子區(qū)域/標(biāo)記/小墊處于八即14的相機(jī)視圖中可使得八即14能夠確定用戶可看向較大墊上何處。在一些其它實(shí)施方案中，環(huán)境可包含一或多個(gè)有形墻壁18，其可附接到墊，以產(chǎn)生如圖5中所說明的游戲室?？捎媒?jīng)擴(kuò)增窗戶36及經(jīng)擴(kuò)增門37擴(kuò)增所述游戲室。在其它實(shí)施方案中，可使用實(shí)際游戲室的環(huán)境，即，可不擴(kuò)增有形游戲室。可如下文所描述跟蹤墻壁18及墻壁的子部分。
[0033]如圖6中所示，所述方法包含識(shí)別且跟蹤環(huán)境中的細(xì)節(jié)以動(dòng)態(tài)地產(chǎn)生環(huán)境的地圖(使用參考自由八10，且接著識(shí)別用戶當(dāng)前聚焦于哪一子部分上及所述子部分與總體地圖之間的關(guān)系。所述方法可進(jìn)一步包含經(jīng)由現(xiàn)實(shí)世界環(huán)境的動(dòng)態(tài)映射(使用參考自由八10擴(kuò)展虛擬環(huán)境16超出參考背景12(例如桌子及桌子19上的對(duì)象)的能力。
[0034]根據(jù)本發(fā)明的方面，可由艦)14使用同時(shí)定位及跟蹤說艦)架構(gòu)來跟蹤其環(huán)境中的對(duì)象。舉例來說，八即14可經(jīng)配置以創(chuàng)建31八1環(huán)境。31八1環(huán)境可配置為例如相對(duì)于1八1環(huán)境坐標(biāo)幀原點(diǎn)具有三維(30)位置的密集篩網(wǎng)或密集/稀疏的點(diǎn)云。環(huán)境中的每一特征點(diǎn)可包含一或多個(gè)描述符，其描述所述特征點(diǎn)的視覺外觀及/或關(guān)于所述特征的30結(jié)構(gòu)信息。舉例來說，30環(huán)境的表面及其對(duì)應(yīng)表面法線可用以描述環(huán)境中的各種特征點(diǎn)。注意，可通過移動(dòng)裝置在一系列圖像幀上俘獲特征點(diǎn)。
[0035]在一些實(shí)施方案中，當(dāng)目標(biāo)在視圖外時(shí)，擴(kuò)增可繼續(xù)。在起始游戲之后，當(dāng)背景12(例如盥洗室或地板)進(jìn)入視圖中時(shí)，可即刻顯示用于那一場景的擴(kuò)增16。當(dāng)對(duì)象進(jìn)入視圖中時(shí)，其對(duì)應(yīng)擴(kuò)增可展示于場景中，例如，浴缸22引起動(dòng)畫浴缸32具有氣泡33及橡膠鴨39的擴(kuò)增，且可播放氣泡的音頻。當(dāng)經(jīng)擴(kuò)增浴缸32在幀外時(shí)，例如當(dāng)物理物體歸因于八尺014的移動(dòng)而不再處于視圖中時(shí)，浴缸22相對(duì)于參考背景12(例如地板)的位置可記錄在存儲(chǔ)器中，且只要維持跟蹤所述環(huán)境，浴缸22就可繼續(xù)影響所述場景，如圖7中所說明。在此實(shí)例中，當(dāng)目標(biāo)處于八即14的視圖外時(shí)，擴(kuò)增可以如下方式繼續(xù):1)氣泡的音頻繼續(xù)播放；2)氣泡33的視頻在空氣中浮動(dòng)；以及3)用戶搖攝到盥洗室(未展示)中的伯尼且其說出“哦，橡膠鴨，你在這里！ ”
[0036]在一種方法中，浴缸的擴(kuò)增可看似從其在盥洗室地板上的地點(diǎn)噴氣。當(dāng)用戶接近所述地點(diǎn)時(shí)，可使氣泡的聲音較響，且當(dāng)用戶走開時(shí)，可使氣泡的聲音變得較安靜。只要視圖在距浴缸的預(yù)定距離內(nèi)，擴(kuò)增就可繼續(xù)從在盥洗室地板上的相同點(diǎn)噴氣，例如可在盥洗室中聽到，但在起居室中聽不到，達(dá)到跟蹤所述環(huán)境的程度。當(dāng)視圖返回到在預(yù)定距離內(nèi)時(shí)，擴(kuò)增可恢復(fù)。
[0037]在另一方法中，擴(kuò)增可如下繼續(xù)，包含但不限于:1)只要用戶的雙手保持在八尺014上，如由八即14的側(cè)面或表面上的皮膚電響應(yīng)((--或其它生物計(jì)量傳感器所檢測；2〉只要至少一只手保持在相機(jī)上，如由裝置的側(cè)面或表面上的631？或其它生物計(jì)量傳感器所檢測只要檢測到相同用戶握持相機(jī)，如通過比較隨時(shí)間推移而來自裝置的生物計(jì)量傳感器數(shù)據(jù)而檢測。例如，來自在裝置的任何表面上的傳感器的心律簽名或指紋；4)直到看到浴缸移動(dòng)，例如移動(dòng)到新地板位置，或直到看到先前與所述對(duì)象相關(guān)聯(lián)的盥洗室地板區(qū)域變空直到預(yù)定時(shí)間周期已過去而未返回到浴缸或浴缸區(qū)域；6〉在相機(jī)已固定達(dá)時(shí)間七之后；或7)只要相機(jī)正在移動(dòng)。注意，在一些實(shí)施方案中，控制單元120可在未在視圖中感知到的情況下假定對(duì)象可為靜態(tài)的；且控制單元120可在相機(jī)正移動(dòng)時(shí)假定對(duì)象并不移動(dòng)。
[0038]根據(jù)本發(fā)明的實(shí)施例，在場景開始之后，其繼續(xù)進(jìn)行且在以下條件下不重新開始，所述條件包含但不限于:1)只要已按預(yù)定時(shí)間間隔觸摸相機(jī)只要相機(jī)正在移動(dòng)；3〉只要相機(jī)已按預(yù)定時(shí)間間隔移動(dòng)；幻只要相機(jī)處于手中，如由生物計(jì)量傳感器所確定；或5〉只要相同用戶正握持相機(jī)，如由生物計(jì)量傳感器數(shù)據(jù)的非實(shí)質(zhì)性改變所確定。
[0039]根據(jù)本發(fā)明的實(shí)施例，仙0 14經(jīng)配置以校正丟失的跟蹤，包含但不限于以下情境。首先，如果八卩0 14緊鄰對(duì)象(例如小鳥)，且接著丟失所述對(duì)象，則八卩0 14的控制單元120可經(jīng)配置以假定所述對(duì)象在預(yù)定時(shí)間量內(nèi)可仍在那里，如圖8中所示。舉例來說，控制單元120可假定對(duì)象可能已過于接近以致不能有效地識(shí)別或跟蹤對(duì)象，因此場景可繼續(xù)顯示。第二，如果八即14正朝向?qū)ο笠苿?dòng)(例如，小鳥的相對(duì)大小正在增大)，接著對(duì)象可能從視圖丟失，控制單元120可假定對(duì)象在預(yù)定時(shí)間周期內(nèi)仍在那里?？刂茊卧?20可進(jìn)一步假定用戶可能希望放大所述對(duì)象但未將八即14與對(duì)象對(duì)準(zhǔn)，對(duì)象被用戶的手遮擋，等。第三，如果對(duì)象在某一地點(diǎn)(例如，盥洗室地板)移出視圖外且稍后在另一地點(diǎn)(例如，在盥洗室的另一區(qū)域中)檢測到，則場景繼續(xù)?？捎伤鲂碌攸c(diǎn)擴(kuò)增所述對(duì)象。在此情況下，控制單元120將不重新開始或失去其歷史。最后但不是最不重要的一點(diǎn)，如果用戶使一個(gè)場景在播放，例如小鳥觀看電視，則八即14可放大小鳥以致使場景改變，當(dāng)八即14重又縮小時(shí)，場景可使小鳥恢復(fù)觀看電視?？捎每s放操作期間的交互來擴(kuò)展所述場景，但控制單元120將不重新開始或失去場景的歷史。
[0040]根據(jù)本發(fā)明的實(shí)施例，八即14可經(jīng)配置以組合建立場景擴(kuò)增的連續(xù)性的不同方法與相機(jī)外有形接口項(xiàng)目。連同視覺對(duì)象辨識(shí)及跟蹤，可使用額外方法來維持對(duì)象相對(duì)于背景(例如地板或墊)的地點(diǎn)地圖。在如圖9中所說明的一些實(shí)施方案中，使用即10的近場跟蹤可實(shí)施于八即14中，使得如果項(xiàng)目仍在房間中，則甚至可建立對(duì)象10與背景12的相對(duì)地點(diǎn)。
[0041]在一種示范性方法中，八即14的視野已移動(dòng)，因此在盥洗室地板上的浴缸可能在視圖外。與參考背景12(例如墊)相關(guān)聯(lián)的即10控制器可經(jīng)配置以檢測浴缸22的即10簽名(由波200表示)。即10控制器可將信息(由波210表示)發(fā)送到仙0 14，如圖9中所示。八即14可經(jīng)配置以假定浴缸仍處于觀測到其的最后地點(diǎn)。因此，八即14可至少部分基于從即10控制器接收的浴缸的地點(diǎn)信息而繼續(xù)提供擴(kuò)增。在即10控制器未檢測到浴缸的尺？10簽名的情況下，其可將此信息傳遞到八即140 ^0 14可假定浴缸已移動(dòng)，因此通過使氣泡聲音緩慢地淡出或通過使氣泡以氣爆方式爆破而停止擴(kuò)增。
[0042]在另一方法中，在墊上的近場跟蹤包含用于確定墊上的對(duì)象的子位置的方法，例如通過在墊中使用一系列即10線圈或即10線圈柵格。以此方式，與墊相關(guān)聯(lián)的即10控制器維持墊上的對(duì)象以及其位置或大致位置的目錄兩者。接著，即10控制器可將地點(diǎn)信息發(fā)送到八即14。此外，即10控制器可將地點(diǎn)的任何變化(例如，對(duì)象的添加或移除)發(fā)送到八尺0 14。八即14可經(jīng)配置以從八即14的角度跟蹤視圖中對(duì)象及視圖外對(duì)象兩者，且使用此類地點(diǎn)信息來提供擴(kuò)增。注意，即使在八即14的相機(jī)視圖中可能沒有可識(shí)別的對(duì)象或環(huán)境，音頻擴(kuò)增仍可繼續(xù)。
[0043]在又一方法中，配備有即10能力的一或多個(gè)墊可經(jīng)配置以維持對(duì)象的目錄及放置，且視情況維持對(duì)象相對(duì)于所述墊的相對(duì)地點(diǎn)。在一種方法中，可結(jié)合地使用來自不同墊的信息以作出關(guān)于場景的推斷且提供適當(dāng)擴(kuò)增，而不顧及八即14的相機(jī)視圖。舉例來說，如果角色(例如伯尼)從一個(gè)房間移動(dòng)到另一房間以使得其現(xiàn)在與另一角色(例如，布雷特)處于相同房間中，且八即14的相機(jī)視圖可在第二房間中，則角色可開始交互，而不管角色是否處于八即14的相機(jī)視圖中。示范性擴(kuò)增可展示布雷特轉(zhuǎn)身以對(duì)進(jìn)入房間的伯尼講話，但伯尼可能不在相機(jī)視圖中。
[0044]在一些其它實(shí)施方案中，八即14可經(jīng)配置以使用從加速度計(jì)、陀螺儀及磁力計(jì)中的至少一者接收的傳感器數(shù)據(jù)來擴(kuò)增視覺跟蹤(例如，在一些實(shí)施例中，使用航位推算在一種方法中，八即14可經(jīng)配置以在視覺參考在視圖外時(shí)使用傳感器數(shù)據(jù)來跟蹤到對(duì)象(例如，浴缸)的相對(duì)距離及方向以補(bǔ)充視覺跟蹤。八即14可使用傳感器數(shù)據(jù)來通過在確定相對(duì)于目標(biāo)的位置時(shí)使用航位推算技術(shù)而提供擴(kuò)增的繼續(xù)。
[0045]在另一方法中，八即14可經(jīng)配置以使用傳感器數(shù)據(jù)連同視覺跟蹤來確定對(duì)象(例如浴缸)相對(duì)于八即14的移動(dòng)。如果傳感器數(shù)據(jù)指示八即14可能相對(duì)靜止，則八即14的控制單元120可假定浴缸正在移動(dòng)(例如，移出場景外)，且相應(yīng)地調(diào)整擴(kuò)增。如果傳感器數(shù)據(jù)指示八即14正在移動(dòng)，且確定所述移動(dòng)足以說明在屏幕上看到的移動(dòng)，則控制單元120假定浴缸仍在原地，且八即14正在移動(dòng)，且相應(yīng)地保持?jǐn)U增?；蛘?，如果可確定所述移動(dòng)不足以說明在屏幕上看到的移動(dòng)，則控制單元120可假定浴缸22及八即14兩者可能都在移動(dòng)，且相應(yīng)地調(diào)整擴(kuò)增。
[0046]根據(jù)本發(fā)明的實(shí)施例，多個(gè)八即可經(jīng)配置以維持跨越所述多個(gè)八即的擴(kuò)增。如圖10中所說明，如果具有對(duì)應(yīng)具有擴(kuò)增實(shí)境功能的裝置的多個(gè)用戶正以相同游戲設(shè)定在相同時(shí)間或接近相同的時(shí)間玩游戲，則某些擴(kuò)增元素可跨越所述多個(gè)八即保持實(shí)質(zhì)上相同，而其它擴(kuò)增元素可不同。
[0047]在一個(gè)示范性實(shí)施方案中，如果跨越從不同房間或不同方向指向從盥洗室到起居室的門的多個(gè)八即同時(shí)看到所述門打開。所述門保持跨越所述多個(gè)八即打開，直到用戶關(guān)閉所述門。在另一示范性實(shí)施方案中，如果用戶30將狗25變?yōu)槌?jí)狗35，則另一八即15上的另一用戶32可同樣看到狗25為超級(jí)狗35。注意，來自每一八即的聲音擴(kuò)增可與特定八即可指向的游戲有關(guān)。
[0048]此外，只要沒有打開虛擬窗戶或門，在另一房間中(例如，當(dāng)用戶正在起居室中玩時(shí)，在盥洗室中)的聲音可能根本聽不到；如果打開虛擬窗戶或門，聲音聽起來可能很小或根本聽不到；或在打開虛擬窗戶或門之后，可即刻聽到聲音，且接著其可衰減。舉例來說，如果打開盥洗室窗戶，可首先聽到鳥聲，且接著在某一時(shí)間周期之后淡出。
[0049]根據(jù)本發(fā)明的實(shí)施例，八即14可經(jīng)配置以提供環(huán)境聲音擴(kuò)增。在一些實(shí)施方案中，在視圖中的對(duì)象的聲音可為聽到的唯一聲音，比其它聲音響，或根據(jù)新近事件而平衡。在視圖外的對(duì)象的聲音可在響度上不同，可通過對(duì)象已在視圖外的持續(xù)時(shí)間來確定響度。
[0050]根據(jù)本發(fā)明的實(shí)施例，八即14可經(jīng)配置以維持場景內(nèi)的聲音連續(xù)性。在一些實(shí)施方案中，在八00 14被放下的情境中可保留場景，對(duì)象可能被手遮擋，或八00 14裝置瞬時(shí)指向他處。
[0051]在一種方法中，如果正播放場景進(jìn)展音頻(例如，角色正說話或正播放視頻)，則音頻在以下情形中繼續(xù)(例如，視頻聲音一直播放)，所述情形包含但不限于:1)當(dāng)八即14正面向游戲時(shí)，例如，在動(dòng)作處或接近所述動(dòng)作的對(duì)象或地板區(qū)域(“游戲區(qū)域”)的某一部分仍在視圖中，且視圖可能不移動(dòng)或傳感器未感測到移動(dòng)裝置并未放下但沒有角色在現(xiàn)場(例如，手遮擋了相機(jī)，用戶的手已垂下，裝置已失去跟蹤)⑶裝置短暫地指向另一角色，接著在預(yù)定時(shí)間周期(例如0^3^)內(nèi)返回到原始游戲區(qū)域；4)41? 14朝向相同場景流程中的對(duì)象移動(dòng)，接著屏幕外聲音可減小音量，或屏幕外角色可繼續(xù)講話且將新項(xiàng)目并入所述場景中。舉例來說，在用戶搖攝到汽車時(shí)伯尼正在向其橡膠鴨講話，經(jīng)擴(kuò)增伯尼可說出“我知道了，寶貝兒，讓我們乘坐汽車吧！ ”
[0052]在另一方法中，當(dāng)放下八即14而不面向游戲區(qū)域時(shí)，音頻可結(jié)束且接著停止。舉例來說，游戲不在視圖中，視圖不移動(dòng)，或傳感器未感測到移動(dòng)。或者，八即14可移動(dòng)到類似場景流程中的新對(duì)象。舉例來說，八即14在伯尼及布雷特上，且接著在此游戲會(huì)話中首次移動(dòng)到小鳥。在又一方法中，如果八即14的視圖已移動(dòng)到一組不同對(duì)象達(dá)大于預(yù)定時(shí)間周期，則音頻可停止，例如視頻聲音停止或淡出。
[0053]根據(jù)本發(fā)明的一些方面，圖11中描述的功能可由圖2的控制單元120實(shí)施。在一些實(shí)施方案中，所述功能可由處理器122、軟件126、硬件128及固件130或這些框的組合來執(zhí)行以執(zhí)行上文所描述的八即的各種功能，包含由跟蹤單元132及擴(kuò)增實(shí)境用戶接口單元134執(zhí)行的功能。
[0054]圖11說明根據(jù)本發(fā)明的一些方面的維持?jǐn)U增的連續(xù)性的流程圖。在框1102中，控制單元120可經(jīng)配置以至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個(gè)對(duì)象及背景。在框1104中，控制單元120可經(jīng)配置以至少部分基于不同于所述視覺信息的信息維持所述多個(gè)對(duì)象的狀態(tài)。在框1106中，控制單元120可經(jīng)配置以響應(yīng)于所述多個(gè)對(duì)象的狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)。
[0055]根據(jù)本發(fā)明的實(shí)施例，在框1102中執(zhí)行的方法可進(jìn)一步包含在框1110中執(zhí)行的方法。舉例來說，在框1110中，控制單元120可經(jīng)配置以確定所述多個(gè)對(duì)象相對(duì)于八即的相對(duì)姿勢(shì)，且使用所述相對(duì)姿勢(shì)更新所述多個(gè)對(duì)象的狀態(tài)，其中所述多個(gè)對(duì)象的狀態(tài)包含所述多個(gè)對(duì)象的關(guān)系信息。在框1110中執(zhí)行的方法可進(jìn)一步包含在框1120到1122中執(zhí)行的方法。在框1120中，控制單元120檢測所述多個(gè)對(duì)象相對(duì)于所述多個(gè)對(duì)象的先前所俘獲圖像的姿勢(shì)。在框1122中，控制單元120檢測圖像中的新對(duì)象，且更新所述多個(gè)對(duì)象以包含所述新對(duì)象。
[0056]在框1104中執(zhí)行的方法可進(jìn)一步包含在框1112中執(zhí)行的方法。在框1112中，控制單元120維持在八即的視圖中的第一組所述多個(gè)對(duì)象的狀態(tài)，且維持在八即的視圖外的第二組所述多個(gè)對(duì)象的狀態(tài)。在框1112中執(zhí)行的方法可進(jìn)一步包含在框1124到1128中執(zhí)行的方法。在框1124中，控制單元120跟蹤所述第二組所述多個(gè)對(duì)象相對(duì)于在八即14的視圖中的所述第一組所述多個(gè)對(duì)象的偏移，且使用所述偏移確定所述第二組所述多個(gè)對(duì)象的位置。在框1126中，控制單元120跟蹤八即14相對(duì)于在八即14的視圖外的所述第二組所述多個(gè)對(duì)象的相對(duì)移動(dòng)，且使用八即14的位置及相對(duì)移動(dòng)確定所述第二組所述多個(gè)對(duì)象的位置。跟蹤八即14的相對(duì)移動(dòng)的方法至少部分基于以下各者中的至少一者:視覺里程計(jì)、通過加速度計(jì)的航位推算及通過陀螺儀的航位推算。
[0057]在框1128中，控制單元120接收包括用于確定所述多個(gè)對(duì)象的相對(duì)位置的信息的無線信號(hào)，且使用所述信息更新所述第二組所述多個(gè)對(duì)象的位置。在一些實(shí)施方案中，所述無線信號(hào)是由八即14從附著到所述第二組所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象的即10標(biāo)簽接收。所述無線信號(hào)包括近場通信信號(hào)及藍(lán)牙信號(hào)中的至少一者。所述背景包括經(jīng)配置以檢測所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象的位置的一或多個(gè)傳感器，且所述信息指示由所述一或多個(gè)傳感器檢測的位置。
[0058]在框1106中執(zhí)行的方法可進(jìn)一步包含在框1114中執(zhí)行的方法。在框1114中，控制單元120經(jīng)配置以當(dāng)所述多個(gè)對(duì)象的狀態(tài)的置信度的指示滿足第一預(yù)定值時(shí)在一位置中顯現(xiàn)聲音及圖形，當(dāng)所述多個(gè)對(duì)象的狀態(tài)的置信度的所述指示滿足第二預(yù)定值時(shí)在所述位置中顯現(xiàn)聲音，當(dāng)所述多個(gè)對(duì)象的狀態(tài)的置信度的所述指示滿足第三預(yù)定值時(shí)在所述位置中顯現(xiàn)環(huán)境聲音，且當(dāng)所述多個(gè)對(duì)象的狀態(tài)的置信度的所述指示滿足第四預(yù)定值時(shí)在所述位置中顯現(xiàn)淡出轉(zhuǎn)變。
[0059]在一些實(shí)施方案中，在框1102中的所述多個(gè)對(duì)象為游戲棋子，且所述背景為游戲板。所述多個(gè)對(duì)象的狀態(tài)可包括所述多個(gè)對(duì)象相對(duì)于彼此的關(guān)系信息、所述多個(gè)對(duì)象相對(duì)于背景的關(guān)系信息、所述多個(gè)對(duì)象相對(duì)于彼此的幾何布置關(guān)系，及所述多個(gè)對(duì)象相對(duì)于背景的幾何布置關(guān)系。
[0060]在框1112中，控制單元120可進(jìn)一步經(jīng)配置以跟蹤在八即14的視圖外的第二組所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象，確定所述至少一個(gè)對(duì)象仍存在，且在所述至少一個(gè)對(duì)象的位置中顯現(xiàn)聲音及圖形中的至少一者。此外，控制單元120可進(jìn)一步經(jīng)配置以跟蹤在八尺014的視圖外的第二組所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象，確定所述至少一個(gè)對(duì)象不再存在，且在所述至少一個(gè)對(duì)象的位置中顯現(xiàn)淡出轉(zhuǎn)變及環(huán)境聲音中的至少一者。
[0061]在一些其它實(shí)施方案中，控制單元120可進(jìn)一步經(jīng)配置以用多個(gè)具有擴(kuò)增實(shí)境功能的裝置(八即)跟蹤所述多個(gè)對(duì)象及所述背景，跨越所述多個(gè)八即維持所述多個(gè)對(duì)象的狀態(tài)，且響應(yīng)于所述多個(gè)對(duì)象的狀態(tài)而在所述多個(gè)八即中提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)。
[0062]根據(jù)本發(fā)明的方面，一種適用于具有擴(kuò)增實(shí)境功能的裝置的計(jì)算機(jī)程序產(chǎn)品包括存儲(chǔ)用于由一或多個(gè)計(jì)算機(jī)系統(tǒng)執(zhí)行的指令的非暫時(shí)性媒體；所述指令包括:用于至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個(gè)對(duì)象及背景的指令；用于至少部分基于不同于所述視覺信息的信息維持所述多個(gè)對(duì)象的狀態(tài)的指令；以及用于響應(yīng)于所述多個(gè)對(duì)象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的指令。
[0063]用于跟蹤的指令包括執(zhí)行3維跟蹤，包括:用于確定所述多個(gè)對(duì)象相對(duì)于所述八尺0的相對(duì)姿勢(shì)的指令；以及用于使用所述多個(gè)對(duì)象相對(duì)于所述八即的所述相對(duì)姿勢(shì)更新所述多個(gè)對(duì)象的狀態(tài)的指令，其中所述多個(gè)對(duì)象的所述狀態(tài)包含所述多個(gè)對(duì)象的關(guān)系信息。用于確定相對(duì)姿勢(shì)的指令包括用于檢測所述多個(gè)對(duì)象相對(duì)于所述多個(gè)對(duì)象的先前所俘獲圖像的姿勢(shì)的指令。用于確定相對(duì)姿勢(shì)的指令包括用于檢測圖像中的新對(duì)象的指令，及用于更新所述多個(gè)對(duì)象以包含所述新對(duì)象的指令。
[0064]用于維持所述多個(gè)對(duì)象的狀態(tài)的指令包括用于維持在八即的視圖中的第一組所述多個(gè)對(duì)象的狀態(tài)的指令，及用于維持在八即的視圖外的第二組所述多個(gè)對(duì)象的狀態(tài)的指令。用于維持在八即的視圖外的第二組所述多個(gè)對(duì)象的狀態(tài)的指令包括用于跟蹤所述第二組所述多個(gè)對(duì)象相對(duì)于在八即的視圖中的所述第一組所述多個(gè)對(duì)象的偏移的指令，及用于使用所述偏移確定所述第二組所述多個(gè)對(duì)象的位置的指令。用于維持在八即的視圖外的第二組所述多個(gè)對(duì)象的狀態(tài)的指令進(jìn)一步包括用于跟蹤八即相對(duì)于在八即的視圖外的所述第二組所述多個(gè)對(duì)象的相對(duì)移動(dòng)的指令，及用于使用所述八即的位置及相對(duì)移動(dòng)確定所述第二組所述多個(gè)對(duì)象的位置的指令。用于跟蹤所述八即的相對(duì)移動(dòng)的指令至少部分基于以下各者中的至少一者:視覺里程計(jì)、通過加速度計(jì)的航位推算，及通過陀螺儀的航位推算。
[0065]用于維持在八即的視圖外的第二組所述多個(gè)對(duì)象的狀態(tài)的指令進(jìn)一步包括用于接收與用于確定所述多個(gè)對(duì)象的相對(duì)位置的無線信號(hào)有關(guān)的信息的指令，及用于使用所述所接收信息更新所述第二組所述多個(gè)對(duì)象的位置的指令。所述無線信號(hào)是由八即從附著到第二組所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象的即10標(biāo)簽接收。所述無線信號(hào)包括近場通信信號(hào)及藍(lán)牙信號(hào)中的至少一者。所述背景包括包含經(jīng)配置以檢測所述多個(gè)對(duì)象的相對(duì)位置的一或多個(gè)傳感器的墊，且所述信息指示由所述一或多個(gè)傳感器檢測的所述多個(gè)對(duì)象的所述相對(duì)位置。所述信息是基于在所述八即處接收的無線信號(hào)而在集成到所述八即中的處理器或芯片處接收。
[0066]根據(jù)本發(fā)明的方面，計(jì)算機(jī)程序產(chǎn)品進(jìn)一步包括:用于跟蹤在所述八即的視圖外的所述第二組所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象的指令；用于確定所述第二組所述多個(gè)對(duì)象中的所述至少一個(gè)對(duì)象仍存在的指令；以及用于在所述第二組所述多個(gè)對(duì)象中的所述至少一個(gè)對(duì)象的位置中顯現(xiàn)聲音及圖形中的至少一者的指令。所述計(jì)算機(jī)程序產(chǎn)品進(jìn)一步包括:用于跟蹤在所述八即的視圖外的所述第二組所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象的指令；用于確定所述第二組所述多個(gè)對(duì)象中的所述至少一個(gè)對(duì)象不再存在的指令；以及用于在所述第二組所述多個(gè)對(duì)象中的所述至少一個(gè)對(duì)象的位置中顯現(xiàn)淡出轉(zhuǎn)變及環(huán)境聲音中的至少一者的指令。所述計(jì)算機(jī)程序產(chǎn)品進(jìn)一步包括:用于當(dāng)所述八即搖攝到預(yù)期所述第二組中的第一對(duì)象將位于的地點(diǎn)且確定所述第一對(duì)象不存在于所述地點(diǎn)處時(shí)停止跟蹤所述第一對(duì)象的指令；以及用于停止與所述第一對(duì)象相關(guān)聯(lián)的音頻擴(kuò)增的指令。所述計(jì)算機(jī)程序產(chǎn)品進(jìn)一步包括:用于當(dāng)檢測到新場景時(shí)停止跟蹤所述第二組中的第一對(duì)象的指令；以及用于停止與所述第一對(duì)象相關(guān)聯(lián)的音頻擴(kuò)增的指令。
[0067]用于顯現(xiàn)擴(kuò)增的指令包括以下各者中的至少一者:用于當(dāng)所述多個(gè)對(duì)象的所述狀態(tài)的置信度的指示滿足第一預(yù)定值時(shí)在一位置中顯現(xiàn)聲音及圖形的指令；用于當(dāng)所述多個(gè)對(duì)象的所述狀態(tài)的置信度的所述指示滿足第二預(yù)定值時(shí)在所述位置中顯現(xiàn)聲音的指令；用于當(dāng)所述多個(gè)對(duì)象的所述狀態(tài)的置信度的所述指示滿足第三預(yù)定值時(shí)在所述位置中顯現(xiàn)環(huán)境聲音的指令；以及用于當(dāng)所述多個(gè)對(duì)象的所述狀態(tài)的置信度的所述指示滿足第四預(yù)定值時(shí)在所述位置中顯現(xiàn)淡出轉(zhuǎn)變的指令。所述多個(gè)對(duì)象為游戲棋子，且所述背景為游戲板。所述多個(gè)對(duì)象的狀態(tài)包括以下各者中的至少一者:所述多個(gè)對(duì)象相對(duì)于彼此的關(guān)系信息、所述多個(gè)對(duì)象相對(duì)于背景的關(guān)系信息、所述多個(gè)對(duì)象相對(duì)于彼此的幾何布置關(guān)系，及所述多個(gè)對(duì)象相對(duì)于背景的幾何布置關(guān)系。
[0068]所述計(jì)算機(jī)程序產(chǎn)品進(jìn)一步包括:用于用多個(gè)具有擴(kuò)增實(shí)境功能的裝置(八即)跟蹤所述多個(gè)對(duì)象及所述背景的指令；用于跨越所述多個(gè)八即維持所述多個(gè)對(duì)象的狀態(tài)的指令；以及用于響應(yīng)于所述多個(gè)對(duì)象的狀態(tài)而在所述多個(gè)八即中提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的指令。所述背景包括以下各者中的至少一者:墊，及墻壁。
[0069]根據(jù)本發(fā)明的方面，可使用數(shù)種技術(shù)執(zhí)行識(shí)別及跟蹤圖像幀中的特征。在一種方法中，可通過檢查每一 2乘2梯度矩陣的最小特征值來執(zhí)行識(shí)別特征的方法。接著，使用最小化兩個(gè)窗之間的差異的牛頓-拉普森方法0)6被011-1？叩118011 11161:110(1)來跟蹤特征。多分辨率跟蹤方法允許圖像之間的相對(duì)較大位移。注意，在從一個(gè)幀到下一幀跟蹤特征期間，錯(cuò)誤可能累積。為檢測潛在不良的特征，移動(dòng)裝置可經(jīng)配置以監(jiān)視在當(dāng)前幀中圍繞所述特征的窗中的圖像信號(hào)是否仍類似于在前一幀中圍繞所述特征的圖像信號(hào)。因?yàn)榭稍谠S多幀上跟蹤特征，因此圖像內(nèi)容可能變形。為解決此問題，可用相似度或仿射映射來執(zhí)行一致性檢查。
[0070]根據(jù)本發(fā)明的方面，為識(shí)別圖像中的對(duì)象，可提取所述對(duì)象上的若干點(diǎn)以提供所述對(duì)象的特征描述(也稱為關(guān)鍵點(diǎn)、特征點(diǎn)或簡稱為特征當(dāng)嘗試在含有許多其它對(duì)象的測試圖像中定位所述對(duì)象時(shí)，可接著使用從訓(xùn)練圖像提取的此描述來識(shí)別所述對(duì)象。為執(zhí)行可靠辨識(shí)，甚至在圖像縮放、噪聲及照明改變下仍可檢測從訓(xùn)練圖像提取的特征。此類點(diǎn)通常位于圖像的高對(duì)比度區(qū)域，例如對(duì)象邊緣上。
[0071]這些特征的另一特性為其間的在原始場景中的相對(duì)位置可不從一個(gè)圖像到另一圖像而改變。舉例來說，如果僅將車門的四個(gè)拐角用作特征，則其可有效而不管車門的位置如何；但如果使用幀中的若干點(diǎn)，則如果車門打開或關(guān)閉，辨識(shí)可能失敗。類似地，如果在所處理的組中的兩個(gè)圖像之間發(fā)生其內(nèi)部幾何布置的任何改變，則位于鉸接或柔性對(duì)象中的特征通?？赡軣o效。在一些實(shí)施方案中，檢測且使用來自圖像的大量特征，其可減少由所有特征匹配錯(cuò)誤的平均錯(cuò)誤的局部變化引起的錯(cuò)誤的貢獻(xiàn)。因此，所揭示方法可識(shí)別甚至處于雜物中且部分被遮擋的對(duì)象；因?yàn)樘卣髅枋龇麑?duì)于均勻縮放、定向可不變，且對(duì)于仿射失真及照明改變部分地不變。
[0072]舉例來說，可首先從一組參考圖像提取對(duì)象的關(guān)鍵點(diǎn)且將其存儲(chǔ)于數(shù)據(jù)庫中。通過比較來自新圖像的每一特征與此數(shù)據(jù)庫且基于其特征向量的歐幾里得距離找出候選匹配特征來在新圖像中辨識(shí)對(duì)象。從整組匹配，可識(shí)別在對(duì)象及其在新圖像中的地點(diǎn)、縮放及定向上一致的關(guān)鍵點(diǎn)的子組以濾出良好匹配?？赏ㄟ^使用一般化的霍夫曲)變換的雜湊表實(shí)施方案來執(zhí)行一致群集的確定。在對(duì)象及其姿勢(shì)上一致的3個(gè)或3個(gè)以上特征的每一群集可接著經(jīng)受進(jìn)一步詳述的模型驗(yàn)證，且隨后可舍棄離群值?？山又跀M合準(zhǔn)確度及可能的錯(cuò)誤匹配的數(shù)目來計(jì)算一組特定特征指示存在對(duì)象的概率。通過測試的對(duì)象匹配可以高置信度識(shí)別為正確的。
[0073]根據(jù)本發(fā)明的方面，圖像特征產(chǎn)生將圖像變換成大的特征向量集合，所述特征向量中的每一者對(duì)于圖像平移、縮放及旋轉(zhuǎn)可為不變的，且對(duì)于照明改變?yōu)椴蛔兊牟⑶覍?duì)于局部幾何失真是穩(wěn)健的。這些特征與靈長類動(dòng)物視覺中用于對(duì)象辨識(shí)的下顳葉皮層中的神經(jīng)元具有類似特性。關(guān)鍵地點(diǎn)可被定義為在尺度空間(8(^16 81)806)中應(yīng)用于一系列經(jīng)平滑化且重新取樣的圖像的高斯函數(shù)的差異結(jié)果的最大值及最小值?？缮釛壍蛯?duì)比度候選點(diǎn)及沿著邊緣的邊緣響應(yīng)點(diǎn)。優(yōu)勢(shì)定向指派給局部化的關(guān)鍵點(diǎn)。此方法確保關(guān)鍵點(diǎn)對(duì)于匹配及辨識(shí)更為穩(wěn)定?？山又ㄟ^考慮圍繞所述關(guān)鍵地點(diǎn)的半徑的像素、模糊化且重新取樣局部圖像定向平面來獲得對(duì)局部仿射失真穩(wěn)健的描述符。
[0074]特征匹配及編索引可包含存儲(chǔ)關(guān)鍵點(diǎn)及從新圖像識(shí)別匹配的關(guān)鍵點(diǎn)。在一種方法中，也稱為最佳區(qū)間優(yōu)先搜索方法68681x11 11161:110(1)的卜^!樹算法的修改可用以使用有限量的計(jì)算來以高概率識(shí)別最接近的相鄰者。最佳區(qū)間優(yōu)先算法使用卜己樹算法的經(jīng)修改搜索次序以使得可按距查詢地點(diǎn)最近的距離的次序搜索特征空間中的區(qū)間。此搜索次序需要使用基于堆棧的優(yōu)先級(jí)隊(duì)列來有效地確定搜索次序。可通過從訓(xùn)練圖像識(shí)別每一關(guān)鍵點(diǎn)在關(guān)鍵點(diǎn)數(shù)據(jù)庫中的最接近的相鄰者來找出每一關(guān)鍵點(diǎn)的最佳候選匹配。最接近的相鄰者可被定義為距給定描述符向量具有最小歐幾里得距離的關(guān)鍵點(diǎn)。可通過取距最近相鄰者的距離與次近者的距離的比率來確定匹配是正確的概率。
[0075]在一個(gè)示范性實(shí)施方案中，可拒絕距離比率大于0.8的匹配，此舉消除90 %的錯(cuò)誤匹配，同時(shí)舍棄小于5%的正確匹配。為進(jìn)一步改進(jìn)最佳區(qū)間優(yōu)先算法的效率，可在檢查預(yù)定數(shù)目個(gè)(例如100個(gè))最接近的相鄰候選者之后停止搜索。對(duì)于具有100，000個(gè)關(guān)鍵點(diǎn)的數(shù)據(jù)庫，此可提供較之確切的最接近相鄰者搜索加速約2個(gè)數(shù)量級(jí)，而又導(dǎo)致正確匹配數(shù)目的小于5%的損失。
[0076]注意，對(duì)于所述示范性實(shí)施方案，可使用霍夫變換來將可靠模型假設(shè)集群以搜索在特定模型姿勢(shì)上一致的關(guān)鍵點(diǎn)。可使用霍夫變換來通過使用每一特征選出可與所述特征一致的對(duì)象姿勢(shì)而識(shí)別具有一致解釋的特征群集。當(dāng)發(fā)現(xiàn)特征群集選出對(duì)象的相同姿勢(shì)時(shí)，解釋正確的概率可高于任何單個(gè)特征?？僧a(chǎn)生雜湊表中的條目以依據(jù)匹配假設(shè)預(yù)測模型地點(diǎn)、定向及縮放?？伤阉麟s湊表以識(shí)別在區(qū)間中具有至少3個(gè)條目的群集，且可將區(qū)間排序成大小的降序。
[0077]根據(jù)本發(fā)明的方面，關(guān)鍵點(diǎn)中的每一者可指定20地點(diǎn)、縮放及定向。此外，數(shù)據(jù)庫中的每一匹配關(guān)鍵點(diǎn)可具有與訓(xùn)練圖像(在其中發(fā)現(xiàn)所述關(guān)鍵點(diǎn))有關(guān)的其參數(shù)的記錄。由這4個(gè)參數(shù)暗示的相似度變換可近似等于30對(duì)象的6自由度姿勢(shì)空間，并且也不考量任何非硬質(zhì)變形。因此，示范性實(shí)施方案可對(duì)于定向使用30度的寬區(qū)間大小，對(duì)于縮放使用因數(shù)2，且對(duì)于地點(diǎn)使用0.25倍的最大投影訓(xùn)練圖像維度(使用預(yù)測縮放)?？上蛞暂^大縮放產(chǎn)生的關(guān)鍵樣本給出兩倍于以較小縮放產(chǎn)生的樣本的權(quán)重。對(duì)于此方法，較大縮放可實(shí)際上能夠?yàn)V出用于以較小縮放進(jìn)行檢查的最可能相鄰者。此方法還通過向噪聲最小的縮放給出較大權(quán)重而改進(jìn)辨識(shí)性能。根據(jù)本發(fā)明的方面，為避免區(qū)間指派中的邊界效應(yīng)問題，每一關(guān)鍵點(diǎn)匹配可在每一維度中選出2個(gè)最近的區(qū)間，從而對(duì)于每一假設(shè)得到總共16個(gè)條目且進(jìn)一步加寬了姿勢(shì)范圍。
[0078]根據(jù)本發(fā)明的方面，對(duì)于給定參數(shù)解，可通過檢查每一圖像特征與模型之間的一致性來移除離群值。舉例來說，給定線性最小平方解，可能需要每一匹配在用于霍夫變換區(qū)間中的參數(shù)的錯(cuò)誤范圍的一半內(nèi)一致。在離群值被舍棄時(shí)，可用剩余點(diǎn)來求解線性最小平方解，且所述過程可迭代。在一些實(shí)施方案中，如果在舍棄離群值之后剩余小于預(yù)定數(shù)目個(gè)點(diǎn)(例如，3個(gè)點(diǎn))，則可拒絕所述匹配。此外，可使用自上向下的匹配階段來添加與所投影模型位置一致的任何進(jìn)一步匹配，所述匹配可能歸因于相似度變換近似或其它錯(cuò)誤而從霍夫變換區(qū)間錯(cuò)過。
[0079]接受或拒絕模型假設(shè)的決策可基于詳述的概率模型。給定模型的投影大小、區(qū)域內(nèi)特征的數(shù)目及擬合的準(zhǔn)確度，所述方法首先計(jì)算到模型姿勢(shì)的錯(cuò)誤匹配的預(yù)期數(shù)目。貝葉斯概率分析可接著給出可基于所發(fā)現(xiàn)的匹配特征的實(shí)際數(shù)目呈現(xiàn)對(duì)象的概率。如果正確解釋的最終概率大于預(yù)定百分比(例如95% )，則可接受模型。
[0080]根據(jù)本發(fā)明的方面，在一種方法中，旋轉(zhuǎn)不變特征變換(虹?”方法可用作31？丁的旋轉(zhuǎn)不變一般化以解決雜物下或部分遮擋情境?？墒褂脛澐殖上嗟葘挾鹊耐沫h(huán)的圓形歸一化片來建構(gòu)描述符，且在每一環(huán)內(nèi)，可計(jì)算梯度定向直方圖。為維持旋轉(zhuǎn)不變性，可在每一點(diǎn)處相對(duì)于從中心指向外的方向測量定向。
[0081]在另一方法中，可使用一般化的穩(wěn)健不變特征(卜虹?)方法。6-1^1？以組合感知信息與空間編碼的統(tǒng)一形式編碼邊緣定向、邊緣密度及色調(diào)信息。對(duì)象辨識(shí)方案使用基于相鄰上下文的表決來估計(jì)對(duì)象模型。
[0082]在又一方法中，可使用加速穩(wěn)健特征(別即)方法，其使用縮放及旋轉(zhuǎn)不變關(guān)注點(diǎn)檢測器/描述符，在可重復(fù)性、獨(dú)特性及穩(wěn)健性方面，其可能性能優(yōu)于先前所提議的方案。
依賴于整體的圖像用于圖像卷積以減少計(jì)算時(shí)間，且依靠最主要的現(xiàn)有檢測器及描述符的強(qiáng)度(對(duì)于檢測器及分布式描述符使用基于快速赫斯矩陣的測量方法描述哈爾小波響應(yīng)^^6161: 1-681)01186)在關(guān)注點(diǎn)領(lǐng)域內(nèi)的分布。整體的圖像可用于速度，且64個(gè)維度可用以減少用于特征計(jì)算及匹配的時(shí)間。編索引步驟可基于拉普拉斯(181)1801811)的正負(fù)號(hào)，其增大描述符的匹配速度及穩(wěn)健性。
[0083]在又一方法中，可使用主分量分析方法。在一些實(shí)施方案中， 描述符為在支持區(qū)域內(nèi)計(jì)算的在X及7方向上的圖像梯度的向量。梯度區(qū)域可在
39x39個(gè)地點(diǎn)處取樣。因此，向量可具有維度3042。通過？0\，維度可減小到36。在又一方法中，可使用梯度地點(diǎn)-定向直方圖￠10?)方法，其為經(jīng)設(shè)計(jì)以增大其穩(wěn)健性及獨(dú)特性的描述符的擴(kuò)展。在一些實(shí)施方案中，可針對(duì)在徑向方向上具有三個(gè)區(qū)間(半徑設(shè)定到6、11及15)且在傾斜方向上具有8個(gè)區(qū)間(其導(dǎo)致17個(gè)地點(diǎn)區(qū)間)的對(duì)數(shù)極坐標(biāo)地點(diǎn)柵格計(jì)算描述符。中心區(qū)間可不在傾斜方向上進(jìn)行劃分?？稍?6個(gè)區(qū)間中量化梯度定向，從而導(dǎo)致272個(gè)區(qū)間的直方圖。通過？…可減小此描述符的大小?？筛鶕?jù)從各種圖像收集的圖像塊估計(jì)的協(xié)方差矩陣。128個(gè)最大特征向量可接著用于描述。
[0084]在又一方法中，可使用兩對(duì)象辨識(shí)算法來配合當(dāng)前移動(dòng)裝置的限制而使用。與經(jīng)典 31？！'方法相比，加速分段測試特征^1-0111 ^006161-^1:6(1 36職16111: 1681:, ^81)拐角檢測器可用于特征檢測。此方法在離線準(zhǔn)備階段(其中可以不同灰度層級(jí)產(chǎn)生特征)與在線階段(其中可以移動(dòng)裝置的相機(jī)圖像的當(dāng)前固定灰度層級(jí)產(chǎn)生特征)之間加以區(qū)分。在一個(gè)示范性實(shí)施方案中，可從預(yù)定固定片大小(例如15x15像素)產(chǎn)生特征，且所述特征形成具有36個(gè)維度的31？！'描述符?？赏ㄟ^將可擴(kuò)展詞匯樹(8(^1511316
^66)集成在辨識(shí)管線中而進(jìn)一步擴(kuò)展所述方法。此允許有效地辨識(shí)移動(dòng)裝置上的大量對(duì)象。
[0085]根據(jù)本發(fā)明的方面，局部圖像特征的檢測及描述可有助于對(duì)象辨識(shí)。特征可為局部的且基于對(duì)象在特定關(guān)注點(diǎn)處的外觀，且對(duì)于圖像縮放及旋轉(zhuǎn)可為不變的。其對(duì)于照明、噪聲的改變及視點(diǎn)的較小改變也可為穩(wěn)健的。除這些特性之外，特征可為高度獨(dú)特的，相對(duì)容易提取且允許以低失配概率正確地識(shí)別對(duì)象?？上鄬?duì)容易地對(duì)照局部特征的(大)數(shù)據(jù)庫來匹配特征，且通常可使用例如具有最佳區(qū)間優(yōu)先搜索的隹(卜(1)樹等概率算法。通過一組特征進(jìn)行的對(duì)象描述對(duì)于部分遮擋也可為穩(wěn)健的。舉例來說，來自對(duì)象的少到3個(gè)特征可足以計(jì)算其地點(diǎn)及姿勢(shì)。在一些實(shí)施方案中，對(duì)于小數(shù)據(jù)庫且在現(xiàn)代計(jì)算機(jī)硬件上，可準(zhǔn)實(shí)時(shí)地執(zhí)行辨識(shí)。
[0086]根據(jù)本發(fā)明的方面，可使用隨機(jī)樣本一致性技術(shù)來移除由相機(jī)視圖中的移動(dòng)對(duì)象引起的離群值。注意，狀使用迭代方法來從含有離群值的一組所觀測數(shù)據(jù)來估計(jì)數(shù)學(xué)模型的參數(shù)。此方法可為非確定性的，因?yàn)槠湟韵嚓P(guān)聯(lián)概率產(chǎn)生合理結(jié)果，其中所述概率可隨著執(zhí)行更多迭代而增大。
[0087]在一個(gè)示范性實(shí)施方案中，一組觀測到的數(shù)據(jù)值，可以對(duì)應(yīng)置信度參數(shù)擬合到觀測結(jié)果的參數(shù)化模型。在此示范性實(shí)施方案中，所述方法迭代地選擇原始數(shù)據(jù)的隨機(jī)子組。這些數(shù)據(jù)可為假想的群內(nèi)值(11111610,且可接著如下測試所述假設(shè):
[0088]1.可將模型擬合到假想的群內(nèi)值，即從所述群內(nèi)值重建構(gòu)模型的所有自由參數(shù)。
[0089]2.接著可對(duì)照擬合的模型測試所有其它數(shù)據(jù)，且如果一點(diǎn)良好地?cái)M合到所述估計(jì)模型，則可認(rèn)為其是假想的群內(nèi)值。
[0090]3.如果已將足夠數(shù)目的點(diǎn)分類為假想的群內(nèi)值，則可認(rèn)為所述估計(jì)模型可接受。
[0091]4.可從所有假想群內(nèi)值重新估計(jì)所述模型，因?yàn)槠鋬H已從初始組假想群內(nèi)值進(jìn)行了估計(jì)。
[0092]5.最終，可通過相對(duì)于模型估計(jì)群內(nèi)值的錯(cuò)誤來評(píng)估所述模型。
[0093]每當(dāng)產(chǎn)生因?yàn)檫^少的點(diǎn)被分類為群內(nèi)值而可被拒絕的模型或與對(duì)應(yīng)錯(cuò)誤測量一起產(chǎn)生改進(jìn)的模型時(shí)，可重復(fù)以上程序預(yù)定次數(shù)。在后一種情況下，如果錯(cuò)誤低于先前保存的模型，則可保持所述改進(jìn)的模型。
[0094]在另一示范性實(shí)施方案中，可使用基于模型的運(yùn)動(dòng)跟蹤方法來主動(dòng)地識(shí)別并移除在相機(jī)視圖中的移動(dòng)對(duì)象。在一種方法中，跟蹤的目標(biāo)可處理為模型辨識(shí)問題。可跟蹤目標(biāo)的二進(jìn)制表示，且可使用基于豪斯多夫距離￠[￡1118(101'打(1181:81106)的搜索來在圖像的若干區(qū)域中搜索對(duì)象。對(duì)于目標(biāo)的二進(jìn)制表示(模型)，可用模型歷史的概念來擴(kuò)增從高斯平滑化圖像的標(biāo)準(zhǔn)坎尼邊緣檢測器(￠￡111117 6如6 (161:601:01-)的輸出。在每一幀處，可使用來自當(dāng)前圖像的坎尼邊緣及當(dāng)前模型來對(duì)每一目標(biāo)執(zhí)行豪斯多夫搜索。此外，可執(zhí)行仿射估計(jì)以大致得出凈背景運(yùn)動(dòng)。從這兩個(gè)搜索的結(jié)果，可搜集關(guān)于目標(biāo)的信息，且可使用所述信息來大致得出目標(biāo)的運(yùn)動(dòng)并且在目標(biāo)的區(qū)域中將背景與運(yùn)動(dòng)分離開來。為能夠處置危險(xiǎn)性/不尋常的條件(例如被遮擋的對(duì)象進(jìn)入陰影中，對(duì)象離開幀，或相機(jī)圖像失真提供不良圖像質(zhì)量)，可保持關(guān)于目標(biāo)的歷史數(shù)據(jù)，例如目標(biāo)的過去運(yùn)動(dòng)及大小改變、目標(biāo)的特征性視圖(在所有時(shí)間存在的快照，其提供已跟蹤目標(biāo)的不同方式的準(zhǔn)確表示)，及在過去的匹配質(zhì)量。
[0095]跟蹤目標(biāo)的歷史可不僅僅適用于輔助危險(xiǎn)性/不尋常的條件；可靠的運(yùn)動(dòng)跟蹤方法的那一部分可涉及歷史數(shù)據(jù)，而不僅僅是運(yùn)動(dòng)比較的逐幀方法。此歷史狀態(tài)可提供關(guān)于如何決定應(yīng)將何內(nèi)容視為目標(biāo)的部分的信息(例如，以相同速度移動(dòng)的接近于對(duì)象移動(dòng)的事物應(yīng)并入所述對(duì)象中)，且通過關(guān)于運(yùn)動(dòng)及大小的信息，所述方法可預(yù)測性地估計(jì)丟失的對(duì)象可能去往何處，或其可能重新出現(xiàn)于何處(其始終適用于恢復(fù)離開幀且在時(shí)間上稍后重新出現(xiàn)的目標(biāo)
[0096]運(yùn)動(dòng)跟蹤方法中的固有挑戰(zhàn)可能由以下事實(shí)引起:相機(jī)可具有任意移動(dòng)(相較于固定相機(jī))，其使得難以開發(fā)可處置相機(jī)運(yùn)動(dòng)的不可預(yù)測改變的跟蹤系統(tǒng)?？墒褂镁哂?jì)算效益的仿射背景估計(jì)方案來提供關(guān)于相機(jī)及場景的運(yùn)動(dòng)的信息。
[0097]根據(jù)本發(fā)明的方面，可執(zhí)行時(shí)間I的圖像到時(shí)間丨+也的圖像的仿射變換，其允許使兩個(gè)圖像的運(yùn)動(dòng)相關(guān)。此背景信息允許所述方法從時(shí)間I的圖像及仿射變換(其可為凈場景運(yùn)動(dòng)的近似)合成時(shí)間的圖像。此合成圖像可適用于產(chǎn)生新模型信息及從模型空間移除背景雜物，因?yàn)榭刹捎迷谪?也的實(shí)際圖像與在丨+也處所產(chǎn)生的圖像的差異來從目標(biāo)周圍的空間移除圖像特征。
[0098]除使用仿射變換作為清除搜索空間的工具之外，其還可用以歸一化目標(biāo)的坐標(biāo)移動(dòng):通過具有跟蹤背景可如何移動(dòng)的向量及跟蹤目標(biāo)可如何移動(dòng)的向量，可采用所述兩個(gè)向量的差異來產(chǎn)生描述目標(biāo)相對(duì)于背景的運(yùn)動(dòng)的向量。此向量允許所述方法預(yù)測性地匹配目標(biāo)應(yīng)處的位置，且預(yù)測危險(xiǎn)條件(例如，在運(yùn)動(dòng)的方向上向前看可提供關(guān)于即將出現(xiàn)的障礙物的線索，并且保持跟蹤對(duì)象在危險(xiǎn)條件下可能處于的位置。當(dāng)對(duì)象進(jìn)入危險(xiǎn)條件時(shí)，所述方法可能仍能夠估計(jì)背景運(yùn)動(dòng)，且結(jié)合模型的先前移動(dòng)的知識(shí)來使用所述背景運(yùn)動(dòng)猜測模型可能重新出現(xiàn)于何處或重新進(jìn)入幀中。
[0099]背景估計(jì)可為對(duì)象的長期跟蹤的關(guān)鍵因素。注意，可在不進(jìn)行背景估計(jì)的情況下執(zhí)行短期跟蹤，但在一段時(shí)間之后，在沒有對(duì)背景的良好估計(jì)的情況下，可能難以有效地應(yīng)對(duì)對(duì)象失真及危險(xiǎn)。
[0100]根據(jù)本發(fā)明的方面，使用豪斯多夫距離作為匹配運(yùn)算符的優(yōu)點(diǎn)之一是其在匹配期間對(duì)于形狀的改變可能非常耐受，但使用豪斯多夫距離作為匹配運(yùn)算符可能需要更準(zhǔn)確地定義所跟蹤的對(duì)象。
[0101]在一種方法中，可使用從時(shí)間〖+1圖像獲得新模型的基于直接擴(kuò)張的方法
(11181:1011-13886(1 11161:110(1)。注意，在可能存在接近于對(duì)象的非對(duì)象特征(其出現(xiàn)頻率很高)的一些情形中，擴(kuò)張方法可能并不有效，因?yàn)槠淇赡軐⒄麄€(gè)場景緩慢地并入模型中。因此，可采用從幀到幀更新模型的方法，所述方法可耐受模型形狀的改變，但并不過于寬松以致將非模型像素并入到模型中。一個(gè)示范性實(shí)施方案為使用背景移除與將先前模型添加到當(dāng)前模型匹配窗及采用看似穩(wěn)定的像素以及其周圍的新像素(其隨時(shí)間推移可因?yàn)槠淇赡懿环€(wěn)定而從模型消除或并入到模型中)的組合。此方法可有效地保持模型在圖像中相對(duì)清潔而無雜物。舉例來說，通過此方法，接近于卡車的道路不再被逐像素地拉入模型中。注意，模型可能顯得臃腫，但此可為建構(gòu)模型的方式的歷史效果的結(jié)果，但其還可具有使搜索結(jié)果更為確定的特征，因?yàn)榇朔椒墒垢嗄Ｐ拖袼乜赡茉谙乱粠衅ヅ洹?br> [0102]注意，在每一幀處，可能存在大量計(jì)算要執(zhí)行。根據(jù)一些實(shí)施方案，移動(dòng)裝置可經(jīng)配置以執(zhí)行平滑化/特征提取、匹配每一目標(biāo)(例如每模型一個(gè)匹配)的豪斯多夫，以及仿射背景估計(jì)。這些操作中的每一者可個(gè)別地在計(jì)算上非常昂貴。為實(shí)現(xiàn)在移動(dòng)裝置上的實(shí)時(shí)執(zhí)行，設(shè)計(jì)可經(jīng)配置以使用盡可能多的并行性。
[0103]注意，至少接下來的三個(gè)段落、圖1到2、圖11及其對(duì)應(yīng)描述提供用于至少部分基于一或多個(gè)對(duì)象的所俘獲圖像執(zhí)行所述一或多個(gè)對(duì)象的3維跟蹤的裝置、用于至少部分基于所述所俘獲圖像檢測所述一或多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)改變的裝置，且用于響應(yīng)于所述至少一個(gè)對(duì)象的所述狀態(tài)改變而致使擴(kuò)增顯現(xiàn)的裝置。
[0104]本文所述的方法和移動(dòng)裝置可以取決于應(yīng)用通過各種裝置實(shí)施。舉例來說，這些方法可以用硬件、固件、軟件或其組合實(shí)施。對(duì)于硬件實(shí)施方案，處理單元可以在一或多個(gè)專用集成電路0310、數(shù)字信號(hào)處理器①一?)、數(shù)字信號(hào)處理裝置(0--)、可編程邏輯裝置(^10)、現(xiàn)場可編程門陣列(沖以)、處理器、控制器、微控制器、微處理器、電子裝置、經(jīng)設(shè)計(jì)以執(zhí)行本文所述的功能的其它電子單元或其組合內(nèi)實(shí)施。本文中，術(shù)語“邏輯控制”涵蓋通過軟件、硬件、固件或組合實(shí)施的邏輯。
[0105]對(duì)于固件及/或軟件實(shí)施方案，可用執(zhí)行本文中所描述的功能的模塊(例如，程序、功能等等)實(shí)施方法。任何有形地體現(xiàn)指令機(jī)器可讀媒體都可以用于實(shí)施本文所述的方法。舉例來說，軟件代碼可存儲(chǔ)在存儲(chǔ)器中并且通過處理單元執(zhí)行。存儲(chǔ)器可實(shí)施在處理單元內(nèi)或處理單元外部。如本文所使用，術(shù)語“存儲(chǔ)器”是指任何類型的長期、短期、易失性、非易失性或其它存儲(chǔ)裝置且不限于任何特定類型的存儲(chǔ)器或數(shù)目的存儲(chǔ)器，或任何類型的存儲(chǔ)存儲(chǔ)器的媒體。
[0106]如果在固件及/或軟件中實(shí)施，則可將所述功能作為一或多個(gè)指令或代碼存儲(chǔ)在計(jì)算機(jī)可讀媒體上。實(shí)例包含編碼有數(shù)據(jù)結(jié)構(gòu)的計(jì)算機(jī)可讀媒體及編碼有計(jì)算機(jī)程序的計(jì)算機(jī)可讀媒體。計(jì)算機(jī)可讀媒體可采用制品的形式。計(jì)算機(jī)可讀媒體包含物理計(jì)算機(jī)存儲(chǔ)媒體。存儲(chǔ)媒體可為可由計(jì)算機(jī)存取的任何可用媒體。作為實(shí)例而非限制，此類計(jì)算機(jī)可讀媒體可包括狀1、如1、22？1？01、0)-801或其它光盤存儲(chǔ)裝置，磁盤存儲(chǔ)裝置或其它磁性存儲(chǔ)裝置，或任何其它可用于存儲(chǔ)指令或數(shù)據(jù)結(jié)構(gòu)的形式的期望程序代碼并且可通過計(jì)算機(jī)存取的媒體；在本文中使用時(shí)，磁盤及光盤包含壓縮光盤(⑶〉、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(070)，軟性磁盤及藍(lán)光光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。上述各項(xiàng)的組合也應(yīng)包含在計(jì)算機(jī)可讀媒體的范圍內(nèi)。
[0107]除了存儲(chǔ)在計(jì)算機(jī)可讀媒體上之外，還可將指令及丨或數(shù)據(jù)提供為通信設(shè)備中包含的發(fā)射媒體上的信號(hào)。舉例來說，通信設(shè)備可包含具有指示指令及數(shù)據(jù)的信號(hào)的收發(fā)器。所述指令及數(shù)據(jù)經(jīng)配置以致使至少一個(gè)處理器實(shí)施權(quán)利要求書中概述的功能。即，通信設(shè)備包含具有指示用以執(zhí)行所揭示的功能的信息的信號(hào)的發(fā)射媒體。在第一時(shí)間，通信設(shè)備中所包含的發(fā)射媒體可包含用以執(zhí)行所揭示的功能的信息的第一部分，而在第二時(shí)間，通信設(shè)備中所包含的發(fā)射媒體可包含用以執(zhí)行所揭示的功能的信息的第二部分。
[0108]本發(fā)明可以配合例如無線廣域網(wǎng)(驟燦0、無線局域網(wǎng)、無線個(gè)人局域網(wǎng)作?燦0等各種無線通信網(wǎng)絡(luò)實(shí)施。術(shù)語“網(wǎng)絡(luò)”與“系統(tǒng)”常?？苫Q使用。術(shù)語“位置”與“地點(diǎn)”常?？苫Q使用。醫(yī)他可為碼分多址(⑶嫩)網(wǎng)絡(luò)、時(shí)分多址(10嫩)網(wǎng)絡(luò)、頻分多址(印嫩)網(wǎng)絡(luò)、正交頻分多址(01?嫩)網(wǎng)絡(luò)、單載波頻分多址(301?嫩)網(wǎng)絡(luò)、長期演進(jìn)仏12)網(wǎng)絡(luò)、111^(1222 802.16)網(wǎng)絡(luò)等。03嫩網(wǎng)絡(luò)可實(shí)施一或多種無線電接入技術(shù)(狀丁)，例如乂胍2000、寬帶⑶嫩(1-0)嫩)等等。0(111182000 包含 13-95、132000 和 13-856 標(biāo)準(zhǔn)。10嫩網(wǎng)絡(luò)可以實(shí)施全球移動(dòng)通信系統(tǒng)￠31)、數(shù)字高級(jí)移動(dòng)電話系統(tǒng)(0-^0?)或某種其它狀I(lǐng)。(^1及1-⑶嫩描述于來自名為“第三代合作伙伴計(jì)劃”口⑶?)的協(xié)會(huì)的文獻(xiàn)中。0(1^2000描述于來自名為“第三代合作伙伴計(jì)劃2^30^2)的協(xié)會(huì)的文獻(xiàn)中。3即？及3即？2文獻(xiàn)可公開獲得。可為比詘802.1匕網(wǎng)絡(luò)，且1？八~可為藍(lán)牙網(wǎng)絡(luò)、12詘802.15乂或某種其它類型的網(wǎng)絡(luò)。所述技術(shù)還可結(jié)合謂他、孔他及/或I？他的任何組合來實(shí)施。
[0109]移動(dòng)臺(tái)是指例如蜂窩式或其它無線通信裝置、個(gè)人通信系統(tǒng)$(:?裝置、個(gè)人導(dǎo)航裝置冊(cè))個(gè)人信息管理器頂〉、個(gè)人數(shù)字助理膝上型計(jì)算機(jī)或能夠接收無線通信及丨或?qū)Ш叫盘?hào)的其它合適的移動(dòng)裝置等裝置。術(shù)語“移動(dòng)臺(tái)”還希望包含例如通過短程無線、紅外線線連接或其它連接(不管是衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收和/或在所述裝置或在所述？冊(cè)處發(fā)生的與位置相關(guān)的處理)與個(gè)人導(dǎo)航裝置冊(cè))通信的裝置。而且，“移動(dòng)臺(tái)”希望包含所有裝置，包含無線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī)等，其能夠例如經(jīng)由因特網(wǎng)、11-？！或其它網(wǎng)絡(luò)與服務(wù)器通信，并且不管是在所述裝置處、服務(wù)器處還是在與所述網(wǎng)絡(luò)相關(guān)聯(lián)的另一裝置處發(fā)生衛(wèi)星信號(hào)接收輔助數(shù)據(jù)接收及/或與位置相關(guān)的處理。以上各者的任何可操作組合也被視為“移動(dòng)臺(tái)”。
[0110]某個(gè)事物被“優(yōu)化”、“需要”或其它說法并不指示本發(fā)明僅適用于被優(yōu)化的系統(tǒng)或其中存在所述“所需”元件的系統(tǒng)(或其它歸因于其它說法的局限性這些名稱僅指代特定描述的實(shí)施方案。當(dāng)然，許多實(shí)施方案是可能的。所述技術(shù)可以與除了本文中論述的協(xié)議之外的協(xié)議一起使用，包含正在開發(fā)或有待開發(fā)的協(xié)議。
[0111]相關(guān)領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，可以使用所揭示的實(shí)施例的許多可能修改和組合，同時(shí)仍然采用相同的基本基礎(chǔ)機(jī)構(gòu)和方法。出于解釋的目的，前文描述是參考具體實(shí)施例撰寫的。然而，上文的說明性論述并不希望是窮舉的或?qū)⒈景l(fā)明限于所揭示的精確形式。鑒于以上教示，許多修改及變化均是可能的。選擇且描述所述實(shí)施例是為了闡釋本發(fā)明的原理及其實(shí)際應(yīng)用，且為了使得所屬領(lǐng)域的技術(shù)人員能夠以適合于所涵蓋的特定用法的各種修改最好地利用本發(fā)明及各種實(shí)施例。
【權(quán)利要求】
1.一種適用于具有擴(kuò)增實(shí)境功能的裝置ARD的方法，其包括: 至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個(gè)對(duì)象及背景； 至少部分基于不同于所述視覺信息的信息維持所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)；以及 響應(yīng)于所述多個(gè)對(duì)象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法，其中所述跟蹤包括執(zhí)行3維跟蹤，包括: 確定所述多個(gè)對(duì)象相對(duì)于所述ARD的相對(duì)姿勢(shì)；以及 使用所述相對(duì)姿勢(shì)更新所述多個(gè)對(duì)象的狀態(tài)，其中所述多個(gè)對(duì)象的所述狀態(tài)包含所述多個(gè)對(duì)象的關(guān)系信息。
3.根據(jù)權(quán)利要求2所述的方法，其中確定相對(duì)姿勢(shì)包括: 檢測所述圖像中的新對(duì)象；以及 更新所述多個(gè)對(duì)象以包含所述新對(duì)象。
4.根據(jù)權(quán)利要求1所述的方法，其中所述跟蹤包括當(dāng)所述至少一個(gè)對(duì)象在所述ARD的視野內(nèi)時(shí)使用所述視覺信息跟蹤所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象，且 其中所述維持包括當(dāng)所述至少一個(gè)對(duì)象在所述視野外時(shí)使用不同于所述視覺信息的所述信息維持所述至少一個(gè)對(duì)象的所述狀態(tài)。
5.根據(jù)權(quán)利要求1所述的方法，其中維持所述多個(gè)對(duì)象的狀態(tài)包括: 維持在所述ARD的視圖中的第一組所述多個(gè)對(duì)象的狀態(tài)；以及 維持在所述ARD的視圖外的第二組所述多個(gè)對(duì)象的狀態(tài)。
6.根據(jù)權(quán)利要求5所述的方法，其中維持在所述ARD的視圖外的第二組所述多個(gè)對(duì)象的狀態(tài)包括: 跟蹤所述第二組所述多個(gè)對(duì)象相對(duì)于在所述ARD的視圖中的所述第一組所述多個(gè)對(duì)象的偏移；以及 使用所述偏移確定所述第二組所述多個(gè)對(duì)象的位置。
7.根據(jù)權(quán)利要求5所述的方法，其中維持在所述ARD的視圖外的第二組所述多個(gè)對(duì)象的狀態(tài)進(jìn)一步包括: 跟蹤所述ARD相對(duì)于在所述ARD的視圖外的所述第二組所述多個(gè)對(duì)象的相對(duì)移動(dòng)；以及 使用所述ARD的位置及相對(duì)移動(dòng)確定所述第二組所述多個(gè)對(duì)象的位置。
8.根據(jù)權(quán)利要求7所述的方法，其中跟蹤所述ARD的相對(duì)移動(dòng)至少部分基于以下各者中的至少一者: 視覺里程計(jì)； 通過加速度計(jì)的航位推算；以及 通過陀螺儀的航位推算。
9.根據(jù)權(quán)利要求5所述的方法，其中維持在所述ARD的視圖外的第二組所述多個(gè)對(duì)象的狀態(tài)進(jìn)一步包括: 接收與用于確定所述多個(gè)對(duì)象的相對(duì)位置的無線信號(hào)有關(guān)的信息；以及 使用所述所接收信息更新所述第二組所述多個(gè)對(duì)象的位置。
10.根據(jù)權(quán)利要求9所述的方法，其中所述無線信號(hào)是由所述ARD從附著到所述第二組所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象的RFID標(biāo)簽接收。
11.根據(jù)權(quán)利要求9所述的方法，其中所述無線信號(hào)包括近場通信信號(hào)及藍(lán)牙信號(hào)中的至少一者。
12.根據(jù)權(quán)利要求9所述的方法，其中所述背景包括包含經(jīng)配置以檢測所述多個(gè)對(duì)象的所述相對(duì)位置的一或多個(gè)傳感器的墊，且其中所述信息指示由所述一或多個(gè)傳感器檢測的所述多個(gè)對(duì)象的所述相對(duì)位置。
13.根據(jù)權(quán)利要求9所述的方法，其中所述信息是基于在所述ARD處接收的所述無線信號(hào)而在集成到所述ARD中的處理器或芯片處接收。
14.根據(jù)權(quán)利要求5所述的方法，其進(jìn)一步包括: 跟蹤在所述ARD的視圖外的所述第二組所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象； 確定所述第二組所述多個(gè)對(duì)象中的所述至少一個(gè)對(duì)象仍存在；以及 在所述第二組所述多個(gè)對(duì)象中的所述至少一個(gè)對(duì)象的位置中顯現(xiàn)聲音及圖形中的至少一者。
15.根據(jù)權(quán)利要求5所述的方法，其進(jìn)一步包括: 跟蹤在所述ARD的視圖外的所述第二組所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象； 確定所述第二組所述多個(gè)對(duì)象中的所述至少一個(gè)對(duì)象不再存在；以及在所述第二組所述多個(gè)對(duì)象中的所述至少一個(gè)對(duì)象的位置中顯現(xiàn)淡出轉(zhuǎn)變及環(huán)境聲音中的至少一者。
16.根據(jù)權(quán)利要求5所述的方法，其進(jìn)一步包括: 當(dāng)所述ARD搖攝到預(yù)期所述第二組中的第一對(duì)象將位于的地點(diǎn)且確定所述第一對(duì)象不存在于所述地點(diǎn)處時(shí)，停止跟蹤所述第一對(duì)象；以及停止與所述第一對(duì)象相關(guān)聯(lián)的音頻擴(kuò)增。
17.根據(jù)權(quán)利要求5所述的方法，其進(jìn)一步包括: 當(dāng)檢測到新場景時(shí)，停止跟蹤所述第二組中的第一對(duì)象；以及 停止與所述第一對(duì)象相關(guān)聯(lián)的音頻擴(kuò)增。
18.根據(jù)權(quán)利要求1所述的方法，其中顯現(xiàn)擴(kuò)增包括以下各者中的至少一者: 當(dāng)所述多個(gè)對(duì)象的所述狀態(tài)的置信度的指示滿足第一預(yù)定值時(shí)，在一位置中顯現(xiàn)聲音及圖形； 當(dāng)所述多個(gè)對(duì)象的所述狀態(tài)的置信度的所述指示滿足第二預(yù)定值時(shí)，在所述位置中顯現(xiàn)聲音； 當(dāng)所述多個(gè)對(duì)象的所述狀態(tài)的置信度的所述指示滿足第三預(yù)定值時(shí)，在所述位置中顯現(xiàn)環(huán)境聲音；以及 當(dāng)所述多個(gè)對(duì)象的所述狀態(tài)的置信度的所述指示滿足第四預(yù)定值時(shí)，在所述位置中顯現(xiàn)淡出轉(zhuǎn)變。
19.根據(jù)權(quán)利要求1所述的方法，其中所述多個(gè)對(duì)象為游戲棋子，且所述背景為游戲板。
20.根據(jù)權(quán)利要求1所述的方法，其中所述多個(gè)對(duì)象的所述狀態(tài)包括以下各者中的至少一者: 所述多個(gè)對(duì)象相對(duì)于彼此的關(guān)系信息； 所述多個(gè)對(duì)象相對(duì)于所述背景的關(guān)系信息； 所述多個(gè)對(duì)象相對(duì)于彼此的幾何布置關(guān)系；以及 所述多個(gè)對(duì)象相對(duì)于所述背景的幾何布置關(guān)系。
21.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 用多個(gè)具有擴(kuò)增實(shí)境功能的裝置八即跟蹤所述多個(gè)對(duì)象及所述背景； 跨越所述多個(gè)八即維持所述多個(gè)對(duì)象的狀態(tài)；以及 響應(yīng)于所述多個(gè)對(duì)象的所述狀態(tài)而提供用于在所述多個(gè)八即中顯現(xiàn)擴(kuò)增的數(shù)據(jù)。
22.根據(jù)權(quán)利要求1所述的方法，其中所述背景包括以下各者中的至少一者: 墊；以及 墻壁。
23.—種具有擴(kuò)增實(shí)境功能的裝置八即，其包括: 包含處理邏輯的控制單元，所述處理邏輯包括: 經(jīng)配置以至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個(gè)對(duì)象及背景的邏輯； 經(jīng)配置以至少部分基于不同于所述視覺信息的信息維持所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象的狀態(tài)的邏輯；以及 經(jīng)配置以響應(yīng)于所述多個(gè)對(duì)象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的邏輯。
24.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以跟蹤的所述邏輯包括執(zhí)行3維跟蹤，包括: 經(jīng)配置以確定所述多個(gè)對(duì)象相對(duì)于所述八即的相對(duì)姿勢(shì)的邏輯；以及經(jīng)配置以使用所述相對(duì)姿勢(shì)更新所述多個(gè)對(duì)象的狀態(tài)的邏輯，其中所述多個(gè)對(duì)象的所述狀態(tài)包含所述多個(gè)對(duì)象的關(guān)系信息。
25.根據(jù)權(quán)利要求24所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以確定相對(duì)姿勢(shì)的邏輯包括: 經(jīng)配置以檢測所述多個(gè)對(duì)象相對(duì)于所述多個(gè)對(duì)象的先前所俘獲圖像的姿勢(shì)的邏輯。
26.根據(jù)權(quán)利要求24所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以確定相對(duì)姿勢(shì)的邏輯包括: 經(jīng)配置以檢測所述圖像中的新對(duì)象的邏輯；以及 經(jīng)配置以更新所述多個(gè)對(duì)象以包含所述新對(duì)象的邏輯。
27.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以維持所述多個(gè)對(duì)象的狀態(tài)的邏輯包括: 經(jīng)配置以維持在所述八即的視圖中的第一組所述多個(gè)對(duì)象的狀態(tài)的邏輯；以及 經(jīng)配置以維持在所述八即的視圖外的第二組所述多個(gè)對(duì)象的狀態(tài)的邏輯。
28.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以維持在所述八尺0的視圖外的第二組所述多個(gè)對(duì)象的狀態(tài)的邏輯包括: 經(jīng)配置以跟蹤所述第二組所述多個(gè)對(duì)象相對(duì)于在所述八即的視圖中的所述第一組所述多個(gè)對(duì)象的偏移的邏輯；以及 經(jīng)配置以使用所述偏移確定所述第二組所述多個(gè)對(duì)象的位置的邏輯。
29.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以維持在所述八尺0的視圖外的第二組所述多個(gè)對(duì)象的狀態(tài)的邏輯進(jìn)一步包括: 經(jīng)配置以跟蹤所述ARD相對(duì)于在所述ARD的視圖外的所述第二組所述多個(gè)對(duì)象的相對(duì)移動(dòng)的邏輯；以及 經(jīng)配置以使用所述ARD的位置及相對(duì)移動(dòng)確定所述第二組所述多個(gè)對(duì)象的位置的邏輯。
30.根據(jù)權(quán)利要求29所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以跟蹤所述ARD的相對(duì)移動(dòng)的邏輯至少部分基于以下各者中的至少一者: 視覺里程計(jì)； 通過加速度計(jì)的航位推算；以及 通過陀螺儀的航位推算。
31.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以維持在所述ARD的視圖外的第二組所述多個(gè)對(duì)象的狀態(tài)的邏輯進(jìn)一步包括: 經(jīng)配置以接收與用于確定所述多個(gè)對(duì)象的相對(duì)位置的無線信號(hào)有關(guān)的信息的邏輯；以及 經(jīng)配置以使用所述所接收信息更新所述第二組所述多個(gè)對(duì)象的位置的邏輯。
32.根據(jù)權(quán)利要求31所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述無線信號(hào)是由所述ARD從附著到所述第二組所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象的RFID標(biāo)簽接收。
33.根據(jù)權(quán)利要求31所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述無線信號(hào)包括近場通信信號(hào)及藍(lán)牙信號(hào)中的至少一者。
34.根據(jù)權(quán)利要求31所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述背景包括包含經(jīng)配置以檢測所述多個(gè)對(duì)象的所述相對(duì)位置的一或多個(gè)傳感器的墊，且其中所述信息指示由所述一或多個(gè)傳感器檢測的所述多個(gè)對(duì)象的所述相對(duì)位置。
35.根據(jù)權(quán)利要求31所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述信息是基于在所述ARD處接收的所述無線信號(hào)而在集成到所述ARD中的處理器或芯片處接收。
36.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實(shí)境功能的裝置，其進(jìn)一步包括: 經(jīng)配置以跟蹤在所述ARD的視圖外的所述第二組所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象的邏輯； 經(jīng)配置以確定所述第二組所述多個(gè)對(duì)象中的所述至少一個(gè)對(duì)象仍存在的邏輯；以及經(jīng)配置以在所述第二組所述多個(gè)對(duì)象中的所述至少一個(gè)對(duì)象的位置中顯現(xiàn)聲音及圖形中的至少一者的邏輯。
37.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實(shí)境功能的裝置，其進(jìn)一步包括: 經(jīng)配置以跟蹤在所述ARD的視圖外的所述第二組所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象的邏輯； 經(jīng)配置以確定所述第二組所述多個(gè)對(duì)象中的所述至少一個(gè)對(duì)象不再存在的邏輯；以及經(jīng)配置以在所述第二組所述多個(gè)對(duì)象中的所述至少一個(gè)對(duì)象的位置中顯現(xiàn)淡出轉(zhuǎn)變及環(huán)境聲音中的至少一者的邏輯。
38.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實(shí)境功能的裝置，其進(jìn)一步包括: 經(jīng)配置以當(dāng)所述ARD搖攝到預(yù)期所述第二組中的第一對(duì)象將位于的地點(diǎn)且確定所述第一對(duì)象不存在于所述地點(diǎn)處時(shí)停止跟蹤所述第一對(duì)象的邏輯；以及經(jīng)配置以停止與所述第一對(duì)象相關(guān)聯(lián)的音頻擴(kuò)增的邏輯。
39.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實(shí)境功能的裝置，其進(jìn)一步包括: 經(jīng)配置以當(dāng)檢測到新場景時(shí)停止跟蹤所述第二組中的第一對(duì)象的邏輯；以及 經(jīng)配置以停止與所述第一對(duì)象相關(guān)聯(lián)的音頻擴(kuò)增的邏輯。
40.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實(shí)境功能的裝置，其中經(jīng)配置以顯現(xiàn)擴(kuò)增的邏輯包括以下各者中的至少一者: 經(jīng)配置以當(dāng)所述多個(gè)對(duì)象的所述狀態(tài)的置信度的指示滿足第一預(yù)定值時(shí)在一位置中顯現(xiàn)聲音及圖形的邏輯； 經(jīng)配置以當(dāng)所述多個(gè)對(duì)象的所述狀態(tài)的置信度的所述指示滿足第二預(yù)定值時(shí)在所述位置中顯現(xiàn)聲音的邏輯； 經(jīng)配置以當(dāng)所述多個(gè)對(duì)象的所述狀態(tài)的置信度的所述指示滿足第三預(yù)定值時(shí)在所述位置中顯現(xiàn)環(huán)境聲音的邏輯；以及 經(jīng)配置以當(dāng)所述多個(gè)對(duì)象的所述狀態(tài)的置信度的所述指示滿足第四預(yù)定值時(shí)在所述位置中顯現(xiàn)淡出轉(zhuǎn)變的邏輯。
41.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述多個(gè)對(duì)象為游戲棋子，且所述背景為游戲板。
42.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述多個(gè)對(duì)象的所述狀態(tài)包括以下各者中的至少一者: 所述多個(gè)對(duì)象相對(duì)于彼此的關(guān)系信息； 所述多個(gè)對(duì)象相對(duì)于所述背景的關(guān)系信息； 所述多個(gè)對(duì)象相對(duì)于彼此的幾何布置關(guān)系；以及 所述多個(gè)對(duì)象相對(duì)于所述背景的幾何布置關(guān)系。
43.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實(shí)境功能的裝置，其進(jìn)一步包括: 經(jīng)配置以用多個(gè)具有擴(kuò)增實(shí)境功能的裝置ARD跟蹤所述多個(gè)對(duì)象及所述背景的邏輯；經(jīng)配置以跨越所述多個(gè)ARD維持所述多個(gè)對(duì)象的狀態(tài)的邏輯；以及經(jīng)配置以響應(yīng)于所述多個(gè)對(duì)象的所述狀態(tài)而提供用于在所述多個(gè)ARD中顯現(xiàn)擴(kuò)增的數(shù)據(jù)的邏輯。
44.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實(shí)境功能的裝置，其中所述背景包括以下各者中的至少一者: 墊；以及 墻壁。
45.—種存儲(chǔ)用于由一或多個(gè)計(jì)算機(jī)系統(tǒng)執(zhí)行的指令的非暫時(shí)性媒體，所述指令包括: 用于至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個(gè)對(duì)象及背景的指令； 用于至少部分基于不同于所述視覺信息的信息維持所述多個(gè)對(duì)象的狀態(tài)的指令；以及 用于響應(yīng)于所述多個(gè)對(duì)象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的指令。
46.一種系統(tǒng)，其包括: 用于至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個(gè)對(duì)象及背景的裝置； 用于至少部分基于不同于所述視覺信息的信息維持所述多個(gè)對(duì)象的狀態(tài)的裝置；以及 用于響應(yīng)于所述多個(gè)對(duì)象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的裝置。
【文檔編號(hào)】G06K9/46GK104487915SQ201380039196
【公開日】2015年4月1日 申請(qǐng)日期:2013年6月28日 優(yōu)先權(quán)日:2012年7月26日
【發(fā)明者】維吉尼亞·沃克·基廷, 邁克爾·蓋爾沃茨, 佩爾·O·尼爾森 申請(qǐng)人:高通股份有限公司