專利名稱：信息處理設(shè)備、地圖更新方法、程序以及信息處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備、地圖更新方法、程序以及信息處理系統(tǒng)。
背景技術(shù)：
用于多個用戶通過網(wǎng)絡(luò)來共享表示物理物體在實際空間中的位置的地圖的各種應(yīng)用得到實際使用。作為示例，存在如下應(yīng)用其允許用戶將諸如注釋或照片的信息與地圖上的給定位置相關(guān)聯(lián)，并且與其他用戶共享信息或地圖(參照日本專利申請早期公開第 2006-209784 號禾口 “GoogleMaps” (因特網(wǎng) URL :http"maps, google, com/))。此外，存在如下應(yīng)用其將虛擬標(biāo)簽與地圖上的給定位置相關(guān)聯(lián)，并且顯示使用終端的照相機功能捕獲的、疊加有標(biāo)簽的圖像(參照〃 Sekai Camera Support Center"(因特網(wǎng)URL :http// support, sekaicamera. com/en))。

發(fā)明內(nèi)容
然而，在現(xiàn)有的地圖共享應(yīng)用中，雖然可以由用戶隨意地更新與地圖相關(guān)聯(lián)的信息，但是地圖本身除了服務(wù)提供商更新它時之外不會改變。因此，即使當(dāng)用戶識別物理物體在實際空間中的位置的變化，也難以迅速地反映地圖上的變化并且與其他用戶共享該變化。此外，在服務(wù)提供商沒有提供詳細(xì)地圖的私人空間中，難以在用戶當(dāng)中共享地圖或與該地圖相關(guān)聯(lián)的信息。根據(jù)上述，期望提供一種新穎且改進的信息處理設(shè)備、地圖更新方法、程序以及信息處理系統(tǒng)，其使得迅速地在用戶當(dāng)中共享物理物體在實際空間中的位置的變化。根據(jù)本發(fā)明的實施例，提供了一種信息處理設(shè)備，其包括全局地圖獲取單元，其獲取表示物體在多個用戶活動的實際空間中的位置的全局地圖的至少一部分；局部地圖生成單元，其生成表示能夠由多個用戶當(dāng)中的一個用戶的設(shè)備檢測到的周圍物體的位置的局部地圖；以及更新單元，其基于局部地圖中所包括的物體的位置數(shù)據(jù)來更新全局地圖。信息處理設(shè)備還可包括計算單元，其基于全局地圖中所包括的物體的位置數(shù)據(jù)和局部地圖中所包括的物體的位置數(shù)據(jù)，計算局部地圖相對于全局地圖的相對位置；以及轉(zhuǎn)換單元，其根據(jù)局部地圖的相對位置，執(zhí)行從局部地圖中所包括的物體的位置數(shù)據(jù)到全局地圖的坐標(biāo)系的數(shù)據(jù)的坐標(biāo)轉(zhuǎn)換，其中，更新單元通過使用在由轉(zhuǎn)換單元進行的坐標(biāo)轉(zhuǎn)換之后的局部地圖中所包括的物體的位置數(shù)據(jù)，更新全局地圖。信息處理設(shè)備可以是由一個用戶持有的終端設(shè)備。全局地圖獲取單元可從存儲全局地圖的服務(wù)器設(shè)備獲取全局地圖的至少一部分， 并且更新單元可通過將物體的位置數(shù)據(jù)傳送至服務(wù)器設(shè)備來更新服務(wù)器設(shè)備的全局地圖。全局地圖獲取單元可獲取全局地圖中與包含終端設(shè)備在實際空間中的位置的局部區(qū)域相對應(yīng)的部分。全局地圖獲取單元可獲取全局地圖中表示位于極接近于終端設(shè)備之處的預(yù)定數(shù)量的物體的位置的部分。
局部地圖生成單元可基于通過使用成像設(shè)備來對實際空間進行成像而獲得的輸入圖像和表示一個或多個物體的外觀的特征的特征數(shù)據(jù)，生成局部地圖。計算單元可基于全局地圖和局部地圖中所共同包括的不移動物體的位置數(shù)據(jù)，計算局部地圖的相對位置。計算單元可計算局部地圖的相對位置，使得當(dāng)將局部地圖中所包括的物體的位置數(shù)據(jù)轉(zhuǎn)換成全局地圖的坐標(biāo)系的數(shù)據(jù)時，轉(zhuǎn)換之后的數(shù)據(jù)與全局地圖中所包括的物體的位置數(shù)據(jù)之間的差總體上較小。全局地圖可包括實際空間中的每個物體在全局地圖的坐標(biāo)系中的位置數(shù)據(jù)和與該位置數(shù)據(jù)有關(guān)的時間戳。信息處理設(shè)備還可包括顯示控制單元，其響應(yīng)于來自用戶的指令，至少部分地使全局地圖可視化在屏幕上。根據(jù)本發(fā)明的另一實施例，提供了一種由信息處理設(shè)備執(zhí)行的地圖更新方法，該方法用于更新表示物體在多個用戶活動的實際空間中的位置的全局地圖，該方法包括以下步驟獲取全局地圖的至少一部分；生成表示能夠由信息處理設(shè)備檢測到的周圍物體的位置的局部地圖；以及基于局部地圖中所包括的物體的位置數(shù)據(jù)來更新全局地圖。根據(jù)本發(fā)明的另一實施例，提供了一種程序，該程序用于使得用于控制信息處理設(shè)備的計算機起如下作用全局地圖獲取單元，其獲取表示物體在多個用戶活動的實際空間中的位置的全局地圖的至少一部分；局部地圖生成單元，其生成表示能夠由多個用戶當(dāng)中的一個用戶的設(shè)備檢測到的周圍物體的位置的局部地圖；以及更新單元，其基于局部地圖中所包括的物體的位置數(shù)據(jù)來更新全局地圖。根據(jù)本發(fā)明的另一實施例，提供了一種信息處理系統(tǒng)，其包括服務(wù)器設(shè)備，其使用存儲介質(zhì)來存儲表示物體在多個用戶活動的實際空間中的位置的全局地圖；以及由多個用戶當(dāng)中的一個用戶持有的信息處理設(shè)備，其中，該信息處理設(shè)備包括全局地圖獲取單元，其從服務(wù)器設(shè)備獲取全局地圖的至少一部分；局部地圖生成單元，其生成表示能夠由該信息處理設(shè)備檢測到的周圍物體的位置的局部地圖；以及更新單元，其基于局部地圖中所包括的物體的位置數(shù)據(jù)來更新全局地圖。根據(jù)上述本發(fā)明的實施例，可以提供如下信息處理設(shè)備、地圖更新方法、程序以及信息處理系統(tǒng)其使得迅速地在用戶當(dāng)中共享物理物體在實際空間中的位置的變化。


圖1是用于說明根據(jù)實施例的系統(tǒng)的概要的示意圖；圖2是用于說明全局地圖和局部地圖中所包括的物體的位置數(shù)據(jù)的示意圖；圖3是示出根據(jù)實施例的服務(wù)器的配置示例的框圖；圖4是用于說明部分全局地圖的說明圖；圖5是示出根據(jù)實施例的終端設(shè)備的配置示例的框圖；圖6A是用于說明部分全局地圖獲取處理的第一示例的說明圖；圖6B是用于說明部分全局地圖獲取處理的第二示例的說明圖；圖6C是用于說明部分全局地圖獲取處理的第三示例的說明圖；圖7是示出根據(jù)實施例的局部地圖生成單元的詳細(xì)配置的示例的框圖8是示出根據(jù)實施例的自身位置(self-position)檢測處理的流程的示例的流程圖；圖9是用于說明在物體上所設(shè)置的特征點的說明圖；圖10是用于說明特征點的添加的說明圖；圖11是用于說明預(yù)測模型的示例的說明圖；圖12是用于說明特征數(shù)據(jù)的配置示例的說明圖；圖13是示出根據(jù)實施例的物體識別處理的流程的示例的流程圖；圖14A是用于說明由根據(jù)實施例的計算單元進行的地圖匹配處理的示例的說明圖；圖14B是用于說明由根據(jù)實施例的計算單元進行的地圖匹配處理的另一示例的說明圖；圖15A是用于說明根據(jù)實施例的全局地圖更新處理的示例的說明圖；圖15B是用于說明根據(jù)實施例的全局地圖更新處理的另一示例的說明圖；圖16是示出根據(jù)實施例的地圖管理服務(wù)器與終端設(shè)備之間的地圖更新處理的流程的示例的流程圖；圖17是示出根據(jù)實施例的超級客戶端(super client)的配置示例的框圖；以及圖18是示出附加信息的共享的應(yīng)用的示例的示意圖。
具體實施例方式在下文中，將參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實施例。注意，在該說明書和附圖中，具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件以相同的附圖標(biāo)記表示，并且省略對這些結(jié)構(gòu)元件的重復(fù)說明。在下文中，將按以下順序描述本發(fā)明的優(yōu)選實施例。1.系統(tǒng)的概述1-1.系統(tǒng)配置的示例1-2.位置數(shù)據(jù)的示例2.根據(jù)實施例的地圖管理服務(wù)器的配置3.根據(jù)實施例的終端設(shè)備的配置3--1.通信接口
3--2.成像單元
3--3.初始化單元
3--4.全局地圖獲取單元
3--5.局部地圖生成單元
3--6.計算單元
3--7.轉(zhuǎn)換單元
3--8.更新單元
3--9.顯示控制單元
4.處理的流程
5.可選示例
5-1.超級客戶端5-2.附加信息的共享6.總結(jié)<系統(tǒng)的概述>[1-1.系統(tǒng)配置的示例]首先將參照圖1和圖2描述根據(jù)本發(fā)明的實施例的系統(tǒng)的概要。圖1是說明根據(jù)本發(fā)明的實施例的信息處理系統(tǒng)1的概要的示意圖。參照圖1，根據(jù)實施例的信息處理系統(tǒng) 1包括地圖管理服務(wù)器10、終端設(shè)備IOOa以及終端設(shè)備100b。地圖管理服務(wù)器10是信息處理設(shè)備，其提供用于允許在多個用戶當(dāng)中共享地圖和與該地圖相關(guān)聯(lián)的信息的地圖共享服務(wù)。地圖管理服務(wù)器10在內(nèi)部或者在外部具有數(shù)據(jù)庫并且在該數(shù)據(jù)庫中存儲稍后描述的全局地圖。通常通過使用諸如個人計算機(PC)或工作站的通用信息處理設(shè)備來實現(xiàn)地圖管理服務(wù)器10。在該說明書中，將由地圖管理服務(wù)器10管理的地圖稱為全局地圖。全局地圖是表示物理物體在地圖共享服務(wù)的整個服務(wù)區(qū)域Ae的實際空間中的位置的地圖。終端設(shè)備IOOa是由用戶Ua持有的信息處理設(shè)備。終端設(shè)備IOOb是由用戶Ub持有的信息處理設(shè)備。在該說明書中，當(dāng)不特別需要區(qū)分終端設(shè)備IOOa和終端設(shè)備IOOb時， 通過去除附于附圖標(biāo)記的字母文字，將它們統(tǒng)稱為終端設(shè)備100。終端設(shè)備100可以通過有線或無線的通信連接，與地圖管理服務(wù)器10通信。終端設(shè)備100通?？梢允侨魏晤愋偷男畔⑻幚碓O(shè)備，諸如PC、智能電話、個人數(shù)字助理(PDA)、便攜式音樂播放器或者游戲終端。終端設(shè)備100具有能夠檢測周圍物體的位置的傳感器功能。然后，終端設(shè)備100 使用該傳感器功能，生成表示物體在其自身設(shè)備附近(例如，在區(qū)域Ah或區(qū)域Au3中)的位置的局部地圖。在該實施例中，描述了如下情況使用同時定位與地圖創(chuàng)建(SLAM)技術(shù)作為傳感器功能的示例，其中，同時定位與地圖創(chuàng)建技術(shù)可以使用單目照相機來同時估計照相機的位置和姿勢、以及出現(xiàn)在輸入圖像中的物體的特征點的位置。此外，終端設(shè)備100具有使用所生成的局部地圖來更新由地圖管理服務(wù)器10管理的全局地圖的更新功能以及顯示最新的全局地圖(或過去特定時間點處的全局地圖)的顯示功能。具體地，例如，用戶fe可以在終端設(shè)備IOOa的屏幕上查看由用戶Ub持有的終端設(shè)備IOOb更新的全局地圖。此外，例如，用戶Ub可以在終端設(shè)備IOOb的屏幕上查看由用戶Ua持有的終端設(shè)備IOOa更新的全局地圖。[1-2.位置數(shù)據(jù)的示例]圖2是用于說明全局地圖和局部地圖中所包括的物體的位置數(shù)據(jù)的示意圖。圖2示出了在實際空間中存在的四個物理物體Bl至B4。物體Bl是桌子。物體 B2是咖啡杯。物體B3是筆記本PC。物體B4是窗戶。物體B4的位置通常不移動。在該說明書中，將不移動的物體稱為不移動物體或者陸標(biāo)。圖2還示出了各物體的位置數(shù)據(jù)Rl至 R4。位置數(shù)據(jù)Rl至R4分別包括物體ID “Objl”至“0bj4”、位置“XI”至“X4”、姿勢“ Ω 1” 至“ Ω4”以及表示生成位置數(shù)據(jù)的時間點的時間戳“YYYYMMDDhhmmss”。全局地圖是如下數(shù)據(jù)集其包括存在于整個服務(wù)區(qū)域Ae的實際空間中的物理物體的、如圖2所示的位置數(shù)據(jù)。例如，當(dāng)一個整體建筑物是服務(wù)區(qū)域Ae時，全局地圖可以不但包括在圖2中示出的一個房間中的物體的位置數(shù)據(jù)，而且包括其它房間中的物體的位置數(shù)據(jù)。以固定方式將全局地圖的位置數(shù)據(jù)的坐標(biāo)系事先設(shè)置為全局坐標(biāo)系。另一方面，局部地圖是如下數(shù)據(jù)集其包括存在于終端設(shè)備100的附近的實際空間中的物理物體的、如圖2所示的位置數(shù)據(jù)。例如，局部地圖可以包括在圖2中示出的物體 Bl至B4的位置數(shù)據(jù)。局部地圖的坐標(biāo)系的原點的位置和坐標(biāo)軸的方向取決于終端設(shè)備100 的照相機的位置和姿勢。因此，局部地圖的坐標(biāo)系通常不同于全局坐標(biāo)系。注意，位置可以由全局地圖或局部地圖表示的物體不限于圖2中示出的示例。例如，可以在全局地圖或局部地圖中包括諸如位于室外的建筑物或車的物體、而不是位于室內(nèi)的物體的位置數(shù)據(jù)。在這種情況下，建筑物可以用作陸標(biāo)。<2.根據(jù)實施例的地圖管理服務(wù)器的配置〉圖3是示出根據(jù)實施例的地圖管理服務(wù)器10的配置示例的框圖。參照圖3，地圖管理服務(wù)器10包括通信接口 20、全局地圖存儲單元30、部分全局地圖提取單元40、更新單元50、以及全局地圖傳遞單元60。通信接口 20是用作地圖管理服務(wù)器10與終端設(shè)備100之間的通信連接的中介的接口。通信接口 20可以是無線通信接口或者有線通信接口。全局地圖存儲單元30與使用諸如硬盤或半導(dǎo)體存儲器的存儲介質(zhì)構(gòu)造的數(shù)據(jù)庫相對應(yīng)，并且存儲表示物理物體在多個用戶活動的實際空間中的位置的上述全局地圖。然后，全局地圖存儲單元30響應(yīng)于來自部分全局地圖提取單元40的請求，輸出作為全局地圖的子集的部分全局地圖。此外，由更新單元50更新存儲在全局地圖存儲單元30中的全局地圖。此外，全局地圖存儲單元30響應(yīng)于來自全局地圖傳遞單元60的請求，輸出全局地圖的全部或者所請求的部分。部分全局地圖提取單元40通過通信接口 20接收與終端設(shè)備100的位置有關(guān)的信息，并且根據(jù)該信息來提取部分全局地圖。然后，部分全局地圖提取單元40通過通信接口 20將所提取出的部分全局地圖傳送至終端設(shè)備100。部分全局地圖是全局地圖的子集。部分全局地圖表示位于終端設(shè)備100的位置附近的局部區(qū)域中的物理物體在全局坐標(biāo)系內(nèi)的位置。圖4是用于說明部分全局地圖的說明圖。在圖4的左側(cè)處示出了包含具有物體 ID “Objl”至“0bjl9”的19個物體的位置數(shù)據(jù)的全局地圖Me。這19個物體分散在圖4的右側(cè)處示出的服務(wù)區(qū)域Ae中。與由用戶fe持有的終端設(shè)備IOOa的位置的距離是閾值D以下的物體是Bl至B9。在這種情況下，例如，物體Bl至B9的位置數(shù)據(jù)構(gòu)成用戶Ua的部分全局地圖Me(Ua)。此外，與由用戶證持有的終端設(shè)備IOOb的位置的距離是閾值D以下的物體是物體Bll至B19。在這種情況下，例如，物體Bll至B19的位置數(shù)據(jù)構(gòu)成用戶Ub的部分全局地圖禮(證)。預(yù)先適當(dāng)?shù)卦O(shè)置閾值D，使得在部分全局地圖中包括稍后描述的局部地圖的范圍中的大部分。注意，稍后進一步描述關(guān)于提取部分全局地圖的其它示例。更新單元50基于通過通信接口 20從終端設(shè)備100接收到的物體的位置數(shù)據(jù)，更新存儲在全局地圖存儲單元30中的全局地圖。由此，在全局地圖上迅速反映物體在實際空間中的位置的變化。稍后進一步描述通過更新單元50進行的全局地圖更新處理。全局地圖傳遞單元60響應(yīng)于來自終端設(shè)備100的請求，將存儲在全局地圖存儲單元30中的全局地圖傳遞至終端設(shè)備100。通過終端設(shè)備100的顯示功能，在終端設(shè)備100 的屏幕上使從全局地圖傳遞單元60傳遞的全局地圖可視化。由此，用戶可以查看最新的全局地圖(或者過去特定時間點處的全局地圖)。<3.根據(jù)實施例的終端設(shè)備的配置〉圖5是示出根據(jù)實施例的終端設(shè)備100的配置示例的框圖。參照圖5，終端設(shè)備 100包括通信接口 102、成像單元110、初始化單元120、全局地圖獲取單元130、存儲單元 132、局部地圖生成單元140、計算單元160、轉(zhuǎn)換單元170、更新單元180以及顯示控制單元 190。[3-1.通信接口]通信接口 102是用作終端設(shè)備100與地圖管理服務(wù)器10之間的通信連接的中介的接口。通信接口 102可以是無線通信接口或者有線通信接口。[3-2.成像單元]例如，成像單元110可被實現(xiàn)為具有成像元件(諸如電荷耦合器件(CXD)或互補金屬氧化物半導(dǎo)體(CMOQ)的照相機。成像單元110可以在外部被安裝到終端設(shè)備100。 成像單元110將通過對如圖2所示的、存在物理物體的實際空間進行成像而獲得的圖像作為輸入圖像輸出至初始化單元120和地圖生成單元140。[3-3.初始化單元]初始化單元120通過使用從成像單元110輸入的輸入圖像，定位終端設(shè)備100在全局坐標(biāo)系中的大致位置。例如，可根據(jù)在日本專利申請早期公開第2008-185417號中公開的技術(shù)，執(zhí)行基于輸入圖像對終端設(shè)備100的位置的定位。在這種情況下，初始化單元 120將輸入圖像與預(yù)先存儲在存儲單元132中的參考圖像進行匹配，并且為具有高度匹配的參考圖像設(shè)置高分?jǐn)?shù)。然后，初始化單元120基于該分?jǐn)?shù)來計算終端設(shè)備100的位置的候選的概率分布，并且基于所計算出的概率分布來定位終端設(shè)備100的可能位置(假定概率分布中具有最高概率值的位置)。然后，初始化單元120將所定位的終端設(shè)備100的位置輸出至全局地圖獲取單元130。注意，初始化單元120可通過使用全局定位系統(tǒng)(GPQ功能而不是上述技術(shù)來定位終端設(shè)備100的位置。此外，初始化單元120例如可通過使用能夠基于來自附近無線訪問點的場強度信息來測量當(dāng)前位置的諸如PlaceEngine的技術(shù)，定位終端設(shè)備100的位置。[3-4.全局地圖獲取單元]全局地圖獲取單元130通過通信接口 102將與終端設(shè)備100的位置有關(guān)的信息傳送至地圖管理服務(wù)器10，并且獲取由地圖管理服務(wù)器10的部分全局地圖提取單元40提取的上述部分全局地圖。然后，全局地圖獲取單元130將所獲取的部分全局地圖存儲到存儲單元132中。圖6A是用于說明部分全局地圖獲取處理的第一示例的說明圖。參照圖6A，終端設(shè)備100的全局地圖獲取單元130將終端設(shè)備100在全局坐標(biāo)系的位置坐標(biāo)傳送至地圖管理服務(wù)器10。然后，地圖管理服務(wù)器10的部分全局地圖提取單元40例如提取由位于距該位置坐標(biāo)半徑D[m]內(nèi)的物體的位置數(shù)據(jù)構(gòu)成的部分全局地圖，并且將所提取出的部分全局地圖發(fā)送回終端設(shè)備100。由此，全局地圖獲取單元130可以獲取與具有預(yù)定寬度的局部區(qū)域相對應(yīng)的部分全局地圖。局部區(qū)域例如可以是如下區(qū)域其具有能夠由終端設(shè)備100的成像單元110直接觀測的寬度。這使得與獲取整個全局地圖的情況相比，能夠降低終端設(shè)備100的通信成本和處理成本。
圖6B是用于說明部分全局地圖獲取處理的第二示例的說明圖。參照圖6B，終端設(shè)備100的全局地圖獲取單元130將終端設(shè)備100在全局坐標(biāo)系中的位置坐標(biāo)傳送至地圖管理服務(wù)器10。然后，地圖管理服務(wù)器10的部分全局地圖提取單元40例如提取由按與該位置坐標(biāo)的距離的升序排列的η個物體的位置數(shù)據(jù)構(gòu)成的部分全局地圖，并且將所提取出的部分全局地圖發(fā)送回終端設(shè)備100。由此，全局地圖獲取單元130可以獲取與包含預(yù)定數(shù)量的數(shù)據(jù)的局部區(qū)域相對應(yīng)的部分全局地圖。通常，隨著預(yù)先定義的數(shù)據(jù)的數(shù)量η越大，可以以更高的準(zhǔn)確度通過稍后要描述的計算單元160進行部分全局地圖與局部地圖的匹配。 考慮匹配的準(zhǔn)確度與通信成本和處理成本之間的平衡來確定η的值(例如，η的值可以是η =100)。圖6C是用于說明部分全局地圖獲取處理的第三示例的說明圖。參照圖6C，終端設(shè)備100的全局地圖獲取單元130將用于標(biāo)識終端設(shè)備100所位于的區(qū)域的標(biāo)識符(在下文中稱為區(qū)域標(biāo)識符)傳送至地圖管理服務(wù)器10。區(qū)域標(biāo)識符例如可以是終端設(shè)備100可以訪問的無線訪問點的訪問點標(biāo)識符。此外，當(dāng)一個整體建筑物是服務(wù)區(qū)域Ae時，區(qū)域標(biāo)識符可以是標(biāo)識終端設(shè)備100所位于的層或房間的號碼。接收到區(qū)域標(biāo)識符，地圖管理服務(wù)器 10的部分全局地圖提取單元40提取由以區(qū)域標(biāo)識符表示的區(qū)域中所包含的物體的位置數(shù)據(jù)構(gòu)成的部分全局地圖，并且將所提取出的部分全局地圖發(fā)送回終端設(shè)備100。另外，在這種情況下，與獲取整體全局地圖的情況相比，可以降低終端設(shè)備100的通信成本和處理成本。[3-5.局部地圖生成單元]局部地圖生成單元140基于從成像單元110輸入的輸入圖像和存儲在存儲單元 132中的、稍后描述的特征數(shù)據(jù)，生成表示能夠由終端設(shè)備100檢測的周圍物體的位置的上述局部地圖。圖7是示出根據(jù)實施例的局部地圖生成單元140的詳細(xì)配置的示例的框圖。 參照圖7，局部地圖生成單元140包括自身位置檢測單元142、圖像識別單元144以及局部地圖構(gòu)建單元146。(1)自身位置檢測單元自身位置檢測單元142基于從成像單元110輸入的輸入圖像和存儲在存儲單元132中的特征數(shù)據(jù)，動態(tài)地檢測拍攝輸入圖像的照相機的位置。例如，即使在成像單元110的照相機是單目照相機時，自身位置檢測單元142也可通過應(yīng)用在“Real-Time Simultaneous Localization and Mappingwith a Single Camera，，(Andrew J. Davison, Proceedings of the 9th IEEEInternational Conference on Computer Vision Volume 2，2003，pp. 1403-1410)中公開的SLAM技術(shù)，對于每幀動態(tài)地確定照相機的位置和姿勢、以及照相機的成像面上的特征點的位置。首先，參照圖8描述通過使用SLAM技術(shù)的自身位置檢測單元142進行的自身位置檢測處理的整體流程。接下來，參照圖9至圖11詳細(xì)描述自身位置檢測處理。圖8是示出通過使用SLAM技術(shù)的自身位置檢測單元142進行的自身位置檢測處理的流程示例的流程圖。在圖8中，當(dāng)自身位置檢測處理開始時，自身位置檢測單元142首先對狀態(tài)變量進行初始化(步驟S102)。在該實施例中，狀態(tài)變量是如下矢量其包括作為元素的照相機的位置和姿勢(旋轉(zhuǎn)角)、照相機的移動速度和角速度以及一個或多個特征點的位置。然后，自身位置檢測單元142順次地從成像單元110獲得輸入圖像(步驟S112)?？舍槍γ總€輸入圖像(也就是說，每幀)重復(fù)從步驟S112至S118的處理。在步驟S114處，自身位置檢測單元142跟蹤在輸入圖像中出現(xiàn)的特征點。例如， 自身位置檢測單元142從輸入圖像中檢測預(yù)先存儲在存儲單元132中的每個特征點的片 (patch)(例如，特征點周圍3x3 = 9個像素的小圖像)。稍后當(dāng)更新狀態(tài)變量時，使用這里所檢測到的片的位置，也就是說，特征點的位置。在步驟S116處，自身位置檢測單元142基于例如預(yù)定的預(yù)測模型，生成下一幀的狀態(tài)變量的預(yù)測值。另外，在步驟S118處，自身位置檢測單元142使用在步驟S116處所生成的狀態(tài)變量的預(yù)測值和根據(jù)在步驟S114處所檢測到的特征點的位置的觀測值，更新狀態(tài)變量。自身位置檢測單元142基于擴展卡爾曼濾波器的原理，執(zhí)行在步驟S116和S118 處的處理。作為這樣處理的結(jié)果，輸出針對每幀更新的狀態(tài)變量的值。在下文中更具體地描述跟蹤特征點(步驟S114)、預(yù)測狀態(tài)變量(步驟S116)以及更新狀態(tài)變量(步驟S118)的每個處理的配置。(1-1)跟蹤特征點在該實施例中，存儲單元132預(yù)先存儲表示與可存在于實際空間中的物理物體相對應(yīng)的物體的特征的特征數(shù)據(jù)。特征數(shù)據(jù)例如包括小圖像，也就是說，關(guān)于一個或多個特征點的片，每個特征點表示每個物體的外觀的特征。片例如可以是由特征點周圍的3x3 = 9 個像素構(gòu)成的小圖像。圖9示出了物體的兩個示例、以及在每個物體上所設(shè)置的特征點(FP)和片的示例。圖9中的左側(cè)物體是表示PC的物體(參照圖9a)。在該物體上設(shè)置包括特征點FPl的多個特征點。此外，與特征點FPl相關(guān)地定義片Pthl。另一方面，圖9中的右側(cè)物體是表示日歷的物體(參照圖％)。在該物體上設(shè)置包括特征點FP2的多個特征點。此外，與特征點 FP2相關(guān)地定義片Pth2。在獲得來自成像單元110的輸入圖像時，自身位置檢測單元142將輸入圖像中所包括的部分圖像與預(yù)先存儲在存儲單元132中的圖9中示出的每個特征點的片進行匹配。 然后，自身位置檢測單元142指定輸入圖像中所包括的每個特征點的位置(例如，所檢測到的片的中心像素的位置)作為匹配結(jié)果。應(yīng)該注意的是，為了跟蹤特征點(圖8中的步驟S114)，不一定預(yù)先將關(guān)于要跟蹤的全部特征點的數(shù)據(jù)存儲在存儲單元132中。例如，在圖10所示的示例中，在時刻T = t-1 處，在輸入圖像中檢測到四個特征點(參照圖10a)。接下來，當(dāng)在時刻T = t處照相機的位置或姿勢變化時，在輸入圖像中僅出現(xiàn)在時刻T = t-Ι處在輸入圖像中出現(xiàn)的四個特征點中的兩個特征點。在這種情況下，自身位置檢測單元142可在輸入圖像的特征像素圖樣 (pattern)存在的位置處重新設(shè)置特征點，并且在用于隨后幀的自身位置檢測處理中使用新特征點。例如，在圖10所示的示例中，在時刻T = t處，在物體上設(shè)置三個新特征點(參照圖IOb)。這是SLAM技術(shù)的特征，并且根據(jù)該技術(shù)，可以降低預(yù)先設(shè)置全部特征點的成本， 并且可以使用增加數(shù)量的特征點提高處理的準(zhǔn)確度。(1-2)狀態(tài)變量的預(yù)測在該實施例中，自身位置檢測單元142使用在下面等式中表達(dá)的狀態(tài)變量X作為應(yīng)用于擴展卡爾曼濾波器的狀態(tài)變量。
[等式 1] X
權(quán)利要求
1.一種信息處理設(shè)備，其包括全局地圖獲取單元，其獲取表示物體在多個用戶活動的實際空間中的位置的全局地圖的至少一部分；局部地圖生成單元，其生成表示能夠由所述多個用戶當(dāng)中的一個用戶的設(shè)備檢測到的周圍物體的位置的局部地圖；以及更新單元，其基于所述局部地圖中所包括的物體的位置數(shù)據(jù)來更新所述全局地圖。
2.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，還包括計算單元，其基于所述全局地圖中所包括的物體的位置數(shù)據(jù)和所述局部地圖中所包括的物體的位置數(shù)據(jù)，計算所述局部地圖相對于所述全局地圖的相對位置；以及轉(zhuǎn)換單元，其根據(jù)所述局部地圖的所述相對位置，執(zhí)行從所述局部地圖中所包括的物體的位置數(shù)據(jù)到所述全局地圖的坐標(biāo)系的數(shù)據(jù)的坐標(biāo)轉(zhuǎn)換，其中，所述更新單元通過使用在由所述轉(zhuǎn)換單元進行的坐標(biāo)轉(zhuǎn)換之后的所述局部地圖中所包括的物體的位置數(shù)據(jù)，更新所述全局地圖。
3.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中所述信息處理設(shè)備是由所述一個用戶持有的終端設(shè)備。
4.根據(jù)權(quán)利要求3所述的信息處理設(shè)備，其中所述全局地圖獲取單元從存儲所述全局地圖的服務(wù)器設(shè)備獲取所述全局地圖的至少一部分，并且所述更新單元通過將物體的位置數(shù)據(jù)傳送至所述服務(wù)器設(shè)備來更新所述服務(wù)器設(shè)備的所述全局地圖。
5.根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其中所述全局地圖獲取單元獲取所述全局地圖中與包含所述終端設(shè)備在實際空間中的位置的局部區(qū)域相對應(yīng)的部分。
6.根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其中所述全局地圖獲取單元獲取所述全局地圖中表示位于極接近于所述終端設(shè)備之處的預(yù)定數(shù)量的物體的位置的部分。
7.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中所述局部地圖生成單元基于通過使用成像設(shè)備來對實際空間進行成像而獲得的輸入圖像和表示一個或多個物體的外觀的特征的特征數(shù)據(jù)，生成所述局部地圖。
8.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中所述計算單元基于所述全局地圖和所述局部地圖中所共同包括的不移動物體的位置數(shù)據(jù)，計算所述局部地圖的所述相對位置。
9.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中所述計算單元計算所述局部地圖的所述相對位置，使得當(dāng)將所述局部地圖中所包括的物體的位置數(shù)據(jù)轉(zhuǎn)換成所述全局地圖的坐標(biāo)系的數(shù)據(jù)時，轉(zhuǎn)換之后的數(shù)據(jù)與所述全局地圖中所包括的物體的位置數(shù)據(jù)之間的差總體上較小。
10.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中所述全局地圖包括實際空間中的每個物體在所述全局地圖的坐標(biāo)系中的位置數(shù)據(jù)和與該位置數(shù)據(jù)有關(guān)的時間戳。
11.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，還包括顯示控制單元，其響應(yīng)于來自用戶的指令，至少部分地使所述全局地圖可視化在屏幕上。
12.—種由信息處理設(shè)備執(zhí)行的地圖更新方法，所述方法用于更新表示物體在多個用戶活動的實際空間中的位置的全局地圖，所述方法包括以下步驟獲得所述全局地圖的至少一部分；生成表示能夠由所述信息處理設(shè)備檢測到的周圍物體的位置的局部地圖；以及基于所述局部地圖中所包括的物體的位置數(shù)據(jù)來更新所述全局地圖。
13.一種程序，其用于使得用于控制信息處理設(shè)備的計算機起如下作用全局地圖獲取單元，其獲取表示物體在多個用戶活動的實際空間中的位置的全局地圖的至少一部分；局部地圖生成單元，其生成表示能夠由所述多個用戶當(dāng)中的一個用戶的設(shè)備檢測到的周圍物體的位置的局部地圖；以及更新單元，其基于所述局部地圖中所包括的物體的位置數(shù)據(jù)來更新所述全局地圖。
14.一種信息處理系統(tǒng)，其包括服務(wù)器設(shè)備，其使用存儲介質(zhì)來存儲表示物體在多個用戶活動的實際空間中的位置的全局地圖；以及由所述多個用戶當(dāng)中的一個用戶持有的信息處理設(shè)備，所述信息處理設(shè)備包括 全局地圖獲取單元，其從所述服務(wù)器設(shè)備獲取所述全局地圖的至少一部分； 局部地圖生成單元，其生成表示能夠由所述信息處理設(shè)備檢測到的周圍物體的位置的局部地圖；以及更新單元，其基于所述局部地圖中所包括的物體的位置數(shù)據(jù)來更新所述全局地圖。
全文摘要
本發(fā)明提供了一種信息處理設(shè)備、地圖更新方法、程序以及信息處理系統(tǒng)，其中，該信息處理設(shè)備包括全局地圖獲取單元，其獲取表示物體在多個用戶活動的實際空間中的位置的全局地圖的至少一部分；局部地圖生成單元，其生成表示能夠由多個用戶當(dāng)中的一個用戶的設(shè)備檢測到的周圍物體的位置的局部地圖；以及更新單元，其基于局部地圖中所包括的物體的位置數(shù)據(jù)來更新全局地圖。
文檔編號G09B29/10GK102194367SQ201110051888
公開日2011年9月21日 申請日期2011年3月2日 優(yōu)先權(quán)日2010年3月9日
發(fā)明者多井堅一郎, 松田晃一, 王全, 蘆原隆之 申請人:索尼公司