專利名稱：信息處理方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使得第二用戶能夠共享包括疊加在第一用戶所存在的空間中的虛擬對象的混合現(xiàn)實空間圖像的方法和設(shè)備。
背景技術(shù)：
可以根據(jù)最近開發(fā)出的混合現(xiàn)實(MR，mixed reality)技術(shù)來實現(xiàn)現(xiàn)實世界和虛擬世界的無縫混合。MR技術(shù)增強(qiáng)了VR(虛擬現(xiàn)實)技術(shù)，從而可以實現(xiàn)物理空間和虛擬現(xiàn)實世界的共存，然而在過去只能在與物理空間分開的情景中體驗VR世界。
頭盔式顯示設(shè)備(HMD)為實現(xiàn)混合現(xiàn)實所需的代表性裝置。更具體地說，HMD可以顯示物理空間和虛擬空間的組合圖像。
在用于支持在遠(yuǎn)程參與人之間進(jìn)行的會議或另一種協(xié)作工作的基于VR的系統(tǒng)中，計算機(jī)產(chǎn)生出與現(xiàn)實世界相獨立的上述虛擬世界，從而讓遠(yuǎn)程參與者共享所產(chǎn)生出的虛擬世界。另一方面，基于MR的遠(yuǎn)程支持系統(tǒng)使得遠(yuǎn)程用戶能夠支持在包括疊加在現(xiàn)實世界中的虛擬世界的工作空間中的第二用戶的工作。
根據(jù)傳統(tǒng)的技術(shù)，遠(yuǎn)程參與者能夠共享VR空間，并且能夠通過改變其視點來觀察該空間。例如，在游戲機(jī)中，為各玩家個體顯示出的虛擬空間可以組合，從而其它玩家能夠靈活地顯示從所期望的角度和所期望的位置觀察的合成空間。由游戲機(jī)產(chǎn)生出的空間為與現(xiàn)實空間相獨立的虛擬空間。游戲機(jī)不能實現(xiàn)包括與現(xiàn)實世界中的對象疊加的虛擬對象的混合現(xiàn)實。因此不能通過改變視點同時觀察到真實對象和虛擬對象。
如日本專利申請公開No.2002-132487(與US2002/0049510A1對應(yīng))所述，可以使用頭盔式顯示設(shè)備(HMD)來支持遠(yuǎn)程工作。根據(jù)該例子，工作人員戴上配有攝像機(jī)的HMD，工作人員和遠(yuǎn)程指導(dǎo)者能夠共享攝像機(jī)所拍攝的圖像。指導(dǎo)者能夠通過將指令疊加在攝像機(jī)圖像上來給出工作指令。
在工作人員的攝像機(jī)為立體類型時，工作人員和指導(dǎo)者兩者都可以觀察到相同的立體圖像。另外，根據(jù)色度鍵控組合方法，指導(dǎo)者的指向圖像中的工作對象的指導(dǎo)者的手可以與攝像機(jī)圖像相組合。
另外，根據(jù)上述傳統(tǒng)技術(shù)，除了工作人員的HMD之外還設(shè)有固定攝像機(jī)，并且可以將固定攝像機(jī)的圖像傳送給遠(yuǎn)程指導(dǎo)者以讓指導(dǎo)者支持該工作。但是，該系統(tǒng)沒有使用用來定義工作人員的空間的坐標(biāo)系。因此，不能在工作人員空間的任意位置處設(shè)置除了工作對象之外的虛擬對象以進(jìn)行指點或其它互動。另外，該系統(tǒng)沒有使用設(shè)置在工作人員空間中的多個攝像機(jī)，并且因此不能使得遠(yuǎn)程指導(dǎo)者能夠從多個視點進(jìn)行觀察。
如日本專利申請公開No.2001-195601(與EP1117074對應(yīng))所述，可以在混合現(xiàn)實空間中固定多個對象視點攝像機(jī)?？梢詫ǒB加在該攝像機(jī)的圖像上的虛擬對象的合成圖像選擇性地顯示在多個顯示裝置上。但是，該系統(tǒng)不能讓遠(yuǎn)程指導(dǎo)者在觀察所顯示的圖像的同時在混合現(xiàn)實空間中進(jìn)行互動，例如指點或操作虛擬對象。

發(fā)明內(nèi)容
至少一個示例性實施方案涉及這樣一種技術(shù)，它能夠應(yīng)用于其中虛擬對象能夠疊加在現(xiàn)實視頻上的工作人員混合現(xiàn)實空間，并且使得遠(yuǎn)程指導(dǎo)者能夠選擇性地顯示包括工作人員的HMD攝像機(jī)圖像的多個攝像機(jī)圖像，并且在觀察圖像的同時無縫地感知到工作人員的空間，并且向工作人員給出三維工作指令。
至少一個示例性實施方案涉及這樣的方法和設(shè)備，它們使得第二用戶能夠共享包括疊加在第一用戶所處的空間中的虛擬對象的混合現(xiàn)實空間圖像。至少一個示例性實施方案涉及這樣一種技術(shù)，該技術(shù)使得第二用戶能夠獲取從任意視點觀察的混合現(xiàn)實空間圖像。
根據(jù)本發(fā)明的第一方面，提供了一種如權(quán)利要求1至5中所述的信息處理方法。根據(jù)本發(fā)明的第二方面，提供了一種如權(quán)利要求6中所述的信息處理設(shè)備。
另外，至少一個示例性實施方案涉及一種遠(yuǎn)程混合現(xiàn)實共享設(shè)備，它使得至少一個遠(yuǎn)程參與者能夠共享包括疊加在工作人員所處的空間中的虛擬對象的工作人員混合現(xiàn)實空間。該設(shè)備包括被配置為將由工作人員戴的立體攝像機(jī)捕獲的視頻和由設(shè)置在工作人員所處的空間中的立體攝像機(jī)捕獲的視頻傳送給多個遠(yuǎn)程參與者的單元、用于立體地顯示所述視頻的工作人員立體顯示單元和遠(yuǎn)程參與者立體顯示單元，以及視點切換單元，所述視點切換單元被配置為允許所述多個遠(yuǎn)程參與者選擇性地切換立體攝像機(jī)視頻，從而可以從不同的視點觀察工作人員混合現(xiàn)實空間，并且能夠在工作人員和遠(yuǎn)程參與者之間共享工作人員混合現(xiàn)實空間。
根據(jù)對示例性實施方案的以下詳細(xì)說明，并且參照附圖，將清楚地了解本發(fā)明的其它特征和方面。


結(jié)合在說明書中并且構(gòu)成其一部分的這些附圖例舉了本發(fā)明的實施方案，并且與說明書一起用來說明本發(fā)明的原理。
圖1為一方框圖，顯示出根據(jù)第一示例性實施方案的遠(yuǎn)程混合現(xiàn)實共享系統(tǒng)的布置。
圖2A、2B和2C為示意圖，顯示出工作人員混合現(xiàn)實空間的狀態(tài)和在遠(yuǎn)程指導(dǎo)者混合現(xiàn)實設(shè)備中的屏幕顯示。
圖3為一流程圖，顯示出在根據(jù)第一示例性實施方案的工作人員混合現(xiàn)實設(shè)備中進(jìn)行的工作人員處理。
圖4為一流程圖，顯示出在根據(jù)第一示例性實施方案的指導(dǎo)者混合現(xiàn)實設(shè)備中進(jìn)行的指導(dǎo)者處理。
圖5A、5B和5C為流程圖，顯示出在根據(jù)第一示例性實施方案的管理服務(wù)器中執(zhí)行的接收事件處理。
圖6A和6B為示意圖，顯示出根據(jù)第三示例性實施方案，工作人員混合現(xiàn)實空間的狀態(tài)和在多個遠(yuǎn)程參與者混合現(xiàn)實設(shè)備中的屏幕顯示。
圖7為一方框圖，顯示出根據(jù)第三示例性實施方案的遠(yuǎn)程混合現(xiàn)實共享系統(tǒng)的布置。
圖8A、8B和8C為流程圖，顯示出在根據(jù)第三示例性實施方案的管理服務(wù)器中執(zhí)行的部分接收事件處理。
圖9為一示意圖，顯示出虛擬對象操作表。
圖10為一示意圖，顯示出攝像機(jī)管理表。
圖11為一示意圖，顯示出根據(jù)第二示例性實施方案的攝像機(jī)管理表。
圖12為一示意圖，顯示出根據(jù)第三示例性實施方案的虛擬對象管理表。
圖13為一示意圖，顯示出根據(jù)第三示例性實施方案的攝像機(jī)管理表。
具體實施例方式
以下示例性實施方案的說明本身只是用于舉例說明，而決不是打算限制本發(fā)明、其應(yīng)用或使用。
本領(lǐng)域普通技術(shù)人員所知的過程、技術(shù)、設(shè)備和材料將不進(jìn)行詳細(xì)說明，但是在適當(dāng)情況下應(yīng)該作為能夠?qū)嵤┑恼f明書的一部分。例如，用于信號處理、顯示和其它用途的某些電路可能不進(jìn)行詳細(xì)說明。但是，如本領(lǐng)域普通技術(shù)人員所公知的這些系統(tǒng)和構(gòu)成這些系統(tǒng)的方法在適當(dāng)?shù)那闆r下也應(yīng)該作為能夠?qū)嵤┑恼f明書的一部分。
要指出的是，類似的附圖標(biāo)記和字母在以下附圖中指代類似的項目，并且因此一旦在一幅圖中限定了一個項目，則在接下來的附圖中可以不對它進(jìn)行說明。
下面將參照這些附圖對示例性實施方案進(jìn)行詳細(xì)說明。
第一示例性實施方案圖1顯示出一功能布置，顯示出根據(jù)第一示例性實施方案的遠(yuǎn)程混合現(xiàn)實共享系統(tǒng)。該遠(yuǎn)程混合現(xiàn)實共享系統(tǒng)包括顯示在圖1的上部的工作人員混合現(xiàn)實設(shè)備10a和圖示在圖1的下部的指導(dǎo)者混合現(xiàn)實設(shè)備10b。工作人員混合現(xiàn)實設(shè)備10a和指導(dǎo)者混合現(xiàn)實設(shè)備10b可以通過包括管理服務(wù)器60的網(wǎng)絡(luò)相互通信。工作人員混合現(xiàn)實設(shè)備10a與頭盔式顯示器(HMD)20a相連。
指導(dǎo)者混合現(xiàn)實設(shè)備10b與頭盔式顯示器(HMD)20b相連。采用在圖1所示的布置，工作人員和指導(dǎo)者兩者都能夠通過HMD看到工作人員所處的空間的混合現(xiàn)實視頻。另外，為了進(jìn)行相互對話，工作人員混合現(xiàn)實設(shè)備10a配備有揚聲器27a和麥克風(fēng)28a。指導(dǎo)者混合現(xiàn)實設(shè)備10b配備有揚聲器27b和麥克風(fēng)28b。
工作人員的HMD 20a包括能夠磁性測量出HMD的位置和取向的三維位置和取向傳感器21a、能夠捕獲物理空間以獲得圖像的立體攝像機(jī)22(包括左(L)眼攝像機(jī)和右(R)眼攝像機(jī))以及立體顯示單元23a(包括左(L)眼顯示器和右(R)眼顯示器)。
預(yù)先測量出在三維位置和取向傳感器21a與攝像機(jī)21之間的位置關(guān)系，并且使之固定。三維位置和取向傳感器21a將作為測量結(jié)果的位置和取向信號輸出給下文所述的位置和取向測量部分11a。
攝像機(jī)22將捕獲結(jié)果輸出給下文所述的圖像輸入部分12。顯示單元23a接收來自圖像組合部分15的左眼圖像信號和右眼圖像信號，并且將所接收到的圖像分別顯示在左眼顯示器23aL和右眼顯示器23aR上。
設(shè)在工作人員混合現(xiàn)實設(shè)備10a中的位置和取向測量部分11a能夠接收從HMD20a的三維位置和取向傳感器21a傳送出的三維位置和取向信號以及從指示筆41a輸入的三維位置和取向信號。指示筆41a為一種在混合現(xiàn)實空間中的三維指示裝置。
位置和取向測量部分11a將指示筆的位置和取向數(shù)據(jù)輸出給虛擬對象傳送/接收部分31a，并且將HMD20a的位置和取向數(shù)據(jù)輸出給圖像生成部分13。虛擬對象傳送/接收部分31a能夠?qū)奈恢煤腿∠驕y量部分11a接收到的指示筆位置和取向數(shù)據(jù)傳送給管理服務(wù)器60。
虛擬對象傳送/接收部分31a可以從管理服務(wù)器60接收工作人員的指示筆和指導(dǎo)者的指示筆的位置和取向信息以及虛擬對象的變化信息。虛擬對象傳送/接收部分31a將從管理服務(wù)器60接收到的信息輸出給圖像生成部分13。
圖像生成部分13能夠預(yù)先存儲虛擬對象的場景圖形。該圖像生成部分13接收每個指示筆的位置和取向以及來自虛擬對象傳送/接收部分31a的虛擬對象操作結(jié)果信息，并且接收來自位置和取向測量部分11a的工作人員視點信息(即，HMD位置和取向信息)。
圖像生成部分13可以根據(jù)所獲得的信息產(chǎn)生出左眼虛擬空間計算機(jī)圖形(CG)圖像和右眼虛擬空間CG圖像。圖像組合部分15可以通過圖像輸入部分12輸入來自左眼攝像機(jī)22L和右眼攝像機(jī)22R的圖像。
圖像組合部分15可以將從圖像生成部分13產(chǎn)生出的左眼虛擬空間CG圖像和右眼虛擬空間CG圖像組合在所接收的捕獲圖像上。因此，顯示單元23a的左眼顯示器23aL和右眼顯示器23aR能夠?qū)墓ぷ魅藛T視點獲得的虛擬空間數(shù)據(jù)疊加在由攝像機(jī)捕獲的圖像上。視頻編碼部分32a可以對疊加圖像進(jìn)行壓縮和編碼并且能夠通過視頻傳送部分33a將壓縮并編碼后的圖像數(shù)據(jù)傳送給管理服務(wù)器60。
指導(dǎo)者混合現(xiàn)實設(shè)備10a與工作人員混合現(xiàn)實設(shè)備10a相比，其布置更簡單。HMD20b沒有任何攝像機(jī)。因此，指導(dǎo)者混合現(xiàn)實設(shè)備10b不能輸入攝像機(jī)圖像。為了產(chǎn)生出工作人員空間的混合現(xiàn)實視頻，視頻接收部分33b能夠通過管理服務(wù)器60接收工作人員HMD20a的攝像機(jī)圖像信號或攝像機(jī)服務(wù)器70a和70b的立體圖像信號。
視頻解碼部分23b將所接收到的信號解碼。顯示單元23b包括用來顯示出從視頻解碼部分32b發(fā)送出的圖像的左眼顯示器23bL和右眼顯示器23bR。位置和取向測量部分11b能夠輸入來自三維位置和取向傳感器21b的指導(dǎo)者HMD20b的位置和取向以及指示筆41b的三維位置和取向。
虛擬對象傳送部分31b能夠?qū)⒂晌恢煤腿∠驕y量部分11b獲得的位置和取向信息傳送給管理服務(wù)器60。位置和取向信息可以用作指導(dǎo)者的共享虛擬對象指點/操作信息。
當(dāng)通過管理服務(wù)器60建立了在工作人員混合現(xiàn)實設(shè)備10a和指導(dǎo)者混合現(xiàn)實設(shè)備10b之間的連接時，可以激活話音通信模塊，以通過話音通信管理部分66傳送和接收雙向話音數(shù)據(jù)。因此，使用揚聲器27a和麥克風(fēng)28a的工作人員能夠與使用揚聲器27b和麥克風(fēng)28b的指導(dǎo)者交談。
攝像機(jī)服務(wù)器70a和70b能夠借助網(wǎng)絡(luò)將由設(shè)置在工作人員空間中的立體攝像機(jī)72a和72b捕獲的圖像傳送給管理服務(wù)器60。這些攝像機(jī)服務(wù)器70a和70b包括攝像機(jī)視頻傳送部分71a和71b，用來將相應(yīng)的立體攝像機(jī)72a和72b的右眼圖像和左眼圖像傳送給管理服務(wù)器60的圖像組合部分64。在網(wǎng)絡(luò)帶寬較窄時，攝像機(jī)視頻傳送部分可以包括圖像編碼設(shè)備(未示出)，并且管理服務(wù)器的圖像組合部分64可以包括圖像解碼設(shè)備(未示出)，以降低網(wǎng)絡(luò)信息流通量。
管理服務(wù)器60可以管理在遠(yuǎn)程混合現(xiàn)實共享系統(tǒng)中所使用的或所處理的信息。虛擬對象通信管理部分61針對與指示筆和虛擬對象相關(guān)的信息，管理在工作人員混合現(xiàn)實設(shè)備10a和指導(dǎo)者混合現(xiàn)實設(shè)備10b之間的通信。虛擬對象管理部分62管理與包括指示筆的共享虛擬對象的場景圖形和共享虛擬對象的操作權(quán)限相關(guān)的信息。
虛擬對象管理部分62將與共享虛擬對象的場景圖形相關(guān)的信息傳送給圖像生成部分63。圖像生成部分63具有繪制由指導(dǎo)者選擇的從攝像機(jī)視點看到的虛擬對象的數(shù)據(jù)的能力。圖像生成部分63將所繪制的虛擬對象數(shù)據(jù)發(fā)送給圖像組合部分64。
在工作人員空間的世界坐標(biāo)系中預(yù)先測量出各個攝像機(jī)72a和72b的位置和取向。圖像組合部分64將上述繪制的CG數(shù)據(jù)疊加在由指導(dǎo)者選擇的、由攝像機(jī)捕獲的圖像上。圖像組合部分64將疊加后的圖像轉(zhuǎn)送給視頻通信管理部分65。
由指導(dǎo)者選擇的攝像機(jī)的混合現(xiàn)實圖像就這樣借助視頻通信管理部分65發(fā)送給指導(dǎo)者混合現(xiàn)實設(shè)備10b。當(dāng)指導(dǎo)者選擇工作人員的攝像機(jī)時，由工作人員混合現(xiàn)實設(shè)備10a捕獲的圖像能夠直接發(fā)送給指導(dǎo)者混合現(xiàn)實設(shè)備10b。
圖2A、2B和2C示例性地顯示出由圖1所示的系統(tǒng)進(jìn)行的操作。圖2A顯示出在混合現(xiàn)實空間中工作的戴著HMD20a的工作人員40的狀態(tài)，其中顯示了現(xiàn)實力工作對象42以及代表工作對象的CG 3D虛擬對象43。
工作人員40可以與指導(dǎo)者共享虛擬對象43。指導(dǎo)者可以使用虛擬對象43來指導(dǎo)工作的內(nèi)容或示例。如圖所示，預(yù)先設(shè)定世界坐標(biāo)系(x，y，z)以限定工作人員40的物理空間。在通過HMD觀察時，能夠看到放置在世界坐標(biāo)系中的虛擬對象43(即，作為示例模型)，所看到的位置關(guān)系就好像它被放置在真實工作對象42附近一樣。
使用具有磁性傳感器的指示筆能夠進(jìn)行各種互動，例如選擇虛擬對象或者移動所選的對象。指示標(biāo)41a表示疊加在CG虛擬對象上的工作人員40的指示筆。指示標(biāo)41b表示疊加在CG虛擬對象上的指導(dǎo)者的指示筆。具有安裝在其上的立體攝像機(jī)的攝像機(jī)服務(wù)器70a和70b通過網(wǎng)絡(luò)(未示出)與管理服務(wù)器60連接。由攝像機(jī)捕獲的圖像可以作為遠(yuǎn)程指導(dǎo)者視點圖像提供給指導(dǎo)者。
圖2B顯示出遠(yuǎn)程指導(dǎo)者50所處的空間。具有HMD20b的指導(dǎo)者50能夠觀看顯示在HMD20b的顯示單元23b上的立體圖像。立體圖像包括從攝像機(jī)70a的視點看到的工作對象42、其3D CG模型43、顯示出工作人員40的指示筆位置的指示標(biāo)41a和顯示出指導(dǎo)者50的指示筆位置的指示標(biāo)41b。
具有安裝在其上的磁性傳感器的指導(dǎo)者50的HMD20b和指示筆41b能夠測量出在視點位置和指示筆之間的相對位置關(guān)系?？梢詫⑺鶞y量出的位置關(guān)系轉(zhuǎn)換成從攝像機(jī)視點看的位置關(guān)系，從而限定出從攝像機(jī)視點看到的指導(dǎo)者50的指示筆位置。指導(dǎo)者50可以通過在觀看在顯示單元23b上的圖像的同時用指示標(biāo)41b指示虛擬對象43或者通過移動虛擬對象43的物品來向工作人員40給出工作指令。
可以通過將指示筆41a或41b移動到虛擬對象43的位置并且按壓設(shè)在指示筆上的第一按鍵，進(jìn)行虛擬對象43的移動。通過這個操作，指示筆的保持模式開始使虛擬對象與指示筆一起移動。如果在保持模式中再次按壓指示筆的第一按鍵，則保持模式結(jié)束，并且可以使虛擬對象與指示筆脫開。為了防止由工作人員40進(jìn)行的操作和由指導(dǎo)者50進(jìn)行的操作相互干擾，工作人員的指示筆或者指導(dǎo)者的指示筆都可以進(jìn)入保持模式以使虛擬對象移動。
在圖2C所示的在顯示單元23b上的圖像為從攝像機(jī)70b的視點看到的混合現(xiàn)實圖像。指導(dǎo)者50能夠通過按壓設(shè)在指示筆上的第二按鍵來切換攝像機(jī)視點。與上述圖2B類似，指導(dǎo)者50能夠在該屏幕上進(jìn)行操作。對于指導(dǎo)者50的頭部位置和指示筆位置之間的相對關(guān)系，指導(dǎo)者50的指示標(biāo)41b被顯示在根據(jù)新攝像機(jī)位置限定的位置上。從該狀態(tài)開始，指導(dǎo)者50可以按壓指示筆的第二按鍵，以將在顯示單元23b上的圖像切換為從工作人員40的視點看到的圖像。
在這種情況下，工作人員40能夠通過HMD20a看到的圖像與指導(dǎo)者50能夠通過HMD20b看到的完美地一致。在該狀態(tài)下，指導(dǎo)者50可以進(jìn)一步按壓指示筆的第二按鍵以將在圖2B所示的圖像顯示在指導(dǎo)者的HMD20b的顯示單元23b上。這樣，通過使用指示筆的第二按鍵，指導(dǎo)者50能夠接連地切換處于工作人員40所在空間中的攝像機(jī)的圖像。因此，指導(dǎo)者50能夠從根據(jù)情況選擇的最佳視點指示和幫助工作人員40的工作。
下面將參照隨后的附圖對上述操作進(jìn)行更詳細(xì)的說明。
圖3為一流程圖，顯示出工作人員混合現(xiàn)實設(shè)備10a的操作，用來完成在混合現(xiàn)實空間中的工作。雖然在圖2A中未示出，但是工作人員混合現(xiàn)實設(shè)備10a位于適當(dāng)?shù)奈恢锰幉⑶遗c工作人員的HMD20a和指示筆41a連接。工作人員混合現(xiàn)實設(shè)備10a能夠通過設(shè)在網(wǎng)絡(luò)上的管理服務(wù)器60與指導(dǎo)者混合現(xiàn)實設(shè)備10b通信。
在步驟S100中，可以將工作人員混合現(xiàn)實設(shè)備10a初始化。在該步驟中的初始化包括設(shè)定混合現(xiàn)實空間的世界坐標(biāo)系(即，在圖2A所示的真實世界中所限定的坐標(biāo)系)。下文所述的傳感器可以產(chǎn)生出在該坐標(biāo)系中限定的6參數(shù)(x，y，z，α，β，γ)的數(shù)據(jù)組構(gòu)成的輸出，其中α表示繞著x軸線的轉(zhuǎn)動角度，β表示繞著y軸線的轉(zhuǎn)動角度，并且γ表示繞著z軸線的轉(zhuǎn)動角度。另外，虛擬對象43(用作真實對象42的參考)的初始數(shù)據(jù)可以被設(shè)置在世界坐標(biāo)系中，并且作為場景圖形數(shù)據(jù)存儲在圖像生成部分13中。
在下一個步驟S110中，工作人員混合現(xiàn)實設(shè)備10a可以通過網(wǎng)絡(luò)與管理服務(wù)器60建立連接以便傳送和接收數(shù)據(jù)。工作人員混合現(xiàn)實設(shè)備10a能夠借助虛擬對象傳送/接收部分31a，將與虛擬對象和在步驟S100設(shè)定的世界坐標(biāo)相關(guān)的信息上載至管理服務(wù)器60。
在步驟S120中，工作人員混合現(xiàn)實設(shè)備10a和管理服務(wù)器60可以設(shè)定用于話音通信的連接。在這種情況下，指導(dǎo)者混合現(xiàn)實設(shè)備10b還可以設(shè)定用于與管理服務(wù)器60進(jìn)行話音通信的連接。通過上面的設(shè)定，工作人員和指導(dǎo)者可以用揚聲器27a和27b(即，話音輸出裝置)和麥克風(fēng)28a和28b(即，話音輸入裝置)相互交談。
在步驟S130中，可以通過圖像輸入部分12將由安裝在工作人員的HMD20a上的攝像機(jī)22捕獲的圖像輸入到圖像組合部分15。攝像機(jī)22包括與工作人員的兩只眼睛對應(yīng)的左(L)眼攝像機(jī)和右(R)眼攝像機(jī)。從各個攝像機(jī)發(fā)送出的圖像可以存儲在圖像組合部分15的不同緩存器中。
在下一個步驟S140中，工作人員的頭部的位置和取向可以從HMD三維位置傳感器21a發(fā)送給位置和取向測量部分11a。該位置和取向測量部分11a可以產(chǎn)生出在世界坐標(biāo)系中的那組6參數(shù)數(shù)據(jù)。
在下一個步驟S150中，可以將工作人員的指示筆41a的三維位置和取向信息發(fā)送給位置和取向測量部分11a。從指示筆41a獲得的數(shù)據(jù)具有與從上述HMD三維位置傳感器21a獲得的數(shù)據(jù)類似的模式。
在步驟S160中，在步驟S150中獲得的工作人員指示筆的位置和取向信息可以作為事件通過虛擬對象傳送/接收部分31a傳送給管理服務(wù)器60。
在步驟S170中，判斷是否按壓了工作人員指示筆的第一或第二按鍵。在按壓了第一或第二按鍵時(即，步驟S170“是”中的“是”)，控制處理前進(jìn)至步驟S180。否則，控制處理前進(jìn)至步驟S190。
在步驟S180，可以通過虛擬對象傳送/接收部分31a將按鍵按壓事件發(fā)送給管理服務(wù)器60。
在步驟S190，虛擬對象傳送/接收部分31a能夠從管理服務(wù)器60接收作為事件的與工作人員的指示標(biāo)、指導(dǎo)者的指示標(biāo)以及虛擬對象有關(guān)的信息。
在步驟S210中，可以根據(jù)在步驟S190中所獲得的變化信息來改變存儲在圖像生成部分13中的場景圖形。
在步驟S220中，可以將反映操作結(jié)果的虛擬對象的場景圖形、工作人員的指示標(biāo)41a和指導(dǎo)者的指示標(biāo)41b生成為從攝像機(jī)的視點(位置和取向)獲得的左眼圖像和右眼圖像。可以在圖像組合部分15中將所生成的圖像蓋寫在左眼攝像機(jī)圖像和右眼攝像機(jī)圖像上。
這樣，可以獲得虛擬對象和真實對象的組合圖像。三維位置和取向傳感器21a、左眼攝像機(jī)22L和右眼攝像機(jī)22R處于固定的位置關(guān)系中。這樣，可以通過進(jìn)行校準(zhǔn)預(yù)先獲得轉(zhuǎn)換公式?？梢允褂盟@得的轉(zhuǎn)換公式來確定攝像機(jī)視點的位置和取向。
在下一個步驟S240中，圖像組合部分15中的左眼組合圖像和右眼組合圖像可以分別顯示在工作人員HMD20a的左眼顯示單元23aL和右眼顯示單元23aR上。
在步驟S250中，可以在視頻編碼部分32a中將與顯示在工作人員的HMD20a的顯示單元23a上的圖像相同的雙眼圖像編碼?？梢酝ㄟ^視頻傳送部分33a將編碼圖像傳送給管理服務(wù)器60的視頻通信管理部分65。
在下一個步驟S260中，判斷是否輸入了工作人員混合現(xiàn)實設(shè)備10a的終止命令。在輸入了終止命令時(即，在步驟S260中為“是”)，該處理流程前進(jìn)至步驟S270以執(zhí)行話音通信完成處理。否則，該處理流程返回到步驟S130。
在步驟S270中，工作人員混合現(xiàn)實設(shè)備10a可以終止話音通信處理。然后，在步驟S280中，工作人員混合現(xiàn)實設(shè)備10a可以在終止該程序的處理之前斷開與管理服務(wù)器60的通信。
圖4為一流程圖，顯示出用來指示和支持在混合現(xiàn)實工作空間中的工作的指導(dǎo)者混合現(xiàn)實設(shè)備10b的操作。
在步驟S300中，可以將指導(dǎo)者混合現(xiàn)實設(shè)備10b初始化。該步驟中的初始化包括設(shè)置指導(dǎo)者所在的空間的世界坐標(biāo)系，這是由位置和取向測量部分11b來執(zhí)行的。與工作人員混合現(xiàn)實設(shè)備10a的傳感器類似，將在后面描述的指導(dǎo)者混合現(xiàn)實設(shè)備10b的傳感器可以產(chǎn)生由在該坐標(biāo)系中限定的6個參數(shù)的數(shù)據(jù)組構(gòu)成的輸出。
在下一步驟S310中，指導(dǎo)者混合現(xiàn)實設(shè)備10b可以通過網(wǎng)絡(luò)與管理服務(wù)器60建立連接，用于傳輸和接收數(shù)據(jù)。
在步驟S320中，指導(dǎo)者混合現(xiàn)實設(shè)備10b和工作人員混合現(xiàn)實設(shè)備10a可以通過管理服務(wù)器60的話音通信管理部分66開始話音通信。通過上面的設(shè)定，指導(dǎo)者和工作人員可以用揚聲器27a和27b(即，話音輸出裝置)和麥克風(fēng)28a和28b(即，話音輸入裝置)相互交談。
在步驟S330中，可以從HMD三維位置傳感器21b將指導(dǎo)者視點的位置和取向(xh，yh，zh，αh，βh，γh)輸入給位置和取向測量部分11b。另外，可以將指導(dǎo)者的指示筆41b的三維位置和取向信息(xs，ys，zs，αs，βs，γs)輸入給位置和取向測量部分11b。這些位置和取向數(shù)據(jù)是在指導(dǎo)者所處的空間的世界坐標(biāo)系中限定的。可以將指示筆41b的位置和取向轉(zhuǎn)換成從指導(dǎo)者的視點看的相對位置和取向。因此，可以計算出指導(dǎo)者的指示筆相對位置(xd，yd，zd，αd，βd，γd)＝(xs-xh，ys-yh，zs-zh，αs-αh，βs-βh，γs-γh)。
在步驟S340中，在步驟S330中計算出的指導(dǎo)者的指示筆相對位置可以通過虛擬對象傳送部分31b傳送給管理服務(wù)器60的虛擬對象通信管理部分61。
在步驟S350中，視頻接收部分33b能夠從管理服務(wù)器60的視頻通信管理部分65接收左眼圖像和右眼圖像?？梢栽谝曨l解碼部分32b中對左眼圖像和右眼圖像兩者進(jìn)行解碼。
在步驟S360中，可以將解碼的左眼和右眼圖像顯示在指導(dǎo)者的HMD20b的左眼顯示單元23bL和右眼顯示單元23bR上。
在下一個步驟S370中，判斷是否輸入了指導(dǎo)者混合現(xiàn)實設(shè)備10b的終止命令。在輸入了終止命令時(即，在步驟S370中為“是”)，處理流程前進(jìn)至步驟S400以執(zhí)行話音通信終止處理。否則，該處理流程前進(jìn)至步驟S380。
在步驟S380中，判斷是否存在可以在指導(dǎo)者點擊指示筆按鍵時產(chǎn)生出的按鍵事件。在產(chǎn)生出按鍵事件時(即，在步驟S380中為“是”)，則處理流程前進(jìn)至步驟S390。否則，處理流程返回到步驟S330以重復(fù)上述處理。
在步驟S390中，指導(dǎo)者混合現(xiàn)實設(shè)備10b可以將該事件傳送給管理服務(wù)器60的虛擬對象通信管理部分61。然后，該處理流程返回到步驟S330。
在步驟S400中，指導(dǎo)者混合現(xiàn)實設(shè)備10b可以終止該話音通信處理。然后，在步驟S410中，指導(dǎo)者混合現(xiàn)實設(shè)備10b可以在終止該例程的處理之前斷開與管理服務(wù)器60的通信。
接下來將參照圖5A、5B和5C對在管理服務(wù)器60中進(jìn)行的各種事件處理進(jìn)行說明。圖5A為一流程圖，顯示出指示筆位置信息處理。
虛擬對象通信管理部分61能夠從工作人員和指導(dǎo)者兩者接收指示筆位置信息。管理服務(wù)器60響應(yīng)于工作人員的指示筆位置信息的輸入開始步驟S510的處理。在步驟S514中，管理服務(wù)器60將由6個參數(shù)表示的工作人員指示筆信息反映為存儲在虛擬對象管理部分62中的場景圖形的指示標(biāo)信息。
在步驟S516中，參照在圖9所示的虛擬對象操作表判斷工作人員當(dāng)前是否正在用指示筆操作虛擬對象。由工作人員操作物品ID和指導(dǎo)者操作物品ID兩欄構(gòu)成的虛擬對象操作表顯示出由工作人員和指導(dǎo)者當(dāng)前所操作的虛擬對象。更具體地說，從圖9的表中，知道工作人員正在操作具有存儲在工作人員操作物品ID欄中的ID的虛擬對象，同時指導(dǎo)者正在操作具有存儲在指導(dǎo)者操作物品ID欄中的ID的虛擬對象。在當(dāng)前沒有操作任何虛擬對象時，將“空”存儲在表中。
當(dāng)有與工作人員操作物品ID對應(yīng)的虛擬對象的ID存儲在表中時(在步驟S516中為“是”)，則工作人員當(dāng)前正在操作具有所標(biāo)ID的虛擬對象。該處理流程前進(jìn)至步驟S517。另一方面，在將“空”存儲在表中時(即，在步驟S516中為“否”)，則工作人員當(dāng)前沒有操作任何虛擬對象。該處理流程前進(jìn)至步驟S518。
在步驟S517中，管理服務(wù)器60將虛擬對象移動到指示筆位置，并且改變存儲在虛擬對象管理部分62中的場景圖形。在步驟S518中，管理服務(wù)器60在終止該例程的處理之前，將指示筆位置和虛擬對象操作事件兩者傳送給工作人員混合現(xiàn)實設(shè)備10a。
當(dāng)接收到指導(dǎo)者的指示筆位置信息時，管理服務(wù)器60開始步驟S520的處理。在步驟S522中，管理服務(wù)器60將從指導(dǎo)者視點看到的指導(dǎo)者指示筆的相對位置信息轉(zhuǎn)換成從所選攝像機(jī)視點看到的相對位置信息。更具體地說，在步驟S330中所獲得的指導(dǎo)者的指示筆相對位置(xd，yd，zd，αd，βd，γd)可以轉(zhuǎn)換成工作人員空間世界坐標(biāo)，作為從所選攝像機(jī)視點看到的相對位置。也就是說，當(dāng)這些坐標(biāo)(xw，yw，zw，αw，βw，γw)表示攝像機(jī)視點時，指導(dǎo)者的指示筆具有坐標(biāo)(xw+xd，yw+yd，zw+zd，αw+αd，βw+βd，γw+γd)?？梢詮脑谙挛拿枋龅膱D10所示的表的第二欄中獲得所選攝像機(jī)的視點位置。
在步驟S524中，管理服務(wù)器60將在步驟S522中獲得的指導(dǎo)者的指示筆信息反映成存儲在虛擬對象管理部分62中的場景圖形的指示標(biāo)信息。在步驟S526中，參照在圖9所示的虛擬對象操作表判斷指導(dǎo)者當(dāng)前是否正在用指示筆操作虛擬對象。
當(dāng)有與指導(dǎo)者操作物品ID對應(yīng)的虛擬對象的ID存儲在該表中時(即，在步驟S526中為“是”)，則指導(dǎo)者當(dāng)前正在操作具有所標(biāo)ID的虛擬對象。該處理流程前進(jìn)至步驟S527。另一方面，當(dāng)將“空”存儲在表中時(即，在步驟S526中為“否”)，則指導(dǎo)者當(dāng)前沒有操作任何虛擬對象。該處理流程前進(jìn)至步驟S528。
在步驟S527中，管理服務(wù)器60將虛擬對象移動到指導(dǎo)者的指示筆位置，并且改變存儲在虛擬對象管理部分62中的場景圖形。在步驟S528中，管理服務(wù)器在終止該例程的處理之前，將指示筆指示標(biāo)變化事件和虛擬對象操作事件傳送給工作人員混合現(xiàn)實設(shè)備10a。
圖5B顯示出視點變化按鍵事件處理。當(dāng)指導(dǎo)者按壓指示筆的第二按鍵時，該事件可以由虛擬對象通信管理部分61接收并且發(fā)送給虛擬對象管理部分62。圖10的攝像機(jī)管理表顯示出指導(dǎo)者可以選擇作為用于觀察混合現(xiàn)實空間的視點的多個攝像機(jī)視點。圖10的表包括在第一欄所列出的多個攝像機(jī)ID。根據(jù)該例子，除了工作人員攝像機(jī)之外還有總共n個攝像機(jī)。
該表的第二欄列出了由在工作人員空間的世界坐標(biāo)系中所限定的6參數(shù)數(shù)據(jù)組表示的攝像機(jī)視點的位置數(shù)據(jù)。該表的第三欄顯示出表示當(dāng)前正在為指導(dǎo)者提供視點的攝像機(jī)的“標(biāo)記”狀態(tài)。只有一個攝像機(jī)(根據(jù)圖10的例子為攝像機(jī)I)具有On標(biāo)記標(biāo)記，而其它攝像機(jī)具有Off標(biāo)記標(biāo)記。這意味著可以通過攝像機(jī)I提供指導(dǎo)者的視點圖像。
當(dāng)在這種情況下按壓指導(dǎo)者的指示筆的第二按鍵時，On標(biāo)記移動到攝像機(jī)II，并且攝像機(jī)I具有Off標(biāo)記。這樣，每次按壓按鍵時，指導(dǎo)者的視點攝像機(jī)可以按照在圖10的表所示的順序連續(xù)變化(被選擇)。根據(jù)該順序，最后可以選擇工作人員的攝像機(jī)，接下來再次選擇攝像機(jī)I。在步驟S530中，如上所述，On標(biāo)記從當(dāng)前所選的攝像機(jī)移動到下一個攝像機(jī)。
在下一個步驟S532中，虛擬對象管理部分62將終止命令發(fā)送給視頻通信管理部分65以終止當(dāng)前視頻連接。視頻通信管理部分65然后斷開視頻通信。在步驟S534中，視頻通信管理部分65參照在圖10所示的攝像機(jī)管理表開始新的視頻通信連接。當(dāng)具有On標(biāo)記的攝像機(jī)為攝像機(jī)服務(wù)器的攝像機(jī)時，可以將所選攝像機(jī)的圖像信息輸入到圖像組合部分64中。
當(dāng)具有On標(biāo)記的攝像機(jī)為工作人員的攝像機(jī)時，沒有圖像信號從圖像組合部分64輸入給視頻通信管理部分65。相反，可以在終止該例程的處理之前從話音通信管理部分66將工作人員混合現(xiàn)實設(shè)備10a的輸出傳送給指導(dǎo)者混合現(xiàn)實設(shè)備10b。這樣，指導(dǎo)者能夠切換混合現(xiàn)實視頻的視點。
圖5C顯示出操作按鍵處理。當(dāng)按壓工作人員的指示筆按鍵時，步驟S550的工作人員按鍵處理開始。當(dāng)按壓指導(dǎo)者的指示筆的第一按鍵時，步驟S570的指導(dǎo)者按鍵處理開始。
在工作人員按鍵事件處理的步驟S552中，通過檢查在圖9所示的工作人員操作物品ID來判斷工作人員當(dāng)前是否正在操作某一個虛擬對象。當(dāng)工作人員操作物品ID為空時(即，在步驟S552中為“否”)，工作人員當(dāng)前沒有操作任何虛擬對象，從而該處理流程前進(jìn)至步驟S556。當(dāng)存儲有任一個操作物品ID時(即，在步驟S552中為“是”)，則工作人員當(dāng)前正在操作虛擬對象，從而處理流程前進(jìn)至步驟S554。
在步驟S554中，管理服務(wù)器60將在圖9所示的工作人員操作物品ID的內(nèi)容重寫為零，并且終止工作人員按鍵事件處理。
在步驟S556中，管理服務(wù)器60將存儲在虛擬對象管理部分62中的當(dāng)前工作人員指示筆位置與處于工作人員混合現(xiàn)實空間中的所有虛擬對象的位置進(jìn)行比較，并且前進(jìn)至步驟S558。
在步驟S558中，根據(jù)比較結(jié)果判斷是否存在處于預(yù)定距離內(nèi)的虛擬對象(即，該距離是否在一閾值范圍內(nèi))。當(dāng)有這樣的虛擬對象時(即，在步驟S558中為“是”)，將該虛擬對象(例如，在多個虛擬對象的情況下最近的一個)識別為操作對象。該處理流程前進(jìn)至步驟S560。否則，該管理服務(wù)器60終止工作人員按鍵事件處理。
在步驟S560中，判斷在步驟S558中所獲得的操作對象ID是否與在圖9所示的指導(dǎo)者操作物品ID一致。當(dāng)所比較的ID相互一致時(即，在步驟S560中為“是”)，則指導(dǎo)者當(dāng)前正在操作所標(biāo)識的虛擬對象。管理服務(wù)器60終止工作人員按鍵事件處理。當(dāng)所比較的ID彼此不一致時(即，在步驟S560中為“否”)，則該處理流程前進(jìn)至步驟S562。
在步驟S562中，管理服務(wù)器60在終止工作人員按鍵事件處理之前，將在步驟S558中所獲得的操作對象ID作為工作人員操作物品ID寫入到圖9的表中。
另一方面，在指導(dǎo)者按鍵事件處理的步驟S571中，管理服務(wù)器60通過進(jìn)行與圖5A的步驟S522類似的處理，將指導(dǎo)者的指示筆位置轉(zhuǎn)變成工作人員的世界坐標(biāo)。虛擬對象管理部分62存儲所轉(zhuǎn)換的指導(dǎo)者指示筆位置。
在步驟S572中，通過檢查在圖9所示的指導(dǎo)者操作物品ID來判斷指導(dǎo)者是否正在操作任一個虛擬對象。當(dāng)指導(dǎo)者操作物品ID為空時(即，在步驟S572中為“否”)，則指導(dǎo)者當(dāng)前沒有操作任何虛擬對象，因此該處理流程前進(jìn)至步驟S576。當(dāng)存儲有指導(dǎo)者操作物品ID時(即，在步驟S572中為“是”)，指導(dǎo)者當(dāng)前正在操作虛擬對象，于是該處理流程前進(jìn)至步驟S574。
在步驟S574中，管理服務(wù)器60將在圖9所示的指導(dǎo)者操作物品ID的內(nèi)容重寫為空并且終止該接收事件處理。
在步驟S576中，管理服務(wù)器60將存儲在虛擬對象管理部分62中的當(dāng)前指導(dǎo)者指示筆位置與處于工作人員混合現(xiàn)實空間中的所有虛擬對象的位置進(jìn)行比較，獲得距離。
在步驟S578中，根據(jù)比較結(jié)果判斷是否存在處于預(yù)定距離內(nèi)的虛擬對象(即，該距離是否在一閾值范圍內(nèi))。當(dāng)存在這樣的虛擬對象時(即，在步驟S578中為“是”)，將該虛擬對象(例如，在多個虛擬對象的情況下的最近一個)識別為操作對象。該處理流程前進(jìn)至步驟S580。否則，該管理服務(wù)器60終止接收事件處理。
在步驟S580中，判斷在步驟S578中所獲得的操作對象ID是否與在圖9所示的工作人員操作物品ID一致。當(dāng)所比較的ID相互一致時(即，在步驟S580中為“是”)，則工作人員當(dāng)前正在操作所標(biāo)識的虛擬對象。管理服務(wù)器60使接收事件處理終止。
當(dāng)所比較的ID彼此不一致時(即，在步驟S580中為“否”)，處理流程前進(jìn)至步驟S582。在步驟S582中，管理服務(wù)器60在使接收事件處理終止之前將在步驟S578中所獲得的操作對象ID作為指導(dǎo)者操作物品ID寫入到圖9的表中。
在圖9所示的工作人員操作物品ID和指導(dǎo)者操作物品ID可以由多個過程(或線程)訪問。管理服務(wù)器60重寫該表的內(nèi)容，同時阻止從其它過程(或線程)進(jìn)行訪問。這樣，管理服務(wù)器60能夠管理每個虛擬對象的操作權(quán)限。
該示例性實施方案使用了兩個設(shè)置在工作人員空間中的攝像機(jī)。但是，上述處理即使在攝像機(jī)的總數(shù)為三個或多個時也很容易進(jìn)行。另外，三維位置和取向傳感器21a和21b和指示筆41a和41b不限于磁性類型，而是可以用光學(xué)類型或任意其它類型代替。另外，虛擬對象43不限于真實對象的CG模型。上述處理能夠類似地應(yīng)用于任何其它虛擬對象。
代替使用上述HMD20b，指導(dǎo)者可以使用立體顯示器。在這種情況下，立體顯示器能夠用作設(shè)置在指導(dǎo)者空間中的如圖2B所示的顯示單元23b。當(dāng)該顯示單元為偏振光類型或液晶快門類型時，指導(dǎo)者可以戴上偏振光眼鏡或液晶快門眼鏡，而不是使用HMD。
另外，根據(jù)雙凸透鏡方法，指導(dǎo)者可以在不使用任何眼鏡的情況下觀察到立體圖像。但是，無論在什么情況下，顯示單元必須配備有三維位置和取向傳感器，以測量出指導(dǎo)者頭部的位置和取向。
根據(jù)上述示例性實施方案，在遠(yuǎn)處的指導(dǎo)者可以通過選擇多個攝像機(jī)視點中的所期望的一個，包括工作人員的HMD攝像機(jī)視點，來觀看混合現(xiàn)實視頻，從而無縫地感知工作人員的空間。因此，指導(dǎo)者能夠?qū)⑷S工作指令給予工作人員。
另外，在遠(yuǎn)處的多個參與者可以通過選擇多個攝像機(jī)視點中的所期望的一個來觀看混合現(xiàn)實視頻，以無縫地感知工作人員的空間。因此，處于遠(yuǎn)處的多個參與者能夠很容易進(jìn)行三維協(xié)同工作。
第二示例性實施方案根據(jù)第一示例性實施方案，指導(dǎo)者可以在設(shè)置在工作人員空間中的攝像機(jī)和工作人員的頭戴式攝像機(jī)之中選擇所期望的視點。但是，工作人員不能立即知道指導(dǎo)者的視點。為了解決這個問題，第二示例性實施方案使得工作人員能夠確認(rèn)顯示出指導(dǎo)者的視點位置的標(biāo)識符。
更具體地說，指導(dǎo)者的指示標(biāo)41b能夠根據(jù)攝像機(jī)視點改變其顏色。例如，在圖2A中，當(dāng)指導(dǎo)者選擇攝像機(jī)70a的視點時，指導(dǎo)者的指示標(biāo)41b轉(zhuǎn)為綠色。當(dāng)選擇攝像機(jī)70b的視點時，指導(dǎo)者的指示標(biāo)41b轉(zhuǎn)為藍(lán)色。當(dāng)選擇工作人員的攝像機(jī)視點時，指導(dǎo)者的指示標(biāo)41b轉(zhuǎn)為紅色。通過這種設(shè)定，工作人員能夠很容易感知到指導(dǎo)者的視點。
下面將對根據(jù)第二示例性實施方案的操作進(jìn)行更詳細(xì)說明。在圖10所示的第一示例性實施方案的攝像機(jī)管理表可以改為如圖11所示。圖11的表包括用來表示與各個攝像機(jī)對應(yīng)的顏色信息的附加欄，從而指示標(biāo)41b能夠響應(yīng)于對攝像機(jī)的選擇，參照該表的顏色信息來改變其顏色。
管理服務(wù)器60能夠通過以下過程來實現(xiàn)該處理。首先，當(dāng)在圖5B所示的步驟S530中選擇新的攝像機(jī)時，管理服務(wù)器60所示產(chǎn)生顏色改變事件(即，用于改變指示標(biāo)41b的顏色的事件)。然后，管理服務(wù)器60改變存儲在虛擬對象通信管理部分61中的場景圖形。然后，將該顏色改變事件傳送給工作人員混合現(xiàn)實設(shè)備10a。
作為用于使得工作人員能夠識別指導(dǎo)者的視點位置的另一種方法，可以將指導(dǎo)者面部的具體形象或任意其它標(biāo)識符顯示在設(shè)在工作人員空間中的攝像機(jī)附近，或者可以將它疊加在該攝像機(jī)上。根據(jù)該方法，工作人員在工作人員將其面部轉(zhuǎn)向攝像機(jī)時能夠立即確認(rèn)指導(dǎo)者的視點位置。
為了實現(xiàn)該操作，當(dāng)在步驟S530中選擇新的攝像機(jī)時，管理服務(wù)器60能夠?qū)G生成事件(即，用于在攝像機(jī)位置處或其附近生成標(biāo)識符的CG的事件)傳送給虛擬對象通信管理部分61，并且傳送給工作人員混合現(xiàn)實設(shè)備10a。
上述處理能夠很容易進(jìn)行，因為預(yù)先已經(jīng)知道在工作人員空間的世界坐標(biāo)系中的攝像機(jī)位置。另外，為了將該標(biāo)識符與其它虛擬對象區(qū)分開，可以將用于禁止操作標(biāo)識符CG的特定屬性賦予該標(biāo)識符。
另外，除了上述處理之外，管理服務(wù)器60可以將CG刪除事件(即，用于刪除為前一攝像機(jī)顯示的CG的事件)傳送給虛擬對象通信管理部分61，并且傳送給工作人員混合顯示設(shè)備10a。
如上所述，顯示用于表示在工作人員空間中的指導(dǎo)者視點的適當(dāng)標(biāo)識符使得工作人員能夠很容易感知到指導(dǎo)者的視點。因此，可以改善遠(yuǎn)程工作效率。
第三示例性實施方案根據(jù)第一示例性實施方案，只有一個處于遠(yuǎn)處的指導(dǎo)者能夠支持工作人員。如果該系統(tǒng)能夠允許多個遠(yuǎn)程操作人員來共享工作人員混合現(xiàn)實空間，則該系統(tǒng)的可用性能夠得到進(jìn)一步改進(jìn)。
圖6A和6B圖解了第三示例性實施方案的構(gòu)思。圖6A和6B的操作狀態(tài)與圖2A、2B和2C的不同之處在于，兩個遠(yuǎn)程參與者50b和50c能夠共享圖6A所示的工作人員混合現(xiàn)實空間。
遠(yuǎn)程參與者50c的指示標(biāo)41c能夠被顯示在工作人員混合現(xiàn)實空間中，并且能夠由所有參與者共享。遠(yuǎn)程參與者50b和50c能夠分別觀看顯示在圖6B所示的顯示單元23b和23c上的圖像。根據(jù)該實施例，遠(yuǎn)程參與者50b正在從攝像機(jī)70a的視點觀看工作人員混合現(xiàn)實空間，并且遠(yuǎn)程參與者50c正在從攝像機(jī)70b的視點進(jìn)行觀察。
與第一示例性實施方案類似，每個遠(yuǎn)程參與者的指示筆包括第一和第二按鍵(未示出)?？梢允褂玫谝话存I來保持或釋放虛擬對象，同時可以使用第二按鍵來切換攝像機(jī)視點位置。
例如，在圖6B的情況中，遠(yuǎn)程參與者50b能夠通過按壓指示筆的第二按鍵，將視點位置從攝像機(jī)70a切換到攝像機(jī)70b。另外，遠(yuǎn)程參與者50b能夠通過再次按壓指示筆的第二按鍵，將視點位置從攝像機(jī)70b切換至工作人員的攝像機(jī)。另外，遠(yuǎn)程參與者50b能夠通過再次按壓指示筆的第二按鍵來將視點位置從工作人員攝像機(jī)切換到攝像機(jī)70a。
類似地，遠(yuǎn)程參與者50c能夠通過按壓指示筆的第二按鍵來連續(xù)地切換視點位置。遠(yuǎn)程參與者能夠選擇相同的視點，但是只允許一個參與者操作虛擬對象。
圖7顯示出根據(jù)第三示例性實施方案的遠(yuǎn)程混合現(xiàn)實共享系統(tǒng)的實施例。在圖7所示的布置包括兩個遠(yuǎn)程參與者混合現(xiàn)實設(shè)備10b和10c，每個都具有與圖1所示的指導(dǎo)者混合現(xiàn)實設(shè)備10b的布置相同的布置。
參與者混合現(xiàn)實設(shè)備10b與在圖1所示的與管理服務(wù)器60相關(guān)的指導(dǎo)者混合現(xiàn)實設(shè)備10b沒有什么不同。參與者混合現(xiàn)實設(shè)備10c具有與管理服務(wù)器60的話音通信管理部分66連接的話音傳送和接收部分35c、與管理服務(wù)器60的話音視頻通信管理部分65連接的視頻接收部分66和與管理服務(wù)器60的虛擬對象通信管理部分61連接的虛擬對象傳送部分31c。
雖然該例子顯示出兩個遠(yuǎn)程參與者，但是可以通過提供與管理服務(wù)器60連接的另外的遠(yuǎn)程參與者混合現(xiàn)實設(shè)備來增加遠(yuǎn)程參與者的總數(shù)。
下面將與第一示例性實施方案相比較來說明第三示例性實施方案的處理。與工作人員混合現(xiàn)實設(shè)備10a相關(guān)的處理與在圖3所示的流程圖沒有什么不同。與遠(yuǎn)程參與者混合現(xiàn)實設(shè)備10b和10c相關(guān)的處理與在圖4所示的流程圖沒有什么不同。與管理服務(wù)器60相關(guān)的處理與圖5A、5B和5C的流程圖不同，因為增加了與管理服務(wù)器60連接的遠(yuǎn)程設(shè)備的數(shù)量。
圖8A、8B和8C為流程圖，顯示出在根據(jù)第三示例性實施方案的管理服務(wù)器60中進(jìn)行的部分接收事件處理。
該虛擬對象通信管理部分61能夠接收與工作人員的指示筆位置和遠(yuǎn)程參與者的指示筆位置相關(guān)的信息。用于工作人員指示筆位置信息的處理與第一示例性實施方案中的處理沒有不同。管理服務(wù)器60在圖8A的步驟S600開始遠(yuǎn)程參與者的指示筆位置事件處理。
在步驟S602中，管理服務(wù)器60將從參與者視點看到的遠(yuǎn)程參與者指示筆的相對位置信息轉(zhuǎn)換成從所選攝像機(jī)的視點看到的相對位置信息。在這種情況下，可以從圖13的第二欄中獲得所選攝像機(jī)的視點位置。
在步驟S604中，管理服務(wù)器60能夠?qū)⒃诓襟ES602中獲得的遠(yuǎn)程參與者指示筆信息反映成存儲在虛擬對象管理部分62中的場景圖形的指示標(biāo)信息。在步驟S608中，參照在圖12所示的虛擬對象管理表來判斷遠(yuǎn)程參與者是否正在用指示筆操作虛擬對象。
虛擬對象管理表為一矩陣，顯示出工作人員和遠(yuǎn)程參與者當(dāng)前正在操作的虛擬對象、列在第一欄中的虛擬對象的類型以及在隨后的欄中顯示出的工作人員和遠(yuǎn)程參與者。
管理服務(wù)器60能夠使用該虛擬對象管理表來管理參與者對虛擬對象的操作。根據(jù)圖12的實施例，遠(yuǎn)程參與者A正在操作虛擬對象I，并且遠(yuǎn)程參與者B正在操作虛擬對象III。對于每個參與者而言，將On標(biāo)記放入到參與者當(dāng)前正在操作的虛擬對象的行中。否則將“空”存儲在該單元中。從該表中可以理解，每個虛擬對象只能由一個參與者操作。
根據(jù)該處理，管理服務(wù)器60檢查已經(jīng)傳送了指示筆位置事件的遠(yuǎn)程參與者欄。當(dāng)存在具有On標(biāo)記的虛擬對象時(即，在步驟S608中為“是”)，該遠(yuǎn)程參與者當(dāng)前正在操作該虛擬對象。該處理流程前進(jìn)至步驟S610。
否則，該遠(yuǎn)程參與者當(dāng)前沒有操作任何虛擬對象，于是該處理流程前進(jìn)至步驟S612。在步驟S610中，管理服務(wù)器60將虛擬對象移動到指示筆位置，并且改變場景圖形。
在步驟S612中，管理服務(wù)器60在使該例程的處理終止之前，將指示筆位置和虛擬對象操作事件傳送給工作人員混合現(xiàn)實設(shè)備10a。
圖8B顯示出視點變化按鍵事件處理。當(dāng)遠(yuǎn)程參與者按壓指示筆的第二按鍵時，該事件能夠由虛擬對象通信管理部分61接收到并且發(fā)送給虛擬對象管理部分62。
圖13的攝像機(jī)管理表顯示出遠(yuǎn)程參與者能夠選擇作為用于觀察混合現(xiàn)實空間的視點的多個攝像機(jī)視點。圖13的表包括多個列在第一欄中的攝像機(jī)ID。根據(jù)該例子，除了工作人員攝像機(jī)之外還存在總共n個攝像機(jī)。
該表的第二欄列出了由在工作人員空間的世界坐標(biāo)系中所限定的6參數(shù)數(shù)據(jù)組表示的攝像機(jī)視點的位置數(shù)據(jù)。該表的第三欄和隨后各欄顯示出當(dāng)前為遠(yuǎn)程指導(dǎo)者提供視點的攝像機(jī)的“標(biāo)記”的狀態(tài)。根據(jù)該例子，遠(yuǎn)程參與者B正在從攝像機(jī)I的視點觀察，并且遠(yuǎn)程參與者C正在從攝像機(jī)n的視點進(jìn)行觀察。
如果遠(yuǎn)程參與者B在這種情況下按壓了指示筆的第二按鍵，On標(biāo)記就從攝像機(jī)I移動至攝像機(jī)II。
這樣，在每次按壓該按鍵時，遠(yuǎn)程參與者的視點攝像機(jī)能夠按照在圖13的表中所示的順序連續(xù)變化(被選擇)。根據(jù)該順序，最后可以選擇工作人員攝像機(jī)，然后可以再次選擇攝像機(jī)I。
在步驟S630中，如上所述，On標(biāo)記從當(dāng)前所選的攝像機(jī)移動到下一個攝像機(jī)。在下一個步驟S632中，虛擬對象管理部分62將終止命令發(fā)送給視頻通信管理部分65以終止當(dāng)前的視頻連接。該視頻通信管理部分65然后使視頻通信斷開。
在步驟S634中，視頻通信管理部分65參照在圖13所示的攝像機(jī)管理表，開始新的視頻通信連接。當(dāng)具有On標(biāo)記的攝像機(jī)為攝像機(jī)服務(wù)器的攝像機(jī)時，可以將所選攝像機(jī)的圖像信號輸入到圖像組合部分64中。
當(dāng)具有On標(biāo)記的攝像機(jī)為工作人員的攝像機(jī)時，沒有圖像信號可以從圖像組合部分64輸入給視頻通信管理部分65。相反，可以在終止該例程的處理之前，從話音通信管理部分66將工作人員混合現(xiàn)實設(shè)備10a的輸出傳送給相應(yīng)的遠(yuǎn)程參與者混合現(xiàn)實設(shè)備10b。這樣，遠(yuǎn)程參與者能夠通過切換視點來觀看混合現(xiàn)實視頻。
在圖8C所示的指導(dǎo)者按鍵事件處理的步驟S671中，管理服務(wù)器60通過進(jìn)行與圖8A的步驟S602類似的處理將遠(yuǎn)程參與者的指示筆位置轉(zhuǎn)換成工作人員的世界坐標(biāo)。虛擬對象管理部分62存儲經(jīng)過轉(zhuǎn)換的遠(yuǎn)程參與者指示筆位置。
在步驟S672中，通過檢查圖12所示的遠(yuǎn)程參與者操作物品ID，判斷已經(jīng)傳送了按鍵事件的遠(yuǎn)程參與者當(dāng)前是否正在操作虛擬對象。當(dāng)不存在任何On標(biāo)記時(即在步驟S672中為“否”)，該遠(yuǎn)程參與者當(dāng)前沒有操作任何虛擬對象，因此處理流程前進(jìn)至步驟S676。當(dāng)存在On標(biāo)記時(即，在步驟S672中為“是”)，該遠(yuǎn)程參與者當(dāng)前正在操作虛擬對象，因此處理流程前進(jìn)至步驟S674。
在步驟S674中，管理服務(wù)器60將圖12所示的相應(yīng)遠(yuǎn)程參與者的欄重寫為“空”并且終止該例程的處理。在步驟S676中，管理服務(wù)器60將存儲在虛擬對象管理部分62中的當(dāng)前遠(yuǎn)程參與者的指示筆位置與處于工作人員混合現(xiàn)實空間中的所有虛擬對象的位置進(jìn)行比較，以獲得距離。
在步驟S678中，根據(jù)比較結(jié)果判斷是否存在處于預(yù)定距離內(nèi)的虛擬對象(即，該距離是否在一閾值范圍內(nèi))。當(dāng)存在這樣的虛擬對象時(即，在步驟S678中為“是”)，將該虛擬對象(例如，在多個虛擬對象的情況下，最近的一個)識別為操作對象。該處理流程前進(jìn)至步驟S680。否則，該管理服務(wù)器60終止接收事件處理。
在步驟S680中，判斷在步驟S678中所獲得的操作對象ID是否與在圖12所示的工作人員操作物品ID一致。當(dāng)在虛擬操作對象的行中有On標(biāo)記時(即，在步驟S680中為“是”)，則另一個參與者當(dāng)前在操作所標(biāo)記的虛擬對象。管理服務(wù)器60使接收事件處理終止。
當(dāng)在虛擬操作對象的行中沒有On標(biāo)記時(即，在步驟S680中“否”)，處理流程前進(jìn)至步驟S682。在步驟S682中，管理服務(wù)器60在使遠(yuǎn)程參與者按鍵處理結(jié)束之前，將在步驟S678中所獲得的操作對象ID分配到在圖12的表中的On標(biāo)記。通過上述處理，多個遠(yuǎn)程參與者能夠從多個視點觀察工作人員混合現(xiàn)實空間，并且可以指示或操作共享虛擬對象。
第四實施方案根據(jù)第三示例性實施方案，遠(yuǎn)程參與者能夠在設(shè)置在工作人員空間中的攝像機(jī)和工作人員的頭戴式攝像機(jī)之中選擇所期望的視點。但是，工作人員不能立即知道遠(yuǎn)程參與者的視點。為了解決這個問題，第四示例性實施方案使得工作人員能夠確認(rèn)顯示出遠(yuǎn)程參與者的視點位置的標(biāo)識符。
為此，可以將指導(dǎo)者面部的具體形象或任意其它標(biāo)識符顯示在設(shè)在工作人員空間中的攝像機(jī)附近，或者可以將它疊加在該攝像機(jī)上。根據(jù)該方法，工作人員在工作人員將其面部轉(zhuǎn)向攝像機(jī)時能夠立即確認(rèn)遠(yuǎn)程指導(dǎo)者的視點位置。
為了實現(xiàn)該操作，當(dāng)在步驟S630中選擇新的攝像機(jī)時，管理服務(wù)器60能夠?qū)G生成事件(即，用于在攝像機(jī)位置處或其附近生成標(biāo)識符的CG的事件)傳送給虛擬對象通信管理部分61，并且傳送給工作人員混合現(xiàn)實設(shè)備10a。
上述處理能夠很容易進(jìn)行，因為預(yù)先已經(jīng)知道在工作人員空間的世界坐標(biāo)系中的攝像機(jī)位置。
另外，為了將該標(biāo)識符與其它虛擬對象區(qū)分開，可以將用于禁止操作標(biāo)識符CG的特定屬性賦予該標(biāo)識符。
另外，除了上述處理之外，管理服務(wù)器60可以將CG刪除事件(即，用于刪除為前一攝像機(jī)顯示的CG的事件)傳送給虛擬對象通信管理部分61，并且傳送給工作人員混合顯示設(shè)備10a。
如上所述，在工作人員空間中顯示用于表示遠(yuǎn)程指導(dǎo)者視點的適當(dāng)標(biāo)識符使得不僅工作人員而且還有遠(yuǎn)程參與者能夠很容易感知到另一個參與者的視點。因此，可以改善遠(yuǎn)程工作效率。
作為面部的CG的替換方案，該標(biāo)識符可以為表示另一個參與者的姓名的文本數(shù)據(jù)或顏色標(biāo)識符。當(dāng)多個遠(yuǎn)程參與者共享相同的攝像機(jī)視點時，這些遠(yuǎn)程參與者的標(biāo)識符應(yīng)該按照彼此區(qū)分開的方式顯示。
第五示例性實施方案根據(jù)第三示例性實施方案，將立體攝像機(jī)固定在工作人員空間中。但是立體攝像機(jī)可以是可動的，例如允許搖攝和俯仰運動，或者可以安裝在汽車上。在這種情況下，可以用安裝在攝像機(jī)上的三維位置和取向傳感器實時地測量攝像機(jī)的視點位置和取向。
可以通過在攝像機(jī)的操作期間時刻測量出攝像機(jī)位置和取向，并且將所測量出的結(jié)果(即，攝像機(jī)視點位置坐標(biāo))存儲在圖12的表中，來實現(xiàn)與第三示例性實施方案相同的操作。
當(dāng)遠(yuǎn)程參與者需要輸入設(shè)備來移動和控制攝像機(jī)時，為該目的可以在指示筆上設(shè)置操縱桿或其他相當(dāng)?shù)难b置。
另外，為了避免來自多個參與者的攝像機(jī)操作請求相互沖突，管理服務(wù)器60或攝像機(jī)服務(wù)器70a和70b應(yīng)該具有基于公知技術(shù)的操作權(quán)限管理功能。
如上所述，多個遠(yuǎn)程參與者能夠從多個攝像機(jī)視點觀察工作人員混合現(xiàn)實空間，并且也能夠從遠(yuǎn)處控制視點位置和取向。因此，可以實現(xiàn)改進(jìn)的遠(yuǎn)程協(xié)作支持系統(tǒng)。
雖然已經(jīng)參照了示例性實施方案對本發(fā)明進(jìn)行了說明，但是要理解的是，本發(fā)明不限于所披露的示例性實施方案。要將下面權(quán)利要求的范圍給予最寬的解釋以便涵蓋所有變型、等同結(jié)構(gòu)和功能。
權(quán)利要求
1.一種信息處理方法，用于使得第二用戶能夠共享包括疊加在第一用戶所處空間中的虛擬對象的混合現(xiàn)實空間圖像，該方法包括第一圖像獲取步驟，用于根據(jù)來自安裝在第一用戶上的第一立體攝像部分的立體視頻數(shù)據(jù)和基于第一立體攝像部分的位置和取向產(chǎn)生的虛擬對象圖像獲得第一立體圖像；第二圖像獲取步驟，用于根據(jù)來自設(shè)在第一用戶所處空間中的第二立體攝像部分的立體視頻數(shù)據(jù)和基于第二立體攝像部分的位置和取向產(chǎn)生的虛擬對象圖像來獲取第二立體圖像；選擇步驟，根據(jù)所述第二用戶的指令從第一立體圖像和第二立體圖像中選擇圖像；以及顯示步驟，用于將所選的圖像顯示給所述第二用戶。
2.如權(quán)利要求1所述的信息處理方法，還包括操作對象位置獲取步驟，用于獲得由所述第二用戶操作的操作對象的位置；第二用戶位置和取向獲取步驟，用于獲取所述第二用戶的位置和取向；以及相對位置信息獲取步驟，用于獲取表示操作對象相對于所述第二用戶的位置和取向的位置的相對位置信息。
3.如權(quán)利要求2所述的信息處理方法，還包括生成步驟，用于參照操作對象的相對位置信息和第一和第二立體攝像部分中與所選圖像對應(yīng)的的一個的位置和取向，根據(jù)第一立體攝像部分的位置和取向生成操作對象虛擬圖像；組合步驟，用于將操作對象虛擬圖像與第一立體圖像組合以產(chǎn)生合成圖像；以及顯示步驟，用于將合成圖像顯示給第一用戶。
4.如權(quán)利要求2所述的信息處理方法，還包括識別圖像生成步驟，用于生成表示所選圖像的識別圖像；識別圖像組合步驟，用于將識別圖像與第一立體圖像組合以生成合成圖像；顯示步驟，用于將在識別圖像組合步驟中生成的合成圖像顯示給第一用戶。
5.如權(quán)利要求4所述的信息處理方法，其中識別圖像為操作對象的虛擬圖像，并且操作對象的虛擬圖像的顏色根據(jù)所選圖像變化。
6.一種信息處理設(shè)備，用于使得第二用戶能夠共享包括疊加在第一用戶所處空間中的虛擬對象的混合現(xiàn)實空間圖像，該設(shè)備包括第一圖像獲取單元，用于根據(jù)來自安裝在第一用戶上的第一立體攝像部分的立體視頻數(shù)據(jù)和基于第一立體攝像部分的位置和取向產(chǎn)生的虛擬對象圖像獲得第一立體圖像；第二圖像獲取單元，用于根據(jù)來自設(shè)在第一用戶所處空間中的第二立體攝像部分的立體視頻數(shù)據(jù)和基于第二立體攝像部分的位置和取向產(chǎn)生的虛擬對象圖像來獲取第二立體圖像；選擇單元，根據(jù)所述第二用戶的指令從第一立體圖像和第二立體圖像中選擇圖像；以及顯示單元，用于將所選的圖像顯示給所述第二用戶。
全文摘要
本申請涉及信息處理方法和設(shè)備，用于使得一個或多個第二用戶能夠共享包括疊加在第一用戶所處空間中的虛擬對象的混合現(xiàn)實空間圖像。根據(jù)由安裝在第一用戶上的第一立體攝像部分捕獲的立體視頻數(shù)據(jù)以及基于第一立體攝像部分的位置和取向產(chǎn)生出的虛擬對象圖像來獲取第一立體圖像。根據(jù)由設(shè)在第一用戶所處空間中的第二立體攝像部分所捕獲的立體視頻數(shù)據(jù)以及基于第二立體攝像部分的位置和取向產(chǎn)生出的虛擬對象圖像來獲取第二立體圖像。根據(jù)第二用戶的指令從第一立體圖像和第二立體圖像中選擇圖像。將所選的圖像呈現(xiàn)給第二用戶。
文檔編號H04N13/02GK1845064SQ200610073300
公開日2006年10月11日 申請日期2006年4月7日 優(yōu)先權(quán)日2005年4月8日
發(fā)明者坂內(nèi)祐一 申請人:佳能株式會社