專利名稱：圖像處理設(shè)備、圖像處理方法、程序以及圖像處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備、圖像處理方法、程序以及圖像處理系統(tǒng)。
背景技術(shù)：
過去，已開發(fā)了稱作MR(混合現(xiàn)實)的技術(shù)以為用戶提供混合真實世界和虛擬世界的環(huán)境。AR(增強(qiáng)現(xiàn)實)，作為MR的實例，為用戶提供通過對真實空間進(jìn)行成像來獲得以及用虛擬對象圖像或附加信息來增強(qiáng)的圖像。在MR中，常常在真實世界中布置一些接口以允許用戶與虛擬世界或虛擬對象交互。例如，日本專利申請公開2002-247602號描述了用于提供這樣的桌上冰球游戲的MR系統(tǒng)在該游戲中，多個用戶通過操縱控制箱(即，真實世界中的物理對象)互相擊打冰球。

發(fā)明內(nèi)容
然而，在如日本專利申請公開2002-M7602號中描述的系統(tǒng)中一樣由多個用戶共享一個虛擬對象的情形中，會由于例如設(shè)備之間的通信延遲或者處理的延遲而在真實世界的狀態(tài)與虛擬對象的狀態(tài)之間出現(xiàn)不匹配。例如，在日本專利申請公開2002-247602號中描述的MR系統(tǒng)中，作為主控(master)的MR游戲設(shè)備獲得由用戶的頭戴式顯示器(HMD)獲得的輸入圖像，對輸入圖像執(zhí)行預(yù)定處理，并向用戶的HMD發(fā)布輸出圖像。在此情形中，花費許多時間來獲取輸入圖像以及發(fā)布輸出圖像。因此，用戶手部的狀態(tài)與HMD上顯示的輸出圖像的狀態(tài)不匹配，該不匹配很可能使用戶感覺不舒服。在用于在由用戶佩戴的透視顯示器上投射虛擬對象的方法的情形中，問題在于用戶看到的真實世界的狀態(tài)以及在有通信延遲等的情況下投射的虛擬對象會在顯示器上彼此移位。
相應(yīng)地，本發(fā)明提供這樣的新型和改進(jìn)的圖像處理設(shè)備、圖像處理方法、程序以及圖像處理系統(tǒng)其可以在減少真實世界的狀態(tài)與虛擬對象的狀態(tài)之間的不匹配的同時提供混合現(xiàn)實。
根據(jù)本發(fā)明的實施例，提供了一種圖像處理設(shè)備，包括輸入圖像獲取單元，用于獲得通過拍攝真實空間的圖像而生成的輸入圖像；圖像識別單元，用于在檢測到表示操縱開始的第一用戶輸入時識別用于操縱虛擬對象的操縱物，其中，操縱物出現(xiàn)在輸入圖像中； 計算單元，用于根據(jù)由圖像識別單元提供的操縱物的識別結(jié)果計算虛擬對象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由計算單元計算出的顯示裝置的屏幕的位置處顯示虛擬對象；以及通信單元，用于在檢測到第一用戶輸入時向顯示相同虛擬對象的另一設(shè)備發(fā)送用于通知操縱開始的第一通知信號。
根據(jù)以上結(jié)構(gòu)，當(dāng)檢測到表示操縱開始的第一用戶輸入時，識別通過拍攝真實空間的圖像獲得的輸入圖像中出現(xiàn)的操縱物，作為識別的結(jié)果，控制虛擬對象的顯示。此外， 從操縱側(cè)圖像處理設(shè)備向觀察側(cè)圖像處理設(shè)備發(fā)送第一通知信號以通知操縱開始。
第一通知信號可以包括用于標(biāo)識虛擬對象的標(biāo)識數(shù)據(jù)或者表示虛擬對象位置的位置數(shù)據(jù)。
當(dāng)檢測到表示操縱結(jié)束的第二用戶輸入時，通信單元可以向另一設(shè)備發(fā)送第二通知信號以通知操縱結(jié)束。
第二通知信號可以包括表示由計算單元計算的表示虛擬對象位置的位置數(shù)據(jù)。
圖像識別單元還可以在通信單元從另一設(shè)備接收到第一通知信號時識別輸入圖像中出現(xiàn)的操縱物。
在由通信單元接收的第一通知信號與由圖像處理設(shè)備要顯示的虛擬對象無關(guān)時， 圖像識別單元可以不識別操縱物。
在檢測到第一用戶輸入并且之后作為由圖像識別單元提供的操縱物的識別結(jié)果確定操縱物與虛擬對象相接觸時，通信單元可以向另一設(shè)備發(fā)送第一通知信號。
通信單元可以向管理顯示同樣虛擬對象的一組設(shè)備的信息處理設(shè)備發(fā)送第一通知信號。
第一通知信號可以包括用于標(biāo)識虛擬對象的標(biāo)識數(shù)據(jù)或者表示虛擬對象位置的位置數(shù)據(jù)，可以經(jīng)由信息處理設(shè)備向顯示相同虛擬對象的另一設(shè)備傳送第一通知信號。
圖像處理設(shè)備可以進(jìn)一步包括存儲單元，存儲表示操縱物的操縱物圖像，并且圖像識別單元可以使用存儲單元中存儲的操縱物圖像來識別輸入圖像中出現(xiàn)的操縱物。
根據(jù)本發(fā)明的另一實施例，提供了一種由圖像處理設(shè)備執(zhí)行的圖像處理方法，包括步驟獲得通過拍攝真實空間的圖像而生成的輸入圖像；檢測表示操縱開始的第一用戶輸入；將第一通知信號發(fā)送到顯示與要由圖像處理設(shè)備操縱的虛擬對象相同的虛擬對象的另一設(shè)備，以通知操縱開始；識別出現(xiàn)在輸入圖像中的用于虛擬對象的操縱的操縱物；根據(jù)操縱物的識別結(jié)果計算虛擬對象要顯示在顯示裝置的屏幕上的位置；以及在計算出的顯示裝置的屏幕的位置處顯示虛擬對象。
根據(jù)本發(fā)明的另一實施例，提供了一種程序，用于使控制圖像處理設(shè)備的計算機(jī)作為輸入圖像獲取單元，用于獲得通過拍攝真實空間的圖像而生成的輸入圖像；圖像識別單元，用于在檢測到表示操縱開始的第一用戶輸入時識別用于操縱虛擬對象的操縱物， 其中，操縱物出現(xiàn)在輸入圖像中；計算單元，用于根據(jù)由圖像識別單元提供的操縱物的識別結(jié)果計算虛擬對象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由計算單元計算出的顯示裝置的屏幕的位置處顯示虛擬對象；以及通信單元，用于在檢測到第一用戶輸入時向顯示相同虛擬對象的另一設(shè)備發(fā)送用于通知操縱開始的第一通知信號。
根據(jù)本發(fā)明的另一實施例，提供了一種包括兩個或更多個圖像處理設(shè)備的圖像處理系統(tǒng)，其中，圖像處理設(shè)備中的每一個包括輸入圖像獲取單元，用于獲得通過拍攝真實空間的圖像而生成的輸入圖像；圖像識別單元，用于在檢測到表示操縱開始的第一用戶輸入時識別用于操縱虛擬對象的操縱物，其中，操縱物出現(xiàn)在輸入圖像中；計算單元，用于根據(jù)由圖像識別單元提供的操縱物的識別結(jié)果計算虛擬對象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由計算單元計算出的顯示裝置的屏幕的位置處顯示虛擬對象； 以及通信單元，用于在檢測到第一用戶輸入時向顯示相同虛擬對象的另一設(shè)備發(fā)送用于通知操縱開始的第一通知信號，其中，圖像識別單元還在通信單元從另一設(shè)備接收到第一通知信號時識別輸入圖像中出現(xiàn)的操縱物。
如上所述，根據(jù)本發(fā)明的圖像處理設(shè)備、圖像處理方法、程序以及圖像處理系統(tǒng)， 可以在減少真實世界的狀態(tài)與虛擬對象的狀態(tài)之間的不匹配的同時提供混合現(xiàn)實。


圖1是示出根據(jù)實施例的圖像處理系統(tǒng)的概況的示意圖； 圖2是示出根據(jù)與本發(fā)明有關(guān)的技術(shù)的圖像處理的說明圖； 圖3A是示出真實世界的狀態(tài)與虛擬對象的狀態(tài)之間的不匹配的第一-說明圖； 圖3B是示出真實世界的狀態(tài)與虛擬對象的狀態(tài)之間的不匹配的第二說明圖； 圖4是示出根據(jù)實施例的圖像處理設(shè)備的結(jié)構(gòu)實例的框圖； 圖5A是示出根據(jù)實施例的操縱物的實例的示意圖； 圖5B是示出根據(jù)實施例的操縱物的另一實例的示意圖； 圖6是示出對象數(shù)據(jù)的實例的說明圖； 圖7是示出根據(jù)實施例的虛擬對象的顯示位置計算處理的流程實例的流程圖 圖8A是示出根據(jù)實施例的操縱開始信號的說明圖； 圖8B是示出根據(jù)實施例的操縱結(jié)束信號的說明圖； 圖8C是示出根據(jù)實施例的自身位置通知信號的說明圖； 圖9是示出根據(jù)實施例的操縱側(cè)圖像處理的流程實例的流程圖； 圖10是示出根據(jù)實施例的觀察側(cè)圖像處理的流程實例的流程圖； 圖11是示出根據(jù)實施例的管理服務(wù)器的結(jié)構(gòu)實例的框圖； 圖12是示出根據(jù)實施例的信號傳送處理的流程實例的流程圖；以及 圖13是示出根據(jù)修改的圖像處理系統(tǒng)的示意圖。
具體實施例方式在下文中，將參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實施例。注意，在本說明書和附圖中，用相同的附圖標(biāo)記表示功能和結(jié)構(gòu)基本上相同的結(jié)構(gòu)元件，略去了這些結(jié)構(gòu)元件的重復(fù)說明。
另外，按如下順序描述實施例的詳細(xì)描述。
1.系統(tǒng)的概況 1-1.整個系統(tǒng)的概況 1-2.與相關(guān)領(lǐng)域相關(guān)聯(lián)的問題 2.關(guān)于圖像處理設(shè)備的說明 2-1.設(shè)備的示例性結(jié)構(gòu) 2-2.處理的流程 3.關(guān)于管理服務(wù)器的說明 3-1.設(shè)備的示例性結(jié)構(gòu) 3-2.處理的流程 4.變型 5.結(jié)論 <1.系統(tǒng)的概況〉 [1-1.整個系統(tǒng)的概況] 圖1是示出根據(jù)本發(fā)明實施例的圖像處理系統(tǒng)的概況的示意圖。圖1示出包括圖像處理設(shè)備IOOa和IOOb以及管理服務(wù)器200的圖像處理系統(tǒng)。圖像處理設(shè)備IOOa是由用戶版使用的設(shè)備。圖像處理設(shè)備IOOa可以經(jīng)由有線通信連接或無線通信連接與管理服務(wù)器200通信。圖像處理設(shè)備IOOb是由用戶Wd使用的設(shè)備。圖像處理設(shè)備IOOb也可以經(jīng)由有線通信連接或無線通信連接與管理服務(wù)器200通信。
圖像處理設(shè)備IOOa被連接到例如用戶Ua在頭上佩戴的HMD 104a和攝像裝置 102a。攝像裝置10 跟隨用戶fe的注視方向并在注視方向上拍攝真實世界Rl的圖像。然后，攝像裝置10 將一系列輸入圖像輸出到圖像處理設(shè)備100a。HMD 10 向用戶fe顯示由圖像處理設(shè)備IOOa提供的圖像。例如，由HMD 10 顯示的圖像是包括用戶fe視野中虛擬對象Vl的圖像。
同樣地，圖像處理設(shè)備IOOb被連接到例如用戶Ub在頭上佩戴的HMD 104b和攝像裝置102b。攝像裝置102b跟隨用戶Ub的注視方向并在注視方向上拍攝真實世界Rl的圖像。然后，攝像裝置102b將一系列輸入圖像輸出到圖像處理設(shè)備100b。HMD 104b向用戶證顯示由圖像處理設(shè)備IOOb提供的圖像。在本實施例中，圖像處理設(shè)備IOOa和IOOb共享虛擬對象VI。S卩，由HMD 104b顯示的圖像也可以包括用戶Ub視野中的虛擬對象VI。
在本說明書中，當(dāng)沒有必要相互區(qū)分圖像處理設(shè)備IOOa和IOOb時，可以略去以后綴的形式附加到附圖標(biāo)記的字母。在這種情形中，將圖像處理設(shè)備IOOa和IOOb統(tǒng)稱為圖像處理設(shè)備100。也可以按類似方式統(tǒng)稱攝像裝置10 和102b (攝像裝置10 ,HMD 104a 和104b(HMD 104)以及其它組件。根據(jù)本實施例的圖像處理系統(tǒng)中的圖像處理設(shè)備100的數(shù)量不限于圖1中示出的實例，而可以是三個或更多個。例如，圖像處理系統(tǒng)還可以包括由第三個用戶使用的第三圖像處理設(shè)備100。
管理服務(wù)器200是用于在系統(tǒng)中管理關(guān)于圖像處理設(shè)備100的信息的信息處理設(shè)備。例如，管理服務(wù)器200以規(guī)則間隔(或者每次出現(xiàn)改變時)從每個圖像處理設(shè)備100 接收攝像裝置102的姿勢和位置，并將接收的數(shù)據(jù)存儲到數(shù)據(jù)庫。然后，當(dāng)管理服務(wù)器200 從圖像處理設(shè)備100中的一個接收到表示虛擬對象Vl的操縱的信號時，管理服務(wù)器200向共享虛擬對象Vl的另一圖像處理設(shè)備100傳送該信號。
[1-2.與相關(guān)領(lǐng)域相關(guān)聯(lián)的問題] 隨后，將參照圖2、圖3A和圖;3B說明如圖1所示的圖像處理系統(tǒng)中與本發(fā)明相關(guān)的技術(shù)相關(guān)聯(lián)的問題。圖2是示出根據(jù)相關(guān)領(lǐng)域的典型圖像處理的說明圖。圖3A和圖;3B 是各自示出可能在參照圖2說明的圖像處理中出現(xiàn)的、真實世界的狀態(tài)與虛擬對象的狀態(tài)之間的不匹配的說明圖。
在圖2中，以用數(shù)字表明的框示出了根據(jù)相關(guān)領(lǐng)域的圖像處理的典型流程?？蛑斜砻鞯臄?shù)字表示處理的次序。即，在相關(guān)領(lǐng)域中，按如下順序執(zhí)行圖像處理。
(1)識別操縱物 (2)確定對象位置 (3)報告對象ID和位置 (4)發(fā)布對象ID和位置 (5)移動虛擬對象 (1)識別操縱物 首先，圖像處理設(shè)備100中的一個圖像處理設(shè)備(在圖2的實例中，圖像處理設(shè)備
7100a)識別輸入圖像中出現(xiàn)的操縱物。操縱物是用于操縱虛擬對象的真實世界中的物理對象。操縱物可以是諸如用戶手部的人體的一部分，或者可以是除了人體之外的預(yù)定物理對象。
(2)確定對象位置 隨后，基于操縱物的位置(或移動)與虛擬對象的位置之間的關(guān)系確定虛擬對象的新位置。例如，在操縱物與虛擬對象相接觸的同時進(jìn)行移動的情形中，可以根據(jù)操縱物的移動更新虛擬對象的位置。
(3)報告對象ID和位置 隨后，向管理服務(wù)器200報告虛擬對象的新位置以及對象ID(標(biāo)識符)。
(4)發(fā)布對象ID和位置 隨后，管理服務(wù)器200將虛擬對象的新位置以及對象ID發(fā)布給共享相同虛擬對象的另一圖像處理設(shè)備100 (在圖2的實例中，圖像處理設(shè)備100b)。
(5)移動虛擬對象 隨后，在共享相同虛擬對象的另一圖像處理設(shè)備100中，HMD 104的屏幕上的虛擬對象移動。
在圖2的實例中，圖像處理設(shè)備IOOa執(zhí)行處理⑴和⑵。可選擇地，代替圖像處理設(shè)備100a，管理服務(wù)器200可以在從圖像處理設(shè)備IOOa接收到輸入圖像時執(zhí)行處理(1) 和O)。又可選擇地，可以不布置管理服務(wù)器200。在此情形中，從圖像處理設(shè)備IOOa向圖像處理設(shè)備IOOb直接發(fā)送虛擬對象的新位置以及對象ID。
在如以上說明的圖像處理中，在圖像處理設(shè)備IOOb完成虛擬對象的移動時已經(jīng)過去了這樣的時間該時間包括時差和由設(shè)備之間的通信引起的處理延遲。于是，例如，當(dāng)在由攝像裝置102b拍攝的圖像內(nèi)覆蓋虛擬對象Vl時，HMD 104b上顯示的圖像在操縱物的狀態(tài)與虛擬對象Vl的狀態(tài)之間具有不匹配。
圖3A和圖;3B以更具體的方式示出以上問題。圖3A示出包括由時間間隔T隔開的兩幀圖像的實例。HMD 104a向用戶Ua (即，操縱虛擬對象Vl的人)顯示該兩幀。另一方面，圖3B示出包括由時間間隔T隔開的兩幀圖像的實例。HMD 104b向用戶證(S卩，觀察虛擬對象Vl的人)顯示該兩幀。在此實例中，操縱物是用戶的手部。
如圖3A中所示，操縱物Hl在時間t = 0與虛擬對象Vla相接觸。此后，在時間t =T，虛擬對象Vla隨著操縱物Hl移動向左移動。即使在時間t = T，操縱物Hl也與虛擬對象Vla相接觸。
圖;3B與圖3A的相同之處在于在時間t = 0操縱物Hl與虛擬對象Vlb相接觸。虛擬對象Vla和虛擬對象Vlb是具有相同對象ID的相同對象。然而，因為在不同HMD上顯示對象，所以為方便起見用不同附圖標(biāo)記表示對象。此后，在時間t = T，虛擬對象Vlb隨著操縱物Hl移動向左移動。在時間t = T，由于時差和由設(shè)備之間的通信引起的處理延遲， 圖像處理設(shè)備IOOb接收到在當(dāng)前幀之前數(shù)幀的幀中虛擬對象的位置。因此，在時間t = T 在HMD 104b上顯示的虛擬對象Vlb的位置從在時間t = T在HMD 104a上顯示的虛擬對象 Vla的位置移位位移d。然而，在真實世界中，由攝像裝置102b拍攝的操縱物Hl的位置與由攝像裝置10 拍攝的操縱物Hl的位置相同。于是，操縱物Hl的位置在HMD 104b上顯示的圖像中與虛擬對象Vlb不匹配。在圖:3B的實例中，操縱物Hl不是與虛擬對象Vlb相接觸而是插入到虛擬對象Vlb中。
在每個HMD 104是只把虛擬對象的圖像投射到每個HMD 104的屏幕上的透視顯示器時，這種不匹配以同樣的方式或者更顯著地出現(xiàn)。
可以通過盡可能地減少時差和由設(shè)備之間的通信引起的處理延遲的影響來抑制真實世界的狀態(tài)與虛擬對象的狀態(tài)之間的不匹配。在隨后章節(jié)，將說明根據(jù)本實施例的圖像處理設(shè)備100和管理服務(wù)器200的具體結(jié)構(gòu)。在提供混合現(xiàn)實時，圖像處理設(shè)備100和管理服務(wù)器200減少時差和由設(shè)備之間的通信引起的處理延遲的影響。
<2.關(guān)于圖像處理設(shè)備的說明> [2-1.設(shè)備的示例性結(jié)構(gòu)] 圖4是示出根據(jù)本實施例的圖像處理設(shè)備100的結(jié)構(gòu)實例的框圖。如圖4中所示， 圖像處理設(shè)備100包括輸入圖像獲取單元110、自身位置檢測單元120、存儲單元130、圖像識別單元140、計算單元150、顯示控制單元160以及通信單元170。
(輸入圖像獲取單元) 攝像裝置102拍攝真實空間的圖像以生成輸入圖像，且輸入圖像獲取單元110獲得這樣生成的輸入圖像。然后，輸入圖像獲取單元110將獲得的輸入圖像輸出到自身位置檢測單元120、圖像識別單元140以及顯示控制單元160。
(自身位置檢測單元) 自身位置檢測單元120檢測真實世界中攝像裝置102的姿勢和位置。例如， 通過真實世界中絕對坐標(biāo)系中的三維位置來表示攝像裝置102的位置。例如，通過與旋轉(zhuǎn)矩陣相對應(yīng)的歐拉角或四元數(shù)表示攝像裝置102的姿勢。例如，根據(jù)Andrew J. Davison 的"Real-Time SimultaneousLocalization and Mapping with a Single Camera，，(Proceedings of the 9thIEEE International Conference on Computer Vision Volume 2，2003，第1403-1410頁)中描述的SLAM技術(shù)的原理，自身位置檢測單元120可以通過使用由輸入圖像獲取單元110提供的輸入圖像來檢測攝像裝置102的姿勢和位置?？蛇x擇地，在攝像裝置102具有位置傳感器(例如，光學(xué)位置傳感器)和姿勢傳感器(例如， 陀螺儀傳感器)的情形中，自身位置檢測單元120可以獲得由攝像裝置102的傳感器檢測的位置和姿勢。例如，自身位置檢測單元120將通過以上方法中的任一方法檢測的攝像裝置102的姿勢和位置輸出到圖像識別單元140和通信單元170。
(存儲單元) 存儲單元130使用諸如硬盤或半導(dǎo)體存儲器的記錄介質(zhì)預(yù)先存儲操縱物圖像和對象數(shù)據(jù)。操縱物圖像是表示用于操縱顯示在輸出圖像上的虛擬對象的操縱物的圖像。另一方面，對象數(shù)據(jù)是與混合現(xiàn)實中由HMD 104顯示的虛擬對象有關(guān)的數(shù)據(jù)。
圖5A和圖5B是各自示出根據(jù)本實施例的操縱物的實例的示意圖。在圖5A的實例中，操縱物Mla是用戶的手部。在此情形中，存儲單元130預(yù)先存儲通過拍攝用戶手部的圖像獲得的圖像作為操縱物圖像。例如，存儲單元130可以存儲通過從各種不同方向拍攝用戶手部的圖像獲得的一組圖像作為操縱物圖像。
在圖5B的實例中，操縱物Mlb是用戶在手指上佩戴的立方體標(biāo)志。標(biāo)志的每個表面的中心部分形成有用戶可插入手指以移動標(biāo)志的孔。在此情形中，存儲單元130預(yù)先存儲示出標(biāo)志的圖像作為操縱物圖像。可選擇地，例如，可以共同地不僅采用標(biāo)志而且采用插入到標(biāo)志中的手指作為操縱物，并可以存儲示出包括標(biāo)志和手指的操縱物的圖像作為操縱物圖像。
應(yīng)當(dāng)注意，操縱物不限于圖5A和5B中示出的實例。例如，操縱物可以是活體的任何部分或者真實世界中存在的任何物理對象，諸如用戶的腳以及用戶持有的棍狀物理對象。響應(yīng)于由圖像識別單元140給出的請求，存儲單元130將操縱圖像輸出到圖像識別單元 140。
圖6是示出存儲在存儲單元130中的對象數(shù)據(jù)的實例的說明圖。如圖6中所示， 對象數(shù)據(jù)包括三個數(shù)據(jù)項，即，對象ID、形狀以及位置?！皩ο驣D”是用于唯一地標(biāo)識虛擬對象的標(biāo)識符。圖6的實例包括對象ID為Vl和V2的兩個虛擬對象的對象數(shù)據(jù)?！靶螤睢笔潜硎咎摂M對象形狀的數(shù)據(jù)。例如，可以將虛擬對象的形狀表示成多邊形。“位置”是表示虛擬對象最新位置的三維坐標(biāo)數(shù)據(jù)。隨著用戶對操縱物進(jìn)行操縱更新虛擬對象的位置。響應(yīng)于由計算單元150給出的請求，存儲單元130向計算單元150輸出對象數(shù)據(jù)。
(圖像識別單元) 在檢測到表示操縱開始的第一用戶輸入的情形中，圖像識別單元140識別用于虛擬對象的操縱以及出現(xiàn)在輸入圖像獲取單元110給出的輸入圖像中的操縱物。例如，圖像識別單元140可以通過使用存儲在存儲單元130中的操縱物圖像識別出現(xiàn)在輸入圖像中的操縱物。更具體地，例如，圖像識別單元140通過使用已知模式匹配方法將輸入圖像的部分圖像與操縱物圖像相比較。進(jìn)一步地，圖像識別單元140基于在輸入圖像中檢測到操縱物圖像的位置以及基于檢測的操縱物圖像尺寸識別真實世界中操縱物的三維位置。此處識別的操縱物的三維位置是相對于攝像裝置102此時的姿勢和位置的相對位置。進(jìn)一步地，圖像識別單元140使用由自身位置檢測單元120提供的攝像裝置102的姿勢和位置，將操縱物的相對三維位置轉(zhuǎn)換成真實世界中絕對坐標(biāo)系中的三維位置。然后，圖像識別單元140 將轉(zhuǎn)換后的操縱物位置輸出到計算單元150。在檢測到表示操縱開始的第一用戶輸入之后， 圖像識別單元140對一系列輸入圖像的每個幀重復(fù)圖像識別處理，直到檢測到表示操縱結(jié)束的第二用戶輸入為止。然后，當(dāng)檢測到表示操縱結(jié)束的第二用戶輸入時，圖像識別單元 140終止圖像識別處理?？蛇x擇地，例如，圖像識別單元140可以通過使用表示操縱物形狀的形狀數(shù)據(jù)而非操縱物圖像識別出現(xiàn)在輸入圖像中的操縱物。
表示操縱開始的第一用戶輸入以及表示操縱結(jié)束的第二用戶輸入可以是例如圖像處理設(shè)備100上布置的預(yù)定按鈕的按壓、在輸入圖像中由用戶執(zhí)行的預(yù)定姿勢或者由用戶輸入的語音。
當(dāng)由通信單元170接收到后面說明的操縱開始信號時，圖像識別單元140也執(zhí)行如上說明的圖像識別處理。在此情形中，對一系列輸入圖像的每個幀重復(fù)圖像識別處理，直到通信單元170接收到后面說明的操縱結(jié)束信號為止。在本說明書中，將從第一用戶輸入的檢測至第二用戶輸入的檢測的處理稱為操縱側(cè)處理。將從第一用戶輸入的接收至第二用戶輸入的接收的處理稱為觀察側(cè)處理。
(計算單元) 當(dāng)檢測到表示操縱開始的第一用戶輸入時，計算單元150根據(jù)由圖像識別單元 140提供的操縱物的識別結(jié)果、計算HMD 104在屏幕上顯示虛擬對象的位置。然后，計算單元150不僅將計算的虛擬對象顯示位置輸出到顯示控制單元160，而且更新由存儲單元130存儲的虛擬對象的位置數(shù)據(jù)。在檢測到表示操縱開始的第一用戶輸入之后，計算單元150 按照操縱物的識別結(jié)果，對一系列輸入圖像的每幀重復(fù)虛擬對象的顯示位置計算處理，直到檢測到表示操縱結(jié)束的第二用戶輸入為止。
圖7是示出由計算單元150執(zhí)行的根據(jù)本實施例的虛擬對象的顯示位置計算處理的具體流程實例的流程圖。如圖7中所示，首先，計算單元150從存儲單元130獲得每個虛擬對象的對象數(shù)據(jù)(步驟S102)。此處獲得的對象數(shù)據(jù)包括每個虛擬對象的形狀和最新位置。隨后，計算單元150獲得由圖像識別單元140識別的操縱物的位置(步驟S104)。隨后，計算單元150基于每個虛擬對象的形狀和最新位置并且基于操縱物的位置，確定操縱物是否與虛擬對象相接觸(步驟S106)。這里，當(dāng)操縱物未與虛擬對象相接觸時，跳過剩余處理。隨后，當(dāng)操縱物與虛擬對象相接觸時，計算單元150基于操縱物的位置計算虛擬對象的新位置(步驟S108)。例如，當(dāng)操縱物在與虛擬對象相接觸的同時在X方向上移動距離D 時，虛擬對象的位置根據(jù)操縱物的移動在X方向上移動距離D。隨后，計算單元150基于由自身位置檢測單元120檢測的攝像裝置102的姿勢和位置，將來自真實世界中三維位置的虛擬對象的新位置轉(zhuǎn)換成HMD 104的屏幕上的二維位置(步驟S110)。例如，可以使用基于針孔模型的如下公式將來自三維位置的坐標(biāo)轉(zhuǎn)換成屏幕上的二維位置。
[公式1] λ p' =AR(p-x) 在公式(1)中，ρ表示虛擬對象的三維位置向量，χ表示攝像裝置102的三維位置向量，R表示與攝像裝置102的姿勢相對應(yīng)的旋轉(zhuǎn)矩陣，A表示攝像裝置內(nèi)部參數(shù)，λ表示歸一化的參數(shù)。另一方面，P'表示虛擬對象在屏幕上的二維位置。這里，預(yù)先按照攝像裝置102的特性通過如下公式給出攝像裝置內(nèi)部參數(shù)Α。
[公式2] 這里，f表示焦距，θ表示圖像軸的正交性(理想值是90度)，<表示焦平面的豎直軸的比例(scale)(從真實世界中的絕對坐標(biāo)系至焦平面的坐標(biāo)系的比例改變率)，<表示焦平面的水平軸的比例，(11。，V。)表示焦平面的中心位置。
當(dāng)用多邊形表示虛擬對象時，計算單元150基于攝像裝置102的姿勢和位置計算多邊形各頂點在HMD 104的屏幕上的二維位置。
此外，作為觀察側(cè)處理，計算單元150還在通信單元170接收到后面說明的操縱開始信號時，執(zhí)行如以上說明的虛擬對象的顯示位置計算處理。當(dāng)通信單元170接收到后面說明的操縱結(jié)束信號時，對一系列輸入圖像的每個幀重復(fù)此情形的顯示位置計算處理。此外，當(dāng)通信單元170接收到操縱結(jié)束信號時，計算單元150使用包括在操縱結(jié)束信號中的虛擬對象的位置數(shù)據(jù)來校正由顯示控制單元160顯示的(并且存儲在存儲單元130中的)虛擬對象的位置。這是用于解決在并行地對操縱者和觀察者執(zhí)行虛擬對象的顯示位置計算處理的情形中仍剩余的、虛擬對象位置的小位移的處理。
即使當(dāng)未操縱虛擬對象時，計算單元150也基于存儲單元130中存儲的虛擬對象
— f.K
f-K-COtG
f-K A= 0 0
sin^ 0
11的位置數(shù)據(jù)并基于由自身位置檢測單元120檢測的攝像裝置102的姿勢和位置，計算虛擬對象在屏幕上的顯示位置。然后，計算單元150將計算出的虛擬對象的顯示位置輸出到顯示控制單元160。
(顯示控制單元) 顯示控制單元160在由計算單元150計算出的HMD 104的屏幕上的顯示位置處顯示虛擬對象。例如，顯示控制單元160可以通過在由輸入圖像獲取單元110提供的輸入圖像上覆蓋表示虛擬對象的多邊形來生成輸出圖像，并且可以將輸出圖像輸出到HMD 104。 更具體地，例如，顯示控制單元160可以基于由計算單元150計算出的虛擬對象的多邊形頂點坐標(biāo)在輸出圖像中繪制多邊形。于是，在由HMD 104向用戶顯示的輸出圖像中，虛擬對象隨著操縱物移動而移動，從而向用戶提供增強(qiáng)現(xiàn)實。例如，在HMD 104是透視顯示器的情形中，顯示控制單元160可以基于由計算單元150計算的虛擬對象的多邊形頂點坐標(biāo)，將多邊形投射到HMD 104的屏幕上。
(通信單元) 當(dāng)檢測到表示操縱開始的第一用戶輸入時，通信單元170將第一通知信號發(fā)送到顯示相同虛擬對象的另一圖像處理設(shè)備100，以通知操縱開始。在本說明書中，將第一通知信號稱為操縱開始信號。當(dāng)檢測到表示操縱結(jié)束的第二用戶輸入時，通信單元170將第二通知信號發(fā)送到顯示相同虛擬對象的另一圖像處理設(shè)備100，以通知操縱結(jié)束。在本說明書中，將第二通知信號稱為操縱結(jié)束信號。在本實施例中，經(jīng)由管理服務(wù)器200將操縱開始信號和操縱結(jié)束信號發(fā)送到另一圖像處理設(shè)備100。
圖8A是示出根據(jù)本實施例的操縱開始信號的說明圖。如圖8A中所示，操縱開始信號Sl包括4個字段即，信號類型、源、對象ID以及對象位置?！靶盘栴愋汀笔潜砻饔嘘P(guān)信號是操縱開始信號的字段。“源”是用于標(biāo)識發(fā)送有關(guān)信號的圖像處理設(shè)備100的字段。 “對象ID”是用于標(biāo)識將要操縱哪個虛擬對象的字段?！皩ο驣D”可以列舉多個虛擬對象的對象ID。“對象位置”是必要時設(shè)置的字段，包括表示在操縱開始時虛擬對象的位置的三維坐標(biāo)數(shù)據(jù)?？梢允褂谩皩ο驣D”或“對象位置”確定管理服務(wù)器200向其傳送操縱開始信號的圖像處理設(shè)備100。
圖8B是示出根據(jù)本實施例的操縱結(jié)束信號的說明圖。如圖8B中所示，操縱結(jié)束信號S2包括4個字段即，信號類型、源、對象ID以及對象位置?！靶盘栴愋汀笔潜砻饔嘘P(guān)信號是操縱結(jié)束信號的字段。“源”是用于標(biāo)識發(fā)送有關(guān)信號的圖像處理設(shè)備100的字段。 “對象ID”是用于標(biāo)識將要完成哪個虛擬對象的操縱的字段?！皩ο驣D”可以列舉多個虛擬對象的對象ID?！皩ο笪恢谩卑ū硎驹诓倏v結(jié)束時虛擬對象的位置的三維坐標(biāo)數(shù)據(jù)?？梢允褂谩皩ο驣D”或“對象位置”確定管理服務(wù)器200向其傳送操縱結(jié)束信號的圖像處理設(shè)備100。此外，已接收到操縱結(jié)束信號的圖像處理設(shè)備100可以使用操縱結(jié)束信號S2的 “對象位置”來校正在操縱結(jié)束時虛擬對象的位置。
另外，通信單元170以規(guī)則間隔(或者每次出現(xiàn)改變時)向管理服務(wù)器200發(fā)送第三通知信號，以通知由自身位置檢測單元120檢測的攝像裝置102的姿勢和位置。在本說明書中，將第三通知信號稱為自身位置通知信號。
圖8C是示出根據(jù)本實施例的自身位置通知信號的說明圖。如圖8C中所示，自身位置通知信號S3包括三個字段，即，信號類型、源以及位置/姿勢?！靶盘栴愋汀笔潜砻饔嘘P(guān)信號是自身位置通知信號的字段?！霸础笔怯糜跇?biāo)識發(fā)送有關(guān)信號的圖像處理設(shè)備100的字段。例如，“位置/姿勢”包括絕對坐標(biāo)系中攝像裝置102的旋轉(zhuǎn)矩陣和對應(yīng)于三維位置的四元數(shù)。后面說明的管理服務(wù)器200可以基于以規(guī)則間隔從每個圖像處理設(shè)備100發(fā)送的自身位置通知信號S3，識別每個圖像處理設(shè)備100的視野。
[2-2.處理的流程] (操縱側(cè)的處理) 圖9是示出根據(jù)本實施例的由圖像處理設(shè)備執(zhí)行的操縱側(cè)圖像處理的流程實例的流程圖。
如圖9中所示，圖像識別單元140和計算單元150監(jiān)視是否檢測到第一用戶輸入 (步驟S122)。當(dāng)檢測到第一用戶輸入時，開始步驟SlM中的操縱側(cè)圖像處理以及后續(xù)步驟。在操縱側(cè)圖像處理中，首先，通信單元170向管理服務(wù)器200發(fā)送操縱開始信號Sl (步驟S124)。隨后，圖像識別單元140使用存儲在存儲單元130中的操縱物圖像來識別輸入圖像中的操縱物，并且向計算單元150輸出操縱物的位置(步驟SU6)。隨后，計算單元150 執(zhí)行如參照圖7說明的虛擬對象的顯示位置計算處理(步驟S128)。然后，顯示控制單元 160根據(jù)操縱物的位置移動HMD 104的屏幕上顯示的虛擬對象(步驟S130)。隨后，圖像識別單元140和計算單元150確定是否檢測到第二用戶輸入(步驟S13》。當(dāng)此處未檢測到第二用戶輸入時，隨后執(zhí)行步驟S126，并且針對輸入圖像的后續(xù)幀重復(fù)步驟S126至S130。 另一方面，當(dāng)檢測到第二用戶輸入時，通信單元170向管理服務(wù)器200發(fā)送操縱結(jié)束信號 S2(步驟S134)。然后，終止操縱側(cè)圖像處理。
在檢測到第一用戶輸入之后，通信單元170可以進(jìn)行等待，直到作為由圖像識別單元140提供的操縱物的識別結(jié)果確定為操縱物與虛擬對象相接觸為止(換言之，在圖7 中步驟S106的確定結(jié)果變成是之后)，并可以此后向管理服務(wù)器200發(fā)送操縱開始信號。 在此情形中，流程與圖9的流程不同。在觀察側(cè)圖像處理中，用操縱物對虛擬對象的實際操縱未開始。因此，存在會延遲屏幕上虛擬對象移動開始的可能性，但是這減少了從第一用戶輸入至虛擬對象實際操縱開始的觀察側(cè)處理的花費。
(觀察側(cè)的處理) 圖10是示出根據(jù)本實施例的圖像處理設(shè)備100執(zhí)行的觀察側(cè)圖像處理的流程實例的流程圖。
如圖10中所示，首先，通信單元170監(jiān)視是否接收到操縱開始信號(步驟S152)。 當(dāng)接收到操縱開始信號時，開始步驟SlM的觀察側(cè)圖像處理以及后續(xù)步驟。在觀察側(cè)圖像處理中，首先，圖像識別單元140使用存儲單元130中存儲的操縱物圖像識別輸入圖像中的操縱物，并向計算單元150輸出操縱物的位置(步驟SK4)。隨后，計算單元150執(zhí)行如參照圖7說明的虛擬對象的顯示位置計算處理(步驟S156)。然后，顯示控制單元160根據(jù)操縱物的位置移動HMD 104的顯示屏幕上顯示的虛擬對象(步驟S158)。隨后，通信單元170 確定是否接收到操縱結(jié)束信號(步驟S160)。當(dāng)此處未接收到操縱結(jié)束信號時，隨后再次執(zhí)行步驟S1M，并且針對輸入圖像的后續(xù)幀重復(fù)步驟SlM至S158。另一方面，當(dāng)接收到操縱結(jié)束信號時，計算單元150校正虛擬對象的位置(步驟S16》。然后，終止觀察側(cè)圖像處理。
<3.關(guān)于管理服務(wù)器的說明>
13 [3-1.設(shè)備的示例性結(jié)構(gòu)] 圖11是示出根據(jù)本實施例的管理服務(wù)器200的結(jié)構(gòu)實例的框圖。如圖12中所示， 管理服務(wù)器200包括通信單元210、存儲單元220以及用戶管理單元230。
(通信單元) 通信單元210經(jīng)由有線通信連接或無線通信連接向/從每個圖像處理設(shè)備100的通信單元170發(fā)送和接收信號。在管理服務(wù)器200的通信單元210與每個圖像處理設(shè)備 100的通信單元170之間發(fā)送和接收的信號包括操縱開始信號、操縱結(jié)束信號以及自身位置通知信號。
(存儲單元) 存儲單元220使用諸如硬盤或半導(dǎo)體存儲器的存儲介質(zhì)來存儲用于管理顯示相同虛擬對象的一組圖像處理設(shè)備100的數(shù)據(jù)庫。例如，存儲單元220中存儲的數(shù)據(jù)庫包括關(guān)于使用自身位置通知信號以規(guī)則間隔收集的每個圖像處理設(shè)備100的攝像裝置102的姿勢和位置的數(shù)據(jù)。另外，例如，存儲單元220中存儲的數(shù)據(jù)庫可以包括可以由每個圖像處理設(shè)備100顯示的虛擬對象的對象ID。
(用戶管理單元) 當(dāng)通信單元210接收到自身位置通知信號時，用戶管理單元230更新存儲單元220 中存儲的、關(guān)于發(fā)送有關(guān)的自身位置通知信號的圖像處理設(shè)備100的姿勢和位置的數(shù)據(jù)。 當(dāng)通信單元210接收到操縱開始信號或操縱結(jié)束信號時，用戶管理單元230向作為有關(guān)信號源的顯示相同虛擬對象的另一圖像處理設(shè)備100傳送操縱開始信號或操縱結(jié)束信號。例如，用戶管理單元230可以采用與存儲單元220的數(shù)據(jù)庫中操縱開始信號或操縱結(jié)束信號中包括的對象ID相關(guān)聯(lián)的圖像處理設(shè)備100作為每個信號所傳送到的設(shè)備?？蛇x擇地，例如，用戶管理單元230可以采用其攝像裝置102的視野包括由操縱開始信號或操縱結(jié)束信號所表明的虛擬對象位置的圖像處理設(shè)備100作為每個信號所傳送到的設(shè)備。
[3-2.處理的流程] 圖12是示出根據(jù)本實施例的由管理服務(wù)器200執(zhí)行的信號傳送處理的流程實例的流程圖。
如圖12中所示，首先，通信單元210監(jiān)視是否接收到操縱開始信號或操縱結(jié)束信號(步驟S202)。當(dāng)接收到操縱開始信號或操縱結(jié)束信號時，隨后執(zhí)行步驟S204。隨后，用戶管理單元230從存儲單元220獲得每個圖像處理設(shè)備100的狀態(tài)(步驟S204)。這里獲得的每個圖像處理設(shè)備100的狀態(tài)可以包括由每個圖像處理設(shè)備100顯示的虛擬對象的對象ID或者每個圖像處理設(shè)備100的攝像裝置102的姿勢和位置。隨后，用戶管理單元230 確定是否存在共享虛擬對象的另一圖像處理設(shè)備100(除了操縱開始信號或操縱結(jié)束信號的源之外的設(shè)備)(步驟S206)。當(dāng)不存在共享虛擬對象的其它圖像處理設(shè)備100時，跳過步驟S208。另一方面，當(dāng)存在共享虛擬對象的另一圖像處理設(shè)備100時，通信單元210向另一圖像處理設(shè)備100傳送操縱開始信號或操縱結(jié)束信號(步驟S208)。然后，終止管理服務(wù)器200執(zhí)行的信號傳送處理。
<4.變型〉 圖13是示出根據(jù)本實施例變型的圖像處理系統(tǒng)的示意圖。圖13示出包括圖像處理設(shè)備300a、300b和300c的圖像處理系統(tǒng)。由用戶Ua、Ub和Uc分別使用圖像處理設(shè)備300a、300b和300c。這些設(shè)備可以經(jīng)由有線通信連接或無線通信連接彼此通信。
通常，圖像處理設(shè)備300a、300b和300c具有與如參照圖4說明的圖像處理設(shè)備 100等同的結(jié)構(gòu)。然而，在不依賴于管理服務(wù)器200的情況下，圖像處理設(shè)備300a、300b和 300c的通信單元170直接發(fā)送和接收操縱開始信號和操縱結(jié)束信號。例如，當(dāng)通信單元170 接收到操縱開始信號時，圖像處理設(shè)備300a、300b和300c執(zhí)行如下只有在圖像處理設(shè)備 300a、300b和300c作為有關(guān)信號的源顯示同樣虛擬對象的情形中，圖像識別單元140才識別操縱物。在此情形中，例如，基于操縱開始信號中包括的虛擬對象的位置數(shù)據(jù)或?qū)ο驣D 確定是否有必要識別操縱物。
例如，在圖13的實例中，圖像處理設(shè)備300a、300b共享虛擬對象VI。換言之，圖像處理設(shè)備300a的HMD 10 和圖像處理設(shè)備300b的HMD 104b均可以顯示虛擬對象Vl。另一方面，圖像處理設(shè)備300c不共享虛擬對象Vl。代替共享虛擬對象Vl，圖像處理設(shè)備300c 的HMD l(Mc可以顯示不同的虛擬對象V2。在這種實例中，將假定如下情形用戶fe是操縱虛擬對象Vl的人，用戶fe通過按壓圖像處理設(shè)備300a的按鈕106a開始虛擬對象Vl的操縱。在這種情形中，圖像處理設(shè)備300a檢測第一用戶輸入，并且向圖像處理設(shè)備300b和圖像處理設(shè)備300c發(fā)送操縱開始信號Si。例如，操縱開始信號Sl包括虛擬對象Vl的位置數(shù)據(jù)或?qū)ο驣D。當(dāng)圖像處理設(shè)備300b接收到操縱開始信號Sl時，圖像處理設(shè)備300b基于有關(guān)信號中包括的位置數(shù)據(jù)或?qū)ο驣D確定將由圖像處理設(shè)備300b顯示的虛擬對象Vl的操縱的開始。于是，圖像處理設(shè)備300b通過圖像識別開始操縱物(諸如用戶Ua的手或者標(biāo)志)的跟蹤。另一方面，圖像處理設(shè)備300c基于操縱開始信號Sl中包括的位置數(shù)據(jù)或?qū)ο驣D確定有關(guān)信號與將由圖像處理設(shè)備300c顯示的虛擬對象無關(guān)。于是，圖像處理設(shè)備300c忽略從圖像處理設(shè)備300a接收的操縱開始信號Si。
<5.總結(jié)〉 已參照圖1至圖13在上文中說明了本發(fā)明的實施例和變型。根據(jù)本實施例，當(dāng)檢測到表示操縱開始的第一用戶輸入時，操縱側(cè)圖像處理設(shè)備識別通過拍攝真實空間的圖像獲得的輸入圖像中出現(xiàn)的操縱物，作為識別的結(jié)果，操縱側(cè)圖像處理設(shè)備控制虛擬對象的顯示。此外，從操縱側(cè)圖像處理設(shè)備向觀察側(cè)圖像處理設(shè)備發(fā)送操縱開始信號。相應(yīng)地，觀察側(cè)圖像處理設(shè)備也識別通過拍攝真實空間的圖像獲得的輸入圖像中出現(xiàn)的操縱物，作為識別的結(jié)果，觀察側(cè)圖像處理設(shè)備控制虛擬對象的顯示。由此，由于操縱側(cè)設(shè)備以及觀察側(cè)設(shè)備通過圖像識別跟蹤操縱物，所以不出現(xiàn)由于跟蹤結(jié)果的傳送引起的延遲。此外，操縱開始信號包括用于識別虛擬對象的對象ID或者虛擬對象的位置數(shù)據(jù)。因此，不共享虛擬對象的圖像處理設(shè)備無需執(zhí)行不必要的圖像識別處理。在檢測到表示操縱結(jié)束的第二用戶輸入的情形中，從操縱側(cè)圖像處理設(shè)備向觀察側(cè)圖像處理設(shè)備發(fā)送操縱結(jié)束信號。相應(yīng)地，在不操縱虛擬對象時，圖像處理設(shè)備中所有圖像處理設(shè)備無需執(zhí)行圖像識別處理。如上所述，根據(jù)本實施例，操縱側(cè)設(shè)備以及觀察側(cè)設(shè)備通過圖像識別跟蹤操縱物，另外，根據(jù)基于設(shè)備之間交換的信號的定時啟動圖像識別處理。因此，可以在有效地減少處理負(fù)荷并減少真實世界的狀態(tài)與虛擬對象的狀態(tài)之間的不匹配的同時提供混合現(xiàn)實。
根據(jù)本實施例，從操縱側(cè)圖像處理設(shè)備向觀察側(cè)圖像處理設(shè)備發(fā)送的操縱結(jié)束信號包括表示在操縱結(jié)束時虛擬對象的位置的位置數(shù)據(jù)。由此，即使當(dāng)在由操縱側(cè)圖像處理設(shè)備生成的操縱物的跟蹤結(jié)果與由觀察側(cè)圖像處理設(shè)備生成的操縱物的跟蹤結(jié)果之間存在暫時誤差時，觀察側(cè)圖像處理設(shè)備也可以校正虛擬對象的位置。
可選擇地，在檢測到第一用戶輸入之后，操縱側(cè)圖像處理設(shè)備可以進(jìn)行等待，直到確定操縱物與虛擬對象相接觸為止，并且可以此后發(fā)送操縱開始信號。在此情形中，可以進(jìn)一步減少觀察側(cè)圖像識別處理的負(fù)荷。
可以通過管理圖像處理設(shè)備組的管理服務(wù)器在圖像處理設(shè)備之間發(fā)送和接收操縱開始信號和操縱結(jié)束信號。在此情形中，當(dāng)管理服務(wù)器只向顯示相同虛擬對象的圖像處理設(shè)備傳送信號時，可以進(jìn)一步減少觀察側(cè)圖像識別處理的負(fù)荷并且可以消除不必要的傳
%!里。
通常用軟件實現(xiàn)如在本說明書中說明的由圖像處理設(shè)備100和300以及管理服務(wù)器200執(zhí)行的一系列處理。例如，在每個設(shè)備中或者每個設(shè)備外部布置的存儲介質(zhì)中預(yù)先存儲構(gòu)建用于實現(xiàn)一系列處理的軟件的程序。例如，每個程序在執(zhí)行期間被加載到RAM(隨機(jī)存取存儲器)，并且由諸如CPU(中央處理單元)的處理器執(zhí)行。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解依據(jù)設(shè)計需要和其它因素，可以做出各種變形、組合、 子組合和修改，只要它們在所附權(quán)利要求或其等同物的范圍內(nèi)。
本申請包含與2010年2月M日提交日本專利局的日本優(yōu)先權(quán)專利申請JP 2010-038777中公開的主題相關(guān)的主題，其全部內(nèi)容經(jīng)引用包含于此。
1權(quán)利要求
1.一種圖像處理設(shè)備，包括輸入圖像獲取單元，用于獲得通過拍攝真實空間的圖像而生成的輸入圖像；圖像識別單元，用于在檢測到表示操縱開始的第一用戶輸入時識別用于操縱虛擬對象的操縱物，其中，所述操縱物出現(xiàn)在所述輸入圖像中；計算單元，用于根據(jù)由所述圖像識別單元提供的操縱物的識別結(jié)果計算所述虛擬對象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由所述計算單元計算出的所述顯示裝置的屏幕的所述位置處顯示所述虛擬對象；以及通信單元，用于在檢測到所述第一用戶輸入時向顯示相同虛擬對象的另一設(shè)備發(fā)送用于通知操縱開始的第一通知信號。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述第一通知信號包括用于標(biāo)識所述虛擬對象的標(biāo)識數(shù)據(jù)或者表示所述虛擬對象位置的位置數(shù)據(jù)。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中，當(dāng)檢測到表示操縱結(jié)束的第二用戶輸入時，所述通信單元向所述另一設(shè)備發(fā)送第二通知信號以通知操縱結(jié)束。
4.如權(quán)利要求3所述的圖像處理設(shè)備，其中，所述第二通知信號包括表示由所述計算單元計算出的表示所述虛擬對象位置的位置數(shù)據(jù)。
5.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述圖像識別單元還在所述通信單元從另一設(shè)備接收到所述第一通知信號時識別出現(xiàn)在所述輸入圖像中的所述操縱物。
6.如權(quán)利要求5所述的圖像處理設(shè)備，其中，所述圖像識別單元在由所述通信單元接收到的所述第一通知信號與要由所述圖像處理設(shè)備顯示的虛擬對象無關(guān)時不識別所述操縱物。
7.如權(quán)利要求1所述的圖像處理設(shè)備，其中，在檢測到所述第一用戶輸入并且在之后作為由所述圖像識別單元提供的所述操縱物的識別結(jié)果確定所述操縱物與所述虛擬對象相接觸時，所述通信單元向所述另一設(shè)備發(fā)送所述第一通知信號。
8.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述通信單元向管理顯示同樣虛擬對象的一組設(shè)備的信息處理設(shè)備發(fā)送所述第一通知信號。
9.如權(quán)利要求8所述的圖像處理設(shè)備，其中，所述第一通知信號包括用于標(biāo)識所述虛擬對象的標(biāo)識數(shù)據(jù)或者表示所述虛擬對象位置的位置數(shù)據(jù)，且所述第一通知信號被經(jīng)由所述信息處理設(shè)備傳送到顯示相同虛擬對象的另一設(shè)備。
10.如權(quán)利要求1所述的圖像處理設(shè)備，還包括存儲單元，存儲表示所述操縱物的操縱物圖像，其中，所述圖像識別單元使用所述存儲單元中存儲的所述操縱物圖像識別出現(xiàn)在所述輸入圖像中的所述操縱物。
11.一種由圖像處理設(shè)備執(zhí)行的圖像處理方法，包括步驟 獲得通過拍攝真實空間的圖像而生成的輸入圖像； 檢測表示操縱開始的第一用戶輸入；將第一通知信號發(fā)送到顯示與要由所述圖像處理設(shè)備操縱的虛擬對象相同的虛擬對象的另一設(shè)備，以通知操縱開始；識別出現(xiàn)在所述輸入圖像中的用于所述虛擬對象的操縱的操縱物；根據(jù)操縱物的識別結(jié)果計算所述虛擬對象要顯示在顯示裝置的屏幕上的位置；以及在計算出的所述顯示裝置的屏幕的位置處顯示所述虛擬對象。
12.—種程序，用于使控制圖像處理設(shè)備的計算機(jī)作為輸入圖像獲取單元，用于獲得通過拍攝真實空間的圖像而生成的輸入圖像； 圖像識別單元，用于在檢測到表示操縱開始的第一用戶輸入時識別用于操縱虛擬對象的操縱物，其中，所述操縱物出現(xiàn)在所述輸入圖像中；計算單元，用于根據(jù)由所述圖像識別單元提供的操縱物的識別結(jié)果計算所述虛擬對象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由所述計算單元計算出的所述顯示裝置的屏幕的所述位置處顯示所述虛擬對象；以及通信單元，用于在檢測到所述第一用戶輸入時向顯示相同虛擬對象的另一設(shè)備發(fā)送用于通知操縱開始的第一通知信號。
13.—種包括兩個或更多個圖像處理設(shè)備的圖像處理系統(tǒng)，其中，所述圖像處理設(shè)備中的每一個包括輸入圖像獲取單元，用于獲得通過拍攝真實空間的圖像而生成的輸入圖像； 圖像識別單元，用于在檢測到表示操縱開始的第一用戶輸入時識別用于操縱虛擬對象的操縱物，其中，所述操縱物出現(xiàn)在所述輸入圖像中；計算單元，用于根據(jù)由所述圖像識別單元提供的操縱物的識別結(jié)果計算所述虛擬對象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由所述計算單元計算出的所述顯示裝置的屏幕的所述位置處顯示所述虛擬對象；以及通信單元，用于在檢測到所述第一用戶輸入時向顯示相同虛擬對象的另一設(shè)備發(fā)送用于通知操縱開始的第一通知信號，其中，所述圖像識別單元還在所述通信單元從另一設(shè)備接收到所述第一通知信號時識別所述輸入圖像中出現(xiàn)的所述操縱物。
全文摘要
提供了一種圖像處理設(shè)備，包括輸入圖像獲取單元，用于獲得通過拍攝真實空間的圖像生成的輸入圖像；圖像識別單元，用于在檢測到表示操縱開始的第一用戶輸入時識別用于操縱虛擬對象的操縱物，其中，操縱物出現(xiàn)在輸入圖像中；計算單元，用于根據(jù)由圖像識別單元提供的操縱物的識別結(jié)果計算虛擬對象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由計算單元計算出的顯示裝置的屏幕的位置處顯示虛擬對象；以及通信單元，用于在檢測到第一用戶輸入時向顯示相同虛擬對象的另一設(shè)備發(fā)送用于通知操縱開始的第一通知信號。
文檔編號G06F3/01GK102193625SQ20111004127
公開日2011年9月21日 申請日期2011年2月17日 優(yōu)先權(quán)日2010年2月24日
發(fā)明者松田晃一 申請人:索尼公司