置計算單元14順序獲取的3D定點位置。例如，位置調(diào)節(jié)單元24將通過將差異相加到對應(yīng)于變化結(jié)束時間的3D定點位置獲得的位置設(shè)置為調(diào)節(jié)后的3D定點位置。位置調(diào)節(jié)單元24可以被設(shè)置成將乘以預(yù)定系數(shù)的差異相加。
[0066]位置調(diào)節(jié)單元24響應(yīng)于通過位置存儲單元22的3D定點位置的釋放，停止3D定點位置的調(diào)節(jié)。從而，在當(dāng)檢測到的變化結(jié)束時和當(dāng)由變化檢測單元21檢測到恢復(fù)變化時之間，位置調(diào)節(jié)單元24使用由計算單元23計算的差異，調(diào)節(jié)由位置計算單元14順序計算的各自3D定點位置。
[0067]狀態(tài)獲取單元15基于由變化檢測單元21檢測到的用戶的特定部位的形狀，指定特定部位的狀態(tài)并且獲取狀態(tài)信息。例如，狀態(tài)獲取單元15獲取表示至少兩個狀態(tài)一一握手狀態(tài)和張開手狀態(tài)一一之一的狀態(tài)信息。本示例性實施例不限制在可檢測范圍內(nèi)的可以由狀態(tài)信息表示的狀態(tài)的數(shù)量。另外，當(dāng)使用多個特定部位時，狀態(tài)獲取單元15獲取關(guān)于各自特定部位的狀態(tài)信息。
[0068]發(fā)送單元16將關(guān)于用戶的特定部位的由位置計算單元14計算的3D定點位置或者由位置調(diào)節(jié)單元24調(diào)節(jié)的3D定點位置、以及由狀態(tài)獲取單元15獲取的狀態(tài)信息發(fā)送至顯不器側(cè)設(shè)備30。
[0069]<顯示器側(cè)設(shè)備>
[0070]圖8是概念性地示出第一示例性實施例中的顯示器側(cè)設(shè)備30的功能結(jié)構(gòu)實例的視圖。第一示例性實施例中的顯示器側(cè)設(shè)備30包括視線圖像獲取單元31、第二物體檢測單元32、第二標(biāo)準(zhǔn)設(shè)定單元33、虛擬數(shù)據(jù)生成單元34、操作指定單元35、物體處理單元36、圖像合成單元37、顯示處理單元38等。例如，存儲在存儲器3中的程序由CPU 2執(zhí)行，使得實現(xiàn)這些各自處理單元。另外，程序可以從例如諸如CD(光盤)和存儲卡的便攜式記錄介質(zhì)和網(wǎng)絡(luò)上的另一個計算機(jī)被安裝，并且存儲在存儲器3中。
[0071]視線圖像獲取單元31從HMD 9獲取用戶的視線圖像。用戶的特定部位可以在視線圖像中被拍攝。特定部位還與為將在傳感器側(cè)設(shè)備10中檢測到目標(biāo)的特定部位相同。在本示例性實施例中，由于提供視線相機(jī)9a和％，所以視線圖像獲取單元31獲取分別對應(yīng)于左眼和右眼的視線圖像。將注意，各自處理單元類似地處理對應(yīng)于左眼和右眼的視線圖像，并且從而，一個視線圖像將被作為目標(biāo)和在以下說明中被描述。
[0072]第二物體檢測單元32從由視線圖像獲取單元31獲取的視線圖像，檢測已知普通真實物體。普通真實物體可以與在上述傳感器側(cè)設(shè)備10中檢測到的物體相同，或者物體的特定部分在傳感器側(cè)設(shè)備10中被使用，并且整個物體在HMD 9側(cè)被使用。由于第二物體檢測單元32的處理與上述傳感器側(cè)設(shè)備10的第一物體檢測單元12的處理相同，在此省略詳細(xì)說明。將注意，包括在視線圖像中的普通真實物體與包括在在3D傳感器8中獲取的3D信息中的普通真實物體在成像方向上不同。
[0073]第二標(biāo)準(zhǔn)設(shè)定單元33基于由第二物體檢測單元32檢測到的普通真實物體，設(shè)置由傳感器側(cè)設(shè)備10的第一標(biāo)準(zhǔn)設(shè)定單元13設(shè)置的3D坐標(biāo)空間，并且計算HMD 9的位置和定向。由于第二標(biāo)準(zhǔn)設(shè)定單元33的處理還與傳感器側(cè)設(shè)備10的第一標(biāo)準(zhǔn)設(shè)定單元13的處理相同，在此省略詳細(xì)說明。由第二標(biāo)準(zhǔn)設(shè)定單元33設(shè)置的3D坐標(biāo)空間還基于與由傳感器側(cè)設(shè)備10的第一標(biāo)準(zhǔn)設(shè)定單元13設(shè)置的3D坐標(biāo)空間相同的普通真實物體被設(shè)置，并且結(jié)果，3D坐標(biāo)空間在傳感器側(cè)設(shè)備10和顯示器側(cè)設(shè)備30之間被共享。
[0074]虛擬數(shù)據(jù)生成單元34生成布置在通過第二標(biāo)準(zhǔn)設(shè)定單元33與傳感器側(cè)設(shè)備10共享的3D坐標(biāo)空間中的虛擬3D物體數(shù)據(jù)。虛擬數(shù)據(jù)生成單元34可以通過虛擬3D物體數(shù)據(jù)，生成布置虛擬3D物體的虛擬3D空間的數(shù)據(jù)。
[0075]操作指定單元35從傳感器側(cè)設(shè)備10接收3D坐標(biāo)空間中的3D定點位置和關(guān)于用戶的特定部位的狀態(tài)信息，并且基于狀態(tài)信息和3D定點位置的變化的結(jié)合，從多段預(yù)定處理指定將由物體處理單元36執(zhí)行的一個預(yù)定處理。從與在先前處理中獲得的3D定點位置的關(guān)系，計算3D定點位置的變化。另外，當(dāng)使用多個特定部位(例如，雙手)時，操作指定單元35從由傳感器側(cè)設(shè)備10獲取的多個3D定點位置，計算多個特定部位之間的位置關(guān)系，并且基于多個特定部位和多段狀態(tài)信息之間的所計算位置關(guān)系的變化，從多段預(yù)定處理指定一個預(yù)定處理。多段預(yù)定處理包括傳輸處理、旋轉(zhuǎn)處理、放大處理、縮小處理、功能菜單的顯示數(shù)據(jù)的添加處理等。
[0076]例如，當(dāng)用戶的特定部位是一只手時，操作指定單元35指定對應(yīng)于一只手的直線行進(jìn)距離的距離的傳輸處理，同時用戶的該只手保持特定狀態(tài)(上述預(yù)定形狀)(例如，握持狀態(tài))。另外，當(dāng)用戶的多個特定部位是雙手時，在用戶的雙手通過用戶的一只手的位置作為參考點保持特定狀態(tài)(上述預(yù)定形狀)(例如，握持狀態(tài))的狀態(tài)下，操作指定單元35指定為對應(yīng)于兩只手之間的距離的變化量的放大比率的放大處理。將注意，本示例性實施例不限制由操作指定單元35指定的預(yù)定處理本身。
[0077]操作指定單元35存儲用于識別上述各段預(yù)定處理的ID，并且通過選擇對應(yīng)于預(yù)定處理的ID，實現(xiàn)預(yù)定處理的指定。操作指定單元35將所選ID、3D坐標(biāo)空間中的3D定點位置等傳遞至物體處理單元36，以使得物體處理單元36執(zhí)行預(yù)定處理。
[0078]物體處理單元36關(guān)于由虛擬數(shù)據(jù)生成單元34生成的虛擬3D物體數(shù)據(jù)，應(yīng)用由操作指定單元35指定的預(yù)定處理。物體處理單元36被實現(xiàn)，以便能夠執(zhí)行將被支持的多段預(yù)定處理。
[0079]圖像合成單元37基于由第二標(biāo)準(zhǔn)設(shè)定單元33和3D坐標(biāo)空間計算的HMD 9的位置和定向，關(guān)于由視線圖像獲取單元31獲取的視線圖像，合成對應(yīng)于經(jīng)過通過物體處理單元36的預(yù)定處理的虛擬3D物體數(shù)據(jù)的虛擬3D物體。將注意，在增強(qiáng)現(xiàn)實(AR)等中使用的眾所周知的方法可以被用于通過圖像合成單元37的合成處理，并且從而在此省略說明。
[0080]顯示處理單元38在HMD 9上顯示由圖像合成單元37獲得的合成圖像。在本示例性實施例中，對應(yīng)于用戶的各自視線的兩個視線圖像分別如上所述那樣處理，并且從而，顯示處理單元38在HMD 9的顯示器9c和9d上分別顯示與各自視線圖像合成的合成圖像。
[0081]圖9是示出顯示在HMD 9上的合成圖像的實例的視圖。在圖9的實例中所示的合成圖像由球狀虛擬3D物體VO和包括用戶的一只手的視線圖像(包括桌子VA)構(gòu)成。用戶可以在利用HMD 9查看圖像的同時，通過移動他/她自己的手自由地操作包括在圖像中的虛擬3D物體。
[0082][操作實例]
[0083]此后，將使用圖10描述第一示例性實施例中的用戶界面方法。圖10是示出第一示例性實施例中的3D-UI設(shè)備I的操作實例的序列圖。
[0084]傳感器側(cè)設(shè)備10從3D傳感器8按順序地獲取3D信息(SlOl)。傳感器側(cè)設(shè)備10關(guān)于具有預(yù)定幀速率的3D信息，如下操作。
[0085]傳感器側(cè)設(shè)備10從3D信息檢測普通真實物體(S102)。
[0086]隨后，傳感器側(cè)設(shè)備10基于所檢測到的普通真實物體，設(shè)置3D坐標(biāo)空間，并且計算3D坐標(biāo)空間中的3D傳感器8的位置和定向(S103)。
[0087]而且，傳感器側(cè)設(shè)備10使用3D信息，計算用戶的特定部位的3D定點位置(S104)。而且，傳感器側(cè)設(shè)備10基于在步驟(S103)處計算的3D傳感器8的位置和定向以及3D坐標(biāo)空間(S105)，將在步驟(S104)處計算的3D定點位置轉(zhuǎn)換為在步驟(S103)處設(shè)置的3D坐標(biāo)空間中的3D定點位置。
[0088]傳感器側(cè)設(shè)備10響應(yīng)于用戶的特定部位的形狀變化(S106)，調(diào)節(jié)在步驟(S105)處轉(zhuǎn)換的3D定點位置。以下將描述步驟(S106)的詳情。而且，傳感器側(cè)設(shè)備10基于用戶的特定部位的形狀(S107)，指定特定部位的狀態(tài)并且獲取狀態(tài)信息。
[0089]傳感器側(cè)設(shè)備10將關(guān)于用戶的特定部位的在步驟(S106)處獲取的3D定點位置和在步驟(S107)處獲取的狀態(tài)信息發(fā)送至顯示器側(cè)設(shè)備30(S108)。
[0090]另一方面，顯示器側(cè)設(shè)備30與3D信息的獲取異步(SlOl)，并且從HMD 9按順序地獲取視線圖像(Slll)。顯示器側(cè)設(shè)備30關(guān)于具有預(yù)定幀速率的視線圖像，如下操作。
[0091]顯示器側(cè)設(shè)備30從視線圖像檢測普通真實物體(S112)。隨后，顯示器側(cè)設(shè)備30基于所檢測到的普通真實物體，設(shè)置3D坐標(biāo)空間，并且計算HMD 9在3D坐標(biāo)空間中的位置和定向(S113) ο
[0092]顯示器側(cè)設(shè)備30生成布置在所設(shè)置的3D坐標(biāo)空間中的虛擬3D物體數(shù)據(jù)(SI 14)。
[0093]當(dāng)從傳感器側(cè)設(shè)備10接收到關(guān)于用戶的特定部位的3D定點位置和狀態(tài)信息
(5115)時，顯示器側(cè)設(shè)備30響應(yīng)于特定部位的3D定點位置的變化和狀態(tài)信息的結(jié)合，指定對應(yīng)于用戶的手勢的預(yù)定處理(S116)。當(dāng)存在多個特定部位時，顯示器側(cè)設(shè)備30響應(yīng)于在多個特定部位之間的位置關(guān)系的變化和多段狀態(tài)信息的結(jié)合，指定預(yù)定處理。
[0094]顯示器側(cè)設(shè)備30關(guān)于在步驟(S114)處生成的虛擬3D物體數(shù)據(jù)，應(yīng)用在步驟
(5116)處指定的預(yù)定處理。隨后，顯示器側(cè)設(shè)備30合成對應(yīng)于經(jīng)過預(yù)定處理的虛擬3D物體數(shù)據(jù)的虛擬3D物體和視線圖像(S118)，以生成顯示數(shù)據(jù)。
[0095]顯示器側(cè)設(shè)備30在HMD 9上顯示通過合成獲得的圖像(SI 19)。
[0096]在圖10中，按順序地執(zhí)行3D信息的獲取(SlOl)和狀態(tài)信息的獲取(S107)的實例被示出用于說明的目的，但是當(dāng)從除了 3D信息之外的其它信息獲取特定部位的狀態(tài)信息時，并行地執(zhí)行步驟(SlOl)和(S107)。另外，在圖10中，示出以3D信息的預(yù)定幀速率執(zhí)行步驟(S102)和(S103)的實例，但是僅在校準(zhǔn)時執(zhí)行步驟(S102)和(S103) ?
[0097]在圖10中，按順序地執(zhí)行關(guān)于關(guān)于從傳感器側(cè)設(shè)備10發(fā)送的用戶的特定部位的信息的處理(步驟(S115)至步驟(S117))和虛擬3D物體數(shù)據(jù)的生成處理(步驟(S