112)至步驟(S114))的實(shí)例被示出用于說(shuō)明目的。然而，步驟(S115)至步驟(S117)和步驟(S112)至步驟(S114)被并行執(zhí)行。
[0098]圖11是示出圖10中所示的步驟(S106)的詳情的流程圖。
[0099]傳感器側(cè)設(shè)備10檢測(cè)關(guān)于用戶(hù)的特定部位的形狀的變化開(kāi)始、變化結(jié)束、或者恢復(fù)變化。當(dāng)檢測(cè)到用戶(hù)的特定部位的形狀的變化開(kāi)始時(shí)(S121 ;是)，傳感器側(cè)設(shè)備10存儲(chǔ)在圖10的步驟(S105)處轉(zhuǎn)換的3D定點(diǎn)位置中的對(duì)應(yīng)于變化開(kāi)始時(shí)間的3D定點(diǎn)位置(S122)。
[0100]當(dāng)檢測(cè)到用戶(hù)的特定部位的形狀變化結(jié)束時(shí)(S121 ;否，S123 ;是)時(shí)，傳感器側(cè)設(shè)備10指定在圖10的步驟(S105)處轉(zhuǎn)換的3D定點(diǎn)位置中的對(duì)應(yīng)于變化結(jié)束時(shí)間的3D定點(diǎn)位置(S124)。隨后，傳感器側(cè)設(shè)備10計(jì)算對(duì)應(yīng)于變化結(jié)束時(shí)間的3D定點(diǎn)位置和在步驟(S122)處存儲(chǔ)的3D定點(diǎn)位置之間的差異。傳感器側(cè)設(shè)備10使用所計(jì)算的差異，調(diào)節(jié)對(duì)應(yīng)于變化結(jié)束時(shí)間的3D定點(diǎn)位置(S129)。
[0101]另外，當(dāng)檢測(cè)到用戶(hù)的特定部位的形狀的恢復(fù)變化(S121 ;否，S123 ;否，S126 ;是)時(shí)，傳感器側(cè)設(shè)備10釋放在步驟(S122)處存儲(chǔ)的3D定點(diǎn)位置。
[0102]當(dāng)未檢測(cè)到關(guān)于用戶(hù)的特定部位的形狀的變化開(kāi)始、變化結(jié)束、以及恢復(fù)變化中的任一個(gè)(S121 ;否，S123 ;否，S126 ;否)時(shí)，傳感器側(cè)設(shè)備10確定是否存儲(chǔ)3D定點(diǎn)位置(S128)。當(dāng)存儲(chǔ)3D定點(diǎn)位置(S128 ;是)時(shí)，傳感器側(cè)設(shè)備10使用在步驟(S125)處計(jì)算的差異，調(diào)節(jié)在圖10的步驟(S105)處轉(zhuǎn)換的3D定點(diǎn)位置。從而，在用戶(hù)的特定部位的形狀至少保持在變化結(jié)束時(shí)間處的形狀時(shí)，調(diào)節(jié)3D定點(diǎn)位置。
[0103]另一方面，當(dāng)不存儲(chǔ)3D定點(diǎn)位置(S128 ;否)時(shí)，傳感器側(cè)設(shè)備10直接使用在圖10的步驟(S105)處轉(zhuǎn)換的3D定點(diǎn)位置，而不調(diào)節(jié)它們。
[0104][第一示例性實(shí)施例的功能和效果]
[0105]如上所述，在第一示例性實(shí)施例中，獲取在定點(diǎn)操作中使用的特定部位(手等)被拍攝的用戶(hù)的視線圖像，并且通過(guò)視頻看穿方法在用戶(hù)的視野中顯示通過(guò)在視線圖像中合成虛擬3D物體獲得的圖像。而且，在第一示例性實(shí)施例中，獲取用戶(hù)的特定部位的3D定點(diǎn)位置的變化和關(guān)于特定部位的形狀的狀態(tài)信息，并且關(guān)于虛擬3D物體應(yīng)用從其結(jié)合指定的預(yù)定處理。從而，根據(jù)第一示例性實(shí)施例，用戶(hù)可以感覺(jué)到就像他/她通過(guò)他/她自己的特定部位操作虛擬3D物體。更特別地，根據(jù)第一示例性實(shí)施例，用于虛擬3D物體的直覺(jué)操作感覺(jué)可以被提供給用戶(hù)。
[0106]在第一示例性實(shí)施例中，使用在對(duì)應(yīng)于定點(diǎn)操作中使用的用戶(hù)的特定部位的形狀的變化之前和之后的特定部位的定點(diǎn)位置的未對(duì)準(zhǔn)，調(diào)節(jié)在變化結(jié)束時(shí)間之后的定點(diǎn)位置。而且，在第一示例性實(shí)施例中，當(dāng)在檢測(cè)變化結(jié)束之后檢測(cè)到形狀的恢復(fù)變化時(shí)，釋放所存儲(chǔ)的3D定點(diǎn)位置，并且在釋放之后，不執(zhí)行3D定點(diǎn)位置的調(diào)節(jié)。例如，在從握手狀態(tài)(上述預(yù)定形狀)改變?yōu)閺堥_(kāi)手狀態(tài)的處理期間。這是因?yàn)閷?duì)應(yīng)于特定部位的定點(diǎn)位置的未對(duì)準(zhǔn)被解決，并且位置調(diào)節(jié)變得不必要。
[0107]從而，根據(jù)本示例性實(shí)施例，在特定手勢(shì)之前和之后的定點(diǎn)位置的未對(duì)準(zhǔn)的解決和與特定部位的形狀變化相關(guān)的進(jìn)一步位置調(diào)節(jié)的停止可以使得用戶(hù)的定點(diǎn)操作是進(jìn)一步在直覺(jué)上被識(shí)別的操作。然而，這樣的功能效果不以用戶(hù)的特定部位在視線圖像中被拍攝并且將為操作物體的虛擬3D物體被合成的形式，以受限方式產(chǎn)生。這是因?yàn)樵诓徊榭床僮魑矬w的情況下，用戶(hù)可以通過(guò)他/她自己的特定部位操作操作物體。甚至在這樣的情況下，根據(jù)第一示例性實(shí)施例，可以類(lèi)似地解決對(duì)應(yīng)于特定部位的定點(diǎn)位置的未對(duì)準(zhǔn)。
[0108][第二示例性實(shí)施例]
[0109]在上述第一示例性實(shí)施例中，使用HMD 9，并且示出通過(guò)在用戶(hù)的視線圖像中拍攝的用戶(hù)的特定部位的運(yùn)動(dòng)，啟用虛擬3D物體的操作的形式。然而，本發(fā)明可以應(yīng)用至通過(guò)不在用戶(hù)的視線圖像中而是從相對(duì)側(cè)拍攝的用戶(hù)圖像中拍攝的用戶(hù)的特定部位的運(yùn)動(dòng)，啟用虛擬3D物體的操作的形式。這是因?yàn)樵谔囟ㄊ謩?shì)之前和之后的定點(diǎn)位置的未對(duì)準(zhǔn)可能以這樣的形式發(fā)生。此后，關(guān)于第二示例性實(shí)施例中的3D-UI設(shè)備1，主要描述不同于第一示例性實(shí)施例中的那些的內(nèi)容。在以下說(shuō)明中，將適當(dāng)?shù)厥÷耘c第一示例性實(shí)施例相同的內(nèi)容。
[0110]第二示例性實(shí)施例中的3D-UI設(shè)備I僅包括傳感器側(cè)設(shè)備10，并且在連接至傳感器側(cè)設(shè)備10的輸入-輸出I/F 5的顯示部件上顯示合成圖像。
[0111]圖12是概念性地示出第二示例性實(shí)施例中的3D-UI設(shè)備I的功能結(jié)構(gòu)實(shí)例的視圖。第二示例性實(shí)施例中的3D-UI設(shè)備I的功能結(jié)構(gòu)與第一示例性實(shí)施例的不同之處在于，第一物體檢測(cè)單元12、第一標(biāo)準(zhǔn)設(shè)定單元13、位置計(jì)算單元14、發(fā)送單元16、視線圖像獲取單元31、第二物體檢測(cè)單元32、以及第二標(biāo)準(zhǔn)設(shè)定單元33被去除。另外，第二示例性實(shí)施例與第一示例性實(shí)施例的不同之處在于，基于對(duì)應(yīng)于3D傳感器8的相機(jī)坐標(biāo)系統(tǒng)的3D定點(diǎn)位置執(zhí)行處理。
[0112]根據(jù)第二示例性實(shí)施例，通過(guò)在查看顯示在傳感器側(cè)設(shè)備10的顯示部件上的從相對(duì)側(cè)拍攝的他/她自己的視頻的同時(shí)，在視頻上移動(dòng)他/她自己的特定部位，用戶(hù)可以操作在視頻中拍攝的虛擬3D物體。在第二示例性實(shí)施例中的傳感器側(cè)設(shè)備10中，代替用戶(hù)圖像，可以顯示偽用戶(hù)圖像。
[0113]而且在第二示例性實(shí)施例中，特定手勢(shì)之前和之后的定點(diǎn)位置的未對(duì)準(zhǔn)發(fā)生，并且可以使用對(duì)應(yīng)于變化結(jié)束時(shí)間的3D定點(diǎn)位置和對(duì)應(yīng)于變化開(kāi)始時(shí)間的所存儲(chǔ)3D定點(diǎn)位置之間的差異，通過(guò)位置調(diào)節(jié)解決未對(duì)準(zhǔn)。
[0114][第三示例性實(shí)施例]
[0115]在上述第二示例性實(shí)施例中，在定點(diǎn)操作中使用的用戶(hù)的特定部位的位置由三維坐標(biāo)系統(tǒng)指定，但是可以由二維坐標(biāo)系統(tǒng)指定(第三示例性實(shí)施例)。代替3D傳感器8，第三示例性實(shí)施例中的傳感器側(cè)設(shè)備10包括2D傳感器，諸如，2D圖像成像設(shè)備和紅外傳感器。3D信息獲取單元11改變?yōu)?D信息獲取單元，并且2D信息獲取單元獲取從2D傳感器獲得的2D信息，并且可以指定用戶(hù)的特定部位。從而，位置計(jì)算單元14按順序地計(jì)算用戶(hù)的特定部位的2D定點(diǎn)位置，并且關(guān)于特定部位的形狀變化，調(diào)節(jié)2D定點(diǎn)位置。
[0116]虛擬數(shù)據(jù)生成單元34將僅生成2D虛擬物體數(shù)據(jù)。在第三示例性實(shí)施例中，2D信息不需要包括用戶(hù)的特定部位的圖像。在該情況下，傳感器側(cè)設(shè)備10不需要包括圖像合成單元37，并且在顯示部件上顯示經(jīng)過(guò)預(yù)定處理的2D虛擬物體數(shù)據(jù)。
[0117]而且，在上述第三示例性實(shí)施例中，特定手勢(shì)之前和之后的2D定點(diǎn)位置的未對(duì)準(zhǔn)可能發(fā)生。未對(duì)準(zhǔn)可以使用對(duì)應(yīng)于變化結(jié)束時(shí)間的2D定點(diǎn)位置和對(duì)應(yīng)于變化開(kāi)始時(shí)間的所存儲(chǔ)2D定點(diǎn)位置之間的差異，通過(guò)位置調(diào)節(jié)被解決。
[0118][修改實(shí)例]
[0119]在上述第一示例性實(shí)施例中，從相機(jī)坐標(biāo)系統(tǒng)轉(zhuǎn)換到基于普通真實(shí)物體設(shè)置的3D坐標(biāo)系統(tǒng)的3D定點(diǎn)位置可以被調(diào)節(jié)，而且轉(zhuǎn)換之前的相機(jī)坐標(biāo)系統(tǒng)的3D定點(diǎn)位置可以被調(diào)節(jié)。在該情況下，調(diào)節(jié)后的3D定點(diǎn)位置被轉(zhuǎn)換為基于普通真實(shí)物體設(shè)置的3D坐標(biāo)系統(tǒng)。在該情況下，在步驟(S104)之后并且在步驟(S105)之前，執(zhí)行圖10的步驟(S106)。
[0120]另外，在上述各個(gè)示例性實(shí)施例中的3D定點(diǎn)位置或2D定點(diǎn)位置的調(diào)節(jié)可以如下進(jìn)一步執(zhí)行。例如，從當(dāng)檢測(cè)到變化開(kāi)始時(shí)直到當(dāng)檢測(cè)到變化結(jié)束時(shí)，變化檢測(cè)單元21測(cè)量變化所需的時(shí)間，當(dāng)所測(cè)量的變化所需時(shí)間大于預(yù)定閾值時(shí)，位置存儲(chǔ)單元22釋放所存儲(chǔ)的定點(diǎn)位置，并且位置調(diào)節(jié)單元24響應(yīng)于通過(guò)位置存儲(chǔ)單元22釋放定點(diǎn)位置，停止定點(diǎn)位置的調(diào)節(jié)。作為另一個(gè)實(shí)例，當(dāng)由計(jì)算單元23計(jì)算的差異大于預(yù)定閾值時(shí)，位置存儲(chǔ)單元22釋放所存儲(chǔ)的定點(diǎn)位置，并且位置調(diào)節(jié)單元24響應(yīng)于由位置存儲(chǔ)單元22釋放定點(diǎn)位置，停止定點(diǎn)位置的調(diào)節(jié)。
[0121]從而，當(dāng)在用戶(hù)的特定部位的形狀的變化開(kāi)始和到預(yù)定形狀的變化結(jié)束之間的時(shí)間比普通時(shí)間更長(zhǎng)時(shí)，并且當(dāng)用戶(hù)的特定部位的位置在形狀變化開(kāi)始和到預(yù)定形狀的變化結(jié)束之間在很大程度上移動(dòng)時(shí)，與普通時(shí)間相比，可以防止執(zhí)行定點(diǎn)位置的調(diào)節(jié)。從而，當(dāng)用戶(hù)無(wú)心變化他/她自己的特定部位的形狀時(shí)，當(dāng)用戶(hù)無(wú)心變化特定部位的形狀以及不期望移動(dòng)時(shí)等，可以防止移動(dòng)被識(shí)別為計(jì)算機(jī)的輸入。從而，當(dāng)用戶(hù)無(wú)心變化他/她自己的特定部位的形狀時(shí)，當(dāng)用戶(hù)無(wú)心變化特定部位的形狀以及不期望運(yùn)動(dòng)時(shí)等，可以防止運(yùn)動(dòng)被識(shí)別為計(jì)算機(jī)的輸入。從而，根據(jù)修改實(shí)例，可以防止計(jì)算機(jī)通過(guò)用戶(hù)不期望的運(yùn)動(dòng)操作，并且從而可以實(shí)現(xiàn)用于用戶(hù)的直覺(jué)和簡(jiǎn)單計(jì)算機(jī)操作。
[0122]雖然多個(gè)步驟(多段處理)在上述說(shuō)明中使用的多個(gè)流程圖中按順序被描述，但是在本示例性實(shí)施例中執(zhí)行的步驟的執(zhí)行順序不限于所描述的順序。在本示例性實(shí)施例中，所示步驟的順序可以在不干擾內(nèi)容的范圍內(nèi)變化。另外，上述各個(gè)示例性實(shí)施例和各個(gè)修改實(shí)例可以在不與內(nèi)容相抵觸的范圍內(nèi)結(jié)合。
[0123]上述各個(gè)示例性實(shí)施例和各個(gè)修改實(shí)例中的一部分或所有都可以被指定為以下模式。然而，各個(gè)示例性實(shí)施例和各個(gè)修改實(shí)例不限于以下說(shuō)明。
[0124](模式I)
[0125]用戶(hù)界面設(shè)備，包括:
[0126]位置獲取單元，其按順序地獲取表示在定點(diǎn)操作中使用的用戶(hù)的特定部位的至少一個(gè)代表性位置的定點(diǎn)位置；
[0127]變化檢測(cè)單元，其檢測(cè)到用戶(hù)的特定部位的預(yù)定形狀的變化開(kāi)始和變化結(jié)束；
[0128]位置存儲(chǔ)單元，其存儲(chǔ)由位置獲取單元順序獲取的定點(diǎn)位置中的對(duì)應(yīng)于由變化檢測(cè)單元檢測(cè)到的變化開(kāi)始的時(shí)間的定點(diǎn)位置；
[0129]計(jì)算單元，其指定由位置獲取單元獲取的定點(diǎn)位置中的對(duì)應(yīng)于由變化檢測(cè)單元檢測(cè)到的變化結(jié)束的時(shí)間的定點(diǎn)位置，并且計(jì)算所指定定點(diǎn)位置和存儲(chǔ)在位置存儲(chǔ)單元中的定點(diǎn)位置之間的差異；以及
[0130]位置調(diào)節(jié)單元，其使用由計(jì)算單元計(jì)算的差異，調(diào)節(jié)由位置獲取單元獲取的定點(diǎn)位置。
[0131](模式2)
[0132