專利名稱：復(fù)合現(xiàn)實(shí)感展現(xiàn)方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及展現(xiàn)復(fù)合現(xiàn)實(shí)感(Mixed Reality)的方法和裝置。尤其涉及適合于在復(fù)合現(xiàn)實(shí)感的展現(xiàn)中，適當(dāng)?shù)匾龑?dǎo)使用者，使得復(fù)合現(xiàn)實(shí)感裝置的使用者的位置和/或姿態(tài)，不移動(dòng)到傳感器裝置可測(cè)量的區(qū)域之外的技術(shù)。
背景技術(shù)：
應(yīng)用了使現(xiàn)實(shí)世界與虛擬世界和諧自然地結(jié)合的復(fù)合現(xiàn)實(shí)感(MRMixed Reality)的技術(shù)的裝置(以下稱復(fù)合現(xiàn)實(shí)感裝置)，被較多地提出。這些復(fù)合現(xiàn)實(shí)感裝置，對(duì)由照相機(jī)等攝像裝置拍攝到的現(xiàn)實(shí)世界的圖像，合成用計(jì)算機(jī)圖形(CGComputer Graphics)描繪出的虛擬世界的圖像，并顯示在頭部佩戴顯示器(HMDHead-Mounted Display)等的顯示裝置上，由此向裝置的使用者展現(xiàn)復(fù)合現(xiàn)實(shí)感。
這些復(fù)合現(xiàn)實(shí)感裝置，為了跟隨現(xiàn)實(shí)世界的圖像變化地生成虛擬世界的圖像，而需要實(shí)時(shí)地取得裝置的使用者的視點(diǎn)位置·姿態(tài)。用于取得使用者的視點(diǎn)位置·姿態(tài)的傳感器裝置已經(jīng)廣為人知。在復(fù)合現(xiàn)實(shí)感裝置中，將由傳感器裝置測(cè)量出的使用者的視點(diǎn)位置·姿態(tài)，作為在虛擬世界中的虛擬的視點(diǎn)位置·姿態(tài)來設(shè)定，根據(jù)該設(shè)定通過CG描繪虛擬世界的圖像，與現(xiàn)實(shí)世界的圖像進(jìn)行合成。由此，復(fù)合現(xiàn)實(shí)感裝置的使用者，能夠觀察到宛如虛擬的物體存在于現(xiàn)實(shí)世界中那樣的圖像。
上述傳感器裝置，根據(jù)測(cè)量位置·姿態(tài)的方式，被分類成光學(xué)式、磁式、超聲波式、機(jī)械式等，但無論在哪一種方式中，均不能無限制地測(cè)量位置·姿態(tài)，都會(huì)受其測(cè)量范圍的制約。
例如，在光學(xué)式傳感器裝置的情況下，通過傳感器控制裝置的控制，使使用了發(fā)光二極管(LEDLight Emitting Diode)等元件的發(fā)光部發(fā)光，照相機(jī)、線傳感器(Line Sensor)等的受光部捕捉來自該發(fā)光部的光，根據(jù)該受光信息決定測(cè)量對(duì)象的視點(diǎn)位置·姿態(tài)。因此，在受光部無法識(shí)別發(fā)光部發(fā)出的光的狀況，例如發(fā)光部同受光部的距離離開得過遠(yuǎn)，或者在發(fā)光部與受光部之間存在遮擋物這樣的狀況下，傳感器裝置無法測(cè)量測(cè)量對(duì)象的位置·姿態(tài)。
另外，例如，在磁式傳感器裝置的情況下，通過傳感器控制單元的控制，使得從磁發(fā)生器產(chǎn)生磁場(chǎng)，接收器測(cè)量磁發(fā)生器所產(chǎn)生的磁場(chǎng)的強(qiáng)度。根據(jù)磁發(fā)生器所產(chǎn)生磁場(chǎng)的方向和接收器所測(cè)量出的磁場(chǎng)的強(qiáng)度，決定測(cè)量對(duì)象的視線位置·姿態(tài)。因此，在接收器無法正確感知磁發(fā)生器所產(chǎn)生磁場(chǎng)的狀況，例如，在磁發(fā)生器同接收器的距離離開過遠(yuǎn)這樣的情況下，傳感器裝置就無法測(cè)量測(cè)量對(duì)象的位置·姿態(tài)。而且，即使在磁發(fā)射器同接收器的距離沒有離開太遠(yuǎn)的情況下，當(dāng)所測(cè)量的空間附近存在金屬或磁性體時(shí)，由于磁發(fā)射器所產(chǎn)生的磁場(chǎng)發(fā)生畸變，因此所測(cè)量的位置·姿態(tài)會(huì)產(chǎn)生明顯的誤差。
在一般的復(fù)合現(xiàn)實(shí)感裝置中，為了將現(xiàn)實(shí)世界與虛擬世界和諧地結(jié)合在一起，大多要求傳感器裝置具有較高的精度。因此，在關(guān)于位置·姿態(tài)產(chǎn)生測(cè)量誤差這樣的狀況下，作為現(xiàn)實(shí)問題，會(huì)導(dǎo)致無法使用復(fù)合現(xiàn)實(shí)感裝置。
基于以上理由可知，在使用復(fù)合現(xiàn)實(shí)感系統(tǒng)時(shí)，必須根據(jù)傳感器裝置能夠準(zhǔn)確測(cè)量測(cè)量對(duì)象的位置·姿態(tài)的范圍，預(yù)先確定復(fù)合現(xiàn)實(shí)感裝置的使用者所能夠移動(dòng)的區(qū)域，并使使用者的移動(dòng)限制在該區(qū)域(可移動(dòng)區(qū)域)內(nèi)。例如，在日本特開2002-269593號(hào)公報(bào)中，記述了在超出了測(cè)量位置·姿態(tài)的傳感器可測(cè)量的有效區(qū)域時(shí)，進(jìn)行停止CG描繪的處理的結(jié)構(gòu)。
但是，復(fù)合現(xiàn)實(shí)感裝置的使用者，并非都是一邊留意可移動(dòng)區(qū)域，一邊使用復(fù)合現(xiàn)實(shí)感裝置。在復(fù)合現(xiàn)實(shí)感裝置的使用中，大多都是由于復(fù)合現(xiàn)實(shí)感裝置的使用者無意識(shí)中移動(dòng)到了可移動(dòng)區(qū)域之外，造成傳感器裝置無法準(zhǔn)確測(cè)量復(fù)合現(xiàn)實(shí)感裝置的使用者的視點(diǎn)位置·姿態(tài)，導(dǎo)致虛擬的CG不能被準(zhǔn)確描繪時(shí)，復(fù)合現(xiàn)實(shí)感裝置的使用者才知道發(fā)生異常。而且，即使在這一時(shí)刻復(fù)合現(xiàn)實(shí)感裝置的使用者感覺到有什么異常，但多數(shù)情況下都無法知道其原因是超出到可移動(dòng)區(qū)域的外側(cè)而造成的。因此，存在復(fù)合現(xiàn)實(shí)感裝置的使用者不知道異常的發(fā)生原因和對(duì)應(yīng)方法，給使用者造成不放心的感覺這樣的問題。
在使用了磁式傳感器作為傳感器裝置時(shí)，由于在可移動(dòng)區(qū)域的邊界附近，位置·姿態(tài)的測(cè)量誤差會(huì)變大，因此有時(shí)在一定程度上能夠預(yù)見到復(fù)合現(xiàn)實(shí)感裝置的使用者出了可移動(dòng)區(qū)域。但是，在使用了光學(xué)式傳感器作為傳感器裝置時(shí)，即使是在可移動(dòng)區(qū)域的邊界附近，只要是在可移動(dòng)區(qū)域內(nèi)就進(jìn)行高精度的位置·姿態(tài)的測(cè)量，只有到了出了可移動(dòng)區(qū)域的外側(cè)的瞬間，才會(huì)導(dǎo)致測(cè)量完全無法進(jìn)行。即，對(duì)于復(fù)合現(xiàn)實(shí)感裝置的使用者而言，沒有任何先兆，突然虛擬世界的圖像就出現(xiàn)了混亂，因此會(huì)更增加不放心的感覺。
為了解決上述問題，以往進(jìn)行了如下的處理預(yù)先在現(xiàn)實(shí)世界中的可移動(dòng)區(qū)域的邊界附近設(shè)置帶子(Tape)等標(biāo)記，即設(shè)置物理性的障礙，或者通過專屬的輔助人員對(duì)復(fù)合現(xiàn)實(shí)感裝置的使用者逐一進(jìn)行引導(dǎo)等的方法，進(jìn)行用于不使復(fù)合現(xiàn)實(shí)感裝置的使用者移動(dòng)到可移動(dòng)區(qū)域的外側(cè)的引導(dǎo)的處理。
然而，在一般的復(fù)合現(xiàn)實(shí)感裝置中，從攝像裝置和顯示裝置的性能的因素考慮，裝置的使用者所能夠觀察的現(xiàn)實(shí)世界，在圖像的分辨率、視野的開闊度上受到制約。進(jìn)而，通過將虛擬世界的圖像與現(xiàn)實(shí)世界的圖像重疊，現(xiàn)實(shí)世界圖像的一部分被虛擬世界的圖像所遮擋，因而復(fù)合現(xiàn)實(shí)感裝置的使用者就無法觀察現(xiàn)實(shí)世界圖像的全部。即，即使在現(xiàn)實(shí)世界中設(shè)置標(biāo)記，由于容易漏看標(biāo)記、或者被虛擬世界圖像所遮蔽，有時(shí)復(fù)合現(xiàn)實(shí)感裝置的使用者無法觀察到標(biāo)記。并且，即使設(shè)置物理性障礙，基于上述理由，復(fù)合現(xiàn)實(shí)感裝置的使用者有時(shí)無法觀察到物理性障礙，根據(jù)不同的狀況，有時(shí)甚至?xí)o復(fù)合現(xiàn)實(shí)感裝置的使用者帶來危險(xiǎn)。以往的復(fù)合現(xiàn)實(shí)感裝置，基于上述的問題點(diǎn)，被要求進(jìn)行改良。
另一方面，在專屬的輔助人員引導(dǎo)復(fù)合現(xiàn)實(shí)感裝置的使用者時(shí)，雖然解決了上述問題點(diǎn)，但由于每次使用復(fù)合現(xiàn)實(shí)感裝置，都需要分派專屬的輔助人員，因此存在運(yùn)用上的麻煩以及負(fù)擔(dān)變大的課題。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述課題而完成的，目的在于在復(fù)合現(xiàn)實(shí)感的展現(xiàn)中，簡(jiǎn)便且合理地實(shí)現(xiàn)用于使復(fù)合現(xiàn)實(shí)感裝置的使用者不移動(dòng)到傳感器裝置可測(cè)量的區(qū)域之外的、對(duì)使用者的適當(dāng)引導(dǎo)。
用于實(shí)現(xiàn)上述目的的本發(fā)明的一個(gè)方式，是一種信息處理方法，其特征在于，包括取得用戶的位置和姿態(tài)的信息的取得步驟；根據(jù)上述用戶的位置和姿態(tài)的信息，生成虛擬圖像的生成步驟；合成與上述用戶的位置和姿態(tài)相應(yīng)的現(xiàn)實(shí)圖像和上述虛擬圖像的合成步驟；根據(jù)用戶的位置和姿態(tài)的可測(cè)量區(qū)域，設(shè)定區(qū)域信息的設(shè)定步驟；根據(jù)上述用戶的位置的信息和上述區(qū)域信息，控制關(guān)于上述可測(cè)量區(qū)域的報(bào)知的控制步驟。
另外，根據(jù)用于實(shí)現(xiàn)上述目的的本發(fā)明的其他方式，是一種信息處理裝置，其特征在于，包括取得上述用戶的位置和姿態(tài)的信息的取得單元；根據(jù)上述用戶的位置和姿態(tài)的信息，生成虛擬圖像的生成單元；合成與上述用戶的位置和姿態(tài)相應(yīng)的現(xiàn)實(shí)圖像和上述虛擬圖像的合成單元；根據(jù)用戶的位置和姿態(tài)的可測(cè)量區(qū)域，設(shè)定區(qū)域信息的設(shè)定單元；根據(jù)上述用戶的位置的信息和上述區(qū)域信息，控制關(guān)于上述可測(cè)量區(qū)域的報(bào)知的控制單元。
根據(jù)本發(fā)明，能夠通過簡(jiǎn)便且合理的方法引導(dǎo)復(fù)合現(xiàn)實(shí)感裝置的使用者，使之不移動(dòng)到可移動(dòng)區(qū)域的外側(cè)。
本發(fā)明的其他特征和優(yōu)點(diǎn)可以通過下面的參照附圖進(jìn)行的說明得到明確，對(duì)附圖中的相同或類似的部分附加相同的參考標(biāo)號(hào)。


附圖構(gòu)成本說明書的一部分，用于說明本發(fā)明的實(shí)施例，并與該說明一起用于闡明本發(fā)明的原理。
圖1是表示第1實(shí)施方式中的復(fù)合現(xiàn)實(shí)感裝置的概略結(jié)構(gòu)的框圖。
圖2是表示第1實(shí)施方式中的復(fù)合現(xiàn)實(shí)感裝置的整體的處理步驟的流程圖。
圖3是表示第1實(shí)施方式中的邊界測(cè)量值收集處理的步驟的流程圖。
圖4是表示第1實(shí)施方式中的復(fù)合現(xiàn)實(shí)感展現(xiàn)處理的步驟的流程圖。
圖5是針對(duì)第1實(shí)施方式的復(fù)合現(xiàn)實(shí)感裝置中所使用的傳感器裝置以及傳感器裝置的測(cè)量區(qū)域進(jìn)行說明的圖。
圖6是針對(duì)邊界測(cè)量點(diǎn)進(jìn)行說明的圖。
圖7是針對(duì)邊界測(cè)量點(diǎn)的收集進(jìn)行說明的圖。
圖8是針對(duì)安全區(qū)域、警告區(qū)域、可移動(dòng)區(qū)域進(jìn)行說明的圖。
圖9表示第1實(shí)施方式的復(fù)合現(xiàn)實(shí)感裝置中所顯示的圖像的例子的圖。
圖10是表示第2實(shí)施方式中的復(fù)合現(xiàn)實(shí)感展現(xiàn)處理的步驟的流程圖。
圖11是說明安全區(qū)域、警告區(qū)域的設(shè)定的圖。
圖12是表示登錄由安全區(qū)域和警告區(qū)域所形成的三角形網(wǎng)格的三角形構(gòu)成表的構(gòu)成例的圖。
圖13是表示將視點(diǎn)位置V投影為地平面上的點(diǎn)V’的樣子的圖。
圖14是說明判定點(diǎn)V’是否存在于安全區(qū)域40或者警告區(qū)域50的內(nèi)部的方法的圖。
具體實(shí)施例方式
下面將結(jié)合附圖詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施例。
首先，參照?qǐng)D5～圖8，對(duì)使用本實(shí)施方式的復(fù)合現(xiàn)實(shí)感裝置的空間進(jìn)行說明。圖5是針對(duì)本實(shí)施方式的復(fù)合現(xiàn)實(shí)感裝置(以后，記載為“本裝置”)中所使用的傳感器裝置以及傳感器裝置的測(cè)量區(qū)域進(jìn)行說明的圖。
在圖5中，傳感器裝置10，能夠在由傳感器測(cè)量區(qū)域20所表示的區(qū)域(圖5中以斜線的矩形所表示的區(qū)域)中，測(cè)量作為測(cè)量對(duì)象的本裝置的使用者的視點(diǎn)位置·姿態(tài)。另一方面，在傳感器測(cè)量區(qū)域20的外側(cè)的區(qū)域，傳感器裝置10無法測(cè)量視點(diǎn)位置·姿態(tài)。而且，無法用肉眼觀測(cè)到傳感器測(cè)量區(qū)域20及其邊界線。
圖6是針對(duì)邊界測(cè)量點(diǎn)進(jìn)行說明的圖。在圖6中的(A)中，本裝置的使用者位于傳感器測(cè)量區(qū)域20的內(nèi)側(cè)。即，在(A)的狀態(tài)下，從傳感器裝置10測(cè)量本裝置的使用者的視點(diǎn)位置·姿態(tài)。與此相對(duì)地，在(B)中，本裝置的使用者從傳感器測(cè)量區(qū)域20的內(nèi)側(cè)移動(dòng)到了外側(cè)。即，在(B)的狀態(tài)下，無法由傳感器裝置10測(cè)量到本裝置的使用者的視點(diǎn)位置·姿態(tài)。在從圖6的(A)的狀態(tài)過渡到(B)的狀態(tài)時(shí)(在測(cè)量對(duì)象超出傳感器測(cè)量區(qū)域20時(shí))，將在(A)的狀態(tài)下測(cè)量到位置·姿態(tài)的點(diǎn)，即，在傳感器測(cè)量區(qū)域20的內(nèi)側(cè)最后測(cè)量到位置·姿態(tài)的點(diǎn)稱為邊界測(cè)量點(diǎn)30。
圖7是針對(duì)邊界測(cè)量點(diǎn)30的收集進(jìn)行說明的圖。在利用本裝置的空間內(nèi)，尤其是在傳感器測(cè)量區(qū)域20的邊界附近的多個(gè)地點(diǎn)，用傳感器裝置10測(cè)量邊界測(cè)量點(diǎn)的位置。如此，通過測(cè)量眾多的邊界測(cè)量點(diǎn)，并進(jìn)行收集、積累，就可以求出能夠視作傳感器測(cè)量區(qū)域的區(qū)域。
圖8是針對(duì)測(cè)量區(qū)域20內(nèi)的安全區(qū)域、警告區(qū)域、可移動(dòng)區(qū)域進(jìn)行說明的圖。通過將已收集的邊界測(cè)量點(diǎn)30按順序用線連接，就能夠做成一個(gè)封閉區(qū)域。在邊界測(cè)量點(diǎn)30的數(shù)量足夠多時(shí)，可以認(rèn)為該封閉區(qū)域與傳感器測(cè)量區(qū)域20幾乎相等，將該區(qū)域作為可移動(dòng)區(qū)域60。另外，可移動(dòng)區(qū)域60雖然不嚴(yán)格地與傳感器測(cè)量區(qū)域20相等，但可移動(dòng)區(qū)域60是被包含在傳感器測(cè)量區(qū)域20內(nèi)的區(qū)域，可以保證在該區(qū)域內(nèi)能夠用傳感器10測(cè)量位置·姿態(tài)。而且，如圖8所示，將可移動(dòng)區(qū)域60的內(nèi)側(cè)周邊的區(qū)域設(shè)定為警告區(qū)域50。警告區(qū)域50雖然是可以用傳感器10測(cè)量的區(qū)域，但傳感器測(cè)量區(qū)域20的邊界就在附近，是超出傳感器測(cè)量區(qū)域20的外側(cè)而造成位置姿態(tài)的測(cè)量無法進(jìn)行的可能性很高的區(qū)域。并且，在可移動(dòng)區(qū)域60之內(nèi)除警告區(qū)域50以外的區(qū)域，與傳感器測(cè)量區(qū)域20的邊界離開一定的距離，可以視為能夠用傳感器10可靠地進(jìn)行測(cè)量的區(qū)域。將該區(qū)域設(shè)定為安全區(qū)域40。
在以下說明的各實(shí)施方式中，對(duì)于復(fù)合現(xiàn)實(shí)感裝置的使用者，在使用本裝置的過程中進(jìn)入到警告區(qū)域50內(nèi)時(shí)，就顯示邊界測(cè)量點(diǎn)的位置，并發(fā)出警告。以下，針對(duì)各實(shí)施方式詳細(xì)地進(jìn)行說明。
圖1是表示第1實(shí)施方式的復(fù)合現(xiàn)實(shí)感裝置的概略結(jié)構(gòu)的框圖。在圖1中，運(yùn)算處理部100由電腦(computer)等的計(jì)算機(jī)構(gòu)成。運(yùn)算處理部100在其內(nèi)部具有CPU101、RAM102、聲音輸出裝置103、圖像輸出裝置104、系統(tǒng)總線105、盤裝置106、輸入裝置107、圖像輸入裝置108。
CPU101，根據(jù)存儲(chǔ)在未圖示的ROM或者RAM102中的復(fù)合現(xiàn)實(shí)感程序，控制復(fù)合現(xiàn)實(shí)感處理。CPU101被連接在系統(tǒng)總線105上，能夠與RAM102、聲音輸出裝置103、圖像輸出裝置104、盤裝置106、輸入裝置107、圖像輸入裝置108相互通信。RAM102，通過存儲(chǔ)器等的主存儲(chǔ)裝置來實(shí)現(xiàn)。RAM102，經(jīng)由系統(tǒng)總線105，臨時(shí)保存復(fù)合現(xiàn)實(shí)感程序的程序代碼及程序的控制信息、CG數(shù)據(jù)及測(cè)量區(qū)域數(shù)據(jù)、傳感器的測(cè)量值等的各種數(shù)據(jù)。聲音輸出裝置103，通過聲卡等的設(shè)備來實(shí)現(xiàn)。經(jīng)由系統(tǒng)總線105，輸入由在CPU101上執(zhí)行的程序所生成的聲音信息，將聲音信息轉(zhuǎn)換成適當(dāng)?shù)穆曇粜盘?hào)，送出到揚(yáng)聲器裝置203。
圖像輸出裝置104，通過圖形卡(Graphics card)等的設(shè)備來實(shí)現(xiàn)。一般地，圖像輸出裝置104保持有未圖示的圖形存儲(chǔ)器(Graphicsmemory)。由在CPU101上執(zhí)行的程序所生成的圖像信息，經(jīng)由系統(tǒng)總線105，被寫入到圖像輸出裝置104所保持的圖形存儲(chǔ)器中。圖像輸出裝置104，將被寫入到圖形存儲(chǔ)器中的圖像信息轉(zhuǎn)換成適當(dāng)?shù)膱D像信號(hào)，送出到顯示裝置201上。圖形存儲(chǔ)器并非一定要由圖像輸出裝置104保持，也可以由RAM102來實(shí)現(xiàn)圖形存儲(chǔ)器的功能。
系統(tǒng)總線105與構(gòu)成運(yùn)算處理部100的各個(gè)設(shè)備連接，是用于上述設(shè)備相互通信的通信渠道。
盤裝置106，由硬盤等的輔助存儲(chǔ)裝置來實(shí)現(xiàn)。盤裝置106，保存復(fù)合現(xiàn)實(shí)感程序的程序代碼及程序的控制信息、虛擬世界的CG對(duì)象數(shù)據(jù)、邊界測(cè)量點(diǎn)數(shù)據(jù)、區(qū)域信息等。輸入裝置107，通過各種接口設(shè)備來實(shí)現(xiàn)。例如，實(shí)現(xiàn)將來自連接于運(yùn)算處理部100的外部的設(shè)備的信號(hào)，作為數(shù)據(jù)進(jìn)行輸入，經(jīng)由系統(tǒng)總線105，將數(shù)據(jù)寫入到RAM102等的功能。圖像輸入裝置108，通過捕捉卡(capture card)等的設(shè)備來實(shí)現(xiàn)。輸入從攝像裝置202送出的圖像信號(hào)，經(jīng)由系統(tǒng)總線105，將圖像數(shù)據(jù)寫入到RAM102或者圖形存儲(chǔ)器。另外，在對(duì)顯示裝置201使用光學(xué)透視型的顯示裝置時(shí)，也可以不具備圖像輸入裝置108。
頭部佩戴部200，是本裝置的使用者為了體驗(yàn)本實(shí)施方式的復(fù)合現(xiàn)實(shí)感裝置而佩戴的。頭部佩戴部200由顯示裝置201、攝像裝置202、揚(yáng)聲器203、測(cè)量對(duì)象301構(gòu)成。在本實(shí)施方式中，是使用者佩戴構(gòu)成頭部佩戴部200的裝置的，但只要是使用者能夠體驗(yàn)復(fù)合現(xiàn)實(shí)感的方式，并非一定要是頭部佩戴部200的方式，也可以使用臺(tái)式的顯示裝置。
顯示裝置201，通過視頻透視型HMD等的顯示器來實(shí)現(xiàn)。顯示裝置201，用于顯示從圖像輸出裝置104送出的圖像信號(hào)，向本裝置的使用者展現(xiàn)復(fù)合現(xiàn)實(shí)感。雖然顯示裝置201是構(gòu)成頭部佩戴部200的裝置，但并非一定需要使用者佩戴。只要是使用者能夠確認(rèn)圖像的裝置，例如作為顯示裝置201，也可以使用臺(tái)式的顯示裝置。
攝像裝置202，通過CCD照相機(jī)等1個(gè)以上的攝像裝置來實(shí)現(xiàn)。攝像裝置202用于拍攝從本裝置的使用者的視點(diǎn)看到的現(xiàn)實(shí)世界的圖像。因此，攝像裝置202希望能夠佩戴在使用者的頭部距離視點(diǎn)位置近的地方，但只要是能夠取得從使用者的視點(diǎn)看到的圖像的裝置即可，并不受此限制。攝像裝置202所拍攝的圖像作為圖像信號(hào)而被送出到圖像輸入裝置108。另外，在對(duì)顯示裝置201使用光學(xué)透視型的顯示裝置時(shí)，由于本裝置的使用者能夠直接觀察透過顯示裝置201的現(xiàn)實(shí)世界，所以也可以不包括攝像裝置202。
揚(yáng)聲器裝置203，用于將聲音輸出裝置103送出的聲音信號(hào)，展現(xiàn)給本裝置的使用者。在本實(shí)施方式中，雖然揚(yáng)聲器裝置203是構(gòu)成頭部佩戴部200的裝置，但只要使用者能夠確認(rèn)聲音，并非一定需要使用者佩戴。而且，在不使用聲音時(shí)，也可以不包括揚(yáng)聲器裝置203。
傳感器部300，測(cè)量本裝置的使用者的視點(diǎn)位置·姿態(tài)。傳感器部300由測(cè)量對(duì)象301、測(cè)量裝置302、傳感器控制裝置303構(gòu)成。測(cè)量對(duì)象301是傳感器裝置測(cè)量的對(duì)象，設(shè)置于本裝置的使用者所佩戴的頭部佩戴部200上。即，測(cè)量對(duì)象301成為頭部佩戴部200、傳感器部300兩者的構(gòu)成要素。測(cè)量裝置302測(cè)量測(cè)量對(duì)象301的位置·姿態(tài)。測(cè)量裝置302不由本裝置的使用者佩戴，被設(shè)置在能夠測(cè)量測(cè)量對(duì)象301的位置。傳感器控制裝置303向測(cè)量對(duì)象301、測(cè)量裝置302發(fā)送出控制命令，并且，從測(cè)量對(duì)象301、測(cè)量裝置302取得觀測(cè)數(shù)據(jù)。傳感器控制裝置303基于已取得的觀測(cè)數(shù)據(jù)，算出測(cè)量對(duì)象301的位置·姿態(tài)信息，并將此作為測(cè)量值發(fā)送到輸入裝置107。
另外，測(cè)量對(duì)象301、測(cè)量裝置302、傳感器控制裝置303，有時(shí)因傳感器裝置而使結(jié)構(gòu)不同。
例如，在使用可從Northern Digital公司得到的光學(xué)式的傳感器OPTOTRAK 3020的情況下，測(cè)量對(duì)象301由發(fā)光裝置構(gòu)成，根據(jù)傳感器控制裝置303的指令而發(fā)光。測(cè)量裝置302由受光裝置構(gòu)成，觀測(cè)從測(cè)量對(duì)象301的發(fā)光裝置發(fā)出的光。傳感器控制裝置303根據(jù)測(cè)量裝置302的觀測(cè)數(shù)據(jù)，算出測(cè)量對(duì)象301的位置·姿態(tài)。
另外，例如，在使用可從3rdTech公司得到的光學(xué)式傳感器Hiball的情況下，測(cè)量對(duì)象301由受光裝置構(gòu)成，測(cè)量裝置302由發(fā)光裝置構(gòu)成。測(cè)量裝置302根據(jù)傳感器控制裝置303的指令而發(fā)光。測(cè)量對(duì)象301觀測(cè)從測(cè)量裝置302的發(fā)光裝置發(fā)出的光。傳感器控制裝置303根據(jù)測(cè)量對(duì)象301的觀測(cè)數(shù)據(jù)、測(cè)量裝置302的配置數(shù)據(jù)，算出測(cè)量對(duì)象301的位置·姿態(tài)。
進(jìn)而，例如，在使用可從Polhemus公司得到的磁式傳感器Fastrak的情況下，測(cè)量對(duì)象301由接收器構(gòu)成，觀測(cè)由測(cè)量裝置302的磁發(fā)生器所產(chǎn)生的磁場(chǎng)，生成觀測(cè)數(shù)據(jù)。測(cè)量裝置302由磁發(fā)生器構(gòu)成，根據(jù)傳感器控制裝置303的指令而產(chǎn)生磁場(chǎng)。傳感器控制裝置303根據(jù)測(cè)量對(duì)象301的觀測(cè)數(shù)據(jù)，算出測(cè)量對(duì)象301的位置·姿態(tài)。
并且，還可以使用如下方法，即本裝置的使用者佩戴未圖示的標(biāo)志，對(duì)于由與攝像裝置202不同的、設(shè)置于外部的未圖示的攝像裝置所拍攝的圖像進(jìn)行圖像處理，從圖像中抽取出標(biāo)志，根據(jù)標(biāo)志在圖像中的位置算出本裝置的使用者的位置·姿態(tài)。此時(shí)，測(cè)量對(duì)象301對(duì)應(yīng)于標(biāo)志，測(cè)量裝置302對(duì)應(yīng)于外部的攝像裝置，傳感器控制裝置303對(duì)應(yīng)于上述進(jìn)行圖像處理的計(jì)算機(jī)。而且，也可以使用這樣的方法，即本裝置的使用者不佩戴明顯的標(biāo)志，攝像裝置拍攝本裝置的使用者，根據(jù)本裝置的使用者的圖像特征算出本裝置的使用者的位置·姿態(tài)。此時(shí)，測(cè)量對(duì)象301成為本裝置的使用者。
進(jìn)而，也可以使用如下方法，即在使用本裝置的空間中設(shè)置成為界標(biāo)(landmark)的多個(gè)未圖示的標(biāo)志，對(duì)于由攝像裝置202所拍攝的圖像進(jìn)行圖像處理，根據(jù)圖像中的標(biāo)志的位置算出本裝置的使用者的位置·姿態(tài)。此時(shí)，只需將測(cè)量對(duì)象301替換成本裝置的使用者，將測(cè)量裝置302替換成標(biāo)志，將傳感器裝置303替換成進(jìn)行上述圖像處理的計(jì)算機(jī)即可。而且，也可以是在使用本裝置的空間中不設(shè)置明顯的標(biāo)志作為界標(biāo)，而是通過從攝像裝置202所拍攝的圖像中抽取出圖像特征，來算出本裝置的使用者的位置·姿態(tài)。此時(shí)，測(cè)量裝置302就成為使用本裝置的空間本身。
而且，在通過組合多個(gè)傳感器裝置和測(cè)量方法，來測(cè)量本裝置的使用者的位置·姿態(tài)的情況下，也可以視為作為整體而構(gòu)成傳感器部300。即，傳感器部300是，測(cè)量裝置302觀測(cè)測(cè)量對(duì)象301，根據(jù)觀測(cè)數(shù)據(jù)，傳感器控制裝置303輸出測(cè)量對(duì)象301的位置·姿態(tài)的裝置，而不論算出位置·姿態(tài)的原理和方法如何。
另外，雖然在本實(shí)施方式中，傳感器部300測(cè)量了本裝置的使用者的位置·姿態(tài)，但也可以是只測(cè)量位置。
以下將針對(duì)具有以上這樣的結(jié)構(gòu)的第1實(shí)施方式的控制進(jìn)行說明。圖2是本實(shí)施方式的復(fù)合現(xiàn)實(shí)感裝置所進(jìn)行的處理的流程圖。另外，遵照該流程圖的程序代碼，被存儲(chǔ)在本實(shí)施方式的裝置內(nèi)的盤裝置106或RAM102等存儲(chǔ)裝置內(nèi)，由CPU101讀出并執(zhí)行。
首先，在步驟S100中，在進(jìn)行本裝置的復(fù)合現(xiàn)實(shí)感的展現(xiàn)處理之前，先在步驟S200中進(jìn)行必要的邊界測(cè)量值收集處理。所謂邊界測(cè)量值，是由傳感器部300測(cè)量出的、在圖6、圖7中說明過的邊界測(cè)量點(diǎn)30的位置。對(duì)于邊界測(cè)量值收集處理的詳細(xì)情況，將根據(jù)圖3的流程圖在后面描述。接著，在步驟S200中，通過使用本實(shí)施方式的復(fù)合現(xiàn)實(shí)感裝置，對(duì)本裝置的使用者進(jìn)行復(fù)合現(xiàn)實(shí)感的展現(xiàn)。對(duì)于復(fù)合現(xiàn)實(shí)感展現(xiàn)處理的詳細(xì)情況，將根據(jù)圖4的流程圖在后面描述。
圖3是表示在本實(shí)施方式的復(fù)合現(xiàn)實(shí)感裝置中，在步驟S100中進(jìn)行的邊界測(cè)量值收集處理的詳細(xì)情況的流程圖。
首先，在步驟S101中，進(jìn)行邊界測(cè)量值收集處理所必需的初始化(基本上是傳感器的安裝(setup))。接著，在步驟S102中，輸入裝置107取得傳感器部300的傳感器控制裝置303所輸出的測(cè)量值。CPU101將所取得的測(cè)量值(測(cè)量對(duì)象301的位置·姿態(tài))變換成按照本裝置的使用者的視點(diǎn)的位置·姿態(tài)。在步驟S103中，判定在步驟S102中是否已得到準(zhǔn)確的測(cè)量值。此處，所謂“準(zhǔn)確”，是指測(cè)量值的誤差小于容許值。在得到了準(zhǔn)確的測(cè)量值時(shí)，進(jìn)入步驟S104，將該測(cè)量值保持在RAM102中。
例如，在對(duì)傳感器部300使用光學(xué)式傳感器的情況下，如果超出到傳感器測(cè)量區(qū)域的外部，就完全無法獲得測(cè)量值。因此，步驟S103中的判定處理可以根據(jù)是否得到了測(cè)量值而進(jìn)行，非常容易。但是，例如，在對(duì)傳感器部300使用了磁式傳感器的情況下，即使超出到傳感器測(cè)量區(qū)域的外部，也只是測(cè)量的誤差擴(kuò)大而已，測(cè)量值本身仍然能夠取得。在這樣的情況下，作為應(yīng)對(duì)方法，例如，可以在步驟S102中先將測(cè)量值作為履歷而保持，在步驟S103中當(dāng)測(cè)量值的變化量超出了既定值時(shí)判定為沒有獲得準(zhǔn)確的測(cè)量值。該既定值，可以從對(duì)于本裝置的使用者能夠假定的移動(dòng)量(傳感器的測(cè)量采樣間隔內(nèi)的最大移動(dòng)量)和傳感器裝置所保證的誤差來算出。例如，可以將“最大移動(dòng)量+誤差”作為上述既定值而使用。
另外，在步驟S104中，是將在步驟S102中取得的測(cè)量值保持在RAM102中的，但在已保持有測(cè)量值時(shí)，舊的測(cè)量值被放棄。即，只保持由傳感器測(cè)量部300所測(cè)量的測(cè)量值中的最新的測(cè)量值。
另一方面，當(dāng)在步驟S102中沒有得到準(zhǔn)確的測(cè)量值時(shí)，從步驟S103進(jìn)入步驟S105。在步驟S105中，判定在RAM102中是否保持有測(cè)量值。在保持有測(cè)量值時(shí)進(jìn)入步驟S106，將RAM102所保持的測(cè)量值作為邊界測(cè)量點(diǎn)30的測(cè)量值(邊界測(cè)量值)而保存到盤裝置105中。在本實(shí)施方式中，在由傳感器部300所進(jìn)行的上一次測(cè)量中得到了準(zhǔn)確的測(cè)量值，而在這次測(cè)量中沒有得到準(zhǔn)確的測(cè)量值時(shí)，到達(dá)步驟S106。這表示在圖6中已經(jīng)從(A)的狀態(tài)過渡到了(B)的狀態(tài)，在這一時(shí)刻RAM102所保持著的測(cè)量值就成為邊界測(cè)量值。在邊界測(cè)量值保存后，也可以刪除在RAM102中保持的測(cè)量值。
另外，在本實(shí)施方式中，所測(cè)量出的邊界測(cè)量值全都被保存到了盤裝置105中，但并非一定要保存所有的邊界測(cè)量值。例如，也可以是對(duì)于保存著的邊界測(cè)量值，通過統(tǒng)計(jì)的方法分析邊界測(cè)量值，將判斷為精度較低的邊界測(cè)量值除去?；蛘?，還可以是在將邊界測(cè)量值保存到盤裝置105中時(shí)，比較其與至此所測(cè)量出的邊界測(cè)量值的連續(xù)性，判斷是否進(jìn)行保存。
在步驟S107中，判定是否結(jié)束邊界測(cè)量值收集處理。邊界測(cè)量值收集處理的結(jié)束的判定，例如，通過判定用戶是否實(shí)施了結(jié)束指示操作而進(jìn)行。在繼續(xù)進(jìn)行邊界測(cè)量值的收集時(shí)，返回到步驟S102，否則結(jié)束邊界測(cè)量值收集處理。
另外，在本實(shí)施方式中，在收集邊界測(cè)量值的過程中，在步驟S106中是將邊界測(cè)量值逐一保存到盤裝置105中的，但顯然可以在收集邊界測(cè)量值的過程中，先將邊界測(cè)量值保持在RAM102中，在結(jié)束邊界測(cè)量值收集處理的時(shí)刻一并保存到盤裝置105中。
接著，針對(duì)第1實(shí)施方式的復(fù)合現(xiàn)實(shí)感展現(xiàn)處理進(jìn)行說明。圖4是表示在第1實(shí)施方式的復(fù)合現(xiàn)實(shí)感裝置中，在步驟S200中進(jìn)行的復(fù)合現(xiàn)實(shí)感展現(xiàn)處理的詳細(xì)情況的流程圖。
在步驟S201中，進(jìn)行復(fù)合現(xiàn)實(shí)感展現(xiàn)處理所必需的初始化。例如，CPU101從盤裝置105中讀出虛擬世界CG對(duì)象數(shù)據(jù)、警告用CG對(duì)象數(shù)據(jù)、邊界測(cè)量值CG對(duì)象數(shù)據(jù)、在邊界測(cè)量值收集處理(S100)中被保存了的邊界測(cè)量值數(shù)據(jù)、警告用聲音數(shù)據(jù)、程序控制數(shù)據(jù)等必要的數(shù)據(jù)，寫入到RAM102中。
在步驟S202中，圖像輸入裝置108輸入由攝像裝置202所拍攝到的從本裝置的使用者的視點(diǎn)來看的現(xiàn)實(shí)世界圖像，寫入到RAM102中。CPU101從RAM102中讀出圖像，根據(jù)需要進(jìn)行修正處理后，寫入到圖像輸出裝置104的圖形存儲(chǔ)器上的幀緩沖器(frame buffer)中。另外，也可以不經(jīng)由RAM102，而直接將圖像輸入裝置108輸入的圖像寫入到圖像輸出裝置104的圖形存儲(chǔ)器的幀緩沖器中。另外，在對(duì)顯示裝置201使用了光學(xué)透視型的顯示裝置時(shí)，也可以不進(jìn)行步驟S202的處理。
在步驟S203中，輸入裝置107取得傳感器部300的傳感器控制裝置303所輸出的測(cè)量值。CPU101將已取得的測(cè)量值變換成按照本裝置的使用者視點(diǎn)的位置·姿態(tài)，寫入到RAM102中。在步驟S204中，CPU101使用在步驟S203中變換后的本裝置的使用者的視點(diǎn)位置、和存儲(chǔ)在RAM102中的多個(gè)邊界測(cè)量值組，判定本裝置的使用者的視點(diǎn)位置是否存在于在圖8中說明過的安全區(qū)域40內(nèi)。當(dāng)視點(diǎn)位置不存在于安全區(qū)域40的內(nèi)部時(shí)輸出警告聲音。另外，也可以在位于圖8所示的警告區(qū)域50中時(shí)、和既不位于安全區(qū)域40也不存在于警告區(qū)域50(可移動(dòng)區(qū)域60之外)時(shí)，變更警告的內(nèi)容。
為了判定本裝置的使用者的視點(diǎn)位置是否存在于安全區(qū)域40、警告區(qū)域50的內(nèi)部，例如可以如以下這樣進(jìn)行。此處，設(shè)邊界測(cè)量點(diǎn)30全都是存在于地平面上的點(diǎn)組，設(shè)其坐標(biāo)都是2維的。而且，設(shè)安全區(qū)域40存在于可移動(dòng)區(qū)域60的內(nèi)側(cè)，并與可移動(dòng)區(qū)域60相似。設(shè)警告區(qū)域50為從可移動(dòng)區(qū)域60中除去安全區(qū)域40后的區(qū)域。并且，安全區(qū)域40的大小由某常數(shù)k(k為從0到1的任意實(shí)數(shù))確定。安全區(qū)域40，在k＝0時(shí)其大小成為0，變成不存在。另外，在k＝1時(shí)，安全區(qū)域40同可移動(dòng)區(qū)域60一致，警告區(qū)域50不存在。
首先參照?qǐng)D11說明可移動(dòng)區(qū)域、安全區(qū)域、警告區(qū)域的設(shè)定方法的一個(gè)例子。最初，在將邊界測(cè)量點(diǎn)組設(shè)為P(P1、P2...)時(shí)，求出成為這些邊界測(cè)量點(diǎn)組P的重心的點(diǎn)G。接著，針對(duì)連接點(diǎn)G和邊界測(cè)量點(diǎn)組P中的任意1點(diǎn)Pn的線段，求出將線段按k∶(1-k)的比例分割的點(diǎn)Qn。點(diǎn)Qn成為在安全區(qū)域40和警告區(qū)域50的邊界上的點(diǎn)。針對(duì)所有的邊界測(cè)量點(diǎn)組P求出點(diǎn)Q1、Q2...，將其集合設(shè)為警告區(qū)域邊界點(diǎn)組Q。
接著，根據(jù)點(diǎn)組P和Q確定安全區(qū)域40和警告區(qū)域50。通過將構(gòu)成點(diǎn)組P的各點(diǎn)按順序連接起來，或者將構(gòu)成點(diǎn)組Q的各點(diǎn)按順序用線連接下去，就可以構(gòu)成某個(gè)封閉區(qū)域的輪廓線。由點(diǎn)組P構(gòu)成的封閉區(qū)域就是可移動(dòng)區(qū)域60，由點(diǎn)組Q構(gòu)成的封閉區(qū)域就是安全區(qū)域40。通過從點(diǎn)組按三角形網(wǎng)格分割各區(qū)域，就可以求出這些封閉區(qū)域。
作為用于由點(diǎn)組構(gòu)成三角形網(wǎng)格來分割區(qū)域的方法，德洛內(nèi)(Delaunay)的區(qū)域分割法已經(jīng)廣為人知。德洛內(nèi)的分割法，是將被賦予的點(diǎn)組中的任意的3點(diǎn)作為頂點(diǎn)，針對(duì)點(diǎn)組中的所有的點(diǎn)，構(gòu)成在其外接圓的內(nèi)側(cè)不包含點(diǎn)組中其他任意點(diǎn)的三角形的方法。
分別針對(duì)點(diǎn)組PUQ和點(diǎn)組Q，適用德洛內(nèi)的分割法等分割區(qū)域的方法，來構(gòu)成三角形網(wǎng)格M以及S。對(duì)于點(diǎn)組PUQ，所構(gòu)成的三角形網(wǎng)格構(gòu)成可移動(dòng)區(qū)域60，對(duì)于點(diǎn)組Q，所構(gòu)成的三角形網(wǎng)格S是構(gòu)成安全區(qū)域40的三角形網(wǎng)格。從三角形網(wǎng)格M中去除S后的部分，是構(gòu)成警告區(qū)域50的三角形網(wǎng)格A。此時(shí)，在RAM102中，生成如圖12所示那樣的三角形構(gòu)成表400。在三角形構(gòu)成表400中，存儲(chǔ)有構(gòu)成各三角形的頂點(diǎn)的索引(index)。
如以上那樣確定安全區(qū)域40和警告區(qū)域50后，將在步驟S203中所取得的本裝置的使用者的視點(diǎn)位置V投影為地平面上的點(diǎn)V’。圖13是說明在將地平面設(shè)為Z＝0時(shí)，V被投影為V’情況的圖。檢查該點(diǎn)V’是否存在于構(gòu)成三角形網(wǎng)格S或者A的三角形的任意一個(gè)的內(nèi)部。如果點(diǎn)V’存在于構(gòu)成三角形網(wǎng)格的三角形中的任意一個(gè)的內(nèi)部，就判定為V’存在于與三角形網(wǎng)格對(duì)應(yīng)的區(qū)域的內(nèi)側(cè)。即，如果存在于三角形網(wǎng)格S的內(nèi)部，就判定點(diǎn)V’存在于安全區(qū)域40的內(nèi)側(cè)，如果存在于三角形網(wǎng)格A的內(nèi)部，就判定點(diǎn)V’存在于警告區(qū)域50的內(nèi)側(cè)。而且，當(dāng)點(diǎn)V’不存在于安全區(qū)域40、警告區(qū)域50的任一個(gè)的內(nèi)部時(shí)，就判定點(diǎn)V’存在于可移動(dòng)區(qū)域60之外。
對(duì)于點(diǎn)V’是否存在于某個(gè)三角形T的內(nèi)部，即三角形和點(diǎn)的包含關(guān)系的判定，例如可以如下面這樣進(jìn)行。
將三角形T的各頂點(diǎn)設(shè)為T1、T2、T3，連接頂點(diǎn)的3條邊設(shè)為T1T2、T2T3、T3T1。針對(duì)從點(diǎn)V’連接三角形T的各頂點(diǎn)T1、T2、T3的線段V’T1、V’T2、V’T3，判定是否與三角形T的3條邊交叉。即，針對(duì)線段V’T1與T2T3，線段V’T2與T3T1，線段V’T3與T1T2，檢查它們之間是否交叉，只要線段中的任何一個(gè)出現(xiàn)交叉，就判定為點(diǎn)V’存在于三角形T的內(nèi)部。如果任何線段都不交叉，就判定為點(diǎn)V’存在于三角形T的外部。
另外，此處闡述的三角形和點(diǎn)的包含關(guān)系的判定方法，只是一個(gè)例子而已，也可以使用其他的判定方法。
以下，使用圖14，針對(duì)判定點(diǎn)V’是否存在于安全區(qū)域40或警告區(qū)域50的內(nèi)部的方法，更具體地進(jìn)行說明。
首先，使用三角形構(gòu)成表400構(gòu)成三角形Sn。然后，針對(duì)各三角形Sn，判定點(diǎn)V’是否存在于三角形Sn的內(nèi)部。對(duì)于點(diǎn)V’同三角形Sn的包含關(guān)系的判定，使用上述的方法。此處，如果點(diǎn)V’存在于三角形Sn的內(nèi)部，就被判定為點(diǎn)V’存在于安全區(qū)域40的內(nèi)部。在圖1 4的例子中，由于點(diǎn)V’不存在于安全區(qū)域40的內(nèi)部，因此進(jìn)入下面的處理。使用三角形構(gòu)成表400構(gòu)成三角形An。然后，針對(duì)各三角形An，判定點(diǎn)V’是否存在于三角形An的內(nèi)部。此處，如果點(diǎn)V’存在于三角形An的內(nèi)部，就被判定為點(diǎn)V’存在于警告區(qū)域50的內(nèi)部。在圖14的例子中，在點(diǎn)V’和三角形A3的包含關(guān)系的判定處理中，由于被判定為點(diǎn)V’存在于三角形A3的內(nèi)部，因此就被判定為點(diǎn)V’存在于警告區(qū)域50的內(nèi)部。另外，如果在該階段被判定為點(diǎn)V’不存在于警告區(qū)域50的內(nèi)部時(shí)，就變成V’不屬于安全區(qū)域40以及警告區(qū)域50的任何一方的內(nèi)部。即，就被判定為點(diǎn)V’存在于可移動(dòng)區(qū)域60的外部。
另外，在本實(shí)施方式中，假設(shè)邊界測(cè)量點(diǎn)是存在于地平面上的2維的點(diǎn)，但也可以將邊界測(cè)量點(diǎn)作為3維的點(diǎn)來對(duì)待。此時(shí)，安全區(qū)域40、警告區(qū)域50、可移動(dòng)區(qū)域60就變成3維封閉區(qū)域，成為判定本裝置的使用者的視點(diǎn)位置V是否存在于封閉區(qū)域的內(nèi)部。即，只需由點(diǎn)組求出構(gòu)成封閉區(qū)域的面的三角形網(wǎng)格，判定視點(diǎn)位置V是否存在于該三角形網(wǎng)格的內(nèi)部即可。此時(shí)，求三角形網(wǎng)格的步驟，同在3維計(jì)算機(jī)圖形的領(lǐng)域中，由3維的點(diǎn)組構(gòu)成CG模型的多邊形的步驟相同，除了德洛內(nèi)的區(qū)域分割法以外，還提出有free mesh法、bubblemesh法等眾多的方法，可以適用這些方法。
在本實(shí)施方式中，為了確定封閉區(qū)域而由邊界測(cè)量點(diǎn)組構(gòu)成三角形網(wǎng)格，但并不局限于該方法。只要是能夠根據(jù)邊界測(cè)量點(diǎn)組判定本裝置的使用者的視點(diǎn)位置是否存在于安全區(qū)域40和警告區(qū)域50的方法，使用什么樣的方法都可以。
在步驟S205中，根據(jù)在步驟S204中所判定的包含本裝置的使用者的視點(diǎn)位置的區(qū)域種類，控制之后的處理。在本裝置的使用者的視點(diǎn)位置存在于安全區(qū)域40內(nèi)時(shí)，進(jìn)入步驟S207。在使用者的視點(diǎn)位置存在于警告區(qū)域50內(nèi)、或者存在于可移動(dòng)區(qū)域60外時(shí)，進(jìn)入步驟S206。
在步驟S206中，CPU101從RAM102讀出表示在警告區(qū)域50內(nèi)或者可移動(dòng)區(qū)域60外的警告聲音數(shù)據(jù)，送出到聲音輸出裝置103。通過這樣的步驟S206的處理，就能夠?qū)τ诒狙b置的使用者，更明確地通知當(dāng)前是在可移動(dòng)區(qū)域60的邊界附近的情況。另外，在不輸出警告聲音時(shí)，也可以不進(jìn)行步驟S206的處理。
在步驟S207中，CPU101從RAM102讀出虛擬世界的CG對(duì)象的數(shù)據(jù)，根據(jù)在步驟S203中算出的本裝置的使用者的視點(diǎn)位置·姿態(tài)來描繪CG，輸出到圖形存儲(chǔ)器上。圖像輸出裝置104，合成被描繪在圖形存儲(chǔ)器上的各種緩沖器中的數(shù)據(jù)，對(duì)顯示裝置201發(fā)送圖像信號(hào)。在圖像輸出裝置104具有圖形加速器(graphics accelerator)等描繪專用的運(yùn)算裝置時(shí)，圖像輸出裝置104進(jìn)行步驟S207的所有的處理。
而且，在步驟S205中，在被判定為視點(diǎn)位置存在于警告區(qū)域50內(nèi)時(shí)，CPU101進(jìn)一步在將邊界測(cè)量值投影到地平面上之后的坐標(biāo)上，描繪邊界測(cè)量值描繪用CG。由此，就能夠?qū)Ρ狙b置的使用者，視覺地通知當(dāng)前的使用者的位置在可移動(dòng)區(qū)域60的邊界附近這一情況。并且，在被判定為視點(diǎn)位置存在于警告區(qū)域50內(nèi)時(shí)，也可以取代邊界測(cè)量值描繪用CG，用CG描繪警告區(qū)域50的地平面和區(qū)域的邊界線，由此對(duì)本裝置的使用者通知是在可移動(dòng)區(qū)域60的邊界附近這一情況。另外，在步驟S205中，在被判定為視點(diǎn)位置存在于可移動(dòng)區(qū)域60之外時(shí)，也可以使得不進(jìn)行步驟S207的處理。在步驟S208中判定是否繼續(xù)復(fù)合現(xiàn)實(shí)感展現(xiàn)處理(有無結(jié)束的指示)，在繼續(xù)處理時(shí)返回步驟S202。另一方面，在結(jié)束處理時(shí)結(jié)束本復(fù)合現(xiàn)實(shí)感展現(xiàn)處理。
圖9表示顯示部200所顯示的圖像的例子。圖9的方形的框內(nèi)，表示顯示部200所顯示的合成圖像90。合成圖像90，是對(duì)現(xiàn)實(shí)世界的圖像重疊了虛擬世界的圖像后的圖像。在步驟S205中，當(dāng)被判定為使用者的視點(diǎn)位置存在于安全區(qū)域40的內(nèi)部時(shí)，合成圖像90由未圖示的現(xiàn)實(shí)世界圖像和虛擬CG對(duì)象81構(gòu)成。當(dāng)被判定為使用者的視點(diǎn)位置存在于警告區(qū)域50的內(nèi)部時(shí)，合成圖像90成為由現(xiàn)實(shí)世界圖像和虛擬CG對(duì)象81、再加上邊界測(cè)量點(diǎn)CG對(duì)象31、可移動(dòng)區(qū)域CG對(duì)象61、指示器(indicator)CG對(duì)象71構(gòu)成。
虛擬CG對(duì)象81，是在本裝置中對(duì)使用者所展現(xiàn)的主要的CG對(duì)象，在步驟S207中作為虛擬圖像而通過CG被描繪。邊界測(cè)量點(diǎn)CG對(duì)象31，是用于對(duì)本裝置的使用者，表示在現(xiàn)實(shí)世界中無法觀察到的邊界測(cè)量點(diǎn)的位置的CG對(duì)象。另外，指示器CG對(duì)象71，是用于輔助性地對(duì)本裝置的使用者，表示邊界測(cè)量點(diǎn)CG對(duì)象31被顯示的位置的CG對(duì)象。邊界測(cè)量點(diǎn)CG對(duì)象31和指示器CG對(duì)象71，在步驟S207中，表示在步驟100中收集了的邊界測(cè)量點(diǎn)的坐標(biāo)地、作為虛擬圖像而通過CG被描繪。另外，在圖9中，是用×符號(hào)來表現(xiàn)邊界測(cè)量點(diǎn)CG對(duì)象，用箭頭符號(hào)表現(xiàn)指示器CG對(duì)象71的，但這些只是一個(gè)例子而已，可以描繪任何形狀的CG對(duì)象。
可移動(dòng)區(qū)域CG對(duì)象61，是用于對(duì)本裝置的使用者，表示在現(xiàn)實(shí)世界中無法觀察到的可移動(dòng)區(qū)域60的CG對(duì)象。在步驟S207中，例如，用具有特定的顏色的多邊形或者線框(wire frame)的CG，將對(duì)應(yīng)于地平面上的可移動(dòng)區(qū)域60的部分作為虛擬圖像來描繪，由此能夠向本裝置的使用者表示可移動(dòng)區(qū)域60的范圍。
另外，在本實(shí)施方式中，顯示了用于表示可移動(dòng)區(qū)域60的CG對(duì)象，但也可以使之顯示用于表示安全區(qū)域40、警告區(qū)域50的CG對(duì)象。
而且，在本實(shí)施方式中，當(dāng)使用者位于警告區(qū)域50內(nèi)時(shí)，顯示了邊界測(cè)量點(diǎn)CG對(duì)象31、可移動(dòng)區(qū)域CG對(duì)象61、指示器CG對(duì)象71的全部，但也可以是只顯示這些CG對(duì)象中的一部分，或者通過本裝置的使用者或未圖示的操作人員的操作，來切換各個(gè)CG對(duì)象的顯示·不顯示。
如上述那樣，在步驟S207中，當(dāng)被判定為使用者的視點(diǎn)位置存在于安全區(qū)域40的內(nèi)部時(shí)，合成圖像90由未圖示的現(xiàn)實(shí)世界圖像和虛擬CG對(duì)象81構(gòu)成，不描繪邊界測(cè)量點(diǎn)CG對(duì)象31、可移動(dòng)區(qū)域CG對(duì)象61、指示器CG對(duì)象71。但是，在步驟S207中，即使被判定為使用者的視點(diǎn)位置存在于安全區(qū)域40的內(nèi)部時(shí)，也可以使得描繪邊界測(cè)量點(diǎn)CG對(duì)象31、可移動(dòng)區(qū)域CG對(duì)象61、指示器CG對(duì)象71的全部或者一部分。而且，也可以使得通過本裝置的使用者或者未圖示的操作人員的操作，來切換各個(gè)CG對(duì)象的顯示·不顯示。
在第1實(shí)施方式中，在執(zhí)行復(fù)合現(xiàn)實(shí)感展現(xiàn)處理期間，不進(jìn)行邊界測(cè)量值收集處理。在第2實(shí)施方式的復(fù)合現(xiàn)實(shí)感裝置中，除在步驟S100中進(jìn)行邊界測(cè)量值的收集外，還在步驟S200所進(jìn)行的復(fù)合現(xiàn)實(shí)感展現(xiàn)處理中，進(jìn)行邊界測(cè)量值的收集。由此，使得安全區(qū)域40、警告區(qū)域50、可移動(dòng)區(qū)域60可以實(shí)時(shí)更新，能夠更適當(dāng)?shù)剡M(jìn)行用于不使使用者移動(dòng)到可移動(dòng)區(qū)域的外側(cè)的引導(dǎo)。
關(guān)于第2實(shí)施方式中的復(fù)合現(xiàn)實(shí)感裝置的概略構(gòu)成、整體的處理流程、在步驟S100中所進(jìn)行的邊界測(cè)量值收集處理的詳細(xì)情況，都與第1實(shí)施方式相同。但是，步驟S100的邊界測(cè)量值收集處理并非一定要進(jìn)行。
圖10是表示在第2實(shí)施方式的復(fù)合現(xiàn)實(shí)感裝置中，在步驟S200中所進(jìn)行的復(fù)合現(xiàn)實(shí)感展現(xiàn)處理的詳細(xì)情況的流程圖。在圖10中，關(guān)于從步驟S201到步驟S204的處理、以及從步驟S206到步驟S208的處理，與第1實(shí)施方式相同。而且，步驟S211～步驟S215的處理，是依照第1實(shí)施方式的步驟S103～S106的處理。
在步驟S205中，根據(jù)在步驟S204中所判定的包含本裝置的使用者的視點(diǎn)位置的區(qū)域的種類，來控制其后的處理。當(dāng)本裝置的使用者的視點(diǎn)位置存在于安全區(qū)域40內(nèi)時(shí)，進(jìn)入步驟S211，當(dāng)存在于警告區(qū)域50內(nèi)或者可移動(dòng)區(qū)域60之外時(shí)，則進(jìn)入步驟S212。
在步驟S211中，將在步驟S203中已取得的測(cè)量值保持在RAM102中。在已經(jīng)保持有測(cè)量值時(shí)，就將舊的測(cè)量值刪除。即，只保持由傳感器部300所測(cè)量出的測(cè)量值中的最新的測(cè)量值。在步驟S212中，判定是否獲得了準(zhǔn)確的測(cè)量值(用與圖3的步驟S103相同的方法進(jìn)行判定)。在被判定為獲得了準(zhǔn)確的測(cè)量值時(shí)，進(jìn)入步驟S215，將測(cè)量值保持在RAM102中，進(jìn)入步驟S206。另一方面，如果沒有獲得準(zhǔn)確的測(cè)量值，則進(jìn)入步驟S213，判定RAM102中是否保持有測(cè)量值。在保持有測(cè)量值時(shí)進(jìn)入步驟S214，在沒有保持時(shí)進(jìn)入步驟S206。在步驟S214中，將保持在RAM102中的測(cè)量值作為邊界測(cè)量點(diǎn)30的測(cè)量值(邊界測(cè)量值)追加到邊界測(cè)量值數(shù)據(jù)中。另外，伴隨于邊界測(cè)量值數(shù)據(jù)的追加(更新)的各區(qū)域的三角形網(wǎng)格的更新，只需在結(jié)束了上述復(fù)合現(xiàn)實(shí)感展現(xiàn)處理后，在線(online)地進(jìn)行即可?；蛘撸部梢允沟迷谏鲜鰪?fù)合現(xiàn)實(shí)感展現(xiàn)處理過程中在后臺(tái)進(jìn)行處理，而更新區(qū)域的數(shù)據(jù)。
在第2實(shí)施方式中，在步驟S200的復(fù)合現(xiàn)實(shí)感展現(xiàn)處理的過程中，當(dāng)使用者超出到傳感器測(cè)量區(qū)域20的外側(cè)時(shí)，將此時(shí)的邊界測(cè)量值追加到邊界測(cè)量值數(shù)據(jù)中。通過這樣做，可以一邊展現(xiàn)復(fù)合現(xiàn)實(shí)感，一邊不斷提高邊界測(cè)量值數(shù)據(jù)的精度。另外，即使是在步驟S200的復(fù)合現(xiàn)實(shí)感展現(xiàn)處理的過程中，判明了在步驟S100的邊界測(cè)量值收集處理中已收集的邊界測(cè)量值的數(shù)量不足夠的情況下，也可以應(yīng)對(duì)。
另外，顯然本發(fā)明的目的還可以這樣來實(shí)現(xiàn)將記錄了實(shí)現(xiàn)上述實(shí)施方式的功能的軟件的程序代碼的存儲(chǔ)介質(zhì)，提供給系統(tǒng)或者裝置，通過該系統(tǒng)或者裝置的計(jì)算機(jī)(或者CPU、MPU)讀出并執(zhí)行存儲(chǔ)在存儲(chǔ)介質(zhì)中的程序代碼。
在這種情況下，從存儲(chǔ)介質(zhì)中讀出的程序代碼本身就實(shí)現(xiàn)上述實(shí)施方式的功能，存儲(chǔ)了該程序代碼的存儲(chǔ)介質(zhì)就構(gòu)成本發(fā)明。
作為用于提供程序代碼的存儲(chǔ)介質(zhì)，可以使用例如軟盤、硬盤、光盤、光磁盤、CD-ROM、CD-R、磁帶、非易失性存儲(chǔ)卡、ROM等。
而且，不僅通過計(jì)算機(jī)執(zhí)行所讀出的程序代碼，能夠?qū)崿F(xiàn)上述實(shí)施方式的功能，根據(jù)該程序代碼的指示，在計(jì)算機(jī)上運(yùn)行的OS(操作系統(tǒng))等進(jìn)行實(shí)際處理的一部分或全部，通過該處理實(shí)現(xiàn)上述實(shí)施方式的情況顯然也包含在本發(fā)明的范圍內(nèi)。
并且，從存儲(chǔ)介質(zhì)讀出的程序代碼，在被寫入到插在計(jì)算機(jī)中的功能擴(kuò)充卡或連接在計(jì)算機(jī)上的功能擴(kuò)充單元所具備的存儲(chǔ)器中后，根據(jù)該程序代碼的指示，該功能擴(kuò)充卡或功能擴(kuò)充單元所具有的CPU等進(jìn)行實(shí)際處理的一部分或全部，通過該處理來實(shí)現(xiàn)上述實(shí)施方式的情況顯然也包含在本發(fā)明的范圍內(nèi)。
在不脫離本發(fā)明的精神和范圍的前提下，本發(fā)明可以有各種不同的實(shí)施方式，并且應(yīng)該理解為，本發(fā)明不受特定的實(shí)施方式的限定，其范圍由所附的權(quán)利要求書限定。
權(quán)利要求
1.一種信息處理方法，其特征在于，包括取得用戶的位置和姿態(tài)的信息的取得步驟；根據(jù)上述用戶的位置和姿態(tài)的信息，生成虛擬圖像的生成步驟；合成與上述用戶的位置和姿態(tài)相應(yīng)的現(xiàn)實(shí)圖像和上述虛擬圖像的合成步驟；根據(jù)用戶的位置和姿態(tài)的可測(cè)量區(qū)域，設(shè)定區(qū)域信息的設(shè)定步驟；根據(jù)上述用戶的位置的信息和上述區(qū)域信息，控制關(guān)于上述可測(cè)量區(qū)域的報(bào)知的控制步驟。
2.根據(jù)權(quán)利要求1所述的信息處理方法，其特征在于上述區(qū)域信息，表示2維區(qū)域。
3.根據(jù)權(quán)利要求1所述的信息處理方法，其特征在于上述區(qū)域信息，表示3維區(qū)域。
4.根據(jù)權(quán)利要求1所述的信息處理方法，其特征在于上述可測(cè)量區(qū)域包括安全區(qū)域和警告區(qū)域，上述區(qū)域信息是表示上述安全區(qū)域和上述警告區(qū)域的信息，上述控制步驟，當(dāng)上述用戶的位置在上述警告區(qū)域內(nèi)時(shí)，進(jìn)行警告。
5.根據(jù)權(quán)利要求1所述的信息處理方法，其特征在于上述報(bào)知是輸出預(yù)定的聲音。
6.根據(jù)權(quán)利要求4所述的信息處理方法，其特征在于上述報(bào)知是顯示表示上述可測(cè)量區(qū)域的邊界的虛擬圖像。
7.根據(jù)權(quán)利要求1所述的信息處理方法，其特征在于還具有根據(jù)上述用戶的位置和姿態(tài)的測(cè)量結(jié)果，檢測(cè)上述可測(cè)量區(qū)域的檢測(cè)步驟，上述設(shè)定步驟，基于上述檢測(cè)結(jié)果設(shè)定上述區(qū)域信息。
8.根據(jù)權(quán)利要求7所述的信息處理方法，其特征在于為了隨時(shí)更新上述區(qū)域信息，使用在上述生成步驟中使用的上述用戶的位置和姿態(tài)的信息。
9.根據(jù)權(quán)利要求7所述的信息處理方法，其特征在于上述取得步驟，從傳感器取得上述用戶的位置和姿態(tài)的信息。
10.根據(jù)權(quán)利要求7所述的信息處理方法，其特征在于，包括取得與上述用戶的位置和姿態(tài)相應(yīng)的現(xiàn)實(shí)圖像的取得步驟；使用上述現(xiàn)實(shí)圖像算出上述用戶的位置和姿態(tài)的信息的計(jì)算步驟。
11.一種信息處理裝置，其特征在于，包括取得上述用戶的位置和姿態(tài)的信息的取得單元；根據(jù)上述用戶的位置和姿態(tài)的信息，生成虛擬圖像的生成單元；合成與上述用戶的位置和姿態(tài)相應(yīng)的現(xiàn)實(shí)圖像和上述虛擬圖像的合成單元；根據(jù)用戶的位置和姿態(tài)的可測(cè)量區(qū)域，設(shè)定區(qū)域信息的設(shè)定單元；根據(jù)上述用戶的位置的信息和上述區(qū)域信息，控制關(guān)于上述可測(cè)量區(qū)域的報(bào)知的控制單元。
12.根據(jù)權(quán)利要求11所述的信息處理裝置，其特征在于還具有顯示從上述合成單元輸出的復(fù)合現(xiàn)實(shí)感圖像的頭部佩戴式顯示器，上述現(xiàn)實(shí)圖像，通過上述頭部佩戴式顯示器的攝像機(jī)而被拍攝。
13.一種信息處理方法，其特征在于，包括取得用戶的位置信息的取得步驟；將上述用戶的位置信息，與之前取得的用戶的位置信息進(jìn)行比較的比較步驟；根據(jù)上述比較結(jié)果，檢測(cè)上述用戶的位置的可測(cè)量區(qū)域的檢測(cè)步驟。
全文摘要
本發(fā)明提供一種復(fù)合現(xiàn)實(shí)感展現(xiàn)方法和裝置。在展現(xiàn)對(duì)從用戶的視點(diǎn)位置和方向觀測(cè)的現(xiàn)實(shí)世界圖像和虛擬世界圖像進(jìn)行合成而得到的合成圖像過程中，取得用戶的位置和姿態(tài)的信息，根據(jù)用戶的位置和姿態(tài)的信息來生成虛擬圖像，合成與用戶的位置和姿態(tài)相應(yīng)的現(xiàn)實(shí)圖像和虛擬圖像。然后，根據(jù)用戶的位置和姿態(tài)的可測(cè)量區(qū)域，設(shè)定區(qū)域信息，根據(jù)用戶的位置的信息和區(qū)域信息，控制關(guān)于可測(cè)量區(qū)域的報(bào)知。
文檔編號(hào)G06F3/00GK1627237SQ200410096559
公開日2005年6月15日 申請(qǐng)日期2004年12月3日 優(yōu)先權(quán)日2003年12月4日
發(fā)明者小林俊廣, 大島登志一 申請(qǐng)人:佳能株式會(huì)社