專利名稱：圖像顯示裝置、游戲程序、游戲控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過顯示二維的視差圖像使觀察者認知虛擬的立體影像、并利用該虛擬立體影像的信息處理技術(shù)。
背景技術(shù)：
過去，公開有通過顯示二維的視差圖像來使觀察者認知虛擬的立體影像的技術(shù)。例如，在專利文獻I中公開了一種作為圖像顯示裝置的立體影像游戲裝置，即，在空間調(diào)制元件上顯示右眼用圖像和左眼用圖像，并將從操作者(觀察者)的圖像得到的半邊臉圖像顯示在照明用圖形顯示裝置上，并將其半邊臉圖像作為照明，通過透鏡，使右眼用圖像或者左眼用圖像只被操作者的右眼或者左眼觀察到。根據(jù)該裝置，操作者不需要帶上具有將圖像分別分配給操作者的左右眼而使操作者認知立體影像作用的專用眼鏡?，F(xiàn)有技術(shù)文獻專利文獻專利文獻I特開平7-222866公報

發(fā)明內(nèi)容
根據(jù)上述的現(xiàn)有的裝置，雖然觀察者不用戴上專用眼鏡也能夠認知立體影像，但現(xiàn)有裝置中還不存在能夠給觀察者帶來可直接對立體影像進行操作感覺的裝置。本發(fā)明是鑒于上述課題而做出的發(fā)明，本發(fā)明的目的在于提供圖像顯示裝置的觀察者能夠得到好像直接針對實際并不存在的立體影像進行操作的感覺的圖像顯示裝置、游戲程序、游戲控制方法。本發(fā)明的圖像顯示裝置包括:圖像顯示單元，在顯示畫面上顯示視差圖像；第一坐標計算單元，計算所述視差圖像的被觀察者認知的立體影像的虛擬的空間坐標；第二坐標計算單元，計算作為所述觀察者的操作對象的操作體的空間坐標；事件發(fā)生單元，當通過所述第一坐標計算單元計算出的立體影像的至少一個點的空間坐標和通過所述第二坐標計算單元計算出的操作體的至少一個點的空間坐標之間的距離小于規(guī)定的臨界值時，使伴隨著所述視差圖像或者除所述視差圖像以外的所述顯示畫面上的圖像中的至少其中之一變化的規(guī)定事件發(fā)生。觀察者看該圖像顯示裝置中顯示的視差圖像時，用左眼看視差圖像中的左眼用圖像的同時，用右眼看視差圖像中的右眼用圖像，由此觀察者和顯示畫面之間的虛擬的立體影像的存在被觀察者認知。第一坐標計算單元計算出該立體影像的虛擬的空間坐標。在該圖像顯示裝置中，預(yù)先設(shè)定具有作為觀察者相對于立體影像的操作對象的操作體。該操作體可以是例如細長的棒狀的筆等、與觀察者另一體的物理上的實體，還可以是用例如觀察者的手或者手指等來代替的作為觀察者一部分的物理上的實體。另外，第二坐標計算單元計算出上述操作體的空間坐標。在該圖像顯示裝置中，當判斷為作為觀察者的操作對象的操作體和被觀察者認知的立體影像非常接近或者接觸時，事件發(fā)生單元使規(guī)定事件發(fā)生。該規(guī)定事件是伴隨上述視差圖像或者除了上述視差圖像以外的顯示畫面上的圖像中的至少其中之一變化的事件，即，伴隨被觀察者認知的立體影像以及/或者顯示畫面上的二維圖像的變化的事件，該變化能夠被觀察者用肉眼認知。因此，根據(jù)該圖像顯示裝置，觀察者能夠體會到好像直接針對實際并不存在的立體影像進行操作的感覺。例如，假設(shè)該圖像顯示裝置適用于如下的游戲裝置，該游戲裝置對由操作者將被操作者虛擬地被認知的立體影像作為對象進行操作的游戲的執(zhí)行進行控制。這樣的游戲的執(zhí)行是例如通過給操作者賦予好像用操作體(例如筆等)接觸被操作者認知的立體影像或者非常接近于該立體影像的動機來執(zhí)行。另外，游戲裝置的事件發(fā)生單元為了給操作者賦予動機，可以使伴隨著與立體影像所對應(yīng)的視差圖像或者除了該視差圖像以外的在顯示畫面上的二維圖像的至少一方圖像的變化的規(guī)定事件發(fā)生。此時，作為規(guī)定事件可以舉出操作體接觸或者非常接近的立體影像所對應(yīng)的視差圖像的消失、變形、放大和縮小、移動速度的變化(即，立體影像的消失、變形、放大和縮小、移動速度的變化)、與新的立體影像所對應(yīng)的視差圖像的出現(xiàn)(即，立體影像的出現(xiàn))，或者顯示畫面上的分數(shù)顯示的變化(操作者獲得的分數(shù)的增加)等。如此，將該圖像顯示裝置應(yīng)用于游戲裝置時，操作者執(zhí)行游戲時能夠體會到好像直接對立體影像進行操作的感覺。即，能夠給操作者帶來立體的操作感覺所帶來的游戲的新興趣性。本發(fā)明的一個實施方式的圖像顯示裝置進一步包括按照下述方式對所述圖像顯示單元進行控制的第一控制單元:在視差圖像被顯示之前，被判斷為由所述操作者來看通過該視差圖像被認知的虛擬的立體影像和所述操作體重疊、且所述操作體位于所述虛擬的立體影像和所述顯示畫面之間時，預(yù)先不顯示所述視差圖像。從觀察者看上去，當操作體位于相比被觀察者認知的立體影像的虛擬的空間位置靠后側(cè)的位置關(guān)系時，由于立體影像而操作體看上去不自然。具體而言，操作體中，只是與立體影像重疊的部分浮現(xiàn)在立體影像前面(觀測者一側(cè))。因此，第一控制單元為了防止這樣的看上去不自然的現(xiàn)象發(fā)生，通過控制圖像顯示單元使形成上述位置關(guān)系的視差圖像預(yù)先不顯示。由此，能夠使用操作體對立體影像的操作感覺變得更加自然。本發(fā)明的一個實施方式的圖像顯示裝置進一步包括按照下述方式對所述圖像顯示單元進行控制的第二控制單元:在由所述操作者來看所述操作體與所述立體影像重疊、且所述操作體移動至所述立體影像和所述顯示畫面之間的位置時，不顯示與該立體影像所對應(yīng)的視差圖像。操作體移動的結(jié)果是，當從觀察者看上去該操作體位于相比被觀察者認知的立體影像的虛擬的空間位置靠后側(cè)的位置關(guān)系時，由于立體影像而操作體看上去不自然。具體而言，操作體中只是與立體影像重疊的部分浮現(xiàn)在立體影像的前面(觀察者一側(cè))。因此，第二控制單元為了防止這樣的看上去不自然的現(xiàn)象發(fā)生，通過控制圖像顯示單元，當操作體移動至呈上述位置關(guān)系的位置時，使與立體影像所對應(yīng)的視差圖像預(yù)先不顯示。即，通過消除立體影像本身，避免不自然的顯示。由此，能夠使通過操作體對立體影像的操作感覺變得更加自然。本發(fā)明的一個實施方式的圖像顯示裝置進一步包括按照下述方式對所述圖像顯示單元進行控制的第三控制單元:在由操作者來看所述操作體與所述立體影像重疊、且所述操作體移動至所述立體影像和所述顯示畫面之間的位置時，使與該立體影像所對應(yīng)的視差圖像移動至由操作者來看與視差圖像所對應(yīng)的立體影像與操作體不重疊的位置。操作體移動的結(jié)果是，當從觀察者看上去該操作體位于相比被觀察者所認知的立體影像的虛擬的空間位置靠后側(cè)的位置關(guān)系時，由于立體影像而操作體看上去不自然。具體而言，操作體中只是與立體影像重疊的部分浮現(xiàn)在立體影像的前面(觀察者一側(cè))。因此，第三控制單元為了防止這樣的看上去不自然的現(xiàn)象發(fā)生，通過控制圖像顯示單元，當操作體移動至呈上述位置關(guān)系的位置時，使與立體影像所對應(yīng)的視差圖像移動至不形成上述位置關(guān)系的位置。即，按照立體影像的位置從操作體離開的方式移動，由此避免不自然的顯示。由此，能夠使通過操作體對立體影像的操作感覺變得更加自然。本發(fā)明的一個實施方式的圖像顯示裝置進一步包括按照下述方式對所述事件發(fā)生單元進行控制的第四控制單元:當所述操作體實際上沒有移動的狀態(tài)下，所述立體影像的至少一個點的空間坐標和所述操作體的至少一個點的空間坐標之間的距離在規(guī)定的臨界值以下時，禁止規(guī)定事件發(fā)生。在操作體實際沒有移動的狀態(tài)下，可以理解為對于操作者來說缺少將操作體接近于自己認知的立體影像的積極意愿。因此，在這樣的情況下，即使判斷為立體影像的至少一個點的空間坐標和操作體的至少一個點的空間坐標之間的距離為規(guī)定的臨界值以下，即，兩者非常接近的情況下，第四控制單元也會禁止通過事件發(fā)生單元的事件的發(fā)生。由此，并能夠阻止不是根據(jù)觀察者的積極意愿的情況而是操作體和立體影像偶然接近情況時的事件的發(fā)生，能夠提高事件發(fā)生的實效性。例如，假設(shè)該圖像顯示裝置適用于如下的游戲裝置，該游戲裝置對由操作者將被操作者虛擬地被認知的立體影像作為對象進行操作的游戲的執(zhí)行進行控制。這樣的游戲的執(zhí)行是例如通過給操作者賦予好像用操作體接觸被操作者認知的立體影像或者非常接近于該立體影像的動機來執(zhí)行。另外，游戲裝置的事件發(fā)生單元為了給操作者賦予動機，可以使伴隨著與立體影像所對應(yīng)的視差圖像或者除了該視差圖像以外的在顯示畫面上的二維圖像的至少其中之一變化的規(guī)定事件發(fā)生(立體影像的消失、立體影像的出現(xiàn)、操作者獲得的分數(shù)的增加等)。在此，在盡管操作者沒有移動操作體的情況下通過立體影像和操作體偶然接觸或者非常接近而發(fā)生事件時，會在操作者沒有進行適當操作的情況下發(fā)生事件，因此會降低游戲的興趣性。因此，通過第四控制單元防止在沒有操作者的適當操作下發(fā)生事件的不合適的情況發(fā)生。在上述圖像顯示裝置中，第一坐標計算單元根據(jù)觀察者和顯示畫面之間的第一距離、作為觀察者的瞳孔之間的距離預(yù)先設(shè)定的第二距離、構(gòu)成視差圖像的左眼用圖像和右眼用圖像的偏差量，計算出與該視差圖像所對應(yīng)的立體影像的虛擬的空間坐標；第二坐標計算單元根據(jù)通過一個或者一對攝像單元得到的所述操作體影像的顏色以及/或者形狀，計算出操作體的空間坐標。在該圖像顯示裝置中，用于通過顯示在顯示畫面上的視差圖像而被觀察者認知成立體影像的觀察者的位置，即，從顯示畫面到觀察者的距離為第一距離。換言之，為了使觀察者看到圖像顯示裝置的顯示畫面上的視差圖像適當認知與該視差圖像所對應(yīng)的立體影像，預(yù)先設(shè)定圖像顯示裝置的觀察者在從顯示畫面離開規(guī)定的第一距離的位置上看顯示畫面。
在該圖像顯示裝置中，獲得包含操作體在內(nèi)的圖像的一個或者一對攝像單元可以通過內(nèi)置于圖像顯示裝置內(nèi)的攝像裝置來實現(xiàn)，也可以是與圖像顯示裝置電連接的外部的攝像裝置來實現(xiàn)。操作體影像的顏色為了通過一個或者一對攝像單元得到的圖像中迅速特定操作體的影像且操作體中將空間坐標的計算范圍限定在一部分區(qū)域而減輕處理負荷而可利用。根據(jù)該圖像顯示裝置，預(yù)先設(shè)定相對于顯示畫面的觀察者的位置，由此在觀察者和顯示畫面之間，被觀察者認知的立體影像的虛擬的空間位置被特定。另外，通過預(yù)先設(shè)定相對于顯示畫面的觀察者的位置，按照觀察者不用帶上專用眼鏡就能認知立體影像的方式設(shè)定圖像顯示裝置的顯示狀態(tài)。作為這樣的顯示狀態(tài)可以舉出例如視差屏障方式、柱狀透鏡方式的視差圖像的顯示狀態(tài)。根據(jù)這樣的圖像顯示裝置，觀察者不用帶繁瑣的專用眼鏡的情況下能夠舒適的進行對實際并不存在的立體影像的直接操作。本發(fā)明的一個實施方式的圖像顯示裝置將所述操作體的前端部做成與該前端部以外的部分不同的顏色以及/或者形狀；所述事件發(fā)生單元當通過所述第一坐標計算單元計算出的立體影像的至少一個點的空間坐標和通過所述第二坐標計算單元計算出的操作體的前端部的至少一個點的空間坐標之間的距離在規(guī)定的臨界值以下時，使所述規(guī)定事件發(fā)生。在該圖像顯示裝置中，預(yù)先設(shè)定觀察者進行使操作體的前端部接近于被觀察者認知的立體影像的動作。該操作體的前端部與其它部分的顏色以及/形狀不同。作為這樣的操作體的顏色以及形狀可以考慮各種各樣的顏色和形狀，例如將整個操作體形狀做成細長的棒狀筆時，可以只將前端部做成尖銳的形狀，除前端部以外的部分做成棒狀?；蛘?，只將前端部可以做成圖案認知容易的任意的形狀，例如星星形狀。另外，可以只將前端部的顏色做成紅色，除前端部以外的其它部分的顏色做成白色。此時，第二坐標計算單元計算出操作體的前端部的至少一個點的空間坐標，但是由于操作體的前端部的顏色以及/或者形狀與前端部以外的其它部分不同，因此能夠迅速特定操作體的位置，或者在操作體中能夠限定空間坐標的計算對象的區(qū)域，因此能夠減輕空間坐標的計算處理的負荷。另外，事件發(fā)生單元當立體影像的至少一個點的空間坐標和操作體的前端部的至少一個點的空間坐標間的距離為規(guī)定的臨界值以下時，使規(guī)定事件發(fā)生。根據(jù)該圖像顯示裝置能夠減輕空間坐標的計算處理的負荷，從而實現(xiàn)處理的高速化。本發(fā)明的游戲程序，使能夠?qū)崿F(xiàn)由操作者將被操作者虛擬地被認知的立體影像作為對象進行操作的游戲的計算機實現(xiàn)以下功能:圖像顯示功能，在顯示畫面上顯示視差圖像；第一坐標計算功能，計算通過觀察所述視差圖像的操作者被認知的立體影像的虛擬的空間坐標；第二坐標計算功能，計算作為所述操作者的操作對象的操作體的空間坐標；事件發(fā)生功能，當通過所述第一坐標計算功能計算出的立體影像的至少一個點的空間坐標和通過所述第二坐標計算功能計算出的操作體的至少一個點的空間坐標之間的距離為規(guī)定的臨界值以下時，使發(fā)生伴隨著所述視差圖像或者除所述視差圖像以外的所述顯示畫面上的圖像中的至少其中之一變化的規(guī)定事件。計算機是例如家用游戲機、業(yè)務(wù)用游戲機、便攜式游戲機、手機、便攜式信息終端、個人用計算機、服務(wù)器計算機、家用服務(wù)器等。另外，該游戲程序可以安裝于DVD-ROM或者CD-ROM等計算機能夠讀取的信息存儲介質(zhì)上。
本發(fā)明的游戲控制方法，涉及游戲裝置中的游戲控制方法，對由操作者將被操作者虛擬地被認知的立體影像作為對象進行操作的游戲的執(zhí)行進行控制，該方法包括如下步驟:圖像顯示步驟，在顯示畫面上顯示視差圖像；第一坐標計算步驟，計算通過觀察所述視差圖像的操作者被認知的立體影像的虛擬的空間坐標；第二坐標計算步驟，計算作為所述操作者的操作對象的操作體的空間坐標；事件發(fā)生步驟，當通過所述第一坐標計算步驟計算出的立體影像的至少一個點的空間坐標和通過所述第二坐標計算步驟計算出的操作體的至少一個點的空間坐標之間的距離為規(guī)定的臨界值以下時，使伴隨著所述視差圖像或者除所述視差圖像以外的所述顯示畫面上的圖像中的至少其中之一變化的規(guī)定事件發(fā)生。根據(jù)本發(fā)明的圖像顯示裝置、游戲程序、游戲控制方法，圖像顯示裝置的觀察者能夠體會到好像直接對實際并不存在的立體影像進行操作的感覺。


圖1為表示第一實施方式的游戲裝置的外觀和操作者的圖；圖2為表示第一實施方式的游戲裝置的結(jié)構(gòu)的模塊圖；圖3為用于說明第一實施方式的游戲裝置中執(zhí)行游戲的一個例子的圖；圖4為用于說明第一實施方式的游戲裝置中執(zhí)行游戲的一個例子的圖；圖5為用于說明在第一實施方式的游戲裝置中起到主要作用的功能模塊圖；圖6為用于說明在第一實施方式的游戲裝置中被操作者認知的立體影像的虛擬空間坐標的計算方法的圖；圖7為用于說明在第一實施方式的游戲裝置中操作體的空間坐標的計算方法的圖；圖8為表示在第一實施方式中例示的游戲的主要處理流程的圖；圖9為表示第二實施方式的游戲裝置的結(jié)構(gòu)的模塊圖；圖10為表示在第二實施方式的游戲裝置中不自然地映給操作者時的操作體和立體影像之間位置關(guān)系的圖；圖11為表示第三實施方式的游戲裝置的外觀和操作者的圖；圖12為表示第三實施方式的游戲裝置的結(jié)構(gòu)的模塊圖。
具體實施例方式(I)第一實施方式( 1-1)游戲裝置的結(jié)構(gòu)和運行圖1為表示作為本發(fā)明的圖像顯示裝置的一個實施方式的游戲裝置I的外觀和游戲裝置I的操作者的圖。游戲裝置I是對如下一種游戲執(zhí)行進行控制的裝置，該游戲指操作者將被作為觀察者的操作者虛擬認知的立體影像為對象進行操作的游戲。圖2為表示本實施方式的游戲裝置I的結(jié)構(gòu)的模塊圖。如圖1所示，在本實施方式的游戲裝置I的前面部分設(shè)置有顯示裝置3的液晶顯示器3a (顯示畫面)。在液晶顯示器3a的下方平行而等位地配置有將攝像對象朝向操作者一側(cè)的左攝像部20L和右攝像部20R的攝像用透鏡。該左攝像部20L和右攝像部20R是為了后述的立體量測而設(shè)置的。另外，在圖1所示的例子中，各攝像部內(nèi)置于游戲裝置I中，但還可以是另外設(shè)置攝像裝置并該攝像裝置與游戲裝置I內(nèi)的控制裝置10電連接的方式。在各攝像部中得到的幀單位的圖像數(shù)據(jù)依次傳送給控制裝置10的CPUll上。雖然未在圖1中圖示，但在游戲裝置I上可設(shè)置用于接收操作者的操作輸入的一個或者多個按鈕。這樣的按鈕可以包括例如用于啟動游戲裝置I的電源按鈕、用于運行設(shè)定在游戲裝置I的任何應(yīng)用程序的選擇按鈕等。在圖2所示的輸入部4包括設(shè)置在游戲裝置I的一個或者多個按鈕和用于檢測相對于該按鈕的按下輸入或者操作輸入的接口電路。圖2的存儲介質(zhì)安裝部5 (在圖1中未圖示)可包括例如用于接收設(shè)置在游戲裝置I的筐體上且接受存儲介質(zhì)17的插槽和用于讀取存儲介質(zhì)17的數(shù)據(jù)或者用于向存儲介質(zhì)17記錄數(shù)據(jù)的接口電路。存儲介質(zhì)17是例如內(nèi)置閃存器的卡型存儲介質(zhì)、光盤等盤狀存儲介質(zhì)等。參照圖2，本實施方式的游戲裝置I的控制裝置10是為了執(zhí)行游戲程序或者伴隨執(zhí)行游戲程序的信號傳送處理以及進行數(shù)據(jù)處理而設(shè)置的?？刂蒲b置10主要包括CPU(Central Processing Unit)11>ROM(Read Only Memory)12>RAM(Random Access Memory)
13、圖像處理電路14和音頻處理電路15。控制裝置10的各部按照能夠通過輸入部4、左攝像部20L、右攝像部20R以及存儲介質(zhì)安裝部5和總線16來傳送信號的方式連接。CPUll解釋游戲程序的指令，并根據(jù)該指令進行各種數(shù)據(jù)處理。圖像處理電路14主要進行圖像數(shù)據(jù)的生成加工處理。例如，圖像處理電路14進行二維圖像的疊加運算或者α混合等透射運算、各種飽和運算。尤其在本實施方式中圖像處理電路14進行用于使操作者認知虛擬立體影像的視差圖像的生成和顯示。另外，圖像處理電路14包括將應(yīng)繪圖的圖像數(shù)據(jù)緩沖到每個幀的功能(所謂作為VRAM (顯存)的功能)。存儲介質(zhì)17的設(shè)置是為了存儲例如游戲程序或在游戲程序中使用的各種數(shù)據(jù)。從存儲介質(zhì)17讀取的各種數(shù)據(jù)暫時存儲于RAM13上。另外，在RAM13上存儲有游戲執(zhí)行所必須的數(shù)據(jù)，并通過CUPll依次更新、刪除和補充。顯示裝置3的設(shè)置主要是為了將通過圖像處理電路14生成的圖像(包含視差圖像)的數(shù)據(jù)或者從存儲介質(zhì)17讀取的圖像(包含視差圖像)的數(shù)據(jù)等向液晶顯示器3a以圖像的方式輸出。另外，在下面的說明中，僅僅稱之為“圖像”時，包括將立體影像被操作者認知用的視差圖像，和直接在液晶顯示器3a上讓操作者認知的二維圖像這兩種。顯示裝置3的液晶顯示器3a是例如IXD (Liquid Cristal Display)顯示器,根據(jù)圖像數(shù)據(jù),通過將矩陣狀的像素單元設(shè)置的薄膜晶體管水平驅(qū)動和垂直驅(qū)動來顯示圖像。在本實施方式的游戲裝置I中，優(yōu)選的是，按照操作者不用帶上立體影像用的專門眼鏡能夠直接認知到立體影像的方式顯示視差圖像。作為這樣的顯示方式，可以舉出例如視差屏障方式、柱狀透鏡方式的視差圖像的顯示方式。視差屏障方式是在顯示畫面(液晶面板)上設(shè)置細微的狹縫的方式，柱狀透鏡方式是在顯示畫面上設(shè)置由多個微小的半圓筒狀透鏡構(gòu)成的柱狀透鏡鏡片的方式。在這些方法中，通過狹縫或者半圓筒狀的透鏡，并根據(jù)通過觀察者(在這里指的是操作者)的左右眼睛看到的角度(視線角度)，能夠看到圖像上的不同的位置。即，將從與左右眼睛的位置相對應(yīng)的各視點看到的圖像(具有立體視差的圖像)在垂直方向上分割，并配置在適當?shù)奈恢蒙?，由此能夠使右眼和左眼看到個別的圖像(具有立體視差的圖像)，從而得到立體影像。例如參照圖1，在本實施方式的游戲裝置I的液晶顯示器3a上顯示有構(gòu)成視差圖像的左眼用圖像ImL和右眼用圖像ImR。此時，操作者的左眼只能夠看見視差圖像中的左眼用圖像ImL，操作者的右眼只能夠看見視差圖像中的右眼用圖像ImR。結(jié)果，觀察者的眼里認知到的是在操作者和顯示畫面之間存在虛擬的立體影像VR。音頻處理電路15的設(shè)置主要是為了將從存儲介質(zhì)17讀取的聲音數(shù)據(jù)以及/或者自身生成的聲音數(shù)據(jù)作為聲音從揚聲器22輸出。音頻處理電路15包括例如解碼壓縮聲音數(shù)據(jù)的解碼電路、將解碼的聲音信號進行放大的放大電路。另外，參照圖1，表示有作為操作者的操作對象的操作體30。操作體30是用于操作者對于立體影像VR進行操作。該操作體30成為在本實施方式的游戲裝置I的前面部上設(shè)置的左攝像部20L和右攝像部20R的攝像對象。操作體30的材質(zhì)、形狀以及/或者顏色不做限定，但為了達到通過后述的左攝像部20L和右攝像部20R進行的立體量測中，限定其量測范圍而減輕處理負荷的目的，優(yōu)選的是，將操作體30的前端部做成與該前端部以外的部分不同的顏色以及/或者形狀。例如，如圖1所示，將操作體30作為整體做成細長的棒狀筆時，只將前端部做成尖端形狀，除前端部以外的其它部分可以做成棒狀?；蛘?，只將前端部可以做成容易認知圖案的任意的形狀，例如星星形狀。另外，只將前端部的顏色做成紅色，除前端部以外的其它部分的顏色可以做成白色。( 1-2)在游戲裝置中被執(zhí)行的游戲的例子接著，作為本實施方式的游戲裝置I中被執(zhí)行的游戲，參照圖3和圖4說明操作者將被操作者虛擬認知的立體影像作為對象進行操作的游戲的一個例子。圖3為在該游戲中將看到液晶顯示器3a的操作者所認知到的立體影像按照時間經(jīng)過以(a)、(b)、(c)的順序例示的圖。圖4為在該游戲中將操作者的操作和通過該操作所產(chǎn)生的事件的一個例子按照時間經(jīng)過以(a)、(b)、(C)的順序表示的圖。首先，參照圖3，在該游戲中，在液晶顯示器3a上顯示多個視差圖像，通過這些，操作者會認知到液晶顯示器3 a和自己之間存在與各視差圖像相對應(yīng)的多個立體影像VRl
5。在此，操作者認知到的各立體影像作為例子可以舉出球形的圖像。各視差圖像隨著時間的經(jīng)過移動而被顯示，因此操作者認知到的是球形的各立體影像好像在空間上移動。球形的各立體影像在任意的時點出現(xiàn)并開始移動，出現(xiàn)后隨著時間的經(jīng)過，其影像大小變小，從出現(xiàn)后經(jīng)過規(guī)定時間后會消失。例如，在圖3 (a)的時點，多個立體影像VRl 5向箭頭方向移動。在圖3 (b)的時點，多個立體影像VRl 5都存在，但與圖3 (a)的時點相比其位置發(fā)生移動、且其大小也變小。在圖3 (c)的時點，立體影像VR3消失，出現(xiàn)新的立體影像VR6。另外，圖3所示的液晶顯示器3a上顯示有用于分別表示操作者的游戲時間( ΜΕ)、操作者獲得的分數(shù)(POINT)的顯示區(qū)域101、102。在該游戲中，當判斷為操作體30接觸到或者非常接近于操作者認知到的虛擬的立體影像時，會產(chǎn)生規(guī)定的事件。作為該規(guī)定的事件的例子有，使與判斷為與操作體30接觸到或者非常接近的立體影像相對應(yīng)的視差圖像消失(即，立體影像的消失)、使與新的立體影像相對應(yīng)的視差圖像出現(xiàn)(即，立體影像的出現(xiàn))、或者使顯示畫面上的分數(shù)顯示發(fā)生變化(操作者獲得的分數(shù)會增加)等。例如，該游戲可以是在多位操作者之間進行競爭的游戲，在該游戲中，在分配給操作者的規(guī)定的游戲時間內(nèi)(例如，圖3所示的TIME變成零為止)，通過更多地使操作體30接觸或者非常接近于立體影像，由此使更多的立體影像消失的游戲。圖4為將操作者用操作體30對立體影像VR進行的操作按時間順序表示的圖。在圖4(a)的時點，操作者將操作體30向自己認知到的立體影像VR移動，但由于操作體30和立體影像VR的距離大于臨界值，因此不發(fā)生事件。在圖4 (b)的時點，操作者將操作體30進一步向自己認知到的立體影像VR移動，但操作體30與立體影像VR的距離大于臨界值，因此尚不發(fā)生事件。在圖4 (c)的時點，操作體30與立體影像VR的距離達到臨界值以下，判斷為操作體30接觸到或者非常接近于立體影像。4 (c)表示的是，通過這樣的判斷猶如立體影像VR發(fā)生爆炸而消失似地伴隨顯示在液晶顯示器3a上的視差圖像的變化而發(fā)生事件的例子。作為進一步發(fā)生的事件，可以在圖3所示的顯示區(qū)域102內(nèi)顯示的分數(shù)發(fā)生變化(例如，圖3中表示的POINT值的增加)。( 1-3)游戲裝置的各功能的概要下面，關(guān)于游戲裝置I中實現(xiàn)的功能，通過將參照圖3和圖4說明的游戲和游戲裝置I執(zhí)行的情況結(jié)合來進行說明。圖5為用于說明在本實施方式的游戲裝置I的控制裝置10中發(fā)揮主要作用的功能模塊圖。游戲執(zhí)行單元51具有如下功能:根據(jù)操作者輸入的游戲程序的指令(或者游戲程序的選擇輸入)，準備游戲執(zhí)行所必要的包含數(shù)據(jù)設(shè)定等的游戲環(huán)境。在游戲執(zhí)行單元51中，如果游戲程序從存儲介質(zhì)17加載至RAM13而通過CPUll來執(zhí)行，則包括客體和角色的各種數(shù)據(jù)從存儲介質(zhì)17傳送至RAM13。游戲執(zhí)行單元51以RAM13內(nèi)的客體數(shù)據(jù)為基礎(chǔ)，可將客體配置在游戲空間內(nèi)。游戲執(zhí)行單元51具有如下功能:根據(jù)游戲的進行，進行分配給操作者的游戲時間管理、操作者分數(shù)的管理、游戲狀況的顯示處理或者與操作者對輸入部4進行輸入相應(yīng)的顯示處理等。圖像顯示單元52具有將視差圖像顯示在作為游戲裝置I的顯示畫面的液晶顯示器3a上的功能。該圖像顯示單元52通過如下方式實現(xiàn)。S卩，圖像處理電路14在CPUll所指示的時間、在CPUll所指示的液晶顯示器3a的位置上顯示視差圖像。在圖3所示的游戲的例子中，CPUll向圖像處理電路14發(fā)出相對于多個視差圖像的每個視差圖像分別將視差圖像的出現(xiàn)時間、出現(xiàn)后的視差圖像的軌跡、出現(xiàn)后的視差圖像的形狀變化、視差圖像的消失時間、視差圖像中左眼用圖像和右眼用圖像之間的偏差量(即，操作者認知的立體影像的縱深方向的位置設(shè)定)等的指令。圖像處理電路14根據(jù)來自CPUll的指令，依次生成包含視差圖像的幀單位的圖像數(shù)據(jù)，并輸出給顯示裝置3上。在顯示裝置3中，根據(jù)從圖像處理電路14輸入的圖像數(shù)據(jù)，將圖像向液晶顯示器3顯示輸出。第一坐標計算單元53具有下述功能:計算通過作為視差圖像的觀察者的操作者被認知的立體影像的虛擬空間坐標。即，看到視差圖像的操作者通過用眼辨認該視差圖像中包含的左眼用圖像和右眼用圖像，由此使操作者認知操作者和顯示畫面之間存在虛擬的立體影像。第一坐標計算單元計算出該立體影像的虛擬的空間坐標。下面，參照圖6說明立體影像的虛擬的空間坐標的計算方法的具體例子。圖6為用于說明操作者認知的立體影像的虛擬的空間坐標的計算方法的圖，圖中d、D、P、L定義為如下。d:視差圖像的左眼用圖像ImL和右眼用圖像ImR之間的偏差量
D:操作者和液晶顯示器3a (視差圖像的顯示面)之間的距離(第一距離)P:操作者瞳孔之間的距離(第二距離)L:從液晶顯示器3a到立體影像VR的距離此時，式L / d =(D - L) / P成立，因此CPUlI根據(jù)下面的式(El)計算距離L。L = d / (P + d) XD...(El)在此，當顯示裝置3采用前面所述的視差屏障方式、柱狀透鏡方式的視差圖像的顯示方式時，可以認為:用于操作者根據(jù)液晶顯示器3a上的視差圖像能夠適當?shù)卣J知虛擬的立體影像的、從液晶顯示器3a到操作者的距離D是幾乎為固定值。換言之，當采用上述顯示方式時，預(yù)先設(shè)定游戲裝置I的操作者從液晶顯示器3a離開規(guī)定的所述距離D的位置上看液晶顯示器3a。這種情況下，在上述式(El)的計算中可以將距離D設(shè)定為固定值。另外，操作者的瞳孔之間的距離P對于每個操作者來說變化不大，因此在上述式(El)的計算中可以是預(yù)先設(shè)定的固定值。視差圖像的左眼用圖像ImL和右眼用圖像ImR之間的偏差量d，為了設(shè)定操作者認知的立體影像的縱深方向的位置，通過CPUll依次被設(shè)定，并且該設(shè)定值直接利用于上述式(El)的計算中。另外，在上述式(El)的計算方法中，雖然根據(jù)操作者視點的上下方向位置而被操作者認知的虛擬的立體影像VR的上下方向的空間位置也發(fā)生變化，但是可以認為根據(jù)設(shè)置在游戲裝置I的液晶顯示器3a位置而操作者的視點位置大體上是固定位置。因此，在根據(jù)上述式(El)進行計算時，操作者兩個眼睛瞳孔的空間位置可以設(shè)為預(yù)先決定的規(guī)定值。第一坐標計算單元53按照以下方式實現(xiàn)。即，CPUll通過依次(以幀單位)運算上述式(El)的計算，以視差圖像的顯示面(液晶顯示器3a的顯示面)的規(guī)定位置為基準，計算出被操作者認知的立體影像VR的虛擬的空間坐標。例如，如果將視差圖像的顯示面的規(guī)定位置作為原點，將該顯示面定義為X-Y平面，從該原點朝向操作者的軸定義為+Z軸，則CPUll掌握住時時刻刻變化的視差圖像的左眼用圖像ImL和右眼用圖像ImR的中心位置(在該例子中幾乎是圓形的中心位置)的X坐標和Y坐標，依次計算出作為上述式(El)的計算結(jié)果的立體影像VR的中心位置的Z坐標。因此，能夠從圖6所示的幾何學(xué)條件計算出以原點為基準的立體影像VR的X、Y和Z坐標。另外，由于立體影像VR是將視差圖像的左眼用圖像ImL和右眼用圖像ImR投影的影像，因此立體影像VR的大小可以認為是與左眼用圖像ImL和右眼用圖像ImR相同半徑的球形。根據(jù)以上內(nèi)容，可以計算出以顯示面的規(guī)定位置作為原點的、被操作者認知的球形的立體影像VR的表面上的任意點的虛擬空間坐標。第二坐標計算單元54具有以下功能:計算作為操作者的操作對象的操作體30的空間坐標。第二坐標計算單元54通過如下方式實現(xiàn)。CPUll根據(jù)從左攝像部20L和右攝像部20R分別依次(以幀單位)獲得的左圖像和右圖像，通過公知的立體量測計算出操作體30的空間坐標。下面，參照圖7說明操作體30的空間坐標的計算方法(三維信息獲得方法)。圖7為用于說明操作體30的空間坐標的計算方法的圖，舉出操作體30或者操作體30的一部分(例如前端部)為四角錐的情況的例子。通過立體量測的三維信息獲得方法是，從不同的視點獲得對象物體的圖像，從各視點的位置關(guān)系和各圖像的不同的外觀得到對象物體的三維信息的方法。圖7中，fL表示左攝像部20L的焦點位置，fR表示右攝像部20R的焦點位置。
在本實施方式的游戲裝置I中，獲得來自攝像用透鏡平行而等位地配置的左攝像部20L和右攝像部20R的兩個圖像(左圖像、右圖像)，將其中一個圖像例如左圖像作為基準圖像。另外，在圖7所示的例子中，從對應(yīng)于量測對象的操作體30上的點A、B的基準圖像(左圖像)的坐標上的位置AL、BL (點A、B投影到左攝像部20L的點)和、右圖像的坐標上的位置AR、BR (點A、B投影到右攝像部20R的點)的差(視差)和、左右的焦點位置fL、fR,根據(jù)三角檢測原理計算出點A、B的空間坐標。例如，計算操作體30的A點的空間坐標時，CPUll根據(jù)A點的對應(yīng)于左圖像的位置AL和、A點的對應(yīng)于右圖像的位置AR和、已知的焦點位置fL、fR，計算出例如以焦點位置fL、fR的任意位置為基準的A點的空間坐標。通常，在獲得立體的三維信息時，通過對應(yīng)點搜索(匹配計算)認知作為基準的圖像上的一個點對應(yīng)于其它圖像上的哪個點。另外，相對于一個圖像上的點，其對應(yīng)點存在于另一個圖像內(nèi)的直線上。通常，將該直線稱之為核線(Epipolar Line)。在本實施方式的游戲裝置I中，如圖1所示，左攝像部20L和右攝像部20R平行而等位地配置，因此，核線呈水平，用水平方向的一維搜索取得匹配。第二坐標計算單元54通過如下方式實現(xiàn)。S卩，CPUll依次(以幀單位)通過上述的立體量測來計算出構(gòu)成操作體30的各點的空間坐標。另外，優(yōu)選的是，此時所計算出的操作體30的空間坐標的原點與第一坐標計算單元53中計算出的立體影像的空間坐標的原點要一致。在第一坐標計算單元53中，作為原點的顯示面上的規(guī)定位置和左攝像部20L和右攝像部20R的各焦點位置之間的位置關(guān)系為固定，因此能夠很容易進行這樣的坐標轉(zhuǎn)換處理。在上述的立體量測中，優(yōu)選的是根據(jù)左圖像和右圖像迅速特定與操作體30所對應(yīng)的影像。另外，上述立體量測中的對應(yīng)點搜索處理的負荷是搜索對象的點越多其計算量變得越大。因此，為了根據(jù)左圖像和右圖像迅速特定操作體30的影像、且在操作體30中限定空間坐標的計算范圍而減輕對應(yīng)點搜索處理的負荷，可以利用操作體30影像的顏色。例如，在僅僅將操作體30前端部的顏色做成紅色、除前端部以外的其它部分的顏色做成白色時，根據(jù)左圖像和右圖像的亮度信息能夠迅速特定各圖像內(nèi)的操作體30的影像，同時能夠限定操作體30的空間坐標的計算范圍，因此能夠?qū)崿F(xiàn)更加高速的處理。事件發(fā)生單元55具有如下功能:當通過第一坐標計算單元53計算出的立體影像的至少一個點的空間坐標和通過第二坐標計算單元54計算出的操作體30的至少一個點的空間坐標之間的距離為規(guī)定的臨界值以下時，使其發(fā)生伴隨著視差圖像或者除視差圖像以外的液晶顯示器3a上的圖像的至少其中之一的變化的規(guī)定事件。在此，為了對于本實施方式的游戲裝置I所執(zhí)行的游戲種類或者是否發(fā)生事件設(shè)置適當?shù)挠螒?，適當?shù)卦O(shè)定規(guī)定的臨界值。事件發(fā)生單元55當判斷為作為操作者的操作對象的操作體30和被操作者認知的立體影像非常接近時，使規(guī)定事件發(fā)生。事件發(fā)生單元55通過如下方式實現(xiàn)。S卩，CPUll以規(guī)定的原點為基準依次(以幀單位)對被操作者認知的立體影像的各點(例如，如果是圖3所示的球狀的立體影像，則其上面的多個代表點)的虛擬空間坐標的計算結(jié)果和操作體30的各點的空間坐標的計算結(jié)果進行比較，由此計算出兩個點之間的距離。另外，CPUll對所計算出的距離與規(guī)定的臨界值進行比較，當判斷為計算出的距離為規(guī)定的臨界值以下時，進行用于使規(guī)定的事件發(fā)生的顯示上的控制。
該規(guī)定的事件是伴隨著液晶顯示器3a上的視差圖像或者除視差圖像以外的液晶顯示器3a上的圖像的至少其中之一的變化的事件，即，伴隨著被操作者認知的立體影像以及/或者液晶顯示器3a上的二維圖像的變化的事件，操作者能夠視認該變化。例如，在圖4所示的例子中，作為規(guī)定事件，CPUlI可以按照猶如立體影像VR發(fā)生爆炸而消失似地使液晶顯示器3a上顯示的視差圖像發(fā)生變化的方式控制圖像處理電路14。另外，作為規(guī)定事件，CPUll可以按照在圖3所示的顯示區(qū)域102內(nèi)顯示的分數(shù)發(fā)生變化、S卩，發(fā)生分數(shù)增加的方式控制圖像處理電路14。規(guī)定事件可以根據(jù)所執(zhí)行的游戲內(nèi)容任意地設(shè)定，例如，可以是伴隨著操作體30接觸或者非常接近的立體影像所對應(yīng)的視差圖像的消失、變形、擴大和縮小、移動速度的變化(即，立體影像的消失、變形、擴大和縮小、移動速度的變化)、新的立體影像所對應(yīng)的視差圖像的出現(xiàn)(即，立體影像的出現(xiàn))的事件。在此，移動速度的變化是指，例如移動的立體影像的速度上升、下降、停止的情況，或者是與之相反停止的立體影像開始移動的情況。在本實施方式的游戲裝置I中，當被判斷為作為操作者的操作對象的操作體30與被操作者認知的立體影像非常接近時，通過事件發(fā)生單元55發(fā)生規(guī)定事件，因此游戲裝置I的操作者期待伴隨著顯示上的變化的規(guī)定事件的發(fā)生，或者以規(guī)定事件發(fā)生為目標，積極地使作為操作對象的操作體30接近于自己所認知的立體影像。此時，如圖3所示，如果被操作者認知的立體影像發(fā)生移動，則對操作者將操作體30接近立體影像方面，希望發(fā)揮操作者的技能，在游戲的設(shè)定上令人滿意的。此時，操作者玩游戲的過程中能夠體會到好像直接對實際不存在的立體影像進行操作的感覺。即，能夠給操作者帶來伴隨立體操作感覺的游戲的新興趣感。( 1-4)游戲的主要處理流程接著，參照圖8的流程圖說明執(zhí)行圖3和圖4中例示的游戲時的本實施方式的游戲裝置I的主要的處理流程的一個例子。在這里首先，除了游戲程序之外，各客體的各種數(shù)據(jù)從存儲介質(zhì)17加載至RAM13，并存儲在RAM13上(步驟S100)。CPUll解釋所加載的游戲程序時，首先游戲執(zhí)行單元51被執(zhí)行。游戲執(zhí)行單元51參照RAM13內(nèi)的客體數(shù)據(jù)，設(shè)定將客體配置在規(guī)定位置的游戲空間(步驟 S102)。接著，游戲執(zhí)行單元51發(fā)出游戲開始命令(步驟S104)，然后，根據(jù)游戲的執(zhí)行，開始進行分配給操作者的游戲時間的管理、操作者分數(shù)的管理、根據(jù)游戲執(zhí)行狀況或者操作者通過輸入部4輸入的指令的顯示處理等。進一步，伴隨所發(fā)出的游戲開始指令，圖像顯示單元52開始顯示視差圖像(步驟S106)。更加具體地說，圖像顯示單元52按照多個球形的立體影像在任意時間出現(xiàn)并開始移動、從出現(xiàn)后隨著時間的經(jīng)過其圖像的大小從大變小、從出現(xiàn)后經(jīng)過規(guī)定時間會消失的方式將與立體影像所對應(yīng)的多個視差圖像顯示在液晶顯示器3a上。另外，伴隨所發(fā)出的游戲開始指令，左攝像部20L和右攝像部20R開始獲得液晶顯示器3a前方的圖像(左圖像和右圖像)(步驟S108)，圖像顯示單元52以幀單位依次向CPUl I傳送圖像。如果在步驟S106中開始顯示視差圖像，則第一坐標計算單元53對被操作者認知的多個球狀的立體影像中的各圖像計算出其表面上的多個點(例如，預(yù)先設(shè)定的代表點)的虛擬的空間坐標(在此用“P1”表示)(步驟S110)。在此，第一坐標計算單元53根據(jù)以幀單位變化的視差圖像的位置、構(gòu)成視差圖像的左眼用圖像和右眼用圖像的偏差量，用上述式(El)依次計算出球狀的立體影像的中心位置，并計算出相對于該中心位置的規(guī)定半徑(與圓形的視差圖像的半徑相同)的球表面的虛擬的空間坐標P1。接著，第二坐標計算單元54根據(jù)在步驟S108中以幀單位依次獲得的來自左攝像部20L和右攝像部20R的左圖像和右圖像，進行立體量測，并計算出操作體30的各點的空間坐標(在此用“P2”表示)(步驟S112)。在此，如前面所述，根據(jù)操作體30的點投影為左圖像和右圖像的投影點和左右的焦點位置fL、fR用三角測量的原理，計算出操作體30的點的空間坐標。此時，為了在后述的步驟S114中的判斷，進行使在步驟SllO中計算出的空間坐標的原點和在步驟S112中計算出的空間坐標的原點一致的處理。該游戲是比賽例如在分配給操作者的規(guī)定時間內(nèi)使操作體30盡量與更多的立體影像接觸或者非常接近的游戲，可以設(shè)想給操作者賦給下述動機，即，對在移動的立體影像，配合時機使操作體30接觸或者非常接近于立體影像。并且，事件發(fā)生單元55計算出在步驟SllO中計算出的球狀的各立體影像的各點的虛擬的空間坐標Pl和在步驟S112中計算出的操作體30的各點的空間坐標P2的距離，并將該距離與臨界值進行比較(步驟S114)。結(jié)果，當判斷為所計算出的距離為規(guī)定的臨界值以下時，即，判斷為操作者使操作體30非常接近于被操作者認知的任何一個立體影像(即，通過液晶顯示器3a上顯示的視差圖像認知的立體影像)時，事件發(fā)生單元55使包含對應(yīng)于該立體影像的視差圖像發(fā)生變化的情況在內(nèi)的規(guī)定事件發(fā)生(步驟S116)。作為包含在規(guī)定事件的視差圖像的變化的一個例子，如圖4所示，可以舉出如立體影像VR發(fā)生爆炸而消失一樣的視差圖像發(fā)生變化的情況。進一步，作為所發(fā)生的事件，還可以是在圖3所示的顯示區(qū)域102內(nèi)顯示的分數(shù)的變化，即操作者獲得分數(shù)的增加。如上所述，該游戲比賽在規(guī)定游戲時間內(nèi)使操作體30接觸或者非常接近于立體影像而使其消失的立體影像的數(shù)量。此時，操作者在游戲過程中能夠體會到好像直接對實際不存在的立體影像進行操作的感覺。即，能夠給操作者帶來伴隨立體的操作感覺的游戲的新興趣感。(2)第二實施方式下面，說明本發(fā)明的第二實施方式。另外，在下面的各實施方式中，只要不做特別說明，游戲裝置的結(jié)構(gòu)和運行，通過游戲裝置執(zhí)行的各單元、游戲的主要處理流程都與在第一實施方式中說明的內(nèi)容相同。圖9為用于說明在本實施方式的控制裝置10中發(fā)揮主要作用的功能模塊圖。將圖9所示的功能模塊圖與圖2所示的功能模塊圖比較，不同之處在于增加了第一控制單元56、第二控制單元57、第三控制單元58和第四控制單元59。另外，為了方便，在圖2所示的本實施方式的控制裝置10將第一控制單元56、第二控制單元57、第三控制單元58和第四控制單元59全部包括，但并不限定于這樣的構(gòu)成。只要包括第一控制單元56、第二控制單元57、第三控制單元58和第四控制單元59中的至少一種單元即可。第一控制單元56具有如下的功能:當判斷為在顯示視差圖像之前操作者看上去根據(jù)該上視差圖像認知的虛擬的立體影像與操作體30重疊在一起，且操作體30位于虛擬的立體影像和液晶顯示器3a之間時，按照預(yù)先不顯示視差圖像的方式控制圖像顯示單元52。
圖10為表示從操作者的視角看上去通過視差圖像(左眼用圖像ImL、右眼用圖像ImR)認知的虛擬的立體影像和操作體30疊加在一起、且操作體位于虛擬的立體影像VR和液晶顯不器3a之間的狀態(tài)的圖，圖10 (a)為表不其狀態(tài)的俯視圖，圖10 (b)為表不從操作者的視角看到的立體影像VR和操作體30的圖。如圖10所示，當從操作者的視角看上去，通過視差圖像被認知的虛擬的立體影像VR和操作體30疊加在一起、且操作體30位于虛擬的立體影像VR和液晶顯示器3a之間的狀態(tài)時，即，操作體存在于被操作者認知的立體影像VR的虛擬的空間位置的后面時，從操作者的視角看上去操作體30穿過立體影像VR而不自然地映射進來。具體而言，看上去只有圖10 (b)中用斜線表示的操作體30的前端部浮現(xiàn)在立體影像VR的前面(操作者一側(cè))。其原因如下:相對于操作體30是實際存在的物體，立體影像VR是實際上不存在、而在人的大腦里形成的虛擬的存在。因此，如圖10 (a)所示，如果操作體30切斷視差圖像和人的眼睛之間的線，則由于操作體30的存在而立體影像VR的一部分無法清楚地被認知。因此，為了預(yù)先防止這種不自然的顯示，第一控制單元56通過控制圖像顯示單元52來使要形成上述位置關(guān)系的視差圖像預(yù)先不顯示。通過這樣的處理，能夠使對于立體影像的操作體的操作性變得更加自然。具體而言，在第一控制單元56通過如下方式實現(xiàn)。CPUll計算出以幀單位依次計算出的操作體30的各點的空間坐標。另外，CPUll計算出第一坐標計算單元53中計算立體影像VR的虛擬的空間位置時作為前提的從操作者的兩個眼睛的瞳孔的空間位置看到的操作體30的各點的空間坐標投影到液晶顯示器3a的投影位置。該投影位置是操作者看到的操作體30投影在液晶顯示器3a上的位置，通過這些，從操作者看到的操作體30在液晶顯示器3a上的區(qū)域(下面，稱之為“投影區(qū)域”)被劃定。CPUll還進一步調(diào)整視差圖像的左眼用圖像和右眼用圖像之間的偏差量(圖6中的d)，以使在液晶顯示器3a中在依次計算的操作體30的投影區(qū)域內(nèi)不顯示視差圖像，或者在操作體30的投影區(qū)域內(nèi)顯示視差圖像時從操作者的視角看上去不讓操作體30位于立體影像VR的后側(cè)。S卩，由于已知操作體30各點的空間坐標，因此通過調(diào)整所顯示的視差圖像的左眼用圖像和右眼用圖像之間的偏差量，使得所認知的立體影像VR位于比操作體30更靠近液晶顯不器3a —側(cè)。第二控制單元57按照操作者看上去操作體30與立體影像疊加、且當操作體30移動至立體影像和顯示器3a之間的位置時，不顯示立體影像所對應(yīng)的視差圖像的方式控制圖像顯示單元52。如上所示，作為操作體30移動的結(jié)果，當其位置關(guān)系(圖10中所示的位置關(guān)系)為操作者看上去操作體30存在于被操作者認知的立體影像的虛擬的空間位置的后側(cè)時，操作者看到的操作體30由于立體影像30而顯示得不自然。具體而言，操作體30中僅僅與立體影像疊加的部分浮現(xiàn)在立體影像的前面(操作者一側(cè))。因此，為了預(yù)先防止這樣的不自然的顯示，第二控制單元57按照當操作體30移動至上述位置關(guān)系的位置時，不顯示立體影像所對應(yīng)的視差圖像的方式控制圖像顯示單元52。即，通過消除立體影像本身來避免不自然的顯示。由此，能夠使對于立體影像的操作體的操作性變得更加自然。具體而言，在第2控制裝置57通過如下方式實現(xiàn)。
CPUll計算出以幀單位依次計算出的操作體30的各點的空間坐標。另外，CPUll還計算出第一坐標計算單元53中計算立體影像VR的虛擬的空間位置時作為前提的從操作者的兩個眼睛的瞳孔的空間位置(已知的位置)看到的操作體30的各點的空間坐標投影到液晶顯示器3a的投影位置。該投影位置是操作者看到的操作體30投影在液晶顯示器3a上的位置，通過這些，從操作者看到的操作體30在液晶顯示器3a上的區(qū)域被劃定。CPUll依次監(jiān)視操作體30的投影區(qū)域。另外，當視差圖像移動至該投影區(qū)域、且通過該視差圖像在第一坐標計算單元53中計算出的立體影像的虛擬的空間位置判斷為比操作體30更靠近于操作者一側(cè)時，禁止顯示該視差圖像。第三控制單元58按照下述方式控制圖像顯示單元52，操作者看上去操作體30與立體影像重疊、且當操作體30移動至立體影像和顯示器3a之間的位置時，使該立體影像所對應(yīng)的視差圖像移動至從操作者看上去該視差圖像所對應(yīng)的立體影像與操作體30不重疊的位置。如上所示，作為操作體30移動的結(jié)果，當其位置關(guān)系為操作者看上去操作體30存在于被操作者認知的立體影像的虛擬的空間位置的后側(cè)時，操作者看到的操作體30由于立體影像30而顯示得不自然。具體而言，操作體30中僅僅與立體影像重疊的部分浮現(xiàn)在立體影像的前面(操作者一側(cè))。因此，為了預(yù)先防止這樣的不自然的顯示，第三控制裝置58按照當操作體30移動至上述位置關(guān)系的位置時，不顯示立體影像所對應(yīng)的視差圖像的方式控制圖像顯示單元52。即，通過按照將立體影像的位置從操作體離開的方式進行移動，由此避免不自然的顯示。由此，能夠使對于立體影像的操作體的操作性變得更加自然。具體而言，在第3控制裝置58通過如下方式實現(xiàn)。CPUll計算出以幀單位依次計算出的操作體30的各點的空間坐標。另外，CPUll還計算出第一坐標計算單元53中計算立體影像的虛擬的空間位置時作為前提的從操作者的兩個眼睛的瞳孔的空間位置(已知的位置)看到的操作體30的各點的空間坐標投影到液晶顯示器3a的投影位置。該投影位置是操作者看到的操作體30投影在液晶顯示器3a上的位置，通過這些，從操作者看到的操作體30在液晶顯示器3a上的區(qū)域被劃定。CPUll依次監(jiān)視操作體30的投影區(qū)域。另外，當視差圖像移動至該投影區(qū)域、且通過該視差圖像在第一坐標計算單元53中計算出的立體影像的虛擬的空間位置判斷為比操作體30更靠近于操作者一側(cè)時，CPUll按照使該視差圖像移動至投影區(qū)域以外的區(qū)域的方式對圖像處理電路14發(fā)出指令。第四控制單元59按照當操作體30實際上沒有移動的狀態(tài)下立體影像的至少一個點的空間坐標和操作體30的至少一個點的空間坐標之間的距離為規(guī)定的臨界值以下時，禁止規(guī)定事件發(fā)生的方式控制事件發(fā)生單元55。操作體30實際上沒有移動的狀態(tài)下，可以理解為對于操作者來說缺乏將操作體30接近于自己認知的立體影像的意愿。因此，在這樣的情況下，即使判斷為立體影像的至少一個點的空間坐標和操作體30的至少一個點的空間坐標之間的距離為規(guī)定的臨界值以下，即，兩者非常接近，但第四控制單元59禁止通過事件發(fā)生單元55發(fā)生事件。由此，能夠阻止并不是根據(jù)操作者主動的意愿而是操作體和立體影像偶然地接觸或者接近時的事件的發(fā)生，從而能夠提高事件發(fā)生的實效性。例如，參照圖3和圖4說明的游戲的情況，盡管操作者沒有移動操作體30，如果由于立體影像和操作體偶然地接觸或者非常接近(即，移動的立體影像非常接近于靜止的操作體30)而導(dǎo)致立體影像消失或者獲得分數(shù)，則由于立體影像VR消失或者獲得分是沒有通過操作者的適當操作來完成，因此游戲的興趣性會下降。因此，第四控制單元59防止沒有通過操作者的適當操作就發(fā)生事件的不恰當?shù)氖录陌l(fā)生。具體而言，在第四控制單元59通過如下方式實現(xiàn)。CPUll根據(jù)通過第二坐標計算單元54依次計算出的構(gòu)成操作體30的各點的空間坐標，以幀單位計算出操作體30的移動速度。即，根據(jù)一個幀期間的操作體30的坐標變化，依次計算出操作體30的移動速度。另外，當判斷為操作體30和被操作者認知的立體影像非常接近時的時點上，如果操作體30的移動速度為規(guī)定的臨界值以上，則允許事件發(fā)生單元55發(fā)生規(guī)定的事件。另外，在該時點上，如果操作體30的移動速度小于規(guī)定的臨界值，則不允許事件發(fā)生單元55發(fā)生規(guī)定的事件。(3)第三實施方式下面，說明第三實施方式。圖11為表示作為本發(fā)明的圖像顯示裝置的其它實施方式的游戲裝置2的外觀和游戲裝置2的操作者的圖。游戲裝置2與圖1所示的游戲裝置I 一樣，是對操作者將被操作者認知的虛擬的立體影像作為對象進行操作的游戲進行控制的游戲裝置，與游戲裝置I的不同之處在于，游戲裝置2設(shè)定為比較小型的便攜式游戲裝置。圖12為表示本實施方式的游戲裝置2的結(jié)構(gòu)的模塊圖。另外，在圖12所示的模塊圖中，對于與圖2中所示的模塊圖中，與圖2的結(jié)構(gòu)相同的部分，基本上采用相同的符號，不再重復(fù)說明，對于那些雖然與圖2中所示的符號相同但功能不同的部分，下面對其不同的部分進行說明。如圖11所示，本實施方式的游戲裝置2包括上部筐體2a和下部筐體2b，上部筐體2a和下部筐體2b以相互自由開啟和關(guān)閉的方式連接。在本實施方式的游戲裝置2的顯示裝置3包括設(shè)置在上部筐體2a的上部液晶顯示器3a和設(shè)置在下部筐體2b的下部液晶顯不器3b。輸入部4包括接受操作者的操作輸入的多個按鈕。根據(jù)圖11中所示的配置在筐體上的按鈕的例子，多個按鈕設(shè)置在下部筐體2b上，這些按鈕包括:配置在下部液晶顯示器3b的左側(cè)的“十字”形狀的方向指示按鈕4a、配置在下部液晶顯示器3b的右側(cè)的選擇按鈕4b、開始按鈕4c和多個指示按鈕4d。輸入部4還可以包括圖中未表示的電源按鈕。如圖11所示，在上部液晶顯示器3a上，顯示由各個左眼用圖像ImL和右眼用圖像ImR組成的一個或多個視差圖像，看到該視差圖像的操作者會認知在操作者和上部液晶顯示器3a之間存在立體影像VR。與前面所述的游戲裝置I不同，在本實施方式的游戲裝置2中，在上部筐體2a中的上部液晶顯示器3a的下方的中央附近配置有使攝像對象朝向操作者方向的單一攝像部20的攝像用透鏡。即，與游戲裝置I不同，在本實施方式的游戲裝置2中，根據(jù)通過單一攝像部20獲得的圖像，不用使用立體量測的情況下特定操作體30的空間坐標。另外，在圖11中所示的例子中，表示攝像部20內(nèi)置于游戲裝置2內(nèi)的形態(tài)，但其形態(tài)還可以是另設(shè)攝像裝置，且該攝像裝置與游戲裝置2內(nèi)的控制裝置10電連接的形態(tài)。在攝像部20中得到的幀單位的圖像數(shù)據(jù)被依次傳送至控制裝置10的CPU11。第一、第二實施方式中參照的圖5、圖9的功能模塊圖中的各單元也可以通過圖11和圖12中所示的游戲裝置2的結(jié)構(gòu)來實現(xiàn)。在此，本實施方式的游戲裝置2的硬件結(jié)構(gòu)與圖1和圖2中所示的游戲裝置I的硬件結(jié)構(gòu)的主要不同點在于只有一個攝像部。因此，下面說明本實施方式中第二坐標計算單元54如何利用單一攝像部來運行。圖5和圖9中所示的單元中，除了第二坐標計算單元54之外的其它各單元與操作體30的空間坐標的計算沒關(guān)系或者只要是計算出操作體30的空間坐標，則與第一實施方式中所述的方法相同地運行，因此，在這里省略這些單元的重復(fù)說明。關(guān)于利用單一圖像的物體(在本實施方式中的操作體30)的位置特定方法，已有各種各樣的公知技術(shù)，在這里可以使用任何一種公知技術(shù)。作為公開了這樣的技術(shù)的公知文獻的一個例子，可以舉出特開平5-157518號公報,在這里參照該公報。在該公報中公開的物體的位置特定方法大致如下。首先，根據(jù)所獲得的圖像的邊緣檢測結(jié)果，特定作為對象的物體的特征點的圖像內(nèi)的位置。接著，如果物體的特征點或者特征部的位置被特定，則將所獲得的圖像上的物體特征點的二維坐標轉(zhuǎn)換成物體特征點的實際空間(三維空間)上的坐標。在該坐標轉(zhuǎn)換中，可參照特征部的圖像內(nèi)的大小、圖像倍數(shù)、攝像角度、攝像部的位置等的參數(shù)。在本實施方式中，從所獲得的圖像中特定操作體30的形狀時，還可以將如上所述的邊緣檢測結(jié)果和以預(yù)先登記的作為操作體30形狀的多個形狀為基礎(chǔ)的圖案認知結(jié)果進行組合。另外，從容易特定操作體30的特征部的方面考慮，優(yōu)選的是將所獲得的圖像內(nèi)的操作體30的一部分(例如前端部)的形狀做成與其它部分的形狀不同的特殊的形狀。此時，操作體30的前端部成為特征部。更加優(yōu)選的是，將該前端部的顏色做成與其它部分的顏色不同的顏色，由此從所獲得的圖像中的亮度信息能夠容易且高速地特定操作體30的特征部。以上，說明了本發(fā)明的多個實施方式，但本發(fā)明并不限定于上述的各實施方式。另夕卜，只要不脫離本發(fā)明的主要內(nèi)容，上述各實施方式可以進行多種改進或變更。例如，在上述的各實施方式中，關(guān)于操作體30針對細長的棒狀筆等與操作者單獨的物理上的實體的情況進行了說明，但該操作體30并不局限于此。操作體還可以是操作者的手指或手等作為操作者的一部分的物理上的實體。例如，將操作者的手作為操作體時，通過安裝從游戲裝置的攝像部獲得的圖像中膚色亮度信息的像素中認知手的形狀的算法，能夠從上述圖像中獲得作為操作體的手的位置。從該圖像中的手的位置計算出作為操作體的手的空間坐標就可以。在上述的各實施方式中，主要說明了本發(fā)明的圖像顯示裝置適用于游戲裝置的情況，但該裝置理所當然也能夠適用于游戲裝置以外的其它用途上。例如，作為本發(fā)明的圖像顯示裝置的游戲裝置以外的用途，可以作為如下的輸入裝置起作用，即，以觀察者對在觀察者和顯示畫面之間被認知的立體影像進行虛擬的輸入操作的方式由觀察者對圖像顯示裝置進行輸入。。在上述的實施方式中，雖然以圖3和圖4中所示的游戲為例子進行了說明，但該游戲只不過是表示本發(fā)明適用例的單純的一個例子，理所當然，本發(fā)明可以適用于各種應(yīng)用上。S卩，作為本發(fā)明的圖像顯示裝置的游戲裝置所執(zhí)行的游戲，除了有圖3和圖4中例示的游戲以外，只要是伴隨操作者通過操作體直接對被操作者認知的立體影像進行操作的行為，游戲的種類并不限定。
例如，可以是如下的互動游戲，S卩，按照操作者將作為操作體的觸摸筆接觸(虛擬地進行撫摸行為)到作為立體影像被認知的動物(寵物)以使被認知為作為立體影像的動物做出規(guī)定的動作的方式，使作為立體影像的動物所對應(yīng)的視差圖像發(fā)生變化。另外，還可以是如下的棒球游戲，S卩，按照操作者將作為操作體的觸摸筆當作球棒接觸(虛擬地進行擊打的行為)到作為立體影像被認知的球以使被認知為作為立體影像的球移動的方式，使作為立體影像的球所對應(yīng)的視差圖像發(fā)生變化。還可以是如下的角色扮演游戲，按照操作者將作為操作體的觸摸筆接觸(虛擬地選擇并打開寶箱的行為)到作為立體影像被認知的寶箱以使被認知為作為立體影像的寶箱被打開方式，使作為立體影像的寶箱所對應(yīng)的視差圖像發(fā)生變化。附圖標號說明1、2游戲裝置3 顯示裝置3a 液晶顯示器、上部液晶顯示器3b 下部液晶顯示器4 輸入部5 存儲介質(zhì)安裝部10 控制裝置11 CPU12 ROM13 RAM14 圖像處理電路15 音頻處理電路16 總線17 存儲介質(zhì)20 攝像部20L左攝像部20R右攝像部22 揚聲器51 游戲執(zhí)行單元52 圖像顯示單元53 第一坐標計算單元54 第二坐標計算單元55 事件發(fā)生單元56 第一控制單元57 第二控制單元58 第三控制單元59 第四控制單元
權(quán)利要求
1.一種圖像顯示裝置，包括: 圖像顯示單元，在顯示畫面上顯示視差圖像； 第一坐標計算單元，計算所述視差圖像的被觀察者認知的立體影像的虛擬的空間坐標； 第二坐標計算單元，計算作為所述觀察者的操作對象的操作體的空間坐標； 事件發(fā)生單元，當通過所述第一坐標計算單元計算出的立體影像的至少一個點的空間坐標和通過所述第二坐標計算單元計算出的操作體的至少一個點的空間坐標之間的距離小于規(guī)定的臨界值時，使伴隨著所述視差圖像或者除所述視差圖像以外的所述顯示畫面上的圖像中的至少其中之一變化的規(guī)定事件發(fā)生。
2.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于，該圖像顯示裝置進一步包括按照下述方式對所述圖像顯示單元進行控制的第一控制單元:在視差圖像被顯示之前，被判斷為由所述操作者來看通過該視差圖像被認知的虛擬的立體影像和所述操作體重疊、且所述操作體位于所述虛擬的立體影像和所述顯示畫面之間時，預(yù)先不顯示所述視差圖像。
3.根據(jù)權(quán)利要求1或2所述的圖像顯示裝置，其特征在于，該圖像顯示裝置進一步包括按照下述方式對所述圖像顯示單元進行控制的第二控制單元:在由所述操作者來看所述操作體與所述立體影像重疊、且所述操作體移動至所述立體影像和所述顯示畫面之間的位置時，不顯示與該立體影像所對應(yīng)的視差圖像。
4.根據(jù)權(quán)利要求1或2所述的圖像顯示裝置，其特征在于，該圖像顯示裝置進一步包括按照下述方式對所述圖像顯示單元進行控制的第三控制單元:在由操作者來看所述操作體與所述立體影像重疊、且所述操作體移動至所述立體影像和所述顯示畫面之間的位置時，使與該立體影像所對應(yīng)的視差圖像移動至由操作者來看與視差圖像所對應(yīng)的立體影像與操作體不重疊的位置。
5.根據(jù)權(quán)利要求1至4任一項所述的圖像顯示裝置，其特征在于，該圖像顯示裝置進一步包括按照下述方式對所述事件發(fā)生單元進行控制的第四控制單元:當所述操作體實際上沒有移動的狀態(tài)下，所述立體影像的至少一個點的空間坐標和所述操作體的至少一個點的空間坐標之間的距離在規(guī)定的臨界值以下時，禁止規(guī)定事件發(fā)生。
6.根據(jù)權(quán)利要求1至5任一項所述的圖像顯示裝置，其特征在于， 所述第一坐標計算單元根據(jù)所述觀察者和所述顯示畫面之間的第一距離、作為觀察者的瞳孔之間的距離預(yù)先設(shè)定的第二距離、構(gòu)成視差圖像的左眼用圖像和右眼用圖像的偏差量，計算出與該視差圖像所對應(yīng)的立體影像的虛擬的空間坐標； 所述第二坐標計算單元根據(jù)通過一個或者一對攝像單元得到的所述操作體影像的顏色以及/或者形狀，計算出操作體的空間坐標。
7.根據(jù)權(quán)利要求1至6任一項所述的圖像顯示裝置，其特征在于， 將所述操作體的前端部做成與該前端部以外的部分不同的顏色以及/或者形狀； 所述事件發(fā)生單元當通過所述第一坐標計算單元計算出的立體影像的至少一個點的空間坐標和通過所述第二坐標計算單元計算出的操作體的前端部的至少一個點的空間坐標之間的距離在規(guī)定的臨界值以下時，使所述規(guī)定事件發(fā)生。
8.一種游戲程序，使能夠?qū)崿F(xiàn)由操作者將被操作者虛擬地被認知的立體影像作為對象進行操作的游戲的計算機實現(xiàn)以下功能:圖像顯示功能，在顯示畫面上顯示視差圖像； 第一坐標計算功能，計算通過觀察所述視差圖像的操作者被認知的立體影像的虛擬的空間坐標； 第二坐標計算功能，計算作為所述操作者的操作對象的操作體的空間坐標； 事件發(fā)生功能，當通過所述第一坐標計算功能計算出的立體影像的至少一個點的空間坐標和通過所述第二坐標計算功能計算出的操作體的至少一個點的空間坐標之間的距離為規(guī)定的臨界值以下時，使伴隨著所述視差圖像或者除所述視差圖像以外的所述顯示畫面上的圖像中的至少其中之一變化的規(guī)定事件發(fā)生。
9.一種游戲控制方法，涉及游戲裝置中的游戲控制方法，對由操作者將被操作者虛擬地被認知的立體影像作為對象進行操作的游戲的執(zhí)行進行控制，該方法包括如下步驟: 圖像顯示步驟，在顯示畫面上顯示視差圖像； 第一坐標計算步驟，計算通過觀察所述視差圖像的操作者被認知的立體影像的虛擬的空間坐標； 第二坐標計算步驟，計算作為所述操作者的操作對象的操作體的空間坐標； 事件發(fā)生步驟，當通過所述第一坐標計算步驟計算出的立體影像的至少一個點的空間坐標和通過所述第二坐標計算步驟計算出的操作體的至少一個點的空間坐標之間的距離為規(guī)定的臨界值以下時， 使伴隨著所述視差圖像或者除所述視差圖像以外的所述顯示畫面上的圖像中的至少其中之一變化的規(guī)定事件發(fā)生。
全文摘要
本發(fā)明提供圖像顯示裝置、游戲程序、游戲控制方法，實施方式的圖像顯示裝置包括圖像顯示單元，在顯示畫面上顯示視差圖像；第一坐標計算單元，計算被所述視差圖像的觀察者認知的立體影像的虛擬的空間坐標；第二坐標計算單元，計算作為所述觀察者的操作對象的操作體的空間坐標；事件發(fā)生單元，其中，當通過所述第一坐標計算單元計算出的立體影像的至少一個點的空間坐標和通過所述第二坐標計算單元計算出的操作體的至少一個點的空間坐標之間的距離為規(guī)定的臨界值以下時，所述事件發(fā)生單元使伴隨著所述視差圖像或者除所述視差圖像以外的所述顯示畫面上的圖像的至少其中之一變化的規(guī)定事件發(fā)生。
文檔編號A63F13/00GK103155006SQ201180049359
公開日2013年6月12日 申請日期2011年10月12日 優(yōu)先權(quán)日2010年10月27日
發(fā)明者畑中哲生 申請人:科樂美數(shù)碼娛樂株式會社