專利名稱：信息源選擇系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從多個(gè)信息源中選擇任意的信息源的技術(shù)。
背景技術(shù)：
作為使用了虛擬空間的會議系統(tǒng)，有京都大學(xué)所開發(fā)的會議系統(tǒng)FreeWalk(例如，參照非專利文獻(xiàn)1和非專利文獻(xiàn)2)。FreeWalk是會議系統(tǒng)的用戶共用虛擬空間，處于同一空間內(nèi)的用戶彼此之間進(jìn)行對話的技術(shù)。各用戶可通過三維圖形觀看從自己的視點(diǎn)、或接近于自己的視點(diǎn)，但自己本身也進(jìn)入視野的視點(diǎn)看該虛擬空間的圖像。三維圖形技術(shù)是通過計(jì)算機(jī)·圖形來模擬三維空間的技術(shù)，作為實(shí)現(xiàn)該技術(shù)的API(Application Programming Interface)，有作為行業(yè)標(biāo)準(zhǔn)的OpenGL(http//www.opengl.org)和Microsoft公司的Direct3D等。通過攝像機(jī)拍攝的對話對方的圖像被實(shí)時(shí)投影到可從自己的視點(diǎn)看到的圖像中的虛擬屏幕上。另外，各用戶可在該虛擬空間內(nèi)自由移動。即，可以使用指示設(shè)備或鍵盤的鍵來改變自己本身在該虛擬空間中的位置。
還有Interval Research Corporation所開發(fā)的會議系統(tǒng)Somewire(例如，參照專利文獻(xiàn)1、專利文獻(xiàn)2和非專利文獻(xiàn)3)。Somewire是會議系統(tǒng)的用戶共用虛擬的空間，處于同一空間內(nèi)的用戶彼此可進(jìn)行對話的系統(tǒng)。Somewire中，聲音通過高品質(zhì)的立體聲來再現(xiàn)。另外，具有比可通過使人形物體的移動來控制虛擬空間上的對話對方的位置的GUI(圖形·用戶·接口)更直觀的物有形(tangible)接口。
另外，有ヒユ-レツト·パツカ-ド公司開發(fā)的使用了三維分散音頻技術(shù)的會議系統(tǒng)(例如，參照非專利文獻(xiàn)4)。三維分散音頻技術(shù)是在通過網(wǎng)絡(luò)連接的系統(tǒng)(所謂的分布環(huán)境)中使用三維音頻技術(shù)的技術(shù)。并且，三維音頻技術(shù)是模擬三維音響空間的技術(shù)，作為實(shí)現(xiàn)該技術(shù)的API，有由Loki Entertainment Software公司等規(guī)定的作為行業(yè)標(biāo)準(zhǔn)的Open AL(http//www.opengl.org/)，Microsoft公司的DirectSound 3D、Creative Technology公司的EAX2.0(http//www.sei.com/algorithms/eax2.0.pdf)等。通過使用該三維音頻技術(shù)，在由耳機(jī)、雙聲道或4聲道等揚(yáng)聲器進(jìn)行的音響再現(xiàn)中，可以模擬從收聽者看到的聲源方向和距離，并在音響空間內(nèi)使聲源定位。另外，通過模擬混響、由墻壁等物體產(chǎn)生的反射、由空氣產(chǎn)生的依賴于距離的聲音吸收、由障礙物造成的聲音遮擋等音響屬性，可以表現(xiàn)房間的存在感、空間內(nèi)物體的存在感。
專利文獻(xiàn)1US58898專利文獻(xiàn)2US6262711B非專利文獻(xiàn)1中西英之 吉田力 西村俊和石田亨“FreeWalk使用了三維虛擬空間的非形式通信的支持”，信息處理學(xué)會論文集，Vol.39，No.5，pp.1356-1364，1998。
非專利文獻(xiàn)2Nakanishi，H.，Yoshida，C.，Nishimura，T.，and Ishida，T.，“FreeWalkA 3D Virtual Space for Casual Meetings”，IEEE MultiMedia，April-June 1999，pp.2028非專利文獻(xiàn)3Singer，A.，Hindus，D.，Stifelman，L.，and White，S.，“Tangible ProgressLess Is More In Somewire AudioSpaces”，ACM CHI’99(Conference on Human Factors in ComputingSystems)，pp.104-112，May 1999.
非專利文獻(xiàn)4Low，C.，and Babarit，L.，“Distributed 3D AudioRendering”，7thInternational World Wide Web conference(WWW 7)，1998，http//www7.scu.edu.au/programme/fullpapers/1912/com1912.com.

發(fā)明內(nèi)容
近年來，各種各樣的信息經(jīng)互聯(lián)網(wǎng)提供給用戶。在使用指示設(shè)備等接近信息源的情況下，存在適當(dāng)進(jìn)行操作不容易的情況。例如，對于手不能自由運(yùn)動的殘疾人和老人等，與健全人不同，存在操作指示設(shè)備困難的情況。
另外，網(wǎng)絡(luò)廣播和網(wǎng)絡(luò)電視中，觀看想要收看收聽的節(jié)目很困難。即，廣播和電視一次只能平均收看一個(gè)臺。因此，通過依次改變頻道來收看收聽，來觀看所要收看的節(jié)目，很耗費(fèi)時(shí)間。
另外，專利文獻(xiàn)1、2和非專利文獻(xiàn)1-4所述的會議系統(tǒng)中，不考慮虛擬空間上的移動和信息源的選擇。
本發(fā)明鑒于上述問題而作出，本發(fā)明的目的是提供一種可以使用虛擬空間從多個(gè)信息源中容易選擇出希望的信息源的技術(shù)。
為了解決上述問題，本發(fā)明中，在具有多個(gè)信息源的虛擬空間中，接收用戶的移動指示，將用戶自己移動到規(guī)定的位置上。
例如，一種信息源選擇系統(tǒng)，利用虛擬空間從多個(gè)信息源中選擇任意的信息源，其特征在于所述虛擬空間具有所述多個(gè)信息源；所述系統(tǒng)具有管理所述多個(gè)信息源在虛擬空間上的位置的服務(wù)器裝置和客戶機(jī)終端；其中所述客戶機(jī)終端具有移動接收單元，接收用戶在虛擬空間上的移動指示；移動單元，根據(jù)所述移動接收單元所接收的移動指示，移動虛擬空間中的用戶；客戶機(jī)發(fā)送單元，將與所述移動單元所移動的用戶在虛擬空間中的位置有關(guān)的位置信息發(fā)送到所述服務(wù)器裝置；客戶機(jī)接收單元，從所述服務(wù)器裝置接收與所述多個(gè)信息源各自在虛擬空間上的位置有關(guān)的位置信息；空間模型化單元，根據(jù)所述用戶在虛擬空間中的所述位置信息和所述多個(gè)信息源各自在虛擬空間中的所述位置信息算出所述用戶和所述多個(gè)信息源在所述虛擬空間中的位置；以及音響控制單元，根據(jù)所述空間模型化單元算出的位置來控制適用于所述多個(gè)信息源各自的聲音的音響效果；所述服務(wù)器裝置具有服務(wù)器接收單元，從所述客戶機(jī)終端接收所述用戶在虛擬空間上的所述位置信息；存儲單元，存儲所述服務(wù)器接收單元所接收的所述用戶在虛擬空間上的所述位置信息和所述多個(gè)信息源在虛擬空間上的位置信息；以及服務(wù)器發(fā)送單元，向所述客戶機(jī)終端發(fā)送所述存儲單元存儲的所述多個(gè)信息源各自的所述位置信息。
根據(jù)本發(fā)明，可以在虛擬空間中移動用戶。由此，可以從存在于虛擬空間內(nèi)的多個(gè)信息源中接近于任意信息源進(jìn)行選擇。


圖1是本實(shí)施形態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)圖；圖2是本實(shí)施形態(tài)的各裝置的硬件結(jié)構(gòu)圖；圖3是本實(shí)施形態(tài)的客戶機(jī)的結(jié)構(gòu)圖；圖4是模式表示本實(shí)施形態(tài)的聲源的方向和距離的圖；圖5是模式表示本實(shí)施形態(tài)的音頻再現(xiàn)器的處理的圖；圖6是本實(shí)施形態(tài)的虛擬空間的第一顯示器顯示畫面例子；圖7是本實(shí)施形態(tài)的虛擬空間的第二顯示器顯示畫面例子；圖8示例了本實(shí)施形態(tài)的客戶機(jī)的種類；圖9是模式表示本實(shí)施形態(tài)的向前的長距離移動的圖；圖10是模式表示本實(shí)施形態(tài)的向左或右方向的長距離移動的圖；圖11是本實(shí)施形態(tài)的客戶機(jī)向網(wǎng)絡(luò)的連接處理的流程圖；圖12是本實(shí)施形態(tài)的客戶機(jī)的入場處理的流程圖；圖13是本實(shí)施形態(tài)的客戶機(jī)的自身用戶的移動處理的流程圖；圖14是本實(shí)施形態(tài)的客戶機(jī)的其他用戶的移動處理的流程圖；圖15是本實(shí)施形態(tài)的存在服務(wù)器的功能結(jié)構(gòu)圖；圖16是表示本實(shí)施形態(tài)的存在服務(wù)器的處理過程的處理流程圖；圖17是本實(shí)施形態(tài)的流服務(wù)器的功能結(jié)構(gòu)圖；圖18是具有音響服務(wù)器的實(shí)施形態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)圖；圖19是具有音響服務(wù)器的實(shí)施形態(tài)的音響服務(wù)器的功能結(jié)構(gòu)圖；圖20是具有音響服務(wù)器的實(shí)施形態(tài)的流服務(wù)器的功能結(jié)構(gòu)圖。
具體實(shí)施例方式
下面，說明本發(fā)明的實(shí)施形態(tài)。
圖1表示適用了本發(fā)明的一實(shí)施形態(tài)的通信系統(tǒng)的系統(tǒng)結(jié)構(gòu)圖。如圖所示，本系統(tǒng)中經(jīng)互聯(lián)網(wǎng)等網(wǎng)絡(luò)101使多個(gè)客戶機(jī)201、202、203、管理存在的存在服務(wù)器110、進(jìn)行會話控制的SIP代理服務(wù)器120、進(jìn)行用戶的登錄·認(rèn)證的登錄服務(wù)器130和將圖像與聲音等多媒體數(shù)據(jù)配送到客戶機(jī)的流(streaming)服務(wù)器140相連接。存在是包含多個(gè)信息源的虛擬空間本身和虛擬空間內(nèi)的各用戶的位置信息。
另外，本實(shí)施形態(tài)中，雖然具有三臺客戶機(jī)，但是客戶機(jī)的數(shù)目并不限于三臺，也可以是2臺或4臺以上。本實(shí)施形態(tài)中，網(wǎng)絡(luò)101由單一域構(gòu)成，但是也可由多個(gè)域構(gòu)成網(wǎng)絡(luò)101，結(jié)合各個(gè)域進(jìn)行跨過多個(gè)域的通信。這時(shí)，存在多個(gè)存在服務(wù)器110、SIP代理服務(wù)器120、登錄服務(wù)器130和流服務(wù)器140。
接著，說明通信系統(tǒng)的硬件結(jié)構(gòu)。
圖2表示客戶機(jī)201、202、203、存在服務(wù)器110、SIP代理服務(wù)器120、登錄服務(wù)器130和流服務(wù)器140的各裝置的硬件結(jié)構(gòu)。
客戶機(jī)201、202、203可使用具有根據(jù)程序進(jìn)行數(shù)據(jù)加工·運(yùn)算的CPU301、CPU301可直接讀寫的存儲器302、硬盤等外部存儲裝置303、與外部系統(tǒng)進(jìn)行數(shù)據(jù)通信用的通信裝置304、輸入裝置305、輸出裝置306的通常的計(jì)算機(jī)系統(tǒng)。例如，PDA(Personal Digital Assistant)、PC(Personal Computer)等計(jì)算機(jī)系統(tǒng)。輸入裝置305和輸出裝置306在圖3中進(jìn)行描述。
存在服務(wù)器110、SIP代理服務(wù)器120、登錄服務(wù)器130、流服務(wù)器140可使用至少具有根據(jù)程序進(jìn)行數(shù)據(jù)加工·運(yùn)算的CPU301、CPU301可直接讀寫的存儲器302、硬盤等外部存儲裝置303、與外部系統(tǒng)進(jìn)行數(shù)據(jù)通信用的通信裝置304的一般的計(jì)算機(jī)系統(tǒng)。具體的，是服務(wù)器、主計(jì)算機(jī)等。
另外，上述各裝置的后述各個(gè)功能通過CPU301執(zhí)行在存儲器302中裝載或存儲的規(guī)定程序(在客戶機(jī)201、202、203的情況下是客戶機(jī)用的程序，在存在服務(wù)器110的情況下是存在服務(wù)器用的程序，在SIP代理服務(wù)器120的情況下是SIP代理服務(wù)器用的程序，在登錄服務(wù)器130的情況下是登錄服務(wù)器用程序，在流服務(wù)器140的情況下是流服務(wù)器用的程序)來實(shí)現(xiàn)。
接著，參照圖3說明客戶機(jī)201的輸入裝置305和輸出裝置306和設(shè)備功能。另外，客戶機(jī)202、203中具有相同的結(jié)構(gòu)。
客戶機(jī)201作為輸入裝置305具有麥克風(fēng)211、攝像機(jī)213、指示設(shè)備226。指示設(shè)備226是用戶輸入自身在虛擬空間中的移動信息用的輸入裝置，例如，是各種按鈕、鍵盤等。作為輸出裝置306，具有與三維音頻技術(shù)對應(yīng)的耳機(jī)217、顯示器220。
作為功能結(jié)構(gòu)，具有音頻編碼器212、音頻再現(xiàn)器(レンダラ)216、視頻編碼器214、圖形再現(xiàn)器219、空間模型221、存在提供器222、音頻通信部215、視頻通信部218、會話控制部223、局部策略224。
音頻編碼器212將聲音轉(zhuǎn)換為數(shù)字信號。音頻再現(xiàn)器216使用三維音頻技術(shù)，進(jìn)行根據(jù)混響、濾波等虛擬空間的屬性進(jìn)行歸結(jié)的處理。視頻編碼器214將圖像轉(zhuǎn)換為數(shù)字信號。圖形再現(xiàn)器219進(jìn)行根據(jù)虛擬空間的屬性進(jìn)行歸結(jié)的處理?？臻g模型221根據(jù)所輸入的移動信息計(jì)算虛擬空間上的用戶位置和方向等存在。存在提供器222在與存在服務(wù)器110之間發(fā)送接收虛擬空間上的用戶的位置信息和方位信息。音頻通信部215在與其他的客戶機(jī)和流服務(wù)器140之間實(shí)時(shí)發(fā)送接收音頻信號(聲音信號)。視頻通信部218在與其他的客戶機(jī)和流服務(wù)器140之間實(shí)時(shí)發(fā)送接收視頻信號(圖像信息)。會話控制部223通過SIP代理服務(wù)器120，在與其他客戶機(jī)和存在服務(wù)器110之間，控制通信會話。后面將描述局部策略224。
這里，所謂虛擬空間，是指為了與多個(gè)信息源進(jìn)行雙向通信(會議和對話)，或收看收聽信息源提供的圖像和音樂，而虛擬作出的空間。信息源考慮包括共用虛擬空間的其他用戶、網(wǎng)絡(luò)廣播、網(wǎng)絡(luò)電視、再現(xiàn)音樂和視頻用的播放器等。存在服務(wù)器110管理虛擬空間的屬性、和在該虛擬空間內(nèi)存在的用戶的信息。
若用戶進(jìn)入某一虛擬空間，存在服務(wù)器110將該虛擬空間的屬性、和存在于該虛擬空間內(nèi)的其他用戶的信息發(fā)送到該用戶的客戶機(jī)中。然后，該客戶機(jī)的空間模型221將所發(fā)送的這些信息和虛擬空間內(nèi)的自身的位置信息存儲到存儲器302或外部存儲裝置303中。
虛擬空間的屬性包括例如空間的大小、天井的高度、墻壁和天井的反射率·色彩·質(zhì)感、混響特性、由空間內(nèi)的空氣產(chǎn)生的對聲音的吸收率等。其中墻壁和天井的反射率、混響特性、由空間內(nèi)的空氣等產(chǎn)生的聲音吸收率等是聽覺屬性、墻壁和天井的色彩·質(zhì)感是視覺屬性、空間的大小、天井的高度是涉及聽覺·視覺雙方的屬性。
另外，虛擬空間的屬性包括與除去用戶的信息源(網(wǎng)絡(luò)廣播、網(wǎng)絡(luò)電視、播放器等)有關(guān)的信息。作為與信息源有關(guān)的信息，對在該虛擬空間上設(shè)置的每個(gè)信息源，有識別該信息源用的信息源識別信息、在虛擬空間中的設(shè)置場所、用戶視聽該信息源時(shí)的最佳區(qū)域等。另外，本實(shí)施形態(tài)的信息源，例如在網(wǎng)絡(luò)廣播的情況下，將每個(gè)頻道設(shè)為一個(gè)信息源，并對各個(gè)從流服務(wù)器140配送的音頻信息添加信息源識別信息。另外，在網(wǎng)絡(luò)電視的情況下，將每個(gè)頻道設(shè)為一個(gè)信息源，并對從各個(gè)流服務(wù)器140配送的視頻信號添加信息源識別信息。因此，信息源識別信息是可識別(指定)信息源的種類和頻道的信息。
接著，對于各功能的動作，以存在、聲音和圖像的過程進(jìn)行說明。
對于存在，指示設(shè)備226接收來自自身用戶的位置信息或方位信息的輸入，并將這些信息轉(zhuǎn)換為數(shù)字信號后，輸入到空間模型221中?？臻g模型221接收來自指示設(shè)備226的輸入，并使虛擬空間中的所述自身用戶的位置和方向改變。另外，后面描述使用了指示設(shè)備226的用戶的移動方法。
然后，空間模型221經(jīng)存在提供器222，將自身用戶在虛擬空間的位置信息(方位信息)發(fā)送到存在服務(wù)器110。另外，空間模型221經(jīng)存在提供器222，從存在服務(wù)器110接收其他用戶在虛擬空間的位置信息(方位信息)。然后，空間模型221保持使用客戶機(jī)201的用戶在虛擬空間內(nèi)的位置信息(方位信息)和其他用戶在虛擬空間中的位置信息(方位信息)。即，空間模型221經(jīng)網(wǎng)絡(luò)101，接收其他用戶在虛擬空間中的位置信息和方位信息，所以對于其他用戶在虛擬空間內(nèi)的位置和方向，不能避免延遲和抖動的產(chǎn)生。另一方面，對于自身用戶的位置和方向，由于從指示設(shè)備226直接向空間模型221輸入，所以幾乎不會產(chǎn)生延遲。因此，客戶機(jī)201的用戶可實(shí)時(shí)在顯示器220上確認(rèn)移動后的自身位置，使容易的指示設(shè)備226的操作成為可能。
對于聲音，麥克風(fēng)211收集使用客戶機(jī)201的用戶聲音，并發(fā)送到音頻編碼器212。然后，音頻編碼器212將所述聲音轉(zhuǎn)換為數(shù)字信號后，輸出到音頻再現(xiàn)器216中。另外，音頻通信部215在與其他一個(gè)或多個(gè)客戶機(jī)之間實(shí)時(shí)發(fā)送接收音頻信號，并輸出到音頻再現(xiàn)器216。另外，音頻通信部215在與流服務(wù)器140之間實(shí)時(shí)接收音頻信號后，發(fā)送到音頻再現(xiàn)器216中。
向音頻再現(xiàn)器216輸入從音頻編碼器212和音頻通信部215輸出的數(shù)字輸出信號。然后，音頻再現(xiàn)器216使用三維音頻技術(shù)，根據(jù)空間模型221保持的聽覺虛擬空間屬性、和在虛擬空間上配置(映射)的自身用戶和其他用戶的位置、用戶之外的信息源(網(wǎng)絡(luò)廣播等)的位置，來計(jì)算在虛擬空間上如何聽到其他用戶(通信對方)的聲音或用戶之外的信息源的聲音(音樂)。另外，虛擬空間屬性包括在該虛擬空間上設(shè)置的各信息源的信息源識別信息和設(shè)置場所等。因此，音頻再現(xiàn)器216將從流服務(wù)器140接收的音頻信號配置在對應(yīng)于該音頻信號的信息識別信息的、虛擬空間內(nèi)的設(shè)置場所后進(jìn)行再現(xiàn)。
下面，使用圖4、5，具體說明音頻再現(xiàn)器216。
圖4是模式表示其他用戶或網(wǎng)絡(luò)廣播等信息源(聲源)的方向和距離的圖。圖5中，表示從正上面表示的人頭1和作為信息源的聲源2。人頭1具有用于表示方向的鼻子11。即，人頭1向著加有鼻子11的方向3。在三維音頻技術(shù)中，主要通過呈現(xiàn)在人頭1旋轉(zhuǎn)的存在下的音響變化方式(脈沖響應(yīng))的HRIR(Head Related ImpluseResponse)和由房間等虛擬環(huán)境生成的模擬混響來表現(xiàn)聲音的方向和距離。然后，通過聲源2和人頭1的距離4及人頭1和聲源的角度(水平角度和垂直角度)5來決定HRIR。另外，存儲器302或外部存儲裝置303中預(yù)先存儲了使用虛擬頭(人頭1)分別對各距離和各角度測量的HRIR的數(shù)值。另外，HRIR的數(shù)值通過使用左聲道用(由虛擬頭的左耳測量)和右聲道用(由虛擬頭的右耳測量)為不同的數(shù)值來表現(xiàn)左右、前后或上下的方向感。
圖5是表示音頻再現(xiàn)器216的處理的圖。音頻再現(xiàn)器216對于各個(gè)聲源，對通過后述的RTP(Real-time Transport Protocol)或RTSP(Real Time Streaming Protocol)接收的每個(gè)包(通常為每20ms)進(jìn)行下述的計(jì)算。如圖所示，音頻再現(xiàn)器216對于各聲源，接收信號列si[t](t＝1，...)和聲源在虛擬空間內(nèi)的坐標(biāo)(xi，yi)的輸入(S61)。從空間模型221輸入各聲源在虛擬空間內(nèi)的坐標(biāo)?？臻g模型221在虛擬空間上映射(配置)了各聲源后，將各聲源的坐標(biāo)(虛擬空間的位置信息)輸入到音頻再現(xiàn)器216中。另外，從音頻通信部215輸入各聲源的信號列。
然后，音頻再現(xiàn)器216使用所輸入的坐標(biāo)，對每個(gè)聲源計(jì)算自身用戶和聲源的距離和角度(azimuth)(S62)。然后，音頻再現(xiàn)器216從存儲器302或外部存儲裝置303中預(yù)先存儲的HRIR的數(shù)值中指定對應(yīng)于與自身用戶的距離和角度(azimuth)的HRIR(S63)。并且，音頻再現(xiàn)器216也可使用通過校正存儲器302等中存儲的HRIR的數(shù)值而算出的HRIR的數(shù)值。
然后，音頻再現(xiàn)器216使用在S61中輸入的信號列和S63中指定的HRIR的左聲道用HRIR，進(jìn)行卷積(convolution)計(jì)算，生成左聲道信號(S64)。然后，音頻再現(xiàn)器216將來自各聲源的左聲道信號全部相加(S65)。另外，音頻再現(xiàn)器216使用在S61中輸入的信號列和在S63中指定的HRIR的右聲道用HRIR，進(jìn)行卷積(convolution)計(jì)算，生成右聲道信號(S66)。音頻再現(xiàn)器216相加全部來自各聲源的右聲道信號(S67)。
接著，音頻再現(xiàn)器216對相加后的左聲道信號施加混響(S68)。即，音頻再現(xiàn)器216根據(jù)由虛擬空間屬性產(chǎn)生的音響變化方式(脈沖響應(yīng))計(jì)算混響?；祉懙挠?jì)算包括基于FIR(有限脈沖響應(yīng))的計(jì)算法和基于IIR(無限脈沖響應(yīng))的計(jì)算法。由于這些計(jì)算法是與數(shù)字濾波器有關(guān)的基本方法，所以這里省略了說明。另外，音頻再現(xiàn)器216與左聲道相同地對相加后的右聲道信號施加混響(S69)。雖然HRIR的指定(S63)如前所述對每個(gè)包進(jìn)行，但是在混響計(jì)算(S68、S69)和卷積計(jì)算(S64、S66)中，產(chǎn)生應(yīng)轉(zhuǎn)入到下一包的部分。因此，需要將所指定的HRIR或所輸入的信號列保持到下一包的處理之前。
這樣，音頻再現(xiàn)器216對從音頻通信部215輸出的通信對方的用戶聲音和用戶以外的信息源的聲音進(jìn)行基于所述計(jì)算的音量調(diào)整、混響和回聲的重疊、濾波等處理，而對自身用戶在虛擬空間內(nèi)的位置應(yīng)聽到的聲音控制音響效果。即，通過虛擬空間的屬性和其他用戶或用戶之外的信息源的位置進(jìn)行歸結(jié)的處理，來定位聲音，進(jìn)行再現(xiàn)。
對于圖像，攝像機(jī)213拍攝用戶的頭部，并將所拍攝的圖像連續(xù)發(fā)送到視頻編碼器214中。然后，視頻編碼器214將所述的圖像轉(zhuǎn)換為數(shù)字信號后，輸出到圖形再現(xiàn)器219中。另外，視頻通信部218在與其他一個(gè)或多個(gè)客戶機(jī)之間實(shí)時(shí)發(fā)送接收視頻信號后，輸出到圖形再現(xiàn)器219中。另外，視頻通信部218在與流服務(wù)器140之間接收視頻信號(運(yùn)動圖像數(shù)據(jù))，而發(fā)送到圖形再現(xiàn)器219中。圖形再現(xiàn)器219輸入來自視頻編碼器214和視頻通信部218的數(shù)字輸出信號。
然后，圖形再現(xiàn)器219根據(jù)空間模型221保持的視覺虛擬空間屬性、虛擬空間中的自身用戶的位置和方向，計(jì)算(坐標(biāo)轉(zhuǎn)換)在虛擬空間上如何看到其他用戶、網(wǎng)絡(luò)廣播等的信息源。另外，虛擬空間屬性包括在該虛擬空間上設(shè)置的各信息源的信息源識別信號和設(shè)置場所等。因此，圖形再現(xiàn)器219將從流服務(wù)器140接收的視頻信號嵌入到對應(yīng)于該視頻信號的信息識別信息的、在虛擬空間內(nèi)的設(shè)置場所中。
接著，圖形再現(xiàn)器219對從視頻通信部218輸出的通信對方的用戶圖像和從流服務(wù)器140發(fā)送的視頻信號，通過所述計(jì)算以從自己的位置看的視點(diǎn)進(jìn)行根據(jù)虛擬空間的屬性而歸結(jié)的處理，并生成在畫面上輸出的圖像數(shù)據(jù)。將由該圖形再現(xiàn)器219生成的圖像輸出到顯示器220中，再現(xiàn)為從使用客戶機(jī)201的用戶的視點(diǎn)看到的圖像，用戶參照顯示器220的輸出。
圖6是在顯示器220上顯示的虛擬空間的一例。
圖示的例子中，進(jìn)行使用了三維圖形技術(shù)的再現(xiàn)。圖形再現(xiàn)器219根據(jù)在存儲器302或外部存儲裝置303中存儲的虛擬空間大小、墻壁等的虛擬空間屬性和虛擬空間內(nèi)的各種信息源(用戶、網(wǎng)絡(luò)廣播等)等三維數(shù)據(jù)生成二維圖像，并顯示在顯示器220上。
在圖示的例子中，顯示通過從由自身用戶在虛擬空間的位置和方向決定的視點(diǎn)眺望在虛擬空間上配置的壁面、天井、床面和表現(xiàn)其他用戶的兩個(gè)麻點(diǎn)11、12、用戶以外的四個(gè)信號源21～24而得到的二維圖像。在改變虛擬空間內(nèi)的視點(diǎn)時(shí)，通過指示設(shè)備226，通過改變自身位置或方向來改變所述視點(diǎn)，并實(shí)時(shí)在畫面上顯現(xiàn)來自該位置的眺望。另外，圖示的例子中，沒有顯示使用客戶機(jī)201的自身用戶。
麻點(diǎn)11表示使用客戶機(jī)202的第一其他用戶，麻點(diǎn)12表示使用客戶機(jī)203的第二其他用戶。另外，雖然沒有圖示，但是通過紋理映射對麻點(diǎn)11粘附客戶機(jī)202的攝像機(jī)213所拍攝的第一其他用戶的圖像，對麻點(diǎn)12粘附客戶機(jī)203的攝像機(jī)213所拍攝的第二其他用戶的圖像。若通信對方的用戶旋轉(zhuǎn)，紋理映射也隨之旋轉(zhuǎn)，所以第一和第二用戶可以把握在虛擬空間內(nèi)朝向哪個(gè)方向。圖示的例子中，雖然僅通過圖形(或圖像)表示麻點(diǎn)11、12，但是還可在圖形的附近顯示對應(yīng)于各麻點(diǎn)11、12的用戶的用戶信息(例如，地址等文字信息)。
另外，在各麻點(diǎn)11、12的周圍顯示規(guī)定的區(qū)域、即aura(territory)13、14。在實(shí)際空間中與他人進(jìn)行對話的情況下，與他人相隔一定距離進(jìn)行對話。即，若他人存在于與自身相當(dāng)接近的位置，則存在產(chǎn)生不快感覺的情況。Aura是與他人之間確保一定距離用的區(qū)域。在用戶移動的情況下，不能移動到其他用戶的aura13、14中。
另外，aura13、14可以針對每個(gè)用戶設(shè)定固定大小的區(qū)域。即，對各個(gè)客戶機(jī)的局部策略224設(shè)定該用戶的aura(區(qū)域)的大小?？臻g模型221在后述的進(jìn)入虛擬空間處理時(shí)，接收存在于該虛擬空間內(nèi)的其他用戶的aura，并存儲在存儲器302或外部存儲裝置中。圖形再現(xiàn)器219讀出存儲在存儲器等中的其他用戶的aura的大小，并顯示在顯示器220上。
另外，圖示的例子中，雖然aura的形狀以球(圓形)來表示，但是也可以是多面體。另外，aura的形狀也可以是橢圓。在aura的形狀設(shè)為橢圓的情況下，一個(gè)焦點(diǎn)可以作為用戶的位置。然后，用戶朝向另一個(gè)焦點(diǎn)。即，aura為前方長、后方短的橢圓。這表示用戶的注意更容易向著前面。另外，橢圓的細(xì)長可以根據(jù)用戶的嗜好等而改變。另外，也可以接收來自用戶的指示，從顯示器220中消去aura的顯示。
虛擬空間的屬性包括與在該虛擬空間上設(shè)置的網(wǎng)絡(luò)廣播、網(wǎng)絡(luò)電視等信息源21～24有關(guān)的信息。另外，在存儲器302或外部存儲裝置上存儲虛擬空間的屬性。圖示的例子中，顯示了顯示有網(wǎng)絡(luò)電視等信息源的顯示器21、22。另外，在顯示器21、22的左右兩側(cè)設(shè)置揚(yáng)聲器，輸出對應(yīng)于從顯示器輸出的視頻信號的聲音。圖形再現(xiàn)器219讀出在存儲器等中存儲的信息源21、22的信息，向虛擬空間上的規(guī)定場所紋理映射從流服務(wù)器140接收的視頻信號(圖像)來進(jìn)行顯示。由于如圖6所示的信息源21、22那樣，將顯示間隔決定為規(guī)定的大小，所以進(jìn)行紋理映射的計(jì)算，使其容納在其中。
另外，圖示的例子中，顯示輸出網(wǎng)絡(luò)廣播等的信息源的聲音·音樂的揚(yáng)聲器23、24。圖示的例子中，左聲道用和右聲道用的兩個(gè)揚(yáng)聲器成組配置。另外，在再現(xiàn)5.1聲道的聲音的情況下，6個(gè)揚(yáng)聲器成組配置。音頻再現(xiàn)器216讀出存儲器等中存儲的信息源23、24的信息后，向虛擬空間上的規(guī)定場所再現(xiàn)從流服務(wù)器140接收的音頻信號后，向耳機(jī)輸出。
音頻再現(xiàn)器216對于從其他用戶接收的音頻信號，緩沖40ms～200ms左右后進(jìn)行再現(xiàn)，對于從流服務(wù)器140接收的音頻信號，緩沖幾秒左右后進(jìn)行再現(xiàn)。這是因?yàn)橛捎诰哂性谂c其他用戶之間進(jìn)行雙向?qū)υ挼目赡苄?，所以即使在進(jìn)行再現(xiàn)之前包沒有到來，而有音質(zhì)下降的危險(xiǎn)，也需要使延遲盡可能小。另一方面，這是因?yàn)橛捎诹鳛閱蜗蛲ㄐ?，所以?shù)秒的延遲通常沒有問題，需要等待延遲的包的到來以盡可能避免音質(zhì)的下降。
另外，對于將從流服務(wù)器140接收的音頻信號的圖像(運(yùn)動圖像)或音頻信號的聲音(音樂)顯示在哪個(gè)信息源的設(shè)置場所上，通過所述的信息源識別信息來對應(yīng)。另外，如上所述，信息源在每個(gè)頻道中存在。由此，用戶在選擇收看收聽的圖像(運(yùn)動圖像)或聲音(音樂)時(shí)，可以一次收看收聽進(jìn)入視野(或耳朵可聽到)的多個(gè)信息源21～24。另外，可以從這些信息源21～24中容易地選擇自己想看的圖像或聲音·音樂。然后，若自身用戶指定了想看的信息源，則向所指定的信息源移動。由此，將自身用戶的視點(diǎn)不同、指定的信息源為中心的虛擬空間顯示在顯示器220上。另外，通過向指定的信息源移動，音頻再現(xiàn)器216進(jìn)行控制，使得能大聲聽到該信息源的聲音。
圖7在平面圖中顯示了圖6所示的虛擬空間。圖示的例子中，空間模型221以存儲器302或外部存儲裝置303中存儲的虛擬空間的屬性、虛擬空間內(nèi)的自身用戶的位置和其他用戶的信息為基礎(chǔ)，顯示通過從正上方眺望在虛擬空間內(nèi)配置的各信息源11、21、21～24而得到的二維圖像。另外，在信息源21、22為網(wǎng)絡(luò)電視的情況下，即使是如圖7所示的平面圖，也顯示從正面眺望的圖像。即，單純縮小圖像(圖形)，而顯示在該圖像的設(shè)置位置上。
圖形再現(xiàn)器219固定客戶機(jī)201的自身用戶的位置和方向，以自身用戶為中心進(jìn)行顯示，使得虛擬空間和在虛擬空間內(nèi)存在的其他用戶相對移動、旋轉(zhuǎn)。在自身用戶通過指示設(shè)備226改變了位置或方向的情況下，實(shí)時(shí)顯示虛擬空間和虛擬空間的信息源相對移動·旋轉(zhuǎn)后的畫面。圖示的例子中，自身用戶通常固定在前面的方向(畫面的上部)。因此，若自身用戶改變方向，則虛擬空間的墻壁4移動。由此，可以表現(xiàn)自身用戶和信息源的相對位置關(guān)系。
另外，與其他客戶機(jī)(其他用戶)的聲音或運(yùn)動圖像的實(shí)時(shí)通信通過IETF(Internet Engineering Task Force)發(fā)行的文檔RFC3550中所描述的作為協(xié)議的RTP(Real-time Transport Protocol)來進(jìn)行，其通過IETF發(fā)行的文檔RFC3216中所描述的作為協(xié)議的SIP(Session Initiation Protocol)來控制通信開始·終止等。另外，流服務(wù)器140的聲音或圖像的配送也通過所述RTP進(jìn)行，其通過IETF發(fā)行的文檔RFC2326中描述的作為協(xié)議的RTSP(Real Time StreamingProtocol)等進(jìn)行控制。RTF是在TCP/IP網(wǎng)絡(luò)上，實(shí)時(shí)配送聲音和運(yùn)動圖像等用的協(xié)議。通過使用RTSP，使邊下載聲音或運(yùn)動圖像等數(shù)據(jù)、邊再現(xiàn)聲音或運(yùn)動圖像的流成為可能。
以上，終止對圖2的客戶機(jī)201的說明。另外，客戶機(jī)201中，麥克風(fēng)211、攝像機(jī)213、耳機(jī)217、指示設(shè)備226和顯示器220通過硬件實(shí)現(xiàn)。另外，音頻編碼器212和視頻編碼器214通過軟件、硬件或這些的組合來實(shí)現(xiàn)。另外，音頻通信部215、視頻通信部218、空間模型221和會話控制部223通常由軟件實(shí)現(xiàn)。
接著，參照圖8，示例客戶機(jī)201、202、203的種類。
圖8(a)所示的客戶機(jī)具有接近PDA或小型計(jì)算機(jī)的大小和功能。客戶機(jī)主體230具有攝像機(jī)213、顯示器220、指示設(shè)備226和天線237。另外，在主體230上連接的耳機(jī)具有頭掛聽筒217和麥克風(fēng)211。
指示設(shè)備226具有前進(jìn)鈕231、后退鈕232、左移動鈕233、右移動鈕234和選擇鈕235。例如，通過按壓前進(jìn)鈕231，在虛擬空間內(nèi)前進(jìn)，通過按壓后退鈕232，在虛擬空間內(nèi)后退。另外，后面描述在虛擬空間上的移動。
另外，指示設(shè)備226也可以是觸摸屏。即，顯示器220的表面也可以是由配置了檢測手指等的接觸用的元件的透明屏幕(觸摸屏)覆蓋的觸摸屏。用戶通過用手指或?qū)Ｓ霉P接觸顯示器220，可容易進(jìn)行輸入操作。
另外，雖然將圖中所示的耳機(jī)有線連接到主體230上，但是也可通過藍(lán)牙或IrDA(紅外線)等進(jìn)行無線連接。另外，該客戶機(jī)也可通過使用天線237由無線LAN連接到互聯(lián)網(wǎng)101上。
圖8(b)所示的客戶機(jī)表示臺式機(jī)。在計(jì)算機(jī)主機(jī)251上連接有耳機(jī)211、攝像機(jī)213、顯示器220、代替耳機(jī)功能的揚(yáng)聲器252和具有代替指示設(shè)備226的功能的鍵盤253。另外，指示設(shè)備226也可以是前述的觸摸屏。另外，認(rèn)為該客戶機(jī)通過雙絞線連接到LAN，并進(jìn)一步連接到互聯(lián)網(wǎng)101。
接著，說明虛擬空間的移動方法。
首先，說明指示設(shè)備226為圖8(a)所示的各種按鈕231～234的情況下的移動方法。例如，在指示向前短距離移動的情況下，用戶比規(guī)定時(shí)間短地按壓前進(jìn)按鍵231(下面，稱為“短時(shí)間按壓”)。所謂向前短距離移動是指當(dāng)前時(shí)刻的用戶在虛擬空間的位置向當(dāng)前時(shí)刻用戶在虛擬空間所面向的方向(前方)前進(jìn)(移動)規(guī)定的距離。空間模型221接收來自前進(jìn)按鈕231的短時(shí)間按壓的輸入后，將自身用戶向前方移動規(guī)定的距離。
另外，在指示向后短距離移動的情況下，用戶與向前的短距離移動同樣，短時(shí)間按壓后退按鈕232。空間模型221在接收了來自后退按鈕232的短時(shí)間按壓的輸入后，將自身用戶向后方移動規(guī)定的距離。
另外，在指示改變向左方向或右方向的方向的情況下，用戶短時(shí)間按壓左移動按鈕233或右移動按鈕234。接收了左移動按鈕233的短時(shí)間按壓輸入后，空間模型231將自身用戶在虛擬空間內(nèi)向左旋轉(zhuǎn)幾度。另外，在接收了右移動按鈕234的短時(shí)間按壓輸入后，空間模型221將自身用戶在虛擬空間內(nèi)向右旋轉(zhuǎn)幾度。
另外，在指示向前長距離移動的情況下，用戶比規(guī)定時(shí)間長地按壓前進(jìn)按鈕231(下面，稱為“長時(shí)間按壓”)。所謂向前長距離移動是指從當(dāng)前時(shí)刻的用戶在虛擬空間內(nèi)的位置向存在于最接近的前方的其他用戶緊前移動。即，從前方的其他用戶移動到規(guī)定的距離之前。空間模型221若接收了前進(jìn)按鈕231的長時(shí)間按壓，則參照在該客戶機(jī)201的外部存儲裝置303中存儲的局部策略224和存在于前方的用戶的局部策略224，決定移動位置。
例如，在第一客戶機(jī)的局部策略224上存儲“aura＝50cm”，但是在第二客戶機(jī)的局部策略224上存儲“aura＝60cm”。這時(shí)，意味著第一客戶機(jī)的用戶與其他用戶通常至少確保50cm的距離，即，在半徑50cm以內(nèi)，限制了其他用戶的進(jìn)入。同樣，意味著第二客戶機(jī)的用戶與其他用戶通常至少確保60cm的距離。在這種狀態(tài)下，第一客戶機(jī)的用戶在向第二客戶機(jī)的用戶進(jìn)行向前的長距離移動的情況下，空間模型221比較第一客戶機(jī)的局部策略224、第二客戶機(jī)的局部策略224。然后，空間模型221指定大的aura值“aura＝60cm”。然后，空間模型將第一用戶移動到接觸到第二用戶的aura的地點(diǎn)(即，距第二用戶60cm)。
這樣，通過采用aura值大的一方，對于所有用戶可以確保適當(dāng)?shù)呐c其他用戶的距離。另外，局部策略224由用戶預(yù)先從輸入裝置305輸入，并存儲在外部存儲裝置303中。
圖9是模式表示前方長距離移動的圖。圖9中，表示在虛擬空間中進(jìn)行向前的長距離移動的自身用戶1和在虛擬空間中位于自身用戶的前方的第一其他用戶21和第二其他用戶22。另外，在第一其他用戶21的周圍顯示aura31。
這種狀態(tài)下，在通過長時(shí)間按壓前進(jìn)按鈕231指示向前長距離移動的情況下，空間模型221指定存在于自身用戶1的前方的其他用戶，即，位于最接近自身用戶1的第一其他用戶21。然后，空間模型221比較自身用戶1的aura值和第一其他用戶21的aura值，指定大的值。然后，空間模型221移動到距第一其他用戶21相隔指定的aura值的地點(diǎn)a。另外，圖示的例子中，設(shè)第一其他用戶21的aura值比自身用戶1的aura值大，或設(shè)雙方為相同的值。
另外，位于前方的其他用戶包括存在于規(guī)定的角度5內(nèi)的前方的其他用戶。即，在第一其他用戶21不存在的情況下，空間模型221指定存在于規(guī)定的角度5內(nèi)的前方的第二其他用戶22，并向第二其他用戶22前進(jìn)。由此，即使是不在正面而是存在于前方的其他用戶，也可移動到該其他用戶緊前(接觸到aura的地點(diǎn))。另外，規(guī)定的角度5可根據(jù)用戶的嗜好預(yù)先定義。另外，用戶可通過使用輸入裝置904輸入希望的角度，隨時(shí)改變各角度。另外，也可根據(jù)存在于虛擬空間的其他用戶的密度，由空間模型221來調(diào)整角度。例如，空間模型221在密度為大于或等于規(guī)定值的情況下設(shè)為規(guī)定的角度，在密度比規(guī)定的值小的情況下設(shè)為比所述規(guī)定的角度大的角度。
在指示向后長距離移動的情況下，長時(shí)間按壓后退按鈕232。由此，與向前長距離移動相同，可以移動到存在于后方的其他用戶緊前(接觸到aura的地點(diǎn))。
在指示向左或右方向長距離移動的情況下，長時(shí)間按壓左移動按鈕233或右移動按鈕234。所謂向左或右方向長距離移動是指移動到存在于距自身用戶在虛擬空間的位置一定范圍(距離)內(nèi)的其他用戶、即在從自身用戶的方向向左或右旋轉(zhuǎn)的情況下，存在于旋轉(zhuǎn)角度最小的方向上的其他用戶緊前。
圖10是模式表示向左或右方向的長距離移動的圖。圖10中，虛擬空間中，表示了自身用戶1、第一其他用戶21、第二其他用戶22、第三其他用戶23、第四其他用戶24和第五其他用戶25。另外，通過以自身用戶1為中心的圓來設(shè)定用于指定存在于距自身用戶1規(guī)定的范圍(距離)內(nèi)的其他用戶的區(qū)域5。另外，區(qū)域5的半徑根據(jù)虛擬空間的大小或?qū)⒃撎摂M空間在顯示器上顯示時(shí)的比例尺(未圖示)來設(shè)定。另外，在圖示的例子中，第一其他用戶21和第二其他用戶22的aura值比自身用戶1的aura值大。
在這種狀態(tài)中，在長時(shí)間按壓左移動按鈕233的情況下，空間模型221指定在規(guī)定的領(lǐng)域5內(nèi)存在的其他用戶，即，從作為自身用戶的方向的前方A向左旋轉(zhuǎn)、在最接近(旋轉(zhuǎn)角度小)的方向上存在的第一其他用戶21。然后，空間模型221將自身用戶1向左旋轉(zhuǎn)到與第一其他用戶21正對的位置上(左旋轉(zhuǎn)α度)。這時(shí)，自身用戶1向著第一其他用戶21到達(dá)正面的方向B。然后，空間模型221與前述的前方長距離移動相同，使自身用戶1向第一其他用戶21前進(jìn)，而移動到第一其他用戶21緊前(與aura31相接觸的地點(diǎn))地點(diǎn)b’。另外，第四其他用戶24雖然存在于區(qū)域5內(nèi)，但是存在于從用戶的方向A向左旋轉(zhuǎn)，比第一其他用戶21更遠(yuǎn)(旋轉(zhuǎn)角度大)的方向。因此，在長時(shí)間按壓左移動按鈕233的情況下，空間模型221不指定第四其他用戶24。
另外，這種狀態(tài)中，在長時(shí)間按壓右移動按鈕234的情況下，空間模型221指定在區(qū)域5內(nèi)存在的其他用戶，即，從作為自身用戶的方向的前方A向右旋轉(zhuǎn)，最接近(旋轉(zhuǎn)角度小)的方向上的第二其他用戶22。然后，與長時(shí)間按壓左移動按鈕233的情況相同，空間模型221將自身用戶1向右旋轉(zhuǎn)到第二其他用戶22到達(dá)正面的位置(右旋轉(zhuǎn)β度)。然后，空間模型221使自身用戶1向第二其他用戶22前進(jìn)，而移動到第二其他用戶22緊前(與aura32相接觸的地點(diǎn))的地點(diǎn)c’。另外，第五其他用戶25雖然存在于與自身用戶的方向A最接近(旋轉(zhuǎn)角度小)的方向上，但是不存在于區(qū)域5內(nèi)(即，距自身用戶1的距離遠(yuǎn)于規(guī)定的距離)。因此，在長時(shí)間按壓左移動按鈕233的情況下，空間模型221不指定第五其他用戶252。
另外，在前方、后方、左方向和右方向的長距離移動中，在所指定的移動目標(biāo)是網(wǎng)絡(luò)廣播等用戶之外的信息源的情況下，移動到該信息源的最佳區(qū)域內(nèi)的任一個(gè)地點(diǎn)。最佳區(qū)域是預(yù)先定義的虛擬空間屬性中的一個(gè)，即，可舒適地收看收聽該信息源的虛擬空間內(nèi)的規(guī)定區(qū)域。
接著，說明指示設(shè)備226為在顯示器220上設(shè)置的觸摸屏情況下的移動方法。觸摸屏通過由手指或?qū)Ｓ霉P接觸輸出裝置的畫面，進(jìn)行輸入操作。觸摸屏通過檢測出手指接觸的位置，指定畫面上的位置(坐標(biāo))，向空間模型221提供移動指示。
例如，在指示向前短距離移動的情況下，用戶從在顯示器220上顯示的虛擬空間的自身用戶的位置開始向前方(自身用戶所面向的方向)比規(guī)定長度(例如，2cm)短地在觸摸屏(顯示器220)上進(jìn)行描畫(移)。觸摸屏檢測出接觸，并向空間模型221通知在顯示器上檢測出的線的坐標(biāo)。空間模型221根據(jù)從觸摸屏輸入的線的坐標(biāo)指定的長度，將自身用戶向前方移動規(guī)定的距離。另外，在指示向后方短距離移動的情況下，用戶與向前方的短距離移動同樣，從顯示器220上顯示的虛擬空間中的自身用戶的位置開始向后方(與用戶面向的方向相反的方向)比規(guī)定長度短地在觸摸屏上描畫。
在指示向左方向短距離移動的情況下和指示向右方向短距離移動的情況下也與向前的短距離移動相同，自身用戶沿左方向或右方向比規(guī)定長度短地在顯示器上描畫。另外，所謂向左方向的短距離移動或向右方向的短距離移動是指從當(dāng)前時(shí)刻用戶在虛擬空間內(nèi)的位置向左方向或右方向僅前進(jìn)(移動)規(guī)定的距離。
另外，在指示向前方的長距離移動的情況下，自身用戶從在顯示器220上顯示的虛擬空間內(nèi)的自身用戶的位置開始沿前向在觸摸屏(顯示器220)上描畫規(guī)定的長度(例如，2cm)以上。由此，與長時(shí)間按壓所述的前進(jìn)按鈕231的情況相同，從當(dāng)前時(shí)刻用戶在虛擬空間內(nèi)的位置開始向存在于最接近的前方的其他用戶緊前移動。在指示向后方的長距離移動的情況下，從在顯示器220上顯示的虛擬空間的自身用戶的位置開始沿后向在觸摸屏上描畫規(guī)定的長度(例如，2cm)以上。由此，與長時(shí)間按壓所述的后退按鈕232的情況相同，從當(dāng)前時(shí)刻用戶在虛擬空間內(nèi)的位置開始向存在于最接近的前方的其他用戶緊前移動。
另外，在指示向左或右方向的長距離移動的情況下，自身用戶從在顯示器220上顯示的虛擬空間內(nèi)的自身用戶的位置開始向左或向右在觸摸屏上描畫規(guī)定的長度(例如，2cm)以上。由此，與長時(shí)間按壓所述的左移動按鈕233或右移動按鈕234的情況相同，自身用戶移動到存在于距當(dāng)前時(shí)刻在虛擬空間中的位置一定的范圍(距離)的其他用戶、即從當(dāng)前時(shí)刻用戶的方向開始向左或右旋轉(zhuǎn)的情況下，最接近(旋轉(zhuǎn)角度小)的方向上的其他用戶緊前。
另外，在使用觸摸屏來指示自身用戶的移動的情況下，通過量化手指的運(yùn)動，使得手指的顫動對移動指示沒有影響。即，觸摸屏檢測出用戶的手指或手的運(yùn)動，將所檢測出的線的坐標(biāo)通知給空間模型221。空間模型221比較從觸摸屏輸入的線(移動距離)的左右方向成份x的絕對值和前后方向成份y的絕對值。在左右方向成份x的絕對值比前后方向成份y的絕對值大的情況下，空間模型221判斷為向左右的移動，而忽略y的值。在前后方向成份y的絕對值比左右方向成份x的絕對值大的情況下，空間模型221判斷為向前后的運(yùn)動，而忽略x的值。
另外，在判斷為向左右運(yùn)動的情況下，即x的絕對值比規(guī)定的值(例如，2cm)短的情況下，空間模型221判斷為短距離移動。另外，在x的絕對值比規(guī)定的值(例如，2cm)長的情況下，空間模型判斷為長距離移動。同樣，在判斷為向前后移動的情況下，即y的絕對值比規(guī)定的值(例如，2cm)短的情況下，空間模型221判斷為短距離移動。另外，在y的絕對值比規(guī)定的值(例如，2cm)長的情況下，空間模型判斷為長距離移動。由此，指端不能自由活動的殘疾人或老人可以容易在虛擬空間上進(jìn)行向適當(dāng)位置的移動。
另外，也可以不進(jìn)行將手指的運(yùn)動(移動量)限定為短距離和長距離兩種量化。這時(shí)，空間模型221與上述方法相同，將從觸摸屏輸入的線(移動距離)分類為前后方向或左右方向的移動。之后，空間模型221使用戶移動與從觸摸屏輸入的前后方向或左右方向的軌跡(track)量(手指的描畫)成比例的距離。這時(shí)，由于需要正確的軌跡(手指的描畫)，所以老人和殘疾人很難輸入。但是，對健全人來說，有可以更快速地進(jìn)行輸入的優(yōu)點(diǎn)。
另外，上述說明的觸摸屏也可以是觸摸片。觸摸片是通過用手指在平面狀的操作面上描畫來移動鼠標(biāo)，或通過用手指敲操作面而進(jìn)行相當(dāng)于鼠標(biāo)的操作的指示設(shè)備。觸摸片用作筆記本型PC用的指示設(shè)備，不設(shè)置在顯示器220上，而例如設(shè)置在鍵盤的附近。
另外，指示設(shè)備226也可以是鼠標(biāo)。
接著，參照圖11-圖15，說明客戶機(jī)201的處理過程。
圖11是將客戶機(jī)201連接到網(wǎng)絡(luò)101上時(shí)的處理過程。圖示的連接過程在客戶機(jī)201的電源接通時(shí)執(zhí)行。首先，會話控制部223將包含用戶的識別信息和認(rèn)證信息的登錄消息發(fā)送到SIP代理服務(wù)器120中(S901)。SIP代理服務(wù)器120接收登錄消息，將該用戶的認(rèn)證請求消息發(fā)送到登錄服務(wù)器130。然后，登錄服務(wù)器130認(rèn)證用戶的識別信息和認(rèn)證信息，并將用戶的識別信息發(fā)送到存在服務(wù)器110中。在客戶機(jī)和登錄服務(wù)器130的通信中，考慮使用在IETF的文檔RFC3261中規(guī)定的協(xié)議SIP(Session Initiation Protocol)的REGISTER消息。客戶機(jī)經(jīng)SIP代理服務(wù)器120，定期向登錄服務(wù)器130發(fā)送REGISTER消息。
另外，在客戶機(jī)201的存在提供器222和存在服務(wù)器110的通信中，可以使用IETF的文檔RFC3265中描述的SIP的SUBSCRIBE消息。SUBSCRIBE消息是在事件發(fā)生時(shí)預(yù)先請求接收通知的事件請求消息。存在提供器222與存在服務(wù)器110管理的虛擬空間的房屋列表和入場者列表相關(guān)地向存在服務(wù)器110請求產(chǎn)生的事件的通知。另外，存在提供器222在使用了SUBSCRIBE消息的情況下，經(jīng)會話控制部223和SIP代理服務(wù)器120與存在服務(wù)器110進(jìn)行通信。
接著，存在提供器222從存在服務(wù)器110接收房間列表(S902)。在S901中，在使用了SUBSCRIBE消息的情況下，作為事件通知消息使用NOTIFY消息發(fā)送所述的房間列表。然后，存在提供器222將所接收的房間列表顯示在顯示器220上(S903)。
圖12表示用戶從顯示器220上顯示的房間列表中選擇想入場的房間時(shí)的客戶機(jī)201的處理過程?？蛻魴C(jī)201的存在提供器222接收使用指示設(shè)備226輸入的房間的選擇指示(S1001)。然后，存在提供器222向存在服務(wù)器110發(fā)送入場消息(enter)(S1002)。入場消息中含有自身用戶的識別信息、自身用戶在虛擬空間內(nèi)的位置信息和方位信息、在局部策略224中存儲的aura的大小。另外，將入場時(shí)的自身用戶的位置信息和方位信息預(yù)先存儲在存儲器302或外部存儲裝置303中。
入場消息的發(fā)送也可使用SIP的SUBSCRIBE消息。即，將所選擇的房間作為接收者的SUBSCRIBE消息作為入場消息使用。SUBSCRIBE消息請求通知該所選擇的房間在虛擬空間中所發(fā)生的事件(例如，用戶的入場退場或移動、虛擬空間屬性的改變等)。
接著，存在提供器222從存在服務(wù)器111接收進(jìn)入到所選擇的房間中的其他用戶的入場者列表(S1003)。在將SUBSCRIBE消息作為入場消息使用的情況下，以對應(yīng)于此的NOTIFY消息的形式向存在提供器222發(fā)送入場者列表。另外，入場者列表至少包括與進(jìn)入房間中的其他用戶有關(guān)的信息和所指定的房間的虛擬空間屬性。
與其他用戶有關(guān)的信息中，針對每個(gè)其他用戶包括其他用戶的識別信息、虛擬空間中的位置信息和方位信息、在其他用戶的局部策略224中存儲的aura的大小。虛擬空間屬性中包含有與用戶之外的信息源(網(wǎng)絡(luò)廣播、網(wǎng)絡(luò)電視等)有關(guān)的信息。作為與信息源有關(guān)的信息是針對每個(gè)在該虛擬空間中設(shè)置的信息源的、用于識別信息源的信息源識別信息、虛擬空間中的設(shè)置場所、用戶收看收聽該信息源時(shí)最佳的視聽區(qū)域(虛擬空間上的規(guī)定場所)等。然后，存在提供器222將得到的入場者列表中含有的信息存儲在存儲器302或外部存儲裝置303中。
在上述所說明的入場處理后，音頻通信部215和視頻通信部218使用RTP，從流服務(wù)器140中接收聲音或運(yùn)動圖像等多媒體數(shù)據(jù)。另外，使用RTP(Real-time Transport Protocol)，與其他用戶的客戶機(jī)之間發(fā)送接收進(jìn)入房間的其他用戶的聲音或圖像及自身用戶的聲音或圖像。
另外，雖然圖中未示出用戶退出房間時(shí)的處理過程，但是接收用戶的退出指示，存在提供器222向存在服務(wù)器110發(fā)送包括用戶識別信息的退出消息。
圖13是在用戶改變存在的情況下，即，在虛擬空間中，改變位置或方向的情況下的處理過程。首先，空間模型221從指示設(shè)備226接收移動信息的輸入(S1101)。空間模型221判斷所接收的移動信息是否為長距離移動(S1102)。即，在接收了前進(jìn)按鈕231、后退按鈕232、左移動按鈕233或右移動按鈕234的長時(shí)間按壓的情況下，空間模型判斷為所輸入的移動信息為長距離移動。另外，在從觸摸屏接收了向規(guī)定方向的比規(guī)定的長度長的線的連續(xù)的坐標(biāo)輸入的情況下，空間模型判斷為所輸入的移動信息為長距離移動。
在判斷出移動信息為長距離移動的情況下(S1102yes)，空間模型221指定移動目標(biāo)的信息源(S1103)。例如，在長時(shí)間按壓前進(jìn)按鈕231的情況下，指定在最接近的前方存在的其他用戶或用戶之外的信息源(參照圖9)。另外，在長時(shí)間按壓左移動按鈕233的情況下，指定在規(guī)定的范圍內(nèi)，即向左方向的旋轉(zhuǎn)角度最短的其他用戶或用戶之外的信息源(參照圖10)。
然后，空間模型221指定自身用戶的移動目標(biāo)的場所(地點(diǎn))(S1104)。即，在所指定的信息源為其他用戶的情況下，空間模型221比較在入場處理中所接收的入場者列表(圖12參照S1003)中含有的其他用戶的aura的大小和在局部策略224中存儲的自身用戶的aura的大小。然后，空間模型221指定大的aura，指定所指定的aura與自身用戶接觸到的時(shí)刻(或，自身用戶的aura和其他用戶接觸到的地點(diǎn))。
另外，所指定的信息源為用戶之外的信息源(例如，網(wǎng)絡(luò)廣播等)的情況下，空間模型221指定在入場者列表(圖12參照S1003)的虛擬空間屬性中含有的、所指定的信息源在視聽區(qū)域內(nèi)的任何地點(diǎn)。
然后，空間模型221向所指定的自身用戶的移動目標(biāo)的場所(地點(diǎn))移動自身用戶(S1005)。另外，在判斷為移動信息不是長距離移動的情況下(S1102No)，空間模型221根據(jù)所輸入的移動信息，移動自身用戶(S1105)。例如，在接收了所述按鈕231的短時(shí)間按壓的輸入的情況下，空間模型221將自身用戶向前方移動規(guī)定的距離。另外，在接收了左移動按鈕233的輸入的情況下，空間模型221將自身用戶向左方向移動規(guī)定的角度，并改變方向。
然后，空間模型221將移動后的自身用戶的位置和方向(下面，稱為“位置信息等”)存儲在存儲器302或外部存儲裝置303(下面，稱為“存儲器等”)中。
接著，空間模型221向音頻再現(xiàn)器216、圖形再現(xiàn)器219和存在提供器222通知移動后的虛擬空間的位置信息等(S1106)。音頻再現(xiàn)器216如圖5所說明的，計(jì)算在虛擬空間內(nèi)的自身用戶的位置和方向中，可怎樣聽到各信息源的聲音、音樂。然后，音頻再現(xiàn)器216對從音頻通信部215輸出的各信息源的聲音、音樂等進(jìn)行由所述計(jì)算進(jìn)行的音量調(diào)節(jié)、混響、濾波等處理，將音響效果控制為使用客戶機(jī)201的自身用戶在虛擬空間內(nèi)的位置中應(yīng)聽到的聲音，并更新三維音響。
另外，圖形再現(xiàn)器219根據(jù)虛擬空間內(nèi)的自身用戶的位置和方向改變視點(diǎn)，計(jì)算(坐標(biāo)變換)在虛擬空間上可如何看到各信息源(參照圖6、圖7)。然后，圖形再現(xiàn)器219通過從該位置和方向的眺望生成在畫面上輸出的圖像數(shù)據(jù)，并更新顯示畫面。
接著，存在提供器222向存在服務(wù)器110通知自身用戶移動后的在虛擬空間的位置信息等(S1107)。在使用了SIP協(xié)議的情況下，使用NOTIFY消息。另外，NOTIFY消息通常作為接收了SUBSCRIBE消息的結(jié)果來發(fā)送。因此，認(rèn)為在存在服務(wù)器110從客戶機(jī)201接收了入場消息時(shí)，在返回入場者消息的同時(shí)，發(fā)送對應(yīng)于所述NOTIFY消息的SUBSCRIBE消息。另外，存在服務(wù)器110接收從存在提供器222通知的在虛擬空間中的位置信息等，更新入場者列表中的該用戶的位置信息等。
圖14是表示存在的改變輸入，即存在服務(wù)器110向客戶機(jī)通知其他用戶在虛擬空間的位置信息等情況下的處理過程。
空間模型221經(jīng)存在提供器222，從存在服務(wù)器110接收其他客戶機(jī)的其他用戶在虛擬空間的位置信息等(S1201)。另外，存在服務(wù)器110將在圖13的S1107中從客戶機(jī)發(fā)送的位置信息等通知(發(fā)送)給該發(fā)送源的客戶機(jī)之外的客戶機(jī)。然后，空間模型221在存儲器等中存儲所通知的在虛擬空間中的位置信息等。然后，空間模型221使用所通知的位置信息等，改變虛擬空間上的其他用戶的位置和方向。然后，空間模型221向音頻再現(xiàn)器216和圖形再現(xiàn)器219通知移動后的虛擬空間的位置信息等(S1203)。音頻再現(xiàn)器216和圖形再現(xiàn)器219根據(jù)如圖13的S1106，所通知的其他用戶的位置和方向，更新該其他用戶的三維音響和顯示畫面。
接著，說明存在服務(wù)器110的功能結(jié)構(gòu)和處理過程。另外，對于登錄服務(wù)器130、SIP代理服務(wù)器120來說，由于與使用SIP的現(xiàn)有通信相同，所以省略說明。
圖15表示存在服務(wù)器110的功能結(jié)構(gòu)。存在服務(wù)器110具有用于與客戶機(jī)之間發(fā)送接收各種信息的接口部111、判斷來自客戶機(jī)的消息類別的判斷部112、進(jìn)行對應(yīng)于判斷結(jié)果的處理的處理部113、管理并存儲虛擬空間的屬性、在虛擬空間中發(fā)生的事件(用戶的入場退場，移動等)、房間列表、入場者列表等的存儲部114。
存儲部114中預(yù)先存儲了存在服務(wù)器110管理的一個(gè)虛擬空間的屬性。如前所述，用戶選擇想要從這些虛擬空間入場的虛擬空間(參照圖11、圖12)。之后，客戶機(jī)將入場到虛擬空間中的用戶的各種事件發(fā)送到存在服務(wù)器110。由此，在各虛擬空間內(nèi)產(chǎn)生了各種事件。另外，存儲部114將這些信息存儲在存儲器302或外部存儲裝置303中。
另外，虛擬空間的屬性包括與用戶之外的信息源有關(guān)的信息。本系統(tǒng)的管理者預(yù)先決定將哪個(gè)信息源設(shè)置在哪個(gè)虛擬空間中，將信息源設(shè)置在虛擬空間的哪個(gè)地方或?qū)⑿畔⒃吹囊暵爡^(qū)域設(shè)置在虛擬空間的哪個(gè)地方。然后，管理者使用輸入裝置305輸入這些信息，并存儲在存儲部114中。例如，可以考慮通過播放臺的特性或根據(jù)各播放臺播放的節(jié)目內(nèi)容，設(shè)定虛擬空間中的信息源的設(shè)置場所。
圖16表示存在服務(wù)器110的處理過程。存在服務(wù)器110接收來自客戶機(jī)的請求的情況下，將對其的處理進(jìn)行到存在服務(wù)器110停止為止。首先，接口部111等待來自客戶機(jī)的消息(S1411)。若接收了消息，則判斷部112判斷接口部111所接收的消息的種類(S1412)。
在消息是登錄消息的情況下，處理部113指示接口部111，使其將房間列表發(fā)送到消息發(fā)送源的客戶機(jī)(S1412)。接口部111將房間列表發(fā)送到消息發(fā)送源的客戶機(jī)后，返回到之后的S1411，等待下一消息。
在消息為入場消息的情況下，處理部113將消息發(fā)送源客戶機(jī)的用戶追加到所指定的房間的入場者列表中(S1431)。即，處理部113將包含在入場消息中的該用戶的識別信息、該用戶在虛擬空間的位置信息和方位信息、該用戶的aura的大小追加到入場者列表中。接著，處理部113指示接口部111，使其將所指定的房間的全部入場者(其中，該用戶之外)的識別信息、虛擬空間上的位置信息和方位信息、aura的大小發(fā)送到消息發(fā)送源客戶機(jī)中。
另外，處理部113指示接口部111，使其將所指定的房間的虛擬空間屬性發(fā)送到消息發(fā)送源客戶機(jī)中。虛擬空間屬性中包含與在虛擬空間上設(shè)置的各信息源有關(guān)的信息。接口部111根據(jù)所述指示，發(fā)送到發(fā)送源客戶機(jī)(S1432)。并且，進(jìn)入到后述的S1436中。
在為移動消息的情況下，處理部113更新入場者列表中的消息發(fā)送源客戶機(jī)(用戶)在虛擬空間中的位置信息和方位信息(S1435)。另外，虛擬空間的位置信息和方位信息包含在移動消息中。然后，處理部113指示接口部111，使其向作為對象的房間的所有入場者的客戶機(jī)(其中，消息發(fā)送源客戶機(jī)除外)通知消息發(fā)送源客戶機(jī)的用戶識別信息、虛擬空間的位置信息和方位信息(S1436)。接口部111根據(jù)所述指示，向客戶機(jī)進(jìn)行發(fā)送后，返回到S1411。在為入場消息的情況下(S1431)也同樣處理。
在為退場消息的情況下，處理部113從入場者列表中刪除消息發(fā)送源客戶機(jī)的用戶(S1441)。然后，處理部指示接口部111，使其向作為對象的房間的所有入場者的客戶機(jī)(其中，消息發(fā)送源客戶機(jī)除外)通知該用戶從房間中退場(S1442)。接口部111根據(jù)所述指示，向客戶機(jī)發(fā)送，并返回到S1411。
另外，雖然沒有圖示，但是存在服務(wù)器110也可接收來自系統(tǒng)管理者的請求(輸入)，并改變虛擬空間屬性。例如，判斷部112接收從存在服務(wù)器110的輸入單元305輸入的信息源追加指示。該信息源追加指示中含有識別變更對象的房間的識別信息，追加信息源的識別信息和設(shè)置場所、視聽區(qū)域。并且，處理部113向存儲部114中存儲的改變對象的房間中追加新的信息源。然后，處理部113讀出存儲部114中所存儲的入場者列表，并向進(jìn)入到變更對象的房間中的所有用戶的客戶機(jī)通知變更后的虛擬空間屬性(信息源的追加)。接收了通知的客戶機(jī)的空間模型221將變更后的虛擬空間屬性存儲在存儲器等中。音頻再現(xiàn)器和圖形再現(xiàn)器輸出流服務(wù)器140配送的新信息源的音頻信號和視頻信號。
接著，說明流服務(wù)器140的功能結(jié)構(gòu)。
圖17表示流服務(wù)器140的功能結(jié)構(gòu)。如圖所示，流服務(wù)器140具有流DB141，至少一個(gè)的文件再現(xiàn)部142和發(fā)送部143、會話控制部144。即，流服務(wù)器140具有對應(yīng)于播放臺的頻道數(shù)的文件再現(xiàn)部142和發(fā)送部143。另外，流服務(wù)器140也可不具有頻道數(shù)的文件再現(xiàn)部142和發(fā)送部143，也可通過時(shí)分分別使用一個(gè)程序或裝置來實(shí)現(xiàn)。
流DB141是存儲聲音數(shù)據(jù)或運(yùn)動圖像數(shù)據(jù)等多媒體數(shù)據(jù)的數(shù)據(jù)庫(文件)。文件再現(xiàn)部142對每個(gè)頻道取出在流DB141中存儲的MP3格式的信號(文件)、沒有壓縮的音樂信號、MPEG格式的信號(文件)、沒有壓縮的運(yùn)動圖像信號。然后，文件再現(xiàn)部142在壓縮的情況下，分別將所取出的信號(文件)解壓縮，并送到發(fā)送部143中。發(fā)送部143將從文件再現(xiàn)部142輸入的各個(gè)信號發(fā)送到進(jìn)入到虛擬空間中的所有客戶機(jī)。會話控制部144控制與SIP代理服務(wù)器120和客戶機(jī)之間的通信。
流服務(wù)器140的會話控制部144經(jīng)SIP代理服務(wù)器120接收來自客戶機(jī)的通信開始(INVITE)消息。然后，在該通信開始消息為最初的情況下(在發(fā)送聲音或圖像的客戶機(jī)仍不存在的情況下)，文件再現(xiàn)部142開始對存儲在流DB141中的文件的再現(xiàn)。然后，發(fā)送部143使用會話控制部144，將文件再現(xiàn)部142再現(xiàn)的文件內(nèi)容發(fā)送到通信開始消息的發(fā)送源客戶機(jī)中。另外，在從其他客戶機(jī)全部接收通信開始消息、將文件再現(xiàn)部142再現(xiàn)的文件內(nèi)容發(fā)送到其他客戶機(jī)的情況下，在新接收了通信開始消息的情況下，發(fā)送部143使用會話控制部144，將文件再現(xiàn)部142所再現(xiàn)的同一文件的內(nèi)容發(fā)送到新的通信開始消息的發(fā)送源客戶機(jī)中。
另外，各客戶機(jī)的音頻通信部215和視頻通信部218針對每個(gè)頻道從流服務(wù)器140接收信號。并且，音頻再現(xiàn)器216和圖形再現(xiàn)器219根據(jù)在存儲器等中存儲的虛擬空間屬性，指定在該虛擬空間中設(shè)置的對應(yīng)于信息源的信號，并在該信息源的設(shè)置場所中輸出(再現(xiàn))所指定的信號。
以上，說明了本發(fā)明的一實(shí)施形態(tài)。
本實(shí)施形態(tài)的通信·系統(tǒng)中，可從存在于虛擬空間中的其他用戶、網(wǎng)絡(luò)廣播等多個(gè)信息源中選擇任意的信息源，從所選的信息源中將用戶移動(接近)適當(dāng)?shù)木嚯x。由此，可以成為也能聽到來自存在于虛擬空間中的其他信息源的聲音的狀態(tài)，同時(shí)，可以重點(diǎn)聽到所選的信息源的聲音。
另外，在向存在于虛擬空間的其他用戶、網(wǎng)絡(luò)廣播等信息源移動的情況下，可以根據(jù)該信息源容易地移動到適當(dāng)?shù)奈恢?。由此，手不能自由活動的殘疾人和老人等也可以在虛擬空間上容易地指示移動。
另外，本實(shí)施形態(tài)中，在一個(gè)虛擬空間內(nèi)存在多個(gè)信息源。即，用戶可以一次看到、聽到多個(gè)信息源。由此，用戶可以容易看到從存在于虛擬空間的多個(gè)信息源中想要對話的用戶、或想要收看收聽的收音機(jī)或電視。例如，可以一次收看收聽收音機(jī)或廣播的全部或其中幾個(gè)頻道的節(jié)目、可以使注意力向著一個(gè)節(jié)目，同時(shí)還可以聽到其他節(jié)目發(fā)送的關(guān)鍵字和話題等。另外，有用戶判斷出與當(dāng)前注意的信息源節(jié)目不同的信息源節(jié)目更好的情況。這時(shí)，用戶通過接近判斷為更好的節(jié)目的信息源，可以將注意力轉(zhuǎn)移到其他信息源的節(jié)目，而不中止當(dāng)前注意的信息源的節(jié)目的收看收聽。另外，可以一次收看收聽廣播和電視的所有頻道的節(jié)目。另外，可以邊與其他用戶進(jìn)行對話，邊收看收聽某一個(gè)或多個(gè)信息源的節(jié)目。
本實(shí)施形態(tài)中，即使與現(xiàn)有的會議系統(tǒng)不同，多個(gè)信息源(多個(gè)其他用戶組等)同時(shí)就不同的話題進(jìn)行對話，自身用戶也可通過在虛擬空間內(nèi)移動或?qū)⒆⒁饬H轉(zhuǎn)移到來自指定方向的聲音，來選擇指定信息源的聲音。另外，現(xiàn)有的會議系統(tǒng)中，由于不考慮從多個(gè)信息源選擇指定的信息源，所以若多個(gè)用戶同時(shí)發(fā)言，選擇其中的指定用戶是困難的。
本發(fā)明并不限于上述實(shí)施形態(tài)，可在其精神的范圍內(nèi)有各種變形。
例如，本實(shí)施形態(tài)的客戶機(jī)201具有攝像機(jī)213和視頻編碼器214，向顯示器220輸出虛擬空間的圖像數(shù)據(jù)。但是，考慮用戶也可以通過由三維音頻技術(shù)從耳機(jī)217中輸出的三維聲音，來把握各信息源的方向和距離，而且不參照顯示器220，而是使用各操作按鈕231～234，來進(jìn)行虛擬空間中的自身用戶的移動指示。這時(shí)，客戶機(jī)201不向顯示器220輸出虛擬空間的圖像數(shù)據(jù)。因此，客戶機(jī)201不具有攝像機(jī)213、視頻編碼器214和顯示器220等。
另外，在使用了觸摸屏的自身用戶的移動指示中，也可通過用手指接觸想要移動的位置來指示想要移動的地點(diǎn)。觸摸屏通過檢測出手指接觸的畫面上的位置(坐標(biāo))，而向空間模型221輸入畫面上的位置。空間模型221使自身用戶連續(xù)移動到對應(yīng)于所輸入的畫面上的位置的虛擬空間上的位置。不直接移動到目的地的原因在于若急于移動，則有使以自身用戶和其他用戶的聽覺為基礎(chǔ)的感覺混亂的危險(xiǎn)。通過連續(xù)地以不過快的速率移動，可以維持當(dāng)前位置的感覺，同時(shí)用戶可以進(jìn)行移動。這時(shí)，空間模型221算出從自身用戶的當(dāng)前位置到所指示的移動后的位置的軌跡，并連續(xù)移動自身用戶。即，在連接當(dāng)前位置和所指示的位置的直線線段或曲線中，選擇不通過其他用戶(包含該用戶的aura)和障礙物的附近的軌跡。在連接當(dāng)前位置和所指示的位置的線段不通過其他用戶和障礙物附近的情況下，空間模型221以該線作為軌跡，將自身用戶以一定速度移動到所指定的位置上。另外，在連接當(dāng)前位置和所指示的位置的線通過其他用戶和障礙物附近的情況下，空間模型221從該線中選擇規(guī)定數(shù)目的在規(guī)定范圍內(nèi)可通過的地點(diǎn)(其他用戶和障礙物不存在的地點(diǎn))。然后，空間模型221算出通過所選擇的可通過的多個(gè)地點(diǎn)的鋸齒曲線。然后，空間模型221取所算出的鋸齒曲線，而以一定速度將自身用戶移動到所指定的位置上。另外，在不通過其他用戶和障礙物的附近就不能移動到所指定位置的情況下，空間模型221將由通知移動失敗的聲音作為出錯(cuò)消息輸出到耳機(jī)217等中。由此，自身用戶可以知道移動失敗。
另外，本實(shí)施形態(tài)中，系統(tǒng)的管理者決定將哪個(gè)信息源設(shè)置在哪個(gè)虛擬空間中或?qū)⑿畔⒃丛O(shè)置在虛擬空間的哪個(gè)位置上。但是，還可以考慮根據(jù)播放臺的特性、或各播放臺當(dāng)前廣播的節(jié)目的內(nèi)容而自動設(shè)定虛擬空間中的信息源的設(shè)置場所。例如，考慮通過將各播放臺的指性或節(jié)目的內(nèi)容描述為關(guān)鍵字組，通過將其輸入到神經(jīng)元網(wǎng)絡(luò)中而生成二維的拓?fù)溆成洌⒙曉磁渲迷谕負(fù)溆成涞母鲄^(qū)域內(nèi)的方法。
另外，本實(shí)施形態(tài)中，對應(yīng)于虛擬空間中的用戶的位置和方向，用戶收看收聽多個(gè)信息源的聲音和圖像。但是，也可以通過從網(wǎng)絡(luò)廣播或網(wǎng)絡(luò)電視的多個(gè)信息源中選擇、接近希望的信息源，用戶可以僅收看收聽網(wǎng)絡(luò)廣播或圖像。例如，考慮在用戶收看收聽網(wǎng)絡(luò)廣播或網(wǎng)絡(luò)電視等信息源時(shí)移動到作為虛擬空間上的最佳區(qū)域的視聽區(qū)域的情況下，僅可以視聽該信息源的聲音或圖像。即，用戶移動到某一信息源的視聽區(qū)域的情況下，音頻通信部215和視頻通信部218切斷(終止通信)該信息源之外的音頻信號或視頻信號。并且，音頻再現(xiàn)器216和圖形再現(xiàn)器219僅再現(xiàn)該信息源的聲音或圖像，并輸出到耳機(jī)217或顯示器220上。另外，視聽區(qū)域如前所述，是在虛擬空間屬性中包含的與信息源有關(guān)的信息之一。
另外，作為除了本實(shí)施形態(tài)的用戶的信息源，以網(wǎng)絡(luò)電視或網(wǎng)絡(luò)廣播為例進(jìn)行了說明。但是，除用戶以外的信息源也可以是收音機(jī)廣播的收音機(jī)節(jié)目。即，將以各個(gè)頻率廣播的廣播節(jié)目設(shè)為一個(gè)信息源，在虛擬空間上配置作為多個(gè)頻率的廣播節(jié)目的多個(gè)信息源。在廣播節(jié)目為信息源的情況下，圖2所示的收音機(jī)通信部215接收從圖中未示的廣播臺廣播的廣播節(jié)目。并且，音頻通信部215將所接收的收音機(jī)節(jié)目的聲音·音樂轉(zhuǎn)換為數(shù)字信號后，輸出到音頻再現(xiàn)器216中。另外，通常的廣播僅可以一次平均廣播一個(gè)臺。為此，通過刻度盤或選臺按鈕依次改變頻率，收看想要聽的節(jié)目很花時(shí)間。如上所述，通過將按每個(gè)頻率廣播的多個(gè)廣播節(jié)目作為信息源而在虛擬空間上配置多個(gè)，而可依次收聽從多個(gè)頻率廣播的廣播節(jié)目。
另外，本實(shí)施形態(tài)中，存在服務(wù)器110管理虛擬空間中的各信息源的位置和虛擬空間屬性。但是，各客戶機(jī)也可具有存在服務(wù)器110的功能。即，各客戶機(jī)在全部的客戶機(jī)之間直接交換自身用戶和其他用戶在虛擬空間上的位置和方向的信息。然后，各客戶機(jī)共用與全部用戶有關(guān)的位置和方向的信息。另外，各客戶機(jī)分別具有虛擬空間的屬性信息。這時(shí)，不需要存在服務(wù)器110。具體的，各客戶機(jī)的存在提供器222(參照圖3)之間不經(jīng)過存在服務(wù)器110而直接進(jìn)行通信。該方法中，客戶機(jī)需要知道其他所有客戶機(jī)的地址。為了知道其他所有客戶機(jī)的地址，具有預(yù)先向各客戶機(jī)登錄其他所有客戶機(jī)的地址的方法，但是，已知使用在客戶機(jī)之間、即通過對等通信，使用例如JXTA(http//www.jxta.org/)協(xié)議以發(fā)現(xiàn)其他的客戶機(jī)的方法更好。
另外，本實(shí)施形態(tài)中，各個(gè)客戶機(jī)不直接進(jìn)行聲音通信，而三維化從其他客戶機(jī)輸入的聲音(參照圖5)。但是，在客戶機(jī)的處理能力和通信能力低的情況下，也可由服務(wù)器進(jìn)行這些處理。即，考慮對圖1所示的網(wǎng)絡(luò)結(jié)構(gòu)追加新的音響服務(wù)器。另外，本實(shí)施形態(tài)中各個(gè)客戶機(jī)直接從流服務(wù)器140中接收音頻信號或視頻信號，而在虛擬空間的規(guī)定場所中輸出。但是，也可以由流服務(wù)器140進(jìn)行這些處理，下面，說明各服務(wù)器進(jìn)行再現(xiàn)時(shí)的實(shí)施形態(tài)。
圖18是具有音響服務(wù)器150的實(shí)施形態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)圖。圖示的網(wǎng)絡(luò)結(jié)構(gòu)在具有音響服務(wù)器150方面與圖1的網(wǎng)絡(luò)結(jié)構(gòu)不同。另外，各客戶機(jī)201、202、203與圖3所示的客戶機(jī)的結(jié)構(gòu)在以下方面不同。即，音頻再現(xiàn)器216是不進(jìn)行聲音三維化處理(參照圖6)的單純的聲音解碼器。另外，音頻通信部215與音響服務(wù)器150進(jìn)行通信，以代替與其他客戶機(jī)進(jìn)行直接通信。
圖19是圖18所示的音響服務(wù)器150的結(jié)構(gòu)圖。如圖所示，音響服務(wù)器150分別具有至少一個(gè)音頻接收部151、音頻再現(xiàn)器152、混頻器153和音頻發(fā)送部154。即，音響服務(wù)器150具有對應(yīng)于客戶機(jī)數(shù)目(即，按每個(gè)客戶機(jī))的這些處理部151～154。另外，音響服務(wù)器150也可不具有客戶機(jī)數(shù)目的音頻接收部151、音頻再現(xiàn)器152、混頻器153和音頻發(fā)送部154，而通過分別時(shí)分使用一個(gè)程序或裝置來實(shí)現(xiàn)。
另外，音響服務(wù)器150具有空間模型155?？臻g模型155從存在服務(wù)器110接收虛擬空間上的各用戶的位置和虛擬空間的屬性，通過與圖3所示的客戶機(jī)的空間模型221相同的處理，映射(配置)虛擬空間上的各用戶的位置。另外，音響服務(wù)器150具有會話控制部156。會話控制部156經(jīng)網(wǎng)絡(luò)101，控制與其他裝置之間的通信。
音頻接收部151接收從各客戶機(jī)的音頻通信部215輸入的聲音。音頻再現(xiàn)器152進(jìn)行聲音的三維化，并對應(yīng)于各客戶機(jī)，將分別兩個(gè)聲道(左聲道和右聲道)的信號數(shù)據(jù)(信號列)輸出到與每個(gè)客戶機(jī)對應(yīng)的各混頻器153上。即，音頻再現(xiàn)器152根據(jù)空間模型155配置的虛擬空間上的各用戶的位置，進(jìn)行與圖3所示的客戶機(jī)的音頻再現(xiàn)器216的聲源輸入(圖5S61)、距離·角度計(jì)算(S62)、HRIR的指定(S63)和卷積計(jì)算(S64、S66)同樣的處理。混頻器153從各音頻再現(xiàn)器152接收兩個(gè)聲道的信號數(shù)據(jù)后，進(jìn)行與圖3所示的客戶機(jī)的音頻再現(xiàn)器216的混頻處理(S65、S67)和混響計(jì)算(S68、S69)相同的處理。并且，混頻器153向音頻發(fā)送部154輸出兩個(gè)聲道的信號數(shù)據(jù)。音頻發(fā)送部154向客戶機(jī)發(fā)送該信號數(shù)據(jù)。
接著，說明音響服務(wù)器150的處理。對應(yīng)于每個(gè)客戶機(jī)的音頻接收部151分別從各客戶機(jī)接收聲音流，通過進(jìn)行緩存而將來自所有輸入客戶機(jī)的聲音流之間同步(對應(yīng)的)的信號數(shù)據(jù)發(fā)送到對應(yīng)于每個(gè)客戶機(jī)的音頻再現(xiàn)器152。該緩存(配置·緩存)方法例如在下面的文獻(xiàn)中描述。
Colin Perkins著RTPAudio and Video for Internet，Addison-Wesley Pub Co；1stedition(6月11，2003)然后，音頻再現(xiàn)器152根據(jù)空間模型155配置的虛擬空間上的各用戶的位置，進(jìn)行距離·角度的計(jì)算、HRIR的指定、卷積計(jì)算(圖6S62～S64、S66)處理。并且，混頻器153進(jìn)行混頻處理(圖5S65、S67)和混響計(jì)算(圖5S68、S69)，并對應(yīng)于各客戶機(jī)分別輸出兩個(gè)聲道的信號數(shù)據(jù)。并且，音頻發(fā)送部154向?qū)?yīng)的客戶機(jī)發(fā)送該信號數(shù)據(jù)。由此，即使在客戶機(jī)的處理能力低的情況下，也可以實(shí)現(xiàn)聲音的三維化。
另外，存在服務(wù)器110也可以具有上述說明的音響服務(wù)器150的功能。即，也可不包括其他的音響服務(wù)器150，存在服務(wù)區(qū)110不僅管理用戶的位置、虛擬空間屬性等，同時(shí)進(jìn)行音響服務(wù)器150的處理。
圖20是圖18所示的流服務(wù)器140的結(jié)構(gòu)圖。如圖所示，流服務(wù)器140具有流DB141、至少一個(gè)文件再現(xiàn)部142和再現(xiàn)器143(每個(gè)頻道的)、空間模型146和會話控制部147。另外，流服務(wù)器140針對每個(gè)客戶機(jī)具有混頻器144和發(fā)送部145。對于流DB141和文件再現(xiàn)部144，與圖17所示的流DB141和文件再現(xiàn)部141相同。對于空間模型146和會話控制部147與圖19所示的空間模型155和會話控制部156相同。另外，也可不具有對應(yīng)于頻道數(shù)目或客戶機(jī)數(shù)目的文件再現(xiàn)部142、再現(xiàn)器143、混頻器144和發(fā)送部145，而通過分別時(shí)分使用一個(gè)程序或裝置來實(shí)現(xiàn)。
各個(gè)再現(xiàn)器143根據(jù)各用戶在虛擬空間上的位置和方向，為每個(gè)客戶機(jī)再現(xiàn)各文件再現(xiàn)部142再現(xiàn)的音頻信號或視頻信號。再現(xiàn)器143對于音頻信號，進(jìn)行與圖3所示的音頻再現(xiàn)器216相同的處理。即，根據(jù)從存在服務(wù)器110接收的各用戶的虛擬空間上的位置和方向，使用三維音頻技術(shù)進(jìn)行將各文件再現(xiàn)部142再現(xiàn)的文件(音頻信號)根據(jù)混響·濾波等虛擬空間的屬性進(jìn)行歸結(jié)的處理。另外，再現(xiàn)器143對于視頻信號，進(jìn)行與圖3所示的圖形再現(xiàn)器219相同的處理和下面的處理。即，由于各客戶機(jī)中，需要的分辨率比輸入視頻信號低，所以再現(xiàn)器143使分辨率降低。例如，再現(xiàn)器143在客戶機(jī)中，使應(yīng)以顯示器220的1/4的大小顯示的圖像的分辨率降低為1/4。另外，為了使客戶機(jī)側(cè)的處理負(fù)載降低，還可考慮再現(xiàn)器143將客戶機(jī)的顯示器220上傾斜顯示的圖形預(yù)先轉(zhuǎn)換為其形狀。
混頻器144對于音頻信號，進(jìn)行與圖3所示的音頻再現(xiàn)器216同樣的處理。即，相加所輸入的各信號。另外，混頻器144對視頻信號，將所輸入的各信號整理為統(tǒng)一格式的一個(gè)信號，使得發(fā)送部146容易處理。即，在視頻信號的情況下，混頻器144從基于各用戶在虛擬空間上的位置和方向的視點(diǎn)生成將視頻信號嵌入到虛擬空間的規(guī)定位置的虛擬空間的運(yùn)動圖像數(shù)據(jù)。
發(fā)送部146將混頻器140對每個(gè)客戶機(jī)生成的聲音信號或圖像信號進(jìn)行壓縮后發(fā)送到各客戶機(jī)。例如，發(fā)送部146在聲音信號的情況下編碼為MP3，在圖像信號的情況下，編碼為MPEG等進(jìn)行發(fā)送。客戶機(jī)的音頻再現(xiàn)器216和圖形再現(xiàn)器219解壓縮從流服務(wù)器140接收的MP3或MPEG等壓縮的數(shù)據(jù)后，輸出到耳機(jī)217或顯示器220中。
接著，說明存在服務(wù)器110和客戶機(jī)的處理。存在服務(wù)器110在圖16的S1432、S1436和S1442中，向各客戶機(jī)通知用戶名、該用戶的位置和aura的大小時(shí)，同時(shí)向音響服務(wù)器150和流服務(wù)器140通知用戶名、該用戶的位置和aura的大小。音響服務(wù)器150的會話控制部156和流服務(wù)器140的會話控制部147從存在服務(wù)器110接收用戶名、該用戶的位置和aura的大小等。由此，各客戶機(jī)若進(jìn)入到房間中，則與音響服務(wù)器150的規(guī)定的通信端口之間(或，入場時(shí)，與從存在服務(wù)器110通知的端口之間)進(jìn)行聲音通信。即，各客戶機(jī)的音頻通信部215向音響服務(wù)器150發(fā)送一個(gè)聲道的聲音流，從音響服務(wù)器150接收兩個(gè)聲道的聲音流。另外，各客戶機(jī)若進(jìn)入到房間中，則在與流服務(wù)器140之間接收各聲道的音頻信號和視頻信號。
權(quán)利要求
1.一種信息源選擇系統(tǒng)，利用虛擬空間從多個(gè)信息源中選擇任意的信息源，其特征在于所述虛擬空間具有所述多個(gè)信息源；所述系統(tǒng)具有管理所述多個(gè)信息源在虛擬空間上的位置的服務(wù)器裝置和客戶機(jī)終端；其中所述客戶機(jī)終端具有移動接收單元，接收用戶在虛擬空間上的移動指示；移動單元，根據(jù)所述移動接收單元所接收的移動指示，移動虛擬空間中的用戶；客戶機(jī)發(fā)送單元，將與所述移動單元所移動的用戶在虛擬空間中的位置有關(guān)的位置信息發(fā)送到所述服務(wù)器裝置；客戶機(jī)接收單元，從所述服務(wù)器裝置接收與所述多個(gè)信息源各自在虛擬空間上的位置有關(guān)的位置信息；空間模型化單元，根據(jù)所述用戶在虛擬空間中的所述位置信息和所述多個(gè)信息源各自在虛擬空間中的所述位置信息算出所述用戶和所述多個(gè)信息源在所述虛擬空間中的位置；以及音響控制單元，根據(jù)所述空間模型化單元算出的位置來控制適用于所述多個(gè)信息源各自的聲音的音響效果；所述服務(wù)器裝置具有服務(wù)器接收單元，從所述客戶機(jī)終端接收所述用戶在虛擬空間上的所述位置信息；存儲單元，存儲所述服務(wù)器接收單元所接收的所述用戶在虛擬空間上的所述位置信息和所述多個(gè)信息源在虛擬空間上的位置信息；以及服務(wù)器發(fā)送單元，向所述客戶機(jī)終端發(fā)送所述存儲單元存儲的所述多個(gè)信息源各自的所述位置信息。
2.根據(jù)權(quán)利要求1所述的信息源選擇系統(tǒng)，其特征在于進(jìn)一步具有將聲音數(shù)據(jù)和/或運(yùn)動圖像數(shù)據(jù)配送給所述客戶機(jī)終端的流服務(wù)器；其中所述多個(gè)信息源包括由所述流服務(wù)器配送的聲音數(shù)據(jù)和/或運(yùn)動圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的信息源選擇系統(tǒng)，其特征在于在所述服務(wù)器裝置的所述存儲單元中存儲包含所述信息源中所含有的聲音數(shù)據(jù)和/或運(yùn)動圖像在虛擬空間中的配置場所的虛擬空間屬性；所述服務(wù)器發(fā)送單元向所述客戶機(jī)終端發(fā)送所述虛擬空間的屬性；所述客戶機(jī)接收單元從所述服務(wù)器裝置接收所述虛擬空間的屬性；所述空間模型化單元根據(jù)所述虛擬空間的屬性，算出所述信息源中含有的聲音數(shù)據(jù)和/或運(yùn)動圖像數(shù)據(jù)各自在虛擬空間中的位置；所述音響控制單元根據(jù)所述空間模型化單元算出的位置來控制適用于所述信息源中含有的聲音數(shù)據(jù)和/或運(yùn)動圖像數(shù)據(jù)各自的聲音的音響效果。
4.根據(jù)權(quán)利要求1所述的信息源選擇系統(tǒng)，其特征在于所述客戶機(jī)終端具有圖像生成單元，根據(jù)所述空間模型化單元算出的位置，生成在顯示畫面上輸出的圖像數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的信息源選擇系統(tǒng)，其特征在于所述圖像生成單元通常固定用戶在所述虛擬空間中的位置和方向，并以用戶為中心，生成使所述虛擬空間和所述多個(gè)信息源相對移動或旋轉(zhuǎn)的圖像數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的信息源選擇系統(tǒng)，其特征在于進(jìn)一步具有指定單元，根據(jù)所述移動接收單元所接收的移動指示，指定移動目標(biāo)的信息源；在所述移動指示為向前長距離移動的情況下，所述指定單元指定在距所述用戶在虛擬空間中的位置最近的前方所存在的信息源；所述移動單元將用戶移動到緊靠所述指定單元所指定的信息源之前。
7.根據(jù)權(quán)利要求1所述的信息源選擇系統(tǒng)，其特征在于進(jìn)一步具有指定單元，根據(jù)所述移動接收單元所接收的移動指示，指定移動目標(biāo)的信息源；在所述移動指示為向后長距離移動的情況下，所述指定單元指定在距所述用戶在虛擬空間中的位置最近的前方所存在的信息源；所述移動單元將用戶移動到所述指定單元所指定的信息源之前。
8.根據(jù)權(quán)利要求1所述的信息源選擇系統(tǒng)，其特征在于進(jìn)一步具有指定單元，根據(jù)所述移動接收單元所接收的移動指示，指定移動目標(biāo)的信息源；在所述移動指示為向左方向長距離移動的情況下，所述指定單元指定在自虛擬空間中的所述用戶的位置起的規(guī)定范圍內(nèi)所存在的信息源，即存在于從所述用戶的方向向左的旋轉(zhuǎn)角度最小的方向上的信息源；所述移動單元將用戶移動到緊靠所述指定單元所指定的信息源之前。
9.根據(jù)權(quán)利要求1所述的信息源選擇系統(tǒng)，其特征在于進(jìn)一步具有指定單元，根據(jù)所述移動接收單元所接收的移動指示，指定移動目標(biāo)的信息源；在所述移動指示為向右方向長距離移動的情況下，所述指定單元指定在自虛擬空間中的所述用戶的位置起的規(guī)定范圍內(nèi)所存在的信息源，即存在于從所述用戶的方向向右的旋轉(zhuǎn)角度最小的方向上的信息源；所述移動單元將用戶移動到緊靠所述指定單元所指定的信息源之前。
10.根據(jù)權(quán)利要求1所述的信息源選擇系統(tǒng)，其特征在于所述多個(gè)信息源中含有在虛擬空間中存在的其他用戶；所述用戶和所述其他用戶各自具有以該用戶或該其他用戶為中心的預(yù)先決定的規(guī)定區(qū)域；所述系統(tǒng)進(jìn)一步具有指定單元，根據(jù)所述移動接收單元所接收的移動指示，指定移動目標(biāo)的信息源；所述移動單元在所述指定單元指定的信息源為所述其他用戶的情況下，比較所述用戶的區(qū)域大小和所述指定的其他用戶的區(qū)域大小；在所述其他用戶的區(qū)域大的情況下，將所述用戶移動到與所述其他用戶的區(qū)域相接觸的地點(diǎn)；在所述用戶的區(qū)域大的情況下，將所述用戶移動到所述用戶的區(qū)域和所述其他用戶相交接的地點(diǎn)。
11.根據(jù)權(quán)利要求1所述的信息源選擇系統(tǒng)，其特征在于所述移動單元在作為所述移動接收單元接收的移動指示的線在左右方向上的長度比在前后方向上的長度大的情況下，判斷為向左右方向移動，將所述用戶向左或向右移動；并且在作為所述移動接收單元接收的移動指示的線在前后方向上的長度比在左右方向上的長度大的情況下，判斷為向前后方向移動，將所述用戶向前或向后移動。
12.根據(jù)權(quán)利要求11所述的信息源選擇系統(tǒng)，其特征在于進(jìn)一步具有指定單元，根據(jù)所述移動接收單元所接收的移動指示，指定移動目標(biāo)的信息源；在判斷為所述移動指示為向左右方向移動的情況下，即作為所述移動指示的線在左右方向上的長度比規(guī)定的長度大時(shí)，所述指定單元指定在自虛擬空間中的所述用戶的位置起的規(guī)定范圍內(nèi)所存在的信息源、即在從所述用戶的方向向左或向右的旋轉(zhuǎn)角度最小的方向上所存在的信息源；所述移動單元將用戶移動到緊靠所述指定單元指定的信息源之前。
13.根據(jù)權(quán)利要求11所述的信息源選擇系統(tǒng)，其特征在于進(jìn)一步具有指定單元，根據(jù)所述移動接收單元所接收的移動指示，指定移動目標(biāo)的信息源；在判斷為所述移動指示為向前后移動的情況下，即作為所述移動指示的線在前后方向上的長度比規(guī)定長度大時(shí)，所述指定單元指定在距所述用戶在虛擬空間中的位置最近的前方或后方所存在的信息源；所述移動單元將用戶移動到緊靠所述指定單元指定的信息源之前。
14.一種客戶機(jī)終端，利用虛擬空間、從多個(gè)信息源中選擇任意的信息源，其特征在于所述虛擬空間具有所述多個(gè)信息源；所述客戶機(jī)終端具有移動指示輸入單元，用于指示用戶在虛擬空間中的移動；移動單元，根據(jù)所述移動指示輸入單元輸入的移動指示，移動虛擬空間中的所述用戶；發(fā)送單元，發(fā)送與所述移動單元移動的用戶在虛擬空間中的位置有關(guān)的第一位置信息；接收單元，接收所述多個(gè)信息源各自在虛擬空間上的位置有關(guān)的第二位置信息；空間模型化單元，根據(jù)所述用戶的所述第一位置信息和所述多個(gè)信息源各自的所述第二位置信息算出所述用戶和所述多個(gè)信息源各自在所述虛擬空間中的位置；以及音響控制單元，根據(jù)所述空間模型化單元算出的位置來控制適用于所述多個(gè)信息源各自的聲音的音響效果。
15.根據(jù)權(quán)利要求14所述的客戶機(jī)終端，其特征在于所述第一位置信息和所述第二位置信息包括虛擬空間中的位置和方向；所述多個(gè)信息源是流聲源或其他用戶的聲音；所述音響控制單元根據(jù)所述空間模型化算出的、所述用戶與所述多個(gè)信息源各自的距離和方向，使用三維音響技術(shù)，控制適用于所述多個(gè)信息源各自的聲音的音響效果。
16.根據(jù)權(quán)利要求14所述的客戶機(jī)終端，其特征在于所述第一位置信息和所述第二位置信息包括虛擬空間中的位置和方向；所述客戶機(jī)終端進(jìn)一步具有圖像生成單元，根據(jù)所述空間模型化單元算出的、所述用戶與所述多個(gè)信息源各自的距離和方向，使用三維圖形技術(shù)，生成在顯示畫面上輸出的圖像數(shù)據(jù)；所述圖像生成單元通常固定所述用戶在虛擬空間中的位置和方向，生成在顯示畫面上進(jìn)行輸出的圖像數(shù)據(jù)。
17.一種信息源選擇方法，使用虛擬空間從多個(gè)信息源中選擇任意的信息源，其特征在于所述虛擬空間具有所述多個(gè)信息源；客戶機(jī)終端進(jìn)行移動接收步驟，接收用戶在虛擬空間中的移動指示；移動步驟，根據(jù)在所述移動接收步驟中接收的移動指示，移動虛擬空間中的用戶；發(fā)送步驟，將與所述移動步驟中移動的用戶在虛擬空間中的位置有關(guān)的位置信息發(fā)送到管理所述多個(gè)信息源在虛擬空間中的位置的服務(wù)器裝置；接收步驟，從所述服務(wù)器裝置接收與所述多個(gè)信息源各自在虛擬空間上的位置有關(guān)的位置信息；算出步驟，根據(jù)所述用戶在虛擬空間中的所述位置信息和所述多個(gè)信息源各自在虛擬空間中的所述位置信息，算出所述用戶和所述多個(gè)信息源在虛擬空間中的位置；以及音響控制步驟，根據(jù)在所述算出步驟中算出的位置，控制適用于所述多個(gè)信息源各自的聲音的音響效果。
18.根據(jù)權(quán)利要求17所述的信息源選擇方法，其特征在于所述多個(gè)信息源中包括用于配送聲音數(shù)據(jù)和/或運(yùn)動圖像數(shù)據(jù)的流服務(wù)器所配送的聲音數(shù)據(jù)和/或運(yùn)動圖像數(shù)據(jù)。
19.根據(jù)權(quán)利要求18所述的信息源選擇方法，其特征在于所述服務(wù)器裝置的存儲單元中存儲包含所述信息源中所含有的聲音數(shù)據(jù)和/或運(yùn)動圖像數(shù)據(jù)在虛擬空間中的配置場所的虛擬空間屬性；所述方法進(jìn)一步具有信息源接收步驟，從所述服務(wù)器裝置接收與包括所述聲音數(shù)據(jù)和/或運(yùn)動圖像數(shù)據(jù)的多個(gè)信息源各自在虛擬空間上的位置有關(guān)的位置信息；其中所述算出步驟根據(jù)包括所述聲音數(shù)據(jù)和/或運(yùn)動圖像數(shù)據(jù)的多個(gè)信息源各自在虛擬空間上的位置，算出在所述信息源中含有的聲音數(shù)據(jù)和/或運(yùn)動圖像數(shù)據(jù)各自在虛擬空間中的位置；以及所述音響控制步驟根據(jù)所述算出步驟中算出的位置來控制適用于包含在所述信息源中的聲音數(shù)據(jù)和/或運(yùn)動圖像數(shù)據(jù)各自的聲音的音響效果。
全文摘要
本發(fā)明提供一種信息源選擇系統(tǒng)和方法，能夠從多個(gè)信息源中選擇任意的信息源?？蛻魴C(jī)(201)具有指示設(shè)備(226)，接收虛擬空間內(nèi)的移動信息；存在提供器(222)，將指示設(shè)備(226)接收的移動信息發(fā)送到服務(wù)器裝置；空間模型(221)，根據(jù)自身用戶和信息源各自在虛擬空間中的位置算出虛擬空間中的信息源的位置；音頻再現(xiàn)器(216)，根據(jù)虛擬空間的用戶的位置，控制音響效果。
文檔編號G06F3/048GK1719852SQ20041008180
公開日2006年1月11日 申請日期2004年12月30日 優(yōu)先權(quán)日2004年7月9日
發(fā)明者金田泰 申請人:株式會社日立制作所