專利名稱：信息處理設(shè)備、信息處理方法和信息處理程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于例如基于用戶做出的操作輸入來(lái)處理音頻信息等的信息信號(hào)的
設(shè)備、方法和程序。
背景技術(shù)：
過(guò)去，在用戶進(jìn)行一些種類的輸入時(shí)通常使用操作按鈕或觸摸板。在觸摸板的情 況下，結(jié)合LCD (液晶顯示器)等的平板屏，可以做出操作輸入，如同實(shí)際按壓顯示屏上顯示 的按鈕圖標(biāo)等一樣。 那些輸入操作的前提是在操作按鈕平面上或觸摸板的屏上接觸或加壓。因此，有 限的操作(例如，在平面上接觸和加壓)被用于操作輸入。此外，應(yīng)用被限于具有可觸平面 的結(jié)構(gòu)。 這樣，存在以下問(wèn)題由觸摸或加壓導(dǎo)致的振動(dòng)或力抑制了設(shè)備的性能并且接觸 表面變臟或被損壞。 作為用于解決上述問(wèn)題的技術(shù)，申請(qǐng)人在日本專利申請(qǐng)?zhí)亻_(kāi)第2008-117371號(hào) (下文中稱為專利文件l)中公開(kāi)了一種靠近檢測(cè)型信息顯示設(shè)備。在專利文件l中，使用 一種傳感器裝置，其包括傳感器板，在該傳感器板上，多個(gè)線電極或點(diǎn)電極例如被布置在兩 個(gè)正交方向上。 此外，該傳感器裝置檢測(cè)包括多個(gè)電極的傳感器板表面與檢測(cè)對(duì)象物(例如，空 間上與板表面分開(kāi)的用戶的手或手指)之間的距離，這是通過(guò)針對(duì)所述多個(gè)電極檢測(cè)對(duì)應(yīng) 于該距離的電容而實(shí)現(xiàn)的。 換句話說(shuō)，傳感器板上的多個(gè)電極與接觸點(diǎn)之間的電容根據(jù)用戶的手或手指的位 置與板表面之間的空間距離而變化。在這點(diǎn)上，為用戶手指的位置與板表面之間的空間距 離設(shè)定閾值，使得能夠通過(guò)檢測(cè)對(duì)應(yīng)于該距離的電容的改變來(lái)檢測(cè)該手指是否靠近或移開(kāi) 得大于該距離。 具體來(lái)說(shuō)，專利文件1公開(kāi)了一種通過(guò)改變用于基于檢測(cè)對(duì)象物與傳感器板表面
之間的距離來(lái)檢測(cè)電容的電極之間的間隔來(lái)提高電容檢測(cè)靈敏度的技術(shù)。 根據(jù)上述技術(shù)，能夠在不接觸傳感器板的情況下做出開(kāi)關(guān)輸入。此外，由于多個(gè)線
電極或點(diǎn)電極在兩個(gè)正交方向上被布置在傳感器板上，因此可以在沿板表面的方向上在空
間上檢測(cè)手或手指的移動(dòng)，由此使得能夠根據(jù)手或手指的空間移動(dòng)來(lái)做出操作輸入。

發(fā)明內(nèi)容
以上專利文件1中公開(kāi)的傳感器裝置能夠從處于非接觸狀態(tài)的用戶接收操作輸
入，并且還能夠?qū)崿F(xiàn)前所未有的輸入裝置。 可以想到有效地使用上述傳感器裝置的特性并構(gòu)成信息處理設(shè)備，該信息處理設(shè)
備根據(jù)通過(guò)傳感器裝置接收的來(lái)自用戶的操作輸入來(lái)執(zhí)行信息處理。 考慮到以上所描述的情形，需要基于與用戶的手等的空間移動(dòng)相對(duì)應(yīng)的操作輸入
4(手勢(shì))來(lái)有效地處理音頻信息等的信息信號(hào)。 根據(jù)本發(fā)明的實(shí)施例，提供了一種信息處理設(shè)備，該信息處理設(shè)備包括 傳感器裝置，用于檢測(cè)由在空間上離開(kāi)的檢測(cè)對(duì)象物指定的三維坐標(biāo)； 判斷裝置，用于判斷預(yù)先指定的、包括通過(guò)所述傳感器裝置檢測(cè)的所述三維坐標(biāo)
的區(qū)域；以及 輸出裝置，用于基于所述判斷裝置的判斷結(jié)果輸出音頻，所述音頻對(duì)應(yīng)于來(lái)自與所述三維坐標(biāo)中的至少二維坐標(biāo)相對(duì)應(yīng)的位置的音頻信息。 根據(jù)本實(shí)施例的信息處理設(shè)備，通過(guò)傳感器裝置檢測(cè)由檢測(cè)對(duì)象物(例如用戶的手)指定的預(yù)定空間中的三維坐標(biāo)。通過(guò)判斷裝置確定預(yù)先指定的、包括通過(guò)傳感器裝置檢測(cè)的三維坐標(biāo)的區(qū)域。 此外，基于判斷裝置的判斷結(jié)果，通過(guò)輸出裝置輸出對(duì)應(yīng)于音頻信息的音頻，該音頻信息來(lái)自與三維坐標(biāo)中的至少二維坐標(biāo)相對(duì)應(yīng)的位置(對(duì)應(yīng)于二維坐標(biāo)的位置)。
利用該結(jié)構(gòu)，根據(jù)與在預(yù)定空間中檢測(cè)對(duì)象物(例如手)的移動(dòng)相對(duì)應(yīng)的操作輸入(用戶的手勢(shì))，能夠有效地輸出對(duì)應(yīng)于預(yù)定音頻信息的音頻。 根據(jù)本發(fā)明的實(shí)施例，基于與檢測(cè)對(duì)象物(例如手)的空間移動(dòng)相對(duì)應(yīng)的操作輸入(用戶的手勢(shì))，能夠有效地處理音頻信息等的信息信號(hào)。 如附圖所示，根據(jù)以下對(duì)本發(fā)明的最佳模式實(shí)施例的詳細(xì)描述，本發(fā)明的這些和其它目的、特征和優(yōu)點(diǎn)將變得更明顯。


圖1是用于說(shuō)明對(duì)其應(yīng)用了本發(fā)明實(shí)施例的信息處理設(shè)備(信息處理系統(tǒng))的結(jié)構(gòu)示例的圖； 圖2是用于說(shuō)明本實(shí)施例的傳感器部的結(jié)構(gòu)的圖； 圖3是本實(shí)施例的X-Z傳感器板和Y-Z傳感器板的側(cè)截面圖； 圖4是用于說(shuō)明本實(shí)施例的傳感器部的結(jié)構(gòu)示例的圖； 圖5是用于說(shuō)明本實(shí)施例的傳感器部的主要部分的結(jié)構(gòu)示例的框圖； 圖6是用于說(shuō)明本實(shí)施例的信息處理設(shè)備的結(jié)構(gòu)示例的框圖； 圖7是用于說(shuō)明本實(shí)施例的由傳感器部形成的傳感器區(qū)域的二維坐標(biāo)區(qū)域的 圖8是用于說(shuō)明音頻輸出處理的示例1的圖，所述音頻輸出處理用于輸出對(duì)應(yīng)于來(lái)自與二維坐標(biāo)相對(duì)應(yīng)的位置的音頻信息的音頻； 圖9是用于說(shuō)明傳感器值檢測(cè)處理的流程圖； 圖10是用于說(shuō)明音頻輸出處理的流程圖； 圖11是用于說(shuō)明設(shè)置在傳感器部的傳感器板上的層的圖； 圖12是示出在不包括聲源的虛擬閉合表面內(nèi)的聲場(chǎng)的圖； 圖13是示出基爾霍夫積分公式的圖； 圖14是示出用于使用M個(gè)聲源來(lái)再現(xiàn)N個(gè)聲壓和粒子速度的系統(tǒng)的圖； 圖15是示出基爾霍夫積分公式到半空間的擴(kuò)展原理的圖； 圖16是示出基爾霍夫積分公式到半空間的特定擴(kuò)展示例的圖； 圖17是用于說(shuō)明所設(shè)置的虛擬聲源的示例的 圖18是用于說(shuō)明傳感器值檢測(cè)處理的流程 圖19是用于說(shuō)明音頻輸出處理的流程圖； 圖20是用于說(shuō)明三層以及設(shè)置在這三層中的每層中的區(qū)域的圖； 圖21是用于說(shuō)明存儲(chǔ)在音頻信息存儲(chǔ)部中的音頻信息的結(jié)構(gòu)的圖； 圖22是示意性地示出本實(shí)施例的信息處理設(shè)備中用于接收用戶操作并向用戶提
供信息的部分的結(jié)構(gòu)的圖； 圖23是用于說(shuō)明在音頻信息的混合處理過(guò)程中進(jìn)行的計(jì)算的圖； 圖24是用于說(shuō)明檢測(cè)對(duì)象物(例如用戶的手)在由傳感器部形成的傳感器區(qū)域
(三維坐標(biāo)空間)中突然大幅度地移動(dòng)的情況的示例的圖； 圖25是用于說(shuō)明在檢測(cè)對(duì)象物(例如用戶的手)在由傳感器部形成的傳感器區(qū)域中突然大幅度地移動(dòng)的情況下進(jìn)行的計(jì)算處理的圖； 圖26是示出通過(guò)圖25中所示的計(jì)算處理獲得的混合參數(shù)v改變的狀態(tài)的圖； 圖27是用于說(shuō)明音頻輸出處理的流程圖； 圖28是用于說(shuō)明音頻輸出處理的修改示例的流程圖； 圖29是用于說(shuō)明根據(jù)由檢測(cè)對(duì)象物(例如用戶的手)指定的三維坐標(biāo)空間中的指定位置在顯示的圖像上產(chǎn)生環(huán)的情況的圖； 圖30是用于說(shuō)明用于在顯示的圖像上產(chǎn)生環(huán)的物理模型的特定示例的圖； 圖31是用于說(shuō)明視頻顯示處理的流程圖； 圖32是用于說(shuō)明視頻輸出處理的應(yīng)用的流程圖；以及 圖33是用于說(shuō)明音頻輸出處理的應(yīng)用的流程圖。
具體實(shí)施例方式
在下文中，將參照附圖描述根據(jù)本發(fā)明實(shí)施例的設(shè)備、方法和程序。在以下描述的實(shí)施例中，用作傳感器裝置的是用于檢測(cè)電容以由此檢測(cè)距離檢測(cè)對(duì)象物的距離的傳感器裝置，其在日本專利申請(qǐng)?zhí)亻_(kāi)第2008-117371號(hào)(下文中稱為專利文件l)中被公開(kāi)。此外，檢測(cè)對(duì)象物假定是操作者的手或手指。[oose](信息處理設(shè)備的結(jié)構(gòu)) 圖1是示出本實(shí)施例的信息處理設(shè)備(信息處理系統(tǒng))的結(jié)構(gòu)示例的圖。如圖1所示，本實(shí)施例的信息處理設(shè)備通過(guò)例如使用連接線纜將傳感器部10、顯示器部20、揚(yáng)聲器部30和鍵盤(pán)50連接到處理設(shè)備部40來(lái)構(gòu)成。 傳感器部10接收來(lái)自用戶的操作輸入，并將該輸入提供給處理設(shè)備部40。傳感器部10能夠檢測(cè)距檢測(cè)對(duì)象物(例如手)的空間距離。 具體來(lái)說(shuō)，傳感器部10輸出與傳感器部10與檢測(cè)對(duì)象物(例如手或手指)之間的空間距離相對(duì)應(yīng)的傳感器檢測(cè)輸出。在該實(shí)施例中，傳感器部io包括預(yù)定尺寸的矩形傳感器板IOP，該矩形傳感器板10P由二維平面構(gòu)成(稍后將描述)，并檢測(cè)傳感器板表面與檢測(cè)對(duì)象物之間的距離。 此外，在該實(shí)施例中，傳感器部10能夠獨(dú)立地輸出與在傳感器板表面上的橫向和縱向的多個(gè)位置處從傳感器板表面到檢測(cè)對(duì)象物的距離相對(duì)應(yīng)的傳感器檢測(cè)輸出。結(jié)果，在該實(shí)施例中，傳感器部10可以檢測(cè)到檢測(cè)對(duì)象物位于傳感器板表面上的什么地方。
換句話說(shuō)，當(dāng)傳感器板表面上的橫向和縱向分別是x軸方向和y軸方向，并且與傳感器板表面相正交的方向是z軸方向時(shí)，檢測(cè)對(duì)象物的空間距離被檢測(cè)成z軸坐標(biāo)值。此外，檢測(cè)對(duì)象物在傳感器板上的空間位置被檢測(cè)成x軸和y軸坐標(biāo)值。
顯示器部20例如由CRT(陰極射線管)、LCD(液晶顯示器)、有機(jī)EL(電致發(fā)光)板或PDP (等離子體顯示板)構(gòu)成。 在該實(shí)施例中，對(duì)于顯示器部20，使用所謂的平板顯示板，例如LCD、有機(jī)EL板和PDP。作為顯示器部20，屏尺寸為52V的顯示器部被縱向放置。應(yīng)當(dāng)注意到，對(duì)于顯示器部20，可以采用各種屏尺寸和布置。 在該實(shí)施例中，揚(yáng)聲器部30是所謂的陣列揚(yáng)聲器，其中16個(gè)揚(yáng)聲器SP1至SP16橫向(水平方向)排列。 處理設(shè)備部40例如是個(gè)人計(jì)算機(jī)(下文中簡(jiǎn)稱為PC)。處理設(shè)備部40把要再現(xiàn)的內(nèi)容數(shù)據(jù)(例如音頻信息(音頻信號(hào))和視頻信息(視頻信號(hào)))存儲(chǔ)在其本身的存儲(chǔ)器(例如硬盤(pán))中。 處理設(shè)備部40經(jīng)由傳感器部IO接收來(lái)自用戶的操作輸入。來(lái)自傳感器部10的傳感器檢測(cè)輸出對(duì)應(yīng)于檢測(cè)對(duì)象物在傳感器板表面上的空間位置(x坐標(biāo)、y坐標(biāo))以及它們的空間距離(z坐標(biāo))。 此外，基于所接收到的操作輸入，處理設(shè)備部40從揚(yáng)聲器部30的揚(yáng)聲器發(fā)出對(duì)應(yīng)于預(yù)定音頻信息的音頻，或在顯示器部20的顯示屏上顯示對(duì)應(yīng)于預(yù)定視頻信息的視頻。
在這種情況下，處理設(shè)備部40進(jìn)行以下處理根據(jù)所接收到的操作輸入而改變發(fā)射音頻的位置、混合音頻信號(hào)、對(duì)所顯示的視頻加上希望的效果等。 鍵盤(pán)50包括字母鍵、數(shù)字鍵、各種功能鍵等，其能夠在接收到來(lái)自用戶的指令輸入時(shí)將該指令輸入提供給處理設(shè)備部40。 處理設(shè)備部40能夠基于經(jīng)由鍵盤(pán)50接收到的來(lái)自用戶的指令輸入來(lái)維護(hù)由處理
設(shè)備部40執(zhí)行的程序或者進(jìn)行關(guān)于該處理設(shè)備部40的各種設(shè)置和調(diào)整。 如上所述，本實(shí)施例的信息處理設(shè)備能夠基于經(jīng)由傳感器部10接收到的操作輸
入而從揚(yáng)聲器部30發(fā)出音頻，并在顯示器部20的顯示屏上顯示視頻。(對(duì)傳感器部10的結(jié)構(gòu)的描述) 圖2是用于說(shuō)明本實(shí)施例的傳感器部10的結(jié)構(gòu)的圖。在該實(shí)施例中，如圖1和圖2所示，采用傳感器部IO被疊合在顯示器部20的前表面上的多層結(jié)構(gòu)。
具體來(lái)說(shuō)，如圖2所示，按照沿傳感器部10的操作方向從前側(cè)到后側(cè)的規(guī)定順序布置X-Z傳感器板12、 Y-Z傳感器板13和顯示器部20。 X-Z傳感器板12和Y-Z傳感器板13是本實(shí)施例的傳感器部10的主要部件，其構(gòu)成傳感器板IOP。在本示例中，X-Z傳感器板12和Y-Z傳感器板13由被布置在兩個(gè)正交方向上的多個(gè)線電極構(gòu)成。 在X-Z傳感器板12中，在圖2中線電極的拉伸方向沿豎直方向(縱向)的多個(gè)縱向電極12V1、12V2、12V3、...和12Vn(n是2或大于2的整數(shù))在圖2的示例中的水平方向(橫向)上以規(guī)則間隔布置。 此外，在Y-Z傳感器板13中，在圖2中線電極的拉伸方向沿水平方向(橫向)的多個(gè)橫向電極13H1、13H2、13H3、...和13Hm(m是2或大于2的整數(shù))在圖2的示例中的豎直方向(縱向)上以規(guī)則間隔布置。 圖3A和圖3B分別是X_Z傳感器板12和Y_Z傳感器板13的側(cè)截面圖。 X-Z傳感器板12具有這樣的結(jié)構(gòu)，其中包括多個(gè)縱向電極12V1、12V2、12V3、...和
12Vn的電極層19V插置在兩個(gè)玻璃板17V與18V之間。 此外，Y-Z傳感器板13具有這樣的結(jié)構(gòu)，其中包括多個(gè)橫向電極13H1 、 13H2 、13H3、...和13Hm的電極層19H插置在兩個(gè)玻璃板17H與18H之間。應(yīng)當(dāng)注意到，圖3B中的13Hi表示第i個(gè)橫向電極。 應(yīng)當(dāng)注意到，雖然未在圖2中示出，但是還設(shè)置有X-Z傳感器板12和Y-Z傳感器板13的電極端子所連接的、其檢測(cè)由用戶指定的位置的電路部件，稍后將對(duì)其進(jìn)行描述。
該電路部件是用于傳感器部10的印刷電路板，并被設(shè)置在預(yù)定位置，如在顯示器部20之下。如上所述，傳感器部10由包括X-Z傳感器板12和Y-Z傳感器板13的傳感器板10P和用于傳感器部10的印刷電路板構(gòu)成。 如圖2所示，雖然傳感器部10包括多個(gè)線電極，但是由于線電極很細(xì)，因此顯示在顯示器部20的顯示屏上的視頻不被傳感器部10遮擋。 換句話說(shuō)，用戶經(jīng)由傳感器部10觀看顯示器部20的顯示屏上顯示的視頻，但是顯
示在顯示屏上的視頻的可觀看性變差或所顯示的視頻劣化的不便情形沒(méi)有出現(xiàn)。(傳感器部10的電路結(jié)構(gòu)) 如同在專利文件l中那樣，在該實(shí)施例中，與傳感器部10的X-Z傳感器板12和Y-Z傳感器板13與檢測(cè)對(duì)象物之間的距離相對(duì)應(yīng)的電容被轉(zhuǎn)換成要被檢測(cè)的振蕩電路的振蕩
頻率。此外，在該實(shí)施例中，傳感器部io對(duì)與振蕩頻率相對(duì)應(yīng)的脈沖信號(hào)的脈沖數(shù)進(jìn)行計(jì)
數(shù)，并使用與振蕩頻率相對(duì)應(yīng)的計(jì)數(shù)值作為傳感器輸出信號(hào)。 圖4是用于說(shuō)明其中層壓有X-Z傳感器板12和Y-Z傳感器板13的傳感器部10的圖。并且，圖5示出了用于產(chǎn)生要從傳感器部10輸出的傳感器檢測(cè)輸出信號(hào)的電路結(jié)構(gòu)的示例。 如圖4所示，多個(gè)線電極被布置在如上所述的本實(shí)施例的傳感器部10中的兩個(gè)正交方向上。換句話說(shuō)，多個(gè)縱向電極12V1、12V2、12V3、...和12Vn以及多個(gè)橫向電極13Hl、13H2、13H3、...和13Hm被布置在相互正交的方向上。 在這種情況下，電容(浮地電容)CH1、 CH2、 CH3、 ... 、 CHm存在于多個(gè)橫向電極13H1、13H2、13H3、. . 和13Hm與地之間。此夕卜，電容CH1、 CH2、 CH3、. . 、 CHm根據(jù)手或手指在Y-Z傳感器板13上的空間位置而變化。 多個(gè)橫向電極13H1、13H2、13H3、...禾P 13Hm的端部是橫向電極端子。在該示例中，多個(gè)橫向電極13H1、13H2、13H3、...和13Hm中的每個(gè)橫線電極的橫向電極端子中的一個(gè)連接到圖5中所示的用于橫向電極的發(fā)送器IOIH。 此外，多個(gè)橫向電極13H1、13H2、13H3、...和13Hm中的每個(gè)橫向電極的橫向電極端子中的另一個(gè)連接到模擬開(kāi)關(guān)電路103。應(yīng)當(dāng)注意到，如上所述，圖5中所示的電路部件被設(shè)置在預(yù)定位置處，如在顯示器部20之下。 在這種情況下，橫向電極13H1、13H2、13H3、...和13Hm可以由圖5中所示的等效電路來(lái)表示。在圖5中，示出了橫向電極13H1的等效電路。然而，該等效電路適用于其它橫向電極13H2、 禾口 13Hm。
具體來(lái)說(shuō)，橫向電極13H1的等效電路由電阻器RH、電感LH和作為檢測(cè)對(duì)象的電容CH1構(gòu)成。針對(duì)其它橫向電極13H2、13H3、...和13Hm的電容分別變?yōu)镃H2、 CH3、...和CHm。 橫向電極13H1、13H2、13H3、...禾P 13Hm的等效電路構(gòu)成諧振電路，并且還與發(fā)送器101H—起構(gòu)成振蕩電路。橫向電極13H1、13H2、13H3、...和13Hm還分別構(gòu)成橫向電極電容檢測(cè)電路102H1、102H2、102H3、.和102Hm。此夕卜，橫向電極電容檢測(cè)電路102Hl、 102H2、102H3、...禾P 102Hm的輸出是分別對(duì)應(yīng)于電容CH1、 CH2、 CH3、...禾P CHm的振蕩頻率的信號(hào)，電容CH1、 CH2、 CH3、...和CHm對(duì)應(yīng)于檢測(cè)對(duì)象物距傳感器板表面的距離。
當(dāng)用戶在Y-Z傳感器板13上移動(dòng)他/她的手或指尖靠近或遠(yuǎn)離Y-Z傳感器板13時(shí)，電容CH1、CH2、CH3、...和CHm的值改變。因此，在橫向電極電容檢測(cè)電路102Hl、 102H2、102H3、...和102Hm中，手或指尖的位置改變被檢測(cè)為振蕩電路的振蕩頻率的改變。
另一方面，多個(gè)縱向電極12V1、12V2、12V3、...禾P 12Vn的兩個(gè)端部是縱向電極端子。在該示例中，多個(gè)縱向電極12V1、12V2、12V3、...和12Vn中的每個(gè)縱向電極的縱向電極端子中的一個(gè)連接到用于縱向電極的發(fā)送器IOIV。在該示例中，針對(duì)縱向電極的發(fā)送器101V的輸出信號(hào)的基頻與針對(duì)橫向電極的發(fā)送器101H的頻率不同。 并且，多個(gè)縱向電極12V1、12V2、12V3、...和12Vn中的每個(gè)縱向電極的縱向電極端子中的另一個(gè)連接到模擬開(kāi)關(guān)電路103。 在這種情況下，縱向電極12V1、12V2、12V3、...禾P 12Vn也可以由如圖5中所示的等效電路來(lái)表示，如同在橫向電極的情況中那樣。在圖5中，示出了縱向電極12V1的等效電路。然而，該等效電路適用于其它縱向電極12V2、...和12Vn。 具體來(lái)說(shuō)，縱向電極12V1的等效電路由電阻器RV、電感LV和作為檢測(cè)對(duì)象的電容CV1構(gòu)成。針對(duì)其它縱向電極12V2、12V3、...禾P 12Vn的電容分別變?yōu)镃V2、CV3、...和
CVn。 縱向電極12V1、12V2、12V3、...禾P 12Vn的等效電路構(gòu)成諧振電路，并且還與發(fā)送器101V —起構(gòu)成振蕩電路。縱向電極12V1、 12V2、 12V3、...和12Vn還分別構(gòu)成縱向電極電容檢測(cè)電路102V1、102V2、102V3、...和102Vn。此外，縱向電極電容檢測(cè)電路102Vl、 102V2、102V3、...禾P 102Vn的輸出是分別對(duì)應(yīng)于電容CV1、 CV2、 CV3、...禾P CVn的振蕩頻率的信號(hào)，電容CV1、 CV2、 CV3、...和CVn對(duì)應(yīng)于檢測(cè)對(duì)象物距X-Z傳感器板12的距離。
此外，在縱向電極電容檢測(cè)電路102V1、102V2、102V3、...和102Vn中，與手或指尖的位置改變相對(duì)應(yīng)的電容CV1、 CV2、 CV3、...和CVn的值的改變被檢測(cè)為振蕩電路的振蕩頻率的改變。此外，橫向電極電容檢測(cè)電路102H1、102H2、102H3、和102Hm的輸出以及縱向電極電容檢測(cè)電路102V1、102V2、102V3、...禾P 102Vn的輸出被提供給模擬開(kāi)關(guān)電路103。
通過(guò)來(lái)自處理設(shè)備部40的切換信號(hào)SW，模擬開(kāi)關(guān)電路103以預(yù)定速度連續(xù)地選擇并輸出橫向電極電容檢測(cè)電路102H1至102Hm以及縱向電極電容檢測(cè)電路102V1至102Vn的輸出中的任一個(gè)。 然后，來(lái)自模擬開(kāi)關(guān)電路103的輸出被提供給頻率計(jì)數(shù)器104。頻率計(jì)數(shù)器104對(duì)輸入到該頻率計(jì)數(shù)器104的信號(hào)的振蕩頻率進(jìn)行計(jì)數(shù)。具體來(lái)說(shuō)，頻率計(jì)數(shù)器104的輸入信號(hào)是對(duì)應(yīng)于振蕩頻率的脈沖信號(hào)，并且作為在預(yù)定時(shí)間范圍內(nèi)對(duì)該脈沖信號(hào)的脈沖數(shù)進(jìn)
9行計(jì)數(shù)的結(jié)果，計(jì)數(shù)值對(duì)應(yīng)于振蕩頻率。 頻率計(jì)數(shù)器104的輸出計(jì)數(shù)值作為由模擬開(kāi)關(guān)電路103選擇的線電極的傳感器輸出被提供給處理設(shè)備部40。頻率計(jì)數(shù)器104的輸出計(jì)數(shù)值與從處理設(shè)備部40提供給模擬開(kāi)關(guān)電路103的切換信號(hào)SW同步地獲得。 因此，處理設(shè)備部40基于提供給模擬開(kāi)關(guān)電路103的切換信號(hào)SW來(lái)判斷針對(duì)哪個(gè)線電極輸出了作為傳感器輸出的頻率計(jì)數(shù)器104的輸出計(jì)數(shù)值。然后，處理設(shè)備部40在其本身的緩沖器部中將線電極和輸出計(jì)數(shù)值彼此關(guān)聯(lián)地存儲(chǔ)。 其后，處理設(shè)備部40針對(duì)所有存儲(chǔ)在緩沖器部中的線電極，根據(jù)檢測(cè)對(duì)象物的傳感器輸出來(lái)對(duì)檢測(cè)對(duì)象物的空間位置(距傳感器部10的距離和在傳感器部10上的x坐標(biāo)、y坐標(biāo))進(jìn)行檢測(cè)。 如在專利文件1中所描述的，在現(xiàn)實(shí)中，根據(jù)檢測(cè)對(duì)象物在傳感器部10的傳感器板10P上的x、y坐標(biāo)位置來(lái)獲得多個(gè)橫向電極電容檢測(cè)電路102H1至102Hm以及多個(gè)縱向電極電容檢測(cè)電路102V1至102Vn的傳感器輸出。 由于在傳感器板10P上檢測(cè)對(duì)象物所存在的x、y坐標(biāo)位置與傳感器板10P之間的距離最短，因此多個(gè)傳感器輸出中的、來(lái)自檢測(cè)對(duì)應(yīng)于該位置的兩個(gè)電極之間的電容的橫向電極電容檢測(cè)電路和縱向電極電容檢測(cè)電路的傳感器輸出與其它傳感器輸出相比變得顯著。 根據(jù)以上描述，處理設(shè)備部40根據(jù)來(lái)自傳感器部10的多個(gè)傳感器輸出而獲得檢測(cè)對(duì)象物在傳感器板10P上所處的x坐標(biāo)、y坐標(biāo)以及從傳感器板10P到檢測(cè)對(duì)象物的距離(z坐標(biāo))。換句話說(shuō)，判斷檢測(cè)對(duì)象物(例如手)位于所檢測(cè)出的x坐標(biāo)、y坐標(biāo)上方的空間中。 應(yīng)當(dāng)注意到，由于檢測(cè)對(duì)象物具有預(yù)定尺寸，因此在傳感器板12和13上與該檢測(cè)對(duì)象物的尺寸相對(duì)應(yīng)的x、 y坐標(biāo)位置的范圍內(nèi)離開(kāi)對(duì)應(yīng)于電容的距離時(shí)，該檢測(cè)對(duì)象物被檢測(cè)。 也在該實(shí)施例中，如同在專利文件1中那樣，根據(jù)檢測(cè)對(duì)象物的空間位置與傳感器板12和13之間的距離來(lái)進(jìn)行用于檢測(cè)電容的線電極的尖滅(thi皿ing-out)切換。
通過(guò)根據(jù)來(lái)自處理設(shè)備部40的切換信號(hào)SW控制在模擬開(kāi)關(guān)電路103中要每隔多少(包括0)個(gè)線電極選擇線電極來(lái)進(jìn)行線電極的尖滅切換。根據(jù)從傳感器板12和13到檢測(cè)對(duì)象物的距離預(yù)先確定切換定時(shí)。例如，稍后將描述的層改變點(diǎn)可以用作切換定時(shí)。
應(yīng)當(dāng)注意到，在以上說(shuō)明中，針對(duì)橫向電極和縱向電極單獨(dú)地使用發(fā)送器。然而，為了簡(jiǎn)化結(jié)構(gòu)，單個(gè)發(fā)送器可以被共有地使用。此外，理想的是，最好提供對(duì)于每個(gè)線電極的頻率均不相同的多個(gè)發(fā)送器。 處理設(shè)備部40能夠確定如何再現(xiàn)要基于來(lái)自傳感器部10的傳感器輸出而再現(xiàn)的音頻信息或視頻信息，并根據(jù)其再現(xiàn)該信息。(使用來(lái)自傳感器部10的傳感器輸出的處理操作的示例) 圖6是用于說(shuō)明從參照?qǐng)D2至圖5描述的傳感器部10接收傳感器輸出的處理設(shè)備部40的結(jié)構(gòu)及其處理操作的框圖。 如圖6所示，在處理設(shè)備部40中，程序ROM(只讀存儲(chǔ)器)402和工作區(qū)域RAM(隨機(jī)存取存儲(chǔ)器)403通過(guò)系統(tǒng)總線400連接到CPU(中央處理單元)。
10
在該實(shí)施例中，連接到系統(tǒng)總線400的是I/0端口 (輸入/輸出)404、空間位置檢 測(cè)部405、視頻信息存儲(chǔ)部406和音頻信息存儲(chǔ)部407。 此外，連接到系統(tǒng)總線400的還有用于視頻信息的物理計(jì)算處理器408、音頻處理 器410、聲場(chǎng)控制器411和鍵盤(pán)接口 (下文中簡(jiǎn)稱為鍵盤(pán)I/F)413。 此外，顯示處理器409連接到物理計(jì)算處理器408，并且放大器部(音頻放大器 部)412連接到音頻處理器410。 如圖6所示，傳感器部10經(jīng)由I/O端口 404連接到處理設(shè)備部40，顯示器部20經(jīng) 由物理計(jì)算處理器408和顯示處理器409連接到處理設(shè)備部40。 此外，揚(yáng)聲器部30經(jīng)由音頻處理器410和放大器部412也連接到處理設(shè)備部40， 并且鍵盤(pán)50經(jīng)由鍵盤(pán)I/F 413也連接到處理設(shè)備部40。 應(yīng)當(dāng)注意到，在圖6中由雙線指示的空間位置檢測(cè)部405、物理計(jì)算處理器408、音 頻處理器410和聲場(chǎng)控制器411是CPU 401能夠根據(jù)存儲(chǔ)在ROM 402中的程序?qū)崿F(xiàn)為軟件 處理的功能部件。 如上所述，傳感器部IO在其傳感器板10P的前方具有三維坐標(biāo)空間的傳感器區(qū)域 111，該三維坐標(biāo)空間由在傳感器板10P的表面上的橫向(x軸方向)和縱向(y軸方向)以 及與傳感器板10P的表面相正交的方向(z軸方向)表示。 處理設(shè)備部40能夠經(jīng)由I/O端口 404接收對(duì)應(yīng)于檢測(cè)對(duì)象物(例如用戶的手) 在傳感器部10的傳感器區(qū)域111中的位置的傳感器輸出信號(hào)。 空間位置檢測(cè)部405接收從傳感器部10提供的傳感器輸出信號(hào)(檢測(cè)輸出)，并 檢測(cè)由用戶的手等指定的在作為如上所述的三維坐標(biāo)空間(三維坐標(biāo))的傳感器區(qū)域lll 中的位置。 空間位置檢測(cè)部405具有作為判斷裝置的功能，用于基于檢測(cè)結(jié)果判斷由用戶的
手等指定的位置屬于傳感器區(qū)域111中設(shè)置的多個(gè)區(qū)域中的哪個(gè)區(qū)域。 視頻信息存儲(chǔ)部406存儲(chǔ)要被再現(xiàn)的視頻信息。存儲(chǔ)在視頻信息存儲(chǔ)部406中的
視頻信息在CPU 401的控制下被讀出，經(jīng)稍后描述的物理計(jì)算處理器408和顯示處理器409
處理，并被提供給顯示器部20。應(yīng)當(dāng)注意到，存儲(chǔ)在視頻信息存儲(chǔ)部406中的要被再現(xiàn)的視
頻信息包括用于再現(xiàn)運(yùn)動(dòng)圖像的信息和用于再現(xiàn)靜止圖像的信息這兩種類型。 用于視頻信息的物理計(jì)算處理器408受CPU 401控制，并根據(jù)從例如包括環(huán)(水
紋)、聲振動(dòng)和雪晶的多種物理模型中預(yù)先選擇的物理模型將預(yù)定效果加到提供給它的視
頻信息上。 雖然稍后將給出細(xì)節(jié)，但是具體來(lái)說(shuō)，物理計(jì)算處理器408根據(jù)由檢測(cè)對(duì)象物(例 如用戶的手)指定的在三維坐標(biāo)空間中的指定位置將根據(jù)物理模型的效果加到要再現(xiàn)的 對(duì)應(yīng)于視頻信息的再現(xiàn)視頻上。 顯示處理器409基于來(lái)自物理計(jì)算處理器408的視頻信息產(chǎn)生具有可以被提供給 顯示器部20的格式的視頻信號(hào)，并將該信號(hào)提供給顯示器部20。因此，與由物理計(jì)算處理 器408和顯示處理器409處理和產(chǎn)生的視頻信號(hào)相對(duì)應(yīng)的視頻被顯示在顯示器部20的顯 示屏上。 應(yīng)當(dāng)注意到，如稍后將描述的，物理計(jì)算處理器408并非一直將根據(jù)物理模型的 效果加到視頻信息上，而是基于例如經(jīng)由傳感器部io接收到的來(lái)自用戶的操作輸入來(lái)加
11入根據(jù)物理模型的效果。 音頻信息存儲(chǔ)部407存儲(chǔ)要被再現(xiàn)的音頻信息，例如音樂(lè)數(shù)據(jù)。存儲(chǔ)在音頻信息 存儲(chǔ)部407中的音頻信息在CPU 401的控制下被讀出，經(jīng)稍后將描述的音頻處理器410和 放大器部412處理，并被提供給揚(yáng)聲器部30。 應(yīng)當(dāng)注意到，如上所述，揚(yáng)聲器部30是陣列揚(yáng)聲器，并且音頻處理器410和放大器 部412包括揚(yáng)聲器通道，該揚(yáng)聲器通道的數(shù)量對(duì)應(yīng)于揚(yáng)聲器部30中包括的揚(yáng)聲器的數(shù)量。
音頻處理器410包括開(kāi)關(guān)電路和混頻電路，并且進(jìn)行選擇(切換)揚(yáng)聲器以輸出 音頻并在CPU 401的控制下混合多個(gè)音頻通道的音頻信號(hào)的處理。 這里，開(kāi)關(guān)電路選擇(切換)揚(yáng)聲器(揚(yáng)聲器通道)以輸出音頻。并且，混頻電路 被提供多個(gè)通道的音頻信息并將所提供的音頻信息片段中的目標(biāo)音頻通道的音頻信息混 合。 此外，音頻處理器410包括對(duì)應(yīng)于每個(gè)揚(yáng)聲器通道的數(shù)字濾波器(數(shù)字信號(hào)處理 電路)。該數(shù)字濾波器受聲場(chǎng)控制器411控制，并對(duì)要被提供給構(gòu)成陣列揚(yáng)聲器的揚(yáng)聲器部 30的揚(yáng)聲器中的每個(gè)揚(yáng)聲器的音頻信息進(jìn)行數(shù)字信號(hào)處理。 此外，聲場(chǎng)控制器411控制如上所述地由音頻處理器410包括的、用于各揚(yáng)聲器 通道的多個(gè)數(shù)字濾波器中的每個(gè)數(shù)字濾波器，使得可以在CPU 401的控制下形成適當(dāng)?shù)穆?場(chǎng)。 因此，可以利用從揚(yáng)聲器部30的揚(yáng)聲器發(fā)出的音頻在希望的位置形成虛擬聲源 (虛擬揚(yáng)聲器)，并且聽(tīng)該音頻就像它是從虛擬聲源發(fā)出的一樣。 本文中使用的虛擬聲源(虛擬揚(yáng)聲器)是指即使在現(xiàn)實(shí)中沒(méi)有提供聲源(揚(yáng)聲 器)的情況下用戶也感覺(jué)到正在從其發(fā)出音頻的位置(地方)。 應(yīng)當(dāng)注意到，通過(guò)音頻處理器410進(jìn)行的數(shù)字信號(hào)處理使得能夠通過(guò)例如使用波 前合成技術(shù)來(lái)形成虛擬聲源。稍后將詳細(xì)描述波前合成技術(shù)。 此外，鍵盤(pán)I/F 413能夠?qū)⒔?jīng)由鍵盤(pán)50接收到的來(lái)自用戶的指令輸入轉(zhuǎn)換成具有 CPU 401可處理的格式的信號(hào)，并經(jīng)由系統(tǒng)總線400將該信號(hào)提供給CPU 401等。
(音頻輸出處理的示例1)(權(quán)利要求1、8和9) 在本實(shí)施例的具有如上所述結(jié)構(gòu)的信息處理設(shè)備中，處理設(shè)備部40的空間位置 檢測(cè)部405基于作為來(lái)自傳感器部10的檢測(cè)輸出的三維坐標(biāo)來(lái)判斷包括該三維坐標(biāo)的區(qū) 域。 空間位置檢測(cè)部405能夠判斷包括所檢測(cè)的三維坐標(biāo)的區(qū)域。然而，在音頻輸出 處理的示例1中，基于空間位置檢測(cè)部405的判斷結(jié)果，CPU401控制音頻處理器410輸出 與來(lái)自與所檢測(cè)的三維坐標(biāo)中的二維坐標(biāo)相對(duì)應(yīng)的位置的音頻信息相對(duì)應(yīng)的音頻。
如上所述，在音頻輸出處理的示例1中，對(duì)應(yīng)于預(yù)定音頻信息的音頻從某一位置 被輸出，該位置對(duì)應(yīng)于經(jīng)由傳感器部10檢測(cè)到的由檢測(cè)對(duì)象物(例如用戶的手)指定的三 維坐標(biāo)中的至少二維坐標(biāo)。 圖7和圖8是用于說(shuō)明音頻輸出處理的示例1的圖，音頻輸出處理的示例1用于 輸出與來(lái)自與通過(guò)傳感器部10檢測(cè)的三維坐標(biāo)中的至少二維坐標(biāo)(x坐標(biāo)、y坐標(biāo))相對(duì) 應(yīng)的位置的要被再現(xiàn)的音頻信息相對(duì)應(yīng)的音頻。 如上所述，傳感器部10能夠檢測(cè)與檢測(cè)對(duì)象物(例如用戶的手)在三維坐標(biāo)空間中的位置相對(duì)應(yīng)的三維坐標(biāo)，在該三維坐標(biāo)空間中，傳感器板表面上的橫向和縱向分別是x
軸方向和y軸方向，與傳感器板表面相正交的方向是z軸方向。 因此，處理設(shè)備部40的空間位置檢測(cè)部405可以基于來(lái)自傳感器部10的三維坐 標(biāo)而檢測(cè)到檢測(cè)對(duì)象物位于作為由傳感器部IO形成的三維坐標(biāo)空間的傳感器區(qū)域111中 的哪個(gè)區(qū)域。 然而，在該示例中，處理設(shè)備部40的CPU 401基于如上所述的空間位置檢測(cè)部405 的判斷結(jié)果來(lái)指定檢測(cè)對(duì)象物在二維坐標(biāo)空間中的位置，并根據(jù)所指定的位置選擇性地使 用揚(yáng)聲器部30的揚(yáng)聲器。 換句話說(shuō)，作為檢測(cè)對(duì)象物(例如用戶的手)與傳感器板表面之間的距離的替代， 考慮在由傳感器部10形成的傳感器區(qū)域111中的如圖7中所示的橫向(x軸方向)和縱向 (y軸方向)中的二維坐標(biāo)區(qū)域111XY。 在該示例中，二維坐標(biāo)區(qū)域111XY在橫向(水平方向)上被分成三部分，以由此設(shè) 置區(qū)域Rl 、 R2和R3，如圖7所示。 基于空間位置檢測(cè)部405的判斷結(jié)果，CPU 401根據(jù)檢測(cè)對(duì)象物所屬的區(qū)域在二 維坐標(biāo)區(qū)域111XY上的哪個(gè)區(qū)域來(lái)控制音頻處理器410，并切換揚(yáng)聲器以提供音頻信息。
應(yīng)當(dāng)注意到，在示例1中，存儲(chǔ)在音頻信息存儲(chǔ)部407中的兩個(gè)通道的立體聲音頻 信息被CPU 401讀出，并一直被提供給音頻處理器410。 然后，如以下所描述的，根據(jù)在二維坐標(biāo)區(qū)域111XY中由檢測(cè)對(duì)象物(例如用戶的 手)指定的位置來(lái)切換用于輸出音頻信息的揚(yáng)聲器。 具體來(lái)說(shuō)，假設(shè)空間位置檢測(cè)部405判斷檢測(cè)對(duì)象物(例如用戶的手)位于二維 坐標(biāo)區(qū)域111XY的區(qū)域Rl中，則空間位置檢測(cè)部405例如經(jīng)由CPU 401來(lái)控制音頻處理器 410，并將左手側(cè)(L)通道的音頻信息僅提供給設(shè)置在揚(yáng)聲器部30的左端部分處的揚(yáng)聲器 SP1和SP2，如圖8A所示。 此外，假設(shè)空間位置檢測(cè)部405判斷檢測(cè)對(duì)象物(例如用戶的手)位于二維坐標(biāo) 區(qū)域111XY的區(qū)域R2中，則空間位置檢測(cè)部405例如經(jīng)由CPU 401來(lái)控制音頻處理器410， 并將音頻信息僅提供給設(shè)置在揚(yáng)聲器部30的中間部分處的揚(yáng)聲器SP8和SP9，如圖8B所 示。在這種情況下，左手側(cè)(L)通道的音頻信息被提供給揚(yáng)聲器SP8，而右手側(cè)(R)通道的 音頻信息被提供給揚(yáng)聲器SP9。 此外，假設(shè)空間位置檢測(cè)部405判斷檢測(cè)對(duì)象物(例如用戶的手)位于二維坐標(biāo) 區(qū)域111XY的區(qū)域R3中，則空間位置檢測(cè)部405例如經(jīng)由CPU 401來(lái)控制音頻處理器410， 并將右手側(cè)(R)通道的音頻信息僅提供給設(shè)置在揚(yáng)聲器部30的右端部分處的揚(yáng)聲器SP15 和SP16，如圖8C所示。 因此，在檢測(cè)對(duì)象物(例如手)靠近傳感器部10的傳感器板10P的左手側(cè)的區(qū)域
Rl時(shí)，可以僅從設(shè)置在揚(yáng)聲器部30的左手側(cè)的揚(yáng)聲器SP1和SP2發(fā)出音頻。 相似地，在檢測(cè)對(duì)象物(例如手)靠近設(shè)置在傳感器部10的傳感器板10P的中間
部分處的區(qū)域R2時(shí)，可以僅從設(shè)置在揚(yáng)聲器部30的中間處的揚(yáng)聲器SP8和SP9發(fā)出音頻。 相似地，在檢測(cè)對(duì)象物(例如手)靠近傳感器部10的傳感器板10P的右手側(cè)的區(qū)
域R3時(shí)，可以僅從設(shè)置在揚(yáng)聲器部30的右手側(cè)的揚(yáng)聲器SP15和SP16發(fā)出音頻。 如上所述，可以根據(jù)來(lái)自傳感器部10的三維坐標(biāo)中的二維坐標(biāo)來(lái)控制要發(fā)出與要被再現(xiàn)的音頻信息相對(duì)應(yīng)的音頻的位置。
(音頻輸出處理的示例1的操作概述) 接下來(lái)，將使用圖9和圖10的流程圖來(lái)概述音頻輸出處理的示例1。圖9是用于 說(shuō)明由處理設(shè)備部40的空間位置檢測(cè)部405進(jìn)行的傳感器值檢測(cè)處理1的流程圖。此夕卜， 圖10是用于說(shuō)明主要由處理設(shè)備部40的空間位置檢測(cè)部405和音頻處理器410彼此協(xié)作 地進(jìn)行的音頻輸出處理1的流程圖。 圖9中所示的處理按預(yù)定間隔重復(fù)，并且主要由空間位置檢測(cè)部405進(jìn)行。首先， 空間位置檢測(cè)部405判斷是否經(jīng)由1/0端口 404接收到來(lái)自傳感器部10的輸出值(傳感 器數(shù)據(jù))(步驟SIOI)。 步驟S101的判斷處理是判斷檢測(cè)對(duì)象物(例如用戶的手)是否相對(duì)于傳感器部 10的傳感器板表面移動(dòng)的處理。更具體地說(shuō)，該判斷處理是判斷經(jīng)由1/0端口 404接收到 的來(lái)自傳感器部10的檢測(cè)輸出是否已被如上所述地存儲(chǔ)在ROM 402中的處理。
當(dāng)在步驟SIOI的判斷處理中判斷沒(méi)有來(lái)自傳感器部10的輸出值時(shí)，結(jié)束圖9中 所示的處理以等待下一個(gè)執(zhí)行定時(shí)。當(dāng)在步驟SIOI的判斷處理中判斷有來(lái)自傳感器部10 的輸出值時(shí)，空間位置檢測(cè)部405進(jìn)行使由處理設(shè)備部40接收到的來(lái)自傳感器部10的輸 出值平滑的處理(步驟S102)。 步驟S102的處理是計(jì)算來(lái)自傳感器部10的多個(gè)檢測(cè)值(多個(gè)樣本)的均值以提 高檢測(cè)值的準(zhǔn)確度的處理。 然后，空間位置檢測(cè)部405檢測(cè)二維坐標(biāo)區(qū)域中x軸方向上的值和y軸方向上的 值的峰值(步驟S103)。具體來(lái)說(shuō)，如上所述，由于來(lái)自傳感器部10的輸出值是縱向和橫向 的合成值，因此其值變?yōu)樽畲蟮狞c(diǎn)被用作檢測(cè)值(坐標(biāo)值)。然后，結(jié)束圖9中所示的處理 以等待下一個(gè)執(zhí)行定時(shí)。 如上所述，空間位置檢測(cè)部405基于來(lái)自傳感器部10的檢測(cè)輸出來(lái)檢測(cè)二維坐標(biāo) 區(qū)域中由檢測(cè)對(duì)象物(例如用戶的手)指定的位置(坐標(biāo))。 指示所檢測(cè)的二維坐標(biāo)區(qū)域中的位置(坐標(biāo))的信息(峰值)被暫時(shí)存儲(chǔ)在空間 位置檢測(cè)部405內(nèi)的寄存器、RAM 403等中。 接下來(lái)，空間位置檢測(cè)部405進(jìn)行圖10中所示的音頻輸出處理l。首先，空間位置 檢測(cè)部405獲得圖9中所示的處理中檢測(cè)到的峰值(指示二維坐標(biāo)區(qū)域中的位置(坐標(biāo)) 的信息)(步驟S201)。 然后，空間位置檢測(cè)部405判斷所獲得的峰值的強(qiáng)度是否為某一值或更大(步驟 S202)。步驟S202的處理是用于防止以下情形的處理，在該情形中，例如甚至用戶的手意外 靠近傳感器部10的傳感器板表面的情形都成為該處理的目標(biāo)。換句話說(shuō)，該處理用于檢測(cè) 用戶有意地將檢測(cè)對(duì)象物(例如手)移動(dòng)靠近傳感器部10的傳感器板表面的情形。
當(dāng)在步驟S202的判斷處理中判斷所獲得的峰值的強(qiáng)度小于某一值時(shí)，空間位置 檢測(cè)部405結(jié)束圖10中所示的處理，換句話說(shuō)，在這種情況下不輸出音頻。
當(dāng)在步驟S202的判斷處理中判斷所獲得的峰值的強(qiáng)度是某一值或更大時(shí)，空間 位置檢測(cè)部405判斷由所獲得的峰值指示的二維坐標(biāo)(所指定的位置)所屬的二維坐標(biāo)區(qū) 域中的設(shè)置區(qū)域(步驟S203)。步驟S203的判斷處理是判斷由所獲得的峰值指示的二維坐 標(biāo)屬于區(qū)域Rl至R3中的哪個(gè)區(qū)域的處理，如參照?qǐng)D7所描述的那樣。
14
其后，空間位置檢測(cè)部405例如經(jīng)由CPU 401、基于步驟S203的判斷結(jié)果來(lái)控制音 頻處理器410的開(kāi)關(guān)電路等(步驟S204)。因此，從揚(yáng)聲器部30的目標(biāo)揚(yáng)聲器發(fā)出與要被 再現(xiàn)的希望通道的音頻信息相對(duì)應(yīng)的音頻。 具體來(lái)說(shuō)，音頻處理器410在空間位置檢測(cè)部405的控制下指定要被輸出的音頻 信息的通道(左手側(cè)(L)通道、右手側(cè)(R)通道)。然后，如參照?qǐng)D8所描述的那樣，音頻處 理器410在空間位置檢測(cè)部405的控制下指定要發(fā)出音頻的揚(yáng)聲器，并從目標(biāo)揚(yáng)聲器發(fā)出 與指定音頻通道的音頻信息相對(duì)應(yīng)的音頻。 然后，結(jié)束圖10中所示的處理，并且空間位置檢測(cè)部405等待圖10中所示的處理 的下一個(gè)執(zhí)行定時(shí)。 如上所述，在音頻輸出處理的示例1的情況下，為了簡(jiǎn)要地對(duì)其進(jìn)行描述，可以基 于檢測(cè)對(duì)象物(例如用戶的手)在二維坐標(biāo)區(qū)域lllXY中的x軸方向上的位置來(lái)確定要發(fā) 出音頻的位置(揚(yáng)聲器)。 應(yīng)當(dāng)注意到，在該示例中，雖然如參照?qǐng)D8所描述的那樣使用構(gòu)成陣列揚(yáng)聲器的 揚(yáng)聲器部30的左手側(cè)的兩個(gè)揚(yáng)聲器、中間處的兩個(gè)揚(yáng)聲器以及右手側(cè)的兩個(gè)揚(yáng)聲器，但是 本發(fā)明并不限于此。 例如，可以使用揚(yáng)聲器部30的左手側(cè)的四個(gè)揚(yáng)聲器、中間處的四個(gè)揚(yáng)聲器以及右 手側(cè)的四個(gè)揚(yáng)聲器(即，總共12個(gè)揚(yáng)聲器)，或者作為替代地使用揚(yáng)聲器部30的左手側(cè)的 三個(gè)揚(yáng)聲器、中間處的四個(gè)揚(yáng)聲器以及右手側(cè)的三個(gè)揚(yáng)聲器(即，總共10個(gè)揚(yáng)聲器)。
此外，以上示例1被描述成假設(shè)左手側(cè)通道和右手側(cè)通道這兩個(gè)通道的音頻信息 被再現(xiàn)。然而，本發(fā)明并不限于此，并且在再現(xiàn)非立體聲音頻信息時(shí)，也僅需要切換要被提 供音頻信息的揚(yáng)聲器。 此外，在四聲道立體聲、5. l通道等的多通道音頻信號(hào)的情況下，也可以如參照?qǐng)D 8所描述的那樣，混合同一側(cè)的音頻信號(hào)以形成左手側(cè)和右手側(cè)兩個(gè)通道的音頻信號(hào)并輸 出它們。 此外，在四聲道立體聲、5. l通道等的多通道音頻信號(hào)的情況下，也可以將同一側(cè) 的音頻信息提供給不同的揚(yáng)聲器，而不如上所述地將它們混合。 例如，在5. l通道的多通道音頻信號(hào)的情況下，也可以將左前方通道的音頻信息 提供給揚(yáng)聲器SP1，并將左后方通道的音頻信息提供給揚(yáng)聲器SP2。在這種情況下，亞低音 揚(yáng)聲器通道的音頻信號(hào)可以與左前方通道的音頻信息以及左后方通道的音頻信息混合。
此外，在以上示例1中，三個(gè)區(qū)域R1至R3被設(shè)置在二維坐標(biāo)區(qū)域中的水平方向 上。然而，本發(fā)明并不限于此，并且僅需要在水平方向上設(shè)置兩個(gè)或兩個(gè)以上的區(qū)域并針對(duì) 每個(gè)設(shè)置的區(qū)域確定要使用的揚(yáng)聲器和要使用的音頻信息(哪個(gè)通道的音頻信息)。
此外，設(shè)置在二維坐標(biāo)區(qū)域中的區(qū)域并不限于參照?qǐng)D7所描述的在水平方向上布 置區(qū)域的情況。當(dāng)然可以在豎直方向上設(shè)置兩個(gè)或兩個(gè)以上的區(qū)域并針對(duì)每個(gè)設(shè)置的區(qū)域 確定要使用的揚(yáng)聲器和要使用的音頻信息(哪個(gè)通道的音頻信息)。 簡(jiǎn)而言之，僅需要根據(jù)來(lái)自傳感器部10的三維坐標(biāo)中的二維坐標(biāo)來(lái)改變要發(fā)出 與要被再現(xiàn)的音頻信息相對(duì)應(yīng)的音頻的位置。 從以上描述中可以看到，傳感器裝置的功能通過(guò)傳感器部10實(shí)現(xiàn)。此外，判斷裝 置的功能主要通過(guò)空間位置檢測(cè)部405實(shí)現(xiàn)。另外，輸出裝置的功能主要通過(guò)音頻處理器410、放大器部412和揚(yáng)聲器部30實(shí)現(xiàn)。(音頻輸出處理的示例2)(權(quán)利要求2) 接下來(lái)，將描述能夠通過(guò)本實(shí)施例的信息處理設(shè)備進(jìn)行的音頻輸出處理的示例2。 在示例2中，從與通過(guò)傳感器裝置檢測(cè)的由檢測(cè)對(duì)象物指定的三維坐標(biāo)相對(duì)應(yīng)的位置輸出 對(duì)應(yīng)于音頻信息的音頻。 換句話說(shuō)，雖然在以上示例1中根據(jù)通過(guò)傳感器部10檢測(cè)的三維坐標(biāo)中的二維坐 標(biāo)來(lái)控制要發(fā)出音頻的位置，但是在示例2中，根據(jù)通過(guò)傳感器部10檢測(cè)的三維坐標(biāo)來(lái)控 制要發(fā)出音頻的位置。(在距離方向(z軸方向)上的多個(gè)層) 圖11是用于說(shuō)明在本實(shí)施例中在傳感器部10的傳感器板10P上設(shè)置的層的圖。 在該實(shí)施例中，基于距傳感器板10P的表面的距離的差異，在作為在傳感器部10
的傳感器板10P上形成的三維坐標(biāo)空間的傳感器區(qū)域111中設(shè)置多個(gè)層。 在該實(shí)施例中，在傳感器區(qū)域111中，設(shè)置有三個(gè)層底層BL、中間層ML和頂層TL。 在這種情況下，如圖11所示，當(dāng)傳感器部10的傳感器板10P的表面位置是z軸的 原點(diǎn)0時(shí)，作為三個(gè)層BL、ML和TL的邊界的在z軸上的距離分別被設(shè)置成LP1、LP2和LP3。
因此，層BL 、 ML和TL的距離范圍被設(shè)置成0 <底層BL《LP 1 、 LP 1 <中間層 ML《LP2以及LP2 <頂層TL《LP3。 此外，在該示例中，在形成在傳感器部10的傳感器板10P上的傳感器區(qū)域111中，
可以根據(jù)檢測(cè)對(duì)象物(例如用戶的手)所屬的哪一層來(lái)改變虛擬聲源的位置。 此外，如上所述，在本實(shí)施例的信息處理設(shè)備中，通過(guò)使用波前合成技術(shù)形成虛擬
聲源。本文中將描述波前合成技術(shù)。(波前合成技術(shù)(產(chǎn)生并控制聲場(chǎng)的技術(shù))) 這里將描述波前合成技術(shù)(產(chǎn)生并控制聲場(chǎng)的技術(shù))。作為在三維空間中控制 聲場(chǎng)的方法，例如，存在在Yoshio Yamazaki的"Study on 3Dvirtual reality based on Kirchhoff integration equation" (AcousticLaboratory， Research Institute for Science and Engineering,WasedaUniversity)中所示的方法。該方法使用以下基爾霍夫 積分公式。 具體來(lái)說(shuō)，當(dāng)假設(shè)閉合表面S不包括聲場(chǎng)時(shí)，如圖12所示，該閉合表面S的聲場(chǎng)可 以由基爾霍夫積分公式表示。在圖12中，p(ri)表示閉合表面S中的點(diǎn)ri處的聲壓，p(rj) 表示閉合表面S上的點(diǎn)rj處的聲壓，n表示點(diǎn)rj處的法線，皿(rj)表示在法線n的方向上 的粒子速度，lri-rj I表示點(diǎn)ri與rj之間的距離。 基爾霍夫積分公式由圖13的等式(1)表示，意思是，如果閉合表面S上的聲壓 P(rj)和在法線n方向上的粒子速度皿(rj)可以被完全控制，則閉合表面S中的聲場(chǎng)可以 被完全再現(xiàn)。 應(yīng)當(dāng)注意到，等式(1)中的"表示角頻率，在聲音頻率由f表示時(shí)角頻率由"= 2Jif表示，p表示空氣密度，Gij由圖13的等式(2)表示。 等式(1)用于穩(wěn)定的聲場(chǎng)，但是通過(guò)控制聲壓p(rj)和粒子速度皿(rj)的瞬時(shí) 值，等式(1)可以用于瞬變聲場(chǎng)。
如上所述，在使用基爾霍夫積分公式來(lái)設(shè)計(jì)聲場(chǎng)時(shí)，僅需要再現(xiàn)虛擬閉合表面S 上的聲壓P(rj)和粒子速度皿(rj)。然而，在現(xiàn)實(shí)中，不可能控制閉合表面S上的所有連續(xù) 點(diǎn)處的聲壓p(rj)和粒子速度皿(rj)。因此，在聲壓p(rj)和粒子速度un(rj)在閉合表面 S的極小部分中恒定的假設(shè)下，閉合表面S被離散化。 當(dāng)在N個(gè)點(diǎn)處離散化閉合表面S時(shí)，圖13的等式(1)由圖13的等式(3)表示。通 過(guò)在閉合表面S上的N個(gè)點(diǎn)處再現(xiàn)聲壓p(rj)和粒子速度皿(rj)，可以完全再現(xiàn)閉合表面 S中的聲場(chǎng)。 作為使用M個(gè)聲源來(lái)再現(xiàn)N個(gè)聲壓p(rj)和粒子速度皿(rj)的系統(tǒng)，存在如圖14 中所示的系統(tǒng)。 在該系統(tǒng)中，來(lái)自信號(hào)源201的音頻信號(hào)經(jīng)由濾波器202被提供給揚(yáng)聲器203，在 控制區(qū)域204的邊界上的N個(gè)點(diǎn)處測(cè)量聲壓。通過(guò)雙麥克風(fēng)法根據(jù)聲壓信號(hào)近似獲得法線 方向上的粒子速度un (rj)。 這時(shí)，為了再現(xiàn)N個(gè)聲壓p(rj)和粒子速度皿(rj)，僅需要2N個(gè)點(diǎn)處的聲壓與原 始聲場(chǎng)相同。這歸結(jié)為獲得作為濾波器202的傳遞函數(shù)Hi(i = 1至M)的值的問(wèn)題，利用 這樣的值，2N個(gè)點(diǎn)處的聲壓最接近于原始聲場(chǎng)。 在這點(diǎn)上，再現(xiàn)聲場(chǎng)中的聲源i (i = 1至M)與聲音接收點(diǎn)j (j = 1至2N)之間的 傳遞函數(shù)由Cij表示，并且在聲源i前面的濾波器的傳遞函數(shù)由Hi表示。此外，利用由Pj 表示的原始聲場(chǎng)中的聲源與聲音接收點(diǎn)j之間傳遞函數(shù)，將討論如圖13的等式(4)中表示 的用于將再現(xiàn)聲場(chǎng)與原始聲場(chǎng)之間的差最小化的估計(jì)函數(shù)J。 僅需要求解圖13的等式(5)來(lái)獲得傳遞函數(shù)Hi，利用該傳遞函數(shù)Hi，由等式(4) 表示的評(píng)價(jià)函數(shù)J被最小化。 此外，作為基爾霍夫積分公式到半空間的擴(kuò)展，將考慮如圖15所示的情況在邊 界Sl的一側(cè)(圖中左手側(cè))的空間中設(shè)置聲源205，而在另一側(cè)(圖中右手側(cè))的空間中 設(shè)置不包括聲源的聲音接收區(qū)域206。 如果邊界Sl上的所有點(diǎn)處或如上所述的離散點(diǎn)處的聲壓和粒子速度受基爾霍夫 積分公式控制，則在不包括聲源的聲音接收區(qū)域206中可以實(shí)現(xiàn)希望的聲場(chǎng)。
具體來(lái)說(shuō)，如圖16所示，多個(gè)揚(yáng)聲器SP1、SP2、...和SPm被布置在某一有限長(zhǎng)度 的控制線(邊界線)S2的左手側(cè)，而多個(gè)控制點(diǎn)C1、C2、...和Ck被設(shè)置在控制線S2上。 因此，控制點(diǎn)Cl、 C2、...和Ck處的聲壓(幅度)和相位被控制。 結(jié)果，在控制線S2的右手側(cè)的聲音接收區(qū)域中，收聽(tīng)者207可以聽(tīng)到來(lái)自揚(yáng)聲器 SP1、 SP2、...和SPm的聲音，該聲音如同來(lái)自控制線S2的左手側(cè)的虛擬點(diǎn)聲源(虛擬聲 源)208的聲音。 這里，如圖16所示，在控制線S2的右手側(cè)的聲音接收區(qū)域是揚(yáng)聲器SP1、 SP2、...和SPm的另一側(cè)的區(qū)域，并且控制線S2的左手側(cè)是揚(yáng)聲器SP1、SP2、...和SPm側(cè)。
通過(guò)這樣控制提供給揚(yáng)聲器的音頻信號(hào)的相位和聲壓(聲壓等級(jí))，可以產(chǎn)生并 控制希望的聲場(chǎng)。換句話說(shuō)，通過(guò)使用波前合成技術(shù)來(lái)控制提供給陣列揚(yáng)聲器中的揚(yáng)聲器 的音頻信號(hào)的相位和聲壓，基于從揚(yáng)聲器部30的揚(yáng)聲器發(fā)出的音頻的聲音圖像可以被導(dǎo) 向希望的位置。 在這種情況下，在圖像中，從揚(yáng)聲器發(fā)出的音頻被導(dǎo)向(聚焦)到目標(biāo)位置(聲音
17的焦點(diǎn))，如同將光聚焦到目標(biāo)位置的情況一樣。 在示例2的情況下，為了對(duì)聲音圖像進(jìn)行導(dǎo)向，圖6中所示的處理設(shè)備部40的聲 場(chǎng)控制器411根據(jù)來(lái)自傳感器部10的三維坐標(biāo)來(lái)控制音頻處理器410中分別與揚(yáng)聲器相 對(duì)應(yīng)的數(shù)字濾波器的系數(shù)。 更具體地說(shuō)，收聽(tīng)者位置被設(shè)置在形成的聲場(chǎng)中，獲得從目標(biāo)虛擬聲源到該收聽(tīng) 者位置的傳遞函數(shù)，使得聲場(chǎng)控制器411基于該傳遞函數(shù)來(lái)控制音頻處理器410的數(shù)字濾 波器的系數(shù)。 在這種情況下，聲場(chǎng)控制器411存儲(chǔ)必要的參數(shù)(例如濾波器系數(shù))，其與對(duì)應(yīng)于 可能的虛擬聲源的傳遞函數(shù)相對(duì)應(yīng)。此外，聲場(chǎng)控制器411能夠通過(guò)根據(jù)目標(biāo)虛擬聲源的 位置而改變提供給包括在音頻處理器410中的數(shù)字濾波器電路的參數(shù)來(lái)將聲音圖像導(dǎo)向 到目標(biāo)虛擬聲源的位置。 更具體地說(shuō)，在示例2中，如參照?qǐng)D11所描述的那樣，根據(jù)距傳感器板10P的距離 來(lái)設(shè)置底層BL、中間層ML和頂層TL這三層。此外，對(duì)于每層，在橫向(x軸方向)上設(shè)置三 個(gè)區(qū)域Rl至R3，如參照?qǐng)D7所描述的那樣。 圖17是用于說(shuō)明在示例2中設(shè)置的虛擬聲源的示例的圖。在圖17中，聲場(chǎng)AF是 由從揚(yáng)聲器部30發(fā)出的音頻形成的聲場(chǎng)。 在圖17中所示的示例中，收聽(tīng)者位置L被設(shè)置在與揚(yáng)聲器部30的聲音發(fā)出表面 相對(duì)的位置處。虛擬聲源P1L、P1C和P1R被設(shè)置在收聽(tīng)者位置L的后面。此外，虛擬聲源 P2L、 P2C和P2R從收聽(tīng)者位置L稍微后置，并且虛擬聲源P3L、 P3C和P3R被設(shè)置在收聽(tīng)者 位置L的前方。 在聲場(chǎng)控制器411中準(zhǔn)備有要提供給音頻處理器410中對(duì)應(yīng)于各揚(yáng)聲器的數(shù)字濾 波器的參數(shù)，用于將聲音圖像導(dǎo)向到虛擬聲源P1L、P1C、P1R、P2L、P2C、P2R、P3L、P3C和P3R。
當(dāng)檢測(cè)對(duì)象物(例如用戶的手)靠近傳感器板10P時(shí)，由檢測(cè)對(duì)象物指定的三維 坐標(biāo)被傳感器部10檢測(cè)，并被提供給處理設(shè)備部40。 然后，基于該三維坐標(biāo)，空間位置檢測(cè)部405判斷該三維坐標(biāo)所屬的層和在該層 中的區(qū)域(二維坐標(biāo)區(qū)域)。換句話說(shuō)，空間位置檢測(cè)部405判斷來(lái)自傳感器部10的三維 坐標(biāo)屬于底層BL、中間層ML和頂層TL中的哪一層以及在該層中如圖7中所示的區(qū)域R1至 R3中的哪個(gè)區(qū)域。 其后，空間位置檢測(cè)部405基于判斷結(jié)果例如經(jīng)由CPU 401來(lái)控制聲場(chǎng)控制器 411。然后，在空間位置檢測(cè)部405的控制下，聲場(chǎng)控制器411為音頻處理器410的數(shù)字濾 波器設(shè)置參數(shù)，以將聲音圖像導(dǎo)向到目標(biāo)虛擬聲源的位置。 具體來(lái)說(shuō)，當(dāng)判斷作為來(lái)自傳感器部10的檢測(cè)輸出的三維坐標(biāo)屬于頂層TL的區(qū) 域R1時(shí)，聲音圖像被導(dǎo)向到圖17中所示的虛擬聲源P1L。 此外，當(dāng)判斷作為來(lái)自傳感器部10的檢測(cè)輸出的三維坐標(biāo)屬于頂層TL的區(qū)域R2 時(shí)，聲音圖像被導(dǎo)向到圖17中所示的虛擬聲源P1C。 此外，當(dāng)判斷作為來(lái)自傳感器部10的檢測(cè)輸出的三維坐標(biāo)屬于頂層TL的區(qū)域R3 時(shí)，聲音圖像被導(dǎo)向到圖17中所示的虛擬聲源P1R。 相似地，當(dāng)判斷作為來(lái)自傳感器部10的檢測(cè)輸出的三維坐標(biāo)屬于中間層ML的區(qū) 域R1時(shí)，聲音圖像被導(dǎo)向到圖17中所示的虛擬聲源P2L。
18
此外，當(dāng)判斷作為來(lái)自傳感器部IO的檢測(cè)輸出的三維坐標(biāo)屬于中間層ML的區(qū)域 R2時(shí)，聲音圖像被導(dǎo)向到圖17中所示的虛擬聲源P2C。 此外，當(dāng)判斷作為來(lái)自傳感器部IO的檢測(cè)輸出的三維坐標(biāo)屬于中間層ML的區(qū)域 R3時(shí)，聲音圖像被導(dǎo)向到圖17中所示的虛擬聲源P2R。 相似地，當(dāng)判斷作為來(lái)自傳感器部10的檢測(cè)輸出的三維坐標(biāo)屬于底層BL的區(qū)域 Rl時(shí)，聲音圖像被導(dǎo)向到圖17中所示的虛擬聲源P3L。 此外，當(dāng)判斷作為來(lái)自傳感器部10的檢測(cè)輸出的三維坐標(biāo)屬于底層BL的區(qū)域R2 時(shí)，聲音圖像被導(dǎo)向到圖17中所示的虛擬聲源P3C。 此外，當(dāng)判斷作為來(lái)自傳感器部10的檢測(cè)輸出的三維坐標(biāo)屬于底層BL的區(qū)域R3 時(shí)，聲音圖像被導(dǎo)向到圖17中所示的虛擬聲源P3R。 如上所述，在示例2中，可以根據(jù)由檢測(cè)對(duì)象物(例如用戶的手)指定的層來(lái)改變 發(fā)出音頻的位置。 在這種情況下，虛擬聲源的位置也可以根據(jù)檢測(cè)對(duì)象物所屬的層而在z軸方向上 改變。 從以上描述可以看到，在示例2中，傳感器裝置的功能通過(guò)傳感器部10實(shí)現(xiàn)。此 外，判斷裝置的功能主要通過(guò)空間位置檢測(cè)部405實(shí)現(xiàn)。此外，輸出裝置的功能通過(guò)音頻處 理器410、聲場(chǎng)控制器411、放大器部412和揚(yáng)聲器部30實(shí)現(xiàn)。
(音頻輸出處理的示例2的修改示例)(權(quán)利要求3) 應(yīng)當(dāng)注意到，參照?qǐng)D17所描述的虛擬聲源的設(shè)置位置僅是示例，虛擬聲源的各種 其它設(shè)置位置也是可能的。 例如，在由檢測(cè)對(duì)象物指定的位置屬于頂層TL時(shí)，聲音圖像被導(dǎo)向到虛擬聲源 P1C，而不考慮在二維坐標(biāo)區(qū)域中設(shè)置在每層中的區(qū)域。此外，在由檢測(cè)對(duì)象物指定的位置 屬于中間層ML時(shí)，聲音圖像被導(dǎo)向到虛擬聲源P2C。此外，在由檢測(cè)對(duì)象物指定的位置屬于 底層BL時(shí)，聲音圖像被導(dǎo)向到虛擬聲源P3C。 如上所述，可以為每層設(shè)置單獨(dú)的虛擬聲源，并從根據(jù)由檢測(cè)對(duì)象物(例如手)指 定的位置所屬的層而確定的虛擬聲源發(fā)出音頻。 此外，能夠利用空間位置檢測(cè)部405的功能準(zhǔn)確地判斷來(lái)自傳感器部10的三維坐 標(biāo)屬于哪一層以及該層的二維坐標(biāo)區(qū)域中的哪個(gè)地方被指定。 假定檢測(cè)對(duì)象物是用戶的手，還能夠根據(jù)由來(lái)自傳感器部10的三維坐標(biāo)指示的 位置來(lái)估計(jì)該用戶的頭的位置。 換句話說(shuō)，利用用戶的高度可以根據(jù)用戶的手的位置來(lái)估計(jì)的結(jié)果，可以根據(jù)來(lái) 自傳感器部10的三維坐標(biāo)來(lái)估計(jì)用戶的手的位置(例如，用戶的肩部距地面的高度)。
此外，考慮成人的手長(zhǎng)度的均值等，可以根據(jù)來(lái)自傳感器部10的三維坐標(biāo)來(lái)估計(jì) 從傳感器板10P的表面到用戶的近似距離。 基于所估計(jì)的用戶的高度以及從傳感器板10P的表面到用戶的近似距離，能夠估 計(jì)用戶相對(duì)于傳感器板10P的位置(用戶的頭的位置)。 此外，可以根據(jù)所估計(jì)的用戶的位置將虛擬聲源設(shè)置在用戶的頭(耳朵)的附近， 并將聲音圖像導(dǎo)向到該虛擬聲源。這樣，可以順利地僅向相對(duì)于傳感器板10P而移動(dòng)他/ 她的手的用戶發(fā)出音頻。
在這種情況下，基于空間位置檢測(cè)部405的檢測(cè)結(jié)果，CPU 401可以進(jìn)行對(duì)用戶的 位置的估計(jì)。并且，CPU 401可以進(jìn)行根據(jù)所估計(jì)的用戶的位置來(lái)指定虛擬聲源的位置的 處理。 在這種情況下，通過(guò)預(yù)先創(chuàng)建其中用戶的位置(頭的位置)與虛擬聲源的位置彼
此關(guān)聯(lián)的表，能夠基于所估計(jì)的用戶的位置唯一地指定虛擬聲源的位置。 還在該情況下，例如，聲場(chǎng)控制器411根據(jù)該虛擬聲源來(lái)存儲(chǔ)參數(shù)，例如，在音頻
處理器410的對(duì)應(yīng)于各揚(yáng)聲器的數(shù)字濾波器中設(shè)置的系數(shù)。 因此，可以根據(jù)基于所估計(jì)的用戶的位置而設(shè)置的虛擬聲源的位置來(lái)為音頻處理
器410的數(shù)字濾波器設(shè)置適當(dāng)?shù)南禂?shù)，并將聲音圖像導(dǎo)向到所設(shè)置的虛擬聲源。 從以上描述可以看出，在示例2的修改示例中，用于估計(jì)用戶的位置的估計(jì)裝置
的功能通過(guò)空間位置檢測(cè)部405和CPU 401實(shí)現(xiàn)。應(yīng)當(dāng)注意到，還在該修改示例中，傳感器
裝置的功能通過(guò)傳感器部10實(shí)現(xiàn)，判斷裝置的功能通過(guò)空間位置檢測(cè)部405實(shí)現(xiàn)，輸出裝
置的功能通過(guò)音頻處理器410、聲場(chǎng)控制器411、放大器部412和揚(yáng)聲器部30實(shí)現(xiàn)。(音頻輸出處理的示例2的操作概述) 接下來(lái)，將使用圖18和圖19的流程圖對(duì)音頻輸出處理的示例2進(jìn)行概述。圖18 是用于說(shuō)明由處理設(shè)備部40的空間位置檢測(cè)部405進(jìn)行的傳感器值檢測(cè)處理2的流程圖。 此外，圖19是用于說(shuō)明主要由處理設(shè)備部40的空間位置檢測(cè)部405進(jìn)行的音頻輸出處理 2的流程圖。 圖18所示的處理是以預(yù)定間隔重復(fù)地由空間位置檢測(cè)部405進(jìn)行的處理，如同參 照?qǐng)D9所描述的傳感器值檢測(cè)處理1一樣。在圖9中所示的傳感器值檢測(cè)處理1中，檢測(cè) 作為x軸和y軸上的峰值的X和Y。然而，在圖18中所示的傳感器值檢測(cè)處理2中，檢測(cè)作 為x軸、y軸和z軸上的峰值的X、 Y和Z。 因此，在圖18中所示的處理中，在步驟S301和S302中進(jìn)行與圖9中的步驟S101 和S102的處理相同的處理。換句話說(shuō)，空間位置檢測(cè)部405首先判斷是否經(jīng)由1/0端口 404接收到來(lái)自傳感器部10的輸出值(傳感器數(shù)據(jù)(步驟S301)。 步驟S301的判斷處理是判斷檢測(cè)對(duì)象物(例如用戶的手)是否相對(duì)于傳感器部 10的傳感器板表面移動(dòng)的處理。更具體地說(shuō)，該判斷處理是判斷經(jīng)由1/0端口 404接收到 的來(lái)自傳感器部10的檢測(cè)輸出是否已被如上所述地存儲(chǔ)在ROM 402中的處理。
當(dāng)在步驟S301的判斷處理中判斷沒(méi)有來(lái)自傳感器部10的輸出值時(shí)，結(jié)束圖18中 所示的處理以等待下一個(gè)執(zhí)行定時(shí)。當(dāng)在步驟S301的判斷處理中判斷有來(lái)自傳感器部IO 的輸出值時(shí)，空間位置檢測(cè)部405進(jìn)行使由處理設(shè)備部40接收到的來(lái)自傳感器部10的輸 出值平滑的處理(步驟S302)。 步驟S302的處理是計(jì)算來(lái)自傳感器部10的多個(gè)檢測(cè)值(多個(gè)樣本)的均值以提 高檢測(cè)值的準(zhǔn)確度的處理。 然后，空間位置檢測(cè)部405檢測(cè)三維坐標(biāo)空間中x軸方向上的值、y軸方向上的值 以及z軸方向上的值的峰值X、Y和Z(S303)。具體來(lái)說(shuō)，如上所述，由于來(lái)自傳感器部10的 輸出值是縱向和橫向的合成值，因此其值變?yōu)樽畲蟮狞c(diǎn)被用作檢測(cè)值(坐標(biāo)值)。然后，結(jié) 束圖18中所示的處理以等待下一個(gè)執(zhí)行定時(shí)。 如上所述，空間位置檢測(cè)部405基于來(lái)自傳感器部10的檢測(cè)輸出來(lái)檢測(cè)三維坐標(biāo)空間中由檢測(cè)對(duì)象物(例如用戶的手)指定的位置(坐標(biāo))。 指示所檢測(cè)的三維坐標(biāo)空間中的位置(坐標(biāo))的信息(峰值)被暫時(shí)存儲(chǔ)在空間 位置檢測(cè)部405內(nèi)的寄存器、RAM 403等中。 接下來(lái)，空間位置檢測(cè)部405進(jìn)行圖19中所示的音頻輸出處理2。首先，空間位置 檢測(cè)部405獲得在圖18中所示的處理中檢測(cè)到的峰值(指示三維坐標(biāo)空間中的位置(坐 標(biāo))的信息)(步驟S401)。 然后，空間位置檢測(cè)部405判斷所獲得的峰值的強(qiáng)度是否為某一值或更大(步驟 S402)。與圖10中所示的步驟S202的處理相似的是，步驟S402的處理是用于防止以下情 形的處理，在該情形中，例如甚至用戶的手意外地靠近傳感器部10的傳感器板表面的情形 都成為該處理的目標(biāo)。 當(dāng)在步驟402的判斷處理中判斷所獲得的峰值的強(qiáng)度小于某一值時(shí)，空間位置檢 測(cè)部405結(jié)束圖19中所示的處理，并等待下一個(gè)執(zhí)行定時(shí)。 當(dāng)在步驟S402的判斷處理中判斷所獲得的峰值的強(qiáng)度是某一值或更大時(shí)，空間 位置檢測(cè)部405判斷由所獲得的峰值指示的三維坐標(biāo)(所指定的位置)所屬的三維坐標(biāo)空 間中的設(shè)置區(qū)域(步驟S403)。 步驟S403的判斷處理是判斷由所獲得的峰值指示的三維坐標(biāo)屬于哪一層的哪個(gè) 區(qū)域(區(qū)域Rl至R3)的處理，如參照?qǐng)D7和圖11所描述的那樣。 然后，空間位置檢測(cè)部405經(jīng)由CPU 401基于步驟S403的判斷結(jié)果來(lái)指定虛擬聲 源的位置并經(jīng)由聲場(chǎng)控制器411來(lái)控制音頻處理器410的數(shù)字濾波器(步驟S404)。
具體來(lái)說(shuō)，基于波前合成技術(shù)，聲場(chǎng)控制器411控制音頻處理器410中對(duì)應(yīng)于各揚(yáng) 聲器的數(shù)字濾波器的系數(shù)，并利用作為虛擬聲源的與由用戶指定的位置相對(duì)應(yīng)的位置發(fā)出 再現(xiàn)音頻。 然后，結(jié)束圖19中所示的處理，并且空間位置檢測(cè)部405等待圖19中所示的處理 的下一個(gè)執(zhí)行定時(shí)。 如上所述，在音頻輸出處理的示例2的情況下，為了簡(jiǎn)要地對(duì)其進(jìn)行描述，根據(jù)檢 測(cè)對(duì)象物(例如用戶的手)在三維坐標(biāo)空間中的位置來(lái)指定要發(fā)出音頻的虛擬聲源。然 后，使用波前合成技術(shù)，音頻信息經(jīng)處理，使得從揚(yáng)聲器部30發(fā)出音頻，如同該音頻從所指 定的虛擬聲源發(fā)出一樣。(音頻輸出處理的示例3)(權(quán)利要求6) 接下來(lái)，將描述能夠由本實(shí)施例的信息處理設(shè)備進(jìn)行的音頻輸出處理的示例3。在
示例3中，存儲(chǔ)裝置為設(shè)置在多個(gè)層中的每層中的每個(gè)區(qū)域存儲(chǔ)音頻信息。 檢測(cè)對(duì)象物(例如用戶的手)經(jīng)過(guò)的層以及檢測(cè)對(duì)象物到達(dá)的層被指定。將存儲(chǔ)
裝置存儲(chǔ)的、與檢測(cè)對(duì)象物經(jīng)過(guò)的層中的區(qū)域相對(duì)應(yīng)的音頻信息以及與檢測(cè)對(duì)象物到達(dá)的
層中的區(qū)域相對(duì)應(yīng)的音頻信息混合以將其輸出。(層以及層中的區(qū)域) 圖20是用于說(shuō)明如參照?qǐng)D11所描述的那樣設(shè)置的三個(gè)層以及在示例3中設(shè)置在 每層中的區(qū)域的圖。 如參照?qǐng)D11所描述的，還在示例3中，根據(jù)距傳感器板10P的表面的距離的差來(lái) 設(shè)置底層BL、中間層ML和頂層TL這三層，如圖20所示。
如圖20所示，在每層中，該層的二維坐標(biāo)區(qū)域(x-y平面)在水平方向和豎直方向 被一分為二，以便設(shè)置4個(gè)大的區(qū)域。 具體來(lái)說(shuō)，在圖20的示例中，設(shè)置在每層中的是由實(shí)線Ll圍成的左上區(qū)域LU、 由實(shí)線Rl圍成的右上區(qū)域RU、由實(shí)線L2圍成的左下區(qū)域LD，以及由實(shí)線R2圍成的右下區(qū) 域RD。此外，如圖20所示，區(qū)域LU、RU、LD和RD在邊界部分(交疊部分)處相互交疊。
在示例3中，不同的音頻信息片段被分配給每層中的這些區(qū)域。如上所述，分配給 層中的每個(gè)區(qū)域的音頻信息被存儲(chǔ)在音頻信息存儲(chǔ)部407中。 圖21是用于說(shuō)明存儲(chǔ)在音頻信息存儲(chǔ)部407中的音頻信息的結(jié)構(gòu)的圖。在示例3 中，音頻信息存儲(chǔ)部407存儲(chǔ)要被再現(xiàn)的特定于層、特定于區(qū)域的音頻信息，如圖21所示。
此外，如圖21所示，伴奏部的音頻信息被分配給頂層TL。具體來(lái)說(shuō)，弦樂(lè)器的高音 部的音頻信息被分配給頂層TL的左上區(qū)域LU，銅管樂(lè)器的高音部的音頻信息被分配給頂 層TL的右上區(qū)域RU。 此外，弦樂(lè)器的低音部的音頻信息被分配給頂層TL的左下區(qū)域LD，并且銅管樂(lè)器 的低音部的音頻信息被分配給頂層TL的右下區(qū)域RD。 此外，如圖21所示，伴奏部和獨(dú)奏部的部分的音頻信息被分配給中間層ML。具體 來(lái)說(shuō)，弦樂(lè)器的音頻信息(全音階)和長(zhǎng)笛的高音部的音頻信息被分配給中間層ML的左上 區(qū)域LU。并且，銅管樂(lè)器的音頻信息(全音階)和木琴的高音部的音頻信息被分配給中間 層ML的右上區(qū)域RU。 此外，弦樂(lè)器的音頻信息(全音階)和木管樂(lè)器的低音部的音頻信息被分配給中 間層ML的左下區(qū)域LD，銅管樂(lè)器的音頻信息(全音階)和女聲(女音)的低音部的音頻信 息被分配給中間層ML的右下區(qū)域RD。 此外，如圖21所示，獨(dú)奏部的音頻信息被分配給底層BL。具體來(lái)說(shuō)，豎琴和長(zhǎng)笛的 音頻信息被分配給底層BL的左上區(qū)域LU，并且豎琴和木琴的音頻信息被分配給底層BL的 右上區(qū)域RU。 此外，木管樂(lè)器和女聲的音頻信息被分配給底層BL的左下區(qū)域LD，并且木琴和女 聲的音頻信息被分配給底層BL的右下區(qū)域RD。應(yīng)當(dāng)注意到，分配給底層BL的每個(gè)區(qū)域的 獨(dú)奏部的音頻信息用于全音階。 如上所述，在示例3中，分別分配給三層中的12個(gè)區(qū)域的12個(gè)聲道的音頻信息 (音樂(lè)文件)的片段被存儲(chǔ)在音頻信息存儲(chǔ)部407中。 還在示例3中，當(dāng)檢測(cè)對(duì)象物(例如用戶的手)靠近傳感器板10P的表面時(shí)，傳感 器部10輸出由檢測(cè)對(duì)象物指定的位置的三維坐標(biāo)。 然后，空間位置檢測(cè)部405判斷由檢測(cè)對(duì)象物(例如用戶的手)指定的位置屬于 哪個(gè)區(qū)域(哪個(gè)層以及該層中的哪個(gè)區(qū)域)?；谂袛嘟Y(jié)果，CPU 401控制音頻處理器410 進(jìn)行音頻信息混合處理。 例如，在如參照?qǐng)D20所描述的那樣設(shè)置層以及層中的區(qū)域的情況下，在用戶的手 等位于頂層TL的左上區(qū)域LU中時(shí)，從揚(yáng)聲器部30輸出弦樂(lè)器的高音部的音頻信息。
此夕卜，當(dāng)用戶的手等到達(dá)中間層ML的左上區(qū)域LU時(shí)，從揚(yáng)聲器部30發(fā)出與通過(guò) 混合所有弦樂(lè)器的高音部的音頻信息、弦樂(lè)器的音頻信息(全音階)以及長(zhǎng)笛的高音部的 音頻信息而獲得的音頻信息相對(duì)應(yīng)的音頻。
此外，當(dāng)用戶的手等到達(dá)底層BL的左上區(qū)域LU時(shí)，從揚(yáng)聲器部30發(fā)出與通過(guò)混
合所有弦樂(lè)器的高音部的音頻信息、弦樂(lè)器的音頻信息(全音階)、長(zhǎng)笛的高音部的音頻信
息、豎琴的音頻信息以及長(zhǎng)笛的音頻信息而獲得的音頻信息相對(duì)應(yīng)的音頻。 如上所述，在示例3中，如參照?qǐng)D20和圖21所描述的那樣，使用存儲(chǔ)在音頻信息
存儲(chǔ)部407中針對(duì)設(shè)置在多個(gè)層中的每層中的各區(qū)域的音頻信息的片段。 此外，指定檢測(cè)對(duì)象物(例如用戶的手)經(jīng)過(guò)的層以及檢測(cè)對(duì)象物到達(dá)的層。然
后，存儲(chǔ)在音頻信息存儲(chǔ)部407中的、與檢測(cè)對(duì)象物經(jīng)過(guò)的層中的區(qū)域相對(duì)應(yīng)的音頻信息
以及與檢測(cè)對(duì)象物到達(dá)的層中的區(qū)域相對(duì)應(yīng)的音頻信息被音頻處理器410混合并被輸出。 如上所述，可以基于檢測(cè)對(duì)象物(例如用戶的手)相對(duì)于傳感器部10的傳感器板
10P的位置來(lái)選擇需要的音頻信息的片段。另外，可以將所選音頻信息的片段混合，并且可
以發(fā)出對(duì)應(yīng)于混合音頻信息的音頻。 接下來(lái)，將詳細(xì)地描述示例3中進(jìn)行的音頻信息混合處理。圖22是示意性地示出本實(shí)施例中的信息處理設(shè)備中接收用戶操作并向用戶提供信息的部分的結(jié)構(gòu)的圖。此外，圖23是用于說(shuō)明在音頻信息混合處理過(guò)程中進(jìn)行的計(jì)算的圖。 如圖22所示，接收用戶操作并向用戶提供信息的部分例如對(duì)應(yīng)于顯示器部20、設(shè)置在顯示器部20前方的傳感器板10P以及設(shè)置在顯示器部20上部的揚(yáng)聲器部30。
在檢測(cè)對(duì)象物(例如用戶的手)靠近傳感器板10P時(shí)，包括傳感器板10P的傳感器部10能夠檢測(cè)由檢測(cè)對(duì)象物指定的位置的三維坐標(biāo)并將該三維坐標(biāo)輸出給處理設(shè)備部40。 在示例3中，即使用戶沒(méi)有相對(duì)于傳感器板10P移動(dòng)他/她的手，存儲(chǔ)在音頻信息存儲(chǔ)部407中的12個(gè)聲道的音頻信息的片段被一直反復(fù)地再現(xiàn)。 換句話說(shuō)，如參照?qǐng)D21所描述的，CPU 401讀出存儲(chǔ)在音頻信息存儲(chǔ)部407中的12個(gè)聲道的音頻信息的片段，并將它們提供給音頻處理器410。然而這時(shí)，音頻處理器410不進(jìn)行音頻信息混合處理，并且由此不從揚(yáng)聲器部30輸出對(duì)應(yīng)于音頻信息的音頻。
當(dāng)檢測(cè)對(duì)象物(例如用戶的手)靠近傳感器部10的傳感器板10P時(shí)，傳感器部10檢測(cè)由檢測(cè)對(duì)象物指定的位置的三維坐標(biāo)并將該三維坐標(biāo)提供給處理設(shè)備部40。
在這種情況下，空間位置檢測(cè)部405根據(jù)來(lái)自傳感器部10的三維坐標(biāo)獲得要用于音頻信息混合處理的經(jīng)調(diào)整的三維坐標(biāo)。然后，空間位置檢測(cè)部405判斷經(jīng)調(diào)整的三維坐標(biāo)所屬的傳感器區(qū)域(三維坐標(biāo)空間)中的區(qū)域。 此外，空間位置檢測(cè)部405基于對(duì)經(jīng)調(diào)整的三維坐標(biāo)所屬的區(qū)域進(jìn)行判斷的結(jié)果
來(lái)判斷在傳感器區(qū)域(由傳感器部io形成的三維坐標(biāo)空間，在該三維坐標(biāo)空間中可以檢測(cè)
坐標(biāo))中用戶的手等經(jīng)過(guò)的區(qū)域以及用戶的手等到達(dá)的區(qū)域。 然后，基于判斷結(jié)果，空間位置檢測(cè)部405判斷分配給哪個(gè)區(qū)域的哪個(gè)音頻信息要被輸出，并向音頻處理器410通知該判斷結(jié)果。 基于來(lái)自空間位置檢測(cè)部405的判斷結(jié)果，音頻處理器410改變關(guān)于要被輸出的音頻信息的片段的混合音量(混合調(diào)整值)。因此，要被輸出的音頻信息的片段被音頻處理器410混合，并經(jīng)由放大器部412提供給揚(yáng)聲器部30，使得發(fā)出與由檢測(cè)對(duì)象物(例如用戶的手)指定的位置相對(duì)應(yīng)的音頻。 在示例3中，如在圖23的等式(1)中表示的，作為來(lái)自傳感器部10的檢測(cè)輸出的三維坐標(biāo)v由(X， Y， Z)表示，并且作為在音頻信息混合處理中使用的參數(shù)的混合參數(shù)v由(x， y， z)表示。 使用從傳感器部10提供的三維坐標(biāo)V，空間位置檢測(cè)部405獲得混合參數(shù)v，作為要在音頻信息混合處理中使用的經(jīng)調(diào)整的三維坐標(biāo)。 具體來(lái)說(shuō)，空間位置檢測(cè)部405使用圖23的等式(3)獲得x軸上的混合參數(shù)v的坐標(biāo)值x。在等式(3)中，x'表示在先前步驟中的x的值。此外，a表示預(yù)定值，該預(yù)定值例如是如圖23中所示的值"O. 00004"。 相似地，利用圖23的等式(4)獲得y軸上的混合參數(shù)v的坐標(biāo)值y。在等式(4)中，y'表示在先前步驟中的y的值。此外，a表示預(yù)定值，該預(yù)定值例如是如圖23中所示的值"O. 00004"。 此外，利用圖23的等式(5)獲得z軸上的混合參數(shù)v的坐標(biāo)值z(mì)。在等式(5)中，z'表示在先前步驟中的z的值。此外，a l表示預(yù)定值，并且使用與用于獲得坐標(biāo)值x和y的值a不同的值，如圖23所示。這是因?yàn)樽鴺?biāo)值z(mì)是在與x軸和y軸相正交的坐標(biāo)軸上的值。 應(yīng)當(dāng)注意到，作為用于z軸的系數(shù)的a l基于(Z-z')的值的正/負(fù)來(lái)改變其值。當(dāng)(Z-z' ) >0時(shí)，al被設(shè)置為0.0006，而當(dāng)(Z-z' ) < 0時(shí)，a 1被設(shè)置成0. 000015。
這種設(shè)置的原因是因?yàn)?，?dāng)檢測(cè)對(duì)象物(例如手)遠(yuǎn)離傳感器部10時(shí)，更加期望使這種改變減慢(延長(zhǎng)釋放)。 應(yīng)當(dāng)注意到，上述a和a 1的值并不限于以上描述的那些值，當(dāng)然可以使用各種其它值來(lái)替代。 如上所述，在考慮先前步驟中的混合參數(shù)v，的同時(shí)，通過(guò)進(jìn)行使用值a和a 1作為指數(shù)的運(yùn)算來(lái)獲得混合參數(shù)v = (x， y， z)，并且基于所獲得的混合參數(shù)v來(lái)判斷由用戶指定的位置所屬的區(qū)域?；谂袛嘟Y(jié)果，指定要被混合的音頻信息的片段，調(diào)整混合音量，并發(fā)出對(duì)應(yīng)于混合音頻信息的音頻。 因此，混合參數(shù)v(以指數(shù)形式)以小的延時(shí)跟隨來(lái)自傳感器部10的三維坐標(biāo)V
的移動(dòng)。然后，根據(jù)音頻信息的采樣頻率(例如，48kHz)重復(fù)圖23中所示的計(jì)算，使得即使
在要使用的音頻信息基于用戶的手等的移動(dòng)而改變的情況下也可以順暢地發(fā)出音頻。(所指定的位置大幅度地移動(dòng)的情況下進(jìn)行的處理)(權(quán)利要求7) 當(dāng)檢測(cè)對(duì)象物(例如用戶的手)相對(duì)于傳感器部10的傳感器板10P的表面移動(dòng)
時(shí)，檢測(cè)對(duì)象物可以逐漸并連續(xù)地移動(dòng)，或者可以突然大幅度地移動(dòng)到遠(yuǎn)的位置。 在前者情況下，由于在音頻信息混合處理中使用的混合參數(shù)v通過(guò)參照?qǐng)D23所描
述的計(jì)算處理而順暢地跟隨實(shí)際檢測(cè)輸出(三維坐標(biāo))v，因此可以防止再現(xiàn)音頻變得不自
然。而且，在后者情況下，通過(guò)參照?qǐng)D23所描述的計(jì)算處理可以防止再現(xiàn)音頻變得不自然。 圖24至圖26是用于說(shuō)明在所指定的位置大幅度地移動(dòng)的情況下進(jìn)行的處理的
圖。具體來(lái)說(shuō)，圖24是用于說(shuō)明檢測(cè)對(duì)象物(例如用戶的手)在由傳感器部10形成的傳
感器區(qū)域(三維坐標(biāo)空間)中突然大幅度地移動(dòng)的情況的示例的圖。 此夕卜，圖25是示出用于說(shuō)明在檢測(cè)對(duì)象物(例如用戶的手)在由傳感器部10形成的傳感器區(qū)域(三維坐標(biāo)空間)中突然大幅度地移動(dòng)的情況下參數(shù)的改變的性質(zhì)的計(jì)算表達(dá)式的圖。此外，圖26是示出通過(guò)圖25中示出的計(jì)算表達(dá)式獲得的混合參數(shù)v改變的狀態(tài)的示例的圖。 如圖24所示，將討論指定位置VI (Xl， Yl， Zl)的檢測(cè)對(duì)象物(例如用戶的手)突然移動(dòng)到位置V2(X2，Y2，Z2)的情況。在這種情況下，在二維坐標(biāo)區(qū)域(x-y平面)中的位置可以在一層中改變，或者在x-y平面中的位置以及該位置所屬的層可以都改變。
如圖24所示，當(dāng)由檢測(cè)對(duì)象物(例如用戶的手)指定的位置大幅度地移動(dòng)到不同區(qū)域時(shí)，混合參數(shù)v(x， y， z)的移動(dòng)實(shí)際上變成指數(shù)函數(shù)。 具體來(lái)說(shuō)，當(dāng)由檢測(cè)對(duì)象物(例如用戶的手)指定的位置大幅度地移動(dòng)時(shí)，混合參數(shù)v(x， y， z)具有圖25中所示的計(jì)算表達(dá)式中表示的形式。 換句話說(shuō)，空間位置檢測(cè)部405可以基于來(lái)自傳感器部10的三維坐標(biāo)來(lái)判斷由檢測(cè)對(duì)象物(例如用戶的手)指定的位置是否大幅度地移動(dòng)。 例如，當(dāng)檢測(cè)到檢測(cè)對(duì)象物移動(dòng)到不同的區(qū)域(如在圖20中所示的每層中設(shè)置四個(gè)區(qū)域時(shí)從右下區(qū)域RD到左上區(qū)域LU那樣)時(shí)，檢測(cè)對(duì)象物可以在同一層中移動(dòng)或者可以移動(dòng)到不同的層。 在這種情況下，如在圖25的等式(1)中所表示的，在移動(dòng)之前由三維坐標(biāo)指示的位置(起點(diǎn))由VI = (Xl， Yl， Zl)表示，而在移動(dòng)之后由三維坐標(biāo)指示的位置(終點(diǎn))由V2 = (X2， Y2， Z2)表示。 由空間位置檢測(cè)部405獲得的混合參數(shù)v的性質(zhì)可以由圖25的等式(3)至(5)表示。換句話說(shuō)，在移動(dòng)大時(shí)，混合參數(shù)v在x軸上的坐標(biāo)值x(t)的性質(zhì)可以由圖25的等式(3)表示。 相似地，在移動(dòng)大時(shí)，混合參數(shù)v在y軸上的坐標(biāo)值y (t)的性質(zhì)可以由圖25的等式(4)表示。并且，在移動(dòng)大時(shí)，混合參數(shù)v在z軸上的坐標(biāo)值z(mì)(t)的性質(zhì)可以由圖25的等式(5)表示。 應(yīng)當(dāng)注意到，在等式(3)至(5)中，值13表示由在圖23中所示的計(jì)算處理中使用的值a確定的值，且13是大于0的值。具體來(lái)說(shuō)，13是可以通過(guò)|3 = a*f獲得的值。這里，值f是指示每秒鐘該處理進(jìn)行多少次的值，其單位是Hz。另外，值f是例如大約幾十Hz的值。 在圖25的等式(3)至(5)中，指數(shù)函數(shù)e鄧(_ P t)具有在t小(恰好在從位置V1跳到位置V2之后)的情況下值大幅度地移動(dòng)的性質(zhì)。 集中于在檢測(cè)對(duì)象物(例如用戶的手)突然大幅度地移動(dòng)的情況下在x軸上的坐標(biāo)，其可能看起來(lái)好像檢測(cè)對(duì)象物在時(shí)間t0實(shí)際上從坐標(biāo)XI跳到坐標(biāo)X2，如圖26中的實(shí)線指示的那樣。 然而，通過(guò)圖25中所示的計(jì)算表達(dá)式，變得可以恰好在移動(dòng)之后大幅度地改變混合參數(shù)而之后逐漸地改變?cè)摶旌蠀?shù)，如圖26中的虛線所指示的那樣。
將圖25的等式(3)至(5)與上述圖23的等式(3)至(5)相比較，可以看出，所有這些等式都是指數(shù)函數(shù)，并且圖23中的等式(3)至(5)是可以實(shí)現(xiàn)圖25中的等式(3)至(5)的性質(zhì)的等式。換句話說(shuō)，圖25的等式(3)至(5)基本上等價(jià)于上述圖23的等式(3)至(5)。 因此，通過(guò)使用圖24中所示的計(jì)算表達(dá)式來(lái)獲得混合參數(shù)v，即使在檢測(cè)對(duì)象物(例如用戶的手)大幅度地移動(dòng)時(shí)，也可以根據(jù)該移動(dòng)來(lái)再現(xiàn)音頻信息，而不會(huì)導(dǎo)致不協(xié)
25調(diào)。 此外，將討論檢測(cè)對(duì)象物(例如用戶的手)在傳感器區(qū)域lll中移動(dòng)50cm的情況以及其移動(dòng)以上情況的兩倍(即100cm)的情況。 在這種情況下，對(duì)其簡(jiǎn)單的考察，當(dāng)移動(dòng)檢測(cè)對(duì)象物50cm所需的時(shí)間是"l"時(shí)，移動(dòng)檢測(cè)對(duì)象物100cm所需的時(shí)間變?yōu)?2"。然而，通過(guò)進(jìn)行參照?qǐng)D23所描述的用于實(shí)現(xiàn)圖25的特性的計(jì)算處理，將檢測(cè)對(duì)象物從位置VI到位置V2移動(dòng)100cm所需的時(shí)間可以被實(shí)現(xiàn)為比兩倍于50cm的情況更短(例如，大約1. 2倍)。 換句話說(shuō)，在檢測(cè)對(duì)象物(例如用戶的手)大幅度地移動(dòng)的情況下，不管用戶的手等的移動(dòng)距離是多少，通過(guò)圖23的計(jì)算處理，假設(shè)用戶的手等幾乎在恒定的時(shí)間段內(nèi)移動(dòng)，可以再現(xiàn)對(duì)應(yīng)于要被再現(xiàn)的音頻信息的音頻。 換句話說(shuō)，不管用戶的手等的移動(dòng)距離是多少，可以適當(dāng)?shù)孬@得某一時(shí)間段中的混合參數(shù)v，基于由該混合參數(shù)v二 (x，y，z)確定的區(qū)域來(lái)確定要被再現(xiàn)的音頻信息，并進(jìn)行混合處理。因此，即使在所指定的位置大幅度地移動(dòng)時(shí)，也防止要被再現(xiàn)的混合再現(xiàn)音頻變得不自然。 因此，即使在檢測(cè)對(duì)象物(例如用戶的手)從起點(diǎn)VI到終點(diǎn)V2大幅度地移動(dòng)時(shí)，也可以防止在假設(shè)檢測(cè)對(duì)象物突然從位置VI移動(dòng)到位置V2的情況下在處理設(shè)備部40中進(jìn)行音頻輸出處理。此外，即使在再現(xiàn)音頻改變時(shí)，音頻處理也不會(huì)根據(jù)移動(dòng)距離來(lái)花費(fèi)時(shí)間。 應(yīng)當(dāng)注意到，還在示例3中，關(guān)于發(fā)出音頻的位置，如參照?qǐng)D7和圖8所描述的那樣，基于三維坐標(biāo)中的x軸方向(橫向)上的參數(shù)來(lái)切換16通道的陣列揚(yáng)聲器中的要使用的揚(yáng)聲器。 在這種情況下，為了順暢地切換揚(yáng)聲器以發(fā)出音頻，S卩，為了順暢地移動(dòng)位置以發(fā)出音頻，例如可以進(jìn)行約IO個(gè)樣本的混疊漸變(cross fade)。 例如，下面將討論由檢測(cè)對(duì)象物(例如用戶的手)指定的位置相對(duì)于傳感器部10的傳感器板10P的表面從如參照?qǐng)D7和圖8所描述的區(qū)域Rl改變到區(qū)域R2的情況。
在這種情況下，例如恰好在從區(qū)域R1改變到區(qū)域R2之后的IO個(gè)樣本的時(shí)間段中，從揚(yáng)聲器SP1和SP2以及從揚(yáng)聲器SP8和SP9均輸出音頻。 然后，從揚(yáng)聲器SP1和SP2輸出的音頻的聲音發(fā)出等級(jí)(音量)逐漸地減小，而從揚(yáng)聲器SP8和SP9輸出的音頻的聲音發(fā)出等級(jí)(音量)逐漸地增加。結(jié)果，要發(fā)出音頻的位置順暢地移動(dòng)。 應(yīng)當(dāng)注意到，這里，在從存在于傳感器區(qū)域111中的一個(gè)區(qū)域移動(dòng)到下一個(gè)區(qū)域時(shí)，判斷檢測(cè)對(duì)象物(例如用戶的手)是否大幅度地移動(dòng)。 然而，本發(fā)明并不限于此，在檢測(cè)對(duì)象物在至少二維坐標(biāo)區(qū)域(x-y平面)中移動(dòng)某一預(yù)定距離或更大距離的情況下可以判斷該檢測(cè)對(duì)象物已大幅度地移動(dòng)。
基于移動(dòng)距離是否是閾值或大于閾值來(lái)進(jìn)行該判斷，該移動(dòng)距離是基于根據(jù)與來(lái)自傳感器部10的三維坐標(biāo)相對(duì)應(yīng)的起點(diǎn)和終點(diǎn)處的x坐標(biāo)值和y坐標(biāo)值確定的二維坐標(biāo)平面中的位置獲得的。(音頻輸出處理的示例3的概述) 接下來(lái)，將使用圖27和圖28的流程圖對(duì)音頻輸出處理的示例3進(jìn)行概述。圖27
26是用于說(shuō)明音頻輸出處理3的流程圖，該音頻輸出處理3用于基于由用戶的手等指定的位 置來(lái)指定并混合要被混合的音頻信息，并從對(duì)應(yīng)于所指定的位置的揚(yáng)聲器輸出混合音頻。
此外，圖28是用于說(shuō)明音頻輸出處理3的流程圖，該音頻輸出處理3用于基于由 用戶的手等指定的位置來(lái)指定并混合要被混合的音頻信息，并從揚(yáng)聲器部30輸出混合音 頻，如同該混合音頻從對(duì)應(yīng)于所指定的位置的虛擬聲源發(fā)出一樣。 首先，描述圖27中所示的處理。還在音頻輸出處理的示例3中，空間位置檢測(cè)部 405進(jìn)行參照?qǐng)D18所描述的傳感器值檢測(cè)處理2，并檢測(cè)三維坐標(biāo)空間中x軸方向、y軸方 向和z軸方向上的值的峰值X、Y和Z。 其后，空間位置檢測(cè)部405進(jìn)行圖27中所示的處理。首先，空間位置檢測(cè)部405 獲得在圖18中所示的處理中檢測(cè)到的峰值(指示三維坐標(biāo)空間中的位置(坐標(biāo))的信息) (步驟S501)。 然后，空間位置檢測(cè)部405判斷所獲得的峰值的強(qiáng)度是否是某一值或更大(步驟 S502)。步驟S502的處理是用于防止以下情形的處理，在該情形中，例如甚至用戶的手意外 地靠近傳感器部10的傳感器板表面的情況都成為該處理的目標(biāo)。換句話說(shuō)，該處理用于檢 測(cè)用戶有意地將檢測(cè)對(duì)象物(例如手)移動(dòng)靠近傳感器部10的傳感器板表面的情況。
當(dāng)在步驟S502的判斷處理中判斷所獲得的峰值的強(qiáng)度小于某一值時(shí)，空間位置 檢測(cè)部405結(jié)束圖27中所示的處理，并等待下一個(gè)執(zhí)行定時(shí)。 當(dāng)在步驟S502的判斷處理中判斷所獲得的峰值的強(qiáng)度是某一值或更大時(shí)，空間 位置檢測(cè)部405基于圖23的計(jì)算表達(dá)式使用所獲得的峰值V = (X， Y， Z)來(lái)獲得混合參數(shù) v = (x， y， z)(步驟S503)。 然后，基于所獲得的混合參數(shù)v，空間位置檢測(cè)部405指定檢測(cè)對(duì)象物(例如用戶 的手)經(jīng)過(guò)的區(qū)域以及檢測(cè)對(duì)象物到達(dá)的區(qū)域，并基于這些區(qū)域來(lái)指定要被再現(xiàn)的音頻信 息(步驟S504)。 其后，空間位置檢測(cè)部405基于步驟S505的指定結(jié)果來(lái)控制音頻處理器410，并對(duì) 要被再現(xiàn)的音頻信息進(jìn)行混合處理(步驟S505)。 另外，空間位置檢測(cè)部405基于檢測(cè)對(duì)象物(例如用戶的手)到達(dá)的區(qū)域來(lái)指定 要發(fā)出音頻的揚(yáng)聲器，并切換揚(yáng)聲器通道，該揚(yáng)聲器通道要用于輸出與來(lái)自該揚(yáng)聲器的混 合音頻信息相對(duì)應(yīng)的音頻(步驟S506)。然后，結(jié)束圖27中所示的處理以等待下一個(gè)執(zhí)行 定時(shí)。 如上所述，可以基于由檢測(cè)對(duì)象物(例如用戶的手)指定的位置所屬的區(qū)域來(lái)指 定要被再現(xiàn)的音頻信息，混合所指定的音頻信息的片段，并從對(duì)應(yīng)于所指定的位置的揚(yáng)聲 器發(fā)出音頻。 接下來(lái)，將描述圖28中所示的處理。如上所述，圖28中所示的處理是這樣的處理，
該處理基于由用戶的手等指定的位置來(lái)指定并混合要被混合的音頻信息，并且從揚(yáng)聲器部
30輸出音頻，如同該音頻從對(duì)應(yīng)于所指定的位置的虛擬聲源發(fā)出一樣。 因此，在圖28中所示的流程圖中，進(jìn)行與圖27的流程圖中的步驟相同的處理的步
驟由相同的附圖標(biāo)記表示，其描述將被省略。 從圖27與圖28的對(duì)比中可以看出，在圖28中，步驟S506A的處理與圖27中所示 的處理不同。
在步驟S506A中，被指定并混合的音頻信息經(jīng)處理，使得用戶能夠聽(tīng)到該音頻，如 同該音頻從對(duì)應(yīng)于由用戶指定的位置的虛擬聲源發(fā)出一樣。 具體來(lái)說(shuō)，如同在音頻輸出處理的示例2中那樣，空間位置檢測(cè)部405基于由用戶 指定的位置所屬的區(qū)域來(lái)指定虛擬聲源，并基于所指定的虛擬聲源經(jīng)由聲場(chǎng)控制器411來(lái) 控制音頻處理器410的數(shù)字濾波器。 因此，對(duì)應(yīng)于混合音頻信息的音頻從由陣列揚(yáng)聲器構(gòu)成的揚(yáng)聲器部30發(fā)出，如同 該音頻從所指定的虛擬聲源發(fā)出 一樣。 如上所述，基于檢測(cè)對(duì)象物(例如用戶的手)經(jīng)過(guò)的區(qū)域以及檢測(cè)對(duì)象物到達(dá)的 區(qū)域來(lái)指定并混合要被混合的音頻信息的片段。還可以使用波前合成技術(shù)來(lái)進(jìn)行聲音圖像 導(dǎo)向處理，使得用戶能夠聽(tīng)到與混合音頻信息相對(duì)應(yīng)的音頻，如同該音頻從與由用戶的手 等指定的位置相對(duì)應(yīng)的虛擬聲源發(fā)出 一樣。 應(yīng)當(dāng)注意到，在以上示例3中，每層被劃分成四個(gè)區(qū)域LU、 RU、 LD和RD，這四個(gè)區(qū) 域在相鄰區(qū)域之間有交疊部分。相鄰區(qū)域的音頻信息在交疊區(qū)域中混合。
利用這種結(jié)構(gòu)，例如，即使在檢測(cè)對(duì)象物(例如用戶的手)移動(dòng)到同一層中的不同 區(qū)域時(shí)，要被輸出的音頻也自然地改變而不是突然地改變。 在以上示例3中，每層被劃分成四個(gè)層LU、RU、LD和RD，雖然并不限于此。在每層 中可以設(shè)置兩個(gè)或兩個(gè)以上的區(qū)域。 此外，這些區(qū)域不必具有相同的尺寸，這些區(qū)域的位置和尺寸可以變化。另外，當(dāng) 然可以針對(duì)每層來(lái)區(qū)分這些區(qū)域的位置和尺寸。 應(yīng)當(dāng)注意到，根據(jù)以上描述明顯的是，在音頻輸出處理的示例3中，通過(guò)音頻信息 存儲(chǔ)部407實(shí)現(xiàn)存儲(chǔ)裝置。此外，傳感器裝置的功能通過(guò)傳感器部10實(shí)現(xiàn)。判斷裝置的功 能通過(guò)空間位置檢測(cè)部405實(shí)現(xiàn)。此外，輸出裝置的功能主要通過(guò)音頻處理器410、放大器 部412和揚(yáng)聲器部30實(shí)現(xiàn)。而且，坐標(biāo)調(diào)整裝置的功能通過(guò)空間位置檢測(cè)部405實(shí)現(xiàn)。
(音頻輸出處理的示例3的修改示例1)(權(quán)利要求4和權(quán)利要求5)
在上述音頻輸出處理的示例3中，要被再現(xiàn)的音頻信息被分配給設(shè)置在每層中的 每個(gè)區(qū)域，并且基于檢測(cè)對(duì)象物經(jīng)過(guò)的區(qū)域和檢測(cè)對(duì)象物到達(dá)的區(qū)域來(lái)指定要被混合的音 頻信息的片段，雖然并不限于此。 例如，可以將音頻信息分配給其中未設(shè)置區(qū)域的每層，這與為每層設(shè)置一個(gè)區(qū)域 相同。 可以僅輸出分配給由檢測(cè)對(duì)象物(例如用戶的手)指定的位置所屬的層的音頻。 還可以將分配給檢測(cè)對(duì)象物經(jīng)過(guò)的層的音頻信息與分配給檢測(cè)對(duì)象物到達(dá)的層的音頻信 息混合，并輸出對(duì)應(yīng)于混合音頻信息的音頻。 在前者的情況下，空間位置檢測(cè)部405僅需要判斷由用戶的手等指定的位置所屬
的層，并控制音頻處理器410輸出對(duì)應(yīng)于分配給該層的音頻信息的音頻。 在這種情況下，如在以上示例3中，可以根據(jù)由用戶指定的位置來(lái)改變要發(fā)出音
頻的揚(yáng)聲器。此外，通過(guò)經(jīng)由聲場(chǎng)控制器411控制音頻處理器410的數(shù)字濾波器，可以進(jìn)行
控制，如同音頻從虛擬聲源發(fā)出一樣。 在后者的情況下，由于在每層中僅設(shè)置一個(gè)區(qū)域，因此分配給檢測(cè)對(duì)象物(例如 用戶的手)經(jīng)過(guò)的層的音頻信息以及分配給檢測(cè)對(duì)象物到達(dá)的層的音頻信息被空間位置
28檢測(cè)部405混合并輸出。 還在該情況下，如在上述音頻輸出處理的示例3中，可以根據(jù)由用戶指定的位置 來(lái)改變要發(fā)出音頻的揚(yáng)聲器。此外，通過(guò)經(jīng)由聲場(chǎng)控制器411控制音頻處理器410的數(shù)字 濾波器，可以進(jìn)行控制，如同音頻從虛擬聲源發(fā)出一樣。 應(yīng)當(dāng)注意到，雖然在音頻輸出處理的示例3中使用三個(gè)層，但是層數(shù)并不限于三
個(gè)，而可以設(shè)置并使用兩個(gè)或兩個(gè)以上任意的層。應(yīng)當(dāng)注意到，希望根據(jù)傳感器部10的檢
測(cè)靈敏性適當(dāng)?shù)卦O(shè)置層數(shù)。(視頻顯示處理)(權(quán)利要求8) 如上所述，本實(shí)施例的信息處理設(shè)備能夠基于由檢測(cè)對(duì)象物(例如用戶的手)在 經(jīng)由傳感器部IO檢測(cè)的三維坐標(biāo)空間中指定的位置來(lái)控制音頻信息的輸出處理。具體來(lái) 說(shuō)，信息處理設(shè)備能夠基于由檢測(cè)對(duì)象物指定的位置來(lái)改變要使用的揚(yáng)聲器、設(shè)置虛擬聲 源、并且指定并混合要被混合的音頻信息。 本實(shí)施例的信息處理設(shè)備能夠不僅在音頻輸出處理中而且在視頻顯示處理中根 據(jù)由檢測(cè)對(duì)象物指定的位置來(lái)進(jìn)行控制。 換句話說(shuō)，如上所述，在本實(shí)施例的信息處理設(shè)備中，存儲(chǔ)在視頻信息存儲(chǔ)部406 中的視頻信息被CPU 401讀出，并經(jīng)由物理計(jì)算處理器408和顯示處理器409被提供給顯 示器部20。 在這種情況下，物理計(jì)算處理器408根據(jù)由檢測(cè)對(duì)象物(例如用戶的手)在如上 所述的三維坐標(biāo)空間中指定的所指定的位置來(lái)將根據(jù)物理模型的效果加到視頻信息上。
在該示例中，環(huán)(水紋)被用作物理模型。圖29是用于說(shuō)明根據(jù)在三維坐標(biāo)空間 中由檢測(cè)對(duì)象物(例如用戶的手)指定的所指定的位置而在所顯示的視頻上產(chǎn)生環(huán)的情況 的圖。此外，圖30是用于說(shuō)明用于在所顯示的視頻上產(chǎn)生環(huán)的物理模型的特定示例的圖。
如圖29所示，在用戶將他/她的手靠近傳感器板10P的情況下，物理計(jì)算處理器 408針對(duì)提供給它的視頻信息進(jìn)行計(jì)算，以在三維坐標(biāo)空間中圍繞由用戶的手指定的位置 而產(chǎn)生環(huán)。 在圖29中，當(dāng)用戶的手從虛線的手放置的位置移動(dòng)到實(shí)線的手放置的位置時(shí)，環(huán) 也根據(jù)移動(dòng)的手的位置來(lái)顯示。在該情況下的計(jì)算中，將基于要被再現(xiàn)的視頻信息的視頻 看作水面，以由用戶的手等指示的位置為中心，將與水面相垂直的方向上的加速度相加。
在這種情況下，要被相加的加速度不是一個(gè)而是分布廣泛的通過(guò)將若干高斯函數(shù) 組合而獲得的加速度的分布。換句話說(shuō)，通過(guò)將如圖30A中所示的在正方向上改變的高斯 函數(shù)與如圖30B中所示的在負(fù)方向上改變的高斯函數(shù)相組合，形成如圖30C中所示的在正 方向和負(fù)方向中改變的函數(shù)。 由向下的箭頭指示的分布的中心與根據(jù)來(lái)自傳感器部10的檢測(cè)輸出而確定的三 維坐標(biāo)中的二維坐標(biāo)(x，y)相對(duì)應(yīng)，其形狀(尺寸)根據(jù)與傳感器板IOP相正交的方向(z 軸方向)上的深度z而改變。 因此，如圖29所示，物理計(jì)算處理器408可以根據(jù)在三維坐標(biāo)空間中由檢測(cè)對(duì)象 物(例如用戶的手)指定的位置對(duì)視頻信息加入效果以產(chǎn)生環(huán)。 接下來(lái)，將描述空間位置檢測(cè)部405與物理計(jì)算處理器408彼此協(xié)作地進(jìn)行的視 頻顯示處理。圖31是用于說(shuō)明空間位置檢測(cè)部405與物理計(jì)算處理器408彼此協(xié)作地進(jìn)行的視頻顯示處理的流程圖。 如上所述，在本實(shí)施例的信息處理設(shè)備中，例如，空間位置檢測(cè)部405每隔特定時(shí) 間段重復(fù)地進(jìn)行圖18中所示的傳感器值檢測(cè)處理2?？臻g位置檢測(cè)部405還例如每隔特定 時(shí)間段重復(fù)地進(jìn)行圖31中所示的視頻顯示處理。 空間位置檢測(cè)部405首先進(jìn)行圖31中所示的視頻顯示處理，以獲得在圖18中所 示的處理中檢測(cè)到的峰值(指示三維坐標(biāo)空間中的位置(坐標(biāo))的信息)(步驟S601)。
然后，空間位置檢測(cè)部405判斷所獲得的峰值的強(qiáng)度是否是某一值或更大(步驟 S602)。如同在上述音頻輸出處理1至3中那樣，步驟S602的處理是用于防止以下情形的 處理，在該情形中，例如甚至用戶的手意外地靠近傳感器部10的傳感器板表面的情況都成 為該處理的目標(biāo)。 當(dāng)在步驟S602的判斷處理中判斷所獲得的峰值的強(qiáng)度是某一值或更大時(shí)，空間 位置檢測(cè)部405控制物理計(jì)算處理器408基于預(yù)定物理模型來(lái)進(jìn)行對(duì)視頻信息的計(jì)算處理 (步驟S603)。 具體來(lái)說(shuō)，如上所述，通過(guò)使用作為物理模型的環(huán)現(xiàn)象以及通過(guò)如參照?qǐng)D30所描 述的那樣將若干高斯函數(shù)組合而獲得的函數(shù)來(lái)進(jìn)行根據(jù)由用戶指定的位置在所顯示的視 頻上產(chǎn)生水紋的處理。 其后，物理計(jì)算處理器408對(duì)視頻信息進(jìn)行計(jì)算處理，以將物理狀態(tài)推進(jìn)一步(步 驟S604)。然后，結(jié)束圖31中所示的處理以等待下一個(gè)執(zhí)行定時(shí)。 此外，當(dāng)在步驟S602的判斷處理中判斷所獲得的峰值的強(qiáng)度小于某一值時(shí)，處理 前進(jìn)到步驟S604。然后，空間位置檢測(cè)部405控制物理計(jì)算處理器408對(duì)視頻信息進(jìn)行計(jì) 算處理，以將物理狀態(tài)推進(jìn)一步(步驟S604)。其后，結(jié)束圖31中所示的處理以等待下一個(gè) 執(zhí)行定時(shí)。 如上所述，本實(shí)施例的信息處理設(shè)備能夠根據(jù)在三維坐標(biāo)空間中由檢測(cè)對(duì)象物
(例如用戶的手)指定的所指定的位置來(lái)將根據(jù)物理模型的效果加到視頻信息上。 應(yīng)當(dāng)注意到，雖然在這種情況下使用環(huán)作為物理模型，但是本發(fā)明并不限于此。通
過(guò)使用不同于環(huán)的各種物理模型，可以將各種效果加到所顯示的視頻上。 應(yīng)當(dāng)注意到，根據(jù)以上描述可以看出，在視頻顯示處理中，圖像顯示裝置通過(guò)顯示
器部20實(shí)現(xiàn)。并且，效果添加裝置主要通過(guò)物理計(jì)算處理器408實(shí)現(xiàn)。(應(yīng)用) 本實(shí)施例的信息處理設(shè)備具有進(jìn)行如上所述的音頻輸出處理和視頻顯示處理的 功能。在以下描述中，將描述使用這些功能的情況的應(yīng)用。 在以下描述的應(yīng)用中，當(dāng)未對(duì)傳感器部10進(jìn)行操作時(shí)，經(jīng)由物理計(jì)算處理器408 和顯示處理器409將與存儲(chǔ)在視頻信息存儲(chǔ)部406中的視頻信息相對(duì)應(yīng)的視頻顯示在顯示 器部20的顯示屏上。 然后，通過(guò)彼此協(xié)作地控制物理計(jì)算處理器408的空間位置檢測(cè)部405和CPU 401來(lái)進(jìn)行用于進(jìn)行顯示以從在隨機(jī)定時(shí)落在所顯示的視頻上的任意位置處的小滴展開(kāi)環(huán) (水紋)的處理。 同時(shí)，進(jìn)行使用波前合成技術(shù)在隨機(jī)位置處設(shè)置虛擬聲源并在小滴落在水面上的 定時(shí)處從揚(yáng)聲器部30發(fā)出落在水面上的小滴的聲音(小滴聲)的處理。
通過(guò)彼此協(xié)作地控制音頻處理器410和聲場(chǎng)控制器411的空間位置檢測(cè)部405和 CPU 401來(lái)進(jìn)行發(fā)出小滴聲的處理。因此，用戶可以聽(tīng)到小滴聲，如同該小滴聲從所設(shè)置的 虛擬聲源發(fā)出一樣。 如上所述，在沒(méi)有關(guān)于傳感器部10的操作時(shí)，可以顯示以下視頻，其中小滴在隨
機(jī)定時(shí)和位置落在所顯示的圖像上并且在該圖像上展開(kāi)環(huán)。同時(shí)，在所顯示的小滴落在水
面上的定時(shí)，可以從揚(yáng)聲器部30發(fā)出小滴聲，如同該小滴聲從任意位置發(fā)出一樣。 此外，當(dāng)關(guān)于傳感器部10進(jìn)行操作時(shí)，S卩，當(dāng)檢測(cè)對(duì)象物(例如用戶的手)靠近傳
感器板10P時(shí)，根據(jù)由檢測(cè)對(duì)象物指定的位置而在所顯示的視頻上產(chǎn)生環(huán)。 在這種情況下，如上所述，空間位置檢測(cè)部405主要控制物理計(jì)算處理器408進(jìn)行
顯示，以從顯示屏上與由檢測(cè)對(duì)象物指定的位置相對(duì)應(yīng)的位置產(chǎn)生環(huán)。 還在該情況下，進(jìn)行參照?qǐng)D27所描述的示例3的音頻輸出處理。換句話說(shuō)，音頻
信息以參照?qǐng)D20和圖21所描述的形式被存儲(chǔ)在音頻信息存儲(chǔ)部407中。 在這點(diǎn)上，空間位置檢測(cè)部405基于由檢測(cè)對(duì)象物指定的位置所屬的區(qū)域來(lái)判斷
檢測(cè)對(duì)象物經(jīng)過(guò)的區(qū)域和檢測(cè)對(duì)象物到達(dá)的區(qū)域，并指定要被混合的音頻信息。此外，同
時(shí)，空間位置檢測(cè)部405基于由檢測(cè)對(duì)象物指定的位置所屬的區(qū)域來(lái)指定要發(fā)出音頻的揚(yáng)聲器。 基于指定結(jié)果，空間位置檢測(cè)部405控制音頻處理器410調(diào)整混合音量和音頻處 理器410的開(kāi)關(guān)電路并混合與用戶指令相對(duì)應(yīng)的音頻信息，并且從對(duì)應(yīng)于用戶指令的揚(yáng)聲 器發(fā)出與混合音頻信息相對(duì)應(yīng)的音頻。 如上所述，本實(shí)施例的信息處理設(shè)備能夠在用戶對(duì)傳感器部10作出指示和不作 出指示的情況之間區(qū)分音頻輸出處理和視頻顯示處理。 接下來(lái)，將參照?qǐng)D32和圖33的流程圖描述應(yīng)用中的視頻顯示處理和音頻輸出處理。 圖32是用于說(shuō)明在本實(shí)施例的信息處理設(shè)備中空間位置檢測(cè)部405與物理計(jì)算 處理器408彼此協(xié)作地進(jìn)行的應(yīng)用中的視頻顯示處理的流程圖。 如上所述，在本實(shí)施例的信息處理設(shè)備中，空間位置檢測(cè)部405例如每隔特定時(shí) 間段重復(fù)地進(jìn)行圖18中所示的傳感器值檢測(cè)處理2。空間位置檢測(cè)部405例如還每隔特定 時(shí)間段重復(fù)地進(jìn)行圖32中所示的視頻顯示處理。 空間位置檢測(cè)部405進(jìn)行圖32中所示的視頻顯示處理，首先獲得在圖18中所示 的處理中檢測(cè)到的峰值(指示三維坐標(biāo)空間中的位置(坐標(biāo))的信息)(步驟S701)。
然后，空間位置檢測(cè)部405判斷所獲得的峰值的強(qiáng)度是否是某一值或更大(步驟 S702)。如同在上述音頻輸出處理1至3中那樣，步驟S702的處理是用于防止以下情形的 處理，在該情形中，例如甚至用戶的手意外地靠近傳感器部10的傳感器板表面的情況都成 為該處理的目標(biāo)。 當(dāng)在步驟S702的判斷處理中判斷所獲得的峰值的強(qiáng)度是某一值或更大時(shí)，空間
位置檢測(cè)部405控制物理計(jì)算處理器408進(jìn)行產(chǎn)生并顯示環(huán)的處理(步驟S703)。 具體來(lái)說(shuō)，如上所示，使用環(huán)現(xiàn)象作為物理模型，通過(guò)使用通過(guò)如參照?qǐng)D30所描
述的那樣將若干高斯函數(shù)組合而獲得的函數(shù)對(duì)視頻信息進(jìn)行計(jì)算處理，根據(jù)由用戶指定的
位置在所顯示的視頻中產(chǎn)生水紋。
其后，物理計(jì)算處理器408對(duì)視頻信息進(jìn)行計(jì)算處理，以將物理狀態(tài)推進(jìn)一步(步 驟S704)。然后，結(jié)束圖32中所示的處理以等待下一個(gè)執(zhí)行定時(shí)。 此外，當(dāng)在步驟S702的判斷處理中判斷所獲得的峰值的強(qiáng)度小于某一值時(shí)，空間 位置檢測(cè)部405控制物理計(jì)算處理器408進(jìn)行顯示以產(chǎn)生并落下小滴(步驟S706)。
在這種情況下，隨機(jī)地確定落下小滴的位置。此外，物理計(jì)算處理器408進(jìn)行計(jì)算 處理，使得環(huán)從小滴落下的位置展開(kāi)。 其后，物理計(jì)算處理器408對(duì)視頻信息進(jìn)行計(jì)算處理，以將物理狀態(tài)推進(jìn)一步(步 驟S704)。然后，結(jié)束圖32中所示的處理并等待下一個(gè)執(zhí)行定時(shí)。 如上所述，可以對(duì)所顯示的視頻添加效果，使得在用戶未作出指示時(shí)，小滴隨機(jī)地 落在水面上，并且從落下的位置展開(kāi)環(huán)。 此外，可以對(duì)所顯示的視頻添加效果，使得在用戶作出指示時(shí)，從顯示器部20的 顯示屏上與所指定的位置相對(duì)應(yīng)的位置展開(kāi)環(huán)。 圖33是用于說(shuō)明在本實(shí)施例的信息處理設(shè)備中，空間位置檢測(cè)部405、音頻處理
器410和聲場(chǎng)控制器411相互協(xié)作地進(jìn)行的應(yīng)用中的音頻輸出處理的流程圖。 圖33中所示的處理是與圖32中所示的視頻顯示處理相關(guān)聯(lián)地進(jìn)行的處理，并且
是CPU 401、空間位置檢測(cè)部405、音頻處理器410和聲場(chǎng)控制器411相互協(xié)作地進(jìn)行的處理。 當(dāng)進(jìn)行圖32中所示的視頻顯示處理時(shí)，CPU 401判斷是否已在物理計(jì)算處理器 (物理引擎)408中進(jìn)行了產(chǎn)生并顯示小滴的處理(步驟S801)。 當(dāng)在步驟S801的判斷處理中判斷小滴已被產(chǎn)生時(shí)，CPU 401控制音頻處理器410 和空間位置檢測(cè)部405在再現(xiàn)新的小滴聲的同時(shí)進(jìn)行移動(dòng)虛擬聲源的處理(步驟S802)。
然后，空間位置檢測(cè)部405控制聲場(chǎng)控制器411和音頻處理器410的數(shù)字濾波器， 使得小滴聲可以被聽(tīng)到，如同該小滴聲從在步驟S802中移動(dòng)的虛擬聲源發(fā)出一樣(步驟 S803)。 具體來(lái)說(shuō)，步驟S803的處理是這樣的處理使用波前合成技術(shù)、通過(guò)控制音頻處 理器410的數(shù)字濾波器的系數(shù)來(lái)設(shè)置虛擬聲源，并對(duì)音頻信號(hào)進(jìn)行數(shù)字濾波使得音頻可以 被聽(tīng)到，如同該音頻從該虛擬聲源發(fā)出一樣。 其后，CPU 401控制空間位置檢測(cè)部405等，并進(jìn)行參照?qǐng)D27所描述的音頻輸出 處理3(步驟S804)。然后，結(jié)束圖33中所示的處理以等待下一個(gè)執(zhí)行定時(shí)。
如上所述，在本應(yīng)用中，即使在未關(guān)于傳感器部IO進(jìn)行用戶操作時(shí)，也可以添加 在所顯示的視頻上落下小滴并產(chǎn)生環(huán)的效果。同時(shí)，可以使用波前合成技術(shù)在移動(dòng)虛擬聲 源的同時(shí)再現(xiàn)并發(fā)出小滴聲。 當(dāng)關(guān)于傳感器部IO進(jìn)行用戶操作時(shí)，可以添加根據(jù)由用戶指定的位置而在所顯 示的視頻上產(chǎn)生環(huán)的效果。同時(shí)，可以基于檢測(cè)對(duì)象物(例如用戶的手)經(jīng)過(guò)的區(qū)域和檢 測(cè)對(duì)象物到達(dá)的區(qū)域來(lái)指定要被組合的音頻信息以將它們混合，并從與由用戶指定的位置 相對(duì)應(yīng)的揚(yáng)聲器發(fā)出對(duì)應(yīng)于混合音頻信息的音頻。
(根據(jù)本發(fā)明的方法和程序) 應(yīng)當(dāng)注意到，根據(jù)以上實(shí)施例明顯的是，可以利用參照?qǐng)D9、圖10、圖18、圖19、圖 27和圖28的流程圖所描述的方法和程序來(lái)實(shí)現(xiàn)根據(jù)本發(fā)明的方法和程序。
換句話說(shuō)，參照?qǐng)D9、圖10、圖18、圖19、圖27和圖28的流程圖所描述的方法是本 發(fā)明的方法。 此外，基于圖9、圖10、圖18、圖19、圖27和圖28的流程圖所構(gòu)成的程序是本發(fā)明 的程序。(實(shí)施例的效果) 由于檢測(cè)對(duì)象物(例如用戶的手)靠近傳感器部10的傳感器板IOP，傳感器板10P
的電容改變。通過(guò)基于可經(jīng)由傳感器部io檢測(cè)的電容的測(cè)量值的改變來(lái)控制音頻輸出，可
以根據(jù)使用用戶的手的手勢(shì)反饋來(lái)控制要被再現(xiàn)的音頻的發(fā)出。 換句話說(shuō)，可以根據(jù)用戶的手的位置(關(guān)于傳感器板10P的橫向位置和深度)來(lái) 再現(xiàn)并發(fā)出要被再現(xiàn)的音頻。在這種情況下，可以根據(jù)使用用戶的手的手勢(shì)來(lái)改變要發(fā)出 音頻的位置、虛擬聲源的位置、音頻混合處理等。 通過(guò)使用指數(shù)函數(shù)來(lái)控制音頻輸出，可以幾乎在同一時(shí)間內(nèi)移位音頻輸出，而不 管移位量是多少。 還可以基于電容的測(cè)量值的改變來(lái)控制屏幕效果。 因此，可以基于使用用戶的手的手勢(shì)來(lái)控制音頻輸出并將預(yù)定效果加到所顯示的 視頻(所顯示的圖像)上。結(jié)果，可以實(shí)現(xiàn)新的前所未有的信息處理設(shè)備(信息提供設(shè)備)。
以上實(shí)施例的信息處理設(shè)備能夠例如實(shí)現(xiàn)前所未有的觸摸板顯示器，該觸摸板顯 示器可以用在百貨商店、陳列室等中。 例如，可以根據(jù)用戶關(guān)于傳感器板10P作出的手勢(shì)(檢測(cè)對(duì)象物(例如手)的移 動(dòng))來(lái)改變產(chǎn)品的視頻等以及音頻(音樂(lè)或向?qū)?。 此外，以上實(shí)施例的信息處理設(shè)備例如適用于包括主題樂(lè)園的游樂(lè)場(chǎng)中的新的吸
引物或向?qū)А?其它) 應(yīng)當(dāng)注意到，如同在以上實(shí)施例中那樣，除了關(guān)于各種歌曲等的音頻信息和包括
小滴聲的各種聲音效果之外，在公告中使用的人聲、通過(guò)組合各種音頻信息片段而獲得的
聲音等也可以用作可再現(xiàn)的音頻信息。換句話說(shuō)，可以使用各種類型的可再現(xiàn)音頻信息。 此外，各種靜止圖像和運(yùn)動(dòng)圖像可以用作可再現(xiàn)的視頻信息(圖像信息)。在靜止
圖像的情況下，可以使用所謂的幻燈，其中多個(gè)靜止圖像在幻燈片中相繼地再現(xiàn)。 此外，當(dāng)然可以交替地再現(xiàn)靜止圖像和運(yùn)動(dòng)圖像，或再現(xiàn)動(dòng)畫(huà)圖像、各種CG圖像等。 本申請(qǐng)包含與2009年1月20日提交日本專利局的日本優(yōu)先權(quán)專利申請(qǐng)JP
2009-009439中公開(kāi)的主題相關(guān)的主題，通過(guò)引用將其全部?jī)?nèi)容合并在此。 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，可以根據(jù)設(shè)計(jì)要求和其它因素而想到各種修改、組合、
子組合和改變，只要它們?cè)谒綑?quán)利要求或其等同物的范圍內(nèi)即可。
3權(quán)利要求
一種信息處理設(shè)備，包括傳感器裝置，用于檢測(cè)由在空間上離開(kāi)的檢測(cè)對(duì)象物指定的三維坐標(biāo)；判斷裝置，用于判斷預(yù)先指定的、包括通過(guò)所述傳感器裝置檢測(cè)的所述三維坐標(biāo)的區(qū)域；以及輸出裝置，用于基于所述判斷裝置的判斷結(jié)果輸出音頻，所述音頻對(duì)應(yīng)于來(lái)自與所述三維坐標(biāo)中的至少二維坐標(biāo)相對(duì)應(yīng)的位置的音頻信息。
2. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中所述輸出裝置能夠基于所述判斷裝置的判斷結(jié)果輸出所述音頻，所述音頻對(duì)應(yīng)于來(lái)自與所述三維坐標(biāo)相對(duì)應(yīng)的位置的音頻信息。
3. 根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中所述傳感器裝置能夠檢測(cè)由作為所述檢測(cè)對(duì)象物的用戶的手指定的三維坐標(biāo)，所述信息處理設(shè)備還包括估計(jì)裝置，用于基于通過(guò)所述傳感器裝置檢測(cè)的所述三維坐標(biāo)估計(jì)所述用戶的位置，其中所述輸出裝置輸出所述音頻，所述音頻對(duì)應(yīng)于來(lái)自與由所述估計(jì)裝置估計(jì)的所述用戶的位置相對(duì)應(yīng)的位置的音頻信息。
4. 根據(jù)權(quán)利要求2所述的信息處理設(shè)備，還包括存儲(chǔ)裝置，用于存儲(chǔ)針對(duì)根據(jù)距所述傳感器裝置的傳感器表面的距離而設(shè)置的多個(gè)層中的每層的音頻信息，其中所述輸出裝置基于所述判斷裝置的判斷結(jié)果判斷通過(guò)所述傳感器裝置檢測(cè)的所述三維坐標(biāo)所屬的層，并且輸出由所述存儲(chǔ)裝置存儲(chǔ)并對(duì)應(yīng)于所判斷的層的音頻信息。
5. 根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其中所述輸出裝置基于所述判斷裝置的判斷結(jié)果指定所述檢測(cè)對(duì)象物經(jīng)過(guò)的層以及所述檢測(cè)對(duì)象物到達(dá)的層，并混合輸出所存儲(chǔ)的與所述檢測(cè)對(duì)象物經(jīng)過(guò)的層相對(duì)應(yīng)的音頻信息以及所存儲(chǔ)的與所述檢測(cè)對(duì)象物到達(dá)的層相對(duì)應(yīng)的音頻信息。
6. 根據(jù)權(quán)利要求5所述的信息處理設(shè)備，其中所述存儲(chǔ)裝置存儲(chǔ)針對(duì)在所述多個(gè)層中的每層中設(shè)置的每個(gè)區(qū)域的音頻信息，其中所述輸出裝置基于所述判斷裝置的判斷結(jié)果指定所述檢測(cè)對(duì)象物經(jīng)過(guò)的層的區(qū)域以及所述檢測(cè)對(duì)象物到達(dá)的層的區(qū)域，并混合輸出所存儲(chǔ)的與所述檢測(cè)對(duì)象物經(jīng)過(guò)的層的區(qū)域相對(duì)應(yīng)的音頻信息以及所存儲(chǔ)的與所述檢測(cè)對(duì)象物到達(dá)的層的區(qū)域相對(duì)應(yīng)的音頻信息。
7. 根據(jù)權(quán)利要求6所述的信息處理設(shè)備，還包括坐標(biāo)調(diào)整裝置，用于基于預(yù)定函數(shù)使用來(lái)自所述傳感器裝置的當(dāng)前檢測(cè)輸出和先前檢測(cè)輸出來(lái)調(diào)整預(yù)定時(shí)間范圍內(nèi)作為檢測(cè)輸出的所述三維坐標(biāo)，其中所述輸出裝置基于經(jīng)所述坐標(biāo)調(diào)整裝置調(diào)整的三維坐標(biāo)改變要使用的音頻信息。
8. 根據(jù)權(quán)利要求2所述的信息處理設(shè)備，還包括圖像顯示裝置；以及效果添加裝置，用于在所述判斷裝置的判斷結(jié)果指示所述三維坐標(biāo)包括在預(yù)先指定的區(qū)域中時(shí)，根據(jù)預(yù)定物理模型使用所述三維坐標(biāo)來(lái)將預(yù)定效果加到提供給所述圖像顯示裝置的視頻信號(hào)上。
9. 一種信息處理方法，包括以下步驟通過(guò)傳感器裝置檢測(cè)由在空間上離開(kāi)的檢測(cè)對(duì)象物指定的三維坐標(biāo)；通過(guò)判斷裝置判斷預(yù)先指定的、包括在檢測(cè)步驟中檢測(cè)的所述三維坐標(biāo)的區(qū)域；以及通過(guò)輸出裝置基于判斷步驟中的判斷結(jié)果輸出音頻，該音頻對(duì)應(yīng)于來(lái)自與所述三維坐標(biāo)中的至少二維坐標(biāo)相對(duì)應(yīng)的位置的音頻信息。
10. —種信息處理程序，使安裝在信息處理設(shè)備上的計(jì)算機(jī)執(zhí)行以下步驟通過(guò)傳感器裝置檢測(cè)由在空間上離開(kāi)的檢測(cè)對(duì)象物指定的三維坐標(biāo)；通過(guò)判斷裝置判斷預(yù)先指定的、包括在檢測(cè)步驟中檢測(cè)的所述三維坐標(biāo)的區(qū)域；以及通過(guò)輸出裝置基于判斷步驟中的判斷結(jié)果輸出音頻，該音頻對(duì)應(yīng)于來(lái)自與所述三維坐標(biāo)中的至少二維坐標(biāo)相對(duì)應(yīng)的位置的音頻信息。
11. 一種信息處理設(shè)備，包括傳感器部，用于檢測(cè)由在空間上離開(kāi)的檢測(cè)對(duì)象物指定的三維坐標(biāo)；判斷部，用于確定預(yù)先指定的、包括通過(guò)所述傳感器部檢測(cè)的所述三維坐標(biāo)的區(qū)域；以及輸出部，用于基于所述判斷部的判斷結(jié)果輸出音頻，該音頻對(duì)應(yīng)于來(lái)自與所述三維坐標(biāo)中的至少二維坐標(biāo)相對(duì)應(yīng)的位置的音頻信息。
全文摘要
本發(fā)明涉及信息處理設(shè)備、信息處理方法和信息處理程序。所述信息處理設(shè)備包括傳感器部、判斷部和輸出部。所述傳感器部檢測(cè)由在空間上離開(kāi)的檢測(cè)對(duì)象物指定的三維坐標(biāo)。所述判斷部確定預(yù)先指定的、包括通過(guò)所述傳感器部檢測(cè)的所述三維坐標(biāo)的區(qū)域。所述輸出部基于所述判斷部的判斷結(jié)果輸出音頻，該音頻對(duì)應(yīng)于來(lái)自與所述三維坐標(biāo)中的至少二維坐標(biāo)相對(duì)應(yīng)的位置的音頻信息。
文檔編號(hào)G06F3/041GK101794180SQ201010004278
公開(kāi)日2010年8月4日 申請(qǐng)日期2010年1月20日 優(yōu)先權(quán)日2009年1月20日
發(fā)明者森宮祐次, 藤本直明 申請(qǐng)人:索尼公司