專利名稱：聲音處理裝置、聲像定位位置調(diào)節(jié)方法及視頻處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及其中利用聲像定位處理根據(jù)用戶頭部的轉(zhuǎn)動(dòng)來(lái)進(jìn)行調(diào)節(jié)的 用于處理聲音和視頻的裝置、用于調(diào)節(jié)視頻剪輯角度等的處理以及用在該 裝置中的方法。
背景技術(shù)：
伴隨諸如電影之類的視頻的聲音信號(hào)在假設(shè)聲音信號(hào)將由被安裝在屏 幕兩側(cè)的揚(yáng)聲器再現(xiàn)的情況下被記錄。在這種設(shè)置中，視頻中的聲音源的 位置與實(shí)際被聽(tīng)到的聲像的位置相一致，形成自然的聲音場(chǎng)。
然而，當(dāng)聲音信號(hào)被利用頭戴式耳機(jī)或耳塞再現(xiàn)時(shí)，聲像被定位在頭 部，并且可視圖像的方向與聲像被定位的位置不一致，使得聲像的定位非 常不自然。
當(dāng)聽(tīng)那些沒(méi)有視頻伴隨的音樂(lè)時(shí)，也會(huì)出現(xiàn)這種情況。在這種情況 下，與音樂(lè)被揚(yáng)聲器再現(xiàn)的情況不同，被播放的音樂(lè)從頭內(nèi)部被聽(tīng)到，也 使得聲音場(chǎng)不自然。
作為防止被再現(xiàn)的聲音被定位在頭部?jī)?nèi)的機(jī)制，己知的有一種用于利
用頭部相關(guān)的傳輸函數(shù)(HRTF)來(lái)產(chǎn)生虛擬聲像的方法。
圖8到11圖示了利用HRTF執(zhí)行虛擬聲像定位處理的概況。下面描述
虛擬聲像定位處理被應(yīng)用于具有左右兩個(gè)聲道的頭戴式耳機(jī)系統(tǒng)的情況。 如圖8中所示，該示例的頭戴式耳機(jī)系統(tǒng)包括左聲道聲音輸入端子
101L和右聲道聲音輸入端子101R。
作為繼聲音輸入端子IOIL、 101R之后的各級(jí)，信號(hào)處理部件102、
左聲道數(shù)字/模擬(D/A)轉(zhuǎn)換器103L、右聲道D/A轉(zhuǎn)換器103R、左聲道
放大器104L、右聲道放大器104R、左頭戴式耳機(jī)揚(yáng)聲器105L以及右頭戴
式耳機(jī)揚(yáng)聲器105R被提供。
6經(jīng)聲音輸入端子IOIL、 101R輸入的數(shù)字聲音信號(hào)被提供給信號(hào)處理 部件102，信號(hào)處理部件102執(zhí)行用于將由聲音信號(hào)產(chǎn)生的聲像定位到任 意位置的虛擬聲像定位處理。
在信號(hào)處理部件102中被虛擬聲像定位處理處理之后，左右數(shù)字聲音 信號(hào)在D/A轉(zhuǎn)換器103L、 103R中被轉(zhuǎn)換成模擬聲音信號(hào)。在被轉(zhuǎn)換成模 擬聲音信號(hào)之后，左右聲音信號(hào)在放大器104L、 104R中被放大，之后被 提供給頭戴式耳機(jī)揚(yáng)聲器105L、 105R。因此，頭戴式耳機(jī)揚(yáng)聲器105L、 105R根據(jù)與已被虛擬聲像定位處理處理之后的左右兩個(gè)聲道中的聲音信號(hào) 來(lái)發(fā)出聲音。
用于使左右頭戴式耳機(jī)揚(yáng)聲器105L、 105R能夠被放置在用戶的頭部 上的頭部繃帶110被設(shè)置有后面會(huì)描述的用于檢測(cè)用戶頭部轉(zhuǎn)動(dòng)的陀螺儀 傳感器106。
來(lái)自陀螺儀傳感器106的檢測(cè)輸出被提供給檢測(cè)部件107，該檢測(cè)部 件107檢測(cè)用戶轉(zhuǎn)動(dòng)其頭部時(shí)的角速度。來(lái)自檢測(cè)部件107的角速度通過(guò) 模/數(shù)(A/D)轉(zhuǎn)換器108被轉(zhuǎn)換成數(shù)字信號(hào)，之后該數(shù)字信號(hào)被提供給計(jì) 算部件109。計(jì)算部件109根據(jù)用戶頭部轉(zhuǎn)動(dòng)期間的角速度來(lái)計(jì)算用于 HRTF的校正值。該校正值被提供給信號(hào)處理部件102以校正虛擬聲像的 定位。
通過(guò)以這種方式利用陀螺儀傳感器106檢測(cè)用戶頭部的轉(zhuǎn)動(dòng)，可以根 據(jù)用戶頭部的方向來(lái)始終將虛擬聲像定位到預(yù)定的位置。
就是說(shuō)，虛擬聲像不是被定位在用戶的前面，而是仍然被定位在原始 位置，即使用戶轉(zhuǎn)動(dòng)其頭部也是如此。
圖8中所示的信號(hào)處理部件102將應(yīng)用與從被安裝在聽(tīng)者M(jìn)前面的兩 個(gè)揚(yáng)聲器SL、 SR到聽(tīng)者M(jìn)的兩耳YL、 YR的傳輸函數(shù)HLL、 HLR、 HRR、 HRL等效的傳輸特性，如圖9中所示。
傳輸函數(shù)HLL與從揚(yáng)聲器SL到聽(tīng)者M(jìn)的左耳YL的傳輸特性相對(duì) 應(yīng)。傳輸函數(shù)HLR與從揚(yáng)聲器SL到聽(tīng)者M(jìn)的右耳YR的傳輸特性相對(duì) 應(yīng)。傳輸函數(shù)HRR與從揚(yáng)聲器SR到聽(tīng)者M(jìn)的右耳YR的傳輸特性相對(duì) 應(yīng)。傳輸函數(shù)HRL與從揚(yáng)聲器SR到聽(tīng)者M(jìn)的左耳YL的傳輸特性相對(duì)應(yīng)。
傳輸函數(shù)HLL、 HLR、 HRR、 HRL可以作為在時(shí)間軸上的脈沖響應(yīng)被 獲得。通過(guò)在圖8中所示出的信號(hào)處理部件102中施加該脈沖響應(yīng)，當(dāng)被 再現(xiàn)的聲音被利用頭戴式耳機(jī)聆聽(tīng)時(shí)，可以再生出與如圖9中所示的被安 裝在聽(tīng)者M(jìn)前面的揚(yáng)聲器SL、 SR所產(chǎn)生的聲像等效的聲像。
如上所述，用于將傳輸函數(shù)HLL、 HLR、 HRR、 HRL應(yīng)用于要被處理 的聲音信號(hào)的處理利用被設(shè)置在如圖8中所示的頭戴式耳機(jī)系統(tǒng)的信號(hào)處 理部件102中的有限脈沖響應(yīng)(FIR)濾波器來(lái)實(shí)現(xiàn)。
圖8中所示的信號(hào)處理部件102的具體配置如圖10中所示。對(duì)于經(jīng)左 聲道聲音輸入端子IOIL輸入的聲音信號(hào)，用于實(shí)現(xiàn)傳輸函數(shù)HLL的FIR 濾波器1021和用于實(shí)現(xiàn)傳輸函數(shù)HLR的FIR濾波器1022被提供。
同時(shí)，對(duì)于經(jīng)右聲道聲音輸入端子101R輸入的聲音信號(hào)，用于實(shí)現(xiàn) 傳輸函數(shù)HRL的FIR濾波器1023和用于實(shí)現(xiàn)傳輸函數(shù)HRR的FIR濾波 器1024被提供。
來(lái)自FIR濾波器1021的輸出信號(hào)和來(lái)自FIR濾波器1023的輸出信號(hào) 通過(guò)加法器1025被相加，并被提供給左頭戴式耳機(jī)揚(yáng)聲器105L。同時(shí)， 來(lái)自FIR濾波器1024的輸出信號(hào)和來(lái)自FIR濾波器1022的輸出信號(hào)通過(guò) 加法器1026被相加，并被提供給右頭戴式耳機(jī)揚(yáng)聲器105R。
這樣被配置的信號(hào)處理部件102將傳輸函數(shù)HLL、 HLR應(yīng)用到左聲道 聲音信號(hào)，并將傳輸函數(shù)HRL、 HRR應(yīng)用到右聲道聲音信號(hào)。
利用來(lái)自被設(shè)置在頭部繃帶110中的陀螺儀傳感器106的檢測(cè)輸出， 可以使虛擬聲像始終被定位在固定的位置，即使用戶轉(zhuǎn)動(dòng)其頭部也是如 此，從而使得所產(chǎn)生的聲音可以形成自然的聲音場(chǎng)。
前面對(duì)這樣的情況進(jìn)行了描述，即對(duì)左右兩個(gè)聲道中的聲音信號(hào)執(zhí)行 虛擬聲像定位處理的情況。然而，要被處理的聲音信號(hào)不局限于左右兩個(gè) 聲道中的聲音信號(hào)。日本未審查專利申請(qǐng)公布No. Hei 11-205892詳細(xì)地描 述了一種被適配為對(duì)多個(gè)聲道中的聲音信號(hào)執(zhí)行虛擬聲像定位的音頻再現(xiàn) 裝置。
8
發(fā)明內(nèi)容
在如圖8到圖10中所圖示的用于執(zhí)行虛擬聲像定位處理的相關(guān)技術(shù) 的頭戴式耳機(jī)系統(tǒng)中，陀螺儀傳感器106檢測(cè)用戶頭部的轉(zhuǎn)動(dòng)，并且例如 可以是單軸陀螺儀傳感器。在相關(guān)技術(shù)的頭戴式耳機(jī)系統(tǒng)中，陀螺儀傳感 器106可以被設(shè)置在頭戴式耳機(jī)中，并且檢測(cè)軸沿沿垂直方向延伸(重力 的方向)。
就是說(shuō)，如圖IIA和圖IIB中所示，陀螺儀傳感器106可以被固定在 用于將左右頭戴式耳機(jī)揚(yáng)聲器105L、 105R放置在用戶頭部上的頭部繃帶 110中的預(yù)定位置處。因而，可以在頭戴式耳機(jī)系統(tǒng)被放置在用戶頭部上 時(shí)，將陀螺儀傳感器106的檢測(cè)軸保持沿垂直方向延伸。
然而，這種方法不可以被原樣應(yīng)用于耳塞和沒(méi)有頭部繃帶的頭戴式耳 機(jī)，例如聽(tīng)筒可插入用戶的聽(tīng)囊的所謂的入耳式和耳內(nèi)式的耳塞和揚(yáng)聲器 可以掛在用戶的聽(tīng)囊上的所謂的耳掛式的頭戴式耳機(jī)。
不同的用戶會(huì)有不同的耳朵的形狀和戴耳塞或頭戴式耳機(jī)的方式。因 此，實(shí)際上很難在入耳式或耳內(nèi)式的耳塞或耳掛式的頭戴式耳機(jī)被放在用 戶的耳朵上時(shí)將陀螺儀傳感器106放入這樣的耳塞或頭戴式耳機(jī)中并且使 檢測(cè)軸沿垂直方向延伸。
類似的現(xiàn)象例如會(huì)發(fā)生在使用被稱為"頭戴式顯示器"的可安放在用戶 頭部上的小型顯示設(shè)備的系統(tǒng)中，其中顯示圖像響應(yīng)于用戶頭部的轉(zhuǎn)動(dòng)而 被改變。
就是說(shuō)，當(dāng)用戶頭部的轉(zhuǎn)動(dòng)未被準(zhǔn)確檢測(cè)到時(shí)，頭戴式顯示器可能不 能夠根據(jù)用戶頭部的方向來(lái)顯示適當(dāng)?shù)膱D像。
考慮到以上問(wèn)題，希望提供一種能夠適當(dāng)?shù)貦z測(cè)用戶頭部的轉(zhuǎn)動(dòng)以根 據(jù)用戶頭部的轉(zhuǎn)動(dòng)來(lái)執(zhí)行適當(dāng)?shù)恼{(diào)節(jié)的裝置。
根據(jù)本發(fā)明的第一實(shí)施例，提供了一種聲音處理裝置，該裝置包括 聲像定位處理裝置，用于根據(jù)預(yù)定義的頭部相關(guān)的傳輸函數(shù)對(duì)要被再現(xiàn)的 聲音信號(hào)執(zhí)行聲像定位處理；揚(yáng)聲器部件，該揚(yáng)聲器部件可被放置在用戶 的耳朵上，并且被提供有己經(jīng)由所述聲像定位處理裝置進(jìn)行了所述聲像定 位處理的聲音信號(hào)以根據(jù)所述聲音信號(hào)發(fā)出聲音；轉(zhuǎn)動(dòng)檢測(cè)裝置，該轉(zhuǎn)動(dòng)檢測(cè)裝置被設(shè)置在所述揚(yáng)聲器部件中以檢測(cè)戴著所述揚(yáng)聲器部件的所述用 戶的頭部的轉(zhuǎn)動(dòng)；傾斜檢測(cè)裝置，該傾斜檢測(cè)裝置被設(shè)置在所述揚(yáng)聲器部 件中以檢測(cè)所述轉(zhuǎn)動(dòng)檢測(cè)裝置的傾斜；轉(zhuǎn)動(dòng)校正裝置，用于基于所述傾斜 檢測(cè)裝置的檢測(cè)結(jié)果校正來(lái)自所述轉(zhuǎn)動(dòng)檢測(cè)裝置的檢測(cè)結(jié)果；以及調(diào)節(jié)裝 置，用于控制所述聲像定位處理裝置，以基于經(jīng)所述轉(zhuǎn)動(dòng)校正裝置校正后 的來(lái)自所述轉(zhuǎn)動(dòng)檢測(cè)裝置的檢測(cè)結(jié)果調(diào)節(jié)聲像的被定位位置。
利用根據(jù)本發(fā)明第一實(shí)施例的聲音處理裝置，被設(shè)置在被放在用戶耳 朵上的揚(yáng)聲器部件中的轉(zhuǎn)動(dòng)檢測(cè)裝置檢測(cè)用戶頭部的轉(zhuǎn)動(dòng)，并且被設(shè)置在 揚(yáng)聲器部件中的傾斜檢測(cè)裝置檢測(cè)轉(zhuǎn)動(dòng)檢測(cè)裝置的傾斜。
轉(zhuǎn)動(dòng)校正裝置基于從傾斜檢測(cè)裝置那獲得的轉(zhuǎn)動(dòng)檢測(cè)裝置的傾斜來(lái)校 正來(lái)自轉(zhuǎn)動(dòng)檢測(cè)裝置的檢測(cè)輸出。聲像定位處理裝置所要執(zhí)行的聲像定位 處理被控制以便基于校正后的來(lái)自轉(zhuǎn)動(dòng)檢測(cè)裝置的檢測(cè)輸出來(lái)調(diào)節(jié)聲像的 被定位位置。
因此，可以適當(dāng)?shù)貦z測(cè)用戶頭部的轉(zhuǎn)動(dòng)，適當(dāng)?shù)乜刂埔陕曄穸ㄎ惶?理裝置執(zhí)行的聲像定位處理，并且適當(dāng)?shù)卣{(diào)節(jié)聲像的被定位位置。
圖1是示出了根據(jù)本發(fā)明第一實(shí)施例的聲音處理裝置的耳塞系統(tǒng)的示 例性配置的框圖2A示出了當(dāng)用戶被從背后觀察時(shí)，在耳塞被放在用戶的耳朵上的 情況下陀螺儀傳感器的檢測(cè)軸和加速度傳感器的檢測(cè)軸之間的關(guān)系；
圖2B示出了當(dāng)用戶被從左邊觀察時(shí)，在耳塞被放在用戶的耳朵上的 情況下陀螺儀傳感器的檢測(cè)軸和加速度傳感器的檢測(cè)軸之間的關(guān)系；
圖3示出了在由加速度傳感器的三個(gè)檢測(cè)軸Xa、 Ya、 Za定義的坐標(biāo) 系中陀螺儀傳感器的檢測(cè)軸與垂直方向之間的偏離；
圖4示出了說(shuō)明由聲像定位校正處理部件執(zhí)行的校正處理的公式；
圖5示出了根據(jù)本發(fā)明第二實(shí)施例的視頻處理裝置的頭戴式顯示部件 的外觀；
圖6是示出了根據(jù)第二實(shí)施例的包括頭戴式顯示部件的視頻處理裝置的示例性配置的框圖7示出了要由視頻再現(xiàn)部件根據(jù)用戶頭部的方向來(lái)讀取的360。視頻 數(shù)據(jù)的一部分；
圖8示出了使用虛擬聲像定位處理的頭戴式系統(tǒng)的示例性配置；
圖9示出了用于兩個(gè)聲道的虛擬聲像定位處理的概念； 圖IO示出了圖8中所示的信號(hào)處理部件的示例性配置；
圖IIA示出了當(dāng)用戶被從背后觀察時(shí)，相關(guān)技術(shù)中的設(shè)置有陀螺儀傳 感器的頭戴式耳機(jī)系統(tǒng)被放在用戶頭部上的情況；
圖IIB示出了當(dāng)用戶被從左邊觀察時(shí)，相關(guān)技術(shù)中的設(shè)置有陀螺儀傳 感器的頭戴式耳機(jī)系統(tǒng)被放在用戶頭部上的情況。
具體實(shí)施例方式
下面將參考附圖來(lái)描述本發(fā)明的實(shí)施例。 <第一實(shí)施例〉
原則上，本發(fā)明可應(yīng)用于多聲道聲音處理裝置。然而，在下述的第一 實(shí)施例中，為了便于描述，對(duì)本發(fā)明被應(yīng)用于具有左右兩個(gè)聲道的聲音處 理裝置的情況進(jìn)行描述。
圖1是示出了根據(jù)第一實(shí)施例的耳塞系統(tǒng)1的示例性配置的框圖。圖 1中所示的耳塞系統(tǒng)被大致分成用于再現(xiàn)聲音信號(hào)的系統(tǒng)和用于檢測(cè)和校 正用戶頭部轉(zhuǎn)動(dòng)的系統(tǒng)。
用于再現(xiàn)聲音信號(hào)的系統(tǒng)由音樂(lè)/聲音再現(xiàn)設(shè)備11、信號(hào)處理處理器 12的聲像定位處理部件121、數(shù)/模(D/A)轉(zhuǎn)換器13L、 13R、放大器 14L、 14R和耳塞15L、 15R構(gòu)成。
D/A轉(zhuǎn)換器13L、放大器14L和耳塞15L被用于左聲道。D/A轉(zhuǎn)換器 13R、放大器14R和耳塞15R被用于右聲道。
用于檢測(cè)和校正用戶頭部轉(zhuǎn)動(dòng)的系統(tǒng)由陀螺儀傳感器16、加速度傳感 器17、模/數(shù)(A/D)轉(zhuǎn)換器18和信號(hào)處理處理器12的聲像定位校正處理 部件122構(gòu)成。
音樂(lè)/聲音再現(xiàn)設(shè)備11可以是任何類型的再現(xiàn)設(shè)備，包括使用半導(dǎo)體作為存儲(chǔ)介質(zhì)的集成電路(IC)記錄器、具有音樂(lè)重放功能的手機(jī)終端和
用于播放諸如CD (致密型磁盤(pán))或MD (注冊(cè)商標(biāo))之類的小型光盤(pán)的 設(shè)備。
耳塞15L、 15R可以是入耳式的、耳內(nèi)式的或者耳掛式的。就是說(shuō)， 取決于用戶耳朵的形狀和戴耳塞的方式，耳塞15L、 15R在被放在用戶的 耳朵上時(shí)可能在不同的位置。
陀螺儀傳感器16和加速度傳感器17可以被設(shè)置在耳塞15L、 15R中 的一個(gè)內(nèi)，并且如下所述在第一實(shí)施例中被設(shè)置在用于左聲道的耳塞15L 中。
在圖1中所示的耳塞系統(tǒng)1中，音樂(lè)/聲音再現(xiàn)設(shè)備11所再現(xiàn)的數(shù)字 聲音信號(hào)被提供給信號(hào)處理處理器12的聲像定位處理部件121。
聲像定位處理部件121例如可以按圖10中所示的方式被配置。就是 說(shuō)，聲像定位處理部件121可以包括分別用于實(shí)現(xiàn)傳輸函數(shù)HLL、 HLR、 HRL、 HRR的四個(gè)有限脈沖響應(yīng)(FIR)濾波器1021、 1022、 1023、 1024 和兩個(gè)加法器1025、 1026，如圖10中所示。
聲像定位處理部件121的FIR濾波器1021、 1022、 1023、 1024的相應(yīng) 的傳輸函數(shù)可以根據(jù)來(lái)自下述聲像定位校正處理部件122的校正信息來(lái)校 正。
如圖1中所示，來(lái)自陀螺儀傳感器16的檢測(cè)輸出和來(lái)自加速度傳感器 17的檢測(cè)輸出經(jīng)A/D轉(zhuǎn)換器18被轉(zhuǎn)換成數(shù)字信號(hào)，之后被提供給根據(jù)第 一實(shí)施例的耳塞系統(tǒng)1的聲像定位校正處理部件122。
如上所述，陀螺儀傳感器16和加速度傳感器17被設(shè)置在用于左聲道 的耳塞15L中。
陀螺儀傳感器16檢測(cè)將耳塞15L戴在耳朵上的用戶的頭部的水平轉(zhuǎn) 動(dòng)，并且例如可以是單軸陀螺儀傳感器。加速度傳感器17可以是三軸加 速度傳感器，該加速度傳感器通過(guò)檢測(cè)在彼此垂直的三個(gè)軸的方向上的加 速度來(lái)檢測(cè)陀螺儀傳感器16的傾斜。
為了準(zhǔn)確地檢測(cè)用戶頭部的水平轉(zhuǎn)動(dòng)，需要將耳塞15L放在用戶耳朵 上，以使得陀螺儀傳感器16的檢測(cè)軸沿垂直方向延伸。如上所述，耳塞15L、 15R是入耳式的、耳內(nèi)式的或者耳掛式的。因 此，通常很難在被設(shè)置在耳塞15L中的陀螺儀傳感器16的檢測(cè)軸沿垂直 方向延伸(換言之，檢測(cè)軸沿與地板表面垂直的方向延伸)的同時(shí)將耳塞 15L放在用戶的耳朵上。
因此，聲像定位校正處理部件122使用同樣被設(shè)置在耳塞15L中的三 軸加速度傳感器17的檢測(cè)輸出來(lái)檢測(cè)陀螺儀傳感器16的傾斜。隨后，聲 像定位校正處理部件122基于加速度傳感器17的檢測(cè)輸出來(lái)校正陀螺儀 傳感器16的檢測(cè)輸出以準(zhǔn)確地檢測(cè)用戶頭部(以方向和轉(zhuǎn)動(dòng)量來(lái)表示) 的水平轉(zhuǎn)動(dòng)。
聲像定位校正處理部件122根據(jù)被準(zhǔn)確檢測(cè)的用戶頭部的轉(zhuǎn)動(dòng)來(lái)校正 聲像定位處理部件121的各個(gè)FIR濾波器的傳輸函數(shù)，以使得聲像定位處 理可以被適當(dāng)?shù)貓?zhí)行。
因此，即使將耳塞15L、 15R戴在耳朵上的用戶水平轉(zhuǎn)動(dòng)其頭部以改 變其頭部的方向，聲像的被定位位置也不會(huì)改變，而是仍然被定位在原始 位置處。
在用戶正在聽(tīng)從被安裝在房間內(nèi)的揚(yáng)聲器發(fā)出的聲音的情況下，所發(fā) 出的聲音來(lái)自于揚(yáng)聲器，因?yàn)榧词褂脩舾淖兞似漕^部的方向，揚(yáng)聲器的位 置并不改變。
然而，在采用用于將聲像定位在用戶前面的虛擬聲像定位處理的耳塞 系統(tǒng)的情況下，在用戶改變其頭部的方向時(shí)，聲像被始終定位在用戶前 面。
就是說(shuō)，在采用虛擬聲像定位處理的耳塞系統(tǒng)的情況下，聲像的被定 位位置隨著戴耳塞的用戶的頭部方向的改變而移動(dòng)，使得聲音場(chǎng)不自然。
因此，可以根據(jù)用戶頭部的水平轉(zhuǎn)動(dòng)、利用上述聲像定位校正處理部 件122等的函數(shù)來(lái)校正虛擬聲像定位處理，使得聲像始終被定位在固定位 置并且形成自然的聲場(chǎng)。
下面具體描述要在聲像定位校正處理部件122中被執(zhí)行的處理。圖2A 和2B示出了耳塞15L、 15R被放在用戶的耳朵上時(shí)陀螺儀傳感器16的檢 測(cè)軸和加速度傳感器17的檢測(cè)軸之間的關(guān)系。圖2A示出了被從背后觀察
13的戴著耳塞15L、 15R的用戶。圖2B示出了被從左邊觀察的戴著耳塞15L 的用戶。
在圖2A和2B中，軸Xa、 Ya、 Za是加速度傳感器17的彼此垂直的 三個(gè)檢測(cè)軸。垂直軸Va對(duì)應(yīng)于垂直方向(重力的方向)，并且沿垂直于 地板表面的方向延伸。
加速度傳感器17以相對(duì)于陀螺儀傳感器16的預(yù)定位置關(guān)系被設(shè)置， 以便能夠檢測(cè)陀螺儀傳感器16的傾斜。在根據(jù)第一實(shí)施例的耳塞系統(tǒng)1 中，加速度傳感器17被設(shè)置，并且三個(gè)軸中的Za軸與陀螺儀傳感器16 的檢測(cè)軸相匹配。
如上所述，耳塞系統(tǒng)1的耳塞15L、 15R是入耳式的、耳內(nèi)式的、或 耳掛式的。因此，如圖2A中所示，耳塞15L、 15R被分別放在用戶的左 右耳上。
考慮這樣的情況，其中與加速度傳感器17的Za軸相匹配的陀螺儀傳 感16的檢測(cè)軸不沿垂直軸Va所指示的垂直方向，如顯示被從背后觀察的 用戶的圖2A中所示。
在這種情況下，陀螺儀傳感器16的檢測(cè)軸相對(duì)垂直方向的偏離量被定 義為(^度，如圖2A中所示。就是說(shuō)，在由作為加速度傳感器17的檢測(cè)軸 的Ya軸和Za軸定義的平面中，陀螺儀傳感器16的檢測(cè)軸相對(duì)于垂直方
向的偏離量是4)度。
當(dāng)在這種情況下的用戶被從左邊觀察時(shí)，與加速度傳感器17的Za軸 相匹配的陀螺儀傳感器16的檢測(cè)軸相對(duì)于垂直軸Va所指示的垂直方向的 偏離量為0度，如圖2B中所示。
下面概述圖2A和圖2B中所示的陀螺儀傳感器16的檢測(cè)軸、加速度 傳感器17的三個(gè)檢測(cè)軸與垂直方向之間的關(guān)系。圖3示出了由加速度傳 感器17的三個(gè)檢測(cè)軸Xa、 Ya、 Za所定義的坐標(biāo)系中陀螺儀傳感器16的 檢測(cè)軸與垂直方向之間的偏離。
在圖3中，Xa軸上的箭頭SXa與加速度傳感器17在Xa軸方向上的 檢測(cè)輸出相對(duì)應(yīng)，Ya軸上的箭頭SYa與加速度傳感器17在Ya軸方向上 的檢測(cè)輸出相對(duì)應(yīng)，并且Za軸上的箭頭SZa與加速度傳感器17在Za軸方向上的檢測(cè)輸出相對(duì)應(yīng)。
在圖3中，實(shí)線箭頭所指示的垂直軸Va與圖3中所示的三軸坐標(biāo)系 的實(shí)際垂直方向相對(duì)應(yīng)。如上所述，加速度傳感器17設(shè)有作為檢測(cè)軸之 一的Za軸，該Za軸與陀螺儀傳感器16的檢測(cè)軸相匹配。
因此，由加速度傳感器17的Ya軸和Za軸定義的Ya-Za平面中的垂 直方向與圖3中的點(diǎn)箭頭VY所指示的方向相對(duì)應(yīng)。因而，垂直方向VY 與在Ya-Za平面上的陀螺儀傳感器16的檢測(cè)軸(對(duì)應(yīng)于Za軸)之間的偏 離就是垂直方向VY與Za軸之間所形成的4)度的角度。Ya-Za平面中所示 的狀態(tài)對(duì)應(yīng)于圖2A中所示的狀態(tài)。
同時(shí)，由加速度傳感器17的Xa軸和Za軸定義的Xa-Za平面中的垂 直方向與圖3中的點(diǎn)箭頭VX所指示的方向相對(duì)應(yīng)。因而，垂直方向VX 與在Xa-Za平面上的陀螺儀傳感器16的檢測(cè)軸(對(duì)應(yīng)于Za軸)之間的偏 離就是垂直方向VX與Za軸之間所形成的0度的角度。Xa-Za平面中所示 的狀態(tài)對(duì)應(yīng)于圖2B中所示的狀態(tài)。
之后，如圖3中所示，陀螺儀傳感器16的檢測(cè)軸相對(duì)于Xa-Za平面中 的垂直方向的偏離量被定義為(cos0)。同樣，陀螺儀傳感器16的檢測(cè)軸 相對(duì)于Ya-Za平面中的垂直方向的偏離量被定義為(cos啦)。
圖4示出了說(shuō)明由聲像定位校正處理部件122執(zhí)行的校正處理的公式。
理想狀態(tài)下陀螺儀傳感器16的輸出，即在陀螺儀傳感器16的檢測(cè)軸 與實(shí)際垂直方向匹配的情況下陀螺儀傳感器16的檢測(cè)輸出，被表示為 "Si"。
陀螺儀傳感器16的實(shí)際輸出，即在陀螺儀傳感器16的檢測(cè)軸在Ya-Za平面中相對(duì)于垂直方向偏離(J)度并且在Xa-Za平面中偏離0度的情況下 陀螺儀傳感器16的檢測(cè)輸出，被表示為"Sr"。
在這種情況下，通過(guò)將理想狀態(tài)下的檢測(cè)輸出"Si" 、 Xa-Za平面中 的偏離量(cos"以及Ya-Za平面中的偏離量(C0S(|))相乘來(lái)得到實(shí)際檢 測(cè)輸出"Sr"，如圖4中的公式(1)所示。
理想狀態(tài)下陀螺儀傳感器16的估計(jì)輸出值被表示為"Sii"。估計(jì)輸出值"Sii"與理想狀態(tài)下陀螺儀傳感器16的輸出值"Si"原則上應(yīng)當(dāng)盡可 能地彼此接近。
因此，利用圖4中的公式(2)來(lái)得到理想狀態(tài)下陀螺儀傳感器16的 估計(jì)輸出值"Sii"。就是說(shuō)，通過(guò)將陀螺儀傳感器16的實(shí)際輸出值除以 將Xa-Za平面中的偏離量(cos0)與Ya-Za平面中的偏離量(cos*)相乘 所得到的值來(lái)得到估計(jì)輸出值"Sii"。
聲像定位校正處理部件122被提供有來(lái)自陀螺儀傳感器16的檢測(cè)輸出 和來(lái)自加速度傳感器17的檢測(cè)輸出。聲像定位校正處理部件122基于如 圖2A、 2B和圖3中所示的針對(duì)加速度傳感器17的三個(gè)軸的檢測(cè)輸出來(lái)得 到陀螺儀傳感器16的檢測(cè)軸相對(duì)于垂直方向的偏離量，并且基于根據(jù)圖4 中的公式(2)所得到的偏離量來(lái)校正陀螺儀傳感器16的檢測(cè)輸出。
聲像定位校正處理部件122基于校正后的陀螺儀傳感器16的檢測(cè)輸出 來(lái)校正聲像定位處理部件121的FIR濾波器的各個(gè)傳輸函數(shù)，以根據(jù)用戶 頭部的轉(zhuǎn)動(dòng)來(lái)適當(dāng)?shù)匦Ｕ摂M聲像的被定位位置。
加速度傳感器17是如上所述的三軸加速度傳感器，并且可以由針對(duì)形 成相應(yīng)平面的兩個(gè)軸的輸出值來(lái)得到tan0和tan*的值。這些值的反正切 (arctan)被獲得以得到0和4>的值。
換言之，在圖3中所示的狀態(tài)中，用arctan(SZa/SXa)得到0。同樣， 用arctan(SZa/SYa)得到(|)。
因此，基于加速度傳感器17的檢測(cè)輸出得到cos0和cos(|)。之后，可 以根據(jù)圖4中的公式(2)利用cos0和cos(J)校正陀螺儀傳感器16的檢測(cè) 輸出。
如上所述，即使在耳塞15L被放在用戶的耳朵上、陀螺儀傳感器16 的檢測(cè)軸不沿垂直方向延伸的情況下，也可以利用按照相對(duì)于陀螺儀傳感 器16的固定位置關(guān)系被設(shè)置的加速度傳感器17的檢測(cè)輸出來(lái)進(jìn)行適當(dāng)?shù)?校正。
這使得在聲像定位處理部件121中所執(zhí)行的虛擬聲像定位處理能夠根 據(jù)用戶頭部的水平轉(zhuǎn)動(dòng)而被適當(dāng)?shù)匦Ｕ?，從而將聲像始終定位在固定的位 置并形成自然的聲音場(chǎng)。在根據(jù)第一實(shí)施例的耳塞系統(tǒng)1中，當(dāng)耳塞系統(tǒng)1的預(yù)定的操作按鈕 開(kāi)關(guān)被操作時(shí)，考慮用戶頭部的水平轉(zhuǎn)動(dòng)的聲像定位處理被執(zhí)行。在這種 情況下，預(yù)定的操作按鈕開(kāi)關(guān)被操作時(shí)用戶頭部的位置被用作用戶頭部向 前的位置(參考位置)。
或者，在啟動(dòng)考慮用戶頭部轉(zhuǎn)動(dòng)的聲像定位處理之前，用戶頭部向前 的位置(參考位置)例如可以被確定為音樂(lè)重放按鈕被操作時(shí)用戶頭部的 位置。
又或者，在啟動(dòng)考慮用戶頭部轉(zhuǎn)動(dòng)的聲像定位處理之前，當(dāng)被檢測(cè)到 用戶以較大的動(dòng)作晃動(dòng)其頭部并且其頭部的動(dòng)作停下來(lái)時(shí)，那一時(shí)刻用戶 頭部的位置例如可以被確定為用戶頭部向前的位置(參考位置)。
各種可被耳塞系統(tǒng)1檢測(cè)到的其它觸發(fā)都可以被用來(lái)啟動(dòng)考慮用戶頭 部轉(zhuǎn)動(dòng)的虛擬聲像定位處理。
此外，從以上描述可以理解，例如即使戴著耳塞15L、 15R的用戶頭 部被傾斜，也可以利用加速度傳感器17的檢測(cè)輸出來(lái)檢測(cè)出陀螺儀傳感 器16的檢測(cè)軸相對(duì)于垂直方向的偏離。
因而，即使用戶頭部被傾斜，也可以基于加速度傳感器17的檢測(cè)輸出 來(lái)校正陀螺儀傳感器16的檢測(cè)輸出。
雖然加速度傳感器17是根據(jù)上述第一實(shí)施例的耳塞系統(tǒng)1中的三軸加 速度傳感器，但是本發(fā)明不局限于此。加速度傳感器17可以是單軸或雙 軸加速度傳感器。
例如，單軸加速度傳感器最初被設(shè)置有沿垂直方向延伸的檢測(cè)軸。然 后，可以根據(jù)單軸加速度傳感器的實(shí)際檢測(cè)值和初始狀態(tài)下的值(9.8m/ s2)之間的差別來(lái)檢測(cè)陀螺儀傳感器的檢測(cè)軸相對(duì)于垂直方向的偏離。
雙軸加速度傳感器也可以按同樣的方式被使用。就是說(shuō)，在雙軸加速 度傳感器的情況下，同樣可以根據(jù)加速度傳感器的實(shí)際檢測(cè)輸出與加速度 傳感器被相對(duì)于地板表面水平放置的情況下所得到的檢測(cè)輸出之間的差別 來(lái)檢測(cè)陀螺儀傳感器的檢測(cè)軸相對(duì)于垂直方向的偏離。
多個(gè)用戶可以使用裝配有陀螺儀傳感器和單軸或雙軸加速度傳感器的耳塞系統(tǒng)來(lái)提前測(cè)量加速度傳感器的檢測(cè)輸出和陀螺儀傳感器的檢測(cè)軸的 偏離量，準(zhǔn)備一個(gè)其中結(jié)果測(cè)量值被相互關(guān)聯(lián)的表格。
然后，加速度傳感器的檢測(cè)輸出可以在表格中被參考以指定陀螺儀傳 感器的檢測(cè)軸相對(duì)于垂直方向的偏離量，陀螺儀傳感器的檢測(cè)輸出可以基 于該偏離量被校正。
在這種情況下，例如需要將其中加速度傳感器的檢測(cè)輸出和陀螺儀傳 感器的檢測(cè)軸相對(duì)于垂直方向的偏離量被相互關(guān)聯(lián)的表格存儲(chǔ)在聲像定位 校正處理部件122中的存儲(chǔ)器或者可訪問(wèn)的外部存儲(chǔ)器中。
雖然在以上描述中陀螺儀傳感器16是單軸陀螺儀傳感器，但是本發(fā)明
不局限于此。也可以使用具有兩個(gè)或多個(gè)軸的陀螺儀傳感器。同樣，在這 種情況下，例如可以檢測(cè)用戶頭部在垂直方向(上下方向)上的轉(zhuǎn)動(dòng)，允 許對(duì)聲像在垂直方向上的定位進(jìn)行校正。
如上所述，本發(fā)明可適當(dāng)?shù)貞?yīng)用于入耳式、耳內(nèi)式和耳掛式的耳塞和 頭戴式耳機(jī)。然而，本發(fā)明也可應(yīng)用于具有頭部繃帶的傳統(tǒng)頭戴式耳機(jī)。
從以上描述可以清楚，在第一實(shí)施例中，聲像定位處理部件121實(shí)現(xiàn) 作為聲像定位處理裝置的功能，而耳塞15L實(shí)現(xiàn)作為揚(yáng)聲器部件的功能。 另外，陀螺儀傳感器16實(shí)現(xiàn)作為轉(zhuǎn)動(dòng)檢測(cè)裝置的功能，加速度傳感器17 實(shí)現(xiàn)作為傾斜檢測(cè)裝置的功能，并且聲像定位校正處理部件122實(shí)現(xiàn)作為 轉(zhuǎn)動(dòng)校正裝置的功能和作為調(diào)節(jié)裝置的功能。
圖1到圖4中所示的根據(jù)第一實(shí)施例的耳塞系統(tǒng)被應(yīng)用根據(jù)本發(fā)明的 聲像定位位置調(diào)節(jié)方法。就是說(shuō)，根據(jù)本發(fā)明的聲像定位位置調(diào)節(jié)方法包 括以下步驟(1)通過(guò)被設(shè)置在耳塞15L中的陀螺儀傳感器16檢測(cè)戴耳 塞15L的用戶的頭部轉(zhuǎn)動(dòng)；(2)通過(guò)被設(shè)置在耳塞15L中的加速度傳感 器17檢測(cè)陀螺儀傳感器16的傾斜；(3)基于加速度傳感器17所檢測(cè)到 的陀螺儀傳感器16的傾斜來(lái)校正陀螺儀傳感器16所檢測(cè)到的針對(duì)用戶頭 部轉(zhuǎn)動(dòng)的檢測(cè)結(jié)果；以及(4)控制要對(duì)將被再現(xiàn)的聲音信號(hào)執(zhí)行的聲像 定位處理，以基于經(jīng)校正的陀螺儀傳感器16所檢測(cè)的針對(duì)用戶頭部轉(zhuǎn)動(dòng) 的檢測(cè)結(jié)果來(lái)調(diào)節(jié)聲像的被定位位置。
<第二實(shí)施例>
18現(xiàn)在對(duì)以下情況進(jìn)行描述，其中本發(fā)明被應(yīng)用于使用可安放在用戶頭 部上的小型顯示設(shè)備或者所謂的"頭戴式顯示器"的視頻處理裝置。
圖5示出了用在本發(fā)明第二實(shí)施例中的頭戴式顯示部件2的外觀。圖 6是示出了根據(jù)第二實(shí)施例的包括頭戴式顯示部件2的視頻處理裝置的示 例性配置的框圖。
如圖5中所示，頭戴式顯示部件2在被安放在用戶頭部上時(shí)被使用， 小型屏幕被放在距離用戶眼睛幾厘米的位置。
頭戴式顯示部件2可被配置為在被放在用戶眼睛前面的屏幕上形成并 顯示圖像，好像該圖像距離用戶特定的距離似的。
視頻再現(xiàn)設(shè)備3是根據(jù)本實(shí)施例的使用頭戴式顯示部件2的視頻處理 裝置的一個(gè)組件，該視頻再現(xiàn)設(shè)備3例如將針對(duì)比人視角寬的角度范圍而 捕獲的移動(dòng)圖像數(shù)據(jù)存儲(chǔ)在硬盤(pán)驅(qū)動(dòng)器中，下面會(huì)進(jìn)行討論。具體而言， 針對(duì)水平方向上360度范圍而捕獲的移動(dòng)圖像數(shù)據(jù)被存儲(chǔ)在硬盤(pán)驅(qū)動(dòng)器 中。戴著頭戴式顯示部件2的用戶的頭部水平轉(zhuǎn)動(dòng)被檢測(cè)以根據(jù)用戶頭部 的方向顯示一部分視頻。
為此目的，如圖6中所示，頭戴式顯示部件2包括例如可以是液晶顯 示器(LCD)的顯示部件21、用于檢測(cè)用戶頭部轉(zhuǎn)動(dòng)的陀螺儀傳感器22 以及加速度傳感器23。
視頻再現(xiàn)設(shè)備3為頭戴式顯示部件2提供視頻信號(hào)，并且可以是包括 硬盤(pán)記錄器和視頻游戲機(jī)在內(nèi)的各種視頻再現(xiàn)設(shè)備。
如圖6中所示，根據(jù)第二實(shí)施例的視頻處理裝置的視頻再現(xiàn)設(shè)備3包 括具有硬盤(pán)驅(qū)動(dòng)器(下文中簡(jiǎn)單稱為"HDD")的視頻再現(xiàn)部件31和視 頻處理部件32。
視頻再現(xiàn)設(shè)備3還包括用于接收來(lái)自頭戴式顯示部件2的傳感器的檢 測(cè)輸出的A/D轉(zhuǎn)換器33以及用于檢測(cè)用戶頭部的方向的用戶方向檢測(cè)部 件34。
一般來(lái)說(shuō)，視頻再現(xiàn)設(shè)備3接收來(lái)自用戶的關(guān)于用戶選擇播放哪個(gè)視 頻內(nèi)容的命令，并且一旦接收到這樣的命令，就啟動(dòng)用于播放被選擇視頻 內(nèi)容的處理。在這種情況下，視頻再現(xiàn)部件31讀取存儲(chǔ)在HDD中的被選擇視頻內(nèi) 容(視頻數(shù)據(jù))，并將所讀取的視頻內(nèi)容提供給視頻處理部件32。視頻處 理部件32執(zhí)行諸如壓縮/解壓縮被提供視頻內(nèi)容和將被提供視頻內(nèi)容轉(zhuǎn)換 成模擬信號(hào)以形成視頻信號(hào)之類的各種處理，并將視頻信號(hào)提供給頭戴式 顯示部件2的顯示部件21。這使得目標(biāo)視頻內(nèi)容能夠被顯示在頭戴式顯示 部件2的顯示部件22的屏幕上。
一般而言，頭戴式顯示部件2被利用頭部繃帶固定在頭部上。在頭戴 式顯示部件2是眼鏡類型的情況下，頭戴式顯示部件2被利用掛在用戶耳 朵上的所謂的腳絲(temple)(—副眼鏡被連接到鏡框并且被放在耳朵上 的部分)固定在用戶頭部上。
然而，取決于頭戴式顯示部件2被附接到頭部繃帶的方式，當(dāng)頭戴式 顯示部件2被放置在用戶頭部上時(shí)，陀螺儀傳感器22的檢測(cè)軸可能并不 沿垂直方向延伸。
在頭戴式顯示部件2為眼鏡類型的情況下，取決于用戶佩戴頭戴式顯 示部件2的方式，陀螺儀22的檢測(cè)軸可能并不沿垂直方向延伸。
因此，在根據(jù)第二實(shí)施例的視頻處理裝置中所使用的頭戴式顯示部件 2被設(shè)置有陀螺儀傳感器22和加速度傳感器23，如圖6中所示。
陀螺儀傳感器22檢測(cè)用戶頭部的轉(zhuǎn)動(dòng)，并且可以是與根據(jù)上述第一實(shí) 施例的耳塞系統(tǒng)1的陀螺儀傳感器16—樣的單軸陀螺儀傳感器。
加速度傳感器23可以是以相對(duì)于陀螺儀傳感器22的預(yù)定位置關(guān)系被 設(shè)置的三軸加速度傳感器，以檢測(cè)陀螺儀傳感器22的傾斜，像在根據(jù)上 述第一實(shí)施例的耳塞系統(tǒng)1的加速度傳感器17那樣。
同樣，在第二實(shí)施例中，加速度傳感器23被設(shè)置在頭戴式顯示部件2 中，并且加速度傳感器23的三個(gè)檢測(cè)軸之一 (例如，Za軸)與陀螺儀傳 感器22的檢測(cè)軸相匹配。
來(lái)自陀螺儀傳感器22的檢測(cè)輸出和來(lái)自被設(shè)置在頭戴式顯示部件2中 的加速度傳感器23的檢測(cè)輸出通過(guò)視頻再現(xiàn)設(shè)備3的A/D轉(zhuǎn)換器33被提 供給用戶方向檢測(cè)部件34。
A/D轉(zhuǎn)換器33將來(lái)自陀螺儀傳感器22的檢測(cè)輸出和來(lái)自加速度傳感器23的檢測(cè)輸出轉(zhuǎn)換成數(shù)字信號(hào)，并將該數(shù)字信號(hào)提供給用戶方向檢測(cè)
部件34。
與圖2A到圖4中所示的根據(jù)第一實(shí)施例的耳塞系統(tǒng)1中的聲像定位 校正處理部件122所做的一樣，用戶方向檢測(cè)部件34基于來(lái)自加速度傳 感器23的檢測(cè)輸出校正陀螺儀傳感器22的檢測(cè)輸出。
具體而言，如圖3中所示，首先根據(jù)針對(duì)加速度傳感器23的三個(gè)軸的 檢測(cè)輸出得到陀螺儀傳感器22的檢測(cè)軸相對(duì)于Xa-Za平面中的垂直方向 的偏離量(cos0)。然后，得到陀螺儀傳感器22的檢測(cè)軸相對(duì)于Ya-Za平 面中的垂直方向的偏離量(cos爭(zhēng))。
然后，如圖4中所示，根據(jù)圖4中的公式(2)利用陀螺儀傳感器22 的檢測(cè)輸出和陀螺儀傳感器22相對(duì)于垂直方向的偏離量(cos0， cos*)來(lái) 校正陀螺儀傳感器22的檢測(cè)輸出。這使得能夠得到在理想狀態(tài)"Sii"下 的陀螺儀傳感器22的估計(jì)輸出值，根據(jù)該估計(jì)輸出值指定用戶頭部的方 向。
然后，用戶方向檢測(cè)部件34將指示所檢測(cè)到的用戶頭部方向的信息提 供給視頻再現(xiàn)部件31。如上所述，視頻再現(xiàn)部件31的HDD存儲(chǔ)針對(duì)水平 方向上360度范圍捕獲的移動(dòng)圖像數(shù)據(jù)。
視頻再現(xiàn)部件31根據(jù)從用戶用戶方向檢測(cè)部件34接收的用戶頭部方 向讀取一部分移動(dòng)圖像數(shù)據(jù)，并再現(xiàn)所讀取的一部分移動(dòng)圖像數(shù)據(jù)。
圖7示出了視頻再現(xiàn)部件31要根據(jù)用戶頭部的方向讀取的一部分360 度視頻數(shù)據(jù)。在圖7中，用字母A表示的由點(diǎn)線環(huán)繞的區(qū)域(下文中稱為 "顯示區(qū)域A")與用戶頭部向前時(shí)要被顯示的視頻數(shù)據(jù)區(qū)域相對(duì)應(yīng)。
例如當(dāng)檢測(cè)到用戶頭部從向前的方向向左轉(zhuǎn)動(dòng)特定角度時(shí)，圖7中字 母B所指示的點(diǎn)線所環(huán)繞的視頻數(shù)據(jù)的區(qū)域(下文中稱為"顯示區(qū)域 B")被讀取并再現(xiàn)。
同樣，當(dāng)檢測(cè)到用戶頭部從向前的方向向右轉(zhuǎn)動(dòng)特定角度時(shí)，圖7中 字母C所指示的點(diǎn)線所環(huán)繞的視頻數(shù)據(jù)的區(qū)域(下文中稱為"顯示區(qū)域 C")被讀取并再現(xiàn)。
如上所述，當(dāng)戴著頭戴式顯示部件2的用戶面向前時(shí)，圖7中顯示區(qū)域A中的視頻數(shù)據(jù)被讀取和再現(xiàn)。當(dāng)用戶頭部從向前的方向向左轉(zhuǎn)動(dòng)特定
角度時(shí)，圖7中顯示區(qū)域B中的視頻數(shù)據(jù)被讀取和再現(xiàn)。同樣，當(dāng)用戶頭 部從向前的方向向右轉(zhuǎn)動(dòng)特定角度時(shí)，圖7中顯示區(qū)域C中的視頻數(shù)據(jù)被 讀取和再現(xiàn)。
當(dāng)在圖7中的顯示區(qū)域B中的視頻數(shù)據(jù)正在被再現(xiàn)的同時(shí)用戶頭部又 向左轉(zhuǎn)動(dòng)時(shí)，位于更左邊的一部分視頻數(shù)據(jù)被讀取和再現(xiàn)。
同樣，當(dāng)在圖7中的顯示區(qū)域C中的視頻數(shù)據(jù)正在被再現(xiàn)的同時(shí)用戶 頭部又向右轉(zhuǎn)動(dòng)時(shí)，位于更右邊的一部分視頻數(shù)據(jù)被讀取和再現(xiàn)。
如上所述，根據(jù)戴著頭戴式顯示部件2的用戶的頭部水平轉(zhuǎn)動(dòng)，針對(duì) 360度范圍被捕獲并存儲(chǔ)在HDD中的視頻數(shù)據(jù)的一部分被剪輯并再現(xiàn)。
由于用戶頭部的轉(zhuǎn)動(dòng)是基于陀螺儀傳感器22的檢測(cè)輸出被得到的，所 述檢測(cè)輸出已基于加速度傳感器23的檢測(cè)輸出被校正，所以可以準(zhǔn)確地 檢測(cè)用戶頭部的方向。因而，可以根據(jù)戴著頭戴式顯示部件2的用戶的頭 部方向來(lái)剪輯并再現(xiàn)適當(dāng)顯示區(qū)域的視頻數(shù)據(jù)。
在根據(jù)第二實(shí)施例的視頻處理裝置中，當(dāng)視頻處理裝置的預(yù)定操作按 鈕開(kāi)關(guān)被操作時(shí)，考慮用戶頭部轉(zhuǎn)動(dòng)的視頻顯示處理被執(zhí)行。在這種情況 下，預(yù)定操作按鈕開(kāi)關(guān)被操作時(shí)用戶頭部的位置被用作用戶頭部向前的位 置(參考位置)。
或者，在啟動(dòng)考慮用戶頭部轉(zhuǎn)動(dòng)的視頻顯示處理之前，用戶頭部向前 的位置(參考位置)例如可以被確定為視頻重放按鈕被操作時(shí)用戶頭部的 位置。
又或者，在啟動(dòng)考慮用戶頭部轉(zhuǎn)動(dòng)的視頻顯示處理之前，當(dāng)被檢測(cè)到 用戶以較大的動(dòng)作晃動(dòng)其頭部并且其頭部的動(dòng)作停下來(lái)時(shí)，例如那一時(shí)刻 用戶頭部的位置可以被確定為用戶頭部向前的位置(參考位置)。
各種可被視頻再現(xiàn)設(shè)備檢測(cè)到的其它觸發(fā)都可以被用來(lái)啟動(dòng)考慮用戶 頭部轉(zhuǎn)動(dòng)的視頻顯示處理。
雖然加速度傳感器23是根據(jù)上述第二實(shí)施例的頭戴式顯示部件2中的 三軸加速度傳感器，但是本發(fā)明不局限于此。加速度傳感器23可以是單
22軸或雙軸加速度傳感器。
例如，單軸加速度傳感器最初被設(shè)置有沿垂直方向延伸的檢測(cè)軸。然
后，可以根據(jù)單軸加速度傳感器的實(shí)際檢測(cè)值和初始狀態(tài)下的值(9.8m/ s2)之間的差別來(lái)檢測(cè)陀螺儀傳感器的檢測(cè)軸相對(duì)于垂直方向的偏離。
雙軸加速度傳感器也可以按同樣的方式被使用。就是說(shuō)，在雙軸加速 度傳感器的情況下，同樣可以根據(jù)加速度傳感器的實(shí)際檢測(cè)輸出與加速度 傳感器被相對(duì)于地板表面水平放置的情況下所得到的檢測(cè)輸出之間的差別 來(lái)檢測(cè)陀螺儀傳感器的檢測(cè)軸相對(duì)于垂直方向的偏離。
多個(gè)用戶可以使用裝配有陀螺儀傳感器和單軸或雙軸加速度傳感器的 頭戴式顯示部件來(lái)提前測(cè)量加速度傳感器的檢測(cè)輸出和陀螺儀傳感器的檢 測(cè)軸的偏離量，準(zhǔn)備一個(gè)其中結(jié)果測(cè)量值被相互關(guān)聯(lián)的表格。
然后，加速度傳感器的檢測(cè)輸出可以在表格中被參考以指定陀螺儀的 檢測(cè)軸相對(duì)于垂直方向的偏離量，陀螺儀傳感器的檢測(cè)輸出可以基于該偏 離量被校正。
在這種情況下，例如需要將其中加速度傳感器的檢測(cè)輸出和陀螺儀傳 感器的檢測(cè)軸相對(duì)于垂直方向的偏離量被相互關(guān)聯(lián)的表格存儲(chǔ)在用戶方向 檢測(cè)部件34中的存儲(chǔ)器或者可訪問(wèn)的外部存儲(chǔ)器中。
雖然在以上描述中陀螺儀傳感器22是單軸陀螺儀傳感器，但是本發(fā)明 不局限于此。也可以使用具有兩個(gè)或多個(gè)軸的陀螺儀傳感器檢測(cè)用戶頭部 在垂直方向(上下方向)上的轉(zhuǎn)動(dòng)，從而允許對(duì)視頻數(shù)據(jù)在垂直方向上的 定位進(jìn)行校正。
從以上描述可以清楚，在第二實(shí)施例中，頭戴式顯示部件2實(shí)現(xiàn)作為 顯示裝置的功能，陀螺儀傳感器22實(shí)現(xiàn)作為轉(zhuǎn)動(dòng)檢測(cè)裝置的功能，并且 加速度傳感器23實(shí)現(xiàn)作為傾斜檢測(cè)裝置的功能。另外，用戶方向檢測(cè)部 件34實(shí)現(xiàn)作為轉(zhuǎn)動(dòng)校正裝置的功能，并且視頻再現(xiàn)部件31實(shí)現(xiàn)作為視頻 處理裝置的功能。
主要在圖5到圖7中示出的根據(jù)第二實(shí)施例的視頻處理裝置被應(yīng)用根 據(jù)本發(fā)明的視頻處理方法。就是說(shuō)，根據(jù)本發(fā)明的視頻處理方法包括以下 步驟(A)通過(guò)被設(shè)置在頭戴式顯示部件2中的陀螺儀傳感器22檢測(cè)戴著頭戴式顯示部件2的用戶的頭部轉(zhuǎn)動(dòng)；(B)通過(guò)被設(shè)置在頭戴式顯示
部件2中的加速度傳感器23檢測(cè)陀螺儀傳感器22的傾斜；(C)基于加 速度傳感器23所檢測(cè)到的陀螺儀傳感器22的傾斜來(lái)校正陀螺儀傳感器22 所檢測(cè)到的針對(duì)用戶頭部轉(zhuǎn)動(dòng)的檢測(cè)結(jié)果；以及(D)使得視頻再現(xiàn)部件 31基于陀螺儀傳感器22所檢測(cè)到的針對(duì)甩戶頭部轉(zhuǎn)動(dòng)的校正后的檢測(cè)結(jié) 果、根據(jù)用戶頭部的轉(zhuǎn)動(dòng)從例如被存儲(chǔ)在HDD中的針對(duì)水平方向上360 度范圍的視頻數(shù)據(jù)中剪輯一部分視頻數(shù)據(jù)，并將所剪輯的一部分視頻數(shù)據(jù) 提供給頭戴式顯示部件2。 <其它實(shí)施例>
在以上第一實(shí)施例中，描述了應(yīng)用根據(jù)本發(fā)明的聲音處理裝置的耳塞 系統(tǒng)1。在以上第二實(shí)施例中，描述了應(yīng)用根據(jù)本發(fā)明的視頻處理裝置的 頭戴式顯示部件2。
然而，本發(fā)明并不局限于此。本發(fā)明可以被應(yīng)用于包括聲音再現(xiàn)系統(tǒng) 和視頻再現(xiàn)系統(tǒng)的聲音/視頻處理裝置。在這種情況下，陀螺儀傳感器和加 速度傳感器可以被設(shè)置在耳塞或頭戴式顯示部件之一中。陀螺儀傳感器的 檢測(cè)輸出被基于加速度傳感器的檢測(cè)輸出進(jìn)行校正。
然后，來(lái)自陀螺儀傳感器的校正后的檢測(cè)輸出被用于控制聲像定位處 理部件所執(zhí)行的聲像定位處理和視頻再現(xiàn)設(shè)備所顯示的視頻數(shù)據(jù)的顯示區(qū) 域(讀取區(qū)域)。
這使得虛擬聲像定位處理和視頻剪輯區(qū)域控制處理都可以利用單個(gè)陀 螺儀傳感器和單個(gè)加速度傳感器來(lái)適當(dāng)?shù)剡M(jìn)行。
本申請(qǐng)包含與2008年8月26向日本專利局提交的日本在先專利申請(qǐng) JP 2008-216120中公開(kāi)的內(nèi)容相關(guān)的主題，該在先申請(qǐng)的全部?jī)?nèi)容被通過(guò) 引用結(jié)合于此。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解可以根據(jù)設(shè)計(jì)需要和其它因素進(jìn)行各種修 改、合并、子合并以及替換，只要這些修改、合并、子合并以及替換在所 附權(quán)利要求或其等同物的范圍內(nèi)即可。
權(quán)利要求
1.一種聲音處理裝置，包括聲像定位處理裝置，用于根據(jù)預(yù)定義的頭部相關(guān)的傳輸函數(shù)對(duì)要被再現(xiàn)的聲音信號(hào)執(zhí)行聲像定位處理；揚(yáng)聲器部件，該揚(yáng)聲器部件可被放置在用戶的耳朵上，并且被提供有已經(jīng)由所述聲像定位處理裝置進(jìn)行了所述聲像定位處理的聲音信號(hào)以根據(jù)所述聲音信號(hào)發(fā)出聲音；轉(zhuǎn)動(dòng)檢測(cè)裝置，該轉(zhuǎn)動(dòng)檢測(cè)裝置被設(shè)置在所述揚(yáng)聲器部件中以檢測(cè)戴著所述揚(yáng)聲器部件的所述用戶的頭部的轉(zhuǎn)動(dòng)；傾斜檢測(cè)裝置，該傾斜檢測(cè)裝置被設(shè)置在所述揚(yáng)聲器部件中以檢測(cè)所述轉(zhuǎn)動(dòng)檢測(cè)裝置的傾斜；轉(zhuǎn)動(dòng)校正裝置，用于基于所述傾斜檢測(cè)裝置的檢測(cè)結(jié)果校正來(lái)自所述轉(zhuǎn)動(dòng)檢測(cè)裝置的檢測(cè)結(jié)果；以及調(diào)節(jié)裝置，用于基于經(jīng)所述轉(zhuǎn)動(dòng)校正裝置校正后的來(lái)自所述轉(zhuǎn)動(dòng)檢測(cè)裝置的檢測(cè)結(jié)果來(lái)控制所述聲像定位處理裝置，以調(diào)節(jié)聲像的被定位位置。
2. 根據(jù)權(quán)利要求1所述的聲音處理裝置，其中所述傾斜檢測(cè)裝置是N 軸加速度傳感器，N是大于或等于l的整數(shù)。
3. 根據(jù)權(quán)利要求1所述的聲音處理裝置，其中所述揚(yáng)聲器部件是入耳 式、耳內(nèi)式和耳掛式中的一種。
4. 一種聲像定位位置調(diào)節(jié)方法，包括以下步驟通過(guò)被設(shè)置在被置于用戶的耳朵上的揚(yáng)聲器中的轉(zhuǎn)動(dòng)檢測(cè)裝置檢測(cè)所 述用戶的頭部的轉(zhuǎn)動(dòng)；通過(guò)被設(shè)置在所述揚(yáng)聲器部件中的傾斜檢測(cè)裝置檢測(cè)所述轉(zhuǎn)動(dòng)檢測(cè)裝 置的傾斜；基于在所述傾斜檢測(cè)步驟中所檢測(cè)到的所述轉(zhuǎn)動(dòng)檢測(cè)裝置的傾斜校正 在所述轉(zhuǎn)動(dòng)檢測(cè)步驟中所檢測(cè)到的所述用戶的頭部轉(zhuǎn)動(dòng)的檢測(cè)結(jié)果；以及 基于在所述校正步驟中經(jīng)校正的在所述轉(zhuǎn)動(dòng)檢測(cè)步驟中所檢測(cè)到的所述用戶的頭部轉(zhuǎn)動(dòng)的檢測(cè)結(jié)果，控制要對(duì)要被再現(xiàn)的聲音信號(hào)執(zhí)行的聲像 定位處理，以調(diào)節(jié)聲像的被定位位置。
5. 根據(jù)權(quán)利要求4所述的聲像定位位置調(diào)節(jié)方法， 其中在所述傾斜檢測(cè)步驟中所使用的所述傾斜檢測(cè)裝置是N軸加速度傳感器，N是大于等于l的整數(shù)。
6. 根據(jù)權(quán)利要求4所述的聲像定位位置調(diào)節(jié)方法， 其中被置于所述用戶的耳朵上的所述揚(yáng)聲器部件是入耳式、耳內(nèi)式和耳掛式中的一種。
7. —種視頻處理裝置，包括 可安置在用戶的頭部上的顯示裝置；轉(zhuǎn)動(dòng)檢測(cè)裝置，所述轉(zhuǎn)動(dòng)檢測(cè)裝置被設(shè)置在所述顯示裝置中以檢測(cè)戴 著所述顯示裝置的所述用戶的頭部的轉(zhuǎn)動(dòng)；傾斜檢測(cè)裝置，所述傾斜檢測(cè)裝置被設(shè)置在所述顯示裝置中以檢測(cè)所 述轉(zhuǎn)動(dòng)檢測(cè)裝置的傾斜；轉(zhuǎn)動(dòng)校正裝置，用于基于所述傾斜檢測(cè)裝置的檢測(cè)結(jié)果來(lái)校正來(lái)自所 述轉(zhuǎn)動(dòng)檢測(cè)裝置的檢測(cè)結(jié)果；以及視頻處理裝置，用于基于經(jīng)所述轉(zhuǎn)動(dòng)校正裝置校正的來(lái)自所述轉(zhuǎn)動(dòng)檢 測(cè)裝置的所述檢測(cè)結(jié)果、根據(jù)所述用戶的頭部轉(zhuǎn)動(dòng)來(lái)從比人視角寬的范圍 的視頻數(shù)據(jù)中剪輯一部分視頻數(shù)據(jù)，并將其提供給所述顯示裝置。
8. 根據(jù)權(quán)利要求7所述的視頻處理裝置，其中所述傾斜檢測(cè)裝置是N軸加速度傳感器，N是大于等于1的整數(shù)。
9. 一種視頻處理方法，包括以下步驟-通過(guò)被設(shè)置在被置于用戶的頭部上的顯示裝置中的轉(zhuǎn)動(dòng)檢測(cè)裝置檢測(cè) 所述用戶的頭部的轉(zhuǎn)動(dòng)；通過(guò)被設(shè)置在所述顯示裝置中的傾斜檢測(cè)裝置檢測(cè)所述轉(zhuǎn)動(dòng)檢測(cè)裝置 的傾斜；基于在所述傾斜檢測(cè)步驟中所檢測(cè)到的所述轉(zhuǎn)動(dòng)檢測(cè)裝置的傾斜來(lái)校 正在所述轉(zhuǎn)動(dòng)檢測(cè)步驟中所檢測(cè)到的所述用戶的頭部轉(zhuǎn)動(dòng)的檢測(cè)結(jié)果；以及使得視頻處理裝置基于在所述校正步驟中經(jīng)校正的在所述轉(zhuǎn)動(dòng)檢測(cè)步 驟中所檢測(cè)到的所述用戶的頭部轉(zhuǎn)動(dòng)的檢測(cè)結(jié)果、根據(jù)所述用戶的頭部轉(zhuǎn) 動(dòng)來(lái)從比人視角寬的范圍的視頻數(shù)據(jù)中剪輯一部分視頻數(shù)據(jù)，并且將所述 被剪輯的一部分視頻數(shù)據(jù)提供給所述顯示裝置。
10. 根據(jù)權(quán)利要求9所述的視頻處理方法，其中所述傾斜檢測(cè)裝置是N軸加速度傳感器，N是大于等于1的整數(shù)。
11. 一種聲音處理裝置，包括聲像定位處理部件，被配置為根據(jù)預(yù)定義的頭部相關(guān)的傳輸函數(shù)對(duì)要 被再現(xiàn)的聲音信號(hào)執(zhí)行聲像定位處理；揚(yáng)聲器部件，該揚(yáng)聲器部件可被放置在用戶的耳朵上，并且被提供有 已經(jīng)由所述聲像定位處理部件進(jìn)行了所述聲像定位處理的聲音信號(hào)以根據(jù) 所述聲音信號(hào)發(fā)出聲音；轉(zhuǎn)動(dòng)檢測(cè)部件，該轉(zhuǎn)動(dòng)檢測(cè)部件被設(shè)置在所述揚(yáng)聲器部件中以檢測(cè)戴 著所述揚(yáng)聲器部件的所述用戶的頭部的轉(zhuǎn)動(dòng)；傾斜檢測(cè)部件，該傾斜檢測(cè)部件被設(shè)置在所述揚(yáng)聲器部件中以檢測(cè)所 述轉(zhuǎn)動(dòng)檢測(cè)部件的傾斜；轉(zhuǎn)動(dòng)校正部件，被配置為基于所述傾斜檢測(cè)部件的檢測(cè)結(jié)果校正來(lái)自 所述轉(zhuǎn)動(dòng)檢測(cè)部件的檢測(cè)結(jié)果；以及調(diào)節(jié)部件，被配置為基于經(jīng)所述轉(zhuǎn)動(dòng)校正部件校正后的來(lái)自所述轉(zhuǎn)動(dòng) 檢測(cè)部件的檢測(cè)結(jié)果來(lái)控制所述聲像定位處理部件，以調(diào)節(jié)聲像的被定位 位置。
12. —種視頻處理裝置，包括 可安置在用戶的頭部上的顯示部件；轉(zhuǎn)動(dòng)檢測(cè)部件，所述轉(zhuǎn)動(dòng)檢測(cè)部件被設(shè)置在所述顯示部件中以檢測(cè)戴 著所述顯示部件的所述用戶的頭部的轉(zhuǎn)動(dòng)；傾斜檢測(cè)部件，所述傾斜檢測(cè)部件被設(shè)置在所述顯示部件中以檢測(cè)所 述轉(zhuǎn)動(dòng)檢測(cè)部件的傾斜；轉(zhuǎn)動(dòng)校正部件，被配置為基于所述傾斜檢測(cè)部件的檢測(cè)結(jié)果來(lái)校正來(lái)自所述轉(zhuǎn)動(dòng)檢測(cè)部件的檢測(cè)結(jié)果；以及視頻處理部件，被配置為基于經(jīng)所述轉(zhuǎn)動(dòng)校正部件校正的來(lái)自所述轉(zhuǎn) 動(dòng)檢測(cè)部件的所述檢測(cè)結(jié)果、根據(jù)所述用戶的頭部轉(zhuǎn)動(dòng)來(lái)從比人視角寬的 范圍的視頻數(shù)據(jù)中剪輯一部分視頻數(shù)據(jù)。
全文摘要
本發(fā)明提供了聲音處理裝置、聲像定位位置調(diào)節(jié)方法及視頻處理裝置，其中聲音處理裝置包括聲像定位處理裝置，用于對(duì)要被再現(xiàn)的聲音信號(hào)執(zhí)行聲像定位處理；揚(yáng)聲器部件，該揚(yáng)聲器部件可被放置在用戶的耳朵上，并且被提供有聲音信號(hào)以根據(jù)聲音信號(hào)發(fā)出聲音；轉(zhuǎn)動(dòng)檢測(cè)裝置，該轉(zhuǎn)動(dòng)檢測(cè)裝置被設(shè)置在揚(yáng)聲器部件中以檢測(cè)用戶頭部的轉(zhuǎn)動(dòng)；傾斜檢測(cè)裝置，該傾斜檢測(cè)裝置被設(shè)置在揚(yáng)聲器部件中以檢測(cè)轉(zhuǎn)動(dòng)檢測(cè)裝置的傾斜；轉(zhuǎn)動(dòng)校正裝置，用于基于傾斜檢測(cè)裝置的檢測(cè)結(jié)果校正來(lái)自轉(zhuǎn)動(dòng)檢測(cè)裝置的檢測(cè)結(jié)果；以及調(diào)節(jié)裝置，用于基于經(jīng)轉(zhuǎn)動(dòng)校正裝置校正后的來(lái)自所述轉(zhuǎn)動(dòng)檢測(cè)裝置的檢測(cè)結(jié)果來(lái)控制聲像定位處理裝置，以調(diào)節(jié)聲像的被定位位置。
文檔編號(hào)H04S7/00GK101662720SQ20091016122
公開(kāi)日2010年3月3日 申請(qǐng)日期2009年7月24日 優(yōu)先權(quán)日2008年8月26日
發(fā)明者譽(yù) 今 申請(qǐng)人:索尼株式會(huì)社