本申請涉及進行三維音響再現(xiàn)的聲音再現(xiàn)系統(tǒng)。

背景技術：

目前不僅在電影和音樂，在游戲中也普及了5.1ch、7.1ch等多聲道的音頻信號，利用設置在圍繞收聽者的規(guī)定位置上的多聲道揚聲器進行再現(xiàn)時，能夠實現(xiàn)具有臨場感的音頻再現(xiàn)。并且為了解決設置5.1ch以及7.1ch的揚聲器存在困難的情況，開發(fā)了用以往的立體聲揚聲器，模擬地實現(xiàn)與多聲道音頻再現(xiàn)相同的效果的三維音響技術。

在該三維音響技術中，通常使用聲像控制濾波器，該聲像控制濾波器是利用從揚聲器到收聽者的雙耳邊的音響特性，即頭部音響傳遞函數(shù)hrtf(head-relatedtransferfunction)來設計的。關于三維音響技術，在非專利文獻1中已經公開。然而這樣的三維音響技術，在變更收聽位置、變更收聽者本身的情況下，不能獲得所期望的信號。關于如何減輕揚聲器和收聽者的相對的位置關系的影響，正在討論幾個方案。

其中一例是專利文獻1，利用被稱為立體聲偶極的再現(xiàn)方式，即左揚聲器、收聽者、右揚聲器構成的角度設為8度至20度，從而能夠對揚聲器與收聽者的相對的位置偏離，進行有力控制。

此外，專利文獻2中公開了專利文獻1中公開的立體聲偶極方式的小型揚聲器單元，以裝拆自由的方式安裝在游戲控制器上。

另一方面，專利文獻3中公開了具有控制器的家庭用游戲機系統(tǒng)，該控制器除了控制桿和按鈕等之外還具備揚聲器。并且公開了如下方式，在該家庭用游戲機系統(tǒng)中，控制器比電視機更靠近用戶，所以將不希望用戶聽漏的重要的聲音信息通過控制器的揚聲器來再現(xiàn)。

(現(xiàn)有技術文獻)

(專利文獻)

專利文獻1：日本專利第4508295號公報

專利文獻2：日本特開2004-128669號公報

專利文獻3：日本特開2014-81727號公報

(非專利文獻)

非專利文獻1：“音響系統(tǒng)和數(shù)字處理”電子信息通信學會編輯發(fā)行，大賀壽郎、山崎芳男、金田豐共著

技術實現(xiàn)要素：

發(fā)明要解決的課題

如上所述，為了得到所希望的三維音響效果，需要在設計聲像控制濾波器時設想的位置上收聽，換言之需要在揚聲器與收聽者的設想位置上收聽。在揚聲器再現(xiàn)的情況下，通常多數(shù)情況下利用設置在電視機的揚聲器、或者設置在電視機附近的揚聲器，利用該揚聲器獲得三維音響效果，就需要用戶在玩游戲時，不能離開設想的位置。

近幾年的游戲機，控制器已經無線化，只要無線信號到達的范圍內，用戶可以移動到喜歡的地方來玩游戲。盡管在這樣的狀況下，為了從游戲機獲得三維音響效果，而限制收聽位置，從而用戶不能在喜歡的位置上玩游戲，會奪走游戲樂趣的一部分。

此外，有一些游戲軟件是能夠多個用戶同時玩的。多個人在相對于揚聲器是相同的位置上玩游戲是不可能的，在多個用戶同時玩的游戲中，存在不能使全體用戶獲得三維音響效果的課題。

在專利文獻1中公開了對收聽者的移動有效的聲像控制方式，但是這個方式中再現(xiàn)揚聲器是固定的狀態(tài)，用戶沒有四處移動的自由度，不能解決所述課題。

本申請?zhí)峁┮环N不限制用戶的收聽位置，并能夠舒適地享受通常音以及三維音響處理音的聲音再現(xiàn)系統(tǒng)。

解決課題所采用的手段

為了解決所述課題，本申請的一個方案涉及的聲音再現(xiàn)系統(tǒng)，具備：聲音處理裝置，與臺式的第一輸出裝置連接，該第一輸出裝置具備多個聲音輸出部；以及便攜式的第二輸出裝置，具備多個聲音輸出部，所述聲音處理裝置生成第一聲音輸出信號和第二聲音輸出信號，所述第一聲音輸出信號是輸出到所述第一輸出裝置的信號，所述第二聲音輸出信號是與所述第一聲音輸出信號不同的、輸出到所述第二輸出裝置的信號，在所述第一聲音輸出信號以及所述第二聲音輸出信號中，至少所述第二聲音輸出信號包含進行了三維音響處理的信號。

通過這個構成，能夠接收從第一輸出裝置再現(xiàn)的第一聲音輸出信號的同時，從用戶能夠把持的便攜型式第二輸出裝置再現(xiàn)被進行了三維音響處理的信號，從而不受用戶位置的限制，能夠享受舒適的三維音響效果。

此外，可以是在所述的聲音再現(xiàn)系統(tǒng)，所述第一輸出裝置，能夠再現(xiàn)比所述第二輸出裝置再現(xiàn)的頻帶低的頻帶，所述聲音處理裝置具備三維處理部、頻帶分割濾波器、以及加算處理部，所述三維處理部，進行所述三維音響處理，所述頻帶分割濾波器，將所述第二聲音輸出信號、或者對所述第二聲音輸出信號進行所述三維音響處理之前的聲源信號，用規(guī)定的截止頻率來分割為低頻帶信號和高頻帶信號，所述加算處理部，將所述低頻帶信號與所述第一聲音輸出信號相加。

通過這個構成，將便攜式的第二輸出裝置難以再現(xiàn)的低頻帶信號，用臺式的第一輸出裝置來再現(xiàn)，所以音質變化少、且能夠享受更出色的三維音響效果。

此外，可以是所述聲音處理裝置還具備延遲校正部，該延遲校正部校正所述第一聲音信號以及所述第二聲音信號的一方，以使在收聽位置上難以感知所述第一聲音輸出部的輸出延遲與所述第二聲音輸出部的輸出延遲之間的延遲時間差。

通過該構成，能夠使通過第一輸出裝置延遲的第二聲音輸出信號的低頻帶成分與從第二輸出裝置再現(xiàn)的第二聲音輸出信號的高頻帶成分之間被感知的時間差難以感知，能夠減少由延遲時間差產生的不協(xié)調感。

在此，可以是所述延遲校正部，使所述第二聲音信號延遲。

通過該構成，能夠使所述延遲時間差本身變小，從而減少所述不協(xié)調感。

在此，可以是所述延遲校正部，使所述第二聲音輸出信號的攻擊成分減弱。

通過這個構成，能夠使第二聲音信號的攻擊成分減弱，能夠減少所述不協(xié)調感。

此外，可以是所述三維音響處理是在收聽者的耳邊感知聲像的音響處理。

通過該構成，通過在耳邊生成聲像，從而能夠實現(xiàn)更具有臨場感的三維音響效果。

此外，可以是所述三維處理部，按照所述收聽者對所述第二輸出裝置進行的操作，變更所述虛擬聲源的位置。

通過該構成，能夠按照狀況再現(xiàn)充滿臨場感的聲音再現(xiàn)。

發(fā)明效果

通過本申請，不限制游戲用戶的收聽位置，能夠舒適地享受通常音以及三維音響處理音。

附圖說明

圖1是表示實施方式1涉及的聲音再現(xiàn)系統(tǒng)的構成的一例的圖。

圖2是表示實施方式2涉及的聲音再現(xiàn)系統(tǒng)的構成的一例的圖。

圖3是表示實施方式2涉及的聲音再現(xiàn)系統(tǒng)的第一變形例的圖。

圖4是表示實施方式2涉及的聲音再現(xiàn)系統(tǒng)的第二變形例的圖。

圖5是表示實施方式2涉及的聲音再現(xiàn)系統(tǒng)的第三變形例的圖。

圖6是表示實施方式3涉及的聲音再現(xiàn)系統(tǒng)的構成的一例的圖。

圖7是表示實施方式3涉及的聲音再現(xiàn)系統(tǒng)的第一變形例的圖。

圖8是實施方式3的延遲校正部中使用的窗函數(shù)的一例的圖。

圖9是表示實施方式2涉及的聲音再現(xiàn)系統(tǒng)的第二變形例的圖。

圖10是表示三維聲音再現(xiàn)系統(tǒng)的構成的一例的圖。

圖11是表示游戲機系統(tǒng)的構成的一例的圖。

具體實施方式

(作為本發(fā)明的基礎的知識)

本發(fā)明人針對背景技術部分中記載的聲音再現(xiàn)系統(tǒng)(家庭用游戲機系統(tǒng))，發(fā)現(xiàn)了以下問題。

首先，說明非專利文獻1公開的三維音響技術。

圖10是表示三維聲音再現(xiàn)系統(tǒng)的構成的一例的框圖。以下將信號和濾波器用頻域來表示。hrtf通常用有限長的脈沖響應、或者將其變換為頻域來表示，在這里說明用頻域來表示的hrtf。圖10的三維聲音再現(xiàn)系統(tǒng)具備左揚聲器20、右揚聲器21、以及聲像控制部30。聲像控制部30具備，聲像控制濾波器31、以及聲像控制濾波器32。將聲像控制濾波器31的傳遞函數(shù)設為xl，聲像控制濾波器32的傳遞函數(shù)設為xr。

在這個例子中，利用設置在收聽者10的前方的立體聲揚聲器(左揚聲器20、右揚聲器21)，在收聽者10的兩耳位置再現(xiàn)與設置在后方的虛擬揚聲器22再現(xiàn)輸入信號s時相同的聲音。從左揚聲器20、右揚聲器21到收聽者10的兩耳為止的hrtf分別設為hll、hlr、hrl、hrr，此外從虛擬揚聲器22到收聽者10的兩耳為止的hrtf設為dl、dr。輸入信號s在這里是雙聲道的聲音信號。輸入到左揚聲器20、右揚聲器21的信號，是分別在聲像控制濾波器31、32進行了濾波處理的輸入信號s。該聲像控制濾波器31、32被設計為，在收聽者10的兩耳位置，能夠獲得與虛擬揚聲器22再現(xiàn)輸入信號s一樣的信號。

具體而言，用以下的式1來解xl，xr。*是表示卷積的運算符號。

[數(shù)式1]

滿足所述的xl、xr，例如可以通過式2來求出。

[數(shù)式2]

將需要的頻率中的xl、xr，分別用所述式2來求出，通過與輸入信號s卷積并再現(xiàn)，從而能夠在收聽者10的兩耳位置上獲得從虛擬揚聲器22輸出輸入信號s一樣的信號。換言之，即使從設置在前方的左揚聲器20、右揚聲器21再現(xiàn)聲音，收聽者10感知為從虛擬揚聲器22再現(xiàn)聲音。

在這里，hrtf中包含揚聲器和收聽者10的兩耳位置之間的全部音響特性。換言之，揚聲器與收聽者10的相對位置關系發(fā)生變化的情況下，以及收聽者10變?yōu)槠渌说那闆r下，hrtf發(fā)生變化。因此，所述求出的聲像控制濾波器31、32的特性(傳遞函數(shù))，嚴密上說是在計測hrtf的位置，計測hrtf的收聽者10聽到在聲像控制濾波器31、32被控制的聲音的情況下，能夠實現(xiàn)所希望的特性，換言之，在兩耳位置上再現(xiàn)dl*s，dr*s。但是，收聽位置或者收聽者10本身變更的情況下，不一定能獲得所希望的信號。

作為收聽者10變更的對策，通常在hrtf計測中使用模擬頭。模擬頭是指模擬了人的頭部或上半身的模特兒，包含頭部和耳殼的形狀以及尺寸，與標準的人相同地設計而成。通過采用模擬頭，能夠計測標準的人的hrtf，所以能夠減少hrtf的個人差的影響。

另一方面，作為聲音再現(xiàn)系統(tǒng)的一例的家庭用游戲機系統(tǒng)中，采用具備控制桿和按鈕等的控制器，該控制器具備揚聲器。通過利用與這樣的家用游戲機連接的電視機揚聲器，以及搭載在控制器的揚聲器，從而出現(xiàn)了新的游戲。

圖11是作為聲音再現(xiàn)系統(tǒng)的一例表示的、在專利文獻3公開的利用電視機揚聲器和搭載在控制器的揚聲器的游戲機系統(tǒng)的構成的一例的圖。游戲機系統(tǒng)由電視機110、與電視機110連接的游戲機主體120、以及控制器130構成。電視機110，具備電視機畫面111、以及兩個電視機揚聲器112。控制器130，具備控制器畫面131、十字按鍵132、控制按鈕133、控制桿134、揚聲器135、控制器音量調整凸部136、耳機端子137、攝像機138以及麥克風139。

電視機110與游戲機主體120通常用hdmi(注冊商標)電纜等連接，從游戲機主體120輸出的游戲的視頻信號輸出到電視機110的電視機畫面111，此外，音頻信號從電視機揚聲器112輸出。游戲機主體120還與控制器130有線、或者無線連接。控制器130通過用戶140被用于游戲操作等?？刂破?30具備揚聲器135，按照游戲的進程或用戶的操作，輸出與電視機揚聲器112不同的、或者相同的音頻信號。在專利文獻3中，將不希望用戶聽漏的重要的聲音信息，從控制器揚聲器再現(xiàn)。但是，存在從控制器130的揚聲器135不能再現(xiàn)三維聲音的問題。進而，因為揚聲器135是小型，所以低頻帶的再現(xiàn)能力缺乏，有效地再現(xiàn)三維聲音存在困難。

此外，在專利文獻2，公開了用搭載在控制器上的揚聲器來提供三維音響效果的方式，但是能夠搭載在控制器的揚聲器，通常不能再現(xiàn)幾百hz以下的低頻帶的聲音。近幾年游戲軟件對應多聲道音頻，只要準備5.1ch等家庭影院揚聲器的多聲道再現(xiàn)環(huán)境，就能用具有震撼力的音頻再現(xiàn)來享受游戲。只依靠搭載在控制器的揚聲器，很難充分發(fā)揮這樣的聲音的震撼力。不僅是震撼力，根據(jù)再現(xiàn)的信號，由于信號中的低頻帶成分不能再現(xiàn)，所以導致音質變化，產生不協(xié)調感。此外，對于進行了三維音響處理的聲音，因為不能再現(xiàn)低頻帶，所以三維效果也變弱，從而存在不能享受具有臨場感的再現(xiàn)的課題。

本發(fā)明人在所述聲音再現(xiàn)系統(tǒng)(游戲機系統(tǒng))中，發(fā)現(xiàn)了利用控制器130的揚聲器135，能夠進行有效的三維聲音再現(xiàn)。

于是，本申請?zhí)峁┮环N不受用戶的收聽位置的限制，并能舒適地享受通常音以及三維音響處理音的聲音再現(xiàn)系統(tǒng)。

(實施方式1)

以下適當?shù)貐⒖几綀D，詳細說明實施方式。但是，有時省略必要以上的詳細說明。例如，省略已知事項的詳細說明或者實際上相同的構成的重復說明。這是為了避免下述說明不必要地冗長，是為了本領域技術人員便于理解。

另外，發(fā)明人提供的附圖以及下述說明是為了方便本領域技術人員充分理解本申請，其不是用于限制技術方案所記述的主題。

以下，利用附圖來說明實施方式。

圖1是表示實施方式1涉及的聲音再現(xiàn)系統(tǒng)100的構成的一例的圖。在這里說明將聲音再現(xiàn)系統(tǒng)100適用于圖11的游戲機系統(tǒng)的例子。以下，游戲機系統(tǒng)的影像處理以及聲音處理中，主要以聲音處理為中心進行說明。

聲音再現(xiàn)系統(tǒng)100與第一輸出裝置400連接，由聲音處理裝置200和第二輸出裝置300構成。另外，圖1的第一輸出裝置400、第二輸出裝置300、聲音處理裝置200，分別適用于圖11的電視機110、游戲機主體120、控制器130。

聲音處理裝置200在這里是游戲機主體，根據(jù)記錄在可讀取的光盤上的游戲程序執(zhí)行游戲處理等。在該游戲處理中包含影像處理和聲音處理。

第一輸出裝置400在這里是電視機，作為揚聲器具備多個聲音輸出部410、411(以下記為電視機揚聲器410、411)。第一輸出裝置400與游戲機主體即聲音處理裝置200通常由hdmi(注冊商標)電纜等來連接，按照游戲的進程，從游戲機主體即聲音處理裝置200輸出的游戲的視頻信號在第一輸出裝置400的電視機畫面111、并且電視機用音頻信號(第一聲音信號)在電視機揚聲器410、411再現(xiàn)以及輸出。

聲音處理裝置200，作為游戲機主體，也與第二輸出裝置300(控制器)無線、或有線連接。該聲音處理裝置200生成輸出到第一輸出裝置400的第一聲音輸出信號、以及與第一聲音輸出信號不同的輸出到第二輸出裝置300的第二聲音輸出信號。在第一聲音輸出信號以及第二聲音輸出信號中，至少第二聲音輸出信號包含由聲音處理裝置200進行了三維音響處理的信號。

第二輸出裝置300在這里是游戲控制器，具備揚聲器即聲音輸出部330、331(以下記為揚聲器330、331)。第二輸出裝置300，可以是與圖11的控制器130相同的構成，具備控制桿等。玩游戲的用戶手持第二輸出裝置300等進行操作。聲音處理裝置200，作為游戲機主體，按照該用戶的操作來控制游戲的進程。第二輸出裝置300，按照游戲的進程，再現(xiàn)從聲音處理裝置200發(fā)送來的控制器用音頻信號(第二聲音信號)。在這里，揚聲器330、331是雙聲道揚聲器為前提來說明，但是三聲道以上也可以。此外，第二輸出裝置300具備音量調整部320，例如按照用戶對第二輸出裝置300具備的音量調整凸部等進行操作，能夠調整從揚聲器330、331再現(xiàn)的第二聲音信號的音量。

記錄在游戲程序內的音頻信號，作為聲音素材b211以及聲音素材a212存儲在游戲機主體即聲音處理裝置200中的存儲器等。

聲音素材b211，在三維處理部220實施三維音響處理，作為第二聲音信號在揚聲器330、331再現(xiàn)。這樣，能夠獲得例如從用戶耳邊聽到聲音素材b211的聲音的效果。在此，作為三維音響處理，不僅限于定位在耳邊，也可以實現(xiàn)其他定位位置。三維處理部220的一例是與圖10的聲像控制部30相同的構成，具備聲像控制濾波器31、聲像控制濾波器32。通常，聲像控制濾波器31、32多數(shù)用fir(finiteimpulseresponse：有限沖激響應)濾波器來實現(xiàn)，但也可以用iir(infiniteimpulseresponse：無限沖激響應)濾波器來實現(xiàn)，也可以是組合多個fir濾波器和iir濾波器等，也可以是除了fir濾波器以外的構成。聲像控制濾波器31，32的特性，例如用所述式1、式2來說明的方法等來設定。此外，圖10中針對一個輸入信號在一個虛擬揚聲器22的位置定位聲像，但是在圖1中的將不同的輸入信號定位在不同的虛擬揚聲器的位置的情況下，可以按照虛擬揚聲器的位置的數(shù)量來設置聲像控制部30，針對各個聲源進行聲像控制處理。

在三維處理部220進行了三維音響處理的聲音素材b211，作為第二聲音信號，在無線通信部230變換為無線通信信號，發(fā)送到第二輸出裝置300。第二輸出裝置300接收的無線通信信號，在第二輸出裝置300具備的無線通信部310被取出第二聲音信號，在音量調整部320進行音量調整后，在揚聲器330、331再現(xiàn)。

聲音素材a212，作為第一聲音信號在電視機揚聲器410、411再現(xiàn)。這個聲音素材a212，以在電視機揚聲器410、411換言之是兩個揚聲器的情況下，通常設想感覺從用戶的前方再現(xiàn)的方式來制作。

如上所述，用戶在不同的位置上感知各個聲像，從用戶耳邊感知對聲音素材b211進行了三維音響處理的第二聲音信號，此外從電視機揚聲器410、411作為第一聲音信號感知聲音素材a212。與在電視機揚聲器的位置、控制器的揚聲器的位置上感知聲像的專利文獻3等以往的聲音再現(xiàn)系統(tǒng)(游戲機系統(tǒng))比較，能夠實現(xiàn)更具有臨場感的音頻再現(xiàn)。例如，在恐怖類的游戲等，作為聲音素材b211使用從后面襲過來的僵尸的聲音，此外，作為聲音素材a212，使用bgm，從而能夠實現(xiàn)更忠實于影像的聲像，成為比以往的游戲機系統(tǒng)更具有臨場感的音頻再現(xiàn)。

此外，通過具備多個第二輸出裝置300(控制器)，從而對多個用戶實現(xiàn)同樣的音頻再現(xiàn)。因為第二輸出裝置300由用戶手持著使用，在揚聲器330、331再現(xiàn)的三維效果，能夠針對多個用戶分別發(fā)揮效果。聲音素材a211和三維處理部220存在多個，對不同的控制器作為不同的信號來發(fā)送，從而當然可以實現(xiàn)按照每個用戶不同的音頻再現(xiàn)。

另外，通常電視機揚聲器410、411多數(shù)是立體聲揚聲器，但是可以具備3ch以上的揚聲器。代替電視機揚聲器410、411，可以是被稱為條形音箱等的條形的附放大器的揚聲器、或者可以是經由av放大器另與5.1ch等家庭影院型的揚聲器系統(tǒng)連接的形態(tài)。在5.1ch揚聲器的情況下，可以使聲音素材a212不僅在用戶的前方方向感知，還在后方方向感知，所以能夠進行更豐富的音頻再現(xiàn)。

(實施方式2)

在本實施方式，說明如下的聲音再現(xiàn)系統(tǒng)，在便攜式第二輸出裝置300難以再現(xiàn)或容易缺失信息的第二聲音信號中的低頻帶聲音信號，在臺式第一輸出裝置400來再現(xiàn)的聲音再現(xiàn)系統(tǒng)。

圖2是表示實施方式2涉及的聲音再現(xiàn)系統(tǒng)100的構成的一例的圖。與實施方式1同樣，將本申請作為適用于游戲機系統(tǒng)的例子來說明。圖2的聲音處理裝置201，與圖1的聲音處理裝置200的不同之處在于增加了聲音素材c210、頻帶分割濾波器250以及加算處理部240、241。除此之外與圖1相同。以下以不同點為中心進行說明。

頻帶分割濾波器250，將第二聲音輸出信號、或者對第二聲音輸出信號進行所述三維音響處理之前的聲源信號(換言之聲音素材a212)，用規(guī)定的截止頻率來分割為低頻帶信號(換言之低頻帶成分)和高頻帶信號(換言之高頻帶成分)。在圖2中，頻帶分割濾波器250，不是對聲源信號，而是對進行了三維音響處理后的第二聲音輸出信號進行頻帶分割。

加算處理部241，將所述低頻帶信號與第一聲音輸出信號相加，輸出到第一輸出裝置400。

加算處理部240，將所述高頻帶信號與聲音素材c210的聲音信號相加，輸出到第二輸出裝置300。聲音素材c210是在揚聲器330、331不進行三維音響處理而再現(xiàn)的聲音素材。

如上所述，第二輸出裝置300通常是用戶手持著進行操作，所以被搭載的揚聲器330、331多數(shù)是其直徑為幾厘米的適用于便攜設備的小型裝置。與電視機揚聲器410、411比較時，多數(shù)情況下是揚聲器330、331的直徑小，揚聲器330、331比電視機揚聲器410、411，可再現(xiàn)的下限頻帶高。換言之，揚聲器330、331與電視機揚聲器410、411比較時，難以再現(xiàn)低頻帶成分。所以即使向揚聲器輸出比可再現(xiàn)的下限頻帶低的音頻信號，但是從揚聲器再現(xiàn)的是比輸入的級別非常小的聲音，例如，男性的聲音等有時被感知為音質發(fā)生變化的聲音。此外，因為音量小，使輸入級別設為過大時，有可能損壞揚聲器單元本身。

為了改善這個課題，在圖2中，導入了頻帶分割濾波器250。頻帶分割濾波器250，用規(guī)定的截止頻率，例如，在揚聲器330、331的再現(xiàn)下限頻率附近(也根據(jù)揚聲器的直徑和功能，在適用于便攜式設備的揚聲器單元中，通常是幾百hz附近)，將第二聲音信號分割為高頻帶成分和低頻帶成分。頻帶分割濾波器250，在來自三維處理部220的第二聲音信號中，將高頻帶成分輸出到加算處理部240，并且將低頻帶成分輸出到加算處理部241。對聲音素材b211進行了三維音響處理的第二聲音信號中，高頻帶成分與聲音素材c210的聲音信號相加在揚聲器330、331再現(xiàn)，此外低頻帶成分與第一聲音信號相加在電視機揚聲器410、411再現(xiàn)。

這樣，不能在揚聲器330、331再現(xiàn)的聲音素材b211的低頻率的低頻帶信號，由電視機揚聲器410、411取代揚聲器330、331來再現(xiàn)。這樣，能夠減少低頻帶成分的信息缺失。例如，在圖1的方式中，只包含低頻率的背景音等想僅由揚聲器330、331再現(xiàn)也不能再現(xiàn)，出現(xiàn)信息缺失，但是圖2的聲音處理裝置201中，低頻帶成分在電視機揚聲器410、411再現(xiàn)，所以能夠減少信息缺失。此外，在揚聲器330、331再現(xiàn)的例如男性聲音的低頻帶成分的音質變化也減少，能夠實現(xiàn)接近于游戲開發(fā)者原本設想的音頻再現(xiàn)。

另外，如圖3所示，聲音再現(xiàn)系統(tǒng)100，可以具備聲音處理裝置202，以取代聲音處理裝置201。圖3是表示實施方式2涉及的聲音再現(xiàn)系統(tǒng)的第一變形例的圖。在圖3，聲音處理裝置202與聲音處理裝置201比較時，加算處理部240不是設置在頻帶分割濾波器250的后段，而是設置在前段。加算處理部240的輸出，不僅包括第二聲音信號，還包括聲音素材c210的聲音信號。這樣，頻帶分割濾波器250，不僅對第二聲音信號，也對聲音素材c210的聲音信號進行頻帶分割，將高頻帶成分輸出到無線通信部230，將低頻帶成分輸出到加算處理部241。從而，利用電視機揚聲器410、411能夠對聲音素材c210的低頻帶成分也無遺漏地進行再現(xiàn)，這是優(yōu)點。

此外，如圖4所示，聲音再現(xiàn)系統(tǒng)100，可以具備聲音處理裝置203，以取代聲音處理裝置201。圖4是表示實施方式2涉及的聲音再現(xiàn)系統(tǒng)的第二變形例的圖。聲音處理裝置203，與聲音處理裝置201的不同之處是增加了頻帶分割濾波器251、以及頻帶分割濾波器250的設置不同。

此外，如圖5所示，聲音再現(xiàn)系統(tǒng)100，可以具備聲音處理裝置204，以取代聲音處理裝置203。圖5是表示實施方式2涉及的聲音再現(xiàn)系統(tǒng)的第三變形例的圖。聲音處理裝置204與聲音處理裝置203比較時，增加了三維處理部221。這樣，將頻帶分割濾波器251的輸出(低頻帶成分)，在三維處理部221另進行三維音響處理，以在電視機揚聲器410、411再現(xiàn)。在此，三維處理部220和三維處理部221優(yōu)選的是達到相同的三維效果。具體而言例如是在用戶的耳邊定位。這樣，能夠獲得更強的三維效果。

(實施方式3)

圖6是表示本申請的實施方式3涉及的聲音再現(xiàn)系統(tǒng)的構成的一例的圖。與實施方式1和2相同，將本申請的聲音再現(xiàn)系統(tǒng)適用于游戲機系統(tǒng)為例子進行說明。

圖6與圖2比較時，不同之處在于增加了延遲校正部260。下面以不同點為中心進行說明。

從圖2的聲音處理裝置200向第一輸出裝置400(電視機)輸入影像以及第二聲音信號后，實際在電視機畫面以及電視機揚聲器410、411輸出為止，是有延遲時間的。另一方面，從聲音處理裝置200向第二輸出裝置300輸入第一聲音信號后，實際在揚聲器330、331輸出為止也是有延遲時間的。這些延遲時間不一定相同，多數(shù)情況下是不同的。換言之，本來三維處理部220的輸出，應該是使低頻帶成分、高頻帶成分同步(換言之延遲時間差為0)地再現(xiàn)，但是，在電視機揚聲器410、411的再現(xiàn)是延遲了該延遲時間，所以給用戶感知聲音帶來影響。為了解決這個課題，圖6的聲音處理裝置205中導入了延遲校正部260。延遲校正部260，生成延遲時間，以使上述的在電視機揚聲器410、411再現(xiàn)時產生的所述延遲時間差消除。這樣，揚聲器330、331與電視機揚聲器410、411再現(xiàn)的聲音以沒有時間差的方式再現(xiàn)。

通常，第一輸出裝置400的輸出延遲時間，根據(jù)第一輸出裝置400的機種和工作模式而變化。于是，可以設為用戶能夠調整在延遲校正部260校正的延遲時間?？梢砸詍s單位來調整，或者具有幾個代表性的延遲時間的模式，用戶能夠從中選擇沒有不協(xié)調感的最適合的延遲時間。

此外，延遲校正部260，可以如圖7的聲音處理裝置206，設置在頻帶分割濾波器250和無線通信部230之間。圖7是表示實施方式3涉及的聲音再現(xiàn)系統(tǒng)的第一變形例的圖。在該圖中，從揚聲器330、331輸出的信號的全部，與在電視機揚聲器410、411再現(xiàn)的信號之間的延遲之差被校正，所以能夠使作為聲音再現(xiàn)系統(tǒng)100的全部同步地再現(xiàn)音頻。

此外，在圖3、圖4的聲音處理裝置202、203，可以與圖6、圖7一樣追加延遲校正部260。

此外，通過我們的實驗結果得知對上升尖銳的音響信號，較大地感知該延遲時間的影響。所以圖6的延遲校正部260可以不生成延遲時間，而是減弱第二聲音信號的攻擊(attack)成分。例如，延遲校正部260，可以對第二聲音信號的上升成分乘以圖8表示的窗函數(shù)。圖8是實施方式3的延遲校正部260中使用的窗函數(shù)的一例的圖。圖8的圖表的橫軸表示樣品數(shù)，縱軸表示進行乘算的增益。該圖的圖表為截取了漢寧(hanning)窗的前半部分。將這樣的窗函數(shù)與音頻信號相乘，能夠將陡峭的聲音的上升變得平滑，所以在感知上能夠減輕揚聲器330、331與電視機揚聲器410、411之間的到達時間差。另外，圖8表示的窗函數(shù)是一例，可以改變窗的形狀和窗長(增益0至1為止的樣品數(shù))。作為窗的形狀可以使用例如漢寧窗、漢明(hamming)窗等，從增益0至1平滑地變化的窗。進而，檢測上升尖銳的音響信號，可以對該信號不輸出低頻帶成分(僅從揚聲器330、331輸出)。在實時地實現(xiàn)本處理的情況下，可以設置檢測上升銳度的檢測部，從而在檢測部檢測出的銳度超過規(guī)定的閾值的情況下，不輸出低頻帶成分。例如，可以使圖8所述的窗函數(shù)的增益值全部設為0，或者另外設置控制低頻帶成分的輸出的開關，將該開關切換為不輸出。

從實施方式1至3的三維處理部220中實施的三維音響處理，通過從外部的控制，使虛擬聲源位置發(fā)生變化，或者也可以使三維音響處理中使用的聲像控制濾波器31、32的特性本身發(fā)生變化。使虛擬聲源位置發(fā)生變化的例子，例如，反映用戶進行的控制桿的控制的方法。在游戲中的音頻再現(xiàn)，能夠實現(xiàn)好像用戶成為登場人物一樣的再現(xiàn)，從而能夠進一步實現(xiàn)身臨其境。也可以按照用戶用控制桿來操作游戲軟件中登場的人物，使再現(xiàn)的音頻發(fā)生變化。具體而言，用控制桿改變了登場人物的面部朝向以及站立位置的情況下，與此對應地改變在游戲內產生的聲源(例如，開槍聲音或另外的登場人物的聲音等)的位置。從而，能夠提供用戶實際上成為登場人物本身，置身于游戲中的感覺。在作為游戲機主體的聲音處理裝置205中，算出登場人物與全部或某個特定的聲源位置之間的距離與方向，進行按照算出的該距離與方向來改變虛擬聲源位置的三維音響處理。此時，不僅在三維音響處理，也可以對電視機揚聲器410、411和第二輸出裝置300通常再現(xiàn)的聲音素材，通過定位(panning)處理等來改變。此外，三維音響處理中的虛擬聲源位置是與電視機揚聲器410、411和揚聲器330、331的位置相同，或者接近的位置的情況下，在電視機揚聲器410、411或者揚聲器330、331可以不進行三維音響處理來再現(xiàn)。例如，車輛從游戲內的登場人物的右前方，向登場人物的緊右側通過并且行駛到右后側的情況下，將車輛的聲音，從電視機揚聲器410、411的右揚聲器漸漸提升音量再現(xiàn)，并漸漸降低音量，與其對應地將揚聲器330、331的正常輸出漸漸提升音量。之后，揚聲器330、331的正常輸出的音量下降，揚聲器330、331的三維輸出的音量漸漸提升，并且漸漸降低。此時，作為三維音響處理，以好像在用戶的右耳邊存在虛擬聲源的方式進行處理。通過進行這樣的處理，用戶能夠獲得車輛從右側前方漸漸接近并經過的效果。

此外，也可以利用搭載在第二輸出裝置的攝像機的圖像，接受臉部識別的結果，來切換聲像控制濾波器。如上所述，聲像控制濾波器31、32，按照收聽者的變化，其效果也變化。例如，通過臉部識別，檢測用戶的性別和臉部大小，與此對應地在事先準備的聲像控制濾波器中使用最適合的聲像控制濾波器。這樣，比基于模擬頭的hrtf的聲像控制濾波器31、32，進行更正確的聲像控制。

此外，在再現(xiàn)被進行了三維音響處理的音響信號時，其他的音響信號的音量可以降低。從而，能夠強調進行了三維音響處理的聲音，能夠進一步加強臨場感。

在上述中，聲音素材c210、聲音素材b211、聲音素材a212可以全部同時再現(xiàn)，也可以任意選擇一個或多個來再現(xiàn)。

此外，圖9是表示實施方式2涉及的聲音再現(xiàn)系統(tǒng)的第二變形例的圖。如圖9所示即使沒有聲音素材c210，本申請的有效性也不受損。

在實施方式1至3中，對聲音素材c210、聲音素材b211以及聲音素材a212，說明了實時處理的方式，但是對聲音素材c210、聲音素材b211以及聲音素材a212的全部或者一部分可以不進行實時處理，可以分別對各個聲音素材預先進行規(guī)定的處理，將該結果保存在游戲軟件來進行再現(xiàn)。此時，就不需要三維處理部220和頻帶分割濾波器250、延遲校正部260等實時處理，所以能夠抑制聲音處理裝置200的處理負荷。

此外，在所述實施方式中，各個構成要素可以通過專用的硬件來構成，或者執(zhí)行與各個構成要素適合的軟件來實現(xiàn)。各個構成要素，也可以通過cpu或處理器等程序執(zhí)行部，讀出并執(zhí)行記錄在硬盤或半導體存儲器等記錄介質的軟件程序來實現(xiàn)。

工業(yè)實用性

本申請涉及的聲音再現(xiàn)系統(tǒng)，在用戶移動的情況下也能夠聽起來舒適地再現(xiàn)音頻并獲得三維音響效果，所以能夠廣泛應用于聲音再現(xiàn)系統(tǒng)。

符號說明

10收聽者

20左揚聲器

21右揚聲器

22虛擬揚聲器

30聲像控制部

31，32聲像控制濾波器

100聲音再現(xiàn)系統(tǒng)

110，400第一輸出裝置(電視機)

111電視機畫面

112，410，411電視機揚聲器(聲音輸出部)

120游戲機主體

130，300第二輸出裝置(控制器)

131控制器畫面

132十字按鍵

133控制按鈕

134控制桿

135，330，331揚聲器(聲音輸出部)

136控制器音量調整凸部

137耳機端子

138攝像機

139麥克風

140用戶

200～207聲音處理裝置(游戲機主體)

210聲音素材c

211聲音素材b

212聲音素材a

220，221三維處理部

230，310無線通信部

240，241加算處理部

250，251頻帶分割濾波器

260延遲校正部

320音量調整部