專(zhuān)利名稱(chēng)：用于再現(xiàn)立體聲的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
與示例性實(shí)施例一致的設(shè)備和方法涉及再現(xiàn)立體聲，更具體地講，涉及再現(xiàn)立體感被賦予聲音對(duì)象的立體聲。
背景技術(shù)：
隨著視頻技術(shù)的發(fā)展，用戶(hù)現(xiàn)在可觀看三維(3D)立體圖像。通過(guò)使用各種方法(諸如，例如雙眼視差方法)，3D立體圖像使左視點(diǎn)圖像數(shù)據(jù)顯示給左眼，右視點(diǎn)圖像數(shù)據(jù)顯示給右眼。因此使用3D視頻技術(shù)，用戶(hù)可逼真地體會(huì)前移到屏幕外的對(duì)象或返回到屏幕內(nèi)的對(duì)象。另一方面，立體聲技術(shù)可通過(guò)將多個(gè)揚(yáng)聲器布置在用戶(hù)周期使得用戶(hù)能夠感受聲 音的位置和存在。然而，采用現(xiàn)有技術(shù)的立體聲技術(shù)，與接近用戶(hù)的圖像對(duì)象或者離開(kāi)用戶(hù)的圖像對(duì)象相關(guān)的聲音不能被有效地表達(dá)，因此與立體圖像對(duì)應(yīng)的聲音效果不能被提供。

發(fā)明內(nèi)容
技術(shù)方案示例性實(shí)施例可至少解決以上問(wèn)題和/或缺點(diǎn)以及以上沒(méi)有描述的其他缺點(diǎn)。另夕卜，示例性實(shí)施例不需要克服上述缺點(diǎn)，并且示例性實(shí)施例可不克服上述任何問(wèn)題。一個(gè)或多個(gè)示例性實(shí)施例提供用于有效地再現(xiàn)立體聲的方法和設(shè)備，更具體地講，涉及用于通過(guò)將立體感賦予聲音對(duì)象來(lái)有效地表達(dá)接近用戶(hù)的聲音或離開(kāi)用戶(hù)的聲音的方法和設(shè)備。發(fā)明的有益效果根據(jù)現(xiàn)有技術(shù)，由于圖像對(duì)象的深度信息將被提供為附加信息或者由于圖像對(duì)象的深度信息需要通過(guò)分析圖像數(shù)據(jù)而被獲得，因此難于獲得深度信息。然而，根據(jù)示例性實(shí)施例，基于關(guān)于圖像對(duì)象的位置的信息可被包括在聲音信號(hào)中的事實(shí)，通過(guò)分析聲音信號(hào)來(lái)產(chǎn)生深度信息。因此，可容易地獲得圖像對(duì)象的深度信息。另外，根據(jù)現(xiàn)有技術(shù)，使用聲音信號(hào)不適當(dāng)?shù)乇磉_(dá)這樣的現(xiàn)象，諸如圖像對(duì)象從屏幕前移或圖像對(duì)象返回到屏幕內(nèi)。然而，根據(jù)示例性實(shí)施例，通過(guò)表達(dá)由于圖像對(duì)象伸出屏幕或返回屏幕而產(chǎn)生的聲音對(duì)象，用戶(hù)可感受到更逼真的立體聲效果。此外，根據(jù)示例性實(shí)施例，產(chǎn)生聲音對(duì)象的位置與參考位置之間的距離可被有效地表達(dá)。具體地講，由于立體感被賦予每個(gè)聲音對(duì)象，因此用戶(hù)可有效地感受到立體聲效果。示例性實(shí)施例可被實(shí)現(xiàn)為計(jì)算機(jī)程序并且可被實(shí)現(xiàn)在通用數(shù)字計(jì)算機(jī)中，該通用數(shù)字計(jì)算機(jī)使用計(jì)算機(jī)可讀記錄介質(zhì)來(lái)執(zhí)行程序。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括存儲(chǔ)介質(zhì)，諸如，例如磁存儲(chǔ)介質(zhì)(例如，ROM、軟盤(pán)、硬盤(pán)等)和光記錄介質(zhì)(例如，CD-ROM或DVD)。前述示例性實(shí)施例和優(yōu)點(diǎn)僅是示例性的并且不被解釋為限制。本教導(dǎo)可被容易地應(yīng)用到其他類(lèi)型的設(shè)備。另外，示例性實(shí)施例的描述意于示出，并且不意于限制權(quán)利要求的范圍，并且許多替換、修改和變形將對(duì)于本領(lǐng)域的技術(shù)人員是明顯的。


通過(guò)參照附圖對(duì)特定示例性實(shí)施例進(jìn)行描述，以上和/或其他方面將變得更加明顯,其中圖I是示出根據(jù)示例性實(shí)施例的立體聲再現(xiàn)設(shè)備的框圖；圖2是示出根據(jù)示例性實(shí)施例的聲音深度信息獲得單元的框圖；圖3是示出根據(jù)示例性實(shí)施例的通過(guò)使用兩個(gè)聲道聲音信號(hào)提供立體聲的立體聲再現(xiàn)設(shè)備的框圖；
圖4A、4B、4C和4D示出根據(jù)示例性實(shí)施例的提供立體聲的示例；圖5不出根據(jù)不例性實(shí)施例的基于聲音信號(hào)產(chǎn)生聲音深度信息的方法的流程圖；圖6A、6B、6C和6D不出根據(jù)不例性實(shí)施例的從聲音信號(hào)產(chǎn)生聲音深度信息的不例；圖7示出根據(jù)示例性實(shí)施例的再現(xiàn)立體聲的方法的流程圖。最佳實(shí)施方式根據(jù)示例性實(shí)施例的一方面，提供了一種再現(xiàn)立體聲的方法，所述方法包括獲得聲音深度信息，聲音深度信息表不聲音信號(hào)內(nèi)的至少一個(gè)聲音對(duì)象與參考位置之間的距離；基于聲音深度信息來(lái)將聲音立體感賦予聲音對(duì)象。聲音信號(hào)可被劃分為多個(gè)相鄰部分，獲得聲音深度信息的步驟包括通過(guò)將先前部分中的聲音信號(hào)與當(dāng)前部分中的聲音信號(hào)進(jìn)行比較來(lái)獲得聲音深度信息。獲得聲音深度信息的步驟可包括計(jì)算先前部分和當(dāng)前部分的每一個(gè)的每一頻帶的功率；基于每個(gè)頻帶的功率來(lái)將具有預(yù)定值或更大值的功率并且與相鄰部分共有的頻帶確定為公共頻帶；基于當(dāng)前部分中的公共頻帶的功率與先前部分中的公共頻帶的功率之間的差來(lái)獲得聲首深度彳目息。所述方法可還包括獲得中心聲道信號(hào)，中心聲道信號(hào)從聲音信號(hào)輸出到中心揚(yáng)聲器，并且其中，計(jì)算功率的步驟包括基于中心聲道信號(hào)來(lái)計(jì)算每個(gè)頻帶的功率。賦予聲音立體感的步驟可包括基于聲音深度信息來(lái)調(diào)整聲音對(duì)象的功率。賦予聲音立體感的步驟可包括基于聲音深度信息來(lái)調(diào)整由于反射聲音對(duì)象而產(chǎn)生的反射信號(hào)的增益和延遲時(shí)間。賦予聲音立體感的步驟可包括基于聲音深度信息來(lái)調(diào)整聲音對(duì)象的低帶分量的尺寸。賦予聲音立體感的步驟可包括調(diào)整將從第一揚(yáng)聲器輸出的聲音對(duì)象的相位與將從第二揚(yáng)聲器輸出的聲音對(duì)象的相位之間的相位差。所述方法可還包括使用左側(cè)環(huán)繞揚(yáng)聲器或右側(cè)環(huán)繞揚(yáng)聲器或使用左側(cè)前揚(yáng)聲器和右側(cè)前揚(yáng)聲器，來(lái)輸出賦予了立體感的聲音對(duì)象。所述方法可還包括通過(guò)使用聲音信號(hào)來(lái)將音場(chǎng)定位在揚(yáng)聲器的外部。根據(jù)示例性實(shí)施例的另一方面，提供了一種立體聲再現(xiàn)設(shè)備，包括信息獲得單兀，獲得聲音深度信息，聲音深度信息表不聲音信號(hào)內(nèi)的至少一個(gè)聲音對(duì)象與參考位置之間的距離；立體感提供單元，基于聲音深度信息來(lái)將聲音立體感賦予聲音對(duì)象。
具體實(shí)施例方式以下參照附圖對(duì)特定示例性實(shí)施例進(jìn)行更加詳細(xì)地描述。在以下描述中，即使在不同的附圖中，相同的附圖標(biāo)號(hào)用于相同的元件。在說(shuō)明書(shū)中定義的內(nèi)容(諸如詳細(xì)的構(gòu)造和元件)被提供以幫助對(duì)示例性實(shí)施例的全面理解。然而，在沒(méi)有那些具體限定的內(nèi)容的情況下，可實(shí)施示例性實(shí)施例。首先，為了便于描述，在示例性實(shí)施例中使用的術(shù)語(yǔ)被描述。聲音對(duì)象是指包括在聲音信號(hào)中的每個(gè)聲音兀素。在聲音信號(hào)中，各種聲音對(duì)象可被包括。例如，在通過(guò)記錄管弦樂(lè)器演奏的實(shí)際場(chǎng)景而產(chǎn)生的聲音信號(hào)中，從各種音樂(lè)樂(lè)器(諸如，吉他、小提琴、雙簧管等)產(chǎn)生的各種聲音對(duì)象被包括?！ぢ曇粼词侵府a(chǎn)生聲音對(duì)象的對(duì)象，諸如音樂(lè)樂(lè)器或聲音。在示例性實(shí)施例中，產(chǎn)生聲音對(duì)象的對(duì)象和用戶(hù)認(rèn)為已經(jīng)產(chǎn)生聲音對(duì)象的對(duì)象被稱(chēng)為聲音源。例如，如果用戶(hù)正在觀看電影時(shí)蘋(píng)果從屏幕飛向用戶(hù)，則正在飛的蘋(píng)果產(chǎn)生的聲音(聲音對(duì)象)被包括在聲音信號(hào)中。聲音對(duì)象可以是通過(guò)記錄當(dāng)蘋(píng)果正在被扔時(shí)產(chǎn)生的實(shí)際聲音而產(chǎn)生的聲音，或者可以是先前記錄的聲音對(duì)象的重放聲音。然而，在任何情況下，用戶(hù)察覺(jué)到蘋(píng)果已經(jīng)產(chǎn)生了聲音對(duì)象，從而蘋(píng)果也被認(rèn)為是在示例性實(shí)施例中定義的聲音源。聲音深度信息是表示聲音對(duì)象和參考位置之間的距離。詳細(xì)地，聲音深度信息是指產(chǎn)生聲音對(duì)象的位置(聲音源的位置)與參考位置之間的距離。在上述示例中，如果用戶(hù)正在觀看電影時(shí)蘋(píng)果正從屏幕飛向用戶(hù)，則聲音源與用戶(hù)之間的距離減小。為了有效地表達(dá)接近的蘋(píng)果，產(chǎn)生與圖像對(duì)象相應(yīng)的聲音對(duì)象的位置需要被表達(dá)為逐漸接近用戶(hù)，并且表達(dá)此方面的信息是聲音深度信息。參考位置可包括各種位置，諸如，例如預(yù)定聲音源的位置、揚(yáng)聲器的位置、用戶(hù)的位置等。聲音立體感是用戶(hù)通過(guò)聲音對(duì)象體驗(yàn)的一種感受。通過(guò)聽(tīng)到聲音對(duì)象，用戶(hù)察覺(jué)產(chǎn)生聲音對(duì)象的位置，也就是，已經(jīng)產(chǎn)生聲音對(duì)象的聲音源的位置。產(chǎn)生聲音對(duì)象的位置與用戶(hù)的位置之間的距離的感受被稱(chēng)為聲音立體感。下文中，參照附圖對(duì)示例性實(shí)施例進(jìn)行描述。圖I是示出根據(jù)示例性實(shí)施例的立體聲再現(xiàn)設(shè)備100的框圖。立體聲再現(xiàn)設(shè)備100包括聲音深度信息獲得單元110和立體感提供單元120。聲音深度信息獲得單兀110獲得關(guān)于包括在聲音信號(hào)中的至少一個(gè)聲音對(duì)象的聲音深度信息。在至少一個(gè)聲音源中產(chǎn)生的聲音被包括在聲音信號(hào)中。聲音深度信息是指這樣的信息，該信息表示產(chǎn)生聲音的位置(例如聲音源的位置)與參考位置之間的距離。聲音深度信息可指對(duì)象與參考位置之間的絕對(duì)距離和/或?qū)ο笙鄬?duì)于參考位置的相對(duì)距離。根據(jù)另一示例性實(shí)施例，聲音深度信息可指聲音對(duì)象與參考位置之間的距離的變化。聲音深度信息獲得單元110可通過(guò)分析聲音信號(hào)、分析3D圖像數(shù)據(jù)、或者從圖像深度圖，獲得聲音深度信息。在示例性實(shí)施例中，基于聲音深度信息獲得單元110通過(guò)分析聲音信號(hào)獲得聲音深度信息的示例來(lái)提供描述。
聲音深度信息獲得單元110通過(guò)將構(gòu)成聲音信號(hào)的多個(gè)部分(section)與其相鄰部分進(jìn)行比較來(lái)獲得聲音深度信息。將聲音信號(hào)劃分為多個(gè)部分的各種方法可被使用。例如，聲音信號(hào)可被劃分為預(yù)定數(shù)量的采樣。每個(gè)劃分的部分可被稱(chēng)為幀或塊。以下參照?qǐng)D2對(duì)聲音深度信息獲得單元110的示例進(jìn)行詳細(xì)描述。立體感提供單元120基于聲音深度信息處理聲音信號(hào)，從而用戶(hù)可感受到聲音立體感。立體感提供單元120為了使得用戶(hù)有效地感受到聲音立體感來(lái)執(zhí)行以下描述的操作。然而，由立體感提供單元120執(zhí)行的操作是示例，示例性實(shí)施例不限于此。立體感提供單元120基于聲音深度信息來(lái)調(diào)整聲音對(duì)象的功率。產(chǎn)生的聲音對(duì)象離用戶(hù)越近，聲音對(duì)象的功率越大。立體感提供單元120基于聲音深度信息來(lái)調(diào)整反射信號(hào)的增益和延遲時(shí)間。用戶(hù)聽(tīng)到對(duì)象沒(méi)有受到障礙物反射而產(chǎn)生的直接聲音信號(hào)以及對(duì)象受到障礙物反射而產(chǎn)生的反射聲音信號(hào)。反射聲音信號(hào)具有比直接聲音信號(hào)小的幅度，并且當(dāng)反射聲音信號(hào)到達(dá)用 戶(hù)的位置時(shí)，與直接聲音信號(hào)相比被延遲預(yù)定時(shí)間段。具體地講，如果在用戶(hù)附近產(chǎn)生聲音對(duì)象，則與直接聲音信號(hào)相比，反射聲音信號(hào)實(shí)質(zhì)上較晚到達(dá)，從而反射聲音信號(hào)實(shí)質(zhì)上具有比直接聲音信號(hào)小的幅度。立體感提供單元120基于聲音深度信息調(diào)整聲音對(duì)象的低頻帶分量。如果在用戶(hù)附近產(chǎn)生聲音對(duì)象，則用戶(hù)察覺(jué)到低頻道分量較大。立體感提供單兀120基于聲音深度信息調(diào)整聲音對(duì)象的相位。將從第一揚(yáng)聲器輸出的聲音對(duì)象的相位與將從第二揚(yáng)聲器輸出的聲音對(duì)象的相位之間的差越大，用戶(hù)察覺(jué)到聲音對(duì)象越近。下面參照?qǐng)D3提供對(duì)立體感提供單元120的操作的詳細(xì)描述。圖2是示出根據(jù)示例性實(shí)施例的聲音深度信息獲得單元110的框圖。聲音深度信息獲得單元110包括功率計(jì)算單元210、確定單元220和產(chǎn)生單元230。功率計(jì)算單元210計(jì)算構(gòu)成聲音信號(hào)的多個(gè)部分中的每個(gè)的頻帶的功率。確定頻帶的尺寸的方法可根據(jù)示例性實(shí)施例改變。下文中，確定頻帶的尺寸的兩種方法被描述，但是示例性實(shí)施例不限于此。聲音信號(hào)的頻率分量可被劃分為相同的頻帶。人類(lèi)可聽(tīng)到的可聽(tīng)頻率范圍是20-20000HZ。如果可聽(tīng)頻率被劃分為十個(gè)相同的頻帶，則每個(gè)頻帶的尺寸大約是200Hz。將聲音信號(hào)的頻帶劃分為相同的頻帶的方法可被稱(chēng)為等效矩形帶寬劃分方法。聲音信號(hào)的頻率分量可被劃分為不同尺寸的頻帶。當(dāng)收聽(tīng)低頻聲音時(shí)，人類(lèi)聽(tīng)覺(jué)甚至可識(shí)別出小的頻率改變，而當(dāng)收聽(tīng)高頻聲音時(shí)，人類(lèi)甚至不能識(shí)別出小的頻率改變。因此，考慮到人類(lèi)的聽(tīng)覺(jué)，低頻帶被密集地劃分，而高頻帶被粗粒度劃分。因此，低頻帶具有窄寬度，而高頻帶具有較寬的寬度。基于每個(gè)頻帶的功率，確定單元220將具有預(yù)定值或者更大值的功率并且與相鄰部分共有的頻帶確定為公共頻帶。例如，確定單元220選擇當(dāng)前部分中具有A或更大值的功率的頻帶、至少一個(gè)先前部分中具有A或更大值的功率的頻帶(或者當(dāng)前部分中具有第五最大功率的頻帶或者先前部分中具有第五最大功率的頻帶)，并且將從先前部分和當(dāng)前部分中選擇的頻帶確定為公共頻帶。限于預(yù)定值或更大值的頻帶的原因在于獲得具有大的信號(hào)幅度的聲音對(duì)象的位置。因此，具有小的信號(hào)幅度的聲音對(duì)象的影響可被最小化，并且主聲音對(duì)象的影響可被最大化。確定單元220確定公共頻帶的另一原因在于確定不存在于先前部分中的新的聲音對(duì)象是否在當(dāng)前部分中產(chǎn)生或者先前存在的聲音對(duì)象的特性(例如，產(chǎn)生位置)是否已經(jīng)改變。產(chǎn)生單元230基于先前部分的公共頻帶的功率與當(dāng)前部分的公共頻帶的功率之間的差來(lái)產(chǎn)生聲音深度信息。為了描述方便，公共頻帶被假設(shè)為3000-4000HZ。如果先前部分中的3000-4000HZ的頻率分量的功率是3W，當(dāng)前部分中的3000-4000Hz的頻率分量的功率是4. 5W，則其指示公共頻帶的功率已經(jīng)增加。這可被看作在距用戶(hù)較近的位置產(chǎn)生當(dāng)前部分的聲音對(duì)象的指示。也就是，如果相鄰部分之間的公共頻率的功率值的差值大于閾值，則其可以是聲音對(duì)象與參考位置之間的位置改變的指示。根據(jù)示例性實(shí)施例，當(dāng)相鄰部分的公共頻帶的功率改變時(shí)，基于關(guān)于3D圖像的深度圖信息來(lái)確定是否存在接近用戶(hù)的圖像對(duì)象，也就是，從屏幕前移的圖像對(duì)象。如果當(dāng)公 共頻帶的功率改變時(shí)圖像對(duì)象正在接近用戶(hù)，則可根據(jù)圖像對(duì)象的移動(dòng)來(lái)確定產(chǎn)生聲音對(duì)象的位置正在移動(dòng)。產(chǎn)生單元230可確定先前部分與當(dāng)前部分之間的公共頻帶的功率的變化越大，與先前部分中的公共頻帶相應(yīng)的聲音對(duì)象相比，在當(dāng)前部分中產(chǎn)生的與公共頻帶相應(yīng)的聲音對(duì)象距用戶(hù)越近。圖3是示出根據(jù)示例性實(shí)施例的通過(guò)使用兩個(gè)聲道聲音信號(hào)提供立體聲的立體聲再現(xiàn)設(shè)備300的框圖。如果輸入信號(hào)是多聲道聲音信號(hào)，則使用立體聲信號(hào)來(lái)執(zhí)行下混合，隨后示例性實(shí)施例的方法可被應(yīng)用?？焖俑道锶~變換(FFT)單元310執(zhí)行FFT。快速傅里葉逆變換(IFFT)單元320針對(duì)執(zhí)行了 FFT的信號(hào)執(zhí)行IFFT。中心信號(hào)提取單兀330從立體聲信號(hào)提取與中心聲道相應(yīng)的中心信號(hào)。中心信號(hào)提取單元330從立體聲信號(hào)提取具有大相關(guān)性的信號(hào)。在圖3中，假設(shè)基于中心聲道信號(hào)來(lái)產(chǎn)生聲音深度信息。然而，這是示例，并且可使用其他聲道信號(hào)(諸如，例如左或右前聲道信號(hào)或者左或右環(huán)繞聲道信號(hào))來(lái)產(chǎn)生聲音深度信息。音場(chǎng)(sound stage)擴(kuò)展單元350擴(kuò)展音場(chǎng)。音場(chǎng)擴(kuò)展單元350人工地將時(shí)間差或相位差提供給立體聲信號(hào)，從而音場(chǎng)位于揚(yáng)聲器的外部。聲音深度信息獲得單元360基于中心信號(hào)獲得聲音深度信息。參數(shù)計(jì)算單元370基于聲音深度信息確定將聲音立體感提供給聲音對(duì)象所需要的控制參數(shù)值。級(jí)別控制單元371控制輸入信號(hào)的幅度。相位控制單元372調(diào)整輸入信號(hào)的相位。反射效果提供單元373對(duì)由例如墻反射的輸入信號(hào)產(chǎn)生的反射信號(hào)進(jìn)行模擬。近距離效果提供單元374對(duì)在距用戶(hù)近距離產(chǎn)生的聲音信號(hào)進(jìn)行模擬?；旌蠁卧?80混合至少一個(gè)信號(hào)并將混合的信號(hào)輸出到揚(yáng)聲器。下文中，以時(shí)間順序描述立體聲再現(xiàn)設(shè)備300的操作。首先，當(dāng)輸入多聲道聲音信號(hào)時(shí)，使用下混合器(未顯示)將多聲道聲音信號(hào)轉(zhuǎn)換為立體聲信號(hào)。FFT單元310對(duì)立體聲信號(hào)執(zhí)行FFT并將立體聲信號(hào)輸出到中心信號(hào)提取單元330。中心信號(hào)提取單元330將變換的立體聲信號(hào)進(jìn)行比較，并具有最大相關(guān)性的信號(hào)作為中心聲道信號(hào)輸出。聲音深度信息獲得單元360基于中心聲道信號(hào)產(chǎn)生聲音深度信息。以上參照?qǐng)D2描述了通過(guò)使用聲音深度信息獲得單元360產(chǎn)生聲音深度信息的方法。也就是，首先，構(gòu)成中心聲道信號(hào)的部分的每一個(gè)的每個(gè)頻帶的功率被計(jì)算，并且基于計(jì)算的功率來(lái)確定公 共頻帶。隨后，至少兩個(gè)相鄰部分中的公共頻帶的功率變化被測(cè)量，并且深度指數(shù)(depthindex)根據(jù)功率變化被設(shè)置。隨著接近用戶(hù)，相鄰部分的公共頻帶的功率變化越大，與公共頻帶相應(yīng)的聲音對(duì)象需要被表達(dá)得更大，從而聲音對(duì)象的大的深度指數(shù)值被設(shè)置。參數(shù)計(jì)算單元370基于深度指數(shù)值來(lái)計(jì)算將應(yīng)用到用于賦予聲音立體感的模塊的參數(shù)。相位控制單元371在將中心聲道信號(hào)復(fù)制為兩個(gè)信號(hào)之后，根據(jù)計(jì)算的參數(shù)來(lái)調(diào)整被復(fù)制的信號(hào)的相位。當(dāng)使用左側(cè)揚(yáng)聲器和右側(cè)揚(yáng)聲器再現(xiàn)不同相位的聲音信號(hào)時(shí)，可發(fā)生模糊。模糊越強(qiáng)烈，用戶(hù)越難于精確地察覺(jué)到產(chǎn)生聲音對(duì)象的位置。由于此現(xiàn)象，當(dāng)與其他立體感賦予方法一起使用相位控制方法時(shí)，提供立體感的效果可增加。產(chǎn)生聲音對(duì)象的位置距用戶(hù)越近(或產(chǎn)生位置接近用戶(hù)越快)，相位控制單元372可設(shè)置得復(fù)制的信號(hào)的相位之間的相位差越大。調(diào)整了相位的復(fù)制信號(hào)通過(guò)IFFT單元320以被發(fā)送給反射效果提供單元373。反射效果提供單元373對(duì)反射信號(hào)進(jìn)行模擬。如果產(chǎn)生的聲音對(duì)象遠(yuǎn)離用戶(hù)，則直接發(fā)送給用戶(hù)而沒(méi)有受到例如墻反射的直接信號(hào)以及受到例如墻反射而產(chǎn)生的反射聲音具有類(lèi)似的幅度，并且到達(dá)用戶(hù)的直接聲音和反射聲音之間幾乎不存在時(shí)間差。然而，如果在用戶(hù)附近產(chǎn)生聲音對(duì)象，則直接聲音和反射聲音之間的幅度差大，并且到達(dá)用戶(hù)的直接聲音和反射聲音的時(shí)刻差大。因此，產(chǎn)生的聲音對(duì)象距用戶(hù)越近，反射效果提供單元373減小反射信號(hào)的增益值并且進(jìn)一步增加時(shí)間延遲或增加直接聲音的幅度的程度越大。反射效果提供單元373將與反射信號(hào)一起考慮的中心聲道信號(hào)發(fā)送給近距離效果提供單元374。近距離效果提供單元374基于通過(guò)使用參數(shù)計(jì)算單元370計(jì)算的參數(shù)值來(lái)對(duì)在距用戶(hù)近距離產(chǎn)生的聲音對(duì)象進(jìn)行模擬。如果在距用戶(hù)近的位置產(chǎn)生聲音對(duì)象，則低帶分量變?yōu)轱@著。產(chǎn)生聲音對(duì)象的位置距用戶(hù)越近，近距離效果提供單元374增加中心信號(hào)的低帶分量越大。接收到立體聲輸入信號(hào)的音場(chǎng)擴(kuò)展單兀350處理立體聲輸入信號(hào),從而立體聲輸入信號(hào)的音場(chǎng)位于揚(yáng)聲器的外部。如果揚(yáng)聲器之間的距離適當(dāng)，則用戶(hù)可聽(tīng)到存在立體聲。音場(chǎng)擴(kuò)展單兀350將立體聲輸入信號(hào)變換為加寬的立體聲信號(hào)。音場(chǎng)擴(kuò)展單兀350可包括加寬濾波器(通過(guò)左/右雙耳合成和串?dāng)_取消器的卷積來(lái)獲得加寬濾波器)以及超常濾波器(通過(guò)加寬濾波器和左/右直接濾波器的卷積來(lái)獲得超常濾波器)。加寬濾波器基于在立體聲信號(hào)的預(yù)定位置測(cè)量的頭相關(guān)傳遞函數(shù)(HRTF)針對(duì)任意位置形成虛擬聲音，并且基于反映HRTF的濾波器系數(shù)來(lái)取消虛擬聲音源的串?dāng)_。左和右直接濾波器調(diào)整信號(hào)特性，諸如，例如原始立體聲信號(hào)與取消了串?dāng)_的虛擬聲音源之間的增益或延遲。級(jí)別控制單元360基于通過(guò)使用參數(shù)計(jì)算單元370計(jì)算的深度指數(shù)來(lái)調(diào)整聲音對(duì)象的功率值。當(dāng)越靠近用戶(hù)產(chǎn)生聲音對(duì)象時(shí)，級(jí)別控制單元360可還增加聲音對(duì)象的功率值?；旌蠁卧?80將由級(jí)別控制單元360發(fā)送的立體聲輸入信號(hào)與由近距離效果提供單元374發(fā)送的中心信號(hào)進(jìn)行組合。圖4A至4D示出根據(jù)示例性實(shí)施例的提供立體聲的示例。圖4A示出根據(jù)示例性實(shí)施例的立體聲對(duì)象不操作的情況。
用戶(hù)使用至少一個(gè)揚(yáng)聲器收聽(tīng)聲音對(duì)象。如果用戶(hù)使用單個(gè)揚(yáng)聲器再現(xiàn)單聲道信號(hào)，則用戶(hù)不能感受到立體聲效果，但是當(dāng)使用兩個(gè)或更多個(gè)揚(yáng)聲器來(lái)再現(xiàn)立體聲信號(hào)時(shí)，用戶(hù)可感受到立體聲效果。圖4B示出深度指數(shù)為0的聲音對(duì)象被再現(xiàn)的情況。參照?qǐng)D4A至圖4D，假設(shè)深度指數(shù)具有從0到I的值。產(chǎn)生的聲音對(duì)象將被表達(dá)為距用戶(hù)越近，深度指數(shù)的值變得越大。由于聲音對(duì)象的深度指數(shù)為0，因此不執(zhí)行向聲音對(duì)象賦予立體感的操作。然而，通過(guò)允許音場(chǎng)位于揚(yáng)聲器的外部，使用立體聲信號(hào)能夠使得用戶(hù)感受到更好的立體聲效果。根據(jù)不例性實(shí)施例，將音場(chǎng)定位在揚(yáng)聲器的外部的技術(shù)被稱(chēng)為加寬。通常，需要多個(gè)聲道的聲音信號(hào)來(lái)再現(xiàn)立體聲信號(hào)。因此，當(dāng)輸入單聲道信號(hào)時(shí)，通過(guò)上混合來(lái)產(chǎn)生與至少兩個(gè)聲道相應(yīng)的聲音信號(hào)。通過(guò)經(jīng)左側(cè)揚(yáng)聲器再現(xiàn)第一聲道的聲音信號(hào)，通過(guò)經(jīng)右側(cè)揚(yáng)聲器再現(xiàn)第二聲道的聲音信號(hào)，來(lái)再現(xiàn)立體聲信號(hào)。用戶(hù)可通過(guò)收聽(tīng)在不同的位置產(chǎn)生的至少兩個(gè)聲音來(lái)感受到立體聲效果。然而，如果左側(cè)揚(yáng)聲器和右側(cè)揚(yáng)聲器被布置得彼此太近，則用戶(hù)察覺(jué)到聲音在相同位置產(chǎn)生，因此不會(huì)感受到立體聲效果。在這種情況下，聲音信號(hào)被處理，從而聲音被察覺(jué)為不是從揚(yáng)聲器的實(shí)際位置產(chǎn)生，而是從揚(yáng)聲器的外部產(chǎn)生；也就是，從揚(yáng)聲器外部的區(qū)域(諸如，例如，環(huán)繞揚(yáng)聲器或與揚(yáng)聲器相鄰的區(qū)域)產(chǎn)生。圖4C示出根據(jù)示例性實(shí)施例的具有深度指數(shù)0. 3的聲音對(duì)象被再現(xiàn)的情況。由于聲音對(duì)象的深度指數(shù)大于0，因此除了加寬技術(shù)之外，與深度指數(shù)0. 3相應(yīng)的立體感被賦予聲音對(duì)象。因此，用戶(hù)可感受到比其實(shí)際產(chǎn)生的位置距用戶(hù)更近的位置產(chǎn)生的聲音對(duì)象。例如，假設(shè)用戶(hù)正在觀看3D圖像數(shù)據(jù)，并且圖像對(duì)象被表達(dá)為從屏幕突出。在圖4C中，聲音立體感被賦予與圖像對(duì)象相應(yīng)的聲音對(duì)象，從而將聲音對(duì)象處理為就如同其正在接近用戶(hù)。用戶(hù)察覺(jué)到正在突出的圖像數(shù)據(jù)以及正在接近的聲音對(duì)象，從而感受到更逼真的立體聲效果。圖4D示出具有深度指數(shù)I的聲音對(duì)象被再現(xiàn)的情況。由于聲音對(duì)象的深度指數(shù)大于0，因此除了加寬技術(shù)之外，與深度指數(shù)I相應(yīng)的聲音立體感被賦予聲音對(duì)象。由于圖4D中示出的聲音對(duì)象的深度指數(shù)大于圖4C的聲音對(duì)象的深度指數(shù)，因此用戶(hù)可感受到在比圖4C的位置更近的位置產(chǎn)生的聲音對(duì)象。圖5不出根據(jù)不例性實(shí)施例的基于聲音信號(hào)產(chǎn)生聲音深度信息的方法的流程圖。在操作S510，計(jì)算構(gòu)成聲音信號(hào)的部分的每一個(gè)的頻帶的功率。
在操作S520，基于每個(gè)頻帶的功率來(lái)確定公共頻帶。公共頻帶是指具有預(yù)定值或更大值的功率并且是先前部分和當(dāng)前部分共有的頻帶。這里，具有小功率的頻帶可以是無(wú)意義的聲音對(duì)象(諸如，例如噪聲)，因此可從公共頻帶排除。例如，可以以功率值的降序選擇預(yù)定數(shù)量的頻帶，隨后可在選擇的多個(gè)頻帶中確定公共頻帶。在操作S530，將先前部分的公共頻帶的功率和當(dāng)前部分的公共頻帶的功率進(jìn)行比較，并且基于比較結(jié)果來(lái)確定深度指數(shù)值。如果當(dāng)前部分的公共頻帶的功率大于先前部分的公共頻帶的功率，則確定與公共頻帶相應(yīng)的聲音對(duì)象將在距用戶(hù)較近的位置產(chǎn)生。如果當(dāng)前部分的公共頻帶的功率與先前部分的公共頻帶的功率類(lèi)似，則確定聲音對(duì)象沒(méi)有正在接近用戶(hù)。圖6A至圖6D不出根據(jù)不例性實(shí)施例的從聲音信號(hào)產(chǎn)生聲音深度信息的不例。
圖6A示出根據(jù)示例性實(shí)施例的沿著時(shí)間軸劃分為多個(gè)部分的聲音信號(hào)。圖6B至圖6D示出第一部分601、第二部分602和第三部分603中的頻帶的功率。在圖6B至圖6D中，第一部分601和第二部分602是先前部分，第三部分603是當(dāng)前部分。參照?qǐng)D6B 和圖 6C，在第一部分 601 和第二部分 602 中，3000_4000Hz、4000_5000Hz和 5000-6000Hz 的頻帶的功率類(lèi)似。因此，3000-4000Hz、4000-5000Hz 和 5000_6000Hz 的頻帶被確定為公共頻帶。參照?qǐng)D6C 和圖 6D，當(dāng)假設(shè) 3000-4000Hz、4000-5000Hz 和 5000_6000Hz 的頻帶的功率在所有的第一部分601、第二部分602和第三部分603中是預(yù)定值或更大值時(shí)，3000-4000Hz,4000-5000Hz和5000_6000Hz的頻帶被確定為公共頻帶。然而，與第二部分602中的5000-6000HZ的頻帶的功率相比，在第三部分603中，5000-6000HZ的頻帶的功率實(shí)質(zhì)上增加。因此，與5000-6000HZ的頻帶相應(yīng)的聲音對(duì)象的深度指數(shù)被確定為0或更大。根據(jù)示例性實(shí)施例，圖像深度圖可被參考，以確定深度對(duì)象的深度指數(shù)。例如，與第二部分602中的5000-6000HZ的頻帶的功率相比，在第三部分603中的5000-6000HZ的頻帶的功率實(shí)質(zhì)上增加。根據(jù)情況，這可能是產(chǎn)生與5000-6000HZ的頻帶相應(yīng)的聲音對(duì)象的位置還沒(méi)有接近用戶(hù)，但是僅功率的值在相同的位置增加的情況。這里，如果當(dāng)參照?qǐng)D像深度圖時(shí)在與第三部分603相應(yīng)的圖像幀中存在從屏幕前移的圖像對(duì)象，則與5000-6000HZ的頻帶相應(yīng)的聲音對(duì)象對(duì)應(yīng)于圖像對(duì)象的可能性可能很高。在這種情況下，產(chǎn)生聲音對(duì)象的位置逐漸接近用戶(hù)，因此聲音對(duì)象的深度指數(shù)被設(shè)置0或更大。另一方面，如果在與第三部分603相應(yīng)的圖像幀中不存在從屏幕突出的圖像對(duì)象，則這可被認(rèn)為是僅聲音對(duì)象的功率增加同時(shí)相同位置被保持，因此，聲音對(duì)象的深度指數(shù)可被設(shè)置為O。圖7是示出根據(jù)示例性實(shí)施例的再現(xiàn)立體聲的方法的流程圖。在操作S710,獲得聲音深度信息。聲音深度信息是指表不聲音信號(hào)內(nèi)的至少一個(gè)聲音對(duì)象與參考位置之間的距離的信息。在操作S720，基于聲音深度信息將聲音立體感賦予聲音對(duì)象。操作S720可包括操作S721和S722中的至少一個(gè)。在操作S721，基于聲音深度信息來(lái)調(diào)整聲音對(duì)象的功率增益。在操作S722，基于聲音深度信息來(lái)調(diào)整由于障礙物反射聲音對(duì)象而產(chǎn)生的反射信號(hào)的增益和延遲時(shí)間。在操作S723，基于聲音深度信息來(lái)調(diào)整聲音對(duì)象的低帶分量。
在操作S724,調(diào)整將從第一揚(yáng)聲器輸出的聲音對(duì)象的相位與將從第二揚(yáng)聲器輸出的聲音對(duì)象的相位之間的相位差。
權(quán)利要求
1.一種再現(xiàn)立體聲的方法，所述方法包括 獲得聲音深度信息，聲音深度信息表不聲音信號(hào)內(nèi)的至少一個(gè)聲音對(duì)象與參考位置之間的距離； 基于聲音深度信息來(lái)將聲音立體感提供給從揚(yáng)聲器輸出的聲音對(duì)象。
2.如權(quán)利要求I所述的方法，其中，聲音信號(hào)被劃分為多個(gè)相鄰部分， 獲得聲音深度信息的步驟包括通過(guò)將先前部分中的聲音信號(hào)與當(dāng)前部分中的聲音信號(hào)進(jìn)行比較來(lái)獲得聲音深度信息。
3.如權(quán)利要求2所述的方法，其中，獲得聲音深度信息的步驟包括 計(jì)算先前部分和當(dāng)前部分的每一個(gè)的每一頻帶的功率； 基于計(jì)算的每個(gè)頻帶的功率來(lái)將具有預(yù)定值或更大值的功率并且與相鄰部分共有的頻帶確定為公共頻帶； 基于當(dāng)前部分中的公共頻帶的功率與先前部分中的公共頻帶的功率之間的差來(lái)獲得聲音深度信息。
4.如權(quán)利要求3所述的方法，還包括 獲得中心聲道信號(hào)，中心聲道信號(hào)從聲音信號(hào)輸出到中心揚(yáng)聲器，并且其中， 計(jì)算功率的步驟包括基于中心聲道信號(hào)來(lái)計(jì)算每個(gè)頻帶的功率。
5.如權(quán)利要求I所述的方法，其中，提供聲音立體感的步驟包括 基于聲音深度信息來(lái)調(diào)整聲音對(duì)象的功率。
6.如權(quán)利要求I所述的方法，其中，提供聲音立體感的步驟包括 基于聲音深度信息來(lái)調(diào)整由于反射聲音對(duì)象而產(chǎn)生的反射信號(hào)的增益和延遲時(shí)間。
7.如權(quán)利要求I所述的方法，其中，提供聲音立體感的步驟包括 基于聲音深度信息來(lái)調(diào)整聲音對(duì)象的低帶分量的尺寸。
8.如權(quán)利要求I所述的方法，其中，提供聲音立體感的步驟包括 調(diào)整將從第一揚(yáng)聲器輸出的聲音對(duì)象的相位與將從第二揚(yáng)聲器輸出的聲音對(duì)象的相位之間的相位差。
9.如權(quán)利要求I所述的方法，還包括 使用左側(cè)環(huán)繞揚(yáng)聲器或右側(cè)環(huán)繞揚(yáng)聲器或使用左側(cè)前揚(yáng)聲器和右側(cè)前揚(yáng)聲器，來(lái)輸出提供了立體感的聲音對(duì)象。
10.如權(quán)利要求I所述的方法，還包括 通過(guò)使用聲音信號(hào)來(lái)將音場(chǎng)定位在揚(yáng)聲器的外部區(qū)域。
11.一種立體聲再現(xiàn)設(shè)備，包括 信息獲得單兀，獲得聲音深度信息，聲音深度信息表不聲音信號(hào)內(nèi)的至少一個(gè)聲音對(duì)象與參考位置之間的距離； 立體感提供單元，基于聲音深度信息來(lái)將聲音立體感提供給聲音對(duì)象。
12.如權(quán)利要求11所述的立體聲再現(xiàn)設(shè)備，其中，聲音信號(hào)被劃分為多個(gè)相鄰部分，并且信息獲得單元通過(guò)將先前部分中的聲音信號(hào)與當(dāng)前部分中的聲音信號(hào)進(jìn)行比較來(lái)獲得聲音深度信息。
13.如權(quán)利要求12所述的立體聲再現(xiàn)設(shè)備，其中，信息獲得單元包括 功率計(jì)算單元，計(jì)算先前部分和當(dāng)前部分的每一個(gè)的每個(gè)頻帶的功率；確定單元，基于計(jì)算的每個(gè)頻帶的功率來(lái)將具有預(yù)定值或更大值的功率并且與相鄰部分共有的頻帶確定為公共頻帶； 產(chǎn)生單元，基于當(dāng)前部分中的公共頻帶的功率與先前部分中的公共頻帶的功率之間的差來(lái)產(chǎn)生聲音深度信息。
14.如權(quán)利要求13所述的立體聲再現(xiàn)設(shè)備，還包括 信號(hào)獲得單元，獲得中心聲道信號(hào)，中心聲道信號(hào)從聲音信號(hào)輸出到中心揚(yáng)聲器， 其中，功率計(jì)算單元基于與中心聲道信號(hào)相應(yīng)的聲道信號(hào)來(lái)計(jì)算每個(gè)頻帶的功率。
15.一種在其上實(shí)現(xiàn)有當(dāng)由計(jì)算機(jī)執(zhí)行時(shí)使得計(jì)算機(jī)執(zhí)行如權(quán)利要求1-10中的任意一個(gè)所述的方法的程序的非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)。
全文摘要
方法和設(shè)備再現(xiàn)立體聲。該方法包括獲得聲音深度信息，聲音深度信息表示聲音信號(hào)內(nèi)的至少一個(gè)對(duì)象與參考位置之間的距離；基于聲音深度信息將聲音立體感提供給從揚(yáng)聲器輸出的聲音對(duì)象。
文檔編號(hào)H04S5/02GK102972047SQ201180033247
公開(kāi)日2013年3月13日 申請(qǐng)日期2011年5月4日 優(yōu)先權(quán)日2010年5月4日
發(fā)明者金善民 申請(qǐng)人:三星電子株式會(huì)社