優(yōu)先權(quán)申明

本申請要求2011年8月12日提交的申請?zhí)枮?1/523,100、題為“運動用戶的聲音定位”的美國臨時專利申請，以及2011年9月27日提交的申請?zhí)枮?1/539/676、題為“運動用戶的聲音定位”的美國臨時專利申請的優(yōu)先權(quán)，此處以引用形式將其全部并入。

相關(guān)申請的交叉引用

本申請涉及于2010年11月16日提交的申請?zhí)枮?2/947,290、題為“在共享的穩(wěn)定虛擬空間上維護多個視圖”的美國專利申請；2010年12月20日提交的申請?zhí)枮?2/973,827、題為“共享虛擬空間中便攜式設(shè)備的校準”的美國申請；以及2008年10月27日提交的申請?zhí)枮?2/259,181、題為“確定附加球控制器的位置和運動”的美國申請，此處以引用形式將其全部并入。

技術(shù)領(lǐng)域

本發(fā)明涉及遞送(deliver)聲音的方法，更具體而言，涉及三維空間中模擬聲音源的方法。

背景技術(shù)：

電腦游戲業(yè)的發(fā)展趨勢是增加用戶和游戲系統(tǒng)之間的接口并為玩家提供更加逼真體驗的游戲的開發(fā)。實現(xiàn)更豐富的接口體驗的方式之一是利用環(huán)繞聲系統(tǒng)，其遞送在多個揚聲器中產(chǎn)生的多個聲音。然而，目前的環(huán)繞聲系統(tǒng)沒有考慮用戶的身體特征、用戶的位置、用戶的移動或物理三維空間中虛擬對象的虛擬位置。

在某些環(huán)境中，例如電影院中，假設(shè)觀眾正在看屏幕時遞送聲音。由于聲音被遞送到用戶組，因此聲音遞送不考慮用戶特征或者用戶關(guān)于產(chǎn)生聲音的揚聲器的實際位置。

在另一個場景中，當用戶聆聽來自便攜式設(shè)備的音樂時，當聲音直接來自于便攜式設(shè)備時和當用戶戴著耳機時相比，該聆聽體驗是不同的。

正是在這種背景下，發(fā)明的實施例出現(xiàn)了。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供模擬聲音源的方法、設(shè)備和計算機程序。本發(fā)明實施例跟蹤將發(fā)出聲音的位置和用戶的當前位置，以便將該聲音投射(project)為好像該聲音來自位于三維空間內(nèi)的模擬聲音源。例如，該聲音可能看起來源自便攜式設(shè)備、游戲中的對象、虛擬嵌入并增強現(xiàn)實空間的虛擬對象、玩家等等。

應該理解：可以以多種方式實施本發(fā)明，例如處理、設(shè)備、系統(tǒng)、裝置或者計算機可讀介質(zhì)上的方法。下面描述本發(fā)明的幾個創(chuàng)造性實施例。

在一個實施例中，方法包括確定空間中用戶頭部位置的操作，其中使用用戶的人臉識別確定該位置。此外確定遞送到兩個揚聲器的聲音，每個揚聲器與用戶的耳朵相關(guān)聯(lián)。該方法還包括確定空間中的聲音發(fā)出位置的操作，以及基于空間中頭部的位置、聲音、空間中發(fā)出位置以及用戶的聽覺(auditory)特征而為每個揚聲器建立聲信號(acoustic signal)的操作。該聲信號傳輸?shù)絻蓚€揚聲器，而且當兩個揚聲器播放聲信號時，該聲信號模擬聲音源自空間中的發(fā)出位置。

在另一個實施例中，模擬聲音源的方法包括用第一設(shè)備確定第一用戶頭部的第一位置的操作。在另一操作中，接收對應于第二用戶頭部的第二位置，其中用第二設(shè)備確定第二位置。此外，該方法包括確定對應于第二設(shè)備關(guān)于第一設(shè)備的位置的第三位置的操作，以及基于第一位置、第二位置以及第一用戶的聽覺特征而為多個揚聲器建立聲信號的另一個操作。該聲信號被傳輸?shù)蕉鄠€揚聲器，其中當多個揚聲器播放時，聲信號模擬與該聲信號相關(guān)的聲音源自第二用戶。

另一實施例中，模擬聲音源的方法包括確定對應于用戶頭部的第一位置的操作，以及確定對應于對象的第二位置的另一操作。使用用戶周圍空間的圖像分析確定第二位置。此外，基于第一位置、第二位置以及用戶的聽覺特征，為多個揚聲器建立聲信號，其中多個揚聲器位于用戶周圍的空間中。聲信號被傳輸?shù)蕉鄠€揚聲器，其中當由多個揚聲器播放時，聲信號模擬與該聲信號相關(guān)的聲音源自該對象。

在另一實施例中，模擬聲音源的方法包括生成多個聲線索(acoustic cue)的操作，每個聲線索與空間中的位置相關(guān)。在該方法的另一實施例中，為每個聲線索接收來自用戶的輸入，每個輸入具有關(guān)于相應聲線索的感知位置的信息?；诮邮盏妮斎耄瑸橛脩艚⒙曇舳ㄎ缓瘮?shù)(function)，其中通過從多個現(xiàn)有聲音函數(shù)中選擇現(xiàn)有聲音函數(shù)，或者從多個現(xiàn)有聲音函數(shù)中組合多于一個現(xiàn)有聲音函數(shù)，建立聲音定位函數(shù)。此外，基于聲音定位函數(shù)、用戶位置以及聲音源的期望感知位置，將聲音遞送到多個揚聲器，用以模擬聲音源。

在另一個實施例中，模擬聲音源的方法包括：(a)利用從多個可能的聲音定位函數(shù)中選擇的聲音定位函數(shù)，為用戶播放聲音；(b)檢測從用戶到播放聲音的感知聲音位置的指向向量；(c)基于該檢測減少多個可能的聲音定位函數(shù)；(d)從多個可能的聲音定位函數(shù)中選擇新的聲音定位函數(shù)；以及重復操作(a)-(d)，直到播放最后聲音并且為用戶選擇用戶聲音定位函數(shù)，其中利用用戶聲音定位函數(shù)播放的聲音為用戶模擬該聲音源自空間中的期望位置。

在另一個實施例中，模擬聲音源的方法包括：(a)利用從多個可能的聲音定位函數(shù)中選擇的聲音定位函數(shù)，為用戶播放聲音；(b)響應于播放聲音檢測用戶正在用手指指向何處；(c)基于該檢測減少多個可能的聲音定位函數(shù)；(d)從多個可能的聲音定位函數(shù)中選擇新的聲音定位函數(shù)；以及重復操作(a)-(d)，直到播放最后聲音并且為用戶選擇用戶聲音定位函數(shù)，其中利用用戶聲音定位函數(shù)播放的聲音為用戶模擬該聲音源自空間中的期望位置。

在另一個實施例中，模擬聲音源的方法包括：(a)利用從多個可能的聲音定位函數(shù)中選擇的聲音定位函數(shù)，為用戶播放聲音；(b)響應于播放聲音檢測用戶的視線的方向；(c)基于該檢測減少多個可能的聲音定位函數(shù)；(d)從多個可能的聲音定位函數(shù)中選擇新的聲音定位函數(shù)；以及重復操作(a)-(d)，直到播放最后聲音并且為用戶選擇用戶聲音定位函數(shù)，其中利用用戶聲音定位函數(shù)播放的聲音為用戶模擬該聲音源自空間中的期望位置。

在另一個實施例中，一種模擬聲音源的方法包括：

通過計算機，確定用戶的頭部在物理空間中的位置，其中通過用相機捕獲用戶所位于的物理空間的圖像、并且識別來自布置在用戶的頭部的至少一個發(fā)光二極管的光來確定所述位置；

通過計算機，確定用于遞送到用戶佩戴的兩個揚聲器的聲音；

通過計算機，確定物理空間中聲音的發(fā)出位置；

通過計算機，基于物理空間中頭部的位置、聲音、物理空間中的發(fā)出位置以及用戶的聽覺特征，為每個揚聲器建立聲信號，其中用戶的聽覺特性基于校準過程識別，所述校準過程配置為在物理空間中生成一個或多個聲音，并且要求用戶通過移動具有光的控制器靠近用戶感知聲音發(fā)出的位置來響應，相機識別當用戶移動控制器時控制器的位置，移動控制器的響應和生成的一個或多個聲音用于識別用戶的聽覺特性，并且其中建立聲信號以便當兩個揚聲器播放聲信號時，為用戶模擬該聲音源自物理空間中的發(fā)出位置；以及

通過計算機，將聲信號傳輸?shù)絻蓚€揚聲器上。

在另一個實施例中，一種模擬聲音源的方法包括：

通過計算機，生成多個聲線索，每個聲線索與物理空間中的位置相關(guān)；

通過計算機，為每個聲線索接收來自用戶的控制器的輸入，每個輸入具有關(guān)于相應聲線索的用戶的感知位置的信息，通過與計算機通信的相機跟蹤控制器的物理位置，使得來自控制器的輸入與控制器的物理位置相關(guān)；

通過計算機，基于接收的輸入，為用戶建立聲音定位函數(shù)，其中通過從多個現(xiàn)有聲音函數(shù)中選擇現(xiàn)有聲音函數(shù)，或者從多個現(xiàn)有聲音函數(shù)中組合多于一個現(xiàn)有聲音函數(shù)，建立聲音定位函數(shù)，所述多個現(xiàn)有聲音函數(shù)分別用于多個身體解剖學類型的多個收聽者；以及

通過計算機，基于聲音定位函數(shù)、用戶位置以及模擬的聲音源，將聲音遞送到多個揚聲器，用以模擬聲音源。

在另一個實施例中，一種模擬虛擬空間中的聲音源的方法包括：

通過計算機，跟蹤用戶的頭部在物理空間中的位置，其中通過用計算機控制的相機捕獲用戶所位于的物理空間的圖像、并且識別來自布置在用戶的頭部的至少一個發(fā)光二極管的光來幫助所述跟蹤；

通過計算機，確定用于遞送到用戶佩戴的耳機的聲音；

通過計算機，確定呈現(xiàn)在屏幕上的虛擬空間中聲音的發(fā)出位置；

通過計算機，基于物理空間中頭部的位置、虛擬空間中的發(fā)出位置以及用戶的聽覺特征，為耳機建立聲信號，其中用戶的聽覺特性基于用戶的校準過程確定，所述校準過程配置為在虛擬空間中生成一個或多個聲線索，并且要求用戶通過移動具有光的控制器靠近用戶感知聲音發(fā)出的位置來響應，相機識別當用戶移動控制器時控制器的位置和用戶的頭部的位置，并且其中建立聲信號以便當耳機輸出聲信號時，為用戶模擬該聲音源自虛擬空間中的發(fā)出位置；以及

通過計算機，將聲信號傳輸?shù)蕉鷻C上。

結(jié)合附圖從下面的詳細描述中，其他方面將變得顯而易見。

附圖說明

通過結(jié)合附圖參考下列說明，可最佳地理解本發(fā)明。

圖1A-1C例示了聲音從便攜式設(shè)備遞送到用戶的不同實施例。

圖2描繪了根據(jù)一個實施例的多玩家增強現(xiàn)實環(huán)境。

圖3A例示了根據(jù)本發(fā)明一個實施例的人臉識別方法。

圖3B例示了根據(jù)一個實施例的當用戶拿著可追蹤控制器時用戶的頭部的追蹤。

圖4例示了根據(jù)一個實施例的具有逼真聲音遞送的增強現(xiàn)實環(huán)境。

圖5例示了根據(jù)一個實施例的利用射頻標識(RFID)檢測用戶頭部位置的方法。

圖6例示了根據(jù)一個實施例的使用三角測量檢測用戶頭部位置的方法。

圖7是執(zhí)行本發(fā)明實施例的計算機系統(tǒng)的簡化原理圖。

圖8A-8B顯示了根據(jù)本發(fā)明的實施例的模擬聲音源的算法的流程圖。

圖9A例示了根據(jù)一個實施例的、基于接收聲音的用戶感知而選擇聲音定位函數(shù)的方法。

圖9B例示了根據(jù)一個實施例的、基于源自用戶前面的聲音的感知而選擇聲音定位函數(shù)的方法。

圖10A例示了根據(jù)一個實施例的、使用音頻和視頻線索(cues)選擇聲音定位函數(shù)的方法。

圖10B例示了根據(jù)一個實施例的、通過連續(xù)指向在用戶前面移動的感知聲音源而選擇聲音定位函數(shù)的方法。

圖11顯示了根據(jù)一個實施例的選擇一個或多個聲音定位函數(shù)的流程圖。

圖12顯示了根據(jù)一個實施例的從聲音定位函數(shù)數(shù)據(jù)庫中選擇一個或多個聲音定位函數(shù)的流程圖。

圖13例示了可用于執(zhí)行本發(fā)明實施例的設(shè)備的架構(gòu)。

圖14例示了可用于執(zhí)行本發(fā)明實施例的硬件和用戶界面。

具體實施方式

下列實施例描述了模擬聲音源的方法、計算機程序及設(shè)備。顯而易見的是：可以無需這些具體細節(jié)中的某些或全部而實施本實施例。在其他情況下，為了不會不必要地模糊本實施例，沒有詳細描述公知的步驟操作。

圖1A-1C例示了聲音從便攜式設(shè)備遞送到用戶的不同實施例。圖1A顯示了聆聽從便攜式設(shè)備104發(fā)出的音樂的用戶102，圖1B顯示了戴著耳機106聆聽音樂的用戶102。當用戶戴耳機時，在感知聲音所發(fā)生之處(正好面對耳朵)和聲音實際發(fā)出處(便攜式設(shè)備)之間存在分離(disconnect)。因此，當戴著耳機時和不戴耳機聽音樂時，用戶102獲得不同的體驗。本發(fā)明實施例允許戴著耳機的用戶具有和用戶不戴耳機時所經(jīng)歷的相似體驗。

聲音定位(sound localization)是指聽眾在方向和距離上識別所檢測聲音的位置或來源的能力。它也可以指模擬虛擬3D空間中聲線索的放置的聲學工程方法。人類聽覺系統(tǒng)使用聲音源定位的若干線索，包括雙耳之間的時差和級差、頻譜信息、時序分析、相關(guān)分析和模式匹配。

人類有兩只耳朵，但可在三維上-范圍(距離)、方向的上和下、前和后以及任一側(cè)上定位聲音。大腦、內(nèi)耳和外耳共同努力以做出關(guān)于位置的推論。通過獲得源自一只耳朵的線索(單耳線索)并通過比較兩只耳朵處接收的線索(差異線索或雙耳線索)，人類估計源的位置。在這些差異中，線索是到達的時間差異以及強度差異。單耳線索來自聲音源和人體解剖學之間的接口作用，其中在聲音進入耳道而由聽覺系統(tǒng)處理之前修改原始聲音源。這些修改編碼源位置，并可能通過與源位置和耳朵位置相關(guān)的脈沖響應而被捕獲。此脈沖響應被稱為與頭相關(guān)的脈沖響應(head-related impulse response)(HRIR)。如果已在源位置處播放聲音，同時聽眾的耳朵在接收器位置處，則任意聲音源與HRIR的卷積(convolution)將聲音轉(zhuǎn)換為聽眾所聽到的。HRIR可用于產(chǎn)生虛擬環(huán)繞聲。

聲音定位函數(shù)f(此處還稱為聲音函數(shù)，定位函數(shù)，有時直接為“函數(shù)”)是基于聲音和空間中被感知為聲音源的位置而生成定位聲音的函數(shù)或算法。當揚聲器播放時，定位的聲音給用戶聲音源自期望位置的印象，即使聲音實際上是源自揚聲器。函數(shù)f可數(shù)學表示為：

ls＝f(s,l) (1)

其中s是聲音(例如犬吠)，l是期望聲音發(fā)出的位置，而ls是定位的聲音。聲音定位函數(shù)的一個例子是與頭相關(guān)的傳輸函數(shù)(HRTF)，它是刻畫耳朵如何從空間點接收聲音的響應。一對耳朵的HRTF可用于合成似乎來自空間特定點的雙耳聲音。HRTF還可被描述為將大氣中一個方向的聲音修改為到達耳膜的聲音。這些修改包括聽眾外耳的形狀、聽眾頭部和身體的形狀、其中播放聲音的空間聲學特征等。所有這些特征影響聽眾如何能夠精確地區(qū)分聲音來自什么方向。由于每個人的體質(zhì)差異，每個人都有不同的HRTF。使用HRTF描述本發(fā)明的聲音定位實施例，但說明聽眾體質(zhì)特征的其他任何形式的聲音定位可用于本發(fā)明的實施例。

圖1C例示了本發(fā)明的實施例，其中在耳機116處遞送的聲音被修改，這樣用戶102感知由耳機116遞送的聲音，仿佛該聲音從便攜式設(shè)備110發(fā)出，而不是感知到該聲音直接來自耳機116。便攜式設(shè)備110跟蹤耳機(headphones)(也稱為頭戴式耳機(headset)、頭戴受話器(earphones)或聽筒(earpiece))關(guān)于便攜式設(shè)備110位置的位置。一旦耳機關(guān)于便攜式設(shè)備的相對位置已知，便攜式設(shè)備操作該聲音(例如使用用戶的HRTF)來生成定位的聲音，為的是使用戶相信該聲音直接來自便攜式設(shè)備110。在圖1C所示的實施例中，將定位的聲音無線傳輸?shù)綗o線耳機116。一旦由耳機116播放定位的聲音，用戶得到該聲音來自便攜式設(shè)備110的體驗。

不同的人有不同的HRTF，當使用用戶的HRTF時遞送最引人入勝(compelling)的體驗。在一個實施例中，當對于用戶來說HRTF不可得時使用標準的HRTF。標準的HRTF考慮到人類的平均特征。雖然沒有利用用戶的HRTF，但是標準的HRTF仍然可以為用戶提供逼真的體驗。此外，可使用校準方法來進一步為特定用戶定制聲音定位體驗，用以為用戶開發(fā)HRTF。

存在跟蹤耳機位置的多種方式，其依次定義用戶耳朵的位置。通常，此處我們指的是跟蹤用戶耳朵的位置，因為耳朵的位置確定了如何定位聲音。為了便于說明，此處我們是指有時跟蹤用戶的位置，跟蹤用戶頭部的位置，或者跟蹤用戶正戴著的耳機的位置。所有這些跟蹤方法是等效的，因為可以從頭部、用戶或耳機的位置推導出耳朵的位置。

圖1C的實施例中，耳機116包括光源，例如發(fā)光二極管(LED)114。便攜式設(shè)備110中的相機112拍攝用戶102所位于的空間的圖像，之后便攜式設(shè)備112執(zhí)行圖像分析，以確定LED 114的位置。圖像中的亮點參與LED位置的識別。此外，基于相機112拍攝的圖像中LED 114的大小而估計從便攜式設(shè)備到耳機的距離。一旦確定LED 114的位置，假定LED位于耳朵和連接該耳朵的線上方幾英寸之間，根據(jù)耳機的物理特性，估計用戶耳朵的位置。

需要注意的是：圖1C所示的實施例是示范性的。其他實施例可利用跟蹤用戶耳朵位置的不同方法，或者跟蹤方法的組合可用于增加準確性。例如，通過使用人臉識別、超聲波通信、RFID、紅外光、全球定位系統(tǒng)(GPS)等可執(zhí)行定位跟蹤。因此圖l C所例示的實施例不應該被解釋為排斥性的或限制性的，而是示范性的或例示性的。

聲音投射為用戶提供了引人入勝的體驗，使得耳機從聆聽體驗中“消失”。用戶并不覺得聲音來自位于耳朵周圍的兩個揚聲器元件，而是感覺聲音來自空間中特殊點，依據(jù)該情況，其可能與便攜式設(shè)備、來自游戲的虛擬元件、虛擬用戶等有關(guān)。隨著虛擬聲音源變化或者隨著用戶位置改變，聲音投射調(diào)適，因此該聲音似乎是從正確的位置產(chǎn)生的。

圖2描述了根據(jù)一個實施例的多玩家增強現(xiàn)實環(huán)境。在共享空間的游戲中，多個設(shè)備交換位置和游戲信息以提供虛擬多玩家體驗，其中用戶的顯示器投影共享的虛擬空間。這允許每個玩家系統(tǒng)訪問來自其他所有玩家的相機視圖和位置信息，用以同步其校準位置并共享虛擬空間，一起還被稱為共享空間。

圖2的實施例中，玩家202和204在同一個房間中，而玩家206正在遠程游戲(用虛線表示為虛擬玩家)。當玩家202和204已經(jīng)參照共同的3D空間中的點(例如桌子上的點)而同步或校準他們的便攜式設(shè)備后，創(chuàng)建了共同的虛擬場景208。玩家206以類似方式將他的便攜式設(shè)備同步到玩家206周圍空間中的點。

每個玩家都有虛擬場景208的視圖，在這種情況下是戰(zhàn)斗平臺游戲的虛擬場景好像真的在玩家面前的桌子上。該便攜式設(shè)備起相機的作用，使得當玩家四處移動設(shè)備時，隨著相機指向不同方向，該視圖與相機改變顯示同樣的方式改變。結(jié)果，每個顯示器上的實際視圖獨立于其他顯示器上的視圖，該視圖僅僅基于和虛擬場景有關(guān)的便攜式設(shè)備的相對位置，其固定在3D空間上的實際物理位置上。

通過使用多個相機、加速計和確定位置的其他機械設(shè)備以及便攜式設(shè)備之間的高速通信，可能創(chuàng)建3D移動捕獲體驗，其以可信的方式允許玩家看見或者可能觸摸虛擬的游戲人物和環(huán)境。

共享空間游戲利用設(shè)備的高速連接性來在參加共享空間游戲體驗的設(shè)備之間交流信息。通過將設(shè)備變成留存(persist)在每個設(shè)備之間空間內(nèi)穩(wěn)定的“魔術(shù)窗口”，通過該設(shè)備查看虛擬場景208游戲區(qū)。通過使用移動跟蹤、圖像分析和每個設(shè)備之間信息的高留存性，即使當設(shè)備四處移動時，游戲區(qū)呈現(xiàn)在穩(wěn)定的位置。本發(fā)明的實施例提高了增強現(xiàn)實的體驗，不僅包括用戶所見，還包括用戶所聞。

玩游戲期間，玩家202覺察到聲音來自板上的虛擬對象，例如軍隊218或者大炮220，來自其他玩家204和206，來自玩家握著的便攜式設(shè)備212和214等等。在一個實施例中，玩家們戴著可包括麥克風228的耳機226。

當用戶202玩游戲時，便攜式設(shè)備210重新創(chuàng)建虛擬增強的現(xiàn)實，其中其他玩家204和206坐在玩家202面前的桌子周圍。一旦玩家們具有了虛擬空間中分配的地點，這些玩家發(fā)出的聲音(例如語音)之后被模擬進入增強現(xiàn)實空間中。遠程玩家206說話時，語音傳輸?shù)奖銛y式設(shè)備210，其又修改語音，所以玩家202感知到玩家206的語音，所述玩家206的語音被定位到玩家202所位于的同一房間中玩家206的虛擬位置上。

每個便攜式設(shè)備跟蹤各個玩家的位置，而玩家的位置信息在便攜式設(shè)備之間共享。如果玩家和該玩家所拿的便攜式設(shè)備相關(guān)地移動，則該玩家的位置由其他便攜式設(shè)備共享，而當玩家說話時，該語音被定位到玩家當前所在的地點。當兩名玩家(例如玩家202和204)不遠時，便攜式設(shè)備不僅必須跟蹤拿著便攜式裝置的玩家的位置，還必須跟蹤附近其他便攜式設(shè)備的位置。在一個實施例中，以與跟蹤該玩家相似的方式(例如通過用相機所拍攝圖像的圖像識別)跟蹤其他便攜式設(shè)備的位置。在另一實施例中，便攜式設(shè)備定義空間中的共同點(例如桌面中心)，然后每個便攜式設(shè)備跟蹤關(guān)于共同點的便攜式設(shè)備的位置。之后關(guān)于共同點的便攜式設(shè)備的位置與其他便攜式設(shè)備共享，為的是確定便攜式設(shè)備之間的相對位置。

應當注意的是：聲音并不是必須源自便攜式設(shè)備中顯示器所涵蓋的空間內(nèi)。聲音可能來自視野之外的對象或玩家。例如，玩家可以直視前方，而聲音可能來自玩家的右邊。然后該聲音對玩家來說變成了線索，關(guān)于產(chǎn)生來自右邊聲音的對象或人的行蹤。然而，應當注意的是：好的HRTF模型將大大提高顯示范圍以外對象的聲音定位準確性。這是因為虛擬環(huán)繞聲系統(tǒng)中的不準確性由面臨視覺反饋的大腦忽略。如果玩家認為聲音來自可視對象，即使在聲音傳輸中有一些錯誤，大腦使用視覺信息來識別聲音源。然而，當聲音源自視野外，聲音定位的額外視覺線索丟失。在這種情況下，好的HRTF增強了視野之外對象的聲音定位。

增強現(xiàn)實游戲中的聲音定位可應用到多種類型的游戲中。在射擊游戲中，由另一名玩家開的槍似乎來自其他玩家的武器。在冒險游戲中，人物的語音似乎來自人物的位置。在多玩家游戲中，來自另一名玩家的語音似乎來自正在說話的玩家的位置。

在一個實施例中，由計算機程序生成玩家產(chǎn)生的語音。例如，一名玩家向另一名玩家發(fā)短信，計算機程序使用聲音定位來“讀取”發(fā)給另外玩家的短信，這使得計算機生成的語音似乎來自于發(fā)信息的玩家的口中。

此外，虛擬現(xiàn)實產(chǎn)生的語音可能是經(jīng)翻譯的語音，也就是說由機器翻譯工具生成的語音。例如，遠程玩家用外語說話，隨著遠程玩家說話，外語被翻譯成接收該語音的玩家的母語。

圖3A例示了根據(jù)按照本發(fā)明一個實施例的人臉識別方法。在一個實施例中，使用游戲區(qū)域360的視頻圖像的圖像分析來完成玩家臉部或耳朵的位置確定，圖像分析包括檢測和跟蹤用戶特征，例如眼睛366和368，臉，鼻子372，嘴370，軀干364等等。在圖3A的實施例中，跟蹤臉部特征以估計頭部的三維位置并得到耳朵的位置。跟蹤的特征越多，頭部跟蹤越可靠。例如，如果用戶遠離相機轉(zhuǎn)動頭部，則對于相機來說只有一只眼睛是可見的。通過理解鼻子和嘴的位置，系統(tǒng)確定：用戶已經(jīng)轉(zhuǎn)動頭部而不是假設(shè)檢測臉部失敗。一旦確定用戶耳朵的位置，根據(jù)聲音源和耳朵的位置在聲音上完成了聲音定位。

在一個實施例中，用戶所在地區(qū)的圖像由便攜式設(shè)備中“臉部所對的”相機拍攝。此外，可將閃光燈或其他某一光源照耀到用戶臉部以改善人臉識別。

在另一個實施例中，不是跟蹤用戶的便攜式設(shè)備，與用戶相關(guān)聯(lián)的設(shè)備跟蹤便攜式設(shè)備。例如，耳機352包括相機354，由相機354拍攝的圖像用于發(fā)現(xiàn)便攜式設(shè)備。在一個實施例中，由相機354拍攝的圖像被發(fā)送到圖像分析的便攜式設(shè)備。一旦圖像分析確定便攜式設(shè)備的位置，便推導出關(guān)于便攜式設(shè)備的用戶的位置，使得聲音定位成為可能。

應當注意的是：此處所述的跟蹤方法可用于在隔離或其任何組合中。例如，耳機上的相機354可用于追蹤便攜式設(shè)備的位置，而便攜式設(shè)備可同事跟蹤用戶的臉部。此外可以利用其他跟蹤方法，如紅外光、超聲波、GPS、RFID等。這些跟蹤方法提供的信息可組合以進一步提高跟蹤精度。

圖3B例示了：根據(jù)一個實施例，當用戶拿著可追蹤控制器時用戶頭部的跟蹤。圖3B的實施例包括連接到圖像捕獲設(shè)備304的游戲控制臺302。通過圖像識別或通過其他類型的定位跟蹤，控制器312是可追蹤的。當用戶310拿著控制器312時，游戲控制臺302基于可跟蹤控制器的位置并基于用戶的位置(如使用人臉識別)執(zhí)行聲音定位。游戲控制臺302內(nèi)的位置跟蹤模塊基于控制器的位置確定空間中的頭部位置。

位于用戶310周圍的兩個或多個揚聲器314從游戲控制臺302接收聲音信號。當執(zhí)行聲音定位時，根據(jù)用戶的位置、聲音發(fā)出的位置以及揚聲器的位置修改發(fā)送到揚聲器314的聲音信號。例如，如果射手從離顯示器306大約20米的位置開槍，并且用戶離顯示器306三米遠，聲音定位將修改正被射擊的槍的聲音，因此射擊似乎來自離用戶310大約23米遠的位置。

通常可定位遞送給用戶的聲音，這樣聲音似乎源自游戲控制臺302，來自顯示器306上的游戲?qū)ο?，來自控制?12，來自位于用戶物理空間的虛擬游戲?qū)ο?，等等。連續(xù)跟蹤用戶的位置，并且聲音定位基于用戶的當前位置。例如，如果用戶轉(zhuǎn)動頭部，聲音定位變化，因此該聲音似乎來自正確位置，即使用戶正在轉(zhuǎn)動頭部的時候。

圖4例示了根據(jù)一個實施例的具有聲音真實遞送的增強現(xiàn)實環(huán)境。玩家406a具有與位于桌子404上方的參考點402同步的設(shè)備408a。在一個實施例中，點P0 402是參考點而且還是具有坐標(X₀＝0，Y₀＝0，Z₀＝0)的坐標原點。雖然玩家406a在房間內(nèi)，此處還被稱為虛擬場景的虛擬現(xiàn)實可擴展到超出房間的物理邊界。玩家406b和玩家406a玩同樣的游戲但是在遠程位置，對于玩家406a來說，玩家406b被描繪成該游戲中的虛擬元素。玩家406b正拿著便攜式設(shè)備408b，其已同步到玩家406b所在物理空間中的另一個參考點。

在一個示范性實施例中，虛擬場景依賴參考點，因為虛擬場景的幾何形狀(正如通過設(shè)備屏幕所見到的)至少部分地基于該參考點。例如，可用參考點確定虛擬場景中虛擬對象的坐標。

可使用任何衡量標準測量坐標。然而，為了提供可視化的例子并且不限制使用的實際坐標，如果用米測量虛擬場景的坐標，坐標為(1，0，0)的對象將位于參考點右方一米處。當然，隨著場景變化，例如當虛擬對象在場景內(nèi)移動時，可動態(tài)更新真實或虛擬的對象的坐標。此外，可通過計算機設(shè)定的動作(例如接口程序)定義該變化，可通過用戶的動作和二者組合來驅(qū)動。此外，為清楚起見，接口程序可以是任何類型的程序，如視頻游戲、商業(yè)程序、網(wǎng)絡(luò)接口或者僅僅是向其他用戶、程序或者對象提供數(shù)據(jù)訪問的圖形用戶界面，該對象可能會或可能不會由揚聲器顯示或投射。

此外，其他實施例還可具有不同的坐標系統(tǒng)或使用縮放。例如，替代直角坐標系，坐標系統(tǒng)可以是極性的，球面，拋物面等。此外，參考點并不是必須在坐標系的原點，可以位于不同的地方。為了提供實例，參考點可位于坐標(5，5，5)處，在超過5米的點上必須使用負坐標值之前，使得每個方向上有5米的緩沖區(qū)。在另一場景中，建立虛擬對象來縮放，也是用比例尺來測量坐標。例如，虛擬對象可建立在l：10的比例尺上，幾何軸也可具有l(wèi)：10的比例尺，這樣具有坐標(1，0，0)的對象離“真實”世界1米遠，而離虛擬世界10米遠。

圖4中，虛擬對象包括直升機414a-414c、云、鳥、太陽416等。隨著玩家406a移動便攜式設(shè)備408a，虛擬場景的視野變化，好像玩家拿著相機進入到虛擬世界。應當注意的是：設(shè)備408a中所顯示的視圖可包括或可不包括參考點。房間包括除桌子404之外的其他靜態(tài)對象，例如電視412和窗口410。

正如圖4所看出的，虛擬對象可位于空間的任何地方。當便攜式設(shè)備包含相機時，可由便攜式設(shè)備使用房間中的靜態(tài)特性，通過用來自其相機的視圖調(diào)整其慣性測量來維持當前位置的精確測量。便攜式設(shè)備中的圖像分析可檢測窗口邊緣、光源、桌子邊緣、墻壁上的畫、電視等。

游戲控制臺422與便攜式設(shè)備108a交流信息以發(fā)送增強現(xiàn)實環(huán)境。該信息包括游戲信息、用戶跟蹤、便攜式設(shè)備位置、虛擬對象位置、遠程玩家的位置等等中的一個或多個。

在一個實施例中，游戲控制臺422跟蹤玩家406a的耳朵位置。當游戲中產(chǎn)生聲音時(例如，直升機飛行的聲音)，游戲控制臺422確定虛擬空間中聲音源的坐標。一旦耳朵的位置和聲音源的位置已知，游戲控制臺422確定聲音源和感知聲音的耳朵之間的相對位置。游戲控制臺422還具有關(guān)于房間中揚聲器420的位置信息。用戶的HRTF用于將該聲音轉(zhuǎn)換成對于用戶來說似乎來自聲音源的經(jīng)定位的聲音。為了模擬聲音源的位置，傳送到揚聲器420的經(jīng)定位的聲音包括用于每個揚聲器420的不同聲信號。

在另一實施例中，用戶406a正戴著耳機(未顯示)。在這種情況下，定位的聲音被傳送到耳機而不是揚聲器。使用揚聲器和使用耳機的聲音定位算法是類似的，但在揚聲器的情況下，位置是固定的，而在耳機的情況下必須跟蹤位置，因為用戶移動時，耳機移動。此外，在房間揚聲器的情況下，對于來自每個揚聲器的聲音，存在行程時間(travel time)，其必須由聲音定位算法考慮。

聲音定位算法采用用戶的HRTF以及用戶耳朵的當前位置生成用于耳機的定位聲音。由耳機播放的定位聲音的聲信號為考慮空間中虛擬對象虛擬位置的用戶提供聲線索。

在一個實施例中，當發(fā)出聲音的對象或人顯示在便攜式設(shè)備顯示器上或連接到游戲控制臺422的顯示器412上時，用更高的音量遞送定位聲音的聲信號。便攜式設(shè)備不僅充當相機，還充當定向(directional)麥克風。當聲音源不在顯示器上時，聲音的音量較低。因為便攜式設(shè)備作為相機和定向麥克風工作，隨著用戶移動便攜式設(shè)備，用戶具有聲音源所在之處的聲線索。

給遠程玩家406b分配玩家406a物理空間中的一個位置。聲音定位包括產(chǎn)生似乎來自玩家406b或來自便攜式設(shè)備408b的聲音。例如，當玩家406b說話時，由便攜式設(shè)備408b捕獲該語音，然后傳送到游戲控制臺422或便攜式設(shè)備408a。之后使用HRTF或某些其他聲音定位算法將來自用戶406b的語音轉(zhuǎn)換，用以給用戶406a遞送該語音，好像玩家406b正站在玩家406a附近。

在一個實施例中，GPS用于跟蹤用戶。例如，便攜式設(shè)備中的GPS模塊用于確定便攜式設(shè)備的位置，當由便攜式設(shè)備與用戶跟蹤相結(jié)合時，其將GPS位置提供給用戶。如果用戶406b位于遠程位置(例如幾英里遠)，用戶406b的GPS位置可用于音效。例如，用戶406b具有由遠程玩家投射的游戲炮。聲音效果模擬來自用戶406b實際位置的炮投射。首先聽到開槍射擊，隨著炮彈經(jīng)由空氣從玩家406b的位置行進(travel)到玩家406a的位置，之后跟隨有炮彈的聲音。由于炮彈通過空氣行進，聲音強度增加，正如在現(xiàn)實生活那樣。最后，當炮彈擊中目標時聽到爆炸，而且如果目標在用戶附近，將用高音量遞送聲音。

圖5例示了根據(jù)一個實施例、利用射頻標識(RFID)檢測用戶頭部位置的方法。戴著耳機504的用戶502在她口袋里攜佩戴便攜式設(shè)備506。便攜式設(shè)備506包括RFID模塊508，耳機504中的一個或兩個耳機512包括RFID標簽510。RFID模塊508不僅能夠閱讀RFID標簽510中的信息，還能夠確定來自RFID標簽510的無線電信號的方向和時序。因此，RFID技術(shù)的使用使得便攜式設(shè)備獲得RFID標簽510的距離以及RFID信號方向的估計。這樣，即使RFID模塊508和RFID標簽510之間不存在視線，便攜式設(shè)備仍然可以得到耳機512位置的估計，其指示用戶502的耳朵的位置。其他實施例可使用除RFID外的其他類型的無線通信，例如藍牙、Wi-Fi、無線電傳輸、超聲波、聲信號等。

在另一實施例中，耳機和便攜式設(shè)備包括GPS模塊。GPS模塊提供空間中用戶頭部和便攜式設(shè)備的絕對位置。便攜式設(shè)備中的位置跟蹤模塊使用GPS位置，用以確定空間中關(guān)于便攜式設(shè)備位置的頭部位置。一旦確定了相對位置，便攜式設(shè)備能夠執(zhí)行用戶的聲音定位，正如之前所述?？梢允褂萌魏晤愋偷腉PS技術(shù)，例如使用GPS衛(wèi)星星座(constellation)，或者使用基于到移動電話塔距離的移動電話定位技術(shù)。

GPS技術(shù)也可與其他形式的跟蹤結(jié)合。例如，便攜式設(shè)備可包括GPS模塊，而便攜式設(shè)備通過圖像識別跟蹤用戶耳朵的位置。便攜式設(shè)備的GPS定位可用于具有遠程虛擬玩家的游戲中。所有玩家的GPS定位用于創(chuàng)建將玩家的相對位置彼此匹配的聲音效果。

圖6例示了根據(jù)一個實施例使用三角測量檢測頭部位置的方法。在一個實施例中(未顯示)，耳機包括超聲波源，超聲波信號用于跟蹤玩家頭部的位置。一個或多個定向麥克風可用于確定耳機的位置，因為定向麥克風提供聲音的方向。此外，從耳機到便攜式設(shè)備行進的超聲波時間量計時提供了測距從耳機到麥克風的距離的信息。當多于一個麥克風可用時，三角測量可用于微調(diào)用戶的位置。

圖6中的實施例中，超聲波源位于便攜式設(shè)備604處。耳機606包括三個超聲波麥克風608a-608c。由麥克風608a-608c中每一個捕獲的信息被傳輸?shù)奖銛y式設(shè)備604上。便攜式設(shè)備604中的位置跟蹤模塊分析由麥克風捕獲的聲音信息，用以確定耳機的位置，其包括根據(jù)聲音的方向和聲音到達麥克風的時間執(zhí)行三角測量。由位置跟蹤模塊執(zhí)行的分析確定耳機關(guān)于便攜式設(shè)備的相對位置。

也可以用其他無線技術(shù)使用三角測量。例如，便攜式設(shè)備可包括三個可讀取由RFID標簽發(fā)送的RFID無線電信號的RFID傳感器。為了改善包括三角測量信號源的估計，空間上彼此遠離地定位RFID傳感器。同樣，RFID標簽可位于耳機內(nèi)，一個在右邊的耳機上，一個在左邊耳機上，第三個在右邊和左邊耳機之間。應當注意：三角測量信號的其他實施例可包括除3外的不同數(shù)量的傳感器，例如2，4等。因此圖6所示的實施例不應被解釋為排斥性的或限制性的，而是示范性的和說明性的。

圖7是執(zhí)行本發(fā)明實施例的計算機系統(tǒng)的簡化原理圖。應當理解：可用諸如傳統(tǒng)通用計算機系統(tǒng)的數(shù)字處理系統(tǒng)執(zhí)行此處所述的方法。被設(shè)計或編程為執(zhí)行唯一功能的專用計算機可用于備選。計算設(shè)備712包括處理器732，其耦合到存儲器734、耦合到永久存儲設(shè)備758、以及耦合到計算設(shè)備712內(nèi)或者連接到計算設(shè)備712的其他模塊。聲音定位計算機程序736駐留在存儲器734中，但也可以駐留在永久存儲設(shè)備758中。

計算設(shè)備712與超聲波捕獲設(shè)備708、圖像捕獲設(shè)備720和顯示器726通信。在一個實施例中，聲音捕獲設(shè)備708、圖像捕獲設(shè)備720、RFID模塊706和顯示器726可嵌入到計算設(shè)備712中或者是獨立的單元。在一個實施例中，超聲波捕獲設(shè)備包括麥克風，而在另一個實施例中，超聲波捕獲設(shè)備包括麥克風陣列。

設(shè)備位置跟蹤模塊724確定便攜式設(shè)備的位置。多種技術(shù)可用于位置跟蹤，例如超聲波、GPS、RFID、圖像分析、三角測量、慣性等，或者其組合。頭部跟蹤模塊738確定用戶耳朵中一個或兩個的位置(其可通過確定耳機的位置而間接確定)。通過使用一種或多種不同的技術(shù)，例如圖像識別、RFID、超聲波、紅外線、三角測量等，頭部跟蹤模塊738可確定用戶耳朵的位置。

為了執(zhí)行聲音定位，聲音投射模塊716修改聲音信號，期望遞送到聲音系統(tǒng)，這樣接收修改后的聲音信號的用戶將具有聲音發(fā)自期望位置的印象。聲音投射模塊716使用設(shè)備位置跟蹤模塊724和頭部跟蹤模塊738提供的位置信息以修改聲音信號。

永久存儲設(shè)備758代表持續(xù)的數(shù)據(jù)存儲設(shè)備，例如軟盤驅(qū)動或固定光盤驅(qū)動，其可能是本地的或遠程的。網(wǎng)絡(luò)接口746提供網(wǎng)絡(luò)連接，允許與其他設(shè)備通信。應該理解：處理器732可嵌入到通用處理器、專用處理器或者專門編程的邏輯器件中。輸入/輸出(I/O)接口742提供了與不同外設(shè)的通信，例如顯示器726、鍵盤752、鼠標750、超聲波捕獲設(shè)備708、圖像捕獲設(shè)備720、揚聲器754、耳機704、按鈕、傳感器、觸摸屏756等。通用串行總線(USB)模塊744提供到USB設(shè)備的連接。

顯示器726被配置為顯示此處所述的用戶接口。為了向處理器732傳送信息，鍵盤752、鼠標750和其他外設(shè)耦合到I/O接口742。應該理解：可通過I/O接口742將數(shù)據(jù)傳送到外部設(shè)備并從外部設(shè)備傳送數(shù)據(jù)。也可在分布式計算環(huán)境中實施本發(fā)明，其中由通過基于有線或無線網(wǎng)絡(luò)連接的遠程處理設(shè)備執(zhí)行任務(wù)。

數(shù)據(jù)庫710包括與多個不同用戶相關(guān)聯(lián)的多個聲音定位函數(shù)。在一個實施例中，聲音定位函數(shù)是為多個用戶獲取的經(jīng)測量的HRTF函數(shù)，但還可用其他的聲音定位函數(shù)。正如以下關(guān)于圖9A-12所論述的，數(shù)據(jù)庫710用于為用戶建立聲音定位函數(shù)，其影響(leverage)為其他用戶獲得的現(xiàn)有函數(shù)。

注意的是：圖7所例示的實施例是示范性的。其他實施例可利用不同的模塊，或者具有由一個模塊執(zhí)行的多種函數(shù)等。因此圖7所示的實施例不應被解釋為排斥性的或限制性的，而是示范性的或說明性的。

圖8A-8B顯示根據(jù)本發(fā)明實施例的模擬聲音源的算法流程圖。圖8A例示了聲音定位的實施例。在操作802中確定空間中用戶頭部的位置，其中該用戶戴著包括兩個揚聲器的耳機。如前所述，多種方法可用于確定耳機的位置，如超聲波、圖像分析、RFID、GPS、紅外線等。此外，操作804中確定將被遞送到揚聲器的聲音，每個揚聲器與用戶的一只耳朵相關(guān)聯(lián)。換句話說，一個揚聲器位于左耳旁，另一個揚聲器位于右耳旁。操作806中確定聲音發(fā)出位置。該聲音發(fā)出位置指的是空間中定義將被遞送給用戶的虛擬聲音源的點，這樣用戶得到該聲音來自該聲音源的印象。

操作808中，基于空間中頭部的位置、聲音、空間中的發(fā)出位置和用戶的聽覺特征，為每個揚聲器建立聲信號。用戶的聽覺特征定義了影響用戶如何定位聲音出處的用戶物理特征。在一個實施例中，用戶的聽覺特征由用戶耳朵的HRTF對定義。

操作808之后，該方法流向操作810，其中聲信號被傳送到兩個揚聲器。當聲信號由兩個揚聲器播放時，該聲音似乎源自空間中的發(fā)出位置。

圖8B例示了模擬聲音源的方法流程圖。操作842中確定空間中用戶頭部的位置。在一個實施例中，用戶戴著包括兩個揚聲器的耳機，而在另一個實施例中，多個揚聲器位于用戶周圍的空間中，例如用戶和計算機設(shè)備接口的房間中。操作844中，該方法確定在增強現(xiàn)實環(huán)境中由虛擬對象產(chǎn)生的聲音，其中該聲音被遞送到多個揚聲器中。在操作846中確定對應于空間中虛擬對象的虛擬位置的空間中聲音的發(fā)出位置。例如在一個實施例中，聲音是由站在真實的物理桌子上的化身(avatar)所產(chǎn)生的語音。

此外，在操作848中，基于空間中頭部的位置、聲音以及空間中的發(fā)出位置為每個揚聲器建立聲信號。一旦建立了聲信號，聲信號在操作850中被傳送到兩個揚聲器上。聲信號一旦由兩個揚聲器播放就模擬聲音源自空間中的發(fā)出位置。操作852中，增強現(xiàn)實空間的一部分或者整個增強現(xiàn)實空間顯示在便攜式設(shè)備的屏幕上。

因為戴著耳機的人可能隨著時間推移而移動她的頭，因此需要跟蹤來定期重新計算用戶的位置。此外，聲音的發(fā)出位置也可能隨時間而改變。結(jié)果，需要用戶和聲音位置的連續(xù)跟蹤，而在操作854中，該方法確定是否需要更新用戶的位置。在一個實施例中，定期更新(例如每隔500ms，雖然其他值也是可能的)用戶的位置。如果操作854中執(zhí)行的檢查確定將要更新位置，則該方法流回到操作842。另一方面，如果操作854中執(zhí)行的檢查決定不需要更新用戶的位置，則該方法流回到操作844用以確定遞送到耳機的新聲音。

根據(jù)一個實施例，圖9A例示了：基于所接收聲音的用戶感知而選擇聲音定位函數(shù)的方法。通過耳機的虛擬環(huán)繞最適合人的HRTF(或某些其他的聲音定位函數(shù))的精確測量。測量HRTF的過程是困難的(也就是說，該過程需要在人耳中放入小麥克風，并且坐得筆直，當在頭部周圍不同的位置和距離處移動揚聲器時)。本發(fā)明的實施例利用了用戶人口的經(jīng)測量的HRTF數(shù)據(jù)庫。在一個實施例中，利用運動控制器創(chuàng)建用戶的聲音定位函數(shù)，其基于數(shù)據(jù)庫中的一個或多個HRTF。實際上沒有測量用戶的HRTF，但是通過發(fā)現(xiàn)為用戶“工作”的一個或多個HRTF，提供了具有虛擬聲音遞送的現(xiàn)實虛擬環(huán)繞聲系統(tǒng)。

具有用于數(shù)百萬用戶的聲音定位函數(shù)是不實際的。發(fā)明的實施例利用用于人的常規(guī)片段的測量聲音定位函數(shù)，然后執(zhí)行測試以為特定用戶選擇這些函數(shù)中的一個。

在圖9A的實施例中，用戶904在具有多個揚聲器902的房間中。應當注意的是：當用戶904戴著耳機時，還可執(zhí)行校準過程。計算機系統(tǒng)通過揚聲器902播放聲音，用戶被要求指出方向908a上的控制器906A，用戶相信其是聲音源的方向。基于由用戶識別作為聲音源的方向908a，該系統(tǒng)從匹配該方向的數(shù)據(jù)庫中選擇一個或多個聲音定位函數(shù)。換句話說，由用戶904的每個回應之后，該系統(tǒng)縮小了可滿足用戶904特征的聲音定位函數(shù)。

在一個實施例中，給用戶提供兩種選擇。如果用戶不確定聲音來自哪里，按下控制器上的第一個按鈕以表明用戶不確定。另一方面，如果用戶識別出方向，當指出聲音的方向時用戶按下第二個按鈕。這允許人們通過搜索聲音定位函數(shù)(例如HRTF)的數(shù)據(jù)庫而找到適當?shù)穆曇舳ㄎ缓瘮?shù)，并找到最匹配用戶輸入(例如由控制器識別的方向)的函數(shù)。

該過程用在不同位置的其他的聲音重復。基于控制器的位置(例如906b、906c)為每個聲音獲得新的方向(例如908b，908c)，并且分析聲音定位函數(shù)以找到位置的最佳匹配。在一個實施例中，最佳匹配是為所有測試聲音提供最佳整體性能的聲音定位函數(shù)。

在另一實施例中，用于此特定用戶的函數(shù)是聲音函數(shù)的組合，其中用戶周圍的空間被劃分成部分(sector)，來自每個部分的聲音使用與該部分相關(guān)的函數(shù)，其中每個部分具有相關(guān)聯(lián)的不同函數(shù)。在一個實施例中使用了插值(interpolation)，而某些部分使用來自兩個或更多函數(shù)的插值。期望的目標不是具有完美的選擇函數(shù)，而是該目標是在不同位置具有大量的可接受函數(shù)，其對于具體的游戲或者對于一系列游戲來說足夠填滿所需的3D體積。如果認為一定數(shù)量的離散傳遞函數(shù)比只選擇一個函數(shù)更好，那么就沒有必要只選擇一個函數(shù)。在一個實施例中，插值用來填充其中尚未執(zhí)行實際測試的區(qū)域中的空白，由于為用戶周圍的整個3-D空間執(zhí)行測試是非常乏味的。

為每個測試播放的聲音可能是相同的聲音，但從不同的位置投射，或者該聲音可能隨位置而改變，為的是獲得不同音頻頻率的數(shù)據(jù)。這可能減少用戶困惑，因為用戶不會覺得所有聲音恰好相同并且聲音來自同一個地方。

在一個實施例中，如果一個傳遞函數(shù)并沒有恰當?shù)仄ヅ渌袦y試聲音的用戶聲音特征，則為用戶計算的聲音函數(shù)是不僅考慮到了聲音來自的區(qū)域而且考慮了正在產(chǎn)生的聲音類型(例如聲音的主頻)的函數(shù)組合。例如，在3D空間中的特定地點，第一函數(shù)可用于低頻聲音，而第二函數(shù)可用于高頻或中頻聲音。

由于與用戶904相關(guān)的函數(shù)未知，所以從數(shù)據(jù)庫中選擇的聲音定位函數(shù)f₁，開始校準過程。當用戶在908a方向上點906a時，該系統(tǒng)分析：當使用f₁生成聲音時，什么定位函數(shù)f_u或函數(shù)可能引起該響應。換句話說，系統(tǒng)需要將f₁與數(shù)據(jù)庫中的其他函數(shù)相關(guān)聯(lián)。Ifs是為測試所選的聲音(例如犬吠)，l₁是聲音的位置，而ls₁是揚聲器處遞送的定位聲音，等式(1)變?yōu)椋?/p>

ls₁＝f₁(s,l₁) (2)

當用戶指向方向908a時，基于方向908a計算位置l₂。如果f_u是為該聲音和位置l₂匹配聲音s用戶的函數(shù)，那么得到下面的公式：

ls₁＝f_u(s,l₂) (3)

這意味著：對于同樣的聲音測試(例如犬吠)，f₁和f_u將產(chǎn)生發(fā)送到揚聲器的相同聲音，但是由用戶感知的位置因為不同的聲音定位函數(shù)而變化。換句話說，具有函數(shù)f₁的用戶感知來自l₁的聲音，而具有函數(shù)f_u的用戶感知來自l₂的相同聲音。

將等式(2)和(3)結(jié)合，得到以下恒等式：

f₁(s,l₁)＝f_u(s,l₂) (4)

因為f₁，s，l₁和l₂是已知的，所以可用等式(4)獲得f_u。然而注意的是：f_u為此用戶的位置l₂工作，但是f_u可能不為其他位置工作。因為對于數(shù)據(jù)庫中的許多函數(shù)來說可滿足等式(4)，在不同地點繼續(xù)該測試允許系統(tǒng)選擇：哪個可能的函數(shù)更好地為用戶服務(wù)。在一個實施例中，通過消除不工作的函數(shù)，測試過程繼續(xù)，直到選擇最后一個函數(shù)為止(更好地匹配用戶特征的函數(shù))。

在一個實施例中，相同的函數(shù)f₁用于所有的測試。在另一實施例中，隨著該系統(tǒng)開始微調(diào)該函數(shù)或者為此用戶最佳工作的函數(shù)，用于每個測試的函數(shù)變化。例如在第二測試中，之前測試中獲得的選定函數(shù)f_u用于第二測試，而不是f₁。第二測試后，基于兩次測量選擇新的函數(shù)f_u2。基于所有測試中的測量，每次測試后重復該過程以計算新的函數(shù)。

注意的是：校準正在發(fā)生時，如果用戶移動頭部，該移動可能改變結(jié)果。在一個實施例中，聲音短，消除或?qū)嵸|(zhì)上減少了頭部運動的影響。在另一個實施中，跟蹤用戶的頭部，這意味著測試期間耳朵的位置是已知的。在一個實施例中，通過分析用戶拍攝的圖像而執(zhí)行頭部跟蹤，但是也可用其他方法，例如使用具有磁力計的耳機等。

根據(jù)一個實施例，圖9B例示了基于源自用戶前面的聲音感知而選擇聲音定位函數(shù)的方法。戴著耳機962的用戶904位于顯示器952和相機956前，相機952用于拍攝用戶和用戶拿著的控制器的圖像。相機956連接到計算機設(shè)備(未顯示)上。在圖9B所示的實施例中，將校準限制在用戶前面的點。校準測試點可能在顯示器952上，或者在位于顯示器952后面的墻954上。

測試步驟是與上述參考圖9A類似的步驟，除了用戶知道到聲音的距離，因為聲音在顯示器952上或者在墻954上。此外，該系統(tǒng)能夠計算用戶904和顯示器952之間以及用戶904和墻954之間的距離。定位正在測試的聲音，用以模擬源自顯示器上或墻壁上的聲音。此外，用戶904和聲音之間的距離等于用戶和顯示器952上聲音源位置之間、或者用戶和墻954上聲音源位置之間的距離。在另一實施例中，用戶周圍的對象也可用于測試。這樣，對象和用戶之間的距離也是已知的，該距離可用于校準步驟。

注意的是：圖9A和9B的校準步驟比僅僅知道用戶的HRTF更好，因為校準過程中也考慮了用戶的主觀部分(關(guān)于用戶的聲音感知)。如上所述，測量HRTF涉及將麥克風放在用戶的耳朵中，但是HRTF沒有說明聲音進入耳道后會發(fā)生什么。該系統(tǒng)把用戶的印象連接到物理位置上。不是使用“完美的”方法，其中該系統(tǒng)開發(fā)了人耳的精確模型，該系統(tǒng)實際上可將性能調(diào)整到個人的獨特偏見。如果人認為：特定的聲音似乎來自一個方向，不管它是否與人的HRTF匹配，該系統(tǒng)將比只是使用HRTF提供更加引人入勝的體驗。

上述標定方法不僅提供了選擇聲音定位函數(shù)的直觀界面，該校準方法還提供用戶感知到聲音正在發(fā)出之處和運動控制器位置之間的登記。在一個實施例中，控制器和用戶頭部的位置與聲音定位函數(shù)用于模擬：聲音隨著控制器正被四處移動而由運動控制器產(chǎn)生。

根據(jù)一個實施例，圖10A例示了使用音頻和視頻線索選擇聲音定位函數(shù)的方法。圖10A的實施例使用視線檢測和視覺線索執(zhí)行校準。此外，校準過程可能是游戲的一部分，隨著測試的進行，其給出了分數(shù)或獎勵。利用相機156和計算設(shè)備(未顯示)來檢測用戶158的視線154。揚聲器152嵌入到電視機中并且用于遞送本地化的聲音。

對于校準來說，屏幕由用戶視線的潛在目標填充。目標是幫助用戶識別聲音源的視覺線索。圖10A所示的例子中包括多只鳥，聲音測試是一聲鳥鳴，其可能隨測試而改變。校準過程中的每個聲音提示后，用戶將她的視線瞄準在用戶認為發(fā)出聲音的顯示器上的對象上。在一個實施例中，動畫發(fā)生以顯示被選中的鳥兒，例如讓鳥兒飛走、消失、倒在地上，等等。

在一個實施例中，在允許用戶從之前輸入中執(zhí)行更正的過程中存在反饋環(huán)。3D可視化提供給映射用戶所選的所有3D位置的用戶。該系統(tǒng)允許用戶重新定義感知的位置，并將輸入彼此聯(lián)系。例如，用戶可以詳述“這個聲音在那一個的前面”，或者詳述“這個聲音在那一個的后面”。如果以可視化表現(xiàn)放置各種聲音，并且可被單獨選擇，然后用戶可以使用該信息重置聲音樣本。例如，用戶可能指出：“這個聲音在我正前方”，但在稍后時間聽到另一個聲音并詳述“新聲音是在我正前方的那個”。用戶可以選擇最初的“正前方”聲音，確認聲音并不位于她最初以為的地方，要么放棄要么重新定位(reposition)樣本。

根據(jù)一個實施例，圖10B例示了通過連續(xù)指向移動到用戶前方的感知聲音源而選擇聲音定位函數(shù)的方法。在一個實施例中，校準測試包括：播放聲音源變化處的聲音序列，模擬聲音源正在移動。圖10B的實施例利用聲音校準的標記分析。在這種情況下，用戶168用她的手指指向162來指示聲音來自何處。

例如，聲音是正在森林中沿著軌跡166運動的鳥兒164，但是該鳥兒是不可見的，因為它正在森林里飛。注意的是：軌跡166可能留在顯示區(qū)域中，或者該軌跡可能擴展到顯示器邊界之外。隨著鳥兒移動，用戶168將162指向用戶認為鳥兒當時所在的位置。

系統(tǒng)分析由手指方向所識別的方向，并在上述為用戶計算聲音定位函數(shù)的過程使用類似的過程。在一個實施例中，該系統(tǒng)定期采樣用戶輸入和相應的聲音。然后用獲得的離散樣本計算聲音函數(shù)，正如上所述。

在一個實施例中，用戶的聲音定位函數(shù)存儲在網(wǎng)絡(luò)上的服務(wù)器中，其可由許多設(shè)備訪問。為了在其他設(shè)備中遞送聲音定位，之后聲音定位函數(shù)可與其他設(shè)備共享。例如，用戶可以使用游戲控制臺來計算函數(shù)，然后當用戶戴著連接到便攜式設(shè)備的耳機時，聲音定位可提供給用戶。

注意的是：圖9A-9B和10A-10B所示的實施例是示范性的。其他實施例可利用不同的聲音，不同的揚聲器配置，使用不同的輸入(例如，控制器、手持設(shè)備的方向、用戶所做的標志等)，使用不同類型的揚聲器(例如，耳機，房間中的揚聲器，電視上的揚聲器等)。因此圖9A-9B和10A-10B所示的實施例不應被解釋為排斥性的或限制性的，而是示范性的或說明性的。

根據(jù)一個實施例，圖11顯示了選擇一個或多個聲音定位函數(shù)的流程圖。操作1102中，選擇聲音用于執(zhí)行第一測試。定位該聲音使其顯示出聲音源自某一位置。操作1104中，通過多個揚聲器播放聲音，例如環(huán)繞聲系統(tǒng)、一副耳機、嵌入到電視機中的揚聲器等。

提示用戶指出聲音是來自何處。操作1106中，檢測用戶的輸入，而用戶的輸入用于確定空間中從用戶到感知聲音源的指向向量。操作1108中，分析存儲在數(shù)據(jù)庫中的聲音定位函數(shù)，并且基于播放和捕獲的指向向量，給該函數(shù)打分。分數(shù)用來濾除用于此用戶聲音定位的某些可能函數(shù)。

操作1110中，該方法確定是否需要更多的測量來繼續(xù)減少候選函數(shù)的列表(list)。如果不需要更多的測量，該方法繼續(xù)到操作1114，否則到操作1112。操作1112中，基于已經(jīng)獲得的結(jié)果選擇新的定位聲音。在一個實施例中，預先確定該聲音并且該系統(tǒng)通過聲音列表循環(huán)，直到耗盡該列表。例如，該列表可能包括來自7個不同地點的7個不同聲音。收到相應的7個輸入后，之后系統(tǒng)為用戶選擇一個函數(shù)(操作1114)。在另一個實施例中，基于之前的任務(wù)，該方法適應接收到的輸入并選擇下一個聲音。例如，系統(tǒng)可能會下降到3個不同的候選函數(shù)，選擇提供良好引導的聲音，用于選擇哪個是三個函數(shù)中最好的。

操作1114中，為用戶計算聲音定位函數(shù)。例如看如上所述的關(guān)于圖9A-9B和10A-10B的實施例。此外，操作1116中，計算出的聲音定位函數(shù)存儲在數(shù)據(jù)庫中，這樣其他設(shè)備可使用將聲音定位到此用戶的函數(shù)。

根據(jù)一個實施例，圖12顯示了從聲音定位函數(shù)的數(shù)據(jù)庫中選擇一個或多個聲音定位函數(shù)的流程圖。操作1202中，選擇與空間中第一位置相關(guān)的第一聲線索，操作1204中，通過揚聲器遞送聲線索。遞送聲隊列后，該系統(tǒng)在操作1206中從用戶接收輸入。來自用戶的輸入具有聲線索的感知位置信息。

操作1208中，該方法檢查操作1204中是否遞送最后的聲線索。如果是最后的聲線索，該方法繼續(xù)到操作1212，否則到操作1210。操作1210中，該方法選擇下一個聲線索和聲線索發(fā)出的位置。操作1210之后，該方法返回到操作1204用以遞送新的聲線索。

操作1212中，執(zhí)行新的檢查以確定是否單個聲音定位函數(shù)將用于此用戶，或者是否聲音函數(shù)的組合用于該用戶。例如，如果系統(tǒng)確認存在將此用戶和遞送的測試良好匹配的聲音定位函數(shù)，則該系統(tǒng)將使用從聲音函數(shù)數(shù)據(jù)庫中檢索的此函數(shù)。然而，如果沒有用于該用戶的良好匹配，系統(tǒng)將使用根據(jù)空間中最佳匹配每個函數(shù)的部分而劃分的函數(shù)組合。

因此，操作1214中，基于接收的用戶輸入，該方法從數(shù)據(jù)庫中選擇現(xiàn)有的聲音定位函數(shù)。另一方面，操作1216中，該方法從用戶數(shù)據(jù)庫中選擇聲音定位函數(shù)的結(jié)合。操作1218上，為了模擬聲音源，基于聲音定位函數(shù)、用戶位置以及聲音源的期望感知位置，聲音被遞送到多個揚聲器。

圖13例示了可用于實現(xiàn)發(fā)明實施例的設(shè)備架構(gòu)。便攜式設(shè)備是計算設(shè)備并且包括存在于計算設(shè)備中的常規(guī)模塊，如處理器、內(nèi)存(RAM、ROM等)、電池或其它電源以及永久性存儲器(例如硬盤)。通信模塊允許便攜式設(shè)備與其他便攜式設(shè)備、其他電腦、服務(wù)器等交流信息。該通信模塊包括通用串行總線(USB)連接器、通信鏈接(例如以太網(wǎng))、超聲波通信、藍牙和WiFi。

輸入模塊包括輸入按鈕和傳感器、麥克風、觸控屏、相機(正面、背面、深度相機)和讀卡器。其他輸入/輸出設(shè)備，例如鍵盤或鼠標，也可通過諸如USB或藍牙的通信鏈接連接到便攜式設(shè)備。輸出模塊包括顯示屏(具有觸控屏)、發(fā)光二極管(LED)、振動觸覺反饋和揚聲器。諸如耳機的其他輸出設(shè)備還可以通過通信模塊連接到便攜式設(shè)備上。

來自不同設(shè)備的信息可由定位模塊用來計算便攜式設(shè)備的位置。這些模塊包括磁力計、加速度計、陀螺儀、GPS和指南針。此外，定位模塊可分析用相機和麥克風捕獲的聲音或圖像數(shù)據(jù)用以計算該位置。此外，定位模塊可執(zhí)行測試以確定便攜式設(shè)備的位置或附近其他設(shè)備的位置，如WiFi ping測試或超聲波測試。

如前所述，使用定位模塊計算出的位置，虛擬現(xiàn)實生成器創(chuàng)建虛擬或增強的現(xiàn)實?；谔摂M現(xiàn)實和位置，視圖生成器創(chuàng)建屏幕上顯示的視圖。聲音定位模塊執(zhí)行聲音定位，用于將被遞送到揚聲器或耳機的聲音。

應當理解：圖13所示的實施例是便攜式設(shè)備的常規(guī)實現(xiàn)。其他實施例可使用不同的模塊、模塊子集，或者將相關(guān)的任務(wù)分配到不同的模塊。因此圖13所示的實施例不應被解釋為排斥性的或限制性的，而是示范性或說明性的。

圖14例示了可用于實現(xiàn)發(fā)明實施例的硬件和用戶接口。圖14示意地例示了3娛樂設(shè)備的整體系統(tǒng)架構(gòu)。為系統(tǒng)單元1400提供可連接到系統(tǒng)單元1400的各種外圍設(shè)備。系統(tǒng)單元1400包括：單元處理器1428；動態(tài)隨機存取存儲器(XDRAM)單元1426；具有專用視頻隨機存取存儲器(VRAM)單元1432的現(xiàn)實合成圖形單元1430；以及I/O橋1434。系統(tǒng)單元1400還包括盤的光盤讀取器1440，用于從盤1440a和可移動插槽硬盤驅(qū)動器(HDD)1436中讀取，通過I/O橋1434訪問。可選地，系統(tǒng)單元1400還包括存儲卡讀取器1438，用于讀取致密閃存卡、Memory存儲卡和類似物，其同樣地通過I/O橋1434訪問。

I/O橋1434還連接到6個通用串行總線(USB)2.0端口1424；吉比特以太網(wǎng)端口1422；IEEE802.11b/g無線網(wǎng)絡(luò)(Wi-Fi)端口1420；以及能夠支持多達7個藍牙連接的無線鏈接端口1418。

在操作中，I/O橋1434處理所有無線、USB和以太網(wǎng)數(shù)據(jù)，包括來自一個或多個游戲控制器1402-1403的數(shù)據(jù)。例如，當用戶玩游戲時，I/O橋1434通過藍牙連接從游戲控制器1402-1403接收數(shù)據(jù)，并將其指向單元處理器1428，其相應地更新游戲的當前狀態(tài)。

無線、USB和以太網(wǎng)接口還提供除了游戲控制器1402-1403的其他外圍設(shè)備的連接，例如遠程控制1404；鍵盤1406；鼠標1408；諸如索尼娛樂設(shè)備的便攜式娛樂設(shè)備1410；諸如相機1412的視頻相機；耳機1414以及麥克風1415。因此這些外圍設(shè)備原則上可無線連接到系統(tǒng)單元1400上；例如便攜式娛樂設(shè)備1410可通過Wi-Fi ad-hoc連接通信，而耳機1414可通過藍牙鏈接通信。

提供這些接口意味著：PlayStation3設(shè)備還潛在地與其它外圍設(shè)備兼容，例如數(shù)字視頻錄像機(DVR)、機頂盒、數(shù)碼相機、便攜式媒體播放器、互聯(lián)網(wǎng)協(xié)議(IP)電話上的語音、移動電話、打印機和掃描儀。此外，傳統(tǒng)的存儲卡讀卡器1416可通過USB端口1424連接到該系統(tǒng)單元，使得能夠讀取由PlayStation或PlayStation2設(shè)備使用這種存儲卡。

游戲控制器1402-1403是可操作的，用以通過藍牙連接與系統(tǒng)單元1400無線通信，或者連接到USB端口，因此還提供了充電游戲控制器1402-1403電池的電力。游戲控制器1402-1403還可包括存儲器，處理器，存儲卡讀取器，諸如閃存的永久性存儲器，諸如發(fā)光球形部分、LED或紅外燈的光投射器，用于超聲波通信的麥克風和揚聲器，聲學室，數(shù)碼相機，內(nèi)部時鐘，面對游戲控制臺的可識別形狀，以及使用諸如WiFi^TM等協(xié)議的無線通信?？勺R別的形狀實質(zhì)上可以是形狀：球體、立方體、平行四邊形、長方體、圓錐體、金字塔狀、不完美的球體、英式足球、足球或橄欖球、球體的一部分、截棱錐、截圓錐、棒球棒、截斷立方體、多面體、星形等，或者這些形狀中兩個或多個的組合。

游戲控制器1402是設(shè)計成用雙手使用的控制器，而游戲控制器1403是具有球形接頭的單手控制器。除了一個或多個模擬操縱桿和常規(guī)控制按鈕，該游戲控制器對三維位置的確定敏感。因此游戲控制器的用戶的手勢和移動可被翻譯成游戲輸入，除了或者不是傳統(tǒng)按鈕或操縱桿命令?？蛇x地，諸如便攜式設(shè)備的其他無線使能外圍設(shè)備可用作控制器。在便攜式設(shè)備的例子中，額外的游戲或控制信息(例如，控制指令或生命數(shù)量)可提供到設(shè)備屏幕上。也可使用其他替代或補充控制裝置，如跳舞毯(未顯示)，光槍(未顯示)，方向盤和踏板(未顯示)或定制的控制器，例如用于快速反應測試游戲的單個或幾個大按鈕(也未顯示)。

遠程控制1404也是可操作的，用以通過藍牙鏈接與系統(tǒng)單元1400無線通信。遠程控制1404包括適于藍光光盤BD-ROM閱讀器1440以及用于盤內(nèi)容導航的控制。

藍光光盤BD-ROM光盤閱讀器1440讀取與PlayStation和PlayStation2設(shè)備兼容的CD-ROM是可操作的，除了傳統(tǒng)的預錄和可記錄CD，以及所謂的超級音頻CD。閱讀器1440讀取與PlayStation2和PlayStation3設(shè)備兼容的DVD-ROM也是可操作的，除了傳統(tǒng)的預錄和可記錄DVD。閱讀器1440讀取與PlayStation3設(shè)備以及傳統(tǒng)的預錄和可記錄藍光光盤兼容的BD-ROM是進一步可操作的。

系統(tǒng)單元1400提供音頻和視頻是可操作的，通過現(xiàn)實合成圖形單元(RSX)1430，或者由PlayStation3設(shè)備生成或者由其解碼，通過音頻1450和視頻1452連接器到顯示和聲音輸出設(shè)備1442，例如具有顯示器1444和一個或多個揚聲器1446或獨立揚聲器1448的顯示器或電視機。在一個實施例中，根據(jù)用戶的視線點(POG)，利用聲音和視線輸入朝著特定的音響喇叭播放聲音。音頻連接器1450可包括傳統(tǒng)的模擬和數(shù)字輸出，同時視頻連接器1452可能不同地包括分量視頻、S-視頻、復合視頻和一個或多個高清晰度的多媒體接口(HDMI)輸出。因此，視頻輸出可能以諸如PAL或NTSC，或者720P、1080i或1080p的高清晰度的形式。

音頻處理(生成、解碼等)由單元處理器1428執(zhí)行。PlayStation3設(shè)備的操作系統(tǒng)支持5.1環(huán)繞聲，劇院環(huán)繞聲(DTS)以及來自藍光光盤的7.1環(huán)繞聲的解碼。

本實施例中，視頻攝像機1412包括單個電荷耦合器件(CCD)，LED指示燈，基于硬件的實時數(shù)據(jù)壓縮和編碼設(shè)備，以便可以適當?shù)母袷絺魉蛪嚎s視頻數(shù)據(jù)，例如基于由系統(tǒng)單元1400解碼的MPEG(運動圖像專家組)標準的內(nèi)部圖像(intra-image)。安排攝像機LED指示燈，用以響應于來自系統(tǒng)單元1400的合適控制數(shù)據(jù)而照明，例如表示不利的照明條件。視頻攝像機1412的實施例可能不同地通過USB、藍牙或Wi-Fi通信端口連接到系統(tǒng)單元1400。視頻攝像機的實施例可能包括一個或多個相關(guān)的麥克風，還能夠傳輸音頻數(shù)據(jù)。在視頻攝像機的實施例中，CCD可能具有適于高清晰度視頻捕獲的分辨率。使用中，由視頻攝像機捕獲的圖像例如可被納入到游戲中或被解釋為游戲控制輸入。在另一實施例中，該攝像機是適于檢測紅外光的紅外攝像機。

通常，為了通過系統(tǒng)單元1400的一個通信端口、用諸如視頻攝像機或遠程控制的外圍設(shè)備發(fā)生數(shù)據(jù)的成功傳輸，應該提供一款合適的軟件，例如設(shè)備驅(qū)動程序(device driver)。設(shè)備驅(qū)動程序技術(shù)是眾所周知的，此處將不會詳細描述，但本領(lǐng)域技術(shù)人員將明白：所述的本實施例中可能需要設(shè)備驅(qū)動程序或類似的軟件接口。

可用各種計算機系統(tǒng)配置實施本發(fā)明的實施例，包括手持設(shè)備、微處理器系統(tǒng)、基于微處理器或可編程的消費類電子產(chǎn)品、微機、大型機和類似物。也可在分布式計算環(huán)境中實施本發(fā)明，其中由通過網(wǎng)絡(luò)連接的遠程處理設(shè)備執(zhí)行任務(wù)。

考慮到上述實施例，應該理解：該發(fā)明可以使用涉及計算機系統(tǒng)中存儲數(shù)據(jù)的各種計算機執(zhí)行的操作。這些操作是那些需要物理量的物理操作。此處所述的構(gòu)成發(fā)明一部分的任何操作是有用的機器操作。本發(fā)明還涉及到執(zhí)行這些操作的設(shè)備或儀器。該儀器可能是用于所需目的而專門構(gòu)建的，例如專用計算機。當定義為專用計算機時，計算機也可以執(zhí)行其他處理，程序執(zhí)行或并非專用部分而仍然能夠?qū)ｉT執(zhí)行的程序。作為選擇，可由通用計算機執(zhí)行操作，通用計算機由計算機存儲器、高速緩存中存儲的或通過網(wǎng)絡(luò)獲得的一個或多個計算機程序選擇性激活或配置。當通過網(wǎng)絡(luò)獲得數(shù)據(jù)時，該數(shù)據(jù)可由網(wǎng)絡(luò)上的其他計算機處理，例如云計算資源。

本發(fā)明的一個或多個實施例也可制作成計算機可讀介質(zhì)上的計算機可讀代碼。計算機可讀介質(zhì)是可存儲數(shù)據(jù)的任意數(shù)據(jù)存儲設(shè)備，之后該數(shù)據(jù)可由計算機系統(tǒng)讀取。計算機可讀介質(zhì)的實例包括硬盤驅(qū)動器、網(wǎng)絡(luò)附加存儲(NAS)、只讀存儲器、隨機存取存儲器、CD-ROM、CD-R、CD-RW、磁帶及其他光學和非光學的數(shù)據(jù)存儲設(shè)備。計算機可讀介質(zhì)可以包括在網(wǎng)絡(luò)耦合的計算機系統(tǒng)分布的計算機可讀有形介質(zhì)，這樣以分布式存儲和執(zhí)行計算機可讀代碼。

雖然以特定順序描述方法操作，應該理解的是：在操作中可執(zhí)行其他的內(nèi)務(wù)管理(housekeeping)操作，或者可以調(diào)整操作，這樣它們發(fā)生在稍微不同的時間處，或者可能分布在系統(tǒng)中，其允許與處理相關(guān)的不同時間間隔處發(fā)生處理操作，只要以期望的方式執(zhí)行覆蓋操作的處理。

雖然為了清楚理解而稍微詳細地描述了上述發(fā)明，但是顯而易見的是：在附加權(quán)利要求的范圍內(nèi)可實施某些改變和修改。因此本實施例被認為是說明性的而不是限制性的，而發(fā)明不限于此處給出的細節(jié)，但可在附加權(quán)利要求的范圍和等效物中修改。