專利名稱：基于用戶表達(dá)的營銷術(shù)語的自動廣告生成的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成廣告的方法和系統(tǒng)。
背景技術(shù)：
隨著識別用戶的動作并利用這些動作來控制應(yīng)用(例如，視頻游戲、媒體播放器等)的視聽捕捉技術(shù)的出現(xiàn)，存在出于營銷目的來記錄用戶的語言和動作的機(jī)會。然而，隱私顧慮阻礙了在沒有用戶的明確同意的情況下對捕捉到的用戶視聽數(shù)據(jù)的記錄和傳送，這可防止出于各種目的(包括營銷目的)來使用這種數(shù)據(jù)。

發(fā)明內(nèi)容
該技術(shù)提供了用于基于用戶表達(dá)的營銷術(shù)語來生成針對一個或多個用戶的廣告的各種實(shí)施例。在一個或多個方法實(shí)施例中，正在通信地耦合到計(jì)算機(jī)系統(tǒng)的顯示器上查看多媒體內(nèi)容的一個或多個用戶被標(biāo)識出。一個或多個用戶所表達(dá)的營銷術(shù)語是在來自通信地耦合到計(jì)算機(jī)系統(tǒng)的視聽捕捉設(shè)備的現(xiàn)場捕捉數(shù)據(jù)中檢測到的，且術(shù)語上下文數(shù)據(jù)被更新以包括該營銷術(shù)語已經(jīng)被一個或多個用戶表達(dá)過的次數(shù)的計(jì)數(shù)。包括該計(jì)數(shù)的術(shù)語上下文數(shù)據(jù)可被傳送至遠(yuǎn)程計(jì)算機(jī)系統(tǒng)，且要傳遞給一個或多個指定的用戶的廣告是基于術(shù)語上下文數(shù)據(jù)來標(biāo)識出的。該廣告被傳送至一個或多個指定的用戶。用于基于用戶表達(dá)的營銷術(shù)語來生成針對一個或多個用戶的廣告的系統(tǒng)的一個或多個實(shí)施例還被描述為包括音頻輸入設(shè)備，該音頻輸入設(shè)備通信地耦合多媒體計(jì)算機(jī)系統(tǒng)以接收來自鄰近該音頻設(shè)備的一個或多個用戶的現(xiàn)場音頻信號。音頻設(shè)備鄰近是一個或多個用戶具有隱私期望的位置。這種位置的一個示例是私人住宅。多媒體計(jì)算機(jī)系統(tǒng)通信地耦合至遠(yuǎn)程計(jì)算機(jī)系統(tǒng)，用于從該遠(yuǎn)程系統(tǒng)接收一個或多個營銷術(shù)語并用于向該遠(yuǎn)程計(jì)算機(jī)系統(tǒng)發(fā)送術(shù)語上下文數(shù)據(jù)。多媒體計(jì)算機(jī)系統(tǒng)存儲一個或多個營銷術(shù)語以及多媒體應(yīng)用的每一個相應(yīng)的用戶的用戶簡檔。存儲在計(jì)算機(jī)系統(tǒng)的存儲器中的語言識別軟件接收現(xiàn)場音頻信號的音頻流數(shù)據(jù)，并標(biāo)識出一個或多個營銷術(shù)語是否已在音頻流數(shù)據(jù)中被說到過。在多媒體計(jì)算機(jī)系統(tǒng)的處理器上執(zhí)行的軟件更新術(shù)語上下文數(shù)據(jù)，該術(shù)語上下文數(shù)據(jù)包括每一多媒體術(shù)語的有關(guān)該術(shù)語在多媒體應(yīng)用執(zhí)行期間被說過的次數(shù)的計(jì)數(shù)。在其他實(shí)施例中，可在文化上下文的身體姿勢和/或手語姿勢中檢測到對營銷術(shù)語的表達(dá)。處理器基于術(shù)語上下文數(shù)據(jù)來使廣告被顯示。還描述了其上存儲有指令的一個或多個計(jì)算機(jī)存儲介質(zhì)的實(shí)施例，當(dāng)這些指令被處理器執(zhí)行時，使得處理器執(zhí)行用于基于用戶表達(dá)的營銷術(shù)語來生成針對一個或多個用戶的廣告的方法。提供本發(fā)明內(nèi)容以便以簡化的形式介紹將在以下具體實(shí)施方式
中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并非旨在標(biāo)識所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。


圖1示出了目標(biāo)識別、分析和跟蹤系統(tǒng)的示例實(shí)施例。圖2A示出了其中可操作該技術(shù)的各實(shí)施例的捕捉設(shè)備和計(jì)算系統(tǒng)的一個實(shí)施例。圖2B示出了其中可操作該技術(shù)的各實(shí)施例的包括手語翻譯器的姿勢識別引擎的一個實(shí)施例。圖3A示出了可用于實(shí)現(xiàn)圖1-2B的計(jì)算系統(tǒng)的計(jì)算系統(tǒng)的示例。圖;3B示出了可操作該技術(shù)的各實(shí)施例的通用計(jì)算系統(tǒng)的示例。圖4是描述了用于基于所捕捉到的用戶在查看多媒體內(nèi)容時對營銷術(shù)語的表達(dá)來生成針對一個或多個用戶的廣告的方法的一個實(shí)施例的流程圖。圖5A是描述了用于在現(xiàn)場捕捉數(shù)據(jù)中檢測由一個或多個用戶所表達(dá)的營銷術(shù)語的實(shí)現(xiàn)過程的一個實(shí)施例的流程圖。圖5B是描述了用于在現(xiàn)場捕捉數(shù)據(jù)中檢測由一個或多個用戶所表達(dá)的營銷術(shù)語的另一實(shí)現(xiàn)過程的一個實(shí)施例的流程圖。圖6是描述了用于更新檢測到的術(shù)語的術(shù)語上下文數(shù)據(jù)的實(shí)現(xiàn)過程的一個實(shí)施例的流程圖。圖7A是描述了用于基于術(shù)語上下文數(shù)據(jù)標(biāo)識出要傳遞給至少一個用戶的廣告的實(shí)現(xiàn)過程的一個實(shí)施例的流程圖。圖7B是描述了用于基于術(shù)語上下文數(shù)據(jù)標(biāo)識出要傳遞給至少一個用戶的廣告的實(shí)現(xiàn)過程的另一個實(shí)施例的流程圖。圖8A是描述了用于將廣告?zhèn)鬟f給指定的用戶的實(shí)現(xiàn)過程的一個實(shí)施例的流程圖。圖8B是描述了用于將廣告?zhèn)鬟f給指定的用戶的實(shí)現(xiàn)過程的另一個實(shí)施例的流程圖。圖9A至圖9D示出了用戶的骨架跟蹤模型的示例。
具體實(shí)施例方式該技術(shù)提供了用于基于所捕捉到的用戶在查看多媒體內(nèi)容時對營銷術(shù)語的表達(dá)來生成針對一個或多個用戶的廣告的各實(shí)施例。營銷術(shù)語是一個或多個單詞。廣告或營銷術(shù)語被下載到通信地耦合至視聽捕捉設(shè)備的計(jì)算機(jī)系統(tǒng)，該視聽捕捉設(shè)備用于捕捉正在查看應(yīng)用所生成的多媒體內(nèi)容或者正與該多媒體內(nèi)容進(jìn)行交互的用戶的圖像和音頻數(shù)據(jù)。例如，具有自然用戶界面(NUI)的游戲控制臺計(jì)算機(jī)系統(tǒng)是通信地耦合至視聽捕捉設(shè)備和視聽顯示器的計(jì)算機(jī)系統(tǒng)的一個示例，在該自然用戶界面中用戶的移動控制多媒體內(nèi)容中的動作。通信地耦合至視聽捕捉設(shè)備和視聽顯示器的計(jì)算機(jī)系統(tǒng)的另一示例是與通信地耦合至在用戶鄰近的視聽捕捉設(shè)備及顯示器的本地計(jì)算機(jī)系統(tǒng)進(jìn)行通信的一個或多個遠(yuǎn)程服務(wù)器。本地捕捉設(shè)備可將現(xiàn)場音頻流數(shù)據(jù)和/或現(xiàn)場圖像數(shù)據(jù)發(fā)送給遠(yuǎn)程服務(wù)器系統(tǒng)，以供一個或多個服務(wù)器上的軟件處理來檢測營銷術(shù)語。這種遠(yuǎn)程服務(wù)器系統(tǒng)的一個示例可以是提供連接服務(wù)以供各遠(yuǎn)程用戶一起玩的在線游戲服務(wù)或其他內(nèi)容提供方。游戲服務(wù)或內(nèi)容提供方還可提供如現(xiàn)場聊天、電子郵件和即時消息收發(fā)等其他服務(wù)，以供遠(yuǎn)程用戶通過他們的本地游戲控制臺計(jì)算機(jī)進(jìn)行傳遞。遠(yuǎn)程服務(wù)器系統(tǒng)還可至少部分地執(zhí)行在參與的遠(yuǎn)程用戶的本地計(jì)算機(jī)的本地顯示器上向他們顯示的多媒體應(yīng)用。通常，正在查看多媒體內(nèi)容的用戶是在視聽捕捉設(shè)備鄰近這么做的，在視聽設(shè)備鄰近用戶具有該用戶不認(rèn)識的一些人不會聽到他或她的談話的隱私期望。住宅是這種鄰近的一個示例。一般，隱私策略和合法約束防止記錄用戶的視聽數(shù)據(jù)，尤其防止在沒有用戶的授權(quán)的情況下將這種視聽數(shù)據(jù)的傳送給第三方。該技術(shù)提供了用于基于一個或多個用戶表達(dá)的語言來選擇以他或她為目標(biāo)的廣告，而不會對這些表達(dá)做出未經(jīng)授權(quán)的傳送的解決方案。對語言的表達(dá)可以是營銷術(shù)語(例如電影的標(biāo)題)的口頭發(fā)音或者是表示營銷術(shù)語的一個或多個姿勢。例如，可將喝飲料之類的動作定義成例如與作為營銷術(shù)語的“飲料”相關(guān)聯(lián)的姿勢。另一個示例中，標(biāo)準(zhǔn)化手語的符號可以是表達(dá)營銷術(shù)語的姿勢。手語是使用通過視覺來傳送的姿勢或符號來傳達(dá)含義的語言。這可包括如下各項(xiàng)中的一個或多個手形的同步組合，手、手臂或身體的定向和移動，以及表達(dá)說話者的想法的面部表情。在方法的一些實(shí)施例中，標(biāo)識出正在通信地耦合到計(jì)算機(jī)系統(tǒng)的顯示器上查看多媒體內(nèi)容的一個或多個用戶，并且在來自通信地耦合到計(jì)算機(jī)系統(tǒng)的視聽捕捉設(shè)備的現(xiàn)場捕捉數(shù)據(jù)中檢測由一個或多個用戶所表達(dá)的營銷術(shù)語。例如，可分析流音頻數(shù)據(jù)來被動地識別出營銷術(shù)語。該識別被認(rèn)為是被動的，因?yàn)橛脩舨]有被詢問或提醒特定的術(shù)語，但是在用戶發(fā)起和控制的語言的過程中表達(dá)了該術(shù)語。音頻數(shù)據(jù)可以被臨時緩存，但并不會違反隱私策略而將其記錄在非易失性存儲器中以供以后的傳輸。存儲術(shù)語上下文數(shù)據(jù)，該術(shù)語上下文數(shù)據(jù)包括營銷術(shù)語已經(jīng)被一個或多個用戶表達(dá)過的次數(shù)的計(jì)數(shù)，并可至少部分地將該術(shù)語上下文數(shù)據(jù)傳送至遠(yuǎn)程計(jì)算機(jī)系統(tǒng)?；谛g(shù)語上下文數(shù)據(jù)標(biāo)識出要傳遞至一個或多個指定的用戶的廣告。這個標(biāo)識步驟可由位于視聽捕捉設(shè)備鄰近的計(jì)算機(jī)系統(tǒng)來執(zhí)行，或者在遠(yuǎn)程計(jì)算機(jī)系統(tǒng)處執(zhí)行。術(shù)語上下文數(shù)據(jù)還可包括關(guān)于每個術(shù)語何時被表達(dá)的時戳，但是為了進(jìn)一步保護(hù)匿名性，所傳送的版本可包括術(shù)語的各次表達(dá)之間的間隔長度。術(shù)語上下文數(shù)據(jù)可包括的數(shù)據(jù)的其他示例是表達(dá)了術(shù)語的用戶的身份、在術(shù)語被表達(dá)時存在的其他用戶的身份、哪個應(yīng)用正在執(zhí)行、以及來自所存在的或與所存在的用戶相關(guān)聯(lián)的一個或多個用戶的用戶簡檔數(shù)據(jù)的人口統(tǒng)計(jì)數(shù)據(jù)。例如，用戶的朋友列表中的各用戶的人口統(tǒng)計(jì)數(shù)據(jù)可以是術(shù)語上下文數(shù)據(jù)的一部分。所傳送的術(shù)語上下文數(shù)據(jù)可以是未標(biāo)識出的人口統(tǒng)計(jì)數(shù)據(jù)，例如年齡分組、性別、 自己分配的游戲者類別和所玩的游戲等。在其他示例中，遠(yuǎn)程計(jì)算機(jī)系統(tǒng)可以與游戲服務(wù)或多媒體服務(wù)相關(guān)聯(lián)，并已具有對標(biāo)識出的用戶簡檔數(shù)據(jù)的訪問權(quán)。這個遠(yuǎn)程服務(wù)計(jì)算機(jī)系統(tǒng)可執(zhí)行所描述的動作中的一些，尤其可執(zhí)行涉及在不同的地理位置處將廣告顯示或發(fā)送給用戶的那些動作。遠(yuǎn)程服務(wù)計(jì)算機(jī)系統(tǒng)還可以是與提供涉及營銷術(shù)語的廣告的第三方遠(yuǎn)程計(jì)算機(jī)系統(tǒng)的接口。將標(biāo)識出的廣告?zhèn)鬟f給一個或多個指定的用戶。在一些示例中，廣告被顯示在正在執(zhí)行的多媒體應(yīng)用的上下文中。例如，用戶正在其住宅處與其他用戶玩游戲。這個位置可通過該用戶的用戶簡檔文件中的聯(lián)系數(shù)據(jù)以及該用戶簡檔數(shù)據(jù)中該用戶的計(jì)算機(jī)系統(tǒng)的IP地址來確定。用戶可能已說了營銷術(shù)語“比薩餅”，并且在游戲的相同會話中，本地比薩餅店的廣告出現(xiàn)在他們正在玩的游戲的場景中的告示牌中。在其他示例中，可以將廣告經(jīng)由其他形式的通信在正執(zhí)行的程序外部傳遞給一個或多個指定的用戶。例如，正在用戶的本地計(jì)算機(jī)或者游戲服務(wù)的服務(wù)器上執(zhí)行的廣告應(yīng)用可向用戶的朋友列表中的一個或多個用戶發(fā)送電子郵件，從而對游戲會話期間討論的書的降價進(jìn)行廣告。圖1提供了當(dāng)前技術(shù)在其中可能有用的上下文示例。圖1示出了目標(biāo)識別、分析和跟蹤系統(tǒng)的示例實(shí)施例。目標(biāo)識別、分析和跟蹤系統(tǒng)10可用來識別、分析和/或跟蹤諸如用戶18等的人類目標(biāo)。目標(biāo)識別、分析和跟蹤系統(tǒng)10的各實(shí)施例包括用于執(zhí)行游戲或其他多媒體應(yīng)用的計(jì)算環(huán)境12，以及用于從游戲或其他多媒體應(yīng)用提供音頻和視覺表示的視聽設(shè)備16。系統(tǒng)10還包括用于在三個維度(3D)中捕捉位置和用戶執(zhí)行的移動的捕捉設(shè)備20，計(jì)算環(huán)境12接收、翻譯并使用這些位置和移動來控制游戲或其他應(yīng)用。計(jì)算環(huán)境12的實(shí)施例可以包括硬件組件和/或軟件組件，使得計(jì)算系統(tǒng)12可以用于執(zhí)行諸如游戲應(yīng)用程序和非游戲應(yīng)用程序之類的應(yīng)用程序。在一個實(shí)施例中，計(jì)算環(huán)境12可以包括諸如標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等之類的處理器，該處理器可以執(zhí)行存儲在處理器可讀存儲設(shè)備上的用于執(zhí)行在此所述的過程的指令。系統(tǒng)10還包括一個或多個捕捉設(shè)備20，用于捕捉與一個或多個用戶有關(guān)的圖像數(shù)據(jù)和/或由捕捉設(shè)備感測到的對象。在各實(shí)施例中，捕捉設(shè)備20可以用于捕捉與一個或多個用戶的移動和姿勢相關(guān)的信息，所述信息被計(jì)算環(huán)境接收并且用于呈現(xiàn)游戲或其他多媒體應(yīng)用的各方面、與所述各方面交互和/或控制所述各方面。下面更詳細(xì)地解釋計(jì)算環(huán)境12和捕捉設(shè)備20的示例。目標(biāo)識別、分析和跟蹤系統(tǒng)10的實(shí)施例可以連接到具有顯示器14的視聽設(shè)備16。 設(shè)備16例如可以是可向用戶提供游戲或應(yīng)用程序視覺和/或音頻的電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等。例如，計(jì)算環(huán)境12可以包括諸如圖形卡之類的視頻適配器和/或諸如聲卡之類的音頻適配器，這些適配器可提供與游戲或其他多媒體應(yīng)用相關(guān)聯(lián)的視聽信號。視聽設(shè)備16可從計(jì)算環(huán)境12接收視聽信號，然后可向用戶18輸出與這些視聽信號相關(guān)聯(lián)的游戲或多媒體應(yīng)用視覺和/或音頻。根據(jù)一個實(shí)施例，視聽設(shè)備16可經(jīng)由例如，S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜、分量視頻電纜、顯示端口兼容電纜等連接至計(jì)算環(huán)境12。在一示例實(shí)施例中，在計(jì)算環(huán)境12上執(zhí)行的應(yīng)用可以是具有實(shí)時交互的游戲，諸如用戶18可能正在玩的拳擊游戲。例如，計(jì)算環(huán)境12可使用視聽設(shè)備16來向用戶18提供拳擊對手22的視覺表示。計(jì)算環(huán)境12還可使用視聽設(shè)備16來提供用戶18可通過他的或她的移動來控制的玩家化身M的視覺表示。例如，用戶18可在物理空間中揮拳猛擊，這使得玩家化身M在游戲空間中揮拳猛擊。由此，根據(jù)一示例實(shí)施例，捕捉設(shè)備20使用此處描述的技術(shù)來捕捉物理空間中重拳的3D表示。捕捉設(shè)備20中的處理器(參見圖2A)和目標(biāo)識別、分析和跟蹤系統(tǒng)10的計(jì)算環(huán)境12可用于識別并分析用戶18在物理空間中的重拳， 從而使得該重拳可被實(shí)時地翻譯成對游戲空間中的玩家化身M的姿勢或游戲控制?？稍谝暵犜O(shè)備16上顯示的多媒體內(nèi)容可以包括從諸如內(nèi)容提供方、寬帶、衛(wèi)星和有線電視公司、廣告代理、因特網(wǎng)或來自web服務(wù)器的視頻流之類的媒體內(nèi)容源接收的任何類型的音頻、視頻和/或圖像媒體內(nèi)容。如此處所描述的那樣，多媒體內(nèi)容可包括錄制的視頻內(nèi)容、視頻點(diǎn)播內(nèi)容、電視內(nèi)容、電視節(jié)目、公告、廣告片、音樂、電影、視頻剪輯，及其他點(diǎn)播媒體內(nèi)容。其他多媒體內(nèi)容可包括交互式游戲、基于網(wǎng)絡(luò)的應(yīng)用，以及任何其他內(nèi)容或數(shù)據(jù)(例如，包括節(jié)目指南應(yīng)用數(shù)據(jù)、用戶界面數(shù)據(jù)、廣告內(nèi)容、隱藏字幕、內(nèi)容元數(shù)據(jù)、搜索結(jié)果和/或推薦等等)。在以下各附圖中，引用了某些模塊、數(shù)據(jù)存儲等。類似地，對于模塊、例程、特征、屬性、方法和其他方面的具體命名和劃分并非是強(qiáng)制性的，且實(shí)現(xiàn)本技術(shù)或其特征的機(jī)制可具有不同的名稱、劃分和/或格式。圖2A示出了捕捉設(shè)備20和計(jì)算設(shè)備12的一個實(shí)施例，它們可以在目標(biāo)識別、分析和跟蹤系統(tǒng)10中使用，以便識別捕捉區(qū)域中的人類或非人類目標(biāo)，并在三維空間中唯一地標(biāo)識及跟蹤這些目標(biāo)。根據(jù)一個實(shí)施例，捕捉設(shè)備20可被配置成經(jīng)由任何合適的技術(shù)， 包括例如飛行時間、結(jié)構(gòu)化光、立體圖像等來捕捉具有深度信息的視頻，該深度信息包括可以包括深度值的深度圖像。根據(jù)一個實(shí)施例，捕捉設(shè)備20可將所計(jì)算的深度信息組織為“Z 層”或可垂直于從深度相機(jī)沿其視線延伸的Z軸的層。如圖2A所示，捕捉設(shè)備20可包括圖像相機(jī)組件22。根據(jù)一個實(shí)施例，圖像相機(jī)組件22可以是可捕捉場景的深度圖像的深度相機(jī)。深度圖像可包括所捕捉的場景的二維 (2-D)像素區(qū)域，其中2-D像素區(qū)域中的每個像素都可以表示深度值，比如所捕捉的場景中的物體與相機(jī)相距的例如以厘米、毫米等為單位的距離。如圖2A所示，圖像相機(jī)組件22可包括可用來對捕捉區(qū)域的深度圖像進(jìn)行捕捉的頂光組件對、三維(3-D)相機(jī)沈、以及RGB相機(jī)觀。例如，在飛行時間分析中，捕捉設(shè)備20 的頂光組件M可以將紅外光發(fā)射到捕捉區(qū)域上，然后可以使用傳感器，用例如3-D相機(jī)沈和/或RGB相機(jī)觀來檢測從捕捉區(qū)域中的一個或多個目標(biāo)和對象的表面反向散射的光。在某些實(shí)施例中，可以使用脈沖式紅外光從而可以測量出射光脈沖和相應(yīng)的入射光脈沖之間的時間差并將其用于確定從捕捉設(shè)備20到捕捉區(qū)域中的目標(biāo)或?qū)ο笊系奶囟ㄎ恢玫奈锢砭嚯x。此外，可將出射光波的相位與入射光波的相位進(jìn)行比較來確定相移。然后可以使用該相移來確定從捕捉設(shè)備到目標(biāo)或物體上的特定位置的物理距離。根據(jù)一個實(shí)施例，可使用飛行時間分析，通過經(jīng)由包括例如快門式光脈沖成像的各種技術(shù)來分析反射光束隨時間的強(qiáng)度變化以間接地確定從捕捉設(shè)備20到目標(biāo)或?qū)ο笊系奶囟ㄎ恢玫奈锢砭嚯x。在另一示例中，捕捉設(shè)備20可使用結(jié)構(gòu)化光來捕捉深度信息。在該分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案或條紋圖案等已知圖案的光)可經(jīng)由例如頂光組件M 被投影到捕捉區(qū)域上。在撞擊到捕捉區(qū)域中的一個或多個目標(biāo)或?qū)ο蟮谋砻鏁r，作為響應(yīng)， 圖案可變形。圖案的這種變形可由例如3-D相機(jī)沈和/或RGB相機(jī)觀來捕捉，然后可被分析來確定從捕捉設(shè)備到目標(biāo)或物體上的特定位置的物理距離。根據(jù)一個實(shí)施例，捕捉設(shè)備20可包括可以從不同的角度觀察捕捉區(qū)域的兩個或更多個在物理上分離的相機(jī)，以獲取可以被解析以生成深度信息的視覺立體數(shù)據(jù)。也可使用其他類型的深度圖像傳感器來創(chuàng)建深度圖像。捕捉設(shè)備20還可包括話筒40。話筒40可包括可接收聲音并將其轉(zhuǎn)換成電信號的換能器或傳感器。根據(jù)一個實(shí)施例，話筒40可用于減少目標(biāo)識別、分析和跟蹤系統(tǒng)10中的捕捉設(shè)備20與計(jì)算系統(tǒng)12之間的反饋。另外，話筒40可用于接收由用戶提供的音頻信號。音頻信號可包括含一個或多個營銷術(shù)語的口頭語言。音頻信號還可包括用于控制計(jì)算系統(tǒng)12可執(zhí)行的諸如游戲應(yīng)用或非游戲應(yīng)用等應(yīng)用452的命令。
在一個實(shí)施例中，捕捉設(shè)備20還可以包括可與圖像相機(jī)組件22進(jìn)行可操作的通信的處理器32。處理器32可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專用處理器、微處理器等，這些指令可包括用于存儲簡檔的指令、用于接收深度圖像的指令、用于確定合適的目標(biāo)是否被包括在深度圖像中的指令、用于將合適的目標(biāo)轉(zhuǎn)換成該目標(biāo)的骨架表示或模型的指令、或任何其他合適的指令。捕捉設(shè)備20還可包括存儲器組件34，存儲器組件34可存儲可由處理器32執(zhí)行的指令、由3-D相機(jī)或RGB相機(jī)所捕捉的圖像或圖像的幀、用戶簡檔、或任何其他合適的信息、 圖像等等。根據(jù)一個示例，存儲器組件；34可包括隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、 高速緩存、閃存、硬盤或任何其他合適的存儲組件。如圖2A所示，存儲器組件34可以是與圖像捕捉組件32和處理器32進(jìn)行通信的單獨(dú)的組件。在另一實(shí)施例中，存儲器組件34可被集成到處理器32和/或圖像捕捉組件22中。在一個實(shí)施例中，圖2A所示的捕捉設(shè)備20 的組件22、24J6、28、40、32和34中的部分或全部被容納在單個外殼中。如以下進(jìn)一步描述地，存儲器34還可包括可與在計(jì)算系統(tǒng)12中執(zhí)行的用于進(jìn)行深度圖像處理和骨骼模型跟蹤的軟件450 —起工作的軟件450的版本。捕捉設(shè)備20可以經(jīng)由通信鏈路36與計(jì)算系統(tǒng)12進(jìn)行通信。通信鏈路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線802. lib、 802. llg、802. Ila或802. Iln連接等的無線連接。計(jì)算系統(tǒng)12可以經(jīng)由通信鏈路36向捕捉設(shè)備20提供時鐘，該時鐘可以用來確定何時捕捉例如場景。捕捉設(shè)備20可經(jīng)由通信鏈路36來向計(jì)算設(shè)備12提供由例如3_D(或深度)相機(jī)沈和/或RGB相機(jī)觀捕捉的深度信息和圖像，包括可由捕捉設(shè)備20生成的骨架模型。如此處所使用地，計(jì)算系統(tǒng)12可以指單個計(jì)算設(shè)備或者指多于一個計(jì)算設(shè)備的計(jì)算系統(tǒng)。計(jì)算系統(tǒng)12也可包括非計(jì)算的組件。深度圖像處理和骨架跟蹤模塊450使用深度圖像來跟蹤可通過深度設(shè)備20的深度相機(jī)功能檢測到的一個或多個人。深度圖像處理和骨架跟蹤模塊450向應(yīng)用452提供跟蹤信息，該應(yīng)用可以是視頻游戲、生產(chǎn)性應(yīng)用、通信應(yīng)用或其他軟件應(yīng)用等。音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)也被提供給應(yīng)用452和深度圖像處理和骨架跟蹤模塊450。應(yīng)用452將跟蹤信息、音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)提供給姿勢識別器引擎454。在另一實(shí)施例中，識別器引擎 454從深度圖像處理和骨架跟蹤模塊450直接接收跟蹤信息，并從捕捉設(shè)備20直接接收音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)。姿勢識別引擎妨4與各自包括關(guān)于姿勢的信息的過濾器456的集合相關(guān)聯(lián)，該姿勢是可被捕捉設(shè)備20檢測到的任何人或?qū)ο笏鶊?zhí)行的動作或姿態(tài)。姿勢可以是動態(tài)的，包括運(yùn)動，如模仿投球。姿勢可以是靜態(tài)姿態(tài)，如在一個人的軀干前面交叉握住他的前臂。姿勢也可結(jié)合道具，如通過揮動仿制的劍。姿勢可包括多于一個身體部位，如拍雙手，或是較微小的運(yùn)動，如撅起一個人的嘴唇。具體而言，姿勢也可以是表達(dá)語言，尤其是表達(dá)營銷術(shù)語，的動作或姿態(tài)。姿勢可用于控制應(yīng)用的動作或執(zhí)行。姿勢可用于一般計(jì)算上下文中的輸入。例如，手或其他身體部位的各種運(yùn)動可對應(yīng)于常見的系統(tǒng)級任務(wù)，如在分層菜單結(jié)構(gòu)中向上或向下導(dǎo)航、在菜單列表中滾動項(xiàng)目、打開文件、關(guān)閉文件和保存文件。姿勢也可在視頻游戲?qū)Ｓ蒙舷挛闹腥Q于游戲來使用。例如，對于駕駛游戲，手和腳的各種運(yùn)動可對應(yīng)于在一方向上操控車輛、換擋、加速和剎車。姿勢可以與一組默認(rèn)參數(shù)相關(guān)聯(lián)，應(yīng)用或操作系統(tǒng)可用其自己的參數(shù)來覆蓋該組默認(rèn)參數(shù)。在這一場景中，不迫使應(yīng)用提供參數(shù)，而是應(yīng)用可改為使用一組允許在沒有應(yīng)用定義的參數(shù)的情況下識別姿勢的默認(rèn)參數(shù)。例如，來自捕捉設(shè)備20的數(shù)據(jù)可被過濾器456處理，以便標(biāo)識一個用戶或一組用戶何時執(zhí)行了一個或多個姿勢或其他動作。這些姿勢可與應(yīng)用452的各種控制、對象或狀況相關(guān)聯(lián)。因此，計(jì)算系統(tǒng)12可以將識別器引擎妨4和過濾器456 —起用于跟蹤和翻譯對象(包括人)的移動。另外，應(yīng)用還可經(jīng)由與姿勢識別引擎454的接口來實(shí)現(xiàn)它自己的附加過濾器。過濾器456可包括表達(dá)營銷術(shù)語的姿勢，例如手語的符號、文化上下文的身體姿勢或所定義的動作，它們可例如在喝飲料的示例中被檢測為表達(dá)營銷術(shù)語的姿勢。文化上下文姿勢的一示例是將手放在嘴邊，手的位置是好像(但并非實(shí)際地)拿著喝飲料的容器 (例如，杯子、玻璃杯、罐子、瓶子等)并且手相對于嘴來回移動了預(yù)定的次數(shù)。在圖2A的這個示例中，姿勢識別引擎4M可任選地包括手語翻譯器180，該手語翻譯器可用于識別手語 (例如美式手語(ASL))的符號姿勢。具有手語翻譯器180的引擎454的一實(shí)施例在圖2B 中描述如下。使用深度圖像來跟蹤骨架的一個合適的示例在Craig等人2009年10月21日提交的美國專利申請12/603，437 "Pose Tracking Pipeline (姿態(tài)跟蹤流水線)，，(以下稱為’ 437申請)中提供，該申請的全部內(nèi)容通過引用結(jié)合于此?！?37申請的過程包括獲得深度圖像；對數(shù)據(jù)進(jìn)行降采樣；移除和/或平滑化高方差噪聲數(shù)據(jù)；標(biāo)識并移除背景；以及將前景像素中的每個分配給身體的不同部位?；谶@些步驟，系統(tǒng)將使一模型擬合到該數(shù)據(jù)并創(chuàng)建骨架。該骨架將包括一組關(guān)節(jié)和這些關(guān)節(jié)之間的連接。也可使用用于跟蹤的其他方法。在下列四個美國專利申請中還公開了合適的跟蹤技術(shù)，所述專利的全部內(nèi)容都通過引用并入本文于2009年5月四日提交的美國專利申請12/475,308 "Device for Identifying and Tracking Multiple Humans Over Time (用于隨時間標(biāo)識和跟蹤多個人類的設(shè)備)”；于2010年1月29日提交的美國專利申請12/696,282 "Visual Based Identity Tracking(基于視覺的身份跟蹤)”；于2009年12月18日提交的美國專利申請 12/641, 788 "Motion Detection Using Depth Images (使用深度圖像的運(yùn)動檢測)”；以及于2009年10月7日提交的美國專利申請12/575，388 "Human Tracking System(人類跟蹤系統(tǒng))”。關(guān)于姿勢識別引擎4M的更多信息可以在2009年4月13日提交的美國專利申請 12/422，661 "Gesture Recognizer System Architecture (姿勢識別器系統(tǒng)架構(gòu))”中找至IJ，該申請通過整體引用合并于此。關(guān)于識別姿勢的更多信息可在2009年2月23日提交的美國專利申請12/391，150 "Standard Gestures (標(biāo)準(zhǔn)姿勢)”；以及2009年5月四日提交的美國專利申請12/474，655 "Gesture Tool (姿勢工具)”中找到。這兩個申請都通過整體引用合并于此?，F(xiàn)提供與用于識別姿勢的各實(shí)施例有關(guān)的更多細(xì)節(jié)目標(biāo)識別、分析、及跟蹤系統(tǒng) 10可確定深度圖像是否包括人類目標(biāo)。在一個實(shí)施例中，可例如通過深度圖像處理和骨架跟蹤450來確定深度圖像的所捕捉的場景中的諸如人類目標(biāo)和非人類目標(biāo)等每一目標(biāo)的邊。在其他實(shí)施例中，可任選地將深度圖像處理和骨架跟蹤任務(wù)中的一些與在處理器32上執(zhí)行的軟件450共享。如上所述，深度值中的每一個能以例如厘米、毫米等為單位來表示諸如所捕捉的場景中的物體距捕捉設(shè)備20的長度和距離等深度值。根據(jù)一示例實(shí)施例，邊可以通過將與例如深度圖像中的相鄰或鄰近的像素相關(guān)聯(lián)的各種深度值進(jìn)行比較來確定。如果正被比較的各種深度值大于預(yù)定邊容差，則這些像素可定義一條邊。根據(jù)另一實(shí)施例，深度圖像上的預(yù)定點(diǎn)或區(qū)域可被進(jìn)行泛色填充(flood fill)來判定該深度圖像是否包括人類目標(biāo)。例如，可以如上文所描述的那樣將深度圖像的選定區(qū)域或點(diǎn)中的像素的各種深度值進(jìn)行比較，以確定可以定義目標(biāo)或?qū)ο蟮倪吘?。在一示例?shí)施例中，預(yù)定點(diǎn)或區(qū)域可均勻地分布在深度圖像上。例如，預(yù)定點(diǎn)或區(qū)域可包括深度圖像中心的點(diǎn)或區(qū)域、深度圖像的左側(cè)邊與中心之間的兩個點(diǎn)或區(qū)域、深度圖像的右側(cè)邊與中心之間的兩個點(diǎn)或區(qū)域，等等?？苫谒_定的邊來對Z層的Z值進(jìn)行泛色填充。例如，與所確定的邊相關(guān)聯(lián)的像素以及該所確定的邊內(nèi)的區(qū)域的像素可互相關(guān)聯(lián)來定義可與模式進(jìn)行比較的捕捉區(qū)域中的目標(biāo)或?qū)ο?。根?jù)一示例實(shí)施例，經(jīng)泛色填充的目標(biāo)(人類和非人類)中的每一個可與一模式進(jìn)行匹配來確定捕捉區(qū)域中的目標(biāo)是否包括和/或哪一目標(biāo)包括人類。該圖案可包括例如與各種位置或姿態(tài)(諸如手臂在兩側(cè)的典型站立姿態(tài))中的人類相關(guān)聯(lián)的預(yù)定身體模型的機(jī)器表不O在一示例實(shí)施例中，通過深度圖像處理和骨架跟蹤軟件450，可以隔離人類目標(biāo)并且可以創(chuàng)建人類目標(biāo)的位掩模來掃描一個或多個身體部位。例如，當(dāng)在深度圖像中找到有效的人類目標(biāo)后，該深度圖像中與該人類目標(biāo)不匹配的背景或區(qū)域可被移除。然后可為人類目標(biāo)生成位掩模，該位掩?？砂ㄔ撊祟惸繕?biāo)沿著例如X、Y和Z軸的值。根據(jù)一示例實(shí)施例，可從例如頭部開始來對人類目標(biāo)的位掩碼掃描各個身體部位，以生成該人類目標(biāo)的模型。位掩膜的頂部可以與頭的頂部的位置相關(guān)聯(lián)。在確定了頭的頂部之后，可以向下掃描該位掩模來隨后確定頸的位置、肩的位置等等。深度圖或深度圖像數(shù)據(jù)可被更新以包括一像素與模型中的特定虛擬身體部位相關(guān)聯(lián)的概率。根據(jù)一個實(shí)施例，在確定身體部位的值后，可以創(chuàng)建可包括諸如與人類目標(biāo)的位掩模相關(guān)聯(lián)的身體部位的長度、寬度等的度量值的數(shù)據(jù)結(jié)構(gòu)。在一個實(shí)施例中，用于身體部位的數(shù)據(jù)結(jié)構(gòu)可包括對捕捉系統(tǒng)20以某一幀率在各幀中捕捉的多個深度圖像求平均的結(jié)果。該模型能以某一數(shù)量的幀來迭代地調(diào)整。根據(jù)另一實(shí)施例，可調(diào)整所確定的身體部位的度量值，如放大、縮小等，使得數(shù)據(jù)結(jié)構(gòu)中的度量值更接近地對應(yīng)于典型的人類身體模型。身體模型可包含任何數(shù)量的身體部位，其每一個都可以是所建模的目標(biāo)的對應(yīng)部分的任何機(jī)器可理解表示。圖9A描繪了用戶的可從捕捉設(shè)備20按以上描述的方式捕捉到的圖像數(shù)據(jù)生成的示例骨架映射。在該示例中，標(biāo)識各種關(guān)節(jié)和骨骼每一手402、每一前臂404、每一肘406、 每一二頭肌408、每一肩410、每一髖412、每一大腿414、每一膝416、每一小腿418、每一足 420、頭422、軀干424、脊椎的頂部似6和底部428，以及腰430。在跟蹤更多點(diǎn)的情況下，可標(biāo)識出附加的特征，比如手指或腳趾的骨骼和關(guān)節(jié)，或面部的各個特征，如鼻和眼。在包括兩個或更多個身體部位的模型示例中，該模型的每一身體部位可包括一個或多個結(jié)構(gòu)件(即，“骨骼”)，且關(guān)節(jié)位于相鄰骨骼的交叉點(diǎn)處。例如，可使用由位掩模確定的度量值來定義骨架模型中的一個或多個關(guān)節(jié)?？梢允褂靡粋€或多個關(guān)節(jié)來定義可以對應(yīng)于人類的身體部位的一個或多個骨骼。每一關(guān)節(jié)可允許一個或多個身體部位相對于一個或多個其他身體部位移動。例如，表示人類目標(biāo)的模型可包括多個剛性和/或可變形身體部位，其中某些身體部位可表示人類目標(biāo)的對應(yīng)的解剖學(xué)身體部位。每個身體部位可被表征為定義骨架模型的關(guān)節(jié)和骨骼的數(shù)學(xué)向量?？梢岳斫?，某些骨骼可對應(yīng)于人類目標(biāo)中的解剖學(xué)骨骼，和/或某些骨骼在人類目標(biāo)中可能不具有對應(yīng)的解剖學(xué)骨骼。隨著捕捉系統(tǒng)20捕捉到用戶在物理空間中移動，所得結(jié)果圖像數(shù)據(jù)可被用來調(diào)整骨架模型，使得骨架模型可以準(zhǔn)確地表示該用戶。根據(jù)一示例實(shí)施例，該模型可被深度圖像處理軟件450光柵化成合成深度圖像。光柵化允許由數(shù)學(xué)向量、多邊形網(wǎng)格或其他對象描述的模型被轉(zhuǎn)換成按照像素來描述的合成深度圖像。捕捉系統(tǒng)所檢索的目標(biāo)的所觀察到的圖像與模型的光柵化(即，合成)圖像之間的差別可用于確定施加于該模型以將身體調(diào)整到不同的姿態(tài)的力向量。在一個實(shí)施例中，可向該模型的一個或多個受力方面施加一個或多個力向量，來將該模型調(diào)整成更接近地對應(yīng)于目標(biāo)在捕捉區(qū)域的物理空間中的姿態(tài)的姿態(tài)。在捕捉各幀時，該模型可被迭代地調(diào)整。取決于所使用的模型的類型，可向模型的關(guān)節(jié)、身體部位的質(zhì)心、三角形的頂點(diǎn)、或任何其他合適的受力方面施加力向量。此外，在某些實(shí)施例中，在確定力的方向和/或大小時可使用兩個或更多個不同的計(jì)算。在用于捕捉用戶的自然移動的一個或多個實(shí)施例中，捕捉設(shè)備20將用于運(yùn)動跟蹤的數(shù)據(jù)重復(fù)地發(fā)送至計(jì)算系統(tǒng)12。運(yùn)動跟蹤數(shù)據(jù)可包括以某種形式的骨架模型為基準(zhǔn)的、用來示出移動改變的數(shù)據(jù)，諸如與不同的關(guān)節(jié)、質(zhì)心或節(jié)點(diǎn)有關(guān)的矢量。該數(shù)據(jù)可以涉及從光柵化矢量數(shù)據(jù)創(chuàng)建的綜合像素數(shù)據(jù)表示。該數(shù)據(jù)還可包括在每一次更新時進(jìn)行比較以檢測哪些身體部位正在移動的用戶位掩碼。每一個身體部位被索引因此該身體部位可被標(biāo)識出，捕捉區(qū)域的其他部分(諸如，起居室內(nèi)的家具)被標(biāo)識成背景，并且用戶被索引因此可以將他們的各個身體部位的機(jī)器可表示數(shù)據(jù)與他們相關(guān)。深度圖像處理和骨架跟蹤450可使用索引來向姿勢識別引擎妨4標(biāo)識出在各次更新之間哪些身體部位已改變了姿勢。對于不同的身體部位，存在引擎妨4可應(yīng)用的相關(guān)聯(lián)的姿勢過濾器456。過濾器456可包括可識別姿勢或以其他方式處理深度、RGB或骨架數(shù)據(jù)的代碼和相關(guān)聯(lián)的數(shù)據(jù)。例如，過濾器代碼指令可在確定姿勢的參數(shù)準(zhǔn)則是否令人滿意時處理深度值、或關(guān)于骨架數(shù)據(jù)的矢量、或顏色圖像數(shù)據(jù)或這些數(shù)據(jù)中的兩個或多個的組合。 換言之，姿勢過濾器456包括用于確定更新或一系列更新中指示的移動是否表示姿勢的指令，該姿勢可以是移動本身或是結(jié)果姿態(tài)。營銷術(shù)語可以與不同的姿勢相關(guān)聯(lián)，因此廣告應(yīng)用198從姿勢識別引擎妨4接收消息，或者在某些情況下當(dāng)已經(jīng)表達(dá)了營銷術(shù)語的姿勢因此應(yīng)用198能夠基于通知來更新包括計(jì)數(shù)的術(shù)語上下文數(shù)據(jù)時，廣告應(yīng)用198從應(yīng)用452接收消息。應(yīng)用198可從引擎454 接收姿勢發(fā)生的置信度水平，并可決定是否基于該置信度水平來更新計(jì)數(shù)。在一個實(shí)施例中，姿勢過濾器456執(zhí)行將涉及姿勢的一個或多個身體部位的運(yùn)動跟蹤數(shù)據(jù)與包括和定義該姿勢的運(yùn)動特性有關(guān)的準(zhǔn)則的各參數(shù)進(jìn)行比較的指令。過濾器不需要具有參數(shù)。例如，返回用戶的高度的“用戶高度”過濾器可能不允許可被調(diào)節(jié)的任何參數(shù)。替代的“用戶高度”過濾器可具有可調(diào)節(jié)參數(shù)——諸如，在確定用戶的高度時是否考慮用戶的鞋、發(fā)型、頭飾以及體態(tài)。運(yùn)動特性的一些示例包括一個或多個身體部位的位置、形狀、角度、速度和加速度變化，以及包括配置、定向、位置和移動。例如，投擲可被實(shí)現(xiàn)為如下姿勢，該姿勢包括表示用戶的一個手從身體的背部后面經(jīng)過身體的前面的移動的信息，因?yàn)樵撘苿涌捎缮疃认鄼C(jī)來捕捉。“投擲”的參數(shù)的一些示例可以是手必須達(dá)到的閾值速度、手必須行進(jìn)的距離(絕對距離或者作為整體相對于用戶的大小的距離)、以及手從身體的后面經(jīng)過該身體的前面的移動的方向?？蓪?shù)作為其對應(yīng)的姿勢的元數(shù)據(jù)來存儲。參數(shù)可包括姿勢的各種運(yùn)動特性中的任何一個。在過濾器包括參數(shù)的情況下，參數(shù)值可采取不同的形式，例如，參數(shù)可以是閾值、絕對值、默認(rèn)的容限或范圍?？捎蓞?shù)來表示的運(yùn)動特性的一些更多的示例如下姿勢涉及的身體部位、運(yùn)動相對于身體部位的角度、關(guān)節(jié)、如由用戶的骨架模型所表示的該用戶的身體的其他身體部位或者重心、身體部位或整個身體的位置的改變，以及身體部位或整個身體移動的距離。 另外，特性的其他示例包括圍繞用戶身體的身體部位在其中移動的空間體的位置、移動的方向、身體部位的移動的速度，移動發(fā)生的場所，身體部位與場景中的其他對象間的角度， 加速度閾值，姿勢的時間段，姿勢的特定時間、釋放點(diǎn)、閾值角度(例如，髖部-腿部角、前臂-二頭肌角等)、一定數(shù)量的運(yùn)動發(fā)生或沒有發(fā)生的時間段、閾值時間段、閾值位置(開始、結(jié)束)、方向移動、速度、加速度、移動的坐標(biāo)等。在一實(shí)施例中，用戶還使用他的語音來作出、增加、區(qū)分或闡明姿勢。輸入數(shù)據(jù)可以在就姿勢涉及的一個或多個身體部位的前一位置數(shù)據(jù)組而言位置、 速度、移動方向、關(guān)節(jié)角度等發(fā)生改變時被呈現(xiàn)。姿勢識別引擎妨4可實(shí)現(xiàn)跟蹤所識別的姿勢和其他輸入的隨時間輸入(input-over-time)存檔、隱馬爾可夫模型實(shí)現(xiàn)(其中所建模系統(tǒng)被假定為具有未知參數(shù)的馬爾可夫過程(即當(dāng)前狀態(tài)封裝了確定將來狀態(tài)所需的任何過去狀態(tài)信息，因此不必為此目的而維護(hù)任何其它過去狀態(tài)信息的過程)，并且隱藏參數(shù)是從觀察到的數(shù)據(jù)中確定的)、以及解決姿勢識別的特定實(shí)例所需的其他功能。存在可以與姿勢相關(guān)聯(lián)的各種輸出。可以存在關(guān)于姿勢是否正在發(fā)生的基線“是或否”。還可以存在置信度水平，其對應(yīng)于用戶的跟蹤的移動對應(yīng)于姿勢的可能性?？梢员磉_(dá)營銷術(shù)語的特定類型的姿勢是手語的符號。圖2B示出了可操作該技術(shù)的各實(shí)施例的包括手語翻譯器180的姿勢識別引擎454的一個實(shí)施例。圖2B中所示出的是姿勢識別引擎妨4的一實(shí)施例，該姿勢識別引擎包括手語翻譯器180。在一個實(shí)施例中，姿勢識別引擎妨4可包括例如骨架提取組件192、運(yùn)動跟蹤器196、 注冊組件194、面部分類器198、和手分類器199以及姿勢過濾器456。骨架提取組件192具有以上所討論的功能和/或根據(jù)通過整體引用結(jié)合在此的2009年5月四日提交的Mathe 等人的美國專利申請 12/475094 “Environment and/or Target Pigmentation(環(huán)境和 / 或目標(biāo)分割)”來描述的功能，以便提取并定義骨架系統(tǒng)來跟蹤用戶運(yùn)動。骨架系統(tǒng)的示例如圖9A-9D所示。在一個實(shí)施例中，運(yùn)動跟蹤器組件196結(jié)合‘437申請的公開一起操作， 以跟蹤所檢測到的骨架在場景內(nèi)的運(yùn)動。通過應(yīng)用姿勢過濾器456將運(yùn)動和姿勢分量轉(zhuǎn)換成姿勢，且所識別的姿勢是對照已知符號(包括營銷術(shù)語的那些符號)的詞匯庫來進(jìn)行匹配的。姿勢分量包括但不限于手相對于用戶的身體和其他手的形狀和配置；手指相對于用戶的手、其他手指和身體的形狀和配置；手和手指的定向(例如，向上、向下、橫向)；手、手指、手臂和頭相對于其他手、手指、手臂和身體位置的移動(例如，交叉在胸前、垂放在側(cè)邊等)，該移動包括移動的開始和結(jié)束位置。
注冊組件194同步由捕捉設(shè)備20中的組件24J6、28、40提供的信息。來自捕捉設(shè)備的信息可如上所述包括深度和圖像信息。注冊組件194同步此信息以例如根據(jù)以上關(guān)于圖2A的討論來檢測姿勢移動。對于圖2B的實(shí)施例，捕捉設(shè)備20的相機(jī)分辨率能夠區(qū)分各個手指的移動。
面部分類器198和手分類器199檢測用戶的手和面部、手和手指的形狀的細(xì)粒度改變，還檢測配置、定向、定位和移動，如以下所述所有這些都可影響對姿勢的翻譯。對面部表情和手的各個手指移動的檢測可與將姿勢翻譯成符號有關(guān)。面部分類器198和手分類器199結(jié)合骨架提取組件192和運(yùn)動跟蹤器196 —起工作。在一些實(shí)施例中，面部分類器 198可以是面部識別引擎代碼492的一部分，該面部識別引擎代碼結(jié)合姿勢識別引擎代碼 454 一起工作。骨架提供組件192和運(yùn)動跟蹤器196向面部分類器198和手分類器199通知手和面部在場景中所處的位置，使得手分類器和面部分類器不用自己擔(dān)負(fù)確定這個的負(fù)擔(dān)。骨架提取組件192還唯一地標(biāo)識每一個用戶，使得每一個用戶的手語會話可被獨(dú)立地足艮S宗。
在捕捉設(shè)備20的分辨率足以提供對手或面部的模型的跟蹤的情況下，面部分類器198和手分類器199基于面部和手的將信息添加到詞匯/語法匹配器195的匹配算法中的運(yùn)動來確定用戶的面部和手的位置，這兩個分類器都基于捕捉設(shè)備20提供的信息來檢測場景中的用戶18以便提供手語輸出188。詞匯/語法匹配器195可包括詞匯詞典193、用戶數(shù)據(jù)186和語法庫185。在檢測到姿勢時，信息被填充到詞匯/語法匹配器195中，詞匯 /語法匹配器查閱詞典193并將檢測到的運(yùn)動與存儲在詞典中的運(yùn)動進(jìn)行比較來確定用戶所提供的特定符號的含義。詞匯詞典193包括營銷術(shù)語的符號。另外，將分配給姿勢的符號與語法庫185和用戶數(shù)據(jù)186進(jìn)行比較以驗(yàn)證符號到姿勢的分配的準(zhǔn)確性。語法庫185 包含關(guān)于任何符號鑒于在前符號和在后符號是否有意義的信息。用戶數(shù)據(jù)186包含用戶專用人口統(tǒng)計(jì)和用于根據(jù)特定的已知用戶信息來確定符號是否有意義的其他用戶專用信息。
圖9B示出了結(jié)合對由手和手臂作出的符號的分類來使用的更精細(xì)粒度的跟蹤模型。在圖9B的左手側(cè)示出了用戶執(zhí)行“付款”的姿勢?！案犊睢笨梢允怯糜谪攧?wù)服務(wù)產(chǎn)品 (如在線支付服務(wù)(例如，I^ayPal )以及信號卡和借記卡提供的服務(wù)等)的營銷術(shù)語。相應(yīng)的跟蹤模型470被示為鄰近于所描繪的用戶。圖9B中的模型比圖9A中示出的模型具有更高的分辨率。圖9B中的模型包括用戶的右臂上的用戶手480、手腕481和肘483，并包括左臂上的相應(yīng)構(gòu)件484-486。如此處所示出地，當(dāng)用戶沿著線519的示意移動手518時，至少點(diǎn)480 (從480a到480b)、481 (從481a到481b)和483 (從483a到483b)的相應(yīng)運(yùn)動被足艮S宗。
圖9C和9D示出了伴隨手的符號來使用的跟蹤模型。在圖9C中，模型可包括關(guān)于用戶的手的至少點(diǎn)8(Ma-8(Mm，以及手腕點(diǎn)808、肘806、前臂802、上臂809和肩膀810。圖 9D示出圖9C中的手模型804，以示出使用了美國手語(ASL)協(xié)議的字母“a”、“b”和“C”的姿勢。(為了清楚起見，在圖9D中忽略了附圖標(biāo)記。)
在2010年7月28日提交的、Tardif的美國專利申請12/794455"Machine Based Sign Language hterpreter (基于機(jī)器的手語翻譯器)”中提供了將姿勢翻譯成符號姿勢的一個合適的示例，該申請通過整體弓I用結(jié)合在此。
提供了用于基于實(shí)時現(xiàn)場語言表達(dá)的營銷術(shù)語來自動地生成廣告的技術(shù)的實(shí)施例。營銷術(shù)語可以是與產(chǎn)品或服務(wù)相關(guān)的一個或多個單詞。表示商品或服務(wù)的類別的通用術(shù)語(如肥皂、飲料、鞋、褲子、比薩餅、冰茶、項(xiàng)鏈等)可以是營銷術(shù)語。表示用戶的心理狀態(tài)或身體感覺狀態(tài)的術(shù)語(如渴或餓等)可以是營銷術(shù)語。其他營銷術(shù)語可以是著名商標(biāo)， 如Coke (可口可樂)、Mountain Dew (激浪)或特定電影或書的標(biāo)題等。
將營銷術(shù)語從數(shù)據(jù)存儲195下載至數(shù)據(jù)存儲190，為了便于在圖2A中描述的參考標(biāo)記，數(shù)據(jù)存儲190稱為營銷術(shù)語廣告數(shù)據(jù)存儲190，且同樣為了便于描述，數(shù)據(jù)存儲195稱為營銷術(shù)語廣告數(shù)據(jù)存儲195，營銷數(shù)據(jù)廣告數(shù)據(jù)存儲195由遠(yuǎn)程計(jì)算機(jī)系統(tǒng)208上執(zhí)行的廣告軟件應(yīng)用194來進(jìn)行更新，遠(yuǎn)程計(jì)算機(jī)系統(tǒng)208通過因特網(wǎng)或其他網(wǎng)絡(luò)50通信地耦合到計(jì)算系統(tǒng)12和其他計(jì)算系統(tǒng)213。數(shù)據(jù)存儲195可將每一個營銷術(shù)語與一個或多個廣告相關(guān)。例如，對于營銷術(shù)語“飲料”，可將針對各種軟飲料品牌的廣告與該術(shù)語相關(guān)。由計(jì)算系統(tǒng)12存儲的數(shù)據(jù)存儲190可反映或更可能地可包括與每一個營銷術(shù)語相關(guān)的各廣告的子集，并且或許還包括營銷術(shù)語的子集。數(shù)據(jù)存儲的實(shí)現(xiàn)示例是數(shù)據(jù)庫。
遠(yuǎn)程計(jì)算機(jī)系統(tǒng)上的廣告應(yīng)用194可基于存儲在人口統(tǒng)計(jì)數(shù)據(jù)存儲191中的人口統(tǒng)計(jì)數(shù)據(jù)將廣告與數(shù)據(jù)存儲195中的營銷術(shù)語相關(guān)。在一些實(shí)施例中，人口統(tǒng)計(jì)數(shù)據(jù)存儲 191是未標(biāo)識出的人口統(tǒng)計(jì)數(shù)據(jù)庫。在其他實(shí)施例中，遠(yuǎn)程計(jì)算機(jī)系統(tǒng)208對標(biāo)識出的用戶簡檔數(shù)據(jù)具有訪問權(quán)?？蓪⑷丝诮y(tǒng)計(jì)數(shù)據(jù)庫191與用戶簡檔數(shù)據(jù)中的標(biāo)識出的信息相關(guān)， 該用戶簡檔數(shù)據(jù)存儲在遠(yuǎn)程計(jì)算機(jī)系統(tǒng)208的存儲器中。例如，用戶簡檔可以是向游戲服務(wù)(如)(b0X Kinect 等)登記過的所有用戶的用戶簡檔。
廣告定制模塊196包括用于更新與檢測到的營銷術(shù)語的表達(dá)相關(guān)聯(lián)的一個或多個計(jì)數(shù)的軟件，在本示例中該軟件為廣告應(yīng)用198。一個或多個計(jì)數(shù)是每一個術(shù)語的術(shù)語上下文數(shù)據(jù)的一部分?？蓪⑿g(shù)語上下文數(shù)據(jù)中未標(biāo)識出的部分傳送至遠(yuǎn)程計(jì)算機(jī)系統(tǒng)208的廣告應(yīng)用194。傳送營銷術(shù)語的計(jì)數(shù)，以便不會違背用戶的隱私，因?yàn)樵撔g(shù)語并不存在于用戶作出的會話或語言的上下文中。該計(jì)數(shù)可以與多媒體應(yīng)用(諸如，游戲等)的執(zhí)行實(shí)例的時間段有關(guān)。術(shù)語上下文數(shù)據(jù)還可以包括在其執(zhí)行期間表達(dá)了術(shù)語的應(yīng)用的標(biāo)識符、在多媒體應(yīng)用(例如，游戲)的執(zhí)行的實(shí)例期間對術(shù)語作出的各次表達(dá)之間的一個或多個時間間隔、在線或者在音頻捕捉設(shè)備或視聽捕捉設(shè)備的鄰近存在哪些其他用戶、這些其他用戶的未標(biāo)識出的人口統(tǒng)計(jì)數(shù)據(jù)或者僅在術(shù)語被表達(dá)時該用戶是否是單獨(dú)的、以及在用戶表達(dá)術(shù)語時用戶的位置。例如，可通過用戶正在其上玩游戲的機(jī)器的IP地址來確定該用戶正在她的家用機(jī)器上玩游戲還是在朋友的家里玩游戲。
在一些實(shí)施例中，遠(yuǎn)程計(jì)算機(jī)系統(tǒng)208可以受提供廣告、進(jìn)行市場研究、或執(zhí)行兩者的第三方的控制?？蓪⑽礃?biāo)識出的術(shù)語上下文數(shù)據(jù)提供給這樣的第三方系統(tǒng)，該第三方系統(tǒng)可基于術(shù)語上下文數(shù)據(jù)中存在的未標(biāo)識出的用戶簡檔數(shù)據(jù)來標(biāo)識出要向已指定但尚未標(biāo)識出的用戶顯示的廣告。在其他實(shí)例中，例如作為將在線游戲服務(wù)直接提供給用戶或用戶已同意由游戲服務(wù)來使用他們的用戶簡檔數(shù)據(jù)的結(jié)果，遠(yuǎn)程計(jì)算機(jī)系統(tǒng)208可以受對用戶的標(biāo)識出信息的具有訪問權(quán)的游戲服務(wù)或其他內(nèi)容提供方的控制。除了直接生成廣告以外，在任一類型的遠(yuǎn)程計(jì)算機(jī)系統(tǒng)上的廣告應(yīng)用194還可基于術(shù)語上下文數(shù)據(jù)中的營銷術(shù)語計(jì)數(shù)和人口統(tǒng)計(jì)數(shù)據(jù)來生成營銷研究報告。
在一個或多個實(shí)施例中，捕捉設(shè)備20首先捕捉其視場內(nèi)的一個或多個用戶，然后向計(jì)算系統(tǒng)12提供捕捉到的一個或多個用戶的視覺圖像。計(jì)算設(shè)備12執(zhí)行對由捕捉設(shè)備 20捕捉到的用戶的標(biāo)識。在一個實(shí)施例中，計(jì)算設(shè)備12包括執(zhí)行對用戶的標(biāo)識的面部識別引擎492。面部識別引擎492可以將來自從捕捉設(shè)備20接收到的視覺圖像的用戶的面部與參考視覺圖像進(jìn)行相關(guān)以確定用戶的身份。在另一示例中，還可以通過從用戶接收標(biāo)識他們身份的輸入來確定用戶的身份。在一個實(shí)施例中，可以要求用戶通過站在計(jì)算系統(tǒng) 12之前來要求標(biāo)識他們自己，因此捕捉設(shè)備20可以捕捉每個用戶的深度圖像和視覺圖像。 例如，可以要求用戶站在捕捉設(shè)備20之前、轉(zhuǎn)身、并擺出各種姿態(tài)。在計(jì)算設(shè)備12獲得標(biāo)識用戶所必需的數(shù)據(jù)以后，向用戶提供標(biāo)識該用戶的唯一標(biāo)識符及口令。關(guān)于標(biāo)識用戶的更多信息可在美國專利申請序列號12/696，282“Visual Based Identity Tracking(基于視覺的身份跟蹤)”，以及美國專利申請序列號12/475，308“Device for Identifying and Tracking Multiple Humans over Time (用于隨時間標(biāo)識和跟蹤多個人類的設(shè)備)”中找到，這兩個申請的全部內(nèi)容通過引用并入本申請。在另一實(shí)施例中，在用戶登錄到計(jì)算設(shè)備 12中時，用戶的身份可能已經(jīng)被計(jì)算系統(tǒng)知曉。
在一個實(shí)施例中，可以將用戶的標(biāo)識信息存儲在計(jì)算系統(tǒng)12中的用戶簡檔數(shù)據(jù)存儲197中。用戶簡檔數(shù)據(jù)庫197可包括關(guān)于用戶的信息，諸如與用戶相關(guān)聯(lián)的唯一標(biāo)識符和指令、用戶的姓名和與用戶有關(guān)的其他人口統(tǒng)計(jì)信息。這種用戶簡檔數(shù)據(jù)的示例包括用戶的年齡分組、性別、地理位置、在一個示例中用戶的郵編、所玩的游戲、用戶對特定游戲的統(tǒng)計(jì)、游戲者的類別(例如，家庭成員、核心成員、臨時成員)、曾與用戶一起玩過游戲的其他用戶以及該用戶多久與每一個其他用戶玩一次、用戶的朋友的列表(該列表可選地由該用戶來提供)、用戶的所表述的偏好活動、用戶的化身的特征(諸如，著裝、頭發(fā)顏色、眼睛顏色和其他身體屬性)、以及用戶在計(jì)算系統(tǒng)12或其他計(jì)算機(jī)系統(tǒng)(在這些系統(tǒng)中用戶被標(biāo)識為查看者)上查看的其他多媒體內(nèi)容。在一個實(shí)施例中，計(jì)算設(shè)備12可以自動跟蹤與捕捉設(shè)備20檢測到的一個或多個用戶相關(guān)的用戶簡檔數(shù)據(jù)。
在一些實(shí)施例中，所公開的技術(shù)可以提供一種用來在實(shí)現(xiàn)所公開的技術(shù)以前通過對用戶簡檔數(shù)據(jù)中的一些或全部進(jìn)行保護(hù)、加密、或者隱去其中的姓名資料來滿足用戶隱私擔(dān)憂的機(jī)制。所公開的技術(shù)還可以提供一種用來在實(shí)現(xiàn)所公開的技術(shù)以前通過在收集用戶特定信息以前經(jīng)由用戶選擇參加過程獲得用戶的同意來滿足用戶隱私擔(dān)憂的機(jī)制。
在一些實(shí)施例中，捕捉設(shè)備20可捕捉在捕捉設(shè)備20的視場中的一個或多個用戶的音頻數(shù)據(jù)和視覺圖像(例如手語姿勢的視覺圖像)，以確定在多媒體內(nèi)容被連接至計(jì)算系統(tǒng)12的視聽設(shè)備16顯示時是否已作出了對營銷術(shù)語的表達(dá)。在其他實(shí)施例中，語言識別軟件458處理從由話筒40捕捉到的現(xiàn)場音頻信號中生成的流音頻數(shù)據(jù)，以檢測在可聽語言中是否已表達(dá)了營銷術(shù)語。
響應(yīng)于檢測到營銷術(shù)語，廣告應(yīng)用198基于營銷術(shù)語表達(dá)實(shí)例的術(shù)語上下文數(shù)據(jù)標(biāo)識出廣告，并使標(biāo)識出的廣告被傳遞給一個或多個指定的用戶。傳遞標(biāo)識出的廣告的一個示例是通過正執(zhí)行的應(yīng)用452(諸如，游戲應(yīng)用)將該廣告包括在顯示器(如，指定的用戶的視聽設(shè)備16)上正顯示的多媒體內(nèi)容的場景中。例如，如果檢測到了術(shù)語“飲料”和 “渴”，并且這些術(shù)語是基于用戶的年齡人口統(tǒng)計(jì)數(shù)據(jù)的，則可向在35歲以上年齡分組中的人顯示冰茶廣告，并向在35歲以下年齡分組中的男性顯示可樂廣告。
圖3A示出了可用于實(shí)現(xiàn)圖1-2B中的計(jì)算系統(tǒng)12的計(jì)算系統(tǒng)100的示例。在一個實(shí)施例中，圖3A的計(jì)算設(shè)備100可以是諸如游戲控制臺之類的多媒體控制臺100。如圖 3A所示，多媒體控制臺100具有中央處理單元(CPU) 200以及便于處理器訪問各種類型的存儲器的存儲器控制器202，各種類型的存儲器包括閃速只讀存儲器(ROM) 204、隨機(jī)存取存儲器(RAM) 206、硬盤驅(qū)動器208、以及便攜式媒體驅(qū)動器106。在一種實(shí)現(xiàn)中，CPU 200包括 1級高速緩存210和2級高速緩存212，這些高速緩存用于臨時存儲數(shù)據(jù)并因此減少對硬盤驅(qū)動器208進(jìn)行的存儲器訪問周期的數(shù)量，從而提高了處理速度和吞吐量。
CPU 200、存儲器控制器202、以及各種存儲器設(shè)備經(jīng)由一個或多個總線(未示出)互連在一起。在本實(shí)現(xiàn)中所使用的總線的細(xì)節(jié)對理解此處所討論的關(guān)注主題不是特別相關(guān)。然而，應(yīng)該理解，這樣的總線可以包括串行和并行總線、存儲器總線、外圍總線、使用各種總線體系結(jié)構(gòu)中的任何一種的處理器或局部總線中的一個或多個。作為示例，這樣的體系結(jié)構(gòu)可以包括工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(ISA)總線、微通道體系結(jié)構(gòu)(MCA)總線、增強(qiáng)型 ISA(EISA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(VESA)局部總線、以及也稱為夾層總線的外圍部件互連(PCI)總線。
在一種實(shí)現(xiàn)中，CPU 200、存儲器控制器202、ROM 204、以及RAM 206被集成到公用模塊214上。在此實(shí)現(xiàn)中，ROM 204被配置為通過PCI總線和ROM總線(兩者都沒有示出)連接到存儲器控制器202的閃速ROM。RAM 206被配置為多個雙倍數(shù)據(jù)速率同步動態(tài) RAM (DDR SDRAM)模塊，它們被存儲器控制器202通過分開的總線(未示出)獨(dú)立地進(jìn)行控制。硬盤驅(qū)動器208和便攜式媒體驅(qū)動器106被示為通過PCI總線和AT附加(ATA)總線 216連接到存儲器控制器202。然而，在其他實(shí)現(xiàn)中，也可以備選地應(yīng)用不同類型的專用數(shù)據(jù)總線結(jié)構(gòu)。
圖形處理單元220和視頻編碼器222構(gòu)成了用于進(jìn)行高速度和高分辨率(例如， 高清晰度)的圖形處理的視頻處理流水線。數(shù)據(jù)通過數(shù)字視頻總線(未示出)從圖形處理單元(GPU) 220傳輸?shù)揭曨l編碼器222。通過使用GPU 220中斷來顯示由系統(tǒng)應(yīng)用程序生成的輕量消息(例如，彈出窗口)以及由廣告應(yīng)用198選擇的廣告，以調(diào)度代碼來將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶界面的情況下，優(yōu)選使用獨(dú)立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而消除了對改變頻率并引起TV重新同步的需求。
音頻處理單元2M和音頻編解碼器(編碼器/解碼器)226構(gòu)成了對應(yīng)的音頻處理流水線，用于對各種數(shù)字音頻格式進(jìn)行多通道音頻處理。通過通信鏈路(未示出)在音頻處理單元2M和音頻編解碼器2 之間傳輸音頻數(shù)據(jù)。視頻和音頻處理流水線向A/V(音頻/視頻)端口 2 輸出數(shù)據(jù)，以便傳輸?shù)诫娨暀C(jī)或其他顯示器。在所示出的實(shí)現(xiàn)中，視頻和音頻處理組件220-2 安裝在模塊214上。
圖3A示出包括USB主控制器230和網(wǎng)絡(luò)接口 232的模塊214。USB主控制器230 被示為通過總線(例如，PCI總線)與CPU 200和存儲器控制器202進(jìn)行通信，并作為外圍控制器104(1)-104 )的主機(jī)。網(wǎng)絡(luò)接口 232提供對網(wǎng)絡(luò)(例如因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問，并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、無線接入卡、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等各種有線或無線接口組件中的任一種。
在圖3A中所描繪的實(shí)現(xiàn)中，控制臺102包括用于支持四個控制器104(1)-104(4) 的控制器支持子部件M0。控制器支持子部件240包括支持與諸如，例如，媒體和游戲控制器之類的外部控制設(shè)備的有線和無線操作所需的任何硬件和軟件組件。前面板I/O子部件 242支持電源按鈕112、彈出按鈕114，以及任何LED(發(fā)光二極管)或暴露在控制臺102的外表面上的其他指示器等多個功能。子部件240和242通過一個或多個電纜部件244與模塊214進(jìn)行通信。在其他實(shí)現(xiàn)中，控制臺102可以包括另外的控制器子部件。所示出的實(shí)現(xiàn)還示出了被配置成發(fā)送和接收可以傳遞到模塊214的信號的光學(xué)I/O接口 235。
MU 140(1)和 140(2)被示為可以分別連接到 MU 端口 “A” 130 (1)和 “B” 130 (2)。 附加MU(例如，MU 140(3)-140(6))被示為可連接到控制器104(1)和104(3)，即每一個控制器兩個MU。控制器104(2)和104(4)也可以被配置成接納MU (未示出)。每一個MU 140 都提供附加存儲，在其上面可以存儲游戲、游戲參數(shù)、及其他數(shù)據(jù)。在一些實(shí)現(xiàn)中，其他數(shù)據(jù)可以包括數(shù)字游戲組件、可執(zhí)行的游戲應(yīng)用，用于擴(kuò)展游戲應(yīng)用的指令集、以及媒體文件中的任何一種。當(dāng)被插入到控制臺102或控制器中時，MU 140可以被存儲器控制器202訪問。 系統(tǒng)供電模塊250向游戲系統(tǒng)100的組件供電。風(fēng)扇252冷卻控制臺102內(nèi)的電路。
包括機(jī)器指令的應(yīng)用260被存儲在硬盤驅(qū)動器208上。當(dāng)控制臺102被接通電源時，應(yīng)用沈0的各個部分被加載到RAM 206，和/或高速緩存210以及212中以在CPU 200 上執(zhí)行，其中應(yīng)用260是一個這樣的示例。各種應(yīng)用可以存儲在硬盤驅(qū)動器208上以用于在CPU 200上執(zhí)行。
可以通過簡單地將系統(tǒng)連接到監(jiān)視器150(圖1)、電視機(jī)、視頻投影儀、或其他顯示設(shè)備來將游戲與媒體系統(tǒng)100用作獨(dú)立系統(tǒng)。在此獨(dú)立模式下，游戲和媒體系統(tǒng)100允許一個或多個玩家玩游戲或欣賞數(shù)字媒體，例如觀看電影或欣賞音樂。然而，隨著寬帶連接的集成通過網(wǎng)絡(luò)接口 232而成為可能，游戲和媒體系統(tǒng)100還可以作為較大的網(wǎng)絡(luò)游戲社區(qū)的參與者來操作。
圖;3B示出了可被用于實(shí)現(xiàn)計(jì)算設(shè)備12或遠(yuǎn)程計(jì)算機(jī)系統(tǒng)208的另一實(shí)施例的通用計(jì)算設(shè)備。參考圖;3B，用于實(shí)現(xiàn)所公開的技術(shù)的各實(shí)施例的示例性系統(tǒng)包括計(jì)算機(jī)310 形式的通用計(jì)算設(shè)備。計(jì)算機(jī)310的組件可包括，但不限于，處理單元320、系統(tǒng)存儲器330、 以及將包括系統(tǒng)存儲器的各種系統(tǒng)組件耦合到處理單元320的系統(tǒng)總線321。系統(tǒng)總線321 可以是若干類型的總線結(jié)構(gòu)中的任一種，包括使用各種總線體系結(jié)構(gòu)中的任一種的存儲器總線或存儲器控制器、外圍總線、以及局部總線。作為示例而非限制，這樣的體系結(jié)構(gòu)包括工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(ISA)總線、微通道體系結(jié)構(gòu)(MCA)總線、增強(qiáng)型ISA(EISA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(VESA)局部總線，以及也稱為夾層總線的外圍部件互連(PCI)總線。
計(jì)算機(jī)310通常包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可以是能由計(jì)算機(jī) 310訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動和不可移動介質(zhì)。作為示例而非限制，計(jì)算機(jī)可讀介質(zhì)可包括計(jì)算機(jī)存儲介質(zhì)和通信介質(zhì)。計(jì)算機(jī)存儲介質(zhì)包括以用于存儲諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)等信息的任何方法或技術(shù)實(shí)現(xiàn)的易失性和非易失性、可移動和不可移動介質(zhì)。計(jì)算機(jī)存儲介質(zhì)包括，但不限于， RAM、ROM、EEPR0M、閃存或其他存儲器技術(shù)，CD-ROM、數(shù)字多功能盤(DVD)或其他光盤存儲設(shè)備，磁帶盒、磁帶、磁盤存儲設(shè)備或其他磁存儲設(shè)備，或者能用于存儲所需信息且可以由計(jì)算機(jī)310訪問的任何其他介質(zhì)。通信介質(zhì)通常以諸如載波或其他傳輸機(jī)制等已調(diào)制數(shù)據(jù)信號來體現(xiàn)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)，并包括任意信息傳送介質(zhì)。術(shù)語“已調(diào)制數(shù)據(jù)信號”是指具有以在信號中編碼信息的方式被設(shè)定或改變其一個或多個特征的信號。作為示例而非限制，通信介質(zhì)包括諸如有線網(wǎng)絡(luò)或直接線連接之類的有線介質(zhì)， 以及諸如聲學(xué)、RF、紅外及其他無線介質(zhì)之類的無線介質(zhì)。上述中任一組合也應(yīng)包括在計(jì)算機(jī)可讀介質(zhì)的范圍之內(nèi)。
系統(tǒng)存儲器330包括易失性和/或非易失性存儲器形式的計(jì)算機(jī)存儲介質(zhì)，如只讀存儲器(ROM) 331和隨機(jī)存取存儲器(RAM) 332?；据斎?輸出系統(tǒng)333 (BIOS)包含諸如在啟動期間幫助在計(jì)算機(jī)310內(nèi)的元件之間傳輸信息的基本例程，基本輸入/輸出系統(tǒng) 333 (BIOS)通常儲存儲在ROM 331中。RAM332通常包含處理單元320可立即訪問和/或目前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖3B示出操作系統(tǒng)334、應(yīng)用程序 335、其它程序模塊336和程序數(shù)據(jù)337。
計(jì)算機(jī)310也可以包括其他可移動/不可移動、易失性/非易失性計(jì)算機(jī)存儲介質(zhì)。僅作為示例，圖3B示出了從不可移動、非易失性磁介質(zhì)中讀取或向其寫入的硬盤驅(qū)動器340，從可移動、非易失性磁盤352中讀取或向其寫入的磁盤驅(qū)動器351，以及從諸如⑶ ROM或其它光學(xué)介質(zhì)等可移動、非易失性光盤356中讀取或向其寫入的光盤驅(qū)動器355?？稍谑纠圆僮鳝h(huán)境中使用的其他可移動/不可移動、易失性/非易失性計(jì)算機(jī)存儲介質(zhì)包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅(qū)動器341通常由諸如接口 340等不可移動存儲器接口連接至系統(tǒng)總線321，并且磁盤驅(qū)動器 351和光盤驅(qū)動器355通常由諸如接口 350等可移動存儲器接口連接至系統(tǒng)總線321。
以上描述和圖3B中示出的驅(qū)動器及其關(guān)聯(lián)計(jì)算機(jī)存儲介質(zhì)為計(jì)算機(jī)310提供了計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)的存儲。例如在圖3B中，硬盤驅(qū)動器341 被示為存儲操作系統(tǒng)344、應(yīng)用程序345、其它程序模塊346和程序數(shù)據(jù)347。注意，這些組件可以與操作系統(tǒng)334、應(yīng)用程序335、其他程序模塊336和程序數(shù)據(jù)337相同，也可以與它們不同。在此操作系統(tǒng)344、應(yīng)用程序345、其他程序模塊346以及程序數(shù)據(jù)347被給予了不同的編號，以說明至少它們是不同的副本。用戶可以通過輸入設(shè)備，例如鍵盤362和定點(diǎn)設(shè)備361——通常是指鼠標(biāo)、跟蹤球或觸摸墊——向計(jì)算機(jī)20輸入命令和信息。其他輸入設(shè)備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些和其他輸入設(shè)備通常通過耦合至系統(tǒng)總線的用戶輸入接口 360連接至處理單元320，但也可以由其他接口和總線結(jié)構(gòu)，例如并行端口、游戲端口或通用串行總線(USB)來連接。監(jiān)視器391或其他類型的顯示設(shè)備也通過諸如視頻接口 390之類的接口連接至系統(tǒng)總線321。除監(jiān)視器之外，計(jì)算機(jī)也可包括諸如揚(yáng)聲器397和打印機(jī)396之類的其他外圍輸出設(shè)備，它們可以通過輸出外圍接口 395來連接。
計(jì)算機(jī)310可以使用到一個或多個遠(yuǎn)程計(jì)算機(jī)(如遠(yuǎn)程計(jì)算機(jī)380)的邏輯連接， 以在聯(lián)網(wǎng)環(huán)境中操作。遠(yuǎn)程計(jì)算機(jī)380可以是個人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其它常見的網(wǎng)絡(luò)節(jié)點(diǎn)，并且通常包括以上就計(jì)算機(jī)310描述的元件中多個或全部， 雖然在圖3B中僅僅示出了存儲器存儲設(shè)備381。在圖3B中所描繪的邏輯連接包括局域網(wǎng) (LAN)371和廣域網(wǎng)(WAN)373，但是也可以包括其它網(wǎng)絡(luò)。這些聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。
當(dāng)用于LAN網(wǎng)絡(luò)環(huán)境中時，計(jì)算機(jī)310通過網(wǎng)絡(luò)接口或適配器370連接到LAN371。當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時，計(jì)算機(jī)310通常包括調(diào)制解調(diào)器372或用于通過諸如因特網(wǎng)等WAN 373建立通信的其他手段。調(diào)制解調(diào)器372，可以是內(nèi)置的或外置的，可以經(jīng)由用戶輸入接口 360或其他適當(dāng)?shù)臋C(jī)制，連接到系統(tǒng)總線321。在聯(lián)網(wǎng)環(huán)境中，相對于計(jì)算機(jī) 310所描述的程序模塊或其部分可被存儲在遠(yuǎn)程存儲器存儲設(shè)備中。作為示例而非限制，圖 3B示出駐留在存儲器設(shè)備381上的遠(yuǎn)程應(yīng)用程序385。應(yīng)當(dāng)理解，所示的網(wǎng)絡(luò)連接是示例性的，并且可使用在計(jì)算機(jī)之間建立通信鏈路的其他手段。
圖1至圖;3B中示出的示例計(jì)算機(jī)系統(tǒng)包括計(jì)算機(jī)可讀存儲介質(zhì)的示例。這樣的介質(zhì)可包括以用于存儲諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊、或其他數(shù)據(jù)等信息的任何方法或技術(shù)實(shí)現(xiàn)的易失性和非易失性、可移動和不可移動介質(zhì)。計(jì)算機(jī)存儲介質(zhì)包括，但不限于，RAM、ROM、EEPR0M、高速緩存、閃存或其他存儲器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD) 或其他光盤存儲、存儲器棒或卡、磁帶盒、磁帶、媒體驅(qū)動器、硬盤、磁盤存儲或其他磁性存儲設(shè)備、或能用于存儲所需信息且可以由計(jì)算機(jī)訪問的任何其他介質(zhì)。
如上所述的圖HB中的硬件設(shè)備可用來實(shí)現(xiàn)用于基于所捕捉到的用戶在查看多媒體內(nèi)容時對營銷術(shù)語的表達(dá)來生成針對一個或多個用戶的廣告的系統(tǒng)的一個或多個實(shí)施例。圖4至圖8B示出了可在用于基于所捕捉到的用戶在查看多媒體內(nèi)容時對營銷術(shù)語的表達(dá)來生成針對一個或多個用戶的廣告的方法的各實(shí)施例中使用的一個或多個過程。該方法的各實(shí)施例是參考所示的圖1-3B中描述的硬件和軟件組件來討論的。該方法的各實(shí)施例還可在其他系統(tǒng)配置中操作。
圖4是描述了用于基于所捕捉到的用戶在查看多媒體內(nèi)容時對營銷術(shù)語的表達(dá)來生成針對一個或多個用戶的廣告的方法的一個實(shí)施例的流程圖。在步驟432中，在計(jì)算機(jī)系統(tǒng)12上執(zhí)行的應(yīng)用(例如，492或452)標(biāo)識出正在諸如視聽設(shè)備16之類的顯示器上查看多媒體內(nèi)容的一個或多個用戶。在步驟434中，語言識別軟件458或姿勢識別引擎454 在例如來自視聽捕捉設(shè)備(例如，捕捉設(shè)備20)的現(xiàn)場捕捉數(shù)據(jù)中檢測由一個或多個用戶所表達(dá)的營銷術(shù)語。在步驟436廣告應(yīng)用198更新所檢測到的術(shù)語的術(shù)語上下文數(shù)據(jù)，該術(shù)語上下文數(shù)據(jù)包括在用戶簡檔數(shù)據(jù)中的檢測到的營銷術(shù)語的計(jì)數(shù)，并且在步驟438，廣告應(yīng)用198將術(shù)語上下文數(shù)據(jù)傳送至遠(yuǎn)程計(jì)算機(jī)系統(tǒng)。例如，遠(yuǎn)程計(jì)算機(jī)系統(tǒng)可以是第三方營銷系統(tǒng)或者是與第三方營銷系統(tǒng)進(jìn)行交互的中間遠(yuǎn)程計(jì)算機(jī)系統(tǒng)(例如，內(nèi)容提供方)。 基于術(shù)語上下文數(shù)據(jù)，廣告應(yīng)用198標(biāo)識出要基于術(shù)語上下文術(shù)語傳遞給至少一個用戶的廣告，并在步驟442使計(jì)算系統(tǒng)12將該廣告?zhèn)鬟f給指定的用戶。例如，可以將廣告發(fā)送至指定的用戶的電子郵件地址處，或者將其顯示在正執(zhí)行的多媒體應(yīng)用的場景內(nèi)。
圖4中的方法實(shí)施例和圖5A至圖8B中的實(shí)現(xiàn)過程示例中的步驟還可由遠(yuǎn)程計(jì)算機(jī)系統(tǒng)執(zhí)行，該遠(yuǎn)程計(jì)算機(jī)系統(tǒng)可以在游戲服務(wù)或其他內(nèi)容提供方的控制下為在一個或多個通過通信來耦合的計(jì)算機(jī)系統(tǒng)213(其在本地耦合到視聽捕捉設(shè)備20和視聽顯示設(shè)備16)處的一個或多個遠(yuǎn)程用戶執(zhí)行多媒體應(yīng)用452。一個或多個本地系統(tǒng)213可將現(xiàn)場音頻流和圖像數(shù)據(jù)發(fā)送給遠(yuǎn)程計(jì)算機(jī)系統(tǒng)來檢測營銷術(shù)語。此外，可在用戶本地的計(jì)算系統(tǒng)(例如，12)以及諸如受游戲服務(wù)控制的遠(yuǎn)程計(jì)算機(jī)系統(tǒng)之類的遠(yuǎn)程計(jì)算機(jī)系統(tǒng)(例如， 208)之間共享該處理。例如，對營銷術(shù)語的檢測可以在選擇廣告時在本地實(shí)現(xiàn)，和/或?qū)V告的傳送可以在遠(yuǎn)程系統(tǒng)處實(shí)現(xiàn)。
圖5A是描述了用于在現(xiàn)場捕捉數(shù)據(jù)中檢測一個或多個用戶表達(dá)的營銷術(shù)語的實(shí)現(xiàn)過程的一個實(shí)施例的流程圖。在步驟552中話筒40可捕捉來自正在查看多媒體內(nèi)容的一個或多個用戶的現(xiàn)場音頻信號，并且在步驟554中，音頻處理單元224、音頻編解碼器226 或兩者將現(xiàn)場音頻信號編碼成音頻流數(shù)據(jù)。語言識別軟件458在步驟556中接收來自一個或多個用戶的現(xiàn)場音頻的音頻流數(shù)據(jù)，并在步驟558中搜索音頻流數(shù)據(jù)以查找一個或多個營銷術(shù)語。響應(yīng)于識別到一個或多個營銷術(shù)語，語言識別軟件458將每一個檢測到的術(shù)語的檢測通知發(fā)送至廣告應(yīng)用198。搜索以查找營銷術(shù)語的過程繼續(xù)并重復(fù)一段時間，或者直到多媒體執(zhí)行的實(shí)例結(jié)束或話筒被關(guān)閉或某一其他營銷術(shù)語搜索會話結(jié)束準(zhǔn)則。
圖5B是描述了用于在現(xiàn)場捕捉數(shù)據(jù)中檢測一個或多個用戶表達(dá)的營銷術(shù)語的另一實(shí)現(xiàn)過程的一個實(shí)施例的流程圖。在步驟572中，圖像捕捉設(shè)備20捕捉正在查看多媒體內(nèi)容的一個或多個用戶的現(xiàn)場圖像數(shù)據(jù)，并且在步驟574中，姿勢識別引擎454基于圖像數(shù)據(jù)確定所作出的一個或多個姿勢。在步驟576中，姿勢引擎454確定是否已作出了關(guān)于營銷術(shù)語的姿勢。這樣的姿勢的示例是符號姿勢。如果為否，則處理在捕捉到更多圖像數(shù)據(jù)時繼續(xù)。如果為是，則在步驟580中，姿勢引擎454將營銷術(shù)語的檢測通知發(fā)送至廣告應(yīng)用 198，并且處理在捕捉到更多圖像時繼續(xù)。
圖6是描述了用于更新檢測到的術(shù)語的術(shù)語上下文數(shù)據(jù)的實(shí)現(xiàn)過程的一個實(shí)施例的流程圖。廣告應(yīng)用198在步驟602中為營銷術(shù)語的表達(dá)的每一個實(shí)例存儲哪個多媒體應(yīng)用正在執(zhí)行的標(biāo)識符，并且在步驟604中還存儲術(shù)語正被表達(dá)的每一個實(shí)例的時戳。
一些營銷術(shù)語可能具有與營銷術(shù)語的含義無關(guān)的另一種含義。例如，Nike (耐克)品牌的鞋子與希臘勝利女神的姓名Nike并不相同。營銷術(shù)語廣告數(shù)據(jù)存儲190可包括與營銷術(shù)語相關(guān)的輔助單詞。如果在語言表達(dá)中檢測到了輔助單詞，則還標(biāo)識出該輔助單詞。如果還表達(dá)了相關(guān)的營銷術(shù)語，則執(zhí)行步驟606。一些實(shí)施例可以對營銷術(shù)語的所有發(fā)生進(jìn)行計(jì)數(shù)，而并不在多個含義間進(jìn)行區(qū)分。
可選地，響應(yīng)于營銷術(shù)語是多義詞，在步驟606中廣告應(yīng)用198確定是否將表達(dá)的實(shí)例包括在營銷術(shù)語的計(jì)數(shù)中。廣告應(yīng)用可基于其來作出該確定的準(zhǔn)則的一些示例包括在所表達(dá)的術(shù)語的時間段內(nèi)表達(dá)的輔助單詞、來自表達(dá)該術(shù)語的用戶的用戶簡檔數(shù)據(jù)的人口統(tǒng)計(jì)數(shù)據(jù)，以及來自用戶表達(dá)該術(shù)語時存在的其他用戶的用戶簡檔數(shù)據(jù)的人口統(tǒng)計(jì)數(shù)據(jù)。
在步驟608中廣告應(yīng)用198為術(shù)語的每一個表達(dá)實(shí)例存儲表達(dá)術(shù)語的用戶的標(biāo)識符，并在步驟610在表達(dá)營銷術(shù)語的用戶的用戶簡檔數(shù)據(jù)中更新營銷術(shù)語的計(jì)數(shù)。在步驟612，廣告應(yīng)用198為術(shù)語的每一個表達(dá)實(shí)例存儲存在的每一個用戶的標(biāo)識符，并在步驟 614更新每一個未表達(dá)的存在用戶的用戶簡檔數(shù)據(jù)中的營銷術(shù)語的存在計(jì)數(shù)。這個存在計(jì)數(shù)可被應(yīng)用198用來選擇適合于用戶和所存在的其他用戶(例如，在其他用戶是兒童時) 的廣告。在另一個示例中，可針對產(chǎn)品的類型，例如此用戶之前與這些用戶玩其他游戲時曾提到過的飲料等，來選擇廣告。例如，當(dāng)用戶與他的妻子玩游戲時，該用戶可能已在一個或多個之前的實(shí)例中提到了“飲料”和“冰茶”。當(dāng)與相同年齡的其他男性玩游戲時，“飲料”和品牌名稱“Mountain Dew ” (激浪)”曾被提到。
圖7A是描述了用于基于術(shù)語上下文數(shù)據(jù)來標(biāo)識出要傳送給至少一個用戶的廣告的實(shí)現(xiàn)過程的一個實(shí)施例的流程圖。在步驟702，廣告應(yīng)用198響應(yīng)于傳遞了營銷術(shù)語的術(shù)語上下文數(shù)據(jù)，接收廣告要被顯示的通知。在本示例中，在例如第三方營銷服務(wù)遠(yuǎn)程計(jì)算機(jī)系統(tǒng)的遠(yuǎn)程計(jì)算機(jī)系統(tǒng)208上的廣告應(yīng)用194選擇廣告。在步驟704，廣告應(yīng)用198將接收到的廣告與本地存儲器數(shù)據(jù)存儲190中的營銷術(shù)語相關(guān)聯(lián)。在步驟706，廣告應(yīng)用198 指定接收到的廣告要被傳遞至的每一個用戶。
圖7B是描述了用于基于術(shù)語上下文數(shù)據(jù)標(biāo)識出要傳送給至少一個用戶的廣告的實(shí)現(xiàn)過程的一個實(shí)施例的流程圖。在步驟712，廣告應(yīng)用198標(biāo)識出來自本地存儲的廣告 (例如，190)中的、與存儲器中的營銷術(shù)語相關(guān)聯(lián)的一個或多個廣告，并在步驟714基于廣告選擇準(zhǔn)則來選擇相關(guān)聯(lián)的廣告中的一個或多個。廣告選擇準(zhǔn)則的一些示例是在某一時間段內(nèi)營銷術(shù)語被一個或多個用戶表達(dá)的次數(shù)的計(jì)數(shù)、對該術(shù)語已經(jīng)被用戶表達(dá)過的次數(shù)的計(jì)數(shù)、在一個或多個視聽輸入設(shè)備鄰近的那些用戶的人口統(tǒng)計(jì)數(shù)據(jù)、如可由時戳來指示的在多媒體應(yīng)用的執(zhí)行的實(shí)例期間對該術(shù)語的各次表達(dá)之間的一個或多個時間間隔、在多媒體應(yīng)用的執(zhí)行的實(shí)例期間每一個用戶對該術(shù)語的各次表達(dá)之間的一個或多個時間間隔、 在表達(dá)該術(shù)語時用戶是否是單獨(dú)的及在表達(dá)該術(shù)語時用戶的地理位置、以及用戶是否在對用戶的語言存在隱私期望的視聽捕捉設(shè)備的鄰近進(jìn)行交互。
可基于在表達(dá)術(shù)語時正與多媒體應(yīng)用進(jìn)行交互的一個或多個用戶的用戶簡檔中的地理位置數(shù)據(jù)來選擇商家位置的廣告?？苫谄渖险趫?zhí)行多媒體應(yīng)用的計(jì)算機(jī)系統(tǒng)的地理位置數(shù)據(jù)來選擇商家位置的廣告。例如，計(jì)算機(jī)系統(tǒng)的IP地址可與在該計(jì)算機(jī)系統(tǒng)上玩游戲的用戶的一個或多個用戶簡檔中的地理數(shù)據(jù)相關(guān)。
在步驟716，廣告應(yīng)用198指定每一個所選擇的廣告要被傳送至的每一個用戶。
圖8A是描述了用于將廣告?zhèn)魉椭林付ǖ挠脩舻膶?shí)現(xiàn)過程的一個實(shí)施例的流程圖。在步驟812，廣告應(yīng)用198將廣告覆蓋顯示數(shù)據(jù)標(biāo)識給顯示處理管道。這種管道的示例是3D圖像處理單元220和視頻編碼器222。圖形處理單元220可向視頻編碼器222的調(diào)度代碼發(fā)送中斷來將廣告呈現(xiàn)在覆蓋圖中。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。多媒體應(yīng)用(諸如游戲)的發(fā)布方可標(biāo)識出可用廣告來覆蓋的那些屏幕對象。在一些實(shí)例中，這些對象與現(xiàn)實(shí)生活中的對象類似，其可像告示牌或飲料機(jī)、或者如在諸如kcondLife (第二生活)之類的虛擬世界中的場景中的酒吧內(nèi)的罐頭那樣具有廣告。在步驟814，視頻編碼器222將廣告覆蓋數(shù)據(jù)結(jié)合在多媒體應(yīng)用的場景顯示數(shù)據(jù)中，并且將顯示數(shù)據(jù)經(jīng)由AV端口 2 發(fā)送至視聽顯示設(shè)備16或通過網(wǎng)絡(luò)接口 232發(fā)送至遠(yuǎn)程顯示設(shè)備或者如在在線游戲中可發(fā)生的那樣發(fā)送至兩者。在步驟 816中，將場景顯示數(shù)據(jù)與覆蓋圖一起顯示。
類似地，廣告應(yīng)用198將廣告覆蓋音頻數(shù)據(jù)標(biāo)識給音頻處理管道，諸如包括用于對各種數(shù)字音頻格式進(jìn)行多通道音頻處理的音頻處理單元2M和音頻編解碼器(編碼器/ 解碼器)2 的音頻處理管道。通過使用中斷，CPU 200或GPU 220可調(diào)度代碼來將音頻廣告呈現(xiàn)在音頻覆蓋圖或補(bǔ)丁中，以替換由多媒體應(yīng)用開發(fā)者指定的游戲或多媒體角色所說的營銷術(shù)語。
圖8B是描述了用于將廣告?zhèn)魉椭林付ǖ挠脩舻膶?shí)現(xiàn)過程的另一個實(shí)施例的流程圖。在步驟822，廣告應(yīng)用198檢索被指定來接收與營銷術(shù)語相關(guān)聯(lián)的廣告的一個或多個用戶的電子聯(lián)系信息，并且在步驟824，使用該電子聯(lián)系信息來通過網(wǎng)絡(luò)接口 371、373、232以通信的電子消息收發(fā)形式將廣告發(fā)送給一個或多個指定的用戶。例如，可向用戶發(fā)送具有廣告的電子郵件或者Twitter 上的“Tweet (消息)”?？墒褂弥T如文本消息收發(fā)之類的其他基于社交聯(lián)網(wǎng)和無線的通信的格式。
本技術(shù)可具體化為其他具體形式而不背離其精神或本質(zhì)特征。類似地，對于模塊、 例程、特征、屬性、方法和其他方面的具體命名和劃分并非是強(qiáng)制性的，實(shí)現(xiàn)本技術(shù)或其特征的機(jī)制可具有不同的名稱、劃分和/或格式。此外，如本領(lǐng)域技術(shù)人員將顯而易見的，所公開的實(shí)施例的模塊、例程、特征、屬性、方法和其他方面可被實(shí)現(xiàn)為軟件、硬件、固件或三者的任意組合。當(dāng)然，在組件(其示例是模塊)被實(shí)現(xiàn)為軟件的情況下，該組件可被實(shí)現(xiàn)為獨(dú)立的程序、更大程序的一部分、多個單獨(dú)的程序、靜態(tài)或動態(tài)鏈接庫、內(nèi)核可加載模塊、設(shè)備驅(qū)動程序、和/或編程技術(shù)領(lǐng)域中的技術(shù)人員現(xiàn)在已知或?qū)碇獣缘拿恳粋€和任何其他方式。
盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。相反，上文所描述的具體特征和動作是作為實(shí)現(xiàn)權(quán)利要求的示例形式來公開的。
權(quán)利要求
1.一種用于基于所捕捉到的用戶在查看多媒體內(nèi)容時對營銷術(shù)語的表達(dá)來生成針對一個或多個用戶的廣告的計(jì)算機(jī)實(shí)現(xiàn)的方法，包括標(biāo)識出(43 正在通信地耦合到計(jì)算機(jī)系統(tǒng)的顯示器上查看所述多媒體內(nèi)容的一個或多個用戶；在現(xiàn)場捕捉數(shù)據(jù)中檢測G34)由所述一個或多個用戶表達(dá)的所述營銷術(shù)語； 更新(436)包括所述營銷術(shù)語已經(jīng)被所述一個或多個用戶表達(dá)過的次數(shù)的計(jì)數(shù)的術(shù)語上下文數(shù)據(jù)；將包括所述計(jì)數(shù)的所述術(shù)語上下文數(shù)據(jù)傳送(438)至遠(yuǎn)程計(jì)算機(jī)系統(tǒng)；基于所述術(shù)語上下文數(shù)據(jù)來標(biāo)識(440)要傳遞給一個或多個指定的用戶的廣告；以及將所述廣告?zhèn)鬟f(44 給所述一個或多個指定的用戶。
2.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其特征在于在來自通信地耦合至計(jì)算機(jī)系統(tǒng)的視聽捕捉設(shè)備的捕捉數(shù)據(jù)中檢測由用戶表達(dá)的所述營銷術(shù)語還包括通過以下操作來在流音頻數(shù)據(jù)中檢測(圖5A)營銷術(shù)語，所述流音頻數(shù)據(jù)表示經(jīng)由音頻輸入設(shè)備接收到的實(shí)時語言，所述音頻輸入設(shè)備通信地耦合到具有顯示器的計(jì)算機(jī)系統(tǒng)基于對存儲在所述存儲器中的一個或多個營銷術(shù)語的語言識別來標(biāo)識(560)所述營銷術(shù)語。
3.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其特征在于將包括所述計(jì)數(shù)的所述術(shù)語上下文數(shù)據(jù)傳送至所述遠(yuǎn)程計(jì)算機(jī)系統(tǒng)進(jìn)一步包括 將未標(biāo)識出的人口統(tǒng)計(jì)數(shù)據(jù)從表達(dá)了所述營銷術(shù)語的用戶的用戶簡檔傳送至所述遠(yuǎn)程計(jì)算機(jī)系統(tǒng)；以及將在所述營銷術(shù)語被表達(dá)的時間段內(nèi)存在的具有用戶簡檔的任何其他用戶的未標(biāo)識出的人口統(tǒng)計(jì)數(shù)據(jù)傳送至所述遠(yuǎn)程計(jì)算機(jī)系統(tǒng)。
4.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其特征在于，所述術(shù)語上下文數(shù)據(jù)還包括由以下各項(xiàng)組成的組中的至少一項(xiàng)所述術(shù)語是否是在游戲期間被表達(dá)的；在多媒體應(yīng)用的執(zhí)行的實(shí)例期間對所述術(shù)語的各次表達(dá)之間的一個或多個時間間隔；在多媒體應(yīng)用的執(zhí)行的實(shí)例期間每一個用戶對所述術(shù)語的各次表達(dá)之間的一個或多個時間間隔；所述術(shù)語被表達(dá)時在鄰近存在哪些其他用戶； 在表達(dá)所述術(shù)語時所述用戶是否是單獨(dú)的；以及在所述用戶表達(dá)所述術(shù)語時，所述用戶的位置。
5.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其特征在于更新包括所述營銷術(shù)語已經(jīng)被所述一個或多個用戶表達(dá)過的次數(shù)的計(jì)數(shù)的術(shù)語上下文數(shù)據(jù)進(jìn)一步包括基于術(shù)語上下文數(shù)據(jù)來確定所表達(dá)的術(shù)語是否具有所述營銷術(shù)語的含義，其中用作確定所表達(dá)的術(shù)語是否具有所述營銷術(shù)語的含義的基礎(chǔ)的所述術(shù)語上下文數(shù)據(jù)包括由以下各項(xiàng)組成的組中的一個在說到所述術(shù)語的時間段內(nèi)所表達(dá)的輔助單詞；來自表達(dá)所述術(shù)語的用戶的用戶簡檔數(shù)據(jù)的人口統(tǒng)計(jì)數(shù)據(jù)；來自在所述用戶表達(dá)所述術(shù)語時存在的其他用戶的用戶簡檔數(shù)據(jù)的人口統(tǒng)計(jì)數(shù)據(jù)。
6.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其特征在于在來自通信地耦合到所述計(jì)算機(jī)系統(tǒng)的所述視聽捕捉設(shè)備的現(xiàn)場捕捉數(shù)據(jù)中檢測 (圖9A-9D)由所述一個或多個用戶表達(dá)的營銷術(shù)語進(jìn)一步包括在經(jīng)由通信地耦合到所述計(jì)算機(jī)系統(tǒng)的所述視聽捕捉設(shè)備中的圖像捕捉設(shè)備捕捉到的符號姿勢中檢測所述營銷術(shù)語。
7.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其特征在于，將所述廣告?zhèn)鬟f至所述一個或多個指定的用戶進(jìn)一步包括基于在其上執(zhí)行多媒體應(yīng)用的計(jì)算機(jī)系統(tǒng)的地理位置數(shù)據(jù)來顯示商家位置的廣告，所述地理數(shù)據(jù)是基于來自所述術(shù)語被說到時正與所述多媒體應(yīng)用進(jìn)行交互一個或多個用戶的用戶簡檔的地理數(shù)據(jù)來確定的。
8.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其特征在于，將所述廣告?zhèn)鬟f至一個或多個指定的用戶進(jìn)一步包括基于所述用戶所說的術(shù)語的術(shù)語上下文數(shù)據(jù)將廣告發(fā)送給所述一個或多個用戶中與說所述術(shù)語的用戶的簡檔相關(guān)但在所述術(shù)語被說時卻并不存在的另一個用戶。
9.一種用于基于用戶對營銷術(shù)語的表達(dá)來生成針對一個或多個用戶的廣告的系統(tǒng) (10)，包括通信地耦合到多媒體計(jì)算機(jī)系統(tǒng)(1 的音頻輸入設(shè)備(40)，它接收來自在所述音頻設(shè)備鄰近的一個或多個用戶(18)的現(xiàn)場音頻信號；所述音頻設(shè)備鄰近是所述一個或多個用戶具有隱私期望的位置； 所述多媒體計(jì)算機(jī)系統(tǒng)通信地耦合到遠(yuǎn)程計(jì)算機(jī)系統(tǒng)O08)，用于從所述遠(yuǎn)程系統(tǒng)接收一個或多個營銷術(shù)語(195)并用于將術(shù)語上下文數(shù)據(jù)發(fā)送給所述遠(yuǎn)程計(jì)算機(jī)系統(tǒng)；所述多媒體計(jì)算機(jī)系統(tǒng)具有存儲器(190)，所述存儲器用于存儲所述一個或多個營銷術(shù)語以及多媒體應(yīng)用的每一個相應(yīng)用戶的用戶簡檔(197)；所述存儲器存儲有語言識別軟件G58)，所述語言識別軟件用于接收所述現(xiàn)場音頻信號的音頻流數(shù)據(jù)并用于識別所述一個或多個營銷術(shù)語是否已經(jīng)在所述音頻流數(shù)據(jù)中被說到過了 ；所述多媒體計(jì)算機(jī)系統(tǒng)的處理器(200，320)更新所述存儲器中的術(shù)語上下文數(shù)據(jù)，所述術(shù)語上下文數(shù)據(jù)包括每一個營銷術(shù)語的有關(guān)該術(shù)語在多媒體應(yīng)用G52)的執(zhí)行期間被說過的次數(shù)的計(jì)數(shù)；以及所述處理器基于所述術(shù)語上下文數(shù)據(jù)來使廣告被顯示。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，還包括所述處理器在軟件的控制下從所述遠(yuǎn)程計(jì)算機(jī)系統(tǒng)接收含廣告的視頻數(shù)據(jù)，以在所述正執(zhí)行的多媒體應(yīng)用之內(nèi)進(jìn)行顯示；以及所述處理器更新所述正執(zhí)行的應(yīng)用，以包括含所述廣告的所述視頻數(shù)據(jù)。
全文摘要
本發(fā)明涉及基于用戶表達(dá)的營銷術(shù)語的自動廣告生成?；谒蹲降降挠脩粼诓榭炊嗝襟w內(nèi)容時對營銷術(shù)語的表達(dá)來生成針對一個或多個用戶的廣告。營銷術(shù)語是與產(chǎn)品或服務(wù)有關(guān)的一個或多個單詞。將營銷術(shù)語被下載到通信地耦合至視聽捕捉設(shè)備的計(jì)算機(jī)系統(tǒng)，該視聽捕捉設(shè)備捕捉正在查看多媒體內(nèi)容或者正與該多媒體內(nèi)容進(jìn)行交互的用戶的圖像和音頻數(shù)據(jù)。經(jīng)由捕捉數(shù)據(jù)標(biāo)識出一個或多個用戶，并更新營銷術(shù)語被表達(dá)的實(shí)例的數(shù)目的計(jì)數(shù)。該計(jì)數(shù)是諸如來自用戶簡檔數(shù)據(jù)的人口統(tǒng)計(jì)數(shù)據(jù)之類的術(shù)語上下文數(shù)據(jù)的一部分。將術(shù)語上下文數(shù)據(jù)傳遞至遠(yuǎn)程計(jì)算機(jī)系統(tǒng)進(jìn)行營銷分析?；谛g(shù)語上下文數(shù)據(jù)來選擇要傳遞給指定的用戶的廣告。
文檔編號G06Q30/02GK102542488SQ201110430400
公開日2012年7月4日 申請日期2011年12月7日 優(yōu)先權(quán)日2010年12月8日
發(fā)明者B·扎漢 申請人:微軟公司