優(yōu)先權申請

本申請要求于2014年12月23日提交的美國臨時專利申請no.62/096,251的權益，該申請通過引用被整體結合于此。

實施例一般而言涉及電子設備，并且更具體而言涉及產(chǎn)生觸覺效果的電子設備。

背景技術：

視頻游戲和視頻游戲系統(tǒng)已經(jīng)變得非常受歡迎。視頻游戲設備或控制器通常使用視覺提示和聽覺提示向用戶提供反饋。在一些接口設備中，可以向用戶提供動覺反饋(例如，主動力反饋和阻力反饋)和/或觸感反饋(例如，振動、紋理、溫度變化等)。通常，這種反饋被統(tǒng)稱為“觸覺反饋”或“觸覺效果”。觸覺反饋提供了增強和簡化用戶與視頻游戲控制器或其它電子設備的交互的提示。例如，觸覺效果可以向視頻游戲控制器或其它電子設備的用戶提供提示，以就特定事件提醒用戶，或者在模擬或虛擬環(huán)境中提供逼真的反饋，以產(chǎn)生更強的感官沉浸。

其中用戶與用戶輸入元件交互以引起動作的其它設備也可以受益于觸覺反饋或觸覺效果。例如，這樣的設備可以包括醫(yī)療設備、汽車控件、遙控器和其它類似的設備。

技術實現(xiàn)要素：

本發(fā)明的實施例針對被配置成產(chǎn)生基本上改進相關技術的觸覺效果的電子設備。

實施例的特征和優(yōu)點在下面的描述中闡述，或者將從描述中顯而易見，或者可以通過實踐本發(fā)明來了解。

在一種示例實施例中，提供了用于提供基于媒體流渲染的觸覺效果的功能。在接收到媒體流時，基于媒體流生成觸覺驅(qū)動信號。然后施加觸覺驅(qū)動信號以在觸覺輸出設備處渲染觸覺效果。在媒體編輯應用中，可以修改媒體流。響應于修改，可以基于對媒體流的修改生成修改后的觸覺驅(qū)動信號。因此，在觸覺輸出設備處渲染修改后的觸覺效果。

要理解的是，前面的一般描述和以下的詳細描述都是示例性和說明性的，并不旨在將本發(fā)明限制到所描述的示例。

附圖說明

根據(jù)以下對優(yōu)選實施例的詳細描述，其他實施例、細節(jié)、優(yōu)點和修改將變得顯而易見，其中優(yōu)選實施例要結合附圖來理解。

圖1圖示根據(jù)本發(fā)明的示例實施例的系統(tǒng)的框圖。

圖2是圖示根據(jù)本發(fā)明的示例實施例的用于提供基于媒體流渲染的觸覺效果的系統(tǒng)的簡化框圖。

圖3圖示根據(jù)本發(fā)明的示例實施例的觸覺效果軟件棧的框圖。

圖4是圖示根據(jù)本發(fā)明的另一種示例實施例的用于提供基于媒體流渲染的觸覺效果的系統(tǒng)的簡化框圖。

圖5圖示根據(jù)本發(fā)明的示例實施例的用于提供基于媒體流渲染的觸覺效果的功能的流程圖。

圖6圖示根據(jù)本發(fā)明的示例實施例的媒體編輯應用。

圖7圖示根據(jù)本發(fā)明的示例實施例的用于用預期的輸入信號映射用戶輸入元件的位置的功能的流程圖。

圖8圖示適于與本發(fā)明的實施例一起使用的控制器的功能框圖。

圖9a和9b圖示適于與本發(fā)明的實施例一起使用的控制器的不同視圖。

具體實施方式

示例實施例針對用于提供基于媒體數(shù)據(jù)流渲染的觸覺效果的功能。媒體流可以源自各種應用，從而將觸覺效果的使用擴展到這樣的應用。在接收到媒體流時，基于媒體流生成觸覺驅(qū)動信號。然后施加觸覺驅(qū)動信號以在觸覺輸出設備處渲染觸覺效果。在一些配置中，可以修改媒體流。例如，可以通過媒體編輯應用來修改媒體流。響應于修改，可以基于對媒體流的修改生成修改后的觸覺驅(qū)動信號，使得在觸覺輸出設備處渲染修改后的觸覺效果。

在各種實施例中，描述了用于使用設備的各種用戶界面和方法。在一些實施例中，設備是便攜式電子設備(例如，游戲控制器、控制臺、移動電話、智能電話、平板電腦等)。但是，應當理解的是，用戶界面和相關聯(lián)的方法可以應用到許多其它設備(諸如，個人計算機、醫(yī)療設備、筆記本電腦等)，這些設備可以包括一個或多個其它物理用戶界面設備，諸如鍵盤、鼠標、軌跡球等。

圖1圖示根據(jù)本發(fā)明的示例實施例的系統(tǒng)100的框圖。

系統(tǒng)100可以包括被配置成從遠程源傳輸和/或接收數(shù)據(jù)的通信設備110。通信設備110可以通過編碼要經(jīng)網(wǎng)絡(未示出)從處理器120發(fā)送到另一個設備的數(shù)據(jù)和解碼經(jīng)網(wǎng)絡從另一個系統(tǒng)接收到的用于處理器120的數(shù)據(jù)在處理器120和其它設備之間啟用連接。

例如，通信設備110可以包括被配置成提供無線網(wǎng)絡通信的網(wǎng)絡接口卡?？梢允褂酶鞣N無線通信技術，包括紅外線、無線電、藍牙、wi-fi和/或蜂窩通信?？商娲兀ㄐ旁O備110可以被配置成提供(一個或多個)有線網(wǎng)絡連接，諸如以太網(wǎng)連接。

處理器120可以包括執(zhí)行系統(tǒng)100的計算和控制功能的一個或多個通用或?qū)Ｓ锰幚砥?。處理?20可以包括單個集成電路(諸如，微處理設備)，或者可以包括協(xié)同工作以完成處理器120的功能的若干集成電路設備和/或電路板。此外，處理器120可以執(zhí)行存儲在存儲器140內(nèi)的計算機程序，諸如操作系統(tǒng)141、媒體驅(qū)動器模塊142和其它應用143。

系統(tǒng)100可以包括用于存儲由處理器120執(zhí)行的信息和指令的存儲器140。存儲器140可以包含用于檢索、呈現(xiàn)、修改和存儲數(shù)據(jù)的各種部件。例如，存儲器140可以存儲當由處理器120執(zhí)行時提供功能的軟件模塊。模塊可以包括為系統(tǒng)100提供操作系統(tǒng)功能的操作系統(tǒng)141。模塊還可以包括媒體驅(qū)動器模塊142，該媒體驅(qū)動器模塊142被配置成提供基于媒體流渲染的觸覺效果。媒體流可以源自各種其它應用143。相應地，觸覺效果可以擴展到其它應用143。在一些配置中，可以修改媒體數(shù)據(jù)流，使得可以基于媒體流渲染附加的觸覺效果。系統(tǒng)100中的其它應用143可以包括附加的功能，諸如被配置成向外圍設備(諸如，控制器150(例如，游戲手柄，可穿戴設備等))提供控制功能的外圍固件。

非瞬態(tài)存儲器140可以包括可由處理器120訪問的各種計算機可讀介質(zhì)。在各種實施例中，存儲器140可以包括易失性介質(zhì)和非易失性介質(zhì)、可移動介質(zhì)和不可移動介質(zhì)。例如，存儲器140可以包括以下中的任意組合：隨機存取存儲器(“ram”)、動態(tài)ram(“dram”)、靜態(tài)ram(“sram”)、只讀存儲器(“rom”)、閃存、高速緩存存儲器和/或任何其它類型的非瞬態(tài)計算機可讀介質(zhì)。可替代地或附加地，存儲器140可以包括一個或多個網(wǎng)絡或云訪問存儲介質(zhì)。

雖然被示為單個系統(tǒng)，但是系統(tǒng)100的功能可以被實現(xiàn)為分布式系統(tǒng)。例如，存儲器140和處理器120可以跨共同包括系統(tǒng)100的若干不同計算機分布。在一種實施例中，系統(tǒng)100可以是設備(例如，個人計算機、控制臺、視頻游戲控制臺等)的一部分，并且系統(tǒng)100為設備提供觸覺效果功能。在另一種實施例中，系統(tǒng)100可以與設備分離，并且可以為設備遠程地提供上述功能。

系統(tǒng)100可以可操作地連接到控制器150?？刂破?50可以是被配置成向系統(tǒng)100提供輸入的外圍設備?？刂破?50可以使用或者無線連接或者有線連接可操作地連接到系統(tǒng)100?？刂破?50還可以包括被配置成使用或者無線連接或者有線連接與系統(tǒng)100通信的本地處理器?？商娲?，控制器150可以被配置成不包括本地處理器，并且與控制器150相關聯(lián)的所有輸入信號和/或輸出信號可以由系統(tǒng)100的部件來處理。在其中控制器150具有本地處理器的實施例中，附加功能(諸如，被配置成提供控制功能的媒體驅(qū)動器模塊和外圍固件)可以駐留在控制器150內(nèi)。

控制器150還可以包括一個或多個數(shù)字按鈕、一個或多個模擬按鈕、一個或多個緩沖器、一個或多個方向盤、一個或多個模擬或數(shù)字桿、一個或多個驅(qū)動輪、和/或一個或多個用戶輸入元件，該一個或多個用戶輸入元件可以由用戶與其交互并且可以向系統(tǒng)100提供輸入?？刂破?50還可以包括一個或多個模擬或數(shù)字觸發(fā)按鈕(或“觸發(fā)器”)，該一個或多個模擬或數(shù)字觸發(fā)按鈕(或“觸發(fā)器”)可進一步由用戶與其交互并且可以進一步向系統(tǒng)100提供輸入。如下面更詳細描述的，控制器150還可以包括被配置成在控制器150的至少一個觸發(fā)器上施加雙向推/拉力的馬達或另一種類型的致動器或觸覺輸出設備。

控制器150還可以包括一個或多個致動器或其它類型的觸覺輸出設備。控制器150的本地處理器，或者其中控制器150不包括本地處理器的實施例中的處理器120可以將與觸覺效果相關聯(lián)的觸覺信號傳輸?shù)娇刂破?50的至少一個致動器。致動器又響應于觸覺信號輸出觸覺效果，諸如振動觸感觸覺效果、動覺觸覺效果或變形觸覺效果?？梢栽诳刂破?50的用戶輸入元件(例如，數(shù)字按鈕、模擬按鈕、緩沖器、方向盤、模擬或數(shù)字桿、驅(qū)動輪或觸發(fā)器)處體驗到觸覺效果。可替代地，可以在控制器150的外表面處體驗到觸覺效果。

致動器是觸覺輸出設備的示例，其中觸覺輸出設備是被配置成響應于驅(qū)動信號而輸出觸覺效果的設備，觸覺效果諸如振動觸感觸覺效果、靜電摩擦觸覺效果、溫度變化和/或變形觸覺效果。在替代的實施例中，控制器150內(nèi)的一個或多個致動器可以由一些其它類型的觸覺輸出設備代替。觸覺輸出設備可以是例如電馬達、電磁致動器、音圈、形狀記憶合金、電活性聚合物、螺線管、偏心旋轉(zhuǎn)質(zhì)量馬達(“erm”)、諧波erm馬達(“herm”)、線性諧振致動器(“l(fā)ra”)、壓電致動器、高帶寬致動器、電活性聚合物(“eap”)致動器、靜電摩擦顯示器或超聲波振動發(fā)生器。在一些情況下，觸覺輸出設備可以包括觸覺輸出驅(qū)動電路。在一些實施例中，觸覺輸出設備可以是單向的或雙向的。

控制器150還可以包括一個或多個揚聲器?？刂破?50的本地處理器，或者其中控制器150不包括本地處理器的實施例中的處理器120可以將音頻信號傳輸?shù)娇刂破?50的至少一個揚聲器，該揚聲器又輸出音頻效果。揚聲器可以是例如動態(tài)擴音器、電動擴音器、壓電擴音器、磁致伸縮擴音器、靜電擴音器、帶及平面磁性擴音器、彎曲波擴音器、平板擴音器、帶狀空氣運動換能器、等離子弧揚聲器和數(shù)字擴音器。

控制器150還可以包括一個或多個傳感器。傳感器可以被配置成檢測能量的形式或其它物理性質(zhì)，諸如但不限于，聲音、移動、加速度、生物信號、距離、流量、力/壓力/應變力/、彎曲、濕度、線性位置、朝向/傾斜、射頻、旋轉(zhuǎn)位置、旋轉(zhuǎn)速度、開關的操作、溫度、振動或可見光強度。傳感器還可以被配置成將檢測到的能量或其它物理性質(zhì)轉(zhuǎn)換為電信號或表示虛擬傳感器信息的任何信號，并且控制器150可以將轉(zhuǎn)換后的信號發(fā)送到控制器150的本地處理器，或者在其中控制器150不包括本地處理器的實施例中發(fā)送到處理器120。

圖2是圖示根據(jù)本發(fā)明的示例實施例的用于提供基于媒體流渲染的觸覺效果的系統(tǒng)200的簡化框圖。

如圖2所示，系統(tǒng)200包括一個或多個應用210。應用210中的每一個可以生成各種媒體流215，諸如標準的或?qū)Ｓ械囊纛l流和/或視頻流。

媒體流215被提供給媒體驅(qū)動器220。在接收到媒體流215時，媒體驅(qū)動器220可以基于媒體流215生成觸覺驅(qū)動信號225。在一些配置中，觸覺驅(qū)動信號225可以嵌入在媒體流215內(nèi)。在其它配置中，可以由媒體驅(qū)動器220基于媒體流215實時或基本上實時地生成觸覺驅(qū)動信號225。觸覺驅(qū)動信號225然后被發(fā)送到控制器230。

在控制器230處，觸覺驅(qū)動信號225可以由一個或多個觸覺輸出設備232執(zhí)行。通過執(zhí)行觸覺驅(qū)動信號225，觸覺輸出設備232將觸覺效果渲染給終端用戶。

在一些實施例中，媒體流220可以被修改。例如，媒體流215可以被媒體編輯應用修改。響應于修改，可以基于對媒體流215的修改生成修改后的觸覺驅(qū)動信號(未示出)，使得在控制器230內(nèi)的觸覺輸出設備232處渲染修改后的觸覺效果。

圖3圖示根據(jù)本發(fā)明的示例實施例的觸覺效果軟件棧300的框圖。如圖3所示，軟件棧300包括設備模塊310、外圍固件模塊320、控制器模塊330、驅(qū)動模塊340和震動(rumble)驅(qū)動模塊350。觸覺效果軟件棧300在系統(tǒng)(諸如，圖1的系統(tǒng)100)上實現(xiàn)。

設備模塊310可以包括各種模塊，諸如輸入管理代碼311、外圍輸入應用編程接口(“api”)312、震動api313、觸覺效果api314、直接重放/交叉器315、觸發(fā)器引擎316、空間化引擎317和編碼器318。

輸入管理代碼311可以包括一組計算機可讀指令，在設備內(nèi)執(zhí)行的游戲應用或其它類型的應用的上下文中該計算機可讀指令管理由控制器330提供的輸入。

外圍輸入api312可以包括一組計算機可讀函數(shù)或例程，該計算機可讀函數(shù)或例程使得游戲輸入管理代碼311能夠與外圍固件320交互，以便接收和管理由控制器330提供的輸入。

震動api313可以包括一組計算機可讀函數(shù)或例程，該計算機可讀函數(shù)或例程使得輸入管理代碼311能夠與外圍固件320交互，以便將震動指令傳輸?shù)娇刂破?30的一個或多個震動馬達或震動致動器(例如，圖3的震動馬達l和r)。此外，震動指令可以使得控制器330的震動馬達或震動致動器產(chǎn)生通用觸覺效果或震動觸覺效果。

觸覺效果api314(在圖3中被標識為“api”)可以包括一組計算機可讀函數(shù)或例程，該計算機可讀函數(shù)或例程可由輸入管理代碼311訪問并且使得輸入管理代碼311能夠與外圍固件320交互，以便將觸覺指令傳輸?shù)娇刂破?30。此外，觸覺指令可以使得控制器330的一個或多個目標馬達或目標致動器在控制器330的一個或多個用戶輸入元件處產(chǎn)生觸覺效果。

觸覺效果api314還可以存儲一個或多個觸覺效果定義。觸覺效果定義是包括觸覺數(shù)據(jù)(諸如，觸覺信號)的數(shù)據(jù)結構，該觸覺數(shù)據(jù)被預定義并且可以存儲在存儲設備(諸如，觸覺文件或觸覺流)中，并且可以被發(fā)送到一個或多個震動馬達、震動執(zhí)行器、目標馬達或目標致動器，以在控制器330的部件或用戶輸入元件處產(chǎn)生觸覺效果。觸覺數(shù)據(jù)可以包括對應的觸覺效果的一個或多個屬性，其中屬性可以存儲為參數(shù)。觸覺效果定義的示例參數(shù)可以包括振幅參數(shù)、頻率參數(shù)、波形參數(shù)、包絡參數(shù)、幅度(或強度)參數(shù)和持續(xù)時間參數(shù)。

觸覺效果api314可以使得游戲輸入管理代碼311能夠與直接回放/交叉器315、觸發(fā)器引擎316和空間化引擎317交互，并且還可以根據(jù)由游戲輸入管理代碼311調(diào)用的請求來管理直接重放/交叉器315、觸發(fā)器引擎316和空間化引擎317。此外，觸覺效果api314可以存儲用于與外圍固件320通信和用于生成一個或多個觸覺效果的數(shù)據(jù)。

直接回放/交叉器315可以接收觸覺數(shù)據(jù)作為輸入、產(chǎn)生觸覺數(shù)據(jù)作為輸出、以及將觸覺數(shù)據(jù)發(fā)送到控制器330的一個或多個目標馬達或目標致動器(例如，圖3的馬達l和r)。在一些實施例中，直接回放/交叉器315可以將輸入觸覺數(shù)據(jù)直接輸出，而不修改輸入觸覺數(shù)據(jù)的格式。這導致輸入觸覺數(shù)據(jù)的“原樣”回放。在其它實施例中，直接回放/交叉器315可以將以第一格式輸入的觸覺數(shù)據(jù)轉(zhuǎn)換為第二格式，并且可以進一步輸出轉(zhuǎn)換后的觸覺數(shù)據(jù)。取決于回放的類型，直接回放/交叉器315可以可選地使用可編程交叉器來轉(zhuǎn)換觸覺數(shù)據(jù)。通過轉(zhuǎn)換觸覺數(shù)據(jù)，設備模塊可以解構觸覺效果并在若干致動器處回放觸覺效果。

觸覺數(shù)據(jù)的格式可以是觸覺基本流(“hes”)格式。hes格式是用于表示可以被流式傳輸?shù)皆O備的觸覺數(shù)據(jù)的文件或數(shù)據(jù)格式。雖然可以在hes格式內(nèi)加密觸覺數(shù)據(jù)，但是可以用與如何表示未壓縮的聲音相同或相似的方式來表示觸覺數(shù)據(jù)。

觸發(fā)器引擎316可以接收觸覺數(shù)據(jù)(諸如，觸覺效果定義)，并且可以基于用戶輸入數(shù)據(jù)(諸如，觸發(fā)器數(shù)據(jù)323)修改觸覺數(shù)據(jù)。觸發(fā)器數(shù)據(jù)是包括指示控制器330的一個或多個觸發(fā)器(例如，圖3的觸發(fā)器l和r)的位置和/或范圍的一個或多個參數(shù)的數(shù)據(jù)。觸發(fā)器引擎316還可以向控制器330傳輸觸覺指令。例如，觸發(fā)器引擎316可以將觸覺指令傳輸?shù)娇刂破?30的各種用戶輸入元件。如前所述，觸覺指令可以使得控制器330的一個或多個目標馬達或目標致動器在控制器330的一個或多個用戶輸入元件處產(chǎn)生觸覺效果。

空間化引擎317可以接收觸覺數(shù)據(jù)并且可以基于空間化數(shù)據(jù)修改觸覺數(shù)據(jù)。空間化數(shù)據(jù)可以包括指示觸覺效果的期望方向和/或流動(諸如，觸覺效果在相應用戶輸入元件上的排序)的數(shù)據(jù)。在某些實施例中，空間化引擎317可以從輸入管理代碼311接收包括方向和/或流動的空間化數(shù)據(jù)。

空間化引擎317可以修改觸覺數(shù)據(jù)，使得觸覺效果(諸如，觸發(fā)器觸覺效果)對于控制器330的一個或多個震動馬達或震動致動器(例如，圖3的震動馬達l和r)進行縮放，并且觸覺效果也對于控制器330的一個或多個目標馬達或目標致動器(例如，如圖3所示的馬達l和r)進行縮放。換句話說，空間化引擎317可以修改發(fā)送到每一個馬達或致動器的觸覺數(shù)據(jù)，并且因此，修改在每一個馬達或致動器處體驗到的觸覺效果，以便傳達整體觸覺效果的方向和流動感。例如，為了強調(diào)在馬達或致動器處體驗到的觸覺效果，空間化引擎317可以縮放觸覺效果的一個或多個部分。例如，空間化引擎317可以縮放發(fā)送到使得觸覺效果被體驗到的馬達或致動器的觸覺數(shù)據(jù)，從而使得觸覺效果更顯著(例如，增大的幅度，持續(xù)時間等)。此外，空間化引擎317可以縮放發(fā)送到其它馬達或致動器的觸覺數(shù)據(jù)，從而使得在那些馬達或致動器處體驗到的其它觸覺效果不太顯著(例如，減小的幅度、持續(xù)時間等)。在一些實施例中，空間化引擎317可以實時地或基本上實時地修改觸覺數(shù)據(jù)。此外，在一些實施例中，空間化引擎317可以在輸入、馬達或致動器、輸出之間具有非線性關系，以便夸大整體觸覺效果。

編碼器318將從直接回放/交叉器315、觸發(fā)器引擎316和/或空間化引擎317接收到的觸覺數(shù)據(jù)編碼成格式。在一種實施例中，格式可以是hes格式。編碼器318可以將編碼的觸覺數(shù)據(jù)傳輸?shù)酵鈬碳?20。

外圍固件320是用于一個或多個外圍設備(例如，控制器)的固件。外圍固件320可以包括各種模塊，諸如解碼器和交叉器321、觸發(fā)器控件322、觸發(fā)器數(shù)據(jù)323、其它功能324和震動控件325。

解碼器和交叉器321可以從編碼器318接收編碼的觸覺數(shù)據(jù)，并對編碼的觸覺數(shù)據(jù)進行解碼。在一些實施例中，解碼器和交叉器321計算可編程交叉器，以便對編碼的觸覺數(shù)據(jù)進行解碼。解碼器和交叉器321可以實時計算可編程交叉器。

觸發(fā)器控件322是用于控制器330的一個或多個目標馬達或目標致動器(例如，圖3的馬達l和r)的低級控制api。觸發(fā)器控件322可以接收觸發(fā)指令并且可以將觸發(fā)指令轉(zhuǎn)換成用于控制器330的指定目標馬達或目標致動器的低級觸發(fā)指令，并且可以將低級觸發(fā)指令傳輸?shù)娇刂破?30的指定目標馬達或目標致動器。低級觸發(fā)指令可以使得指定目標馬達或目標致動器在控制器330的指定觸發(fā)器處產(chǎn)生觸發(fā)器觸覺效果。

如前所述，觸發(fā)器數(shù)據(jù)323是包括指示控制器330的一個或多個觸發(fā)器(例如，圖3的觸發(fā)器l和r)的位置和/或范圍的一個或多個參數(shù)的數(shù)據(jù)。外圍固件320可以從控制器330接收觸發(fā)器數(shù)據(jù)323。外圍固件320還可以存儲觸發(fā)器數(shù)據(jù)323，并且還可以將觸發(fā)器數(shù)據(jù)323傳輸?shù)皆O備模塊310。

其它游戲手柄功能324可以是由外圍固件320管理的控制器330的功能。這樣的功能可以包括諸如有線/無線通信、輸入報告、協(xié)議實現(xiàn)、電源管理等的功能。

震動控制325是用于控制器330的一個或多個震動馬達或震動致動器(例如，圖3的震動馬達l和r)的低級控制api。震動控制325可以接收震動指令、可以將震動指令轉(zhuǎn)換為用于控制器330的指定震動馬達或震動致動器的低級震動指令，并且可以將低級觸發(fā)指令傳輸?shù)娇刂破?30的指定震動馬達或震動致動器。

媒體驅(qū)動器模塊326是被配置成提供基于媒體流渲染的觸覺效果的固件模塊。媒體流可以源自在系統(tǒng)(諸如，圖1的系統(tǒng)100)上執(zhí)行的各種其它應用。響應于接收到接收媒體流，媒體驅(qū)動器模塊326可以基于媒體流生成觸覺驅(qū)動信號。可以由控制器330的一個或多個觸覺輸出設備執(zhí)行觸覺驅(qū)動信號。

控制器330可以包括觸發(fā)器l和r。控制器330還可以包括齒輪箱l和r以及馬達l和r。馬達l和齒輪箱l在控制器330內(nèi)可操作地耦合到觸發(fā)器l。同樣，馬達r和齒輪箱r在控制器330內(nèi)可操作地耦合到觸發(fā)器r。當馬達l接收到觸發(fā)指令時，馬達l和齒輪箱l可以共同地使得在觸發(fā)器l處感受到觸發(fā)器觸覺效果。同樣，當馬達r接收到觸發(fā)指令時，馬達r和齒輪箱r可以共同地使得在觸發(fā)器r處感受到觸發(fā)器觸覺效果。外圍固件320可以使用驅(qū)動電子器件340向控制器330的馬達l和r發(fā)送觸發(fā)指令。

控制器330還可以包括電位計l和r。電位計l可以檢測觸發(fā)器l的位置和/或范圍，并且還可以將檢測到的觸發(fā)器l的位置和/或范圍作為觸發(fā)器數(shù)據(jù)發(fā)送到外圍固件320。同樣，電位計r可以檢測觸發(fā)器r的位置和/或范圍，并且還可以將檢測到的觸發(fā)器r的位置和/或范圍作為觸發(fā)器數(shù)據(jù)發(fā)送到外圍固件320。

控制器330還可以包括震動馬達l和r。當震動馬達l接收到震動指令時，震動馬達l使得觸覺效果沿著控制器330的左部件被感受到。同樣，當震動馬達r接收到震動指令時，震動馬達r使得觸覺效果沿著控制器330的右部件被感受到。外圍固件320可以使用震動驅(qū)動電子器件350向震動馬達l和r發(fā)送震動指令。

圖4是圖示根據(jù)本發(fā)明的另一種示例實施例的用于提供基于媒體流渲染的觸覺效果的系統(tǒng)400的簡化框圖。如圖4所示，系統(tǒng)400包括(一個或多個)媒體流410、觸覺輸出驅(qū)動器420和控制器430。

作為系統(tǒng)400的輸入，一個或多個應用可以生成各種(一個或多個)媒體流410，諸如音頻流和/或視頻流。媒體流420由觸覺輸出驅(qū)動器420檢索。觸覺輸出驅(qū)動器420可以包括各種部件，以便基于(一個或多個)媒體流410生成并進一步處理觸覺驅(qū)動信號。在圖4中描繪的示例配置中，觸覺輸出驅(qū)動器420可以包括媒體分離器421、觸覺數(shù)據(jù)轉(zhuǎn)換器422、協(xié)議管理器423、xpc(“進程間通信”)處理機424和xpc服務425。

在觸覺輸出驅(qū)動器420內(nèi)，媒體分離器421接收傳入的(一個或多個)媒體流410。例如，(一個或多個)媒體流410可以包括交錯的多聲道(例如，六聲道)音頻流。分離器塊421被配置成對(一個或多個)媒體流410(諸如，交錯的音頻流)進行解交錯，并且將各個聲道的音頻數(shù)據(jù)分離到相應的聲道緩沖器(未示出)中。

在將媒體流部件存儲在聲道緩沖器內(nèi)時，觸覺轉(zhuǎn)換器422可以基于(一個或多個)媒體流410生成觸覺驅(qū)動信號。在一些實施例中，觸覺轉(zhuǎn)換器422基于一個或多個峰值檢測算法(例如，峰值振幅或頻率)生成觸覺驅(qū)動信號?？商娲鼗蚋郊拥?，觸覺轉(zhuǎn)換器422基于與觸覺輸出設備相關聯(lián)的用戶輸入元件的位置生成觸覺驅(qū)動信號。這里，如果相關聯(lián)的用戶輸入元件被布置在一個或多個預定位置值處，那么觸覺輸出設備可以被激活。

在一些情況下，峰值檢測算法可以基于觸覺輸出設備的更新速率將媒體流拆分成段。例如，1ms段可以用于具有1ms更新速率的觸覺輸出設備。在每一個段內(nèi)，識別峰值。然后可以基于觸覺輸出設備的操作特性將識別出的峰值轉(zhuǎn)換成對應的觸覺驅(qū)動值。例如，16位脈沖編碼調(diào)制(“pcm”)音頻流可以包括在范圍[-32768,32767]內(nèi)的數(shù)據(jù)值。在這個示例中，恒定的最大強度音頻流可以包括“32767”值的流。在音頻到觸覺數(shù)據(jù)轉(zhuǎn)換期間，音頻流值可以被轉(zhuǎn)換成觸覺驅(qū)動信號值。返回到示例，最大音頻強度值32767可以被轉(zhuǎn)換為觸覺驅(qū)動值255。

隨后，協(xié)議管理器423可以根據(jù)與主機設備和控制器430相關聯(lián)的一個或多個標準化或?qū)Ｓ袇f(xié)議對觸覺驅(qū)動信號進行編碼。xpc處理機424是可以被配置成與xpc服務425對接的通信處理機。在這個示例配置中，xpc服務425在傳入分組426處接收編碼的驅(qū)動信號，并且usb(“通用串行總線”)通信處理機427以usb兼容格式將編碼的觸覺驅(qū)動信號傳輸?shù)娇刂破?30。

通過實現(xiàn)系統(tǒng)400的模塊化體系架構，源自任何應用(包括原先沒有被設計為產(chǎn)生觸覺效果的應用)的媒體流可以用于生成觸覺效果。因此，觸覺效果可以被擴展到任何數(shù)量的應用。在一些情況下，源自若干應用的媒體流可以用于渲染觸覺效果。此外，可以在若干設備處渲染觸覺效果。

圖5圖示根據(jù)本發(fā)明的示例實施例的用于提供基于媒體流渲染的觸覺效果的功能的流程圖。在一些配置中，可以由存儲在存儲器或其它計算機可讀或有形介質(zhì)中并由處理器執(zhí)行的軟件來實現(xiàn)圖5(和下面的圖7)的流程圖的功能。在其它實施例中，可以由硬件(例如，通過使用專用集成電路(“asic”)、可編程門陣列(“pga”)、現(xiàn)場可編程門陣列(“fpga”)等)或硬件和軟件的任何組合來執(zhí)行功能。

首先，在510處，功能500接收可能源自各種應用的媒體流。通過從任何數(shù)量的應用(包括原先沒有被設計為產(chǎn)生觸覺效果的應用)接收媒體流500，觸覺效果的使用可以被擴展到這些應用。

在520處，在接收到媒體流時，基于媒體流生成觸覺驅(qū)動信號。在一些配置中，觸覺驅(qū)動信號可以嵌入在媒體流內(nèi)。可替代地或附加地，可以由媒體驅(qū)動器模塊基于媒體流的一個或多個特性(例如，振幅、頻率等)來生成觸覺驅(qū)動信號。在再另一種配置中，離線觸覺轉(zhuǎn)換器可以用于使用效果文件將媒體流轉(zhuǎn)換為觸覺數(shù)據(jù)。效果文件然后可以用于使用存儲在主機設備處的觸覺回放應用在觸覺輸出設備處渲染觸覺效果。這里，觸覺驅(qū)動信號可以實時或基本上實時地生成。接下來，在530處，觸覺驅(qū)動信號由觸覺輸出設備執(zhí)行，以向終端用戶渲染觸覺效果。

在一些配置中，媒體流可以被修改。例如，可以由觸覺效果設計者使用的媒體編輯應用來修改媒體數(shù)據(jù)流。在540處，修改后的媒體流可以被接收。響應于修改，在550處，可以基于修改后的媒體流生成修改后的觸覺驅(qū)動信號。最后，在560處，在觸覺輸出設備處渲染修改后的觸覺效果。

圖6圖示根據(jù)本發(fā)明的示例實施例的媒體編輯應用600。

如圖6所示，媒體編輯應用600可以包括多個部分，諸如菜單視圖610、媒體流視圖620和觸覺效果視圖630。例如，在媒體流視圖620內(nèi)，可以圖示媒體流(諸如，音頻流)的振幅和/或頻率。在另一個示例(未示出)中，也可以圖形地描繪視頻流的亮度。使用一個或多個峰值檢測算法，可以在具有預定(例如，高)振幅、頻率、亮度或其它媒體流特性的時候渲染觸覺效果?？梢栽谟|覺效果視圖630內(nèi)添加、刪除和/或以其它方式修改觸覺效果。

圖7圖示根據(jù)本發(fā)明的示例實施例的用于用預期的輸入信號映射用戶輸入元件的位置的功能700的流程圖。

首先，在710處，控制器的用戶輸入元件可以被初始化。這里，功能700可以初始地為用戶輸入元件設置位置和范圍信息。在一些情況下，可以基于用戶輸入設備從最大出去位置到地面位置的移動來計算這些值。

接下來，在720處，功能700確定并存儲用戶輸入元件的簡檔。所確定的簡檔可以將用戶輸入設備的每一個位置映射到模數(shù)轉(zhuǎn)換(“adc”)值。例如，720確定的簡檔可以將用戶輸入設備的每一個位置映射到0和255之間的adc值。

所確定的簡檔可以或者利用遞增的簡檔或者利用遞減的簡檔。例如，當從8位adc數(shù)據(jù)讀取用戶輸入值的位置時，遞增的簡檔將產(chǎn)生值[0,255]。類似地，當從8位adc數(shù)據(jù)讀取時，遞減的簡檔將產(chǎn)生值[255,0]。

隨后，在730處，功能700確定并存儲用戶輸入設備的每一個位置的預期輸入信號。在一些情況下，用戶輸入值的范圍可以與期望的輸入信號相關聯(lián)。

在一些情況下，用戶輸入元件的靜止位置在不同時間可以變化。例如，在使用各種用戶輸入設備之后，一些用戶輸入設備可以不返回到當用戶交互被去除時的相同靜止位置。在這種情況下，功能700可以在740處調(diào)整這些用戶輸入元件的確定的簡檔和期望的用戶輸入值。相應地，在監(jiān)視用戶輸入元件的位置的同時，可以考慮(一個或多個)改變的靜止位置。

圖8圖示適于與本發(fā)明的實施例一起使用的控制器800的功能框圖。

如圖8所圖示，控制器800可以包括各種用戶輸入元件中的一個或多個。用戶輸入元件可以指的是由用戶操縱以與主機計算機804交互的任何接口設備。示例用戶輸入元件包括模擬或數(shù)字操縱桿810、按鈕814、觸發(fā)器818等。如本領域普通技術人員所理解的，每一個用戶輸入元件中的一個或多個可以被包括在控制器800上。例如，觸發(fā)器818的當前描述不將控制器800限制到單個觸發(fā)器。類似地，本領域技術人員可以理解的是，可以使用若干模擬或數(shù)字桿、按鈕和其它用戶輸入元件。

控制器800可以包括本地處理器808。本地處理器808可以經(jīng)由連接805與主機計算機804交換命令和數(shù)據(jù)。連接805可以是使用本領域技術人員已知的一個或多個通信協(xié)議的有線或無線連接。在一些情況下，控制器800可以替代地被配置成不包括本地處理器808。這里，來自控制器800的輸入/輸出信號可以由主機計算機804直接處置和處理。主機計算機804可以是游戲設備控制臺并且顯示設備806可以是可操作地耦合到游戲設備控制臺的屏幕。在一些情況下，主機計算機804和顯示設備806可以組合成單個設備。

控制器800可以包括目標致動器812、816、820(例如，馬達)，以直接驅(qū)動其用戶輸入元件中的每一個以及在用戶的手通常位于的位置可操作地耦合到殼體802的一個或多個通用或震動致動器822、824。更具體地，模擬或數(shù)字桿810包括可操作地耦合到其的目標致動器或馬達812，按鈕814包括可操作地耦合到其的目標致動器或馬達816，并且觸發(fā)器818包括可操作地耦合到其的目標致動器或馬達820。除了多個目標致動器之外，控制器800還包括可操作地耦合到其用戶輸入元件中的每一個的位置傳感器。更具體地，模擬或數(shù)字桿810包括可操作地耦合到其的位置傳感器811，按鈕814包括可操作地耦合到其的位置傳感器815，并且觸發(fā)器818包括可操作地耦合到其的位置傳感器819。本地處理器808可操作地耦合到目標致動器812、816、820以及分別耦合到模擬或數(shù)字桿810、按鈕814和觸發(fā)器818的位置傳感器811、815、819。響應于從位置傳感器811、815、819接收到的信號，本地處理器808指示目標致動器812、816、820分別向模擬或數(shù)字桿810、按鈕814和觸發(fā)器818直接提供定向的或有針對性的動覺效果。這種有針對性的動覺效果與由通用致動器822、824沿著控制器的整個主體產(chǎn)生的通用觸覺效果或震動觸覺效果可辨別或可區(qū)分。共同的觸覺效果向用戶提供了對游戲更強的沉浸感，因為若干形態(tài)(例如，視頻、音頻和觸覺)同時參與。

圖9a和9b圖示適于與本發(fā)明的實施例一起使用的控制器900的不同視圖。如圖9a和圖9b所示，控制器900可以包括各種部件，諸如殼體902、模擬或數(shù)字操縱桿910、(一個或多個)按鈕914、觸發(fā)器918以及震動致動器922和924。

殼體902被形成為使用戶容易地適應抓握控制器900。控制器900是控制器的示例實施例，并且本發(fā)明的實施例可以容易地應用于其它控制器形狀。

因此，本發(fā)明的實施例將觸覺效果的使用擴展到許多應用。此外，本發(fā)明的實施例還提供了平臺，該平臺用于觸覺效果設計者測試和/或修改基于源自這些應用的媒體流生成的觸覺效果。

本領域普通技術人員將容易理解的是，可以用不同順序的步驟和/或用以與所公開的配置不同配置的元件來實施如上所述的本發(fā)明。因此，雖然已經(jīng)基于這些優(yōu)選實施例描述了本發(fā)明，但是對于本領域技術人員將顯而易見的是，某些修改、變化和替代構造將是顯而易見的，同時保持在本發(fā)明的精神和范圍之內(nèi)。因此，為了確定本發(fā)明的邊界和界限，應當參考所附權利要求。