基于動(dòng)態(tài)縮放值的空間化的觸覺反饋的制作方法
【專利摘要】本申請涉及基于動(dòng)態(tài)縮放值的空間化的觸覺反饋。一種系統(tǒng)，基于媒體內(nèi)容提供觸覺反饋。所述系統(tǒng)把媒體內(nèi)容處理成包括第一成分和第二成分的成分。所述系統(tǒng)還確定與第一成分相關(guān)的第一優(yōu)先級值和與第二成分相關(guān)的第二優(yōu)先級值。所述系統(tǒng)還比較第一優(yōu)先級值與第二優(yōu)先級值。所述系統(tǒng)還基于所述比較生成第一控制信號和第二控制信號，其中第一控制信號配置為使第一觸覺反饋輸出，并且第二控制信號配置為使與第一觸覺反饋相同或不同的第二觸覺反饋輸出。
【專利說明】基于動(dòng)態(tài)縮放值的空間化的觸覺反饋
[0001]對相關(guān)申請的交叉引用
[0002]本申請要求于2013年9月6日提交的美國臨時(shí)專利申請序列號61/874，678的優(yōu)先權(quán)(其全部公開內(nèi)容通過引用被結(jié)合于此)。

【技術(shù)領(lǐng)域】
[0003]一種實(shí)施例一般涉及設(shè)備，并且更具體地涉及產(chǎn)生觸覺效果的設(shè)備。

【背景技術(shù)】
[0004]電子設(shè)備制造商努力為用戶生產(chǎn)豐富的接口。傳統(tǒng)設(shè)備使用視覺和聽覺提示向用戶提供反饋。在一些接口設(shè)備中，也向用戶提供動(dòng)覺反饋(kinesthetic feedback)(諸如主動(dòng)力和抵抗力反饋)和/或觸知反饋(諸如振動(dòng)、紋理和熱度)，更一般地統(tǒng)稱為“觸覺反饋”或“觸覺效果”。觸覺反饋可提供增強(qiáng)和簡化用戶接口的提示。具體而言，振動(dòng)效果，或者說振動(dòng)觸覺效果，會有助于給電子設(shè)備用戶提供提示以提醒用戶特定事件，或者在模擬或虛擬環(huán)境中提供逼真的反饋以產(chǎn)生更強(qiáng)烈的感官沉浸。
[0005]基于媒體內(nèi)容的媒體成分動(dòng)態(tài)地提供觸覺反饋可以為用戶提供強(qiáng)大和沉浸式的體驗(yàn)。但是，在有些情況下，不同的媒體成分會具有不同但足夠相似的媒體特性，使得基于媒體成分動(dòng)態(tài)生成的觸覺反饋難以區(qū)分。例如，在立體聲音頻實(shí)現(xiàn)中，當(dāng)用于左右音頻通道的音頻足夠相似時(shí)，對應(yīng)于“右”音頻通道并且經(jīng)“右”觸覺反饋輸出設(shè)備提供的觸覺反饋會與對應(yīng)于“左”音頻通道并且經(jīng)“左”觸覺反饋輸出設(shè)備提供的觸覺反饋不可區(qū)分。在以上例子中，用戶不能察覺到對應(yīng)于左右通道的觸覺反饋之間的區(qū)別。


【發(fā)明內(nèi)容】

[0006]一種實(shí)施例是一種基于媒體內(nèi)容提供觸覺反饋的系統(tǒng)。所述系統(tǒng)把媒體內(nèi)容處理成包括第一成分和第二成分的成分。所述系統(tǒng)還確定與第一成分相關(guān)的第一優(yōu)先級值和與第二成分相關(guān)的第二優(yōu)先級值。所述系統(tǒng)還比較第一優(yōu)先級值與第二優(yōu)先級值。所述系統(tǒng)還基于所述比較生成第一控制信號和第二控制信號，其中第一控制信號配置為使第一觸覺反饋輸出，并且第二控制信號配置為使與第一觸覺反饋相同或不同的第二觸覺反饋輸出。

【專利附圖】

【附圖說明】
[0007]進(jìn)一步的實(shí)施例、細(xì)節(jié)、優(yōu)點(diǎn)和修改將從以下對優(yōu)選實(shí)施例的具體描述變得顯然，優(yōu)選實(shí)施例要結(jié)合附圖來理解。
[0008]圖1根據(jù)本發(fā)明的實(shí)施例說明了用于基于媒體內(nèi)容的媒體成分的動(dòng)態(tài)縮放優(yōu)先級值提供觸覺反饋的系統(tǒng)。
[0009]圖2是根據(jù)本發(fā)明的實(shí)施例說明在用于基于媒體內(nèi)容的媒體成分的動(dòng)態(tài)縮放優(yōu)先級值提供觸覺反饋的系統(tǒng)中部件之間數(shù)據(jù)流的流程圖。
[0010]圖3A根據(jù)本發(fā)明的實(shí)施例說明了用于利用集成的觸覺和音頻輸出設(shè)備把音頻通道排定優(yōu)先次序的計(jì)算設(shè)備的例子。
[0011]圖3B根據(jù)本發(fā)明的實(shí)施例說明了用于利用集成的觸覺和圖像輸出設(shè)備把圖像成分排定優(yōu)先次序的計(jì)算設(shè)備的例子。
[0012]圖4根據(jù)本發(fā)明的實(shí)施例說明了用于利用遠(yuǎn)端觸覺和音頻輸出設(shè)備把音頻通道排定優(yōu)先次序的計(jì)算設(shè)備的例子。
[0013]圖5A是根據(jù)本發(fā)明的實(shí)施例說明縮放優(yōu)先級值的圖的例子。
[0014]圖5B是根據(jù)本發(fā)明的實(shí)施例說明縮放優(yōu)先級值的圖的例子。
[0015]圖5C是根據(jù)本發(fā)明的實(shí)施例說明縮放優(yōu)先級值的圖的例子。
[0016]圖是根據(jù)本發(fā)明的實(shí)施例說明縮放優(yōu)先級值的圖的例子。
[0017]圖6根據(jù)本發(fā)明的實(shí)施例說明了用于基于媒體內(nèi)容的媒體成分的動(dòng)態(tài)縮放優(yōu)先級值提供觸覺反饋的過程的例子。
[0018]圖7根據(jù)本發(fā)明的實(shí)施例說明了縮放優(yōu)先級值的例子。
[0019]圖8根據(jù)本發(fā)明的實(shí)施例說明了縮放優(yōu)先級值的例子。
[0020]圖9根據(jù)本發(fā)明的實(shí)施例說明了用于基于媒體內(nèi)容的輸入成分提供觸覺反饋的過程的例子。

【具體實(shí)施方式】
[0021]一種實(shí)施例是提供基于媒體成分的動(dòng)態(tài)縮放值空間變化的觸覺反饋的系統(tǒng)，其中媒體成分諸如音頻通道、圖像的區(qū)域或者媒體內(nèi)容的其它媒體成分。所述系統(tǒng)可以分析媒體成分并且基于所述分析自動(dòng)生成觸覺反饋。所述系統(tǒng)可以與媒體內(nèi)容的輸出配合地經(jīng)觸覺輸出設(shè)備提供觸覺反饋，其中媒體內(nèi)容的輸出是經(jīng)揚(yáng)聲器、圖像顯示器或者其它媒體輸出設(shè)備。因而，給定的媒體成分可以連同其對應(yīng)的觸覺反饋一起輸出，其中觸覺反饋可以由系統(tǒng)動(dòng)態(tài)確定。
[0022]為了比基于其它媒體成分的其它觸覺反饋更多地強(qiáng)調(diào)基于某些媒體成分的某些觸覺反饋，所述系統(tǒng)可以基于對媒體成分的分析來縮放觸覺反饋的一個(gè)或多個(gè)部分。例如，系統(tǒng)可以縮放使觸覺反饋生成、使觸覺反饋更顯著(例如，增加的量級、持續(xù)時(shí)間等)和/或使其它觸覺反饋更不顯著(例如，減小的量級、持續(xù)時(shí)間等)的信息。系統(tǒng)可以縮放信息，使得在被重放時(shí)原始媒體成分的圖像、音頻和/或其它輸出成分不被更改。換句話說，在從媒體內(nèi)容自動(dòng)生成的某些觸覺反饋比其它觸覺反饋更顯著或更不顯著的情況下，原始媒體內(nèi)容可以不被更改地重放(但是，在有些實(shí)現(xiàn)中，媒體內(nèi)容可以與觸覺反饋分開和/或一起縮放)。因此，即使在這種觸覺反饋是基于彼此相似的媒體成分的時(shí)候，所述系統(tǒng)也有助于可以被用戶區(qū)分的動(dòng)態(tài)觸覺反饋。
[0023]以這種方式，所述系統(tǒng)可以提高區(qū)分與不同媒體成分相關(guān)聯(lián)提供的不同觸覺反饋的能力，并且可以提供更豐富、更沉浸式的媒體體驗(yàn)。這種增強(qiáng)可以應(yīng)用到音頻、圖像(諸如視頻或靜止圖像)、視頻游戲，和/或其它媒體內(nèi)容。
[0024]在一種實(shí)施例中，所述系統(tǒng)可以把媒體成分排定優(yōu)先次序并且生成使觸覺輸出設(shè)備基于所述優(yōu)先次序提供觸覺反饋的控制信號。在有些實(shí)現(xiàn)中，例如，所述系統(tǒng)可以把媒體內(nèi)容處理成不同的媒體成分并且分析每個(gè)媒體成分以便自動(dòng)確定用來動(dòng)態(tài)確定觸覺反饋的對應(yīng)優(yōu)先級值。分析可以基于給定媒體成分的一個(gè)或多個(gè)媒體屬性。媒體屬性可以包括例如用于音頻內(nèi)容的聲音量級(除別的音頻屬性之外)、用于圖像內(nèi)容的顏色(除別的圖像屬性之外)、和/或可以為了分析而被量化或以別的方式進(jìn)行評估的媒體內(nèi)容的其它屬性。
[0025]所述系統(tǒng)可以比較媒體成分的每個(gè)優(yōu)先級值與至少另一個(gè)媒體成分的優(yōu)先級值(或者累計(jì)值，諸如平均值)。如果優(yōu)先級值之間的差值超過閾值，則優(yōu)先級值可以按比例放大或縮小。因而，有些優(yōu)先級值可以按比例放大，有些可以按比例縮小，還有一些可以完全不縮放。以這種方式，由于縮放，基于媒體成分的優(yōu)先級值生成的觸覺反饋可以更好區(qū)分。在有些實(shí)現(xiàn)中，所述系統(tǒng)可以不考慮是否到達(dá)閾值差地縮放優(yōu)先級值，使得縮放的程度可以基于優(yōu)先級值之間的差值。應(yīng)當(dāng)理解，“縮放優(yōu)先級值”或類似的語言可以包括縮放實(shí)際的媒體成分值(例如，音頻級別)和/或?yàn)榱嘶诿襟w內(nèi)容生成縮放后的觸覺反饋而基于實(shí)際的媒體成分值生成新值。
[0026]例如，在涉及具有左通道和右通道的音頻內(nèi)容的立體聲實(shí)施例中，如果預(yù)期的觸覺反饋要在右觸覺輸出設(shè)備但不在左觸覺輸出設(shè)備播放，則系統(tǒng)可以在朝上的方向縮放與右通道關(guān)聯(lián)的音頻內(nèi)容的一部分，并且可以在朝下的方向縮放與左通道關(guān)聯(lián)的音頻內(nèi)容的一部分。所述系統(tǒng)還可以基于與右通道關(guān)聯(lián)的音頻內(nèi)容的縮放部分生成觸覺效果，并且使所述觸覺效果在右觸覺輸出設(shè)備輸出。同樣，系統(tǒng)還可以基于與左通道關(guān)聯(lián)的音頻內(nèi)容的縮放部分生成觸覺效果，并且使所述觸覺效果在左觸覺輸出設(shè)備輸出。因而，基于動(dòng)態(tài)縮放，在右觸覺輸出設(shè)備輸出的觸覺效果可以更“顯著”或者“增強(qiáng)”，而在左觸覺輸出設(shè)備輸出的觸覺效果可以更“減小”。
[0027]圖1根據(jù)本發(fā)明的實(shí)施例說明了用于基于媒體內(nèi)容122的媒體成分的動(dòng)態(tài)縮放值提供觸覺反饋的系統(tǒng)100。系統(tǒng)100可以包括媒體源120、計(jì)算設(shè)備140、觸覺輸出設(shè)備162、圖像輸出設(shè)備164、音頻輸出設(shè)備166，和/或其它部件。雖然以上提到的部件在圖1中都只說明了單個(gè)實(shí)例，但是可以包括多于一個(gè)的這些部件。媒體內(nèi)容122可以包括音頻內(nèi)容、圖像內(nèi)容(例如，視頻、靜止圖像、視頻游戲的視覺表示，等等)、和/或其它內(nèi)容。音頻內(nèi)容的例子可以包括5.1多通道音頻、6.1多通道音頻、7.1多通道音頻、11.1多通道音頻，等等。媒體內(nèi)容122可以配置為視頻、音頻、視頻游戲表示、和/或可以被播放或以別的方式輸出的其它媒體。
[0028]在有些實(shí)施例中，媒體源120可以包括諸如在線視頻提供者或游戲服務(wù)器的在線媒體提供者，諸如盤播放器或視頻游戲控制臺的媒體播放器，另一計(jì)算設(shè)備，和/或可以把媒體122提供給計(jì)算設(shè)備140的其它設(shè)備。
[0029]在有些實(shí)施例中，計(jì)算設(shè)備140可以包括利用一個(gè)或多個(gè)計(jì)算機(jī)程序模塊編程的一個(gè)或多個(gè)處理器142，這些程序模塊可以存儲在一個(gè)或多個(gè)非暫時(shí)性的存儲介質(zhì)144中。計(jì)算設(shè)備140可以由一個(gè)或多個(gè)模塊來編程，以便把媒體內(nèi)容122的媒體成分排定優(yōu)先次序并且基于該優(yōu)先次序縮放觸覺反饋。模塊可以包括媒體處理模塊146、優(yōu)先化模塊148、縮放模塊150、觸覺反饋模塊152、媒體輸出模塊154、協(xié)調(diào)模塊156、和/或其它模塊。在備選實(shí)施例中，計(jì)算設(shè)備140可以由單個(gè)模塊諸如觸覺空間化模塊(圖1中未說明)來編程，以便把媒體內(nèi)容122的媒體成分排定優(yōu)先次序并且基于該優(yōu)先次序縮放觸覺反饋。
[0030]在有些實(shí)施例中，媒體處理模塊146可以配置為從媒體源120、計(jì)算機(jī)可讀介質(zhì)132、非暫時(shí)性存儲介質(zhì)144 (例如，當(dāng)媒體內(nèi)容122本地存儲在計(jì)算設(shè)備140時(shí))和/或媒體內(nèi)容122的其它源獲得媒體內(nèi)容122。例如，媒體內(nèi)容122可以被媒體處理模塊146流化、下載、拷貝、本地存儲、本地創(chuàng)建(例如，經(jīng)圖1中未說明的媒體捕捉設(shè)備)或以別的方式獲得。
[0031]不管媒體內(nèi)容122以何種方式獲得，媒體處理模塊146都可以配置為在存儲器中緩沖媒體內(nèi)容122，以便把媒體內(nèi)容122處理成一個(gè)或多個(gè)媒體成分，諸如用于音頻內(nèi)容的音頻通道和用于圖像內(nèi)容的圖像區(qū)域。
[0032]例如，媒體內(nèi)容122可以包括利用立體聲(即，雙通道)或環(huán)繞(B卩，多通道)聲音格式編碼的音頻內(nèi)容。在這些情況下，媒體處理模塊146可以利用常規(guī)的立體聲/多通道音頻解碼技術(shù)把媒體內(nèi)容122(例如，其音頻部分)解碼成單獨(dú)的音頻通道，用于把不同的音頻通道交付給單獨(dú)音頻輸出設(shè)備，諸如揚(yáng)聲器。
[0033]媒體內(nèi)容122可以附加地或者作為選擇包括圖像內(nèi)容，圖像內(nèi)容包括多個(gè)流(例如，對于獨(dú)立的顯示屏)和/或可以分成獨(dú)立圖像區(qū)域的單個(gè)流。在這些情況下，媒體處理模塊146可以利用常規(guī)的圖像處理技術(shù)處理媒體內(nèi)容122(例如，其圖像部分)，諸如利用圖像分段把圖像分成多個(gè)區(qū)域。每個(gè)區(qū)域可以基于像素的群集分組或者利用其它常規(guī)的圖像處理技術(shù)分組。
[0034]在有些實(shí)施例中，優(yōu)先化模塊148可以分析各個(gè)媒體成分并且基于該分析為每個(gè)媒體成分確定優(yōu)先級值。分析可以實(shí)時(shí)地進(jìn)行，使得當(dāng)每個(gè)媒體成分被媒體輸出設(shè)備輸出時(shí)，該媒體成分的優(yōu)先級值可以被確定?；蛘?，可以執(zhí)行分析，使得分析的結(jié)果被存儲，供隨后處理。
[0035]在媒體內(nèi)容122包括音頻內(nèi)容的實(shí)施例中，優(yōu)先化模塊148可以采樣音頻內(nèi)容，以確定音頻通道的音頻特性。音頻特性可以包括音頻的量級和/或音頻通道的其它特性。
[0036]在有些實(shí)施例中，優(yōu)先化模塊148可以以特定的幀速率采樣音頻內(nèi)容。每一幀音頻內(nèi)容可以被處理，使得該幀的特性可以被分析，以確定該音頻幀的音頻特性。對于音頻內(nèi)容的每個(gè)被采樣部分(例如，一個(gè)或多個(gè)幀)，優(yōu)先化模塊148可以確定對于音頻內(nèi)容的給定幀或其它部分的音頻特性。處理音頻內(nèi)容可以利用如在于2012年2月3日提交且標(biāo)題為 “Sound to Haptic Effect Convers1n System using Amplitude Value，，的共同擁有美國專利申請N0.13/365，984(該申請的全部內(nèi)容通過引用被結(jié)合于此)和于2012年2月3 日提交且標(biāo)題為 “Sound to Haptic Effect Convers1n System using Waveform，，的美國專利申請N0.13/366,010(該申請的全部內(nèi)容通過引用被結(jié)合于此)中所公開的系統(tǒng)來實(shí)現(xiàn)。
[0037]在有些實(shí)施例中，優(yōu)先化模塊148可以基于音頻特性確定優(yōu)先級值。例如，優(yōu)先級值可以等于或者以別的方式從音頻特性的值得出。音頻實(shí)施例中優(yōu)先級值的不同可以指示不同音頻通道的聲音的不同級別、類型、持續(xù)時(shí)間等，系統(tǒng)可以使用這些作為提供空間變化的觸覺反饋的基礎(chǔ)。
[0038]在媒體內(nèi)容122包括圖像內(nèi)容的實(shí)施例中，優(yōu)先化模塊148可以確定用于圖像(例如，靜止圖像或者視頻圖像幀)的給定分段區(qū)域的色相飽和度值(“HSV”)顏色柱狀圖或其它圖像處理值并且確定該HSV顏色柱狀圖是否從一個(gè)圖像區(qū)域到另一個(gè)區(qū)域有所不同。當(dāng)使用單獨(dú)的視頻流時(shí)，優(yōu)先化模塊148可以為每個(gè)流確定HSV值或基于圖像處理獲得的其它值。
[0039]當(dāng)HSV顏色柱狀圖從一個(gè)區(qū)域到另一個(gè)區(qū)域或者從一個(gè)圖像流到另一個(gè)圖像流有所不同時(shí)，場景中不同對象或差別的存在可以被指示，系統(tǒng)可以使用這些作為提供空間變化的觸覺反饋的基礎(chǔ)。其它圖像變化也可以用作提供空間變化的觸覺反饋的基礎(chǔ)。
[0040]在有些實(shí)施例中，優(yōu)先化模塊148可以生成或以別的方式獲得與每一幀相關(guān)的時(shí)間戳并且存儲關(guān)于該時(shí)間戳的采樣媒體特性。以這種方式，可以存儲關(guān)于時(shí)間戳的媒體特性，用于觸覺反饋和媒體內(nèi)容122輸出的配合。
[0041]在有些實(shí)施例中，縮放模塊150可以配置為比較為每個(gè)媒體成分確定的優(yōu)先級值并且基于該比較確定所述值是否應(yīng)當(dāng)縮放。比較可以基于各種技術(shù)來執(zhí)行。
[0042]在有些實(shí)施例中，例如，縮放模塊150可以對每個(gè)優(yōu)先級值執(zhí)行按對比較，以確定給定的一對優(yōu)先級值之間的差值是否超過預(yù)定的閾值，使得縮放應(yīng)當(dāng)被執(zhí)行。當(dāng)分析兩個(gè)媒體成分時(shí)(諸如對于立體聲音頻實(shí)施例)，以上例子會是有用的，但是在分析其它數(shù)量的媒體成分時(shí)這種比較也可以適用。以上和本文所述的其它閾值可以是可配置的，使得個(gè)別銷售商/實(shí)體可以調(diào)整閾值。
[0043]在有些實(shí)施例中，縮放模塊150可以為兩個(gè)或更多個(gè)媒體成分確定優(yōu)先級值的平均值，并且確定給定的優(yōu)先級值與該平均值之間的差值是否超過預(yù)定的閾值(這個(gè)閾值可以與以上提到的閾值相同或不同)。在這些實(shí)施例的一些當(dāng)中，縮放模塊150可以確定標(biāo)準(zhǔn)偏差并且執(zhí)行各種統(tǒng)計(jì)技術(shù)來確定優(yōu)先級值是否變化超過閾值方差，使得縮放應(yīng)當(dāng)被執(zhí)行。當(dāng)分析多個(gè)媒體成分時(shí)(諸如對于環(huán)繞音頻實(shí)施例)，以上例子會是有用的，但是在分析其它數(shù)量的媒體成分時(shí)這種比較也可以適用。
[0044]不管如何比較優(yōu)先級值，在有些實(shí)施例中，縮放模塊150都可以縮放一個(gè)或多個(gè)優(yōu)先級值。例如，縮放模塊150可以生成高于或低于原始優(yōu)先級值的縮放后的值。當(dāng)一對優(yōu)先級值的優(yōu)先級值之間的差值超過預(yù)定的閾值時(shí)，縮放模塊150可以按比例放大兩個(gè)優(yōu)先級值當(dāng)中較高的一個(gè)和/或按比例縮小兩個(gè)優(yōu)先級值當(dāng)中較低的一個(gè)。類似地，當(dāng)給定的優(yōu)先級值與多個(gè)優(yōu)先級值的平均值之間的差值超過預(yù)定的閾值時(shí)，如果給定的優(yōu)先級值高于平均值，則縮放模塊150可以按比例放大給定的優(yōu)先級值，并且如果給定的優(yōu)先級值低于平均值，則縮放模塊150可以按比例縮小給定的優(yōu)先級值。在有些實(shí)施例中，縮放模塊150可以基于未縮放的優(yōu)先級值確定要提供的基準(zhǔn)觸覺反饋。在這些實(shí)施例中，縮放模塊150可以確定觸覺反饋的特性(例如，量級、頻率、持續(xù)時(shí)間等)之間的差異并且關(guān)于彼此縮放觸覺反饋特性。
[0045]不管執(zhí)行哪個(gè)縮放實(shí)施例，縮放模塊150都可以增強(qiáng)兩個(gè)或更多個(gè)優(yōu)先級值之間的差值，其中每個(gè)優(yōu)先級值都是為給定的媒體成分確定的。這允許用于對應(yīng)優(yōu)先級值的第一觸覺反饋在第一空間位置提供，這比在第二空間位置提供的第二觸覺反饋更可獨(dú)立察覺。
[0046]另一方面，當(dāng)差異沒有超過預(yù)定的閾值時(shí)，縮放模塊150不能縮放優(yōu)先級值。這可以是當(dāng)媒體成分的差異不一定有可察覺的不同的情況(例如，當(dāng)巨大的爆炸聲跨不同的音頻通道發(fā)生時(shí))。
[0047]在有些實(shí)施例中，觸覺反饋模塊152可以配置為基于縮放后的優(yōu)先級值(為縮放后的優(yōu)先級值)和/或未縮放的優(yōu)先級值(為沒有縮放的優(yōu)先級值)生成控制信號。例如，觸覺反饋模塊152可以配置為基于(可以或不可以縮放的)第一優(yōu)先級值生成第一控制信號并且基于(可以或不可以縮放的)第二優(yōu)先級值生成第二控制信號。其它控制信號也可以為對應(yīng)于其它媒體成分的其它優(yōu)先級值生成。第一控制信號可以配置為使得它使第一觸覺輸出設(shè)備提供第一觸覺反饋。同樣，第二控制信號可以配置為使得它使第二觸覺輸出設(shè)備提供第二觸覺反饋。
[0048]如本文關(guān)于控制信號所使用的，術(shù)語“第一控制信號”和“第二控制信號”(以及單獨(dú)地識別控制信號的類似語言)是要傳達(dá)可以使不同觸覺輸出設(shè)備提供不同觸覺反饋的意思。在有些實(shí)施例中，例如，“第一控制信號”和“第二控制信號”可以單獨(dú)提供給第一和第二觸覺輸出設(shè)備，每個(gè)設(shè)備基于它們各自的控制信號使觸覺反饋被提供。在有些實(shí)施例中，“第一控制信號”和“第二控制信號”可以帶適當(dāng)?shù)膶ぶ窓C(jī)制一起同時(shí)提供給第一和第二觸覺輸出設(shè)備，使得第一和第二觸覺輸出設(shè)備解碼該尋址機(jī)制來確定輸出哪個(gè)觸覺反饋。
[0049]在有些實(shí)施例中，排定優(yōu)先次序的值可以與對應(yīng)觸覺反饋相關(guān)聯(lián)地存儲，以便在諸如非暫時(shí)性存儲介質(zhì)144的存儲器中所存儲的查找表中提供，和/或可以基于優(yōu)先級值動(dòng)態(tài)確定。例如，優(yōu)先級值可以用來確定觸覺反饋的特性(例如，量級)，使得較高優(yōu)先級值導(dǎo)致較高量級的觸覺反饋。
[0050]在有些實(shí)施例中，媒體輸出模塊154可以配置為輸出媒體內(nèi)容122。媒體輸出模塊154可以利用常規(guī)媒體格式向例如媒體輸出設(shè)備164、音頻輸出設(shè)備166和/或其它媒體輸出設(shè)備提供媒體122。
[0051]在有些實(shí)施例中，協(xié)調(diào)模塊156可以配置為分別向媒體輸出設(shè)備(例如，圖像輸出設(shè)備164和音頻輸出設(shè)備166)和觸覺輸出設(shè)備162協(xié)調(diào)媒體輸出和控制信號輸出。在有些實(shí)施例中，協(xié)調(diào)模塊156可以根據(jù)嵌入到媒體內(nèi)容122中的同步代碼和/或經(jīng)總體上為輸出視頻輸出、音頻輸出和觸覺反饋中每一個(gè)而設(shè)置時(shí)間的時(shí)間戳同步圖像輸出、控制信號(例如，由控制信號造成的觸覺反饋)和音頻輸出。
[0052]如將理解的，媒體內(nèi)容122可以既包括音頻內(nèi)容又包括視頻內(nèi)容計(jì)算設(shè)備140可以如本文所描述的那樣處理媒體內(nèi)容122的音頻、視頻和/或其它媒體，以提供空間變化的觸覺反饋。
[0053]在有些實(shí)施例中，觸覺輸出設(shè)備162可以包括致動(dòng)器，例如，諸如其中偏心質(zhì)塊被電動(dòng)機(jī)移動(dòng)的偏心旋轉(zhuǎn)質(zhì)塊(“ERM”)的電磁致動(dòng)器、其中附連到彈簧的質(zhì)塊被前后驅(qū)動(dòng)的線性共振致動(dòng)器(“LRA”)，或者諸如壓電材料、電活性聚合物或形狀記憶合金的“智能材料”、宏觀復(fù)合纖維致動(dòng)器、靜電致動(dòng)器、電觸感致動(dòng)器和/或提供諸如觸覺(例如，振動(dòng)觸感)反饋的物理反饋的其它類型致動(dòng)器。觸覺輸出設(shè)備162可以包括非機(jī)械或者非振動(dòng)設(shè)備，諸如使用靜電摩擦(ESF)、超聲表面摩擦(USF)的設(shè)備，或者利用超聲觸覺換能器感應(yīng)出聲輻射壓力的設(shè)備，或者使用觸覺襯底和彈性或可變形表面的設(shè)備，或者提供突出的觸覺輸出的設(shè)備，諸如利用空氣噴嘴的一股空氣，等等。
[0054]在有些實(shí)施例中，圖像輸出設(shè)備164可以包括顯示器，諸如觸摸屏顯示器、監(jiān)視器、和/或可以顯示諸如視頻、靜止圖像、游戲表示等內(nèi)容的其它顯示器。在有些實(shí)施例中，音頻輸出設(shè)備166可以包括揚(yáng)聲器、頭戴式耳機(jī)或者可以發(fā)射音頻的其它設(shè)備。在有些實(shí)施例中圖像輸出設(shè)備164、觸覺輸出設(shè)備162和/或音頻輸出設(shè)備166可以與計(jì)算設(shè)備140集成。在有些實(shí)施例中，圖像輸出設(shè)備164、觸覺輸出設(shè)備162和/或音頻輸出設(shè)備166可以與計(jì)算設(shè)備140分開放置。
[0055]在有些實(shí)施例中，媒體源120可以利用關(guān)于計(jì)算設(shè)備140所討論的模塊來編程。因而，以上關(guān)于計(jì)算設(shè)備140所述的至少一些或全部功能可以在媒體源120執(zhí)行。
[0056]非暫時(shí)性存儲介質(zhì)144可以包括與計(jì)算設(shè)備140 —體化(即，基本上不可移動(dòng))提供的系統(tǒng)存儲器和/或經(jīng)例如端口(例如，通用串行總線(“USB”)端口、firewire端口等)或驅(qū)動(dòng)器(例如，盤驅(qū)動(dòng)器等)可移動(dòng)地連接到計(jì)算設(shè)備140的可移動(dòng)存儲器之一或者二者都包括。非暫時(shí)性存儲介質(zhì)144可以包括光學(xué)可讀存儲介質(zhì)(例如，光盤等)、磁性可讀存儲介質(zhì)(例如，磁帶、磁性硬驅(qū)、軟驅(qū)等)、基于電荷的存儲介質(zhì)(例如，電可擦除可編程只讀存儲器(“EEPR0M”)、隨機(jī)存取存儲器(“RAM”)等)、固態(tài)存儲介質(zhì)(例如，閃存驅(qū)動(dòng)器等)和/或其它以電子方式可讀的存儲介質(zhì)中的一種或多種。非暫時(shí)性存儲介質(zhì)144可以包括一個(gè)或多個(gè)虛擬存儲資源(例如，云存儲、虛擬私有網(wǎng)絡(luò)、和/或其它虛擬存儲資源)。非暫時(shí)性存儲介質(zhì)144可以存儲軟件算法、由處理器142確定的信息、從計(jì)算設(shè)備140接收到的信息、和/或使計(jì)算設(shè)備140能夠如本文所述那樣起作用的其它信息。
[0057]處理器142配置為在計(jì)算設(shè)備140中提供信息處理能力。因此，處理器142可以包括數(shù)字處理器、模擬處理器、設(shè)計(jì)成處理信息的數(shù)字電路、設(shè)計(jì)成處理信息的模擬電路、狀態(tài)機(jī)、和/或用于以電的方式處理信息的其它機(jī)制中的一個(gè)或多個(gè)。雖然處理器142在圖1中示為單個(gè)實(shí)體，但這僅僅是為了說明。在有些實(shí)施例中，處理器142可以包括多個(gè)處理單元。這些處理單元可以物理地位于同一個(gè)設(shè)備中，或者處理器142可以代表協(xié)同操作的多個(gè)設(shè)備的處理功能性。處理器142可以配置為通過軟件；硬件；固件；軟件、硬件和/或固件的某種組合；和/或用于在處理器142上配置處理能力的其它機(jī)制執(zhí)行模塊。
[0058]本文所描述的各種模塊僅僅是示例性的。也可以使用其它配置和數(shù)量的模塊，以及使用非模塊化的方法，只要一個(gè)或多個(gè)物理處理器被編程為執(zhí)行本文所述的功能就可以。應(yīng)當(dāng)認(rèn)識到，雖然各個(gè)模塊在圖1中說明為共同位于單個(gè)處理單元中，但是在其中處理器142包括多個(gè)處理單元的實(shí)施例中，一個(gè)或多個(gè)模塊可以遠(yuǎn)離其它模塊定位。本文所述由不同模塊提供的功能性的描述是為了說明，而不是要作為限制，因?yàn)槿魏我粋€(gè)模塊都可以提供比所述更多或更少的功能性。例如，這些模塊中的一個(gè)或多個(gè)可以被除去，而且其一些或全部功能性可以由這些模塊中的其它模塊提供。作為另一個(gè)例子，處理器142可以配置為執(zhí)行可以執(zhí)行在本文中屬于其中一個(gè)模塊的一些或全部功能性的一個(gè)或多個(gè)附加模塊。
[0059]圖1中所說明的部件可以經(jīng)諸如網(wǎng)絡(luò)的各種通信鏈路彼此耦合。網(wǎng)絡(luò)可以包括有線或無線連接。在本發(fā)明的一些方面中，網(wǎng)絡(luò)可以包括例如互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng)、個(gè)人區(qū)域網(wǎng)(“PAN”)、局域網(wǎng)(“LAN”)、廣域網(wǎng)(“WAN”)、存儲區(qū)域網(wǎng)(“SAN”)、城域網(wǎng)(“MAN”)、無線網(wǎng)絡(luò)、蜂窩通信網(wǎng)絡(luò)、公共交換電話網(wǎng)絡(luò)(叩31^’)、和/或其它網(wǎng)絡(luò)。
[0060]本文中描述為被存儲或可存儲的各種輸入、輸出、配置和/或其它信息可以存儲在一個(gè)或多個(gè)數(shù)據(jù)庫中(圖1中未說明)。這種數(shù)據(jù)庫可以是包括或者接口到例如Oracle公司商業(yè)銷售的Oracle?關(guān)系數(shù)據(jù)庫。諸如Infomix?、Database2 ( “DB2”)的其它數(shù)據(jù)庫，或者包括基于文件的其它數(shù)據(jù)存儲器，或者諸如在線分析處理(“0LAP”)、標(biāo)準(zhǔn)查詢語言(“SQL”)、SAN、Microsoft Access?或其它的查詢格式、平臺或資源，也可以使用、結(jié)合或者被訪問。數(shù)據(jù)庫可以包括駐留在一個(gè)或多個(gè)物理設(shè)備中和一個(gè)或多個(gè)物理位置的一個(gè)或多個(gè)這種數(shù)據(jù)庫。數(shù)據(jù)庫可以存儲多種類型的數(shù)據(jù)和/或文件以及關(guān)聯(lián)的數(shù)據(jù)或文件描述、管理信息，或者任何其它數(shù)據(jù)。
[0061]雖然沒有在圖1中說明，但是媒體源122可以包括不同的傳感器信息。在有些實(shí)施例中，不同的傳感器信息可以與圖像上的不同對象關(guān)聯(lián)。每個(gè)傳感器信息可以被媒體處理模塊146分離并且如關(guān)于其它媒體成分在本文所描述的那樣排定優(yōu)先次序并縮放。如此，計(jì)算設(shè)備140可以對媒體內(nèi)容122中所包括的各種類型的信息排定優(yōu)先次序、縮放并提供動(dòng)態(tài)觸覺反饋。
[0062]圖2是根據(jù)本發(fā)明的實(shí)施例說明系統(tǒng)100中部件之間數(shù)據(jù)流的流程圖200，該系統(tǒng)用于基于媒體內(nèi)容的媒體成分的動(dòng)態(tài)縮放優(yōu)先級值提供觸覺反饋。各種觸覺輸出設(shè)備162(在圖2中說明為觸覺輸出設(shè)備162Α、162Β...162Ν)可以與對應(yīng)的媒體輸出設(shè)備210 (在圖2中說明為媒體輸出設(shè)備210Α、210Β、210Ν)協(xié)調(diào)或以別的方式關(guān)聯(lián)。媒體輸出設(shè)備210可以包括音頻輸出設(shè)備、圖像輸出設(shè)備、和/或其它類型的媒體輸出設(shè)備。觸覺輸出設(shè)備162可以配置為輸出基于媒體內(nèi)容122動(dòng)態(tài)生成并縮放的觸覺反饋。觸覺反饋可以經(jīng)觸覺輸出設(shè)備162與媒體內(nèi)容122的輸出配合地輸出，從而為用戶豐富媒體體驗(yàn)。
[0063]在有些實(shí)施例中，媒體處理模塊146可以獲得媒體內(nèi)容122并且把媒體內(nèi)容處理成多個(gè)(例如，兩個(gè)或更多個(gè))媒體成分(在圖2中說明為MC (A)、MC (B)和MC (N))。優(yōu)先化模塊148可以為對應(yīng)的媒體成分確定優(yōu)先級值(在圖2中說明為PV㈧、PV(B)和PV(N))?？s放模塊150可以比較優(yōu)先級值并縮放每個(gè)優(yōu)先級值以生成縮放后的優(yōu)先級值(在圖2中說明為SV(A)、SV(B)和SV(N))。在有些實(shí)施例中，縮放模塊150不能對一個(gè)或多個(gè)優(yōu)先級值執(zhí)行縮放，使得給定的縮放后的優(yōu)先級值等于來自優(yōu)先化模塊150的未縮放的優(yōu)先級值。
[0064]在有些實(shí)施例中，縮放模塊150只在給定的優(yōu)先級值與另一個(gè)值之間的差值超過閾值時(shí)才按比例放大或縮小給定的優(yōu)先級值。
[0065]例如，當(dāng)給定的優(yōu)先級值與另一個(gè)值之間的差值超過預(yù)定閾值時(shí)，縮放模塊150可以把給定優(yōu)先級值按比例放大或縮小和/或把另一個(gè)優(yōu)先級值按比例放大或縮小。在有些實(shí)施例中，給定的優(yōu)先級值被按比例放大，而其它優(yōu)先級值被按比例縮小。
[0066]在另一個(gè)例子中，當(dāng)給定的優(yōu)先級值與全體優(yōu)先級值中優(yōu)先級值的平均值之間的差值超過預(yù)定的閾值時(shí)，依賴于給定的值是高于還是低于該平均值，縮放模塊150可以按比例放大和/或縮小給定的優(yōu)先級值(例如，當(dāng)給定優(yōu)先級值高于平均值時(shí)，它可以被按比例放大，而當(dāng)其低于平均值時(shí)可以被按比例縮小)?？s放模塊150還可以基于其它標(biāo)準(zhǔn)執(zhí)行縮放。
[0067]在還有另一個(gè)例子中，當(dāng)全體優(yōu)先級值中的標(biāo)準(zhǔn)偏差是或者超過預(yù)定的閾值時(shí)，縮放模塊150可以確定是否對該優(yōu)先級值的全體執(zhí)行縮放，然后如本文所述的那樣執(zhí)行個(gè)性化的縮放。
[0068]基于縮放后的優(yōu)先級值(這可以包括未縮放的優(yōu)先級值)，觸覺反饋模塊152可以生成對應(yīng)的控制信號(在圖2中說明為CS(A)、CS(B)和CS(N))。每個(gè)控制信號可以配置為使對應(yīng)的觸覺反饋設(shè)備162與媒體輸出設(shè)備210輸出的媒體配合地輸出觸覺反饋。
[0069]在其它實(shí)施例中，縮放模塊150可以不考慮差值是否超過預(yù)定閾值來執(zhí)行縮放。在這些實(shí)施例中，縮放模塊150可以在優(yōu)先級值之間存在非零差值時(shí)縮放優(yōu)先級值。
[0070]圖3A根據(jù)本發(fā)明的實(shí)施例說明了利用集成的觸覺輸出設(shè)備162(在圖3A中說明為觸覺輸出設(shè)備162A、162B、162N)和音頻輸出設(shè)備166(在圖3A中說明為音頻輸出設(shè)備166A、166B、166N)把音頻通道排定優(yōu)先次序的計(jì)算設(shè)備140A的例子。雖然說明為具有兩個(gè)觸覺設(shè)備162(即，162A和162B)和兩個(gè)音頻輸出設(shè)備166(即，166A和166B)，但是計(jì)算設(shè)備140A可以包括附加的集成的觸覺和音頻輸出設(shè)備(S卩，162N和166N)。
[0071]如所說明的，計(jì)算設(shè)備140A可以用于輸出立體聲音頻并且協(xié)調(diào)基于縮放與對應(yīng)音頻通道相關(guān)的優(yōu)先級值的觸覺反饋的輸出。例如，計(jì)算設(shè)備140A可以基于對“右”和“左”音頻通道的分析來確定“右”和“左”優(yōu)先級值。計(jì)算設(shè)備140A可以使“右”和“左”觸覺反饋與通過右和左揚(yáng)聲器的右和左音頻通道的輸出一起輸出。右觸覺反饋可以基于右優(yōu)先級值，并且左觸覺反饋可以基于左優(yōu)先級值。如此，當(dāng)右和左優(yōu)先級值彼此不同但相似時(shí)，右和左觸覺反饋會難以區(qū)分，尤其是在計(jì)算設(shè)備140A包括手持式設(shè)備的實(shí)施例中。通過縮放右優(yōu)先級值和/或左優(yōu)先級值，計(jì)算設(shè)備140A可以生成彼此可區(qū)分的右和左觸覺反饋，由此增強(qiáng)動(dòng)態(tài)確定的觸覺反饋。
[0072]計(jì)算設(shè)備140A可以經(jīng)左音頻輸出設(shè)備166A和右音頻輸出設(shè)備166B輸出右和左音頻通道，并且協(xié)調(diào)這種輸出與經(jīng)左觸覺輸出設(shè)備162A和右觸覺輸出設(shè)備162B的左和右觸覺反饋。因?yàn)樽笥|覺反饋和/或右觸覺反饋是基于左和右音頻通道的縮放后的優(yōu)先級值，所以即使左和右音頻通道每個(gè)都包括彼此相似的音頻，用戶也可以區(qū)分左和右觸覺反饋。
[0073]圖3B根據(jù)本發(fā)明一方面說明了利用集成的觸覺輸出設(shè)備162 (在圖3B中說明為觸覺輸出設(shè)備162A、162B、162C、162N)和圖像輸出設(shè)備164把圖像成分排定優(yōu)先次序的計(jì)算設(shè)備140B的例子。如所說明的，圖像輸出設(shè)備164可以包括觸摸屏顯示器和/或可以輸出圖像內(nèi)容(例如，視頻、靜止圖像、游戲表示等)的其它類型顯示器。圖像輸出設(shè)備164可以被分成顯示區(qū)域310 (在圖3B中說明為顯示區(qū)域310A、310B、310C、310N)。顯示區(qū)域310可以是概念性的(例如，基于軟件的)或者實(shí)際的(例如，包括單獨(dú)的硬件顯示器)。
[0074]每個(gè)顯示區(qū)域310可以配置為顯示圖像內(nèi)容的一個(gè)對應(yīng)區(qū)域并且與對應(yīng)的觸覺輸出設(shè)備162(即，觸覺輸出設(shè)備162A、162B、162C、162N之一)關(guān)聯(lián)。計(jì)算設(shè)備140B可以利用常規(guī)的圖像處理技術(shù)處理圖像內(nèi)容的每個(gè)區(qū)域并且確定對應(yīng)的優(yōu)先級值?？刂菩盘柕目s放和生成可以如本文所描述的那樣來執(zhí)行，以便向觸覺輸出設(shè)備162提供不同的觸覺反饋。
[0075]圖4根據(jù)本發(fā)明的實(shí)施例說明了利用遠(yuǎn)端觸覺輸出設(shè)備162(在圖4中說明為觸覺輸出設(shè)備162A、162B、162N)和音頻輸出設(shè)備166(在圖4中說明為音頻輸出設(shè)備166A、166BU66N)把音頻通道排定優(yōu)先次序的計(jì)算設(shè)備140的例子。圖4還說明了裝置410。裝置410可以被分成軟件驅(qū)動(dòng)的或者實(shí)際的區(qū)域412 (在圖4中說明為區(qū)域412A、412B、412N)。區(qū)域412的相對定位可以對應(yīng)于音頻輸出設(shè)備166的相對定位。
[0076]在有些實(shí)施例中，裝置410可以配置為具有不同的區(qū)域的椅子，每個(gè)區(qū)域具有對應(yīng)的觸覺輸出設(shè)備162 (即，觸覺輸出設(shè)備162A、162B、162N之一)。每個(gè)不同的區(qū)域可以對應(yīng)于一個(gè)音頻輸出設(shè)備166 (即，音頻輸出設(shè)備166A、166B、166N之一)，使得計(jì)算設(shè)備140協(xié)調(diào)在給定音頻輸出設(shè)備166的音頻輸出與輸出到對應(yīng)觸覺輸出設(shè)備162的觸覺反饋，其中該對應(yīng)觸覺輸出設(shè)備162位于椅子當(dāng)中與給定音頻輸出設(shè)備166的位置對應(yīng)的位置。例如，在“中間”音頻輸出設(shè)備166的音頻輸出可以與經(jīng)“中間”觸覺輸出設(shè)備162提供的觸覺反饋配合。圖4還說明了裝置420。雖然以陰影輪廓說明，但是裝置420可以具有與裝置410相似的配置。也可以使用其它數(shù)量的觸覺和音頻輸出設(shè)備166。
[0077]雖然沒有說明，但是圖像內(nèi)容可以附加地或者作為選擇與裝置410配合，使得不同的圖像區(qū)域可以被排定優(yōu)先次序并縮放，并且具有經(jīng)對應(yīng)觸覺輸出設(shè)備162提供的觸覺反饋。
[0078]參考圖5A、5B、5C和?(g卩，圖5A-D)，所說明的圖在縮放程度(說明為“縮放”)與給定優(yōu)先級值和另一個(gè)值(諸如另一個(gè)優(yōu)先級值、與平均值的方差，等等)(說明為“PV差值”)之間的差值的關(guān)系曲線的圖上繪出了函數(shù)510。
[0079]圖5A是根據(jù)本發(fā)明的實(shí)施例說明在優(yōu)先級值與另一個(gè)值之間的差值增加時(shí)減小的優(yōu)先級值縮放的圖500A的例子。計(jì)算設(shè)備(例如，計(jì)算設(shè)備140)可以基于函數(shù)510A來執(zhí)行縮放。在有些實(shí)施例中，計(jì)算設(shè)備可以不考慮優(yōu)先級值之間的差值是否超過預(yù)定的閾值來縮放優(yōu)先級值。例如，計(jì)算設(shè)備可以一旦確定非零差值就縮放優(yōu)先級值并且可以在差值增加時(shí)減小縮放的程度。對于這些實(shí)施例，當(dāng)差值增加時(shí)，縮放可能不再是必要的，因?yàn)閮?yōu)先級值會使彼此足夠可區(qū)分的觸覺反饋動(dòng)態(tài)生成。
[0080]圖5B是根據(jù)本發(fā)明的實(shí)施例說明當(dāng)優(yōu)先級值與另一個(gè)值之間的差值增加時(shí)增加的優(yōu)先級值縮放的圖500B的例子。計(jì)算設(shè)備(例如，計(jì)算設(shè)備140)可以基于函數(shù)510B執(zhí)行縮放。在有些實(shí)施例中，計(jì)算設(shè)備可以不考慮優(yōu)先級值之間的差值是否超過預(yù)定的閾值來縮放優(yōu)先級值。例如，計(jì)算設(shè)備可以一旦確定非零差值就縮放優(yōu)先級值并且可以在差值增加時(shí)增加縮放的程度。對于這些實(shí)施例，當(dāng)差值增加時(shí)，縮放也可以增加，以利用動(dòng)態(tài)生成的觸覺反饋進(jìn)一步加強(qiáng)音頻、視頻和/或其它媒體內(nèi)容中的差異。
[0081]圖5C是根據(jù)本發(fā)明的實(shí)施例說明當(dāng)優(yōu)先級值與另一個(gè)值之間的差值增加時(shí)只有在滿足閾值差值520A之后才減小的優(yōu)先級值縮放的圖500C的例子。計(jì)算設(shè)備(例如，計(jì)算設(shè)備140)可以基于函數(shù)510C執(zhí)行縮放。在有些實(shí)施例中，計(jì)算設(shè)備可以只在優(yōu)先級值之間的差值超過預(yù)定閾值520A之后才縮放優(yōu)先級值并且可以在差值增加時(shí)增加縮放的程度。
[0082]圖是根據(jù)本發(fā)明的實(shí)施例說明當(dāng)優(yōu)先級值與另一個(gè)值之間的差值增加時(shí)只有在滿足閾值差值520B之后才增加的優(yōu)先級值縮放的圖500D的例子。計(jì)算設(shè)備(例如，計(jì)算設(shè)備140)可以基于函數(shù)510D執(zhí)行縮放。在有些實(shí)施例中，計(jì)算設(shè)備可以只在優(yōu)先級值之間的差值超過預(yù)定閾值520B之后才縮放優(yōu)先級值并且可以在差值增加時(shí)減少縮放的程度。
[0083]雖然圖5A-D中所說明的函數(shù)說明為是非線性的，但是也可以使用其它形式和形狀。例如，對于上述任一函數(shù)的至少一部分，縮放可以是線性的，使得縮放的量隨著差值線性地增加。此外，縮放的最大和/或最小程度可以限制每個(gè)函數(shù)，使得縮放根據(jù)特定的需求被封頂(capped)或封底(floored)。閾值、函數(shù)、最大值、最小值等當(dāng)中的每一個(gè)都可以配置成適合特定的需求。
[0084]圖6根據(jù)本發(fā)明的實(shí)施例說明了基于媒體內(nèi)容的媒體成分的動(dòng)態(tài)縮放優(yōu)先級值提供觸覺反饋的過程600的例子。在一種實(shí)施例中，圖6流程圖的功能以及圖7、8和9的流程圖的功能，每個(gè)都是由存儲在存儲器或其它計(jì)算機(jī)可讀或有形介質(zhì)中的軟件實(shí)現(xiàn)的，并且由處理器執(zhí)行。在其它實(shí)施例中，每個(gè)功能可以由硬件(例如，通過專用集成電路(“ASIC”)、可編程門陣列(“PGA”)、現(xiàn)場可編程門陣列(“FPGA”)等的使用)或者硬件和軟件的任意組合執(zhí)行。
[0085]本文更具體地描述圖6、7、8和9的流程圖中所繪出的功能。所述功能可以利用以上具體描述過的一些或全部系統(tǒng)部件來實(shí)現(xiàn)。根據(jù)本發(fā)明的一方面，功能可以以不同的序列執(zhí)行。在其它實(shí)施例中，附加的功能可以連同圖6、7、8和9中所示出的一些或全部功能來執(zhí)行，或者有些功能可以被略去。在還有其它實(shí)施例中，一些或全部功能可以同時(shí)執(zhí)行。據(jù)此，如所說明的(并且以下更具體描述的)功能是根據(jù)本發(fā)明實(shí)施例提供的功能的例子并且因此不應(yīng)當(dāng)看作限制。
[0086]在602，媒體內(nèi)容可以被處理成多個(gè)媒體成分。例如，媒體內(nèi)容可以包括音頻內(nèi)容、圖像內(nèi)容和/或其它類型的內(nèi)容。音頻內(nèi)容可以被處理成單獨(dú)的音頻通道并且圖像內(nèi)容可以被處理成圖像的不同區(qū)域和/或(例如)不同的視頻流。
[0087]在604，可以為每個(gè)媒體成分確定優(yōu)先級值。優(yōu)先級值可以基于媒體成分的各種特性(例如，用于音頻的音頻級別和用于圖像的亮度級別)來確定。在606，可以比較所確定的優(yōu)先級值。這種比較可以包括按對比較、給定優(yōu)先級值與用于媒體成分的優(yōu)先級值的平均值的比較、和/或其它比較。
[0088]在608，控制信號可以基于比較而生成。在610，每個(gè)控制信號可以提供給對應(yīng)的觸覺輸出設(shè)備，其中控制信號使觸覺反饋得以輸出。在612，媒體內(nèi)容可以提供給媒體輸出設(shè)備，媒體輸出設(shè)備可以包括音頻輸出設(shè)備、圖像輸出設(shè)備、和/或其它媒體輸出設(shè)備。
[0089]圖7根據(jù)本發(fā)明的實(shí)施例說明了縮放優(yōu)先級值的例子。在有些實(shí)施例中，過程600的608可以包括以下基于606的比較的功能當(dāng)中的至少一些。
[0090]在702，可以基于比較來確定差值。在704，可以做出差值是否超過(例如，大于或等于)預(yù)定閾值的決定。如果差值沒有超過預(yù)定的閾值，則在706，可以在不縮放的情況下生成控制信號。相反，如果差值超過預(yù)定的閾值，則在708，一個(gè)或多個(gè)優(yōu)先級值可以被縮放。在710，控制信號可以基于縮放后的優(yōu)先級值生成。
[0091]圖8根據(jù)本發(fā)明的實(shí)施例說明了縮放優(yōu)先級值的例子。在有些實(shí)施例中，過程600的608可以包括以下基于606的比較的功能當(dāng)中的至少一些。在802，可以基于比較來確定差值。在804，優(yōu)先級值可以基于差值來縮放，而不考慮這種差值是否超過預(yù)定的閾值。在806，控制信號可以基于縮放后的優(yōu)先級值生成。
[0092]圖9根據(jù)本發(fā)明的實(shí)施例說明了基于媒體內(nèi)容的輸入成分提供觸覺反饋的過程的例子。流程在輸入媒體內(nèi)容被處理成η個(gè)輸入成分的時(shí)候開始，其中η可以是任何數(shù)字。在圖9所說明的實(shí)施例中，輸入音頻內(nèi)容被采樣到η個(gè)輸入音頻流或通道中。但是，在備選實(shí)施例中，輸入圖像內(nèi)容可以被采樣到η個(gè)輸入視頻流或通道中。然后，流程前進(jìn)到910。在910，η個(gè)輸入成分的一個(gè)或多個(gè)屬性被分析。示例屬性可以包括量級、力輸出、密度、紋理、或者任何其它類型的屬性。在所說明的其中η個(gè)輸入成分是η個(gè)音頻輸入流的實(shí)施例中，可以分析每個(gè)音頻輸入流的具體頻率范圍，諸如低頻范圍。然后，流程前進(jìn)到920。
[0093]在920,對每個(gè)時(shí)間片段,通過比較為η個(gè)輸入成分確定的優(yōu)先級值,確定η個(gè)輸入成分中哪個(gè)具有最高優(yōu)先級?；诿總€(gè)輸入成分的一個(gè)或多個(gè)分析后的屬性，可以為η個(gè)輸入成分中的每個(gè)輸入成分確定優(yōu)先級值。用于每個(gè)輸入成分的優(yōu)先級值可以與用于至少一個(gè)其它輸入成分的優(yōu)先級值(或者累計(jì)值，諸如平均值)進(jìn)行比較。在實(shí)施例中，可以定義比較性閾值(例如，40%或者任何其它百分比)，其中，為了讓適應(yīng)性縮放(以下結(jié)合930更具體地描述)發(fā)生，可能需要滿足該閾值。例如，如果多個(gè)輸入成分的優(yōu)先級值進(jìn)行比較并且確定在彼此的40 %以內(nèi)(S卩，不滿足閾值)，則比較后的輸入成分被認(rèn)為具有相同的優(yōu)先級，并且不對比較后的輸入成分執(zhí)行縮放。但是，如果輸入成分的優(yōu)先級值進(jìn)行比較并且確定不在彼此的40%之內(nèi)(即，滿足閾值)，則比較后的輸入成分被認(rèn)為具有不同的優(yōu)先級，并且可以對一個(gè)或多個(gè)比較后的輸入成分執(zhí)行縮放。在備選實(shí)施例中，可以使用絕對閾值，而不是比較性閾值。在這種備選實(shí)施例中，η個(gè)輸入成分的優(yōu)先級值可以與絕對閾值進(jìn)行比較。如果輸入成分的優(yōu)先級值滿足閾值，則可以對該輸入成分執(zhí)行縮放。否則，如果輸入成分不滿足閾值，則不對該輸入成分執(zhí)行縮放。然后，流程前進(jìn)到930。
[0094]在930，η個(gè)輸入成分當(dāng)中的一個(gè)或多個(gè)輸入成分基于在920中η個(gè)輸入成分的優(yōu)先級值的比較來縮放。被確定具有較高優(yōu)先級的輸入成分可以按比例放大，而被確定具有較低優(yōu)先級的輸入成分可以按比例縮小，或者是二者的組合。根據(jù)實(shí)施例，通過縮放輸入成分，輸入成分的一個(gè)或多個(gè)屬性可以被縮放。在備選實(shí)施例中，用來基于輸入成分生成觸覺反饋的信息可以被縮放，使得輸入成分不更改，并且觸覺反饋或者更強(qiáng)(當(dāng)信息被按比例放大時(shí))或者更弱(當(dāng)信息被按比例縮小時(shí))。在還有另一種備選實(shí)施例中，優(yōu)先級值可以被縮放，并且該優(yōu)先級值可以用來生成觸覺反饋，其中觸覺反饋也基于輸入成分。通過縮放一個(gè)或多個(gè)輸入成分，被確定具有較高優(yōu)先級的輸入成分可以增加清晰度，并且不太可能被其它輸入成分遮蔽。在備選實(shí)施例中，不是縮放輸入成分，而是輸入成分可以被修改(例如，頻移或移調(diào)(pitch-shifted))或過濾。在某些實(shí)施例中，沒有輸入成分被縮放，并且930被忽略。然后，流程前進(jìn)到940。
[0095]在940, η個(gè)輸入成分被輸出到媒體輸出設(shè)備。在某些實(shí)施例中,控制信號是基于η個(gè)輸入成分生成的，并且控制信號輸出到觸覺輸出設(shè)備，其中每個(gè)控制信號使觸覺反饋輸出。在所說明的其中η個(gè)輸入成分是η個(gè)音頻輸入流的實(shí)施例中，η個(gè)音頻輸入流可以輸出到音頻輸出設(shè)備。在某些實(shí)施例中，少于η個(gè)輸入成分被輸出到媒體輸出設(shè)備。在這些實(shí)施例中，輸出被確定具有較高優(yōu)先級的輸入成分，并且剩余的輸入成分可以被丟棄。另外，在某些實(shí)施例中，少于η的多個(gè)控制信號可以被生成并發(fā)送到也少于η的多個(gè)觸覺輸出設(shè)備。然后，流程結(jié)束。
[0096]因而，在一種實(shí)施例中，系統(tǒng)可以提供基于媒體成分的動(dòng)態(tài)縮放值空間變化的觸覺反饋。系統(tǒng)可以基于媒體成分的分析縮放觸覺反饋的一個(gè)或多個(gè)部分。以這種方式，系統(tǒng)可以提高區(qū)分與不同媒體成分相關(guān)聯(lián)提供的不同觸覺反饋的能力，并且可以提供更豐富、更沉浸式的媒體體驗(yàn)。換句話說，通過突出并夸大觸覺反饋當(dāng)中的差異，系統(tǒng)可以幫助創(chuàng)建更空間化的觸覺體驗(yàn)。例如，在多通道體驗(yàn)中，系統(tǒng)可以區(qū)分與一個(gè)通道關(guān)聯(lián)的觸覺效果和與其它通道關(guān)聯(lián)的其它觸覺效果。這會導(dǎo)致理想的多通道體驗(yàn)，產(chǎn)生讓用戶愉悅的觸覺效果的空間化。
[0097]根據(jù)本發(fā)明的一個(gè)方面，提供了一種其上存儲指令的計(jì)算機(jī)可讀介質(zhì)，當(dāng)指令被處理器執(zhí)行時(shí)，使處理器基于媒體內(nèi)容提供觸覺反饋，所述提供包括:把媒體內(nèi)容處理成包括第一成分和第二成分的多個(gè)成分；確定與第一成分相關(guān)的第一優(yōu)先級值和與第二成分相關(guān)的第二優(yōu)先級值；比較第一優(yōu)先級值與第二優(yōu)先級值；以及基于所述比較生成第一控制信號和第二控制信號；其中第一控制信號配置為使第一觸覺反饋輸出，并且第二控制信號配置為使與第一觸覺反饋相同或不同的第二觸覺反饋輸出。
[0098]根據(jù)一種實(shí)施例，所述提供還包括:向第一觸覺輸出設(shè)備提供第一控制信號，其中第一控制信號使第一觸覺輸出設(shè)備輸出第一觸覺反饋；以及向第二觸覺輸出設(shè)備提供第二控制信號，其中第二控制信號使第二觸覺輸出設(shè)備輸出第二觸覺反饋。
[0099]根據(jù)一種實(shí)施例，所述提供還包括:基于所述比較確定第一優(yōu)先級值與第二優(yōu)先級值之間的差值，其中第一控制信號和第二控制信號是基于所確定的差值生成的。
[0100]根據(jù)一種實(shí)施例，所述提供還包括:確定差值沒有超過閾值；以及基于第一成分的特性的值確定第一觸覺反饋，其中生成第一控制信號，使得使第一觸覺反饋被輸出。
[0101]根據(jù)一種實(shí)施例，所述提供還包括:確定差值超過閾值；基于第一成分的特性的第一值確定第一基準(zhǔn)觸覺反饋；以及把第一基準(zhǔn)觸覺反饋縮放成第一觸覺反饋，使得第一觸覺反饋是第一基準(zhǔn)觸覺反饋基于差值超過閾值的確定的縮放后的版本，其中生成第一控制信號，使得使第一觸覺反饋被輸出。
[0102]根據(jù)一種實(shí)施例，其中把第一基準(zhǔn)觸覺反饋縮放成第一觸覺反饋還包括更改以下至少一個(gè):第一基準(zhǔn)觸覺反饋的數(shù)量；量級；頻率；或者持續(xù)時(shí)間。
[0103]根據(jù)一種實(shí)施例，所述提供還包括:基于第二成分的特性的第二值確定第二基準(zhǔn)觸覺反饋，第二成分的特性與第一成分的特性相同；以及把第二基準(zhǔn)觸覺反饋縮放成第二觸覺反饋，使得第二觸覺反饋是第二基準(zhǔn)觸覺反饋基于差值超過閾值的確定的縮放后的版本，其中生成第二控制信號，使得使第二觸覺反饋被輸出。
[0104]根據(jù)一種實(shí)施例，其中第一基準(zhǔn)觸覺反饋被按比例放大成第一觸覺反饋，并且第二基準(zhǔn)觸覺反饋被按比例縮小成第二觸覺反饋，使得第一觸覺反饋的程度相對于第一基準(zhǔn)觸覺反饋增加，而第二觸覺反饋的程度相對于第二基準(zhǔn)觸覺反饋減小。
[0105]根據(jù)一種實(shí)施例，其中媒體內(nèi)容包括音頻內(nèi)容，以及第一成分包括所述音頻內(nèi)容的第一音頻通道并且第二成分包括所述音頻內(nèi)容的第二音頻通道。
[0106]根據(jù)一種實(shí)施例，所述提供還包括:確定第一音頻通道的第一音頻屬性，其中第一優(yōu)先級值基于所述第一音頻屬性。
[0107]根據(jù)一種實(shí)施例，所述提供還包括:把第一控制信號提供給第一觸覺輸出設(shè)備，其中第一控制信號使第一觸覺輸出設(shè)備輸出第一觸覺反饋；把第一音頻通道提供給第一音頻輸出設(shè)備，所述第一音頻輸出設(shè)備使與第一音頻通道相關(guān)的第一音頻被輸出；把第二控制信號提供給第二觸覺輸出設(shè)備，其中第二控制信號使第二觸覺輸出設(shè)備輸出第二觸覺反饋；以及把第二音頻通道提供給第二音頻輸出設(shè)備，所述第二音頻輸出設(shè)備使與第二音頻通道相關(guān)的第二音頻被輸出。
[0108]根據(jù)一種實(shí)施例，其中提供第一控制信號和第一音頻通道，使得使第一觸覺反饋和第一音頻被同時(shí)輸出。
[0109]根據(jù)一種實(shí)施例，其中媒體內(nèi)容包括圖像內(nèi)容，以及第一成分包括所述圖像內(nèi)容的第一圖像區(qū)域并且第二成分包括所述圖像內(nèi)容的第二圖像區(qū)域。
[0110]根據(jù)一種實(shí)施例，所述提供還包括:確定第一圖像區(qū)域的第一圖像屬性，其中第一優(yōu)先級值基于所述第一圖像屬性。
[0111]貫穿本說明書描述的特征、結(jié)構(gòu)或特性可以在一種或多種實(shí)施例中以任何合適的方式組合。例如，“一種實(shí)施例”、“一些實(shí)施例”、“某個(gè)實(shí)施例”、“某些實(shí)施例”或者其它類似語言的使用貫穿本說明書都指結(jié)合該實(shí)施例描述的特定特征、結(jié)構(gòu)或特性可以包括在本發(fā)明的至少一種實(shí)施例中。因而，短語“一種實(shí)施例”、“一些實(shí)施例”、“某個(gè)實(shí)施例”、“某些實(shí)施例”或者其它類似語言的出現(xiàn)不一定貫穿本說明書全都指相同的實(shí)施例組，并且所描述的特征、結(jié)構(gòu)或特性可以在一種或多種實(shí)施例中以任何合適的方式組合。
[0112]本領(lǐng)域普通技術(shù)人員將很容易認(rèn)識到，以上所討論的本發(fā)明可以利用不同次序的步驟和/或利用與所公開的那些不同的配置中的元件來實(shí)踐。因此，雖然本發(fā)明已經(jīng)基于這些優(yōu)選實(shí)施例進(jìn)行了描述，但是對本領(lǐng)域技術(shù)人員來說將很顯然，某些修改、變化和備選構(gòu)造將是顯然的，同時(shí)仍然在本發(fā)明的主旨與范圍內(nèi)。因此，為了確定本發(fā)明的邊界和范圍，應(yīng)當(dāng)參考所附權(quán)利要求。
【權(quán)利要求】
1.一種用于基于媒體內(nèi)容提供觸覺反饋的計(jì)算機(jī)實(shí)現(xiàn)方法，所述計(jì)算機(jī)實(shí)現(xiàn)方法包括: 把媒體內(nèi)容處理成包括第一成分和第二成分的多個(gè)成分； 確定與第一成分相關(guān)的第一優(yōu)先級值和與第二成分相關(guān)的第二優(yōu)先級值； 比較第一優(yōu)先級值與第二優(yōu)先級值；以及 基于所述比較生成第一控制信號和第二控制信號； 其中第一控制信號配置為使第一觸覺反饋輸出，并且第二控制信號配置為使與第一觸覺反饋相同或不同的第二觸覺反饋輸出。
2.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，還包括: 向第一觸覺輸出設(shè)備提供第一控制信號，其中第一控制信號使第一觸覺輸出設(shè)備輸出第一觸覺反饋；以及 向第二觸覺輸出設(shè)備提供第二控制信號，其中第二控制信號使第二觸覺輸出設(shè)備輸出第二觸覺反饋。
3.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，還包括: 基于所述比較確定第一優(yōu)先級值與第二優(yōu)先級值之間的差值，其中第一控制信號和第二控制信號是基于所確定的差值生成的。
4.一種用于基于媒體內(nèi)容提供觸覺反饋的系統(tǒng)，所述系統(tǒng)包括: 存儲器，配置為存儲觸覺空間化模塊；以及 處理器，配置為執(zhí)行存儲在存儲器上的觸覺空間化模塊； 其中，當(dāng)執(zhí)行觸覺空間化模塊時(shí)，處理器配置為把媒體內(nèi)容處理成包括第一成分和第二成分的多個(gè)成分； 其中，當(dāng)執(zhí)行觸覺空間化模塊時(shí)，處理器還配置為確定與第一成分相關(guān)的第一優(yōu)先級值和與第二成分相關(guān)的第二優(yōu)先級值； 其中，當(dāng)執(zhí)行觸覺空間化模塊時(shí)，處理器還配置為比較第一優(yōu)先級值與第二優(yōu)先級值； 其中，當(dāng)執(zhí)行觸覺空間化模塊時(shí)，處理器還配置為基于所述比較生成第一控制信號和第二控制信號；以及 其中第一控制信號配置為使第一觸覺反饋輸出，并且第二控制信號配置為使與第一觸覺反饋相同或不同的第二觸覺反饋輸出。
5.如權(quán)利要求4所述的系統(tǒng)， 其中，當(dāng)執(zhí)行觸覺空間化模塊時(shí)，處理器還配置為向第一觸覺輸出設(shè)備提供第一控制信號，其中第一控制信號使第一觸覺輸出設(shè)備輸出第一觸覺反饋；以及 其中，當(dāng)執(zhí)行觸覺空間化模塊時(shí)，處理器還配置為向第二觸覺輸出設(shè)備提供第二控制信號，其中第二控制信號使第二觸覺輸出設(shè)備輸出第二觸覺反饋。
6.如權(quán)利要求4所述的系統(tǒng)，還包括: 其中，當(dāng)執(zhí)行觸覺空間化模塊時(shí)，處理器還配置為基于比較確定第一優(yōu)先級值與第二優(yōu)先級值之間的差值，其中第一控制信號和第二控制信號是基于所確定的差值生成的。
【文檔編號】G06F3/01GK104423587SQ201410449870
【公開日】2015年3月18日 申請日期:2014年9月5日 優(yōu)先權(quán)日:2013年9月6日
【發(fā)明者】S·S·巴哈迪亞 申請人:意美森公司