備(諸如移動(dòng)設(shè)備)的數(shù)據(jù)連接在所述行為期間記錄數(shù)據(jù)。
[0040]在實(shí)施例中，由操作視頻記錄器104的人經(jīng)歷的振動(dòng)可以利用形式為直接或間接連接到視頻記錄器104的加速計(jì)的傳感器102記錄。加速計(jì)可以例如集成在視頻記錄器104中或者安裝在用戶的設(shè)備上，諸如像自行車(chē)，或者安裝在可佩帶物品上，諸如像手鐲。在實(shí)施例中，傳感器102可以是在經(jīng)歷振動(dòng)的人身上或者別的地方提供的激光振動(dòng)計(jì)的形式。在實(shí)施例中，振動(dòng)還可以從視頻圖像的運(yùn)動(dòng)或者從由音頻記錄器106記錄的聲音連同視頻一起來(lái)推斷。振動(dòng)的強(qiáng)度可以例如從所記錄的視頻的搖晃來(lái)推斷。聲音可以類(lèi)似地被分析，以檢測(cè)與振動(dòng)相關(guān)的噪聲，或者諸如碰撞聲的離散事件。在實(shí)施例中，振動(dòng)可以通過(guò)有時(shí)候用于音頻輸出的骨導(dǎo)換能器記錄。
[0041]在實(shí)施例中，智能過(guò)濾或變換可以被處理器110用來(lái)從振動(dòng)記錄除去噪聲。例如，如果測(cè)量在頭戴式記錄設(shè)備的框架上取得，則由在頭戴式記錄設(shè)備上輸入的觸摸造成的振動(dòng)可能需要被建模并從記錄中除去。視頻可以從不同的視點(diǎn)取得，例如，包括來(lái)自頭戴式記錄設(shè)備的前面、后面或側(cè)面的視圖，來(lái)自手持式照相機(jī)諸如智能電話的照相機(jī)的視圖，來(lái)自機(jī)器人諸如遠(yuǎn)程呈現(xiàn)機(jī)器人的視圖，和/或來(lái)自遙控車(chē)的視圖。
[0042]在實(shí)施例中，記錄會(huì)話可以被啟動(dòng)，其中傳感器數(shù)據(jù)的流連同視頻和音頻數(shù)據(jù)一起記錄。視頻記錄器104和/或音頻記錄器106可以被記錄事件的人佩戴或以別的方式攜帶。包含振動(dòng)、視頻和音頻數(shù)據(jù)在內(nèi)的所有數(shù)據(jù)流的同步可以由記錄軟件管理，該記錄軟件可以駐留在圖1中所說(shuō)明的系統(tǒng)100的處理器110中。
[0043]在實(shí)施例中，可以使用允許在單個(gè)文件容器中除視頻和音頻之外其它數(shù)據(jù)的存儲(chǔ)的靈活容器格式，諸如MPEG-4。在這種實(shí)施例中，特定的編碼器集合可以用來(lái)在記錄期間把傳感器數(shù)據(jù)放到MPEG-4文件中。在實(shí)施例中，可以寫(xiě)特殊的軟件，以便在單獨(dú)的文件中存儲(chǔ)非音頻和視頻(A/V)的傳感器數(shù)據(jù)，但是在傳感器數(shù)據(jù)中具有特殊的標(biāo)記，以允許在重放時(shí)正確同步。在這種實(shí)施例中，除整形傳感器數(shù)據(jù)以遵守所設(shè)計(jì)的記錄格式的限制之外，可以需要應(yīng)用非常少的輸入變換。確切的格式可以由實(shí)現(xiàn)者確定。一旦記錄事件的人已經(jīng)完成他或她的行為，記錄就可以停止。MPEG-4文件可以被關(guān)閉，并且所有傳感器數(shù)據(jù)可以駐留在MPEG-4文件中。
[0044]在實(shí)施例中，重放設(shè)備可以是圖1的電子重放設(shè)備130，并且可以是具有顯示器120、揚(yáng)聲器122和作為觸覺(jué)輸出設(shè)備118的振動(dòng)設(shè)備以便提供觸覺(jué)效果的移動(dòng)電話或平板電腦的形式。在實(shí)施例中，重放設(shè)備可以是連接到具有顯示器120和揚(yáng)聲器122的電視機(jī)并且還連接到包括觸覺(jué)輸出設(shè)備118以便提供觸覺(jué)效果的游戲外圍設(shè)備(諸如游戲手柄)的游戲控制臺(tái)。
[0045]或者在以后的時(shí)間，或者與行為被執(zhí)行同時(shí)，一個(gè)或多個(gè)觀看者會(huì)對(duì)經(jīng)歷該行為感興趣。為了重放該行為，觀看者可以在他們的重放設(shè)備上啟動(dòng)適當(dāng)?shù)闹胤跑浖?，其目?biāo)是從執(zhí)行者的視點(diǎn)經(jīng)歷執(zhí)行者的行為。在實(shí)施例中，重放軟件可以包括結(jié)合由解碼器116執(zhí)行的傳感器解碼方案的播放器軟件應(yīng)用，以及可以由輸出變換器114運(yùn)行的輸出變換軟件，以便把傳感器數(shù)據(jù)變換成適于重放設(shè)備130中的觸覺(jué)輸出設(shè)備118的觸覺(jué)輸出信號(hào)。在實(shí)施例中，播放器軟件應(yīng)用可以結(jié)合傳感器解碼方案。播放器軟件可以依賴于駐留在或者以別的方式預(yù)先安裝在重放設(shè)備上的輸出變換軟件，并且這種輸出變換軟件可以把傳感器數(shù)據(jù)變換成適于重放設(shè)備中的觸覺(jué)輸出設(shè)備118的觸覺(jué)輸出信號(hào)。換句話說(shuō)，輸出變換器114和/或解碼器116可以位于重放設(shè)備130上。
[0046]在實(shí)施例中，播放器軟件應(yīng)用可以依賴于重放設(shè)備的操作系統(tǒng)軟件來(lái)執(zhí)行媒體重放，該操作系統(tǒng)軟件結(jié)合傳感器解碼方案。操作系統(tǒng)軟件可以依賴于駐留在或者以別的方式預(yù)先安裝在重放設(shè)備上的輸出變換軟件，并且這種輸出變換軟件可以把傳感器數(shù)據(jù)變換成適于重放設(shè)備中的觸覺(jué)輸出設(shè)備118的觸覺(jué)輸出信號(hào)。于是，觀看者可以經(jīng)歷與表演觀看關(guān)聯(lián)的觸覺(jué)感覺(jué)，這種觸覺(jué)感覺(jué)由輸出變換軟件產(chǎn)生。
[0047]然后，視頻和傳感器數(shù)據(jù)流可以被同步、合并并發(fā)送到重放設(shè)備130。同步可以例如通過(guò)在每個(gè)視頻幀和傳感器測(cè)量上包括時(shí)間戳、牢記捕捉可以在通過(guò)有線或無(wú)線網(wǎng)絡(luò)通信的獨(dú)立設(shè)備上發(fā)生來(lái)進(jìn)行。因此，記錄設(shè)備會(huì)需要例如從GPS系統(tǒng)獲得共享的時(shí)間參考?；蛘?，同步可以通過(guò)執(zhí)行在視頻和傳感器數(shù)據(jù)流中都可檢測(cè)的具體動(dòng)作諸如上下跳躍三次來(lái)執(zhí)行。
[0048]結(jié)果產(chǎn)生的數(shù)據(jù)可以作為結(jié)合振動(dòng)和視頻的單個(gè)數(shù)據(jù)流或者作為具有同步信息的兩個(gè)數(shù)據(jù)流來(lái)發(fā)送。數(shù)據(jù)流可以逐步發(fā)送到重放設(shè)備，或者存儲(chǔ)在文件中用于以后重放。在實(shí)施例中，觸覺(jué)反饋可以利用編輯工具離線產(chǎn)生并且在后期制作中添加到視點(diǎn)視頻。
[0049]視點(diǎn)視頻可以在以后重放或者實(shí)時(shí)地流化，在這兩種情況下都是通過(guò)一個(gè)或多個(gè)接收方。視頻可以在幾個(gè)設(shè)備上重放，但不限于:智能眼鏡(例如，Google眼鏡)、智能電話或平板電腦、計(jì)算機(jī)、家庭影院系統(tǒng)，等等。
[0050]在實(shí)施例中，觸覺(jué)反饋可以立即向記錄的人重放，或者為了監(jiān)視反饋的質(zhì)量或者為了放大觸覺(jué)體驗(yàn)。觸覺(jué)反饋可以類(lèi)似地利用位于智能電話或平板電腦、可佩帶設(shè)備上的不同觸覺(jué)輸出設(shè)備產(chǎn)生，其中可佩帶設(shè)備諸如頭戴式顯示設(shè)備、智能手表、護(hù)腕、戒指或手套，或者家具，諸如椅子或桌子。
[0051]重放設(shè)備應(yīng)當(dāng)能夠解碼視頻和振動(dòng)流，并且維持視頻和振動(dòng)之間的同步。重放設(shè)備130中的單個(gè)微控制器可以例如基于視頻和振動(dòng)流控制視頻顯示器120和觸覺(jué)輸出設(shè)備118。
[0052]圖2說(shuō)明了根據(jù)本發(fā)明實(shí)施例的方法200。在210，視頻被記錄設(shè)備諸如上述視頻記錄器104記錄。在220，振動(dòng)被傳感器諸如上述傳感器102感測(cè)。在230，視頻和振動(dòng)利用處理器諸如上述處理器I1同步。在240，同步的視頻和振動(dòng)利用電子重放設(shè)備諸如上述包括顯示器120和觸覺(jué)輸出設(shè)備118的電子重放設(shè)備130重放。
[0053]圖3-9說(shuō)明了上述系統(tǒng)100的實(shí)施例的各種示例性實(shí)現(xiàn)。這些實(shí)現(xiàn)和實(shí)施例不是要以任何方式進(jìn)行限制。
[0054]圖3說(shuō)明了上述系統(tǒng)100的實(shí)施例300，其中用戶在帶著包括視頻記錄器和至少一個(gè)振動(dòng)傳感器的頭戴式顯示設(shè)備310滑滑雪板時(shí)記錄特技的視點(diǎn)視頻。用戶隨后可以把具有嵌入的觸覺(jué)軌跡的視頻在互聯(lián)網(wǎng)上發(fā)布，使得他/她的朋友可以在他們的電子重放設(shè)備320諸如平板電腦上觀看該視頻，其中每個(gè)重放設(shè)備都配備顯示器322和至少一個(gè)觸覺(jué)輸出設(shè)備324，使得由觸覺(jué)輸出設(shè)備324生成并且代表由用戶記錄的振動(dòng)V的觸覺(jué)效果HE可以被該用戶的朋友感覺(jué)到，就好像他們和該用戶在那里一樣。用戶佩戴的振動(dòng)傳感器允許用戶的朋友感覺(jué)到用戶在特技期間感覺(jué)到的所有振動(dòng)，尤其是他/她在跳躍之后硬著陸時(shí)的碰撞。
[0055]圖4說(shuō)明了上述系統(tǒng)100的實(shí)施例400，其中用戶在他/她帶著頭戴式顯示設(shè)備410在山上騎自行車(chē)時(shí)記錄特定崎?區(qū)行程(ride)的視點(diǎn)視頻。用戶還通過(guò)由安裝在用戶背上或頭戴式顯示設(shè)備410上的觸覺(jué)輸出設(shè)備420生成的觸覺(jué)效果HE記錄自動(dòng)車(chē)的振動(dòng)V并感覺(jué)在他/她的背上放大的振動(dòng)。作為觸覺(jué)效果HE產(chǎn)生的放大的振動(dòng)會(huì)使得該行程對(duì)用戶來(lái)說(shuō)更驚心動(dòng)魄。
[0056]圖5A和5B說(shuō)明了上述系統(tǒng)100的實(shí)施例500，該系統(tǒng)由用戶利用頭戴式顯示器510從用戶的角度用來(lái)記錄高爾夫