專利名稱：再現(xiàn)內(nèi)容數(shù)據(jù)的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于再現(xiàn)諸如音樂和視頻的內(nèi)容的數(shù)據(jù)的方法和裝置。
背景技術(shù)：
用作多種裝置的控制器的計(jì)算機(jī)正變得越來越小以及在性能上越來越復(fù)雜。用這樣的計(jì)算機(jī)結(jié)合在再現(xiàn)音樂和視頻的再現(xiàn)裝置中，再現(xiàn)裝置也會(huì)在性能上變得復(fù)雜。如此高性能的再現(xiàn)裝置將諸如音頻和視頻的廣闊范圍的要被再現(xiàn)的內(nèi)容的娛樂提供給用戶。
例如，預(yù)期的音頻/視頻(AV)裝置不需要用戶選擇再現(xiàn)按鈕和結(jié)束按鈕中的一個(gè)，通過檢測(cè)用戶在房間中的運(yùn)動(dòng)自動(dòng)地開始再現(xiàn)內(nèi)容。同樣預(yù)期的是AV裝置和圓薄膜/視頻薄膜(DJ/VD)工具使對(duì)當(dāng)前要被再現(xiàn)的內(nèi)容給予改變和用戶的運(yùn)動(dòng)同時(shí)發(fā)生。
未經(jīng)審查的第2004-246535號(hào)日本專利申請(qǐng)說明書揭示了一種技術(shù)，其中用戶的情緒和心理被檢測(cè)到，基于情緒和心理的信息或根據(jù)分析情緒和心理獲得的信息，配合用戶的內(nèi)容被呈現(xiàn)。
通過檢測(cè)用戶的運(yùn)動(dòng)或基于用戶的生物信息而改變和/或選擇要被再現(xiàn)的內(nèi)容從而被預(yù)期。諸如音頻和視頻的要被再現(xiàn)的內(nèi)容的使用和娛樂的范圍從而被拓寬了。

發(fā)明內(nèi)容
通過其每一種能夠以與用戶的步法步調(diào)同步的方式改變音樂的再現(xiàn)速度的移動(dòng)音頻設(shè)備和健身機(jī)器，存在進(jìn)一步拓寬音頻和視頻的使用和娛樂的范圍的需求。為了滿足這個(gè)需求，一種感測(cè)用戶的狀態(tài)和在內(nèi)容中反映感測(cè)到的狀態(tài)的技術(shù)是重要的。
在一種設(shè)想的感測(cè)方法中，根據(jù)嵌入房間的地板的加速度傳感器、照相機(jī)、壓力傳感器檢測(cè)用戶的身體運(yùn)動(dòng)的特征點(diǎn)(用戶進(jìn)入房間的定時(shí)，用戶的身體運(yùn)動(dòng)的定時(shí)，用戶行走的定時(shí)等)，內(nèi)容的開始點(diǎn)和節(jié)拍如此與用戶的身體運(yùn)動(dòng)同步。在這種方法中，用戶感受到的觸發(fā)定時(shí)(用戶伸展其手臂或邁出他的腳的時(shí)刻)有時(shí)不能與傳感器信號(hào)的特征點(diǎn)(諸如最大點(diǎn))同步，并且內(nèi)容的再現(xiàn)定時(shí)需要放在傳感器信號(hào)的特征點(diǎn)的前面或后面。
來自傳感器的信號(hào)可以被連續(xù)地處理，并且內(nèi)容的再現(xiàn)方法可以在檢測(cè)到觸發(fā)之后被確定。在這種情況下，時(shí)間滯后發(fā)生了，從而使用戶的運(yùn)動(dòng)和行動(dòng)正在被再現(xiàn)的內(nèi)容不能同步。在娛樂內(nèi)容中與身體運(yùn)動(dòng)同步和實(shí)時(shí)響應(yīng)身體運(yùn)動(dòng)是重要的。為了以有效的方式用與用戶的行動(dòng)同步再現(xiàn)諸如音頻和視頻的內(nèi)容，內(nèi)容的再現(xiàn)與用戶的運(yùn)動(dòng)的同步和響應(yīng)必須保持得非常好。
因此期望提供一種用于同步內(nèi)容的再現(xiàn)定時(shí)和用戶的運(yùn)動(dòng)及動(dòng)作以獲得好的同步和響應(yīng)并有效地使用內(nèi)容的方法即裝置。
用于再現(xiàn)內(nèi)容的裝置，包括用于再現(xiàn)內(nèi)容的再現(xiàn)處理單元，用于檢測(cè)人的運(yùn)動(dòng)的檢測(cè)單元，基于來自檢測(cè)單元的輸出用于預(yù)測(cè)人的運(yùn)動(dòng)的定時(shí)的預(yù)測(cè)單元，以及用于在通過使對(duì)應(yīng)于要被再現(xiàn)的內(nèi)容的定時(shí)信息指示的定時(shí)與預(yù)測(cè)單元預(yù)測(cè)的人的運(yùn)動(dòng)的定時(shí)同步的內(nèi)容再現(xiàn)中控制再現(xiàn)處理單元的控制單元。
在內(nèi)容再現(xiàn)裝置中，再現(xiàn)處理單元再現(xiàn)內(nèi)容，檢測(cè)單元檢測(cè)人的運(yùn)動(dòng)，以及預(yù)測(cè)單元基于來自檢測(cè)單元的輸出預(yù)測(cè)人的運(yùn)動(dòng)的定時(shí)。
控制單元在通過使對(duì)應(yīng)于要被再現(xiàn)的內(nèi)容的定時(shí)信息指示的定時(shí)與預(yù)測(cè)單元預(yù)測(cè)的人的運(yùn)動(dòng)的定時(shí)同步的內(nèi)容再現(xiàn)中控制再現(xiàn)處理單元的控制單元。
因此內(nèi)容的再現(xiàn)定時(shí)與用戶的運(yùn)動(dòng)和行動(dòng)同步。內(nèi)容被再現(xiàn)以使內(nèi)容對(duì)用戶的運(yùn)動(dòng)及行動(dòng)的再現(xiàn)和響應(yīng)被改善。要被再現(xiàn)的內(nèi)容提供了更多的娛樂。結(jié)果，內(nèi)容被更有效地使用。
依照本發(fā)明的實(shí)施例，再現(xiàn)和使用內(nèi)容的用戶的運(yùn)動(dòng)的節(jié)奏和改變定時(shí)被預(yù)測(cè)以致內(nèi)容的再現(xiàn)定時(shí)與用戶的運(yùn)動(dòng)的節(jié)奏和改變定時(shí)同步。用這種安排，以與諸如音樂的內(nèi)容同步的方式移動(dòng)的用戶的感受和娛樂得到改善。該內(nèi)容被有效地使用。


圖1是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的內(nèi)容再現(xiàn)裝置的方框圖；圖2是更加詳細(xì)地示出圖1的內(nèi)容再現(xiàn)裝置的方框圖；圖3示出了圖1的內(nèi)容再現(xiàn)裝置的移動(dòng)樣式；圖4示出了圖1的內(nèi)容再現(xiàn)裝置的固定樣式；圖5是圖1的內(nèi)容再現(xiàn)裝置的功能方框圖；圖6示出了從安裝在耳機(jī)上的加速度傳感器輸出的傳感器信號(hào)；圖7示出了通過自相關(guān)函數(shù)轉(zhuǎn)換圖6的傳感器信號(hào)而獲得的自相關(guān)波形；圖8示出了具有作為定界信息的小節(jié)的音樂內(nèi)容數(shù)據(jù)；圖9示出了具有作為內(nèi)容素材的小節(jié)的短的音樂作品；圖10示出了音樂內(nèi)容的第一種再現(xiàn)方法；圖11示出了音樂內(nèi)容的第二種再現(xiàn)方法；圖12示出了與用戶預(yù)期的運(yùn)動(dòng)同步的視頻數(shù)據(jù)的轉(zhuǎn)換定時(shí)；圖13是示出內(nèi)容再現(xiàn)裝置的內(nèi)容再現(xiàn)處理的流程圖；圖14是示出安裝的行走傳感器；圖15A-15C示出頭部的運(yùn)動(dòng)如何被檢測(cè)；以及圖16示出了手部的運(yùn)動(dòng)如何被檢測(cè)。
具體實(shí)施例方式
參照附圖在下面描述本發(fā)明的實(shí)施例。
圖1是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的內(nèi)容再現(xiàn)裝置的方框圖。如圖1中所示，內(nèi)容再現(xiàn)裝置包括控制器10、輸出模塊20、存儲(chǔ)器30、外部接口(I/F)41、輸入I/F 42、數(shù)字I/F 43、無線I/F 44、收發(fā)器天線45和傳感器模塊50。
控制器10是微型計(jì)算機(jī)，該微型計(jì)算機(jī)包括中央處理器單元(CPU)11、只讀存儲(chǔ)器(ROM)12、隨機(jī)存儲(chǔ)器(RAM)13，所有這些元件經(jīng)由CPU總線14被連接，并且控制器10控制內(nèi)容再現(xiàn)裝置(記錄和再現(xiàn)裝置)的每一部件。
輸出模塊20包括音頻解碼器21、音頻輸出單元22、視頻解碼器23和視頻顯示單元24。例如，音頻輸出單元是揚(yáng)聲器，視頻顯示單元是諸如液晶顯示器(LCD)、等離子顯示板(PDP)、場(chǎng)致發(fā)光(EL)顯示器、陰極射線管(CRT)的顯示設(shè)備。音頻解碼器21把再現(xiàn)的音頻數(shù)據(jù)解碼成要被供給音頻輸出單元22的模擬音頻信號(hào)。視頻解碼器23把再現(xiàn)的視頻數(shù)據(jù)解碼成要被供給視頻輸出單元24的模擬視頻信號(hào)。
存儲(chǔ)單元30包括接口(I/F)31和記錄介質(zhì)32。記錄介質(zhì)32可以是硬盤、光盤、電磁盤、半導(dǎo)體存儲(chǔ)器、軟盤等中的一種。
或者，記錄介質(zhì)32包括多個(gè)相同的記錄媒體，諸如多個(gè)硬盤或多個(gè)光盤。此外，記錄介質(zhì)32可包括多個(gè)不同的記錄媒體，諸如，硬盤和光盤的組合，或光盤和磁光盤的組合。記錄介質(zhì)32可以是內(nèi)置型或可移動(dòng)型中的一種。
如后面將描述的，記錄介質(zhì)32存儲(chǔ)音頻數(shù)據(jù)、視頻數(shù)據(jù)、視聽(AV)數(shù)據(jù)、軟件程序和其它內(nèi)容數(shù)據(jù)。AV數(shù)據(jù)包含視頻數(shù)據(jù)和音頻數(shù)據(jù)，兩者能被同步再現(xiàn)。AV數(shù)據(jù)是諸如視頻的內(nèi)容數(shù)據(jù)。
記錄介質(zhì)32也存儲(chǔ)，如每一內(nèi)容數(shù)據(jù)的內(nèi)容屬性信息、表示內(nèi)容數(shù)據(jù)的各種定界位置的定界信息。定界信息被排列在每種內(nèi)容數(shù)據(jù)中，并存儲(chǔ)在與對(duì)應(yīng)的內(nèi)容數(shù)據(jù)相關(guān)聯(lián)的記錄介質(zhì)32中。如后面將要描述的，定界信息能夠經(jīng)由外部I/F 41從因特網(wǎng)上的服務(wù)器，或經(jīng)由數(shù)字I/F 43和無線I/F 44中的一個(gè)從外部裝置下載。定界信息能夠與內(nèi)容數(shù)據(jù)一起或與內(nèi)容數(shù)據(jù)分開被獲得。
在本實(shí)施例的記錄和再現(xiàn)裝置中的外部I/F 41被用來連接因特網(wǎng)100。記錄和再現(xiàn)裝置能夠經(jīng)由因特網(wǎng)100如此下載包括音頻數(shù)據(jù)、視頻數(shù)據(jù)、AV數(shù)據(jù)和文本數(shù)據(jù)在內(nèi)的各種內(nèi)容數(shù)據(jù)，并經(jīng)由I/F 31將下載的數(shù)據(jù)存儲(chǔ)到記錄介質(zhì)32上。相反地，本實(shí)施例的記錄和再現(xiàn)裝置能夠發(fā)送信息到目標(biāo)服務(wù)器以將該信息存儲(chǔ)在那里。
輸入I/F 42是接收來自用戶的操作輸入的鍵盤。接收的操作輸入經(jīng)由輸入I/F 42被轉(zhuǎn)換成電信號(hào)，然后它被供給控制器10。響應(yīng)來自用戶的操作輸入，控制器10控制本實(shí)施例的記錄和再現(xiàn)裝置。
數(shù)字I/F 43遵照電氣和電子工程師協(xié)會(huì)(IEEE)1394的通用串行總線(USB)的標(biāo)準(zhǔn)，或其它數(shù)字接口標(biāo)準(zhǔn)。數(shù)字I/F 43經(jīng)由專用線連接到其它電氣裝置，與其它電氣裝置交換諸如內(nèi)容數(shù)據(jù)和定界信息的數(shù)據(jù)。
無線I/F 44和收發(fā)器天線45與無線局域網(wǎng)(LAN)鏈接用于信息交換。記錄和再現(xiàn)裝置能夠經(jīng)由無線I/F 44和收發(fā)器天線45從無線LAN接收內(nèi)容數(shù)據(jù)和定界信息。
在本實(shí)施例的記錄和再現(xiàn)裝置中，在存儲(chǔ)器30中的記錄介質(zhì)32在存儲(chǔ)對(duì)應(yīng)于內(nèi)容數(shù)據(jù)的定界信息的同時(shí)存儲(chǔ)內(nèi)容數(shù)據(jù)。該定界信息作為內(nèi)容屬性數(shù)據(jù)，經(jīng)由外部I/F 41、數(shù)字I/F 43、和無線I/F 44中的一個(gè)能夠與對(duì)應(yīng)的內(nèi)容數(shù)據(jù)分開被獲得。
每一內(nèi)容數(shù)據(jù)和對(duì)應(yīng)于那里的定界信息能夠通過預(yù)定的識(shí)別信息相關(guān)聯(lián)。對(duì)應(yīng)于內(nèi)容數(shù)據(jù)的定界信息能夠被供應(yīng)在各種記錄介質(zhì)上。定界信息能夠被提供成記錄在相同文件上，但是是記錄在不同于存儲(chǔ)內(nèi)容數(shù)據(jù)的知識(shí)塊的知識(shí)塊上。在這種情況下，定界信息也能夠被正確地獲得和使用。
本實(shí)施例的記錄和再現(xiàn)裝置經(jīng)由外部I/F 41、數(shù)字I/F 43、和無線I/F 44中的一個(gè)能夠?qū)?nèi)容數(shù)據(jù)和定界信息發(fā)送到其它裝置。
傳感器模塊50包括身體運(yùn)動(dòng)傳感器51、身體運(yùn)動(dòng)編碼器52、環(huán)境傳感器53和環(huán)境編碼器53。身體運(yùn)動(dòng)傳感器51被安裝在用戶的身體上，或位于用戶的附近以檢測(cè)用戶的運(yùn)動(dòng)并將檢測(cè)到運(yùn)動(dòng)轉(zhuǎn)換成電信號(hào)。例如，身體運(yùn)動(dòng)傳感器51是變形傳感器、加速度傳感器、撞擊傳感器、震動(dòng)傳感器、方位傳感器、彎曲傳感器、壓力傳感器、圖像傳感器、熱電傳感器、紅外傳感器、電荷傳感器等中的一種。
身體運(yùn)動(dòng)傳感器51可以是獲得用戶圖像的攝像機(jī)。通過分析攝像機(jī)捕獲的視頻數(shù)據(jù)，用戶的運(yùn)動(dòng)被檢測(cè)到。GPS(全球定位系統(tǒng))傳感器也可用作身體運(yùn)動(dòng)傳感器51。因?yàn)镚PS傳感器能夠精確地確定用戶的位置，用戶的活動(dòng)能夠被監(jiān)控。
例如，使用記錄和再現(xiàn)裝置的用戶的運(yùn)動(dòng)包括用戶的行走活動(dòng)、用戶身體的向上和向下運(yùn)動(dòng)、用戶的頭部在向前和向后方向及側(cè)向的搖擺運(yùn)動(dòng)、手臂揮動(dòng)活動(dòng)、軀干的向前和向后及側(cè)向活動(dòng)、用戶進(jìn)入房間和離開房間的身體活動(dòng)以及用戶的身體姿勢(shì)的改變。更詳細(xì)地說，用戶的運(yùn)動(dòng)包括用戶身體的每一部分的變化，包括手的活動(dòng)、腳的活動(dòng)、拍手和行走步態(tài)。身體姿勢(shì)的改變包括站立、坐下和平躺。
有關(guān)用戶的位置的信息，例如，用GPS確定用戶已經(jīng)到達(dá)目的地的信息，此外指示用戶的運(yùn)動(dòng)。進(jìn)入按鈕、鍵盤或撞擊儀器類型專門接口的用戶操作輸入也可用作指示用戶的運(yùn)動(dòng)的信息。
用作身體運(yùn)動(dòng)傳感器51和控制器10之間的接口的身體運(yùn)動(dòng)編碼器52，將來自身體運(yùn)動(dòng)傳感器51的檢測(cè)數(shù)據(jù)轉(zhuǎn)換成與控制器10兼容的格式。
環(huán)境傳感器53以電氣信號(hào)的形式獲得戶所在的環(huán)境相關(guān)的信息。例如，環(huán)境傳感器53包括溫度傳感器、濕度傳感器、風(fēng)力計(jì)和光照度傳感器中的一個(gè)。環(huán)境編碼器54將來自環(huán)境傳感器53的數(shù)據(jù)轉(zhuǎn)換成與控制器10兼容的格式。編碼器54因此被用作環(huán)境傳感器53和控制器10之間的接口。
來自身體運(yùn)動(dòng)傳感器51和環(huán)境傳感器53的檢測(cè)數(shù)據(jù)(傳感器信號(hào))分別經(jīng)由身體運(yùn)動(dòng)編碼器52和環(huán)境編碼器54被傳送到記錄和再現(xiàn)裝置中的控制器10。如在后面將詳細(xì)說明的那樣，控制器10響應(yīng)來自傳感器模塊50的傳感器信號(hào)，控制要被再現(xiàn)的內(nèi)容的操作。
圖2是詳細(xì)示出本實(shí)施例的內(nèi)容再現(xiàn)裝置的方框圖。內(nèi)容再現(xiàn)裝置包括記錄介質(zhì)32和沒有用參考數(shù)字41-44指定的接口的圖1的裝置的再現(xiàn)模塊。
記錄介質(zhì)32包括內(nèi)容數(shù)據(jù)存儲(chǔ)部分和屬性信息存儲(chǔ)部分，并存儲(chǔ)內(nèi)容數(shù)據(jù)和與內(nèi)容數(shù)據(jù)相關(guān)聯(lián)的屬性數(shù)據(jù)?？刂破?0包括控制器處理器10A、解碼單元10B及混頻和效果處理器10C。RAM 13被用作再現(xiàn)歷史存儲(chǔ)單元。
來自身體運(yùn)動(dòng)傳感器51的傳感器信號(hào)經(jīng)由用作生物信息獲取單元的編碼器52被供給控制器10中的控制器處理器10A，并且來自環(huán)境傳感器53的傳感器信號(hào)經(jīng)由用作環(huán)境信息獲取單元的環(huán)境編碼器54被供給控制器10中的控制器處理器10A。
I/F 31響應(yīng)控制器10中的控制器處理器10A的再現(xiàn)指令經(jīng)由輸入I/F 42讀取內(nèi)容數(shù)據(jù)。I/F 31起到解碼器單元311、屬性信息獲取單元312和內(nèi)容數(shù)據(jù)獲取單元313的作用。在內(nèi)容數(shù)據(jù)被供給控制器10中的解碼器單元10B的同時(shí)，作為內(nèi)容屬性信息的定界信息被供給控制器10中的控制器處理器10A。
控制器10中的控制器處理器10A基于從身體運(yùn)動(dòng)傳感器51連續(xù)輸入的傳感器信號(hào)，預(yù)測(cè)用戶的運(yùn)動(dòng)的定時(shí)(運(yùn)動(dòng)定時(shí))，并使要被再現(xiàn)的內(nèi)容的目標(biāo)定界位置(定界定時(shí))與用戶的預(yù)測(cè)的位置定時(shí)同步。從而改善了再現(xiàn)內(nèi)容的同步感覺和響應(yīng)。
在本實(shí)施例的內(nèi)容再現(xiàn)裝置中的控制器處理器10A通過分析從身體運(yùn)動(dòng)傳感器連續(xù)供給的傳感器信號(hào)預(yù)測(cè)用戶的運(yùn)動(dòng)定時(shí)，并控制內(nèi)容的再現(xiàn)處理以使內(nèi)容的目標(biāo)定界位置與運(yùn)動(dòng)定時(shí)同步。從而用戶的運(yùn)動(dòng)定時(shí)配合要被再現(xiàn)的內(nèi)容的再現(xiàn)定時(shí)。
在本實(shí)施例的內(nèi)容再現(xiàn)裝置中，來自環(huán)境傳感器53的信號(hào)也被供給控制器處理器10A。來自環(huán)境傳感器53的傳感器信號(hào)在要被再現(xiàn)的內(nèi)容的再現(xiàn)處理的控制中也要被考慮。如果環(huán)境傳感器53是溫度傳感器，響應(yīng)檢測(cè)到的溫度調(diào)節(jié)內(nèi)容的再現(xiàn)速度。
在控制器10中的控制器處理器10A控制解碼單元10B及混頻和效果處理器10C，從而進(jìn)行內(nèi)容數(shù)據(jù)的再現(xiàn)處理。更具體的是，在由解碼單元10B解壓縮之后，內(nèi)容數(shù)據(jù)被供給混頻和效果處理器10C。響應(yīng)來自控制器處理器10A的控制信號(hào)，混頻和效果處理器10C使由定界信息指示的每一內(nèi)容的定界定時(shí)與用戶的運(yùn)動(dòng)定時(shí)同步，從而使再現(xiàn)定時(shí)與用戶的活動(dòng)同步。
來自混頻和效果處理器10C的音頻信號(hào)被供給一起形成音頻輸出設(shè)備的音頻解碼器21和音頻輸出單元22，以輸出再現(xiàn)的聲音。來自混頻和效果處理器10C的視頻信號(hào)被供給一起形成視頻輸出設(shè)備的視頻解碼器23和視頻顯示單元24，以顯示再現(xiàn)的視頻。
構(gòu)建成如參照?qǐng)D1和圖2所述的內(nèi)容再現(xiàn)裝置基于來自身體運(yùn)動(dòng)傳感器51檢測(cè)到的輸出預(yù)測(cè)用戶的運(yùn)動(dòng)定時(shí)，并使內(nèi)容的再現(xiàn)定時(shí)與預(yù)測(cè)的定時(shí)同步。這樣，響應(yīng)再現(xiàn)內(nèi)容由用戶感受到的同步和響應(yīng)被改善。
在本發(fā)明的上下文中的內(nèi)容包括音樂、不同于音樂的音頻、活動(dòng)圖像、靜態(tài)圖像(圖形、圖畫、字符)，震動(dòng)、諸如照明光的光和使用各種健身機(jī)器進(jìn)行的鍛煉。因此內(nèi)容包括人們能夠看到或感覺到的一切。如圖1中示出，例如，內(nèi)容是音樂或視頻。
構(gòu)建成如參照?qǐng)D1和圖2所述的內(nèi)容再現(xiàn)裝置可以被實(shí)施成移動(dòng)型或固定類型。圖3示出了本實(shí)施例的移動(dòng)內(nèi)容再現(xiàn)裝置的使用例子。圖4示出了本實(shí)施例的安裝的固定內(nèi)容再現(xiàn)裝置的使用例子。
例如，用戶1在行走時(shí)正在欣賞音樂。如圖3中示出，作為運(yùn)動(dòng)傳感器51的安裝在行走用戶1上的行走傳感器檢測(cè)用戶的每只腳的行走定時(shí)(在地面上)。如此被檢測(cè)到的身體運(yùn)動(dòng)信號(hào)被供給內(nèi)容再現(xiàn)裝置100的移動(dòng)類型。
如前所述，在內(nèi)容再現(xiàn)裝置100中的控制器10分析從身體運(yùn)動(dòng)傳感器51連續(xù)供給的用戶的行走定時(shí)(運(yùn)動(dòng)定時(shí))的檢測(cè)輸出(傳感器信號(hào))并預(yù)測(cè)用戶的腳的行走定時(shí)?？刂破?0控制內(nèi)容的再現(xiàn)定時(shí)以使由要被再現(xiàn)的內(nèi)容的預(yù)定定界信息指示的定時(shí)配合預(yù)測(cè)的行走定時(shí)。響應(yīng)再現(xiàn)內(nèi)容，由用戶感受到的同步的感受和響應(yīng)感受因此得到改善。
身體預(yù)定傳感器51能夠安裝在用戶的腳、手臂或頭部的預(yù)定位置。如圖3中示出，耳機(jī)被用作音頻輸出單元22。音頻輸出單元不限于耳機(jī)。
內(nèi)容再現(xiàn)裝置100使用諸如LCD的視頻顯示裝置可以再現(xiàn)視頻內(nèi)容。在這種情況下，視頻內(nèi)容被控制以使由視頻內(nèi)容的定界信息指示的定時(shí)與用戶的身體運(yùn)動(dòng)的改變定時(shí)同步。
圖4示出了固定的內(nèi)容再現(xiàn)裝置。該內(nèi)容再現(xiàn)裝置包括具有大型PDP(等離子體顯示板)屏幕或大型LCD屏幕的視頻顯示單元24，由左右兩個(gè)通道揚(yáng)聲器組成的音頻輸出單元23，由控制器10組成的處理模塊和身體運(yùn)動(dòng)傳感器51。
身體運(yùn)動(dòng)傳感器51通過捕獲圖像和檢測(cè)圖像中的變化來檢測(cè)用戶的運(yùn)動(dòng)。例如，身體運(yùn)動(dòng)傳感器51是攝像機(jī)和紅外傳感器中的一種。來自身體運(yùn)動(dòng)傳感器51的傳感器信號(hào)被供給處理模塊中的控制器10。
控制器10基于來自身體運(yùn)動(dòng)傳感器51的傳感器信號(hào)預(yù)測(cè)用戶的運(yùn)動(dòng)定時(shí)，并控制內(nèi)容數(shù)據(jù)以使由對(duì)應(yīng)于要被再現(xiàn)的內(nèi)容數(shù)據(jù)的定界信息指示的定時(shí)與運(yùn)動(dòng)定時(shí)同步。
如果內(nèi)容再現(xiàn)裝置是如圖3中示出的移動(dòng)的音樂和視頻再現(xiàn)裝置或移動(dòng)電話，行走傳感器、身體移動(dòng)傳感器、手臂移動(dòng)傳感器中的一個(gè)可用來配合內(nèi)容的定界定時(shí)與預(yù)測(cè)的行走步態(tài)或預(yù)測(cè)的身體運(yùn)動(dòng)中的改變點(diǎn)。與再現(xiàn)的內(nèi)容同步的感受因此被改善，且再現(xiàn)內(nèi)容的響應(yīng)在實(shí)時(shí)的基礎(chǔ)上被改善。
如果內(nèi)容再現(xiàn)裝置是安裝在圖4中示出的室內(nèi)的內(nèi)容再現(xiàn)裝置，放在地板上的照相機(jī)和壓力傳感器可被用來使內(nèi)容的定界定時(shí)與預(yù)測(cè)行走步態(tài)或預(yù)測(cè)的身體運(yùn)動(dòng)中的改變點(diǎn)同步。與再現(xiàn)的內(nèi)容同步的感受因此被改善，且再現(xiàn)內(nèi)容的響應(yīng)在實(shí)時(shí)的基礎(chǔ)上被改善。
下面將描述可作為移動(dòng)類型或固定類型的內(nèi)容再現(xiàn)裝置100的功能結(jié)構(gòu)。圖5是圖1的內(nèi)容再現(xiàn)裝置100的功能方框圖。由身體運(yùn)動(dòng)傳感器51和身體編碼器52組成的身體運(yùn)動(dòng)檢測(cè)器61檢測(cè)用戶的運(yùn)動(dòng)，諸如在奔跑期間每只腳的運(yùn)動(dòng)，或在收聽音樂時(shí)用戶的頭部的運(yùn)動(dòng)。
通過分析經(jīng)由CPU總線14從身體運(yùn)動(dòng)檢測(cè)器61捕獲的身體運(yùn)動(dòng)數(shù)據(jù)，由CPU11、ROM12和RAM13組成的運(yùn)動(dòng)/行動(dòng)預(yù)測(cè)器62預(yù)測(cè)用戶的身體運(yùn)動(dòng)的特征點(diǎn)、周期和節(jié)奏(速度)。
身體的特征點(diǎn)是身體運(yùn)動(dòng)的起點(diǎn)的定時(shí)(在該處用戶從靜止?fàn)顟B(tài)移動(dòng)他的身體)、身體運(yùn)動(dòng)的結(jié)束點(diǎn)(在該處用戶停止其身體運(yùn)動(dòng))、最大點(diǎn)，最小點(diǎn)、最大峰值點(diǎn)或最小峰值點(diǎn)。更具體地說，特征點(diǎn)是在步行期間用戶的腳的行走定時(shí)，或在用戶搖動(dòng)他的身體時(shí)轉(zhuǎn)動(dòng)點(diǎn)的定時(shí)。
內(nèi)容定時(shí)調(diào)節(jié)器63由CPU11、ROM12、RAM13和輸出模塊20組成。內(nèi)容定時(shí)調(diào)節(jié)器63基于由運(yùn)動(dòng)/行動(dòng)預(yù)測(cè)器62提供的預(yù)測(cè)結(jié)果以及內(nèi)容素材和伴隨內(nèi)容素材的定時(shí)信息，產(chǎn)生實(shí)時(shí)內(nèi)容，內(nèi)容素材和伴隨內(nèi)容素材的定時(shí)信息中的每一個(gè)由內(nèi)容素材閱讀器64從內(nèi)容素材和定時(shí)信息數(shù)據(jù)庫(kù)65讀取。
內(nèi)容素材閱讀器64由CPU11、ROM12、RAM13、I/F 31、外部的I/F 41、數(shù)字I/F 43和無線I/F 44組成。內(nèi)容素材和定時(shí)信息數(shù)據(jù)庫(kù)65用作存儲(chǔ)內(nèi)容素材和定時(shí)信息的記錄介質(zhì)32的數(shù)據(jù)庫(kù)，或用作發(fā)送內(nèi)容素材和定時(shí)信息的源服務(wù)器。
由音頻輸出單元22和視頻顯示單元24組成的內(nèi)容輸出單元66輸出在由內(nèi)容定時(shí)調(diào)節(jié)器調(diào)節(jié)的定時(shí)處產(chǎn)生的內(nèi)容。
內(nèi)容素材是形成最后內(nèi)容的素材。內(nèi)容素材可以是普通的內(nèi)容本身(諸如記錄在CD或DVD中的一個(gè)的音樂數(shù)據(jù)或視頻數(shù)據(jù)，或遵照MP3壓縮的音樂數(shù)據(jù)。最好是，內(nèi)容素材可以是幾個(gè)小節(jié)一樣短的短的音樂作品，或在每一個(gè)情景單元或剪切單元上的短的視頻鏡頭。
諸如包括定時(shí)信息、指示節(jié)拍定時(shí)、情景改變定時(shí)等的定界信息的元信息在記錄和發(fā)送之前被連接到內(nèi)容素材數(shù)據(jù)?；蛘撸〞r(shí)信息可以在讀取素材材料的時(shí)刻產(chǎn)生。
如果內(nèi)容素材是在小節(jié)單元上短的音樂作品，或在情景單元上或剪切單元上短的視頻鏡頭，這些內(nèi)容素材可以和固定的其時(shí)間順序關(guān)系接合，且接合的視頻的再現(xiàn)時(shí)間可以根據(jù)需要被延長(zhǎng)或縮短。如此在實(shí)時(shí)的基礎(chǔ)上產(chǎn)生合成的信號(hào)內(nèi)容。
在內(nèi)容再現(xiàn)裝置100中的控制器10基于從身體運(yùn)動(dòng)傳感器51輸出的檢測(cè)輸出(傳感器信號(hào))進(jìn)行用戶身體運(yùn)動(dòng)預(yù)測(cè)處理。用戶身體運(yùn)動(dòng)預(yù)測(cè)處理在下面做出描述。在本實(shí)施例中，用戶運(yùn)動(dòng)包括大范圍的用戶身體的運(yùn)動(dòng)，諸如行走、抬手、搖頭、進(jìn)入房間、離開房間、平躺、站立等。
例如，現(xiàn)在連接到由用戶配戴的耳機(jī)的身體運(yùn)動(dòng)傳感器51是加速度傳感器。圖6示出了從連接到耳機(jī)的加速度傳感器輸出的傳感器信號(hào)波形。
在內(nèi)容再現(xiàn)裝置100中的控制器10基于從身體運(yùn)動(dòng)傳感器51獲得的過去的時(shí)間系列信號(hào)預(yù)測(cè)用戶身體運(yùn)動(dòng)的將來的運(yùn)動(dòng)定時(shí)。使用諸如自相關(guān)操作或頻率傅利葉變換(更具體地說，快速傅利葉變換)，能夠檢測(cè)用戶的運(yùn)動(dòng)定時(shí)的周期。自相關(guān)技術(shù)在此被使用。
如圖6中所示，當(dāng)前時(shí)間是0毫秒(msec)，并且自相關(guān)函數(shù)的波形是從過去的傳感器信號(hào)中獲得。圖7示出了借助通過自相關(guān)函數(shù)轉(zhuǎn)換圖6的傳感器信號(hào)獲得的自相關(guān)函數(shù)波形。在圖7的自相關(guān)波形中，峰到峰時(shí)間間隔是600msec。身體運(yùn)動(dòng)傳感器51的傳感器信號(hào)的周期，也就是，用戶的運(yùn)動(dòng)定時(shí)(變化周期)是600msec。
由于圖6的傳感器信號(hào)波形具有600msec的周期，即將過去的600msec的波形A被假定為預(yù)測(cè)的波形。更具體地說，關(guān)于當(dāng)前時(shí)間的即將過去的600msec的波形A被設(shè)置成預(yù)測(cè)的即將到來的600msec波形。
在這個(gè)例子中，未來的傳感器信號(hào)被期望以和過去的信號(hào)相同的方式變化。如果600msec的周期被重復(fù)，最大值(在行走定時(shí))在預(yù)測(cè)的波形中被呈現(xiàn)，并且下一個(gè)行走定時(shí)被如此預(yù)測(cè)。
使用FFT技術(shù)，來自身體運(yùn)動(dòng)傳感器51的傳感器信號(hào)，作為時(shí)間級(jí)數(shù)數(shù)據(jù)，被轉(zhuǎn)換成頻率分量數(shù)據(jù)以檢測(cè)原始時(shí)間級(jí)數(shù)數(shù)據(jù)的周期。或者，使用不同于自相關(guān)操作和FFT技術(shù)的技術(shù)可以檢測(cè)傳感器信號(hào)的周期以預(yù)測(cè)用戶的運(yùn)動(dòng)定時(shí)。
有在不使用諸如自相關(guān)技術(shù)的特定技術(shù)能夠進(jìn)行波形預(yù)測(cè)的情況。在一個(gè)這樣的典型情況中，傳感器信號(hào)采用預(yù)定值，且在已經(jīng)取得預(yù)定值的傳感器信號(hào)之后的預(yù)定時(shí)間過去之后，運(yùn)動(dòng)定時(shí)發(fā)生。例如，從包括移動(dòng)速度、位置及由GPS系統(tǒng)提供的用戶移動(dòng)的方位的信息，用戶期望到達(dá)預(yù)定的位置的時(shí)間被預(yù)測(cè)。內(nèi)容的再現(xiàn)被控制與預(yù)期的時(shí)間同步。
定界信息表示需要與通過分析從身體運(yùn)動(dòng)傳感器51的傳感信號(hào)獲得的用戶的運(yùn)動(dòng)定時(shí)同步的內(nèi)容數(shù)據(jù)的定時(shí)。這里將更具體地描述定界信息。定界信息是對(duì)應(yīng)的內(nèi)容數(shù)據(jù)的元信息，并可以從對(duì)應(yīng)的內(nèi)容數(shù)據(jù)被一起或獨(dú)立地供給?；蛘?，可以通過分析內(nèi)容數(shù)據(jù)產(chǎn)生定界信息。
參照?qǐng)D8，內(nèi)容數(shù)據(jù)是記錄在光盤上的內(nèi)容數(shù)據(jù)，并且定界信息是小節(jié)。更具體地說，指示定界位置(小節(jié)定界信息)的信息是定界信息M1。定界信息M1可以包括子代碼的時(shí)間信息，光盤的扇區(qū)地址和簇地址，從內(nèi)容開始處的字節(jié)和比特的數(shù)量，從內(nèi)容開始處的采樣的數(shù)量，從內(nèi)容開始處的參考時(shí)鐘的數(shù)量。如果音樂內(nèi)容數(shù)據(jù)被壓縮，定界信息M1可以由從內(nèi)容開始處的被壓縮塊(block)的數(shù)量代表。
如果字節(jié)或比特的數(shù)量、采樣的數(shù)量或被壓縮的塊的數(shù)量被使用，定界信息M1不限于從開始處計(jì)算的值，而可以是表示與立即在前面的定界信息計(jì)算的數(shù)量的差值?；蛘?，定界信息M1可以由關(guān)于預(yù)定位置，諸如內(nèi)容的最后位置計(jì)算的值表示。這種定界信息與對(duì)應(yīng)的內(nèi)容數(shù)據(jù)相關(guān)聯(lián)被管理和使用。
如果使用定界信息對(duì)圖8的部分A的音樂內(nèi)容數(shù)據(jù)定界，該數(shù)據(jù)成為如圖8的部分B中示出的數(shù)據(jù)。如圖8的部分B所示，根據(jù)小節(jié)數(shù)據(jù)被定界，并且每一定界小節(jié)可以作為獨(dú)立的數(shù)據(jù)被識(shí)別和處理。使用該小節(jié)定界信息，每個(gè)小節(jié)的播放時(shí)間與行走用戶的腳的運(yùn)動(dòng)同步。
音樂內(nèi)容數(shù)據(jù)的定界信息在這里是小節(jié)定界信息。定界信息不限于小節(jié)定界信息。例如，該定界信息可以是與音樂內(nèi)容的小節(jié)的定界、節(jié)拍、旋律變化、音樂內(nèi)容的顯著部分的開始、音樂內(nèi)容的顯著部分的結(jié)束、音樂內(nèi)容的開始或音樂內(nèi)容的結(jié)束有關(guān)的信息。如果內(nèi)容數(shù)據(jù)是視頻數(shù)據(jù)，定界信息可以是諸如視頻情景改變或視頻切換改變的特征點(diǎn)。
依靠要被再現(xiàn)的內(nèi)容的內(nèi)容數(shù)據(jù)如何被供給及內(nèi)容數(shù)據(jù)的類型，定界信息可以以各種方式表示。例如，如果內(nèi)容數(shù)據(jù)在作為記錄介質(zhì)的光盤上被供給，使用光盤的盤或扇區(qū)地址的子代碼時(shí)間信息表示定界信息。如果是在硬盤上供給內(nèi)容數(shù)據(jù)，使用簇地址表示定界信息。
如果內(nèi)容數(shù)據(jù)是視頻數(shù)據(jù)，定界信息可以使用TV/視頻的時(shí)間代碼來表示。此外，使用從內(nèi)容開始處字節(jié)的數(shù)量或采樣的數(shù)量、GOP(圖片的組)單元、視頻幀單元、聲音幀單元、壓縮音頻的壓縮塊單元或這些條信息的每一條與各自前述的定界信息的差可以表示定界信息。
在本實(shí)施例的內(nèi)容再現(xiàn)裝置中，根據(jù)身體運(yùn)動(dòng)傳感器51的檢測(cè)輸出預(yù)測(cè)用戶的運(yùn)動(dòng)定時(shí)，且內(nèi)容以這種方式再現(xiàn)，使得內(nèi)容的再現(xiàn)定時(shí)與用戶的身體運(yùn)動(dòng)的特征點(diǎn)、周期或節(jié)奏同步。
用戶身體運(yùn)動(dòng)的特征點(diǎn)可以是身體運(yùn)動(dòng)的起點(diǎn)、身體運(yùn)動(dòng)的結(jié)束點(diǎn)、最大點(diǎn)，最小點(diǎn)、最大峰值點(diǎn)和最小峰值點(diǎn)。更具體地說，特征點(diǎn)是在跑步期間用戶的行走的定時(shí)，或在身體運(yùn)動(dòng)的搖擺中轉(zhuǎn)動(dòng)的定時(shí)。
例如，在音樂內(nèi)容數(shù)據(jù)被再現(xiàn)時(shí)，各自對(duì)應(yīng)于音樂作品的一個(gè)節(jié)拍的四個(gè)內(nèi)容素材A、B、C和D如圖9中示出被使用。四個(gè)音樂素材A、B、C和D被接合成單個(gè)音樂內(nèi)容。
由內(nèi)容素材A-D組成的樂句可以是音樂樂器數(shù)字接口(MIDI)數(shù)據(jù)，或脈沖編碼調(diào)制(PCM)數(shù)據(jù)。如果樂句是MIDI數(shù)據(jù)，節(jié)拍定時(shí)信息被直接從那里提取。當(dāng)產(chǎn)生隨后要被討論的內(nèi)容的時(shí)候，涉及的計(jì)算量較小。如果樂句是PCM數(shù)據(jù)，內(nèi)容素材A-D是純聲音波形。在這種情況下，節(jié)拍定時(shí)信息預(yù)先產(chǎn)生且與內(nèi)容素材A-D一起被記錄或發(fā)送。
根據(jù)直接在內(nèi)容數(shù)據(jù)的再現(xiàn)之前的內(nèi)容素材的波形可以計(jì)算節(jié)拍定時(shí)信息。在這種情況下，在2001年6月的新音樂研究雜志的30卷2期第159-171頁，名稱為“用于有或沒有鼓聲的音樂的基于音頻的實(shí)時(shí)節(jié)拍跟蹤系統(tǒng)”(“AnAudio-based Real-time Beat Tracking System for Music With or WithoutDrum-sounds”)的論文中，由Masataka GOTO公開的方法，以及同樣由MasatakaGOTO在1998年Kyoritsu出版的名為“節(jié)拍跟蹤，計(jì)算機(jī)和音樂世界……從基礎(chǔ)到前沿”(“Beat Tracking，Computer and Music World……From Basics toFrontier”)一書中公開的方法，可以計(jì)算節(jié)拍定時(shí)信息。
內(nèi)容素材A-D被接合成如圖9中示出單個(gè)音樂作品。內(nèi)容素材A-D中的每一個(gè)具有等于Tm的單個(gè)小節(jié)長(zhǎng)度。
圖10示出了把內(nèi)容的定時(shí)與用戶的行走步調(diào)同步的第一種方法。在第一種方法中，當(dāng)用戶的行走步調(diào)到達(dá)預(yù)定值，每種內(nèi)容素材被擴(kuò)展或縮短，以使每一內(nèi)容的開始定時(shí)與行走定時(shí)同步。
更具體地說，在圖9中示出的小節(jié)A-D中的每一個(gè)的開始處，節(jié)拍被引入，每隔四步，小節(jié)A-D的開始與行走定時(shí)同步。用于和小節(jié)同步的步伐不限于四步。例如，大多數(shù)行進(jìn)具有120的步調(diào)，以就是說，一個(gè)節(jié)拍＝一個(gè)步伐＝0.5秒，并且每四步(節(jié)拍)具有一個(gè)小節(jié)。如果小節(jié)同步的步伐的數(shù)量被設(shè)置為四，小節(jié)A-D中的每一個(gè)的開始在無須擴(kuò)展或縮短在大時(shí)間長(zhǎng)度中的內(nèi)容素材就能夠與行走定時(shí)同步。這里，內(nèi)容素材以A→B→C→D→A→B……次序再現(xiàn)。
如圖10中示出，在時(shí)間t0，用戶開始內(nèi)容再現(xiàn)。第一個(gè)小節(jié)A以周期Tm再現(xiàn)。在內(nèi)容再現(xiàn)開始時(shí)間t0之后的行走的和檢測(cè)到的步伐被設(shè)為第一步。當(dāng)?shù)谖宀奖蛔叱龊蜋z測(cè)到時(shí)，從第一步到第五步的四步長(zhǎng)度的時(shí)間T1被計(jì)算。
在第一個(gè)小節(jié)A的再現(xiàn)結(jié)束點(diǎn)ta和檢測(cè)到的第五個(gè)行走的時(shí)間之間的時(shí)間D 1被計(jì)算，且在時(shí)間T1和時(shí)間D1之間的差值(T1-D1)被計(jì)算。第二個(gè)小節(jié)B被乘以(T1-D1)/Tm，以使第二個(gè)小節(jié)B的再現(xiàn)時(shí)間變成差值(T1-D1)。
如圖10中示出，第一個(gè)小節(jié)在行走第五步的時(shí)刻結(jié)束。如果D1＞0，差值(T1-D1)比時(shí)間T1和時(shí)間Tm中的每一個(gè)更短，且(T1-D1)/Tm＜1，第二個(gè)小節(jié)在再現(xiàn)中被縮短。
如果第一個(gè)小節(jié)A在第五步被檢測(cè)到之前結(jié)束，小節(jié)A的再現(xiàn)還在該時(shí)刻重新開始。當(dāng)?shù)谖宀奖恍凶吆蜋z測(cè)到時(shí)，小節(jié)A的再現(xiàn)停止。在這種情況下，D1＜0，差值(T1-D1)能夠比時(shí)間T1和時(shí)間D1中的每個(gè)長(zhǎng)。如果差值(T1-D1)比時(shí)間Tm長(zhǎng)，且(T1-D1)/Tm＞1，小節(jié)B被擴(kuò)展。
類似的，每一小節(jié)以此種方式被連續(xù)再現(xiàn)，以使差值(Tn-Dn)(n＝1，2，3，4，……)被設(shè)置成第n+1個(gè)小節(jié)的再現(xiàn)時(shí)間。當(dāng)?shù)谒膫€(gè)小節(jié)D的再現(xiàn)完成，小節(jié)A被再次再現(xiàn)。
如果行走步調(diào)不是如圖10中示出的那樣變化，T1＝T2＝T3＝T4……，且除D1之外，Dn＝0。每個(gè)小節(jié)的開始與行走定時(shí)同步。
由于如內(nèi)容素材的小節(jié)在被再現(xiàn)之前被擴(kuò)展或縮短，音樂作品的連續(xù)性被保持。
內(nèi)容的定時(shí)與行走步調(diào)的同步的第二種方法在圖11中示出。如果行走步調(diào)變化很大，第二種方法是適當(dāng)?shù)?。不用擴(kuò)展或縮短內(nèi)容素材，每種內(nèi)容材料的開始時(shí)間被強(qiáng)迫與行走定時(shí)同步。
參照?qǐng)D11，節(jié)拍被置于小節(jié)A-D中的每一個(gè)的開始。以類似于圖10的方式，小節(jié)A-D中的每一個(gè)的開始與每四步的行走定時(shí)同步。當(dāng)用戶指示內(nèi)容再現(xiàn)在時(shí)間t0開始時(shí)，第一個(gè)小節(jié)A在第一行走(步伐)在時(shí)間t1被檢測(cè)到的時(shí)刻開始。小節(jié)A以Tm的時(shí)間長(zhǎng)度被再現(xiàn)。
如果從第一小節(jié)到第五小節(jié)的時(shí)間比時(shí)間Tm長(zhǎng)，小節(jié)A的再現(xiàn)在第五步行走被檢測(cè)到之前結(jié)束。小節(jié)A的再現(xiàn)在時(shí)間t2再次開始。在時(shí)間t3第五步行走被檢測(cè)到，且小節(jié)A的再現(xiàn)停止，并且小節(jié)B立即開始。
如果從第一步到第五步的時(shí)間比時(shí)間Tm短，第五步行走在小節(jié)A的再現(xiàn)結(jié)束之前被檢測(cè)到。此時(shí)，小節(jié)A的再現(xiàn)停止，并且小節(jié)B的再現(xiàn)立即開始。
不用被擴(kuò)展或縮短，小節(jié)B被再現(xiàn)到第九步行走被檢測(cè)到的時(shí)刻。如圖11中示出，如果從第五步到第九步的時(shí)間比時(shí)間Tm短，那么第九步行走在小節(jié)B的再現(xiàn)之前被檢測(cè)到，于是小節(jié)B的再現(xiàn)停止。小節(jié)C的再現(xiàn)立即開始。相反，如果從第五步到第九步的時(shí)間比時(shí)間Tm長(zhǎng)，并且小節(jié)B的再現(xiàn)在第九步的檢測(cè)之前結(jié)束，則小節(jié)B的再現(xiàn)再次開始。在檢測(cè)到第九步行走的時(shí)刻，小節(jié)C的再現(xiàn)立即開始。
類似地，每一小節(jié)不用被擴(kuò)展或縮短地再現(xiàn)。在第四個(gè)小節(jié)完全再現(xiàn)時(shí)，該再現(xiàn)過程返回第一個(gè)小節(jié)A。
如圖11中示出，即使行走步調(diào)變得更快，第二個(gè)小節(jié)和接下來的小節(jié)中的每一個(gè)不再再現(xiàn)到它們的結(jié)束。
在這個(gè)例子中，在每一小節(jié)的接合點(diǎn)沒有保持連續(xù)性。但是，在接合點(diǎn)的上一個(gè)小節(jié)能夠漸弱或漸強(qiáng)以減小奇怪的感覺。如果內(nèi)容素材是在接合點(diǎn)不需要連續(xù)性的短促的聲音(諸如鼓聲)，第二種方法較佳。
在第一種和第二種方法中的音樂的內(nèi)容，如果內(nèi)容是活動(dòng)圖像或靜止圖像，內(nèi)容的定時(shí)在再現(xiàn)期間可以與用戶的身體運(yùn)動(dòng)同步。
更具體地說，在活動(dòng)圖像中情景改變或切換改變的定時(shí)與用戶身體的搖擺的轉(zhuǎn)動(dòng)點(diǎn)的定時(shí)同步。在這種情況下，在一個(gè)情景單元或一個(gè)切換單元的活動(dòng)圖像被用作內(nèi)容素材。
例如，多個(gè)靜止圖像可以用幻燈片再現(xiàn)，從一個(gè)靜止圖像到下一個(gè)靜止圖像的轉(zhuǎn)換與用戶搖擺身體的運(yùn)動(dòng)的轉(zhuǎn)動(dòng)點(diǎn)同步。一頁(文件單元)的靜止圖像可以用作內(nèi)容素材。
內(nèi)容數(shù)據(jù)可以是視頻數(shù)據(jù)。圖12示出了在與用戶的預(yù)測(cè)身體運(yùn)動(dòng)同步中轉(zhuǎn)換的視頻內(nèi)容數(shù)據(jù)。如圖12中示出，用戶的預(yù)測(cè)身體運(yùn)動(dòng)定時(shí)t1、t2、t3，……也就是，用戶周期的身體運(yùn)動(dòng)(包括頭部運(yùn)動(dòng)，和手)被檢測(cè)到?；顒?dòng)圖像的情景改變或切換改變的定時(shí)，諸如視頻內(nèi)容G1(1)、G1(2)、G1(3)，……，與定時(shí)t1、t2、t3，……同步?；顒?dòng)圖像可以在定時(shí)t1、t2、t3，……轉(zhuǎn)換成靜止圖像。視頻內(nèi)容的再現(xiàn)定時(shí)于是與用戶的運(yùn)動(dòng)定時(shí)同步。
即使內(nèi)容是震動(dòng)或光，本發(fā)明也是可應(yīng)用的。如果內(nèi)容是震動(dòng)，震動(dòng)頻率(周期)或震動(dòng)的強(qiáng)度(幅度)的改變定時(shí)基于身體運(yùn)動(dòng)傳感器51的檢測(cè)輸出，與用戶預(yù)測(cè)的搖擺身體運(yùn)動(dòng)的轉(zhuǎn)動(dòng)點(diǎn)同步。在這種情況下，用于產(chǎn)生具有預(yù)定震動(dòng)模式的震動(dòng)的數(shù)據(jù)被用作內(nèi)容數(shù)據(jù)。
如果內(nèi)容是光，基于來自身體運(yùn)動(dòng)傳感器51的檢測(cè)輸出來預(yù)測(cè)身體運(yùn)動(dòng)。光的色彩(波長(zhǎng))或光的亮度(照明度)的改變與用戶身體搖擺運(yùn)動(dòng)的轉(zhuǎn)動(dòng)點(diǎn)同步。在這種情況下，用于產(chǎn)生具有某種色彩或照明度的光的數(shù)據(jù)被用作內(nèi)容數(shù)據(jù)。
本發(fā)明也可應(yīng)用于健身機(jī)器。例如，在跑步機(jī)中，驅(qū)動(dòng)速度可以隨時(shí)間流逝而改變，且在耐力訓(xùn)練機(jī)中，施加的力量隨時(shí)間而改變。健身機(jī)器的驅(qū)動(dòng)速度或施加力的改變定時(shí)，也就是，驅(qū)動(dòng)控制定時(shí)(再現(xiàn)控制定時(shí))是基于身體運(yùn)動(dòng)傳感器51的檢測(cè)輸出，與預(yù)測(cè)的用戶運(yùn)動(dòng)定時(shí)同步。
跑步機(jī)或耐力訓(xùn)練機(jī)器的驅(qū)動(dòng)控制數(shù)據(jù)被用作內(nèi)容素材。健身機(jī)器的驅(qū)動(dòng)控制定時(shí)以兩者方式工作，也就是，一種方式為作用于用戶的負(fù)荷增加，另一方式為作用于用戶的負(fù)荷減少。
要被再現(xiàn)的內(nèi)容數(shù)據(jù)包括音頻數(shù)據(jù)、視頻數(shù)據(jù)和AV數(shù)據(jù)中的一種。此外，本發(fā)明在要被再現(xiàn)的數(shù)據(jù)是震動(dòng)、光、健身機(jī)器的驅(qū)動(dòng)控制數(shù)據(jù)和驅(qū)動(dòng)各種執(zhí)行機(jī)構(gòu)的控制數(shù)據(jù)中的一種時(shí)也是適用的。
在音樂廳中的激光照明可處理為內(nèi)容。激光照明的改變與演員或觀眾的預(yù)測(cè)運(yùn)動(dòng)定時(shí)同步。球面鏡(mirror ball)的運(yùn)動(dòng)也可以處理為內(nèi)容。球面鏡的旋轉(zhuǎn)與演員或觀眾的預(yù)測(cè)運(yùn)動(dòng)定時(shí)同步。此外，計(jì)算機(jī)游戲的進(jìn)行可與游戲玩家的預(yù)測(cè)的運(yùn)動(dòng)定時(shí)同步。
在音樂廳中的激光照明和球面鏡的操作能夠通過控制激光照明的執(zhí)行機(jī)構(gòu)和小型球面鏡的執(zhí)行機(jī)構(gòu)被分別控制。通過控制輸出由用戶感知的各種物理量的執(zhí)行機(jī)構(gòu)(諸如機(jī)器人)，該執(zhí)行機(jī)構(gòu)的操作能夠與用戶的身體運(yùn)動(dòng)定時(shí)同步。通過控制驅(qū)動(dòng)各種事物的不同執(zhí)行機(jī)構(gòu)，由執(zhí)行機(jī)構(gòu)驅(qū)動(dòng)的事物的操作定時(shí)與用戶的預(yù)測(cè)的身體運(yùn)動(dòng)定時(shí)同步。
內(nèi)容再現(xiàn)裝置100的內(nèi)容再現(xiàn)處理和各種其它裝置，包括本發(fā)明的實(shí)施例，參照?qǐng)D13的流程在下面做出描述。為使說明簡(jiǎn)單，在圖13中示出的處理由參照?qǐng)D1和圖2的前述的內(nèi)容再現(xiàn)裝置100執(zhí)行。
當(dāng)內(nèi)容再現(xiàn)裝置100打開時(shí)，在圖13中示出的處理由內(nèi)容再現(xiàn)裝置中的控制器10執(zhí)行。一當(dāng)打開時(shí)，內(nèi)容再現(xiàn)裝置100中的控制器經(jīng)由輸入I/F 42從用戶處接收內(nèi)容再現(xiàn)指令(步驟S101)。
當(dāng)在步驟S 101從用戶接收內(nèi)容再現(xiàn)指令的時(shí)候，內(nèi)容再現(xiàn)裝置100中的控制器10經(jīng)由解碼器52從身體運(yùn)動(dòng)傳感器51接收檢測(cè)輸出(傳感器信號(hào))，并開始感測(cè)用戶的身體運(yùn)動(dòng)(步驟S102)。
響應(yīng)經(jīng)解碼器52連續(xù)從身體運(yùn)動(dòng)傳感器51供給的檢測(cè)輸出，控制器10預(yù)測(cè)用戶的運(yùn)動(dòng)波形和用戶的身體運(yùn)動(dòng)定時(shí)(步驟S103)?？刂破骰谠诓襟ES103獲得的預(yù)測(cè)結(jié)果確定預(yù)測(cè)的運(yùn)動(dòng)定時(shí)是否存在于預(yù)測(cè)的波形中(步驟S104)。
如果在步驟S104確定沒有運(yùn)動(dòng)定時(shí)存在于預(yù)測(cè)的波形中，步驟S103和步驟104的操作被重復(fù)。如果在步驟S104確定運(yùn)動(dòng)定時(shí)在預(yù)測(cè)的波形中，控制器10確定它是否是預(yù)測(cè)的運(yùn)動(dòng)定時(shí)(步驟S105)。
如果在步驟S105確定它還不是預(yù)測(cè)的運(yùn)動(dòng)定時(shí)，在步驟S105的操作被重復(fù)以等待預(yù)測(cè)的運(yùn)動(dòng)定時(shí)的到來。如果在步驟S105確定它是預(yù)測(cè)的運(yùn)動(dòng)定時(shí)，控制器10控制再現(xiàn)定時(shí)以使由內(nèi)容的定界信息識(shí)別的預(yù)定的定時(shí)與預(yù)測(cè)的運(yùn)動(dòng)定時(shí)同步，并然后再現(xiàn)該內(nèi)容(步驟S106)。
控制器10確定內(nèi)容的再現(xiàn)是否已經(jīng)完成(步驟S107)。如果步驟S107確定內(nèi)容的再現(xiàn)還沒有被完成，步驟S103和隨后的步驟被再次重復(fù)。用戶的身體運(yùn)動(dòng)于是被感測(cè)到，且然后用戶的身體運(yùn)動(dòng)定時(shí)被預(yù)測(cè)。內(nèi)容的再現(xiàn)定時(shí)與身體運(yùn)動(dòng)定時(shí)重復(fù)同步。如果在步驟S 107確定內(nèi)容的再現(xiàn)已經(jīng)完成，圖13的處理結(jié)束。
內(nèi)容再現(xiàn)裝置100或其它裝置，包括本發(fā)明的實(shí)施例，通過身體運(yùn)動(dòng)傳感器感測(cè)用戶的運(yùn)動(dòng)，預(yù)測(cè)用戶的身體運(yùn)動(dòng)定時(shí)，并使內(nèi)容的再現(xiàn)定時(shí)與預(yù)測(cè)的身體運(yùn)動(dòng)定時(shí)同步。用戶對(duì)再現(xiàn)內(nèi)容的同步感覺和響應(yīng)由此被改善。該內(nèi)容被有效地使用。
檢測(cè)用戶的運(yùn)動(dòng)的身體運(yùn)動(dòng)傳感器51可以是任何不同類型。身體運(yùn)動(dòng)傳感器51在下面做出特定描述。圖14示出安裝在鞋子3的腳后跟處的步行(步伐)傳感器6。步行傳感器6可以是變形傳感器、加速度傳感器、彎曲傳感器、壓力傳感器、距離測(cè)量傳感器、傾斜傳感器、磁傳感器、電流傳感器、電荷傳感器和電磁感應(yīng)傳感器中的一種。通過用話筒中獲得的聲音，能夠檢測(cè)腳的行走定時(shí)。
使用上述傳感器中的一個(gè)，讀取時(shí)間被檢測(cè)到。或者，頭或手的運(yùn)動(dòng)的轉(zhuǎn)動(dòng)點(diǎn)的定時(shí)被檢測(cè)到。
為了檢測(cè)頭的搖擺的轉(zhuǎn)動(dòng)點(diǎn)的定時(shí)，如圖15中示出，加速傳感器被簡(jiǎn)單地安裝在戴在用戶的頭部的耳機(jī)上。為通過加速度傳感器檢測(cè)步態(tài)，作為結(jié)果產(chǎn)生的傳感器信號(hào)的自相關(guān)被計(jì)算。加速度傳感器能夠被安裝在另一種類型的移動(dòng)設(shè)備上以檢測(cè)傳感器的身體運(yùn)動(dòng)。使用硬盤的許多移動(dòng)音樂設(shè)備使用用于檢測(cè)下跌的加速度傳感器，并且可以使用該傳感器的輸出。
圖15A示出了安裝在頭戴式耳機(jī)中連接左、右揚(yáng)聲器81和82的頭帶上的加速度傳感器7。圖15B示出了安裝在頸戴式耳機(jī)中連接左、右揚(yáng)聲器84和85的頸帶上的加速度傳感器7。圖15C示出了分別安裝在內(nèi)耳式耳機(jī)中插入耳孔中的左、右揚(yáng)聲器87和88上的加速度傳感器7a和7b。
為了檢測(cè)手的搖擺移動(dòng)的回轉(zhuǎn)點(diǎn)的定時(shí)，如圖16中示出，腕表型加速度傳感器8戴在用戶的手腕周圍。
身體運(yùn)動(dòng)傳感器51可以安裝在用戶身體的任何部分上，包括用戶的腳、頭、頸、手、小腿、膝、大腿、腰、軀干、上臂和肘。身體運(yùn)動(dòng)傳感器51可以安裝在腳后跟、腳趾、腳背或腳踝上。身體運(yùn)動(dòng)傳感器51可以安裝在手腕、手指或他的手背上。身體運(yùn)動(dòng)傳感器51也可安裝在用戶攜帶或穿著的物體上。
本實(shí)施例的內(nèi)容再現(xiàn)裝置根據(jù)傳感器信息預(yù)測(cè)用戶的身體運(yùn)動(dòng)和身體運(yùn)動(dòng)的定時(shí)，并以與所預(yù)測(cè)的定時(shí)同步的方式再現(xiàn)內(nèi)容。內(nèi)容的定界信息準(zhǔn)確地與用戶身體運(yùn)動(dòng)同步。如此再現(xiàn)的內(nèi)容把更多的娛樂和振奮提供給用戶。
要被再現(xiàn)的內(nèi)容數(shù)據(jù)可以被壓縮或可以不被壓縮。如果內(nèi)容數(shù)據(jù)被壓縮，在再現(xiàn)期間執(zhí)行解壓縮處理(解碼處理)。
內(nèi)容數(shù)據(jù)可在CD或DVD上、經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)、經(jīng)由無線I/F44、或從經(jīng)由外部接口的外部裝置中的一種中被提供。
作為對(duì)應(yīng)的內(nèi)容數(shù)據(jù)的元信息的定界信息可在與對(duì)應(yīng)的內(nèi)容數(shù)據(jù)相同的記錄介質(zhì)上或在與對(duì)應(yīng)的內(nèi)容數(shù)據(jù)不同的記錄介質(zhì)上被提供?？刂破?0和I/F31的組合，或控制器10和數(shù)字I/F 43的組合起到用于獲得定界信息的獲取裝置的作用。
定界信息可經(jīng)由因特網(wǎng)或從外部裝置提供。在這樣的一個(gè)例子中，控制器10和外部I/F 41的組合，或控制器10和無線I/F 44的組合起到獲得定界信息獲取裝置的作用。
對(duì)應(yīng)于那里的內(nèi)容數(shù)據(jù)和定界信息通過預(yù)定的信息被互相關(guān)聯(lián)以防內(nèi)容數(shù)據(jù)和定界信息被彼此分開地提供。
內(nèi)容數(shù)據(jù)和與其對(duì)應(yīng)的定界信息被用作定時(shí)信息。本發(fā)明不限于這種安排。沒有定界信息存在時(shí)，只要對(duì)應(yīng)于內(nèi)容數(shù)據(jù)的元信息是可獲得的，通過使內(nèi)容的再現(xiàn)開始定時(shí)和再現(xiàn)停止定時(shí)與用戶的身體運(yùn)動(dòng)定時(shí)同步，對(duì)用戶而言同步的感覺被改善。再現(xiàn)內(nèi)容的更好的實(shí)時(shí)響應(yīng)于是被獲得。在這種情況下，控制器10起到用于產(chǎn)生內(nèi)容數(shù)據(jù)的定界信息的產(chǎn)生裝置的作用。
內(nèi)容數(shù)據(jù)和對(duì)應(yīng)的定界信息可以同時(shí)地或獨(dú)立地，在相同的記錄介質(zhì)或不同的記錄介質(zhì)上提供，或經(jīng)由各種網(wǎng)絡(luò)被提供，或從外部裝置來提供。內(nèi)容數(shù)據(jù)和對(duì)應(yīng)的定界信息可存儲(chǔ)在記錄介質(zhì)上用于隨后使用。
在相同的記錄介質(zhì)上提供的內(nèi)容數(shù)據(jù)和定界信息可以記錄在分開的文件或同一文件中分開的知識(shí)塊上。例如，控制器10通過分開讀取內(nèi)容數(shù)據(jù)和定界信息，分開使用內(nèi)容數(shù)據(jù)和定界信息。
控制器10能夠根據(jù)內(nèi)容數(shù)據(jù)產(chǎn)生定界信息。在這種情況下，可獲得各種產(chǎn)生方法。例如，如果內(nèi)容數(shù)據(jù)是音頻數(shù)據(jù)，控制器10基于節(jié)拍或節(jié)奏產(chǎn)生定界信息。如果內(nèi)容數(shù)據(jù)是視頻數(shù)據(jù)，控制器10分析視頻數(shù)據(jù)的圖像以檢測(cè)情景改變點(diǎn)，并基于情景改變點(diǎn)產(chǎn)生定界信息。
控制器10響應(yīng)經(jīng)由輸入I/F 42接收到的操作輸入，能夠?qū)Υ鎯?chǔ)在記錄介質(zhì)32的內(nèi)容數(shù)據(jù)進(jìn)行添加、修改或刪除定界信息。
對(duì)本領(lǐng)域的那些技術(shù)人員應(yīng)當(dāng)理解，依靠在本發(fā)明的附加權(quán)利要求或其等效物內(nèi)的設(shè)計(jì)要求和其它因素，可以做出各種修改、組合、補(bǔ)充組合或替換。
權(quán)利要求
1.一種用于再現(xiàn)內(nèi)容的裝置，包括用于再現(xiàn)內(nèi)容的再現(xiàn)處理裝置；用于檢測(cè)人的運(yùn)動(dòng)的檢測(cè)裝置；用于基于來自所述檢測(cè)裝置的輸出預(yù)測(cè)人的運(yùn)動(dòng)的定時(shí)的預(yù)測(cè)裝置；以及用于在通過使對(duì)應(yīng)于要被再現(xiàn)的內(nèi)容的定時(shí)信息所指示的定時(shí)與所述預(yù)測(cè)裝置預(yù)測(cè)的人的運(yùn)動(dòng)的定時(shí)同步而控制所述再現(xiàn)處理裝置的內(nèi)容再現(xiàn)的控制裝置。
2.如權(quán)利要求1所述的裝置，其特征在于，所述檢測(cè)單元包括從由加速度傳感器、撞擊傳感器、全球定位系統(tǒng)傳感器、方位傳感器、彎曲傳感器、壓力傳感器、圖像傳感器、熱電傳感器、紅外傳感器、電荷傳感器、變形傳感器、距離傳感器、傾斜傳感器、磁性傳感器、電流傳感器、電容傳感器、電磁感應(yīng)傳感器組成的組合中選擇的至少一種傳感器。
3.如權(quán)利要求1所述的裝置，其特征在于，所述預(yù)測(cè)裝置使用自相關(guān)技術(shù)和頻率轉(zhuǎn)換計(jì)算技術(shù)中的一種預(yù)測(cè)運(yùn)動(dòng)的定時(shí)。
4.如權(quán)利要求1所述的裝置，其特征在于，所述要被再現(xiàn)的內(nèi)容包括音頻、視頻、光、以及由執(zhí)行機(jī)構(gòu)執(zhí)行的物理操作中的一種。
5.如權(quán)利要求1所述的裝置，其特征在于，還包括用于從記錄介質(zhì)上獲得對(duì)應(yīng)于所述要被再現(xiàn)的內(nèi)容的定時(shí)信息的獲取裝置，其中所述定時(shí)信息被提供在記錄介質(zhì)上，所述記錄介質(zhì)與存儲(chǔ)所述要被再現(xiàn)的內(nèi)容的內(nèi)容數(shù)據(jù)記錄介質(zhì)相同或不同。
6.如權(quán)利要求1所述的裝置，其特征在于，還包括用于通過分析內(nèi)容數(shù)據(jù)從要被再現(xiàn)的內(nèi)容的內(nèi)容數(shù)據(jù)產(chǎn)生定時(shí)信息的定時(shí)裝置。
7.如權(quán)利要求1所述的裝置，其特征在于，還包括從與存儲(chǔ)要被再現(xiàn)的內(nèi)容的內(nèi)容數(shù)據(jù)的文件相同的文件中的區(qū)域獲取定時(shí)信息的獲取裝置。
8.如權(quán)利要求1所述的裝置，其特征在于，還包括通過網(wǎng)絡(luò)連接到服務(wù)器且使用預(yù)定的識(shí)別符獲取對(duì)應(yīng)于要被再現(xiàn)的內(nèi)容的定時(shí)信息的連接獲取裝置，其中所述定時(shí)信息存儲(chǔ)在網(wǎng)絡(luò)上的服務(wù)器中。
9.如權(quán)利要求1所述的裝置，其特征在于，所述要被再現(xiàn)的內(nèi)容包括音樂內(nèi)容，所述定時(shí)信息包括含有音樂內(nèi)容的小節(jié)的定界、節(jié)拍、旋律改變、音樂內(nèi)容的顯著部分的開始、音樂內(nèi)容的顯著部分的結(jié)束、音樂內(nèi)容的開始和音樂內(nèi)容的結(jié)束的音樂特征改變點(diǎn)中的至少一個(gè)。
10.如權(quán)利要求1所述的裝置，其特征在于，所述定時(shí)信息被用來考慮提供要被再現(xiàn)的內(nèi)容的內(nèi)容數(shù)據(jù)的裝置的類型和所述內(nèi)容數(shù)據(jù)的類型，以及其中所述定時(shí)信息由光盤的子代碼時(shí)間數(shù)據(jù)、光盤的扇區(qū)地址、簇地址、TV/視頻的時(shí)間代碼、從內(nèi)容開始的字節(jié)的數(shù)量、從內(nèi)容開始的采樣數(shù)量、從內(nèi)容開始的參考時(shí)鐘的數(shù)量、從內(nèi)容的開始的圖片單元組的數(shù)量、從內(nèi)容開始的視頻幀單元的數(shù)量、從內(nèi)容開始的聲音幀單元的數(shù)量、從內(nèi)容開始的壓縮音頻的壓縮塊單元的數(shù)量、以及每條數(shù)據(jù)的當(dāng)前值和其在立即在前面的定界處的其先前值之間的差值中的一個(gè)。
11.如權(quán)利要求1所述的裝置，其特征在于，所述要被再現(xiàn)的內(nèi)容包括視頻內(nèi)容，以及其中所述定時(shí)信息包括含有視頻中情景改變和切換改變中的一個(gè)的視頻特征改變點(diǎn)。
12.如權(quán)利要求1所述的裝置，其特征在于，還包括用于存儲(chǔ)所述定時(shí)信息的可改寫記錄介質(zhì)；用于接收修改和/或刪除記錄在記錄介質(zhì)上的定時(shí)信息的請(qǐng)求、以及接收將附加的定時(shí)信息寫在記錄介質(zhì)上的請(qǐng)求的接收裝置；以及用于響應(yīng)所述接收裝置接收到的請(qǐng)求，修改和/或刪除記錄在記錄介質(zhì)上的定時(shí)信息以及將附加的定時(shí)信息寫在記錄介質(zhì)上的更新裝置。
13.如權(quán)利要求1所述的裝置，其特征在于，所述控制裝置控制要被與人的運(yùn)動(dòng)的定時(shí)同步的內(nèi)容的再現(xiàn)開始定時(shí)。
14.如權(quán)利要求1所述的裝置，其特征在于，所述人的運(yùn)動(dòng)包括人的步行運(yùn)動(dòng)、人的身體的向上和向下運(yùn)動(dòng)、人的頭部向前和向后方向以及側(cè)向的搖擺運(yùn)動(dòng)、手臂搖擺活動(dòng)、軀干的向前和向后及側(cè)向活動(dòng)、身體進(jìn)入房間和離開房間的活動(dòng)以及身體姿勢(shì)的改變；以及所述檢測(cè)裝置檢測(cè)所述的人的運(yùn)動(dòng)中的至少一種。
15.一種再現(xiàn)內(nèi)容的方法，包括以下步驟檢測(cè)人的運(yùn)動(dòng)；基于在所述檢測(cè)步驟中檢測(cè)到的運(yùn)動(dòng)，預(yù)測(cè)人的運(yùn)動(dòng)的定時(shí)；以及通過使對(duì)應(yīng)于要被再現(xiàn)的內(nèi)容的定時(shí)信息所指示的定時(shí)與在所述預(yù)測(cè)步驟中預(yù)測(cè)的人的運(yùn)動(dòng)的定時(shí)同步而控制內(nèi)容的再現(xiàn)。
16.一種用于再現(xiàn)內(nèi)容的裝置，包括再現(xiàn)內(nèi)容的再現(xiàn)處理單元；檢測(cè)人的運(yùn)動(dòng)的檢測(cè)單元；基于來自所述檢測(cè)單元的輸出，預(yù)測(cè)人的運(yùn)動(dòng)的定時(shí)的預(yù)測(cè)單元；以及在通過使對(duì)應(yīng)于要被再現(xiàn)的內(nèi)容的定時(shí)信息所指示的定時(shí)與所述預(yù)測(cè)單元預(yù)測(cè)的人的運(yùn)動(dòng)的定時(shí)同步控制所述再現(xiàn)處理單元的內(nèi)容再現(xiàn)的控制單元。
全文摘要
一種用于再現(xiàn)內(nèi)容的裝置，包括用于再現(xiàn)內(nèi)容的再現(xiàn)處理單元，用于檢測(cè)人的運(yùn)動(dòng)的檢測(cè)單元，基于來自檢測(cè)單元的輸出用于預(yù)測(cè)人的運(yùn)動(dòng)的定時(shí)的預(yù)測(cè)單元，以及用于在通過使對(duì)應(yīng)于要被再現(xiàn)的內(nèi)容的定時(shí)信息指示的定時(shí)與預(yù)測(cè)單元預(yù)測(cè)的人的運(yùn)動(dòng)的定時(shí)同步的內(nèi)容再現(xiàn)中控制再現(xiàn)處理單元的控制單元。
文檔編號(hào)G06F17/30GK1806755SQ200610005970
公開日2006年7月26日 申請(qǐng)日期2006年1月20日 優(yōu)先權(quán)日2005年1月20日
發(fā)明者高井基行, 山下功誠(chéng), 宮島靖, 佐古曜一郎, 寺內(nèi)俊郎, 佐佐木徹, 酒井祐市 申請(qǐng)人:索尼株式會(huì)社