信息處理設(shè)備，信息處理方法，顯示控制設(shè)備和顯示控制方法
【專(zhuān)利摘要】本發(fā)明涉及信息處理設(shè)備，信息處理方法，顯示控制設(shè)備和顯示控制方法。提供一種信息處理設(shè)備，包括信息獲取單元，所述信息獲取單元根據(jù)內(nèi)容的語(yǔ)言分析，獲得識(shí)別包括語(yǔ)音的內(nèi)容的編輯點(diǎn)的信息，和輸出獲得的信息的信息輸出單元。
【專(zhuān)利說(shuō)明】信息處理設(shè)備，信息處理方法，顯示控制設(shè)備和顯示控制方法
【技術(shù)領(lǐng)域】
[0001]本公開(kāi)涉及信息處理設(shè)備，信息處理方法，顯示控制設(shè)備和顯示控制方法，更具體地，涉及處理包括語(yǔ)音的內(nèi)容的信息處理設(shè)備。
【背景技術(shù)】
[0002]現(xiàn)有技術(shù)中，已知一種通過(guò)考慮并類(lèi)推用戶(hù)的偏好，從內(nèi)容組中只提取被認(rèn)為感興趣內(nèi)容的部分內(nèi)容，并再現(xiàn)該內(nèi)容的方法。在識(shí)別所有人都覺(jué)得有趣的一部分內(nèi)容的方法中，待提取的內(nèi)容的數(shù)量減少。因此，必須補(bǔ)充不足的內(nèi)容，以把該內(nèi)容用于幻燈片放映。當(dāng)考慮用戶(hù)的偏好時(shí)，如何構(gòu)成數(shù)據(jù)庫(kù)，以識(shí)別用戶(hù)的偏好是一個(gè)問(wèn)題。
[0003]例如，在W02009/025155中提出了根據(jù)包括語(yǔ)音的內(nèi)容自動(dòng)生成章節(jié)，并再現(xiàn)該章節(jié)的技術(shù)。按照該技術(shù)，根據(jù)聲音的波形分析，確定語(yǔ)音塊，以語(yǔ)音塊為單位進(jìn)行章節(jié)跳轉(zhuǎn)，然后觀看內(nèi)容。此外，在JP H10-84526A中提出一種根據(jù)聲音分析，自動(dòng)確定編輯點(diǎn)的技術(shù)。按照該技術(shù)，當(dāng)無(wú)聲區(qū)間持續(xù)恒定時(shí)間時(shí)，無(wú)聲區(qū)間被保存為編輯點(diǎn)，在以后的編輯時(shí)，進(jìn)行剪裁編輯。
【發(fā)明內(nèi)容】
[0004]但是，按照在W02009/025155中提出的技術(shù)，在傾聽(tīng)語(yǔ)音的內(nèi)容時(shí)，可能識(shí)別不出不必要的區(qū)間，從而不能僅僅剪裁內(nèi)容的有意義部分，并再現(xiàn)該部分。由于語(yǔ)音塊是依據(jù)聲音的振幅確定的，因此不能確定其中詞尾被拖長(zhǎng)的區(qū)間。
[0005]按照在JP H10-84526A中提出的技術(shù)，能夠識(shí)別被視為在會(huì)話(huà)或講話(huà)時(shí)產(chǎn)生的冗長(zhǎng)區(qū)間的過(guò)長(zhǎng)無(wú)聲區(qū)間。然而，不能識(shí)別除語(yǔ)音以外的聲音區(qū)間，或者在傾聽(tīng)會(huì)話(huà)或講話(huà)的內(nèi)容時(shí)，不能識(shí)別語(yǔ)音的無(wú)意義聲音的區(qū)間。通常，要求提出一種確定其中檢測(cè)到語(yǔ)音的區(qū)間中的有意義區(qū)間和無(wú)意義區(qū)間，從而使會(huì)話(huà)當(dāng)中的無(wú)意義區(qū)間減至最少的方法。
[0006]理想的是提供識(shí)別編輯點(diǎn)的優(yōu)良信息。
[0007]按照本公開(kāi)的實(shí)施例，提供一種信息處理設(shè)備，所述信息處理設(shè)備包括信息獲取單元，所述信息獲取單元根據(jù)內(nèi)容的語(yǔ)言分析，獲得識(shí)別包括語(yǔ)音的內(nèi)容的編輯點(diǎn)的信息，和輸出獲得的信息的信息輸出單元。
[0008]在本公開(kāi)中，信息獲取單元根據(jù)包括語(yǔ)音的內(nèi)容的語(yǔ)言分析，獲得識(shí)別內(nèi)容的編輯點(diǎn)的信息。例如，識(shí)別編輯點(diǎn)的信息可包括利用編輯點(diǎn)的周?chē)鷧^(qū)間中的語(yǔ)言分析獲得的語(yǔ)言信息。在這種情況下，語(yǔ)言信息可包括語(yǔ)音的發(fā)音信息。
[0009]識(shí)別獲得的內(nèi)容的編輯點(diǎn)的信息由信息輸出單元輸出。例如，信息輸出單元可把獲得的信息與內(nèi)容關(guān)聯(lián)地記錄在記錄介質(zhì)上。此外，信息輸出單元可按內(nèi)容的傳輸單位，把獲得的信息傳送給網(wǎng)絡(luò)。
[0010]因而，在本公開(kāi)中，能夠提供識(shí)別包括語(yǔ)音的內(nèi)容的編輯點(diǎn)的信息，所述信息是根據(jù)內(nèi)容的語(yǔ)言分析獲得的，并被輸出。[0011 ] 在本公開(kāi)中，信息輸出單元可輸出包含在編輯點(diǎn)的周?chē)鷧^(qū)間中的內(nèi)容之中的視頻的運(yùn)動(dòng)信息。因而，如果輸出視頻的運(yùn)動(dòng)信息，那么能夠提供有用的信息，作為識(shí)別編輯點(diǎn)的信息。
[0012]按照本公開(kāi)的另一個(gè)實(shí)施例，提供一種顯示控制設(shè)備，所述顯示控制設(shè)備包括信息獲取單元，所述信息獲取單元獲取識(shí)別包含語(yǔ)音的內(nèi)容的編輯點(diǎn)的信息，所述編輯點(diǎn)是根據(jù)所述內(nèi)容的語(yǔ)言分析獲得的，和顯示控制單元，所述顯示控制單元根據(jù)獲得的信息，控制與所述內(nèi)容相關(guān)的顯示。
[0013]在本公開(kāi)中，信息獲取單元獲取識(shí)別根據(jù)包含語(yǔ)音的內(nèi)容的語(yǔ)言分析獲得的所述內(nèi)容的編輯點(diǎn)的信息。例如，識(shí)別編輯點(diǎn)的信息可包括利用編輯點(diǎn)的周?chē)鷧^(qū)間中的語(yǔ)言分析而獲得的語(yǔ)言信息。在這種情況下，語(yǔ)言信息可包括語(yǔ)音的發(fā)音信息和語(yǔ)音的字符串信息。另外，與內(nèi)容相關(guān)的顯示由顯示控制單元根據(jù)獲得的信息控制。
[0014]例如，顯示控制單元可根據(jù)識(shí)別編輯點(diǎn)的信息，識(shí)別具有高有用度的內(nèi)容的第一區(qū)間，和具有低有用度的內(nèi)容的第二區(qū)間。顯示控制單元可以按照第一區(qū)間和第二區(qū)間可區(qū)分的狀態(tài)，顯示內(nèi)容的時(shí)間軸的方式，進(jìn)行控制。
[0015]這種情況下，顯示控制單元可按依照時(shí)間軸的預(yù)定區(qū)間的選擇，利用包含在語(yǔ)言信息中的字符串信息，顯示與時(shí)間軸的預(yù)定區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串的方式，進(jìn)行控制。此時(shí)，顯示控制單元可按顯示與預(yù)定區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串，和與在預(yù)定區(qū)間前后的區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串，并突出地顯示與預(yù)定區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串的方式，進(jìn)行控制。這種情況下，所述突出顯示可具有與其它區(qū)間的顯示顏色不同的顯示顏色。
[0016]例如，顯示控制單元可按照顯示依據(jù)用包含在語(yǔ)言信息中的字符串信息表示的子句的區(qū)間分割的內(nèi)容的時(shí)間軸，并且對(duì)應(yīng)于時(shí)間軸的區(qū)間地顯示與時(shí)間軸的每個(gè)區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串的方式，進(jìn)行控制。
[0017]因而，在本公開(kāi)中，根據(jù)識(shí)別包含語(yǔ)音的內(nèi)容的編輯點(diǎn)的信息，控制與所述內(nèi)容相關(guān)的顯示，所述信息是根據(jù)所述內(nèi)容的語(yǔ)言分析獲得的。于是，能夠恰當(dāng)?shù)剡M(jìn)行與內(nèi)容相關(guān)的顯示，例如，編輯用時(shí)間軸的顯示。
[0018]按照上面說(shuō)明的本公開(kāi)的實(shí)施例，能夠提供識(shí)別編輯點(diǎn)的優(yōu)良信息。
【專(zhuān)利附圖】
【附圖說(shuō)明】
[0019]圖1是圖解說(shuō)明按照實(shí)施例的信息處理設(shè)備的結(jié)構(gòu)例子的方框圖；
[0020]圖2是圖解說(shuō)明語(yǔ)音特征檢測(cè)單元的處理序列的例子的流程圖；
[0021]圖3是圖解說(shuō)明文本轉(zhuǎn)換單元的處理序列的例子的流程圖；
[0022]圖4圖解說(shuō)明由語(yǔ)言分析結(jié)果記錄格式轉(zhuǎn)換單元生成的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)和字符串結(jié)構(gòu)的示圖；
[0023]圖5是圖解說(shuō)明字符串、語(yǔ)音特征區(qū)間(拆分)和視頻數(shù)據(jù)(內(nèi)容)的對(duì)應(yīng)關(guān)系的例子的意圖；
[0024]圖6是圖解說(shuō)明按照實(shí)施例的編輯設(shè)備的結(jié)構(gòu)例子的方框圖；
[0025]圖7是圖解說(shuō)明語(yǔ)言分析信息列表生成單元中的每個(gè)句子的子章節(jié)登記的處理序列的例子的流程圖；
[0026]圖8是圖解說(shuō)明確定語(yǔ)音特征部分的有用度的水平的處理序列的例子的流程圖；[0027]圖9是圖解說(shuō)明文本信息獲取單元中的字符串?dāng)?shù)據(jù)的獲取的處理序列的例子的流程圖；
[0028]圖10是圖解說(shuō)明顯示在顯示單元上的編輯屏幕的顯示例子的示圖；
[0029]圖11是圖解說(shuō)明其中當(dāng)用戶(hù)通過(guò)鼠標(biāo)操作，選擇時(shí)間軸的預(yù)定子章節(jié)區(qū)間時(shí)，顯示與所述預(yù)定子章節(jié)區(qū)間和在所述預(yù)定子章節(jié)區(qū)間前后的區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串的情況的示圖；
[0030]圖12是圖解說(shuō)明語(yǔ)言分析信息列表生成單元中的每個(gè)句子的子章節(jié)登記的處理序列的例子的流程圖；
[0031]圖13是圖解說(shuō)明其中顯示為每個(gè)聲音特征區(qū)間(拆分)分割的時(shí)間軸，和對(duì)應(yīng)于每個(gè)語(yǔ)音特征區(qū)間地顯示與每個(gè)語(yǔ)音特征區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串的情況的示圖；
[0032]圖14是圖解說(shuō)明表格生成單元中的表格生成的處理序列的例子的流程圖；
[0033]圖15是圖解說(shuō)明基于單詞選擇的視頻搜索系統(tǒng)的示圖；
[0034]圖16是圖解說(shuō)明當(dāng)進(jìn)行對(duì)網(wǎng)絡(luò)的直播流媒體發(fā)布時(shí)的信息處理設(shè)備的結(jié)構(gòu)例子的方框圖；
[0035]圖17是圖解說(shuō)明當(dāng)進(jìn)行網(wǎng)絡(luò)傳輸時(shí)的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)的例子的示圖；
[0036]圖18是圖解說(shuō)明信息處理設(shè)備的另一個(gè)結(jié)構(gòu)例子的方框圖；
[0037]圖19是圖解說(shuō)明利用分析信息綜合單元生成的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)，和包含在內(nèi)容關(guān)聯(lián)結(jié)構(gòu)中的字符串結(jié)構(gòu)和運(yùn)動(dòng)結(jié)構(gòu)的示圖；
[0038]圖20是圖解說(shuō)明編輯設(shè)備的另一個(gè)結(jié)構(gòu)例子的方框圖；
[0039]圖21是圖解說(shuō)明確定聲音特征部分的有用度的水平的處理序列的另一個(gè)例子的流程圖；
[0040]圖22是圖解說(shuō)明計(jì)算機(jī)的結(jié)構(gòu)例子的示圖。
【具體實(shí)施方式】
[0041]下面參考附圖，詳細(xì)說(shuō)明本公開(kāi)的優(yōu)選實(shí)施例。注意在說(shuō)明書(shū)和附圖中，功能和結(jié)構(gòu)基本相同的構(gòu)成元件用相同的附圖標(biāo)記表示，這些構(gòu)成元件的重復(fù)說(shuō)明被省略。
[0042]將按照下述順序進(jìn)行說(shuō)明。
[0043]1.實(shí)施例
[0044]2.變形例
[0045]〈1.實(shí)施例 >
[0046][信息處理設(shè)備的結(jié)構(gòu)例子]
[0047]圖1圖解說(shuō)明信息處理設(shè)備10的結(jié)構(gòu)例子。信息處理設(shè)備10包括視頻輸入單元101、語(yǔ)音輸入單元102、運(yùn)動(dòng)圖像多路復(fù)用單元103、語(yǔ)言分析單元104、語(yǔ)言匹配數(shù)據(jù)庫(kù)105、運(yùn)動(dòng)圖像/語(yǔ)言分析信息關(guān)聯(lián)單元106和記錄介質(zhì)107。
[0048]視頻輸入單元101輸入形成內(nèi)容的視頻數(shù)據(jù)。語(yǔ)音輸入單元102輸入與輸入視頻輸入單元101的視頻數(shù)據(jù)對(duì)應(yīng)，并形成內(nèi)容的語(yǔ)音數(shù)據(jù)。運(yùn)動(dòng)圖像多路復(fù)用單元103多路復(fù)用輸入視頻輸入單元101的視頻數(shù)據(jù)，和輸入語(yǔ)音輸入單元102的語(yǔ)音數(shù)據(jù)，從而生成多路復(fù)用數(shù)據(jù)。
[0049]語(yǔ)言分析單元104具有語(yǔ)音特征檢測(cè)單元104a、文本轉(zhuǎn)換單元104b和語(yǔ)言分析結(jié)果記錄格式轉(zhuǎn)換單元104c。語(yǔ)音特征檢測(cè)單元104a分析輸入語(yǔ)音輸入單元102的語(yǔ)音數(shù)據(jù)，檢測(cè)語(yǔ)音特征區(qū)間(拆分)。每當(dāng)語(yǔ)音特征檢測(cè)單元104a檢測(cè)到語(yǔ)音特征區(qū)間時(shí)，語(yǔ)音特征檢測(cè)單元104a輸出表示語(yǔ)音特征的種類(lèi)的發(fā)音信息，及起點(diǎn)和終點(diǎn)的時(shí)間信息。
[0050]語(yǔ)音特征區(qū)間包括(a)元音的長(zhǎng)音區(qū)間(例如，ee、ea等)，(b)始于爆破音或強(qiáng)重音的區(qū)間，(C)擬音的表現(xiàn)區(qū)間，和(d)語(yǔ)音的音調(diào)的變化區(qū)間。(a)的元音的長(zhǎng)音區(qū)間很可能是談話(huà)時(shí)的比較無(wú)意義的區(qū)間，從而是用戶(hù)在編輯時(shí)希望剪切的區(qū)間。(b)的始于爆破音或強(qiáng)重音的區(qū)間是談話(huà)者期望強(qiáng)調(diào)或者感到驚訝的區(qū)間，從而用戶(hù)在編輯時(shí)希望采用。
[0051](C)的擬音的表現(xiàn)區(qū)間是其中談話(huà)者希望說(shuō)明某事，但是可能想不起適當(dāng)?shù)脑~語(yǔ)，或者談話(huà)者期望強(qiáng)調(diào)某事，并且用戶(hù)在編輯時(shí)期望采用的區(qū)間。在(d)的語(yǔ)音的音調(diào)的變化區(qū)間中，從高音調(diào)到低音調(diào)的變化區(qū)間主要是更加說(shuō)明性的部分，而從低音調(diào)到高音調(diào)的變化區(qū)間主要是感情表現(xiàn)區(qū)間。從高音到低音的變化區(qū)間和從高音到低音的變化區(qū)間是用戶(hù)在編輯時(shí)希望采用的區(qū)間。
[0052]圖2的流程圖圖解說(shuō)明語(yǔ)音特征檢測(cè)單元104a的處理序列的例子。首先，在步驟ST1，語(yǔ)音特征檢測(cè)單元104a接收語(yǔ)音數(shù)據(jù)的輸入。之后，在步驟ST2，語(yǔ)音特征檢測(cè)單元104a進(jìn)行語(yǔ)音分析。然后在步驟ST3，語(yǔ)音特征檢測(cè)單元104a判斷語(yǔ)音特征區(qū)間是否從語(yǔ)音特征區(qū)間的起點(diǎn)前進(jìn)到終點(diǎn)，即，是否檢測(cè)到語(yǔ)音特征區(qū)間。
[0053]當(dāng)未檢測(cè)到語(yǔ)音特征區(qū)間時(shí)，語(yǔ)音特征檢測(cè)單元104a返回步驟ST1，重復(fù)和上述處理相同的處理。同時(shí)，當(dāng)檢測(cè)到語(yǔ)音特征區(qū)間時(shí)，在步驟ST4，語(yǔ)音特征檢測(cè)單元104a識(shí)別語(yǔ)音特征區(qū)間的種類(lèi)，并輸出種類(lèi)信息，及語(yǔ)音特征區(qū)間的起點(diǎn)和終點(diǎn)的時(shí)間信息，作為檢測(cè)到的語(yǔ)音特征區(qū)間的信息。隨后，語(yǔ)音特征檢測(cè)單元104a返回步驟ST1，進(jìn)行下一個(gè)語(yǔ)音特征區(qū)間的檢測(cè)處理。
[0054]文本轉(zhuǎn)換單元104b利用語(yǔ)言匹配數(shù)據(jù)庫(kù)105，對(duì)輸入語(yǔ)音輸入單元102的語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)言分析，并為運(yùn)動(dòng)圖像的每個(gè)章節(jié)，提取包含在運(yùn)動(dòng)圖像的每個(gè)章節(jié)中的每個(gè)句子的字符串。每當(dāng)檢測(cè)到字符串時(shí)，文本轉(zhuǎn)換單元104b輸出字符串?dāng)?shù)據(jù)及起點(diǎn)和終點(diǎn)的時(shí)間信息。
[0055]圖3的流程圖圖解說(shuō)明文本轉(zhuǎn)換單元104b的處理序列的例子。首先，在步驟ST11，文本轉(zhuǎn)換單元104b接收語(yǔ)音數(shù)據(jù)的輸入。之后在步驟ST12，文本轉(zhuǎn)換單元104b判斷會(huì)話(huà)是否開(kāi)始，即，句子是否開(kāi)始。當(dāng)句子未開(kāi)始時(shí)，文本轉(zhuǎn)換單元104b返回步驟ST11，重復(fù)和上面說(shuō)明的處理相同的處理。
[0056]當(dāng)句子開(kāi)始時(shí)，在步驟ST13，文本轉(zhuǎn)換單元104b對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)言分析，并進(jìn)行文本生成處理。之后，在步驟ST14，文本轉(zhuǎn)換單元104b判斷是否檢測(cè)到句子的斷點(diǎn)(語(yǔ)音的斷點(diǎn))。當(dāng)未檢測(cè)到斷點(diǎn)時(shí)，文本轉(zhuǎn)換單元104b在步驟ST15，輸入語(yǔ)音數(shù)據(jù)，并在步驟ST13中進(jìn)行語(yǔ)言分析和進(jìn)行文本生成處理，直到檢測(cè)到斷點(diǎn)為止。
[0057]當(dāng)檢測(cè)到句子的斷點(diǎn)時(shí)，在步驟ST16，文本轉(zhuǎn)換單元104b輸出句子的信息，即，字符串?dāng)?shù)據(jù)及起點(diǎn)和終點(diǎn)的時(shí)間信息。隨后，文本轉(zhuǎn)換單元104b返回步驟ST11，并根據(jù)下一個(gè)句子的語(yǔ)言分析，進(jìn)行文本生成處理。
[0058]返回圖1，語(yǔ)言分析結(jié)果記錄格式轉(zhuǎn)換單元104c把來(lái)自語(yǔ)音特征檢測(cè)單元104a的每個(gè)語(yǔ)音特征區(qū)間的信息的格式，和來(lái)自文本轉(zhuǎn)換單元104b的每個(gè)句子的信息的格式轉(zhuǎn)換成記錄格式。
[0059]這種情況下，語(yǔ)言分析結(jié)果記錄格式轉(zhuǎn)換單元104c為每個(gè)章節(jié)生成在圖4(a)中圖解所示的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)。“識(shí)別關(guān)聯(lián)內(nèi)容的ID”是內(nèi)容的章節(jié)標(biāo)識(shí)信息。包含在該章節(jié)中的每個(gè)句子的字符串結(jié)構(gòu)(例示于圖4(b)中)包含在“分析字符串列表”的一部分中。
[0060]字符串結(jié)構(gòu)包括句子的字符串?dāng)?shù)據(jù)(圖4(b)的例子中的XXXXAAAAACCCCCCBBBBB的數(shù)據(jù))，以及對(duì)應(yīng)字符串的開(kāi)始時(shí)間和終止時(shí)間的信息。在這種情況下，開(kāi)始時(shí)間表示當(dāng)字符串的發(fā)音開(kāi)始時(shí)的時(shí)間，而終止時(shí)間表示當(dāng)字符串的發(fā)音結(jié)束時(shí)的時(shí)間。開(kāi)始時(shí)間和終止時(shí)間表示構(gòu)成內(nèi)容的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的對(duì)應(yīng)關(guān)系。即，開(kāi)始時(shí)間和終止時(shí)間表示字符串對(duì)應(yīng)于內(nèi)容的哪個(gè)區(qū)間，并且在編輯時(shí)必須剪裁。
[0061]字符串結(jié)構(gòu)包括句子中的每個(gè)語(yǔ)音特征區(qū)間(拆分)的信息。一個(gè)語(yǔ)音特征區(qū)間的信息包括開(kāi)始字符位置、開(kāi)始時(shí)間和發(fā)音信息。開(kāi)始字符位置表示字符串的斷點(diǎn)位置。開(kāi)始字符位置是以使字符串和語(yǔ)音特征區(qū)間彼此對(duì)應(yīng)的字符串的編號(hào)位置的形式描述的。在圖4(b)的例子中，與字符串的“AAAA”對(duì)應(yīng)的語(yǔ)音特征區(qū)間中的開(kāi)始字符位置是第5個(gè)字符的位置。
[0062]開(kāi)始時(shí)間表示斷點(diǎn)位置的時(shí)間，并且表示構(gòu)成內(nèi)容的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的對(duì)應(yīng)關(guān)系。發(fā)音信息表示語(yǔ)音特征的種類(lèi)。語(yǔ)音特征的種類(lèi)包括元音的長(zhǎng)音區(qū)間，以爆破音或強(qiáng)重音開(kāi)始的區(qū)間，擬音的表現(xiàn)區(qū)間，和語(yǔ)音的音調(diào)的變化區(qū)間，如上所述。
[0063]圖5示意地圖解說(shuō)明字符串、語(yǔ)音特征區(qū)間(拆分)和視頻數(shù)據(jù)(內(nèi)容)的對(duì)應(yīng)關(guān)系的例子。圖5(a)圖解說(shuō)明字符串，圖5(b)示意地圖解說(shuō)明具有電影格式的視頻數(shù)據(jù)的每一幀。在這個(gè)例子中，4個(gè)語(yǔ)音特征區(qū)間(拆分)“拆分[O]?拆分[3]”包含在字符串 “XXXXAAAAACCCCCCBBBBB” 中。
[0064]返回圖1，運(yùn)動(dòng)圖像/語(yǔ)言分析信息關(guān)聯(lián)單元106使利用運(yùn)動(dòng)圖像多路復(fù)用單元103獲得的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)，與利用語(yǔ)言分析單元104獲得的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)相互關(guān)聯(lián)，并把多路復(fù)用數(shù)據(jù)和內(nèi)容關(guān)聯(lián)結(jié)構(gòu)記錄在記錄介質(zhì)107上。這種情況下，通過(guò)利用以下的格式(a)?(d)，把多路復(fù)用數(shù)據(jù)和內(nèi)容關(guān)聯(lián)結(jié)構(gòu)記錄在記錄介質(zhì)上，能夠進(jìn)行關(guān)聯(lián)。
[0065](a)對(duì)于每個(gè)章節(jié)，向章節(jié)的多路復(fù)用數(shù)據(jù)的結(jié)尾附加與所述多路復(fù)用數(shù)據(jù)對(duì)應(yīng)的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)(參見(jiàn)圖4)，并記錄所述多路復(fù)用數(shù)據(jù)和內(nèi)容關(guān)聯(lián)結(jié)構(gòu)。(b)對(duì)于每個(gè)章節(jié)，利用相同的文件名和不同的擴(kuò)展名，記錄章節(jié)的多路復(fù)用數(shù)據(jù)，和與所述多路復(fù)用數(shù)據(jù)對(duì)應(yīng)的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)。(C)對(duì)于每個(gè)章節(jié)，利用任意文件名，記錄章節(jié)的多路復(fù)用數(shù)據(jù)，和與所述多路復(fù)用數(shù)據(jù)對(duì)應(yīng)的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)，但是生成使所述多路復(fù)用數(shù)據(jù)和內(nèi)容關(guān)聯(lián)結(jié)構(gòu)彼此關(guān)聯(lián)的獨(dú)立數(shù)據(jù)庫(kù)。
[0066](d)對(duì)于每個(gè)章節(jié)，利用任意文件名，記錄章節(jié)的多路復(fù)用數(shù)據(jù)，和與所述多路復(fù)用數(shù)據(jù)對(duì)應(yīng)的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)，但是在該章節(jié)的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)中，嵌入識(shí)別對(duì)應(yīng)的多路復(fù)用數(shù)據(jù)的信息，例如，通用唯一標(biāo)識(shí)符(UUID)。
[0067]下面，說(shuō)明在圖1中圖解說(shuō)明的信息處理設(shè)備10的操作。輸入視頻輸入單元101的視頻數(shù)據(jù)被提供給運(yùn)動(dòng)圖像多路復(fù)用單元103。另外，輸入語(yǔ)音輸入單元102的語(yǔ)音數(shù)據(jù)被提供給運(yùn)動(dòng)圖像多路復(fù)用單元103。在運(yùn)動(dòng)圖像多路復(fù)用單元103中，視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)被多路復(fù)用，從而獲得多路復(fù)用數(shù)據(jù)。[0068]輸入語(yǔ)音數(shù)據(jù)輸入單元102的語(yǔ)音數(shù)據(jù)被提供給語(yǔ)言分析單元104的語(yǔ)音特征檢測(cè)單元104a和文本轉(zhuǎn)換單元104b。在語(yǔ)音特征檢測(cè)單元104a中，分析語(yǔ)音數(shù)據(jù)，并檢測(cè)語(yǔ)音特征區(qū)間(拆分)。在該語(yǔ)音特征檢測(cè)單元中，每當(dāng)檢測(cè)到語(yǔ)音特征區(qū)間時(shí)，輸出表示語(yǔ)音特征區(qū)間的種類(lèi)的發(fā)音信息，以及起點(diǎn)和終點(diǎn)的時(shí)間信息。
[0069]文本轉(zhuǎn)換單元104b利用語(yǔ)言匹配數(shù)據(jù)庫(kù)105，對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)言分析，并為運(yùn)動(dòng)圖像的每個(gè)章節(jié)，檢測(cè)包含在每個(gè)章節(jié)中的每個(gè)句子的字符串。每當(dāng)檢測(cè)到每個(gè)句子的字符串時(shí)，文本轉(zhuǎn)換單元104b輸出字符串?dāng)?shù)據(jù)，以及起點(diǎn)和終點(diǎn)的時(shí)間信息。
[0070]在語(yǔ)言分析單元104中，語(yǔ)音特征檢測(cè)單元104a的輸出信息和文本轉(zhuǎn)換單元104b的輸出信息被提供給語(yǔ)言分析結(jié)果記錄格式轉(zhuǎn)換單元104c。在格式轉(zhuǎn)換單元104c中，來(lái)自語(yǔ)音特征檢測(cè)單元104a的每個(gè)語(yǔ)音特征區(qū)間的信息的格式和來(lái)自文本轉(zhuǎn)換單元104b的每個(gè)句子的信息被轉(zhuǎn)換成記錄格式。
[0071]即，在格式轉(zhuǎn)換單元104c中，為每個(gè)章節(jié)生成內(nèi)容關(guān)聯(lián)結(jié)構(gòu)(參見(jiàn)圖4 (a))。在內(nèi)容關(guān)聯(lián)結(jié)構(gòu)中，包含包括在該章節(jié)中的每個(gè)句子的字符串結(jié)構(gòu)(參見(jiàn)圖4 (b))。字符串結(jié)構(gòu)包括句子的字符串?dāng)?shù)據(jù)，以及字符串的開(kāi)始時(shí)間和終止時(shí)間的信息。字符串結(jié)構(gòu)包括句子中的每個(gè)語(yǔ)音特征區(qū)間(拆分)的信息。在這種情況下，一個(gè)語(yǔ)音特征區(qū)間的信息包括開(kāi)始字符位置、開(kāi)始時(shí)間和發(fā)音信息。
[0072]利用運(yùn)動(dòng)圖像多路復(fù)用單元103獲得的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)被提供給運(yùn)動(dòng)圖像/語(yǔ)言分析信息關(guān)聯(lián)單元106。利用語(yǔ)言分析單元104獲得的，并且其格式被轉(zhuǎn)換成記錄格式的每個(gè)句子的信息(內(nèi)容關(guān)聯(lián)結(jié)構(gòu))被提供給運(yùn)動(dòng)圖像/語(yǔ)言分析信息關(guān)聯(lián)單元106。在運(yùn)動(dòng)圖像/語(yǔ)言分析信息關(guān)聯(lián)單元106中，每個(gè)句子的信息與視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)關(guān)聯(lián)，所述信息和多路復(fù)用數(shù)據(jù)被記錄在記錄介質(zhì)107上。
[0073]如上所述，在圖1中圖解說(shuō)明的信息處理設(shè)備10中，對(duì)形成內(nèi)容的語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)言分析，為每個(gè)章節(jié)生成內(nèi)容關(guān)聯(lián)結(jié)構(gòu)。內(nèi)容關(guān)聯(lián)結(jié)構(gòu)包括以語(yǔ)音數(shù)據(jù)的分析為基礎(chǔ)的語(yǔ)音特征區(qū)間(拆分)的信息，和以文本轉(zhuǎn)換為基礎(chǔ)的字符串?dāng)?shù)據(jù)。使構(gòu)成內(nèi)容的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)和內(nèi)容關(guān)聯(lián)結(jié)構(gòu)相互關(guān)聯(lián)，并記錄在記錄介質(zhì)107上。于是，能夠提供識(shí)別編輯點(diǎn)的優(yōu)良信息。
[0074][編輯設(shè)備的結(jié)構(gòu)例子]
[0075]圖6圖解說(shuō)明編輯設(shè)備20的結(jié)構(gòu)例子。編輯設(shè)備20處理由圖1中圖解所示的信息處理設(shè)備10記錄在記錄介質(zhì)107上的各個(gè)章節(jié)的多路復(fù)用數(shù)據(jù)和內(nèi)容關(guān)聯(lián)結(jié)構(gòu)。編輯設(shè)備20包括運(yùn)動(dòng)圖像讀取單元201、語(yǔ)言分析信息讀取單元202、運(yùn)動(dòng)圖像/語(yǔ)言分析信息關(guān)聯(lián)單元203和語(yǔ)言分析信息列表生成單元204。編輯設(shè)備20還包括時(shí)間軸(章節(jié))生成單元205、顯示控制單元206、文本信息獲取單元207和顯示單元208。
[0076]運(yùn)動(dòng)圖像讀取單元201從記錄介質(zhì)107,讀取與編輯相關(guān)的預(yù)定章節(jié)的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)。語(yǔ)言分析信息讀取單元202從記錄介質(zhì)107，讀取與利用運(yùn)動(dòng)圖像讀取單元201讀取的預(yù)定章節(jié)的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)對(duì)應(yīng)的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)(參見(jiàn)圖4)。此時(shí)，運(yùn)動(dòng)圖像/語(yǔ)言分析信息關(guān)聯(lián)單元203把諸如章節(jié)的標(biāo)識(shí)信息或文件信息之類(lèi)的關(guān)聯(lián)信息傳送給語(yǔ)言分析信息讀取單元202。
[0077]語(yǔ)言分析信息列表生成單元204接收利用語(yǔ)言分析信息讀取單元202讀取的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)，并生成語(yǔ)言分析信息列表。即，在語(yǔ)言分析信息列表中，登記包含在預(yù)定章節(jié)中的每個(gè)句子的字符串?dāng)?shù)據(jù)、開(kāi)始時(shí)間和終止時(shí)間。在語(yǔ)言分析信息列表中，登記每個(gè)句子的每個(gè)語(yǔ)音特征區(qū)間(拆分)的開(kāi)始字符位置、開(kāi)始時(shí)間和發(fā)音信息。
[0078]在語(yǔ)言分析信息列表中，為每個(gè)句子確定每個(gè)語(yǔ)音特征區(qū)間(拆分)的有用度的水平，并登記依據(jù)有用度的水平分割的區(qū)間，即，子章節(jié)。在子章節(jié)的登記中，相互關(guān)聯(lián)地保存子章節(jié)的標(biāo)識(shí)信息和子章節(jié)的開(kāi)始位置和終止位置的信息。
[0079]圖7的流程圖圖解說(shuō)明在語(yǔ)言分析信息列表生成單元204中的每個(gè)句子的子章節(jié)登記的處理序列的例子。語(yǔ)言分析信息列表生成單元204在步驟ST31中，開(kāi)始處理，隨后進(jìn)入步驟ST32。在步驟ST32，語(yǔ)言分析信息列表生成單元204提取處理對(duì)象的字符串結(jié)構(gòu)。
[0080]之后，在步驟ST33，語(yǔ)言分析信息列表生成單元204提取第一語(yǔ)音特征區(qū)間(拆分)的信息，作為處理對(duì)象的語(yǔ)音特征區(qū)間。在步驟ST34，語(yǔ)言分析信息列表生成單元204判斷該語(yǔ)音特征區(qū)間是具有高可用度的區(qū)間還是具有低可用度的區(qū)間。
[0081]之后，在步驟ST35，語(yǔ)言分析信息列表生成單元204判斷區(qū)間是否被切換。當(dāng)區(qū)間未被切換時(shí)，語(yǔ)言分析信息列表生成單元204返回步驟ST33，提取下一個(gè)語(yǔ)音特征區(qū)間(拆分)的信息，作為處理對(duì)象的語(yǔ)音特征區(qū)間。同時(shí)，當(dāng)區(qū)間被切換時(shí)，在步驟ST36，語(yǔ)言分析信息列表生成單元204關(guān)于切換前的區(qū)間進(jìn)行子章節(jié)的登記。
[0082]隨后，語(yǔ)言分析信息列表生成單元204返回步驟ST33，提取下一個(gè)語(yǔ)音特征區(qū)間(拆分)的信息，作為處理對(duì)象的語(yǔ)音特征區(qū)間。當(dāng)不存在下一個(gè)語(yǔ)音特征區(qū)間時(shí)，語(yǔ)言分析信息列表生成單元204關(guān)于其中未進(jìn)行子章節(jié)登記的區(qū)間，進(jìn)行子章節(jié)登記，然后結(jié)束處理。
[0083]圖8圖解說(shuō)明圖7的流程圖中的步驟ST34的區(qū)間判定的處理序列的例子。在步驟ST41，語(yǔ)言分析信息列表生成單元204開(kāi)始處理，隨后進(jìn)入步驟ST42。在步驟ST42，語(yǔ)言分析信息列表生成單元204判斷處理對(duì)象的語(yǔ)音特征區(qū)間是否是元音的長(zhǎng)音區(qū)間。
[0084]當(dāng)處理對(duì)象的語(yǔ)音特征區(qū)間不是元音的長(zhǎng)音區(qū)間時(shí)，在步驟ST43，語(yǔ)言分析信息列表生成單元204判斷處理對(duì)象的語(yǔ)音特征區(qū)間的開(kāi)始字符串是否存在于字典中。當(dāng)開(kāi)始字符串存在于字典中時(shí)，在步驟ST44，語(yǔ)言分析信息列表生成單元204把該處理對(duì)象的語(yǔ)音特征區(qū)間確定為具有高可用度的區(qū)間。隨后，在步驟ST45，語(yǔ)言分析信息列表生成單元204終止處理。
[0085]當(dāng)在步驟ST43中，判定開(kāi)始字符串不存在于字典中時(shí)，在步驟ST46，語(yǔ)言分析信息列表生成單元204判斷處理對(duì)象的語(yǔ)音特征區(qū)間是否是始于爆破音的區(qū)間。當(dāng)處理對(duì)象的語(yǔ)音特征區(qū)間是始于爆破音的區(qū)間時(shí)，在步驟ST44，語(yǔ)言分析信息列表生成單元204把處理對(duì)象的語(yǔ)音特征區(qū)間確定為具有高可用度的區(qū)間。隨后，在步驟ST45，語(yǔ)言分析信息列表生成單元204終止處理。
[0086]當(dāng)在步驟ST42中，確定處理對(duì)象的語(yǔ)音特征區(qū)間是元音的長(zhǎng)音區(qū)間時(shí)，或者當(dāng)在步驟ST46中，確定處理對(duì)象的語(yǔ)音特征區(qū)間不是始于爆破音的區(qū)間時(shí)，在步驟ST47，語(yǔ)言分析信息列表生成單元204把處理對(duì)象的語(yǔ)音特征區(qū)間確定為具有低可用度的區(qū)間。隨后，在步驟ST45，語(yǔ)言分析信息列表生成單元204終止處理。
[0087]返回圖6，時(shí)間軸生成單元205生成利用運(yùn)動(dòng)圖像讀取單元201讀取的，與編輯相關(guān)的預(yù)定章節(jié)的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的時(shí)間軸。時(shí)間軸的生成是在顯示控制單元206的控制下進(jìn)行的。顯示控制單元206控制時(shí)間軸生成單元205的操作，以致根據(jù)登記在語(yǔ)言分析信息列表中的子章節(jié)，按能夠區(qū)分具有高有用度的區(qū)間和具有低有用度的區(qū)間的狀態(tài)，生成時(shí)間軸。
[0088]文本信息獲取單元207根據(jù)語(yǔ)言分析信息列表，獲取對(duì)應(yīng)于時(shí)間軸顯示的字符串?dāng)?shù)據(jù)。文本信息的獲取是在顯示控制單元206的控制下進(jìn)行的。顯示控制單元206根據(jù)來(lái)自用戶(hù)的時(shí)間軸的預(yù)定子章節(jié)區(qū)間的選擇信息，控制文本信息獲取單元207的操作，以致獲得與預(yù)定子章節(jié)區(qū)間和在所述預(yù)定子章節(jié)區(qū)間前后的子章節(jié)區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串?dāng)?shù)據(jù)。用戶(hù)通過(guò)操作指示裝置，比如附圖中未例示的鼠標(biāo)，選擇所述預(yù)定子章節(jié)區(qū)間。
[0089]圖9的流程圖圖解說(shuō)明文本信息獲取單元207中的字符串?dāng)?shù)據(jù)的獲取的處理序列的例子。當(dāng)用戶(hù)請(qǐng)求子章節(jié)的選擇處理時(shí)，文本信息獲取單元207在步驟ST51中，開(kāi)始該處理。
[0090]之后，在步驟ST52，文本信息獲取單元207獲得所選子章節(jié)的開(kāi)始位置和終止位置的信息。在這種情況下，文本信息獲取單元207根據(jù)從顯示控制單元206提供的所選子章節(jié)的標(biāo)識(shí)信息，從利用語(yǔ)言分析信息列表生成單元204生成的語(yǔ)言分析信息列表中，獲得子章節(jié)的開(kāi)始位置和終止位置的信息。
[0091]之后，在步驟ST53中，文本信息獲取單元207獲得所述子章節(jié)區(qū)間，和在所述子章節(jié)區(qū)間前后的區(qū)間的字符串?dāng)?shù)據(jù)。在這種情況下，文本信息獲取單元207根據(jù)利用步驟ST52獲得的子章節(jié)的開(kāi)始位置和終止位置的信息，參照語(yǔ)言分析信息列表的對(duì)應(yīng)語(yǔ)音特征區(qū)間(拆分)的信息，從而獲得必需的字符串?dāng)?shù)據(jù)。
[0092]返回圖6，顯示單元208是利用諸如液晶顯示器(IXD)之類(lèi)的顯示器構(gòu)成的，顯示編輯屏幕。顯示單元208在顯示控制單元206的控制下，顯示利用時(shí)間軸生成單元205生成的時(shí)間軸和利用文本信息獲取單元207獲得的字符串。
[0093]圖10圖解說(shuō)明顯示在顯示單元208上的編輯屏幕的顯示例子。
[0094]沿著水平方向延伸的視頻時(shí)間軸VTL和語(yǔ)音時(shí)間軸ATL被布置和顯示在編輯屏幕的下部。在編輯屏幕的右上部中，設(shè)置預(yù)覽屏幕區(qū)域PVS。在預(yù)覽屏幕區(qū)域中，顯示位于用戶(hù)在視頻時(shí)間軸VTL上指定的位置的靜止圖像，或者從所述位置起的運(yùn)動(dòng)圖像。如在附圖中圖解所示，按能夠利用亮度、色調(diào)、飽和度和形狀，區(qū)分具有高有用度的子章節(jié)區(qū)間HS和具有低有用度的子章節(jié)區(qū)間LS的狀態(tài)，顯示時(shí)間軸VTL和ATL。
[0095]當(dāng)用戶(hù)利用鼠標(biāo)操作，選擇時(shí)間軸的預(yù)定子章節(jié)區(qū)間時(shí)，如在圖11中圖解所示，顯示與預(yù)定子章節(jié)區(qū)間和在所述預(yù)定子章節(jié)區(qū)間前后的區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串。在這種情況下，會(huì)按相同的狀態(tài)，顯示所有的字符串。然而，在本實(shí)施例中，通過(guò)利用不同地設(shè)定預(yù)定子章節(jié)區(qū)間的顯示顏色，和在所述預(yù)定子章節(jié)區(qū)間前后的區(qū)間的語(yǔ)音的字符串的顯示顏色的方法，突出地顯示與預(yù)定子章節(jié)區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串。從而，能夠在視覺(jué)上容易地區(qū)分預(yù)定子章節(jié)區(qū)間的字符串和其它區(qū)間的字符串。
[0096]下面說(shuō)明在圖6中圖解所示的編輯設(shè)備20的操作。運(yùn)動(dòng)圖像讀取單元201從記錄介質(zhì)107，讀取與編輯相關(guān)的預(yù)定章節(jié)的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)。語(yǔ)言分析信息讀取單元202從記錄介質(zhì)107,讀取與利用運(yùn)動(dòng)圖像讀取單元201讀取的預(yù)定章節(jié)的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)對(duì)應(yīng)的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)(參見(jiàn)圖4)。
[0097]利用語(yǔ)言分析信息讀取單元202讀取的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)被提供給語(yǔ)言分析信息列表生成單元204。語(yǔ)言分析信息列表生成單元204根據(jù)內(nèi)容關(guān)聯(lián)結(jié)構(gòu)，生成語(yǔ)言分析信息列表。在語(yǔ)言分析信息列表中，登記包含在預(yù)定章節(jié)中的每個(gè)句子的字符串?dāng)?shù)據(jù)、開(kāi)始時(shí)間和終止時(shí)間。在語(yǔ)言分析信息列表中，登記每個(gè)句子的每個(gè)語(yǔ)音特征區(qū)間(拆分)的開(kāi)始章節(jié)位置、開(kāi)始時(shí)間和發(fā)音信息。
[0098]在語(yǔ)言分析信息列表中，為每個(gè)句子確定每個(gè)語(yǔ)音特征區(qū)間(拆分)的有用度的水平，并登記依據(jù)有用度的水平分割的區(qū)間，即，子章節(jié)。在子章節(jié)的登記中，相互關(guān)聯(lián)地保存子章節(jié)的標(biāo)識(shí)信息，和該子章節(jié)的開(kāi)始位置和終止位置的信息。
[0099]利用運(yùn)動(dòng)圖像讀取單元201讀取的與編輯相關(guān)的預(yù)定章節(jié)的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)被提供給時(shí)間軸生成單元205。時(shí)間軸生成單元205生成與編輯相關(guān)的預(yù)定章節(jié)的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的時(shí)間軸。在這種情況下，在顯示控制單元206的控制下，根據(jù)登記在語(yǔ)言分析信息列表中的子章節(jié)，按能夠區(qū)分具有高有用度的區(qū)間和具有低有用度的區(qū)間的狀態(tài)，生成時(shí)間軸。
[0100]利用時(shí)間軸生成單元205生成的時(shí)間軸的信息被提供給顯示單元208。在顯示單元208上，在顯示控制單元206的控制下，顯示視頻時(shí)間軸VTL和語(yǔ)音時(shí)間軸ATL。在這種情況下，按能夠區(qū)分具有高有用度的區(qū)間HS和具有低有用度的區(qū)間LS的狀態(tài)，顯示時(shí)間軸VTL和ATL (參見(jiàn)圖10)。
[0101]利用語(yǔ)言分析信息列表生成單元204生成的語(yǔ)言分析信息列表被提供給文本信息獲取單元207。按照來(lái)自用戶(hù)的時(shí)間軸的預(yù)定子章節(jié)區(qū)間的選擇，預(yù)定子章節(jié)的標(biāo)識(shí)信息從顯示控制單元206被提供給文本信息獲取單元207。
[0102]文本信息獲取單元207根據(jù)語(yǔ)言分析信息列表，獲得與和用戶(hù)的選擇相關(guān)的預(yù)定子章節(jié)區(qū)間，以及在所述預(yù)定子章節(jié)區(qū)間前后的子章節(jié)區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串?dāng)?shù)據(jù)，作為對(duì)應(yīng)于時(shí)間軸顯示的字符串?dāng)?shù)據(jù)。所述字符串?dāng)?shù)據(jù)被提供給顯示單元208。在顯示單元208的編輯屏幕上，顯示與和用戶(hù)的選擇相關(guān)的預(yù)定子章節(jié)區(qū)間，以及在所述預(yù)定子章節(jié)區(qū)間前后的子章節(jié)區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串(參見(jiàn)圖11)。
[0103]如上所述，在圖6中圖解所示的編輯設(shè)備20中，當(dāng)從記錄介質(zhì)107讀取與編輯相關(guān)的預(yù)定子章節(jié)的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)時(shí)，讀取與所述多路復(fù)用數(shù)據(jù)關(guān)聯(lián)地記錄的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)，從而生成語(yǔ)言分析信息列表。內(nèi)容關(guān)聯(lián)結(jié)構(gòu)包括基于語(yǔ)音數(shù)據(jù)的分析的語(yǔ)音特征區(qū)間(拆分)的信息和基于文本轉(zhuǎn)換的字符串?dāng)?shù)據(jù)。
[0104]當(dāng)根據(jù)多路復(fù)用數(shù)據(jù)生成視頻或語(yǔ)音的時(shí)間軸時(shí)，根據(jù)登記在語(yǔ)言分析信息列表中的子章節(jié)，按能夠區(qū)分具有高有用度的區(qū)間和具有低有用度的區(qū)間的狀態(tài)，生成時(shí)間軸。因此，在編輯屏幕上，按能夠區(qū)分具有高有用度的區(qū)間HS和具有低有用度的區(qū)間LS的狀態(tài)，顯示視頻時(shí)間軸VTL和語(yǔ)音時(shí)間軸ATL。于是，用戶(hù)能夠利用這兩個(gè)區(qū)間之間的邊界作為編輯點(diǎn)，并進(jìn)行適當(dāng)?shù)木庉嫛?br>
[0105]當(dāng)用戶(hù)利用時(shí)間軸上的鼠標(biāo)操作，選擇預(yù)定子章節(jié)時(shí)，根據(jù)語(yǔ)言分析信息列表，獲得與和用戶(hù)的選擇相關(guān)的預(yù)定子章節(jié)區(qū)間，以及在所述預(yù)定子章節(jié)區(qū)間前后的子章節(jié)區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串?dāng)?shù)據(jù)。因此，在編輯屏幕上，顯示與和用戶(hù)的選擇相關(guān)的預(yù)定子章節(jié)區(qū)間，以及在所述預(yù)定子章節(jié)區(qū)間前后的子章節(jié)區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串。于是，用戶(hù)能夠在不再現(xiàn)內(nèi)容的情況下，在某種程度上識(shí)別內(nèi)容，從而能夠高效并且有效地進(jìn)行編輯。
[0106]<2.變形例 >
[0107][子章節(jié)登記的另一示例][0108]在上面說(shuō)明的實(shí)施例中，在編輯設(shè)備20的語(yǔ)言分析信息列表生成單元204中，為每個(gè)語(yǔ)音特征區(qū)間(拆分)確定有用度的水平，依據(jù)有用度的水平分割的區(qū)間被登記為子章節(jié)。在顯示單元208上，顯示被分割成具有高可用度的區(qū)間HS和具有低可用度的區(qū)間LS的視頻和語(yǔ)音的時(shí)間軸。
[0109]不過(guò)，也可考慮把每個(gè)子句的每個(gè)區(qū)間，S卩，每個(gè)語(yǔ)音特征區(qū)間(拆分)登記為子章節(jié)，在顯示單元208上顯示關(guān)于每個(gè)子句分割的視頻和語(yǔ)音的時(shí)間軸，并且在顯示單元208上顯示對(duì)應(yīng)于每個(gè)子句的字符串的方法。
[0110]圖12的流程圖圖解說(shuō)明語(yǔ)言分析信息列表生成單元204(參見(jiàn)圖6)中的每個(gè)句子的子章節(jié)登記的處理序列的例子。語(yǔ)言分析信息列表生成單元204在步驟ST61中，開(kāi)始處理，隨后進(jìn)入步驟ST62。在步驟ST62，語(yǔ)言分析信息列表生成單元204提取處理對(duì)象的句子的字符串結(jié)構(gòu)。
[0111]之后，在步驟ST63，語(yǔ)言分析信息列表生成單元204提取包含在利用步驟ST62提取的字符串結(jié)構(gòu)中的第一語(yǔ)音特征區(qū)間(拆分)的信息。在步驟ST64，語(yǔ)言分析信息列表生成單元204把該語(yǔ)音特征區(qū)間登記成子章節(jié)。在子章節(jié)的登記中，子章節(jié)的標(biāo)識(shí)信息與子章節(jié)的開(kāi)始位置和終止位置的信息被相互關(guān)聯(lián)并被保存。
[0112]隨后，語(yǔ)言分析信息列表生成單元204返回步驟ST63，并提取下一個(gè)語(yǔ)音特征區(qū)間(拆分)的信息，作為處理對(duì)象的語(yǔ)音特征區(qū)間。當(dāng)不存在下一個(gè)語(yǔ)音特征區(qū)間時(shí)，語(yǔ)言分析信息列表生成單元204終止處理。
[0113]在時(shí)間軸生成單元205中，當(dāng)生成與編輯相關(guān)的預(yù)定章節(jié)的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的時(shí)間軸時(shí)，根據(jù)登記在語(yǔ)言分析信息列表中的子章節(jié)，生成關(guān)于每個(gè)語(yǔ)音特征區(qū)間(拆分)分割的時(shí)間軸。在文本信息獲取單元207中，從語(yǔ)言分析信息列表獲得與每個(gè)語(yǔ)音特征區(qū)間(拆分)的語(yǔ)音對(duì)應(yīng)的字符串?dāng)?shù)據(jù)。
[0114]因此，在顯示單元208上，利用時(shí)間軸生成單元205生成的時(shí)間軸的信息，顯示關(guān)于每個(gè)語(yǔ)音特征區(qū)間(拆分)分割的時(shí)間軸VTL和ATL，如在圖13中圖解所示。在顯示單元208上，根據(jù)利用文本信息獲取單元207獲得的字符串?dāng)?shù)據(jù)，對(duì)應(yīng)于每個(gè)語(yǔ)音特征區(qū)間地顯示與每個(gè)語(yǔ)音特征區(qū)間(拆分)的語(yǔ)音對(duì)應(yīng)的字符串。
[0115][基于單詞選擇的視頻搜索系統(tǒng)]
[0116]盡管上面未說(shuō)明，不過(guò)，編輯設(shè)備20可根據(jù)利用語(yǔ)言分析信息讀取單元202讀取的，與編輯相關(guān)的預(yù)定章節(jié)的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)，生成表示構(gòu)成字符串的單詞和所述單詞所屬于的語(yǔ)音特征區(qū)間(拆分)的對(duì)應(yīng)關(guān)系的表格。利用所述表格，能夠構(gòu)成搜索與所選單詞存在于的語(yǔ)音特征區(qū)間(拆分)對(duì)應(yīng)的視頻的系統(tǒng)。
[0117]圖14的流程圖圖解說(shuō)明表格生成單元(圖6中未示出)中的表格生成的處理序列的例子。在步驟ST71，表格生成單元開(kāi)始處理。之后，在步驟ST72，表格生成單元從記錄介質(zhì)107 (參見(jiàn)圖4)，讀取與和編輯相關(guān)的預(yù)定畫(huà)面的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)關(guān)聯(lián)的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)。
[0118]之后，在步驟ST73，表格生成單元提取與包含在內(nèi)容關(guān)聯(lián)結(jié)構(gòu)中的每個(gè)字符串對(duì)應(yīng)的字符串結(jié)構(gòu)。在步驟ST74，表格生成單元從包含在每個(gè)字符串結(jié)構(gòu)中的字符串中，提取單詞。在這種情況下，以單詞的形式，包含擬音。在步驟ST75，表格生成單元把利用步驟ST74提取的單詞和該單詞所屬于的語(yǔ)音特征區(qū)間(拆分)的對(duì)應(yīng)關(guān)系登記在表格中。[0119]對(duì)所有單詞，反復(fù)進(jìn)行步驟ST74的單詞提取處理，和步驟ST75的表格登記處理。當(dāng)對(duì)于所有單詞的單詞提取處理和表格登記處理結(jié)束時(shí)，表格生成單元終止處理。
[0120]圖15圖解說(shuō)明利用如上所述生成的表格的搜索例子。例如，在顯示在顯示單元208上的編輯屏幕上，顯示像以“A”開(kāi)頭的單詞，以“B”開(kāi)頭的單詞…那樣地分類(lèi)的登記在表格中的單詞，如在圖15(a)中圖解所示。
[0121]當(dāng)用戶(hù)從登記在表格中的單詞中選擇預(yù)定單詞時(shí)，參照所述表格，獲得預(yù)定單詞所屬于的語(yǔ)音特征區(qū)間(拆分)，在編輯屏幕的預(yù)覽屏幕區(qū)域PVS中，顯示對(duì)應(yīng)語(yǔ)音特征區(qū)間的預(yù)定幀，例如第一幀和最后一幀的圖像，如在圖15(b)中圖解所示。對(duì)應(yīng)語(yǔ)音特征區(qū)間的運(yùn)動(dòng)圖像可被顯示在預(yù)覽屏幕區(qū)域PVS中。運(yùn)動(dòng)圖像和對(duì)應(yīng)語(yǔ)音特征區(qū)間可被清楚地表示在時(shí)間軸上。
[0122][對(duì)網(wǎng)絡(luò)的傳輸]
[0123]在上面說(shuō)明的實(shí)施例中，說(shuō)明了其中信息處理設(shè)備10(參見(jiàn)圖1)的運(yùn)動(dòng)圖像/語(yǔ)言分析信息關(guān)聯(lián)單元106使構(gòu)成內(nèi)容的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)與語(yǔ)言分析信息(內(nèi)容關(guān)聯(lián)結(jié)構(gòu))關(guān)聯(lián)，并把所述多路復(fù)用數(shù)據(jù)和語(yǔ)言分析信息記錄在記錄介質(zhì)107上的情況的例子。
[0124]然 而，當(dāng)進(jìn)行對(duì)網(wǎng)絡(luò)的直播流媒體發(fā)布時(shí)，構(gòu)成內(nèi)容的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)與語(yǔ)言分析信息被相互關(guān)聯(lián)，并被傳送。在這種情況下，按傳輸單位(緩存單位)，例如4秒，傳送多路復(fù)用數(shù)據(jù)。然而，假定語(yǔ)言分析信息也是依據(jù)傳輸單位分割的，以改善參照性能。
[0125]圖16圖解說(shuō)明當(dāng)進(jìn)行對(duì)網(wǎng)絡(luò)的直播流媒體發(fā)布時(shí)，信息處理設(shè)備IOA的結(jié)構(gòu)例子。在圖16中，與圖1的構(gòu)成元件對(duì)應(yīng)的構(gòu)成元件用相同的附圖標(biāo)記表示，并省略其詳細(xì)說(shuō)明。
[0126]語(yǔ)言分析單元104的語(yǔ)言分析結(jié)果記錄格式轉(zhuǎn)換單元104cA為構(gòu)成內(nèi)容的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)的每個(gè)傳輸單位，生成在圖17中圖解所示的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)?！白R(shí)別關(guān)聯(lián)內(nèi)容的ID”是內(nèi)容的章節(jié)標(biāo)識(shí)信息。
[0127]內(nèi)容關(guān)聯(lián)結(jié)構(gòu)包括諸如“參考文本”、“開(kāi)始時(shí)間”、“持續(xù)時(shí)間”和“發(fā)音信息”之類(lèi)的信息?！皡⒖嘉谋尽北硎驹趥鬏攩挝粎^(qū)間中生成的單詞的字符串?dāng)?shù)據(jù)?！伴_(kāi)始時(shí)間”表示斷點(diǎn)位置的開(kāi)始時(shí)間位置?！俺掷m(xù)時(shí)間”表示斷點(diǎn)位置的持續(xù)時(shí)間，并表示等于或小于與傳輸單位區(qū)間對(duì)應(yīng)的最長(zhǎng)持續(xù)時(shí)間的時(shí)間。“發(fā)音信息”表示語(yǔ)音特征的種類(lèi)。語(yǔ)音特征的種類(lèi)包括元音的長(zhǎng)音區(qū)間，始于爆破音或強(qiáng)重音的區(qū)間，擬音的表現(xiàn)區(qū)間，和語(yǔ)音的音調(diào)的變化區(qū)間，如上所述。
[0128]運(yùn)動(dòng)圖像/語(yǔ)言分析信息關(guān)聯(lián)單元106A按傳輸單位，順序把利用運(yùn)動(dòng)圖像多路復(fù)用單元103獲得的多路復(fù)用數(shù)據(jù)傳送給網(wǎng)絡(luò)108。此時(shí)，對(duì)于每個(gè)傳輸單位，運(yùn)動(dòng)圖像/語(yǔ)言分析信息關(guān)聯(lián)單元106A向多路復(fù)用數(shù)據(jù)附加利用語(yǔ)言分析單元104生成的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)(參見(jiàn)圖17)，并傳送所述多路復(fù)用數(shù)據(jù)和內(nèi)容關(guān)聯(lián)結(jié)構(gòu)。
[0129]在圖16中圖解說(shuō)明的信息處理設(shè)備IOA中，語(yǔ)言匹配數(shù)據(jù)庫(kù)105可利用存在于網(wǎng)絡(luò)(云)108中的信息，如用虛線(xiàn)箭頭所示。
[0130][運(yùn)動(dòng)分析信息的附加]
[0131]在上述實(shí)施例中，說(shuō)明了其中只使語(yǔ)言分析信息與視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)關(guān)聯(lián)，并記錄或傳送所述多路復(fù)用數(shù)據(jù)的情況的例子。然而，還可考慮進(jìn)一步使從視頻數(shù)據(jù)獲得的運(yùn)動(dòng)分析信息和多路復(fù)用數(shù)據(jù)關(guān)聯(lián)，并記錄或傳送語(yǔ)言分析信息、運(yùn)動(dòng)分析信息和多路復(fù)用數(shù)據(jù)的方法。從而，能夠提供作為識(shí)別編輯點(diǎn)的信息的有用信息。
[0132]圖18圖解說(shuō)明信息處理設(shè)備IOB的結(jié)構(gòu)例子。在圖18中，與圖1的構(gòu)成元件對(duì)應(yīng)的構(gòu)成元件用相同的附圖標(biāo)記表示，并省略其詳細(xì)說(shuō)明。信息處理設(shè)備IOB包括視頻輸入單元101、語(yǔ)音輸入單元102、運(yùn)動(dòng)圖像多路復(fù)用單元103、語(yǔ)言分析單元104和語(yǔ)言匹配數(shù)據(jù)庫(kù)105。信息處理設(shè)備IOB還包括運(yùn)動(dòng)特征檢測(cè)單元111、運(yùn)動(dòng)分析結(jié)果記錄格式轉(zhuǎn)換單元112、分析信息綜合單元113、運(yùn)動(dòng)圖像/分析信息關(guān)聯(lián)單元106B和記錄介質(zhì)107。
[0133]語(yǔ)言分析單元104具有語(yǔ)音特征檢測(cè)單元104a、文本轉(zhuǎn)換單元104b和語(yǔ)言分析結(jié)果記錄格式轉(zhuǎn)換單元104cB。語(yǔ)言分析結(jié)果記錄格式轉(zhuǎn)換單元104cB根據(jù)來(lái)自語(yǔ)音特征檢測(cè)單元104a的每個(gè)語(yǔ)音特征區(qū)間的信息，和來(lái)自文本轉(zhuǎn)換單元104b的每個(gè)句子的信息，為包含在章節(jié)中的每個(gè)句子，生成在圖19(d)中圖解說(shuō)明的字符串結(jié)構(gòu)。
[0134]字符串結(jié)構(gòu)包括在圖19(b)中圖解說(shuō)明的分析信息結(jié)構(gòu)。分析信息結(jié)構(gòu)具有“結(jié)構(gòu)種類(lèi)”、“開(kāi)始時(shí)間”和“終止時(shí)間”的信息。在包含在字符串結(jié)構(gòu)中的分析信息結(jié)構(gòu)中，“結(jié)構(gòu)種類(lèi)”表示結(jié)構(gòu)是字符串結(jié)構(gòu)，開(kāi)始時(shí)間表示字符串的發(fā)音開(kāi)始的時(shí)間，而終止時(shí)間表示字符串的發(fā)音終止的時(shí)間。
[0135]字符串結(jié)構(gòu)包括句子的字符串?dāng)?shù)據(jù)(圖19 (d)的例子中的XXXXAAAAACCCCCCBBBBB的數(shù)據(jù))。字符串結(jié)構(gòu)包括句子中的每個(gè)語(yǔ)音特征區(qū)間(拆分)的信息。一個(gè)語(yǔ)音特征區(qū)間的信息包括開(kāi)始字符位置、開(kāi)始時(shí)間和發(fā)音信息。開(kāi)始字符位置表示字符串中的斷點(diǎn)位置。開(kāi)始字符位置是以使字符串和語(yǔ)音特征區(qū)間彼此對(duì)應(yīng)的字符串的編號(hào)位置的形式描述的。在圖19(d)的例子中，與字符串的“AAAA”對(duì)應(yīng)的語(yǔ)音特征區(qū)間中的開(kāi)始字符位置是第5個(gè)字符的位置。
[0136]運(yùn)動(dòng)特征檢測(cè)單元111分析輸入視頻輸入單元101的視頻數(shù)據(jù)，從而檢測(cè)運(yùn)動(dòng)特征。這種情況下，檢測(cè)的運(yùn)動(dòng)特征包括焦點(diǎn)位置移動(dòng)和成像方向變化。運(yùn)動(dòng)特征檢測(cè)單元111為每個(gè)運(yùn)動(dòng)特征區(qū)間，輸出運(yùn)動(dòng)特征的種類(lèi)，及起點(diǎn)和終點(diǎn)的時(shí)間信息。
[0137]運(yùn)動(dòng)分析結(jié)果記錄格式轉(zhuǎn)換單元112根據(jù)來(lái)自運(yùn)動(dòng)特征檢測(cè)單元111的運(yùn)動(dòng)特征區(qū)間的信息，為每個(gè)運(yùn)動(dòng)特征區(qū)間生成圖19(d)中圖解所示的運(yùn)動(dòng)結(jié)構(gòu)。運(yùn)動(dòng)結(jié)構(gòu)包括圖19(b)中圖解所示的分析信息結(jié)構(gòu)，和表示運(yùn)動(dòng)特征的種類(lèi)，比如焦點(diǎn)位置移動(dòng)和成像方向變化的“運(yùn)動(dòng)種類(lèi)”的信息。
[0138]分析信息結(jié)構(gòu)具有“結(jié)構(gòu)種類(lèi)”、“開(kāi)始時(shí)間”和“終止時(shí)間”的信息。在包含在運(yùn)動(dòng)結(jié)構(gòu)中的分析信息結(jié)構(gòu)中，“結(jié)構(gòu)種類(lèi)”表示結(jié)構(gòu)是運(yùn)動(dòng)結(jié)構(gòu)，開(kāi)始時(shí)間表示運(yùn)動(dòng)特征區(qū)間的開(kāi)始時(shí)間，而終止時(shí)間表示運(yùn)動(dòng)特征區(qū)間的終止時(shí)間。
[0139]分析信息綜合單元113為每個(gè)章節(jié)，綜合利用語(yǔ)言分析單元104的語(yǔ)言分析結(jié)果記錄格式轉(zhuǎn)換單元104cB生成的字符串結(jié)構(gòu)，和利用運(yùn)動(dòng)分析結(jié)果記錄格式轉(zhuǎn)換單元112生成的運(yùn)動(dòng)結(jié)構(gòu)，從而生成圖19(a)中圖解所示的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)?！白R(shí)別關(guān)聯(lián)內(nèi)容的ID”是內(nèi)容的章節(jié)標(biāo)識(shí)信息。每個(gè)句子的字符串結(jié)構(gòu)和每個(gè)運(yùn)動(dòng)特征區(qū)間的運(yùn)動(dòng)結(jié)構(gòu)包含在“分析信息列表”的一部分中。
[0140]運(yùn)動(dòng)圖像/分析信息關(guān)聯(lián)單元106B使利用運(yùn)動(dòng)圖像多路復(fù)用單元103獲得的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)與利用分析信息綜合單元113獲得的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)相互關(guān)聯(lián)，并把多路復(fù)用數(shù)據(jù)和內(nèi)容關(guān)聯(lián)結(jié)構(gòu)記錄在記錄介質(zhì)107上。圖18中圖解說(shuō)明的信息處理設(shè)備IOB的其它結(jié)構(gòu)和操作與圖1中圖解說(shuō)明的信息處理設(shè)備10的結(jié)構(gòu)和操作相同。
[0141]圖20圖解說(shuō)明編輯設(shè)備20B的結(jié)構(gòu)例子。在圖20中，與圖6的構(gòu)成元件對(duì)應(yīng)的構(gòu)成元件用相同的附圖標(biāo)記表示，并省略其詳細(xì)說(shuō)明。編輯設(shè)備20B處理由圖18中圖解說(shuō)明的信息處理設(shè)備IOB記錄在記錄介質(zhì)107上的每個(gè)章節(jié)的多路復(fù)用數(shù)據(jù)和內(nèi)容關(guān)聯(lián)結(jié)構(gòu)。
[0142]編輯設(shè)備20B包括運(yùn)動(dòng)圖像讀取單元201、語(yǔ)言分析信息讀取單元202B、運(yùn)動(dòng)圖像/分析信息關(guān)聯(lián)單元203B和分析信息列表生成單元204B。編輯設(shè)備20B還包括時(shí)間軸(章節(jié))生成單元205、顯示控制單元206、文本信息獲取單元207和顯示單元208。
[0143]分析信息讀取單元202B從記錄介質(zhì)107,讀取與利用運(yùn)動(dòng)圖像讀取單元201讀取的預(yù)定章節(jié)的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)對(duì)應(yīng)的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)(參見(jiàn)圖19)。此時(shí)，運(yùn)動(dòng)圖像/分析信息關(guān)聯(lián)單元203B把諸如章節(jié)的標(biāo)識(shí)信息或文件信息之類(lèi)的關(guān)聯(lián)信息傳送給分析信息讀取單元202A。
[0144]分析信息列表生成單元204B接收利用分析信息讀取單元202B讀取的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)，并生成分析信息列表。即，在分析信息列表中，登記包含在預(yù)定章節(jié)中的每個(gè)句子的字符串?dāng)?shù)據(jù)、開(kāi)始時(shí)間和終止時(shí)間。在分析信息列表中，登記每個(gè)句子的每個(gè)語(yǔ)音特征區(qū)間(拆分)的開(kāi)始字符位置、開(kāi)始時(shí)間和發(fā)音信息。在分析信息列表中，登記包含在預(yù)定章節(jié)中的每個(gè)運(yùn)動(dòng)特征區(qū)間的種類(lèi)信息、開(kāi)始時(shí)間和終止時(shí)間。
[0145]在分析信息列表中，為每個(gè)句子確定每個(gè)語(yǔ)音特征區(qū)間(拆分)的有用度的水平，并登記依據(jù)有用度的水平分割的區(qū)間，即，子章節(jié)。在子章節(jié)的登記中，相互關(guān)聯(lián)地保存子章節(jié)的標(biāo)識(shí)信息和所述子章節(jié)的開(kāi)始位置和終止位置的信息。
[0146]與圖6的編輯設(shè)備20類(lèi)似，按照?qǐng)D7的流程圖，執(zhí)行分析信息列表生成單元204B中的關(guān)于每個(gè)句子的子章節(jié)登記處理。然而，步驟ST34的區(qū)間確定處理是利用運(yùn)動(dòng)分析信息，以及語(yǔ)言分析信息進(jìn)行的，如在圖21的流程圖中圖解所示，而不是如在圖8的流程圖中圖解所示。
[0147]在步驟ST81，分析信息列表生成單元204B開(kāi)始處理，然后進(jìn)入步驟ST82。在步驟ST82，分析信息列表生成單元204b判斷處理對(duì)象的語(yǔ)音特征區(qū)間是否是元音的長(zhǎng)音區(qū)間。
[0148]當(dāng)處理對(duì)象的語(yǔ)音特征區(qū)間不是元音的長(zhǎng)音區(qū)間時(shí)，在步驟ST83，分析信息列表生成單元204B判斷處理對(duì)象的語(yǔ)音特征區(qū)間的開(kāi)始字符串是否存在于字典中。當(dāng)開(kāi)始字符串存在于字典中時(shí)，在步驟ST84，分析信息列表生成單元204B把處理對(duì)象的語(yǔ)音特征區(qū)間確定為具有高可用度的區(qū)間。之后，在步驟ST85，分析信息列表生成單元204B終止處理。
[0149]當(dāng)在步驟ST83中，判定開(kāi)始字符串不存在于字典中時(shí)，在步驟ST86，分析信息列表生成單元204B判斷處理對(duì)象的語(yǔ)音特征區(qū)間是否是始于爆破音的區(qū)間。當(dāng)處理對(duì)象的語(yǔ)音特征區(qū)間是始于爆破音的區(qū)間時(shí)，在步驟ST84，分析信息列表生成單元204B把處理對(duì)象的語(yǔ)音特征區(qū)間確定為具有高有用度的區(qū)間。之后，在步驟ST85，分析信息列表生成單元204B終止處理。
[0150]當(dāng)在步驟ST82中，確定處理對(duì)象的語(yǔ)音特征區(qū)間是元音的長(zhǎng)音區(qū)間時(shí)，或者當(dāng)在步驟ST86中，確定處理對(duì)象的語(yǔ)音特征區(qū)間不是始于爆破音的區(qū)間時(shí)，在步驟ST87，分析信息列表生成單元204B判斷周?chē)\(yùn)動(dòng)信息是否有用。例如，當(dāng)焦點(diǎn)位置移動(dòng)或成像方向變化的運(yùn)動(dòng)特征區(qū)間存在于周?chē)糠种袝r(shí)，分析信息列表生成單元204B確定周?chē)\(yùn)動(dòng)信息有用。
[0151]當(dāng)確定周?chē)\(yùn)動(dòng)信息有用時(shí)，在步驟ST84，分析信息列表生成單元204B把處理對(duì)象的語(yǔ)音特征區(qū)間確定為具有高可用度的區(qū)間。隨后，在步驟ST85，分析信息列表生成單元204B終止處理。同時(shí)，當(dāng)確定周?chē)\(yùn)動(dòng)信息無(wú)用時(shí)，在步驟ST87，分析信息列表生成單元204B把處理對(duì)象的語(yǔ)音特征區(qū)間確定為具有低可用度的區(qū)間。隨后，在步驟ST85，分析信息列表生成單元204B終止處理。
[0152]返回圖20，時(shí)間軸生成單元205生成利用運(yùn)動(dòng)圖像讀取單元201讀取的，與編輯相關(guān)的預(yù)定章節(jié)的視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的時(shí)間軸。時(shí)間軸是在顯示控制單元206的控制下生成的。顯示控制單元206根據(jù)登記在分析信息列表中的子章節(jié)，控制時(shí)間軸生成單元205的操作，以致按能夠區(qū)分具有高有用度的區(qū)間和具有低有用度的區(qū)域的狀態(tài)，生成時(shí)間軸。
[0153]文本信息獲取單元207根據(jù)分析信息列表，獲取對(duì)應(yīng)于時(shí)間軸顯示的字符串?dāng)?shù)據(jù)。文本信息的獲取是在顯示控制單元206的控制下進(jìn)行的。顯示控制單元206根據(jù)來(lái)自用戶(hù)的時(shí)間軸的預(yù)定子章節(jié)區(qū)間的選擇信息，控制文本信息獲取單元207的操作，以致獲得與預(yù)定子章節(jié)區(qū)間和在所述預(yù)定子章節(jié)區(qū)間前后的子章節(jié)區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串?dāng)?shù)據(jù)。用戶(hù)通過(guò)操作諸如鼠標(biāo)(附圖中未例示)之類(lèi)的指示裝置，選擇預(yù)定子章節(jié)區(qū)間。
[0154]顯示單元208是利用諸如液晶顯示器(IXD)之類(lèi)的顯示器構(gòu)成的，顯示編輯屏幕。顯示單元208在顯示控制單元206的控制下，顯示利用時(shí)間軸生成單元205生成的時(shí)間軸，和利用文本信息獲取單元207獲得的字符串。在圖20中圖解說(shuō)明的編輯設(shè)備20B的其它結(jié)構(gòu)和操作與在圖6中圖解說(shuō)明的編輯設(shè)備20的結(jié)構(gòu)和操作相同。
[0155][基于內(nèi)容關(guān)聯(lián)結(jié)構(gòu)的再現(xiàn)控制]
[0156]在上述實(shí)施例中，說(shuō)明了其中對(duì)于每個(gè)章節(jié)，根據(jù)包含在與視頻數(shù)據(jù)和語(yǔ)音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)關(guān)聯(lián)的內(nèi)容關(guān)聯(lián)結(jié)構(gòu)中的信息，進(jìn)行編輯屏幕的顯示控制的情況的例子。然而，還可考慮根據(jù)內(nèi)容關(guān)聯(lián)結(jié)構(gòu)，在再現(xiàn)內(nèi)容的最重要部分時(shí)進(jìn)行控制的方法。例如，根據(jù)內(nèi)容關(guān)聯(lián)結(jié)構(gòu)，被確定為具有低有用度的區(qū)間的區(qū)間可作為不必要的區(qū)間被預(yù)先排除。于是，能夠高效地檢測(cè)突出場(chǎng)景。
[0157][本公開(kāi)適用于的計(jì)算機(jī)]
[0158]上述信息處理設(shè)備和編輯設(shè)備中的一系列處理可用硬件執(zhí)行，或者可用軟件執(zhí)行。在其中利用軟件執(zhí)行所述一系列處理的情況下，構(gòu)成所述軟件的程序被安裝在通用計(jì)算機(jī)中。
[0159]圖22圖解說(shuō)明其中安裝執(zhí)行所述一系列處理的程序的計(jì)算機(jī)的結(jié)構(gòu)例子。程序可被預(yù)先記錄在起嵌入計(jì)算機(jī)中的記錄介質(zhì)作用的存儲(chǔ)單元308或者只讀存儲(chǔ)器(ROM) 302 中。
[0160]程序可被保存(記錄)在可拆卸介質(zhì)311中?？梢运^的套裝軟件的形式，提供可拆卸介質(zhì)311。在這種情況下，軟盤(pán)、光盤(pán)只讀存儲(chǔ)器(CD-ROM)、磁光(MO)盤(pán)、數(shù)字通用光盤(pán)(DVD)、磁盤(pán)和半導(dǎo)體存儲(chǔ)器被例舉為可拆卸介質(zhì)311。
[0161]程序可通過(guò)驅(qū)動(dòng)器310，從可拆卸介質(zhì)311安裝到計(jì)算機(jī)。另外，程序可通過(guò)通信網(wǎng)絡(luò)或廣播網(wǎng)絡(luò)下載到計(jì)算機(jī)，然后可被安裝在嵌入式存儲(chǔ)單元308中。S卩，程序可通過(guò)數(shù)字衛(wèi)星廣播用人造衛(wèi)星，無(wú)線(xiàn)地從下載站點(diǎn)傳送給計(jì)算機(jī)，或者可通過(guò)諸如局域網(wǎng)(LAN)或因特網(wǎng)之類(lèi)的網(wǎng)絡(luò)，有線(xiàn)地從下載站點(diǎn)傳送給計(jì)算機(jī)。
[0162]計(jì)算機(jī)具有嵌入其中的中央處理器(CPU) 301，輸入/輸出接口 305通過(guò)總線(xiàn)304，連接到CPU301。如果用戶(hù)通過(guò)操作輸入單元306，經(jīng)輸入/輸出接口 305輸入命令，那么CPU301按照該命令，執(zhí)行保存在R0M302中的程序。CPU301把保存在存儲(chǔ)單元308中的程序載入隨機(jī)存取存儲(chǔ)器(RAM)，然后執(zhí)行該程序。
[0163]從而，CPU301執(zhí)行與上述流程圖相應(yīng)的處理，或者利用上述方框圖的結(jié)構(gòu)進(jìn)行的處理。另外，CPU301按照必要性，通過(guò)輸入/輸出接口 305，從輸出單元307輸出處理結(jié)果，從通信單元309傳送處理結(jié)果，或者把處理結(jié)果記錄在存儲(chǔ)單元308中。輸入單元306是利用鍵盤(pán)、鼠標(biāo)和麥克風(fēng)構(gòu)成的。輸出單元307是利用液晶顯示器(LCD)和揚(yáng)聲器構(gòu)成的。
[0164]在本公開(kāi)中，按照所述程序，由計(jì)算機(jī)執(zhí)行的處理不一定按與如流程圖說(shuō)明的順序相應(yīng)的時(shí)序進(jìn)行。即，按照所述程序，由計(jì)算機(jī)執(zhí)行的處理包括并行地或者單獨(dú)地進(jìn)行的處理(例如，并行處理或者基于對(duì)象的處理)。程序可由一個(gè)計(jì)算機(jī)(處理器)處理，或者可被分發(fā)給并由多個(gè)計(jì)算機(jī)處理。另一方面，程序可被傳送給遠(yuǎn)程計(jì)算機(jī)，并由遠(yuǎn)程計(jì)算機(jī)執(zhí)行。
[0165]本領(lǐng)域的技術(shù)人員應(yīng)明白，根據(jù)設(shè)計(jì)要求和其它因素，可以產(chǎn)生各種修改、組合、子組合和變更，只要它們?cè)谒降臋?quán)利要求或其等同物的范圍之內(nèi)。
[0166]另外，還可以如下構(gòu)成本技術(shù)。
[0167](I) 一種信息處理設(shè)備,包括:
[0168]信息獲取單元，所述信息獲取單元根據(jù)內(nèi)容的語(yǔ)言分析，獲得識(shí)別包括語(yǔ)音的內(nèi)容的編輯點(diǎn)的信息；和
[0169]輸出獲得的信息的信息輸出單元。
[0170](2)按照(I)所述的信息處理設(shè)備，
[0171]其中識(shí)別編輯點(diǎn)的信息包括利用編輯點(diǎn)的周?chē)鷧^(qū)間中的語(yǔ)言分析獲得的語(yǔ)言信
肩、O
[0172](3)按照⑵所述的信息處理設(shè)備，
[0173]其中語(yǔ)目/[目息包括語(yǔ)首的發(fā)首/[目息。
[0174](4)按照⑵或(3)所述的信息處理設(shè)備，
[0175]其中語(yǔ)言信息包括語(yǔ)音的字符串信息。
[0176](5)按照(1)-(4)任意之一所述的信息處理設(shè)備，
[0177]其中信息輸出單元還輸出包含在編輯點(diǎn)的周?chē)鷧^(qū)間中的內(nèi)容之中的視頻的運(yùn)動(dòng)信息。
[0178](6)按照(1)-(5)任意之一所述的信息處理設(shè)備，
[0179]其中信息輸出單元把獲得的信息與內(nèi)容關(guān)聯(lián)地記錄在記錄介質(zhì)上。
[0180](7)按照(1)-(5)任意之一所述的信息處理設(shè)備，
[0181]其中信息輸出單元按內(nèi)容的傳輸單位，把獲得的信息傳送給網(wǎng)絡(luò)。
[0182](8) 一種信息處理方法，包括:
[0183]根據(jù)內(nèi)容的語(yǔ)言分析，獲得識(shí)別包括語(yǔ)音的內(nèi)容的編輯點(diǎn)的信息；和
[0184]輸出獲得的信息。
[0185](9) 一種顯示控制設(shè)備，包括:[0186]信息獲取單元，所述信息獲取單元獲取識(shí)別包含語(yǔ)音的內(nèi)容的編輯點(diǎn)的信息，所述編輯點(diǎn)是根據(jù)所述內(nèi)容的語(yǔ)言分析獲得的；和
[0187]顯示控制單元，所述顯示控制單元根據(jù)獲得的信息，控制與所述內(nèi)容相關(guān)的顯示。
[0188](10)按照(9)所述的顯示控制設(shè)備，
[0189]其中識(shí)別編輯點(diǎn)的信息包括利用編輯點(diǎn)的周?chē)鷧^(qū)間中的語(yǔ)言分析而獲得的語(yǔ)言信息。
[0190](11)按照(9)或(10)所述的顯示控制設(shè)備，
[0191]其中顯示控制單元根據(jù)識(shí)別編輯點(diǎn)的信息，識(shí)別具有高有用度的內(nèi)容的第一區(qū)間，和具有低有用度的內(nèi)容的第二區(qū)間，和
[0192]其中顯示控制單元按照第一區(qū)間和第二區(qū)間可區(qū)分的狀態(tài)，顯示內(nèi)容的時(shí)間軸的方式，進(jìn)行控制。
[0193](12)按照(11)所述的顯示控制設(shè)備，
[0194]其中顯示控制單元按依照時(shí)間軸的預(yù)定區(qū)間的選擇，利用包含在語(yǔ)言信息中的字符串信息，顯示與時(shí)間軸的預(yù)定區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串的方式，進(jìn)行控制。
[0195](13)按照(12)所述的顯示控制設(shè)備，
[0196]其中顯示控制單元按顯示與預(yù)定區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串，和與在預(yù)定區(qū)間前后的區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串，并突出地顯示與預(yù)定區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串的方式，進(jìn)行控制。
[0197](14)按照(13)所述的顯示控制設(shè)備，
[0198]其中突出顯示具有與其它區(qū)間的顯示顏色不同的顯示顏色。
[0199](15)按照(10)所述的顯示控制設(shè)備，
[0200]其中顯示控制單元按照顯示依據(jù)用包含在語(yǔ)言信息中的字符串信息表示的子句的區(qū)間分割的內(nèi)容的時(shí)間軸，并且對(duì)應(yīng)于時(shí)間軸的區(qū)間地顯示與時(shí)間軸的每個(gè)區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串的方式，進(jìn)行控制。
[0201](16) —種顯示控制方法，包括:
[0202]獲取識(shí)別包含語(yǔ)音的內(nèi)容的編輯點(diǎn)的信息，所述編輯點(diǎn)是根據(jù)所述內(nèi)容的語(yǔ)言分析獲得的；和
[0203]根據(jù)獲得的信息，控制與所述內(nèi)容相關(guān)的顯示。
[0204]本公開(kāi)包含與在2012年7月12日向日本專(zhuān)利局提交的日本優(yōu)先權(quán)專(zhuān)利申請(qǐng)JP2012-156201中公開(kāi)的主題相關(guān)的主題，該專(zhuān)利申請(qǐng)的整個(gè)內(nèi)容在此引為參考。
【權(quán)利要求】
1.一種信息處理設(shè)備,包括: 信息獲取單元，所述信息獲取單元根據(jù)對(duì)包括語(yǔ)音的內(nèi)容的語(yǔ)言分析，獲取識(shí)別內(nèi)容的編輯點(diǎn)的信息；和 信息輸出單元，輸出所獲取的信息。
2.按照權(quán)利要求1所述的信息處理設(shè)備， 其中識(shí)別編輯點(diǎn)的信息包括利用編輯點(diǎn)的周?chē)鷧^(qū)間中的語(yǔ)言分析獲得的語(yǔ)言信息。
3.按照權(quán)利要求2所述的信息處理設(shè)備， 其中所述語(yǔ)言信息包括語(yǔ)音的發(fā)音信息。
4.按照權(quán)利要求2所述的信息處理設(shè)備， 其中所述語(yǔ)言信息包括語(yǔ)音的字符串信息。
5.按照權(quán)利要求1所述的信息處理設(shè)備， 其中信息輸出單元還輸出包含在編輯點(diǎn)的周?chē)鷧^(qū)間中的內(nèi)容之中的視頻的運(yùn)動(dòng)信息。
6.按照權(quán)利要求1所述的信息處理設(shè)備， 其中信息輸出單元把所獲 得的信息與內(nèi)容關(guān)聯(lián)地記錄在記錄介質(zhì)上。
7.按照權(quán)利要求1所述的信息處理設(shè)備， 其中信息輸出單元按內(nèi)容的傳輸單位把所獲得的信息傳送給網(wǎng)絡(luò)。
8.—種信息處理方法,包括: 根據(jù)對(duì)包括語(yǔ)音的內(nèi)容的語(yǔ)言分析，獲得識(shí)別內(nèi)容的編輯點(diǎn)的信息；和 輸出所獲得的信息。
9.一種顯示控制設(shè)備，包括: 信息獲取單元，所述信息獲取單元獲取識(shí)別包含語(yǔ)音的內(nèi)容的編輯點(diǎn)的信息，所述編輯點(diǎn)是根據(jù)對(duì)所述內(nèi)容的語(yǔ)言分析獲得的；和 顯示控制單元，所述顯示控制單元根據(jù)所獲得的信息，控制與所述內(nèi)容相關(guān)的顯示。
10.按照權(quán)利要求9所述的顯示控制設(shè)備， 其中識(shí)別編輯點(diǎn)的信息包括利用編輯點(diǎn)的周?chē)鷧^(qū)間中的語(yǔ)言分析而獲得的語(yǔ)言信息。
11.按照權(quán)利要求9所述的顯示控制設(shè)備， 其中顯示控制單元根據(jù)識(shí)別編輯點(diǎn)的信息，識(shí)別具有高有用度的內(nèi)容的第一區(qū)間和具有低有用度的內(nèi)容的第二區(qū)間，和 其中顯示控制單元按照能夠區(qū)分第一區(qū)間和第二區(qū)間的狀態(tài)顯示內(nèi)容的時(shí)間軸的方式，進(jìn)行控制。
12.按照權(quán)利要求11所述的顯示控制設(shè)備， 其中顯示控制單元按依照時(shí)間軸的預(yù)定區(qū)間的選擇，利用包含在語(yǔ)言信息中的字符串信息顯示與時(shí)間軸的預(yù)定區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串的方式，進(jìn)行控制。
13.按照權(quán)利要求12所述的顯示控制設(shè)備， 其中顯示控制單元按顯示與預(yù)定區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串和與在預(yù)定區(qū)間前后的區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串，并突出地顯示與預(yù)定區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串的方式，進(jìn)行控制。
14.按照權(quán)利要求13所述的顯示控制設(shè)備， 其中突出顯示具有與其它區(qū)間的顯示顏色不同的顯示顏色。
15.按照權(quán)利要求10所述的顯示控制設(shè)備，其中顯示控制單元按照顯示內(nèi)容的時(shí)間軸，并且對(duì)應(yīng)于時(shí)間軸的區(qū)間地顯示與時(shí)間軸的每個(gè)區(qū)間的語(yǔ)音對(duì)應(yīng)的字符串的方式，進(jìn)行控制，所述時(shí)間軸用包含在語(yǔ)言信息中的字符串信息表示的子句的區(qū)間來(lái)分割。
16.—種顯不控制方法,包括: 獲取識(shí)別包含語(yǔ)音的內(nèi)容的編輯點(diǎn)的信息，所述編輯點(diǎn)是根據(jù)對(duì)所述內(nèi)容的語(yǔ)言分析獲得的；和 根據(jù)所獲得的信息，控制 與所述內(nèi)容相關(guān)的顯示。
【文檔編號(hào)】G10L15/04GK103544950SQ201310278580
【公開(kāi)日】2014年1月29日 申請(qǐng)日期:2013年7月4日 優(yōu)先權(quán)日:2012年7月12日
【發(fā)明者】桑原立 申請(qǐng)人:索尼公司