專利名稱：數(shù)據(jù)處理裝置及數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)處理裝置及數(shù)據(jù)處理方法，在作為活動(dòng)圖象和電影、聲音等連續(xù)視聽(tīng)覺(jué)信息的媒體內(nèi)容的視聽(tīng)、重放、發(fā)送中，為了進(jìn)行配合視聽(tīng)者的嗜好和終端能力的重放、發(fā)送，進(jìn)行從媒體內(nèi)容的構(gòu)成的記述向進(jìn)行重放的表現(xiàn)的記述的變換。
背景技術(shù)：
在現(xiàn)有技術(shù)中，媒體內(nèi)容的保存以文件單位來(lái)進(jìn)行，媒體內(nèi)容的重放、發(fā)送以存儲(chǔ)媒體內(nèi)容的文件單位來(lái)進(jìn)行。
而且，當(dāng)以多種不同的方式對(duì)媒體內(nèi)容進(jìn)行數(shù)字化來(lái)保存為多個(gè)文件時(shí)，在重放媒體內(nèi)容時(shí)，解碼處理產(chǎn)生。這樣，解碼處理的處理量隨數(shù)字化的方式而變化。因此，當(dāng)選擇媒體內(nèi)容時(shí)，就需要選擇用與重放媒體內(nèi)容的終端的處理能力相配合的數(shù)字化方式所數(shù)字化的媒體內(nèi)容。在此情況下，由終端機(jī)器的能力所產(chǎn)生的顯示媒體內(nèi)容的選擇這樣進(jìn)行收取的用戶以文件單位來(lái)選擇符合所使用的終端的能力的媒體內(nèi)容。
而且，在使用World Wide Web的活動(dòng)圖象發(fā)送中，作為僅對(duì)特定場(chǎng)景進(jìn)行重放的方法，在日本專利公開(kāi)公報(bào)特開(kāi)平10-111872號(hào)公報(bào)中所記載的內(nèi)容是公知的。在圖50中表示了特開(kāi)平10-111872號(hào)公報(bào)中所記載的活動(dòng)圖象發(fā)送裝置的構(gòu)成圖，以下進(jìn)行說(shuō)明。
在該活動(dòng)圖象發(fā)送裝置中，預(yù)先從場(chǎng)景信息輸入部3903向場(chǎng)景信息存儲(chǔ)部3904輸入場(chǎng)景編號(hào)、開(kāi)始/結(jié)束幀的時(shí)間碼、與場(chǎng)景相關(guān)的關(guān)鍵詞、活動(dòng)畫面文件名。接著，場(chǎng)景檢索部3905使用從場(chǎng)景信息輸入部3903所輸入的檢索條件，來(lái)檢索在場(chǎng)景信息存儲(chǔ)部3904中所存儲(chǔ)的場(chǎng)景信息。接著，場(chǎng)景檢索部3905抽出檢索的所希望的場(chǎng)景的場(chǎng)景編號(hào)作為腳本，存儲(chǔ)到腳本存儲(chǔ)部3907中。
接著，腳本編輯部3908根據(jù)需要來(lái)進(jìn)行所抽出的場(chǎng)景的順序變更和不需要的場(chǎng)景的刪除。而且，活動(dòng)圖象傳輸部3909按在腳本編輯部3908編輯的腳本中所存儲(chǔ)的場(chǎng)景編號(hào)的順序向活動(dòng)圖象重放部3910傳輸在活動(dòng)圖象文件存儲(chǔ)部3902中所存儲(chǔ)的活動(dòng)圖象數(shù)據(jù)，而進(jìn)行重放。而且，從活動(dòng)圖象文件輸入部3901向活動(dòng)圖象文件存儲(chǔ)部3902輸入活動(dòng)圖象。
但是，在現(xiàn)有的用文件單位進(jìn)行內(nèi)容的重放的方法中，必須全部重放文件中所容納的內(nèi)容。這樣，不能見(jiàn)到作為內(nèi)容的摘要的梗概。而且，當(dāng)檢索僅抽出內(nèi)容的一部分的精彩場(chǎng)景和視聽(tīng)者想看到的場(chǎng)面時(shí)，存在必須從內(nèi)容的開(kāi)頭進(jìn)行參照的問(wèn)題。
而且，根據(jù)特開(kāi)平10-111872號(hào)公報(bào)的方法，由于能夠指定場(chǎng)景剪輯的重放順序，就不需要從內(nèi)容的開(kāi)頭進(jìn)行參照。但是，該方法作為腳本僅具有場(chǎng)景的重放順序。因此，不能實(shí)現(xiàn)除重新排列場(chǎng)景的重放順序之外的功能。這樣，存在不能夠?qū)崿F(xiàn)與多個(gè)媒體相對(duì)應(yīng)而進(jìn)行重放等的復(fù)雜的重放的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明的目的是，從表現(xiàn)媒體內(nèi)容的構(gòu)成的構(gòu)造記述數(shù)據(jù)，生成用于對(duì)在該構(gòu)成記述數(shù)據(jù)中所記述的媒體段施加各種各樣的制約來(lái)進(jìn)行重放的表現(xiàn)記述數(shù)據(jù)。
為了解決上述課題，本發(fā)明是從記述媒體內(nèi)容的構(gòu)成的構(gòu)造記述數(shù)據(jù)，生成表現(xiàn)在構(gòu)造記述數(shù)據(jù)中所記述的媒體段的重放順序、重放的定時(shí)以及同步信息的表現(xiàn)記述數(shù)據(jù)。
這樣，從構(gòu)造記述數(shù)據(jù)選擇幾個(gè)媒體段，而變換為表現(xiàn)媒體段的重放順序、重放的定時(shí)以及同步信息的表現(xiàn)記述數(shù)據(jù)，由此，能夠得到梗概、精彩場(chǎng)景、符合視聽(tīng)者的嗜好的場(chǎng)景集的表示形態(tài)。而且，通過(guò)表現(xiàn)記述數(shù)據(jù)具有重放順序、重放的定時(shí)以及同步信息，就能對(duì)應(yīng)于多個(gè)媒體來(lái)進(jìn)行重放。
而且，本發(fā)明是在構(gòu)造記述數(shù)據(jù)中存儲(chǔ)媒體段的代替數(shù)據(jù)的集合，變換為媒體段和代替數(shù)據(jù)至少一方的表現(xiàn)重放順序、重放的定時(shí)以及同步信息的表現(xiàn)記述數(shù)據(jù)。
由此，配合發(fā)送媒體內(nèi)容的網(wǎng)絡(luò)的容量和通信量、重放媒體內(nèi)容的終端的能力等，來(lái)切換重放媒體段或者重放代替數(shù)據(jù)。即，使用符合進(jìn)行重放的終端的能力等的媒體，來(lái)進(jìn)行內(nèi)容的傳輸和重放。
而且，本發(fā)明是設(shè)置媒體選擇部，在重放在構(gòu)造記述數(shù)據(jù)中所表現(xiàn)的媒體段時(shí)，選擇重放媒體段還是代替數(shù)據(jù)。
由此，即使視聽(tīng)者沒(méi)有配合終端的能力來(lái)選擇媒體段或者代替數(shù)據(jù)，也能由媒體選擇部自動(dòng)地配合終端的能力來(lái)選擇媒體段或者代替數(shù)據(jù)。
而且，本發(fā)明是在構(gòu)造記述數(shù)據(jù)中進(jìn)一步記述根據(jù)各個(gè)媒體段的文理內(nèi)容的點(diǎn)值。
由此，例如，能夠生成各種各樣的重放時(shí)間的精彩場(chǎng)景集等，能夠容易地進(jìn)行其重放和傳輸。而且，根據(jù)由關(guān)鍵詞所表示的觀點(diǎn)來(lái)形成點(diǎn)值，由此，通過(guò)指定關(guān)鍵詞，就能僅重放、傳輸符合用戶的愛(ài)好的場(chǎng)景。
本發(fā)明的這些和其他的目的、優(yōu)點(diǎn)及特征將通過(guò)結(jié)合舉出一例的描述而得到進(jìn)一步說(shuō)明。在這些附圖中


圖1是本發(fā)明的實(shí)施例1所涉及的數(shù)據(jù)處理系統(tǒng)的概念圖；圖2A是表示實(shí)施例1中的構(gòu)造記述數(shù)據(jù)的DTD的圖；圖2B是表示實(shí)施例1中的構(gòu)造記述數(shù)據(jù)的一例的圖；圖3表示實(shí)施例1中的構(gòu)造記述數(shù)據(jù)的又一個(gè)例子的圖；圖4表示實(shí)施例1中的從構(gòu)造記述數(shù)據(jù)向表現(xiàn)記述數(shù)據(jù)的變換的流程圖；圖5是實(shí)施例1所涉及的記述變換器從作為構(gòu)造記述數(shù)據(jù)的摘要內(nèi)容記述輸出作為SMIL文件的重放方法記述的流程圖；圖6是表示SMIL文件的構(gòu)成的圖；圖7是表示實(shí)施例1中的表現(xiàn)記述數(shù)據(jù)的一例的圖；圖8是表示實(shí)施例1中的表現(xiàn)記述數(shù)據(jù)的一例的圖；圖9是實(shí)施例1所涉及的記述變換器從作為構(gòu)造記述數(shù)據(jù)的摘要內(nèi)容記述輸出作為SMIL文件的重放方法記述的流程圖；圖10是表示實(shí)施例1中的表現(xiàn)記述數(shù)據(jù)的一例的圖；圖11是表示實(shí)施例1中的表現(xiàn)記述數(shù)據(jù)的一例的圖；圖12是表示實(shí)施例1中的表現(xiàn)記述數(shù)據(jù)的一例的圖；
圖13是表示實(shí)施例2中的構(gòu)造記述數(shù)據(jù)的DTD的圖；圖14是表示實(shí)施例2中的表現(xiàn)記述數(shù)據(jù)的一例的圖；圖15是表示實(shí)施例2中的構(gòu)造記述數(shù)據(jù)的又一個(gè)例子的圖；圖16是實(shí)施例2所涉及的記述變換器從作為構(gòu)造記述數(shù)據(jù)的摘要內(nèi)容記述輸出作為SMIL文件的重放方法記述的流程圖；圖17是表示實(shí)施例2中的表現(xiàn)記述數(shù)據(jù)的一例的圖；圖18是實(shí)施例2所涉及的記述變換器從作為構(gòu)造記述數(shù)據(jù)的摘要內(nèi)容記述輸出作為SMIL文件的重放方法記述的流程圖；圖19是實(shí)施例3中的從構(gòu)造記述數(shù)據(jù)向表現(xiàn)記述數(shù)據(jù)的變換的流程圖；圖20是表示實(shí)施例3中的表現(xiàn)記述數(shù)據(jù)的一例的圖；圖21A是表示實(shí)施例3中的構(gòu)造記述數(shù)據(jù)的擴(kuò)展的DTD的圖；圖21B是表示實(shí)施例3中的構(gòu)造記述數(shù)據(jù)的擴(kuò)展的一例的圖；圖22是本發(fā)明的實(shí)施例4中的數(shù)據(jù)處理裝置的方框圖；圖23是表示實(shí)施例4中的構(gòu)造記述數(shù)據(jù)的DTD的圖；圖24是表示實(shí)施例4中的表現(xiàn)記述數(shù)據(jù)的一例的圖；圖25是實(shí)施例4中的選擇部的處理中的流程圖；圖26是表示實(shí)施例4中的中間的構(gòu)造記述數(shù)據(jù)的一例的圖；圖27是表示本發(fā)明的實(shí)施例5中的構(gòu)造記述數(shù)據(jù)的一例的圖；圖28是實(shí)施例5中的選擇部的處理中的流程圖；圖29是表示實(shí)施例5中的中間的構(gòu)造記述數(shù)據(jù)的一例的圖；圖30是表示本發(fā)明的實(shí)施例6中的構(gòu)造記述數(shù)據(jù)的DTD的一例的圖；圖31是實(shí)施例6中的構(gòu)造記述數(shù)據(jù)的一例的圖；圖32是表示實(shí)施例6中的中間的構(gòu)造記述數(shù)據(jù)的一例的圖；圖33是實(shí)施例7中的構(gòu)造記述數(shù)據(jù)的一例的圖；圖34是表示實(shí)施例7中的中間的構(gòu)造記述數(shù)據(jù)的一例的圖；圖35是本發(fā)明的實(shí)施例8中的數(shù)據(jù)處理裝置的方框圖；圖36是表示本發(fā)明的實(shí)施例10中的構(gòu)造記述數(shù)據(jù)的DTD的一例的圖；圖37是實(shí)施例10中的構(gòu)造記述數(shù)據(jù)的一例的圖；圖38是實(shí)施例10中的選擇部的處理中的流程圖；圖39是本發(fā)明的實(shí)施例11中的構(gòu)造記述數(shù)據(jù)的一例的圖；
圖40是本發(fā)明的實(shí)施例11中的選擇部的處理中的流程圖；圖41是表示本發(fā)明的實(shí)施例12中的構(gòu)造記述數(shù)據(jù)的DTD的一例的圖；圖42是本發(fā)明的實(shí)施例12中的構(gòu)造記述數(shù)據(jù)的一例的圖；圖43是本發(fā)明的實(shí)施例13中的構(gòu)造記述數(shù)據(jù)的一例的第一圖；圖44是本發(fā)明的實(shí)施例13中的構(gòu)造記述數(shù)據(jù)的一例的第二圖；圖45是本發(fā)明的實(shí)施例16中的數(shù)據(jù)處理裝置的方框圖；圖46是本發(fā)明的實(shí)施例17的服務(wù)器客戶系統(tǒng)的方框圖；圖47是本發(fā)明的實(shí)施例17的服務(wù)器客戶系統(tǒng)的另一個(gè)例子的方框圖；圖48是本發(fā)明的實(shí)施例18的服務(wù)器客戶系統(tǒng)的方框圖；圖49是本發(fā)明的實(shí)施例18的服務(wù)器客戶系統(tǒng)的另一個(gè)例子的方框圖；圖50是現(xiàn)有的活動(dòng)圖象傳輸裝置的方框圖。
具體實(shí)施例方式
實(shí)施例1下面參照附圖來(lái)對(duì)本發(fā)明的實(shí)施例1進(jìn)行說(shuō)明。首先，使用圖1來(lái)對(duì)本發(fā)明的實(shí)施例1所涉及的數(shù)據(jù)處理系統(tǒng)的構(gòu)成進(jìn)行說(shuō)明。圖1是實(shí)施例1所涉及的數(shù)據(jù)處理系統(tǒng)的概念圖。
實(shí)施例1所涉及的數(shù)據(jù)處理系統(tǒng)由元數(shù)據(jù)的數(shù)據(jù)庫(kù)1001、摘要引擎1002、記述變換器1003、重放機(jī)1004、媒體內(nèi)容的數(shù)據(jù)庫(kù)1005所構(gòu)成。而且，在圖中，由1006所標(biāo)記的部分是作為元數(shù)據(jù)的內(nèi)容記述，由1007所標(biāo)記的部分是選擇條件，由1008所標(biāo)記的部分是作為摘要結(jié)果的摘要內(nèi)容記述，由1009所標(biāo)記的部分是給重放機(jī)1004提供指示的重放方法記述，由1010所標(biāo)記的部分是媒體內(nèi)容數(shù)據(jù)。
而且，所謂元數(shù)據(jù)是指媒體內(nèi)容的標(biāo)題和制作日期等的書志事項(xiàng)和內(nèi)容以及場(chǎng)景構(gòu)成等的表示媒體內(nèi)容的附加的信息的數(shù)據(jù)。數(shù)據(jù)庫(kù)1001表示這樣的元數(shù)據(jù)的數(shù)據(jù)庫(kù)。
摘要引擎1002從在數(shù)據(jù)庫(kù)1001中所存儲(chǔ)的元數(shù)據(jù)中輸入作為表示媒體內(nèi)容的內(nèi)容和構(gòu)成的構(gòu)造記述數(shù)據(jù)的內(nèi)容記述1006。接著，摘要引擎1002從輸入的內(nèi)容記述1006中僅選擇符合用戶輸入的選擇條件1007的場(chǎng)景。而且，摘要引擎1002僅剩余與從內(nèi)容記述1006所選擇的場(chǎng)景相關(guān)的部分，生成刪除了除此之外的摘要內(nèi)容記述1008并輸出。
而且，內(nèi)容記述1006和摘要內(nèi)容記述1008是表示媒體內(nèi)容的內(nèi)容和構(gòu)成的構(gòu)造記述數(shù)據(jù)，雖然所記述的場(chǎng)景數(shù)不同，但是，記述格式是相同的。
記述變換器1003輸入摘要內(nèi)容記述1008，生成當(dāng)重放摘要內(nèi)容記述1008中所記述的場(chǎng)景時(shí)的作為記述重放順序、重放開(kāi)始的定時(shí)、同步信息等的媒體重放形態(tài)的表現(xiàn)記述數(shù)據(jù)的重放方法記述1009，并輸出。
重放機(jī)1004從數(shù)據(jù)庫(kù)1005輸入重放方法記述1009和作為根據(jù)重放方法記述1009進(jìn)行重放的數(shù)據(jù)的媒體內(nèi)容數(shù)據(jù)1010。接著，重放機(jī)1004按照在重放方法記述1009中所記述的重放順序、重放開(kāi)始的定時(shí)、同步信息等來(lái)進(jìn)行媒體內(nèi)容數(shù)據(jù)1010的重放。
而且，由于摘要內(nèi)容記述1008和內(nèi)容記述1006是相同的格式，則記述變換器1003可以與內(nèi)容記述1006相對(duì)應(yīng)的重放方法記述(表現(xiàn)記述數(shù)據(jù))同樣地生成。
下面，使用圖2A，圖2B以及圖3來(lái)對(duì)用于內(nèi)容記述1006和摘要內(nèi)容記述1008的構(gòu)造記述數(shù)據(jù)進(jìn)行說(shuō)明。
圖2A是作為用于用XML記述構(gòu)造記述數(shù)據(jù)的定義的Document Type Definition(DTD)。而且，圖2B是以MPEG1為例與活動(dòng)圖象和聲音同步的媒體內(nèi)容相對(duì)應(yīng)的構(gòu)造記述數(shù)據(jù)的例子。而且，圖3是活動(dòng)圖象和聲音分別為不同的媒體的媒體內(nèi)容的構(gòu)造記述數(shù)據(jù)的例子。
在本實(shí)施例中，作為在計(jì)算機(jī)上表現(xiàn)構(gòu)造記述數(shù)據(jù)的形態(tài)的一例，使用Extensible Markup Language(XML)。
XML是由World Wide Web Consortium(W3C)所標(biāo)準(zhǔn)化的數(shù)據(jù)記述語(yǔ)言，在1998年2月10日推薦Ver.1.0。XML ver.1.0的規(guī)格書可以由http://www.w3.org/TR/REC-xml得到。
首先，使用圖2A來(lái)說(shuō)明作為用于用XML記述構(gòu)造記述數(shù)據(jù)的定義的Document Type Definition(DTD)。
如圖中201所示的那樣，contents要素由par要素和mediaObject要素所構(gòu)成。而且，如圖中202所示的那樣，contents要素具有用字符數(shù)據(jù)所表示的title屬性。
mediaObject要素表示媒體。而且，如圖中203所示的那樣，par要素由作為多個(gè)子要素的mediaObject要素所構(gòu)成。par要素在contents要素由audio和video等多個(gè)mediaObject要素所構(gòu)成的情況下表示把多個(gè)mediaObject要素作為子要素來(lái)同步并重放。
而且，如圖中204所示的那樣，mediaObject要素由表示媒體段的segment要素所構(gòu)成。而且，如圖中205所示的那樣，mediaObject要素由其type屬性指定媒體的類型。在該例中，作為媒體的類型，指定了作為聲音信息的audio、作為活動(dòng)圖象信息的video、作為靜止圖象信息的image、作為聲音和活動(dòng)圖象進(jìn)行同步的信息的audiovideo、作為聲音和靜止圖象的信息的audioimage這樣的媒體的類型。而且，當(dāng)沒(méi)有進(jìn)行type屬性的指定時(shí)，type屬性通過(guò)缺省設(shè)定為audiovideo。
而且，如圖中206所示的那樣，mediaObject要素用format屬性來(lái)指定成為MPEG1，MPEG2的媒體的格式。而且，如圖中207所示的那樣，mediaObject要素用src屬性指定數(shù)據(jù)所保存的場(chǎng)所。通過(guò)用src屬性來(lái)指定Uniform Resource Locator(URL)，能夠指定數(shù)據(jù)所保存的場(chǎng)所。
而且，如圖中208所示的那樣，segment要素具有start屬性和end屬性。start屬性和end屬性表示segment要素的開(kāi)始時(shí)間和segment要素的結(jié)束時(shí)間。而且，start屬性和end屬性表示在由mediaObject要素所指定的媒體內(nèi)部的時(shí)間。即，segment要素通過(guò)start屬性和end屬性來(lái)指定相當(dāng)于由mediaObject要素所指定的媒體內(nèi)的哪個(gè)部分。
而且，在本實(shí)施例中，由開(kāi)始時(shí)間和結(jié)束時(shí)間的組來(lái)指定媒體段的時(shí)間信息，但是，也可以用開(kāi)始時(shí)間和持續(xù)時(shí)間的組來(lái)表示。
下面使用圖2B來(lái)對(duì)以MPEG1為例與活動(dòng)圖象和聲音同步的媒體內(nèi)容相對(duì)應(yīng)的構(gòu)造記述數(shù)據(jù)的例子進(jìn)行說(shuō)明。
在圖2B所示的構(gòu)造記述數(shù)據(jù)中，在contents要素中指定Movie etc這樣的標(biāo)題。接著，在mediaObject要素的類型中，audiovideo指定MPEG1作為格式，指定http://mserv.com/MPEG/movie0.mpg作為保存場(chǎng)所。而且，mediaObject要素包括具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素、具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素、具有從時(shí)刻00:01:00到00:02:00的時(shí)間信息的segment要素、具有從時(shí)刻00:03:00到00:04:00的時(shí)間信息的segment要素、具有從時(shí)刻00:04:00到00:05:00的時(shí)間信息的segment要素。即，mediaObject要素為除了從時(shí)刻00:02:00到00:03:00之外的記述。
下面使用圖3來(lái)對(duì)活動(dòng)圖象和聲音分別為不同的媒體的媒體內(nèi)容的構(gòu)造記述數(shù)據(jù)的例子進(jìn)行說(shuō)明。
在圖3所示的構(gòu)造記述數(shù)據(jù)中，在contents要素中指定Movie etc這樣的標(biāo)題。而且，在圖3的例子中，contents要素由video的類型的mediaObject要素和audio的類型的mediaObject要素所構(gòu)成。這樣，通過(guò)par要素來(lái)取得類型為video的mediaObject要素和類型為audio的mediaObject要素的同步。
類型為video的mediaObject要素指定MPEG1作為格式，指定http://mserv.com/MPEG/movie0.mpv作為保存場(chǎng)所。
而且，類型為video的mediaObject要素包括具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素、具有從時(shí)刻00:01:00到00:02:00的時(shí)間信息的segment要素、具有從時(shí)刻00:03:00到00:04:00的時(shí)間信息的segment要素、具有從時(shí)刻00:04:00到00:05:00的時(shí)間信息的segment要素。即，類型為video的mediaObject要素為除了從時(shí)刻00:02:00到00:03:00之外的記述。而且，類型為video的mediaObject要素包括具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素、具有從時(shí)刻00:01:00到00:02:00的時(shí)間信息的segment要素、具有從時(shí)刻00:03:00到00:04:00的時(shí)間信息的segment要素、具有從時(shí)刻00:04:00到00:05:00的時(shí)間信息的segment要素。即，類型為video的mediaObject要素為除了從時(shí)刻00:02:00到00:03:00之外的記述。
而且，類型為audio的mediaObject要素指定MPEG1為格式，指定http://mserv.com/MPEG/movie0a.mp2作為保存場(chǎng)所。類型為audio的mediaObject要素包括具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素、具有從時(shí)刻00:01:00到00:02:00的時(shí)間信息的segment要素、具有從時(shí)刻00:03:00到00:04:00的時(shí)間信息的segment要素、具有從時(shí)刻00:04:00到00:05:00的時(shí)間信息的segment要素。即，類型為audio的mediaObject要素為除了從時(shí)刻00:02:00到00:03:00之外的記述。
因此，當(dāng)內(nèi)容由多個(gè)媒體所構(gòu)成時(shí)，必須控制媒體段間的重放定時(shí)和同步。因此，在本實(shí)施例中，記述變換器1003把由構(gòu)造記述數(shù)據(jù)所記述的摘要內(nèi)容記述1008變換為由能夠表現(xiàn)媒體段的重放順序、重放的定時(shí)、同步信息的表現(xiàn)記述數(shù)據(jù)所記述的重放方法記述1009。
在本實(shí)施例中，作為表現(xiàn)記述數(shù)據(jù)，使用Synchronized Multimedia Integration Language(SMIL)。SMIL是對(duì)于多個(gè)媒體以記述為目的通過(guò)W3C來(lái)把這些表現(xiàn)的時(shí)間舉動(dòng)和顯示屏上的布局等進(jìn)行標(biāo)準(zhǔn)化的記述語(yǔ)言。在1998年6月15日推薦SMIL的Ver 1.0。SMIL ver.1.0的規(guī)格書可以由http://www.w3.org/TR/REC-smil得到。
這樣，通過(guò)在表現(xiàn)記述數(shù)據(jù)中使用標(biāo)準(zhǔn)化的SMIL，能夠利用現(xiàn)有的或者從其所開(kāi)發(fā)的SMIL處理程序，因此，具有通用性。
下面，使用圖4來(lái)對(duì)把用XML所記述的構(gòu)造記述數(shù)據(jù)變換為表現(xiàn)媒體段的重放順序、重放的定時(shí)、同步信息等的重放形態(tài)的表現(xiàn)記述數(shù)據(jù)的處理進(jìn)行說(shuō)明。圖4是表示實(shí)施例1所涉及的記述變換器把構(gòu)造記述數(shù)據(jù)變換為SMIL的程序的流程圖。
首先，當(dāng)開(kāi)始處理時(shí)(步驟S401)，在步驟S402中，分析在記述變換器1003由構(gòu)造記述數(shù)據(jù)所記述的摘要內(nèi)容記述1008中是否存在par要素。而且，當(dāng)在步驟S402中判斷為存在par要素時(shí)，記述變換器1003移到步驟S406的處理，當(dāng)判斷為沒(méi)有par要素時(shí)，移到步驟S403的處理。
記述變換器1003，在步驟S403中，分別從由構(gòu)造記述數(shù)據(jù)所記述的摘要內(nèi)容記述1008的mediaObject要素的type屬性取得媒體的類型，從由構(gòu)造記述數(shù)據(jù)所記述的摘要內(nèi)容記述1008的mediaObject要素的format屬性取得媒體的格式，從由構(gòu)造記述數(shù)據(jù)所記述的摘要內(nèi)容記述1008的mediaObject要素的src屬性取得媒體數(shù)據(jù)的URL。接著，記述變換器1003，在步驟S404中，從各segment要素的start屬性和stop屬性取得媒體段的時(shí)間信息，并存儲(chǔ)其。接著，記述變換器1003，在步驟S405中，從在步驟S403和步驟S405中取得的媒體的格式、媒體數(shù)據(jù)的URL、媒體段的時(shí)間信息來(lái)生成用SMIL文件所記述的重放方法記述1009，并輸出。
另一方面，記述變換器1003，在步驟S406中，取得par要素中的開(kāi)頭的mediaObject要素。接著，記述變換器1003，在步驟S407中，分別從取得的mediaObject要素的type屬性取得媒體的類型，從取得的mediaObject要素的format屬性取得媒體的格式，從取得的mediaObject要素的src屬性取得媒體數(shù)據(jù)的URL。接著，記述變換器1003，在步驟S408中，從各segment要素的start屬性和stop屬性取得媒體段的時(shí)間信息，并存儲(chǔ)其。
接著，記述變換器1003，在步驟S409中，分析在par要素中是否存在尚未分析的mediaObject要素。接著，如果存在尚未分析的mediaObject要素，記述變換器1003，在步驟S410中，取得其開(kāi)頭，移到步驟S407的處理。另一方面，如果不存在尚未分析的mediaObject要素，記述變換器1003移到步驟S411。
接著，記述變換器1003，在步驟S411中，使用存儲(chǔ)的segment要素的時(shí)間信息，對(duì)于屬于不同mediaObject要素并且在時(shí)間上重疊的某個(gè)segment要素進(jìn)行分組。接著，記述變換器1003，在步驟S412中，從在步驟S407和步驟S408中取得的媒體的格式、媒體數(shù)據(jù)的URL、媒體段的時(shí)間信息來(lái)生成由SMIL文件所記述的重放方法記述1009，并輸出。
下面，使用圖5來(lái)對(duì)當(dāng)在作為構(gòu)造記述數(shù)據(jù)的摘要內(nèi)容記述1008中沒(méi)有par要素時(shí)記述變換器1003從摘要內(nèi)容記述1008輸出作為SMIL文件的重放方法記述1009的步驟S405中的處理進(jìn)行說(shuō)明。圖5是實(shí)施例1所涉及的記述變換器從作為構(gòu)造記述數(shù)據(jù)的摘要內(nèi)容記述輸出作為SMIL文件的重放方法記述的流程圖。
首先，記述變換器1003輸出SMIL的首部(步驟S501)。
SMIL文件，如圖6所示的那樣，由首部601和本體602所構(gòu)成。首部601由head要素所記述，本體602由body要素所記述。即，首部601為由<head>和</head>圍住的部分，本體602為由<body>和</body>圍住的部分。
可以在首部中記述制作者、制作日等信息以及在畫面上的什么地方顯示圖象和在什么地方顯示文本的布局等。而且，首部可以省略。
接著，記述變換器1003由<seq>和</seq>圍住媒體段全體(步驟S502)。它們是seq要素，代表按照記述的順序處理即重放或者顯示由<seq>和</seq>圍住的媒體段。
接著，記述變換器1003對(duì)每個(gè)由<seq>和</seq>圍住的媒體段進(jìn)行以下處理。
首先，與媒體類型相配合，從SMIL的audio要素、video要素、ref要素、img要素中選擇對(duì)應(yīng)的要素(步驟S503)。而且，所謂ref要素是作為沒(méi)有指定源的媒體的寫入方所定義的。由ref要素所指定的內(nèi)容可以是聲音、圖象、靜止圖象、圖象和聲音進(jìn)行同步的內(nèi)容。
接著，記述變換器1003按以下這樣來(lái)設(shè)定在步驟S503中選擇的要素的clip-begin屬性和clip-end屬性的值。即，把對(duì)應(yīng)的摘要內(nèi)容記述1008的segment要素的start屬性的值設(shè)定為SMIL的clip-begin屬性的值，把對(duì)應(yīng)的摘要內(nèi)容記述1008的segment要素的end屬性的值設(shè)定為clip-end屬性的值(步驟S504)。而且，所謂clip是指時(shí)間的區(qū)間。
接著，記述變換器1003把在步驟S503中選擇的要素的src屬性的值設(shè)定為作為對(duì)應(yīng)的摘要內(nèi)容記述1008的segment要素的母要素的mediaObject要素的src屬性的值。然后，輸出在步驟S503中選擇的要素的記述。這樣，記述變換器1003從作為構(gòu)造記述數(shù)據(jù)的摘要內(nèi)容記述1008而生成作為由SMIL所記述的表現(xiàn)記述數(shù)據(jù)的重放方法記述1009。
在圖7中表示了記述變換器1003從圖2B所示的構(gòu)造記述數(shù)據(jù)輸出的SMIL文件。圖7是表示實(shí)施例1所涉及的記述變換器輸出的SMIL文件的例子的圖。
在圖7所示的文件的例子中，按照http://mserv.com/MPEG/movie0.mpg的從時(shí)刻00:00:00到00:01:00的信息、http://mserv.com/MPEG/movie0.mpg的從時(shí)刻00:01:00到00:02:00的信息、具有http://mserv.com/MPEG/movie0.mpg的從時(shí)刻00:03:00到00:04:00的信息的信息、http://mserv.com/MPEG/movie0.mpg的從時(shí)刻00:04:00到00:05:00的信息的順序來(lái)進(jìn)行處理。而且，在圖7所示的例子中，首部被省略了。
而且，可以追加把時(shí)間上連續(xù)的剪輯進(jìn)行集中的處理，而輸出圖8所示的SMIL文件。
在圖8所示的文件的例子中，按照具有http://mserv.com/MPEG/movie0.mpg的從時(shí)刻00:00:00到00:02:00的信息的信息、http://mserv.com/MPEG/movie0.mpg的從時(shí)刻00:03:00到00:05:00的信息的順序來(lái)進(jìn)行處理。即，圖8所示的文件進(jìn)行與圖7所示的文件的例子相同的處理。
下面使用圖9來(lái)對(duì)當(dāng)在作為構(gòu)造記述數(shù)據(jù)的摘要內(nèi)容記述1008中存在par要素時(shí)，記述變換器1003從摘要內(nèi)容記述1008輸出作為SMIL文件的重放方法記述1009的步驟S412中的處理進(jìn)行說(shuō)明。圖9是實(shí)施例1所涉及的記述變換器從作為構(gòu)造記述數(shù)據(jù)的摘要內(nèi)容記述輸出作為SMIL文件的重放方法記述的流程圖。
首先，記述變換器1003輸出SMIL的首部(步驟S901)。接著，記述變換器1003用<seq>和</seq>圍住媒體段全體(步驟S902)。然后，記述變換器1003按照時(shí)間早的組的順序來(lái)用SMIL的<par>和</par>圍住媒體段的組(步驟S903)。
接著，記述變換器1003判斷屬于相同的mediaObject要素的媒體段是否處于其他地方(步驟S904)，當(dāng)媒體段處于其他地方時(shí)，用<seq>和</seq>圍住它們(步驟S905)。接著，記述變換器1003對(duì)每個(gè)用<seq>和</seq>圍住的媒體段進(jìn)行以下的處理。
首先，與媒體類型相配合，從SMIL的audio要素、video要素、ref要素、img要素等中選擇對(duì)應(yīng)的要素。接著，設(shè)定選擇的要素的clip-begin屬性和clip-end屬性(步驟S906)。其是把摘要內(nèi)容記述1008的對(duì)應(yīng)的segment要素的start屬性的值設(shè)定為SMIL的clip-begin屬性的值，把摘要內(nèi)容記述1008的對(duì)應(yīng)的segment要素的end屬性的值設(shè)定為clip-end屬性的值(步驟S907)。接著，把選擇的要素的src屬性的值設(shè)定為作為對(duì)應(yīng)的摘要內(nèi)容記述1008的segment要素的母要素的mediaObject要素的src屬性的值(步驟S908)。然后，輸出選擇的要素的記述。
另一方面，記述變換器1003在屬于相同的mediaObject要素的媒體段不存在時(shí)，不用<seq>和</seq>進(jìn)行圍繞，而進(jìn)行與在上述每個(gè)媒體段中進(jìn)行的處理相同的處理。
這樣，記述變換器1003，即使在作為構(gòu)造記述數(shù)據(jù)的摘要內(nèi)容記述1008由多個(gè)媒體所構(gòu)成的情況下，也能生成作為與多個(gè)媒體同步進(jìn)行處理的表現(xiàn)記述數(shù)據(jù)的重放方法記述1009。
在圖10中表示從圖3所示的構(gòu)造記述數(shù)據(jù)所輸出的SMIL文件。圖10是表示實(shí)施例1所涉及的記述變換器輸出SMIL文件的例子的圖。
在圖10所示的文件的例子中，把作為video的http://mserv.com/MPEG/movie0v.mpv的從時(shí)刻00:00:00到00:01:00的信息和作為audio的http://mserv.com/MPEG/movie0a.mp2的從時(shí)刻00:00:00到00:01:00的信息進(jìn)行同步，把作為video的http://mserv.com/MPEG/movie0v.mpv的從時(shí)刻00:01:00到00:02:00的信息和作為audio的http://mserv.com/MPEG/movie0a.mp2的從時(shí)刻00:01:00到00:02:00的信息進(jìn)行同步，把作為video的http://mserv.com/MPEG/movie0v.mpv的從時(shí)刻00:03:00到00:04:00的信息和作為audio的http://mserv.com/MPEG/movie0a.mp2的從時(shí)刻00:03:00到00:04:00的信息進(jìn)行同步，把作為video的http://mserv.com/MPEG/movie0v.mpv的從時(shí)刻00:04:00到00:05:00的信息和作為audio的http://mserv.com/MPEG/movie0a.mp2的從時(shí)刻00:04:00到00:05:00的信息進(jìn)行同步，并且，按照記述同步的信息的順序進(jìn)行處理。
而且，如圖11所示的那樣，可以輸出追加了把時(shí)間上連續(xù)的剪輯進(jìn)行集中的處理的SMIL文件。
而且，由于使SMIL文件的par要素中的多個(gè)剪輯相同步，存在必須使某個(gè)剪輯的重放開(kāi)始時(shí)間與其他剪輯的重放開(kāi)始時(shí)間不同的情況。例如，audio和video為不同的媒體對(duì)象，video的剪輯處于人類所看到范圍，audio的剪輯處于人類說(shuō)話的聲音中。在此情況下，就必須配合在video中包含的人類的嘴的活動(dòng)的圖象，audio從人開(kāi)始說(shuō)話來(lái)進(jìn)行重放。
即，必須計(jì)算各個(gè)剪輯的重放開(kāi)始時(shí)間，當(dāng)該時(shí)間到來(lái)時(shí)，開(kāi)始進(jìn)行重放。為了該目的，在SMIL中，在audio要素、video要素、img要素、ref要素中準(zhǔn)備表示延遲信息的begin這樣的屬性。而且，通過(guò)使用begin屬性，就能使每個(gè)剪輯具有不同的重放開(kāi)始時(shí)間。
圖12是表示使每個(gè)剪輯具有不同的重放開(kāi)始時(shí)間的SMIL文件的例子的圖。在圖12所示的文件中，通過(guò)使用begin屬性，對(duì)于作為video的http://mserv.com/MPEG/movie0v.mpv的從時(shí)刻00:00:00到00:01:00的信息的重放時(shí)間，使作為audio的http://mserv.com/MPEG/movie0a.mp2的從時(shí)刻00:00:10到00:000:40的信息經(jīng)過(guò)10秒后進(jìn)行重放。而且，對(duì)于作為video的http://mserv.com/MPEG/movie0v.mpv的從時(shí)刻00:04:00到00:05:00的信息，使作為audio的http://mserv.com/MPEG/movie0a.mp2的從時(shí)刻00:04:15到00:05:00的信息經(jīng)過(guò)15秒后進(jìn)行重放。
這樣，通過(guò)使用begin屬性，來(lái)錯(cuò)開(kāi)在構(gòu)造記述數(shù)據(jù)中包含的多個(gè)媒體間的重放時(shí)間，由此，能夠取得多個(gè)媒體的同步。
如上述那樣，根據(jù)實(shí)施例1，進(jìn)行從表現(xiàn)媒體內(nèi)容的構(gòu)成的構(gòu)造記述數(shù)據(jù)向表現(xiàn)該媒體內(nèi)容的重放形態(tài)的表現(xiàn)記述數(shù)據(jù)的變換。由此，通過(guò)在媒體內(nèi)容的傳輸中適當(dāng)處理或者選擇構(gòu)造記述數(shù)據(jù)，就能制成適合用戶和終端的發(fā)送數(shù)據(jù)。
而且，根據(jù)實(shí)施例1，即使構(gòu)造記述數(shù)據(jù)由多個(gè)媒體所構(gòu)成，也能在媒體間取得同步。而且，通過(guò)在多個(gè)媒體間錯(cuò)開(kāi)重放定時(shí)，就能取得媒體間的同步。
而且，在實(shí)施例1中，以記述變換器1003進(jìn)行從表現(xiàn)媒體內(nèi)容的構(gòu)成的構(gòu)造記述數(shù)據(jù)向表現(xiàn)該媒體內(nèi)容的重放形態(tài)的表現(xiàn)記述數(shù)據(jù)的變換的形態(tài)進(jìn)行了說(shuō)明，但是，也可以用程序來(lái)實(shí)現(xiàn)記述變換器1003進(jìn)行的處理，而成為讀取到計(jì)算機(jī)中來(lái)執(zhí)行的形態(tài)。
而且，可以把在計(jì)算機(jī)中執(zhí)行記述變換器1003進(jìn)行的處理的程序存儲(chǔ)到存儲(chǔ)媒體中。
實(shí)施例2
實(shí)施例2是為了進(jìn)行適合于終端的媒體內(nèi)容的重放、發(fā)送，在構(gòu)造記述數(shù)據(jù)中記述媒體段及其代替數(shù)據(jù)，把構(gòu)造記述數(shù)據(jù)變換為表現(xiàn)媒體段或者代替數(shù)據(jù)的重放形態(tài)的表現(xiàn)記述數(shù)據(jù)。由此，進(jìn)行從由作為活動(dòng)圖象的媒體段的代表圖象這樣的代替數(shù)據(jù)的集合所記述構(gòu)造記述數(shù)據(jù)向代替數(shù)據(jù)的表現(xiàn)記述數(shù)據(jù)的變換。以下，對(duì)實(shí)施例2進(jìn)行說(shuō)明。
圖13、圖14、圖15是表示本實(shí)施例中的構(gòu)造記述數(shù)據(jù)的例子的圖。在實(shí)施例2中，作為在計(jì)算機(jī)上表現(xiàn)構(gòu)造記述數(shù)據(jù)的一例，使用Extensible Markup Language(XML)。圖13是用于由XML記述構(gòu)造記述數(shù)據(jù)的DTD。而且，圖14是以MPEG1為例與活動(dòng)圖象和聲音同步的媒體內(nèi)容相對(duì)應(yīng)的構(gòu)造記述數(shù)據(jù)的例子。而且，圖15是活動(dòng)圖象和聲音分別為不同的媒體的媒體內(nèi)容的構(gòu)造記述數(shù)據(jù)的例子。
首先，使用圖13，來(lái)說(shuō)明作為用于用XML記述構(gòu)造記述數(shù)據(jù)的定義的Document Type Definition(DTD)。
如圖中1301所示的那樣，contents要素由par要素和mediaObject要素所構(gòu)成。而且，如圖中1302所示的那樣，contents要素具有用字符數(shù)據(jù)所表示的title屬性。而且，如圖中1303所示的那樣，par要素由作為多個(gè)子要素的mediaObject要素所構(gòu)成。
而且，如圖中1304所示的那樣，mediaObject要素由segment要素所構(gòu)成。而且，如圖中1305所示的那樣，mediaObject要素由其type屬性指定媒體的類型。在該例中，作為媒體的類型，指定了作為聲音信息的audio、作為活動(dòng)圖象信息的video、作為靜止圖象信息的image、作為聲音和活動(dòng)圖象進(jìn)行同步的信息的audiovideo、作為聲音和靜止圖象的信息的audioimage這樣的媒體的類型。而且，當(dāng)沒(méi)有進(jìn)行type屬性的指定時(shí)，type屬性通過(guò)缺省設(shè)定為audiovideo。
而且，如圖中1306所示的那樣，mediaObject要素用format屬性來(lái)對(duì)活動(dòng)圖象指定MPEG1，MPEG2的媒體的格式，對(duì)靜止圖象指定gif和jpeg這樣的格式。而且，如圖中1307所示的那樣，mediaObject要素用src屬性指定數(shù)據(jù)所保存的場(chǎng)所。通過(guò)用src屬性來(lái)指定Uniform Resource Locator(URL)，能夠指定數(shù)據(jù)所保存的場(chǎng)所。
而且，如圖中1308所示的那樣，通過(guò)start屬性來(lái)指定與segment要素的開(kāi)始時(shí)間相對(duì)應(yīng)的由mediaObject要素所指定的媒體內(nèi)部中的時(shí)間。而且，通過(guò)end屬性來(lái)指定與segment要素的結(jié)束時(shí)間相對(duì)應(yīng)的由mediaObject要素所指定的媒體內(nèi)部的時(shí)間。
而且，在本實(shí)施例中，由開(kāi)始時(shí)間和結(jié)束時(shí)間的組來(lái)指定媒體段的時(shí)間信息，但是，也可以用開(kāi)始時(shí)間和持續(xù)時(shí)間的組來(lái)表示。
而且，如圖中1309所示的那樣，segment要素具有alt要素。alt要素代表該媒體段的代替數(shù)據(jù)。而且，如圖中1310所示的那樣，alt要素通過(guò)type屬性來(lái)指定image和audio這樣的媒體的類型。而且，如果是靜止圖象，alt要素通過(guò)format屬性來(lái)指定gif和jpeg這樣的媒體的格式。而且，alt要素通過(guò)src屬性來(lái)指定所保存的場(chǎng)所。
而且，alt要素能夠?qū)Ω鱾€(gè)媒體段進(jìn)行多個(gè)指定，在相同媒體的情況下，按登場(chǎng)順序進(jìn)行重放。
而且，alt要素具有作為子要素的pos要素。而且，alt要素通過(guò)作為子要素的pos要素能夠在由src屬性所指定的數(shù)據(jù)中指定是哪個(gè)區(qū)間。pos要素的start屬性和end屬性分別表示在由src屬性所示的媒體內(nèi)部的開(kāi)始時(shí)間、結(jié)束時(shí)間。
而且，在本實(shí)施例中，是通過(guò)開(kāi)始時(shí)間和結(jié)束時(shí)間的組來(lái)指定時(shí)間信息，但是，也可以通過(guò)開(kāi)始時(shí)間和持續(xù)時(shí)間的組來(lái)表示。
下面使用圖14來(lái)對(duì)以MPEG1為例與活動(dòng)圖象和聲音同步的媒體內(nèi)容相對(duì)應(yīng)的構(gòu)造記述數(shù)據(jù)的例子進(jìn)行說(shuō)明。
在圖14所示的構(gòu)造記述數(shù)據(jù)中，在contents要素中指定Movie etc這樣的標(biāo)題。接著，在mediaObject要素的類型中，audiovideo指定MPEG1作為格式，指定http://mserv.com/MPEG/movie0.mpg作為保存場(chǎng)所。而且，mediaObject要素包括具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素、具有從時(shí)刻00:01:00到00:02:00的時(shí)間信息的segment要素、具有從時(shí)刻00:03:00到00:04:00的時(shí)間信息的segment要素、具有從時(shí)刻00:04:00到00:05:00的時(shí)間信息的segment要素。即，mediaObject要素為除了從時(shí)刻00:02:00到00:03:00之外的記述。
而且，具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素由作為audiovideo的代替數(shù)據(jù)的alt要素進(jìn)行指示。具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素由類型為image、格式為jpeg、保存場(chǎng)所為http://mserv.com/IMAGE/s0.jpg的alt要素和類型為audio、格式為mpeg1、保存場(chǎng)所為http://mserv.com/MPEG/movie0.mp2、具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的alt要素所構(gòu)成具有從時(shí)刻00:01:00到00:02:00的時(shí)間信息的segment要素由類型為image、格式為jpeg、保存場(chǎng)所為http://mserv.com/IMAGE/s1.jpg的alt要素和類型為audio、格式為mpeg1、保存場(chǎng)所為http://mserv.com/MPEG/movie0.mp2、具有從時(shí)刻00:01:00到00:01:30的時(shí)間信息的alt要素所構(gòu)成。
具有從時(shí)刻00:03:00到00:04:00的時(shí)間信息的segment要素由類型為image、格式為jpeg、保存場(chǎng)所為http://mserv.com/IMAGE/s3.jpg的alt要素和類型為audio、格式為mpeg1、保存場(chǎng)所為http://mserv.com/MPEG/movie0.mp2、具有從時(shí)刻00:03:00到00:03:30的時(shí)間信息的alt要素所構(gòu)成。
具有從時(shí)刻00:04:00到00:05:00的時(shí)間信息的segment要素由類型為image、格式為jpeg、保存場(chǎng)所為http://mserv.com/IMAGE/s4.jpg的alt要素和類型為audio、格式為mpeg1、保存場(chǎng)所為http://mserv.com/MPEG/movie0.mp2、具有從時(shí)刻00:04:00到00:05:00的時(shí)間信息的alt要素所構(gòu)成。
下面使用圖15來(lái)對(duì)活動(dòng)圖象和聲音分別為不同的媒體的媒體內(nèi)容的構(gòu)造記述數(shù)據(jù)的例子進(jìn)行說(shuō)明。
在圖15所示的構(gòu)造記述數(shù)據(jù)中，在contents要素中指定Movie etc這樣的標(biāo)題。而且，在圖15的例子中，contents要素由video的類型的mediaObject要素和audio的類型的mediaObject要素所構(gòu)成。這樣，通過(guò)par要素來(lái)取得類型為video的mediaObject要素和類型為audio的mediaObject要素的同步。
類型為video的mediaObject要素指定MPEG1作為格式，指定http://mserv.com/MPEG/movie0.mpv作為保存場(chǎng)所。而且，類型為video的mediaObject要素包括具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素、具有從時(shí)刻00:01:00到00:02:00的時(shí)間信息的segment要素、具有從時(shí)刻00:03:00到00:04:00的時(shí)間信息的segment要素、具有從時(shí)刻00:04:00到00:05:00的時(shí)間信息的segment要素。即，類型為video的mediaObject要素為除了從時(shí)刻00:02:00到00:03:00之外的記述。
而且，具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素由作為video的代替數(shù)據(jù)的alt要素進(jìn)行指示。具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素由類型為image、格式為jpeg、保存場(chǎng)所為http://mserv.com/IMAGE/s0.jpg的alt要素所指示。并且，具有從時(shí)刻00:01:00到00:02:00的時(shí)間信息的segment要素由類型為image、格式為jpeg、保存場(chǎng)所為http://mserv.com/IMAGE/s1.jpg的alt要素所指示。并且，具有從時(shí)刻00:03:00到00:04:00的時(shí)間信息的segment要素由類型為image、格式為jpeg、保存場(chǎng)所為http://mserv.com/IMAGE/s3.jpg的alt要素所指示。并且，具有從時(shí)刻00:04:00到00:05:00的時(shí)間信息的segment要素由類型為image、格式為jpeg、保存場(chǎng)所為http://mserv.com/IMAGE/s4.jpg的alt要素所指示。
而且，類型為audio的mediaObject要素指定mpeg1作為格式、指定http://mserv.com/MPEG/movie0a.mp2作為保存場(chǎng)所。而且，類型為audio的mediaObject要素包括具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素、具有從時(shí)刻00:01:00到00:02:00的時(shí)間信息的segment要素、具有從時(shí)刻00:03:00到00:04:00的時(shí)間信息的segment要素、具有從時(shí)刻00:04:00到00:05:00的時(shí)間信息的segment要素。即，類型為audio的mediaObject要素為除了從時(shí)刻00:02:00到00:03:00之外的記述。
而且，具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素由作為audio的代替數(shù)據(jù)的alt要素進(jìn)行指示。具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的segment要素由類型為audio、格式為mpeg1、保存場(chǎng)所為http://mserv.com/MPEG/movie0.mp2、具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的alt要素所指示。并且，具有從時(shí)刻00:01:00到00:02:00的時(shí)間信息的segment要素由類型為audio、格式為mpeg1、保存場(chǎng)所為http://mserv.com/MPEG/movie0.mp2、具有從時(shí)刻00:01:00到00:01:30的時(shí)間信息的alt要素所指示。并且，具有從時(shí)刻00:03:00到00:04:00的時(shí)間信息的segment要素由類型為audio、格式為mpeg1、保存場(chǎng)所為http://mserv.com/MPEG/movie0.mp2、具有從時(shí)刻00:03:00到00:03:30的時(shí)間信息的alt要素所指示。并且，具有從時(shí)刻00:04:00到00:05:00的時(shí)間信息的segment要素由類型為audio、格式為mpeg1、保存場(chǎng)所為http://mserv.com/MPEG/movie0.mp2、具有從時(shí)刻00:04:00到00:05:00的時(shí)間信息的alt要素所指示。
在本實(shí)施例中，與實(shí)施例1相同，使用SMIL作為表現(xiàn)記述數(shù)據(jù)。重放各個(gè)媒體段自身的SMIL文件的輸出與實(shí)施例1相同。
以下，對(duì)記述變換器1003輸出重放代替數(shù)據(jù)的SMIL文件的處理進(jìn)行描述。在實(shí)施例1中的圖4的流程圖中，只是輸出SMIL文件的步驟S405和步驟S412的處理不同。這樣，對(duì)于與實(shí)施例1不同的處理進(jìn)行說(shuō)明。首先，使用圖16來(lái)對(duì)步驟S405的處理進(jìn)行說(shuō)明。
首先，記述變換器1003輸出SMIL的首部(步驟S1601)。接著，記述變換器1003用<seq>和</seq>圍住媒體段全體(步驟S1602)。然后，記述變換器1003對(duì)于每個(gè)圍住的媒體段判斷是否存在媒體類型不同的代替數(shù)據(jù)(步驟S1603)。
接著，當(dāng)記述變換器1003在S1603中進(jìn)行了沒(méi)有媒體類型不同的代替數(shù)據(jù)時(shí)，就判斷代替數(shù)據(jù)是否有多個(gè)(步驟S1604)。當(dāng)代替數(shù)據(jù)有多個(gè)時(shí)，記述變換器1003用<seq>和</seq>圍住多個(gè)代替數(shù)據(jù)(步驟S1605)。另一方面，當(dāng)代替數(shù)據(jù)只有一個(gè)時(shí)，記述變換器1003不用<seq>和</seq>進(jìn)行圍繞，而對(duì)每個(gè)代替數(shù)據(jù)進(jìn)行以下的處理。
接著，記述變換器1003與代替數(shù)據(jù)的類型相配合，從SMIL的audio要素、video要素、img要素等中選擇對(duì)應(yīng)的要素(步驟S1606)。接著，當(dāng)alt要素的子要素pos的start屬性和end屬性被指定時(shí)，記述變換器1003在SMIL的clip-begin屬性中設(shè)定start屬性的值，在clip-end屬性中設(shè)定end屬性的值(步驟S1607)。接著，記述變換器1003對(duì)于每個(gè)代替數(shù)據(jù)設(shè)定表示保存場(chǎng)所的src屬性(步驟S1608)。
另一方面，當(dāng)記述變換器1003在S1603中判斷為存在媒體類型不同的代替數(shù)據(jù)時(shí)，用同種類的媒體類型對(duì)代替數(shù)據(jù)進(jìn)行分組(步驟S1609)。
接著，記述變換器1003為了取得各組的重放結(jié)束的同步，必須分析持續(xù)時(shí)間最長(zhǎng)的代替數(shù)據(jù)。這樣，記述變換器1003對(duì)于每組從代替數(shù)據(jù)的start屬性，end屬性的值來(lái)計(jì)算持續(xù)時(shí)間(步驟S1610)。但是，當(dāng)媒體類型為靜止圖象(image)時(shí)或者start屬性，end屬性未被指定時(shí)，該代替數(shù)據(jù)的持續(xù)時(shí)間為0。
接著，記述變換器1003給持續(xù)時(shí)間最長(zhǎng)的組設(shè)定SMIL的par要素的endsync屬性以便于配合重放結(jié)束的同步(步驟S1611)，用<par>和</par>圍住組全體，對(duì)每個(gè)媒體類型的組進(jìn)行S1604的處理。
所謂endsync屬性是指當(dāng)并行(parallel)重放·顯示用<par>和</par>圍住的多個(gè)媒體時(shí)，由媒體在持續(xù)時(shí)間不同的情況下使用的屬性。即，所謂endsync屬性是指在這樣的情況下，指定哪個(gè)媒體配合全部的媒體的重放·顯示的結(jié)束。endsync屬性中的媒體的指定方法有幾種，在本實(shí)施例中，使用用媒體的id來(lái)進(jìn)行指定的方法。具體地說(shuō)，給某種類型的媒體的屬性賦予作為識(shí)別符的id。通過(guò)使endsync屬性＝id，來(lái)與賦予了id的媒體的結(jié)束時(shí)間相配合，賦予了該id的媒體與同一組內(nèi)的媒體保持同步而結(jié)束。
由此，作為靜止圖象這樣的沒(méi)有持續(xù)時(shí)間的媒體，不是通過(guò)dur等屬性來(lái)指定顯示時(shí)間，與此相對(duì)，能夠使該媒體的重放結(jié)束時(shí)間與賦予了id的媒體的重放時(shí)間相同。例如，可以在聲音的媒體被重放期間，一直連續(xù)不斷地顯示靜止圖象。
在圖17中表示了從圖14所示的構(gòu)造記述數(shù)據(jù)通過(guò)上述處理所輸出的SMIL文件。
在圖17的SMIL文件中，記述了多個(gè)組1701～1704。在由1701所記述的組中，由以下部分所構(gòu)成類型為image、格式為jpeg、保存場(chǎng)所為http://mserv.com/IMAGE/s0.jpg的代替數(shù)據(jù)和類型為audio、格式為mpeg1、保存場(chǎng)所為http://mserv.com/MPEG/movie0.mp2、具有從時(shí)刻00:00:00到00:01:00的時(shí)間信息的代替數(shù)據(jù)。而且，給類型為audio的代替數(shù)據(jù)賦予a0作為id屬性。而且，對(duì)于組1701，給endsync屬性設(shè)定id(a0)。由此，在組1701中包含的代替數(shù)據(jù)的重放結(jié)束時(shí)間與類型為audio的代替數(shù)據(jù)相配合。即，類型為image的代替數(shù)據(jù)在類型為audio的代替數(shù)據(jù)的重放時(shí)間中持續(xù)進(jìn)行重放。
而且，組1702～組1704的說(shuō)明省略了。
下面使用圖18來(lái)對(duì)步驟S412的處理進(jìn)行說(shuō)明。首先，記述變換器1003輸出SMIL的首部(步驟S1801)。接著，記述變換器1003用<seq>和</seq>圍住媒體段全體(步驟S1802)。
然后，記述變換器1003按照媒體段的組的時(shí)間早晚順序來(lái)對(duì)屬于相同mediaObject要素的代替數(shù)據(jù)進(jìn)行分組(步驟S1803)，對(duì)于每組從start屬性，end屬性的值來(lái)計(jì)算持續(xù)時(shí)間(步驟S1804)。但是，當(dāng)媒體類型為靜止圖象(image)時(shí)或者start屬性，end屬性未被指定時(shí)，該代替數(shù)據(jù)的持續(xù)時(shí)間為0。
接著，記述變換器1003給持續(xù)時(shí)間最長(zhǎng)的組設(shè)定SMIL的par要素的endsync屬性以便于配合重放結(jié)束的同步，用其<par>和</par>圍住組全體(步驟S1805)。
接著，記述變換器1003判斷代替數(shù)據(jù)是否為多個(gè)(步驟S1806)。接著，當(dāng)代替數(shù)據(jù)有多個(gè)時(shí)，記述變換器1003用<seq>和</seq>圍住多個(gè)代替數(shù)據(jù)(步驟S1807)。另一方面，當(dāng)代替數(shù)據(jù)為一個(gè)時(shí)，記述變換器1003不用<seq>和</seq>進(jìn)行圍繞，對(duì)于每個(gè)代替數(shù)據(jù)進(jìn)行以下的處理。
接著，記述變換器1003與代替數(shù)據(jù)的類型相配合，從SMIL的audio要素、video要素、img要素等中選擇對(duì)應(yīng)的要素(步驟S1808)。接著，當(dāng)alt要素的子要素pos的start屬性和end屬性被指定時(shí)，記述變換器1003在SMIL的clip-begin屬性中設(shè)定start屬性的值，在clip-end屬性中設(shè)定end屬性的值(步驟S1809)。接著，記述變換器1003對(duì)于每個(gè)代替數(shù)據(jù)設(shè)定表示保存場(chǎng)所的src屬性(步驟S1810)。
而且，從圖14所示的構(gòu)造記述數(shù)據(jù)通過(guò)圖18所示的處理所輸出的SMIL文件與圖17相同。
而且，在SMIL文件中，為了使par要素中的各剪輯同步，必須使重放開(kāi)始時(shí)間不同。在此情況下，必須計(jì)算各剪輯的重放開(kāi)始時(shí)間，當(dāng)該時(shí)間到達(dá)時(shí)，開(kāi)始進(jìn)行重放。
為了這樣的目的，在SMIL中，在audio要素、video要素、img要素、ref要素中準(zhǔn)備begin這樣的屬性，通過(guò)使用它們就能實(shí)現(xiàn)。
如以上那樣，根據(jù)實(shí)施例2，對(duì)于媒體內(nèi)容的全體或者部分的構(gòu)成，進(jìn)行從由媒體段的時(shí)間信息和如果該媒體段為活動(dòng)圖象時(shí)的其代表圖象這樣的代替數(shù)據(jù)的集合進(jìn)行記述的構(gòu)造記述數(shù)據(jù)向表現(xiàn)在構(gòu)造記述數(shù)據(jù)中所記述的媒體段或者其代替數(shù)據(jù)的重放順序、重放的定時(shí)、同步信息的表現(xiàn)記述數(shù)據(jù)的變換。
由此，能夠從與媒體內(nèi)容的構(gòu)成相關(guān)的信息，生成與配合終端的顯示媒體的重放相關(guān)的信息。其結(jié)果，在媒體內(nèi)容的發(fā)送中，能夠制作配合終端的發(fā)送數(shù)據(jù)。
實(shí)施例3實(shí)施例3是為了進(jìn)行配合終端的媒體內(nèi)容的重放、發(fā)送，來(lái)在構(gòu)造記述數(shù)據(jù)中記述媒體段和其代替數(shù)據(jù)以及配合終端而切換媒體段和代替數(shù)據(jù)的數(shù)據(jù)。而且，把該構(gòu)造記述數(shù)據(jù)變換為配合終端而切換媒體段和代替數(shù)據(jù)來(lái)進(jìn)行表現(xiàn)的表現(xiàn)記述數(shù)據(jù)。
以下，對(duì)本發(fā)明的實(shí)施例3進(jìn)行說(shuō)明。在實(shí)施例3的表現(xiàn)記述數(shù)據(jù)中，在一個(gè)SMIL文件中記述重放媒體段時(shí)和重放代替數(shù)據(jù)時(shí)兩種情況并輸出。作為構(gòu)造記述數(shù)據(jù)，使用圖14和圖15所示的。
在由本實(shí)施例所輸出的表現(xiàn)記述數(shù)據(jù)中，共同記述了重放媒體段的情況和重放代替數(shù)據(jù)的情況。當(dāng)根據(jù)其而重放媒體內(nèi)容時(shí)，必須選擇重放媒體段還是重放代替數(shù)據(jù)。因此，在表現(xiàn)記述數(shù)據(jù)中記述用于進(jìn)行選擇的條件。
由于進(jìn)行選擇的條件能夠由SMIL中的switch要素進(jìn)行記述，因此，在本實(shí)施例中，使用SMIL文件作為表現(xiàn)記述數(shù)據(jù)。所謂switch要素是指從多個(gè)媒體中選擇符合條件的一個(gè)。選擇是按在switch要素的內(nèi)容中所寫的媒體順序來(lái)進(jìn)行評(píng)價(jià)，選擇最初符合條件的媒體。條件被附加給在switch要素的內(nèi)容中所寫的媒體的屬性中，具有system-bitrate屬性、system-caption屬性等。
在本實(shí)施例中，以發(fā)送媒體內(nèi)容的網(wǎng)絡(luò)的連接比特率作為條件。具體地說(shuō)，當(dāng)連接比特率為56kbps以上時(shí)，重放媒體段，當(dāng)不足56kbps時(shí)，重放代替數(shù)據(jù)以下，對(duì)記述變換器1003輸出重放媒體段或者代替數(shù)據(jù)的SMIL文件的處理進(jìn)行描述。其中，在實(shí)施例1中的圖4的流程圖中，僅輸出SMIL文件的步驟S405和步驟S412的一部分的處理不同。這樣，使用圖19來(lái)對(duì)與步驟S405或者步驟S412相對(duì)應(yīng)的處理進(jìn)行說(shuō)明。
首先，記述變換器1003輸出SMIL的首部(步驟S1901)。接著，記述變換器1003用<switch>和</switch>圍住媒體全體(步驟S1902)。接著，記述變換器1003用<seq>和</seq>圍住媒體段(步驟S1903)，把seq要素的system-bitrate屬性設(shè)定為system-bitrate屬性＝“56000”(步驟S1904)。
system-bitrate屬性用于switch要素內(nèi)的條件評(píng)價(jià)，由此，由每一秒的比特?cái)?shù)來(lái)指定系統(tǒng)能夠使用的頻帶。如果為其中所記述的值以上，則判定為switch要素符合條件。在上述例子中，通過(guò)比特率為56000bps以上，判斷為符合條件。而且，如果該條件一致在switch要素中是最初的條件一致，則選擇一致的條件的媒體。
接著，記述變換器1003進(jìn)行圖5所示的S503～S505或者圖9所示的S903～S908的處理(步驟S1905)。由此，輸出重放媒體段的SMIL文件。
在此情況下，通過(guò)忽略表示代替數(shù)據(jù)的alt要素，就能使用實(shí)施例1中的步驟S405或者步驟S412的處理程序。接著，記述變換器1003不設(shè)定seq要素的system-bitrate屬性，用<seq>和</seq>圍住該代替數(shù)據(jù)(步驟S1906)，而進(jìn)行實(shí)施例2中所示的圖16的S1603～S1612或者圖18的S1803～1810的處理程序(步驟S1907)。由此，記述變換器1003輸出重放代替數(shù)據(jù)的SMIL文件。
這樣，能夠制成可以選擇重放媒體段或者重放代替數(shù)據(jù)的SMIL文件。
在圖20中，通過(guò)實(shí)施例3表示了所輸出的SMIL文件。在圖20所示的SMIL文件中記述了switch要素2000，switch要素具有兩個(gè)seq要素2001、2002作為內(nèi)容。一個(gè)seq要素2001是從<seq system-bitrate＝“56000”>到最初的</seq>的部分，另一個(gè)seq要素2002是從其后的<seq>到</seq>的部分。該switch要素評(píng)價(jià)<seq system-bitrate＝“56000”>。如果所使用的系統(tǒng)能夠使用的比特率為56000bps以上，則滿足該條件，因此，選擇seq要素2001。如果所使用的系統(tǒng)能夠使用的比特率為56000bps以下，就不選擇seq要素2001，而評(píng)價(jià)seq要素2002。
seq要素2001是表示重放媒體段的部分，seq要素2002是表示重放代替數(shù)據(jù)的部分。這樣，通過(guò)系統(tǒng)能夠使用的比特率為56000bps以上，就重放媒體段，如果不足56000bps，則重放代替數(shù)據(jù)。
而且，在本實(shí)施例中，作為重放媒體段或者代替數(shù)據(jù)的選擇的條件，使用網(wǎng)絡(luò)的連接比特率，但是，也可以是其他的條件。但是，在此情況下，由于存在不能使用SMIL的switch要素的條件，就必須定義擴(kuò)展SMIL的switch要素的表現(xiàn)記述數(shù)據(jù)。
而且，如圖21A所示的那樣，擴(kuò)展構(gòu)造記述數(shù)據(jù)的alt，以便于具有記述使用其中所指定的代替數(shù)據(jù)的條件的condition這樣的子要素，通過(guò)用condition所指定的條件，可以進(jìn)行情況分離。
在圖21B中表示了使用condition這樣的子要素的構(gòu)造記述數(shù)據(jù)。在圖21B中所記載的構(gòu)造記述數(shù)據(jù)代表構(gòu)成表現(xiàn)記述數(shù)據(jù)，以便于當(dāng)narrow band時(shí)，使用一行的數(shù)據(jù)。
而且，在SMIL文件中，為了使par要素中的各剪輯保持同步，必須使重放開(kāi)始時(shí)間不同。在此情況下，就需要計(jì)算各剪輯的重放開(kāi)始時(shí)間，當(dāng)該時(shí)間到達(dá)時(shí)，開(kāi)始進(jìn)行重放。
在SMIL中，為了這樣的目的，在audio要素、video要素、img要素、ref要素中準(zhǔn)備begin這樣的屬性，通過(guò)使用它們就能實(shí)現(xiàn)。
如上述那樣，根據(jù)實(shí)施例3，對(duì)于媒體內(nèi)容的全體或者部分的構(gòu)成，進(jìn)行從由媒體段的時(shí)間信息和如果該媒體段為活動(dòng)圖象時(shí)的其代表圖象這樣的代替數(shù)據(jù)的集合進(jìn)行記述的構(gòu)造記述數(shù)據(jù)向表現(xiàn)在構(gòu)造記述數(shù)據(jù)中所記述的媒體段和其代替數(shù)據(jù)的重放順序、重放的定時(shí)、同步信息以及表示選擇媒體段或者代替數(shù)據(jù)進(jìn)行重放的信息的表現(xiàn)記述數(shù)據(jù)的變換。由此，能夠從與媒體內(nèi)容的構(gòu)成相關(guān)的信息，配合終端，生成包含媒體段或者代替數(shù)據(jù)的選擇的與重放相關(guān)的信息。
實(shí)施例4實(shí)施例4是為了與圖象信息和聲音信息同步的連續(xù)視聽(tīng)覺(jué)信息(媒體內(nèi)容)相關(guān)而進(jìn)行梗概和精彩場(chǎng)景這樣的媒體內(nèi)容的代表性部分的重放、發(fā)送，對(duì)于媒體內(nèi)容，通過(guò)區(qū)分媒體內(nèi)容的各個(gè)區(qū)段(媒體段)的集合，來(lái)表現(xiàn)該媒體內(nèi)容的構(gòu)成，并且，輸入記述了根據(jù)各個(gè)媒體內(nèi)容的時(shí)間信息和該媒體段的文理內(nèi)容的重要度的構(gòu)造記述數(shù)據(jù)和根據(jù)文理內(nèi)容的重要度的閾值，從構(gòu)造記述數(shù)據(jù)中選擇閾值以上的媒體段。而且，把從構(gòu)造記述數(shù)據(jù)中選擇的媒體段作為重放形態(tài)，而變換為表現(xiàn)媒體段的重放順序、重放的定時(shí)的表現(xiàn)記述數(shù)據(jù)，并進(jìn)行輸出。
由此，通過(guò)從與媒體內(nèi)容的構(gòu)成相關(guān)的信息中僅選擇出重要度高的媒體段，而僅選擇出構(gòu)成梗概和精彩場(chǎng)景的媒體段，僅對(duì)選出的媒體段，來(lái)進(jìn)行向與重放相關(guān)的表現(xiàn)記述數(shù)據(jù)的變換。
以下對(duì)本發(fā)明的實(shí)施例4進(jìn)行說(shuō)明。實(shí)施例4涉及沒(méi)有指定媒體段的代替數(shù)據(jù)的構(gòu)成。在圖22中表示了實(shí)施例4中的數(shù)據(jù)處理裝置的方框圖。在圖22中，用1501所表示的部分是作為選擇裝置的摘要引擎。用1502所表示的部分是作為變換裝置的記述變換器。用1503所表示的部分是輸入數(shù)據(jù)，是作為構(gòu)造記述數(shù)據(jù)的內(nèi)容記述，用1504所表示的部分是選擇條件，用1505所表示的部分是輸出，是作為表現(xiàn)記述數(shù)據(jù)的重放方法記述。
在圖23中表示了在實(shí)施例4中使用的構(gòu)造記述數(shù)據(jù)的DTD。圖23所示的DTD是在圖2A所示的DTD的segment要素上增加了根據(jù)媒體段的文理內(nèi)容而表示重要度的score 2301這樣的屬性。該重要度用正整數(shù)值表示，1是重要度最低的情況。
下面，在圖24中表示了實(shí)施例4的作為構(gòu)造記述數(shù)據(jù)的內(nèi)容記述1503。
如圖中的2401所示的那樣，給各段賦予表示重要度的score屬性。
在實(shí)施例4中，使用媒體段的重要度作為選擇條件1504。而且，摘要引擎1501把媒體段的重要度為閾值以上作為條件，來(lái)進(jìn)行媒體段的選擇。以下，使用圖25的流程圖對(duì)作為選擇裝置的摘要引擎1501的處理進(jìn)行說(shuō)明。
首先，摘要引擎1501在步驟S2501中取出在內(nèi)容記述1503中所記述的最初的媒體段即segment要素的開(kāi)頭。接著，摘要引擎1501在步驟S2502中取出作為取出的媒體段的點(diǎn)值的segment要素的score屬性，分析其是否在閾值以上。接著，摘要引擎1501，在最初的媒體段的score屬性為閾值以上的情況下，進(jìn)到步驟S2503的處理以后，當(dāng)最初的媒體段的score屬性為閾值以下時(shí)，移到步驟S2504的處理。
摘要引擎1501在步驟S2503中向作為變換裝置的記述變換器1502輸出作為該媒體段的開(kāi)始時(shí)間和結(jié)束時(shí)間的segment要素的start屬性和end屬性的值。
而且，摘要引擎1501在步驟S2504中分析是否存在未處理的媒體段。接著，摘要引擎1501，在存在未處理的媒體段時(shí)，進(jìn)到步驟S2505的處理以后，當(dāng)沒(méi)有未處理的媒體段時(shí)，結(jié)束處理。
摘要引擎1501在步驟S2505中從未處理的媒體段中取出開(kāi)頭的segment要素，移到步驟S2502。
作為變換裝置的記述變換器1502的處理與從實(shí)施例1所示的圖4的構(gòu)造記述數(shù)據(jù)向SMIL的變換的程序相同，因此，省略其詳細(xì)的說(shuō)明。
而且，在實(shí)施例4中為這樣的構(gòu)成摘要引擎1501向記述變換器1502輸出選擇的媒體段的要素的內(nèi)容，記述變換器1502使用其進(jìn)行處理，但是，也可以是摘要引擎1501制作僅留下所選擇的媒體段的中間的構(gòu)造記述數(shù)據(jù)，記述變換器1502輸入該中間的構(gòu)造記述數(shù)據(jù)來(lái)進(jìn)行處理。
在圖26中表示了閾值為4時(shí)的從圖23的作為構(gòu)造記述數(shù)據(jù)的內(nèi)容記述1503所生成的中間的構(gòu)造記述數(shù)據(jù)的例子。
如從圖中2601所看到的那樣，在中間的構(gòu)造記述數(shù)據(jù)中僅選擇閾值為4以上的媒體段進(jìn)行記述。
而且，把媒體段的重要度為閾值以上的情況作為選擇條件，但是，也可以把選擇的媒體段的重放時(shí)間的總和為閾值以下的情況作為選擇條件。在此情況下，在摘要引擎1501中，把所有的媒體段按照其重要度的高低順序進(jìn)行分類，在重放時(shí)間的總和為閾值以下并且在成為最大以前，從分類的開(kāi)頭選擇媒體段來(lái)進(jìn)行處理。而且，可以是媒體段的重要度的條件和重放時(shí)間的條件的組合形態(tài)。
如上述那樣，根據(jù)實(shí)施例4，從根據(jù)媒體段的文理內(nèi)容的重要度來(lái)進(jìn)行媒體段的選擇，由此，構(gòu)成梗概和精彩場(chǎng)景集等，進(jìn)行這些表現(xiàn)記述數(shù)據(jù)的生成。由此，僅對(duì)用戶希望的部分進(jìn)行媒體內(nèi)容的重放、發(fā)送。
而且，可以配合段的重要度來(lái)制作時(shí)段的重放時(shí)間變化的摘要內(nèi)容記述。
實(shí)施例5相對(duì)于實(shí)施例4限定為圖象信息和聲音信息為一個(gè)媒體對(duì)象的情況，實(shí)施例5包含由多個(gè)媒體對(duì)象所產(chǎn)生的同步所構(gòu)成的情況。
下面對(duì)本發(fā)明的實(shí)施例5進(jìn)行說(shuō)明。實(shí)施例5涉及沒(méi)有指定媒體段的代替數(shù)據(jù)的構(gòu)成。實(shí)施例5中的數(shù)據(jù)處理裝置的方框圖與圖22所示的相同。
在實(shí)施例5中，作為用于構(gòu)造記述數(shù)據(jù)1503的DTD，使用圖23所示的。在圖27中表示了作為實(shí)施例5中的構(gòu)造記述數(shù)據(jù)的內(nèi)容記述1503的例子。
在圖27所示的內(nèi)容記述1503中，記述了類型為video的mediaObject要素2701和類型為audio的mediaObject要素2702。如圖中的2703所示的那樣，在類型為video的mediaObject要素2701的段中記述了作為重要度的score屬性。而且，如圖中的2704所示的那樣，在類型為audio的mediaObject要素2702的段中，記述了作為重要度的score屬性。
在實(shí)施例5中，選擇條件1504為媒體段的重要度為預(yù)定值以上。作為在此情況下的選擇裝置的摘要引擎1501的處理是對(duì)每個(gè)mediaObject要素進(jìn)行實(shí)施例4中的摘要引擎1501的處理。
在圖28中表示了實(shí)施例5中的摘要引擎1501的處理的流程圖。
首先，摘要引擎1501在步驟S2801中取出最初的mediaObject要素。接著，摘要引擎1501在步驟S2802中從作為取出的mediaObject要素的內(nèi)容的媒體段中取出作為開(kāi)頭的segment要素。接著，摘要引擎1501在步驟S2803中取出表示取出的媒體段的點(diǎn)值的segment要素的score屬性的值，分析其是否在閾值以上。
摘要引擎1501在取出的媒體段在閾值以上的情況下，移到步驟S2804的處理，當(dāng)取出的媒體段在閾值以下時(shí)，移到步驟S2805的處理。接著，摘要引擎1501在步驟S2804中把作為該媒體段的開(kāi)始時(shí)間和結(jié)束時(shí)間的segment要素的start屬性和end屬性輸出給記述變換器1502。
接著，摘要引擎1501在步驟S2805中分析是否存在未處理的媒體段。而且，摘要引擎1501在存在未處理的媒體段的情況下，移到步驟S2806的處理，當(dāng)不存在未處理的媒體段時(shí)，移到步驟S2805的處理。
接著，摘要引擎1501在步驟S2806中從未處理的媒體段中取出開(kāi)頭的segment要素，移到步驟S2803的處理。
另一方面，摘要引擎1501在步驟S2807中分析未處理的mediaObject要素是否還有剩余，當(dāng)還有剩余時(shí)，移到步驟S2808的處理，當(dāng)沒(méi)有剩余時(shí)，結(jié)束處理。而且，摘要引擎1501在步驟S2808中從未處理的mediaObject要素中取出開(kāi)頭的mediaObject要素，移到步驟S2802的處理。
作為實(shí)施例5的變換裝置的記述變換器1502為對(duì)每個(gè)mediaObject要素的處理，進(jìn)行與實(shí)施例1所示的從圖4的構(gòu)造記述數(shù)據(jù)向SMIL的變換的程序的處理相同的處理。
而且，在實(shí)施例5中，摘要引擎1501向記述變換器1502輸出選擇的媒體段的要素的內(nèi)容，記述變換器1502使用其進(jìn)行處理，但是，也可以是摘要引擎1501制作僅留下所選擇的媒體段的中間的構(gòu)造記述數(shù)據(jù)，記述變換器1502輸入該中間的構(gòu)造記述數(shù)據(jù)來(lái)進(jìn)行處理。
在圖29中表示了閾值為4時(shí)的從圖27的內(nèi)容記述1503所生成的中間的構(gòu)造記述數(shù)據(jù)的例子。
如從圖中2901所看到的那樣，在類型為video的mediaObject要素中僅選擇閾值為4以上的媒體段來(lái)進(jìn)行記述。而且，如從圖中的2902所看到的那樣，在類型為audio的mediaObject要素中僅選擇閾值為4以上的媒體段來(lái)進(jìn)行記述。
而且，在SMIL文件中，與par要素中的各個(gè)剪輯相關(guān)，為了進(jìn)行同步而必須使重放開(kāi)始時(shí)間不同。在此情況下，必須計(jì)算各個(gè)剪輯的重放開(kāi)始時(shí)間，當(dāng)該時(shí)間到來(lái)時(shí)，開(kāi)始進(jìn)行重放。
為了該目的，在SMIL中，在audio要素、video要素、img要素、ref要素中準(zhǔn)備begin這樣的屬性。而且，通過(guò)使用它們，就能實(shí)現(xiàn)。
如上述那樣，根據(jù)實(shí)施例5，從根據(jù)媒體段的文理內(nèi)容的重要度，通過(guò)進(jìn)行媒體段的選擇，來(lái)構(gòu)成梗概和精彩場(chǎng)景集等，來(lái)進(jìn)行這些表現(xiàn)記述數(shù)據(jù)的生成。由此，僅對(duì)用戶希望的部分進(jìn)行媒體內(nèi)容的重放、發(fā)送。
實(shí)施例6下面對(duì)發(fā)明的實(shí)施例6進(jìn)行說(shuō)明。與實(shí)施例4不指定媒體段的代替數(shù)據(jù)相對(duì)應(yīng)，實(shí)施例6指定媒體段的代替數(shù)據(jù)。而且，實(shí)施例6涉及這樣的構(gòu)成在摘要引擎中進(jìn)行重放媒體段還是重放代替數(shù)據(jù)的選擇。
實(shí)施例6中的數(shù)據(jù)處理裝置的方框圖與圖22所示的相同。
在圖30中表示了實(shí)施例6中使用的構(gòu)造記述數(shù)據(jù)的DTD的例子。如圖中的3001所示的那樣，圖30所示的DTD是在圖13所示的DTD的segment要素上增加了根據(jù)媒體段的文理內(nèi)容而表示重要度的score這樣的屬性。該重要度用正整數(shù)值表示，1是重要度最低的情況。
在圖31中表示了作為構(gòu)造記述數(shù)據(jù)的內(nèi)容記述1503的例子。如圖31所看到的那樣，在由代替數(shù)據(jù)所構(gòu)成的段中記述了分別表示重要度的score屬性。
實(shí)施例6中的作為選擇裝置的摘要引擎1501的處理與實(shí)施例4中的摘要引擎的處理相同，但是，實(shí)施例6中的作為選擇裝置的摘要引擎1501在輸出選擇的媒體段時(shí)在segment要素的start屬性和end屬性的基礎(chǔ)上還輸出作為子要素的alt要素。
而且，實(shí)施例6中的作為變換裝置的記述變換器1502的處理與實(shí)施例1、實(shí)施例2、實(shí)施例3所示的從圖4的構(gòu)造記述數(shù)據(jù)向SMIL的變換的程序的處理相同。
而且，在本實(shí)施例中，摘要引擎1501向記述變換器1502輸出選擇的媒體段的要素的內(nèi)容，記述變換器1502使用其進(jìn)行處理，但是，也可以是摘要引擎1501制作僅留下所選擇的媒體段的中間的構(gòu)造記述數(shù)據(jù)，記述變換器1502輸入該中間的構(gòu)造記述數(shù)據(jù)來(lái)進(jìn)行處理。
在圖32中表示了閾值為4時(shí)的從圖31的作為構(gòu)造記述數(shù)據(jù)的內(nèi)容記述1503所生成的中間的構(gòu)造記述數(shù)據(jù)的例子。
在圖32所示的構(gòu)造記述數(shù)據(jù)中僅選擇作為重要度的score屬性的值為4以上的段和該段的代替數(shù)據(jù)來(lái)進(jìn)行記述。
實(shí)施例7下面對(duì)本發(fā)明的實(shí)施例7進(jìn)行說(shuō)明。與實(shí)施例5不指定媒體段的代替數(shù)據(jù)相對(duì)，實(shí)施例7指定媒體段的代替數(shù)據(jù)。而且，實(shí)施例7涉及這樣的構(gòu)成指定媒體段的代替數(shù)據(jù)，并且，在摘要引擎中不進(jìn)行重放媒體段還是重放代替數(shù)據(jù)的選擇。
實(shí)施例7中的數(shù)據(jù)處理裝置的方框圖與圖22所示的相同。
在實(shí)施例7中，作為用于作為構(gòu)造記述數(shù)據(jù)的內(nèi)容記述1503的DTD，使用圖30所示的。在圖33中表示了實(shí)施例7中的作為構(gòu)造記述數(shù)據(jù)的內(nèi)容記述1503的例子。
實(shí)施例7中的作為選擇裝置的摘要引擎1501的處理與實(shí)施例5中的摘要引擎1501的處理相同。但是，實(shí)施例7所涉及的摘要引擎1501在輸出選擇的媒體段時(shí)，在segment要素的start屬性和end屬性的基礎(chǔ)上還輸出作為子要素的alt要素。
而且，實(shí)施例7中的記述變換器1502的處理與實(shí)施例、實(shí)施例2或者實(shí)施例3所示的從圖4的構(gòu)造記述數(shù)據(jù)向SMIL的變換的程序的處理相同。
而且，在本實(shí)施例中為這樣的構(gòu)成摘要引擎1501向記述變換器1502輸出選擇的媒體段的要素的內(nèi)容，記述變換器1502使用其進(jìn)行處理，但是，也可以是摘要引擎1501制作僅留下所選擇的媒體段的中間的構(gòu)造記述數(shù)據(jù)，記述變換器1502輸入該中間的構(gòu)造記述數(shù)據(jù)來(lái)進(jìn)行處理。
在圖34中表示了閾值為4時(shí)的從圖33的作為構(gòu)造記述數(shù)據(jù)的內(nèi)容記述1503所生成的中間的構(gòu)造記述數(shù)據(jù)的例子。
在圖34所示的構(gòu)造記述數(shù)據(jù)中給媒體的每種類型分配記述了作為重要度的score屬性的值為4以上的段和該段的代替數(shù)據(jù)。
實(shí)施例8實(shí)施例8是僅對(duì)圖象信息和聲音信息同步的連續(xù)視聽(tīng)覺(jué)信息(媒體內(nèi)容)的梗概和精彩場(chǎng)景這樣的媒體內(nèi)容的代表性部分通過(guò)作為終端的顯示媒體進(jìn)行重放、發(fā)送。即，對(duì)于媒體內(nèi)容，通過(guò)區(qū)分媒體內(nèi)容的各個(gè)區(qū)段(媒體段)的集合，來(lái)表現(xiàn)該媒體內(nèi)容的構(gòu)成，并且，把各個(gè)媒體內(nèi)容的時(shí)間信息和記述了根據(jù)該媒體段的文理內(nèi)容的重要度的構(gòu)造記述數(shù)據(jù)和根據(jù)文理內(nèi)容的重要度的閾值作為輸入，僅選擇閾值以上的媒體段。而且，選擇媒體段或者該媒體段的代替數(shù)據(jù)中的哪個(gè)作為選擇的媒體段的重放形態(tài)，而變換為表現(xiàn)其重放順序、重放的定時(shí)的表現(xiàn)記述數(shù)據(jù)，并進(jìn)行輸出。
由此，通過(guò)從與媒體內(nèi)容的構(gòu)成相關(guān)的信息中僅選擇出重要度高的媒體段，而僅選擇出構(gòu)成梗概和精彩場(chǎng)景的媒體段，僅對(duì)選出的媒體段，來(lái)進(jìn)行向與重放相關(guān)的表現(xiàn)記述數(shù)據(jù)的變換。這樣，能夠?qū)崿F(xiàn)符合重放媒體內(nèi)容的終端的能力和發(fā)送的網(wǎng)絡(luò)的狀況的媒體的選擇。
在本發(fā)明中對(duì)實(shí)施例8進(jìn)行說(shuō)明。與實(shí)施例6指定媒體段的代替數(shù)據(jù)而不進(jìn)行重放媒體段還是重放代替數(shù)據(jù)的選擇相對(duì)，實(shí)施例8指定媒體段的代替數(shù)據(jù)并且進(jìn)行重放媒體段還是重放代替數(shù)據(jù)的選擇。在實(shí)施例8中，選擇裝置分成媒體段選擇裝置和重放媒體選擇裝置。而且，選擇條件分成段選擇條件和重放媒體選擇條件。
在圖35中表示了實(shí)施例8中的數(shù)據(jù)處理裝置的方框圖。在圖35中，由2801所表示的是作為媒體段選擇裝置的摘要引擎。用2800表示的是記述變換器。而且，記述變換器2800由作為重放媒體選擇裝置的重放媒體選擇部2802和作為變換裝置的變換部2803所構(gòu)成。
由2804所表示的是輸入數(shù)據(jù)，代表作為構(gòu)造記述數(shù)據(jù)的內(nèi)容記述，由2805所表示的是段選擇條件，由2806所表示的是重放媒體選擇條件，由2807所表示的是輸出，代表表現(xiàn)記述數(shù)據(jù)的重放方法記述。
在實(shí)施例8中，作為構(gòu)造記述數(shù)據(jù)的內(nèi)容記述2804使用與實(shí)施例6中的內(nèi)容記述1503相同的。即，內(nèi)容記述2804使用圖30所示的DTD，一個(gè)例子是圖31所示的。而且，段選擇條件2805使用與實(shí)施例4或者實(shí)施例6中的選擇條件1504相同的。在此情況下，作為媒體段選擇裝置的摘要引擎2801的處理與實(shí)施例6中的摘要引擎1501的處理相同。
下面對(duì)重放媒體選擇部2802的處理進(jìn)行說(shuō)明。重放媒體選擇部2802，作為重放媒體選擇條件2806，以發(fā)送媒體內(nèi)容的網(wǎng)絡(luò)的連接比特率為條件。即，重放媒體選擇部2802在連接比特率為56kbps以上時(shí)，重放媒體段，當(dāng)不足56kbps時(shí)，重放代替數(shù)據(jù)。重放媒體選擇部2802分析連接比特率，來(lái)判定重放哪個(gè)，通知給變換部2803。
變換部2803輸入作為媒體段選擇裝置的摘要引擎2801選擇的媒體段的要素和重放媒體選擇部2802選擇的結(jié)果，根據(jù)重放媒體選擇部2802的結(jié)果，輸出作為由SMIL所產(chǎn)生的表現(xiàn)記述數(shù)據(jù)的重放方法記述2807。
變換部2803把內(nèi)容記述2804變換為SMIL的處理與實(shí)施例1或者實(shí)施例所示的從圖4的構(gòu)造記述數(shù)據(jù)向SMIL的變換的程序的處理相同。
而且，在本實(shí)施例中，摘要引擎2801向變換部2803輸出選擇的媒體段的要素的內(nèi)容，變換部2803使用其進(jìn)行處理，但是，也可以是摘要引擎2801制作僅留下所選擇的媒體段的中間的構(gòu)造記述數(shù)據(jù)，記述變換器2803輸入該中間的構(gòu)造記述數(shù)據(jù)來(lái)進(jìn)行處理。
而且，作為重放媒體選擇條件2806，使用網(wǎng)絡(luò)的比特率，但是，除此之外，也可以是重放終端的能力和來(lái)自用戶的要求等。
實(shí)施例9下面對(duì)本發(fā)明的實(shí)施例9進(jìn)行說(shuō)明。與實(shí)施例7指定媒體段的代替數(shù)據(jù)并且不進(jìn)行重放媒體段還是重放代替數(shù)據(jù)的選擇相對(duì)，實(shí)施例9是指定媒體段的代替數(shù)據(jù)并且進(jìn)行重放媒體段還是重放代替數(shù)據(jù)的選擇的方案。而且，實(shí)施例9涉及在選擇裝置中進(jìn)行重放媒體段還是重放代替數(shù)據(jù)的選擇的構(gòu)成。
在實(shí)施例9中，與實(shí)施例8相同，選擇裝置分成媒體段選擇裝置和重放媒體選擇裝置。而且，選擇條件分成媒體段選擇條件和重放媒體選擇條件。因此，本實(shí)施例中的數(shù)據(jù)處理裝置的方框圖與圖35所示的相同。
在實(shí)施例9中，作為構(gòu)造記述數(shù)據(jù)的內(nèi)容記述2804使用與實(shí)施例7中的內(nèi)容記述1503相同的。即，內(nèi)容記述2804使用圖30所示的DTD，在圖34中表示了內(nèi)容記述2804的一個(gè)例子。而且，段選擇條件2805使用與實(shí)施例8相同的。因此，摘要引擎2801的處理與實(shí)施例7中的摘要引擎1501的處理相同。
實(shí)施例9所涉及的重放媒體選擇部2802的處理使用與實(shí)施例8中所述的相同的處理。
變換部2803輸入摘要引擎2801選擇的媒體段的要素和重放媒體選擇部2802選擇的結(jié)果，根據(jù)重放媒體選擇部2802的結(jié)果，輸出作為由SMIL所產(chǎn)生的表現(xiàn)記述數(shù)據(jù)的重放方法記述2807。變換部2803進(jìn)行的從構(gòu)造記述數(shù)據(jù)向SMIL的變換處理與實(shí)施例1或者實(shí)施例2所示的從圖4的構(gòu)造記述數(shù)據(jù)向SMIL的變換的程序的處理相同。
而且，在本實(shí)施例中，摘要引擎2801向變換部2803輸出選擇的媒體段的要素的內(nèi)容，變換部2803使用其進(jìn)行處理，但是，也可以是摘要引擎2801制作僅留下所選擇的媒體段的中間的構(gòu)造記述數(shù)據(jù)，記述變換器2803輸入該中間的構(gòu)造記述數(shù)據(jù)來(lái)進(jìn)行處理。
而且，作為重放媒體選擇條件2806，使用網(wǎng)絡(luò)的比特率，但是，除此之外，也可以是重放終端的能力和來(lái)自用戶的要求等。
實(shí)施例10實(shí)施例10是與圖象信息和聲音信息同步的連續(xù)視聽(tīng)覺(jué)信息(媒體內(nèi)容)相關(guān)，僅對(duì)符合用戶嗜好的媒體內(nèi)容的代表性的部分進(jìn)行重放、發(fā)送。即，實(shí)施例10是對(duì)于媒體內(nèi)容，通過(guò)區(qū)分媒體內(nèi)容的各個(gè)區(qū)段(媒體段)的集合，來(lái)表現(xiàn)該媒體內(nèi)容的構(gòu)成，并且，把各個(gè)媒體內(nèi)容的時(shí)間信息和記述了根據(jù)由關(guān)鍵詞所表現(xiàn)的觀點(diǎn)的該媒體段的重要度的構(gòu)造記述數(shù)據(jù)以及符合用戶嗜好的觀點(diǎn)及其重要度的閾值作為輸入，僅選擇閾值以上的媒體段。而且，作為選擇的媒體段的重放形態(tài)，變換為表現(xiàn)其重放順序、重放的定時(shí)的表現(xiàn)記述數(shù)據(jù)，并進(jìn)行輸出。由此，通過(guò)從與媒體內(nèi)容的構(gòu)成相關(guān)的信息中根據(jù)對(duì)應(yīng)觀點(diǎn)僅選擇出重要度為閾值以上的媒體段，僅對(duì)選出的媒體段，來(lái)進(jìn)行向與重放相關(guān)的表現(xiàn)記述數(shù)據(jù)的變換。其結(jié)果，根據(jù)觀點(diǎn)，通過(guò)重要度能夠構(gòu)成符合用戶的嗜好的精彩場(chǎng)景集等，而具有能夠僅對(duì)該部分進(jìn)行重放、發(fā)送的作用。
下面對(duì)發(fā)明的實(shí)施例10進(jìn)行說(shuō)明。實(shí)施例10涉及不指定媒體段的代替數(shù)據(jù)的構(gòu)成。實(shí)施例10中的數(shù)據(jù)處理裝置的方框圖與圖22所示的相同。
在圖36中表示了在實(shí)施例10中使用的構(gòu)造記述數(shù)據(jù)的DTD。如圖中3601所示的那樣，圖36所示的DTD，為了根據(jù)由關(guān)鍵詞所表現(xiàn)的觀點(diǎn)來(lái)表示代表重要度的點(diǎn)值，在圖2A所示的DTD的segment要素上增加了pointOfView這樣的要素作為子要素。
而且，如圖中3602所示的那樣，pointOfView要素用viewPoint屬性來(lái)表示觀點(diǎn)，通過(guò)score屬性，根據(jù)由viewPoint屬性所示的觀點(diǎn)來(lái)表示重要度。該重要度用正整數(shù)值表示，1是重要度最低的情況。而且，可以在一個(gè)segment要素中附加多個(gè)pointOfView要素。在圖37中表示了作為實(shí)施例10中使用的構(gòu)造記述數(shù)據(jù)的內(nèi)容記述1503的例子。
如從圖37所看到的那樣，在每個(gè)segment要素中記述了pointOfView要素、作為其屬性的viewPoint和作為屬性的score。
在實(shí)施例10中，選擇條件1504是與某個(gè)觀點(diǎn)相關(guān)，根據(jù)媒體段的觀點(diǎn)，重要度為閾值以上。而且，成為選擇條件1504的觀點(diǎn)當(dāng)然可以為多個(gè)。在圖38中表示了作為此時(shí)的選擇裝置的摘要引擎1501中的處理的流程圖。
首先，摘要引擎1501在步驟S3801中取出作為開(kāi)頭的媒體段的segment要素。接著，摘要引擎1501在步驟S3802中全部分析作為取出的媒體段的segment要素的內(nèi)容的pointOfView要素。接著，摘要引擎1501分析在所分析的pointOfView要素的viewPoint屬性中是否存在指定了由選擇條件1504所指定的觀點(diǎn)的情況。
接著，摘要引擎1501，當(dāng)存在指定了由選擇條件1504所指定的觀點(diǎn)時(shí)，為了根據(jù)由選擇條件1504所指定的觀點(diǎn)來(lái)比較重要度和閾值，而移到步驟S3803的處理。另一方面，摘要引擎1501，當(dāng)不存在指定了由選擇條件1504所指定的觀點(diǎn)時(shí)，不需要根據(jù)由選擇條件1504所指定的觀點(diǎn)來(lái)附加重要度，因此，移到步驟S3805的處理。
接著，摘要引擎1501在步驟S3803中根據(jù)由選擇條件1504所指定的觀點(diǎn)來(lái)分析重要度是否為閾值以上。接著，選擇條件1504，在根據(jù)所指定的觀點(diǎn)，重要度為閾值以上的情況下，移到步驟S3804的處理，當(dāng)該重要度不足閾值時(shí)，移到步驟S3805的處理。
摘要引擎1501在步驟S3804中向記述變換器1502輸出代表該媒體段的開(kāi)始時(shí)間和結(jié)束時(shí)間的segment要素的start屬性和end屬性的值。而且，摘要引擎1501在步驟S3805中分析是否存在未處理的媒體段，在存在未處理的媒體段時(shí)，進(jìn)到步驟S3806的處理。另一方面，摘要引擎1501在沒(méi)有未處理的媒體段時(shí)，結(jié)束處理。
摘要引擎1501在步驟S3806中從未處理的媒體段中取出開(kāi)頭的segment要素，移到步驟S3802的處理。
記述變換器1502的處理與實(shí)施例1所示的從圖4的構(gòu)造記述數(shù)據(jù)向SMIL的變換的程序相同。
而且，在實(shí)施例10中為這樣的構(gòu)成摘要引擎1501向記述變換器1502輸出選擇的媒體段的要素的內(nèi)容，記述變換器1502使用其進(jìn)行處理，但是，也可以是摘要引擎1501制作僅留下所選擇的媒體段的中間的構(gòu)造記述數(shù)據(jù)，記述變換器1502輸入該中間的構(gòu)造記述數(shù)據(jù)來(lái)進(jìn)行處理。
而且，選擇條件是媒體段的與某個(gè)觀點(diǎn)相關(guān)的重要度為閾值以上，但是，也可以是選擇的媒體段的重放時(shí)間的總和為閥值以下。在此情況下，摘要引擎1501把所有的媒體段按照與所指定的觀點(diǎn)相關(guān)的重要度的高低順序進(jìn)行分類，在重放時(shí)間的總和為閾值以下并且在成為最大以前，從分類的開(kāi)頭選擇媒體段來(lái)進(jìn)行處理。
而且，當(dāng)所指定的觀點(diǎn)具有多個(gè)時(shí)，摘要引擎1501與各媒體段相關(guān)從與所指定的觀點(diǎn)相關(guān)的重要度中取出最大的，用該值進(jìn)行分類，也可以取它們的總和以及相加平均，用該值進(jìn)行分類。
而且，可以是媒體段的與某個(gè)觀點(diǎn)相關(guān)的重要度的條件和重放時(shí)間的條件的組合形態(tài)。
如上述那樣，根據(jù)實(shí)施例10，從附加在媒體段上的根據(jù)由關(guān)鍵詞所表現(xiàn)的觀點(diǎn)的重要度來(lái)進(jìn)行用戶的興趣的某個(gè)媒體段的選擇，由此，構(gòu)成符合用戶的嗜好的梗概和精彩場(chǎng)景集等，進(jìn)行這些表現(xiàn)記述數(shù)據(jù)的生成。由此，僅對(duì)用戶希望的部分進(jìn)行媒體內(nèi)容的重放、發(fā)送。
實(shí)施例11下面對(duì)本發(fā)明的實(shí)施例11進(jìn)行說(shuō)明。與實(shí)施例10不是多個(gè)類型的媒體相對(duì)，實(shí)施例11涉及具有多個(gè)類型的媒體并且不指定媒體段的代替數(shù)據(jù)的構(gòu)成。實(shí)施例11中的數(shù)據(jù)處理裝置的方框圖與圖22所示的相同。
在實(shí)施例11中，作為用于內(nèi)容記述1503的DTD，使用圖36所示的。而且，在圖39中表示了實(shí)施例11中的作為構(gòu)造記述數(shù)據(jù)的內(nèi)容記述1503的例子。
如從圖39所看到的那樣，圖39所示的構(gòu)造記述數(shù)據(jù)具有類型不同的mediaObject要素，在每個(gè)segment要素中記述pointOfView要素、作為其屬性的viewPoint和作為屬性的score。
在實(shí)施例中，選擇條件1504與實(shí)施例10相同，與某個(gè)觀點(diǎn)相關(guān)，根據(jù)媒體段的觀點(diǎn)，重要度為閾值以上。而且，成為選擇條件1504的觀點(diǎn)自然可以有多個(gè)。此時(shí)的摘要引擎1501的處理是對(duì)每個(gè)mediaObject要素進(jìn)行實(shí)施例10中的摘要引擎1501的處理。在圖40中表示了實(shí)施例11中的摘要引擎1501的處理的流程圖。
首先，摘要引擎1501在步驟S4001中取出最初的mediaObject要素。接著，摘要引擎1501在步驟S4002中從取出的mediaObject要素的內(nèi)容中取出作為開(kāi)頭的媒體段的segment要素。接著，摘要引擎1501在步驟S4003中全部分析作為取出的媒體段的segment要素的內(nèi)容的pointOfView要素，分析在所分析的pointOfView要素的viewPoint屬性中是否存在由選擇條件1504所指定的觀點(diǎn)所指定的部分。
接著，摘要引擎1501在所分析的pointOfView要素的viewPoint屬性中存在由選擇條件1504所指定的觀點(diǎn)所指定的部分的情況下，為了根據(jù)由選擇條件1504所指定的觀點(diǎn)來(lái)比較重要度和閾值，而移到步驟S4004的處理中。另一方面，摘要引擎1501在所分析的pointOfView要素的viewPoint屬性中不存在由選擇條件1504所指定的觀點(diǎn)所指定的部分的情況下，由不需要根據(jù)由選擇條件1504所指定的觀點(diǎn)來(lái)附加重要度，而移到步驟S4006的處理中。
摘要引擎1501在步驟S4004中根據(jù)由選擇條件1504所指定的觀點(diǎn)來(lái)分析重要度是否為閾值以上。而且，摘要引擎1501在根據(jù)由選擇條件1504所指定的觀點(diǎn)而得到重要度為閾值以上的結(jié)果的情況下，移到步驟S4005的處理，當(dāng)根據(jù)由選擇條件1504所指定的觀點(diǎn)而得到重要度為閾值以下的結(jié)果的情況下，移到步驟S4006的處理。
摘要引擎1501在步驟S4005中向記述變換器1502輸出表示對(duì)應(yīng)的媒體段的開(kāi)始時(shí)間和結(jié)束時(shí)間的segment要素的start屬性end屬性的值。而且，摘要引擎1501在步驟S4006中分析是否存在未處理的媒體段，在存在未處理的媒體段時(shí)，進(jìn)到步驟S4007的處理。而且，摘要引擎1501，在沒(méi)有未處理的媒體段時(shí)，進(jìn)行到步驟S4008的處理。
摘要引擎1501在步驟S4008中分析是否仍剩余了未處理的mediaObject要素，當(dāng)存在剩余的情況下，移到步驟S4009的處理。摘要引擎1501在沒(méi)有剩余未處理的mediaObject要素的情況下結(jié)束處理。
而且，摘要引擎1501在步驟S4009中從未處理的mediaObject要素中取出開(kāi)頭的mediaObject要素，移到步驟S4002的處理。
實(shí)施例11的記述變換器1502進(jìn)行對(duì)每個(gè)mediaObject要素的處理，除此之外，進(jìn)行與實(shí)施例1所示的從圖4的構(gòu)造記述數(shù)據(jù)向SMIL的變換的程序的處理相同的處理。
而且，在實(shí)施例11中為這樣的構(gòu)成摘要引擎1501向記述變換器1502輸出選擇的媒體段的要素的內(nèi)容，記述變換器1502使用其進(jìn)行處理，但是，也可以是摘要引擎1501制作僅留下所選擇的媒體段的中間的構(gòu)造記述數(shù)據(jù)，記述變換器1502輸入該中間的構(gòu)造記述數(shù)據(jù)來(lái)進(jìn)行處理。
而且，在SMIL文件中，與par要素中的各個(gè)剪輯相關(guān)，為了進(jìn)行同步而必須使重放開(kāi)始時(shí)間不同。在此情況下，必須計(jì)算各個(gè)剪輯的重放開(kāi)始時(shí)間，當(dāng)該時(shí)間到來(lái)時(shí)，開(kāi)始進(jìn)行重放。
為了該目的，在SMIL中，在audio要素、video要素、img要素、ref要素中準(zhǔn)備begin這樣的屬性。而且，通過(guò)使用它們，就能實(shí)現(xiàn)。
實(shí)施例12下面對(duì)發(fā)明的實(shí)施例12進(jìn)行說(shuō)明。與實(shí)施例10不指定媒體段的代替數(shù)據(jù)相對(duì)應(yīng)，實(shí)施例12指定媒體段的代替數(shù)據(jù)。而且，實(shí)施例12涉及這樣的構(gòu)成在選擇裝置中不進(jìn)行重放媒體段還是重放代替數(shù)據(jù)的選擇。實(shí)施例12中的數(shù)據(jù)處理裝置的方框圖與圖22所示的相同。
在圖41中表示了實(shí)施例12中使用的構(gòu)造記述數(shù)據(jù)的DTD的例子。圖41所示的DTD是為了根據(jù)由關(guān)鍵詞所表現(xiàn)的觀點(diǎn)來(lái)表示代表重要度的點(diǎn)值，在圖13所示的DTD的segment要素中增加了pointOfView這樣的要素作為子要素。pointOfView要素用viewPoint屬性來(lái)表示觀點(diǎn)，通過(guò)score屬性，根據(jù)由viewPoint屬性所示的觀點(diǎn)來(lái)表示重要度。該重要度用正整數(shù)值表示，1是重要度最低的情況。而且，可以在一個(gè)segment要素中附加多個(gè)pointOfView要素。在圖42中表示了構(gòu)造記述數(shù)據(jù)的內(nèi)容記述1503的例子。
如從圖中所看到的那樣，在圖42所示的內(nèi)容記述數(shù)據(jù)中，在DTD的segment要素中增加了pointOfView這樣的要素作為子要素。而且，pointOfView要素記述了viewPoint屬性和score屬性。
實(shí)施例12中的摘要引擎1501的處理與實(shí)施例10中的摘要引擎1501的處理相同。但是，實(shí)施例12中的摘要引擎1501的處理在輸出選擇的媒體段時(shí)，在segment要素的start屬性end屬性的基礎(chǔ)上，輸出作為子要素的alt要素。
而且，實(shí)施例12中的記述變換器1502的處理與實(shí)施例1、實(shí)施例2或者實(shí)施例3所示的從圖4的構(gòu)造記述數(shù)據(jù)向SMIL的變換的程序的處理相同。
而且，在實(shí)施例中，在實(shí)施例10中為這樣的構(gòu)成摘要引擎1501向記述變換器1502輸出選擇的媒體段的要素的內(nèi)容，記述變換器1502使用其進(jìn)行處理，但是，也可以是摘要引擎1501制作僅留下所選擇的媒體段的中間的構(gòu)造記述數(shù)據(jù)，記述變換器1502輸入該中間的構(gòu)造記述數(shù)據(jù)來(lái)進(jìn)行處理。
實(shí)施例13下面對(duì)發(fā)明的實(shí)施例13進(jìn)行說(shuō)明。與實(shí)施例11不指定媒體段的代替數(shù)據(jù)相對(duì)應(yīng)，實(shí)施例13指定媒體段的代替數(shù)據(jù)。而且，實(shí)施例13涉及這樣的構(gòu)成在選擇裝置中不進(jìn)行重放媒體段還是重放代替數(shù)據(jù)的選擇。實(shí)施例13中的數(shù)據(jù)處理裝置的方框圖與圖15所示的相同。
在實(shí)施例13中，作為用于內(nèi)容記述1503的DTD，使用圖41所示的。在圖43、圖44中表示了實(shí)施例12中的構(gòu)造記述數(shù)據(jù)1503的例子。
如從圖中所看到的那樣，在實(shí)施例13的構(gòu)造記述數(shù)據(jù)中具有不同類型的mediaObject要素，在每個(gè)mediaObject要素中具有segment要素。而且，在每個(gè)segment要素中記述了pointOfView要素和作為其屬性的viewPoint以及作為屬性的score。
實(shí)施例12中的摘要引擎1501的處理與實(shí)施例11中的摘要引擎1501的處理相同。但是，實(shí)施例12中的摘要引擎1501的處理在輸出選擇的媒體段時(shí)，在segment要素的start屬性end屬性的基礎(chǔ)上，輸出作為子要素的alt要素。
而且，實(shí)施例12中的記述變換器1502的處理與實(shí)施例1、實(shí)施例2或者實(shí)施例3所示的從圖4的構(gòu)造記述數(shù)據(jù)向SMIL的變換的程序的處理相同。
而且，在實(shí)施例11中為這樣的構(gòu)成摘要引擎1501向記述變換器1502輸出選擇的媒體段的要素的內(nèi)容，記述變換器1502使用其進(jìn)行處理，但是，也可以是摘要引擎1501制作僅留下所選擇的媒體段的中間的構(gòu)造記述數(shù)據(jù)，記述變換器1502輸入該中間的構(gòu)造記述數(shù)據(jù)來(lái)進(jìn)行處理。
實(shí)施例14下面對(duì)發(fā)明的實(shí)施例14進(jìn)行說(shuō)明。與實(shí)施例12在選擇裝置中不進(jìn)行重放媒體段還是重放代替數(shù)據(jù)的選擇相對(duì)，實(shí)施例14涉及在選擇裝置中進(jìn)行重放媒體段還是重放代替數(shù)據(jù)的選擇的構(gòu)成。在實(shí)施例14中，選擇裝置分成媒體段選擇裝置和重放媒體選擇裝置。而且，選擇條件分成段選擇條件和重放媒體選擇條件。因此，實(shí)施例14中的數(shù)據(jù)處理裝置的方框圖與圖35所示的相同。
在實(shí)施例14中，內(nèi)容記述數(shù)據(jù)2804使用與實(shí)施例12中的內(nèi)容記述1503相同的。即，實(shí)施例14的內(nèi)容記述數(shù)據(jù)2804使用圖41所示的DTD，由此，實(shí)施例14的內(nèi)容記述數(shù)據(jù)2804的一個(gè)例子表示在圖42中。
而且，段選擇條件2805使用與實(shí)施例10或者實(shí)施例12中的選擇條件1504相同的。在此情況下，摘要引擎2801與實(shí)施例12中的摘要引擎1501的處理相同。
下面對(duì)重放媒體選擇部2802的處理進(jìn)行說(shuō)明。重放媒體選擇部2802，作為重放媒體選擇條件2806，以發(fā)送媒體內(nèi)容的網(wǎng)絡(luò)的連接比特率為條件。即，重放媒體選擇部2802在連接比特率為56kbps以上時(shí)，重放媒體段，當(dāng)不足56kbps時(shí)，重放代替數(shù)據(jù)。重放媒體選擇部2802分析連接比特率，來(lái)判定重放哪個(gè)，通知給變換部2803。
變換部2803輸入作為媒體段選擇裝置的摘要引擎2801選擇的媒體段的要素和重放媒體選擇部2802選擇的結(jié)果，根據(jù)重放媒體選擇部2802的結(jié)果，輸出作為由SMIL所產(chǎn)生的表現(xiàn)記述數(shù)據(jù)的重放方法記述2807。
變換部2803把內(nèi)容記述2804變換為SMIL的處理與實(shí)施例1或者實(shí)施例2所示的從圖4的構(gòu)造記述數(shù)據(jù)向SMIL的變換的程序的處理相同。
而且，在本實(shí)施例中，摘要引擎2801向變換部2803輸出選擇的媒體段的要素的內(nèi)容，變換部2803使用其進(jìn)行處理，但是，也可以是摘要引擎2801制作僅留下所選擇的媒體段的中間的構(gòu)造記述數(shù)據(jù)，記述變換器2803輸入該中間的構(gòu)造記述數(shù)據(jù)來(lái)進(jìn)行處理。
而且，作為重放媒體選擇條件2806，使用網(wǎng)絡(luò)的比特率，但是，除此之外，也可以是重放終端的能力和來(lái)自用戶的要求等。
實(shí)施例15下面對(duì)本發(fā)明的實(shí)施例15進(jìn)行說(shuō)明。與實(shí)施例13在選擇裝置中進(jìn)行重放媒體段還是重放代替數(shù)據(jù)的選擇相對(duì)，實(shí)施例15涉及在選擇裝置中進(jìn)行重放媒體段還是重放代替數(shù)據(jù)的選擇的構(gòu)成。在實(shí)施例15中，與實(shí)施例8相同，選擇裝置分成媒體段選擇裝置和重放媒體選擇裝置。而且，選擇條件分成段選擇條件和重放媒體選擇條件。因此，本實(shí)施例中的數(shù)據(jù)處理裝置的方框圖與圖35所示的相同。
實(shí)施例15的內(nèi)容記述數(shù)據(jù)2804使用與實(shí)施例13中的內(nèi)容記述1503相同的。即，實(shí)施例15的內(nèi)容記述數(shù)據(jù)2804使用圖41所示的DTD，由此，在圖43、圖44中表示了一個(gè)例子。
而且，實(shí)施例15的段選擇條件2805使用與實(shí)施例14中的選擇條件2805相同的。因此，摘要引擎2801與實(shí)施例13中的摘要引擎1501的處理相同。
實(shí)施例15所涉及的重放媒體選擇部2802的處理與實(shí)施例14所記述的重放媒體選擇部2802相同。
實(shí)施例15的變換部2803輸入摘要引擎2801選擇的媒體段的要素和重放媒體選擇部2802選擇的結(jié)果，根據(jù)重放媒體選擇部2802的結(jié)果，輸出作為由SMIL所產(chǎn)生的表現(xiàn)記述數(shù)據(jù)的重放方法記述2807。
實(shí)施例15的變換部2803進(jìn)行的向SMIL的變換處理與實(shí)施例1或者實(shí)施例2所示的從圖4的構(gòu)造記述數(shù)據(jù)向SMIL的變換的程序的處理相同。
而且，在本實(shí)施例中，摘要引擎2801向變換部2803輸出選擇的媒體段的要素的內(nèi)容，變換部2803使用其進(jìn)行處理，但是，也可以是摘要引擎2801制作僅留下所選擇的媒體段的中間的構(gòu)造記述數(shù)據(jù)，記述變換器2803輸入該中間的構(gòu)造記述數(shù)據(jù)來(lái)進(jìn)行處理。
而且，作為重放媒體選擇條件2806，使用網(wǎng)絡(luò)的比特率，但是，除此之外，也可以是重放終端的能力和來(lái)自用戶的要求等。
實(shí)施例16下面對(duì)本發(fā)明的實(shí)施例16進(jìn)行說(shuō)明。在圖45中表示了實(shí)施例16中的數(shù)據(jù)處理裝置的方框圖。在圖45中，用3801所表示的是構(gòu)造記述數(shù)據(jù)的數(shù)據(jù)庫(kù)，用3802所表示的是選擇部，用3803所表示的是變換部，用3804所表示的是重放部，用3805所表示的是媒體內(nèi)容數(shù)據(jù)庫(kù)。而且，用3806所表示的是構(gòu)造記述數(shù)據(jù)，用3808所表示的是摘要內(nèi)容記述數(shù)據(jù)，用3809所表示的是表現(xiàn)記述數(shù)據(jù)，用3810所表示的是媒體內(nèi)容數(shù)據(jù)。
而且，選擇部3802、變換部3803、構(gòu)造記述數(shù)據(jù)3806以及表現(xiàn)記述數(shù)據(jù)3809與實(shí)施例4至實(shí)施例15中任一個(gè)所示的相同。而且，摘要內(nèi)容記述數(shù)據(jù)3808是實(shí)施例4至實(shí)施例15中任一個(gè)所示的僅留下了所選擇的媒體段的中間的構(gòu)造記述數(shù)據(jù)。選擇部3802、變換部3803能夠通過(guò)在計(jì)算機(jī)上執(zhí)行程序來(lái)實(shí)現(xiàn)。
由于表現(xiàn)記述數(shù)據(jù)3809由SMIL所表現(xiàn)，因此可以使用SMIL播放器作為重放部3804。SMIL播放器可以通過(guò)在計(jì)算機(jī)上執(zhí)行程序來(lái)實(shí)現(xiàn)，作為SMIL播放器軟件，例如Real Networks的Real Player等免費(fèi)的軟件正在流行。
而且，在實(shí)施例16中，選擇部3802輸出摘要內(nèi)容記述數(shù)據(jù)3808，但是，也可以如實(shí)施例4至實(shí)施例15中任一個(gè)所示的那樣，不輸出摘要內(nèi)容記述數(shù)據(jù)3808，而輸出選擇的媒體段。
實(shí)施例17下面使用圖46來(lái)對(duì)本發(fā)明的實(shí)施例17所涉及的服務(wù)器客戶系統(tǒng)進(jìn)行說(shuō)明。實(shí)施例17是在服務(wù)器4601側(cè)包括選擇部3802和變換部3803，在客戶4602側(cè)包括重放部3804。而且，實(shí)施例17是在網(wǎng)絡(luò)4603上進(jìn)行變換部3803與重放部3804的連接。由此，實(shí)施例17成為通過(guò)網(wǎng)絡(luò)來(lái)對(duì)表現(xiàn)記述數(shù)據(jù)3809進(jìn)行通信的服務(wù)器客戶系統(tǒng)。
而且，各處理部進(jìn)行的處理內(nèi)容作為能夠由計(jì)算機(jī)執(zhí)行的程序來(lái)寫，并存儲(chǔ)在服務(wù)器4601側(cè)和客戶4602側(cè)內(nèi)的存儲(chǔ)媒體中，而分別被執(zhí)行。
而且，可以使用元數(shù)據(jù)的數(shù)據(jù)庫(kù)1001來(lái)代替構(gòu)造記述數(shù)據(jù)的數(shù)據(jù)庫(kù)3801；使用摘要引擎1002、1501、2801來(lái)代替選擇部3802；使用記述變換器1003、1502、2800來(lái)代替變換部3803；使用重放機(jī)1004來(lái)代替重放部3804；使用媒體內(nèi)容數(shù)據(jù)庫(kù)1005來(lái)代替媒體內(nèi)容數(shù)據(jù)庫(kù)3805。
而且，如圖47所示的那樣，實(shí)施例17可以是這樣的形態(tài)在服務(wù)器4601a中包括媒體內(nèi)容數(shù)據(jù)庫(kù)3805，通過(guò)網(wǎng)絡(luò)4603來(lái)向客戶4602a發(fā)送媒體內(nèi)容數(shù)據(jù)3810。
實(shí)施例18說(shuō)明本發(fā)明實(shí)施例18的服務(wù)器客戶系統(tǒng)。
下面使用圖48來(lái)對(duì)實(shí)施例18進(jìn)行說(shuō)明。實(shí)施例18是在服務(wù)器4701側(cè)包括選擇部3802，在客戶4702側(cè)包括變換部3803和重放部3804。而且，實(shí)施例18是在網(wǎng)絡(luò)4603上進(jìn)行選擇部3802與變換部3803的連接。由此，實(shí)施例18成為通過(guò)網(wǎng)絡(luò)來(lái)對(duì)表現(xiàn)記述數(shù)據(jù)3809進(jìn)行通信的服務(wù)器客戶系統(tǒng)。
而且，各處理部進(jìn)行的處理內(nèi)容作為能夠由計(jì)算機(jī)執(zhí)行的程序來(lái)寫，并存儲(chǔ)在服務(wù)器4701側(cè)和客戶4702側(cè)內(nèi)的存儲(chǔ)媒體中，而分別被執(zhí)行。
而且，可以使用元數(shù)據(jù)的數(shù)據(jù)庫(kù)1001來(lái)代替構(gòu)造記述數(shù)據(jù)的數(shù)據(jù)庫(kù)3801；使用摘要引擎1002、1501、2801來(lái)代替選擇部3802；使用記述變換器1003、1502、2800來(lái)代替變換部3803；使用重放機(jī)1004來(lái)代替重放部3804；使用媒體內(nèi)容數(shù)據(jù)庫(kù)1005來(lái)代替媒體內(nèi)容數(shù)據(jù)庫(kù)3805。
而且，如圖49所示的那樣，實(shí)施例18可以是這樣的形態(tài)在服務(wù)器4701a中包括媒體內(nèi)容數(shù)據(jù)庫(kù)3805，通過(guò)網(wǎng)絡(luò)4603來(lái)向客戶4702a發(fā)送媒體內(nèi)容數(shù)據(jù)3810。
如上述那樣，根據(jù)本發(fā)明，進(jìn)行從記述由媒體段所產(chǎn)生的媒體內(nèi)容的構(gòu)成的構(gòu)造記述數(shù)據(jù)向表現(xiàn)重放媒體內(nèi)容的形態(tài)的表現(xiàn)記述數(shù)據(jù)的變換。因此，在媒體內(nèi)容的重放中，能夠?qū)γ總€(gè)媒體段附加重放的定時(shí)、同步信息等的制約，而能夠?qū)崿F(xiàn)各種各樣的重放。
而且，根據(jù)本發(fā)明，通過(guò)在構(gòu)造記述數(shù)據(jù)中記述媒體段的代替數(shù)據(jù)，來(lái)進(jìn)行是重放媒體段自己還是重放代替數(shù)據(jù)的選擇。由此，能夠用適合于發(fā)送媒體內(nèi)容的網(wǎng)絡(luò)的容量和通信量、重放媒體內(nèi)容的終端的能力等的媒體來(lái)進(jìn)行內(nèi)容的發(fā)送和重放。
而且，根據(jù)本發(fā)明，通過(guò)進(jìn)一步在構(gòu)造記述數(shù)據(jù)中記述根據(jù)媒體段的文理內(nèi)容的點(diǎn)值，能夠容易地進(jìn)行例如各種各樣的重放時(shí)間的精彩場(chǎng)景集等的重放和發(fā)送，而且，通過(guò)以由關(guān)鍵詞所表示的觀點(diǎn)而產(chǎn)生的點(diǎn)值，就能通過(guò)指定關(guān)鍵詞來(lái)重放、發(fā)送符合用戶的愛(ài)好的場(chǎng)景。
本發(fā)明并不僅限于上述實(shí)施例，可以在不背離本發(fā)明的范圍的條件下進(jìn)行各種變化和變型。
本申請(qǐng)以2000年6月14日提交的日本專利申請(qǐng)No.2000-177955和2001年5月28日提交的日本專利申請(qǐng)No.2001-159409為基礎(chǔ)，其內(nèi)容在這里引入為參考。
權(quán)利要求
1.一種數(shù)據(jù)處理方法，其特征在于，包括下述步驟輸入記述連續(xù)視聽(tīng)覺(jué)信息的媒體內(nèi)容的內(nèi)容的結(jié)構(gòu)記述數(shù)據(jù)，所述結(jié)構(gòu)記述數(shù)據(jù)至少具有所述媒體內(nèi)容中所包含的多個(gè)媒體的類型、獲得所述多個(gè)媒體的地址、由時(shí)間信息表現(xiàn)的所述多個(gè)媒體的多個(gè)區(qū)段、以及所述區(qū)段的文理內(nèi)容的點(diǎn)值；輸入用于從所述結(jié)構(gòu)記述數(shù)據(jù)中選擇預(yù)定的所述區(qū)段的選擇條件；從輸入的所述結(jié)構(gòu)記述數(shù)據(jù)中選擇具有符合所述選擇條件的點(diǎn)值的所述區(qū)段；抽取所選擇的所述區(qū)段的所述時(shí)間信息；對(duì)每一個(gè)所抽取出的所述時(shí)間信息，將與所抽取出的時(shí)間信息相對(duì)應(yīng)的所述多個(gè)媒體的類型和獲得所述多個(gè)媒體的地址分組到一起，并按重放順序非列，借此將結(jié)構(gòu)記述數(shù)據(jù)轉(zhuǎn)換為表現(xiàn)所述區(qū)段的重放順序和同步信息的表現(xiàn)記述數(shù)據(jù)并輸出；以及輸入所述表現(xiàn)記述數(shù)據(jù)和所述媒體內(nèi)容，根據(jù)所述表現(xiàn)記述數(shù)據(jù)的內(nèi)容來(lái)重放所述媒體內(nèi)容。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述多個(gè)媒體包括所述媒體和所述媒體的替代數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，記述用于選擇所述媒體或所述替代數(shù)據(jù)的媒體選擇條件，并根據(jù)所述媒體選擇條件選擇所述媒體或所述替代數(shù)據(jù)的任一方并進(jìn)行重放。
4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，所述替代數(shù)據(jù)至少為所述媒體的代表圖形和語(yǔ)言信息之一。
5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述表現(xiàn)記述數(shù)據(jù)為SMIL文件。
6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述點(diǎn)值是根據(jù)所述區(qū)段的文理內(nèi)容的重要度。
7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理裝置，其特征在于，給所述區(qū)段賦予用關(guān)鍵詞所表現(xiàn)的觀點(diǎn)，并且所述點(diǎn)值是根據(jù)所述觀點(diǎn)的所述區(qū)段的重要度。
8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)處理裝置，其特征在于，從輸入的所述結(jié)構(gòu)記述數(shù)據(jù)中選擇具有符合所述選擇條件的觀點(diǎn)和點(diǎn)值的所述區(qū)段。
9.一種服務(wù)器客戶系統(tǒng)，服務(wù)器和客戶通過(guò)網(wǎng)絡(luò)相連接，其特征在于，所述服務(wù)器具有選擇部和變換部；并且所述客戶具有重放部；其中所述選擇部輸入記述連續(xù)視聽(tīng)覺(jué)信息的媒體內(nèi)容的內(nèi)容的結(jié)構(gòu)記述數(shù)據(jù)，所述結(jié)構(gòu)記述數(shù)據(jù)至少具有所述媒體內(nèi)容中所包含的多個(gè)媒體的類型、獲得所述多個(gè)媒體的地址、由時(shí)間信息表現(xiàn)的所述多個(gè)媒體的多個(gè)區(qū)段、以及所述區(qū)段的文理內(nèi)容的點(diǎn)值；輸入用于從所述結(jié)構(gòu)記述數(shù)據(jù)中選擇預(yù)定的所述區(qū)段的選擇條件；并且從輸入的所述結(jié)構(gòu)記述數(shù)據(jù)中選擇具有符合所述選擇條件的點(diǎn)值的所述區(qū)段；其中所述變換部抽取所選擇的所述區(qū)段的所述時(shí)間信息；并且對(duì)每一個(gè)所抽取出的所述時(shí)間信息，將與所抽取出的時(shí)間信息相對(duì)應(yīng)的所述多個(gè)媒體的類型和獲得所述多個(gè)媒體的地址分組到一起，并按重放順序排列，借此將結(jié)構(gòu)記述數(shù)據(jù)轉(zhuǎn)換為表現(xiàn)所述區(qū)段的重放順序和同步信息的表現(xiàn)記述數(shù)據(jù)并輸出；其中所述重放部輸入所述表現(xiàn)記述數(shù)據(jù)和所述媒體內(nèi)容，根據(jù)所述表現(xiàn)記述數(shù)據(jù)的內(nèi)容來(lái)重放所述媒體內(nèi)容；該服務(wù)器客戶系統(tǒng)借此在所述服務(wù)器與所述客戶之間進(jìn)行所述表現(xiàn)記述數(shù)據(jù)的通信。
10.一種服務(wù)器客戶系統(tǒng)，服務(wù)器和客戶通過(guò)網(wǎng)絡(luò)相連接，其特征在于，所述服務(wù)器具有選擇部；并且所述客戶具有變換部和重放部；其中所述選擇部輸入記述連續(xù)視聽(tīng)覺(jué)信息的媒體內(nèi)容的內(nèi)容的結(jié)構(gòu)記述數(shù)據(jù)，所述結(jié)構(gòu)記述數(shù)據(jù)至少具有所述媒體內(nèi)容中所包含的多個(gè)媒體的類型、獲得所述多個(gè)媒體的地址、由時(shí)間信息表現(xiàn)的所述多個(gè)媒體的多個(gè)區(qū)段、以及所述區(qū)段的文理內(nèi)容的點(diǎn)值；輸入用于從所述結(jié)構(gòu)記述數(shù)據(jù)中選擇預(yù)定的所述區(qū)段的選擇條件；并且從輸入的所述結(jié)構(gòu)記述數(shù)據(jù)中選擇具有符合所述選擇條件的點(diǎn)值的所述區(qū)段；其中所述變換部抽取所選擇的所述區(qū)段的所述時(shí)間信息；并且對(duì)每一個(gè)所抽取出的所述時(shí)間信息，將與所抽取出的時(shí)間信息相對(duì)應(yīng)的所述多個(gè)媒體的類型和獲得所述多個(gè)媒體的地址分組到一起，并按重放順序排列，借此將結(jié)構(gòu)記述數(shù)據(jù)轉(zhuǎn)換為表現(xiàn)所述區(qū)段的重放順序和同步信息的表現(xiàn)記述數(shù)據(jù)并輸出；其中所述重放部輸入所述表現(xiàn)記述數(shù)據(jù)和所述媒體內(nèi)容，根據(jù)所述表現(xiàn)記述數(shù)據(jù)的內(nèi)容來(lái)重放所述媒體內(nèi)容；該服務(wù)器客戶系統(tǒng)借此在所述服務(wù)器與所述客戶之間進(jìn)行所述表現(xiàn)記述數(shù)據(jù)的通信。
全文摘要
本發(fā)明數(shù)據(jù)處理裝置及數(shù)據(jù)處理方法是通過(guò)從記述媒體內(nèi)容的構(gòu)成的構(gòu)造記述數(shù)據(jù)來(lái)生成表現(xiàn)在構(gòu)造記述數(shù)據(jù)中所記述的媒體段的重放順序、重放的定時(shí)、同步信息的表現(xiàn)記述數(shù)據(jù)，能夠給媒體段附加各種各樣的制約來(lái)進(jìn)行重放。
文檔編號(hào)G06F17/30GK1591418SQ20041003999
公開(kāi)日2005年3月9日 申請(qǐng)日期2001年6月12日 優(yōu)先權(quán)日2000年6月14日
發(fā)明者宗續(xù)敏彥, 江村恒一 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社