專利名稱：元數(shù)據(jù)編輯裝置、元數(shù)據(jù)再生裝置、元數(shù)據(jù)分發(fā)裝置、元數(shù)據(jù)檢索裝置、元數(shù)據(jù)再生成條件 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將包含運動圖像和音頻的多媒體“內(nèi)容”分割成多個場景，對每個分割的場景生成元數(shù)據(jù)的元數(shù)據(jù)編輯裝置、元數(shù)據(jù)再生裝置、元數(shù)據(jù)分發(fā)裝置、元數(shù)據(jù)檢索裝置、元數(shù)據(jù)再生成條件設(shè)定裝置、“內(nèi)容”分發(fā)裝置和元數(shù)據(jù)分發(fā)方法。
背景技術(shù)：
在已有的運動圖像管理裝置中，在將圖像分割成多個場景后，對各場景再生所需的區(qū)間信息、場景號碼和作為代表場景的圖像的集合的索引進行編輯，由生成大于等于一個的索引的部件；將表示檢索目的的標題賦予各索引的部件；當(dāng)檢索時，用標題檢索索引，按照場景號碼的順序一個接一個地再生索引的場景的部件構(gòu)成，以排列必要場景的方式編輯索引，能夠只再生必要的場景(例如，請參照日本特開2001-028722號專利公報(第1頁，圖1))。
但是，在上述已有的運動圖像管理裝置中，因為只不過是由進行各場景的再生所需的區(qū)間信息、場景號碼和代表場景的圖像生成索引，所以存在著不能夠管理到視頻數(shù)據(jù)具有的分層性等的視頻數(shù)據(jù)的結(jié)構(gòu)那樣的問題。
又，當(dāng)檢索登記的圖像時，因為用賦予索引的標題進行，所以存在著為了得到適當(dāng)?shù)臋z索結(jié)果，必須輸入適當(dāng)?shù)臉祟}那樣的問題。
本發(fā)明就是為了解決上述問題提出的，本發(fā)明的目的是除了得到場景的區(qū)間信息和標題外，還能夠生成作為視頻數(shù)據(jù)等的“內(nèi)容”具有的結(jié)構(gòu)等的索引信息的元數(shù)據(jù)的元數(shù)據(jù)編輯裝置。
又，本發(fā)明的目的是得到能夠用由元數(shù)據(jù)編輯裝置生成的元數(shù)據(jù)，只匯集并再生用戶想看的場景，并用在元數(shù)據(jù)中描述的特征量等，檢索想看的場景的元數(shù)據(jù)再生裝置、元數(shù)據(jù)分發(fā)裝置、元數(shù)據(jù)檢索裝置、元數(shù)據(jù)再生成條件設(shè)定裝置、元數(shù)據(jù)分發(fā)裝置和元數(shù)據(jù)分發(fā)方法。

發(fā)明內(nèi)容
與本發(fā)明有關(guān)的元數(shù)據(jù)編輯裝置設(shè)置了將包含運動圖像、音頻中的至少一個的多媒體“內(nèi)容”分割成多個場景，對每個分割的場景生成表示場景的開始位置和結(jié)束位置的場景的區(qū)間信息元數(shù)據(jù)的場景分割單元；根據(jù)來自上述場景分割單元的場景的區(qū)間信息元數(shù)據(jù)，進行上述多媒體“內(nèi)容”的各場景的分層編輯，生成描述上述多媒體“內(nèi)容”的分層結(jié)構(gòu)的場景結(jié)構(gòu)信息元數(shù)據(jù)的場景描述編輯單元；和統(tǒng)合上述場景的區(qū)間信息元數(shù)據(jù)和上述場景結(jié)構(gòu)信息元數(shù)據(jù)，生成按照預(yù)定格式描述上述多媒體“內(nèi)容”的內(nèi)容和結(jié)構(gòu)的元數(shù)據(jù)的元數(shù)據(jù)描述單元。
又，與本發(fā)明有關(guān)的元數(shù)據(jù)分發(fā)裝置設(shè)置了解析描述元數(shù)據(jù)中包含的描述符的種類和內(nèi)容的元數(shù)據(jù)最佳化提示信息的提示信息解析單元；通過根據(jù)上述被分析后的元數(shù)據(jù)最佳化提示信息和關(guān)于元數(shù)據(jù)再生成的條件，解析描述包含運動圖像、音頻中的至少一個的多媒體“內(nèi)容”的內(nèi)容和結(jié)構(gòu)的元數(shù)據(jù)，再生成第2元數(shù)據(jù)的元數(shù)據(jù)解析/再生成單元；和將由上述元數(shù)據(jù)解析/再生成單元再生成的第2元數(shù)據(jù)分發(fā)給客戶終端的元數(shù)據(jù)分發(fā)單元。
進一步，與本發(fā)明有關(guān)的元數(shù)據(jù)分發(fā)方法包含著解析描述元數(shù)據(jù)中包含的描述符的種類的元數(shù)據(jù)最佳化提示信息的步驟；通過根據(jù)上述被分析后的元數(shù)據(jù)最佳化提示信息和關(guān)于元數(shù)據(jù)再生成的條件，解析描述包含運動圖像、音頻中的至少一個的多媒體“內(nèi)容”的內(nèi)容和結(jié)構(gòu)的元數(shù)據(jù)，再生成第2元數(shù)據(jù)的步驟；和將由上述再生成的第2元數(shù)據(jù)分發(fā)給客戶終端的步驟。


圖1是表示與本發(fā)明的實施例1有關(guān)的元數(shù)據(jù)編輯裝置的構(gòu)成的方框圖。
圖2是表示作為與本發(fā)明的實施例1有關(guān)的元數(shù)據(jù)編輯裝置的編輯對象的一個例子的新聞視頻的圖。
圖3是表示與本發(fā)明的實施例1有關(guān)的元數(shù)據(jù)編輯裝置的場景分割單元的場景的區(qū)間信息元數(shù)據(jù)的一個例子的圖。
圖4是表示與本發(fā)明的實施例1有關(guān)的元數(shù)據(jù)編輯裝置的場景描述編輯單元的場景結(jié)構(gòu)信息元數(shù)據(jù)的一個例子的圖。
圖5是表示與本發(fā)明的實施例1有關(guān)的元數(shù)據(jù)編輯裝置的“內(nèi)容”再生/顯示單元、用戶輸入單元的畫面圖像例的圖。
圖6是表示與本發(fā)明的實施例2有關(guān)的元數(shù)據(jù)編輯裝置的構(gòu)成的方框圖。
圖7是用于說明與本發(fā)明的實施例2有關(guān)的元數(shù)據(jù)編輯裝置的工作的圖。
圖8是表示與本發(fā)明的實施例3有關(guān)的元數(shù)據(jù)再生裝置的構(gòu)成的方框圖。
圖9是用于說明與本發(fā)明的實施例3有關(guān)的元數(shù)據(jù)再生裝置的工作的圖。
圖10是表示與本發(fā)明的實施例4有關(guān)的“內(nèi)容”分發(fā)系統(tǒng)的構(gòu)成的方框圖。
圖11是表示從與本發(fā)明的實施例4有關(guān)的元數(shù)據(jù)分發(fā)服務(wù)器的元數(shù)據(jù)解析單元輸出的“內(nèi)容”(新聞視頻例)的結(jié)構(gòu)信息的圖。
圖12是表示由與本發(fā)明的實施例4有關(guān)的元數(shù)據(jù)分發(fā)系統(tǒng)的元數(shù)據(jù)再生單元再構(gòu)成后的“內(nèi)容”的結(jié)構(gòu)例的圖。
圖13是表示與本發(fā)明的實施例5有關(guān)的元數(shù)據(jù)分發(fā)服務(wù)器的構(gòu)成的方框圖。
圖14是表示用于說明由與本發(fā)明的實施例5有關(guān)的元數(shù)據(jù)分發(fā)服務(wù)器產(chǎn)生的元數(shù)據(jù)最佳化提示信息的視頻“內(nèi)容”的一個例子的圖。
圖15是表示當(dāng)用由與本發(fā)明的實施例5有關(guān)的元數(shù)據(jù)分發(fā)服務(wù)器產(chǎn)生的MPEG-7時的元數(shù)據(jù)的描述例的圖。
圖16是表示與本發(fā)明的實施例5有關(guān)的元數(shù)據(jù)分發(fā)服務(wù)器用的元數(shù)據(jù)最佳化提示信息的格式例的圖。
圖17是表示與本發(fā)明的實施例5有關(guān)的元數(shù)據(jù)分發(fā)服務(wù)器用的元數(shù)據(jù)最佳化提示信息的圖。
圖18是表示與本發(fā)明的實施例5有關(guān)的元數(shù)據(jù)分發(fā)服務(wù)器的元數(shù)據(jù)解析/再生成單元的工作的操作程序圖。
圖19是表示與本發(fā)明的實施例5有關(guān)的元數(shù)據(jù)分發(fā)服務(wù)器的元數(shù)據(jù)解析/再生成單元的工作的操作程序圖。
圖20是表示與本發(fā)明的實施例6有關(guān)的元數(shù)據(jù)檢索服務(wù)器的構(gòu)成的方框圖。
圖21是表示與本發(fā)明的實施例6有關(guān)的元數(shù)據(jù)檢索服務(wù)器的元數(shù)據(jù)解析單元的工作的操作程序圖。
圖22是表示與本發(fā)明的實施例7有關(guān)的客戶終端的構(gòu)成的方框圖。
圖23是表示與本發(fā)明的實施例8有關(guān)的“內(nèi)容”分發(fā)服務(wù)器的構(gòu)成的方框圖。
具體實施例方式
下面，我們根據(jù)

與本發(fā)明的實施例1和2有關(guān)的元數(shù)據(jù)編輯裝置、與實施例3有關(guān)的元數(shù)據(jù)再生裝置、與實施例4有關(guān)的“內(nèi)容”分發(fā)系統(tǒng)、與實施例5有關(guān)的元數(shù)據(jù)分發(fā)服務(wù)器、與實施例6有關(guān)的元數(shù)據(jù)檢索服務(wù)器、與實施例7有關(guān)的客戶終端、和與實施例8有關(guān)的“內(nèi)容”分發(fā)服務(wù)器。
實施例1在實施例1中，我們說明將包含運動圖像和音頻的多媒體“內(nèi)容”分割成多個場景，生成場景的分層結(jié)構(gòu)描述和包含各場景的特征量的元數(shù)據(jù)(索引信息)的元數(shù)據(jù)編輯裝置。
我們一面參照附圖一面說明與本發(fā)明的實施例1有關(guān)的元數(shù)據(jù)編輯裝置。圖1是表示與本發(fā)明的實施例1有關(guān)的元數(shù)據(jù)編輯裝置的構(gòu)成的方框圖。此外，在各圖中，相同的標號表示相同或相當(dāng)?shù)牟糠帧?br> 在圖1中，元數(shù)據(jù)編輯裝置100備有“內(nèi)容”再生/顯示單元2、場景分割單元3、縮略像生成單元4、場景描述編輯單元5、文本信息賦予單元6、特征提取單元7、用戶輸入單元8和元數(shù)據(jù)描述單元9。
“內(nèi)容”再生/顯示單元2再生/顯示由視頻數(shù)據(jù)和音頻數(shù)據(jù)等構(gòu)成的編輯對象的多媒體“內(nèi)容”10。場景分割單元3將“內(nèi)容”分割成多個場景。縮略像生成單元4提取場景的代表幀作為縮略像。場景描述編輯單元5通過由場景分割單元3分割的場景的分組化、場景的結(jié)合、場景的刪除、場景的關(guān)系信息的生成等分層地編輯場景。文本信息賦予單元6將各種文本信息附加在各場景上。特征提取單元7提取場景的特征。
又，用戶輸入單元8將來自用戶的指示信息作為用戶輸入信息11輸出到“內(nèi)容”再生/顯示單元2、場景分割單元3、縮略像生成單元4、場景描述編輯單元5和文本信息賦予單元6。
進一步，元數(shù)據(jù)描述單元9將由場景分割單元3、縮略像生成單元4、場景描述編輯單元5、文本信息賦予單元6和特征提取單元7輸出的場景的區(qū)間信息元數(shù)據(jù)12、場景的縮略像信息元數(shù)據(jù)13、場景結(jié)構(gòu)信息元數(shù)據(jù)14、文本信息元數(shù)據(jù)15和特征描述元數(shù)據(jù)16統(tǒng)合起來，生成按照規(guī)定的格式描述多媒體“內(nèi)容”的內(nèi)容和結(jié)構(gòu)的元數(shù)據(jù)17。
下面，我們一面參照附圖一面說明與本實施例1有關(guān)的元數(shù)據(jù)編輯裝置的工作。圖2是表示作為與本實施例1有關(guān)的元數(shù)據(jù)編輯裝置的編輯對象的一個例子的新聞視頻的構(gòu)成的圖。
我們將編輯圖2所示的構(gòu)成的新聞視頻的情形作為例子進行說明。
首先，元數(shù)據(jù)編輯裝置100的“內(nèi)容”再生/顯示單元2，當(dāng)通過網(wǎng)絡(luò)等輸入存儲在“內(nèi)容”存儲單元(圖中未畫出)中的視頻“內(nèi)容”等的多媒體“內(nèi)容”10時，為了用于編輯地再生/顯示它們。
當(dāng)元數(shù)據(jù)編輯裝置100的用戶一面觀看該再生圖像，一面通過用戶輸入單元8輸入作為場景的切出位置，即場景開始位置和結(jié)束位置時，場景分割單元3生成顯示從用戶輸入的場景開始位置和結(jié)束位置的場景的區(qū)間信息元數(shù)據(jù)12。
圖3是表示與本實施例1有關(guān)的元數(shù)據(jù)編輯裝置的場景分割單元的場景的區(qū)間信息元數(shù)據(jù)的一個例子的圖。
該圖3所示的區(qū)間信息元數(shù)據(jù)12表示從圖2所示的新聞視頻生成的例子。如圖3所示，由場景分割單元3，對于從新聞視頻“內(nèi)容”切出的“新聞?wù)?、“國?nèi)新聞”和“國際新聞”等的各場景，生成表示場景開始位置和結(jié)束位置的區(qū)間信息的場景的區(qū)間信息元數(shù)據(jù)12。
在場景描述編輯單元5中，當(dāng)具有通過用戶輸入單元8來自用戶的場景編輯的指示時，根據(jù)來自場景分割單元3的場景的區(qū)間信息元數(shù)據(jù)12，進行由場景分割單元3連續(xù)地切出的場景的分層編輯，輸出場景結(jié)構(gòu)信息元數(shù)據(jù)14。所謂的場景的分層編輯指的是例如場景的分組化、場景的再分割、場景的結(jié)合、場景的刪除。所謂場景的分組化指的是，例如，從圖2所示的新聞視頻，例如圖4所示地將以“國內(nèi)新聞”、“國際新聞、“經(jīng)濟新聞”等的某種特定特征關(guān)聯(lián)的場景匯集成一個“新聞”組。又，所謂場景的再分割指的是將一個場景分割成多個場景。所謂的場景的結(jié)合指的是匯集多個場景成為一個場景。
圖4是表示與本實施例1有關(guān)的元數(shù)據(jù)編輯裝置的場景描述編輯單元的場景結(jié)構(gòu)信息元數(shù)據(jù)的一個例子的圖。
該圖4所示的場景結(jié)構(gòu)信息元數(shù)據(jù)14描述作為在場景描述編輯單元5中的編輯結(jié)果，生成的視頻“內(nèi)容”的分層結(jié)構(gòu)。在圖4中，在場景描述編輯單元5中，通過場景的分組化、場景的再分割、場景的結(jié)合等的場景的編輯，將稱為“新聞”的場景編輯成“新聞?wù)薄ⅰ靶侣劇薄ⅰ疤剌嫛?、“體育”等，進一步將該“新聞”分層地編輯成“國內(nèi)新聞”、“國際新聞、“經(jīng)濟新聞”顯示出來。
而且，將在場景描述編輯單元5中生成的例如圖4所示的元數(shù)據(jù)14輸出到元數(shù)據(jù)描述單元9。
另一方面，在縮略像生成單元4中，根據(jù)來自場景分割單元3的場景的區(qū)間信息元數(shù)據(jù)12，從在場景分割單元3中切出的各場景中生成代表幀作為縮略像，將生成的縮略圖信息作為縮略像信息元數(shù)據(jù)13輸出到元數(shù)據(jù)描述單元9，登記在元數(shù)據(jù)描述單元9中。這里，用戶也能夠通過用戶輸入單元8，進行縮略圖選擇，但是也能夠自動地將起始幀和固定時間間隔的多個幀作為代表幀，或自動檢測場景變換點，將這些幀作為代表幀。縮略像信息元數(shù)據(jù)13成為視頻“內(nèi)容”中的縮略圖的位置信息(幀號碼或時間)、或者，縮略像的URL等的所處位置信息。
又，在特征提取單元7中，根據(jù)來自場景分割單元3的場景的區(qū)間信息元數(shù)據(jù)12，從各場景中，提取運動、顏色、或包含在場景內(nèi)的物體的形狀等場景具有的視覺特征量。將提取的特征量作為特征描述元數(shù)據(jù)16，輸出到元數(shù)據(jù)描述單元9，并登記在元數(shù)據(jù)描述單元9中。
又，在文本信息賦予單元6中，根據(jù)來自場景分割單元3的場景的區(qū)間信息元數(shù)據(jù)12，用戶將標題、簡介、關(guān)鍵字、評述、場景的重要度等的各種文本信息賦予各場景。文本信息的賦予是當(dāng)用戶通過用戶輸入單元8輸入時，通過解析“內(nèi)容”中包含的音頻信息和字幕，自動地賦予的情形。將文本信息，作為文本信息元數(shù)據(jù)15，輸出到元數(shù)據(jù)描述單元9，并登記在元數(shù)據(jù)描述單元9中。
圖5表示與本實施例1有關(guān)的元數(shù)據(jù)編輯裝置的“內(nèi)容”再生/顯示單元和用戶輸入單元8的畫面圖像例。在圖5中，視頻再生畫面G1，與在“內(nèi)容”再生/顯示單元2中的畫面圖像例相當(dāng)，在該視頻再生畫面G1中，再生/顯示編輯用的“內(nèi)容”。在圖5中，雖然沒有明示，但是備有“再生”、“停止”、“回卷”，“快進”、“發(fā)送幀”再生用的指示按鈕等通常的視頻再生裝置中備有的用戶接口。而且，在該視頻再生畫面G1的下方顯示出場景分割指示畫面G2。該場景分割指示畫面G2，例如，具有幻燈片形式，一面觀看在視頻再生畫面G1中顯示的圖像，一面用戶能夠指示在視頻再生畫面G1中顯示的圖像場景的開始位置和結(jié)束位置。又，場景分割指示畫面G2能夠同時在場景的開始位置和結(jié)束位置之間，指示縮略圖的位置。這里，當(dāng)由場景分割指示畫面G2指定縮略圖的位置時，縮略像生成單元4從視頻“內(nèi)容”的指定位置的幀生成縮略像。
又，由場景分割指示畫面G2指定位置的縮略像，作為場景的分割信息，在場景分割信息顯示畫面G3中顯示出來。在該場景分割信息顯示畫面G3中，除了縮略像外，如圖3所示，也能夠?qū)γ總€場景顯示表示場景的開始位置和結(jié)束位置的信息。
接著，在樹形結(jié)構(gòu)生成指示/顯示畫面G4中，向用戶指示場景編輯。一面用戶觀看在場景分割信息顯示畫面G3中顯示出來的縮略像等的場景分割信息，一面生成表示視頻“內(nèi)容”具有的分層結(jié)構(gòu)的樹形。
作為操作方法，例如，當(dāng)進行場景的分組化時，在樹形上追加新的節(jié)點，將想要分組化的場景追加在該節(jié)點上。場景的追加操作，可以考慮在場景分割信息顯示畫面G3上選擇想要追加的場景，通過拖拽，在節(jié)點上追加場景等的方法。通過在場景分割信息顯示畫面G3、樹形結(jié)構(gòu)生成指示/顯示畫面G4中提供用戶輸入單元8作為用于選擇場景、經(jīng)過文本信息賦予單元6將文本信息賦予該場景的用戶接口，能夠輸入對于場景的文本信息。
元數(shù)據(jù)描述單元9將由場景分割單元3、縮略像生成單元4、場景描述編輯單元5、文本信息賦予單元6和特征提取單元7輸出的各種元數(shù)據(jù)統(tǒng)合起來，生成按照規(guī)定的描述格式描述的元數(shù)據(jù)文件。元數(shù)據(jù)的規(guī)定的描述格式也能夠用獨自規(guī)定的格式進行描述，但是在本實施例1中，使用由ISO標準化的MPEG-7。該MPEG-7規(guī)定描述“內(nèi)容”的結(jié)構(gòu)和特征的格式，具有XML文件格式和二進制格式。
從而，如果根據(jù)本實施例1的元數(shù)據(jù)編輯裝置100，則因為設(shè)置了分層編輯場景的場景描述編輯單元5和從場景提取特征的特征提取單元7，所以能夠生成描述視頻數(shù)據(jù)等的“內(nèi)容”具有的分層結(jié)構(gòu)和各場景的特征量的元數(shù)據(jù)。
此外，假定輸入到“內(nèi)容”再生/顯示單元2的多媒體“內(nèi)容”10，有從在網(wǎng)絡(luò)上的“內(nèi)容”服務(wù)器(圖中未畫出)取得的情形、從在元數(shù)據(jù)編輯裝置100內(nèi)的“內(nèi)容”存儲單元(圖中未畫出)取得的情形和從CD和DVD等的存儲媒體(圖中未畫出)取得的情形等的各種情形。同樣，假定將從元數(shù)據(jù)描述單元9輸出的元數(shù)據(jù)，有存儲在網(wǎng)絡(luò)上的“內(nèi)容”服務(wù)器(圖中未畫出)中的情形、存儲在元數(shù)據(jù)編輯裝置內(nèi)的元數(shù)據(jù)存儲單元(圖中未畫出)中的情形和與“內(nèi)容”一起存儲在CD和DVD等的存儲媒體(圖中未畫出)中的情形等。
又，在本實施例1中，設(shè)置了場景描述編輯單元5和特征提取單元7兩者并進行了說明，但是不限于此，當(dāng)然既可以只設(shè)置場景描述編輯單元5，也可以只設(shè)置特征提取單元7。
實施例2在上述實施例1中，我們說明全部通過手動進行場景分割的情形，但是在本實施例2中，我們說明以備有自動檢測場景變換點的場景變換檢測單元為特征的數(shù)據(jù)編輯裝置。
我們一面參照附圖一面說明與本發(fā)明的實施例2有關(guān)的元數(shù)據(jù)編輯裝置。圖6是表示與本發(fā)明的實施例2有關(guān)的元數(shù)據(jù)編輯裝置的構(gòu)成的方框圖。
在圖6中，元數(shù)據(jù)編輯裝置100A備有“內(nèi)容”再生/顯示單元2、場景分割單元3、縮略像生成單元4、場景描述編輯單元5、文本信息賦予單元6、特征提取單元7、用戶輸入單元8、元數(shù)據(jù)描述單元9和場景變換檢測單元39。此外，標號40是自動檢測的場景開始位置信息。
下面，我們一面參照附圖一面說明與本實施例2有關(guān)的元數(shù)據(jù)編輯裝置的工作。
圖7是用于說明與本發(fā)明的實施例2有關(guān)的元數(shù)據(jù)編輯裝置的工作的圖。
除了場景變換檢測單元39和場景分割單元3以外的工作都與上述實施例1相同。這里我們說明實施例2特有的工作。
場景變換檢測單元39自動地進行場景變換、切去點檢測。場景變換檢測是，例如，根據(jù)幀間象素差分、幀間顏色和亮度的直方圖差分等進行的。場景分割單元3根據(jù)在場景變換檢測單元39中檢測出的場景變換點，決定場景開始位置和結(jié)束位置。
這里，我們將編輯對象的“內(nèi)容”是新聞視頻的情形作為例子詳細述說場景變換檢測單元39和場景分割單元3的處理。
我們以用顏色直方圖作為用于場景變換檢測的特征量的情形為例進行說明。
在場景變換檢測檢測單元39中，對每一個幀算出顏色直方圖。作為表色系，具有HSV、RGB、YCbCr等，但是這里，用HSV色空間。該HSV色空間由色調(diào)(H)、色飽和度(S)、亮度(V)這樣3個要素構(gòu)成。算出各要素的直方圖。接著，從求得的直方圖，例如根據(jù)下列的(公式1)，算出幀間的直方圖差分。我們假定從場景的開始幀算起的N個幀(例如N＝3)屬于同一場景，即，沒有場景變換點。此外，作為場景的初期特征量，根據(jù)下列的(公式2)，求得最初的N個幀間的直方圖差分的平均(mean)和標準偏差(sd)。
sumi=Σk=1bin_H|Hi(k)-Hi-1(k)|+Σk=1bin_s|Si(k)-Si-1(k)|+Σk=1bin_v|Vi(k)-Vi-1(k)|]]>(公式1)其中，sumi幀i和幀i-1的直方圖間差分和Hi(h)色調(diào)的直方圖，bin_H直方圖的要素數(shù)
Si(h)色飽和度的直方圖，bin_S直方圖的要素數(shù)Vi(h)亮度的直方圖，bin_V直方圖的要素數(shù)mean=1N-1Σi=1n-1sumi,sd=1N-1Σi=1N-1(sumi-mean)2]]>(公式2)其中，mean幀間的直方圖差分的平均sd幀間的直方圖差分的標準偏差而且，N+1幀及其以后，將直方圖的幀間差分比mean+λ·sd大的幀作為場景變換點，作為新場景的開始位置候補。
現(xiàn)在考慮如果得到多個場景的開始位置候補，則接著，如新聞視頻那樣，插入由新聞的切換等決定的模式的圖像的情形。
新聞視頻，在新聞的切換中，例如，插入由播音員和背景的演播室設(shè)置、說明的文字(字幕)構(gòu)成的圖像等、決定的模式的圖像的情形是很多的。從而，預(yù)先登記這些決定的模式的圖像(稱為樣板圖像)、或描述樣板圖像的特征量的元數(shù)據(jù)。所謂樣板圖像的特征量可以舉出樣板圖像的顏色直方圖、或者，運動圖案(在新聞切換中播音員寫的部分具有少量的運動等)等。
在預(yù)先登記樣板圖像的情形中，例如圖7所示，當(dāng)與場景變換點對應(yīng)的圖像與樣板圖像匹配，類似度高時，將該場景變換點作為場景的開始位置進行登記。作為類似度的匹配，具有幀間差分和幀間的顏色直方圖差分等。
又，在預(yù)先登記樣板圖像的特征量的情形中，當(dāng)從與場景變換點對應(yīng)的圖像提取特征量，與樣板圖像的特征量匹配，類似度高時，將該場景變換點作為場景的開始位置進行登記。將場景的開始位置的信息輸出到場景分割單元3。
在場景分割單元3中，根據(jù)由場景變換檢測單元39自動檢測出的場景開始位置信息，決定場景開始位置和結(jié)束位置。此外，在本實施例2的場景分割單元3中，與上述實施例1同樣，也能夠根據(jù)來自用戶的指示，決定場景開始位置和結(jié)束位置。
在場景分割單元3中，也能夠?qū)⒚枋鰣鼍暗拈_始位置和結(jié)束位置的場景的區(qū)間信息元數(shù)據(jù)12輸出到場景變換檢測單元39，用該場景變換檢測單元39，檢測在該場景中包含的場景變換點。
在場景描述編輯單元5中，能夠根據(jù)來自場景分割單元3的場景的區(qū)間信息元數(shù)據(jù)12，再分割和統(tǒng)合由場景變換檢測單元39自動檢測出的場景。此外，場景描述編輯單元5的詳細情況與上述實施例1相同。
從而，如果根據(jù)與本實施例2有關(guān)的元數(shù)據(jù)編輯裝置100，則與上述實施例1相同，能夠生成描述視頻數(shù)據(jù)等的“內(nèi)容”具有的分層結(jié)構(gòu)和各場景的特征量的元數(shù)據(jù)，并且通過設(shè)置場景變換檢測單元39，可以自動檢測“內(nèi)容”的場景變換點。
實施例3在本實施例中，我們說明利用由上述實施例1和2的元數(shù)據(jù)編輯裝置生成的元數(shù)據(jù)，進行圖像的概要再生和檢索等的元數(shù)據(jù)再生裝置。
我們一面參照附圖一面說明與本發(fā)明的實施例3有關(guān)的元數(shù)據(jù)再生裝置。圖8是表示與本發(fā)明的實施例3有關(guān)的元數(shù)據(jù)再生裝置的構(gòu)成的方框圖。
在圖8中，元數(shù)據(jù)編輯裝置200備有元數(shù)據(jù)解析單元19、結(jié)構(gòu)顯示單元20、縮略像顯示單元21、用戶輸入單元22、檢索單元23、檢索結(jié)果顯示單元24、概要生成單元25、概要結(jié)構(gòu)顯示單元26和“內(nèi)容”再生單元27。
元數(shù)據(jù)解析單元19對描述了關(guān)于“內(nèi)容”具有的分層的場景結(jié)構(gòu)和各場景的縮略圖的信息、各場景的特征量等的元數(shù)據(jù)28的解析。結(jié)構(gòu)顯示單元20顯示從元數(shù)據(jù)解析結(jié)果取得的場景結(jié)構(gòu)29，即“內(nèi)容”的分層結(jié)構(gòu)?？s略像顯示單元21顯示從元數(shù)據(jù)解析結(jié)果取得的縮略像信息30。
用戶輸入單元22進行檢索和再生等的指示。檢索單元23根據(jù)來自用戶的檢索指示(檢索條件31)和從元數(shù)據(jù)取得的場景的特征量與文本信息32進行檢索。檢索結(jié)果顯示單元24顯示檢索結(jié)果33。概要生成單元25根據(jù)來自用戶的概要生成指示(概要生成條件34)生成概要。概要結(jié)構(gòu)顯示單元26顯示生成概要的“內(nèi)容”結(jié)構(gòu)38?！皟?nèi)容”再生單元27根據(jù)概要信息35、“內(nèi)容”再生指示36、再生的“內(nèi)容”37再生/顯示“內(nèi)容”。
下面，我們一面參照附圖一面說明與本實施例3有關(guān)的元數(shù)據(jù)再生裝置的工作。
首先，元數(shù)據(jù)解析單元19將描述關(guān)于“內(nèi)容”具有的分層的場景結(jié)構(gòu)和各場景的縮略圖的信息、各場景的特征量等的元數(shù)據(jù)28作為輸入，進行元數(shù)據(jù)的解析。
在本實施例3中，因為用上述實施例1、2的元數(shù)據(jù)描述單元9生成的由MPEG-7規(guī)定的格式描述該元數(shù)據(jù)28，所以元數(shù)據(jù)既可以是用XML描述的文本文件，也可以是用二進制格式進行編碼的二進制文件。
因此，元數(shù)據(jù)解析單元19，如果用XML描述元數(shù)據(jù)28，則具有進行XML文件解析的XML服務(wù)器的功能。又，如果用二進制格式對元數(shù)據(jù)28進行編碼，則具有進行元數(shù)據(jù)28解碼的解碼器功能。
結(jié)構(gòu)顯示單元20，輸入元數(shù)據(jù)解析單元19的解析結(jié)果，顯示“內(nèi)容”的分層的場景結(jié)構(gòu)29。例如，如圖4所示，與各場景的標題一起樹形顯示“內(nèi)容”的場景結(jié)構(gòu)。
縮略像顯示單元21輸入元數(shù)據(jù)解析單元19的解析結(jié)果(縮略像信息30)，顯示“內(nèi)容”的縮略像一覽表。
檢索單元23，根據(jù)通過用戶輸入單元22的來自用戶的檢索指示，檢索“內(nèi)容”中包含的場景。這時，由用戶輸入單元22，根據(jù)關(guān)鍵字和取樣圖像的提示等，輸入檢索條件。由檢索單元23，根據(jù)元數(shù)據(jù)中描述的場景的特征量和場景標題等的文本信息32，檢索與由用戶提示的檢索條件(關(guān)鍵字和取樣圖像的特征)31一致的場景。
當(dāng)由檢索單元23進行的檢索結(jié)束時，檢索結(jié)果顯示單元24輸入檢索單元23的檢索結(jié)果33，顯示出檢索結(jié)果。作為檢索結(jié)果的顯示方法，例如，顯示與檢索條件一致的場景的縮略像。
又，概要生成單元25根據(jù)通過用戶輸入單元22輸入的來自用戶的概要生成指示，生成“內(nèi)容”的概要。這時，由用戶輸入單元22，輸入生成概要的“內(nèi)容”的再生時間和用戶嗜好等的信息。例如，當(dāng)“內(nèi)容”是新聞視頻時，輸入將新聞中的體育作為主要的用戶想看的信息、或者，將1小時新聞概括成20分鐘的用戶想看的信息等的用戶嗜好信息。又，由概要生成單元25，根據(jù)元數(shù)據(jù)中描述的場景的再生時間和場景的標題等的文本信息32，生成與概要條件一致的概要信息35。該概要信息35是，例如，在生成概要的“內(nèi)容”中包含的場景的再生清單，是記述了描述“內(nèi)容”的URL等的位置信息以及該“內(nèi)容”中的想要再生的場景的開始位置和結(jié)束位置的清單。
又，由“內(nèi)容”再生/顯示單元27，根據(jù)概要信息35中包含的“內(nèi)容”的位置信息，特定對象“內(nèi)容”，根據(jù)概要信息35中包含的場景清單，進行再生場景的取得/再生/顯示。又，作為別的例子，也可以考慮分層地描述概括概要信息的場景結(jié)構(gòu)的情形。
圖9是表示分層地描述生成概要的場景結(jié)構(gòu)的一個例子的圖。圖9(a)表示原始“內(nèi)容”的場景結(jié)構(gòu)的例子。對于各場景，附加在0.0～1.0范圍內(nèi)的重要度。1.0意味著重要度最高，0.0意味著重要度最低。重要度是，例如，根據(jù)用戶嗜好計算的。例如，當(dāng)預(yù)先登記關(guān)于球隊A的足球賽的場景，特別是必然要看的比賽結(jié)果和得分場景那樣的用戶嗜好時，在各場景上附加反應(yīng)用戶嗜好的重要度。
而且，在圖9(a)中，只用重要度最高的場景生成概要，生成概要的場景結(jié)構(gòu)如圖9(b)所示。此外，各場景具有包含該場景的“內(nèi)容”的URL等的位置信息和該場景的“內(nèi)容”內(nèi)的位置信息(開始位置和結(jié)束位置)等的元數(shù)據(jù)。將關(guān)于生成概要的場景結(jié)構(gòu)38的信息傳送給概要結(jié)構(gòu)顯示單元26，該概要結(jié)構(gòu)顯示單元26例如以圖9(b)所示的樹形形式顯示生成概要的場景結(jié)構(gòu)。
又，當(dāng)用戶通過用戶輸入單元22從在結(jié)構(gòu)顯示單元20或概要結(jié)構(gòu)顯示單元26中顯示的場景結(jié)構(gòu)、以及縮略像顯示單元21和檢索結(jié)果顯示單元24中顯示的各場景的縮略圖中選擇想要再生的大于等于一個的場景時，能夠在“內(nèi)容”再生/顯示單元27中再生/顯示“內(nèi)容”中包含的場景。
從而，如果根據(jù)與本實施例3有關(guān)的元數(shù)據(jù)編輯裝置200，則能夠用由上述實施例1、2中說明的元數(shù)據(jù)編輯裝置生成的元數(shù)據(jù)，只匯集并再生用戶想看的場景，或者用在元數(shù)據(jù)中描述特征量，檢索想看的場景。
又，在本實施例3中，“內(nèi)容”再生/顯示單元27是在元數(shù)據(jù)編輯裝置200內(nèi)，但是“內(nèi)容”再生/顯示單元也可以在別的裝置內(nèi)。這可以考慮為，例如，關(guān)于場景結(jié)構(gòu)與縮略像的顯示等、元數(shù)據(jù)再生的操作和顯示是在便攜式電話和便攜式信息終端等中進行的，關(guān)于多媒體“內(nèi)容”的再生的處理和顯示是在通過網(wǎng)絡(luò)與便攜式電話和便攜式信息終端等連接的終端(例如PC等)中進行的情形。
實施例4在本實施例4中，我們說明向客戶終端分發(fā)“內(nèi)容”的元數(shù)據(jù)的元數(shù)據(jù)分發(fā)服務(wù)器(元數(shù)據(jù)分發(fā)裝置)和與客戶終端的終端能力相應(yīng)地可伸縮地構(gòu)成并分發(fā)該“內(nèi)容”的“內(nèi)容”分發(fā)服務(wù)器。
我們一面參照附圖一面說明與本發(fā)明的實施例4有關(guān)的“內(nèi)容”分發(fā)系統(tǒng)。圖10是表示與本發(fā)明的實施例4有關(guān)的“內(nèi)容”分發(fā)系統(tǒng)的構(gòu)成的方框圖。
在圖10中，“內(nèi)容”分發(fā)系統(tǒng)300備有元數(shù)據(jù)分發(fā)服務(wù)器400、各種客戶終端481～48n和“內(nèi)容”分發(fā)服務(wù)器500。
元數(shù)據(jù)分發(fā)服務(wù)器400由元數(shù)據(jù)存儲單元41、元數(shù)據(jù)解析單元42、終端能力判定單元43、元數(shù)據(jù)再生單元44和元數(shù)據(jù)分發(fā)單元45構(gòu)成。
在元數(shù)據(jù)存儲單元41中，存儲著例如上述實施例1、2的元數(shù)據(jù)編輯裝置生成的元數(shù)據(jù)。元數(shù)據(jù)解析單元42對描述“內(nèi)容”的結(jié)構(gòu)和特征的元數(shù)據(jù)49進行解析。終端能力判定單元43根據(jù)關(guān)于客戶終端的性能的信息51，判定客戶終端的終端能力。元數(shù)據(jù)再生單元44根據(jù)元數(shù)據(jù)解析結(jié)果50，與客戶終端的終端能力相應(yīng)地再構(gòu)成“內(nèi)容”，再生成描述該“內(nèi)容”的元數(shù)據(jù)52。元數(shù)據(jù)分發(fā)單元45將在元數(shù)據(jù)再生單元44中再生成的元數(shù)據(jù)53分發(fā)給各種客戶終端481～48n。
此外，也可以將元數(shù)據(jù)存儲單元41設(shè)置在本實施例4的元數(shù)據(jù)分發(fā)服務(wù)器400的外面。這時，元數(shù)據(jù)分發(fā)服務(wù)器400通過網(wǎng)絡(luò)(圖中未畫出)等從元數(shù)據(jù)存儲單元41輸入元數(shù)據(jù)49。
又，“內(nèi)容”分發(fā)服務(wù)器500由“內(nèi)容”存儲單元46和“內(nèi)容”分發(fā)單元47構(gòu)成。
“內(nèi)容”存儲單元46存儲“內(nèi)容”55?！皟?nèi)容”分發(fā)單元47與來自客戶終端481～48n的“內(nèi)容”分發(fā)要求54相應(yīng)地分發(fā)“內(nèi)容”56。
與上述元數(shù)據(jù)分發(fā)服務(wù)器400的情形相同，也可以將“內(nèi)容”存儲單元46設(shè)置在“內(nèi)容”分發(fā)服務(wù)器500的外面。這時，“內(nèi)容”分發(fā)服務(wù)器500通過網(wǎng)絡(luò)(圖中未畫出)輸入“內(nèi)容”數(shù)據(jù)55。
下面，我們一面參照附圖一面說明與本實施例4有關(guān)的“內(nèi)容”分發(fā)系統(tǒng)的工作。
首先，在元數(shù)據(jù)分發(fā)服務(wù)器400一側(cè)，元數(shù)據(jù)解析單元42對存儲在由元數(shù)據(jù)存儲單元41中的元數(shù)據(jù)進行解析。元數(shù)據(jù)解析單元42的工作與上述實施例3的“內(nèi)容”再生裝置200的元數(shù)據(jù)解析單元19相同。元數(shù)據(jù)解析單元42通過對元數(shù)據(jù)進行解析，取得關(guān)于各“內(nèi)容”的結(jié)構(gòu)和特征的信息。
圖11是表示從與本實施例4有關(guān)的元數(shù)據(jù)分發(fā)服務(wù)器的元數(shù)據(jù)解析單元輸出的“內(nèi)容”(例如新聞視頻)的結(jié)構(gòu)信息的圖。在圖11中，用樹形表示“內(nèi)容”的分層的場景結(jié)構(gòu)。樹形的各節(jié)點，與各個場景對應(yīng)，將各個場景信息對應(yīng)地賦予各節(jié)點。所謂的場景信息指的是作為場景的標題、摘要、場景開始位置和結(jié)束位置的時間信息、場景的縮略圖、代表幀、縮略圖鏡頭、代表鏡頭、顏色和運動等視覺上的特征量等的場景特征。此外，在圖11中，在各種場景信息中，只圖示場景的標題。
這里，假定客戶終端為終端能力不同的各種信息家電設(shè)備。所謂的終端能力指的是通信速度、處理速度和可以再生/顯示的圖像格式、圖像分辨率、用戶輸入功能等。例如，假定客戶終端481是在通信速度、處理速度、顯示性能、用戶輸入功能上具有充分性能的PC(個人計算機)。又，假定客戶終端482是便攜式電話，假定其它的客戶終端是PDA等。從各客戶終端481～48n發(fā)送與各個終端性能有關(guān)的信息。
終端能力判定單元43解析與從各客戶終端481～48n發(fā)送的終端性能有關(guān)的信息51，決定可以分發(fā)的圖像格式、最大圖像分辨率、“內(nèi)容”的長度等，輸出到“內(nèi)容”再生成單元44。例如，在原始“內(nèi)容”是用MPEG-2進行編碼的圖像分辨率大的視頻“內(nèi)容”的情形中，在具有充分性能的客戶終端481中，能夠再生原始“內(nèi)容”。又，該客戶終端481具有上述實施例3中說明的可以進行圖像的概要再生和檢索的功能。另一方面，在客戶終端482中，只可以再生用MPEG-4進行編碼的短的視頻鏡頭，并且可以顯示的最大圖像分辨率也很小。
在“內(nèi)容”再生成單元44中，與來自終端能力判定單元43的各客戶終端481～48n的終端性能相應(yīng)地再構(gòu)成“內(nèi)容”，再生成描述其結(jié)構(gòu)和內(nèi)容的元數(shù)據(jù)52，輸出到元數(shù)據(jù)分發(fā)單元45。例如，因為將原始的元數(shù)據(jù)原封不動地分發(fā)給客戶終端481，所以不進行“內(nèi)容”的再構(gòu)成。另一方面，因為對于客戶終端482，只具有短的視頻鏡頭的再生功能，所以不能夠再生全部場景。從而，用重要場景的短的視頻鏡頭再構(gòu)成“內(nèi)容”。
圖12是表示由與本實施例4有關(guān)的元數(shù)據(jù)分發(fā)系統(tǒng)的元數(shù)據(jù)再生單元再構(gòu)成后的“內(nèi)容”的結(jié)構(gòu)例的圖。如圖12所示，從各新聞場景中，提取重要的場景，只用該場景的代表鏡頭或代表幀進行構(gòu)成。又，因為客戶終端482不具有上述實施例3中說明的檢索功能，所以在場景的各種信息中，不需要將用于檢索的場景的特征量描述在元數(shù)據(jù)中。因此，元數(shù)據(jù)再生單元44再生成只描述再構(gòu)成的場景結(jié)構(gòu)和該場景的代表鏡頭或代表幀的位置信息的元數(shù)據(jù)，并輸出到元數(shù)據(jù)分發(fā)單元45。
該元數(shù)據(jù)分發(fā)單元45將由元數(shù)據(jù)再生單元44生成的元數(shù)據(jù)53分發(fā)給客戶終端481～48n。
各客戶終端481～48n對由元數(shù)據(jù)分發(fā)單元45分發(fā)的元數(shù)據(jù)53進行解析，取得“內(nèi)容”的樹形結(jié)構(gòu)信息。各客戶終端481～48n的用戶，當(dāng)選擇想要再生的場景時，從各客戶終端481～48n將選出的場景的位置信息發(fā)送給“內(nèi)容”分發(fā)服務(wù)器500的“內(nèi)容”分發(fā)單元47。
由“內(nèi)容”分發(fā)服務(wù)器500的“內(nèi)容”分發(fā)單元47，取得從各客戶終端481～48n發(fā)送的場景的位置信息，從“內(nèi)容”存儲單元46取得對應(yīng)的“內(nèi)容”55，分發(fā)給客戶終端481～48n。在客戶終端481的情形中，發(fā)送場景的開始位置和結(jié)束位置，分發(fā)與原始“內(nèi)容”的對應(yīng)的場景。又，在客戶終端482的情形中，發(fā)送場景的代表鏡頭的所在位置信息(URI等)。此外，在客戶終端482中不可能再生/顯示代表鏡頭的圖像格式、圖像分辨率和圖像文件大小等的情形中，由“內(nèi)容”分發(fā)單元47，進行格式變換和圖像分辨率變換、減小文件大小的“內(nèi)容”概要等，并進行發(fā)送。
從而，如果根據(jù)本實施例的元數(shù)據(jù)分發(fā)服務(wù)器400，則可以與各客戶終端481～48n的能力相應(yīng)地再生成元數(shù)據(jù)，分發(fā)給各客戶終端。
此外，在圖10中，表示分別構(gòu)成的元數(shù)據(jù)分發(fā)服務(wù)器400和“內(nèi)容”分發(fā)服務(wù)器500，但是本發(fā)明不限于此，也可以將“內(nèi)容”分發(fā)服務(wù)器設(shè)置在元數(shù)據(jù)分發(fā)服務(wù)器中，或者將元數(shù)據(jù)分發(fā)服務(wù)器設(shè)置在“內(nèi)容”分發(fā)服務(wù)器中。又，當(dāng)然也可以將元數(shù)據(jù)分發(fā)服務(wù)器和“內(nèi)容”分發(fā)服務(wù)器設(shè)置在同一服務(wù)器內(nèi)。如果這樣做，則因為“內(nèi)容”分發(fā)單元47能夠從顧客判定單元43簡單地知道各客戶終端481～48n的能力，所以可以與各客戶終端481～48n的能力相應(yīng)地再構(gòu)成格式變換等的“內(nèi)容”，分發(fā)給備客戶終端481～48n。
又，在該實施例4中，我們說明了存儲在元數(shù)據(jù)存儲單元41中的元數(shù)據(jù)是例如上述實施例1、2的元數(shù)據(jù)編輯裝置生成的元數(shù)據(jù)的情形，但是不限于此，當(dāng)然也可以存儲上述實施例1、2的元數(shù)據(jù)編輯裝置以外的裝置生成的元數(shù)據(jù)。
實施例5在本實施例5中，我們說明上述實施例4中說明的元數(shù)據(jù)分發(fā)服務(wù)器的別的例子。由上述實施例4的元數(shù)據(jù)分發(fā)服務(wù)器，根據(jù)從客戶終端發(fā)送的終端信息，進行元數(shù)據(jù)的再生。在本實施例5中，我們說明以備有為了進行更適當(dāng)?shù)脑獢?shù)據(jù)的再生成，用作為用于元數(shù)據(jù)的再生成的提示信息的元數(shù)據(jù)最佳化提示信息，進行元數(shù)據(jù)的再生成的元數(shù)據(jù)解析/再生成單元為特征的元數(shù)據(jù)分發(fā)服務(wù)器(元數(shù)據(jù)分發(fā)裝置)。
我們一面參照附圖一面說明與本發(fā)明的實施例5有關(guān)的元數(shù)據(jù)分發(fā)服務(wù)器。圖13是表示與本發(fā)明的實施例5有關(guān)的元數(shù)據(jù)分發(fā)服務(wù)器的構(gòu)成的方框圖。
在圖13中，元數(shù)據(jù)分發(fā)服務(wù)器400A備有提示信息解析單元61、元數(shù)據(jù)解析/再生成單元63和元數(shù)據(jù)分發(fā)單元45。
提示信息解析單元61解析元數(shù)據(jù)最佳化提示信息60并輸出它的結(jié)果。元數(shù)據(jù)解析/再生成單元63，根據(jù)被解析出的元數(shù)據(jù)最佳化提示信息62、關(guān)于客戶終端的性能的信息、或者，關(guān)于用戶嗜好等的元數(shù)據(jù)再生成的條件65，解析描述“內(nèi)容”的結(jié)構(gòu)和特征的元數(shù)據(jù)49，輸出再構(gòu)成的元數(shù)據(jù)64。元數(shù)據(jù)分發(fā)單元45將元數(shù)據(jù)53分發(fā)給客戶終端。
在元數(shù)據(jù)存儲單元41(請參照圖10)中，存儲著描述“內(nèi)容”的結(jié)構(gòu)和特征的元數(shù)據(jù)49和用于再生成該元數(shù)據(jù)49的提示信息的元數(shù)據(jù)最佳化提示信息60。所謂用于再生成元數(shù)據(jù)49的元數(shù)據(jù)最佳化提示信息60指的是在該元數(shù)據(jù)49中，描述包含多少什么種類的信息，或元數(shù)據(jù)49的概要和復(fù)雜度的信息。
下面，我們一面參照附圖一面說明與本實施例5有關(guān)的元數(shù)據(jù)分發(fā)服務(wù)器的工作。
我們將具有圖14所示的結(jié)構(gòu)的視頻“內(nèi)容”作為例子，詳細述說元數(shù)據(jù)最佳化提示信息60。
視頻“內(nèi)容”(Root)(Soccer game program(足球賽節(jié)目))大致由2個場景(Scene1、Scene2)的前半場和后半場構(gòu)成，前半場的場景進一步由多個場景(Scene1-1、Scene1-2、....Scene1-n)(球門場景、角球場景等)構(gòu)成。在圖14中，用樹形結(jié)構(gòu)表示場景間的時間上的分層結(jié)構(gòu)。
在對應(yīng)的元數(shù)據(jù)49中描述著這種“內(nèi)容”的時間上的分層結(jié)構(gòu)，即場景間的時間關(guān)系和各場景的開始時間與長度。又，對于各場景，除了與分層的層次對應(yīng)地該場景具有的特征(例如，顏色直方圖和運動的復(fù)雜性)外，還描述著標題、簡介、類型、注釋等的文本信息、重要度等等。此外，在本實施例5中，作為元數(shù)據(jù)的描述格式，用由ISO標準化的MPEG-7。
圖15表示用MPEG-7時的元數(shù)據(jù)的描述例。在MPEG-7中，將各場景描述在稱為“視頻段”的單元中。在各視頻段中，描述著時間信息(場景的開始點和長度)、標題、概要、類型等。此外，存在著與視頻段的分層相應(yīng)地描述在視頻段內(nèi)的信息不同的情形。在圖15的例子中，在層次2和層次3的視頻段中描述著重要度，但是在層次4中不描述重要度。又，只在層次4的視頻段內(nèi)描述著顏色和運動的特征量。
通過遞歸地描述視頻段能夠表現(xiàn)場景間的時間上的分層關(guān)系。在圖15的描述例中，通過稱為“時間分割”的描述，描述著由時間上分割一個視頻段的多個視頻段構(gòu)成的情形。在MPEG-7中，也能夠同樣地描述“內(nèi)容”具有的空間上的分層結(jié)構(gòu)。這時，代替稱為“時間分割”的描述，用表示由空間上分割一個視頻段的多個視頻段構(gòu)成的“空間分割”的描述。
用于再生成元數(shù)據(jù)49的元數(shù)據(jù)最佳化提示信息60是描述該元數(shù)據(jù)49中包含的信息(描述符)的種類和內(nèi)容的信息。從而，在元數(shù)據(jù)最佳化提示信息60中，對于圖15的元數(shù)據(jù)，包含著表現(xiàn)“內(nèi)容”具有的時間上的分層結(jié)構(gòu)的描述符(“時間分割”)、表現(xiàn)顏色直方圖和運動的復(fù)雜性的描述符、表現(xiàn)標題、簡介、類型、重要度的描述符。又，作為表示描述“內(nèi)容”和復(fù)雜性的指標，視頻段的分層結(jié)構(gòu)的深度最大為4(層次1～層次4)。重要度取5個離散的值({0.0，0.25，0.5，0.75，1.0})。作為該重要度的觀點，描述著以“TeamA(球隊A)”的觀點觀看時的重要度和以“TeamB(球隊B)”的觀點觀看時的重要度。又，也包含著描述重要度的分層位置(描述在視頻段的哪個層次上)。
圖16表示元數(shù)據(jù)最佳化提示信息60的格式例。在圖16表示的元數(shù)據(jù)最佳化提示信息60中，包含著元數(shù)據(jù)文件信息和元數(shù)據(jù)構(gòu)成要素信息。
元數(shù)據(jù)文件信息描述元數(shù)據(jù)文件的所在位置、元數(shù)據(jù)文件大小、元數(shù)據(jù)文件格式(表示XML格式、二進制格式等的文件格式)、語法文件信息(規(guī)定元數(shù)據(jù)語法的語法文件的所在位置)、表示包含(出現(xiàn))在元數(shù)據(jù)中的要素數(shù)的出現(xiàn)要素數(shù)等、用于預(yù)測處理元數(shù)據(jù)所需的資源(進行元數(shù)據(jù)的存儲/解析所需的存儲器大小和解析元數(shù)據(jù)所需的處理系統(tǒng)(S/W)等)的信息。此外，例如，當(dāng)用XML描述元數(shù)據(jù)時，規(guī)定該描述格式(語法)的DTD文件和schema文件等與規(guī)定元數(shù)據(jù)文件的格式的語法文件相當(dāng)，而語法文件信息描述DTD文件和schema文件等的語法文件的所在位置。
所謂的元數(shù)據(jù)構(gòu)成要素信息是描述構(gòu)成元數(shù)據(jù)的描述符的種類及其內(nèi)容的信息。在該元數(shù)據(jù)構(gòu)成要素信息中，包含著在元數(shù)據(jù)中包含的描述符的名稱、該描述符在元數(shù)據(jù)內(nèi)出現(xiàn)的頻度(次數(shù))、該描述符是否包含在語法上可以包含的全部描述符的描述(完全描述性)、或當(dāng)遞歸地描述該描述符時，在該描述符持有的時間或空間中的分層性(深度最大值)。例如，在圖15所示的元數(shù)據(jù)描述例中，因為“視頻段”是遞歸地描述的描述符，最大具有4分層的結(jié)構(gòu)，所以“視頻段”描述符具有的分層深度最大為4。
進一步，關(guān)于在遞歸地描述的描述符內(nèi)包含的描述符，該描述符出現(xiàn)的出現(xiàn)位置(分層層次)也是提示信息。例如，“重要度”是包含在“視頻段”內(nèi)的描述符，但是當(dāng)包含在小于等于層次3的“視頻段”內(nèi)，即，不包含在層次4的視頻段內(nèi)時，“重要度”出現(xiàn)的位置最大達到3。此外，這樣，也能夠用分層層次指定出現(xiàn)位置，但是當(dāng)將ID分發(fā)給包含“重要度”的“視頻段”或“視頻段”自身時，也可以描述出現(xiàn)位置作為ID的清單。又，在具有值的描述符的情形中，描述符的類型和描述符可以取得的值的范圍也是一個提示信息。例如，當(dāng)分別從“TeamA”、“TeamB”的觀點出發(fā)，用5個離散的值({0.0，0.25，0.5，0.75，1.0})表現(xiàn)重要度時，重要度可以取得的值是具有浮動小數(shù)點的類型的清單{0.0，0.25，0.5，0.75，1.0}。對于每個作為元數(shù)據(jù)的構(gòu)成要素的描述符重復(fù)進行以上的描述。
圖17表示按照圖16的格式描述的元數(shù)據(jù)最佳化提示信息的一個例子。我們看到在圖17所示的元數(shù)據(jù)最佳化提示信息60的一個例子中，包含著元數(shù)據(jù)文件信息、和稱為“視頻段”與“標題”的元數(shù)據(jù)構(gòu)成要素信息。
下面，我們用圖13說明使用元數(shù)據(jù)最佳化提示信息60進行元數(shù)據(jù)的再生成的方法。
由提示信息解析單元61，解析用規(guī)定格式描述的元數(shù)據(jù)最佳化提示信息60。由元數(shù)據(jù)解析/再生成單元63中，使用從提示信息解析單元61輸出的被分析后的元數(shù)據(jù)最佳化提示信息62，進行元數(shù)據(jù)49的解析，根據(jù)關(guān)于元數(shù)據(jù)再生成的條件65輸出再生成的元數(shù)據(jù)64。
圖18表示由使用被解析的元數(shù)據(jù)最佳化提示信息62的元數(shù)據(jù)解析/再生成單元63實施的元數(shù)據(jù)的解析方法的一個例子。在該例子中，只從原始的元數(shù)據(jù)49提取具有重要度大于等于0.5的特征的視頻段，再生成只用關(guān)于提取的視頻段的描述構(gòu)成的元數(shù)據(jù)。
首先，元數(shù)據(jù)解析/再生成單元63根據(jù)用于元數(shù)據(jù)再生成的條件65，特定再生成所需的元數(shù)據(jù)(步驟S1)。這里，因為只提取具有重要度大于等于0.5的特征的視頻段，所以“重要度”和“視頻段”是再生成所需的描述符。
其次，根據(jù)被分析后的元數(shù)據(jù)最佳化提示信息62，判定在元數(shù)據(jù)49中是否包含在步驟S1特定的描述符(以下，將描述符“重要度”作為例子進行說明)(步驟S2)。
當(dāng)在元數(shù)據(jù)中包含“重要度”描述符時，進行元數(shù)據(jù)的解析(步驟S3)，當(dāng)不包含“重要度”描述符時，結(jié)束元數(shù)據(jù)的解析處理(步驟S4)。
又，當(dāng)在被分析后的元數(shù)據(jù)最佳化提示信息62中指定“重要度”的出現(xiàn)位置為直到分層結(jié)構(gòu)的層次3時，在結(jié)束直到層次3的視頻段的解析的時刻(步驟S5)，不進行大于等于層次4的分層的解析，結(jié)束解析處理(步驟S6)。
此外，需要時為了進行別的元數(shù)據(jù)49的解析，重復(fù)步驟S1以后的處理。又，當(dāng)在元數(shù)據(jù)最佳化提示信息62中指定“重要度”描述符的出現(xiàn)次數(shù)為20時，在結(jié)束20個“重要度”描述符的解析的時刻(步驟S5)，結(jié)束元數(shù)據(jù)的解析(步驟S6)。進一步，在步驟S4或步驟S6結(jié)束元數(shù)據(jù)的解析處理后，需要時為了進行別的元數(shù)據(jù)的解析，重復(fù)步驟S1以后的處理。
圖19表示使用被分析后的元數(shù)據(jù)最佳化提示信息62的元數(shù)據(jù)的解析方法的別的例子。在該例子中，只提取包含“標題”描述符的視頻段，再生成元數(shù)據(jù)。在元數(shù)據(jù)中是否包含“標題”描述符的判定與圖18的例子相同。
元數(shù)據(jù)解析/再生成單元63，當(dāng)在元數(shù)據(jù)中包含“標題”描述符時，判定是否是與在元數(shù)據(jù)最佳化提示信息中描述的出現(xiàn)位置的ID一致的視頻段(步驟S13)。
當(dāng)不與ID一致時，因為是不包含“標題”描述符的視頻段，所以跳過該視頻段的描述的解析(步驟S16)。
當(dāng)與ID一致時，為了取得“標題”描述符，進行該視頻段的描述的解析(步驟S15)。
接著，當(dāng)結(jié)束對與出現(xiàn)位置的ID一致的全部視頻段的解析時(步驟S17)，因為在此以上，在元數(shù)據(jù)內(nèi)不存在包含“標題”描述符的視頻段，所以結(jié)束解析處理(步驟S18)。
此外，為了需要時進行別的元數(shù)據(jù)的解析，重復(fù)步驟S11以后的處理。輸出用通過以上的解析處理提取的描述符再構(gòu)成的元數(shù)據(jù)64。
由元數(shù)據(jù)分發(fā)單元45，將再構(gòu)成的元數(shù)據(jù)64分發(fā)給各種客戶終端。
此外，雖然沒有圖示出來，但是因為在元數(shù)據(jù)再生后，元數(shù)據(jù)文件的所在位置和元數(shù)據(jù)文件大小、出現(xiàn)在元數(shù)據(jù)中的要素數(shù)、關(guān)于元數(shù)據(jù)構(gòu)成要素的信息也發(fā)生變化，所以也可以再生成與再生成后的元數(shù)據(jù)對應(yīng)的元數(shù)據(jù)最佳化提示信息。
如上所述，至今為了再生成元數(shù)據(jù)，必需解析元數(shù)據(jù)中包含的全部描述符，但是在本實施例5中，因為使用描述在元數(shù)據(jù)49中包含的描述符的清單和描述符的出現(xiàn)位置、出現(xiàn)次數(shù)等的元數(shù)據(jù)最佳化提示信息60，解析元數(shù)據(jù)49的描述符，所以能夠省去用于再生成元數(shù)據(jù)的元數(shù)據(jù)49自身的解析，又，因為根據(jù)出現(xiàn)位置和出現(xiàn)次數(shù)，能夠省去與再生成條件不一致的描述符的解析，所以能夠減少伴隨著元數(shù)據(jù)的解析和再生成的處理費用(處理量和存儲器使用量等)。
實施例6在上述實施例5中，我們說明了用為了元數(shù)據(jù)再生成的元數(shù)據(jù)最佳化提示信息60，減少伴隨著元數(shù)據(jù)的解析和再生成的處理費用的元數(shù)據(jù)分發(fā)服務(wù)器，但是在本實施例6中，我們說明用元數(shù)據(jù)最佳化提示信息，減少伴隨著元數(shù)據(jù)的檢索的處理的元數(shù)據(jù)檢索服務(wù)器(元數(shù)據(jù)檢索裝置)。
我們一面參照附圖一面說明與本發(fā)明的實施例6有關(guān)的元數(shù)據(jù)檢索服務(wù)器。圖20是表示與本發(fā)明的實施例6有關(guān)的元數(shù)據(jù)檢索服務(wù)器的構(gòu)成的方框圖。
在圖20中，元數(shù)據(jù)檢索服務(wù)器600備有提示信息解析單元61、元數(shù)據(jù)解析單元71和檢索單元73。
因為提示信息解析單元61與上述實施例5相同，所以省略對它的說明。元數(shù)據(jù)解析單元71，用被分析后的元數(shù)據(jù)最佳化提示信息62和檢索條件70，能夠用很少的處理費用高效率地解析描述“內(nèi)容”的結(jié)構(gòu)和特征的膨大的元數(shù)據(jù)49。檢索單元73利用元數(shù)據(jù)的解析結(jié)果72，檢索適合于檢索條件的“內(nèi)容”。
下面，我們一面參照附圖一面說明與本實施例6有關(guān)的元數(shù)據(jù)檢索服務(wù)器的工作。
圖21是表示與本實施例6有關(guān)的元數(shù)據(jù)檢索服務(wù)器的元數(shù)據(jù)解析單元的工作的操作程序圖。
元數(shù)據(jù)解析單元71，用與各元數(shù)據(jù)對應(yīng)的元數(shù)據(jù)最佳化提示信息62進行大于等于一個的元數(shù)據(jù)的解析。所謂元數(shù)據(jù)的解析，這里指的是從元數(shù)據(jù)提取檢索所需的特征描述。例如，當(dāng)給出視頻段的顏色特征量作為檢索條件，檢索具有接近該視頻段的特征的視頻段時，需要提取具有與顏色有關(guān)的特征描述的視頻段。在圖15所示的元數(shù)據(jù)例子中，因為在層次4的視頻段上附加顏色的特征描述(“顏色直方圖”)，所以提取與層次4的視頻段有關(guān)的描述。
元數(shù)據(jù)解析單元71，解析檢索條件70，特定對檢索有效的描述符(步驟S21)。存在著作為檢索條件給出按照在MPEG-7中規(guī)定的描述的特征量的情形和給出圖像與關(guān)鍵字的情形等。當(dāng)作為按照MPEG-7的描述的特征量(例如顏色配置信息)給出檢索條件時，該描述符(顏色配置信息)成為對檢索有效的描述符。又，作為關(guān)鍵字給出檢索條件時，文本形式的描述符(標題、簡述、注釋等)成為對檢索有效的描述符。
下面，參照元數(shù)據(jù)最佳化提示信息62，判定選出的描述符是否包含在元數(shù)據(jù)49中(步驟S22)。當(dāng)用于檢索的描述符不包含在元數(shù)據(jù)49中時，結(jié)束該元數(shù)據(jù)49的解析處理(步驟S24)，需要時進行別的元數(shù)據(jù)49的解析。
當(dāng)選出的描述符包含在元數(shù)據(jù)49中時，進行該元數(shù)據(jù)的解析(步驟S23)。關(guān)于元數(shù)據(jù)的解析方法，與上述實施例5的情形相同，用元數(shù)據(jù)最佳化提示信息62高效率地進行圖18和圖19所示的元數(shù)據(jù)解析處理(步驟S25～S26)。通過以上的處理，由元數(shù)據(jù)解析單元71提取檢索所需的特征描述。
由檢索單元73，利用由元數(shù)據(jù)解析單元71輸出的元數(shù)據(jù)的解析結(jié)果(檢索所需的特征描述)，檢索適合于檢索條件的“內(nèi)容”。在上述例子中，因為由元數(shù)據(jù)解析單元71輸出與具有顏色的特征描述(“顏色直方圖”)的視頻段有關(guān)的描述，所以判定與作為檢索條件給出的顏色特征量(直方圖)的適合性，作為檢索結(jié)果74輸出適合的視頻段的信息(例如“時間信息”)。
如以上那樣，在本實施例6中，因為使用元數(shù)據(jù)最佳化提示信息60，解析元數(shù)據(jù)49，所以能夠省去用于元數(shù)據(jù)再生成的元數(shù)據(jù)49自身的解析。又，因為根據(jù)出現(xiàn)位置和出現(xiàn)次數(shù)，能夠省去檢索不需要的描述符的解析，所以能夠減少伴隨著元數(shù)據(jù)的檢索的處理費用(處理量和存儲器使用量等)。
實施例7在上述實施例5或?qū)嵤├?中，我們說明了利用元數(shù)據(jù)最佳化提示信息的服務(wù)器一側(cè)，但是在本實施例7中，我們說明利用元數(shù)據(jù)最佳化提示信息的客戶終端(元數(shù)據(jù)再生成條件設(shè)定裝置)。
我們一面參照附圖一面說明與本發(fā)明的實施例7有關(guān)的客戶終端。圖22是表示與本發(fā)明的實施例7有關(guān)的客戶終端的構(gòu)成的方框圖。
在圖22中，客戶終端48A備有提示信息解析單元80、元數(shù)據(jù)再生成條件設(shè)定單元82。
此外，在圖22中，在客戶終端48A中備有的功能中，只表示與利用元數(shù)據(jù)最佳化提示信息60設(shè)定用于元數(shù)據(jù)再生成的條件的部件有關(guān)的部分。
下面，我們一面參照附圖一面說明與本實施例7有關(guān)的客戶終端的工作。
提示信息解析單元80進行以規(guī)定的格式描述的元數(shù)據(jù)最佳化提示信息60的解析。因為該提示信息解析單元80與上述實施例5相同，所以省略對它的詳細說明。
元數(shù)據(jù)再生成條件設(shè)定單元82，根據(jù)由提示信息解析單元80輸出的解析結(jié)果81，進行元數(shù)據(jù)再生成的條件設(shè)定83。所謂的條件設(shè)定指的是，例如，從元數(shù)據(jù)最佳化提示信息60中包含的描述符的種類中選擇客戶終端48A不需要的描述符。當(dāng)客戶終端48A不備有用特征量的檢索功能時，不需要表現(xiàn)顏色直方圖和運動的復(fù)雜性等的特征量的描述符。
作為條件設(shè)定的別的例子，當(dāng)描述“內(nèi)容”的場景關(guān)系的分層結(jié)構(gòu)越深，元數(shù)據(jù)的復(fù)雜性越增加時，根據(jù)在元數(shù)據(jù)最佳化提示信息60中的描述的分層結(jié)構(gòu)的深度的最大值，在客戶終端設(shè)定可以處理的分層結(jié)構(gòu)的深度。又，在別的例子中，根據(jù)元數(shù)據(jù)最佳化提示信息60中描述的重要度可以取得的值的信息，設(shè)定用戶著眼的觀點和選擇的場景的重要度的閾值。
如上所述，當(dāng)分別從“TeamA”、“TeamB”的觀點出發(fā)，重要度取5個離散的值({0.0，0.25，0.5，0.75，1.0})時，能夠進行只選擇從“TeamA”的觀點具有大于等于0.5的重要度的場景等的設(shè)定。
將由元數(shù)據(jù)再生成條件設(shè)定單元82設(shè)定的用于元數(shù)據(jù)再生成的條件83發(fā)送給元數(shù)據(jù)分發(fā)服務(wù)器。在元數(shù)據(jù)分發(fā)服務(wù)器一側(cè)，根據(jù)用于元數(shù)據(jù)再生成的條件和客戶終端的終端性能，再構(gòu)成元數(shù)據(jù)。例如，當(dāng)原始的元數(shù)據(jù)的分層結(jié)構(gòu)的深度的最大值為4，在元數(shù)據(jù)再生成條件中，設(shè)定在客戶終端可以處理的分層結(jié)構(gòu)的深度為2時，以使分層結(jié)構(gòu)的深度的最大值為2的方式，再構(gòu)成元數(shù)據(jù)的結(jié)構(gòu)。
又，當(dāng)在元數(shù)據(jù)再生成條件中，只選擇并設(shè)定從“TeamA”的觀點，重要度大于等于0.5的場景時，再生只由與同一條件一致的場景構(gòu)成的元數(shù)據(jù)。與上述實施例5相同能夠用元數(shù)據(jù)最佳化提示信息高效率地進行元數(shù)據(jù)再生成。
如以上那樣，在本實施例7中，因為能夠使用元數(shù)據(jù)最佳化提示信息60設(shè)定用于元數(shù)據(jù)再生成的條件，所以能夠與客戶終端和應(yīng)用相應(yīng)地生成適合的元數(shù)據(jù)。
實施例8在上述實施例5或?qū)嵤├?中，我們說明了用元數(shù)據(jù)最佳化提示信息再生成元數(shù)據(jù)，分發(fā)再生成的元數(shù)據(jù)的服務(wù)器，但是在本實施例8中，我們說明用元數(shù)據(jù)最佳化提示信息解析元數(shù)據(jù)，利用解析結(jié)果再生成適合于客戶終端和用戶嗜好的元數(shù)據(jù)并進行分發(fā)的“內(nèi)容”分發(fā)服務(wù)器(“內(nèi)容”分發(fā)裝置)。
我們一面參照附圖一面說明與本發(fā)明的實施例8有關(guān)的“內(nèi)容”分發(fā)服務(wù)器。圖23是表示與本發(fā)明的實施例8有關(guān)的“內(nèi)容”分發(fā)服務(wù)器的構(gòu)成的方框圖。
在圖23中，“內(nèi)容”分發(fā)服務(wù)器500A備有提示信息解析單元61、元數(shù)據(jù)解析單元86和“內(nèi)容”再構(gòu)成/分發(fā)單元88。
下面，我們一面參照附圖一面說明與本實施例8有關(guān)的“內(nèi)容”分發(fā)服務(wù)器的工作。
因為提示信息解析單元61的工作與上述實施例5相同，所以省略對它的說明。
元數(shù)據(jù)解析單元86，使用從提示信息解析單元61輸出的被分析后的元數(shù)據(jù)最佳化提示信息62，進行元數(shù)據(jù)49的解析，提取與客戶終端有關(guān)的信息、或者，與用戶嗜好等的“內(nèi)容”再構(gòu)成有關(guān)的條件85一致的描述。使用提示信息的解析方法具有與上述實施例5相同之處，但是與實施例5不同之處不是使用提取的描述再生成元數(shù)據(jù)，而是再構(gòu)成“內(nèi)容”這一點。將由該元數(shù)據(jù)解析單元86提取的描述，即被分析后的元數(shù)據(jù)87輸出到“內(nèi)容”再構(gòu)成/分發(fā)單元88。
“內(nèi)容”再構(gòu)成/分發(fā)單元88，根據(jù)由元數(shù)據(jù)解析單元86提取的描述，再構(gòu)成“內(nèi)容”89。這里，我們用上述實施例5中述說的例子進行說明。在實施例5的例子中，只從元數(shù)據(jù)49提取具有重要度大于等于0.5的特征的視頻段，再生成只由與提取的視頻段有關(guān)的描述構(gòu)成的元數(shù)據(jù)。
在本實施例8中，只從元數(shù)據(jù)49提取具有重要度大于等于0.5的特征的視頻段，再生成并分發(fā)只由與提取的視頻段對應(yīng)的場景構(gòu)成的“內(nèi)容”90。因為在與提取的視頻段有關(guān)的描述中，描述了對應(yīng)的“內(nèi)容”的所在位置和在該視頻段的“內(nèi)容”內(nèi)的位置(時間信息)，所以也能夠從“內(nèi)容”切出對應(yīng)的場景，再構(gòu)成一個“內(nèi)容”90，并分發(fā)再構(gòu)成的“內(nèi)容”90，但是也能夠從“內(nèi)容”切出對應(yīng)的場景，順次地分發(fā)切出的場景。
如以上那樣，在與本實施例8有關(guān)的“內(nèi)容”分發(fā)服務(wù)器500A中，因為使用描述元數(shù)據(jù)49中包含的描述符的清單和描述符的出現(xiàn)位置、出現(xiàn)次數(shù)等的元數(shù)據(jù)最佳化提示信息60，解析元數(shù)據(jù)49，所以能夠省去用于元數(shù)據(jù)再生成的元數(shù)據(jù)49自身的解析，又，因為根據(jù)出現(xiàn)位置和出現(xiàn)次數(shù)，能夠省去與再生成條件不一致的描述符的解析，所以能夠減少伴隨著當(dāng)再生成并分發(fā)適合于客戶終端和用戶嗜好的“內(nèi)容”時的元數(shù)據(jù)的解析和“內(nèi)容”的再構(gòu)成的處理費用(處理量和存儲器使用量等)。
本發(fā)明，如以上說明的那樣，因為將包含運動圖像和音頻的多媒體“內(nèi)容”分割成多個場景，編輯分割成多個的場景，生成描述多媒體“內(nèi)容”的分層結(jié)構(gòu)的場景結(jié)構(gòu)信息元數(shù)據(jù)，所以能夠生成描述包含視頻數(shù)據(jù)等的多媒體“內(nèi)容”具有的分層結(jié)構(gòu)的元數(shù)據(jù)。
權(quán)利要求
1.一種元數(shù)據(jù)編輯裝置，其特征在于它備有，將包含運動圖像、音頻中的至少一個的多媒體“內(nèi)容”分割成多個場景，對每個分割的場景生成表示場景的開始位置和結(jié)束位置的場景的區(qū)間信息元數(shù)據(jù)的場景分割單元；根據(jù)來自上述場景分割單元的場景的區(qū)間信息元數(shù)據(jù)，進行上述多媒體“內(nèi)容”的各場景的分層編輯，生成描述上述多媒體“內(nèi)容”的分層結(jié)構(gòu)的場景結(jié)構(gòu)信息元數(shù)據(jù)的場景描述編輯單元；和統(tǒng)合上述場景的區(qū)間信息元數(shù)據(jù)和上述場景結(jié)構(gòu)信息元數(shù)據(jù)，生成按照預(yù)定格式描述上述多媒體“內(nèi)容”的內(nèi)容和結(jié)構(gòu)的元數(shù)據(jù)的元數(shù)據(jù)描述單元。
2.根據(jù)權(quán)利要求1所述的元數(shù)據(jù)編輯裝置，其特征在于它進一步備有根據(jù)來自上述場景分割單元的場景的區(qū)間信息元數(shù)據(jù)，提取上述多媒體“內(nèi)容”的各場景的視覺特征量，生成特征描述元數(shù)據(jù)的特征提取單元；上述元數(shù)據(jù)描述單元統(tǒng)合上述場景的區(qū)間信息元數(shù)據(jù)、上述場景結(jié)構(gòu)信息元數(shù)據(jù)和上述特征描述元數(shù)據(jù)，生成按照預(yù)定格式描述上述多媒體“內(nèi)容”的內(nèi)容和結(jié)構(gòu)的元數(shù)據(jù)。
3.根據(jù)權(quán)利要求1或2所述的元數(shù)據(jù)編輯裝置，其特征在于它進一步備有根據(jù)幀間差分檢測上述多媒體“內(nèi)容”的場景變換點的場景變換檢測單元；上述場景分割單元根據(jù)上述場景變換點將上述多媒體“內(nèi)容”分割成多個場景。
4.一種元數(shù)據(jù)再生裝置，其特征在于它備有，對描述包含運動圖像、音頻中的至少一個的多媒體“內(nèi)容”的內(nèi)容和結(jié)構(gòu)的元數(shù)據(jù)進行解析的元數(shù)據(jù)解析單元；根據(jù)從上述元數(shù)據(jù)解析單元的解析結(jié)果取得的上述元數(shù)據(jù)中描述的場景的視覺特征量，從上述元數(shù)據(jù)檢索與預(yù)定的檢索條件一致的場景的檢索單元；和根據(jù)從上述元數(shù)據(jù)解析單元的解析結(jié)果取得的上述元數(shù)據(jù)中描述的預(yù)定信息，生成與預(yù)定的概要生成條件一致的上述多媒體“內(nèi)容”的概要信息的概要生成單元。
5.一種元數(shù)據(jù)分發(fā)裝置，其特征在于它備有，對描述包含運動圖像、音頻中的至少一個的多媒體“內(nèi)容”的內(nèi)容和結(jié)構(gòu)的元數(shù)據(jù)進行解析的元數(shù)據(jù)解析單元；根據(jù)關(guān)于客戶終端的性能的信息，判定上述客戶終端的能力的終端能力判定單元；根據(jù)上述元數(shù)據(jù)解析單元的元數(shù)據(jù)解析結(jié)果，與上述判定的客戶終端的能力相應(yīng)地再構(gòu)成上述多媒體“內(nèi)容”，再生成描述該“內(nèi)容”的第2元數(shù)據(jù)的元數(shù)據(jù)再生成單元；和將由上述元數(shù)據(jù)再生成單元再生成的第2元數(shù)據(jù)分發(fā)給上述客戶終端的元數(shù)據(jù)分發(fā)單元。
6.一種元數(shù)據(jù)分發(fā)裝置，其特征在于它備有，對描述包含在元數(shù)據(jù)中的描述符的種類的元數(shù)據(jù)最佳化提示信息進行解析的提示信息解析單元；通過根據(jù)上述被分析后的元數(shù)據(jù)最佳化提示信息和關(guān)于元數(shù)據(jù)再生成的條件，解析描述包含運動圖像、音頻中的至少一個的多媒體“內(nèi)容”的內(nèi)容和結(jié)構(gòu)的元數(shù)據(jù)，再生成第2元數(shù)據(jù)的元數(shù)據(jù)解析/再生成單元；和將由上述元數(shù)據(jù)解析/再生成單元再生成的第2元數(shù)據(jù)分發(fā)給客戶終端的元數(shù)據(jù)分發(fā)單元。
7.一種元數(shù)據(jù)檢索裝置，其特征在于它備有，對描述了元數(shù)據(jù)中包含的描述符的種類和內(nèi)容的元數(shù)據(jù)最佳化提示信息進行解析的提示信息解析單元；根據(jù)上述被分析后的元數(shù)據(jù)最佳化提示信息和檢索條件，對描述包含運動圖像、音頻中的至少一個的多媒體“內(nèi)容”的內(nèi)容和結(jié)構(gòu)的元數(shù)據(jù)進行解析的元數(shù)據(jù)解析單元；和利用上述元數(shù)據(jù)的解析結(jié)果，檢索適合于上述檢索條件的“內(nèi)容”的檢索單元。
8.一種元數(shù)據(jù)再生成條件設(shè)定裝置，其特征在于它備有，對描述了元數(shù)據(jù)中包含的描述符的種類和內(nèi)容的元數(shù)據(jù)最佳化提示信息進行解析的提示信息解析單元；和根據(jù)上述被分析后的元數(shù)據(jù)最佳化提示信息，設(shè)定用于對描述包含運動圖像、音頻中的至少一個的多媒體“內(nèi)容”的內(nèi)容和結(jié)構(gòu)的元數(shù)據(jù)進行再生成的條件的元數(shù)據(jù)再生成條件設(shè)定單元。
9.一種“內(nèi)容”分發(fā)裝置，其特征在于它備有，對描述了元數(shù)據(jù)中包含的描述符的種類和內(nèi)容的元數(shù)據(jù)最佳化提示信息進行解析的提示信息解析單元；根據(jù)上述被分析后的元數(shù)據(jù)最佳化提示信息和關(guān)于“內(nèi)容”再構(gòu)成的條件，從描述包含運動圖像、音頻中的至少一個的多媒體“內(nèi)容”的內(nèi)容和結(jié)構(gòu)的元數(shù)據(jù)，提取與上述“內(nèi)容”再構(gòu)成有關(guān)的條件一致的描述的元數(shù)據(jù)解析單元；和根據(jù)上述提取的描述，再構(gòu)成“內(nèi)容”并分發(fā)給客戶終端的“內(nèi)容”再構(gòu)成/分發(fā)單元。
10.一種元數(shù)據(jù)分發(fā)方法，其特征在于它包含，對描述了元數(shù)據(jù)中包含的描述符的種類的元數(shù)據(jù)最佳化提示信息進行解析的步驟；根據(jù)上述被分析后的元數(shù)據(jù)最佳化提示信息和關(guān)于元數(shù)據(jù)再生成的條件，解析描述包含運動圖像、音頻中的至少一個的多媒體“內(nèi)容”的內(nèi)容和結(jié)構(gòu)的元數(shù)據(jù)，再生成第2元數(shù)據(jù)的步驟；和將由上述再生成的第2元數(shù)據(jù)分發(fā)給客戶終端的步驟。
11.根據(jù)權(quán)利要求10所述的元數(shù)據(jù)分發(fā)方法，其特征在于上述元數(shù)據(jù)最佳化提示信息，描述元數(shù)據(jù)文件的所在位置和表示元數(shù)據(jù)中包含的要素數(shù)的出現(xiàn)要素數(shù)作為元數(shù)據(jù)文件信息。
12.根據(jù)權(quán)利要求10所述的元數(shù)據(jù)分發(fā)方法，其特征在于上述元數(shù)據(jù)最佳化提示信息，描述元數(shù)據(jù)文件的大小、元數(shù)據(jù)文件的格式和語法文件信息作為元數(shù)據(jù)文件信息。
13.根據(jù)權(quán)利要求10所述的元數(shù)據(jù)分發(fā)方法，其特征在于上述元數(shù)據(jù)最佳化提示信息，描述元數(shù)據(jù)中包含的描述符的名稱作為一個元數(shù)據(jù)構(gòu)成要素信息。
14.根據(jù)權(quán)利要求10所述的元數(shù)據(jù)分發(fā)方法，其特征在于上述元數(shù)據(jù)最佳化提示信息，描述元數(shù)據(jù)中包含的描述符出現(xiàn)的頻度作為一個元數(shù)據(jù)構(gòu)成要素信息。
15.根據(jù)權(quán)利要求10所述的元數(shù)據(jù)分發(fā)方法，其特征在于上述元數(shù)據(jù)最佳化提示信息，描述元數(shù)據(jù)中包含的描述符的完全描述性作為一個元數(shù)據(jù)構(gòu)成要素信息。
16.根據(jù)權(quán)利要求10所述的元數(shù)據(jù)分發(fā)方法，其特征在于上述元數(shù)據(jù)最佳化提示信息，描述元數(shù)據(jù)中包含的描述符具有的時間分層性作為一個元數(shù)據(jù)構(gòu)成要素信息。
17.根據(jù)權(quán)利要求10所述的元數(shù)據(jù)分發(fā)方法，其特征在于上述元數(shù)據(jù)最佳化提示信息，描述元數(shù)據(jù)中包含的描述符具有的空間分層性作為一個元數(shù)據(jù)構(gòu)成要素信息。
18.根據(jù)權(quán)利要求10所述的元數(shù)據(jù)分發(fā)方法，其特征在于上述元數(shù)據(jù)最佳化提示信息，描述元數(shù)據(jù)中包含的描述符出現(xiàn)的出現(xiàn)位置作為一個元數(shù)據(jù)構(gòu)成要素信息。
19.根據(jù)權(quán)利要求10所述的元數(shù)據(jù)分發(fā)方法，其特征在于上述元數(shù)據(jù)最佳化提示信息，描述元數(shù)據(jù)中包含的描述符的類型作為一個元數(shù)據(jù)構(gòu)成要素信息。
20.根據(jù)權(quán)利要求10所述的元數(shù)據(jù)分發(fā)方法，其特征在于上述元數(shù)據(jù)最佳化提示信息，描述元數(shù)據(jù)中包含的描述符的可以取得的范圍作為一個元數(shù)據(jù)構(gòu)成要素信息。
全文摘要
將包含運動圖像和音頻的多媒體“內(nèi)容”分割成多個場景，對每個分割的場景生成元數(shù)據(jù)。除了場景的區(qū)間信息和標題外，還能夠生成包含描述上述“內(nèi)容”的分層結(jié)構(gòu)的場景結(jié)構(gòu)信息元數(shù)據(jù)的元數(shù)據(jù)。又，為了再生成更適當(dāng)?shù)脑獢?shù)據(jù)，用描述包含在上述元數(shù)據(jù)中的描述符的種類的元數(shù)據(jù)最佳化提示信息，進行元數(shù)據(jù)的再生成。
文檔編號H04N7/24GK1647528SQ03808260
公開日2005年7月27日 申請日期2003年3月20日 優(yōu)先權(quán)日2002年4月12日
發(fā)明者守屋芳美, 西川博文, 關(guān)口俊一, 淺井光太郎, 山田悅久, 乙井研二, 黑田慎一, 小川文伸 申請人:三菱電機株式會社