專利名稱：多媒體數(shù)據(jù)搜索和瀏覽系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種生成信息以描述多媒體數(shù)據(jù)的設備，以及一種基于多媒體數(shù)據(jù)描述方案進行多媒體數(shù)據(jù)搜索和瀏覽的設備。
特別的，根據(jù)多媒體數(shù)字技術的發(fā)展，視頻內(nèi)容以數(shù)字形式存儲和傳播，一旦數(shù)字廣播得以普及，媒體的數(shù)字化將加速。
在數(shù)字視頻內(nèi)容中，一個用戶也許只想觀看普通新聞節(jié)目中的體育新聞，或者另一個用戶只想觀看與股票相關的新聞。或者，第三個用戶只想觀看電視節(jié)目中他或她所喜歡的人出現(xiàn)的那一幕場景(scene)。因此，正在進行各種工作以滿足上述各種需求。
此外，也許會有這樣一個用戶，他希望在有限的時間內(nèi)快速地掌握整個視頻內(nèi)容。這稱為“提要(highlight)”，這也會具有上述的需求。通常，提要可以理解為重新構(gòu)建的內(nèi)容，通過收集和重組視頻內(nèi)容中的所有重要場景而構(gòu)成，可以包括“體育提要”，“電影預覽”，“頭條新聞”等等。然而，就自動化而論，即使由當今的技術也很難從視頻內(nèi)容中自動地提取提要。因此，大部分人通常都依賴于人工操作。然而，由于媒體的急劇增長，使得以人工操作的方式為所有的視頻內(nèi)容提供提要變得更困難，甚至是不可能的，因為這需要很多人力資源。因此，有這樣一種需求，希望開發(fā)一種自動系統(tǒng)，它可以使用戶在很短的時間里簡要地掌握全部內(nèi)容。
隨著數(shù)字技術的發(fā)展，利用關鍵幀作為工具使用戶可以移動到視頻內(nèi)容中他們所希望的位置。利用關鍵幀而采用視頻摘要(summary)后，用戶可以更快地移動到他們想要的位置。
最近，正在研究視頻索引技術作為在數(shù)字視頻中查找預期場景的工具。為了在視頻中查找包含特定人物的唯一場景并識別視頻中的人物，正在進行一項研究，為人物的進入信息建立索引，或者提取并索引電影或體育比賽等等中的重要場景。
如上所述，隨著數(shù)字視頻技術和圖像/視頻識別技術的發(fā)展，用戶可以僅搜索/過濾和瀏覽視頻中所希望的部分。
非線性視頻瀏覽和搜索的最關鍵技術是鏡頭(shot)分割和鏡頭組合，這兩項技術也是視頻分析的關鍵。
所謂“鏡頭”是由攝像機不間斷地獲得的一系列視頻場景，是分析或構(gòu)建視頻的最基本單元。
通常，一個視頻是由許多鏡頭連接構(gòu)成的。鏡頭分割技術是把視頻分成獨立的鏡頭。

圖1是鏡頭分割的過程示意圖。在大多數(shù)的鏡頭分割算法中，通常在一個鏡頭中圖像、運動和音頻都會很接近；相反的，兩個鏡頭之間圖像、運動和音頻就沒有相似性。
通常，視頻提要是從視頻流的內(nèi)容中選擇重要部分并且連續(xù)地重放這些部分的方法。
另外，視頻具有場景作為意義上的組成部分，那就是，場景是在意義上根據(jù)故事情節(jié)的發(fā)展或者視頻的結(jié)構(gòu)而劃分視頻的組成部分。通常，在一個場景中有多個鏡頭。鏡頭和場景的概念也可以同樣地應用于音頻節(jié)目。
多媒體內(nèi)容索引技術的一個目標就是使用戶可以很容易地搜索和瀏覽希望看到的部分，它通過如下方式操作提取一段內(nèi)容中的鏡頭/場景單元的結(jié)構(gòu)信息，選取諸如關鍵幀這樣重要并有特征的成分來描述每一個結(jié)構(gòu)單元中的片段，為多媒體內(nèi)容的結(jié)構(gòu)信息建立索引，通過在時間軸上描述事件的發(fā)生、音頻視頻對象的進入、對象和背景(地點等)的狀態(tài)信息等等來建立索引。
另一方面，為了提供有效的視頻搜索和瀏覽，對于提取主要文字部分或者新聞圖標或者人面部區(qū)域等等以描述視頻流中的關鍵信息已經(jīng)有了深入的研究，同時也介紹了操作這些關鍵部分和提取新關鍵幀的方法。
在被操作的關鍵幀里，代表一個片段，諸如一個場景或者鏡頭等等的關鍵部分或關鍵幀被提取出來，使用所提取的關鍵部分或關鍵幀，可以制作成一個圖像。提供所操作的圖像以表示相應片段的內(nèi)容。利用所操作的關鍵幀，大量的信息可以被集中地壓縮到一個很小的顯示區(qū)域中，這樣用戶就可以更快更容易地領悟和理解一個特定部分的內(nèi)容，也可以單獨觀看他或她所選擇的部分。
如上所述，為了實現(xiàn)有效的搜索和瀏覽，多媒體數(shù)據(jù)描述方案(DS)是在多媒體數(shù)據(jù)的內(nèi)容、關鍵幀、或文本等的基礎上進行描述的。描述方案(DS)包括描述多媒體數(shù)據(jù)內(nèi)容的信息，描述多媒體數(shù)據(jù)結(jié)構(gòu)的信息，等等。如果多媒體數(shù)據(jù)是連續(xù)的圖像數(shù)據(jù)，并提供了基于關鍵幀的摘要(提要)功能，則用于表示特定部分的關鍵幀和要通過關鍵幀搜索和顯示的部分的信息會被描述為描述方案(DS)。
因此，需要一種生成描述方案(DS)以描述多媒體數(shù)據(jù)的系統(tǒng)，以提供更簡單更有效的多媒體數(shù)據(jù)搜索和瀏覽，以及一種基于所生成的描述方案瀏覽多媒體數(shù)據(jù)的系統(tǒng)。
本發(fā)明的其它優(yōu)點、目的和特征有一部分將在以下的說明書中進行闡述，有一部分則對于本領域技術人員經(jīng)過對以下內(nèi)容的檢驗后會變得明了，或通過本發(fā)明的實踐而體驗到。由說明書、權(quán)利要求書和附圖所具體指出的結(jié)構(gòu)，可以實現(xiàn)和獲得本發(fā)明的目標和其它優(yōu)點。
為了實現(xiàn)這些目的和其他優(yōu)點，根據(jù)本發(fā)明的目的，正如在這里作為實施例并加以廣泛描述的，多媒體數(shù)據(jù)描述方案的自動生成設備可以包括用于生成多媒體數(shù)據(jù)描述方案的用戶接口裝置；用于實現(xiàn)用戶接口裝置和該設備之間的數(shù)據(jù)接口的數(shù)據(jù)接口裝置；用于為通過用戶接口裝置選擇的預定多媒體數(shù)據(jù)生成DDL型描述方案的DDL轉(zhuǎn)換和生成裝置；用于為通過用戶接口裝置選擇的預定多媒體數(shù)據(jù)生成二進制格式(BiM)描述方案的二進制格式轉(zhuǎn)換和生成裝置；用于分析DDL型描述方案并且提供給數(shù)據(jù)接口裝置的DDL分析裝置；用于對二進制格式的描述方案進行解碼并且提供給數(shù)據(jù)接口裝置的二進制格式解碼裝置。
在本發(fā)明的另一個方面，多媒體數(shù)據(jù)搜索和瀏覽設備可以包括DDL分析裝置，用于對描述為DDL型描述方案的DDL型多媒體數(shù)據(jù)瀏覽描述方案進行分析；二進制格式解碼裝置，用于對描述為二進制格式描述方案的二進制格式多媒體數(shù)據(jù)瀏覽描述方案進行解碼；數(shù)據(jù)存儲裝置，用于根據(jù)所分析的DDL型描述方案或經(jīng)過解碼的二進制格式描述方案而瀏覽多媒體數(shù)據(jù)；以及瀏覽器接口裝置，用于根據(jù)存儲在數(shù)據(jù)存儲裝置中的多媒體數(shù)據(jù)描述方案輸出用戶要求，以及據(jù)此的搜索結(jié)果。
在本發(fā)明的另一個方面，多媒體數(shù)據(jù)搜索和瀏覽設備可以進一步包括轉(zhuǎn)換裝置，用于把存儲于數(shù)據(jù)存儲裝置中的描述方案轉(zhuǎn)換為數(shù)據(jù)庫；描述方案數(shù)據(jù)庫，作為數(shù)據(jù)庫存儲所轉(zhuǎn)換的描述方案；以及查詢接口裝置，用于根據(jù)通過瀏覽器接口裝置而來的用戶查詢從數(shù)據(jù)庫中瀏覽適合于該用戶查詢的多媒體數(shù)據(jù)。
需要理解的是，前面的概述和后面的詳述都僅僅是示例性的和解釋性的，是為了對權(quán)利要求書所限定的本發(fā)明提供進一步的解釋。
優(yōu)選實施例說明以下參照附圖對本發(fā)明的優(yōu)選實施例進行詳細說明。附圖中在所有可能的地方對相同或相似的部件使用相同的標號。
圖2是根據(jù)本發(fā)明一個優(yōu)選實施例的與描述方案生成系統(tǒng)和瀏覽系統(tǒng)連同在一起的多媒體數(shù)據(jù)搜索系統(tǒng)的方框圖。根據(jù)圖2，描述方案生成系統(tǒng)1包括用于生成描述方案的用戶接口2；DOM存儲器3；DDL記錄器4；BiM編碼器5；DDL分析器6；以及BiM解碼器7。圖2中的瀏覽系統(tǒng)8包括DDL分析器9；BiM解碼器10；DOM存儲器11；瀏覽器用戶接口12；描述方案轉(zhuǎn)換器13；描述方案數(shù)據(jù)庫14；以及查詢接口15。
如圖2所示的本發(fā)明的描述方案生成系統(tǒng)和基于描述方案的瀏覽系統(tǒng)的一個實施例提供了運動圖像內(nèi)容的分級視頻摘要功能，說明了生成用于瀏覽的描述方案的方法，并基于關鍵幀或文本對其進行瀏覽?，F(xiàn)在說明用于分級視頻摘要功能的描述方案生成方法以及瀏覽方法。當然，本發(fā)明的描述方案生成系統(tǒng)和瀏覽系統(tǒng)并不限于分級視頻摘要技術，通過擴展和應用本發(fā)明的系統(tǒng)，可以應用于多媒體內(nèi)容描述方案生成和瀏覽系統(tǒng)，以滿足MPEG-7。
用戶接口2是描述方案生成系統(tǒng)1和用戶之間的接口(DG UI描述生成用戶接口)，圖3顯示了一個接口的例子。DOM存儲器3是“文檔對象模型存儲器”，它提供接口環(huán)境以暫時存儲用戶接口2和系統(tǒng)之間的數(shù)據(jù)。DDL記錄器(描述定義語言記錄器)4連接于DOM存儲器3，把多媒體數(shù)據(jù)描述方案轉(zhuǎn)換成DDL類型，并生成文本DDL描述文件16。BiM編碼器(二進制格式MPEG-7編碼器)5連接于DOM存儲器3，把多媒體數(shù)據(jù)描述方案轉(zhuǎn)換成二進制格式，并生成BiM文件(二進制描述文件)17。
圖3顯示了用于生成描述方案的用戶接口2的一個例子。用戶接口2包括顯示多媒體數(shù)據(jù)的顯示窗口21，控制多媒體數(shù)據(jù)顯示的鍵22，輸入和選擇片段信息的片段信息輸入部分23，顯示多媒體數(shù)據(jù)的片段摘要信息的片段摘要瀏覽器24，多媒體數(shù)據(jù)描述方案顯示部分25，選擇關鍵字的關鍵字處理部分26，等等。像文件、關鍵字、類別等的菜單是通過下拉方式操作的，它們中的每一個都可以有子菜單。
利用圖2中的多媒體數(shù)據(jù)描述方案生成系統(tǒng)和圖3中的接口，多媒體數(shù)據(jù)(一段內(nèi)容)的生成、編輯和存儲可以按如下完成文件打開提供了多媒體數(shù)據(jù)或描述方案的文件打開。當多媒體數(shù)據(jù)被選擇時，將生成一個新的描述方案文件；當具有文本DDL文件16和MPEG-7 BiM格式的BiM文件17被選擇時，可以檢查描述方案。DDL分析器6分析DDL文件16，DOM存儲器3作為接口打開DDL文件16，BiM解碼器7對BiM文件17進行解碼，DOM存儲器3作為接口打開BiM文件17?；蛘撸谝恍┣闆r下，BiM文件17可以在BiM解碼器7中進行解碼，在DDL分析器6中轉(zhuǎn)換成DDL類型后再打開。當所選擇的多媒體內(nèi)容是A/V時，顯示窗口21顯示所選多媒體內(nèi)容的視頻方案。顯示控制鍵22輸入用戶指令，諸如多媒體數(shù)據(jù)的重放、快進、快退、暫停、開始和停止等等。
文件保存保存當前編輯的描述方案。也就是，如果在用戶接口2中選擇了“文件保存”，則使用DOM存儲器3作為數(shù)據(jù)接口，以同打開內(nèi)容相同的名字和格式保存描述方案。
文件另存把當前編輯的描述方案另存為用戶所希望的DDL或二進制格式。也就是，如果在用戶接口2中執(zhí)行了“文件另存”，則使用DOM存儲器3作為數(shù)據(jù)接口，由DDL記錄器4把描述方案另存為MPEG-7文本DDL文件16的形式，或者另存為MPEG-7 BiM文件17的形式。對于用戶選擇的多媒體內(nèi)容，那意味著DDL記錄器4把描述方案轉(zhuǎn)換為DDL類型，然后生成/輸出文本DDL文件16；或者BiM編碼器5把描述方案轉(zhuǎn)換為二進制格式，然后生成/輸出二進制格式文件17。在一些情況下，BiM編碼器5可以將DDL記錄器4生成的DDL數(shù)據(jù)轉(zhuǎn)換/生成為BiM格式。
關鍵字類別選擇選擇關鍵字類別。關鍵字處理部分26選擇多媒體內(nèi)容的關鍵字類別，也就是，舉個例子，如果“棒球”被選作關鍵字類別，那么將顯示多媒體內(nèi)容的關鍵字集，用戶可以選擇/輸入正在編輯的片段的關鍵字。
生成提要片段和添加描述方案生成新的提要片段并添加到描述方案中。首先，利用用戶接口上的開始按鈕22a和結(jié)束按鈕22b，輸入片段起始位置和片段結(jié)束位置。點擊開始按鈕22a，把顯示窗口21中當前播放的部分的位置值輸入到片段信息輸入部分23的片段起始位置；點擊結(jié)束按鈕，把顯示窗口21中當前播放的部分的位置值輸入到片段信息輸入部分23的片段結(jié)束位置。
另外，多媒體內(nèi)容的標題也可以輸入到片段信息輸入部分23中，如同輸入關鍵字的方法一樣，有幾種方法，即，從上述關鍵字集中選擇/輸入的方法，用戶直接輸入的方法，在用戶關鍵字歷史紀錄中輸入的方法。這里，關鍵字歷史紀錄是當前編輯的描述方案中所包含的關鍵字，所選擇的關鍵字被加入到用戶關鍵字歷史記錄中。這時，利用片段信息輸入部分23的選擇重要性單元，片段的重要程度可以有三種不同級別的選擇，即，非常重要，比較重要，重要。通過點擊下屬的按鈕，把被編輯的片段添加到描述信息中。通過DDL記錄器4把上述片段描述方案輸入生成為DDL文件16，或者通過BiM編碼器5生成為BiM文件17。
提要信息中提要片段的內(nèi)容改變?nèi)绻x擇了片段摘要瀏覽器24(在附圖中表示為長條)中的片段，那么這個片段的各種信息都會在片段信息輸入部分23上顯示，需要修改的信息內(nèi)容將以同上述第5個過程同樣的方式進行處理，即生成提要片段和添加描述方案的方法。
刪除提要片段提要片段可以從描述方案中刪除。從描述方案中刪除提要片段的方法是這樣完成的選擇片段瀏覽器24中的一個片段，點擊刪除按鈕而刪除片段信息輸入部分23上顯示的信息。
描述方案的表達在描述方案顯示部分25中顯示的信息包括屬于描述方案中不同級別的片段的時間信息?！熬o湊”表示級別為0的所有片段的總時間，“中等”表示級別為0和1的所有片段的總時間，而“全部”表示級別為0、1、2的所有片段的總時間?！凹t條”表示級別為0的所有片段的總時間，“藍條”表示級別為1的所有片段的總時間，而“黑條”表示級別為2的所有片段的總時間。
片段摘要瀏覽器片段摘要瀏覽器24視覺地顯示描述方案中包含的每一個片段的級別和位置。橫軸是時間軸，被指定為條形的是片段，根據(jù)不同的顏色(在附圖中，通過明暗度的不同而區(qū)分)指定它們的各個級別。當選擇了一個相應片段時，可以進行上述的片段信息編輯、刪除等等。
如上所述，多媒體數(shù)據(jù)描述方案生成系統(tǒng)1可以利用圖3所示的用戶接口2實現(xiàn)多媒體數(shù)據(jù)的選擇，所選多媒體數(shù)據(jù)的片段信息輸入，以及關鍵字的選擇、輸入、編輯、存儲等等，DDL記錄器4或者BiM編碼器5自動生成和輸出MPEG-7文本DDL文件16或者BiM文件17。
以下說明瀏覽系統(tǒng)8。
圖2中的瀏覽系統(tǒng)8的DDL分析器9分析輸入的DDL文件16，并存儲于DOM存儲器11中。BiM解碼器10對輸入的BiM文件17進行解碼，并存儲于DOM存儲器11中。在一些情況下，DDL分析器6把通過BiM解碼器7解碼過的BiM文件17轉(zhuǎn)換成DDL類型數(shù)據(jù)，并存儲于DOM存儲器11中。在DOM存儲器11中存儲的DDL文件或者解碼過的BiM文件通過瀏覽器用戶接口12進行瀏覽。同時，存儲于DOM存儲器11中的DDL文件或者解碼過的BiM文件由描述方案轉(zhuǎn)換器13進行轉(zhuǎn)換，并構(gòu)建為描述方案數(shù)據(jù)庫14。描述方案數(shù)據(jù)庫14和瀏覽器用戶接口12之間的查詢接口15完成查詢信息處理并提供搜索結(jié)果。
圖4顯示了瀏覽器用戶接口12的一個例子。其中顯示了主菜單12a，用以選擇多媒體資源和瀏覽方法等等；標題播放器12b，用于顯示多媒體數(shù)據(jù)；搜索目錄12c，用于搜索多媒體數(shù)據(jù)；導航瀏覽器12d，用于多媒體導航，等等。瀏覽器用戶接口12的顯示結(jié)構(gòu)或其瀏覽方法可以具有各種變化，而不僅僅限于圖4中的例子。
各種菜單顯示或菜單條等等可以通過下拉方式操作，每一個都可以具有下一級子菜單。
通過圖2的基于描述方案的瀏覽系統(tǒng)和圖4的接口，基于多媒體數(shù)據(jù)(一段內(nèi)容)描述方案的瀏覽方法包括如下步驟選擇多媒體資源；選擇所選多媒體資源的瀏覽方法；相應于所選多媒體資源和瀏覽方法的信息提供接口；基于瀏覽接口為所選多媒體資源提供瀏覽結(jié)果。
基于圖4的瀏覽接口，瀏覽多媒體資源可以按如下處理。
首先，打開文件以選擇多媒體資源。這是通過打開多媒體資源描述方案(文本描述或者BiM)實現(xiàn)的。隨著文件的打開，顯示包含于描述方案中的片段的時間信息，所顯示的時間信息是以時分秒為單位指定的。作為時間信息的一個例子，“緊湊”表示級別為0的所有片段的總時間，“中等”表示級別為0和1的所有片段的總時間，“詳細”表示級別為0至2的所有片段的總時間。
如上所述，利用如上打開的描述方案，可以進行一段內(nèi)容的多級提要瀏覽，“緊湊”是默認的。至于使用多級提要瀏覽的方法，如果選擇了所顯示的時間信息項中的某一個，則運行基于對應于所選擇項的片段的標題播放器12b，所有的相關片段都被重放。相應片段的標題在標題播放器12b的右側(cè)顯示。
也就是說，如果用戶選擇了“緊湊”，則所有級別為0的片段將同標題一起在標題播放器12b中顯示；如果用戶選擇了“中等”，則所有級別為0和1的片段將同標題一起在標題播放器12b中顯示；如果用戶選擇了“詳細”，則所有級別為0至2的片段將同標題一起在標題播放器12b中顯示。
同時，除了上述根據(jù)多媒體資源和瀏覽的選擇而重放和顯示相應片段的瀏覽方法外，還可以有利用搜索目錄12c的瀏覽方法。這是通過搜索與基于關鍵字或標題，或者用戶直接輸入的文本的查詢相匹配的內(nèi)容(提要片段)而進行的。
即，當執(zhí)行內(nèi)容搜索時，會顯示相應的搜索目錄12c，從關鍵字/標題列表中選擇關鍵字或者標題，或者由用戶以文本直接輸入搜索字。
搜索字允許多個搜索字或邏輯和(OR)條件的選擇，當搜索對象是數(shù)據(jù)庫14，而且沒有打開的描述方案文件時，不提供使用關鍵字/標題的搜索字選擇，而是提供由用戶單獨輸入文本的搜索。
作為上述搜索的結(jié)果，導航瀏覽器12d被驅(qū)動，具有與上述輸入的搜索字相匹配的關鍵字或標題的片段的關鍵幀顯示在導航瀏覽器12d中。導航瀏覽器12d一次可以同時顯示12個關鍵幀，即橫軸上4個，縱軸上3個。如果用戶選擇了關鍵幀中的一個，則具有上述關鍵幀的片段部分將由標題瀏覽器12b重放顯示。
其間，當沒有輸入搜索字而執(zhí)行導航瀏覽器時，包含于當前打開的描述方案中的所有片段(級別0到2)的關鍵幀都會在導航瀏覽器12d中顯示，對應于具有所選關鍵幀的部分的片段將由標題瀏覽器12b重放顯示。
上述的瀏覽方法可以概括如下。
首先，在當前打開的描述方案中執(zhí)行搜索，這分為兩種情況，一種情況是使用描述方案中的關鍵字/標題進行搜索和瀏覽，另一種是利用用戶定義的關鍵字進行搜索和瀏覽。
第二，在數(shù)據(jù)庫14中進行與一個查詢相匹配的片段的搜索和瀏覽，這分為兩種情況，一種是通過選擇描述方案中存在的關鍵字或標題而進行搜索和瀏覽，而另一種是使用用戶輸入的文本在數(shù)據(jù)庫14中搜索和瀏覽。
如上所述，在搜索目錄項目12c中提供關鍵字或標題列表是為了顯示包含于當前打開的描述方案中的全部關鍵字和標題的列表，在這顯示的所有關鍵字和標題將被用于搜索和瀏覽上述資源。
本發(fā)明提供了一種生成多媒體數(shù)據(jù)描述方案的系統(tǒng)，由此帶來了自動生成適合于MPEG-7標準的元數(shù)據(jù)的效果，因為在生成多媒體數(shù)據(jù)描述方案時它生成DDL或BiM文件形式的描述方案。
另外，根據(jù)本發(fā)明，在上述多媒體數(shù)據(jù)描述方案的基礎上提供了一種多媒體數(shù)據(jù)搜索和瀏覽系統(tǒng)，因為該多媒體數(shù)據(jù)搜索和瀏覽可以在DDL或BiM文件形式的描述方案的基礎上執(zhí)行，所以本發(fā)明也提供了一種方便有效的基于適合于MPEG-7的元數(shù)據(jù)的多媒體數(shù)據(jù)資源搜索和瀏覽環(huán)境。
對于本領域的技術人員，很顯然本發(fā)明可以有多種改進和變化。因此，本發(fā)明涵蓋所有的改進和變化，只要這些改進和變化落在所附權(quán)利要求及其等同物的范圍之內(nèi)。
權(quán)利要求
1.一種多媒體數(shù)據(jù)描述方案自動生成設備，包括用戶接口裝置，用于生成多媒體數(shù)據(jù)描述方案；數(shù)據(jù)接口裝置，用于實現(xiàn)用戶接口裝置和該設備之間的數(shù)據(jù)接口；DDL轉(zhuǎn)換和生成裝置，用于為通過用戶接口裝置選擇的預定多媒體數(shù)據(jù)生成DDL類型的描述方案；二進制格式轉(zhuǎn)換和生成裝置，用于為通過用戶接口裝置選擇的預定多媒體數(shù)據(jù)生成二進制格式(BiM)的描述方案；DDL分析裝置，用于分析DDL類型的描述方案并提供給數(shù)據(jù)接口裝置；以及二進制格式解碼裝置，用于對二進制格式的描述方案進行解碼并提供給數(shù)據(jù)接口裝置。
2.根據(jù)權(quán)利要求1所述的自動生成設備，其中的多媒體數(shù)據(jù)描述方案描述了多媒體數(shù)據(jù)的分級摘要信息。
3.根據(jù)權(quán)利要求1所述的自動生成設備，其中的多媒體數(shù)據(jù)描述方案是基于附加描述的描述方案，所述附加描述包括多媒體數(shù)據(jù)的預定場景或部分的標題/關鍵字。
4.根據(jù)權(quán)利要求1所述的自動生成設備，其中用戶接口裝置提供了多媒體資源的顯示；多媒體資源的時間和關鍵字信息的選擇或輸入；提供片段信息、片段的級別和位置信息，和用于描述上述多媒體數(shù)據(jù)信息的信息；并基于所有這些信息生成描述方案，以自動生成多媒體數(shù)據(jù)描述方案。
5.根據(jù)權(quán)利要求1所述的自動生成設備，其中用戶接口裝置為多媒體資源生成DDL類型或者BiM類型的描述方案，或者同時為多媒體資源生成BiM類型和DDL類型的描述方案，以自動生成多媒體數(shù)據(jù)描述方案。
6.根據(jù)權(quán)利要求1所述的自動生成設備，其中多媒體數(shù)據(jù)的提要片段和描述方案是由用戶接口裝置生成的。
7.根據(jù)權(quán)利要求1所述的自動生成設備，其中多媒體數(shù)據(jù)描述方案由用戶接口裝置進行修改和刪除。
8.一種多媒體數(shù)據(jù)搜索和瀏覽設備，包括DDL分析裝置，用于對描述為DDL類型描述方案的DDL型多媒體數(shù)據(jù)瀏覽描述方案進行分析；二進制格式解碼裝置，用于對描述為二進制格式描述方案的二進制格式多媒體數(shù)據(jù)瀏覽描述方案進行解碼；數(shù)據(jù)存儲裝置，用于根據(jù)分析過的DDL類型描述方案或者經(jīng)過解碼的二進制格式描述方案瀏覽多媒體數(shù)據(jù)；瀏覽器接口裝置，用于根據(jù)存儲于數(shù)據(jù)存儲裝置中的多媒體描述方案輸出用戶請求，以及據(jù)此的搜索結(jié)果。
9.根據(jù)權(quán)利要求8所述的多媒體數(shù)據(jù)搜索和瀏覽設備，其中用于搜索和瀏覽的接口裝置包括選擇多媒體資源的裝置；為選定的多媒體資源選擇瀏覽方法或方式的裝置；以及根據(jù)選擇的多媒體資源和瀏覽方法或方式搜索并顯示多媒體的裝置。
10.根據(jù)權(quán)利要求9所述的多媒體數(shù)據(jù)搜索和瀏覽設備，其中，接口裝置在所選多媒體數(shù)據(jù)的描述方案的基礎上顯示關鍵幀以代表多媒體數(shù)據(jù)的特定部分，并重放和顯示關鍵幀所代表的部分。
11.根據(jù)權(quán)利要求9所述的多媒體數(shù)據(jù)搜索和瀏覽設備，其中，接口裝置對瀏覽方法或方式的選擇，以及據(jù)此的搜索和瀏覽是通過在關鍵字或標題列表中的選擇，或者通過搜索并顯示用戶輸入的關鍵字的片段而執(zhí)行的。
12.根據(jù)權(quán)利要求9所述的多媒體數(shù)據(jù)搜索和瀏覽設備，其中，當多媒體數(shù)據(jù)描述方案提供了分級摘要時，接口裝置執(zhí)行基于該分級摘要的片段搜索和顯示。
13.根據(jù)權(quán)利要求8所述的多媒體數(shù)據(jù)搜索和瀏覽設備，進一步包含轉(zhuǎn)換裝置，用于把存儲于數(shù)據(jù)存儲裝置中的描述方案轉(zhuǎn)換為數(shù)據(jù)庫；描述方案數(shù)據(jù)庫，作為數(shù)據(jù)庫存儲轉(zhuǎn)換后的描述方案；查詢接口裝置，通過瀏覽器接口裝置，根據(jù)用戶查詢來從數(shù)據(jù)庫中瀏覽適合于該用戶查詢的多媒體數(shù)據(jù)。
14.根據(jù)權(quán)利要求13所述的多媒體數(shù)據(jù)搜索和瀏覽設備，其中，所述用于搜索和瀏覽的接口裝置包括用于選擇多媒體資源的裝置；用于選擇所選多媒體資源的瀏覽方法或方式的裝置；以及根據(jù)選定的多媒體資源和瀏覽方法或方式搜索并顯示多媒體的裝置。
15.根據(jù)權(quán)利要求13所述多媒體數(shù)據(jù)搜索和瀏覽設備，其中，接口裝置在所選多媒體數(shù)據(jù)的描述方案的基礎上顯示關鍵幀以代表多媒體數(shù)據(jù)的提要片段，并重放和顯示關鍵幀所代表的部分。
16.根據(jù)權(quán)利要求13所述的多媒體數(shù)據(jù)搜索和瀏覽設備，其中接口裝置進行的搜索和瀏覽方法或方式選擇，以及據(jù)此進行的搜索和瀏覽是通過在關鍵字或標題列表中選擇，或者通過搜索并顯示用戶輸入的關鍵字的片段而進行的。
17.根據(jù)權(quán)利要求13所述的多媒體數(shù)據(jù)搜索和瀏覽設備，其中，當多媒體數(shù)據(jù)描述方案提供了分級摘要時，接口裝置執(zhí)行基于該分級摘要的片段搜索和顯示。
全文摘要
提供了一種自動生成多媒體數(shù)據(jù)描述方案(DS)的系統(tǒng)，以及一種基于該多媒體數(shù)據(jù)描述方案(DS)對多媒體數(shù)據(jù)進行搜索和瀏覽的系統(tǒng)，該生成系統(tǒng)提供信息以描述多媒體數(shù)據(jù)，該瀏覽系統(tǒng)允許用戶基于該多媒體數(shù)據(jù)描述方案(DS)而搜索和瀏覽所需數(shù)據(jù)，該瀏覽系統(tǒng)包括DDL分析裝置、二進制格式解碼裝置、數(shù)據(jù)存儲裝置、瀏覽器接口裝置等等。
文檔編號G06F17/30GK1430159SQ02154818
公開日2003年7月16日 申請日期2002年11月28日 優(yōu)先權(quán)日2001年12月29日
發(fā)明者金株玟, 金賢俊, 樸起洙 申請人:Lg電子株式會社