專利名稱：內(nèi)容訪問樹的制作方法
內(nèi)容訪問樹相關申請的交叉引用本申請要求于2006年3月9日提交的、美國臨時申請序列號為第 60/780,818號的權益，其整體以引用的方式并入本文。技術領域本原理一般涉及圖像顯示系統(tǒng)和方法，更具體地，涉及用于對視頻流的 片段、場景和各個幀的圖像和屬性進行分類并顯示的系統(tǒng)和方法。
背景技術：
近來，消費視頻產(chǎn)品已從模擬盒式磁帶演變?yōu)閿?shù)字格式。數(shù)字視頻光盤 (DVD )形式的視頻是目前最流行的格式。近來已引入了新的較高密度的視 頻格式，例如Blu-RayTM和高清晰度數(shù)字視頻光盤(HD-DVD )。被翻譯成某一格式以供消費者使用的數(shù)字視頻數(shù)據(jù)在出售之前一般被 數(shù)字壓縮并編碼。通常，該編碼包括某種形式的壓縮。在DVD的情況下， 使用MPEG-2標準來對視頻進行編碼。另夕卜，Blu-Ray 和HD-DVD格式也 將數(shù)據(jù)以編碼后的形式存儲在光盤上。但是，由于壓縮系統(tǒng)的復雜性，以及 期望達到最高壓縮同時又保持最高的視頻質(zhì)量，因此必須進行一次對一幀或 一個場景的大量編碼。通常，特征長度的戲劇發(fā)行物的Blu-Ray 和HD-DVD 壓縮可以花去8小時以上的時間來編碼。在視頻場景被編碼后，為了精確，產(chǎn)生的編碼后的視頻必須被校驗。一 般來說，具有大量運動物體的場景需要較低的編碼速率，以確保編碼后的幀 每個都正確顯示在最終的產(chǎn)品中。因此，通常使用用于查看和編碼視頻的軟件程序。傳統(tǒng)上，與圖像制作工作有關的大多數(shù)用戶界面包括兩個主要的特征 時間軸(timeline)和預覽窗口。 一般來說，當用戶通過沿著時間軸的軸來移 動時間軸光標直到期望的幀出現(xiàn)在預覽窗口中，從而使用時間軸來隨機訪問 單個不同的幀時，用戶能夠僅查看來自視頻內(nèi)容流的一幀。盡管這為用戶提
供了對視頻流內(nèi)容的隨機訪問，但是其需要用戶注意時間軸和預覽窗口兩 者。另外，用戶必須通過滾動時間軸來搜索特定的幀或場景。這樣的訪問效 率低下又可以是耗時的。2003年4月22日公告的Ishikawa的美國專利No.6,552,721描述了 一種 用于切換包括由正被編輯的文件參考的多組節(jié)點的文件顯示器(file scope ) 的系統(tǒng)。另外，場景圖編輯工具允許用戶顯示參考正被編輯的VRML內(nèi)容 的節(jié)點的分級樹格式。2004年8月10日公告的Bates等人的美國專利No.6,774，908公開了 一 種用于允許用戶指定連續(xù)幀中要被跟蹤的視頻幀的部分以使得可以補償重 放、照明和解壓縮的質(zhì)量的圖像處理系統(tǒng)。2006年1月26日提交的Stark等人的美國專利申請No.20060020962公 開了一種用于展示與各種形式的多媒體內(nèi)容有關的信息的圖形用戶界面。1999年10月14日提交的French等人的美國專利申請No.1999052050 公開了使用說明相關可視元素的時間和空間值的圖來代表可視場景。French 等人的申請還公開了通過縮放和剪輯時間事件時刻來進行可視場景數(shù)據(jù)的 時間變換。沒有現(xiàn)有技術提供用于高效并隨機地訪問視頻流的已知部分的任何系 統(tǒng)和方法。所需要的是能夠以分級方式顯示視頻內(nèi)容數(shù)據(jù)的用戶友好界面。 另外，這樣的用戶界面應當允許用戶或者自動或者手動地將場景、幀等分成 邏輯組，這些邏輯組可以基于被這樣的場景或幀包括的可視數(shù)據(jù)的屬性來被 訪問和分析。由于處理完整的特征長度的視頻所需的時間，理想的系統(tǒng)也將 允許用戶有選擇地處理視頻的任何部分并顯示故事情節(jié)以便高效導航。發(fā)明內(nèi)容本原理的目的在于以分級式顯示視頻內(nèi)容的各部分。根據(jù)本發(fā)明的一方面，提供了一種如下的方法表示具有至少一個片段 的視頻流的一部分，該片段具有至少一個場景，該場景具有至少一個幀；以 及格式化該至少一個片段、場景和幀，以使得該視頻流的至少一個片段被指 定為活動片段，并且用于顯示的場景是該活動片段的一部分。根據(jù)本發(fā)明的另一方面，提供了一種用戶界面，其通過分級格式來處理 并編碼視頻流數(shù)據(jù)。該分級格式包括代表來自視頻流的多個場景的至少一
個類(class)縮略(thumbnail)圖像，每個類縮略圖像具有至少一個相關信 息條；代表類中的場景的至少一個場景縮略圖像，每個場景具有至少一個幀， 每個場景縮略圖像具有至少一個相關信息條；至少一個幀縮略圖像，每個幀 縮略圖像代表場景中的幀，每個幀縮略圖像具有至少一個相關信息條。此夕卜， 此方面可以包括顯示相關縮略圖像的幀號、幀時間和類信息的每個信息條。 根據(jù)本發(fā)明的另 一方面，提供了 一種用于通過分級格式在圖形用戶界面 中顯示視頻流數(shù)據(jù)的方法，該方法包括顯示代表場景的至少一個場景縮略 圖像，每個場景具有至少一個幀；顯示至少一個幀縮略圖像，每個幀縮略圖 像代表所述場景中的幀；以及顯示至少一個類別(category),每個類別具有 至少一個場景。此方面還可以包括顯示代表順序數(shù)字圖像的片段的至少一 個片段縮略圖像，每個片段具有至少一個場景，其中所顯示的每個場景是片 段的一部分。在這個方面中，該方法可選地包括加載視頻流數(shù)據(jù)，自動確定 每個片段的起始和末尾，以及自動確定每個場景的起始和末尾。此方面還可 以包括顯示至少 一個用于允許用戶對視頻流的至少 一部分進行編碼的按 鈕。


在考慮了現(xiàn)在將結合附圖詳細描述的示范性實施例時，本原理的優(yōu)點、 特性和各個附加特征將變得更加完整，附圖中的框圖；圖2是根據(jù)本原理的一個實施例的通過內(nèi)容訪問樹顯示視頻內(nèi)容的示 范性系統(tǒng)的流程圖；圖3是根據(jù)本原理的顯示和處理內(nèi)容訪問樹的數(shù)據(jù)的配置的示范性實 施例的框圖；圖4是示出根據(jù)本原理的單個內(nèi)容訪問樹元素的詳細示范性實施例的框圖；圖5是示出包含本原理的用戶界面的詳細示范性實施例的圖； 圖6是根據(jù)本原理的用于顯示和處理內(nèi)容訪問樹的數(shù)據(jù)的配置的替換 詳細示范性實施例的框圖。應當理解，附圖是用于示出本原理的構思的目的，不必須是示出本原理的僅僅可能的配置。
具體實施方式
本原理提供一種用于以可分級訪問樹顯示來自視頻流的圖像以及允許 編碼和隨后的視頻質(zhì)量的評估和處理的系統(tǒng)和方法。應當理解，根據(jù)視頻顯示系統(tǒng)來描述本原理；但是，本原理的范圍寬得 多并且可以包括能夠顯示或進行用戶交互的任何數(shù)字多媒體系統(tǒng)。此外，本 原理可應用于任何視頻顯示或編輯方法，包括由計算機、電話、機頂盒、衛(wèi) 星鏈路等顯示的數(shù)據(jù)的處理。根據(jù)個人計算機來描述本原理；但是，本原理 的構思可以被擴展到其它交互式電子顯示設備。應當理解，附圖中所示的元件可以被實現(xiàn)為各種形式的硬件、軟件或它 們的結合。優(yōu)選地，這些元件被實現(xiàn)為一個或多個適當編程的通用設備上的 硬件和軟件的結合，這些設備可以包括處理器、存儲器和輸入/輸出接口。本說明書示出了本原理。因而應當理解，本領域技術人員將能夠設計盡 管這里沒有明顯描述或示出、但是包含本原理并包括在其精神和范圍之內(nèi)的 各種配置。這里所述的所有示例和條件語言是為了教導目的，以便幫助讀者理解本 原理和發(fā)明人為促進本領域技術發(fā)展做出貢獻的構思，以及應當被理解為不 限于這樣特定描述的示例和條件。此外，這里描述本原理的原理、方面和實施例的所有描述及其特定示例 意欲包含其結構和功能等價物二者。另外，這樣的等價物意欲包括當前已知 的等價物以及將來發(fā)展的等價物，即任何執(zhí)行相同功能的發(fā)展的元件，而不 管其結構如何。因而，例如本領域技術人員應當理解，這里所示出的框圖代表包含本原 理的原理的示范性模塊的構思圖。相似地，應當理解，任何流程表、流程圖、 狀態(tài)轉(zhuǎn)換圖、偽代碼等代表各種基本上可以表示在計算機可讀介質(zhì)中并因而 由計算機或處理器執(zhí)行的過程，而不管這樣的計算機或處理器是否被明顯地示出?？梢酝ㄟ^使用專用硬件以及能夠聯(lián)合適當?shù)能浖?zhí)行軟件的硬件來提 供圖中所示的各個元素的功能。當由處理器提供時，可以由單個專用處理器、 單個共享處理器或其中的一些可以共享的多個單獨處理器來提供這些功能。
此外，術語"處理器"或"控制器"的明顯使用不應當被解釋為專指能夠執(zhí) 行軟件的硬件，其可以非限制性地暗含包括數(shù)字信號處理器(DSP)硬件、用于存儲軟件的只讀存儲器(ROM)、隨機存取存儲器(RAM)以及非易失 性存儲器。另外，當在顯示器上提供時，該顯示器可以是用于呈現(xiàn)可視信息 的任意類型的^/f牛，其可以非限制性地包括CRT、 LCD、等離子體或LED 顯示器、有機或非有機、以及任何其它已知或還未被開發(fā)出來的顯示設備。這里描述的編碼或壓縮功能可以采用任何形式的數(shù)字兼容編碼或壓縮。 這可以包括、但不限于任何MPEG視頻或音頻編碼、任何無損或有損壓縮或 編碼、或任何其它私有或開放標準編碼或壓縮。還應當理解，術語編碼和壓 縮可以互換使用，這兩個術語都指準備數(shù)據(jù)流為由任意類型的數(shù)字軟件、硬 件或軟件和硬件的結合讀取。也可以包括其它傳統(tǒng)的和/或定制的硬件。相似地，附圖中所示的任何開 關、按鈕或判決塊只是概念性的。它們的功能可以通過程序邏輯的操作、通 過專用邏輯、通過程序控制和專用邏輯的交互、或者甚至是手動地執(zhí)行，具 體的技術可由實施者來選擇，其從上下文可以更具體地理解。在其權利要求中，被表達為用于執(zhí)行特定功能的裝置的任何元件意欲包 含執(zhí)行該功能的任何方式，包括例如a)執(zhí)行該功能的電路元件的結合或b ) 任何形式的軟件，因此包括固件、微代碼等，其與用于執(zhí)行該軟件的適當?shù)?電路結合以執(zhí)行該功能。由這樣的權利要求限定的本原理歸于這樣的事實 由各種所述裝置提供的功能以權利要求要求的方式結合和集合在一起。因而 應當認為任何能夠提供這些功能的裝置等效于這里所示出的那些裝置?，F(xiàn)在詳細參照附圖，其中貫穿幾個視圖中，相似的參考數(shù)字指代相似或 相等的元件。首先參照圖1,描述了根據(jù)本原理的實施例的內(nèi)容訪問樹的元 素層級100的示范性實施例的框圖。首先，對至少一個完整的視頻流101進 行操作。該完整的視頻流可以包括多個文件并且也可以是較大視頻流的一部 分。開始時，應當注意，完整的視頻流101包括一組片段102，其中每個片 ,殳103繼而包4舌一組場景104,其中每個場景105繼而包括一組幀106。完整的視頻流101包括一組片段102，組102具有多個片段103，其中 片段103的總數(shù)包含原始的完整視頻流101的整體。片段103可以是完整視頻流101的一部分的線性表示。例如，每個片段
可以默認地代表五分鐘的視頻流，或者可以代表完整視頻流101的至少五分 鐘，但是在五分鐘標記之后的第一個場景末尾處結束。用戶可以決定默1〖人的 片段長度，用戶也可以編輯自動產(chǎn)生的片段周期。此外，片段可以代表固定 數(shù)量的場景，或者其它合理的分組。例如，在一個有用實施例中，每個片段可以是基于相似的視頻屬性被分類的場景105的非線性類別。在另一個有用實施例中，每個片段103可以是 包括一組根據(jù)任意其它準則邏輯分類的場景104的類。每個片段103包括一組場景104,其中該組場景104包括多個單獨的場 景105。在一個有用實施例中，該場景可以代表完整視頻流101的連續(xù)、線 性部分。相似地，每個場景105包括一組幀106,該組106包括多個單獨的幀107。 在一個具體的有用實施例中，每個幀107是標準^L頻幀。參照圖2，描述了用于以分級格式產(chǎn)生和顯示視頻流的內(nèi)容的系統(tǒng)200 的示范性實施例的流程圖。該系統(tǒng)200在塊201中可以具有非交互部分，在 塊202中具有交互部分。組成該系統(tǒng)結構的單獨的塊組件的細節(jié)對本領域技術人員是公知的，將 僅對其詳細描述到足以理解本原理即可。在該系統(tǒng)的塊201中的非交互部分中，該系統(tǒng)可以在塊203中輸入視頻 內(nèi)容，在塊204中產(chǎn)生視頻內(nèi)容數(shù)據(jù)，以及在塊205中產(chǎn)生內(nèi)容訪問樹的數(shù) 據(jù)。塊201中該系統(tǒng)的非交互部分可以以自動式執(zhí)行，或者可以已經(jīng)存在， 例如由系統(tǒng)200的先前操作來創(chuàng)建，或者由其它輔助或單機系統(tǒng)來創(chuàng)建。當在塊203中輸入視頻內(nèi)容時，該視頻內(nèi)容可以被加載到存儲介質(zhì)中， 例如但是不限于加載到隨機存取存儲器(RAM)、任意類型的計算機可存取 存儲介質(zhì)、計算機網(wǎng)絡或?qū)崟r饋入中。系統(tǒng)200然后可以在塊204中產(chǎn)生-見 頻內(nèi)容數(shù)據(jù)。在塊204中的此產(chǎn)生步驟可以包括檢測場景，產(chǎn)生直方圖，基 于顏色、場景的相似度、比特率、幀分類來對場景和幀進行分類，以及產(chǎn)生 縮略圖。目前，用于自動檢測場景之間的轉(zhuǎn)換的軟件和算法被頻繁使用，并 且對本領域技術人員是公知的。該系統(tǒng)還可以在塊205中產(chǎn)生可用于顯示內(nèi)容訪問樹的數(shù)據(jù)。該數(shù)據(jù)可 以包括但是不限于例如產(chǎn)生管理數(shù)據(jù)元素之間的關系所需的索引、標記或其 它數(shù)據(jù)，用于當顯示視頻內(nèi)容時默認顯示選項，或者用于注解任何視頻數(shù)據(jù)。
在塊204和205中產(chǎn)生的任何數(shù)據(jù)也可以被保存以用作將來使用或再使用， 這樣的保存可以在產(chǎn)生過程期間的任何時刻發(fā)生。這樣的保存特征對本領域 技術人員來說是顯而易見的，因此可以以任何已知方式或未開發(fā)的方式來實現(xiàn)。系統(tǒng)200的交互部分、即塊202然后可以對先前由塊201中的非交互部 分準備的數(shù)據(jù)進行操作。內(nèi)容訪問樹系統(tǒng)200可以在塊206中輸入由系統(tǒng)200 的塊201中的非交互部分產(chǎn)生的凝:據(jù)。顯示的數(shù)據(jù)可以在塊207中采用線性 的形式或時間軸表示，并且在塊209中也可以包括邏輯類別和/或分類顯示。 在一個有用實施例中，顯示時間軸表示和邏輯表示二者以使得用戶可以手動對根據(jù)時間軸選擇的場景進行分類。當在塊208產(chǎn)生時間軸表示時，顯示時間軸，才艮據(jù)該時間軸，在塊209 中允許對片段、場景和幀進行隨機訪問。在塊211中，視頻片段、場景和幀 作為顯示元素顯示給用戶。當在塊209中產(chǎn)生邏輯(分類)表示時，顯示類別或類的表示，并且在 塊210中允許隨機訪問。表示可以由用戶改變或定義，或者可以可替換地自 動產(chǎn)生。例如，可以利用用戶界面向用戶展示自動分類后的類或場景，其中用戶 界面允許對類或場景的自動分類的手動改變。在塊207中的線性(時間軸)表示和塊209中的邏輯(分類)表示兩者 的情況下，則在塊211中顯示片段、場景和幀。在一個有用實施例中，片段 可以被做成活動的，其中場景從活動的片段開始顯示，以及場景可以被做成 活動的，以使得顯示的幀將依賴該活動的場景。另外，可以在塊212中顯示視頻數(shù)據(jù)。在具體的有用實施例中，該視頻 數(shù)據(jù)可以是每個場景和片段的類別或分類屬性。在另一個具體有用的實施例 中，可以顯示與每個幀有關的數(shù)據(jù)。在一個實施例中，這可以利用顏色數(shù)據(jù)、 幀比特率數(shù)據(jù)或任何其它有用的數(shù)據(jù)的形式。然后在塊213中允許用戶導航并選擇顯示器內(nèi)的數(shù)據(jù)。在一個有用實施 例中，可以允許用戶選擇活動的片段，其中所顯示的場景和幀改變?yōu)榉从郴?動片段的內(nèi)容。相似地，在此有用實施例中，用戶可以通過選才奪來改變活動 場景，例如通過在期望的場景上點擊鼠標，從而使得幀包括新選擇的要被顯 示的活動場景。 在塊214中，用戶可以修改與每個片段、場景、幀或類別有關的數(shù)據(jù)。在一個有用實施例中，每個類別可以具有與其相關的默認參數(shù)，例如但是不 限于顏色信息、編碼比特率等等。在一個這樣的有用實施例中，默認參^t可以是這樣的參數(shù)當場景增加到類別中時，默認參數(shù)被應用于新增加的場景。 用戶也可以在塊214中將場景合并到類別中。在一個有用實施例中，包4舌多 個場景的類別可以在編碼過程期間被類似對待。在另一個有用實施例中，用 戶也可以改變場景標記，也就是，指示哪些幀屬于場景，而不考慮自動場景 ;險測過程。在塊213中用戶有機會導航可用的視頻數(shù)據(jù)并且在塊214中做出任何修 改之后，用戶可以在塊215中編碼或再編碼任意一個或所有片段、場景或類 別。編碼或再編碼過程可以發(fā)生在遠程計算機上，或者可以發(fā)生在用戶的計 算機終端上。在一個有用實施例中，片段、場景或類別排隊等候編碼。當特 定部分正被編碼或再編碼時，用戶然后可以查看并驗證視頻數(shù)據(jù)的其它部 分?？梢詾閳鼍暗木幋a分配優(yōu)先級，以允許編碼以非線性的方式進行。在塊 215的編碼和再編碼后，然后再次顯示新編碼的片^:、場景或類別。在一個中編碼后的視頻部分適當顯示。在用戶對所有視頻場景已被適當編碼滿意并 且用戶不再需要在塊214中執(zhí)行數(shù)據(jù)的修改之后，在塊216中完成視頻編碼 工作。在一個有用實施例中，然后可以將視頻放置于主光盤上，用于再現(xiàn)介 質(zhì)的復制和隨后出售?，F(xiàn)在參照圖3，描述了用于以分級格式顯示視頻流的內(nèi)容的界面300的 示范性實施例的圖。組成該系統(tǒng)結構的單獨組件的細節(jié)對本領域技術人員是 已知的，將僅對其詳細描述足以理解本原理即可。諸如菜單、按鈕以及其它且不意欲限制本原理。界面300的元素顯示在可查看的顯示區(qū)域301或顯示器內(nèi)。在一個具體 有用的實施例中，顯示器301可以是但不限于，連接到個人計算機的計算機 監(jiān)視器、膝上型計算機屏幕等等。該顯示器可以包括代表完整視頻流的時間 順序的時間軸302和顯示的片段、場景和幀代表的時間點。時間軸可以包括 時間軸指示器304,其代表當前活動的片段或類以及場景的位置。可以手動 移動時間軸指示器304以訪問與時間軸指示器304移動到的時間對應的片段
和場景。時間軸302還可以包括時間軸條303,其代表視頻流內(nèi)容的長度總 數(shù)。一個具體有用的實施例可以包括顯示包括多個片IS:顯示元素306的一組 片段顯示元素305的顯示器。該片段顯示元素306可以顯示縮略圖或代表片 段的其它可視信息。另外，片段顯示元素306之一可以具有一個或多個附加 可視元素307,以指示由片段顯示元素306表示的片段是活動片段，場景309 是該活動片段的一部分。在一個有用實施例中，指示活動片段的附加可碎見元 素307可以是活動片段周圍的框(block)、輪廓或有色背景。在另一個有用 實施例中，附加可浮見元素307可以用于指示活動場景或幀。該組片段也可以具有與該組相關的一組或多組導航按鈕310。每組導航 按鈕310可以包括單個移動按鈕312和跳躍按鈕311。該單個移動按4丑312 可以左右滾動作為場景組308的一部分被顯示的場景，以允許用戶訪問作為 活動片段或類的一部分但是未被顯示的場景。另外，跳躍按鈕311可以允許 用戶直接前進到片段的起始或末尾處的場景。在一個具體有用的實施例中， 當在片段或類中的場景數(shù)超過可用于顯示場景的空間時，這些按鈕可以是有 用的。另外， 一組這樣的導航按鈕可以與場景和幀相關，并且也可以用于滾 動場景以及幀。一個具體有用的實施例也可以包括顯示包括多個場景顯示元素309的一 組場景顯示元素308的顯示器。該顯示的場景是來自于當前活動的片段或類 的場景，并且可以用附加可一見元素307來表示。該場景顯示元素309可以顯 示縮略圖或代表場景的其它可視信息。另外，場景顯示元素309之一可以具 有一個或多個附加可視元素307,以指示由場景顯示元素309表示的場景是 活動場景，顯示的場景314是該活動場景的一部分。在另 一個具體有用的實施例中，該顯示器也可以顯示具有多個幀顯示元 素314的一組幀313,每個元素顯示不同的幀。在幀顯示元素314中所示的 幀是來自于活動場景的幀，并且通過演變(descendancy)也來自于活動片段 或類。另一個具體有用的實施例可以包括具有多個直方圖316的一組直方圖 315。每個直方圖可以與單獨的幀顯示元素314對應，并且可以顯示與幀顯 示元素314中顯示的幀有關的信息。例如，直方圖可以顯示與比特率、幀顏 色信息等有關的信息。
現(xiàn)在參照圖4，描述了界面顯示元素306的示范性實施例的詳細圖。界 面顯示元素可以用于顯示片段、類、場景的縮略圖表示或單個幀的縮略圖。 該縮略圖可以顯示在縮略圖顯示區(qū)域403中。界面顯示元素306也可以具有 上信息條401和下信息條405。在一個具體有用的實施例中，上信息條401 可以顯示信息402,諸如顯示的縮略圖所代表的在視頻內(nèi)容流內(nèi)的時間。同 樣， 一個具體有用的實施例可以具有下信息條405,顯示諸如在界面顯示元 素306中顯示的縮略圖的幀號的信息。另外，上和下信息條401和405可以 用來傳達與類有關的信息或其它類似信息。例如，信息條401和405可以^皮 著色，以基于與片段、類、場景或幀有關的屬性來指示分類。界面顯示元素306可以另外具有用于顯示附加界面可^L元素404的區(qū) 域?？梢钥蛇x地包括該附加可視元素，以指示哪個片段或類當前是活動的?，F(xiàn)在參照圖5，描述了用戶界面300的一個示范性實施例的圖。在這樣 的用戶界面中，用戶可以能夠通過移動時間軸光標來導航片段、場景和幀。 可替換地，用戶可以簡單地點擊片段以使得場景活動，并且改變顯示的場景 和幀，該顯示的場景和幀是所選片段的一部分。同樣，用戶可以簡單地點擊 場景以選擇該場景作為活動場景，改變所顯示的幀，其中該幀是活動場景的 一部分?，F(xiàn)在參照圖6,描述了根據(jù)本原理的用于顯示和處理內(nèi)容訪問樹的數(shù)據(jù) 的配置的替換示范性實施例的詳細圖。在此實施例中，圖3的界面300可以 包括附加動作或顯示元素?？梢燥@示一組類別604，該組類別604具有多個類別605。每個類別可 以由附加可^L元素來表示，并且屬于每個類別605的場景314可以顯示附加 可視元素以便于用戶仔細觀察。在一個有用實施例中，用戶可以能夠通過拖 拉場景顯示元素309并將其放在相關類別顯示元素605上來對場景309進行 分類。在一個替換實施例中，用戶可以使用鼠標點擊場景顯示元素309并從 下拉菜單中選擇類別605。界面300也可以具有一組或多組動作按鈕601,其包括多個動作4妄4丑 606。 一個或多個動作4姿4丑606可以與每個場景或類別相關。動作按4丑606 可以允許用戶對場景或類別進行排隊，以用于初始編碼、再編碼或濾波。在 一個具體有用的實施例中，初始未被編碼的場景或類別將具有與按鈕606相 關的、用于編碼場景或類別的動作按4丑606。在另一個有用的實施例中，動
作按鈕也可以允許用戶過濾場景或類別。另外，用戶可以右鍵點擊任zf可縮略 圖或信息條，以允許用戶對所選的縮略圖或信息條采取動作或查看與所選的 縮略圖或信息條有關的信息。界面300也可以顯示場景標記602。在一個有用實施例中，場景標記602 以允許用戶可視地辨別出場景的邊界、例如在場景中的幀的分組的方式放 置。在另一個有用實施例中，用戶可以用鼠標點擊場景標記602以創(chuàng)建或去 除場景邊界。在此實施例中，用戶可以選擇場景標記602,以糾正當輸入原 始視頻數(shù)據(jù)時執(zhí)行的自動場景檢測。也可以在界面中顯示幀信息標記603,并且該幀信息標記603與幀314 有關。幀信息標記603可以是幀顯示元素314的一部分，或者可以以關于幀 314的任何其它邏輯關系來顯示幀信息標記603。在一個具體有用的實施例 中，幀編碼類型可以被顯示為文本。例如，幀信息標記可以指示幀被作為總 體壓縮，幀,人兩個其它幀中內(nèi)插，或幀作為另一個幀的接續(xù)(progression) 而#皮壓縮。已經(jīng)描述了以分級方式顯示視頻內(nèi)容的系統(tǒng)和方法的優(yōu)選實施例(其意 在示范且不是限制性的)，應當注意，本領域技術人員根據(jù)上述教導可以做 出修改和變化。因此應當理解，可以對所公開的本原理的具體實施例做出改 變，其落入由所附權利要求書概括的本原理的范圍和精神之內(nèi)。已經(jīng)由此按 照專利法要求的細節(jié)和具體特征描述了本原理，專利權所要求的和所期望保 護的在所附的權利要求書中進行闡述。
權利要求
1、一種方法，包括步驟表示具有至少一個片段(306)的視頻流的一部分，該片段具有至少一個場景(309)，該場景具有至少一個幀(314)；以及格式化該至少一個片段、場景和幀，以使得該視頻流的至少一個片段被指定為活動片段，并且用于顯示的場景是該活動片段的一部分，以及使得一個場景為活動場景，并且用于顯示的幀是該活動場景的一部分。
2、 如權利要求l所述的方法，其中，該至少一個片段(306 )是可選擇 的，以選擇該活動片段，以及其中片段(306)的選擇允許用戶查看該活動 片段的至少一個場景。
3、 如權利要求1所述的方法，還包括利用可視元素(307)指示活動片 段的步驟。
4、 如權利要求l所述的方法，其中，該至少一個場景(309)是用戶可 選擇的，以選擇該活動場景并允許用戶查看該活動場景的至少一個幀。
5、 如權利要求1所述的方法，還包括利用可視元素(307)指示活動場 景的步驟。
6、 如權利要求l所述的方法，還包括將至少一個直方圖(316)與用于 顯示的幀(314)相關聯(lián)的步驟，該直方圖(316)代表該相關幀(314)的 至少一個屬性。
7、 如權利要求1所述的方法，還包括允許用戶編碼該視頻流的至少一 個場景的步驟(606)。
8、 如權利要求7所述的方法，其中，該片段、場景和幀(306, 309, 314)顯示編碼后的視頻流，并且還包括再編碼該視頻流的至少一個場景的 步驟。
9、 如權利要求1所述的方法，還包括利用可視元素表示場景標記(602) 的步驟，其中該場景標記(602)是用戶可選擇的，以確定包括場景的幀。
10、 如權利要求l所述的方法，還包括至少一個類別(605 )，每個類別 (605 )包括至少一個場景，其中包括該類別(605 )的場景是用戶可選擇的。
11、 如權利要求IO所述的方法，其中，該至少一個類別(605 )可以根 據(jù)用戶的選擇被編碼，包括被選類別(605 )的場景被單獨編碼。
12、 如權利要求1所述的方法，還包括利用時間軸(302)選擇活動片 段的步驟，其中該活動場景是能夠使用該時間軸(302)選擇的。
13、 一種用戶界面，包括 分級格式，包括代表來自視頻流的多個場景的至少一個類縮略圖像(306 )，該至少一個 類縮略圖像(306)包括相關信息條(401)并且可由用戶選擇為活動的；代表類中的場景的至少一個場景縮略圖像(309),該場景具有至少一個 幀和相關信息條(401 )，并且可由用戶選擇為活動的，該至少一個場景縮略 圖像包括該活動的類；至少一個幀縮略圖像(314),該幀縮略圖像代表場景中的幀并且具有相 關信息條(401)和相關幀信息標記(603 ),該至少一個幀縮略圖像(314) 包括該活動場景；以及至少一個編碼4要4丑(606),允"^午用戶編碼該^見頻流的至少一部分；以及界面(301),用于顯示至少一個類縮略圖像(306 )、至少一個場景縮略 圖像(309 )、至少一個幀縮略圖像(314)以及至少一個編碼按鈕(606)， 其中片段被指定為活動片段，以使得所顯示的場景包括該活動片段，以及其 中一個場景被指定為活動場景，所顯示的幀包括該活動場景。
14、 如權利要求13所述的用戶界面，其中所述信息條(401 )顯示相關 縮略圖像的幀號和幀時間。
15、 如權利要求13所述的用戶界面，其中與類相關的信息條(401)顯 示與相關的類有關的類信息。
16、 一種方法，包括步驟顯示代表場景的至少一個場景縮略圖像(309),該場景具有至少一個幀； 顯示至少一個幀縮略圖像(314)，該幀縮略圖像代表該場景中的幀；以及顯示至少一個類別(605 )，該類別(605 )包括至少一個場景；以及 顯示交互式用戶界面(301)、至少一個場景縮略圖像(309 )以及至少一個幀縮略圖像(314),其中一個場景被指定為活動場景，并且所顯示的幀是該活動場景的一部分；以及 允許用戶編碼至少一個場景。
17、 如權利要求16所述的方法，該方法還包括顯示代表順序數(shù)字圖像 的片段的至少一個片段縮略圖像(306)，該片段具有至少一個場景，其中所顯示的每個場景是片段的一部分。
18、 如權利要求17所述的方法，該方法還包括 加載視頻流數(shù)據(jù)；自動確定每個片段的起始和末尾；以及 自動確定每個場景的起始和末尾。
19、 如權利要求16所述的方法，還包括顯示時間軸(302),該時間軸代表-見頻流數(shù)據(jù)的至少一部分的長度； 允許用戶通過選擇該時間軸(302)上的時間來確定所顯示的至少一個 場景縮略圖像(309 )和所顯示的至少一個幀縮略圖像(314)。
20、 如權利要求16所述的方法，還包括顯示用于允許用戶對至少一個 類別(605 )內(nèi)的所有場景進行編碼的至少一個按鈕(606)。
21、 如權利要求16所述的方法，還包括手動編輯每個場景的起始和末
全文摘要
提供了一種如下的方法表示具有至少一個片段的視頻流的一部分，該片段具有至少一個場景，該場景具有至少一個幀；以及格式化該至少一個片段、場景和幀，以使得該視頻流的至少一個片段被指定為活動片段，并且用于顯示的場景是該活動片段的一部分。
文檔編號G06F3/14GK101401060SQ200680053766
公開日2009年4月1日 申請日期2006年12月1日 優(yōu)先權日2006年3月9日
發(fā)明者哈?！·沃頓-阿利, 阿南德·卡普爾 申請人:湯姆森特許公司