專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和圖像處理方法。
背景技術(shù)：
利用圖像采集設(shè)備釆集諸如人、物體或風(fēng)景的對(duì)象，并且利用
JPEG標(biāo)準(zhǔn)、JPEG 2000標(biāo)準(zhǔn)等壓縮所采集的靜止圖像，以便存儲(chǔ)在記 錄介質(zhì)中。作為記錄介質(zhì)，可用的有裝入圖像釆集設(shè)備中的內(nèi)部存儲(chǔ) 器、可拆卸地附裝于圖像釆集設(shè)備的可拆卸記錄介質(zhì)等等。
然后，用戶使用計(jì)算機(jī)將存儲(chǔ)在這種記錄介質(zhì)中的靜止圖像數(shù)據(jù) 共同移動(dòng)(存檔)到諸如硬盤或光盤的大容量記錄介質(zhì)中。此外，近年 來，諸如高帶寬線路或高速線路的寬帶線路已經(jīng)隨著網(wǎng)絡(luò)技術(shù)的進(jìn)步 而風(fēng)靡。用戶利用這種寬帶線路以電子郵件傳送具有較大數(shù)據(jù)長度的 靜止圖像，或?qū)D像上載到普通WEB站點(diǎn)以及由個(gè)人或小組操作和更 新的類似日記的WEB站點(diǎn)(日志)。
利用這些不同的使用情況，用戶使用圖像管理軟件應(yīng)用程序來管 理大量靜止圖像，這些靜止圖像通過按釆集日期分類，以一種易于搜 索和易于瀏覽的方式存儲(chǔ)在大容量記錄介質(zhì)中。根據(jù)需要，用戶利用 圖像編輯軟件應(yīng)用程序來編輯目標(biāo)靜止圖像。
可以利用可在諸如硬盤或光盤的大容量記錄介質(zhì)中存儲(chǔ)通過數(shù) 字地面廣播/數(shù)字衛(wèi)星廣播，或通過網(wǎng)絡(luò)傳送可以得到的節(jié)目的計(jì)算機(jī) 或機(jī)頂盒，來使用戶隨時(shí)欣賞期望的節(jié)目。
在這種環(huán)境中，可能存在用戶從多個(gè)存儲(chǔ)的節(jié)目中搜索特定節(jié) 目，以便只觀看目標(biāo)特定節(jié)目中的特定畫面的情況。在這種情況下， 多個(gè)節(jié)目按記錄日期和節(jié)目類別(體育、戲劇、新聞等)來分類顯示， 而且按縮略圖查看方式顯示相應(yīng)節(jié)目的相應(yīng)畫面的第一屏幕，從而使
6用戶選擇其期望的畫面。
這樣，隨著靜止圖像數(shù)據(jù)或記錄節(jié)目的數(shù)量的增加，對(duì)于用戶來 說很難從大量數(shù)據(jù)中找到特定數(shù)據(jù)。因此，提出了與用戶友好的顯示
界面有關(guān)的技術(shù)(參照例如專利文獻(xiàn)1到3)。除了專利文獻(xiàn)1到3的技術(shù)， 還已知一種分析靜止圖像本身并且根據(jù)分析所獲取的其特征量按分 類方式在顯示屏幕上排列的技術(shù)。
專利文獻(xiàn)l: W02000/033455
專利文獻(xiàn)2: W02000/033570
專利文獻(xiàn)3: W02000/033572
然而，在靜止圖像數(shù)據(jù)或節(jié)目數(shù)據(jù)的數(shù)量變得極大的情況下，為 了實(shí)現(xiàn)用戶友好的顯示界面，簡單地按采集日期、記錄日期、類別等 分類靜止圖像數(shù)據(jù)或節(jié)目數(shù)據(jù)還不夠。
此外，尚未公開在將被管理的數(shù)據(jù)是活動(dòng)圖像(視頻數(shù)據(jù))情況下 如何進(jìn)行分類和顯示以便實(shí)現(xiàn)用戶友好的顯示界面的技術(shù)。此外，利 用常規(guī)顯示界面，對(duì)用戶來說難以直觀地識(shí)別整個(gè)活動(dòng)圖像具有什么 特征，或用戶期望的特定畫面位于整個(gè)活動(dòng)圖像的何處。

發(fā)明內(nèi)容
考慮到上述各點(diǎn)而產(chǎn)生了本發(fā)明，本發(fā)明的目的是提供能夠便于 視頻數(shù)據(jù)的搜索或管理的圖像處理設(shè)備和圖像處理方法。
為解決以上問題，根據(jù)本發(fā)明的一個(gè)方面，提供了一種圖像處理 設(shè)備，其特征在于包含獲取裝置，該裝置用于獲取表示視頻數(shù)據(jù)或 音頻數(shù)據(jù)的特征的特征參數(shù)或與所述視頻數(shù)據(jù)或音頻數(shù)據(jù)關(guān)聯(lián)的相 關(guān)參數(shù)、以及所述視頻數(shù)據(jù)；以及元數(shù)據(jù)生成裝置，該裝置用于利用 從所述特征參數(shù)指示的特征值或所述相關(guān)參數(shù)指示的相關(guān)值轉(zhuǎn)換的 坐標(biāo)參數(shù)，從通過所述獲取裝置獲取的特征參數(shù)或相關(guān)參數(shù)中生成元 數(shù)據(jù)，以便通過由顯示軸限定的顯示空間上的顯示窗口顯示所述視頻 數(shù)據(jù)，所述顯示軸由通過所述獲取裝置獲取的所述特征參數(shù)或相關(guān)參 數(shù)來確定。此外，根據(jù)本發(fā)明的另一個(gè)方面，提供了圖像處理方法，其特征在于包含獲取表示視頻數(shù)據(jù)或音頻數(shù)據(jù)的特征的特征參數(shù)，或與驟；以及元數(shù)據(jù)生成步驟，該步驟中利用從所述特征參數(shù)指示的特 征值或所述相關(guān)參數(shù)指示的相關(guān)值轉(zhuǎn)換的坐標(biāo)參數(shù)，從所述獲取步驟 中獲取的特征參數(shù)或相關(guān)參數(shù)中生成元數(shù)據(jù)，以便通過由顯示軸限定 的顯示空間上的顯示窗口顯示所述視頻數(shù)據(jù)，所述顯示軸由所述獲取 步驟中獲取的所述特征參數(shù)或相關(guān)參數(shù)來確定。根據(jù)本發(fā)明，視頻數(shù)據(jù)可被以容易理解和用戶友好的形式顯示給 用戶，所述容易理解和用戶友好的形式使用戶直觀地識(shí)別所述視頻數(shù) 據(jù)的特征，其利于視頻數(shù)據(jù)的搜索或管理。


圖l是示出根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備的結(jié)構(gòu)的示意框圖。圖2是示出根據(jù)本發(fā)明的實(shí)施例的編輯屏幕的結(jié)構(gòu)的示意圖。 圖3是示出圖像組的示意圖。圖4是示出了第一種結(jié)構(gòu)例子的示意框圖，其中微處理器和GPU實(shí)現(xiàn)了視頻數(shù)據(jù)的顯示功能。圖5是示出了第二種結(jié)構(gòu)例子的示意框圖，其中微處理器和GPU實(shí)現(xiàn)了視頻數(shù)據(jù)的顯示功能。圖6是示出了第三種結(jié)構(gòu)例子的示意框圖，其中微處理器和GPU實(shí)現(xiàn)了視頻數(shù)據(jù)的顯示功能。圖7是示出了元數(shù)據(jù)提取部分的結(jié)構(gòu)的示意框圖。圖8是用來說明由平均值計(jì)算部分執(zhí)行的處理的示意圖。圖9是用來說明由運(yùn)動(dòng)檢測部分執(zhí)行的處理的示意圖。圖10是示出了運(yùn)動(dòng)檢測部分的另一種結(jié)構(gòu)的示意框圖。圖ll是用來說明由運(yùn)動(dòng)信息計(jì)算部分執(zhí)行的處理的示意圖。圖12是示出了頻率分析部分的結(jié)構(gòu)的示意框圖。圖13是用來說明由密度信息計(jì)算部分執(zhí)行的處理的示意圖。圖14是用來說明HLS空間的示意圖。圖15是示出了元數(shù)據(jù)文件的內(nèi)容的表格。圖16是示出了構(gòu)成視頻數(shù)據(jù)的圖片(靜止圖像)的顯示處理過程 的流程圖。圖17(A)到17(G)是每個(gè)都示出了三維顯示空間中的顯示軸的示意圖。圖18是示出了位于接近DCT水平頻率軸的圖像組的放大顯示例 子的示意圖。圖19是示出了位于接近R軸的圖像組的放大顯示例子的示意圖。圖20是示出了位于接近G軸的圖像組的放大顯示例子的示意圖。圖21是示出了視頻數(shù)據(jù)的顯示處理過程的流程圖。圖22是示出了多個(gè)視頻數(shù)據(jù)的顯示處理過程的流程圖。圖23是用來說明顯示窗口的運(yùn)動(dòng)的示意圖。圖24是示出了坐標(biāo)補(bǔ)償處理過程的流程圖。圖25是示出了畫面改變的示意圖。圖26是用來說明畫面改變時(shí)的顯示窗口的移動(dòng)的示意圖。 圖27是示出了重新配置處理過程的流程圖。 圖28是示出了重新配置前后的圖像組的示意透視圖。 圖29(A)到29(C)是用來說明成組顯示處理的示意圖。 圖30是示出了成組顯示處理過程的流程圖。圖31是示出了當(dāng)三維顯示空間移動(dòng)，同時(shí)顯示窗口保持固定不動(dòng) 時(shí)所獲取的顯示例子(l)的示意圖。圖32是示出了當(dāng)三維顯示空間移動(dòng)，同時(shí)顯示窗口保持固定不動(dòng) 時(shí)所獲取的顯示例子(2)的示意圖。圖33是示出了當(dāng)三維顯示空間移動(dòng)，同時(shí)顯示窗口保持固定不動(dòng) 時(shí)所獲取的顯示例子(3)的示意圖。圖34是示出了保持顯示窗口固定不動(dòng)的同時(shí)，所執(zhí)行的視頻數(shù)據(jù) 的顯示處理過程的流程圖。圖35是示出了擴(kuò)大的顯示窗口中的顯示例子的示意圖。圖36是示出全部軌跡顯示模式中的顯示圖案(1)的示意圖。圖37是示出了軌跡顯示處理過程的流程圖。圖38是示出過去一側(cè)的軌跡的示意圖。圖39是示出將來一側(cè)的軌跡的示意圖。圖40是示出全部軌跡的示意圖。圖41是示出全部軌跡顯示模式中的顯示圖案(2)的示意圖。圖42是示出全部軌跡顯示模式中的顯示圖案(3)的示意圖。圖43是示出全部軌跡顯示模式中的顯示圖案(4)的示意圖。圖44是利用代表畫面示出軌跡顯示例子的示意圖。圖45是示出包含畫面改變的軌跡顯示例子的示意圖。圖46(A)到46(C)是每個(gè)都示出移動(dòng)速度控制例子的示意圖。圖47是示出包含時(shí)間代碼的軌跡顯示的例子的示意圖。圖48(A)到48(C)是用來說明顯示窗口控制處理的示意圖。圖49是根據(jù)本發(fā)明的另一個(gè)實(shí)施例、用來說明二維顯示空間的示意圖。圖50是根據(jù)本發(fā)明的另 一個(gè)實(shí)施例、示出四維顯示空間的示意圖。圖51是根據(jù)另一個(gè)實(shí)施例、用來說明與水平滾動(dòng)條的移動(dòng)同時(shí)操 作的顯示窗口移動(dòng)顯示處理的示意圖。圖52是用來說明可應(yīng)用的應(yīng)用程序的示意圖。 圖53是示出當(dāng)利用相關(guān)參數(shù)時(shí)所獲取的顯示例子(1)的示意圖。 圖54是示出當(dāng)利用相關(guān)參數(shù)時(shí)所獲取的顯示例子(2)的示意圖。 圖55是示出當(dāng)利用相關(guān)參數(shù)時(shí)所獲取的顯示例子(3)的示意圖。
具體實(shí)施方式
下面參照附圖詳細(xì)描述本發(fā)明的實(shí)施例。 (l)圖像處理系統(tǒng)的結(jié)構(gòu)如圖l所示，附圖標(biāo)記l表示根據(jù)本發(fā)明的實(shí)施例的圖像處理系統(tǒng)，其概略地包含圖像處理設(shè)備2、存儲(chǔ)單元22和多個(gè)磁帶錄像機(jī)231 到23n。圖像處理系統(tǒng)1被配置成通過圖像處理設(shè)備2將記錄在錄像帶上 的部分或全部AV(聽覺/視覺)數(shù)據(jù)作為一個(gè)剪輯加載到采用RAID(冗 余陣列磁盤機(jī))技術(shù)的大容量存儲(chǔ)單元22中，或?qū)⒂涗浽阡浵駧系撵o 止圖像數(shù)據(jù)加載到存儲(chǔ)單元22上。進(jìn)一步地，圖像處理系統(tǒng)l被配置成創(chuàng)建指定編輯內(nèi)容的編輯列 表，以便通過連接期望狀態(tài)下的、加載到存儲(chǔ)單元22上的AV數(shù)據(jù)來 獲取期望的編輯的視頻和音頻，并且此外，根據(jù)創(chuàng)建的編輯列表實(shí)際 執(zhí)行編輯處理，以及將所獲取的AV數(shù)據(jù)在存儲(chǔ)單元22中存儲(chǔ)為新剪 輯或通過磁帶錄像機(jī)231到23n中的任何一個(gè)將AV數(shù)據(jù)記錄在錄像帶 上。在這種情況下，在圖^f象處理系統(tǒng)l中，GPU 4、 EXR (極速數(shù)據(jù) 率)-RAM以及南橋6被連接到微處理器3上。硬盤驅(qū)動(dòng)器7、 USB接口8 以及音頻I/0編解碼器9被連接到南橋6上。揚(yáng)聲器41被連接到音頻I/0 編解碼器9上。此外，鼠標(biāo)38、鍵盤39、磁帶錄像機(jī)231到23n、記錄裝置22以及 操作控制器37通過PCI總線15被連接到南橋上。顯示器40被連接到 GPU 4上。微處理器3是一個(gè)多核處理器，其中用于執(zhí)行諸如OS(操作系統(tǒng)) 的基本程序的通用主CPU核心3M、通過內(nèi)部總線12被連接到主CPU 核心3M上的RISC(精簡指令集計(jì)算機(jī))類型的多個(gè)(在該情況中8個(gè))信 號(hào)處理處理器(此后被稱作"子CPU核")3SA到3SH、用于在具有例如 256[MByte的容量的XDR-RAM 5上執(zhí)行存儲(chǔ)器控制的存儲(chǔ)控制器 13，以及用于管理其自身與南橋6之間的數(shù)據(jù)輸入和輸出的I/0 (輸入/ 輸出)控制器14被集成到一個(gè)芯片中。該微處理器3以工作頻率例如 4[GHzI工作。圖像處理系統(tǒng)1的微處理器3主要充當(dāng)兼容諸如MPEG-2或 H.264/ AVC(高級(jí)視頻編碼)的現(xiàn)有視頻標(biāo)準(zhǔn)的編解碼器，并且被配置成將作為解碼處理結(jié)果所獲取的視頻數(shù)據(jù)的重放圖像傳送給GPU 4， 改變諸如視頻數(shù)據(jù)的重放圖像的重放速度(稍后描述)的設(shè)置，傳送靜 止圖像數(shù)據(jù)給GPU4，或執(zhí)行物理仿真。尤其，在微處理器3中，8個(gè)子CPU核3SA到3SH充當(dāng)通過編碼視 頻數(shù)據(jù)而獲得的視頻流的解碼器，并且可并行解碼HD(高清晰度)視頻 流。被配置成執(zhí)行不同于由8個(gè)子CPU核3SA到3SH所執(zhí)行的那些處 理或管理的主CPU核3M通過南橋6接收從鼠標(biāo)38、鍵盤39或操作控制 器37中提供的指令，并且根據(jù)所接收的指令執(zhí)行各種處理。如上所述，微處理器3被配置成能夠利用8個(gè)子CPU核3SA到3SH 并行解碼視頻流，并且利用高帶寬總線10以高達(dá)30[GByte/secj的傳送 速率在微處理器3和GPU4之間傳送數(shù)據(jù)。即，可以快速地解碼和傳送多個(gè)高清晰度視頻流。GPU 4執(zhí)行有關(guān)當(dāng)待顯示在顯示器40上的視頻數(shù)據(jù)的重放圖像 被移動(dòng)時(shí)所需的紋理粘貼的最后著色處理，當(dāng)在顯示器40上顯示視頻 數(shù)據(jù)的重放圖像或靜止圖像數(shù)據(jù)的靜止圖像時(shí)所需的坐標(biāo)變換計(jì)算， 以及視頻數(shù)據(jù)的重放圖像或靜止圖像數(shù)據(jù)的靜止圖像的放大/縮小處 理，從而減少微處理器3的處理負(fù)荷。實(shí)際上，啟動(dòng)時(shí)，微處理器3讀出存儲(chǔ)在硬盤驅(qū)動(dòng)器7中的所需應(yīng) 用程序，并且基于硬盤驅(qū)動(dòng)器7中的控制程序開發(fā)XDR-RAM 5中的應(yīng) 用程序，之后基于應(yīng)用程序和用戶操作執(zhí)行所需控制處理。當(dāng)用戶通過鼠標(biāo)38、鍵盤39或操作控制器37輸入用于將記錄在錄 像帶上的AV流輸入到存儲(chǔ)單元22中的剪輯捕獲窗口的顯示指令時(shí)， 微處理器3相應(yīng)地控制硬盤驅(qū)動(dòng)器7，以便讀出相應(yīng)于顯示指令的AV 數(shù)據(jù)，并且同時(shí)控制GPU 4基于AV數(shù)據(jù)在顯示器40上顯示剪輯捕獲窗 口 。在這種狀態(tài)下，在用戶通過鼠標(biāo)38、鍵盤39或操作控制器37輸入 磁帶錄像機(jī)231到23n的重放操作指令時(shí)，微處理器3相應(yīng)地控制磁帶 錄像機(jī)231到23n,以便執(zhí)行記錄在錄像帶上的AV數(shù)據(jù)的重放操作。結(jié)果，順序地通過PCI總線15、南橋6和微處理器3，將從裝入磁 帶錄像機(jī)231到23n中的錄像帶重放的AV流從磁帶錄像機(jī)輸出給GPU 4。GPU 4在微處理器3的控制下應(yīng)用預(yù)定信號(hào)處理到所提供的視頻 數(shù)據(jù)，并且將所得到的視頻數(shù)據(jù)發(fā)送給顯示器40,從而在剪輯捕獲窗 口中的預(yù)定位置處顯示基于視頻數(shù)據(jù)的重放圖像。同時(shí)，微處理器3 將從AV數(shù)據(jù)中提取的音頻信號(hào)通過音頻I/0編解碼器9發(fā)送給揚(yáng)聲器 41,從而從揚(yáng)聲器41輸出基于音頻信號(hào)的音頻。因此，用戶在觀看顯示在顯示器40上的視頻數(shù)據(jù)的重放圖像， 以及收聽從揚(yáng)聲器41輸出的音頻數(shù)據(jù)的重放聲音的同時(shí)，可以利用鼠 標(biāo)38、鍵盤39或操作控制器37指定期望的重放視頻/音頻部分作為一個(gè) 剪輯，并且可以將包含IN點(diǎn)和OUT點(diǎn)的時(shí)間代碼、剪輯長度、剪輯ID、 剪輯名稱、A V數(shù)據(jù)的拍攝時(shí)間和剪輯的創(chuàng)建時(shí)間的管理信息寄存為 元數(shù)據(jù)。該剪輯管理信息在微處理器3的控制下被寄存在硬盤驅(qū)動(dòng)器7 中的剪輯管理數(shù)據(jù)庫中。雖然稍后詳細(xì)描述，但是微處理器3可以不僅寄存上述剪輯管理 信息，而且還將構(gòu)成AV數(shù)據(jù)的視頻數(shù)據(jù)的各種參數(shù)的特征量寄存為 元數(shù)據(jù)文件。之后，當(dāng)用戶通過鼠標(biāo)38、鍵盤39或操作控制器37輸入AV流的 捕捉指令時(shí)，微處理器3相應(yīng)地控制磁帶錄像機(jī)231到23n以便重放指 定的AV流。結(jié)果，從磁帶錄像機(jī)231到23n輸出從錄像帶重放的AV流中包含 的視頻流或音頻流。然后，順序地通過PCI總線15、南橋6、微處理 器3和總線10，將視頻流提供給GPU4。利用鼠標(biāo)38、鍵盤39或操作控制器37,用戶可以通過預(yù)定操作在 顯示器40上顯示用于執(zhí)行編輯工作的編輯窗口(稍后描述)，從而可創(chuàng) 建指定編輯內(nèi)容的編輯列表，該編輯內(nèi)容示出如何通過利用編輯窗口 互相連接剪輯。此外，在創(chuàng)建編輯列表之后或同時(shí)，用戶可根據(jù)編輯 列表確認(rèn)所編輯的視頻和所編輯的音頻。創(chuàng)建編輯列表之后，當(dāng)通過鼠標(biāo)38輸入編輯列表的寄存指令時(shí)， 微處理器3將編輯列表中指定的所有用戶所創(chuàng)建的編輯數(shù)據(jù)轉(zhuǎn)換成文 件，并且將該文件寄存到硬盤驅(qū)動(dòng)器7中的編輯列表數(shù)據(jù)庫中。進(jìn)一步地，在創(chuàng)建編輯列表之后或在創(chuàng)建編輯列表當(dāng)中，當(dāng)通過 鼠標(biāo)38、鍵盤39或操作控制器37輸入基于編輯列表的編輯視頻/音頻的 重放指令時(shí)，微處理器相應(yīng)地控制存儲(chǔ)單元22，以便讀取包含在所需 AV流中的視頻流和音頻流。因而，在必要情況下，包含在從存儲(chǔ)單元22中讀出的AV流中的 讀取視頻流和音頻流被順序地通過PCI總線15、南橋6、微處理器3和 總線10提供給GPU 4，在微處理器3的控制下進(jìn)行視頻特殊效果處理。在微處理器3的控制下，GPU 4對(duì)作為視頻特殊效果處理的結(jié)果 所獲取的視頻數(shù)據(jù)應(yīng)用預(yù)定的信號(hào)處理，并且將所得到視頻信號(hào)發(fā)送 給顯示器40。同時(shí)，微處理器3對(duì)到包含在AV數(shù)據(jù)中的視頻數(shù)據(jù)和音頻數(shù)據(jù)中的音頻數(shù)據(jù)應(yīng)用音頻混合，并且將所得到的音頻數(shù)據(jù)通過音頻i/o編解碼器9發(fā)送給揚(yáng)聲器41。結(jié)果，在編輯窗口中的預(yù)定位置處顯示視頻數(shù)據(jù)的重放圖像，并 且從揚(yáng)聲器41中輸出音頻數(shù)據(jù)的重放音頻。如上所述，圖像處理系統(tǒng) l使用戶能在基于編輯列表確認(rèn)重放圖像和重放音頻的同時(shí)進(jìn)行編輯 工作。因而，在圖像處理系統(tǒng)l中，針對(duì)顯示器40上顯示的編輯屏幕上 的重放圖像，圖像處理設(shè)備2中提供的微處理器3和GPU 4可執(zhí)行包含 特殊效果處理，以及各種高級(jí)處理或編輯處理的視頻顯示處理。同時(shí)被微處理器3中的8個(gè)子CPU核3SA到3SH并行解碼的視頻 數(shù)據(jù)通過總線10被傳送給GPU 4。此時(shí)，數(shù)據(jù)傳送速率為例如高達(dá) 30[GByte/sec，因此，可以高速并且平穩(wěn)地顯示已經(jīng)進(jìn)行特殊效果處 理的甚至高度復(fù)雜的視頻數(shù)據(jù)。(2)視頻數(shù)據(jù)的顯示處理在圖像處理系統(tǒng)l中，準(zhǔn)備了編輯模式和觀看模式。在編輯模式14中，執(zhí)行用于產(chǎn)生編輯的視頻圖像數(shù)據(jù)的上述編輯處理。在觀看模式中，執(zhí)行用于使用戶容易管理或搜索存儲(chǔ)在存儲(chǔ)單元22中的大量視頻 圖像數(shù)據(jù)和靜止圖像數(shù)據(jù)的分類顯示。 (2-l)編輯窗口的顯示內(nèi)容當(dāng)用戶通過鼠標(biāo)38、鍵盤39或操作控制器37輸入用于顯示編輯窗 口的指令時(shí)，圖像處理設(shè)備2的微處理器3控制硬盤驅(qū)動(dòng)器7和GPU 4， 以便進(jìn)入觀看模式，從而在顯示器40上顯示圖2中所示的編輯窗口50。編輯窗口50具有剪輯列表顯示區(qū)51、記事板區(qū)52、時(shí)間線區(qū)53、 效果信息顯示區(qū)54以及對(duì)于該編輯窗口50是唯一的顯示區(qū)55。在該編 輯窗口50上，編輯工作主要在顯示區(qū)55上進(jìn)行，記事板區(qū)52和時(shí)間線 區(qū)53僅被補(bǔ)充提供。在這種情況下，剪輯列表顯示區(qū)51示出了寄存在圖像處理設(shè)備2 中的各種文件夾和文件。當(dāng)用戶選擇期望的文件夾或文件時(shí)，該剪輯 列表顯示區(qū)51示出包含在文件夾或文件中的AV數(shù)據(jù)列表。然后，用戶從AV數(shù)據(jù)中選擇期望的AV數(shù)據(jù)作為來自剪輯列表顯 示區(qū)51中顯示的剪輯列表的活動(dòng)圖片，將期望的剪輯拖放到顯示區(qū)55 上，從而在顯示區(qū)55上顯示示出了AV數(shù)據(jù)的第一個(gè)圖像(視頻數(shù)據(jù)中 的第一個(gè)靜止圖像)的顯示窗口W57。注意到顯示區(qū)55上可以顯示多個(gè) 顯示窗口W57。在這種狀態(tài)下，用戶可點(diǎn)擊顯示窗口W57，以使圖像處理設(shè)備2 在顯示區(qū)55上重放拖放的AV數(shù)據(jù)，并且快進(jìn)、快倒或停止顯示的重 放圖像。這樣，用戶通過顯示區(qū)55上的多個(gè)顯示窗口W57，在視覺上確認(rèn) 包含在AV數(shù)據(jù)中的視頻數(shù)據(jù)的重放圖像的同時(shí)，可搜索期望的幀， 并且指定從AV數(shù)據(jù)中截取的期望視頻/音頻部分的起始點(diǎn)(此后被稱 作IN點(diǎn))和終止點(diǎn)(此后被稱作OUT點(diǎn))。當(dāng)如此指定IN點(diǎn)和OUT點(diǎn)時(shí)，圖像處理設(shè)備2的微處理器3進(jìn)入 編輯模式。在這種狀態(tài)下，用戶通過拖放操作，可在記事板區(qū)52中粘 貼如此指定的AV數(shù)據(jù)的IN點(diǎn)和OUT點(diǎn)之間的視頻/音頻部分作為新AV數(shù)據(jù)。編輯窗口 50布置記事板區(qū)52中的編輯目標(biāo)AV數(shù)據(jù)的剪輯，其使 用戶容易想象編輯的視頻。記事板區(qū)52示出了相應(yīng)于每個(gè)粘貼的剪輯 的第一個(gè)圖像等的主圖像的縮略圖和詳細(xì)信息。然后，用戶通過拖放操作在時(shí)間線區(qū)53的視頻軌道上順序地布置 粘貼在記事板區(qū)52上的剪輯。此時(shí)，相應(yīng)于每個(gè)所粘貼剪輯的長度的 標(biāo)記(未示出)作為索引與時(shí)間線一起出現(xiàn)在視頻軌道上。當(dāng)音頻伴隨 所粘貼的視頻時(shí)，具有相同長度的標(biāo)記(未示出)出現(xiàn)在由時(shí)間線指示 的相同位置處的音頻軌道上。由于標(biāo)記存在于時(shí)間線區(qū)53中的視頻軌道和音頻軌道上，在時(shí)間 線上所指定的時(shí)刻顯示與輸出相應(yīng)于該標(biāo)記的剪輯的視頻和音頻。因 此，可創(chuàng)建這種編輯列表來指定要重放的一系列剪輯作為編輯的視頻 /音頻。(2-2)圖像組的顯示進(jìn)一步地，圖像處理設(shè)備2的微處理器3顯示各自具有預(yù)定幀尺寸 的多個(gè)顯示窗口W57，其在編輯窗口50的顯示區(qū)55上示出了由用戶從 剪輯列表顯示區(qū)51中顯示的剪輯列表中選擇的、并且被拖放到顯示區(qū) 55上的AV數(shù)據(jù)，從而提供了一個(gè)圖像組58。在圖像處理設(shè)備2的微處理器3中，可以從剪輯列表顯示區(qū)51中拖 放另一個(gè)剪輯到顯示至少一個(gè)顯示窗口W57的顯示區(qū)55上，并且根據(jù) 用戶的選擇/刪除操作可以刪除存在于顯示區(qū)55中的一個(gè)或一些顯示 窗口。此處，如圖3中所示，圖像組58是指視頻數(shù)據(jù)的多個(gè)第一張圖片 (靜止圖像)或表示圖片(靜止圖像)，其在三維顯示空間中，基于視頻數(shù) 據(jù)的特征量(圖片方式或GOP方式)以顯示窗口W57的形式被布置，在 所述三維顯示空間中，"紅(R)"、"藍(lán)色(B)"和"亮度"的參數(shù)被分別設(shè) 置成構(gòu)成顯示軸的X軸、Y軸和Z軸。構(gòu)成三維顯示空間中的各個(gè)顯示軸(X軸、Y軸和Z軸)的參數(shù)可共 同被稱作表示包含視頻數(shù)據(jù)的AV數(shù)據(jù)的特征的"特征參數(shù)"。基本上，除非相同靜止圖像在時(shí)間方面互相連續(xù)，否則對(duì)于構(gòu)成視頻數(shù)據(jù)的每 個(gè)圖片，包含在特征參數(shù)中的特征量有所不同。盡管如圖3中所述的三維顯示區(qū)的各個(gè)顯示軸實(shí)際上不明確地顯 示在編輯窗口50的顯示區(qū)55上，但是基于各個(gè)顯示軸布置顯示窗口 W57，使得顯示包含在圖像組58中的具有高紅色水平視頻數(shù)據(jù)的圖片 (靜止圖像)的顯示窗口W57被布置在顯示區(qū)55的右下方，顯示具有包 含在圖像組58中的具有高亮度水平視頻數(shù)據(jù)的圖片的顯示窗口W57 被布置在顯示區(qū)55的中央上方，以及顯示包含在圖像組58中的具有高 藍(lán)色水平視頻數(shù)據(jù)的圖片的顯示窗口W57被布置在顯示區(qū)55的左下 方。該布置使用戶直觀地識(shí)別包含在作為 一個(gè)圖像的多個(gè)視頻數(shù)據(jù)中 的亮度或彩色分量的粗略分布。附帶地，在三維顯示空間中，只有相對(duì)于原點(diǎn)的正象限用于" 紅(R)"(X軸)、"藍(lán)(B)" (Y軸)和，，亮度(Z軸)，，的各個(gè)參數(shù)，并且多個(gè)顯 示窗口W57被布置在相應(yīng)于正象限的空間中。然而，可選地，象限可 包含相對(duì)于原點(diǎn)的負(fù)向。對(duì)于包含在圖像組58中的視頻數(shù)據(jù)，圖像處理設(shè)備2的微處理器3 可以根據(jù)顯示窗口W57中的預(yù)定幀頻，以更新速度順序地更新構(gòu)成視 頻數(shù)據(jù)的圖片，從而將視頻數(shù)據(jù)顯示成活動(dòng)圖片。此時(shí)，由于構(gòu)成視頻數(shù)據(jù)的圖片的特征量每當(dāng)更新圖片時(shí)改變， 所以圖像處理設(shè)備2的微處理器3根據(jù)三維顯示空間中的特征量重新 排列顯示窗口W57，從而在顯示窗口W57在三維顯示空間上移動(dòng)的同 時(shí)顯示視頻數(shù)據(jù)的顯示窗口W57。圖像處理設(shè)備2通過改變圖片的更新速度，可控制視頻數(shù)據(jù)的重 放速度。當(dāng)更新速度增加時(shí)，可以快速重放視頻數(shù)據(jù)，因此，增加顯 示窗口W57的移動(dòng)速度以允許顯示窗口 W57在三維顯示空間上高速 移動(dòng)。另一方面，當(dāng)增加更新速度時(shí)，降低顯示窗口W57的移動(dòng)速度 以允許顯示窗口 W57低速移動(dòng)，使得仿佛其浮在三維顯示空間上一 樣。此外，圖像處理設(shè)備2可在顯示窗口 W57中快倒重放視頻數(shù)據(jù)。在這種情況下，顯示窗口W57沿上述情況的相反方向移動(dòng)。附帶地， 在顯示窗口W57沿正向或后退方向移動(dòng)的同時(shí)，圖像處理設(shè)備2可在 用戶的期望時(shí)刻停止顯示窗口 W57，以便顯示相應(yīng)于該時(shí)刻的圖片(靜 止圖像)。(2-3)視頻數(shù)據(jù)的顯示 當(dāng)通過顯示窗口W57顯示視頻數(shù)據(jù)的重放圖像時(shí)，圖像處理設(shè) 備2預(yù)先提取表示構(gòu)成視頻數(shù)據(jù)的圖片的特征量的特征參數(shù)作為元數(shù) 據(jù)，并且根據(jù)將被更新的相應(yīng)圖片的特征量，在三維虛擬空間上重新 排列顯示窗口W57。將按照由微處理器3和GPU 4構(gòu)成的功能模塊描述 用于移動(dòng)顯示窗口W57的上述結(jié)構(gòu)。此處，將描述以下三個(gè)配置例子。第一個(gè)配置例子是一種從構(gòu) 成視頻數(shù)據(jù)的各個(gè)圖片中預(yù)先提取特征參數(shù)作為元數(shù)據(jù)，并且使用該 提取的特征參數(shù)來顯示視頻數(shù)據(jù)的方法。第二配置例子是一種在從構(gòu)成視頻數(shù)據(jù)的各個(gè)圖片中產(chǎn)生所述元數(shù)據(jù)的同時(shí)，使用元數(shù)據(jù)來顯示 視頻數(shù)據(jù)的方法。第三個(gè)配置例子是一種當(dāng)為進(jìn)行記錄而編碼視頻數(shù) 據(jù)時(shí)，在產(chǎn)生特征參數(shù)作為元數(shù)據(jù)的同時(shí)，使用特征參數(shù)來顯示視頻 數(shù)據(jù)的方法。(2-3-1)第一個(gè)配置例子如圖4中所示，元數(shù)據(jù)提取部分61提取表示包含視頻數(shù)據(jù)的AV數(shù) 據(jù)中包含的各種特征量的特征參數(shù)，并且在元數(shù)據(jù)數(shù)據(jù)庫62(此后被稱 作"元數(shù)據(jù)DB")中寄存提取的特征參數(shù)作為相應(yīng)于視頻數(shù)據(jù)的圖片方 式(例如GOP方式)元數(shù)據(jù)文件MDF。壓縮圖像產(chǎn)生部分63壓縮通過元數(shù)據(jù)提取部分61提供的視頻數(shù) 據(jù)的各個(gè)圖片，以便將壓縮的圖片在視頻數(shù)據(jù)庫(此后被稱作"視頻 DB") 64中寄存為主視頻流HD1，而且以預(yù)定速率減少視頻數(shù)據(jù)中的 圖片的像素?cái)?shù)量，以便在視頻DB 64中將像素?cái)?shù)量減少的圖片寄存為 子視頻流LD1。該配置允許其像素?cái)?shù)量尚未被減少的主視頻流HD1和其像素?cái)?shù)18量已被減少的子視頻流LD1二者都以視頻數(shù)據(jù)為單位或以預(yù)定時(shí)間周 期為單位存儲(chǔ)在視頻DB64中。因而，微處理器3可以根據(jù)三維顯示空 間上的位置，有選擇地使用主和子視頻流。例如，當(dāng)顯示窗口W57的 圖像尺寸需要被減少時(shí)，使用子視頻流LD1;反之，當(dāng)顯示窗口W57 的圖像尺寸需要是放大時(shí)，使用主視頻流HD1。顯示空間控制器66識(shí)別被用來產(chǎn)生由用戶通過顯示在顯示區(qū)55 上的圖形用戶界面(GUI) 65指定的三維顯示空間的顯示軸的參數(shù)；識(shí) 別用于將圖像組58呈現(xiàn)給用戶的視點(diǎn)坐標(biāo)；或做出涉及顯示的各種決 定，例如在三維顯示空間上排列由用戶選擇的AV數(shù)據(jù)的決定。因此，顯示空間控制器66基于決定結(jié)果，將相應(yīng)于構(gòu)成作為圖像 組58(圖3)顯示在顯示區(qū)55上的視頻數(shù)據(jù)的多個(gè)圖片的幀數(shù)輸出給元 數(shù)據(jù)DB 62，以允許元數(shù)據(jù)DB 62利用相應(yīng)于作為元數(shù)據(jù)的幀數(shù)的圖片 的特征參數(shù)，從其讀出元數(shù)據(jù)文件MDF，并且發(fā)送該元數(shù)據(jù)文件MDF 到坐標(biāo)計(jì)算部分67。進(jìn)一步地，基于決定結(jié)果，顯示空間控制器66將構(gòu)成視頻數(shù)據(jù)的 圖片的幀數(shù)輸出到視頻DB 64中。當(dāng)通過顯示窗口W57顯示視頻數(shù)據(jù) 的重放圖像時(shí)，這允許相應(yīng)于幀數(shù)的子視頻流LD1被發(fā)送給解碼器68， 并且當(dāng)以放大的方式顯示視頻數(shù)據(jù)的重放圖像時(shí)，允許相應(yīng)于幀數(shù)的 主視頻流HD1被發(fā)送到解碼器68中。解碼器68解碼從視頻DB 64中提供的子視頻流LD1和主視頻流 HD1，并且將解碼的子和主視頻數(shù)據(jù)發(fā)送到圖像顯示部分69。坐標(biāo)計(jì)算部分67將從顯示空間控制器66中提供的特征參數(shù)設(shè)置 成顯示空間的顯示軸，通過計(jì)算將特征參數(shù)轉(zhuǎn)換成三維顯示空間的坐 標(biāo)(坐標(biāo)參數(shù))，并且根據(jù)獲取的坐標(biāo)參數(shù)值確定三維顯示空間上的布 置。然后，基于相對(duì)于包含多個(gè)將被排列在三維顯示空間上的顯示窗 口W57的圖像組58的視點(diǎn)坐標(biāo)和各個(gè)顯示窗口W57的位置，坐標(biāo)計(jì)算 部分67確定每個(gè)顯示窗口W57的顯示尺寸，并且將有關(guān)每個(gè)顯示窗口 W57的顯示的各種信息(顯示參數(shù))發(fā)送給圖像顯示部分69 。圖像顯示部分69使用來源于坐標(biāo)計(jì)算部分67的坐標(biāo)參數(shù)來確定從解碼器68中提供的子視頻數(shù)據(jù)被排列在其上的三維顯示空間上的 三維坐標(biāo)位置，并且在三維顯示空間上排列相應(yīng)于子視頻數(shù)據(jù)的顯示 窗口 W57。執(zhí)行完相應(yīng)于其它視頻數(shù)據(jù)的顯示窗口 W57的上述處理之 后，圖像顯示部分69將顯示窗口W57的坐標(biāo)參數(shù)轉(zhuǎn)換成顯示區(qū)55的二 維坐標(biāo)位置(顯示位置參數(shù))，從而在顯示區(qū)55上顯示包含多個(gè)顯示窗 口W57的圖像組58。(2-3-2)第二個(gè)配置例子參照?qǐng)D5，其中如圖4中的那些相同的構(gòu)成部件作為圖4中的對(duì)應(yīng) 部分用相同參考標(biāo)記表示，顯示空間控制器66識(shí)別被設(shè)置成三維顯示 空間的顯示軸的特征參數(shù)，所述三維顯示空間由用戶通過顯示在顯示 區(qū)55上的GUI 65來指定，或識(shí)別用于將圖像組58呈現(xiàn)給用戶的視點(diǎn)坐 標(biāo)。進(jìn)一步地，顯示空間控制器66做出有關(guān)顯示的各種決定，例如在 三維顯示空間上布置由用戶選擇的視頻數(shù)據(jù)的決定，并且將該決定發(fā) 送給坐標(biāo)計(jì)算部分67。因此，當(dāng)通過顯示窗口W57顯示視頻數(shù)據(jù)的重放圖像時(shí)，顯示空 間控制器66基于決定結(jié)果，還將構(gòu)成視頻數(shù)據(jù)的圖片的幀數(shù)輸出給視 頻DB 64，以允許相應(yīng)于該幀數(shù)的子視頻流LD1被發(fā)送給解碼器68, 并且當(dāng)以放大的方式顯示視頻數(shù)據(jù)的重放圖像時(shí)，允許相應(yīng)于該幀數(shù) 的主視頻流HD l被發(fā)送給解碼器68 。附帶地，如在上述第一個(gè)配置例子的情況下，利用其像素?cái)?shù)量未 減少而編碼的主視頻流HD1和其像素?cái)?shù)量減少而編碼的子視頻流LD1 二者都被預(yù)先存儲(chǔ)在視頻DB 64中。解碼器68解碼從視頻DB 64中提供的子視頻流LD1和主視頻流 HD1，并且將解碼的主視頻數(shù)據(jù)發(fā)送給元數(shù)據(jù)提取部分61，而將解碼 的子視頻數(shù)據(jù)發(fā)送給圖像顯示部分69。元數(shù)據(jù)提取部分61提取從解碼器68中提供的主視頻數(shù)據(jù)中包含 的特征參數(shù)作為元數(shù)據(jù)，并且將提取的元數(shù)據(jù)寄存在元數(shù)據(jù)DB 62中 作為元數(shù)據(jù)文件MDF，而且將該元數(shù)據(jù)文件MDF發(fā)送給坐標(biāo)計(jì)算部分67。坐標(biāo)計(jì)算部分67通過計(jì)算產(chǎn)生三維顯示空間，在該三維顯示空間 中從顯示空間控制器66中提供的特征參數(shù)通過計(jì)算被設(shè)置成顯示軸， 將由顯示在各個(gè)顯示窗口W57上的視頻數(shù)據(jù)的特征參數(shù)所表示的特 征量轉(zhuǎn)換成三維顯示空間中的坐標(biāo)參數(shù)，并且根據(jù)獲取的坐標(biāo)參數(shù)值 確定三維顯示空間上的布置。然后，基于相對(duì)于包含將被布置在三 維顯示空間上的多個(gè)顯示窗口 W57的圖像組58的視點(diǎn)坐標(biāo)和各個(gè)顯 示窗口W57的位置，坐標(biāo)計(jì)算部分67確定每個(gè)顯示窗口W57的顯示尺 寸，并且將有關(guān)每個(gè)顯示窗口W57的顯示的各種信息(顯示參數(shù))發(fā)送 給圖像顯示部分69。然后，基于相對(duì)于包含將被布置在三維顯示空間 上的多個(gè)顯示窗口 W57的圖像組58的視點(diǎn)坐標(biāo)和各個(gè)顯示窗口 W57 的位置，坐標(biāo)計(jì)算部分67確定每個(gè)顯示窗口W57的顯示尺寸，并且將 有關(guān)每個(gè)顯示窗口W57的顯示的各種信息(顯示參數(shù))發(fā)送給圖像顯示 部分69。圖像顯示部分69使用從坐標(biāo)計(jì)算部分67接收的坐標(biāo)參數(shù)來確定 從解碼器68中提供的子視頻數(shù)據(jù)被布置在其上的三維顯示空間上的 三維坐標(biāo)位置(坐標(biāo)參數(shù))，并且在三維顯示空間上布置相應(yīng)于該子視 頻數(shù)據(jù)的顯示窗口W57。執(zhí)行完相應(yīng)于其它視頻數(shù)據(jù)的顯示窗口W57 的上述處理之后，圖像顯示部分69將多個(gè)顯示窗口 W57的三維坐標(biāo)參 數(shù)轉(zhuǎn)換成顯示區(qū)55的二維坐標(biāo)位置(顯示位置參數(shù))，從而在顯示區(qū)55 上顯示包含多個(gè)顯示窗口 W57的圖像組58。(2-3-3)第三個(gè)配置例子參照?qǐng)D6，其中如圖5中的構(gòu)成部件相同的那些作為圖5中的對(duì)應(yīng) 部分用相同參考標(biāo)記表示，顯示空間控制器66識(shí)別被設(shè)置成由用戶通 過GUI65來指定的三維顯示空間的顯示軸的特征參數(shù)，或識(shí)別用于將 圖像組58呈現(xiàn)給用戶的視點(diǎn)坐標(biāo)。進(jìn)一步地，顯示空間控制器66做出 有關(guān)顯示的各種決定，例如在三維顯示空間上排列由用戶選擇的視頻 數(shù)據(jù)的決定，并且將該決定發(fā)送給坐標(biāo)計(jì)算部分67。因此，基于決定結(jié)果，顯示空間控制器66將構(gòu)成視頻數(shù)據(jù)的圖片 的幀數(shù)輸出給元數(shù)據(jù)和視頻數(shù)據(jù)庫70 (此后被稱作"元數(shù)據(jù)/視頻 DB")。該元數(shù)據(jù)/視頻DB 70存儲(chǔ)由圖像拾取設(shè)備拾取和編碼的主視頻 流HD1，以及通過編碼子視頻數(shù)據(jù)而獲得的子視頻流LD1，所述子視 頻數(shù)據(jù)通過減少主圖像數(shù)據(jù)的像素?cái)?shù)量獲取。當(dāng)通過顯示窗口W57 顯示視頻數(shù)據(jù)的重放圖像時(shí)，元數(shù)據(jù)/視頻DB 70將相應(yīng)于幀數(shù)的子視 頻流LD1發(fā)送給解碼器68。當(dāng)以放大的方式顯示視頻數(shù)據(jù)的重放圖像 時(shí)，元數(shù)據(jù)/視頻DB 70將相應(yīng)于幀數(shù)的主視頻流HD1發(fā)送給解碼器68。進(jìn)一步地，元數(shù)據(jù)/視頻DB 70將主視頻數(shù)據(jù)中包含的特征參數(shù)存 儲(chǔ)為元數(shù)據(jù)文件MDF，所述特征參數(shù)由裝入圖像拾取設(shè)備的元數(shù)據(jù)提 取部分于拍攝主視頻數(shù)據(jù)時(shí)提取。因此，元數(shù)據(jù)/視頻DB 70將相應(yīng)于從顯示空間控制器66中提供的 幀數(shù)的特征參數(shù)發(fā)送給坐標(biāo)計(jì)算部分67作為元數(shù)據(jù)文件MDF。坐標(biāo)計(jì)算部分67通過計(jì)算產(chǎn)生三維顯示空間，在該三維顯示空間 中從顯示空間控制器66中提供的特征參數(shù)被設(shè)置成顯示軸，將顯示在 各個(gè)顯示窗口W57上的視頻數(shù)據(jù)的特征參數(shù)轉(zhuǎn)換成三維顯示空間中 的坐標(biāo)參數(shù)，并且根據(jù)獲取的坐標(biāo)參數(shù)值確定三維顯示空間上的布 置。然后，基于相對(duì)于包含將被排列在三維顯示空間上的多個(gè)顯示窗 口 W57的圖像組58的視點(diǎn)坐標(biāo)和各個(gè)顯示窗口的位置，坐標(biāo)計(jì)算部分 67確定每個(gè)顯示窗口W57的顯示尺寸，并且將有關(guān)每個(gè)顯示窗口W57 的顯示的各種信息發(fā)送給圖像顯示部分69。解碼器68解碼從元數(shù)據(jù)/視頻DB 70中提供的子視頻流LD1或主 視頻流HDl,并且將解碼的主視頻數(shù)據(jù)或子視頻數(shù)據(jù)發(fā)送給圖像顯示 部分69。圖像顯示部分69使用從坐標(biāo)計(jì)算部分67接收的坐標(biāo)參數(shù)來確定 從解碼器68提供的子視頻數(shù)據(jù)被排列在其上的三維顯示空間上的三 維坐標(biāo)位置(坐標(biāo)參數(shù))，并且在三維顯示空間上布置相應(yīng)于子視頻數(shù) 據(jù)的顯示窗口W57。執(zhí)行完相應(yīng)于其它視頻數(shù)據(jù)的顯示窗口W57的上述處理之后，圖像顯示部分69將多個(gè)顯示窗口 W57的三維坐標(biāo)參數(shù)轉(zhuǎn) 換成顯示區(qū)55的二維坐標(biāo)位置(顯示位置參數(shù))，從而在顯示區(qū)55上顯 示包含多個(gè)顯示窗口 W57的圖像組58。(2-4)元數(shù)據(jù)提取部分的具體配置下面將描述上述元數(shù)據(jù)提取部分61的具體配置。如圖7所示，元 數(shù)據(jù)提取部分61包含密度信息計(jì)算部分71、運(yùn)動(dòng)檢測部分72、 DCT垂 直/水平頻率分量檢測部分73、顏色分量檢測部分76、音頻檢測部分80、 亮度/色差檢測部分83和元數(shù)據(jù)文件生成部分86,以便提取包含相應(yīng)于 構(gòu)成視頻數(shù)據(jù)的每個(gè)圖片的密度(復(fù)雜度)、運(yùn)動(dòng)向量、DCT(離散余弦 變換)垂直/水平頻率分量、顏色分量和音量的各種特征量的特征參數(shù)。 元數(shù)據(jù)提取部分61可包含用于提取不同于上述的參數(shù)的特征量的附 加檢測部分。(2-4-l)密度信息計(jì)算部分的配置密度信息計(jì)算部分71包含平均值計(jì)算部分1071、差值計(jì)算部分 1072和累加部分1073。視頻數(shù)據(jù)被提供給平均值計(jì)算部分1071和差值 計(jì)算部分1072。平均值計(jì)算部分1071順序地將構(gòu)成視頻數(shù)據(jù)的幀設(shè)置為目標(biāo)幀， 并且將目標(biāo)幀分割成例如圖8中所示的8x8像素塊。進(jìn)一步地，平均值 計(jì)算部分1071計(jì)算目標(biāo)幀上的各個(gè)塊的像素值的平均值，并且將獲取 的平均值提供給差值計(jì)算部分1072。這里假定8x8像素塊的光柵掃描次序中的第k個(gè)像素的像素值為 Pk，平均值計(jì)算部分1071根據(jù)下列表達(dá)式計(jì)算平均值Pave:<formula>formula see original document page 23</formula>其中累加和i:表示相對(duì)于k從k = l到k - 64( = 8x8)的累加和。 差值計(jì)算部分1072用和平均值計(jì)算部分1071同樣的方法將目標(biāo) 幀分割成例如8x8像素塊，并且計(jì)算每個(gè)塊的像素值Pk與8x8像素塊的 像素值的平均值Pave之間的差值的絕對(duì)值I Pk-Pave I ，并且將獲取的值順序地提供給累加部分1073。累加部分1073將差值的絕對(duì)值I Pk-Pave |累加，該差值針對(duì) 從差值計(jì)算部分1072中順序提供的塊的各個(gè)像素計(jì)算而得，以獲取累 加值Q-i: I Pk-Pave | ，其中累加和E表示相對(duì)于k從k = l到k -64(-8x8)的累加和。進(jìn)一步地，累加部分1073計(jì)算針對(duì)目標(biāo)幀的全部塊所獲取的累加 值Q的總和，并且將該總和輸出給元數(shù)據(jù)文件生成部分86作為目標(biāo)幀 密度信息QS1。針對(duì)目標(biāo)幀所獲取的累加值Q的總和稱為"Intra - AC"。 Intra -AC的值變得越大，目標(biāo)幀中的像素值中就存在越多的變化。因此， 可以認(rèn)為，隨著作為累加值Q的總和的密度信息QS1變得越大，目標(biāo) 幀的靜止圖像就變得越密集(越復(fù)雜)。(2-4_2)運(yùn)動(dòng)檢測部分的配置如圖9所示，在運(yùn)動(dòng)檢測部分72(圖7)中，運(yùn)動(dòng)向量檢測部分1041 將前一幀分割成每個(gè)具有16xl6像素的宏塊，并且檢測與前一幀中的 每個(gè)宏塊最相似的目標(biāo)幀中的每個(gè)16xl6像素塊(此后被稱作"相似塊 ")。 然后，運(yùn)動(dòng)向量檢測部分1041計(jì)算開始于宏塊的左上方，并且 終止于相似塊的左上方的向量作為該宏塊的運(yùn)動(dòng)向量AFO ( h， v )?，F(xiàn)在假定前一幀中左端起第h個(gè)和頂端起第v個(gè)的宏塊的位置用 FO(h，v)表示，1^W像素塊，即從宏塊FO (h， v)移動(dòng)了一段相應(yīng)于運(yùn) 動(dòng)向量AFO (h， v)的距離的目標(biāo)幀中的相似塊的位置用Fl (h， v)表示， 則宏塊FO (h， v)的運(yùn)動(dòng)向量AFO (h， v)由以下表達(dá)式表示AFO( h， v ) - Fl (h， v) - FO (h， v)統(tǒng)計(jì)量計(jì)算部分1042計(jì)算針對(duì)前一幀中的宏塊獲取的運(yùn)動(dòng)向量 的統(tǒng)計(jì)量。更準(zhǔn)確地說，統(tǒng)計(jì)量計(jì)算部分1042計(jì)算前一幀中全部宏塊 的運(yùn)動(dòng)向量AFO(h， v)的幅度的總和DO-E I AFO(h， v) I ，并且將獲 取的總和DO作為目標(biāo)幀的運(yùn)動(dòng)信息輸出。上面表達(dá)式中的累加和i:: DO = i: I AFO(h，v) I表示相對(duì)于從11=1到11=前一幀中的宏塊中水平數(shù)量的h,從v-l到v-前一幀中的宏塊 中垂直數(shù)量的h的累加和。前一幀中每個(gè)宏塊FO (h， v)的運(yùn)動(dòng)向量AFO ( h， v )的幅度越大， 作為運(yùn)動(dòng)向量的總和的運(yùn)動(dòng)信息DO變得越大。因此，可以認(rèn)為隨著目 標(biāo)幀的運(yùn)動(dòng)信息DO變得越大，目標(biāo)幀的圖像的運(yùn)動(dòng)就變得越大(越激 烈)。在上述情況下，獲取前一幀中全部宏塊的運(yùn)動(dòng)向量AFO ( h， v )的 幅度的總和DO-i: I AFO ( h, v) I作為針對(duì)前一幀中的宏塊所獲取的 運(yùn)動(dòng)向量的統(tǒng)計(jì)量。然而，可選地，針對(duì)前一幀中的宏塊所獲取的運(yùn) 動(dòng)向量的離差可被用作統(tǒng)計(jì)量。在這種情況下，統(tǒng)計(jì)量計(jì)算部分1042計(jì)算前一幀中全部宏塊的運(yùn) 動(dòng)向量AFO ( h， v )的平均值A(chǔ)ave，并且利用例如下面的表達(dá)式計(jì)算前 一幀中的全部宏塊FO (h， v)的運(yùn)動(dòng)向量AFO ( h， v )的離差o0:o0 - E ( AFO ( h， v ) - Aave ) 2其中累加和i:表示相對(duì)于從h-i到h-前一幀中的宏塊中水平數(shù)量的h,從v^到v-前一幀中的宏塊中垂直數(shù)量的v的累加和。如在總和DO的情況下，隨著目標(biāo)幀的圖像的運(yùn)動(dòng)變得越大(越激烈)，離差(TO就變得越大。圖10示出了圖7的運(yùn)動(dòng)檢測部分72的另一個(gè)配置。該運(yùn)動(dòng)檢測部 分72A包含直方圖創(chuàng)建部分1051 、直方圖存儲(chǔ)部分1052和差值計(jì)算部 分1053。當(dāng)視頻數(shù)據(jù)被提供給直方圖創(chuàng)建部分1051時(shí)，直方圖創(chuàng)建部分 1051順序地設(shè)置構(gòu)成視頻數(shù)據(jù)的幀為目標(biāo)幀，創(chuàng)建目標(biāo)幀的像素值的 簡單直方圖，并且將針對(duì)每個(gè)目標(biāo)創(chuàng)建的這種直方圖提供給直方圖存 儲(chǔ)部分1052和差值計(jì)算部分1053。直方圖存儲(chǔ)部分1052存儲(chǔ)從直方圖創(chuàng)建部分1051中提供的目標(biāo) 幀的直方圖。直方圖存儲(chǔ)部分1052具有足夠大的存儲(chǔ)容量來存儲(chǔ)至少 相應(yīng)于兩幀的直方圖，從而存儲(chǔ)從直方圖創(chuàng)建部分1051中提供的目標(biāo) 幀的直方圖和前一目標(biāo)幀(即前一幀)的直方圖。25差值計(jì)算部分1053計(jì)算從直方圖創(chuàng)建部分1051中提供的目標(biāo)幀 的直方圖與存儲(chǔ)在直方圖存儲(chǔ)部分1052中的前一幀直方圖的差值絕 對(duì)和(稍后描述)，并且將該計(jì)算結(jié)果作為目標(biāo)幀的運(yùn)動(dòng)信息DO輸出。參考圖ll，將更詳細(xì)地描述圖10的運(yùn)動(dòng)檢測部分72A中執(zhí)行的上 述處理。假定提供給直方圖創(chuàng)建部分1051的視頻數(shù)據(jù)像素值由具有O 到255的值的8位來表示，直方圖創(chuàng)建部分1051將0到255的范圍相等地 分割成例如0到31、 32到63、 64到95、 96到127、 128到159、 160到191、 192到223、 224到255的八個(gè)小范圍，并且計(jì)算包含在每個(gè)小范圍內(nèi)的 像素值的發(fā)生頻率，從而建立目標(biāo)幀的簡單直方圖。假定例如第(i+l)幀是目標(biāo)幀，差值計(jì)算部分1053計(jì)算在相同小范 圍中作為目標(biāo)幀的第(i+l)幀中的頻率與作為前一幀的第i幀中的頻率 之間的差值的絕對(duì)值A(chǔ)(圖11中的陰影部分)。進(jìn)一步地，差值計(jì)算部分 1053計(jì)算針對(duì)直方圖中相應(yīng)八個(gè)小范圍而獲得的頻率的差值的絕對(duì) 值的總和i:A，并且將獲取的總和i:A輸出給元數(shù)據(jù)文件生成部分86作 為目標(biāo)幀的運(yùn)動(dòng)信息DO。當(dāng)目標(biāo)幀的運(yùn)動(dòng)較大(激烈)時(shí)，目標(biāo)幀中的像素值的頻率分布不同于前一幀中的。因此，可以認(rèn)為隨著目標(biāo)幀的差值絕對(duì)和i:A變得越大，目標(biāo)幀的圖像就變得越大(越激烈)。(2-4-3) DCT垂直/水平頻率分量檢測部分的配置 圖12示出了DCT垂直/水平頻率分量檢測部分73(圖7)中的頻率分 析部分74的一個(gè)配置例子。頻率分析部分74包含DCT變換部分1061、 加權(quán)因數(shù)計(jì)算部分1062和累加部分1063。當(dāng)視頻數(shù)據(jù)被提供給DCT變換部分1061時(shí)，DCT變換部分1061 順序地設(shè)置構(gòu)成視頻數(shù)據(jù)的幀為目標(biāo)幀，并且將目標(biāo)幀分割成8x8像 素塊。進(jìn)一步地，DCT變換部分1061對(duì)目標(biāo)幀中的相應(yīng)塊進(jìn)行DCT變 換，并且將針對(duì)相應(yīng)塊所獲取的8x8 DCT系數(shù)提供給累加部分1063。 加權(quán)因數(shù)計(jì)算部分1062計(jì)算將被分別加給8x8DCT系數(shù)的權(quán)重， 并且將該權(quán)重提供給累加部分1063。累加部分1063將從加權(quán)因數(shù)計(jì)算 部分1062中提供的權(quán)重分別加給從DCT變換部分1061中提供的8x8系數(shù)，以便執(zhí)行累加，從而針對(duì)每個(gè)塊獲取累加值。進(jìn)一步地，累加部分1063計(jì)算針對(duì)相應(yīng)塊獲取的累加值的總和，并且將該總和發(fā)送給垂 直線/水平線水平計(jì)算部分75(圖7)作為目標(biāo)幀的密度信息。參考圖13,將更詳細(xì)地描述圖12的頻率分析部分74中執(zhí)行的處 理。圖13的左邊示出了DCT變換后的基礎(chǔ)圖像。該基礎(chǔ)圖像由8x8圖 案(頻率分量)組成。在該基礎(chǔ)圖像中，頻率分量朝著右方和下方的方 向變高。圖13的右邊示出了從每個(gè)塊的8x8 DCT系數(shù)的左邊起第i( i=l, 2，…，8)個(gè)，以及從頂部起第j(j-l， 2，...， 8)個(gè)DCT系數(shù)F(i-l， j-l)。 DCT 系數(shù)F(i-l， j-l)表示從基礎(chǔ)圖像的左邊第i個(gè)和頂部第j個(gè)的圖案的頻率 分量被包含在基礎(chǔ)圖像中的程度(比率)。出現(xiàn)在圖13的左邊的基礎(chǔ)圖像中的每個(gè)數(shù)字均指示由圖12的加 權(quán)因數(shù)計(jì)算部分1062所計(jì)算的權(quán)重G(i-l，j-l)。 權(quán)重G(i-l， j-l)是將被 加到DCT系數(shù)F(i-l， j-l)上的權(quán)重。加權(quán)因數(shù)計(jì)算部分1062根據(jù)下列表 達(dá)式計(jì)算權(quán)重G(i-l， j-l):G(i-l，j-l)-ixj因此，在加權(quán)因數(shù)計(jì)算部分1062中，隨著DCT系數(shù)F(i-l， j-l)的 頻率分量變得越高，將被加給DCT系數(shù)F(i-l， j-l)的權(quán)重G(i-l， j-l)就 變得越大。累加部分1063 (圖12)用從加權(quán)因數(shù)計(jì)算部分1062中提供的權(quán)重 G(i-l， j-l)乘以從DCT變換部分1061中提供的塊的DCT系數(shù)F(i-l, j-l)，得到乘積G(i-l， j-l)xF(i-l， j畫l)。然后，累加部分1063累加針對(duì) 塊中的各個(gè)8x8 DCT系數(shù)F(i-l， j誦l)而獲得的乘積G(i-l， j-l)xF(i-l， j畫l)，得到累加值V =SG(i-l， j畫l)xF(i-l， j畫l)。累加和i:in V -SG(i-l， j畫l)xF(i畫l， j-l)表示i從i- l到i-8，以及j從j = l到j(luò) = 8的累加和。進(jìn)一步地，累加部分1063計(jì)算針對(duì)目標(biāo)幀中的全部塊而獲得的累 加值V的總和K，并且將該總和K輸出給垂直線/水平線水平計(jì)算部分 75作為目標(biāo)幀的密度信息。包含在目標(biāo)幀中的頻率分量變得越高，作為累加值V的總和K的密度信息的值就越大，并且目標(biāo)幀的靜止圖像就越密集(越復(fù)雜)。DCT垂直/水平頻率分量檢測部分73的垂直線/水平線水平計(jì)算 部分75檢測到目標(biāo)幀的圖像包含細(xì)垂直線，那就是說，基于目標(biāo)幀的 區(qū)域AR1中的DCT系數(shù)，圖像沿水平方向具有高頻分量；或目標(biāo)幀的 圖像包含細(xì)水平線，那就是說，基于目標(biāo)幀的區(qū)域AR2中的DCT系數(shù)， 圖像在垂直方向上具有高頻分量。因而，DCT垂直/水平頻率分量檢測部分73可以利用頻率分析部 分74確定目標(biāo)幀的圖像的密度(復(fù)雜度)水平，并且利用垂直線/水平線 水平計(jì)算部分75確定水平頻率和垂直頻率的水平。于是獲取的信息被 輸出給元數(shù)據(jù)文件生成部分86作為DCT垂直/水平頻率分量信息 FVH。(2-4-4)顏色分量檢測部分的配置顏色分量檢測部分76包含像素RGB水平檢測部分77、 RGB7JC平 統(tǒng)計(jì)/離差檢測部分78和HLS水平統(tǒng)計(jì)/離差檢測部分79。所提供的視 頻數(shù)據(jù)被輸入到像素RGB水平檢測部分77中。的RGB水平，并且將檢測到的RGB水平發(fā)送給RGB水平統(tǒng)計(jì)/離差檢 測部分和HLS水平統(tǒng)計(jì)/離差檢測部分79。RGB水平統(tǒng)計(jì)/離差檢測部分78計(jì)算從像素RGB水平檢測部分77 中提供的目標(biāo)幀中的每個(gè)像素的RGB水平的統(tǒng)計(jì)數(shù)據(jù)和離差，并且將 表示目標(biāo)幀中的RGB的各個(gè)顏色分量的水平的統(tǒng)計(jì)數(shù)據(jù)和表示目標(biāo) 幀中的顏色分量是否全局或局部地增加的離差值輸出給元數(shù)據(jù)文件 生成部分86作為顏色分量信息CL1。HLS水平統(tǒng)計(jì)/離差檢測部分79將從像素RGB水平檢測部分77中 提供的目標(biāo)幀中的每個(gè)像素的RGB水平轉(zhuǎn)換成"色相"、"飽和度"和" 亮度/光亮度"的三個(gè)分量，計(jì)算在如圖14中所示的、由色相、飽和度 和亮度組成的HLS空間中以上要素中的每一個(gè)的統(tǒng)計(jì)數(shù)據(jù)和離差值， 并且將檢測結(jié)果輸出給元數(shù)據(jù)文件生成部分86作為HLS信息CL2 。HLS空間中的色相由從0。到359。的角度表示，其中0°為紅色，180。28為與紅色相反的藍(lán)綠色。即，在HLS空間中，易于發(fā)現(xiàn)相對(duì)顏色。HLS空間中的飽和度為色彩的混合率。不同于HSV(色相、飽和 度和值)空間，HLS空間基于飽和形式純色的減少意味著該顏色具有更 多灰度的概念。即，較低的飽和度意味著顏色接近灰色，而較高的飽 和度意味著顏色遠(yuǎn)離灰色。在HSV空間中亮度100%被設(shè)置成純色以及表示有多少亮度水平 從100%亮度狀態(tài)中消失，不同于HSV空間的情況，HLS空間中的亮 度是其中亮度0%為黑色，亮度100%為白色，以及亮度50%為純白的 指數(shù)。因此，HLS水平統(tǒng)計(jì)/離差檢測部分79可以輸出用比RGB空間更 好理解的方式表示色相的HLS信息CL2給元數(shù)據(jù)文件生成部分86。 (2-4-5)音頻檢測部分的配置在以上描述中，從視頻數(shù)據(jù)中提取特征參數(shù)。然而，在AV數(shù)據(jù) 包含音頻數(shù)據(jù)的情況下，表示音頻數(shù)據(jù)的特征的特征量可以從相應(yīng)于 視頻數(shù)據(jù)的音頻數(shù)據(jù)中計(jì)算出作為特征參數(shù)。即，特征參數(shù)是可被應(yīng) 用于視頻數(shù)據(jù)和音頻數(shù)據(jù)二者的參數(shù)。音頻檢測部分80(圖7)包含頻率分析部分81和水平檢測部分82。頻率分析部分81分析相應(yīng)于視頻數(shù)據(jù)的目標(biāo)幀的音頻數(shù)據(jù)的頻 率，并且通知水平檢測部分82其頻段。水平檢測部分82檢測從頻率分 析部分81中通知的頻段中的音頻數(shù)據(jù)的水平，并且將檢測到的水平輸 出給元數(shù)據(jù)文件生成部分86作為音頻水平信息AL。(2-4-6)亮度/顏色差檢測部分的配置亮度/顏色差檢測部分83(圖7)包含Y/Cb/Cr水平檢測部分84和 Y/Cb/Cr水平統(tǒng)計(jì)/離差檢測部分85。提供給亮度/顏色差檢測部分83 的視頻數(shù)據(jù)被輸入到Y(jié)/Cb/Cr水平檢測部分84。Y/Cb/Cr水平檢測部分84針對(duì)視頻數(shù)據(jù)的目標(biāo)幀中的每個(gè)像素 檢測亮度信號(hào)Y的亮度水平和色差信號(hào)Cb和Cr的信號(hào)水平，以及將檢 測到的水平提供Y/Cb/Cr水平統(tǒng)計(jì)/離差檢測部分85 。Y/Cb/Cr水平統(tǒng)計(jì)/離差檢測部分85計(jì)算從Y/Cb/Cr水平檢測部分84中提供的目標(biāo)幀中的每個(gè)像素的亮度信號(hào)Y的亮度水平和色差信 號(hào)Cb和Cr的信號(hào)水平的統(tǒng)計(jì)和離差值，并且將表示目標(biāo)幀中的亮度 信號(hào)Y、色差信號(hào)Cb和Cr的水平的統(tǒng)計(jì)數(shù)據(jù)，以及亮度信號(hào)Y、色差 信號(hào)Cb和Cr的離差值輸出給元數(shù)據(jù)文件生成部分86作為顏色分量信 息CL3。(2-4-7)元數(shù)據(jù)文件生成部分的配置基于從密度信息計(jì)算部分71中提供的密度信息QS1、從運(yùn)動(dòng)檢測 部分72中提供的目標(biāo)幀的運(yùn)動(dòng)信息DO、從DCT垂直/水平頻率分量檢 測部分73中提供的DCT垂直/水平頻率分量信息FVH、從顏色分量檢 測部分76中提供的顏色分量信息CL1和HLS信息CL2、從音頻檢測部 分80中提供的音頻水平信息AL，以及從亮度/顏色差檢測部分83中提 供的顏色分量信息CL3，元數(shù)據(jù)文件生成部分86分別生成構(gòu)成視頻數(shù) 據(jù)的圖片的特征參數(shù)和相應(yīng)于該視頻數(shù)據(jù)的音頻數(shù)據(jù)的特征參數(shù)，作 為包含元數(shù)據(jù)的元數(shù)據(jù)文件MDF，并且輸出。如圖15所示，在元數(shù)據(jù)文件MDF中，各種特征參數(shù)例如"時(shí)間代 碼"、"運(yùn)動(dòng)量"、"密度"、"紅"、"藍(lán)"、"綠"、"亮度"、"紅離差"、 ，，綠離差"、"色相"、"飽和度"、"垂直線"、"水平線"、"運(yùn)動(dòng)離差" 和"音頻水平"針對(duì)構(gòu)成視頻數(shù)據(jù)的各個(gè)圖片(從第一幀到最后一幀)被 寄存。雖然在該例子中，0和1之間的規(guī)格化相對(duì)值被用作元數(shù)據(jù)文件 MDF的各個(gè)特征參數(shù)中的特征量值，但是可以使用絕對(duì)值。進(jìn)一步地， 元數(shù)據(jù)文件MDF的內(nèi)容不局限于上述的特征參數(shù)。例如，在三維顯示 空間上布置了顯示窗口 W57之后，顯示窗口 W57實(shí)際上已被布置于其 上的三維顯示空間上的坐標(biāo)值可被寄存為元數(shù)據(jù)。在圖像處理設(shè)備2中，當(dāng)三維顯示空間上的坐標(biāo)值如上所述被寄 存在元數(shù)據(jù)文件MDF中時(shí)，不必基于特征參數(shù)額外計(jì)算三維顯示空間 中的坐標(biāo)參數(shù)，以便在三維顯示空間上布置視頻數(shù)據(jù)的下一個(gè)顯示窗 口W57，顯示窗口W57從而可被立即布置在三維顯示空間上。(2-5)顯示處理過程將利用流程圖具體描述由圖像處理設(shè)備2的微處理器3執(zhí)行的視 頻數(shù)據(jù)的顯示處理過程和多個(gè)視頻數(shù)據(jù)的顯示處理過程。(2-5-l)視頻數(shù)據(jù)的圖片(靜止圖像)的分類顯示處理過程 如圖16所示，圖像處理設(shè)備2的微處理器3執(zhí)行程序RT1的初始化 步驟，并且前進(jìn)到下一步SP1，其中其確定由用戶指定的三維顯示空 間的顯示軸以及用于向用戶顯示圖像組58的視點(diǎn)坐標(biāo)，接著前進(jìn)到步 驟SP2。在步驟SP1中，圖像處理設(shè)備2的微處理器3可確定顯示軸，以便 生成各種類型三維顯示空間，例如由表示RGB的顏色分量的R軸、 G軸和B軸限定的三維顯示空間(圖17(A));由亮度水平軸、R軸和B軸 限定的三維顯示空間(圖17(B));由運(yùn)動(dòng)向量軸、Cb軸和Cr軸限定的 三維顯示空間(圖17(C));由密度信息軸、亮度水平軸和色相軸限定的 三維顯示空間(圖17(D));由R軸、DCT垂直頻率軸和DCT水平頻率軸 限定的三維顯示空間(圖17(E)); 由DCT垂直頻率軸、Cb軸和Cr軸限 定的三維顯示空間(圖17(F)); 以及由作為HLS空間的要素的L(亮度) 軸、H(色相)軸和S(飽和度)軸限定的三維顯示空間(圖17(G))。然而， 被用來生成三維顯示空間的顯示軸不局限于以上所述的，而是可以使 用元數(shù)據(jù)文件中寄存的特征參數(shù)的其它組合作為顯示軸。在步驟SP2中，圖像處理設(shè)備2的微處理器3識(shí)別由用戶指定的、 將被重放的視頻數(shù)據(jù)的圖片(靜止圖像)，然后前進(jìn)到步驟SP3。在步驟 SP3中，微處理器3設(shè)置該靜止圖像為目標(biāo)幀，解碼其子視頻流LD1， 將解碼的子視頻數(shù)據(jù)傳送給GPU4，并且前進(jìn)到步驟SP4。在步驟SP4中，圖像處理設(shè)備2的微處理器3查詢被用作三維顯示 空間的顯示軸的特征參數(shù)的特征量，從與靜止圖像相關(guān)的元數(shù)據(jù)文件 MDF中接收特征量，并且前進(jìn)到步驟SP5。在步驟SP5中，圖像處理設(shè)備2的微處理器3計(jì)算三維顯示空間上 的坐標(biāo)位置(坐標(biāo)參數(shù))，靜止圖像的顯示窗口 W57基于步驟SP4中所接 收的特征參數(shù)的特征量粘貼在所述坐標(biāo)位置上，并且前進(jìn)到步驟SP6。 即，圖像處理設(shè)備2的微處理器3將相應(yīng)于靜止圖像具有的顯示軸的特征量轉(zhuǎn)換成三維顯示空間上的坐標(biāo)值。在步驟SP6中，圖像處理設(shè)備2的微處理器3確定當(dāng)前靜止圖像是 否是將被顯示的最新圖像。當(dāng)?shù)玫娇隙ńY(jié)果時(shí)，其意味著不同于當(dāng)前 靜止圖像的靜止圖像尚未被用戶指定，那就是說，沒有任何其它顯示 窗口W57將被顯示，微處理器前進(jìn)到步驟SP7。反之，當(dāng)在步驟SP6中得到否定結(jié)果時(shí)，其意味著不同于當(dāng)前靜 止圖像的視頻數(shù)據(jù)的圖片(靜止圖像)已被用戶指定，那就是說，存在 相應(yīng)于靜止圖像的另 一個(gè)顯示窗口 W57將被顯示，圖像處理設(shè)備2的 微處理器3返回到步驟SP2，重復(fù)上述處理，從而根據(jù)各個(gè)靜止圖像的 特征參數(shù)中設(shè)置的特征量，計(jì)算相應(yīng)于多個(gè)靜止圖像的多個(gè)顯示窗口 W57在三維顯示空間上的坐標(biāo)位置。在步驟SP7中，圖像處理設(shè)備2的微處理器3允許GPU 4基于步驟 SP5中所計(jì)算的坐標(biāo)參數(shù)(坐標(biāo)位置)，將相應(yīng)于靜止圖像的顯示窗口 W57粘貼在三維顯示空間上，基于在步驟SP1中確定的視點(diǎn)坐標(biāo)將三 維顯示空間上的坐標(biāo)參數(shù)(坐標(biāo)位置)轉(zhuǎn)換成顯示區(qū)55的二維屏幕上的 二維坐標(biāo)位置(顯示位置參數(shù))，確定每個(gè)顯示窗口W57的顯示尺寸， 以及在二維坐標(biāo)位置上畫出顯示窗口W57以便顯示。之后，圖像處理 設(shè)備2的微處理器3前進(jìn)到步驟SP8。此時(shí)，在多個(gè)視頻數(shù)據(jù)的靜止圖像(圖片)由用戶指定的情況下， 圖像處理設(shè)備2的微處理器3根據(jù)靜止圖像的特征參數(shù)，在各個(gè)坐標(biāo)位 置(由坐標(biāo)參數(shù)所表示的位置)上布置相應(yīng)于多個(gè)靜止圖像的多個(gè)顯示 窗口W57，作為由多個(gè)顯示窗口W57組成的圖^J且58。在步驟SP8中，圖像處理設(shè)備2的微處理器3基于是否從用戶發(fā)出 了終止指令或預(yù)定時(shí)間是否已過，來確定是否結(jié)束顯示窗口 W57的顯 示處理。當(dāng)?shù)玫娇隙ńY(jié)果時(shí)，微處理器3前進(jìn)到結(jié)束顯示處理的步驟 SPll。另一方面，當(dāng)在步驟SP8中得到否定結(jié)果時(shí)，圖像處理設(shè)備2的 微處理器3無需結(jié)束顯示窗口W57的顯示處理就前進(jìn)到步驟SP9。在步 驟SP9中，圖像處理設(shè)備2的微處理器3等到顯示窗口W57的視點(diǎn)坐標(biāo)被用戶的光標(biāo)操作改變后才前進(jìn)到后續(xù)步驟SPIO。在步驟SP10中，圖像處理設(shè)備2的微處理器3確定顯示窗口W57 的視點(diǎn)坐標(biāo)是否實(shí)際上已由用戶改變了。當(dāng)?shù)玫椒穸ńY(jié)果時(shí)，微處理 器3返回到步驟SP7，繼續(xù)在最初的坐標(biāo)位置上顯示靜止圖像的顯示窗 口W57。另一方面，當(dāng)?shù)玫娇隙ńY(jié)果時(shí)，微處理器3返回到步驟SP1， 確定改變之后的新視點(diǎn)坐標(biāo)，重復(fù)步驟SP2和后續(xù)步驟的處理，并且 基于該新視點(diǎn)坐標(biāo)在三維顯示空間上重新布置顯示窗口W57。當(dāng)基于新視點(diǎn)坐標(biāo)在三維顯示空間上重新布置顯示窗口W57時(shí)， 圖像處理設(shè)備2的微處理器3布置該顯示窗口W57,使得顯示窗口W57 不論如何改變視點(diǎn)都始終位于用戶的正前方，以使用戶始終從正面在 視覺上確i人顯示窗口W57。如上所述，圖像處理設(shè)備2的微處理器3可以根據(jù)視頻數(shù)據(jù)的靜止 圖像具有的特征參數(shù)，在三維顯示空間上的坐標(biāo)位置上布置靜止圖像 的顯示窗口W57。因而，在指定多個(gè)視頻數(shù)據(jù)的圖片(靜止圖像)的情 況下，微處理器3可以呈現(xiàn)多個(gè)靜止圖像作為相應(yīng)于多個(gè)視頻數(shù)據(jù)的、 由靜止圖像的顯示窗口W57所組成的圖像組58(圖3)，從而使用戶通過 圖像組58直觀地掌握作為 一個(gè)圖像的多個(gè)視頻數(shù)據(jù)的總趨勢。在相應(yīng)于視頻數(shù)據(jù)的圖片(靜止圖像)的顯示窗口 W57被布置在 由例如DCT水平頻率軸、R軸和G軸限定的三維顯示空間上的情況下， 當(dāng)視點(diǎn)坐標(biāo)通過用戶的放大操作被移動(dòng)到偏離DCT水平頻率軸的水 平頻率高的位置時(shí)，圖像處理設(shè)備2的微處理器3可呈現(xiàn)放大圖像組 58Z1,其中具有細(xì)垂直線的靜止圖像的大量顯示窗口W57如圖18所示 被布置在DCT水平頻率軸附近。進(jìn)一步地，在相應(yīng)于視頻數(shù)據(jù)的靜止圖像的顯示窗口W57被通過 用戶的放大操作布置在由例如DCT水平頻率軸、R軸和G軸限定的三 維顯示空間上的情況下，當(dāng)視點(diǎn)坐標(biāo)被移動(dòng)到偏離R軸的R值大的位 置時(shí)，圖像處理設(shè)備2的微處理器3可呈現(xiàn)放大圖像組58Z2，其中具有 強(qiáng)紅色分量的靜止圖像的大量顯示窗口 W57如圖19所示被布置在R軸 附近。33進(jìn)一步地，在相應(yīng)于視頻數(shù)據(jù)的靜止圖像的顯示窗口W57被布置 在由例如DCT水平頻率軸、R軸和G軸限定的三維顯示空間上的情況 下，當(dāng)視點(diǎn)坐標(biāo)通過用戶的放大操作被移動(dòng)到偏離G軸的G值大的位 置時(shí)，圖像處理設(shè)備2的微處理器3可呈現(xiàn)放大圖像組58Z3，其中具有 強(qiáng)綠色分量的靜止圖像的大量顯示窗口 W57如圖20所示被布置在G軸 附近。(2-5-2)視頻數(shù)據(jù)(活動(dòng)圖片)的分類顯示處理過程隨后，將描述視頻數(shù)據(jù)(活動(dòng)圖片)的顯示處理過程。視頻數(shù)據(jù)(活 動(dòng)圖片)的顯示處理過程基本上與上述視頻數(shù)據(jù)的圖片(靜止圖像)的 顯示處理例程RT1相同。即，每當(dāng)根據(jù)預(yù)定幀頻更新構(gòu)成視頻數(shù)據(jù)的 圖片(靜止圖像)時(shí)，執(zhí)行與靜止圖像的顯示處理例程RT1相同的處理。具體地，如圖21所示，圖像處理設(shè)備2的微處理器3執(zhí)行例程RT2 的初始化步驟，并且前進(jìn)到下一步SP21，其中其確定由用戶指定的三 維顯示空間的顯示軸和用于將圖像組58顯示給用戶的視點(diǎn)坐標(biāo)，繼之 以前進(jìn)到步驟SP22。在步驟SP22中，圖像處理設(shè)備2的微處理器3識(shí)別由用戶指定的、 將被重放的視頻數(shù)據(jù)的靜止圖像，然后前進(jìn)到步驟SP23。在步驟SP23 中，圖像處理設(shè)備2的微處理器3設(shè)置該靜止圖像為目標(biāo)幀，解碼其子 視頻流LD1，將解碼的子視頻數(shù)據(jù)傳送給GPU 4，并且前進(jìn)到步驟 SP24。在步驟SP24中，圖像處理設(shè)備2的微處理器3查詢被用作三維顯 示空間的顯示軸的特征參數(shù)的特征量，從與靜止圖像相關(guān)的元數(shù)據(jù)文 件MDF中接收特征量，并且前進(jìn)到步驟SP25。在步驟SP25中，圖像處理設(shè)備2的微處理器3計(jì)算三維顯示空間 上的坐標(biāo)參數(shù)(坐標(biāo)位置)，相應(yīng)于構(gòu)成視頻數(shù)據(jù)的靜止圖像的顯示窗 口W57基于步驟SP24中所接收的特征參數(shù)的特征量被粘貼在所述三 維顯示空間上，并且前進(jìn)到下一個(gè)子程序SRT1。即，圖像處理設(shè)備2 的微處理器3將特征參數(shù)的特征量轉(zhuǎn)換成具有顯示軸的三維顯示空間 的坐標(biāo)參數(shù)(坐標(biāo)位置)，構(gòu)成視頻數(shù)據(jù)的各個(gè)圖片(靜止圖像)具有的特征參數(shù)被設(shè)置成所述顯示軸。在子程序SRT1中，圖像處理設(shè)備2的微處理器3基于先前顯示的 靜止圖像的三維顯示空間上的坐標(biāo)參數(shù)(坐標(biāo)位置)與更新之后顯示的 靜止圖像的三維顯示空間上的坐標(biāo)參數(shù)(坐標(biāo)位置)之間的相互位置關(guān) 系執(zhí)行坐標(biāo)補(bǔ)償處理，以計(jì)算補(bǔ)償?shù)淖鴺?biāo)，然后前進(jìn)到步驟SP26。稍 后將描述子程序SRT1中的這個(gè)坐標(biāo)補(bǔ)償處理過程。在步驟SP26中，圖像處理設(shè)備2的微處理器3允許GPU 4基于步驟 SP25中計(jì)算出的三維顯示空間上的坐標(biāo)位置，或子程序SRT1中得到 的補(bǔ)償坐標(biāo)，將相應(yīng)于構(gòu)成視頻數(shù)據(jù)的靜止圖像的顯示窗口W57粘貼 在三維顯示空間上；基于步驟SP21中確定的視點(diǎn)坐標(biāo)，將三維顯示空 間上的坐標(biāo)位置轉(zhuǎn)換成顯示區(qū)55的二維屏幕上的二維坐標(biāo)位置(顯示 位置參數(shù))；確定每個(gè)顯示窗口W57的顯示尺寸；并且按照靜止圖像的 更新次序在二維坐標(biāo)位置上畫出顯示窗口W57以便顯示。之后，圖像 處理設(shè)備2的微處理器3前進(jìn)到步驟SP27。在步驟SP27中，圖像處理設(shè)備2的微處理器3基于是否從用戶發(fā) 出了終止指令或是否預(yù)定時(shí)間已過，來確定是否結(jié)束相應(yīng)于視頻數(shù)據(jù) 的靜止圖像的顯示窗口W57的顯示處理。當(dāng)?shù)玫娇隙ńY(jié)果時(shí)，微處理 器3前進(jìn)到步驟SP28，結(jié)束顯示窗口W57的顯示處理。另一方面，如果在步驟SP27中得到否定結(jié)果，則圖像處理設(shè)備2 的微處理器3不結(jié)束顯示窗口W57的顯示處理，而是返回到步驟SP21， 執(zhí)行相應(yīng)于接下來指定的視頻數(shù)據(jù)的顯示窗口W57的顯示處理。如上所述，圖像處理設(shè)備2的微處理器3將靜止圖像的顯示窗口 W57布置在三維顯示空間上的坐標(biāo)位置上，構(gòu)成視頻數(shù)據(jù)的靜止圖像 具有的特征參數(shù)在所述三維顯示空間上被設(shè)置成顯示軸；并且根據(jù)靜 止圖像的特征參數(shù)的特征量的變化來改變?nèi)S顯示空間上的坐標(biāo)位 置(坐標(biāo)參數(shù))以便重新布置，每當(dāng)根據(jù)預(yù)定幀頻更新布置在三維顯示 空間上的顯示窗口W57的靜止圖像時(shí)發(fā)生所述變化，從而給用戶一種 就寸象每當(dāng)更新顯示窗口W57的靜止圖像時(shí)，顯示窗口W57以浮動(dòng)方式 在三維顯示空間上移動(dòng)的印象。這使用戶直觀且立即識(shí)別視頻數(shù)據(jù)的時(shí)間序列特征(趨勢)作為隨著重放圖像的進(jìn)程一起改變的顯示窗口W57的運(yùn)動(dòng)圖^^。(2-5-3)多個(gè)視頻數(shù)據(jù)(活動(dòng)圖片)的同時(shí)顯示處理過程隨后，將描述多個(gè)視頻數(shù)據(jù)(活動(dòng)圖片)的顯示處理過程。多個(gè)視 頻數(shù)據(jù)的顯示處理過程基本上與上述一個(gè)視頻數(shù)據(jù)的顯示處理例程 RT2相同。即，圖像處理設(shè)備2的微處理器3以同時(shí)和并行方式針對(duì)每 個(gè)視頻數(shù)據(jù)執(zhí)行顯示處理，以便根據(jù)靜止圖像的特征參數(shù)的變化，以 運(yùn)動(dòng)方式顯示顯示窗口W57，每當(dāng)三維顯示空間上的位置改變的同時(shí) 更新各個(gè)靜止圖像時(shí)發(fā)生所述變化。具體地，如圖22所示，圖像處理設(shè)備2的微處理器3執(zhí)行例程RT3 的初始化步驟，并且前進(jìn)到下一步SP31，其中其確定由用戶指定的三 維顯示空間的顯示軸和用于將圖像組58顯示給用戶的視點(diǎn)坐標(biāo)，接著 前進(jìn)到步驟SP32。在步驟SP32中，圖像處理設(shè)備2的微處理器3識(shí)別由用戶指定的、 將被重放的多個(gè)視頻數(shù)據(jù)的各個(gè)靜止圖像，然后前進(jìn)到步驟SP33、 SP36和SP39。在步驟SP33、 SP36和SP39中，圖像處理設(shè)備2的微處理器3設(shè)置 靜止圖像為目標(biāo)幀，解碼其子視頻流LD1，將解碼的子視頻數(shù)據(jù)分別 傳送給GPU4，并且前進(jìn)到步驟SP34、 SP37和SP40。在步驟SP34、 SP37和SP40中，圖像處理設(shè)備2的微處理器3查詢 被用作三維顯示空間的顯示軸的特征參數(shù)的特征量，從與各個(gè)靜止圖 像相關(guān)的元數(shù)據(jù)文件MDF中接收這些特征量，并且前進(jìn)到后續(xù)步驟 SP35、 SP38和SP41。在步驟SP35、 SP38和SP41中，圖像處理設(shè)備2的微處理器3計(jì)算 三維顯示空間上的坐標(biāo)參數(shù)(坐標(biāo)位置)，相應(yīng)于構(gòu)成各個(gè)視頻數(shù)據(jù)的 靜止圖像的顯示窗口W57基于在步驟SP34、 SP37、和SP40中所接收 的特征參數(shù)的特征量被粘貼在所述三維顯示空間上，然后前進(jìn)到下一 個(gè)子程序SRT1。即，圖像處理設(shè)備2的微處理器3將特征參數(shù)的特征量轉(zhuǎn)換成具有顯示軸的三維顯示空間的坐標(biāo)參數(shù)(坐標(biāo)位置)，構(gòu)成多 個(gè)視頻數(shù)據(jù)的各個(gè)靜止圖像具有的特征參數(shù)被設(shè)置成所述顯示軸。在子程序SRT1中，圖像處理設(shè)備2的微處理器3基于先前顯示的 靜止圖像的三維顯示空間上的坐標(biāo)參數(shù)(坐標(biāo)位置)與更新之后顯示的 靜止圖像的三維顯示空間上的坐標(biāo)參數(shù)(坐標(biāo)位置)之間的相互位置關(guān) 系執(zhí)行坐標(biāo)補(bǔ)償處理，以計(jì)算補(bǔ)償?shù)淖鴺?biāo)，然后前進(jìn)到步驟SP42。在步驟SP42中，圖像處理設(shè)備2的微處理器3允許GPU 4分別基于 步驟SP35、 SP38和SP41中計(jì)算出的三維顯示空間上的坐標(biāo)位置，將 相應(yīng)于構(gòu)成視頻數(shù)據(jù)的靜止圖像的顯示窗口W57粘貼在三維顯示空 間上；基于步驟SP31中確定的視點(diǎn)坐標(biāo)，將三維顯示空間上的坐標(biāo)位 置分別轉(zhuǎn)換成顯示區(qū)55的二維屏幕上的二維坐標(biāo)位置(顯示位置參 數(shù))；確定各個(gè)顯示窗口W57的顯示尺寸；并且在二維坐標(biāo)位置上畫出 顯示窗口W57，從而顯示圖像組58。 之后，圖像處理設(shè)備2的微處理 器3前進(jìn)到后續(xù)步驟SP43。在步驟SP43中，圖像處理設(shè)備2的微處理器3基于是否從用戶發(fā) 出了終止指令或預(yù)定時(shí)間是否已過，來決定是否結(jié)束圖像組58的顯示 處理。當(dāng)?shù)玫娇隙ńY(jié)果時(shí)，微處理器3前進(jìn)到步驟SP44,其中其結(jié)束 由相應(yīng)于多個(gè)視頻數(shù)據(jù)的多個(gè)顯示窗口 W57組成的圖像組58的顯示 處理。另一方面，如果在步驟SP44中得到否定結(jié)果，則圖像處理設(shè)備2 的微處理器3不結(jié)束圖像組58的顯示處理，而是返回到步驟SP31，執(zhí) 行相應(yīng)于接下來指定的視頻數(shù)據(jù)的顯示窗口W57的顯示處理。如上所述，圖像處理設(shè)備2的微處理器3根據(jù)多個(gè)視頻數(shù)據(jù)中的各 個(gè)靜止圖像具有的顯示軸的特征參數(shù)的特征量，將相應(yīng)于多個(gè)靜止圖 像的多個(gè)顯示窗口W57布置在三維顯示空間上的坐標(biāo)參數(shù)(坐標(biāo)位置) 上，并且根據(jù)靜止圖像的特征參數(shù)的特征量的變化，分別改變?nèi)S顯 示空間上的坐標(biāo)參數(shù)(坐標(biāo)位置)以便重新布置，每當(dāng)根據(jù)預(yù)定幀頻更 新布置在三維顯示空間上的顯示窗口W57的靜止圖像時(shí)發(fā)生所述變 化，從而給用戶一種每當(dāng)更新顯示窗口W57的靜止圖像時(shí)，顯示窗口W57就像以浮動(dòng)方式在三維顯示空間上移動(dòng)的印象。這使用戶直觀并 且立即識(shí)別多個(gè)視頻數(shù)據(jù)的時(shí)間序列特征(趨勢)，作為隨著重放圖像 的進(jìn)程一起改變的顯示窗口W57的運(yùn)動(dòng)圖像。即，在構(gòu)成多個(gè)不同視頻數(shù)據(jù)的靜止圖像的特征彼此非常相似的 情況下，相應(yīng)于各個(gè)視頻數(shù)據(jù)的顯示窗口W57以相同浮動(dòng)方式并且沿 著相同方向移動(dòng)。另一方面，在構(gòu)成多個(gè)不同視頻數(shù)據(jù)的靜止圖像的 特征彼此不同的情況下，相應(yīng)于各個(gè)視頻數(shù)據(jù)的顯示窗口 W57以不同 的浮動(dòng)方式并且沿著不同方向浮動(dòng)。因而，當(dāng)用戶希望關(guān)注的視頻數(shù)據(jù)被用戶選擇時(shí)，用戶易于將注 意力僅集中在相應(yīng)于所選擇的視頻數(shù)據(jù)的顯示窗口W57上，因此，用 戶可以通過表示顯示窗口W57的運(yùn)動(dòng)的變化的有效圖像，可以容易地 掌握視頻數(shù)據(jù)的特征(趨勢)。具體地，如圖23所示，在相應(yīng)于給定視頻數(shù)據(jù)的顯示窗口W57 的第一個(gè)靜止圖像包含相應(yīng)于B軸的強(qiáng)藍(lán)色分量的情況下，圖像處理 設(shè)備2的微處理器3根據(jù)由靜止圖像所具有的、相應(yīng)于B軸的特征參數(shù) 所表示的特征量，將顯示窗口W57布置在屏幕的左下角的位置P01處。更新視頻數(shù)據(jù)的靜止圖像之后，圖像處理設(shè)備2的微處理器3根據(jù) 該更新的靜止圖像中的藍(lán)色分量的特征量，將更新的靜止圖像的顯示 窗口 W57重新布置在離開位置P01的位置P02處。在進(jìn)一步更新視頻數(shù)據(jù)的靜止圖像之后，圖像處理設(shè)備2的微處 理器3根據(jù)該更新的靜止圖像中的藍(lán)色分量的特征量，將更新的靜止 圖像的顯示窗口 W57重新布置在離開位置P02的位置P03處。如上所述，圖像處理設(shè)備2的微處理器3根據(jù)每當(dāng)更新視頻數(shù)據(jù)的 靜止圖像時(shí)的各個(gè)靜止圖像的特征參數(shù)的特征量，在改變?nèi)S顯示空 間上的坐標(biāo)位置的同時(shí)重新布置顯示窗口 W57。這使用戶在視覺上確 認(rèn)相應(yīng)于視頻數(shù)據(jù)的顯示窗口W57好像以浮動(dòng)方式在顯示區(qū)55的屏 幕上移動(dòng)的狀態(tài)。(2-5-4)坐標(biāo)補(bǔ)償處理過程接下來，下面將描述程序RT2中的子程序SRT1(圖21)的坐標(biāo)補(bǔ)償 處理過程和程序RT3中的子程序SRT1(圖22)的坐標(biāo)補(bǔ)償處理過程。兩 個(gè)過程彼此相同。在圖24中所示的坐標(biāo)補(bǔ)償處理程序SRT1中，當(dāng)更新顯示窗口 W57的靜止圖像以使該顯示窗口 W57根據(jù)其靜止圖像的特征量順序 地移動(dòng)時(shí)，圖像處理設(shè)備2的微處理器3不允許顯示窗口 W57在如圖25 中所示的畫面改變時(shí)，在一個(gè)單次動(dòng)作中跳到目的地，而是允許顯示 窗口W57在調(diào)整顯示窗口W57的移動(dòng)速度的同時(shí)逐漸移動(dòng)到目的地 (允許顯示窗口W57以逐步方式移動(dòng))。即，圖像處理設(shè)備2的微處理器 3執(zhí)行補(bǔ)償計(jì)算以便除了原目的地的坐標(biāo)之外還得到補(bǔ)償坐標(biāo)，從而 允許顯示窗口W57—次性移動(dòng)到由補(bǔ)償坐標(biāo)表示的位置，因而4吏用戶 跟隨顯示窗口W57的運(yùn)動(dòng)。具體地，圖像處理設(shè)備2的微處理器3執(zhí)行子程序RT1的初始化步 驟，并且前進(jìn)到下一步SP61。 在步驟SP61中，在更新視頻數(shù)據(jù)的靜 止圖像的時(shí)候，圖像處理設(shè)備2的微處理器3計(jì)算相應(yīng)于當(dāng)前靜止圖像 的顯示窗口W57在三維顯示空間上的當(dāng)前坐標(biāo)(位置POn)與相應(yīng)于下 一個(gè)靜止圖像的顯示窗口W57在三維顯示空間上的目的地坐標(biāo)(位置 POn+l)之間的差，以得到假定的移動(dòng)距離(歐幾里德距離)，然后前進(jìn) 到步驟SP62。在步驟SP62中，圖像處理設(shè)備2的微處理器3計(jì)算目的地坐標(biāo)與 當(dāng)前坐標(biāo)，以得到具有差值，，l"的向量作為移動(dòng)方向向量，然后前進(jìn) 到步驟SP63。在步驟SP63中，圖像處理設(shè)備2的微處理器3確定在步驟SP61中 得到的假定移動(dòng)距離是否小于先前設(shè)定的預(yù)定最小移動(dòng)值。當(dāng)?shù)玫娇?定結(jié)果時(shí)，其意味著假定移動(dòng)距離小于最小移動(dòng)值，也就是說，相應(yīng) 于當(dāng)前靜止圖像的顯示窗口W57的位置POn與相應(yīng)于下一個(gè)靜止圖 像的顯示窗口 W57的位置POn+l之間的距離足夠小，以使用戶跟隨顯 示窗口W57的運(yùn)動(dòng)，然后圖像處理設(shè)備2的微處理器3前進(jìn)到后續(xù)步驟 SP64。在步驟SP64中，圖像處理設(shè)備2的微處理器3識(shí)別出顯示窗口 W57將定位于其上的目的地坐標(biāo)本身是根據(jù)下一個(gè)靜止圖像的特征 量所確定的坐標(biāo)值，在相應(yīng)于該坐標(biāo)值的位置上布置顯示窗口W57， 然后前進(jìn)到步驟SP68，其中圖像處理設(shè)備2的微處理器3結(jié)束該處理流 程。反之，當(dāng)在步驟SP63中得到否定結(jié)果時(shí)，其意味著假定移動(dòng)距 離大于最小移動(dòng)值，也就是說，相應(yīng)于當(dāng)前靜止圖像的顯示窗口W57 的位置POn與相應(yīng)于下一個(gè)靜止圖像的顯示窗口W57的位置POn+l之 間的距離太大，使得用戶很難跟隨顯示窗口W57的運(yùn)動(dòng)，然后圖像處 理設(shè)備2的微處理器3前進(jìn)到步驟SP65。在步驟SP65中，圖像處理設(shè)備2的微處理器3確定在步驟SP61中 得到的假定移動(dòng)距離的1/2 (此后被稱作"假定移動(dòng)距離/2")是否大于 先前設(shè)定的預(yù)定最大移動(dòng)距離。當(dāng)?shù)玫娇隙ńY(jié)果時(shí)，其意味著假定移 動(dòng)距離/2大于最大移動(dòng)距離，也就是說，相應(yīng)于當(dāng)前靜止圖像的顯示 窗口W57的位置POn與相應(yīng)于假定移動(dòng)距離/2的補(bǔ)償坐標(biāo)位置之間的 距離仍然較大，因此用戶很難跟隨顯示窗口W57的運(yùn)動(dòng)，然后，圖像 處理設(shè)備2的微處理器3前進(jìn)到后續(xù)步驟SP66。在步驟SP66中，圖像處理設(shè)備2的微處理器3計(jì)算補(bǔ)償坐標(biāo)(=當(dāng) 前坐標(biāo)+移動(dòng)方向向量x最大移動(dòng)值)，設(shè)置計(jì)算出的補(bǔ)償坐標(biāo)為顯示 窗口W57的目的地坐標(biāo)，然后前進(jìn)到步驟SP68，其中圖像處理設(shè)備2 的微處理器3給束該處理流程。反之，當(dāng)在步驟SP65中得到否定結(jié)果時(shí)，其意味著假定移動(dòng)距 離/2小于最大移動(dòng)距離，也就是說，相應(yīng)于當(dāng)前靜止圖像的顯示窗口 W57的位置POn與相應(yīng)于假定移動(dòng)距離/2的補(bǔ)償坐標(biāo)位置之間的距離 足夠小，以使用戶容易跟隨顯示窗口W57的運(yùn)動(dòng)，然后圖像處理設(shè)備 2的微處理器3前進(jìn)到后續(xù)步驟SP67。在步驟SP67中，圖像處理設(shè)備2的微處理器3計(jì)算補(bǔ)償坐標(biāo)(-當(dāng) 前坐標(biāo)+移動(dòng)方向向量x假定移動(dòng)距離/2)，設(shè)置計(jì)算出的補(bǔ)償坐標(biāo)為 顯示窗口W57的目的地坐標(biāo)，然后前進(jìn)到步驟SP68，其中圖像處理設(shè)備2的微處理器3結(jié)束該處理流程。如圖26所示，假定出現(xiàn)了一個(gè)畫面改變，其中給定視頻數(shù)據(jù)的顯 示窗口 W57從該時(shí)刻相應(yīng)于靜止圖像的當(dāng)前坐標(biāo)位置POn快速移動(dòng) 到相應(yīng)于下一個(gè)靜止圖像的位置POn+l。在這種情況下，顯示窗口 W57的位置POn與目的地坐標(biāo)位置POn+l之間的假定移動(dòng)距離大于最 小移動(dòng)距離，圖像處理設(shè)備2的微處理器3執(zhí)行上述坐標(biāo)補(bǔ)償處理程序 SRT1以計(jì)算補(bǔ)償?shù)淖鴺?biāo)，以便將顯示窗口W57移動(dòng)一個(gè)相應(yīng)于假定 移動(dòng)距離/2或最大移動(dòng)距離(在這種情況下相應(yīng)于假定移動(dòng)距離/2的 坐標(biāo)位置)的量，并且在相應(yīng)于計(jì)算出的補(bǔ)償坐標(biāo)的位置POm處臨時(shí) 布置顯示窗口W57以便顯示。此時(shí)，圖像處理設(shè)備2的微處理器3通過顯示窗口W57顯示畫面改 變之后的靜止圖像。然而，可選地，通過顯示窗口W57可顯示畫面改 變之前的靜止圖像，直到畫面改變之后的位置POn+l。進(jìn)一步地，可 采用另一種方法，其中通過顯示窗口W57顯示畫面改變之前的靜止圖 像，直到畫面改變前后的位置之間的中間位置，并且在中間位置和后 續(xù)位置處通過顯示窗口W57顯示畫面改變之后的靜止圖像。在顯示窗口W57的位置POm與相應(yīng)于前次更新的靜止圖像的位 置POn+2之間的假定移動(dòng)距離仍大于最小移動(dòng)值的情況下，圖像處理 設(shè)備2的微處理器3再次計(jì)算補(bǔ)償坐標(biāo)，以便將顯示窗口W57移動(dòng)一個(gè) 相應(yīng)于假定移動(dòng)距離/2或最大移動(dòng)距離的量，并且在相應(yīng)于計(jì)算出的 補(bǔ)償坐標(biāo)的位置POm+l處臨時(shí)布置顯示窗口W57以便顯示。隨后，在顯示窗口W57的位置POm+l與相應(yīng)于進(jìn)一步更新的靜 止圖像的位置POn+3之間的假定移動(dòng)距離仍大于最小移動(dòng)值的情況 下，圖像處理設(shè)備2的微處理器3再次計(jì)算補(bǔ)償坐標(biāo)，以便將顯示窗口 W57移動(dòng)一個(gè)相應(yīng)于假定移動(dòng)距離/2或最大移動(dòng)距離的量，并且在相 應(yīng)于計(jì)算出的補(bǔ)償坐標(biāo)的位置POm+2處臨時(shí)布置顯示窗口W57以便 顯示。此后，在顯示窗口W57的位置POm+2與相應(yīng)于進(jìn)一步更新的靜 止圖像的位置POn+4之間的假定移動(dòng)距離變得小于最小移動(dòng)值的時(shí)間點(diǎn)處，圖像處理設(shè)備2的微處理器3直接在相應(yīng)于假定移動(dòng)距離的位 置POn+4處移動(dòng)顯示窗口W57以便顯示。即，當(dāng)相應(yīng)于視頻數(shù)據(jù)的顯示窗口 W57的靜止圖像根據(jù)預(yù)定幀頻 被更新，以便根據(jù)以幀為單位的顯示窗口W57的靜止圖像的特征參數(shù) 的特征量重新布置該顯示窗口W57時(shí)，即使存在允許顯示窗口W57由 于畫面改變而明顯地跳躍的需要，圖像處理設(shè)備2的微處理器3也不允 許顯示窗口W57在一個(gè)單次動(dòng)作中跳到目的地，而是允許顯示窗口 W57逐漸地接近目的地，而同時(shí)以逐步方式縮短窗口W57的移動(dòng)距 離，從而使用戶在畫面改變時(shí)跟隨顯示窗口W57的運(yùn)動(dòng)。(3)重新排列處理在本發(fā)明的圖像處理設(shè)備2中，即使在三維顯示空間上的確定顯 示軸上布置視頻數(shù)據(jù)的顯示窗口W57之后，也可以根據(jù)用戶的操作任 意改變定義三維顯示空間的顯示軸，從而重新排列顯示窗口W57。下 面將描述顯示窗口W57的這種重新排列處理。當(dāng)在三維顯示空間上布置視頻數(shù)據(jù)的顯示窗口W57之后，用戶通 過GUI 65(圖4至6)發(fā)出改變顯示軸的參數(shù)的指令時(shí)，圖像處理設(shè)備2 的微處理器3基于新顯示軸重新產(chǎn)生一個(gè)新的三維顯示空間。具體地，圖像處理設(shè)備2的微處理器3執(zhí)行圖27中所示的程序RT4 的初始化步驟，然后前進(jìn)到下一步SP71，其中其識(shí)別出針對(duì)顯示軸的 用戶的特征參數(shù)改變操作的內(nèi)容，以確認(rèn)與將從當(dāng)前顯示軸改變的新 顯示軸相應(yīng)的特征參數(shù)，然后前進(jìn)到后續(xù)步驟SP72。在步驟SP72中，圖像處理設(shè)備2的微處理器3確定新的三維顯示 空間的顯示軸，以及該時(shí)刻所設(shè)定的視點(diǎn)坐標(biāo)，然后前進(jìn)到步驟SP73。 如果視點(diǎn)坐標(biāo)沒有變化，則微處理器3使用先前設(shè)定的視點(diǎn)坐標(biāo)而不 進(jìn)行修改。在步驟SP72中，圖像處理設(shè)備2的微處理器3設(shè)置通過構(gòu)成圖像 組58的多個(gè)顯示窗口W57正在顯示的視頻數(shù)據(jù)的靜止圖像作為目標(biāo) 幀，查詢被用作新三維顯示空間的顯示軸的特征參數(shù)的特征量，從與 目標(biāo)幀相關(guān)的元數(shù)據(jù)文件MDF中接收所述特征量，然后前進(jìn)到步驟SP74。在步驟SP74中，圖像處理設(shè)備2的微處理器3計(jì)算新三維顯示空 間上的坐標(biāo)參數(shù)(坐標(biāo)位置)，靜止圖像的顯示窗口W57基于在步驟 SP73中所接收的特征參數(shù)的特征量被粘貼在所述三維顯示空間上，然 后前進(jìn)到步驟SP75。在步驟SP75中，圖像處理設(shè)備2的微處理器3確定沒有視頻數(shù)據(jù) 的任何其他靜止圖像要通過顯示窗口 W57顯示。當(dāng)?shù)玫娇隙ńY(jié)果時(shí)，其意味著沒有視頻數(shù)據(jù)的任何其他顯示窗口 W57將被顯示，微處理器3前進(jìn)到后續(xù)步驟SP76。反之，當(dāng)在步驟SP75中得到否定結(jié)果時(shí)，其意味著存在要被顯 示的視頻數(shù)據(jù)的另一個(gè)顯示窗口W57，圖像處理設(shè)備2的微處理器3返 回到步驟SP72,重復(fù)上述處理，從而根據(jù)各個(gè)靜止圖像的特征參數(shù)， 為相應(yīng)于多個(gè)視頻數(shù)據(jù)的多個(gè)顯示窗口W57計(jì)算新三維顯示空間上 的坐標(biāo)位置。在步驟SP76中，圖像處理設(shè)備2的微處理器3允許GPU 4基于步驟 SP74中計(jì)算出的新三維顯示空間的坐標(biāo)位置，在新三維顯示空間上粘 貼相應(yīng)于靜止圖像的顯示窗口W57;基于在步驟SP72中所確定的視點(diǎn) 坐標(biāo)，將三維顯示空間上的坐標(biāo)參數(shù)(坐標(biāo)位置)轉(zhuǎn)換成顯示區(qū)55的二 維屏幕上的二維坐標(biāo)位置(顯示位置參數(shù))；確定多個(gè)顯示窗口 W57的 顯示尺寸；并且在二維坐標(biāo)位置上畫出該顯示窗口W57以便顯示，從 而可顯示由新三維顯示空間上已經(jīng)重新排列的多個(gè)顯示窗口W57所 組成的圖像組58。之后，圖像處理設(shè)備2的微處理器3前進(jìn)到步驟SP77。在步驟SP77中，圖像處理設(shè)備2的微處理器3基于是否從用戶發(fā) 出了終止指令或預(yù)定時(shí)間是否已過，決定是否結(jié)束圖像組58的顯示處 理。當(dāng)?shù)玫娇隙ńY(jié)果時(shí)，微處理器3前進(jìn)到步驟SP80，結(jié)束圖像組58 的顯示處理的步驟SP80。反之，當(dāng)在步驟SP77中得到否定結(jié)果時(shí)，圖像處理設(shè)備2的微處 理器3不結(jié)束圖像組58的顯示處理而前進(jìn)到步驟SP78。在步驟SP78中， 微處理器3等到顯示窗口W57的視點(diǎn)坐標(biāo)被用戶的光標(biāo)操作改變，然后前進(jìn)到后續(xù)步驟SP79。在步驟SP79中，微處理器3確定顯示窗口 W57的視點(diǎn)坐標(biāo)是否實(shí) 際上已由用戶改變了。當(dāng)?shù)玫椒穸ńY(jié)果時(shí)，微處理器3返回到步驟 SP76,其中其繼續(xù)在最初的坐標(biāo)位置上顯示圖像組58。反之，當(dāng)?shù)玫?肯定結(jié)果時(shí)，微處理器3返回到步驟SP71，識(shí)別針對(duì)顯示軸的用戶的 特征參數(shù)改變操作的內(nèi)容，以確認(rèn)要從當(dāng)前顯示軸改變的相應(yīng)于新顯 示軸的特征參數(shù)，并且重復(fù)步驟SP72和后續(xù)步驟的處理。例如，如圖28所示，假定顯示窗口W571和W572被布置在由B軸、 DCT垂直頻率軸和DCT水平頻率軸限定的三維顯示空間上。在這種情 況下，當(dāng)定義三維顯示空間的顯示軸轉(zhuǎn)變?yōu)镽軸、B軸和G軸時(shí)，圖像 處理設(shè)備2的微處理器3根據(jù)相應(yīng)于新設(shè)定顯示軸的視頻數(shù)據(jù)的靜止 圖像的特征參數(shù)的特征量，重新排列顯示窗口W571和W572。因此，圖像處理設(shè)備2的微處理器3任意改變定義三維顯示空間的 顯示軸，以適應(yīng)用戶的需要或偏好而重新排列顯示窗口W57，從而使 用戶通過重新排列結(jié)果直觀地掌握視頻數(shù)據(jù)的總特征(趨勢)。因而，例如，圖24的左邊所示的由B軸、DCT垂直頻率軸和DCT 水平頻率軸限定的三維顯示空間上的顯示窗口 W571和W572給用戶 一個(gè)印象，即窗口W571和W572的靜止圖像(海)具有相似的藍(lán)色分量 的特征量，而圖24的右邊所示的由R軸、B軸和G軸限定的新三維顯示 空間上的顯示窗口 W571和W572給用戶一個(gè)印象，即窗口 W571和 W572的靜止圖像(海)具有不同的綠色分量和紅色分量的特征量。利用 該配置，用戶可以容易地管理和搜索視頻數(shù)據(jù)。(4)成組顯示處理進(jìn)一步地，在圖像處理設(shè)備2中，可以以成組方式顯示相應(yīng)于具 有相似特征的靜止圖像的顯示窗口W57。此處，將描述成組顯示處理。例如，如圖29 (A)和29 (B)所示，在圖像處理設(shè)備2的微處理器3 中，在相應(yīng)于多個(gè)視頻數(shù)據(jù)的多個(gè)顯示窗口W571到W578被排列在三 維顯示空間上的情況下，當(dāng)重放多個(gè)視頻數(shù)據(jù)時(shí)，每當(dāng)更新通過顯示 窗口顯示的靜止圖像時(shí)，顯示窗口W571到W578就沿著各個(gè)箭頭的方向慢慢移動(dòng)。然后，如圖29(C)所示，在重放視頻數(shù)據(jù)當(dāng)中或之后，圖像處理 設(shè)備2的微處理器3計(jì)算相鄰顯示窗口之間的距離L1。當(dāng)距離L1小于預(yù) 定閾值TH1時(shí)，微處理器3確定相鄰靜止圖像之間的特征量中的相似 度為高；反之，當(dāng)距離L1大于預(yù)定閾值TH1時(shí)，微處理器3確定相鄰 靜止圖像之間的特征量中的相似度為低。例如，圖像處理設(shè)備2的微 處理器3將具有高相似度的顯示窗口 W571和W573放在一起作為第一 組，并且將第一預(yù)定顏色給予顯示窗口W571和W573的幀，類似地， 將顯示窗口W572、 W577和W578放在一起作為第二組，并且將第二 預(yù)定顏色給予其幀。在這種情況下，對(duì)于例如顯示窗口W574、 W576和W575，彼此 之間的距離L1大于閾值TH1，并且因而相鄰靜止圖像之間的特征量中 的相似度為低，使得圖像處理設(shè)備2的微處理器3從成組的目標(biāo)中移除 顯示窗口W574、 W576和W575，并且例如降低顯示窗口 W574、 W576 和W575的亮度水平以產(chǎn)生不同于笫 一和第二組的視差。具體地，如圖30所示，圖像處理設(shè)備2的微處理器3執(zhí)行程序RT5 的初始化步驟，并且前進(jìn)到下一步驟SP91,關(guān)于構(gòu)成顯示區(qū)55上顯示 的圖像組58的多個(gè)顯示窗口 W571到W578計(jì)算相鄰顯示窗口 W57之 間的距離L1，然后前進(jìn)到后續(xù)步驟SP92。在步驟SP92中，圖像處理設(shè)備2的微處理器3比較相鄰顯示窗口 W57與先前設(shè)定的預(yù)定閾值TH1之間的距離L1，以確定距離L1是否小 于閾值L1。當(dāng)?shù)玫娇隙ńY(jié)果時(shí)，微處理器3前進(jìn)到步驟SP93。在步驟SP93中，由于相鄰顯示窗口 W57之間的距離L1小于閾值 TH1，圖像處理設(shè)備2的微處理器3識(shí)別出多個(gè)顯示窗口 W57被排列在 三維顯示空間上的靠近位置處，即顯示窗口W57的靜止圖像的特征量 之間相類似，以確定顯示窗口 W57之間的相似度高并且前進(jìn)到步驟 SP94。在步驟SP94中，圖像處理設(shè)備2的微處理器3將第一或第二預(yù)定 顏色給予已確定具有相似性的多個(gè)顯示窗口 W57的顯示幀，從而將其45作為具有相似特征量的組來顯示，然后前進(jìn)到后續(xù)步驟SP95。在步驟SP95中，圖像處理設(shè)備2的微處理器3確定圖像組58中的 所有顯示窗口W57的相似性是否都已被確定。當(dāng)?shù)玫椒穸ńY(jié)果時(shí)，微 處理器3返回到步驟SP91，重復(fù)上述處理，并且直到完成有關(guān)所有顯 示窗口W57的相似性的確定，從而得到肯定結(jié)果。然后，微處理器3 前進(jìn)到步驟SP98,以便結(jié)束這種處理流程。反之，當(dāng)在步驟SP92中得到否定結(jié)果時(shí)，圖像處理設(shè)備2的微處 理器3前進(jìn)到步驟SP96,確定相鄰顯示窗口W57沒有相似性，由于相 鄰顯示窗口W57之間的距離L1不小于閾值TH1，因此兩個(gè)顯示窗口 W57未被排列在三維顯示空間上的靠近位置處，即相鄰顯示窗口W57 的靜止圖像所具有的特征量彼此不相似，然后微處理器3前進(jìn)到步驟 SP97。在步驟SP97中，圖像處理設(shè)備2的微處理器3不將已確定沒有相 似性的相鄰顯示窗口W57放在一起，而是降低顯示窗口W57的亮度水 平，以使用戶在視覺上確認(rèn)這些顯示窗口W57不能被分類為一組，從 而導(dǎo)致加亮成組的顯示窗口W57。之后，微處理器3前進(jìn)到步驟SP98， 以便結(jié)束這種處理流程。如上所述，圖像處理設(shè)備2的微處理器3基于重放視頻數(shù)據(jù)期間或 之后的多個(gè)顯示窗口W57的靜止圖像，確定相應(yīng)于多個(gè)視頻數(shù)據(jù)的多 個(gè)顯示窗口 W57 ，以便將圖像組58分類成具有相似性的組和沒有相似 性的組。進(jìn)一步地，圖像處理設(shè)備2的微處理器3將預(yù)定顏色給予屬于 具有相似性的組的顯示窗口W57的幀，而降低屬于沒有相似性的組的 顯示窗口W57的亮度水平，從而使用戶根據(jù)高亮度立即并且直觀的識(shí) 別圖像組58的各個(gè)顯示窗口 W57具有的特征量的趨勢。圖像處理設(shè)備2的微處理器3可基于在多個(gè)視頻數(shù)據(jù)的重放處理 開始之前的時(shí)間點(diǎn)處或每當(dāng)更新正重放的視頻數(shù)據(jù)的靜止圖像時(shí)的 第 一 個(gè)靜止圖像執(zhí)行成組顯示處理程序RT5 。附帶地，取代降低沒有相似性的顯示窗口W57的亮度水平，圖像 處理設(shè)備2的孩i處理器3還可給予沒有相似性的顯示窗口 W57與成組顯示窗口W57相反的顏色。進(jìn)一步地，取代給予成組顯示窗口W57以 顏色，微處理器3還可增加成組顯示窗口W57的亮度水平，或閃爍成 組顯示窗口W57。關(guān)鍵在于僅僅有必要加亮屬于具有相似性的組的顯 示窗口W57，以便將它們與其它顯示窗口W57區(qū)別開?？梢陨杀硎疽曨l數(shù)據(jù)的特征參數(shù)彼此相似，或表示具有相似性 的組的相似性信息作為新特征參數(shù)或相關(guān)參數(shù)(稍后描述)。例如，針 對(duì)每個(gè)視頻數(shù)據(jù)提供用于計(jì)數(shù)出現(xiàn)相似性的次數(shù)的計(jì)數(shù)器，從而測量 視頻數(shù)據(jù)之間的相似性。在這種情況下，可以只自動(dòng)顯示具有計(jì)數(shù) 值大于預(yù)定閾值的視頻數(shù)據(jù)。(5)顯示應(yīng)用例子隨后，將描述圖像處理設(shè)備2的微處理器3可執(zhí)行的顯示窗口 W57 的顯示應(yīng)用例子。(5-l)當(dāng)三維顯示空間移動(dòng)，而顯示窗口的位置保持固定不動(dòng)時(shí)的 顯示處理如上所述，在圖像處理設(shè)備2中，當(dāng)相應(yīng)于視頻數(shù)據(jù)的顯示窗口 W57的靜止圖像被更新時(shí)，每個(gè)靜止圖像的特征量被改變。此時(shí)，可 采用一種配置，其中在其上更新靜止圖像數(shù)據(jù)的特征量的目標(biāo)顯示窗 口W57的位置不改變，而三維顯示空間及其他顯示窗口W57被移動(dòng)以 便被重新排列。此處，將描述這種目標(biāo)顯示窗口的位置保持固定不動(dòng) 的顯示處理。在以上描述中，在圖像處理設(shè)備2中，如圖23所示，每當(dāng)更新顯 示窗口 W57的靜止圖像時(shí)，根據(jù)靜止圖像的特征量在其上排列更新后 靜止圖像的顯示窗口W57的三維顯示空間上的坐標(biāo)參數(shù)(坐標(biāo)位置)被 改變，以浮動(dòng)方式將顯示窗口W57從位置P01移動(dòng)到位置P03，而三 維顯示空間保持固定不動(dòng)。然而，可以采用一種配置，其中在顯示區(qū)55上的目標(biāo)顯示窗口 W57的顯示位置固定的情況下，每次更新顯示窗口W57的靜止圖像 時(shí)，三維顯示空間本身根據(jù)靜止圖像的特征量被移動(dòng)和/或旋轉(zhuǎn)，從而 改變目標(biāo)顯示窗口 W57與三維顯示空間之間的相對(duì)位置關(guān)系，允許其它顯示窗口W57以浮動(dòng)方式接近或離開固定的目標(biāo)顯示窗口W57。具體地說，在位于圖23中的位置P01處的顯示窗口W57C的位置 被固定到如圖31所示的顯示區(qū)55的屏幕中心位置POc的情況下，圖像 處理設(shè)備2的微處理器3顯示存在于顯示窗口 W57C周圍的其它顯示窗 口W57，而保持與顯示窗口W57C的相對(duì)位置關(guān)系。此后，如圖32所示，在更新顯示窗口W57C的靜止圖像時(shí)，圖像 處理設(shè)備2的微處理器3根據(jù)所更新的靜止圖像的特征量，將其它顯示 窗口W57連同三維顯示空間一起移動(dòng)，而顯示窗口W57C的位置被固 定到屏幕中心位置POc上。類似地，如圖33所示，在進(jìn)一步更新顯示窗口W57C的靜止圖像 時(shí)，圖像處理設(shè)備2的微處理器3根據(jù)所更新的靜止圖像的特征量，將 其它顯示窗口W57連同三維顯示空間一起移動(dòng)，而顯示窗口W57C的 位置被始終如一地固定到屏幕中心位置POc上。即，圖像處理設(shè)備2的微處理器3在根據(jù)按單幀方式變化的靜止圖 像的特征量移動(dòng)三維顯示空間及其他顯示窗口W57的同時(shí)，通過顯示 窗口W57C顯示視頻數(shù)據(jù)的重放圖像，而顯示窗口W57C的位置保持固 定到屏幕中心位置POc上，從而給關(guān)注顯示窗口 W57C的用戶 一種印 象，即用戶本身和三維顯示空間上的顯示窗口W57C—起移動(dòng)，而消 除用戶跟不上顯示窗口 W57C的風(fēng)險(xiǎn)。下面將具體地描述保持顯示窗口 W57C的位置固定不動(dòng)的同時(shí) 執(zhí)行這種顯示處理過程。如圖34所示，圖像處理設(shè)備2的微處理器3執(zhí) 行程序RT6的初始化步驟，并且前進(jìn)到下一步SP101。在步驟SP101中，圖像處理設(shè)備2的微處理器3確定由用戶指定的 三維顯示空間的顯示軸，以及用于將圖像組58顯示給用戶的視點(diǎn)坐 標(biāo)，接著前進(jìn)到步驟SP102。在步驟SP102中，圖像處理設(shè)備2的微處理器3識(shí)別出由用戶指定 的、將被重放的視頻數(shù)據(jù)的靜止圖像，然后前進(jìn)到步驟SP103。在步 驟SP103中，微處理器3設(shè)置該靜止圖像為目標(biāo)幀，解碼其子視頻流 LD1，將解碼的子視頻數(shù)據(jù)傳送給GPU 4，然后前進(jìn)到后續(xù)步驟SP104。48在步驟SP104中，圖像處理設(shè)備2的微處理器3查詢被用作三維顯 示空間的顯示軸的特征參數(shù)的特征量，從與靜止圖像相關(guān)的元數(shù)據(jù)文 件MDF中接收該特征量，并且前進(jìn)到步驟SP105。
在步驟SP105中，圖像處理設(shè)備2的微處理器3計(jì)算三維顯示空間 上的坐標(biāo)參數(shù)(坐標(biāo)位置)，靜止圖像的顯示窗口W57C基于在步驟 SP104中所接收的特征參數(shù)的特征量被粘貼在所述三維顯示空間上， 改變視點(diǎn)坐標(biāo)使得三維顯示空間上的坐標(biāo)位置對(duì)應(yīng)于屏幕中心位置 POc，然后前進(jìn)到步驟SP106。
在步驟SP106中，圖像處理設(shè)備2的微處理器3顯示目標(biāo)幀的顯示 窗口W57C的位置被固定到屏幕中心位置POc上的狀態(tài)中的第一個(gè)靜 止圖像，重新排列相應(yīng)于顯示窗口W57C周圍存在的其它視頻數(shù)據(jù)的 顯示窗口W57,然后前進(jìn)到后續(xù)步驟SP107。
在步驟SP107中，在顯示窗口W57C的位置被固定到屏幕中心位 置POc上的情況中，圖像處理設(shè)備2的微處理器3根據(jù)例如預(yù)定幀頻來 更新顯示窗口W57C的靜止圖像，查詢被用作顯示軸的特征參數(shù)的特 征量，從與所更新的靜止圖像相關(guān)的元數(shù)據(jù)文件MDF中接收所述特征 量，然后前進(jìn)到步驟SP108。
在步驟SP108中，圖像處理設(shè)備2的微處理器3允許GPU 4根據(jù)更 新的靜止圖像的特征量，重畫三維顯示空間及存在于顯示窗口W57C 周圍的其他顯示窗口 W57，同時(shí)保持顯示窗口 W57C的位置固定在屏 幕中心位置POc上，然后前進(jìn)到步驟SP109。
在步驟SP109中，微處理器3基于是否從用戶發(fā)出了終止指令或 預(yù)定時(shí)間是否已過，決定是否結(jié)束屏幕中心位置POc處的顯示窗口 W57C的顯示處理。當(dāng)?shù)玫娇隙ńY(jié)果時(shí)，微處理器3前進(jìn)到步驟SP110， 結(jié)束顯示窗口 W57C的顯示處理。
反之，當(dāng)在步驟SP109中得到否定結(jié)果時(shí)，微處理器3不結(jié)束屏 幕中心位置POc處的顯示窗口W57C的顯示處理，而是返回到步驟 SP101,重復(fù)上述處理。
如上所述，圖像處理設(shè)備2的微處理器3通過顯示窗口W57C顯示
49視頻數(shù)據(jù)的重放圖像，并保持顯示窗口W57C的位置保持固定在屏幕 中心位置POc上，同時(shí)根據(jù)將被更新的靜止圖像的特征量移動(dòng)三維顯 示空間以及其它顯示窗口W57,從而使用戶通過顯示窗口W57C與三 維顯示空間及其他顯示窗口 W57之間相對(duì)位置關(guān)系的改變，直觀地識(shí) 別目標(biāo)視頻數(shù)據(jù)的特征為圖像。
(5-3)利用子瀏覽器的放大顯示例子
在圖像處理設(shè)備2的微處理器3中，構(gòu)成圖像組58的各個(gè)顯示窗口 W57的顯示尺寸并不總是足夠大。因而，可能有用戶不能滿意通過顯 示窗口W57在視覺上確認(rèn)視頻的重放圖像的情況。
為了處理這個(gè)情況，在圖像處理設(shè)備2中，當(dāng)用戶通過雙擊操作 從顯示窗口W57中選出圖像組58的顯示窗口 W571和W572時(shí)，具有相 對(duì)較大尺寸的子瀏覽器彈出，并且如圖35所示，在子瀏覽器上以放大 的方式通過放大的顯示窗口BW571和BW572，顯示與那些通過顯示窗 口W571和W572顯示的重放圖像相同的重放圖像。
利用這個(gè)配置，即使當(dāng)以取決于顯示窗口 W571和W572的位置或 顯示尺寸的非常小的尺寸來顯示重放圖像時(shí)，圖像處理設(shè)備2也使用 放大的顯示窗口BW571和BW572,以使用戶滿意地確認(rèn)重放圖^f象的內(nèi) 容，從相應(yīng)于多個(gè)視頻數(shù)據(jù)的多個(gè)顯示窗口W57中產(chǎn)生用戶期望的視
頻數(shù)據(jù)的每個(gè)搜索。
圖像處理設(shè)備2的微處理器3沿著顯示區(qū)55的邊緣排列放大的顯 示窗口 BW571和BW572，將相同顏色給予顯示窗口 W571及其相應(yīng)的 放大的顯示窗口BW571的幀，以及將相同顏色(不同于給予顯示窗口 W571和放大的顯示窗口BW571的顏色)給予顯示窗口W572及其相應(yīng) 的放大的顯示窗口 B W572的幀。
該配置使得用戶輕易地識(shí)別放大的顯示窗口BW571與顯示窗口 W571上顯示的重放圖像之間，或放大的顯示窗口BW572與顯示窗口 W572上顯示的重放圖像之間的對(duì)應(yīng)關(guān)系。
放大的顯示窗口BW571和BW572被沿著顯示區(qū)55的邊緣排列， 使得當(dāng)放大的顯示窗口BW571、 BW572的數(shù)量過度增加時(shí)，圖像組58的一些顯示窗口會(huì)被放大的顯示窗口隱藏。為防止這個(gè)情況發(fā)生，當(dāng)放大的顯示窗口BW571、 BW572的數(shù)量超過預(yù)定值時(shí)，減小放大的顯 示窗口的縱向和橫向長度以減少其整個(gè)屏幕尺寸。 (6)顯示窗口軌跡顯示處理如上所述，在圖像處理設(shè)備2中，當(dāng)通過顯示窗口W57顯示視頻 數(shù)據(jù)的重放圖像時(shí)，每當(dāng)更新構(gòu)成視頻數(shù)據(jù)的圖片(靜止圖像)時(shí)改變 三維顯示空間上的顯示窗口W57的位置。在這種配置中，可能有給定 位置處的顯示窗口W57在一段預(yù)定時(shí)間過去之后被移動(dòng)到遠(yuǎn)離前一 位置的位置上的情況。在這種情況下，用戶難以記住正在重放的圖像 先前時(shí)刻所具有的特征，因此用戶不能充分地掌握視頻數(shù)據(jù)的全部特 征(趨勢)。考慮到以上問題，在圖像處理設(shè)備2中，顯示窗口W57在三維顯 示空間上移動(dòng)的同時(shí)，顯示窗口W57的移動(dòng)過程被顯示為軌跡，從而 使得用戶在視覺上確認(rèn)在視頻數(shù)據(jù)的顯示期間，重放視頻數(shù)據(jù)圖像過 去所具有的和/或?qū)韺⒕哂械奶卣鞯念愋?。因而，即使在顯示視頻數(shù) 據(jù)的重放圖像的顯示之后，用戶也可以充分地識(shí)別出視頻數(shù)據(jù)的特征 (趨勢)。在下文中，將描述實(shí)現(xiàn)以上優(yōu)點(diǎn)的軌跡顯示處理。(6-1)普通軌跡顯示模式圖36示出了選擇整個(gè)軌跡顯示模式的情況。在此情況下，圖像處 理設(shè)備2的微處理器3每當(dāng)更新靜止圖像時(shí)，沿著箭頭的方向移動(dòng)視頻 數(shù)據(jù)的顯示窗口W57，同時(shí)將描述與正在顯示的靜止圖像相關(guān)地排列 的顯示窗口W57的以往移動(dòng)的軌跡以及描述顯示窗口 W57的將來移 動(dòng)的軌跡顯示為連線。當(dāng)顯示以往軌跡時(shí)，每當(dāng)更新顯示窗口W57的靜止圖像，圖像處 理設(shè)備2的微處理器3通過連接隨著顯示窗口W57的移動(dòng)而移動(dòng)的顯 示窗口W57的重心生成連線，并且用例如紅色將所生成線顯示為以往 軌跡。當(dāng)顯示將來軌跡時(shí)，圖像處理設(shè)備2的微處理器3基于從現(xiàn)在起將 被更新的顯示窗口 W57的靜止圖像的特征量，計(jì)算顯示窗口 W57將移動(dòng)到的坐標(biāo)參數(shù)(坐標(biāo)位置)，通過順序連接計(jì)算出的坐標(biāo)位置上的顯示窗口W57的將來重心生成連線，并且用例如藍(lán)色將所生成的連線顯 示為將來軌跡。也就是說，在圖像處理設(shè)備2中，從顯示窗口W57在后方延伸的 以往軌跡被顯示為紅線，而從顯示窗口 W57在前方延伸的將來軌跡被 顯示為藍(lán)線。如上所述，以顏色編碼的方式顯示以往和將來軌跡，從 而使得用戶立即并且直觀地識(shí)別出顯示窗口W57將移動(dòng)的方向。取代以顏色編碼的方式顯示以往和將來軌跡，圖像處理設(shè)備2的 微處理器3可采用任何其他顯示方法來表示軌跡。例如，以往軌跡和 將來軌跡可以分別用實(shí)線和虛線來顯示。雖然在以上描述中，圖像處理設(shè)備2的微處理器3顯示了顯示窗口 W57的以往和將來軌跡二者，但是根據(jù)用戶的模式選擇可以只顯示以 往和將來軌跡中的一個(gè)。將利用圖37的流程圖描述圖像處理設(shè)備2的微處理器3執(zhí)行的上 述軌跡顯示處理的過程。圖像處理設(shè)備2的微處理器3執(zhí)行程序RT9的初始化步驟，并且前 進(jìn)到下一步SP161，其中其接收用戶的選擇以指定將顯示其軌跡的視 頻數(shù)據(jù)，然后前進(jìn)到步驟SP162。在步驟SP162中，圖像處理設(shè)備2的微處理器3識(shí)別相應(yīng)于構(gòu)成目 標(biāo)視頻數(shù)據(jù)的各個(gè)靜止圖像的位置處的顯示窗口W57的重心，然后前 進(jìn)到步驟SP163。在步驟SP163中，圖像處理設(shè)備2的微處理器3連接在步驟SP162 中所識(shí)別出的重心，以生成表示軌跡的連線，該軌跡描述視頻數(shù)據(jù)的 顯示窗口W57的移動(dòng)的，然后前進(jìn)到步驟SP164。在步驟SP164中，圖像處理設(shè)備2的微處理器3確定示出以往軌跡 的以往軌跡顯示模式是否已被用戶選擇。當(dāng)?shù)玫娇隙ńY(jié)果時(shí)，圖像處 理設(shè)備2的微處理器3前進(jìn)到步驟SP165，顯示在以往方向上從當(dāng)前顯 示窗口W57延伸的連線作為以往軌跡，然后前進(jìn)到步驟SP169，以便 結(jié)束該處理流程。52反之，當(dāng)在步驟SP164中得到否定結(jié)果時(shí)，其意味著用戶已選擇 示出將來軌跡的將來軌跡顯示模式或示出包含以往和將來的全部軌 跡的全部軌跡顯示模式，圖像處理設(shè)備2的微處理器3前進(jìn)到步驟 SP166。在步驟SP166中，圖像處理設(shè)備2的微處理器3確定將來軌跡顯示 模式是否已被用戶選擇。當(dāng)?shù)玫娇隙ńY(jié)果時(shí)，圖像處理設(shè)備2的微處 理器3前進(jìn)到步驟SP167，顯示在將來方向上從當(dāng)前顯示窗口W57延伸 的連線作為將來軌跡，然后前進(jìn)到步驟SP169，以便結(jié)束該處理流程。反之，當(dāng)在步驟SP166得到否定結(jié)果時(shí)，其意味著用戶已選擇全 部軌跡顯示模式，圖像處理設(shè)備2的微處理器3前進(jìn)到步驟SP168，其 中其顯示包含從當(dāng)前顯示窗口W57延伸的以往側(cè)和將來側(cè)連線的全 部軌跡，然后前進(jìn)到步驟SP169以便結(jié)束該處理流程。因而，在圖像處理設(shè)備2的微處理器3中，在針對(duì)顯示窗口W57 只顯示以往軌跡的情況下，如圖38所示，只顯示從當(dāng)前顯示窗口W57 沿以往方向(即后方)延伸的連線，使得用戶得到一種仿佛移動(dòng)物體邊 排氣邊移動(dòng)的印象。此外，在針對(duì)顯示窗口W57只顯示將來軌跡的情況下，如圖39 所示，只顯示從當(dāng)前顯示窗口W57沿將來方向(即前方)延伸的連線， 使得用戶得到一種仿佛移動(dòng)物體邊移動(dòng)邊照亮其行進(jìn)方向的印象。附帶地，在顯示將來軌跡的情況下，可采用一種配置，其中起初 沒有顯示達(dá)到結(jié)束位置POe(圖36)的全部將來軌跡，而只顯示了從當(dāng) 前顯示的顯示窗口 W57延伸的預(yù)定長度的連線作為將來軌跡。如上 所述，當(dāng)結(jié)束位置POe起初未呈現(xiàn)給用戶時(shí)，用戶可以欣賞顯示窗口 W57的移動(dòng)，而估計(jì)結(jié)束位置POe。進(jìn)一步地，在針對(duì)顯示窗口W57顯示包含以往和將來軌跡二者的 全部軌跡的情況下，如圖40所示，顯示從當(dāng)前顯示窗口W57沿前和后 方向延伸的連線，使得用戶得到一種仿佛火車在鐵軌上移動(dòng)的印象。如上所述，圖像處理設(shè)備2的微處理器3使得用戶從上述三個(gè)模式 中任意選擇軌跡顯示方法，從而通過最容易識(shí)別的軌跡模式呈現(xiàn)視頻數(shù)據(jù)的每個(gè)靜止圖像的特征(趨勢)。(6-2)利用多個(gè)顯示窗口的軌跡顯示模式如圖36所示，圖像處理設(shè)備2的微處理器3被配置成不僅顯示正在 移動(dòng)的顯示窗口W57，而且在視頻數(shù)據(jù)重放開始時(shí)間點(diǎn)的顯示窗口 W57的起始位置POs處，以及在視頻數(shù)據(jù)重放結(jié)束時(shí)間點(diǎn)的顯示窗口 W57的結(jié)束位置POe處，顯示顯示窗口W57s和W57e，顯示窗口W57s 和W57e各自示出該時(shí)間點(diǎn)處的靜止圖像。圖像處理設(shè)備2的這種配置使得用戶在視覺上確認(rèn)相應(yīng)于該視頻 數(shù)據(jù)的顯示窗口 W57 ，以直觀地識(shí)別從三維顯示空間上的起始位置 POs到三維顯示空間上的結(jié)束位置POe的全部過程作為表示顯示窗口 W57的全部軌跡的圖像。當(dāng)然，在圖像處理設(shè)備2的微處理器3中，并不總是必須顯示開始 和結(jié)束位置Pos和Poe處的顯示窗口 W57s和W57e，而是可以通過用戶 的選擇操作不顯示它們。進(jìn)一步地，當(dāng)用戶雙擊起始位置POs附近所提供的全部窗口顯示 按鍵Z1(圖36)時(shí)，如圖45所示，圖像處理設(shè)備2的微處理器3以預(yù)定間 隔顯示顯示窗口 W57的 一部分(W57s到W57e),或由構(gòu)成視頻數(shù)據(jù)的 多個(gè)圖片(靜止圖像)所確定的三維顯示空間上的位置處的全部顯示窗 口W57s到W57e,從而取代顯示以往和將來軌跡或在顯示以往和將來 軌跡的同時(shí)呈現(xiàn)給用戶由多個(gè)顯示窗口W57 (W57s到W57e)所形成的連續(xù)序列作為視頻數(shù)據(jù)的特征(趨勢)。進(jìn)一步地，如附圖42所示，當(dāng)識(shí)別出用戶對(duì)軌跡上給定點(diǎn)的點(diǎn)擊 操作時(shí)，圖像處理設(shè)備2的微處理器3通過顯示窗口W57開始重放處 理，并且執(zhí)行直到相應(yīng)于顯示窗口W57e的結(jié)束位置POe的重放圖像的 預(yù)覽顯示。利用圖像處理設(shè)備2的這個(gè)配置，在使用戶從視覺上確認(rèn)通過重 放視頻數(shù)據(jù)，以移動(dòng)方式從起始位置POs到結(jié)束位置POe通過顯示窗 口W57顯示靜止圖像的狀態(tài)之后，可以在用戶的期望位置處通過顯示 窗口W57繼續(xù)進(jìn)行顯示處理，從而顯著增強(qiáng)用戶的可操作性。附帶地，當(dāng)即使在顯示相應(yīng)于視頻數(shù)據(jù)的顯示窗口期間，用戶點(diǎn)擊軌跡上的給定點(diǎn)時(shí)，圖像處理設(shè)備2的微處理器3在給定點(diǎn)處通過顯 示窗口W57開始重放處理，并且同時(shí)，就可視能力而言取消此時(shí)已顯 示的顯示窗口W57直到軌跡線上只剩余一個(gè)顯示窗口W57。然而，當(dāng)用戶確定在圖像處理設(shè)備2不削弱可視能力時(shí)，可同時(shí) 在軌跡線上以移動(dòng)方式顯示多個(gè)顯示窗口W57。在這種情況下，如圖43所示，圖像處理設(shè)備2的微處理器3以移動(dòng) 方式在軌跡上并行顯示兩個(gè)顯示窗口 W57，使得用戶更加容易地搜索 其期望的畫面。進(jìn)一步地，如圖44所示，圖像處理設(shè)備2的微處理器3可以保持在 顯示窗口 W57的軌跡上的預(yù)定位置處顯示已經(jīng)預(yù)先被設(shè)置成代表畫 面的靜止圖4象的顯示窗口W57a， W57b， W57c和W57d。利用這個(gè)配置，即使從起始位置POs到結(jié)束位置POe以移動(dòng)方式 顯示顯示窗口W57之后，軌跡上還保持顯示示出了相應(yīng)于代表畫面的 靜止圖4象的顯示窗口W57a、 W57b、 W57c和W57d。因而，僅僅通過 顯示窗口W57a、 W57b、 W57c和W57d就在視覺上確認(rèn)相應(yīng)于代表畫 面的靜止圖像，用戶可以輕易地不僅掌握視頻數(shù)據(jù)的整體趨勢，而且 掌握各個(gè)代表畫面的特征的趨勢。在視頻數(shù)據(jù)的來源是DVD的情況下，這種代表畫面對(duì)應(yīng)于針對(duì) 每個(gè)章節(jié)已經(jīng)預(yù)先設(shè)定的代表靜止圖像。因此，當(dāng)通過顯示窗口W57 重放DVD的視頻數(shù)據(jù)時(shí)，圖像處理設(shè)備2的微處理器3很容易地實(shí)現(xiàn)用 于保持顯示代表畫面的軌跡顯示處理。在圖像處理設(shè)備2中，雖然相應(yīng)于代表畫面的顯示窗口W57按照 以上所述保持顯示，但是可以以時(shí)間為基礎(chǔ)，例如以固定時(shí)間間隔保 持顯示顯示窗口。在這種情況下，用戶可以在視覺上確認(rèn)通過以固定 時(shí)間間隔存在的顯示窗口 W57所顯示的靜止圖像，使得即使在利用顯 示窗口 W57重放處理視頻數(shù)據(jù)之后，用戶也可以通過以固定時(shí)間間隔 保持顯示的顯示窗口W57立即掌握視頻數(shù)據(jù)的特征(趨勢)。(6-3)畫面改變時(shí)刻或閃現(xiàn)時(shí)刻的軌跡顯示才莫式55如圖45所示，在通過顯示窗口 W57重放視頻數(shù)據(jù)的圖像期間存在 畫面改變或閃現(xiàn)的情況。在畫面改變之前的靜止圖像的特征量明顯不 同于畫面改變之后的靜止圖像的特征量的情況下，有時(shí)畫面改變之前 的顯示窗口 W57before會(huì)明顯地跳到畫面改變之后的顯示窗口 W57after。在這種情況下，圖像處理設(shè)備2如上所述執(zhí)行坐標(biāo)補(bǔ)償處理程序 SRT1，以免使顯示窗口 W57before在一個(gè)單次動(dòng)作中跳到顯示窗口 W57after，而是從相應(yīng)于顯示窗口W57before的位置順序地排列顯示 窗口W57，同時(shí)朝著目的地的方向以逐步方式減小移動(dòng)距離，從而使 用戶在視覺上確認(rèn)在畫面改變的時(shí)候從顯示窗口 W57before到 W57after的移動(dòng)。這種坐標(biāo)補(bǔ)償處理可用軌跡顯示模式實(shí)現(xiàn)。在這種情況下，圖像處理設(shè)備2的微處理器3不允許顯示窗口 W57 在其軌跡上在一個(gè)單次動(dòng)作中跳到目標(biāo)，而允許顯示窗口W57以逐步 方式從畫面改變之前的顯示窗口 W57before的位置移動(dòng)到畫面改變之 后的顯示窗口W57after的位置。此時(shí)，圖像處理設(shè)備2的微處理器3僅 突出(例如用半透明顏色或用閃爍方式顯示該顯示窗口W57)以逐步方 式移動(dòng)的顯示窗口W57。圖像處理設(shè)備2的微處理器3保持顯示畫面改變之前的顯示窗口 W57before和畫面改變之后的顯示窗口 W57after二者，從而使用戶始 終在視覺上確認(rèn)畫面改變前后的內(nèi)容。附帶地，取代執(zhí)行上述坐標(biāo)補(bǔ)償處理程序SRT1，圖像處理設(shè)備2 的微處理器3可通過顯示窗口 W57after以固定間隔重復(fù)顯示畫面改變 前后的位置之間變化的靜止圖像。此時(shí)，移動(dòng)顯示速度相對(duì)于跳躍速 度被極大降低。圖像處理設(shè)備2的微處理器3可設(shè)置移動(dòng)顯示速度，使得顯示窗口 W57after的畫面改變前后的位置之間的距離L2與顯示窗口W57移動(dòng) 距離L2所需要的移動(dòng)時(shí)間t2具有如圖46(A)所示的線性關(guān)系，或使得距 離L2與移動(dòng)時(shí)間t2具有如圖46(B)和46(C)所示的非線性關(guān)系。在這種情況下，當(dāng)允許顯示窗口W57以逐步方式從畫面改變之前的顯示窗口 W57before的位置移動(dòng)到畫面改變之后的顯示窗口 W57after的位置時(shí)，圖像處理設(shè)備2的微處理器3可以用這樣的方式改 變顯示窗口W57的移動(dòng)速度，起初以高速移動(dòng)顯示窗口W57,然后逐 漸降低其移動(dòng)顯示速度。進(jìn)一步地，當(dāng)識(shí)別出針對(duì)在軌跡上移動(dòng)的顯示窗口 W57的用戶點(diǎn) 擊操作時(shí)，圖像處理設(shè)備2的微處理器3在確定的位置處根據(jù)此時(shí)相應(yīng) 靜止圖像的特征量，若干秒或暫時(shí)地保持顯示所點(diǎn)擊的顯示窗口 W57。當(dāng)識(shí)別出針對(duì)顯示窗口W57的另一個(gè)點(diǎn)擊操作時(shí)，圖像處理設(shè) 備2的微處理器3在該時(shí)間點(diǎn)處刪除所點(diǎn)擊的顯示窗口 W57或通過顯 示窗口 W57恢復(fù)重放圖像。(6-4)利用時(shí)間代碼的軌跡顯示模式如圖47所示，當(dāng)顯示窗口W57在三維顯示空間上的同時(shí)通過顯示 窗口W57重放視頻數(shù)據(jù)時(shí)，圖像處理設(shè)備2的微處理器3可沿著顯示窗 口W57的軌跡上的預(yù)定位置顯示時(shí)間代碼顯示幀TWl到TWn。圖像處理設(shè)備2的微處理器3從相應(yīng)于各個(gè)靜止圖像的元數(shù)據(jù)文 件MDF中讀出在時(shí)間代碼顯示窗口TWl到TWn中顯示的與視頻數(shù)據(jù) 相關(guān)的時(shí)間代碼信息，并且使用所讀出的時(shí)間代碼信息顯示時(shí)間代碼 顯示幀T W1到T Wn的時(shí)間代碼。進(jìn)一 步地，圖像處理設(shè)備2的微處理器3可以將相應(yīng)時(shí)間代碼不僅 添加到軌跡上的位置，而且也添加到示出相應(yīng)于代表畫面的靜止圖像 的保持顯示的顯示窗口 W57上，并且通過時(shí)間代碼顯示幀TW3和TWe 在結(jié)束位置POe處保持顯示的顯示窗口W57e。因而，不僅根據(jù)視頻數(shù)據(jù)的進(jìn)程以移動(dòng)方式顯示的顯示窗口 W57 的軌跡，而且視頻數(shù)據(jù)的時(shí)間信息通過被加到軌跡線上的位置和顯示 窗口 W57的時(shí)間代碼顯示幀TWl到TWn到TWe都可被呈現(xiàn)給用戶，從 而用戶可搜索其期望的畫面，同時(shí)通過時(shí)間代碼顯示幀TW1到TW4 識(shí)別視頻數(shù)據(jù)的時(shí)間過程。在具有非常相似的特征的多個(gè)視頻數(shù)據(jù)通過其各自顯示窗口 W57被重放的情況下，所得到的各個(gè)顯示窗口W57的軌跡變得彼此非常相似。在這種情況下，顯示了三個(gè)相似軌跡。通過在視覺上確認(rèn)該狀態(tài)，用戶基于軌跡之間的相似性可估計(jì)三 個(gè)視頻數(shù)據(jù)具有相似內(nèi)容，從而容易地管理和搜索視頻數(shù)據(jù)。(6-5)軌跡顯示期間的顯示窗口控制模式圖像處理設(shè)備2根據(jù)顯示視頻數(shù)據(jù)的重放圖像的進(jìn)程可以移動(dòng)方 式顯示顯示窗口W57，同時(shí)除了顯示其軌跡，還改變顯示窗口W57的 尺寸和形狀，下面將描述這一點(diǎn)。具體地說，在如圖48 (A)所示的RGB顏色分量被設(shè)置成顯示軸的 參數(shù)的三維顯示空間上，在以移動(dòng)方式沿著視頻數(shù)據(jù)的顯示窗口W57 的軌跡顯示其的情況下，除了被用作顯示軸的特征參數(shù)的RGB顏色分 量中的特征量之外，圖像處理設(shè)備2的微處理器3還從靜止圖像的各個(gè)特征量。當(dāng)密度信息的特征量超過預(yù)定閾值時(shí)，如圖48 (B)所示，圖 像處理設(shè)備2的微處理器3用預(yù)定因子放大該時(shí)間點(diǎn)處相應(yīng)于靜止圖 像的顯示窗口W57的尺寸。當(dāng)靜止圖像的密度信息的特征量小于預(yù)定閾值時(shí)，如圖48 (C)所 示，圖像處理設(shè)備2的微處理器3用預(yù)定因子減小該時(shí)間點(diǎn)處相應(yīng)于靜 止圖像的顯示窗口W57的尺寸。也就是說，在靜止圖像包含大量高頻分量，使密度信息的特征量 超過預(yù)定閾值的情況下，圖像處理設(shè)備2的微處理器3放大相應(yīng)于靜止 圖像的顯示窗口W57的尺寸，從而增強(qiáng)用戶可視能力。反之，在靜止圖像幾乎不包含高頻分量，使密度信息的特征量變 得小于預(yù)定閾值的情況下，圖像處理設(shè)備2的微處理器3確定即使減小 圖像尺寸也幾乎不改變用戶的可視能力，并且減小顯示窗口 W57的尺 寸，從而會(huì)處理負(fù)荷降低。附帶地，雖然除了構(gòu)成顯示軸的顏色分量之外靜止圖像的密度信 息也被用作參數(shù)，以按上述放大或減小顯示窗口W57的顯示尺寸，但 是其它各種特征量，例如運(yùn)動(dòng)量、色相以及音量也可被用于放大或減小顯示窗口W57的尺寸。進(jìn)一步地，不僅可以放大或減小顯示窗口58W57的尺寸，而且可以改變顯示窗口W57的幀的形狀，或控制顯示尺 寸和幀形狀二者。 (7)操作和優(yōu)點(diǎn)如上所述，當(dāng)通過顯示窗口W57顯示視頻數(shù)據(jù)的重放圖像時(shí)，根 據(jù)構(gòu)成視頻數(shù)據(jù)的各個(gè)靜止圖像的特征量，每當(dāng)更新視頻數(shù)據(jù)的幀 時(shí)，圖像處理設(shè)備2的微處理器3在利用由用戶指定的顯示軸所生成的 三維顯示空間上順序排列顯示窗口 W 5 7 。每當(dāng)更新視頻數(shù)據(jù)的幀時(shí)特征量就改變，以改變顯示窗口W57 的目的地坐標(biāo)位置，從而給用戶 一種顯示窗口 W57仿佛以浮動(dòng)方式在 三維顯示空間上移動(dòng)的印象。例如，在移動(dòng)目的地中用攝像機(jī)拍攝的視頻數(shù)據(jù)被排列在三維顯 示空間上，并且通過顯示窗口 W57顯示視頻數(shù)據(jù)的重放圖像的情況 下，示出例如"海"的顯示窗口W57移動(dòng)到排列有攝于海灘上的視頻數(shù) 據(jù)的大量顯示窗口 W57的區(qū)域。當(dāng)視頻數(shù)據(jù)的畫面然后被更新到，，山" 的靜止圖像時(shí)，顯示窗口W57相應(yīng)地移動(dòng)到排列有攝于山林中的視頻 數(shù)據(jù)的大量顯示窗口W57的區(qū)域。當(dāng)視頻數(shù)據(jù)的畫面然后更新到，，建 筑，，的靜止圖像時(shí)，顯示窗口W57相應(yīng)地移動(dòng)到排列有攝于市中心區(qū) 的視頻數(shù)據(jù)的大量顯示窗口W57的區(qū)域。顯示窗口 W57的運(yùn)動(dòng)本身表示視頻數(shù)據(jù)的特征，使得用戶通過三 維顯示空間上顯示窗口W57的位置變化以及顯示窗口W57的運(yùn)動(dòng)圖 像本身，可以直觀地識(shí)別視頻數(shù)據(jù)的特征(趨勢)。在一個(gè)常規(guī)方案中，只有構(gòu)成視頻數(shù)據(jù)的多個(gè)靜止圖像的第一個(gè) 圖像被按縮略圖查看方式顯示。然而，上述方案不一定表示視頻數(shù)據(jù) 的趨勢。在本發(fā)明中，由構(gòu)成視頻數(shù)據(jù)的靜止圖像特征量變化所引起 的顯示窗口 W57的移動(dòng)本身作為運(yùn)動(dòng)圖像呈現(xiàn)給用戶，使用戶正確地 理解視頻數(shù)據(jù)的特征(趨勢)，其有利于視頻數(shù)據(jù)的搜索或管理。在視頻數(shù)據(jù)的重放期間存在畫面改變或閃現(xiàn)的情況下，圖像處理 設(shè)備2不允許顯示窗口 W57在一個(gè)單次動(dòng)作中從畫面改變或閃現(xiàn)之前 的三維顯示空間上的位置跳到畫面改變或閃現(xiàn)之后的三維顯示空間上的位置，而是以移動(dòng)方式顯示顯示窗口W57，同時(shí)朝著目的地的方 向以逐步方式減小移動(dòng)距離，從而防止用戶跟不上顯示窗口W57的軌 跡。因而，用戶可不中斷地將顯示窗口W57掌握為運(yùn)動(dòng)圖像。進(jìn)一步地，當(dāng)相應(yīng)于多個(gè)視頻數(shù)據(jù)的多個(gè)顯示窗口W57被用來同 時(shí)執(zhí)行重放處理時(shí)，每當(dāng)更新視頻數(shù)據(jù)的幀時(shí)，相應(yīng)于具有相似特征 量的視頻數(shù)據(jù)的顯示窗口W57就被匯集在三維顯示空間上的特定區(qū) 域，從而使用戶通過三維顯示空間上匯集或分散的顯示窗口W57的排 列狀態(tài)，直觀并且容易地識(shí)別多個(gè)視頻數(shù)據(jù)的特征(趨勢)。進(jìn)一步地，當(dāng)在重放視頻數(shù)據(jù)的狀態(tài)下定義三維顯示空間的顯示 軸的參數(shù)被用戶的指令改變以顯示三維顯示空間上的顯示窗口W57 時(shí)，圖像處理設(shè)備2生成一個(gè)新三維顯示空間，從而明顯改變了將被 顯示在其上的顯示窗口W57的排列狀態(tài)。即，用戶可以基于其期望的 參數(shù)自由改變顯示窗口W57的排列狀態(tài)。進(jìn)一步地，當(dāng)以移動(dòng)方式顯示顯示窗口W57時(shí)，圖像處理設(shè)備2 根據(jù)用戶的選擇，和顯示窗口 W57—起顯示顯示窗口 W57的以往軌 跡、其將來軌跡或以往和將來軌跡二者，從而在視覺上提供三維顯示 空間上的顯示窗口W57的以往和將來移動(dòng)。因此，僅僅通過比較相應(yīng) 于多個(gè)視頻數(shù)據(jù)的顯示窗口 W57的軌跡，用戶就可以直觀地理解作為 軌跡線圖像的視頻數(shù)據(jù)之間是否存在相似性。當(dāng)在編輯窗口的顯示區(qū)55上排列相應(yīng)于視頻數(shù)據(jù)的顯示窗口 W57，從而提供顯示窗口作為圖像組58時(shí)，圖像處理設(shè)備2不顯示定 義三維顯示空間的顯示軸本身，而排列顯示窗口W57，使得全部顯示 窗口 W57始終被定位于用戶的觀看的正前方，使用戶容易理解在三維 顯示空間上排列的多個(gè)顯示窗口W57。如上所述，在重放視頻數(shù)據(jù)的情況下，每當(dāng)更新構(gòu)成視頻數(shù)據(jù)的 各個(gè)靜止圖像時(shí)，靜止圖像的特征量就被改變。根據(jù)圖像的特征量中 的變化，圖像處理設(shè)備2以移動(dòng)方式顯示顯示窗口W57，同時(shí)改變顯 示窗口 W57和三維顯示空間之間的相對(duì)位置關(guān)系，從而根據(jù)圖片的特 征中的變化將視頻數(shù)據(jù)具有的重放圖像的特征(趨勢)表示為顯示窗口W57的運(yùn)動(dòng)，使用戶直觀地識(shí)別顯示窗口W57的運(yùn)動(dòng)圖像。因而可以 有利于通過直觀圖像分類、管理和搜索大量視頻數(shù)據(jù)。 (8)另一個(gè)實(shí)施例雖然在上述實(shí)施例中說明了根據(jù)本發(fā)明的另 一個(gè)實(shí)施例的視頻 處理裝置被應(yīng)用于圖像處理設(shè)備2的情況，但是本發(fā)明不局限于這個(gè) 情況?？蛇x地，視頻處理裝置可被應(yīng)用于簡單計(jì)算機(jī)上。在這種情況 下，由攝像機(jī)所攝的多個(gè)視頻數(shù)據(jù)被存儲(chǔ)在計(jì)算機(jī)的內(nèi)部硬盤驅(qū)動(dòng)器 中，并且全部視頻數(shù)據(jù)被排列在三維顯示空間上以便顯示，從而使用 戶直觀地識(shí)別靜止圖像視頻數(shù)據(jù)的特征或整體趨勢，并且容易搜索其 期望的圖像。進(jìn)一步地，雖然在上述實(shí)施例中說明了顯示窗口 W57被排列在三 維顯示空間上的情況，但是本發(fā)明不局限于這個(gè)情況?？蛇x地，如圖 49所示，顯示窗口W57可被排列在一個(gè)二維顯示空間上，并且進(jìn)一步 地，其軌跡可被顯示在該二維顯示空間上。此外，雖然上述實(shí)施例中說明了利用構(gòu)成視頻數(shù)據(jù)的圖片(靜止 圖像)已作為特征參數(shù)設(shè)置成顯示軸的R (紅)、B (藍(lán))和亮度產(chǎn)生三維 顯示空間的情況，但是本發(fā)明不局限于這個(gè)情況。可選地，可以使用 與靜止圖像相關(guān)的音頻信息或時(shí)間信息作為顯示軸的參數(shù)，或可以使 用R(紅)和B(藍(lán))二者作為顯示軸的一個(gè)參數(shù)。如上所述，根據(jù)用戶的 偏好可生成用于排列顯示窗口W57的各種多維顯示空間。例如，如圖50所示，圖像處理設(shè)備2沿著時(shí)間軸可排列由亮度、 R(紅)和B(藍(lán))所確定的顯示軸限定的三維顯示空間，以及由運(yùn)動(dòng)量、 DCT垂直頻率和DCT水平頻率所確定的顯示軸限定的三維顯示空間 來生成四維顯示空間，以便在該四維顯示空間上排列視頻數(shù)據(jù)的顯示 窗口W57，并且與重放處理一起以移動(dòng)方式顯示顯示窗口W57。進(jìn)一步地，雖然在上述實(shí)施例中說明了根據(jù)視頻數(shù)據(jù)的重放以移 動(dòng)方式在三維顯示空間顯示顯示窗口W57的情況，但是本發(fā)明不局限 于這個(gè)情況?？蛇x地，如圖51所示，根據(jù)用戶對(duì)編輯窗口50的顯示區(qū) 55上提供的水平滾動(dòng)條66上的TAB67的操作，顯示窗口W57可被沿著顯示窗口W57的軌跡移動(dòng)到以往或?qū)硪粋?cè)。在這種情況下，用戶可以自由地按其自己的意愿控制三維顯示空 間上的顯示窗口W57的位置，因此更加容易搜索其期望的畫面或執(zhí)行 編輯工作。進(jìn)一步地，雖然上述實(shí)施例中說明了通過顯示窗口W57顯示顯示 視頻數(shù)據(jù)的重放圖像的情況，但是本發(fā)明不局限于這個(gè)情況。例如， 在構(gòu)成圖像組58的顯示窗口W57彼此重疊的情況下， 一些顯示窗口 W57可能被其它顯示窗口W57隱藏。在這種情況下，對(duì)于被隱藏的顯 示窗口W57，構(gòu)成視頻數(shù)據(jù)的靜止圖像的更新速度可以被降低以極大 降低重放速度，分辨率可以被減小，靜止圖像可以不更新、或可以不 顯示圖像。如上所述，通過消除用戶不能從視覺上確認(rèn)的顯示窗口 W57的重放顯示處理，微處理器3上的處理負(fù)荷可被降低。進(jìn)一步地，雖然上述實(shí)施例中說明了時(shí)間代碼顯示幀TW (圖47) 被加到軌跡線或顯示窗口W57上的情況，但是本發(fā)明不局限于這個(gè)情 況?？蛇x地，只要重放已過的時(shí)間可被通知給用戶，諸如幀數(shù)通知窗 口或字段號(hào)通知幀的各種通知窗口可,皮加到顯示窗口 W57的軌跡線 上。進(jìn)一步地，雖然在上述實(shí)施例中針對(duì)視頻數(shù)據(jù)的每個(gè)圖片(靜止 圖像)計(jì)算特征參數(shù)或相關(guān)參數(shù)，但是也可以以多個(gè)圖片為基礎(chǔ)，例如 以一個(gè)GOP為單位計(jì)算。例如，構(gòu)成一個(gè)GOP的全部圖片的特征參 數(shù)的平均值或從構(gòu)成一個(gè)GOP的圖片中被選擇的指定的I圖片的特征 參數(shù)(相關(guān)參數(shù))可被用作一個(gè)GOP的特征參數(shù)。在以多個(gè)圖片為單位例如一個(gè)GOP計(jì)算特征參數(shù)或相關(guān)參數(shù)， 以便被存為元數(shù)據(jù)的情況下，與以圖片為基礎(chǔ)計(jì)算特征參數(shù)或相關(guān)參 數(shù)相比，元數(shù)據(jù)的尺寸可被降低，分析元數(shù)據(jù)所需的處理負(fù)荷也可被 降低。在用MPEG視頻格式編碼視頻數(shù)據(jù)的情況下，當(dāng)在產(chǎn)生元數(shù)據(jù)的 時(shí)候計(jì)算圖片基礎(chǔ)或GOP基礎(chǔ)的特征參數(shù)或相關(guān)參數(shù)時(shí)，獲取的特征頻流中的圖片頭或GOP頭中。(9)與視頻數(shù)據(jù)有關(guān)系的相關(guān)參數(shù)雖然上述實(shí)施例中說明了構(gòu)成視頻數(shù)據(jù)的圖片(靜止圖像)的特 征參數(shù)，但是本發(fā)明可被應(yīng)用于利用與視頻數(shù)據(jù)關(guān)聯(lián)(相關(guān))的參數(shù)(相 關(guān)參數(shù))的配置中。相關(guān)參數(shù)的例子包含表示視頻數(shù)據(jù)被拍攝或記錄的 時(shí)間的時(shí)間信息、表示視頻數(shù)據(jù)被拍攝或記錄的地點(diǎn)的位置信息(經(jīng)/ 辟度信息)、用于識(shí)別視頻數(shù)據(jù)的所有者或創(chuàng)建者的識(shí)別信息、用于識(shí) 別通過網(wǎng)絡(luò)訪問視頻數(shù)據(jù)的用戶的識(shí)別信息、表示訪問視頻數(shù)據(jù)的次 數(shù)的訪問的次數(shù)、用于識(shí)別視頻數(shù)據(jù)的組的組識(shí)別信息、用于識(shí)別包中的標(biāo)題類別、關(guān)鍵字或副標(biāo)題信息:。;用l知技術(shù)可生成這些相關(guān)術(shù)語"關(guān)聯(lián)(相關(guān))"狀態(tài)表示數(shù)據(jù)和參數(shù)(元數(shù)據(jù))彼此關(guān)聯(lián)的狀 態(tài)。例如，即使在視頻數(shù)據(jù)和元數(shù)據(jù)被記錄在不同記錄介質(zhì)中或從 不同傳輸線路傳輸時(shí)，如果用于識(shí)別視頻數(shù)據(jù)或視頻數(shù)據(jù)的圖片數(shù)的 信息被包含在參數(shù)(元數(shù)據(jù))中，也可以隨后將視頻數(shù)據(jù)與元數(shù)據(jù)互相 關(guān)聯(lián)起來。在本實(shí)施例中，這種情況被歸入，，關(guān)聯(lián)(相關(guān))"狀態(tài)。根據(jù)相同處理過程，這種相關(guān)參數(shù)連同特征參數(shù)一起被如上所述 使用以實(shí)現(xiàn)上述的顯示配置。如圖52所示，可以考慮共同管理從服務(wù)器(視頻DB、元數(shù)據(jù)/視頻 DB)中的多個(gè)用戶1到N提供(上載)的視頻數(shù)據(jù)，并且允許用戶通過網(wǎng) 絡(luò)訪問其感興趣的視頻數(shù)據(jù)以便確認(rèn)視頻數(shù)據(jù)的內(nèi)容的應(yīng)用。在這種情況下，數(shù)據(jù)庫可以管理每個(gè)視頻數(shù)據(jù)的相關(guān)參數(shù)。例如， 在訪問表示視頻數(shù)據(jù)被訪問的次數(shù)的訪問次數(shù)被包含在相關(guān)參數(shù)的 情況下，顯示窗口的顯示尺寸可根據(jù)訪問次數(shù)的增減來改變(例如，當(dāng) 訪問次數(shù)超過預(yù)先設(shè)置的閾值時(shí)，確定相應(yīng)視頻數(shù)據(jù)受歡迎，則增加 視頻數(shù)據(jù)的顯示窗口的尺寸或突出其顯示窗口)。此外，在用于識(shí)別視 頻數(shù)據(jù)的所有者或創(chuàng)建者的識(shí)別信息被包含在相關(guān)參數(shù)中的情況下， 可為每個(gè)用戶設(shè)置顯示空間。進(jìn)一步地，顯示空間可在分類基礎(chǔ)上生63例如，如圖53所示，用比顯示窗口W57J、 W57—3和\￥57_4大的 尺寸來顯示顯示窗口\￥57_2、 W57一5和W57一6。這意味著訪問前者顯 示窗口的次數(shù)大于訪問后者顯示窗口的。在圖50中，說明了時(shí)間軸被用來生成四維顯示窗口的情況。當(dāng)利 用上述相關(guān)參數(shù)時(shí)，可獲取各種顯示配置。例如，在利用GPS生成的、 與視頻數(shù)據(jù)有關(guān)系的位置信息(綿度/經(jīng)度)被包含在相關(guān)參數(shù)中的情 況下，如圖54所示生成位置信息被增加為顯示軸的顯示空間。在這種 情況下，視頻數(shù)據(jù)和三維顯示空間彼此結(jié)合隨著位置信息的變化而移 動(dòng)。進(jìn)一步地，如圖52所示，大量用戶提供大量視頻數(shù)據(jù)的情況下， 作為特征參數(shù)和相關(guān)參數(shù)的相似性被用來按照相似性和位置信息分 組視頻數(shù)據(jù)，并且針對(duì)每個(gè)組生成顯示空間。特別地，在類似視頻投 送站點(diǎn)和SNS(社會(huì)網(wǎng)絡(luò)服務(wù))的應(yīng)用中，針對(duì)每個(gè)組生成的顯示空間 可被看作一個(gè)團(tuán)體。因而，從若干用戶投送的視頻數(shù)據(jù)被用來促進(jìn)用 戶之間的通信。(IO)本發(fā)明適用的裝置雖然在上述實(shí)施例中說明了本發(fā)明被應(yīng)用于具有如圖l所示的配 置的圖像處理設(shè)備2的情況，但是本發(fā)明不局限于這個(gè)情況?？蛇x地， 本發(fā)明可被廣泛地應(yīng)用于其它各種圖像處理設(shè)備，只要其可以實(shí)現(xiàn)作 為圖像處理設(shè)備的功能。圖像處理設(shè)備的例子包含計(jì)算機(jī)、攝像機(jī)、數(shù)字照相機(jī)、游戲設(shè) 備、便攜信息終端(便攜式計(jì)算機(jī)、移動(dòng)電話、便攜式游戲設(shè)備)、存 儲(chǔ)設(shè)備(光盤設(shè)備、家庭服務(wù)器)，以及實(shí)現(xiàn)實(shí)施本發(fā)明的功能的處理 板或處理卡。在任一情況下，上述圖像處理設(shè)備通常包含外殼、信號(hào)處理部分、 以及外部接口，并且根據(jù)其產(chǎn)品形式分別包含外圍單元。例如，在攝 像機(jī)或數(shù)字照相機(jī)的情況中，除了上述常見部件，其還包含照相機(jī)單 元和用于將被攝視頻圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)介質(zhì)中的寫入電路。在具有64通信功能的電子裝置例如移動(dòng)電話的情況中，除了上述常見部件，其 還包含發(fā)送/接收電路和天線。此外，雖然上述實(shí)施例已說明了微處理器3啟動(dòng)存儲(chǔ)在硬盤驅(qū)動(dòng) 器7中的視頻處理程序，以移動(dòng)方式在三維空間上顯示顯示窗口W57 的情況，但是本發(fā)明不局限于這個(gè)情況?？蛇x地，存儲(chǔ)視頻處理程序 的程序存儲(chǔ)介質(zhì)可被安裝到微處理器3，以便執(zhí)行上述顯示處理。使用于在執(zhí)行顯示處理的視頻處理程序在安裝程序到硬盤驅(qū)動(dòng) 器7中之后能被執(zhí)行的上述程序存儲(chǔ)介質(zhì)的例子不僅包含封裝介質(zhì)， 例如軟盤、CD-ROM (光盤只讀存儲(chǔ)器)、DVD(數(shù)字通用光盤)，而且 還包含臨時(shí)或永久存儲(chǔ)視頻處理程序的半導(dǎo)體存儲(chǔ)器或磁盤。此外， 作為用于將視頻處理程序存儲(chǔ)在上述程序存儲(chǔ)介質(zhì)中的裝置，可以使 用有線或無線通信介質(zhì)，例如局域網(wǎng)、因特網(wǎng)或數(shù)字衛(wèi)星廣播，并且 在這種情況下，程序可通過各種諸如路由器或調(diào)制解調(diào)器的通信接口 存儲(chǔ)在程序存儲(chǔ)介質(zhì)中。此外，雖然上述實(shí)施例已說明了作為根據(jù)本發(fā)明的視頻處理裝置 的圖像處理設(shè)備2由充當(dāng)顯示空間產(chǎn)生裝置和轉(zhuǎn)換裝置的微處理器3 ， 以及充當(dāng)分類/排列裝置的微處理器3和GPU 4構(gòu)成，但是本發(fā)明不局 限于這個(gè)情況。可選地，根據(jù)本發(fā)明的圖像處理設(shè)備可由顯示空間產(chǎn) 生裝置、轉(zhuǎn)換裝置和由其它各種電路結(jié)構(gòu)實(shí)現(xiàn)的分類/排列裝置構(gòu)成。在本發(fā)明的宗旨和范圍內(nèi)可以進(jìn)行各種修改。進(jìn)一步地，可以基 于以上所述的本發(fā)明進(jìn)行各種修改和應(yīng)用。工業(yè)實(shí)用性根據(jù)本發(fā)明的圖像處理設(shè)備和圖像處理方法可以被廣泛應(yīng)用于 在顯示屏幕上重放視頻數(shù)據(jù)的各種類型圖像處理設(shè)備。
權(quán)利要求
1.一種圖像處理設(shè)備，其特征在于包括獲取裝置，該裝置用于獲取表示視頻數(shù)據(jù)或音頻數(shù)據(jù)的特征的特征參數(shù)或與所述視頻數(shù)據(jù)或音頻數(shù)據(jù)關(guān)聯(lián)的相關(guān)參數(shù)、以及所述視頻數(shù)據(jù)；以及元數(shù)據(jù)生成裝置，該裝置用于利用從所述特征參數(shù)指示的特征值或所述相關(guān)參數(shù)指示的相關(guān)值轉(zhuǎn)換的坐標(biāo)參數(shù)，從通過所述獲取裝置獲取的特征參數(shù)或相關(guān)參數(shù)生成元數(shù)據(jù)，以通過由顯示軸限定的顯示空間上的顯示窗口顯示所述視頻數(shù)據(jù)，所述顯示軸由所述獲取裝置所獲取的特征參數(shù)或相關(guān)參數(shù)來確定。
2. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于 所述獲取裝置以圖片或GOP為單位從所述視頻數(shù)據(jù)中獲取所述特征參數(shù)。
3. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于所述獲取裝置以預(yù)定時(shí)間間隔從所述音頻數(shù)據(jù)中獲取所述特征參數(shù)。
4. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于還包括編碼所 述視頻數(shù)據(jù)以生成視頻流的視頻編碼器。
5. 如權(quán)利要求4所述的圖像處理設(shè)備，其特征在于還包括記錄裝 置，該裝置用于在記錄介質(zhì)中記錄由所述元數(shù)據(jù)生成裝置生成的元數(shù) 據(jù)和由所述視頻編碼器生成的視頻流。
6. 如權(quán)利要求4所述的圖像處理設(shè)備，其特征在于 所述視頻編碼器從所述視頻數(shù)據(jù)生成具有第一分辨率的第一視頻數(shù)據(jù)和具有比所述第一分辨率低的分辨率的第二視頻數(shù)據(jù)，并分別 編碼所生成的第一和第二視頻數(shù)據(jù)以生成第一視頻流和第二視頻流。
7. 如權(quán)利要求4所述的圖像處理設(shè)備，其特征在于 所述視頻編碼器利用第一格式編碼所述視頻數(shù)據(jù)以生成第一視頻流，以及利用比所述第一格式具有更小數(shù)據(jù)量的第二格式編碼所述視頻數(shù)據(jù)以生成第二視頻流。
8. 如權(quán)利要求6所述的圖像處理設(shè)備，其特征在于 所述記錄裝置在不同記錄介質(zhì)中記錄所述第 一視頻流和第二視頻流。
9. 如權(quán)利要求7所述的圖像處理設(shè)備，其特征在于 所述記錄裝置在不同記錄介質(zhì)中記錄所迷第一視頻流和第二視頻流。
10. 如權(quán)利要求5所述的圖像處理設(shè)備，其特征在于還包括發(fā)送 裝置，該裝置用于將記錄在記錄介質(zhì)中的所述元數(shù)據(jù)和視頻流發(fā)送給 重放所述視頻流的重放單元。
11. 如權(quán)利要求l所述的圖像處理設(shè)備，還包括選擇裝置，該裝 置用于從多個(gè)所述特征參數(shù)或相關(guān)參數(shù)中，選擇被用來改變顯示所述 視頻數(shù)據(jù)的所述顯示窗口的顯示模式的特征參數(shù)或相關(guān)參數(shù)作為顯 示參數(shù)，其特征在于，所述元數(shù)據(jù)生成裝置生成包含所述顯示參數(shù)的元數(shù) 據(jù)，以根據(jù)所述選擇裝置所選擇的顯示參數(shù)的值來改變顯示所述視頻 數(shù)據(jù)的顯示窗口的顯示模式。
12. 如權(quán)利要求ll所述的圖像處理設(shè)備，其特征在于 所述顯示模式包含所述顯示窗口的尺寸、所述顯示窗口內(nèi)的對(duì)比度、所述顯示窗口內(nèi)的透明度或所述顯示窗口的框的加亮。
13. 如權(quán)利要求l所述的圖像處理設(shè)備，還包括選擇裝置，該裝 置用于從多個(gè)所述特征參數(shù)或相關(guān)參數(shù)中，選擇被用來選擇要顯示具 有第一分辨率的高分辨率視頻數(shù)據(jù)還是具有低于第一分辨率的分辨 率的低分辨率視頻數(shù)據(jù)的特征參數(shù)或相關(guān)參數(shù)作為重放模式參數(shù)，其特征在于，所述元數(shù)據(jù)生成裝置生成包含所述重放模式參數(shù)的 元數(shù)據(jù)，以根據(jù)所述選擇裝置所選擇的重放模式參數(shù)的值有選擇地顯 示所述高分辨率視頻數(shù)據(jù)或低分辨率視頻數(shù)據(jù)。
14. 如權(quán)利要求13所述的圖像處理設(shè)備，其特征在于還包括發(fā)送 裝置，該裝置用于根據(jù)所述選擇裝置所選擇的重放模式參數(shù)的值，選擇通過編碼所述高分辨率視頻數(shù)據(jù)而獲得的高分辨率視頻流或通過 編碼所述低分辨率視頻數(shù)據(jù)而獲得的低分辨率視頻流，以及發(fā)送所選 擇的視頻流.
15. 如權(quán)利要求l所述的圖像處理設(shè)備，還包括選擇裝置，該裝 置用于從多個(gè)所述特征參數(shù)或相關(guān)參數(shù)中，選擇被用來選擇要顯示基 于第一格式的視頻數(shù)據(jù)還是基于比所述第一格式具有更小數(shù)據(jù)量的 第二格式的視頻數(shù)據(jù)的特征參數(shù)或相關(guān)參數(shù)作為重放模式參數(shù)，其特征在于，所述元數(shù)據(jù)生成裝置生成包含所述重放模式參數(shù)的 元數(shù)據(jù)，以根據(jù)所述選擇裝置所選擇的重放模式參數(shù)的值，有選擇地 顯示基于所述第一格式的視頻數(shù)據(jù)或基于所述第二格式的視頻數(shù)據(jù)。
16. 如權(quán)利要求15所述的圖像處理設(shè)備，其特征在于還包括發(fā)送 裝置，該裝置用于根據(jù)所述選擇裝置所選擇的重放模式參數(shù)的值，選 擇通過編碼基于第一格式的所述視頻數(shù)據(jù)而獲得的第一視頻流或通 過編碼基于第二格式的所述視頻數(shù)據(jù)而獲得的第二視頻流，以及發(fā)送 所選擇的視頻流。
17. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于在所述顯示空間上多個(gè)視頻數(shù)據(jù)之間的距離處于預(yù)定值以內(nèi)的 情況下，所述元數(shù)據(jù)生成裝置生成表示所述視頻數(shù)據(jù)的圖像彼此相似 的相似性信息作為所述元數(shù)據(jù)。
18. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于 所述顯示空間包含由所述顯示軸限定的三維顯示空間，所述顯示軸由三個(gè)不同的特征參數(shù)或相關(guān)參數(shù)確定。
19. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于 所述特征參數(shù)包含所述視頻數(shù)據(jù)的運(yùn)動(dòng)量、亮度、色相、紅色分量、藍(lán)色分量和綠色分量中的至少一個(gè)。
20. 如權(quán)利要求3所述的圖像處理設(shè)備，其特征在于 所述特征參數(shù)包含音頻的信號(hào)電平。
21. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于 所述相關(guān)參數(shù)包含所述視頻數(shù)據(jù)的時(shí)間代碼。
22. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于所述相關(guān)參數(shù)包含表示所述視頻數(shù)據(jù)被攝或記錄的時(shí)間的時(shí)間信息。
23. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于 所述相關(guān)參數(shù)包含表示所述視頻數(shù)據(jù)被攝或記錄的位置的位置信息。
24. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于 所述相關(guān)參數(shù)包含用于識(shí)別所述視頻數(shù)據(jù)的所有者或創(chuàng)建者的識(shí)別信息。
25. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于所述相關(guān)參數(shù)包含用于識(shí)別已訪問所述視頻數(shù)據(jù)的用戶的識(shí)別"f^息o
26. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于 所述相關(guān)參數(shù)包含所述視頻數(shù)據(jù)被訪問的次數(shù)。
27. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于所述相關(guān)參數(shù)包含用于識(shí)別所述視頻數(shù)據(jù)的組的組識(shí)別信息。
28. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于 所述相關(guān)參數(shù)包含用于識(shí)別包含在所述視頻數(shù)據(jù)中的人物的面部的面部識(shí)別信息。
29. 如權(quán)利要求l所述的圖像處理設(shè)備，其特征在于 所述相關(guān)參數(shù)包含所述視頻數(shù)據(jù)中包含的標(biāo)題、關(guān)鍵字或副標(biāo)題信息。
30. —種圖像處理方法，其特征在于包括獲取步驟，獲取表示視頻數(shù)據(jù)或音頻數(shù)據(jù)的特征的特征參數(shù)或與 所述視頻數(shù)據(jù)或音頻數(shù)據(jù)關(guān)聯(lián)的相關(guān)參數(shù)、以及所述視頻數(shù)據(jù)；以及元數(shù)據(jù)生成步驟，利用從所述特征參數(shù)指示的特征值或所述相關(guān) 參數(shù)指示的相關(guān)值轉(zhuǎn)換的坐標(biāo)參數(shù)，從所述獲取步驟中獲取的特征參 數(shù)或相關(guān)參數(shù)生成元數(shù)據(jù)，以通過由顯示軸限定的顯示空間上的顯示 窗口顯示所述視頻數(shù)據(jù)，所述顯示軸由所述獲取步驟中獲取的特征參 數(shù)或相關(guān)參數(shù)來確定。
全文摘要
本發(fā)明有利于視頻數(shù)據(jù)的搜索或管理。本發(fā)明獲取表示視頻數(shù)據(jù)或音頻數(shù)據(jù)的特征的特征參數(shù)或與所述視頻數(shù)據(jù)或音頻數(shù)據(jù)關(guān)聯(lián)的相關(guān)參數(shù)以及視頻數(shù)據(jù)，并且利用從所述特征參數(shù)指示的特征值或所述相關(guān)參數(shù)指示的相關(guān)值轉(zhuǎn)換的坐標(biāo)參數(shù)，從所獲取的特征參數(shù)或相關(guān)參數(shù)產(chǎn)生元數(shù)據(jù)，以便通過由顯示軸限定的顯示空間上的顯示窗口顯示所述視頻數(shù)據(jù)，所述顯示軸由獲取的特征參數(shù)或相關(guān)參數(shù)確定。
文檔編號(hào)G06F3/0484GK101326819SQ20078000063
公開日2008年12月17日 申請(qǐng)日期2007年4月23日 優(yōu)先權(quán)日2006年4月24日
發(fā)明者荻洼純一 申請(qǐng)人:索尼株式會(huì)社