專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及圖像處理裝置、圖像處理方法和程序，具體而言例如涉及使得用戶能夠在單個(gè)內(nèi)容項(xiàng)中同時(shí)觀看用戶感興趣的多個(gè)場(chǎng)景等等的多個(gè)地方的圖像處理裝置、圖像處理方法和程序。
背景技術(shù)：
例如，為了觀看視頻的內(nèi)容內(nèi)用戶感興趣的場(chǎng)景，用戶必須給出再現(xiàn)該場(chǎng)景的指示，也就是說(shuō)給出關(guān)于作為再現(xiàn)對(duì)象的場(chǎng)景(的位置)的指示。為了給出關(guān)于作為再現(xiàn)對(duì)象的場(chǎng)景的指示，用戶必須獲得內(nèi)容中包括的場(chǎng)景的概
要。 作為用戶獲得內(nèi)容中包括的場(chǎng)景的概要的方法，有顯示內(nèi)容的縮略圖的方法。作為顯示內(nèi)容的縮略圖的方法，例如，有檢測(cè)廣告和主節(jié)目之間的切換、圖像中反映的人和物體之間的切換等等作為場(chǎng)景變化，并且生成和顯示壓縮了緊跟場(chǎng)景變化后的幀的縮略圖的方法(例如參考2008-312183號(hào)日本專利申請(qǐng)公布)。

發(fā)明內(nèi)容
根據(jù)本公開的實(shí)施例，提供了一種視頻管理應(yīng)用，其以膠卷形式顯示內(nèi)容的一部分的巾貞的縮略圖并且在縮略圖被點(diǎn)擊時(shí)從與縮略圖相對(duì)應(yīng)的巾貞開始再現(xiàn)。根據(jù)該視頻管理應(yīng)用，用戶能夠通過(guò)查看縮略圖、獲得以與縮略圖相對(duì)應(yīng)的幀等等開始的場(chǎng)景的概要并且點(diǎn)擊感興趣的場(chǎng)景的縮略圖來(lái)觀看場(chǎng)景。這里，在上述視頻應(yīng)用中，當(dāng)與縮略圖A相對(duì)應(yīng)的(從與縮略圖A相對(duì)應(yīng)的巾貞開始的)場(chǎng)景由于用戶對(duì)縮略圖A的點(diǎn)擊而正在再現(xiàn)中時(shí),在用戶查看另一縮略圖B、對(duì)與縮略圖B相對(duì)應(yīng)的場(chǎng)景感興趣并且通過(guò)點(diǎn)擊縮略圖B來(lái)嘗試觀看該場(chǎng)景的情況下，在此之前播放的與縮略圖A相對(duì)應(yīng)的場(chǎng)景的再現(xiàn)被停止，并且與縮略圖B相對(duì)應(yīng)的場(chǎng)景的再現(xiàn)開始。因此，即使在用戶查看以膠卷形式顯示的縮略圖并且對(duì)分別與多個(gè)例如兩個(gè)縮略圖A和B相對(duì)應(yīng)的場(chǎng)景感興趣的情況下，也難以同時(shí)觀看分別與兩個(gè)縮略圖A和B相對(duì)應(yīng)的場(chǎng)景。本技術(shù)是鑒于上述情況而作出的，并且使得用戶能夠同時(shí)觀看單個(gè)或多個(gè)內(nèi)容項(xiàng)內(nèi)的多個(gè)地方。根據(jù)本技術(shù)的一個(gè)實(shí)施例，提供了一種圖像處理裝置或者使得計(jì)算機(jī)具有作為該圖像處理裝置的功能的程序，其中該圖像處理裝置包括顯示控制單元，該顯示控制單元在顯示裝置上顯示片段地圖，該片段地圖是布置了片段代表圖像的地圖，片段代表圖像是代表通過(guò)將內(nèi)容劃分成作為一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像；以及再現(xiàn)控制單元，該再現(xiàn)控制單元根據(jù)對(duì)于片段代表圖像請(qǐng)求再現(xiàn)的用戶的再現(xiàn)操作來(lái)控制與該片段代表圖像相對(duì)應(yīng)的視頻片段的再現(xiàn)，其中，在內(nèi)容的一視頻片段的再現(xiàn)期間對(duì)內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，再現(xiàn)控制單元在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時(shí)，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對(duì)應(yīng)的視頻片段的另一視頻片段。根據(jù)本技術(shù)的一個(gè)實(shí)施例，提供了一種圖像處理方法，包括在顯示裝置上顯示片段地圖，該片段地圖是布置了片段代表圖像的地圖，片段代表圖像是代表通過(guò)將內(nèi)容劃分成作為一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像；以及根據(jù)對(duì)于片段代表圖像請(qǐng)求再現(xiàn)的用戶的再現(xiàn)操作來(lái)控制與該片段代表圖像相對(duì)應(yīng)的視頻片段的再現(xiàn)，其中，在對(duì)視頻片段的再現(xiàn)的控制中，在內(nèi)容的一視頻片段的再現(xiàn)期間對(duì)內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時(shí)，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對(duì)應(yīng)的視頻片段的另一視頻片段。根據(jù)本公開的一個(gè)實(shí)施例，在顯示裝置上顯示片段地圖，該片段地圖是布置了片段代表圖像的地圖，片段代表圖像是代表通過(guò)將內(nèi)容劃分成作為一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像。從而，根據(jù)對(duì)于片段代表圖像請(qǐng)求再現(xiàn)的用戶的再現(xiàn)操作來(lái)再現(xiàn)與該片段代表圖像相對(duì)應(yīng)的視頻片段。在內(nèi)容的一視頻片段的再現(xiàn)期間對(duì)內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時(shí)，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對(duì)應(yīng)的視頻片段的另一視頻片段。此外，圖像處理裝置可以是獨(dú)立的裝置，或者可以是構(gòu)成一個(gè)裝置的內(nèi)部塊。此外，能夠通過(guò)經(jīng)由傳送介質(zhì)傳送或者通過(guò)記錄在記錄介質(zhì)上來(lái)提供程序。根據(jù)本技術(shù)的實(shí)施例，用戶將能夠同時(shí)觀看單個(gè)內(nèi)容項(xiàng)內(nèi)用戶感興趣的多個(gè)場(chǎng)景內(nèi)的多個(gè)地方。



圖1是示出應(yīng)用了本技術(shù)的圖像處理裝置的實(shí)施例的構(gòu)成示例的框圖。圖2是示出圖像處理裝置的瀏覽處理的流程圖。圖3是示出片段地圖生成單元的構(gòu)成示例的框圖。圖4是示出集群化單元的構(gòu)成示例的框圖。圖5是示出集群化模型學(xué)習(xí)單元的構(gòu)成示例的框圖。圖6是示出集群判定單元的構(gòu)成示例的框圖。圖7是示出地圖生成單元的構(gòu)成示例的框圖。圖8是示出地圖描繪單元描繪的模型地圖的示例的示圖。圖9是示出片段地圖生成單元的片段地圖生成處理的概要的示圖。圖10是示出片段地圖生成單元生成的片段地圖的示例的示圖。圖11是示出確定狀態(tài)的重要度的方法的示圖。圖12是示出片段地圖生成單元執(zhí)行的片段地圖生成處理的流程圖。圖13是示出疊加有磚塊圖像的片段地圖的顯示示例的示圖。圖14是示出當(dāng)顯示磚塊圖像時(shí)顯示控制單元的顯示控制處理的流程圖。圖15是示出固定磚塊圖像的顯示示例的示圖。圖16是示出固定磚塊圖像的細(xì)節(jié)的示圖。
圖17是示出關(guān)注代表圖像的突出顯示的顯示示例的示圖。圖18是示出時(shí)間線圖像的顯示示例的示圖。圖19是示出當(dāng)顯示時(shí)間線圖像時(shí)顯示控制單元的顯示控制處理的流程圖。圖20是示出作為時(shí)間線圖像中布置的構(gòu)成圖像的片段代表圖像的滾動(dòng)的顯示示例的示圖。圖21是示出在再現(xiàn)控制單元中再現(xiàn)的視頻片段的圖像的顯示示例的示圖。圖22是示出再現(xiàn)窗口的顯示示例的示圖。圖23是示出在收藏信息被存儲(chǔ)在收藏信息存儲(chǔ)單元中的情況下的片段地圖的顯示示例的示圖。圖24是示出通過(guò)雙次點(diǎn)擊片段地圖中突出顯示的片段代表圖像而執(zhí)行的視頻片段的再現(xiàn)的示圖。圖25A和25B是示出顯示模式的轉(zhuǎn)變和在每種顯示模式中執(zhí)行的處理的示圖。圖26是示出應(yīng)用了本技術(shù)的計(jì)算機(jī)的實(shí)施例的構(gòu)成示例的框圖。
具體實(shí)施例方式[應(yīng)用了本技術(shù)的圖像處理裝置的實(shí)施例]圖1是示出應(yīng)用了本技術(shù)的圖像處理裝置的實(shí)施例的構(gòu)成示例的框圖。在圖1中，圖像處理裝置由內(nèi)容存儲(chǔ)單元11、操作事件處理單元12、收藏信息存儲(chǔ)單元13、片段地圖生成單元14、`再現(xiàn)控制單元15、顯示控制單元16和顯示單元17構(gòu)成。內(nèi)容存儲(chǔ)單元11例如存儲(chǔ)(記錄)諸如電視廣播的節(jié)目等等之類的內(nèi)容。存儲(chǔ)在內(nèi)容存儲(chǔ)單元11中的內(nèi)容例如根據(jù)用戶的操作被再現(xiàn)。操作事件處理單元12根據(jù)用戶的操作生成事件(操作事件)，并且根據(jù)這些操作事件執(zhí)行各種處理，例如對(duì)構(gòu)成圖像處理裝置的每個(gè)塊的控制。這里，作為用戶的操作(操作事件)，有(單次)點(diǎn)擊、雙次點(diǎn)擊、叩擊、雙次叩擊等等，它們是對(duì)諸如鼠標(biāo)或觸摸面板之類的指點(diǎn)設(shè)備的操作。另外，操作事件處理單元12生成的操作事件例如包括諸如隨著鼠標(biāo)移動(dòng)的光標(biāo)的位置或者在觸摸面板上觸摸的位置之類的信息。根據(jù)操作事件處理單元12的控制，收藏信息存儲(chǔ)單元13存儲(chǔ)與集群有關(guān)的信息等等作為收藏信息，在所述集群中如后文所述集群化了用戶感興趣的(收藏)視頻片段。根據(jù)操作事件處理單元12的控制等等，片段地圖生成單元14生成二維或三維片段地圖并且執(zhí)行將其提供給顯示控制單元16，所述片段地圖是其中布置了片段代表圖像的地圖，片段代表圖像是代表通過(guò)將內(nèi)容存儲(chǔ)單元11中存儲(chǔ)的內(nèi)容劃分成作為一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像。根據(jù)操作事件處理單元12的控制，再現(xiàn)控制單元15控制內(nèi)容存儲(chǔ)單元11中存儲(chǔ)的內(nèi)容的再現(xiàn)。也就是說(shuō)，根據(jù)用戶請(qǐng)求對(duì)片段代表圖像的再現(xiàn)的再現(xiàn)操作，再現(xiàn)控制單元15例如控制與片段代表圖像相對(duì)應(yīng)的視頻片段的再現(xiàn)。具體而言，再現(xiàn)控制單元15讀取作為內(nèi)容存儲(chǔ)單元11中存儲(chǔ)的內(nèi)容的一部分的視頻片段，執(zhí)行諸如解碼之類的必要處理，并且獲得視頻片段的圖像和音頻(數(shù)據(jù))。這里，除了將視頻片段的圖像提供給顯示控制單元16以外，再現(xiàn)控制單元15還將視頻片段的音頻提供給揚(yáng)聲器(未示出)以便輸出。顯示控制單元16執(zhí)行顯示控制以將從再現(xiàn)控制單元15提供來(lái)的視頻片段的圖像、從片段地圖生成單元14提供來(lái)的片段地圖等等顯示在顯示單元17上。此外，顯示控制 單元16根據(jù)收藏信息存儲(chǔ)單元13中存儲(chǔ)的收藏信息來(lái)控制片段地圖的顯示。顯示單元17由液晶面板、有機(jī)EL(電致發(fā)光)顯示器之類的構(gòu)成，并且根據(jù)顯示控制單元16的控制顯示圖像。圖2是示出圖1的圖像處理裝置執(zhí)行的處理(瀏覽處理)的流程圖。當(dāng)用戶執(zhí)行給出再現(xiàn)內(nèi)容的指示的操作時(shí)，在步驟Sll中，操作事件處理單元12選擇有對(duì)其的再現(xiàn)指示的內(nèi)容作為再現(xiàn)對(duì)象內(nèi)容(該再現(xiàn)對(duì)象內(nèi)容是作為再現(xiàn)的對(duì)象的內(nèi)容)，并且控制片段地圖生成單元14以生成再現(xiàn)對(duì)象內(nèi)容的片段地圖，由此處理進(jìn)行到步驟S12。在步驟S12中，片段地圖生成單元14從內(nèi)容存儲(chǔ)單元11中讀取再現(xiàn)對(duì)象內(nèi)容，并且執(zhí)行生成再現(xiàn)對(duì)象內(nèi)容的片段地圖的片段地圖生成處理。換言之，片段地圖生成單元14將再現(xiàn)對(duì)象內(nèi)容劃分成視頻片段，并且生成二維或三維片段地圖，其中視頻片段是一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合，片段地圖是其中布置(顯示)了作為代表每個(gè)視頻片段的圖像的片段代表圖像的地圖。這里，片段地圖生成單元14將再現(xiàn)對(duì)象內(nèi)容的片段地圖提供給顯示控制單元16，由此處理從步驟S12進(jìn)行到步驟S13。這里，內(nèi)容的片段地圖能夠在內(nèi)容被存儲(chǔ)在內(nèi)容存儲(chǔ)單元11之后的任意定時(shí)被預(yù)先生成并存儲(chǔ)在內(nèi)容存儲(chǔ)單元11中。在此情況下，在步驟S12中，可以簡(jiǎn)單地從內(nèi)容存儲(chǔ)單元11讀取再現(xiàn)對(duì)象內(nèi)容的內(nèi)容地圖。在步驟S13中，顯示控制單元16在顯示單元17上顯示來(lái)自片段地圖生成單元14的再現(xiàn)對(duì)象內(nèi)容的片段地圖，由此處理進(jìn)行到步驟S14。在步驟S14中，根據(jù)用戶的操作，也就是由操作事件處理單元12生成的操作事件，再現(xiàn)控制單元15執(zhí)行再現(xiàn)對(duì)象內(nèi)容的再現(xiàn)控制，并且與此同時(shí)，顯示控制單元16執(zhí)行片段地圖的顯示控制。然后，當(dāng)用戶執(zhí)行結(jié)束瀏覽處理的操作時(shí)(當(dāng)生成請(qǐng)求結(jié)束瀏覽處理的操作事件時(shí))，圖像處理裝置結(jié)束瀏覽處理。這里，在步驟S14中，作為由顯示控制單元16執(zhí)行的片段地圖的顯示控制，有后文將描述的磚塊圖像顯示、突出顯示以及對(duì)片段地圖的顯示模式的設(shè)定(改變)等等，它們是根據(jù)由用戶利用光標(biāo)或手指指示的、作為顯示片段地圖的顯示單元17的顯示畫面上的位置的指示位置執(zhí)行的。此外，在步驟S14中，作為由再現(xiàn)控制單元15執(zhí)行的再現(xiàn)對(duì)象內(nèi)容的再現(xiàn)控制，例如有諸如并行再現(xiàn)再現(xiàn)對(duì)象內(nèi)容的多個(gè)視頻片段的控制。換言之，對(duì)于在顯示單元17上顯示的再現(xiàn)對(duì)象內(nèi)容的片段地圖的片段代表圖像，用戶能夠執(zhí)行雙次點(diǎn)擊或雙次叩擊作為請(qǐng)求針對(duì)該片段代表圖像的視頻片段的再現(xiàn)的再現(xiàn)操作。
在在作為內(nèi)容存儲(chǔ)單元11中存儲(chǔ)的再現(xiàn)對(duì)象內(nèi)容的視頻片段#A的再現(xiàn)期間，也就是在視頻片段#八的圖像被顯示在顯示單元17上的同時(shí)，針對(duì)再現(xiàn)對(duì)象內(nèi)容的另一視頻片段#B的片段代表圖像的再現(xiàn)操作被執(zhí)行的情況下，再現(xiàn)控制單元15在正被再現(xiàn)的視頻片段#A的再現(xiàn)被維持原樣的同時(shí)開始針對(duì)被執(zhí)行了再現(xiàn)操作的片段代表圖像的視頻片段#B的再現(xiàn)，并且視頻片段#B的圖像被提供給顯示控制單元16。從而，根據(jù)步驟S14的再現(xiàn)控制，用戶將能夠在單個(gè)再現(xiàn)對(duì)象內(nèi)容內(nèi)同時(shí)觀看用戶感興趣的多個(gè)場(chǎng)景等等的多個(gè)地方。[片段地圖生成單元14的構(gòu)成示例]圖3是示出圖1的片段地圖生成單元14的構(gòu)成示例的框圖。在圖3中，片段地圖生成單元14包括集群化單元21、片段劃分單元22、片段代表圖像生成單元23以及地圖生成單元24。

再現(xiàn)對(duì)象內(nèi)容被從內(nèi)容存儲(chǔ)單元11 (圖1)提供到集群化單元21。例如，集群化單元21將來(lái)自內(nèi)容存儲(chǔ)單元11的再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀集群化到預(yù)先確定的多個(gè)集群中的任何一個(gè)的集群中，并且將表示該集群化結(jié)果的集群信息提供(輸出)到片段劃分單元22。這里，集群信息至少包括指定再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀所屬的集群的信息(例如表示集群的唯一號(hào)碼等等)。對(duì)于由集群化單元21集群化的多個(gè)集群，片段劃分單元22將屬于這些集群的幀劃分成作為一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合的視頻片段。也就是說(shuō)，片段劃分單元22順次選擇由集群化單元21集群化的多個(gè)集群作為要關(guān)注的關(guān)注集群，并且基于來(lái)自集群化單元21的集群信息識(shí)別屬于關(guān)注集群的再現(xiàn)對(duì)象內(nèi)容的幀。此外，當(dāng)屬于關(guān)注集群的幀被按時(shí)間順序排列時(shí)，片段劃分單元22將這些幀劃分成視頻片段，其中一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合作為一個(gè)視頻片段。從而，例如，這里，在從作為從再現(xiàn)對(duì)象內(nèi)容的開頭起的第tl號(hào)的幀tl起連續(xù)的nl個(gè)巾貞和從作為從再現(xiàn)對(duì)象內(nèi)容的開頭起的第t2( > tl+nl)號(hào)的巾貞t2起連續(xù)的n2個(gè)中貞屬于關(guān)注集群的情況下，在片段劃分單元22中，屬于關(guān)注集群的nl+n2個(gè)幀被劃分成具有從再現(xiàn)對(duì)象內(nèi)容的幀tl起連續(xù)的nl個(gè)幀和從再現(xiàn)對(duì)象內(nèi)容的幀t2起連續(xù)的n2個(gè)幀的視頻片段。這里，片段劃分單元22把從屬于關(guān)注集群的幀獲得的視頻片段設(shè)定為屬于關(guān)注集群的視頻片段，并且將表示此視頻片段的片段信息提供給片段代表圖像生成單元23。這里，片段信息至少包括指定包括視頻片段的幀的幀信息(例如表示從再現(xiàn)對(duì)象內(nèi)容的開頭起的幀的號(hào)碼的號(hào)碼)和表示視頻片段(或者視頻片段中包括的幀)所屬的集群的集群信息。再現(xiàn)對(duì)象內(nèi)容的每個(gè)視頻片段的片段信息被從片段劃分單元22提供到片段代表圖像生成單元23，并且再現(xiàn)對(duì)象內(nèi)容也被從內(nèi)容存儲(chǔ)單元11提供到片段代表圖像生成單元23。片段代表圖像生成單元23對(duì)于再現(xiàn)對(duì)象內(nèi)容的每個(gè)視頻片段，生成代表視頻片段的片段代表圖像。
換言之，片段代表圖像生成單元23基于來(lái)自片段劃分單元22的片段信息識(shí)別再現(xiàn)對(duì)象內(nèi)容的所有視頻片段，并且順次選擇它們作為要關(guān)注的關(guān)注視頻片段。此外，基于來(lái)自片段劃分單元22的片段信息，片段代表圖像生成單元23識(shí)別關(guān)注視頻片段中包括的幀，并且利用來(lái)自內(nèi)容存儲(chǔ)單元11的關(guān)注視頻片段中包括的幀，生成代表關(guān)注視頻片段(的內(nèi)容)的片段代表圖像。接下來(lái)，片段代表圖像生成單元23將關(guān)注視頻片段的片段代表圖像與關(guān)注視頻片段的片段信息一起提供給地圖生成單元24。這里，作為視頻片段的片段代表圖像，例如可以采用其中壓縮了諸如視頻片段的開頭幀之類的預(yù)定幀的縮略圖。此外，作為視頻片段的片段代表圖像，例如可以采用諸如動(dòng)畫GIF之類的圖像，該動(dòng)畫GIF利用動(dòng)畫(視頻)顯示其中壓縮了視頻片段中包括的幀之中的多個(gè)幀的圖像。地圖生成單元24生成片段地圖并執(zhí)行將其提供給顯示控制單元16 (圖1)，片段地圖是其中布置了來(lái)自片段代表圖像生成單元23的作為代表再現(xiàn)對(duì)象內(nèi)容的視頻片段的圖像的片段代表圖像的地圖。[集群化單元21的構(gòu)成示例]圖4是示出圖3中的集群化單元21的構(gòu)成示例的框圖。在圖4中，集群化單元21包括集群化模型學(xué)習(xí)單元31、集群化模型存儲(chǔ)單元32以及集群判定單元33。集群化模型學(xué)習(xí)單元31學(xué)習(xí)集群化模型并將其提供給集群化模型存儲(chǔ)單元32，集群化模型是用于對(duì)內(nèi)容的每個(gè)幀進(jìn)行集群化的模型。這里，作為集群化模型，例如，可以采用包括狀態(tài)和狀態(tài)轉(zhuǎn)變的狀態(tài)轉(zhuǎn)變模型。作為是集群化模型的狀態(tài)轉(zhuǎn)變模型，例如可以采用HMM之類的。例如，集群化模型學(xué)習(xí)單元31從內(nèi)容存儲(chǔ)單元11等中存儲(chǔ)的內(nèi)容之內(nèi)選擇屬于預(yù)定類別的一項(xiàng)或多項(xiàng)內(nèi)容作為學(xué)習(xí)內(nèi)容，并且根據(jù)類別對(duì)學(xué)習(xí)內(nèi)容分類。這里，屬于預(yù)定類別的內(nèi)容例如意味著相同體裁的節(jié)目、一系列的節(jié)目、每周、每日或周期性廣播的節(jié)目(具有相同標(biāo)題的節(jié)目)等等的內(nèi)容內(nèi)包括的具有共同內(nèi)容結(jié)構(gòu)的內(nèi)容。例如，可以采用體裁的“粗略”分類，例如體育節(jié)目、新聞節(jié)目之類的；然而，諸如足球比賽節(jié)目或棒球比賽節(jié)目之類的“窄”分類是優(yōu)選的。另外，例如，在足球比賽節(jié)目的情況下，可以對(duì)于每個(gè)不同頻道(廣播臺(tái))執(zhí)行分類成屬于不同類別的內(nèi)容。此外，要采用作為內(nèi)容的類別的類別的種類例如是在圖1的圖像處理裝置中預(yù)先設(shè)定的。此外，例如，能夠從與電視廣播中的節(jié)目一起發(fā)送的諸如節(jié)目標(biāo)題或體裁之類的元數(shù)據(jù)或者互聯(lián)網(wǎng)上的站點(diǎn)提供的節(jié)目的信息等等來(lái)識(shí)別內(nèi)容存儲(chǔ)單元11中存儲(chǔ)的內(nèi)容的類別。 對(duì)于每個(gè)類別，集群化模型學(xué)習(xí)單元31使用該類別的學(xué)習(xí)內(nèi)容，學(xué)習(xí)該類別的集群化模型，并且對(duì)于每個(gè)類別生成(獲取)集群化模型。也就是說(shuō)，作為集群化模型，例如，當(dāng)采用HMM時(shí)，對(duì)于每個(gè)類別，集群化模型學(xué)習(xí)單元31使用該類別的學(xué)習(xí)內(nèi)容并且執(zhí)行對(duì)作為集群化模型的HMM的學(xué)習(xí)。這里，在集群化模型學(xué)習(xí)單元31中，可以利用例如諸如互聯(lián)網(wǎng)上的站點(diǎn)之類的外部?jī)?nèi)容以及內(nèi)容存儲(chǔ)單元11中存儲(chǔ)的內(nèi)容作為學(xué)習(xí)內(nèi)容來(lái)執(zhí)行作為集群化模型的HMM的學(xué)習(xí)。集群化模型存儲(chǔ)單元32存儲(chǔ)由集群化模型學(xué)習(xí)單元31等等生成的每個(gè)類別的集群化模型。這里，集群化模型的學(xué)習(xí)例如能夠在互聯(lián)網(wǎng)上的站點(diǎn)等處執(zhí)行，并且集群化模型存儲(chǔ)單元32能夠從這種站點(diǎn)下載(獲取)并存儲(chǔ)集群化模型。在這種情況下，能夠在不設(shè)有集群化模型學(xué)習(xí)單元31的情況下構(gòu)成集群化單元21。集群判定單元33使用集群化模型存儲(chǔ)單元32中存儲(chǔ)的集群化模型，判定從內(nèi)容存儲(chǔ)單元11提供來(lái)的再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀所屬的集群，并且將表示作為該集群的集群化結(jié)果的集群信息提供(輸出)到片段劃分單元22。[集群化模型學(xué)習(xí)單元31的構(gòu)成示例]圖5是示出 圖4的集群化模型學(xué)習(xí)單元31的構(gòu)成示例的框圖。集群化模型學(xué)習(xí)單元31例如將HMM(隱藏馬爾科夫模型)設(shè)定為集群化模型，并且提取作為在集群化模型的學(xué)習(xí)中使用的內(nèi)容的學(xué)習(xí)內(nèi)容的每個(gè)幀的特征量，其中HMM是由狀態(tài)將會(huì)轉(zhuǎn)變的狀態(tài)轉(zhuǎn)變概率和從狀態(tài)將會(huì)觀測(cè)到預(yù)定觀測(cè)值的觀測(cè)似然限定的一個(gè)狀態(tài)轉(zhuǎn)變模型。此外，集群化模型學(xué)習(xí)單元31使用學(xué)習(xí)內(nèi)容的每個(gè)幀的特征量(按時(shí)間順序的特征量)并且執(zhí)行HMM學(xué)習(xí)。換言之，集群化模型學(xué)習(xí)單元31由學(xué)習(xí)內(nèi)容選擇單元41、特征量提取單元42、特征量存儲(chǔ)單元43和學(xué)習(xí)單元44構(gòu)成。學(xué)習(xí)內(nèi)容選擇單元41從內(nèi)容存儲(chǔ)單元11中存儲(chǔ)的內(nèi)容之內(nèi)選擇用于HMM學(xué)習(xí)的內(nèi)容作為學(xué)習(xí)內(nèi)容，并且將其提供給特征量提取單元42。特征量提取單元42提取來(lái)自學(xué)習(xí)內(nèi)容選擇單元41的學(xué)習(xí)內(nèi)容的每個(gè)幀的提取特征量(向量)，并將其提供給特征量存儲(chǔ)單元43。這里，作為幀#€的特征量，例如，可以采用GIST等等的幀#€的圖像的特征量、MFCC(美爾頻率倒譜系數(shù))等等的包括幀#f在內(nèi)的多個(gè)幀的區(qū)間的音頻的特征量、表示幀#f 內(nèi)的人的整個(gè)身體或臉部的位置的位置信息或者上述這些項(xiàng)之中的多項(xiàng)的組合等等。特征量存儲(chǔ)單元43按時(shí)間順序存儲(chǔ)從特征量提取單元42提供來(lái)的學(xué)習(xí)內(nèi)容的每個(gè)中貞的特征量。學(xué)習(xí)單元44利用特征量存儲(chǔ)單元43中存儲(chǔ)的學(xué)習(xí)內(nèi)容的每個(gè)幀的每個(gè)類別的特征量對(duì)每個(gè)類別執(zhí)行HMM學(xué)習(xí)。另外，學(xué)習(xí)單元44將學(xué)習(xí)后的HMM與HMM學(xué)習(xí)中使用的學(xué)習(xí)內(nèi)容的類別相關(guān)聯(lián)，并執(zhí)行將其作為集群化模型提供給集群化模型存儲(chǔ)單元32。這里，HMM是由狀態(tài)Si的初始概率1、狀態(tài)轉(zhuǎn)變概率au以及從狀態(tài)Si觀測(cè)到預(yù)定觀測(cè)值的觀測(cè)似然h (ο)限定的。i和j是表示HMM的狀態(tài)的索引并且在HMM的狀態(tài)的數(shù)目是N的情況下是I至N的范圍內(nèi)的整數(shù)。初始概率i表示狀態(tài)Si是初始狀態(tài)(第一狀態(tài))的概率，并且狀態(tài)轉(zhuǎn)變概率au表示從狀態(tài)Si轉(zhuǎn)變到狀態(tài)S」的概率。
觀測(cè)似然h (O)表示在轉(zhuǎn)變狀態(tài)到狀態(tài)Si時(shí)從狀態(tài)Si將觀測(cè)到觀測(cè)值O的似然(概率)。作為觀測(cè)似然bi (O)，在觀測(cè)值O是離散值的情況下，使用概率值(離散值)，而在觀測(cè)值O是連續(xù)值的情況下，使用概率分布函數(shù)。作為概率分布函數(shù)，例如，可以采用由平均值(平均向量)和方差(協(xié)方差矩陣)限定的高斯分布等等。這里，觀測(cè)值ο是離散值的HMM也被稱為離散HMM，并且觀測(cè)值ο是連續(xù)值的HMM也被稱為連續(xù)HMM。HMM學(xué)習(xí)例如能夠利用Baum-Welch算法來(lái)執(zhí)行，Baum-Welch算法是利用EM算法的統(tǒng)計(jì)學(xué)習(xí)方法。根據(jù)作為集群化模型的ΗΜΜ，學(xué)習(xí)內(nèi)容內(nèi)包括的內(nèi)容的結(jié)構(gòu)(例如由節(jié)目構(gòu)成、相機(jī)工作等等產(chǎn)生的結(jié)構(gòu))是以自組織方式獲取的。結(jié)果，作為集群化模型的HMM的每個(gè)狀態(tài)對(duì)應(yīng)于通過(guò)學(xué)習(xí)獲取的內(nèi)容的結(jié)構(gòu)的元素，并且狀態(tài)轉(zhuǎn)變表現(xiàn)內(nèi)容的結(jié)構(gòu)的元素之間的時(shí)間性轉(zhuǎn)變。這里，HMM狀態(tài)收集并表現(xiàn)特征量空間(由特征量提取單元42提取的特征量的空間)中的空間距離接近并且時(shí)間情境相似的幀群組(即，“相似場(chǎng)景”)。這里，例如，學(xué)習(xí)內(nèi)容是智力問(wèn)答節(jié)目，粗略來(lái)說(shuō)，給出題目、提供提示、參與者回答以及揭示正確答案的流程被設(shè)定為該節(jié)目的基本流程，并且當(dāng)節(jié)目利用此基本流程的重復(fù)來(lái)進(jìn)行時(shí)，節(jié)目的基本流程相當(dāng)于內(nèi)容的結(jié)構(gòu)，并且構(gòu)成該流程(結(jié)構(gòu))的各個(gè)給出題目、提供提示、參與者回答和揭示正確答案相當(dāng)于內(nèi)容的結(jié)構(gòu)的元素。

另外，例如，從給出題目到提供提示的進(jìn)行等等相當(dāng)于內(nèi)容的結(jié)構(gòu)的元素之間的時(shí)間轉(zhuǎn)變。此外，作為HMM觀測(cè)值O，可以使用從幀提取的特征量本身，或者可以使用從幀提取的特征量被離散化的離散值。在從幀提取的特征量本身被用作HMM觀測(cè)值ο的情況下，作為觀測(cè)值ο的特征量是連續(xù)值，并且在學(xué)習(xí)單元44中，作為連續(xù)HMM學(xué)習(xí)的結(jié)果獲得的連續(xù)HMM被確定為集群化模型。另一方面，在從幀提取的特征量被離散化的離散值被用作HMM觀測(cè)值ο的情況下，在學(xué)習(xí)單元44中，在HMM學(xué)習(xí)之前必須執(zhí)行從幀提取的特征量的離散化。作為對(duì)從幀提取的特征量(向量)進(jìn)行離散化的方法，例如有向量量化。在向量量化中，參考其中特征量空間內(nèi)的有限質(zhì)心向量和表示質(zhì)心向量的代碼(符號(hào))相關(guān)聯(lián)的碼書，從幀提取的連續(xù)值的特征量被轉(zhuǎn)換(離散化)成表示與該特征量的(歐幾里德)距離最近的質(zhì)心向量。此外，例如能夠?qū)τ诿總€(gè)類別利用內(nèi)容存儲(chǔ)單元11中存儲(chǔ)的內(nèi)容等等利用k-means方法等等來(lái)確定用于向量量化的碼書。在此情況下，在學(xué)習(xí)單元44中，從學(xué)習(xí)內(nèi)容的每個(gè)幀提取的特征量經(jīng)歷參考該學(xué)習(xí)內(nèi)容的類別的碼書的向量量化。此外，在學(xué)習(xí)單元44中，利用作為向量量化的結(jié)果獲得的從學(xué)習(xí)內(nèi)容的每個(gè)幀提取的特征量的代碼，執(zhí)行離散HMM學(xué)習(xí)并且將作為結(jié)果獲得的離散HMM和特征量的向量量化中使用的碼書確定為集群化模型。此外，在學(xué)習(xí)單元44中，還可以將上述向量量化中使用的碼書(僅該碼書)確定為集群化模型。
在這種情況下，在集群判定單元33(圖4)中，從再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀提取的特征量經(jīng)歷利用(參考)作為集群化模型的碼書的向量量化，并且作為結(jié)果獲得的代碼被輸出作為表示幀的集群化結(jié)果(幀的集群)的集群信息。[集群判定單元33的構(gòu)成示例]圖6是示出圖4的集群化單元21的集群判定單元33的構(gòu)成示例的框圖。集群判定單元33由內(nèi)容選擇單元51、模型選擇單元52、特征量提取單元53和最大似然狀態(tài)系列估計(jì)單元54構(gòu)成。內(nèi)容選擇單元51從內(nèi)容存儲(chǔ)單元11中存儲(chǔ)的內(nèi)容中選擇再現(xiàn)對(duì)象內(nèi)容并將其提供給特征量提取單元53。此外，內(nèi)容選擇單元51識(shí)別再現(xiàn)對(duì)象內(nèi)容的類別，并將其提供給模型選擇單元52。模型選擇單元52從集群化模型存儲(chǔ)單元32中存儲(chǔ)的集群化模型之中選擇與來(lái)自內(nèi)容選擇單元51的再現(xiàn)對(duì)象內(nèi)容的類別匹配的類別的集群化模型(與再現(xiàn)對(duì)象內(nèi)容的類別相關(guān)聯(lián)的集群化模型)作為關(guān)注模型。然后，模型選擇單元52將關(guān)注模型提供給最大似然狀態(tài)系列估計(jì)單元54。特征量提取單元53以與圖5的特征量提取單元42相同的方式提取從內(nèi)容選擇單元51提供來(lái)的再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀的特征量，并將再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀的特征量(按時(shí)間順序)提供給最大似然狀態(tài)系列估計(jì)單元54。例如，在作為來(lái)自模型選擇單元52的關(guān)注模型的HMM中，最大似然狀態(tài)系列估計(jì)單元54遵循維特比算法并且估計(jì)最大似然狀態(tài)系列，最大似然狀態(tài)系列是其中發(fā)生如下狀態(tài)轉(zhuǎn)變的狀態(tài)系列(換言之是構(gòu)成維特比路徑的一系列狀態(tài))在該狀態(tài)轉(zhuǎn)變中，將觀測(cè)到來(lái)自特征量提取單元53的再現(xiàn)對(duì)象內(nèi)容的(按時(shí)間順序的)特征量的似然是最高的。這里，在作為關(guān)注模型的HMM中，最大似然狀態(tài)系列估計(jì)單元54將構(gòu)成觀測(cè)到再現(xiàn)對(duì)象內(nèi)容中的每個(gè)幀的特征量的情況的最大似然狀態(tài)系列(以下也稱為針對(duì)再現(xiàn)對(duì)象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列)的狀態(tài)的索引(以下也稱為狀態(tài)ID (標(biāo)識(shí)))設(shè)定為表示再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀被集群化的集群化結(jié)果的集群化信息，并將其提供給片段劃分單元22(圖3)。這里，在關(guān)注模型中，以觀測(cè)到再現(xiàn)對(duì)象內(nèi)容的特征量的情況的最大似然狀態(tài)系列(針對(duì)再現(xiàn)對(duì)象內(nèi)容的關(guān)注模型的最大似 然狀態(tài)系列)的開頭為基準(zhǔn)的時(shí)刻t的狀態(tài)(從構(gòu)成最大似然狀態(tài)系列的開頭起的第t個(gè)狀態(tài))被設(shè)定成表示為s(t)并且再現(xiàn)對(duì)象內(nèi)容的幀的數(shù)目被設(shè)定成表示為T。在這種情況下，針對(duì)再現(xiàn)對(duì)象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列是狀態(tài)S(I)，s (2), s(T)這T個(gè)狀態(tài)的系列，并且其中的第t個(gè)狀態(tài)s(t)(時(shí)刻t的狀態(tài))對(duì)應(yīng)于再現(xiàn)對(duì)象內(nèi)容的時(shí)刻t的幀(幀t)。另外，當(dāng)關(guān)注模型的狀態(tài)的總數(shù)被設(shè)定成由N表示時(shí)，時(shí)刻t的狀態(tài)s(t)是狀態(tài)S1, S2, , Sn這N個(gè)狀態(tài)中的任何一個(gè)?，F(xiàn)在，當(dāng)針對(duì)再現(xiàn)對(duì)象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列的時(shí)刻t的狀態(tài)s(t)是狀態(tài)S1至Sn這N個(gè)狀態(tài)中的第i個(gè)狀態(tài)Si時(shí)，時(shí)刻t的幀對(duì)應(yīng)于狀態(tài)Si。針對(duì)再現(xiàn)對(duì)象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列基本上是與再現(xiàn)對(duì)象內(nèi)容的每個(gè)時(shí)刻t的幀相對(duì)應(yīng)的狀態(tài)S1至Sn這N個(gè)狀態(tài)中的任何一個(gè)的狀態(tài)的狀態(tài)ID的系列。如上所述，針對(duì)再現(xiàn)對(duì)象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列表現(xiàn)了就關(guān)注模型而言再現(xiàn)對(duì)象內(nèi)容引起的狀態(tài)轉(zhuǎn)變的種類。此外，在針對(duì)再現(xiàn)對(duì)象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列中，如上所述，當(dāng)時(shí)刻t的狀態(tài)S⑴被設(shè)定為狀態(tài)S1至Sn這N個(gè)狀態(tài)之中的第i狀態(tài)Si時(shí)，時(shí)刻t的幀對(duì)應(yīng)于狀態(tài)s”從而，通過(guò)將關(guān)注模型的N個(gè)狀態(tài)中的各個(gè)狀態(tài)視為集群，時(shí)刻t的幀被集群化到與關(guān)注模型的N個(gè)狀態(tài)的狀態(tài)之中的作為最大似然狀態(tài)系列的時(shí)刻t的狀態(tài)s(t)的第i狀態(tài)Si相對(duì)應(yīng)的集群中，并且在針對(duì)再現(xiàn)對(duì)象內(nèi)容的關(guān)注模型的最大似然狀態(tài)系列的估計(jì)中，可以判定再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀所屬的集群。此外，在集群化模型是連續(xù)HMM的情況下，最大似然狀態(tài)系列估計(jì)單元54遵循維特比算法，估計(jì)在作為集群化模型的連續(xù)HMM中觀測(cè)到來(lái)自特征量提取單元53的再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀的特征量的最大似然狀態(tài)系列，并且將構(gòu)成該最大似然狀態(tài)系列的狀態(tài)(的狀態(tài)ID)作為每個(gè)幀的集群信息提供給片段劃分單元22(圖3)。此外，在集群化模型是離散HMM和碼書的情況下，最大似然狀態(tài)系列估計(jì)單元54利用作為集群化模型的碼書對(duì)來(lái)自特征量提取單元53的再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀的特征量執(zhí)行向量量化。此外，最大似然狀態(tài)系列估計(jì)單元54遵循維特比算法，估計(jì)在作為集群化模型的離散HMM中觀測(cè)到再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀的特征量的向量量化所獲得的代碼的最大似然狀態(tài)系列，并將構(gòu)成該最大似然狀態(tài)系列的狀態(tài)(的狀態(tài)ID)作為每個(gè)幀的集群信息提供給片段劃分單元22。此外，在集群化模型是(僅)碼書的情況下，最大似然狀態(tài)系列估計(jì)單元54利用作為集群化模型的碼書對(duì)來(lái)自特征量提取單元53的再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀的特征量執(zhí)行向量量化，并將通過(guò)向量量化獲得的代碼作為每個(gè)幀的集群信息提供給片段劃分單元22。在圖3的片段劃分單元22中，如上所述，基于從集群判定單元33 (的最大似然狀態(tài)系列估計(jì)單元54)提供來(lái)的集群信息識(shí)別屬于每個(gè)集群的再現(xiàn)對(duì)象內(nèi)容的幀，并且當(dāng)對(duì)于每個(gè)集群按時(shí)間順序排列屬于該集群的幀時(shí)，一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合被設(shè)定為一個(gè)視頻片段并被劃分成視頻片段。[地圖生成單元24的構(gòu)成示例]圖7是示出圖3的地圖生成單元24的構(gòu)成示例的框圖。地圖生成單元24是由集群代表圖像選擇單元61、狀態(tài)間隔距離計(jì)算單元62、坐標(biāo)計(jì)算單元63和地圖描繪單元64構(gòu)成的。片段代表圖像被從片段代表圖像生成單元23(圖3)提供給集群代表圖像選擇單元61。對(duì)于(與作為關(guān)注模型的HMM的每個(gè)狀態(tài)的)每個(gè)集群，集群代表圖像選擇單元61從屬于該集群的視頻片段的片段代表圖像中選擇代表該集群的集群代表圖像。這里，集群代表圖像選擇單元61將屬于每個(gè)集群的(視頻片段的)片段代表圖像與表示被選擇為集群代表圖像的片段代表圖像的標(biāo)志一起提供給地圖描繪單元64。這里，在只 有一個(gè)片段代表圖像屬于集群的情況下，集群代表圖像選擇單元61選擇該片段代表圖像作為集群代表圖像。
此外，在多個(gè)片段代表圖像屬于集群的情況下，例如，集群代表圖像選擇單元61選擇這多個(gè)片段代表圖像中的一個(gè)，例如這多個(gè)片段代表圖像之中幀數(shù)目最大的視頻片段的片段代表圖像或者再現(xiàn)時(shí)刻最早的視頻片段的片段代表圖像，作為集群代表圖像。集群化單元21(圖3)中的再現(xiàn)對(duì)象內(nèi)容的集群化中使用的作為關(guān)注模型的HMM(集群化模型)被提供給狀態(tài)間隔距離計(jì)算單元62。狀態(tài)間隔距離計(jì)算單元62基于從一個(gè)狀態(tài)Si到另一狀態(tài)Sj的狀態(tài)轉(zhuǎn)變概率Bii計(jì)算作為關(guān)注模型的HMM的一個(gè)狀態(tài)Si到另一狀態(tài)Sj的狀態(tài)間隔距離dij*。這里，當(dāng)確定了作為關(guān)注模型的HMM的N個(gè)狀態(tài)中的任意狀態(tài)Si到任意狀態(tài)S」的狀態(tài)間隔距離du*時(shí)，狀態(tài)間隔距離計(jì)算單元62將狀態(tài)間隔距離du*被設(shè)定為成分的N行N列的矩陣(狀態(tài)間隔距離矩陣)提供給坐標(biāo)計(jì)算單元63。這里，在例如狀態(tài)轉(zhuǎn)變概率au大于預(yù)定閾值(例如(1/N) X 10_2)的情況下，狀態(tài)間隔距離計(jì)算單元62將狀態(tài)間隔距離du*設(shè)定為例如O.1 (小值)，而在狀態(tài)轉(zhuǎn)變概率au在預(yù)定閾值以下的情況下，將狀態(tài)間隔距離du*設(shè)定為例如1. 0(大值)。坐標(biāo)計(jì)算單元63確定狀態(tài)坐標(biāo)Yi,狀態(tài)坐SYi是用以減小模型地圖上從一個(gè)狀態(tài)Si到另一狀態(tài)Sj的歐幾里德距離Clij與來(lái)自狀態(tài)間隔距離計(jì)算單元62的狀態(tài)間隔距離矩陣的狀態(tài)間隔距離 Clij*之間的誤差的模型地圖上的狀態(tài)Si的位置的坐標(biāo)，模型地圖是布置了關(guān)注模型的N個(gè)狀態(tài)的狀態(tài)Si至Sn的二維或三維地圖(將作為關(guān)注模型的HMM投射到二維平面或三維空間上的地圖)。也就是說(shuō)，坐標(biāo)計(jì)算單元63確定狀態(tài)坐標(biāo)Yi以最小化與歐幾里德距離du和狀態(tài)間隔距離Clij*的統(tǒng)計(jì)誤差比例的Sammon地圖的誤差函數(shù)E。這里，Sammon地圖是多維尺度法并且其細(xì)節(jié)例如在J. W. Sammon, JR. , " ANonlinear Mapping for Data Structure Analysis" , IEEE Transactions on Computers,vol. C-18, No. 5，Mayl969 中描述。在Sammon地圖中，例如，為了最小化式(I)中的誤差函數(shù)E，例如確定作為二維地圖的模型地圖上的狀態(tài)坐標(biāo)Yi = (xi； Yi)。E= 1/(Σ (Iij) X Σ ((CliZ-Clij)VdijV. (I)這里，在式(I)中，Σ表示將滿足式子i < j的索引i和j變成I至N的范圍中的整數(shù)并取其總和。Clij*表示狀態(tài)間隔距離矩陣的第i行第j列的元素并且表示從狀態(tài)Si到狀態(tài)Sj的狀態(tài)間隔距離。Clij表示模型地圖的狀態(tài)Si的位置的坐標(biāo)(狀態(tài)坐標(biāo))Yi = (xi； Yi)和狀態(tài)Sj的位置的坐標(biāo)Yj之間的歐幾里德距離。此外，狀態(tài)坐標(biāo)Yi = (xi； Yi)的Xi和分別表示二維模型地圖上的狀態(tài)坐SYi的X坐標(biāo)和I坐標(biāo)。在采用三維地圖作為模型地圖的情況下，狀態(tài)坐標(biāo)Yi變成具有X坐標(biāo)、I坐標(biāo)和z坐標(biāo)的三維坐標(biāo)。坐標(biāo)計(jì)算單元63通過(guò)反復(fù)應(yīng)用梯度法確定狀態(tài)坐標(biāo)YiQ = 1,2, . . . , N)以使得式(I)的誤差函數(shù)E被最小化，并將其提供給地圖描繪單元64。地圖描繪單元64通過(guò)在來(lái)自坐標(biāo)計(jì)算單元63的狀態(tài)坐標(biāo)Yi的位置處布置相應(yīng)狀態(tài)Si (的圖像)并在這些狀態(tài)之間根據(jù)狀態(tài)轉(zhuǎn)變概率在內(nèi)置存儲(chǔ)器(未示出)中描繪鏈接線段來(lái)將作為關(guān)注模型的HMM轉(zhuǎn)換成二維(或三維)模型地圖(圖形)。
這里，在模型地圖上的狀態(tài)Si的位置處，地圖描繪單元64描繪來(lái)自集群代表圖像選擇單元61的片段代表圖像之中被選擇為與狀態(tài)Si相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像。這樣，地圖描繪單元64生成片段地圖，片段地圖是在模型地圖上的每個(gè)狀態(tài)的位置處布置被選擇為與狀態(tài)相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像的地圖。此外，地圖描繪單元64將片段地圖的每個(gè)狀態(tài)與屬于與這些狀態(tài)相對(duì)應(yīng)的集群的(幀的視頻片段的)片段代表圖像相關(guān)聯(lián)并將作為結(jié)果獲得的片段地圖提供給顯示控制單元16(圖1)。這里，可以說(shuō)模型地圖是利用與狀態(tài)相對(duì)應(yīng)的節(jié)點(diǎn)和與狀態(tài)轉(zhuǎn)變相對(duì)應(yīng)的邊緣來(lái)可視化HMM等等的集群化模型的結(jié)構(gòu)的二維(或三維)網(wǎng)絡(luò)(圖)的表現(xiàn)。作為將HMM等等的集群化模型轉(zhuǎn)換(投射)到作為這種網(wǎng)絡(luò)表現(xiàn)的模型地圖的方法，可以采用任意的多維尺度法以及Sammon地圖。此外，在集群化模型是(僅)碼書的情況下，能夠通過(guò)以下方式利用諸如Sammon地圖之類的多維尺度法將作為這種集群化模型的碼書轉(zhuǎn)換成作為二維或三維地圖的模型地圖對(duì)于與每個(gè)代碼向量相對(duì)應(yīng)的每個(gè)集群(與表示每個(gè)代碼向量的每個(gè)代碼相對(duì)應(yīng)的每個(gè)集群)，使用再現(xiàn)對(duì)象內(nèi)容，對(duì)再現(xiàn)對(duì)象內(nèi)容中按時(shí)間順序的幀所屬的集群轉(zhuǎn)變(變化)的轉(zhuǎn)變的次數(shù)(幀所屬的集群從每個(gè)集群轉(zhuǎn)變到每個(gè)集群的次數(shù))計(jì)數(shù)，并且在將與代碼向量相對(duì)應(yīng)的集群視為HMM的狀態(tài)的同時(shí)，將與每個(gè)集群的轉(zhuǎn)變次數(shù)相對(duì)應(yīng)的概率視為HMM的狀態(tài)轉(zhuǎn)變概率。這里，作為與集群的轉(zhuǎn)變次數(shù)的概率，例如可以采用這樣的值其中，轉(zhuǎn)變次數(shù)被正規(guī)化，以使得在從該集群到每個(gè)集群的轉(zhuǎn)變次數(shù)中，閾值以下的轉(zhuǎn)變次數(shù)被轉(zhuǎn)換成O. O,而且總和成為1. O。

此外，除了利用再現(xiàn)對(duì)象內(nèi)容確定從每個(gè)集群(到每個(gè)集群)的轉(zhuǎn)變次數(shù)以外，還可以利用確定碼書時(shí)使用的所有內(nèi)容來(lái)執(zhí)行確定。[模型地圖]圖8是示出圖7的地圖描繪單元64描繪的模型地圖的示例的示圖。在圖8中的模型地圖中，點(diǎn)表示作為集群化模型(關(guān)注模型)的HMM的狀態(tài)，并且將點(diǎn)鏈接到一起的線段表示狀態(tài)轉(zhuǎn)變。如上所述，模型地圖描繪單元64在由坐標(biāo)計(jì)算單元63確定的狀態(tài)坐標(biāo)Yi的位置處描繪相應(yīng)狀態(tài)Si(的圖像(圖8中的點(diǎn)))。此外，地圖描繪單元64根據(jù)狀態(tài)之間的狀態(tài)轉(zhuǎn)變概率描繪這些狀態(tài)之間的鏈接線段。換言之，地圖描繪單元64在從狀態(tài)Si到另一狀態(tài)的狀態(tài)轉(zhuǎn)變概率大于預(yù)定閾值的情況下描繪狀態(tài)Si和之間的鏈接線段。如上所述，地圖描繪單元64描繪作為可視化作為關(guān)注模型的HMM的結(jié)構(gòu)的二維(或三維)網(wǎng)絡(luò)表現(xiàn)的模型地圖。此外，在圖7的坐標(biāo)計(jì)算單元63中，在按原樣采用式(I)的誤差函數(shù)E并且確定模型地圖上的狀態(tài)坐標(biāo)Yi以最小化誤差函數(shù)E的情況下，在模型地圖上的圓中布置狀態(tài)(表示狀態(tài)的點(diǎn))，在模型地圖的圓周附近(外側(cè))(外邊緣)密集聚集狀態(tài)，從而難以看到狀態(tài)的布置，也就是說(shuō)可視性受損。
從而，在圖7的坐標(biāo)計(jì)算單元63中，可以校正式(I)中的誤差函數(shù)E并且確定模型地圖上的狀態(tài)坐標(biāo)Yi以最小化校正后的誤差函數(shù)E。換言之，在坐標(biāo)計(jì)算單元63中，判定歐幾里德距離Clij是否大于預(yù)定閾值THd(例如THd =1.0之類的)。這里，在歐幾里德距離Clij不大于預(yù)定閾值THd的情況下，坐標(biāo)計(jì)算單元63在式(I)的誤差函數(shù)的計(jì)算中將歐幾里德距離Clij按原樣用作歐幾里德距離Clijt5另一方面，在歐幾里德距離Clij大于預(yù)定閾值THd的情況下，坐標(biāo)計(jì)算單元63在式
(I)的誤差函數(shù)的計(jì)算中將狀態(tài)間隔距離d#用作歐幾里德距離Clij (設(shè)定Clij = Clij*)(歐幾里德距離Clij被設(shè)定成等于狀態(tài)間隔距離Clij*的距離)。在這種情況下，在模型地圖中，當(dāng)關(guān)注歐幾里德距離Clij接近到一定程度(不大于閾值THd)的兩個(gè)狀態(tài)Si和Sj時(shí)，狀態(tài)坐標(biāo)Yi和Yj被改變以使得歐幾里德距離Clij和狀態(tài)間隔距離Clij*匹配(使得歐幾里德距離Clij接近狀態(tài)間隔距離d#)。另一方面，在模型地圖中，當(dāng)關(guān)注歐幾里德距離du遠(yuǎn)離到一定程度(大于閾值THd)的兩個(gè)狀態(tài)Si和Sj時(shí)，狀態(tài)坐標(biāo)Yi和Yj不被改變。結(jié)果，由于歐幾里德距離du遠(yuǎn)離到一定程度的兩個(gè)狀態(tài)Si和被設(shè)定成使得歐幾里德距離Clij保持遠(yuǎn)離，所以可以防止?fàn)顟B(tài)變得密集聚集在模型地圖的圓周附近(外邊緣)，并且還可以防止可視性受損。對(duì)于圖8中的模型地圖，如上所述，防止了狀態(tài)變得密集聚集在模型地圖的圓周附近(外邊緣)。[片段地圖生成單元 14的處理]圖9是示出圖3的片段地圖生成單元14的處理(片段地圖生成處理)的概要的示圖。在片段地圖生成單元14中的集群化單元21中，對(duì)于內(nèi)容存儲(chǔ)單元11中存儲(chǔ)的再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀Π，f2，...，提取特征量。然后，在集群化單元21中利用每個(gè)幀fl，f2,的特征量和作為集群化模型的HMM，對(duì)每個(gè)幀fl，f2，...，進(jìn)行集群化，并且將一系列狀態(tài)ID作為表示每個(gè)幀Π，f2，...，所屬的集群的集群信息提供給片段劃分單元22，所述狀態(tài)ID是構(gòu)成觀測(cè)到幀Π，f2,...,的特征量的時(shí)間序列的最大似然狀態(tài)系列的HMM的狀態(tài)的索引。在圖9中，再現(xiàn)對(duì)象內(nèi)容的幀fl和f2被集群化到與狀態(tài)ID是3的狀態(tài)相對(duì)應(yīng)的集群中，幀f3被集群化到與狀態(tài)ID是2的狀態(tài)相對(duì)應(yīng)的集群中，幀f4被集群化到與狀態(tài)ID是3的狀態(tài)相對(duì)應(yīng)的集群中，幀f5被集群化到與狀態(tài)ID是5的狀態(tài)相對(duì)應(yīng)的集群中，幀f6, f7，f8,...，被集群化到與狀態(tài)ID是4的狀態(tài)相對(duì)應(yīng)的集群中。片段劃分單元22(圖3)將屬于每個(gè)集群的幀劃分成作為一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合的視頻片段。因此，在片段劃分單元22中，在從開頭起依次關(guān)注來(lái)自集群化單元21的作為集群信息的狀態(tài)ID的系列的情況下，當(dāng)所關(guān)注的狀態(tài)ID匹配前一個(gè)狀態(tài)ID時(shí)，與所關(guān)注的狀態(tài)ID相對(duì)應(yīng)的幀被包括在包括與前一個(gè)狀態(tài)ID相對(duì)應(yīng)的幀的視頻片段中。這里，當(dāng)所關(guān)注的狀態(tài)ID不匹配前一個(gè)狀態(tài)ID時(shí)，直到與前一個(gè)狀態(tài)ID相對(duì)應(yīng)的幀為止的部分被劃分成一個(gè)視頻片段，并且從與所關(guān)注的狀態(tài)ID相對(duì)應(yīng)的幀起的部分被劃分成新的視頻片段。在圖9中，屬于與狀態(tài)ID為3的狀態(tài)相對(duì)應(yīng)的集群的連續(xù)幀fl和f2、屬于與狀態(tài)ID為2的狀態(tài)相對(duì)應(yīng)的集群的幀f3、屬于與狀態(tài)ID為3的狀態(tài)相對(duì)應(yīng)的集群的幀f4、屬于與狀態(tài)ID為5的狀態(tài)相對(duì)應(yīng)的集群的幀f5以及屬于與狀態(tài)ID為4的狀態(tài)相對(duì)應(yīng)的集群的連續(xù)幀f6、f7、f8分別被劃分成視頻片段。片段劃分單元22將上述視頻片段(作為片段信息的指定屬于視頻片段的幀的幀信息和表示視頻片段(的幀)所屬的集群的集群信息)提供給片段代表圖像生成單元23。例如，如上所述，片段代表圖像生成單元23 (圖3)對(duì)于來(lái)自片段劃分單元22的視頻片段生成視頻片段的開頭的幀被壓縮為代表該視頻片段的片段代表圖像的縮略圖，并將其提供給地圖生成單元24。這里，如果狀態(tài)ID被設(shè)定為將值i的狀態(tài)描述為狀態(tài)#i，則在圖9中，對(duì)于具有屬于與狀態(tài)#3相對(duì)應(yīng)的集群的連續(xù)幀Π和f2的視頻片段，開頭幀Π的縮略圖被生成作為片段代表圖像。此外，對(duì)于具有屬于與狀態(tài)#2相對(duì)應(yīng)的集群的幀f3的視頻片段，開頭幀的f3的縮略圖被生成作為片段代表 圖像，這同樣適用于對(duì)于具有屬于與狀態(tài)#3相對(duì)應(yīng)的集群的幀f4的視頻片段的開頭的幀f4的縮略圖、對(duì)于具有屬于與狀態(tài)#5相對(duì)應(yīng)的集群的幀f5的視頻片段的開頭的幀f5的縮略圖、以及對(duì)于具有屬于與狀態(tài)#4相對(duì)應(yīng)的集群的連續(xù)幀f6, f7, f8，...的視頻片段的幀f6的縮略圖。在地圖生成單元24(圖3)中，對(duì)于每個(gè)集群，從屬于該集群的視頻片段的片段代表圖像中選擇代表該集群(與該集群相對(duì)應(yīng)的狀態(tài))的集群代表圖像。此外，在地圖生成單元24中，將作為關(guān)注模型的HMM轉(zhuǎn)換成模型地圖，并且與此同時(shí)生成片段地圖，在片段地圖中，在模型地圖上的每個(gè)狀態(tài)的位置處布置了被選擇為與狀態(tài)相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像。這里，在地圖生成單元24中，片段地圖的每個(gè)狀態(tài)與屬于與該狀態(tài)相對(duì)應(yīng)的集群的視頻片段的所有片段代表圖像相關(guān)聯(lián)。在圖9中，作為具有屬于與狀態(tài)#3相對(duì)應(yīng)的集群的連續(xù)幀fl和f2的視頻片段的片段代表圖像的幀f I的縮略圖與狀態(tài)#3相關(guān)聯(lián)，作為具有屬于與狀態(tài)#2相對(duì)應(yīng)的集群的幀f3的視頻片段的片段代表圖像的幀f3的縮略圖與狀態(tài)#2相關(guān)聯(lián)，作為具有屬于與狀態(tài)#3相對(duì)應(yīng)的集群的幀f4的視頻片段的片段代表圖像的幀f4的縮略圖與狀態(tài)#3相關(guān)聯(lián)，作為具有屬于與狀態(tài)#5相對(duì)應(yīng)的集群的幀f5的視頻片段的片段代表圖像的幀f5的縮略圖與狀態(tài)#5相關(guān)聯(lián)，并且作為具有屬于與狀態(tài)#4相對(duì)應(yīng)的集群的連續(xù)幀f6，f7，f8，...，的視頻片段的片段代表圖像的幀f6的縮略圖與狀態(tài)#4相關(guān)聯(lián)。圖10是示出片段地圖生成單元14(圖3)生成的片段地圖的示例的示圖。在片段地圖中，在圖8的模型地圖上的每個(gè)狀態(tài)的位置處，布置了被選擇為與這些狀態(tài)相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像。例如，通過(guò)從作為預(yù)定類別的內(nèi)容的每日或每周廣播的新聞的電視廣播節(jié)目(新聞節(jié)目)的兩次以上的廣播部分之中取出最新廣播部分的新聞節(jié)目并將過(guò)去廣播部分的新聞節(jié)目用作學(xué)習(xí)內(nèi)容來(lái)執(zhí)行作為集群化模型的HMM學(xué)習(xí)，并且將最新廣播部分的新聞節(jié)目作為再現(xiàn)對(duì)象內(nèi)容給予片段地圖生成單元14，由此生成如圖10中所示的片段地圖。
如上所述，片段地圖是將(被選擇作為集群代表圖像的)片段代表圖像布置在模型地圖(圖8)上的地圖并且可以說(shuō)是基于模型地圖的。模型地圖是利用多維尺度法將學(xué)習(xí)后的HMM投射到二維表面上的地圖，并且根據(jù)模型地圖，外觀的特征等等是相似的并且集群化了時(shí)間前后關(guān)系接近的場(chǎng)景(幀)的集群群組被表現(xiàn)為就二維表現(xiàn)而言能夠轉(zhuǎn)變的附近狀態(tài)群組。這里，根據(jù)這樣基于模型地圖的片段地圖，例如，節(jié)目的場(chǎng)景構(gòu)成以如下形式被表現(xiàn)為二維地圖其中，作為再現(xiàn)對(duì)象內(nèi)容的新聞節(jié)目的主持人出現(xiàn)的場(chǎng)景(幀或視頻片段)被集群化并收集在一定狀態(tài)(與一定狀態(tài)相對(duì)應(yīng)的集群)中，并且從這些場(chǎng)景轉(zhuǎn)變的例如體育欄目或明日天氣預(yù)報(bào)的每個(gè)場(chǎng)景的場(chǎng)景群組被分別集群化和收集在另一狀態(tài)中。因此，可以說(shuō)片段地圖是再現(xiàn)對(duì)象內(nèi)容也就是場(chǎng)景的地圖，并且具有作為使得用戶能夠俯瞰再現(xiàn)對(duì)象內(nèi)容的可視化的有效工具的功能。此外，在圖10中，存在未布置(被選擇為集群代表圖像的)片段代表圖像的狀態(tài)。未布置片段代表圖像的狀態(tài)的存在表示在該狀態(tài)(與該狀態(tài)相對(duì)應(yīng)的集群)中沒有集群化再現(xiàn)對(duì)象內(nèi)容的幀。這里，在片段地圖的每個(gè)狀態(tài)處布置的片段代表圖像的大小能夠?qū)γ總€(gè)狀態(tài)被設(shè)定到不同大小，或者能夠無(wú)論狀態(tài)如何都被設(shè)定到所設(shè)定的大小。在片段地圖的每個(gè)狀態(tài)中布置的片段代表圖像的大小對(duì)于每個(gè)狀態(tài)被設(shè)定到不同大小的情況下，在地圖描繪單元64(圖7)中，例如，可以確定每個(gè)狀態(tài)的重要度并且以與該重要度相對(duì)應(yīng)的大小將片段代表圖像布置在片段地圖(模型地圖)上。圖11是示出確定狀態(tài)的重要度的方法的示圖。

對(duì)于模型地圖的每個(gè)狀態(tài)(作為集群化模型的HMM的每個(gè)狀態(tài))，地圖描繪單元64確定表示該狀態(tài)在何種程度上在整個(gè)再現(xiàn)對(duì)象內(nèi)容中表現(xiàn)重要場(chǎng)景的索引DoI (重要程度)作為重要度。這里，當(dāng)狀態(tài)Si的重要度由DoI (i)表示，并且作為狀態(tài)Si (與狀態(tài)Si相對(duì)應(yīng)的集群)中集群化的再現(xiàn)對(duì)象內(nèi)容的視頻片段之中的第k個(gè)視頻片段的長(zhǎng)度(幀數(shù)目)的片段長(zhǎng)度由LEN(k)表示時(shí)，地圖描繪單元64根據(jù)式子DoI (i) =max{LEN(k)}確定狀態(tài)Si的重要度DoI⑴。此外，當(dāng)狀態(tài)Si中集群化的再現(xiàn)對(duì)象內(nèi)容的視頻片段的數(shù)目由K表示時(shí)，max{LEN(k)}表示LEN(I), LEN(2), , LEN(K)中的最大值，換言之就是狀態(tài)Si中集群化的再現(xiàn)對(duì)象內(nèi)容的視頻片段的幀的最大數(shù)目。當(dāng)確定了每個(gè)狀態(tài)Si的重要度DoI (i)時(shí)，地圖描繪單元64確定所有狀態(tài)S1, S2，…，sN 的重要度=(DoI (I), DoI (2), , DoI (N)的平均值 DoIav = (DoI (I)，DoI (2)，…,DoI (N))/No此外，利用重要度的平均值DoIav，地圖描繪單元64將重要度DoI設(shè)定為參數(shù)并且確定系數(shù)函數(shù)a =f (DoI)，其是確定大小系數(shù)α的系數(shù)，大小系數(shù)α是用于確定片段代表圖像的大小的系數(shù)。這里，例如，如圖11中所示,在作為參數(shù)的重要度DoI為從O到重要度的平均值DoIaJ^范圍中，系數(shù)函數(shù)a = f (DoI)與作為參數(shù)的重要度DoI成比例地增大，并且在作為參數(shù)的重要度DoI為O時(shí)變成α = 0，并且在作為參數(shù)的重要度DoI是DoIav時(shí)變成α =1.O的函數(shù)，另外，在作為參數(shù)的重要度DoI超過(guò)重要度的平均值DoIav的范圍中，其是變成α = 1.0的固定值的函數(shù)。當(dāng)利用重要度的平均值DoIav確定系數(shù)函數(shù)a = f (DoI)時(shí)，地圖描繪單元64對(duì)于每個(gè)狀態(tài)Si確定大小系數(shù)a = f(DoI(i))，并且將大小系數(shù)a = f (DoI (i))乘以作為預(yù)先設(shè)定的片段代表圖像的大小的標(biāo)準(zhǔn)大小，由此確定片段地圖中布置的片段代表圖像的大小，并且以此大小將(被選擇為集群代表圖像的)片段代表圖像布置在片段地圖上。如上所述，通過(guò)以與狀態(tài)的重要度相對(duì)應(yīng)的大小將片段代表圖像布置在片段地圖上，在片段地圖中，如圖10中所示，在重要度高的狀態(tài)中集群化的片段代表圖像越多，要顯示的大小就越大。從而，通過(guò)查看片段地圖，用戶可以迅速地識(shí)別重要度高的狀態(tài)中集群化的視頻片段和再現(xiàn)對(duì)象內(nèi)容中的重要場(chǎng)景。圖12是示出片段地圖生成單元14(圖3)在圖2的步驟S12中執(zhí)行的片段地圖生成處理的流程圖。在步驟S21中，集群化單元21(圖3)對(duì)再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀進(jìn)行集群化并且處理進(jìn)行到步驟S22。換言之，在集群化單元21中，集群判定單元33 (圖4)提取再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀的特征量。此外，集群判定單元33從集群化模型存儲(chǔ)單元32(圖4)中存儲(chǔ)的作為集群化模型的HMM之中選擇與再現(xiàn)對(duì)象內(nèi)容相同類別的HMM作為關(guān)注模型。這里，在作為關(guān)注模型的HMM中，集群判定單元33估計(jì)觀測(cè)到特征量的時(shí)間序列的最大似然狀態(tài)系列并將此最大似然狀態(tài)系列(作為HMM構(gòu)成的狀態(tài)的索引的狀態(tài)ID的系列)作為表示再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀的集群化結(jié)果的集群信息提供給片段劃分單元22。在步驟S22中，基于來(lái)自集群化單元21 (的集群判定單元33)的集群信息，片段劃分單元22(圖3)將屬于每個(gè)集群的幀劃分成作為一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合的視頻片段。這里，對(duì)于再現(xiàn)對(duì)象內(nèi)容的每個(gè)視頻片段，片段劃分單元22將表示該視頻片段的片段信息提供給片段代表圖像生成單元23，并且處理從步驟S22進(jìn)行到步驟S23。在步驟S23中，對(duì)于再現(xiàn)對(duì)象內(nèi)容的每個(gè)視頻片段，片段代表圖像生成單元23 (圖3)利用基于來(lái)自片段劃分單元22的片段信息識(shí)別出的構(gòu)成視頻片段的幀來(lái)生成代表該視頻片段的片段代表圖像。這里，片段代表圖像生成單元23將每個(gè)視頻片段的片段代表圖像提供給地圖生成單元24，并且處理從步驟S23進(jìn)行到步驟S24。在步驟S24中，地圖生成單元24(圖3)使用來(lái)自片段代表圖像生成單元23的片段代表圖像，生成片段地圖，并將其提供給顯示控制單元16，從而結(jié)束片段地圖生成處理。換言之，在地圖生成單元24中， 狀態(tài)間隔距離計(jì)算單元62 (圖7)基于狀態(tài)轉(zhuǎn)變概率au確定從作為關(guān)注模型的HMM的一個(gè)狀態(tài)Si到另一狀態(tài)S」的狀態(tài)間隔距離du*，計(jì)算作為其中狀態(tài)間隔距離Clij*被設(shè)定為成分的N行N列的矩陣的狀態(tài)間隔距離矩陣，并將其提供給坐標(biāo)計(jì)算單元63。坐標(biāo)計(jì)算單元63 (圖7)在遵循諸如Sammon地圖之類的多維尺度法的同時(shí)使用來(lái)自狀態(tài)間隔距離計(jì)算單元62的狀態(tài)間隔距離矩陣，確定使得例如上述式(I)的誤差函數(shù)E最小化的作為關(guān)注模型的HMM的每個(gè)狀態(tài)Si在模型地圖上的坐標(biāo)Yi = (xi； Yi)，并將其提供給地圖描繪單元64。地圖描繪單元64(圖7)在來(lái)自坐標(biāo)計(jì)算單元63的坐標(biāo)Yi處布置相應(yīng)的狀態(tài)Si (的圖像)，并且根據(jù)狀態(tài)之間的狀態(tài)轉(zhuǎn)變概率描繪鏈接這些狀態(tài)之間的線段，由此作為關(guān)注模型的HMM被轉(zhuǎn)換成二維模型地圖(圖形)。此外，在地圖生成單元24中，對(duì)于(與作為關(guān)注模型的HMM的每個(gè)狀態(tài)相對(duì)應(yīng)的)每個(gè)集群，集群代表圖像選擇單元61 (圖7)從屬于該集群的視頻片段的片段代表圖像中選擇代表該集群的集群代表圖像。這里，集群代表圖像選擇單元61將屬于每個(gè)集群的片段代表圖像與表示被選擇為集群代表圖像的片段代表圖像的標(biāo)志一`起提供給地圖描繪單元64。對(duì)于模型地圖(片段地圖)的每個(gè)狀態(tài)，地圖描繪單元64(圖7)從來(lái)自集群代表圖像選擇單元61的片段代表圖像中提取屬于與這些狀態(tài)相對(duì)應(yīng)的集群的片段代表圖像，并且創(chuàng)建與片段代表圖像所屬的(集群所對(duì)應(yīng)的)狀態(tài)的關(guān)聯(lián)。此外，地圖描繪單元64例如如圖11中所述確定模型地圖的每個(gè)狀態(tài)的重要度DoI ο這里，在模型地圖上的狀態(tài)Si的位置處，地圖描繪單元64對(duì)于模型地圖上的每個(gè)狀態(tài)Si，描繪從與狀態(tài)Si相關(guān)聯(lián)的片段代表圖像中選擇為與狀態(tài)Si相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像，由此生成片段地圖。這里，當(dāng)描繪被選擇為與狀態(tài)Si相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像時(shí)，地圖描繪單元64以與狀態(tài)Si的重要度DoI (i)相對(duì)應(yīng)的大小描繪片段代表圖像。通過(guò)上述片段地圖生成處理獲得的片段地圖被從片段地圖生成單元14提供給顯示控制單元16(圖1)。然后，在顯示控制單元16中，片段地圖被顯示在顯示單元17上。在片段被顯示在顯示單元17上之后，在顯示控制單元16中，如圖2的步驟S14中所述，根據(jù)用戶的操作(由操作事件處理單元12(圖1)生成的操作事件)執(zhí)行片段地圖的顯示控制。[利用顯示控制單元16對(duì)片段地圖等等的顯示控制]作為在顯示控制單元16執(zhí)行片段地圖的顯示的顯示控制時(shí)的顯示模式(在片段地圖顯示時(shí)顯示控制單元16的內(nèi)部狀態(tài))，有層O模式、層I模式和層2模式這三種模式。當(dāng)片段地圖被從片段地圖生成單元14提供來(lái)時(shí)，顯示控制單元16將顯示模式設(shè)定到層O模式，并且在顯示單元17上顯示片段地圖(允許片段地圖的顯示)。在層O模式中，在顯示單元17中，例如如圖10中所示顯示片段地圖。圖13是示出在層O模式中當(dāng)用戶指示顯示單元17的顯示畫面上的位置時(shí)片段地圖的顯示示例的示圖。這里，下面，為了促進(jìn)對(duì)描述的理解，例如，采用鼠標(biāo)作為供用戶執(zhí)行操作的操作設(shè)備，并且在操作事件處理單元12 (圖1)中，設(shè)定生成諸如鼠標(biāo)的(單次)點(diǎn)擊、雙次點(diǎn)擊或(鼠標(biāo))光標(biāo)的移動(dòng)之類的操作事件。此外，操作事件可被設(shè)定為包括光標(biāo)的位置的信息。
這里，作為供用戶執(zhí)行操作的操作設(shè)備，除了可以采用鼠標(biāo)以外，還可以采用鼠標(biāo)面板或者另外的指點(diǎn)設(shè)備。在采用觸摸面板作為操作設(shè)備的情況下，例如可以使得對(duì)觸摸面板的叩擊和雙次叩擊分別對(duì)應(yīng)于對(duì)鼠標(biāo)的點(diǎn)擊和雙次點(diǎn)擊。此外，例如能夠使得利用鼠標(biāo)對(duì)光標(biāo)的移動(dòng)對(duì)應(yīng)于在手指等等與觸摸面板接觸的狀態(tài)中手指的移動(dòng)。此外，在觸摸面板可以檢測(cè)手指等等的接近的情況下，能夠使得利用鼠標(biāo)對(duì)光標(biāo)的移動(dòng)例如對(duì)應(yīng)于接近觸摸面板的手指的移動(dòng)。在層O模式中，顯示 控制單元16將根據(jù)鼠標(biāo)的操作移動(dòng)的光標(biāo)的位置設(shè)定到用戶指示的指示位置，將片段地圖上最接近指示位置的狀態(tài)設(shè)定為要關(guān)注的關(guān)注狀態(tài)，并且在顯示單元17上以與片段地圖疊加的形式顯示磚塊圖像，磚塊圖像是與關(guān)注狀態(tài)(對(duì)應(yīng)于關(guān)注狀態(tài)的集群)相關(guān)聯(lián)的片段代表圖像的列表的圖像。圖13是示出其上疊加了磚塊圖像的片段地圖的顯示示例的示圖。在層O模式中，顯示控制單元16將片段地圖上與用戶的指示位置最接近的狀態(tài)設(shè)定為要關(guān)注的關(guān)注狀態(tài)，并且在關(guān)注狀態(tài)的位置與指示位置之間的距離為閾值以下的情況下，生成作為與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的列表的圖像的磚塊圖像，并將其疊加顯示在片段地圖上。這里，在磚塊圖像中，與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像例如被布置為在從左到右且從上到下的方向上按時(shí)間順序以磚塊形式(格子狀)排列。圖14是示出當(dāng)如上所述顯示磚塊圖像時(shí)顯示控制單元16的顯示控制處理的流程圖。圖14的處理例如開始于諸如光標(biāo)移動(dòng)時(shí)之類的不定期定時(shí)，或者開始于周期性定時(shí)。在步驟S41中，顯示控制單元16從片段地圖的狀態(tài)之中選擇最接近作為用戶的指示位置的光標(biāo)位置的狀態(tài)作為關(guān)注狀態(tài)，并且處理進(jìn)行到步驟S42。在步驟S42中，顯示控制單元16判定從作為用戶的指示位置的光標(biāo)位置到關(guān)注狀態(tài)的位置的距離(以下稱為光標(biāo)間隔距離)是否為閾值以下。在步驟S42中，在判定光標(biāo)間隔距離不在閾值以下的情況下，也就是說(shuō)，在例如光標(biāo)處于顯示單元17的顯示畫面的端部等處、與片段地圖的任何狀態(tài)遠(yuǎn)離的位置的情況下，顯示控制單元16跳過(guò)步驟S43和S44，并且處理結(jié)束。此外，在光標(biāo)間隔距離不在閾值以下的情況下，當(dāng)磚塊圖像正被顯示在顯示單元17上時(shí),顯示控制單元16擦除該磚塊圖像。另一方面，在步驟S42中，在判定光標(biāo)間隔距離為閾值以下的情況下，處理進(jìn)行到步驟S43，顯示控制單元16生成作為其中按時(shí)間順序排列與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的列表的圖像的磚塊圖像，并且處理進(jìn)行到步驟S44。這里，顯示控制單元43根據(jù)與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的數(shù)目來(lái)設(shè)定顯示磚塊圖像的顯示區(qū)域的大小。也就是說(shuō)，關(guān)于顯示磚塊圖像的顯示區(qū)域的大小，顯示控制單元43設(shè)定顯示磚塊圖像的顯示區(qū)域的大小，以使得在從預(yù)先確定的最小大小到最大大小的范圍內(nèi)，大小隨著與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的數(shù)目增大而增大。以下，根據(jù)與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的數(shù)目設(shè)定的顯示區(qū)域的大小也被稱為設(shè)定大小。顯示控制單元43在磚塊圖像中水平方向上和垂直方向上分別布置的片段代表圖像的數(shù)目和磚塊圖像中布置的片段代表圖像的大小，以使得可以將與關(guān)注狀態(tài)相關(guān)聯(lián)的所有片段代表圖像布置在設(shè)定大小的顯示區(qū)域中顯示的磚塊圖像內(nèi)。這里，預(yù)先確定在最大顯示區(qū)域中顯示的磚塊圖像內(nèi)能夠布置的片段代表圖像的數(shù)目的最大值NUMmax (以及片段代表圖像的大小的最小值)，并且在與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的數(shù)目超過(guò)最大值NUlax的情況下，將磚塊圖像中布置的片段代表圖像的數(shù)目限于最大值NUMmax。也就是說(shuō)，在與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像之中例如，數(shù)目等于最大值NUMniax的片段代表圖像被按時(shí)間順序布置在磚塊圖像中。在步驟S44中，顯示控制單元14以疊加在片段地圖的關(guān)注狀態(tài)附近的形式顯示其中排列了與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的磚塊圖像，并且結(jié)束處理。此外，在光標(biāo)間隔距離為閾值以下的情況下，當(dāng)關(guān)注狀態(tài)的磚塊圖像(其中排列了與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的磚塊圖像)已經(jīng)被顯示在顯示單元17上時(shí)，顯示控制單元16跳過(guò)步驟S43和S44，并且將已經(jīng)在顯示的磚塊圖像的顯示維持原樣。此外，在光標(biāo)間隔距離為閾值以下的情況下，當(dāng)除關(guān)注狀態(tài)以外的狀態(tài)的磚塊圖像被顯示在顯示單元17 上時(shí)，顯示控制單元16擦除該磚塊圖像。如上所述，在層O模式中，由于顯示了作為與片段地圖上最接近用戶的指示位置的狀態(tài)(關(guān)注狀態(tài))相關(guān)聯(lián)的片段代表圖像的列表的圖像的磚塊圖像，所以用戶只要通過(guò)將光標(biāo)移動(dòng)到接近期望狀態(tài)的位置就可以確認(rèn)與期望狀態(tài)相關(guān)聯(lián)的片段代表圖像的列表并且還可以掌握在期望狀態(tài)(與期望狀態(tài)相對(duì)應(yīng)的集群)處集群化的場(chǎng)景。這里，在上述情況下，設(shè)定顯示作為與片段地圖上最接近用戶的指示位置的狀態(tài)(關(guān)注狀態(tài))相關(guān)聯(lián)的片段代表圖像的列表的圖像的磚塊圖像；然而，取代顯示磚塊圖像，可以執(zhí)行在關(guān)注狀態(tài)的位置處顯示的(被選擇為集群代表圖像的)片段代表圖像的突出顯
/Jn ο作為執(zhí)行片段代表圖像的突出顯示的方法，例如，可以采用增大片段代表圖像的大小的方法或者顯示圍繞在片段代表圖像周圍的紅框的方法。此外，能夠根據(jù)用戶的操作來(lái)設(shè)定執(zhí)行磚塊圖像的顯示和在關(guān)注狀態(tài)的位置處顯示的片段代表圖像的突出顯示中的哪一個(gè)。下面，設(shè)定執(zhí)行磚塊圖像的顯示。在層O模式中，當(dāng)顯示磚塊圖像時(shí)，如果用戶例如執(zhí)行作為預(yù)先確定的預(yù)定操作的鼠標(biāo)的(單次)點(diǎn)擊，則顯示控制單元16將顯示模式從層O模式轉(zhuǎn)移(改變)(設(shè)定)到層I模式。在層I模式中，顯示控制單元16固定(鎖定)磚塊圖像的顯示。換言之，在層O模式中，當(dāng)用戶使得光標(biāo)移動(dòng)時(shí)，由于按時(shí)間順序布置與最接近移動(dòng)后的光標(biāo)的狀態(tài)相關(guān)聯(lián)的片段代表圖像的磚塊圖像被顯示，所以最接近光標(biāo)的狀態(tài)由于光標(biāo)的移動(dòng)而改變，并且磚塊圖像也改變。在這種顯示磚塊圖像的層O模式中，如果在顯示磚塊圖像時(shí)執(zhí)行點(diǎn)擊，則顯示控制單元16將顯示模式從層O模式轉(zhuǎn)移到層I模式，并且固定磚塊圖像的顯示，以使得當(dāng)時(shí)顯示的磚塊圖像的顯示被維持。
這里，在層I模式中，固定顯示的磚塊圖像也被稱為固定磚塊圖像。圖15是示出固定磚塊圖像的顯示示例的示圖。固定磚塊圖像是包括就在層O模式中執(zhí)行點(diǎn)擊之前顯示的磚塊圖像(也就是布置了與關(guān)注狀態(tài)(其是與在層O模式中執(zhí)行點(diǎn)擊時(shí)光標(biāo)的位置最接近的位置的狀態(tài))相關(guān)聯(lián)的狀態(tài)片段代表圖像的磚塊圖像)的圖像，并且在層I模式中，在固定磚塊圖像被顯示之后，即使光標(biāo)被移動(dòng)(即使用戶的指示位置被改變)，固定磚塊圖像的顯示也維持原樣。圖16是示出固定磚塊圖像的細(xì)節(jié)的示圖。在固定磚塊圖像中，就在層O模式中執(zhí)行點(diǎn)擊之前顯示的磚塊圖像被布置在下部，并且頁(yè)頭部分被布置在其上部。書簽按鈕、保存按鈕、時(shí)鐘標(biāo)記和時(shí)間線條被布置在頁(yè)頭部分中。當(dāng)臨時(shí)登記關(guān)注狀態(tài)，也就是與布置在固定磚塊圖像的下部的磚塊圖像中布置的片段代表圖像相關(guān)聯(lián)的狀態(tài)，作為集群化了用戶的收藏場(chǎng)景的收藏狀態(tài)時(shí)，操作(例如點(diǎn)擊)書簽按鈕。當(dāng)操作書簽按鈕時(shí)，關(guān)注狀態(tài)被臨時(shí)登記為收藏狀態(tài)，并且當(dāng)書簽按鈕再次被按壓時(shí)，對(duì)關(guān)注狀態(tài)的臨時(shí)登記被取消。當(dāng)執(zhí)行收藏狀態(tài)的臨時(shí)登記的實(shí)際登記時(shí)操作保存按鈕。當(dāng)操作保存按鈕時(shí)，如果關(guān)注狀態(tài)被臨時(shí)登記為收藏狀態(tài)，則關(guān)注狀態(tài)被實(shí)際登記為收藏狀態(tài)。另外，例如，在關(guān)注狀態(tài)已經(jīng)被實(shí)際登記為收藏狀態(tài)的情況下，當(dāng)保存按鈕被操作時(shí)，關(guān)注狀態(tài)的實(shí)際登 記被取消。這里，如上所述，由于當(dāng)保存按鈕被操作時(shí)，如果關(guān)注狀態(tài)被臨時(shí)登記為收藏狀態(tài)，則關(guān)注狀態(tài)被實(shí)際登記為收藏狀態(tài)，所以在關(guān)注狀態(tài)被臨時(shí)登記為收藏狀態(tài)的情況下對(duì)保存按鈕的操作是請(qǐng)求對(duì)關(guān)注狀態(tài)的實(shí)際登記的操作并且在下文中將被稱為收藏操作。在根據(jù)收藏操作執(zhí)行的實(shí)際登記中，在操作事件處理單元12 (圖1)中，與標(biāo)識(shí)用戶的用戶ID進(jìn)行關(guān)聯(lián)，并且標(biāo)識(shí)作為在作為再現(xiàn)對(duì)象內(nèi)容的片段地圖的基礎(chǔ)的模型地圖的生成中使用的關(guān)注模型的HMM的模型ID和標(biāo)識(shí)要被實(shí)際登記為收藏狀態(tài)的狀態(tài)(集群)的狀態(tài)ID作為收藏信息被存儲(chǔ)在收藏信息存儲(chǔ)單元13中。此外，設(shè)定用戶ID在用戶使用圖1的圖像處理裝置時(shí)由用戶輸入。此外，在集群化模型學(xué)習(xí)單元31中，在學(xué)習(xí)后，設(shè)定將用于標(biāo)識(shí)HMM的模型ID指派給作為集群化模型的HMM。時(shí)鐘標(biāo)記例如是一圖標(biāo)，在該圖標(biāo)中從再現(xiàn)對(duì)象內(nèi)容的開頭到末尾的再現(xiàn)時(shí)間被指派給時(shí)鐘的指針的一周的時(shí)段(從O分鐘到60分鐘的一個(gè)小時(shí))，并且該圖標(biāo)顯示表示在磚塊圖像中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中要關(guān)注的關(guān)注代表圖像所對(duì)應(yīng)的視頻片段在再現(xiàn)對(duì)象內(nèi)容中的再現(xiàn)定時(shí)的時(shí)刻。在圖16中，由于沒有關(guān)注代表圖像(沒有進(jìn)行選擇)，所以時(shí)鐘標(biāo)記顯示表示再現(xiàn)對(duì)象內(nèi)容的開頭的定時(shí)的零分鐘。時(shí)間線條是一水平條，該水平條將從再現(xiàn)對(duì)象內(nèi)容的開頭到末尾的再現(xiàn)時(shí)間指派給從時(shí)間線條的左端到右端并且表示與在磚塊圖像中布置的片段代表圖像分別對(duì)應(yīng)的視頻片段在再現(xiàn)對(duì)象內(nèi)容中的再現(xiàn)定時(shí)相當(dāng)?shù)臅r(shí)刻(位置)。在圖16的時(shí)間線條中，以斜線標(biāo)記的部分表示與在磚塊圖像中布置的片段代表圖像分別對(duì)應(yīng)的視頻片段在再現(xiàn)對(duì)象內(nèi)容中的再現(xiàn)定時(shí)相當(dāng)?shù)臅r(shí)刻。在層I模式中，顯示控制單元16將隨著鼠標(biāo)的操作移動(dòng)的光標(biāo)的位置設(shè)定為用戶指示的指示位置，將固定磚塊圖像(的磚塊圖像)中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中最接近指示位置(光標(biāo)的位置)的片段代表圖像設(shè)定為要關(guān)注的關(guān)注代表圖像，并且突出顯示這些關(guān)注代表圖像。圖17是示出關(guān)注代表圖像的突出顯示的顯示示例的示圖。在層I模式中，顯示控制單元16從固定磚塊圖像中布置的片段代表圖像之中選擇最接近用戶的指示位置的片段代表圖像作為關(guān)注代表圖像，并且將這些關(guān)注代表圖像與固定磚塊圖像分開突出顯示。在關(guān)注代表圖像的突出顯示中，例如，可以按固定磚塊圖像中布置的大小的兩倍大小之類的較大的大小來(lái)顯示關(guān)注代表圖像，或者可以顯示由紅框圍繞的關(guān)注代表圖像。在圖17中，通過(guò)按比固定磚塊圖像中布置的大小更大的大小執(zhí)行顯示來(lái)執(zhí)行突出顯示。此外，在層I模式中，顯示控制單元16例如僅在用戶的指示位置在固定磚塊圖像上的情況下才選擇最接近指示位置的片段代表圖像作為關(guān)注代表圖像。從而，在用戶的指示位置(光標(biāo))不在固定磚塊圖像上的情況下，固定磚塊圖像中的片段代表圖像不被選擇為關(guān)注代表圖像。此外，在圖17中，固定磚塊圖像中布置的片段代表圖像之中的最接近用戶的指示位置的片段代表圖像被選擇為關(guān)注代表圖像，從而時(shí)鐘標(biāo)記顯示表示與關(guān)注代表圖像相對(duì)應(yīng)的視頻片段在再現(xiàn)對(duì)象內(nèi)容中的再現(xiàn)定時(shí)的時(shí)刻。

此外，在圖17中，為了使得用戶能夠識(shí)別與關(guān)注代表圖像相對(duì)應(yīng)的視頻片段在再現(xiàn)對(duì)象內(nèi)容中的再現(xiàn)定時(shí)，在時(shí)間線條中，與與關(guān)注代表圖像相對(duì)應(yīng)的視頻片段在再現(xiàn)對(duì)象內(nèi)容中的再現(xiàn)定時(shí)相當(dāng)?shù)牟糠?黑色部分)被顯示為與其他部分不同。在層I模式中，當(dāng)選擇關(guān)注代表圖像時(shí)，如果用戶例如作為預(yù)先確定的預(yù)定操作執(zhí)行鼠標(biāo)的(單次)點(diǎn)擊，則顯示控制單元16使顯示模式從層I模式轉(zhuǎn)移到層2模式。在層2模式中，顯示控制單元16取代固定磚塊圖像或疊加在固定磚塊圖像上顯示時(shí)間線圖像。換言之，在層I模式中，當(dāng)用戶在固定磚塊圖像上移動(dòng)光標(biāo)時(shí)，最接近移動(dòng)后的光標(biāo)的片段代表圖像被選擇為關(guān)注代表圖像并且關(guān)注圖像被突出顯示；然而，如果在關(guān)注代表圖像被選擇時(shí)執(zhí)行點(diǎn)擊，則顯示控制單元16使顯示模式從層I模式轉(zhuǎn)移到層2模式，生成時(shí)間線圖像并將其顯示在顯示單元17上，其中在時(shí)間線圖像中，以關(guān)注圖像為中心按時(shí)間順序布置了關(guān)注代表圖像和在固定磚塊圖像中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中在關(guān)注代表圖像之前和之后連續(xù)的預(yù)定數(shù)目片段代表圖像。圖18是示出時(shí)間線圖像的顯示示例的示圖。在層I模式中，如果當(dāng)固定磚塊圖像中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中的任何一個(gè)片段代表圖像被選擇為關(guān)注代表圖像時(shí)，顯示控制單元16使顯示模式從層I模式轉(zhuǎn)移到層2模式，并且從固定磚塊圖像中布置的片段代表圖像之中選擇關(guān)注代表圖像和在關(guān)注代表圖像之前和之后連續(xù)的預(yù)定數(shù)目的片段代表圖像作為構(gòu)成時(shí)間線圖像的構(gòu)成圖像。
這里，顯示控制單元16生成例如從左到右按時(shí)間順序排列布置了構(gòu)成圖像的時(shí)間線圖像，并將其顯示在顯示單元17上。在圖18中，關(guān)注代表圖像、在關(guān)注代表圖像之前時(shí)間上連續(xù)的三個(gè)片段代表圖像(時(shí)間上往回)和在關(guān)注代表圖像之后時(shí)間上連續(xù)的三個(gè)片段代表圖像(時(shí)間上往前)這總共7個(gè)片段代表圖像被選擇為構(gòu)成圖像。這里，時(shí)間線圖像是通過(guò)將7個(gè)構(gòu)成圖像布置為按時(shí)間順序從左到右排列來(lái)構(gòu)成的。如上所述，在時(shí)間線圖像中，由于作為構(gòu)成圖像按時(shí)間順序布置了固定磚塊圖像中布置的片段代表圖像之中的關(guān)注代表圖像和分別在關(guān)注代表圖像之前和之后連續(xù)的3個(gè)片段代表圖像這總共7個(gè)片段代表圖像，所以關(guān)注代表圖像被布置在時(shí)間線圖像的中央部分。在時(shí)間線圖像中，可以按相同大小布置作為構(gòu)成圖像的全部7個(gè)片段代表圖像，并且可以執(zhí)行布置，以使得對(duì)于與布置在中央部分中的關(guān)注代表圖像遠(yuǎn)離的位置的構(gòu)成圖像，大小較小。 在圖18的時(shí)間線圖像中，執(zhí)行布置以使得對(duì)于與布置在中央部分中的關(guān)注代表圖像遠(yuǎn)離的位置的構(gòu)成圖像，大小較小。此外，在時(shí)間線圖像中，如圖18中所示，在其上部中，可以按與固定磚塊圖像(圖16)的頁(yè)頭部分中布置的相同的方式布置時(shí)鐘標(biāo)記和時(shí)間線條。這里，在圖18中，從固定磚塊圖像中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中，采用以關(guān)注代表圖像為中心按時(shí)間順序的7個(gè)片段代表圖像作為時(shí)間線圖像的構(gòu)成圖像；然而，時(shí)間線圖像的構(gòu)成圖像不限于7個(gè)。圖19是示出當(dāng)顯示時(shí)間線圖像時(shí)顯示控制單元16的顯示控制處理的流程圖。在層I模式中，如果當(dāng)固定磚塊圖像中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中的任何一個(gè)片段代表圖像被選擇為關(guān)注代表圖像時(shí)作為預(yù)定操作執(zhí)行點(diǎn)擊，則顯示模式從層I模式轉(zhuǎn)移到層2模式，并且圖19的處理開始。在步驟S51中，顯示控制單元16從固定磚塊圖像中布置的片段代表圖像(與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中選擇關(guān)注代表圖像和在關(guān)注代表圖像之前和之后連續(xù)的預(yù)定數(shù)目的片段代表圖像(排列在過(guò)去側(cè)的預(yù)定數(shù)目的片段代表圖像和排列在未來(lái)側(cè)的預(yù)定數(shù)目的片段代表圖像)作為構(gòu)成時(shí)間線圖像的構(gòu)成圖像，并且處理進(jìn)行到步驟S52。在步驟S52中，顯示控制單元16生成從左到右按時(shí)間順序排列布置了構(gòu)成圖像的時(shí)間線圖像，并且處理進(jìn)行到步驟S53。這里，從左到右按時(shí)間順序排列布置了構(gòu)成圖像的時(shí)間線圖像成為這樣的圖像其中，在構(gòu)成圖像中，將關(guān)注代表圖像設(shè)定為中心，作為相對(duì)于關(guān)注代表圖像(的視頻片段)的過(guò)去側(cè)的構(gòu)成圖像的片段代表圖像被布置在時(shí)間序列中的左側(cè)，并且作為相對(duì)于關(guān)注代表圖像的未來(lái)側(cè)的構(gòu)成圖像的片段代表圖像被布置在時(shí)間序列中的右側(cè)。此外，當(dāng)布置構(gòu)成圖像時(shí)，顯示控制單元16執(zhí)行布置以使得對(duì)于與布置在中央部分中的關(guān)注代表圖像遠(yuǎn)離的位置的構(gòu)成圖像，大小較小。在步驟S53中，顯示控制單元16將時(shí)間線圖像顯示在片段地圖的關(guān)注狀態(tài)附近，并且結(jié)束處理。
如上所述，在層2模式中，如圖18中所示顯示時(shí)間線圖像。這里，關(guān)于時(shí)間線圖像，除了從固定磚塊圖像中布置的片段代表圖像(也就是與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)之中選擇關(guān)注代表圖像和在關(guān)注代表圖像之前和之后連續(xù)的預(yù)定數(shù)目的片段代表圖像作為構(gòu)成圖像以外，例如還可以從構(gòu)成再現(xiàn)對(duì)象內(nèi)容的視頻片段的所有片段代表圖像之中選擇關(guān)注代表圖像和在與關(guān)注代表圖像相對(duì)應(yīng)的視頻片段之前和之后連續(xù)的視頻片段的預(yù)定數(shù)目的相應(yīng)片段代表圖像(不限于與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像)作為構(gòu)成圖像。以下，設(shè)定從與關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像之中選擇時(shí)間線圖像的構(gòu)成圖像。能夠根據(jù)用戶的操作滾動(dòng)在層2模式中顯示控制單元16顯示的時(shí)間線圖像中布置的作為構(gòu)成圖像的片段代表圖像。圖20是示出時(shí)間線圖像中布置的作為構(gòu)成圖像的片段代表圖像的滾動(dòng)的顯示示例的示圖。在顯示控制單元16中，時(shí)間線圖像的左端側(cè)的一部分的區(qū)域被設(shè)定為指示滾動(dòng)到時(shí)間上往回那側(cè)的過(guò)去滾動(dòng)區(qū)域(未示出)，并且時(shí)間線圖像的右端側(cè)的一部分的區(qū)域被設(shè)定為指示滾動(dòng)到時(shí)間上往前那側(cè)的未來(lái)滾動(dòng)區(qū)域(未示出)。這里，在時(shí)間線圖像中設(shè)定的過(guò)去滾動(dòng)區(qū)域和未來(lái)滾動(dòng)區(qū)域中的一者或兩者在下文中被簡(jiǎn)稱為滾動(dòng)區(qū)域。在作為用戶的指示位置的光標(biāo)的位置在層2模式中在時(shí)間線圖像上設(shè)定的滾動(dòng)區(qū)域內(nèi)的情況下，顯示控制單元16顯示用于將滾動(dòng)的執(zhí)行通知給用戶的滾動(dòng)標(biāo)記并且滾動(dòng)在時(shí)間線圖像中布置的作為構(gòu)成圖像的片段代表圖像。在圖20中，光標(biāo)被定位在時(shí)間線圖像上設(shè)定的左端側(cè)的過(guò)去滾動(dòng)區(qū)域中并且表示執(zhí)行向時(shí)間上往回那側(cè)的滾動(dòng)的滾動(dòng)標(biāo)記被顯示在時(shí)間線圖像的左端。在此情況下，顯示控制單元16將與關(guān)注狀態(tài)相關(guān)聯(lián)的按時(shí)間順序的片段代表圖像之中的與關(guān)注代表圖像相鄰的過(guò)去側(cè)的片段代表圖像設(shè)定為要布置在時(shí)間線圖像的中央部分的中央圖像，并且新選擇包括中央圖像和分別在中央圖像之前和之后連續(xù)的3個(gè)片段代表圖像在內(nèi)的總共7個(gè)片段代表圖像作為構(gòu)成圖像。這里，顯示控制單元16取代時(shí)間線圖像中當(dāng)前顯示的構(gòu)成圖像按時(shí)間順序布置新選擇的構(gòu)成圖像。結(jié)果，構(gòu)成時(shí)間線圖像的構(gòu)成圖像被設(shè)定為與關(guān)注狀態(tài)相關(guān)聯(lián)的按時(shí)間順序的片段代表圖像之中以與關(guān)注代表圖像相鄰的時(shí)間上往回那側(cè)的片段代表圖像設(shè)定為中心的7個(gè)片段代表圖像，并且在時(shí)間上往回那側(cè)，執(zhí)行向時(shí)間上往回那側(cè)滾動(dòng)I個(gè)片段代表圖像。這里，向時(shí)間上往回那側(cè)滾動(dòng)的方向如圖20中的箭頭所示是從左到右的方向(在從左到右的方向上移動(dòng)構(gòu)成時(shí)間線圖像的構(gòu)成圖像)。如上所述，在執(zhí)行滾動(dòng)之后，如果光標(biāo)保持定位在時(shí)間線圖像上設(shè)定的左端側(cè)的過(guò)去滾動(dòng)區(qū)域內(nèi)，則顯示控制單元16維持滾 動(dòng)標(biāo)記的顯示,將與關(guān)注狀態(tài)相關(guān)聯(lián)的按時(shí)間順序的片段代表圖像之中與中央圖像相鄰的時(shí)間上往回那側(cè)的片段代表圖像設(shè)定為新的中央圖像，并且新選擇包括新中央圖像和分別在新中央圖像之前和之后連續(xù)的3個(gè)片段代表圖像在內(nèi)的總共7個(gè)片段代表圖像作為構(gòu)成圖像。
這里，顯示控制單元16取代時(shí)間線圖像中當(dāng)前顯示的構(gòu)成圖像按時(shí)間順序布置新選擇的構(gòu)成圖像。結(jié)果，構(gòu)成時(shí)間線圖像的構(gòu)成圖像被設(shè)定為與關(guān)注狀態(tài)相關(guān)聯(lián)的按時(shí)間順序的片段代表圖像之中以與先前中央圖像相鄰的時(shí)間上往回那側(cè)的片段代表圖像為中心的按時(shí)間順序的7個(gè)片段代表圖像，并且在時(shí)間上往回那側(cè)，執(zhí)行向時(shí)間上往回那側(cè)滾動(dòng)I個(gè)片段代表圖像。以下，只要光標(biāo)被定位在時(shí)間線圖像上設(shè)定的左端側(cè)的過(guò)去滾動(dòng)區(qū)域內(nèi)，就執(zhí)行相同的處理并且繼續(xù)向時(shí)間線圖像的時(shí)間上往回那側(cè)滾動(dòng)。這里，雖然沒有示出，但在光標(biāo)被定位在時(shí)間線圖像上設(shè)定的右端側(cè)的未來(lái)滾動(dòng)區(qū)域內(nèi)的情況下，表示執(zhí)行向時(shí)間上往前那側(cè)的滾動(dòng)的滾動(dòng)標(biāo)記被顯示在時(shí)間線圖像的右端并且時(shí)間線圖像被向時(shí)間上往前那側(cè)滾動(dòng)(滾動(dòng)方向是從右到左方向)。因此，在層2模式中，用戶只要通過(guò)在時(shí)間線圖像上的滾動(dòng)區(qū)域(過(guò)去滾動(dòng)區(qū)域、未來(lái)滾動(dòng)區(qū)域)中移動(dòng)光標(biāo)就能夠滾動(dòng)時(shí)間線圖像，結(jié)果能夠容易地找到期望的視頻片段(的片段代表圖像)。[再現(xiàn)控制單元15對(duì)視頻片段的再現(xiàn)控制]即使當(dāng)顯示模式是層O模式、層I模式、層2模式中的任何一個(gè)時(shí)，當(dāng)例如對(duì)于視頻片段的片段代表圖像執(zhí)行雙次點(diǎn)擊作為請(qǐng)求該視頻片段的再現(xiàn)的再現(xiàn)操作時(shí)，再現(xiàn)控制單元15從內(nèi)容存儲(chǔ)單元11再現(xiàn)與被執(zhí)行了雙次點(diǎn)擊(再現(xiàn)操作)的片段代表圖像相對(duì)應(yīng)的視頻片段。再現(xiàn)控制單元15中再現(xiàn)的視頻片段的圖像被提供給顯示控制單元16并顯示在顯示單元17上。 圖21是示出再現(xiàn)控制單元15中播放的視頻片段的圖像的顯示示例的示圖。在圖21中，打開了顯示片段地圖的地圖窗口和顯示視頻片段的圖像的再現(xiàn)窗口#1、#2 和 #3 ο在圖21中，在層O模式中，首先，在地圖窗口中顯示的再現(xiàn)對(duì)象內(nèi)容的片段地圖中布置的片段代表圖像(被選擇為集群代表圖像的片段代表圖像)#1被雙次點(diǎn)擊，并且在再現(xiàn)控制單元15中，根據(jù)此雙次點(diǎn)擊，與片段代表圖像#1相對(duì)應(yīng)的視頻片段#1的再現(xiàn)開始，并且視頻片段#1的圖像被顯示在再現(xiàn)窗口 #1中。此外，在圖21中，在地圖窗口中顯示的再現(xiàn)對(duì)象內(nèi)容的片段地圖中布置的片段代表圖像#2在與片段代表圖像#1相對(duì)應(yīng)的視頻片段#1的再現(xiàn)期間被雙次點(diǎn)擊，并且在再現(xiàn)控制單元15中，根據(jù)此雙次點(diǎn)擊，與片段代表圖像#2相對(duì)應(yīng)的視頻片段#2的再現(xiàn)開始，并且視頻片段#2的圖像被顯示在再現(xiàn)窗口 #2中。然后，在圖21中，在地圖窗口中顯示的再現(xiàn)對(duì)象內(nèi)容的片段地圖中布置的片段代表圖像#3在分別與片段代表圖像#1和#2相對(duì)應(yīng)的視頻片段#1和#2的再現(xiàn)期間被雙次點(diǎn)擊，并且在再現(xiàn)控制單元15中，根據(jù)此雙次點(diǎn)擊，與片段代表圖像#3相對(duì)應(yīng)的視頻片段#3的再現(xiàn)開始，并且視頻片段#3的圖像被顯示在再現(xiàn)窗口 #3中。如上所述，在再現(xiàn)控制單元15中，當(dāng)對(duì)再現(xiàn)對(duì)象內(nèi)容的片段代表圖像執(zhí)行作為再現(xiàn)操作的雙次點(diǎn)擊時(shí)，執(zhí)行再現(xiàn)與被執(zhí)行了雙次點(diǎn)擊的片段代表圖像相對(duì)應(yīng)的視頻片段的再現(xiàn)控制。
這里，在再現(xiàn)控制單元15中，當(dāng)在再現(xiàn)與被雙次點(diǎn)擊的片段代表圖像相對(duì)應(yīng)的視頻片段時(shí)另一視頻片段的再現(xiàn)正被執(zhí)行時(shí)，已經(jīng)在執(zhí)行的該另一視頻片段的再現(xiàn)被維持原樣，并且與被雙次點(diǎn)擊的片段代表圖像相對(duì)應(yīng)的視頻片段被再現(xiàn)。從而，用戶將能夠同時(shí)觀看作為單個(gè)內(nèi)容項(xiàng)的再現(xiàn)對(duì)象內(nèi)容內(nèi)的感興趣的多個(gè)場(chǎng)景等等的多個(gè)地方。此外，除了打開再現(xiàn)窗口并在該窗口中執(zhí)行顯示以外，正被執(zhí)行再現(xiàn)的視頻片段的圖像(以下也稱為再現(xiàn)視頻片段)能夠在與再現(xiàn)視頻片段的片段代表圖像相關(guān)聯(lián)的狀態(tài)附近按比片段代表圖像的標(biāo)準(zhǔn)大小更大的大小等等被顯示在片段地圖上。是將再現(xiàn)視頻片段的圖像顯示在再現(xiàn)窗口中還是在片段地圖上與再現(xiàn)視頻片段的片段代表圖像相關(guān)聯(lián)的狀態(tài)附近是能夠例如根據(jù)用戶的操作來(lái)設(shè)定的。此外，再現(xiàn)視頻片段的圖像既能夠被顯示在時(shí)間窗口中也能夠被顯示在與再現(xiàn)視頻片段的片段代表圖像相關(guān)聯(lián)的狀態(tài)附近。此外，在再現(xiàn)視頻片段的圖像被顯示在再現(xiàn)窗口中的情況下，可以例如為再現(xiàn)窗口和在與其圖像被顯示在該代表圖像中的再現(xiàn)視頻片段(的片段代表圖像)相關(guān)聯(lián)的狀態(tài)附近顯示的片段代表圖像提供相同的裝飾。在圖18中，對(duì)于再現(xiàn)窗口 #1和在與其圖像被顯示在再現(xiàn)窗口 #1中的視頻片段#1相關(guān)聯(lián)的狀態(tài)附近顯示的片段代表圖像#1，在圍繞圖像的框中提供了左上斜線的圖案作為相同裝飾。此外，在圖18中，對(duì)于再現(xiàn)窗口 #2和在與其圖像被顯示在再現(xiàn)窗口 #2中的視頻片段#2相關(guān)聯(lián)的狀態(tài)附近顯示的片段代表圖像#2，在圍繞圖像的框中提供了右上斜線的圖案作為相同裝飾，并且對(duì)于再 現(xiàn)窗口 #3和在與其圖像被顯示在再現(xiàn)窗口 #3中的視頻片段#3相關(guān)聯(lián)的狀態(tài)附近顯示的片段代表圖像#3，在圍繞圖像的框中提供了水平線的圖案作為相同裝飾。在這種情況下，用戶能夠立即識(shí)別出與圖像被顯示在再現(xiàn)窗口中的視頻片段(的片段代表圖像)相關(guān)聯(lián)的狀態(tài)。此外，在再現(xiàn)視頻片段的圖像被顯示在再現(xiàn)窗口中的情況下，對(duì)于片段代表圖像每次執(zhí)行作為再現(xiàn)操作的雙次點(diǎn)擊時(shí)就打開再現(xiàn)窗口，并且將與被雙次點(diǎn)擊的片段代表圖像相對(duì)應(yīng)的視頻片段的圖像顯示在打開的窗口中。緊接著對(duì)片段代表圖像執(zhí)行雙次點(diǎn)擊并且用于顯示與該片段代表圖像相對(duì)應(yīng)的視頻片段的圖像的再現(xiàn)窗口被打開之后，(僅)該再現(xiàn)窗口變成所謂的活動(dòng)窗口。此外，在多個(gè)再現(xiàn)窗口已經(jīng)打開的情況下，在這多個(gè)再現(xiàn)窗口之中作為最近的活動(dòng)窗口的再現(xiàn)窗口中顯示其圖像的視頻片段的音頻被輸出，并且在其他再現(xiàn)窗口中顯示其圖像的視頻片段的音頻被靜音。這里，在再現(xiàn)控制單元15中，即使當(dāng)顯示模式是層O模式、層I模式和層2模式中的任何一個(gè)時(shí)，當(dāng)對(duì)片段代表圖像執(zhí)行雙次點(diǎn)擊時(shí)，執(zhí)行與該片段代表圖像相對(duì)應(yīng)的視頻片段的再現(xiàn)。此外，除了對(duì)片段地圖上的片段代表圖像以外，在對(duì)層I模式中顯示的固定磚塊圖像中布置的片段代表圖像(圖15)、突出顯示的片段代表圖像(圖17)或者層2模式中顯示的時(shí)間線圖像中布置的片段代表圖像(圖18和圖20)執(zhí)行雙次點(diǎn)擊的情況下，也執(zhí)行視頻片段的再現(xiàn)。從而，無(wú)論顯示模式如何，只要通過(guò)對(duì)片段代表圖像執(zhí)行雙次點(diǎn)擊，也就是統(tǒng)一的操作，用戶就都可以觀看與片段代表圖像相對(duì)應(yīng)的視頻片段。圖22是示出再現(xiàn)窗口的顯示示例的示圖。再現(xiàn)窗口的大部分是顯示視頻片段的圖像的顯示區(qū)域。這里，在顯示區(qū)域的上部，布置了時(shí)鐘標(biāo)記、時(shí)間線條和揚(yáng)聲器圖標(biāo)。時(shí)鐘標(biāo)記和時(shí)間線條與圖16的時(shí)鐘標(biāo)記和時(shí)間線條相同。然而，再現(xiàn)窗口的時(shí)鐘標(biāo)記顯示表示在再現(xiàn)對(duì)象內(nèi)容內(nèi)圖像被顯示在再現(xiàn)窗口上的視頻片段的再現(xiàn)的定時(shí)的時(shí)刻。此外，在再現(xiàn)窗口的時(shí)間線條中，與圖像被顯示在再現(xiàn)窗口中的視頻片段在再現(xiàn)對(duì)象內(nèi)容中的再現(xiàn)定時(shí)相當(dāng)?shù)牟糠?以斜線標(biāo)記的部分)被與其他部分不同地顯示。揚(yáng)聲器圖標(biāo)是示出圖像被顯示在顯示區(qū)域中的視頻片段的音頻的靜音是開還是關(guān)的圖標(biāo)，并且在活動(dòng)再現(xiàn)窗口中顯示揚(yáng)聲器，而在非活動(dòng)再現(xiàn)窗口中顯示帶叉號(hào)的揚(yáng)聲器。圖23是示出在收藏信息被存儲(chǔ)(登記)在收藏信息存儲(chǔ)單元13中的情況下層O模式的片段地圖的顯示示例的示圖。如圖16中所述，在層I模式中，當(dāng)用戶執(zhí)行收藏操作時(shí)，也就是當(dāng)在關(guān)注狀態(tài)被臨時(shí)登記為收藏狀態(tài)的情況下執(zhí)行保存按鈕操作時(shí)，在操作事件處理單元12(圖1)中，進(jìn)行與標(biāo)識(shí)(執(zhí)行了收藏操作的)用戶的用戶ID的關(guān)聯(lián)，并且標(biāo)識(shí)在再現(xiàn)對(duì)象內(nèi)容的片段地圖的基礎(chǔ)的模型地圖的生成中使用的作為關(guān)注模型的HMM的模型ID和標(biāo)識(shí)被實(shí)際登記為收藏狀態(tài)的狀態(tài)的狀態(tài)ID作為收藏信息被存儲(chǔ)(登記)在收藏信息存儲(chǔ)單元13(圖1)中。這里，狀態(tài)ID作為收藏信息被存儲(chǔ)在收藏信息存儲(chǔ)單元13中的狀態(tài)也被稱為登記狀態(tài)。在用戶在使用圖1的圖像處理裝置時(shí)輸入用戶ID并且該用戶ID作為收藏信息(的一部分)被存儲(chǔ)在收藏信息存儲(chǔ)單元13中時(shí)，顯示控制單元16(圖1)從收藏信息存儲(chǔ)單元13中讀出與使用圖像處理裝置的用戶(以下稱為使用用戶)的用戶ID相關(guān)聯(lián)的模型ID和狀態(tài)ID。此外，在再現(xiàn)對(duì)象內(nèi)容的片段地圖的生成中使用的作為關(guān)注模型的HMM是利用與使用用戶的用戶ID相關(guān)聯(lián)的模型ID標(biāo)識(shí)的HMM的情況下，也就是說(shuō)在再現(xiàn)對(duì)象內(nèi)容的片段地圖是利用用與使用用戶的用戶ID相關(guān)聯(lián)的模型ID標(biāo)識(shí)的HMM來(lái)生成的情況下，顯示控制單元16突出顯示片段地圖的與作為利用與使用用戶的用戶ID相關(guān)聯(lián)的狀態(tài)ID標(biāo)識(shí)的狀態(tài)的登記狀態(tài)相關(guān)聯(lián)的(被選擇為集群代表圖像的)片段代表圖像。在圖23中，與片段地圖的登記狀態(tài)相關(guān)聯(lián)的片段代表圖像通過(guò)被框圍繞而被突出顯示。這里，在片段地圖生成單元14中，例如，在每日等等定期廣播的新聞節(jié)目的片段地圖的生成中使用同一HMM。也就是說(shuō)，在定期廣播的新聞節(jié)目的片段地圖的生成中使用的HMM被稱為新聞HMM。這里，使用用戶查看某一日的新聞節(jié)目的片段地圖并且執(zhí)行收藏操作，由此與作為感興趣的場(chǎng)景的視頻片段 的片段代表圖像相關(guān)聯(lián)的狀態(tài)被設(shè)定為登記狀態(tài)，并且登記狀態(tài)的狀態(tài)ID與使用用戶的用戶ID以及新聞HMM的模型ID相關(guān)聯(lián)，被設(shè)定為收藏信息，并且被設(shè)定為存儲(chǔ)在收藏信息存儲(chǔ)單元13(圖1)中。在這種情況下，在隨后的某日，當(dāng)使用用戶選擇該日廣播的最新新聞節(jié)目作為再現(xiàn)對(duì)象內(nèi)容時(shí)，在片段地圖生成單元14中利用新聞HMM生成作為再現(xiàn)對(duì)象內(nèi)容的最新新聞節(jié)目的片段地圖。然后，在顯示控制單元16中，從存儲(chǔ)在收藏信息存儲(chǔ)單元13中的收藏信息識(shí)別新聞HMM的登記狀態(tài)，并且利用新聞HMM生成并與最新新聞節(jié)目的片段地圖的登記狀態(tài)相關(guān)聯(lián)的片段代表圖像被突出顯示。因此，例如，通過(guò)查看過(guò)去廣播的新聞節(jié)目的片段地圖的用戶執(zhí)行收藏操作并且將與作為感興趣的場(chǎng)景的視頻片段的片段代表圖像相關(guān)聯(lián)的狀態(tài)設(shè)定為登記狀態(tài)，在之后廣播的新聞節(jié)目的片段地圖中，由于與登記狀態(tài)相關(guān)聯(lián)的片段代表圖像被突出顯示，所以可以一眼識(shí)別出與作為感興趣的場(chǎng)景的視頻片段(的片段代表圖像)相關(guān)聯(lián)的狀態(tài)(登記狀態(tài))。 此外，在再現(xiàn)控制單元15中，由于只要通過(guò)雙次點(diǎn)擊片段代表圖像就再現(xiàn)與片段代表圖像相對(duì)應(yīng)的視頻片段，所以用戶能夠容易地通過(guò)雙次點(diǎn)擊在之后廣播的新聞節(jié)目的片段地圖中突出顯示的片段代表圖像來(lái)觀看感興趣的場(chǎng)景，也就是對(duì)應(yīng)于與登記狀態(tài)相關(guān)聯(lián)的片段代表圖像的視頻片段。也就是說(shuō)，通過(guò)用戶查看某日廣播的新聞節(jié)目的片段地圖、執(zhí)行收藏操作并且例如預(yù)先將與示出體育欄目的場(chǎng)景的視頻片段的片段代表圖像相關(guān)聯(lián)的(一個(gè)或多個(gè))狀態(tài)設(shè)定為登記狀態(tài)，在之后廣播的新聞節(jié)目的片段地圖(層O模式的片段地圖)中，由于與登記狀態(tài)相關(guān)聯(lián)的片段代表圖像也就是示出體育欄目的場(chǎng)景的視頻片段的片段代表圖像被突出顯示，所以用戶對(duì)于之后廣播的新聞節(jié)目能夠容易地僅觀看體育欄目的場(chǎng)景。圖24是示出通過(guò)對(duì)片段地圖中突出顯示的片段代表圖像進(jìn)行雙次點(diǎn)擊而執(zhí)行的視頻片段的再現(xiàn)的示圖。在圖24中，用戶雙次點(diǎn)擊在層O模式的片段地圖中突出顯示的片段代表圖像，并且根據(jù)該雙次點(diǎn)擊，視頻片段的再現(xiàn)開始，與此同時(shí)，再現(xiàn)窗口被打開，并且再現(xiàn)開始的視頻片段的視頻被顯示在再現(xiàn)窗口中。這里，在片段地圖(的生成中使用的作為集群化模型的HMM)的任何一個(gè)狀態(tài)變成登記狀態(tài)的情況下，再現(xiàn)控制單元15 (圖1)在片段地圖中突出顯示的片段代表圖像(與任何一個(gè)登記狀態(tài)相關(guān)聯(lián)的片段代表圖像)被雙次點(diǎn)擊的情況下，取代只再現(xiàn)與片段代表圖像相對(duì)應(yīng)的視頻片段，還可以按時(shí)間順序再現(xiàn)片段地圖中與所有登記狀態(tài)相關(guān)聯(lián)的所有視頻片段。在這種情況下，例如，通過(guò)使用用戶預(yù)先將與在新聞節(jié)目的體育欄目的場(chǎng)景中示出的視頻片段的片段代表圖像相關(guān)聯(lián)的所有狀態(tài)設(shè)定為登記狀態(tài)，只要通過(guò)雙次點(diǎn)擊與新聞節(jié)目的片段地圖的任何一個(gè)登記狀態(tài)相關(guān)聯(lián)的片段代表圖像(突出顯示的片段代表圖像)，在再現(xiàn)控制單元15中就按時(shí)間順序再現(xiàn)只有示出新聞節(jié)目的體育欄目的場(chǎng)景的視頻片段(對(duì)應(yīng)于與登記狀態(tài)相關(guān)聯(lián)的片段代表圖像的視頻片段)，結(jié)果，執(zhí)行按時(shí)間順序的僅體育欄目的摘要再現(xiàn)，也就是示出體育欄目的場(chǎng)景的視頻片段的提示再現(xiàn)。這里，由于登記狀態(tài)(的狀態(tài)ID)與用戶ID相關(guān)聯(lián)、被設(shè)定為收藏信息并且被存儲(chǔ)在收藏信息存儲(chǔ)單元13(圖1)中，所以能夠?yàn)槊總€(gè)用戶預(yù)先存儲(chǔ)。從而，當(dāng)再現(xiàn)控制單元15在與任何一個(gè)登記狀態(tài)相關(guān)聯(lián)的片段代表圖像被雙次點(diǎn)擊的情況下按時(shí)間順序再現(xiàn)片段地圖中與所有登記狀態(tài)相關(guān)聯(lián)的所有視頻片段時(shí)，每個(gè)用戶可以再現(xiàn)該用戶感興趣的場(chǎng)景并且可以為每個(gè)用戶實(shí)現(xiàn)突出再現(xiàn)(突出再現(xiàn)的個(gè)人化)。這里，在片段地圖的任何一個(gè)狀態(tài)變成登記狀態(tài)的情況下，當(dāng)片段地圖中突出顯示的片段代表圖像(與任何一個(gè)登記狀態(tài)相關(guān)聯(lián)的片段代表圖像)被雙次點(diǎn)擊時(shí)，可以根據(jù)用戶的操作設(shè)定是只再現(xiàn)與片段代表圖像相對(duì)應(yīng)的視頻片段還是按時(shí)間順序再現(xiàn)片段地圖中與所有登記狀態(tài)相關(guān)聯(lián)的所有視頻片段。如上所述，在圖1所示的圖像處理裝置中，由于將視頻的內(nèi)容用作學(xué)習(xí)內(nèi)容，執(zhí)行作為集群化模型的HMM的學(xué)習(xí)，并且將學(xué)習(xí)后的HMM投射到二維平面上，所以生成了用圖表現(xiàn)內(nèi)容的場(chǎng)景結(jié)構(gòu)的模型地圖。同時(shí)，利用學(xué)習(xí)后的HMM來(lái)集群化再現(xiàn)對(duì)象內(nèi)容的每個(gè)幀，并且將屬于每個(gè)集群的幀劃分成作為視頻片段的一個(gè)或多個(gè)連續(xù)幀。這里，生成片段地圖，在該片段地圖中，在模型地圖上的HMM的每個(gè)狀態(tài)的位置處，布置了代表屬于與狀態(tài)相對(duì)應(yīng)的集群的(的幀構(gòu)成的)視頻片段的片段代表圖像。從而，用戶能夠通過(guò)查看片段地圖來(lái)查看再現(xiàn)對(duì)象內(nèi)容。此外，在圖1所示的圖像處理裝置中，當(dāng)布置在片段地圖等等上的片段代表圖像被雙次點(diǎn)擊時(shí)，由于與片段代表圖像相對(duì)應(yīng)的視頻片段(代表該片段代表圖像的視頻片段)被再現(xiàn)，所以用戶能夠容易地利用片段地圖找到期望場(chǎng)景的片段代表圖像并且迅速地訪問(wèn)示出該場(chǎng)景的視頻片段(觀看期望場(chǎng)景)。如上所述，根據(jù) 圖1中的圖像處理裝置，可以實(shí)現(xiàn)具有可以俯瞰再現(xiàn)對(duì)象內(nèi)容并高效地訪問(wèn)期望場(chǎng)景的特征的新瀏覽方法。此外，在圖1所示的圖像處理裝置中，當(dāng)在再現(xiàn)與被雙次點(diǎn)擊的片段代表圖像相對(duì)應(yīng)的視頻片段時(shí)正執(zhí)行另一視頻片段的再現(xiàn)時(shí)，已經(jīng)在執(zhí)行的該另一視頻片段的再現(xiàn)被維持原樣并且與被雙次點(diǎn)擊的片段代表圖像相對(duì)應(yīng)的視頻片段被再現(xiàn)。因此，根據(jù)圖1中的圖像處理裝置，家族等等中的多個(gè)人中的每個(gè)人能夠同時(shí)觀看同一內(nèi)容內(nèi)他們各自感興趣的不同地方，并且還可以提供適合于數(shù)字原生代擅長(zhǎng)的所謂“在觀看的同時(shí)”或“在查看的同時(shí)切換”的內(nèi)容再現(xiàn)設(shè)備。[顯示模式轉(zhuǎn)變和每種顯示模式中執(zhí)行的處理]圖25A和25B是示出顯示模式的轉(zhuǎn)變和在每種顯示模式中執(zhí)行的處理的示圖。當(dāng)從片段地圖生成單元14提供來(lái)再現(xiàn)對(duì)象內(nèi)容的片段地圖時(shí)，在步驟SlOl中，顯示控制單元16將顯示模式設(shè)定到層O模式并且將片段地圖(顯示片段地圖的地圖窗口)顯示在顯示單元17上。此外，在步驟SlOl中的層O模式中，如圖10中所示，只顯示片段地圖，而不顯示磚塊圖像(圖13)。在步驟SlOl的不顯示磚塊圖像的層O模式中，當(dāng)用戶執(zhí)行雙次點(diǎn)擊時(shí)，處理轉(zhuǎn)移到步驟S102，并且如果再現(xiàn)窗口被打開，則顯示控制單元16將所有再現(xiàn)窗口顯示在顯示片段地圖的地圖窗口前方。
另外，當(dāng)在步驟SlOl中從變成不顯示磚塊圖像的層O模式起經(jīng)過(guò)了預(yù)定時(shí)間時(shí)，處理轉(zhuǎn)移到步驟S103，并且顯示控制單元16判定作為用戶指示的指示位置的光標(biāo)位置移動(dòng)到的指示位置與片段地圖上最接近指示位置的狀態(tài)之間的距離(光標(biāo)間隔距離)是否在閾值以內(nèi)。這里，在圖25中，虛線箭頭表示當(dāng)從執(zhí)行(變成)箭頭的起點(diǎn)側(cè)的步驟起經(jīng)過(guò)了預(yù)定時(shí)間時(shí)轉(zhuǎn)移到箭頭的終點(diǎn)側(cè)的步驟。在步驟S103中，在判定光標(biāo)間隔距離不在閾值以內(nèi)的情況下，處理轉(zhuǎn)移到步驟S101。這里，當(dāng)經(jīng)過(guò)了預(yù)定時(shí)間時(shí)，處理從步驟SlOl轉(zhuǎn)移到步驟S103，并且重復(fù)與以下相同的處理。另一方面，在步驟S103中，在判定光標(biāo)間隔距離在閾值以下的情況下，處理進(jìn)行到步驟S104，并且顯示控制單元16生成按時(shí)間順序排列與作為片段地圖上最接近指示位置的狀態(tài)的關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像的磚塊圖像，并且如圖13中所示，以在片段地圖的關(guān)注狀態(tài)附近疊加的形式執(zhí)行顯示。如上所述，在步驟S104中，在層O模式中，顯示磚塊圖像；然而，以這種方式，當(dāng)從變成在步驟S104中顯示磚塊圖像的層O模式起經(jīng)過(guò)了預(yù)定時(shí)間時(shí)，處理轉(zhuǎn)移到步驟S103，并且顯示控制單元16判定光標(biāo)間隔距離(作為用戶指示的指示位置的光標(biāo)位置移動(dòng)到的指示位置與片段地圖上最接近指示位置的狀態(tài)之間的距離)是否在閾值以內(nèi)。在步驟S103中，在判定光標(biāo)間隔距離不在閾值以內(nèi)的情況下，處理轉(zhuǎn)移到步驟S101，擦除磚塊圖像并且模式變成不顯示磚塊圖像的層O模式。另外，在步驟S103中，在判定光標(biāo)間隔距離在閾值以下的情況下，處理進(jìn)行到步驟S104，顯示控制單元16生成按時(shí)間順序排列與作為片段地圖上最接近指示位置的狀態(tài)的關(guān)注狀態(tài)相關(guān)聯(lián)的片段代 表圖像的磚塊圖像，并且如圖13中所示，以在片段地圖的關(guān)注狀態(tài)附近疊加的形式執(zhí)行顯示。此外，當(dāng)在步驟S104中顯示磚塊圖像的層O模式(圖13)中執(zhí)行雙次點(diǎn)擊時(shí)，處理進(jìn)行到步驟S105，并且再現(xiàn)控制單元15執(zhí)行再現(xiàn)視頻片段的視頻片段再現(xiàn)處理。換言之，在步驟S105的視頻片段再現(xiàn)處理中，再現(xiàn)控制單元15再現(xiàn)與在執(zhí)行雙次點(diǎn)擊時(shí)最接近用戶的指示位置(雙次點(diǎn)擊的位置)的片段代表圖像相對(duì)應(yīng)的視頻片段。此外，在最接近指示位置的片段代表圖像是與片段地圖(的生成中使用的HMM)的登記狀態(tài)相關(guān)聯(lián)的片段代表圖像的情況下，也就是說(shuō)在與片段地圖的登記狀態(tài)相關(guān)聯(lián)片段代表圖像被雙次點(diǎn)擊的情況下，再現(xiàn)控制單元15如圖24中所述執(zhí)行按時(shí)間順序再現(xiàn)對(duì)應(yīng)于與片段地圖的所有登記狀態(tài)相關(guān)聯(lián)的所有片段代表圖像的視頻片段的摘要再現(xiàn)。在步驟S104的不顯示磚塊圖像的層O模式(圖13)中，當(dāng)執(zhí)行單次點(diǎn)擊時(shí)，處理進(jìn)行到步驟S106，并且顯示控制單元16使顯示模式從層O模式轉(zhuǎn)移到層I模式，并且如圖15中所示，顯示固定了剛才顯示的磚塊圖像的固定磚塊圖像。此外，在步驟S106的層I模式中，如圖15中所示，不執(zhí)行固定磚塊圖像中布置的片段代表圖像的突出顯示。當(dāng)在步驟S106中的沒有突出顯示的層I模式中用戶執(zhí)行雙次點(diǎn)擊時(shí)，處理進(jìn)行到步驟S107，并且以與步驟S105相同的方式，再現(xiàn)控制單元15執(zhí)行視頻片段再現(xiàn)處理。也就是說(shuō)，再現(xiàn)控制單元15再現(xiàn)與被雙次點(diǎn)擊的片段代表圖像相對(duì)應(yīng)的視頻片段(在與片段地圖的登記狀態(tài)相關(guān)聯(lián)的片段代表圖像被雙次點(diǎn)擊的情況下，執(zhí)行摘要再現(xiàn)以按時(shí)間順序再現(xiàn)對(duì)應(yīng)于與片段地圖的所有登記狀態(tài)相關(guān)聯(lián)的所有片段代表圖像的視頻片段)。當(dāng)從變成步驟S106中的沒有突出顯示的層I模式起經(jīng)過(guò)了預(yù)定時(shí)間時(shí)，處理轉(zhuǎn)移到步驟S108，并且顯示控制單元16判定作為用戶指示的指示位置的光標(biāo)位置移動(dòng)到的指示位置與最接近指示位置的固定磚塊圖像(圖15)中布置的片段代表圖像之間的距離是否在閾值以內(nèi)。在步驟S108中，在判定指示位置與固定磚塊圖像中布置的最接近指示位置的片段代表圖像之間的距離不在閾值以內(nèi)的情況下，處理進(jìn)行到步驟S109，并且顯示控制單元16判定指示位置是否不在固定磚塊圖像上，也就是判定指示位置是否已移動(dòng)到顯示固定磚塊圖像的區(qū)域之外。在步驟S109中，在判定指示位置在固定磚塊圖像(圖15)上的情況下，處理進(jìn)行到步驟S106。這里，當(dāng)經(jīng)過(guò)了預(yù)定時(shí)間時(shí)，處理從步驟S108轉(zhuǎn)移到步驟S106，并且重復(fù)與以下相同的處理。此外，在步驟S109中，在判定指示位置不在固定磚塊圖像(圖15)上的情況下，處理進(jìn)行到步驟S101，并且顯示控制單元16使顯示模式從層I模式轉(zhuǎn)移到層O模式。在步驟SlOl中的層O模式中，如圖10中所示，只顯示片段地圖，而不顯示磚塊圖像。這里，就在轉(zhuǎn)移到步驟SlOl的層O模式之前在層I模式中顯示的固定磚塊圖像(圖15)在從層I模式轉(zhuǎn)移到層O模式時(shí)被擦除。

同時(shí)，在步驟S108中，在判定指示位置與固定磚塊圖像中布置的最接近指示位置的片段代表圖像之間的距離在閾值以內(nèi)的情況下，處理進(jìn)行到步驟S110，并且顯示控制單元16如圖17中所示執(zhí)行作為固定磚塊圖像中布置的最接近指示位置的片段代表圖像的關(guān)注代表圖像的突出顯示。如上所述，在步驟SllO中，在層I模式中，固定磚塊圖像中布置的片段代表圖像之中的最接近指示位置的片段代表圖像作為關(guān)注代表圖像被突出顯示。這里，當(dāng)從這樣變成步驟SllO中的具有突出顯示的層I模式(執(zhí)行突出顯示的層I模式)起經(jīng)過(guò)了預(yù)定時(shí)間時(shí)，處理轉(zhuǎn)移到步驟S108，并且重復(fù)與以下相同的處理。另外，當(dāng)在步驟SllO中的具有突出顯示的層I模式中用戶執(zhí)行雙次點(diǎn)擊時(shí)，處理進(jìn)行到步驟S111，并且以與步驟S105相同的方式，再現(xiàn)控制單元15執(zhí)行視頻片段再現(xiàn)處理。也就是說(shuō)，再現(xiàn)控制單元15再現(xiàn)與被雙次點(diǎn)擊的片段代表圖像相對(duì)應(yīng)的視頻片段(在與片段地圖的登記狀態(tài)相關(guān)聯(lián)的片段代表圖像被雙次點(diǎn)擊的情況下，執(zhí)行摘要再現(xiàn)以按時(shí)間順序再現(xiàn)對(duì)應(yīng)于與片段地圖的所有登記狀態(tài)相關(guān)聯(lián)的所有片段代表圖像的視頻片段)。在步驟SllO的具有突出顯示的層I模式(圖17)中，當(dāng)執(zhí)行單次點(diǎn)擊時(shí)，處理進(jìn)行到步驟S112，并且顯示控制單元16使顯示模式從層I模式轉(zhuǎn)移到層2模式，并且如圖18中所示，顯示時(shí)間線圖像，其中在該時(shí)間線圖像中，以剛才突出顯示的片段代表圖像為中心，按時(shí)間順序布置了多個(gè)片段代表圖像。
當(dāng)在步驟S112中的層2模式中用戶執(zhí)行雙次點(diǎn)擊時(shí)，處理進(jìn)行到步驟S113，并且以與步驟S105相同的方式，再現(xiàn)控制單元15執(zhí)行視頻片段再現(xiàn)處理。也就是說(shuō)，再現(xiàn)控制單元15再現(xiàn)與被雙次點(diǎn)擊的片段代表圖像相對(duì)應(yīng)的視頻片段(在與片段地圖的登記狀態(tài)相關(guān)聯(lián)的片段代表圖像被雙次點(diǎn)擊的情況下，執(zhí)行摘要再現(xiàn)以按時(shí)間順序再現(xiàn)對(duì)應(yīng)于與片段地圖的所有登記狀態(tài)相關(guān)聯(lián)的所有片段代表圖像的視頻片段)。當(dāng)從變成步驟S112中的層2模式(圖18)起經(jīng)過(guò)了預(yù)定時(shí)間時(shí)，處理轉(zhuǎn)移到步驟S114，并且顯示控制單元16判定作為用戶指示的指示位置的光標(biāo)位置移動(dòng)到的指示位置是否位于時(shí)間線圖像中設(shè)定的左端側(cè)的過(guò)去滾動(dòng)區(qū)域內(nèi)。在步驟S114中，在判定指示位置位于過(guò)去滾動(dòng)區(qū)域內(nèi)的情況下，處理進(jìn)行到步驟S115，并且顯示控制單元16如圖20中的箭頭所示滾動(dòng)時(shí)間線圖像以顯示時(shí)間上更往回那側(cè)的片段代表圖像，并且處理進(jìn)行到步驟S112。另外，在步驟S114中，在判定指示位置不位于過(guò)去滾動(dòng)區(qū)域內(nèi)的情況下，處理轉(zhuǎn)移到步驟S116，并且顯示控制 單元16判定指示位置是否移動(dòng)了并且指示位置是否位于時(shí)間線圖像中設(shè)定的右端側(cè)的未來(lái)滾動(dòng)區(qū)域內(nèi)。在步驟S116中，在判定指示位置位于未來(lái)滾動(dòng)區(qū)域內(nèi)的情況下，處理進(jìn)行到步驟S117，并且顯示控制單元16滾動(dòng)時(shí)間線圖像以顯示時(shí)間上更往前那側(cè)的片段代表圖像，并且處理進(jìn)行到步驟S112。另外，在步驟S116中，在判定指示位置不位于未來(lái)滾動(dòng)區(qū)域內(nèi)的情況下，也就是在指示位置不位于過(guò)去滾動(dòng)區(qū)域或未來(lái)滾動(dòng)區(qū)域的任一個(gè)中的情況下，處理進(jìn)行到步驟S118，并且顯示控制單元16判定指示位置是否不在時(shí)間線圖像(圖18、圖20)上，也就是指示位置是否移動(dòng)到了顯示時(shí)間線圖像的區(qū)域之外。在步驟SI 18中，在判定指示位置在時(shí)間線圖像(圖18、圖20)上的情況下，處理進(jìn)行到步驟S112。這里，當(dāng)經(jīng)過(guò)了預(yù)定時(shí)間時(shí)，處理從步驟S114轉(zhuǎn)移到步驟S112。另外，在步驟S118中，在判定指示位置不在時(shí)間線圖像上的情況下，處理進(jìn)行到步驟S101，并且顯示控制單元16使顯示模式從層2模式轉(zhuǎn)移到層O模式。在步驟SlOl中的層O模式中，如圖10中所示，只顯示片段地圖，而不顯示磚塊圖像。這里，就在移動(dòng)到步驟SlOl的層O模式之前在層2模式中顯示的時(shí)間線圖像(圖18、圖20)在從層2模式轉(zhuǎn)移到層O模式時(shí)被擦除。[對(duì)應(yīng)用本技術(shù)的計(jì)算機(jī)的描述]接下來(lái)，能夠利用硬件執(zhí)行或者利用軟件執(zhí)行上述一系列處理。在利用軟件執(zhí)行這一系列處理的情況下，構(gòu)成軟件的程序被安裝在通用計(jì)算機(jī)等等中。這里，圖26示出了安裝有執(zhí)行上述一系列處理的程序的計(jì)算機(jī)的實(shí)施例的構(gòu)成示例。程序可被預(yù)先記錄在作為內(nèi)置到計(jì)算機(jī)中的記錄介質(zhì)的硬盤105或R0M103中?；蛘?，程序可被預(yù)先存儲(chǔ)(記錄)在可移除記錄介質(zhì)111中。此可移除記錄介質(zhì)111能夠作為所謂的封裝軟件提供。這里，作為可移除記錄介質(zhì)111，例如，有柔性盤、⑶-ROM(致密盤只讀存儲(chǔ)器)、MO(磁光)盤、DVD(數(shù)字多功能盤)、磁盤、半導(dǎo)體存儲(chǔ)器等坐寸O此外，除了從上述可移除記錄介質(zhì)111將程序安裝到計(jì)算機(jī)上以外，還可以在通過(guò)通信網(wǎng)絡(luò)或廣播網(wǎng)絡(luò)下載到計(jì)算機(jī)后執(zhí)行到內(nèi)置的硬盤105上的安裝。換言之，例如，程序能夠通過(guò)用于數(shù)字衛(wèi)星廣播的人造衛(wèi)星被從下載站點(diǎn)無(wú)線地傳送到計(jì)算機(jī)，或者能夠通過(guò)LAN(局域網(wǎng))或諸如因特網(wǎng)之類的網(wǎng)絡(luò)利用線路傳送到計(jì)算機(jī)。計(jì)算機(jī)具有內(nèi)置的CPU(中央處理單元)102，并且輸入和輸出接口 110經(jīng)由總線101 連接至Ij CPU102。當(dāng)經(jīng)由輸入和輸出接口 110用戶通過(guò)對(duì)輸入單元107的操作等等輸入命令時(shí)，CPU102據(jù)此執(zhí)行存儲(chǔ)在ROM(只讀存儲(chǔ)器)103中的程序?；蛘?，CPU102將存儲(chǔ)在硬盤105中的程序加載到RAM (隨機(jī)訪問(wèn)存儲(chǔ)器)104中并執(zhí)行對(duì)其的執(zhí)行。這樣，CPU102執(zhí)行根據(jù)上述流程圖的處理，或者根據(jù)上述框圖的構(gòu)成執(zhí)行的處理。這里，例如，CPU102根據(jù)需要通過(guò)輸入/輸出接口 110將此處理結(jié)果從輸出單元106輸出，或者從通信單元108發(fā)送處理結(jié)果并且在硬盤105中執(zhí)行記錄等等。此外，輸入單元107由鍵盤、鼠標(biāo)、麥克風(fēng)等等構(gòu)成。另外，輸出單元106由IXD(液晶顯示器)、揚(yáng)聲器等等構(gòu)成。這里，在本說(shuō)明書中，計(jì)算機(jī)根據(jù)程序執(zhí)行的程序可不遵循流程圖中描述的順序按時(shí)間順序執(zhí)行。也就是說(shuō)，計(jì)算機(jī)根據(jù)程序執(zhí)行的處理也包括并行或分開執(zhí)行的處理(例如并行處理或按對(duì)象的處理)。此外，可利用一個(gè)計(jì)算機(jī)(處理器)處理程序，或者可由多個(gè)計(jì)算機(jī)分布處理程序。此外，程序可被發(fā)送到遠(yuǎn)程計(jì)算機(jī)并執(zhí)行。這里，本技術(shù)的實(shí)施例不限于上述形式，在不脫離本技術(shù)的精神的范圍中可以進(jìn)行各種修改。例如，本技術(shù)可采用云計(jì)算構(gòu)成，其中通過(guò)將一個(gè)功能通過(guò)網(wǎng)絡(luò)分配到多個(gè)合作裝置來(lái)執(zhí)行處理。換言之，在圖1中的圖像處理裝置中，例如，收藏信息存儲(chǔ)單元13和片段地圖生成單元14被設(shè)在服務(wù)器側(cè)，并且其余的內(nèi)容存儲(chǔ)單元11、操作事件處理單元12、再現(xiàn)控制單元15、顯示控制單元16和顯示單元17能夠被設(shè)在客戶端側(cè)。另外，除了由一個(gè)裝置執(zhí)行以外，上述流程圖中描述的每個(gè)步驟能夠通過(guò)分配到多個(gè)裝置來(lái)執(zhí)行。此外，在一個(gè)步驟中包括多個(gè)處理的情況下，該一個(gè)步驟中包括的多個(gè)處理除了由一個(gè)裝置執(zhí)行以外還能夠通過(guò)分配到多個(gè)裝置來(lái)執(zhí)行。換言之，在圖1中的圖像處理裝置中，片段地圖生成單元14的一部分處理是在服務(wù)器側(cè)執(zhí)行的，并且其余處理能夠在客戶端側(cè)執(zhí)行。

此外，本技術(shù)能夠采用以下構(gòu)成。[I] 一種圖像處理裝置，包括顯示控制單元，該顯示控制單元在顯示裝置上顯示片段地圖，該片段地圖是其中布置了片段代表圖像的地圖，片段代表圖像是代表通過(guò)將內(nèi)容劃分成作為一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像；以及再現(xiàn)控制單元，該再現(xiàn)控制單元根據(jù)對(duì)于片段代表圖像請(qǐng)求再現(xiàn)的用戶的再現(xiàn)操作來(lái)控制與該片段代表圖像相對(duì)應(yīng)的視頻片段的再現(xiàn)，其中，在內(nèi)容的一視頻片段的再現(xiàn)期間對(duì)內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，再現(xiàn)控制單元在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時(shí)，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對(duì)應(yīng)的視頻片段的另一視頻片段。[2]根據(jù)[I]所述的圖像處理裝置，還包括地圖生成單元，該地圖生成單元生成所述片段地圖；集群化單元，該集群化單元將內(nèi)容的每個(gè)幀集群化到多個(gè)集群的任何一個(gè)集群中；片段劃分單元，該片段劃分單元對(duì)于所述多個(gè)集群分別將屬于集群的幀劃分成作為一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的集合的視頻片段；以及片段代表圖像生成單元，該片段代表圖像生成代表視頻片段的片段代表圖像，其中，所述地圖生成單元對(duì)于所述多個(gè)集群中的每個(gè)集群，將屬于集群的視頻片段的片段代表圖像與該集群相關(guān)聯(lián)，從與該集群相關(guān)聯(lián)的片段代表圖像之中選擇代表該集群的集群代表圖像，并且將被選擇為集群代表圖像的片段代表圖像布置在片段地圖上。[3]根據(jù)[2]所述的圖像處理裝置，其中，所述集群化單元利用具有狀態(tài)和狀態(tài)轉(zhuǎn)變的狀態(tài)轉(zhuǎn)變模型確定觀測(cè)到所述內(nèi)容的幀的時(shí)間系列中的特征量的最大似然狀態(tài)系列，并且將所述內(nèi)容的每個(gè)幀集群化到與在所述最大似然狀態(tài)系列中觀測(cè)到該幀的特征量的狀態(tài)相對(duì)應(yīng)的集群中。[4]根據(jù)[3]所述的圖像處理裝置，其中，所述地圖生成單元通過(guò)生成模型地圖并在該模型地圖上的每個(gè)狀態(tài)的位置處布置被選擇為與狀態(tài)相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像來(lái)生成片段地圖，其中模型地圖是狀態(tài)轉(zhuǎn)變矩陣被投射到二維平面上或三維空間中的地圖。

[5]根據(jù)[4]所述的圖像處理裝置，其中，所述地圖生成單元從與對(duì)應(yīng)于狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像之中選擇幀數(shù)目最大的視頻片段的片段代表圖像或再現(xiàn)時(shí)刻最早的視頻片段的片段代表圖像，作為所述集群代表圖像。[6]根據(jù)[4]或[5]所述的圖像處理裝置，其中，所述地圖生成單元在所述模型地圖上的每個(gè)狀態(tài)的位置處按與該狀態(tài)的重要度相對(duì)應(yīng)的大小布置被選擇為與該狀態(tài)相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像。[7]根據(jù)[6]所述的圖像處理裝置，其中，所述地圖生成單元確定與對(duì)應(yīng)于狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像所對(duì)應(yīng)的視頻片段的最大幀數(shù)目作為該狀態(tài)的重要度。[8]根據(jù)[4]至[7]中的任何一項(xiàng)所述的圖像處理裝置，還包括存儲(chǔ)單元，該存儲(chǔ)單元根據(jù)請(qǐng)求狀態(tài)被登記的用戶的收藏操作來(lái)存儲(chǔ)該狀態(tài)作為登記狀態(tài)，其中，所述顯示控制單元突出顯示所述片段地圖的被選擇為與該登記狀態(tài)相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像。[9]根據(jù)[8]所述的圖像處理裝置，其中，當(dāng)對(duì)被選擇為與所述登記狀態(tài)相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像執(zhí)行再現(xiàn)操作時(shí)，所述再現(xiàn)控制單元按時(shí)間順序再現(xiàn)與對(duì)應(yīng)于所述存儲(chǔ)單元中存儲(chǔ)的所有登記狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像所對(duì)應(yīng)的視頻片段。[10]根據(jù)[4]至[9]中的任何一項(xiàng)所述的圖像處理裝置，其中，所述顯示控制單元設(shè)定最接近用戶指示的指示位置的片段地圖上的狀態(tài)作為要關(guān)注的關(guān)注狀態(tài)并且執(zhí)行在所述顯示裝置上顯示磚塊圖像的顯示控制，其中該磚塊圖像是與對(duì)應(yīng)于該關(guān)注狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像的列表的圖像。[11]根據(jù)[10]所述的圖像處理裝置，其中，所述顯示控制單元將所述磚塊圖像的片段代表圖像之中的最接近所述指示位置的片段代表圖像設(shè)定為要關(guān)注的關(guān)注圖像并且突出顯示該關(guān)注圖像。[12]根據(jù)[11]所述的圖像處理裝置，其中，根據(jù)用戶的預(yù)定操作，所述顯示控制單元執(zhí)行在所述顯示裝置上顯示時(shí)間線圖像的顯示控制，其中在該時(shí)間線圖像中，在與所述關(guān)注狀態(tài)相關(guān)聯(lián)的片段代表圖像之中，所述關(guān)注圖像和在所述關(guān)注圖像之前和之后連續(xù)的預(yù)定數(shù)目的片段代表圖像被以所述關(guān)注圖像為中心按時(shí)間順序布置。[13]根據(jù)[12]所述的圖像處理裝置，其中，所述顯示控制單元根據(jù)用戶的操作滾動(dòng)所述時(shí)間線圖像中布置的片段代表圖像。[14] 一種圖像處理方法，包括在顯示裝置上顯示片段地圖，該片段地圖是布置了片段代表圖像的地圖，片段代表圖像是代表通過(guò)將內(nèi)容劃分成作為一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像；以及根據(jù)對(duì)于片段代表圖像請(qǐng)求再現(xiàn)的用戶的再現(xiàn)操 作來(lái)控制與該片段代表圖像相對(duì)應(yīng)的視頻片段的再現(xiàn)，其中，在對(duì)視頻片段的再現(xiàn)的控制中，在內(nèi)容的一視頻片段的再現(xiàn)期間對(duì)內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時(shí)，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對(duì)應(yīng)的視頻片段的另一視頻片段。[15] 一種程序，使得計(jì)算機(jī)執(zhí)行在顯示裝置上顯示片段地圖，該片段地圖是布置了片段代表圖像的地圖，片段代表圖像是代表通過(guò)將內(nèi)容劃分成作為一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段的圖像；以及根據(jù)對(duì)于片段代表圖像請(qǐng)求再現(xiàn)的用戶的再現(xiàn)操作來(lái)控制與該片段代表圖像相對(duì)應(yīng)的視頻片段的再現(xiàn)，其中，在內(nèi)容的一視頻片段的再現(xiàn)期間對(duì)內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時(shí)，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對(duì)應(yīng)的視頻片段的另一視頻片段。本公開包含與2011年10月18日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP2011-228538中公開的主題相關(guān)的主題，特此通過(guò)引用將該申請(qǐng)的全部?jī)?nèi)容并入。
權(quán)利要求
1.一種圖像處理裝置，包括 顯示控制單元，該顯示控制單元在顯示裝置上顯示片段地圖，該片段地圖是其中布置了片段代表圖像的地圖，所述片段代表圖像是代表通過(guò)將內(nèi)容劃分成視頻片段而獲得的視頻片段的圖像，所述視頻片段是時(shí)間上連續(xù)的一個(gè)或多個(gè)幀的幀集合；以及 再現(xiàn)控制單元，該再現(xiàn)控制單元根據(jù)對(duì)片段代表圖像請(qǐng)求再現(xiàn)的用戶的再現(xiàn)操作，控制與該片段代表圖像相對(duì)應(yīng)的視頻片段的再現(xiàn)， 其中，在內(nèi)容的一視頻片段的再現(xiàn)期間對(duì)內(nèi)容的另一視頻片段的片段代表圖像的再現(xiàn)操作被執(zhí)行的情況中，所述再現(xiàn)控制單元在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時(shí)，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對(duì)應(yīng)的視頻片段的另一視頻片段。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括 地圖生成單元，該地圖生成單元生成所述片段地圖； 集群化單元，該集群化單元將所述內(nèi)容的每個(gè)幀集群化到多個(gè)集群的任何一個(gè)集群中； 片段劃分單元，該片段劃分單元分別針對(duì)所述多個(gè)集群，將屬于集群的幀劃分成作為時(shí)間上連續(xù)的一個(gè)或多個(gè)幀的集合的視頻片段；以及 片段代表圖像生成單元，該片段代表圖像生成單元生成代表視頻片段的片段代表圖像， 其中，所述地圖生成單元對(duì)于所述多個(gè)集群中的每個(gè)集群，將屬于該集群的視頻片段的片段代表圖像與該集群相關(guān)聯(lián)，從與該集群相關(guān)聯(lián)的片段代表圖像之中選擇代表該集群的集群代表圖像，并且 將被選擇為集群代表圖像的片段代表圖像布置在所述片段地圖上。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述集群化單元確定最大似然狀態(tài)系列，其中利用具有狀態(tài)和狀態(tài)轉(zhuǎn)變的狀態(tài)轉(zhuǎn)變模型觀測(cè)所述內(nèi)容的幀的時(shí)間系列中的特征量，并且 將所述內(nèi)容的每個(gè)幀集群化到與在所述最大似然狀態(tài)系列中觀測(cè)到該幀的特征量的狀態(tài)相對(duì)應(yīng)的集群中。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述地圖生成單元通過(guò)生成模型地圖并在該模型地圖上的每個(gè)狀態(tài)的位置處布置被選擇為與該狀態(tài)相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像，來(lái)生成片段地圖，其中該模型地圖是其中狀態(tài)轉(zhuǎn)變模型被投射到二維平面上或三維空間中的地圖。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述地圖生成單元選擇與對(duì)應(yīng)于狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像之中的、幀數(shù)目最大的視頻片段的片段代表圖像或再現(xiàn)時(shí)刻最早的視頻片段的片段代表圖像，作為所述集群代表圖像。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述地圖生成單元在所述模型地圖上的每個(gè)狀態(tài)的位置處按與該狀態(tài)的重要度相對(duì)應(yīng)的大小布置被選擇為與該狀態(tài)相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述地圖生成單元確定與對(duì)應(yīng)于狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像所對(duì)應(yīng)的視頻片段的最大幀數(shù)目作為該狀態(tài)的重要度。
8.根據(jù)權(quán)利要求4所述的圖像處理裝置，還包括存儲(chǔ)單元，該存儲(chǔ)單元根據(jù)請(qǐng)求對(duì)狀態(tài)進(jìn)行登記的用戶的收藏操作來(lái)存儲(chǔ)該狀態(tài)作為登記狀態(tài)， 其中，所述顯示控制單元突出顯示所述片段地圖的、被選擇為與所述登記狀態(tài)相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置， 其中，當(dāng)對(duì)被選擇為與所述登記狀態(tài)相對(duì)應(yīng)的集群的集群代表圖像的片段代表圖像執(zhí)行再現(xiàn)操作時(shí)，所述再現(xiàn)控制單元按時(shí)間順序再現(xiàn)與對(duì)應(yīng)于所述存儲(chǔ)單元中存儲(chǔ)的所有登記狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像所對(duì)應(yīng)的視頻片段。
10.根據(jù)權(quán)利要求4所述的圖像處理裝置， 其中，所述顯示控制單元設(shè)定最接近用戶指示的指示位置的片段地圖上的狀態(tài)作為要關(guān)注的關(guān)注狀態(tài)，并且執(zhí)行在所述顯示裝置上顯示磚塊圖像的顯示控制，其中該磚塊圖像是與對(duì)應(yīng)于該關(guān)注狀態(tài)的集群相關(guān)聯(lián)的片段代表圖像的列表的圖像。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置， 其中，所述顯示控制單元將所述磚塊圖像的片段代表圖像之中的最接近所述指示位置的片段代表圖像設(shè)定為要關(guān)注的關(guān)注圖像，并且突出顯示該關(guān)注圖像。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置， 其中，根據(jù)用戶的預(yù)定操作，所述顯示控制單元執(zhí)行在所述顯示裝置上顯示時(shí)間線圖像的顯示控制，其中在該時(shí)間線圖像中，與所述關(guān)注狀態(tài)相關(guān)聯(lián)的所述片段代表圖像之中的、所述關(guān)注圖像和在所述關(guān)注圖像之前和之后連續(xù)的預(yù)定數(shù)目的片段代表圖像被以所述關(guān)注圖像為中心按時(shí)間順序布置。
13.根據(jù)權(quán)利要求12所述的圖像處理裝置， 其中，所述顯示控制單元根據(jù)用戶的操作滾動(dòng)所述時(shí)間線圖像中布置的片段代表圖像。
14.一種圖像處理方法，包括 在顯示裝置上顯示片段地圖，該片段地圖是其中布置了片段代表圖像的地圖，所述片段代表圖像是代表通過(guò)將內(nèi)容劃分成視頻片段而獲得的視頻片段的圖像，所述視頻片段是時(shí)間上連續(xù)的一個(gè)或多個(gè)幀的幀集合；以及 根據(jù)對(duì)于片段代表圖像請(qǐng)求再現(xiàn)的用戶的再現(xiàn)操作，來(lái)控制與該片段代表圖像相對(duì)應(yīng)的視頻片段的再現(xiàn)， 其中，在對(duì)視頻片段的再現(xiàn)的控制中，在內(nèi)容的一視頻片段的再現(xiàn)期間對(duì)內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時(shí)，再現(xiàn)作為與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對(duì)應(yīng)的視頻片段的另一視頻片段。
15.—種程序，使得計(jì)算機(jī)執(zhí)行 在顯示裝置上顯示片段地圖，該片段地圖是其中布置了片段代表圖像的地圖，所述片段代表圖像是代表通過(guò)將內(nèi)容劃分成視頻片段而獲得的視頻片段的圖像，所述視頻片段是時(shí)間上連續(xù)的一個(gè)或多個(gè)幀的幀集合；以及 根據(jù)對(duì)片段代表圖像請(qǐng)求再現(xiàn)的用戶的再現(xiàn)操作，控制與該片段代表圖像相對(duì)應(yīng)的視頻片段的再現(xiàn)， 其中，在內(nèi)容的一視頻片段的再現(xiàn)期間對(duì)內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作的情況下，在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時(shí)，再現(xiàn)作為與被執(zhí)行了再現(xiàn) 操作的片段代表圖像相對(duì)應(yīng)的視頻片段的另一視頻片段。
全文摘要
本發(fā)明公開了圖像處理裝置、圖像處理方法和程序。圖像處理裝置包括顯示控制單元，該顯示控制單元在顯示裝置上顯示布置有片段代表圖像的片段地圖，片段代表圖像代表通過(guò)將內(nèi)容劃分為作為一個(gè)或多個(gè)時(shí)間上連續(xù)的幀的幀集合的視頻片段而獲得的視頻片段；以及再現(xiàn)控制單元，該再現(xiàn)控制單元根據(jù)對(duì)于片段代表圖像請(qǐng)求再現(xiàn)的用戶的再現(xiàn)操作來(lái)控制與該片段代表圖像相對(duì)應(yīng)的視頻片段的再現(xiàn)，其中，當(dāng)在內(nèi)容的一視頻片段的再現(xiàn)期間對(duì)內(nèi)容的另一視頻片段的片段代表圖像執(zhí)行再現(xiàn)操作時(shí)，再現(xiàn)控制單元在仍維持正被再現(xiàn)的視頻片段的再現(xiàn)的同時(shí)，再現(xiàn)與被執(zhí)行了再現(xiàn)操作的片段代表圖像相對(duì)應(yīng)的該另一視頻片段。
文檔編號(hào)H04N21/472GK103067780SQ201210392229
公開日2013年4月24日 申請(qǐng)日期2012年10月11日 優(yōu)先權(quán)日2011年10月18日
發(fā)明者鈴木洋貴 申請(qǐng)人:索尼公司