專利名稱：圖像處理設(shè)備、圖像處理方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法及程序。更具體地，本發(fā)明涉及用于容易地搜索和管理多個(gè)運(yùn)動(dòng)圖像內(nèi)容的圖像處理設(shè)備、圖像處理方法和程序。
背景技術(shù)：
用于管理大量運(yùn)動(dòng)圖像內(nèi)容的技術(shù)一直以來都獲得廣泛認(rèn)可。特別地通過廣播站，海量運(yùn)動(dòng)圖像內(nèi)容每天持續(xù)被廣播和記錄。日益增加的運(yùn)動(dòng)圖像內(nèi)容量不間斷地累積。因此搜索多個(gè)運(yùn)動(dòng)圖像內(nèi)容以得到特定內(nèi)容極其困難。一種應(yīng)對上述問題的技術(shù)(見日本專利早期公開No. 2001-134589，以下稱為專利文獻(xiàn)1)涉及在一方面的搜索所針對的運(yùn)動(dòng)圖像內(nèi)容中包含的某些代表性圖像的元數(shù)據(jù)和另一方面的已經(jīng)登記并累積的運(yùn)動(dòng)圖像內(nèi)容的元數(shù)據(jù)之間進(jìn)行比較，以便搜索和獲取類似的運(yùn)動(dòng)圖像內(nèi)容。

發(fā)明內(nèi)容
在存在包括由同一元數(shù)據(jù)組成的圖像的重復(fù)運(yùn)動(dòng)圖像內(nèi)容的場合，專利文獻(xiàn)1公開的技術(shù)要求使用另一代表性運(yùn)動(dòng)圖像來在搜索結(jié)果中進(jìn)行搜索。另外，在包含多個(gè)類似的圖像的運(yùn)動(dòng)圖像內(nèi)容數(shù)量巨大的情況下，除非異常有特點(diǎn)的代表性運(yùn)動(dòng)圖像內(nèi)容被用于搜索，否則隨著被管理的運(yùn)動(dòng)圖像內(nèi)容量不斷增大，越來越難將想要的運(yùn)動(dòng)圖像內(nèi)容從搜索所針對的目標(biāo)運(yùn)動(dòng)圖像內(nèi)容中孤立出來。結(jié)果，搜索想要的運(yùn)動(dòng)圖像內(nèi)容可能要求花費(fèi)越來越多于從前的時(shí)間和精力。本實(shí)施例是鑒于上述情況做出的并提供了用于容易地管理海量運(yùn)動(dòng)圖像內(nèi)容和用于容易地搜索被管理的大量運(yùn)動(dòng)圖像內(nèi)容以得到想要獲取的目標(biāo)運(yùn)動(dòng)圖像內(nèi)容的發(fā)明
直ο在實(shí)施本發(fā)明時(shí)，根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種圖像處理設(shè)備，所述圖像處理設(shè)備包括數(shù)據(jù)庫，所述數(shù)據(jù)庫被配置成根據(jù)從組成運(yùn)動(dòng)圖像內(nèi)容的圖像中以第一頻率提取的圖像，所述數(shù)據(jù)庫登記第一尺寸的第一層摘要數(shù)據(jù)；距離計(jì)算塊，所述距離計(jì)算塊被配置成基于向量之間的距離來計(jì)算第一層摘要數(shù)據(jù)之間的距離，所述向量的元素由所述數(shù)據(jù)庫中登記的第一層摘要數(shù)據(jù)形成；以及分類部件，所述分類部件被配置成將由所述距離計(jì)算塊計(jì)算的距離落入預(yù)定距離內(nèi)的第一層摘要數(shù)據(jù)集群化到同一類別中，所述分類部件還基于所述第一層摘要數(shù)據(jù)已被集群化到的類別來將運(yùn)動(dòng)圖像內(nèi)容集群化到多個(gè)類別中。優(yōu)選地，所述距離計(jì)算塊可包括重心向量計(jì)算塊，所述重心向量計(jì)算塊被配置成計(jì)算其元素由每個(gè)類別中的第一層摘要數(shù)據(jù)形成的向量的重心向量，所述重心向量計(jì)算塊還計(jì)算如下兩方面的向量之間的距離作為重心距離，即一方面的其元素由輸入的運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)形成的向量和另一方面的所述重心向量；以及數(shù)據(jù)庫登記塊，所述數(shù)據(jù)庫登記塊被配置成將第一層摘要數(shù)據(jù)登記到如下的類別，所述類別中，與第一層摘要數(shù)據(jù)有關(guān)的重心距離在所述數(shù)據(jù)庫中最短。優(yōu)選地，本實(shí)施例的圖像處理設(shè)備還可包括第二層摘要數(shù)據(jù)生成部件，所述第二層摘要數(shù)據(jù)生成部件被配置成根據(jù)從組成運(yùn)動(dòng)圖像內(nèi)容的圖像中以高于所述第一頻率的第二頻率提取的圖像，所述第二層摘要數(shù)據(jù)生成部件生成小于所述第一尺寸的第二尺寸的第二層摘要數(shù)據(jù)；存儲(chǔ)單元，所述存儲(chǔ)單元被配置成與所述運(yùn)動(dòng)圖像內(nèi)容相對應(yīng)地存儲(chǔ)所述第二層摘要數(shù)據(jù)；第一搜索部件，所述第一搜索部件被配置成基于由第一層摘要數(shù)據(jù)生成部件生成的第一層摘要數(shù)據(jù)，所述第一搜索部件搜索所述數(shù)據(jù)庫以得到如下類別中的相應(yīng)運(yùn)動(dòng)圖像內(nèi)容，在所述類別中，作為重心距離被距離計(jì)算塊計(jì)算出來的、一方面的其元素由輸入的運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)形成的向量和另一方面的所述重心向量之間的距離短于預(yù)定距離；以及第二搜索部件，所述第二搜索部件被配置成基于由所述第二層摘要數(shù)據(jù)生成部件生成的第二層摘要數(shù)據(jù)，所述第二搜索部件搜索由所述第一搜索部件檢索得到的運(yùn)動(dòng)圖像內(nèi)容以得到相應(yīng)的運(yùn)動(dòng)圖像內(nèi)容。優(yōu)選地，所述第一層摘要數(shù)據(jù)可以由與多個(gè)分割區(qū)域中的每一個(gè)有關(guān)的像素值、 亮度值、活動(dòng)性、音量、預(yù)定音頻頻帶內(nèi)的幅度平均值的組合或它們中的一個(gè)組成，所述多個(gè)分割區(qū)域構(gòu)成作為運(yùn)動(dòng)圖像內(nèi)容的一部分并以所述第一頻率從所述運(yùn)動(dòng)圖像內(nèi)容中提取出的圖像的每一個(gè)，所述第一層摘要數(shù)據(jù)具有第一尺寸；并且所述第二層摘要數(shù)據(jù)可由與多個(gè)分割區(qū)域中的每一個(gè)有關(guān)的像素值、亮度值、活動(dòng)性、音量、預(yù)定音頻頻帶內(nèi)的幅度平均值的組合或它們中的一個(gè)組成，所述多個(gè)分割區(qū)域構(gòu)成作為運(yùn)動(dòng)圖像內(nèi)容的一部分并以高于所述第一頻率的第二頻率從所述運(yùn)動(dòng)圖像內(nèi)容中提取出的圖像的每一個(gè)，所述第二層摘要數(shù)據(jù)具有小于第一尺寸的第二尺寸。優(yōu)選地，所述第一和第二頻率可以是周期性或非周期性地從運(yùn)動(dòng)圖像內(nèi)容中提取圖像的那些頻率。優(yōu)選地，周期性圖像提取可以指以預(yù)定幀數(shù)的間隔來提取圖像；并且非周期性圖像提取可以指每次運(yùn)動(dòng)圖像內(nèi)容中發(fā)生場景改變時(shí)或每次音頻數(shù)據(jù)的無聲部分后面跟著音頻數(shù)據(jù)的非無聲部分時(shí)提取圖像。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種供圖像處理設(shè)備使用的圖像處理方法，所述圖像處理設(shè)備包括數(shù)據(jù)庫，所述數(shù)據(jù)庫被配置成根據(jù)從組成運(yùn)動(dòng)圖像內(nèi)容的圖像中以第一頻率提取的圖像，所述數(shù)據(jù)庫登記第一尺寸的第一層摘要數(shù)據(jù)；距離計(jì)算塊，所述距離計(jì)算塊被配置成基于向量之間的距離來計(jì)算第一層摘要數(shù)據(jù)之間的距離，所述向量的元素由所述數(shù)據(jù)庫中登記的第一層摘要數(shù)據(jù)形成；以及分類部件，所述分類部件被配置成將由所述距離計(jì)算塊計(jì)算的距離落入預(yù)定距離內(nèi)的第一層摘要數(shù)據(jù)集群化到同一類別中，所述分類部件還基于所述第一層摘要數(shù)據(jù)已被集群化到的類別來將運(yùn)動(dòng)圖像內(nèi)容集群化到多個(gè)類別中，所述圖像處理方法包括以下步驟令所述距離計(jì)算塊基于向量之間的距離來計(jì)算第一層摘要數(shù)據(jù)之間的距離，所述向量的元素由所述數(shù)據(jù)庫中登記的第一層摘要數(shù)據(jù)形成；并令所述分類部件將在所述距離計(jì)算步驟中計(jì)算的距離落入預(yù)定距離內(nèi)的第一層摘要數(shù)據(jù)集群化到同一類別中，還令所述分類部件基于所述第一層摘要數(shù)據(jù)已被集群化到的類別來將運(yùn)動(dòng)圖像內(nèi)容集群化到多個(gè)類別中。根據(jù)本發(fā)明的又一實(shí)施例，提供了一種供控制圖像處理設(shè)備的計(jì)算機(jī)使用的程序，所述圖像處理設(shè)備包括數(shù)據(jù)庫，所述數(shù)據(jù)庫被配置成根據(jù)從組成運(yùn)動(dòng)圖像內(nèi)容的圖像
5中以第一頻率提取的圖像，所述數(shù)據(jù)庫登記第一尺寸的第一層摘要數(shù)據(jù)；距離計(jì)算塊，所述距離計(jì)算塊被配置成基于向量之間的距離來計(jì)算第一層摘要數(shù)據(jù)之間的距離，所述向量的元素由所述數(shù)據(jù)庫中登記的第一層摘要數(shù)據(jù)形成；以及分類部件，所述分類部件被配置成將其間的、由所述距離計(jì)算塊計(jì)算的距離落入預(yù)定距離內(nèi)的第一層摘要數(shù)據(jù)集群化到同一類別中，所述分類部件還基于所述第一層摘要數(shù)據(jù)已被集群化到的類別來將運(yùn)動(dòng)圖像內(nèi)容集群化到多個(gè)類別中，所述程序使得計(jì)算機(jī)執(zhí)行包括以下步驟的過程令所述距離計(jì)算塊基于向量之間的距離來計(jì)算第一層摘要數(shù)據(jù)之間的距離，所述向量的元素由所述數(shù)據(jù)庫中登記的第一層摘要數(shù)據(jù)形成；并令所述分類部件將其間的、在所述距離計(jì)算步驟中計(jì)算的距離落入預(yù)定距離內(nèi)的第一層摘要數(shù)據(jù)集群化到同一類別中，還令所述分類部件基于所述第一層摘要數(shù)據(jù)已被集群化到的類別來將運(yùn)動(dòng)圖像內(nèi)容集群化到多個(gè)類別中。根據(jù)如上面概述地被體現(xiàn)的本發(fā)明，數(shù)據(jù)庫以如下方式被提供根據(jù)從組成運(yùn)動(dòng)圖像內(nèi)容的圖像中以第一頻率提取的圖像，所述數(shù)據(jù)庫登記第一尺寸的第一層摘要數(shù)據(jù)。 第一層摘要數(shù)據(jù)之間的距離基于向量之間的距離被計(jì)算，所述向量的元素由所述數(shù)據(jù)庫中登記的第一層摘要數(shù)據(jù)形成。然后，其間的、由所述距離計(jì)算塊計(jì)算的距離落入預(yù)定距離內(nèi)的第一層摘要數(shù)據(jù)被集群化到同一類別中，并且運(yùn)動(dòng)圖像內(nèi)容還基于所述第一層摘要數(shù)據(jù)已被集群化到的類別而被集群化到多個(gè)類別中。本實(shí)施例的圖像處理設(shè)備可以是執(zhí)行圖像處理的獨(dú)立設(shè)備或塊。根據(jù)本發(fā)明的實(shí)施例，可以容易地搜索和管理大量運(yùn)動(dòng)圖像內(nèi)容。


圖1是示出作為本發(fā)明實(shí)施例的圖像處理設(shè)備的典型結(jié)構(gòu)的框圖
圖2是說明圖像存儲(chǔ)處理的流程圖3是說明第一層摘要數(shù)據(jù)生成處理的流程圖4是說明第一層摘要數(shù)據(jù)生成處理的示意性視圖5是說明集群化處理的流程圖6是說明第二層摘要數(shù)據(jù)生成處理的示意性視圖7是說明初始集群化處理的流程圖8是說明初始集群化處理的示意性視圖9是說明初始集群化處理的另一示意性視圖10是說明搜索和提取處理的流程圖11是說明搜索和提取處理的示意性視圖12是說明搜索和提取處理的另一示意性視圖13是說明壓縮處理的流程圖14是說明壓縮處理的示意性視圖；并且
圖15是說明通用個(gè)人計(jì)算機(jī)的典型結(jié)構(gòu)的示意性視圖。
具體實(shí)施例方式[圖像處理設(shè)備的典型結(jié)構(gòu)]圖1示出作為本發(fā)明實(shí)施例的圖像處理設(shè)備11的典型結(jié)構(gòu)。圖1中的圖像處理設(shè)備11存儲(chǔ)運(yùn)動(dòng)圖像內(nèi)容并允許所存儲(chǔ)的內(nèi)容按需要被搜索和提取。圖像處理設(shè)備11包括圖像獲取單元21、緩沖器22、運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元 23、存儲(chǔ)單元24、搜索和提取單元25、內(nèi)容文件壓縮單元26和顯示單元27。圖像獲取單元21獲取要被登記的運(yùn)動(dòng)圖像內(nèi)容或者作為搜索所針對的運(yùn)動(dòng)圖像內(nèi)容的一部分的采樣數(shù)據(jù)，并且將所獲取的東西臨時(shí)存儲(chǔ)在緩沖器22中。采樣數(shù)據(jù)通?？砂軌蛲ㄟ^因特網(wǎng)下載的運(yùn)動(dòng)圖像內(nèi)容的部分，與內(nèi)容有關(guān)的圖像和采樣運(yùn)動(dòng)圖像。從緩沖器22中存儲(chǔ)的為登記準(zhǔn)備的運(yùn)動(dòng)圖像內(nèi)容中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23生成第一層摘要數(shù)據(jù)和第二層摘要數(shù)據(jù)。運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23向存儲(chǔ)單元 24的第一層摘要數(shù)據(jù)數(shù)據(jù)庫(DB) 101登記第一層摘要數(shù)據(jù)。另外，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23將與由運(yùn)動(dòng)圖像內(nèi)容組成的運(yùn)動(dòng)圖像內(nèi)容文件111配對的由第二層摘要數(shù)據(jù)組成的第二層摘要數(shù)據(jù)文件112存儲(chǔ)在存儲(chǔ)單元24中作為內(nèi)容數(shù)據(jù)對102。這種情況下，如果存儲(chǔ)單元24中保存的運(yùn)動(dòng)圖像內(nèi)容被集群化(即，被分成類別)，則運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23在存儲(chǔ)給定的運(yùn)動(dòng)圖像內(nèi)容之前，基于第一層摘要數(shù)據(jù)來將所討論的運(yùn)動(dòng)圖像內(nèi)容歸到這些類別之一中。圖1中的存儲(chǔ)單元24包括第一層摘要數(shù)據(jù)數(shù)據(jù)庫101和多個(gè)類別A至D。類別 A至D分別包括內(nèi)容數(shù)據(jù)對102-1至102-a，102-b至102_c，102-d至102_e以及102_f至 102-g。內(nèi)容數(shù)據(jù)對102-1至102-a分別包括運(yùn)動(dòng)圖像內(nèi)容文件111_1至lll_a和第二層摘要數(shù)據(jù)文件112-1至112-a。內(nèi)容數(shù)據(jù)對102_b至102_c分別包括運(yùn)動(dòng)圖像內(nèi)容文件 111-b至Ill-C和第二層摘要數(shù)據(jù)文件112-b至112-c。內(nèi)容數(shù)據(jù)對102_d至102_e分別包括運(yùn)動(dòng)圖像內(nèi)容文件111-d至111-e和第二層摘要數(shù)據(jù)文件112-d至112_e。內(nèi)容數(shù)據(jù)對 102-f至102-g分別包括運(yùn)動(dòng)圖像內(nèi)容文件111-f至111-g和第二層摘要數(shù)據(jù)文件112_f 至 112-g。在沒有特別需要對這些文件進(jìn)行區(qū)分的場合，內(nèi)容數(shù)據(jù)對可被簡單地稱為內(nèi)容數(shù)據(jù)對102，運(yùn)動(dòng)圖像內(nèi)容文件被稱為運(yùn)動(dòng)圖像內(nèi)容文件111，并且第二層摘要數(shù)據(jù)文件被稱為第二層摘要數(shù)據(jù)文件112。同樣情況也適用于圖像處理設(shè)備11的其他組件和相關(guān)元素。 類別A至D是以如下方式來構(gòu)造的即，信息被簡單地記錄到與第一層摘要數(shù)據(jù)相對應(yīng)的每個(gè)類別，所述第一層摘要數(shù)據(jù)由第一層摘要數(shù)據(jù)數(shù)據(jù)庫101管理并屬于所討論的類別。出于管理的目的，存儲(chǔ)單元24中不存在名稱為類別A至D的個(gè)別文件夾等。存儲(chǔ)單元24在圖1中以僅示意性地揭示其類別結(jié)構(gòu)的方式被示出。實(shí)際上，內(nèi)容數(shù)據(jù)對102不被個(gè)別地記錄到統(tǒng)一按類別來排列的區(qū)域中。此外，雖然組成內(nèi)容數(shù)據(jù)對102的第二層摘要數(shù)據(jù)文件112和運(yùn)動(dòng)圖像內(nèi)容文件111被記錄為彼此相關(guān)，但是這些文件是可以個(gè)別管理的、分開提供的文件。運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23包括活動(dòng)性計(jì)算部件41、圖像滑動(dòng)部件42、第一層摘要數(shù)據(jù)生成部件43、第二層摘要數(shù)據(jù)生成部件44和集群化部件45?；顒?dòng)性計(jì)算部件41 獲取如下圖像作為活動(dòng)性圖像，所述圖像的像素值由給定的運(yùn)動(dòng)圖像內(nèi)容中包含的圖像的相鄰像素之間的像素值之差來表示。圖像滑動(dòng)部件42基于由活動(dòng)性計(jì)算部件41計(jì)算的活動(dòng)性圖像來將最高活動(dòng)性的位置滑動(dòng)到圖像中心。也就是說，由于圖像中最高活動(dòng)性的位置在視覺上最引人注意，因此該位置被移動(dòng)到圖像中心以便使將要提取的第一層摘要數(shù)據(jù)和第二層摘要數(shù)據(jù)標(biāo)準(zhǔn)化(normalize)。
7
第一層摘要數(shù)據(jù)生成部件43包括圖像劃分塊61、RGB像素值平均值計(jì)算塊62和場景改變檢測塊63。第一層摘要數(shù)據(jù)生成部件43從在所輸入的運(yùn)動(dòng)圖像內(nèi)容中的預(yù)定間隔處出現(xiàn)的或者在由場景改變檢測塊63檢測到場景改變時(shí)出現(xiàn)的感興趣幀中生成第一層摘要數(shù)據(jù)。也就是說，第一層摘要數(shù)據(jù)生成部件43控制圖像劃分塊61以將感興趣幀劃分成預(yù)定數(shù)目的分割區(qū)域。第一層摘要數(shù)據(jù)生成部件43還控制RGB像素值平均值計(jì)算塊62 以計(jì)算每個(gè)分割區(qū)域中的與每個(gè)RGB像素(紅綠藍(lán)像素)有關(guān)的像素值的平均值。第一層摘要數(shù)據(jù)生成部件43隨后獲得用由計(jì)算出的每個(gè)分割區(qū)域中的與每個(gè)RGB像素有關(guān)的像素值平均值組成的元素形成的、總計(jì)約100字節(jié)的基于幀的向量，作為第一層摘要數(shù)據(jù)，并向第一層摘要數(shù)據(jù)數(shù)據(jù)庫101登記所獲取的第一層摘要數(shù)據(jù)。第二層摘要數(shù)據(jù)生成部件44包括圖像劃分塊71和RGB像素值平均值計(jì)算塊72， 并從構(gòu)成給定的運(yùn)動(dòng)圖像內(nèi)容的所有幀中生成第二層摘要數(shù)據(jù)。圖像劃分塊71和RGB像素值平均值計(jì)算塊72分別與第一層摘要數(shù)據(jù)生成部件43的圖像劃分塊61和RGB像素值平均值計(jì)算塊62相同。也就是說，第二層摘要數(shù)據(jù)生成部件44控制圖像劃分塊71以將感興趣幀劃分成預(yù)定數(shù)目的分割區(qū)域。第二層摘要數(shù)據(jù)生成部件44還控制RGB像素值平均值計(jì)算塊72以計(jì)算每個(gè)分割區(qū)域中的與每個(gè)RGB像素(紅綠藍(lán)像素)有關(guān)的像素值的平均值。第二層摘要數(shù)據(jù)生成部件44隨后獲得用由計(jì)算出的每個(gè)分割區(qū)域中的RGB像素的平均值組成的元素形成的、總計(jì)約30字節(jié)的基于幀的向量，作為第二層摘要數(shù)據(jù)。此外，第二層摘要數(shù)據(jù)生成部件44將由第二層摘要數(shù)據(jù)文件112和運(yùn)動(dòng)圖像內(nèi)容文件111構(gòu)成的內(nèi)容數(shù)據(jù)對102 存儲(chǔ)到存儲(chǔ)單元24中，所述第二層摘要數(shù)據(jù)文件112中，這樣獲得的第二層摘要數(shù)據(jù)按時(shí)間順序排列。第一層摘要數(shù)據(jù)和第二層摘要數(shù)據(jù)各自包括指示所討論的數(shù)據(jù)屬于哪個(gè)運(yùn)動(dòng)圖像內(nèi)容文件的信息。雖然第一層摘要數(shù)據(jù)被設(shè)置為按30幀的間隔獲得總共約100字節(jié)并且第二層摘要數(shù)據(jù)被設(shè)置為每幀獲得總共約30字節(jié)，但是第一層摘要數(shù)據(jù)可以以不同數(shù)目的幀間隔來獲取并且可通過不同的信息量來形成，只要第一層摘要數(shù)據(jù)與第二層摘要數(shù)據(jù)相比具有更低的幀頻并且通過更大的數(shù)量來形成即可。也就是說，第一層摘要數(shù)據(jù)可以是相對大量的數(shù)據(jù)，因?yàn)樗菑牡谝粚诱獢?shù)據(jù)數(shù)據(jù)庫101被個(gè)別地搜索并取得的。另一方面，第二層摘要數(shù)據(jù)個(gè)別地需要具有小數(shù)據(jù)尺寸，因?yàn)樗且园磿r(shí)間順序管理的多個(gè)第二層摘要數(shù)據(jù)的第二層摘要數(shù)據(jù)文件112為單位被使用的。集群化部件45包括重心計(jì)算塊81、距離計(jì)算塊82和初始登記塊83?；诘谝粚诱獢?shù)據(jù)數(shù)據(jù)庫101中登記的第一層摘要數(shù)據(jù)，集群化部件45將彼此類似并被存儲(chǔ)在存儲(chǔ)單元24中的多個(gè)內(nèi)容數(shù)據(jù)對102的第一層摘要數(shù)據(jù)分類成(即，集群化成)同一類別。當(dāng)新的運(yùn)動(dòng)圖像內(nèi)容文件111要被登記到已完成集群化的存儲(chǔ)單元24中時(shí)，集群化部件45基于新登記的運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)來對新文件進(jìn)行分類。也就是說， 集群化部件45首先控制重心計(jì)算塊81以計(jì)算由屬于各個(gè)類別的向量組成的第一層摘要數(shù)據(jù)的重心向量。集群化部件45隨后控制距離計(jì)算塊82以計(jì)算一方面的所涉及的每個(gè)類別的重心與另一方面的構(gòu)成新登記的運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)的向量之間的距離。集群化部件45將新登記的運(yùn)動(dòng)圖像內(nèi)容分到如下類別中，所述類別具有的重心與組成新添加的運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)的向量距離最短。
如果存儲(chǔ)單元M中登記的內(nèi)容數(shù)據(jù)對102尚未被分類，則集群化部件45將這些內(nèi)容數(shù)據(jù)對102集群化成類別。也就是說，集群化部件45控制距離計(jì)算塊82以計(jì)算組成代表運(yùn)動(dòng)圖像內(nèi)容的并被登記在第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中的第一層摘要數(shù)據(jù)的向量之間的距離，以便將在預(yù)定距離范圍內(nèi)找到的運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)集群化到同一類別。集群化部件45還控制初始登記塊83以登記運(yùn)動(dòng)圖像內(nèi)容已被集群化到其中的第一層摘要數(shù)據(jù)的類別。搜索和提取單元25包括活動(dòng)性計(jì)算部件151、圖像滑動(dòng)部件152、第一層摘要數(shù)據(jù)搜索部件153、第二層摘要數(shù)據(jù)搜索和提取部件154、類別搜索部件155和搜索結(jié)果顯示圖像生成部件156。搜索和提取單元25基于與由圖像獲取單元21獲取并被放入緩沖器22 的、搜索所針對的運(yùn)動(dòng)圖像內(nèi)容有關(guān)的采樣數(shù)據(jù)，來搜索運(yùn)動(dòng)圖像內(nèi)容。搜索和提取單元25 在顯示單元27上顯示搜索結(jié)果。更具體地，活動(dòng)性計(jì)算部件151和圖像滑動(dòng)部件152分別與運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23的活動(dòng)性計(jì)算部件41和圖像滑動(dòng)部件42相同。也就是說，活動(dòng)性計(jì)算部件151 計(jì)算由與搜索所針對的運(yùn)動(dòng)圖像內(nèi)容有關(guān)的圖像(即，幀)中的相鄰像素之間的差值形成的活動(dòng)性，以便生成以計(jì)算出的活動(dòng)性作為其像素值的活動(dòng)性圖像。圖像滑動(dòng)部件152將最大活動(dòng)性的位置滑動(dòng)到這樣計(jì)算出的活動(dòng)性圖像的中心。第一層摘要數(shù)據(jù)搜索部件153包括圖像劃分塊171、RGB像素值平均值計(jì)算塊172 和比較塊173。第一層摘要數(shù)據(jù)搜索部件153從與搜索所針對的運(yùn)動(dòng)圖像內(nèi)容有關(guān)的采樣數(shù)據(jù)的代表性圖像中生成第一層摘要數(shù)據(jù)。也就是說，第一層摘要數(shù)據(jù)搜索部件153首先控制圖像劃分塊171以將代表性圖像劃分成多個(gè)分割區(qū)域。第一層摘要數(shù)據(jù)搜索部件153 隨后控制RGB像素值平均值計(jì)算塊172以獲得每個(gè)分割區(qū)域中的與每個(gè)RGB像素(紅綠藍(lán)像素)有關(guān)的像素平均值。第一層摘要數(shù)據(jù)搜索部件153隨后獲得用由計(jì)算出的每個(gè)分割區(qū)域中的與每個(gè)RGB像素有關(guān)的像素值平均值組成的元素形成的、總計(jì)約100字節(jié)的基于幀的向量，作為第一層摘要數(shù)據(jù)。順便提及，給定的采樣數(shù)據(jù)的代表性圖像或者是組成采樣數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容的第一圖像，或者是每次場景改變時(shí)出現(xiàn)的圖像。第一層摘要數(shù)據(jù)搜索部件153控制比較塊173以在一方面的構(gòu)成從采樣數(shù)據(jù)獲得的代表性圖像的第一層摘要數(shù)據(jù)的向量和另一方面的構(gòu)成第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中登記的第一層摘要數(shù)據(jù)的向量之間進(jìn)行比較，以確定其間是否存在匹配或相似性。另外，第一層摘要數(shù)據(jù)搜索部件153搜索與采樣數(shù)據(jù)的第一層摘要數(shù)據(jù)相對應(yīng)的待搜索的運(yùn)動(dòng)圖像內(nèi)容候選。這種情況下，假設(shè)類別搜索部件巧5事先已獲得在用于確定在一方面的代表性圖像的第一層摘要數(shù)據(jù)的向量和另一方面的被集群化到各個(gè)類別中的第一層摘要數(shù)據(jù)的重心向量之間是否存在匹配或相似性的比較之后匹配的類別的重心向量?；诖思僭O(shè)， 第一層摘要數(shù)據(jù)搜索部件153基于指示與屬于目標(biāo)類別的第一層摘要數(shù)據(jù)匹配或相似的比較結(jié)果，來搜索與采樣數(shù)據(jù)的第一層摘要數(shù)據(jù)相對應(yīng)的運(yùn)動(dòng)圖像內(nèi)容。也就是說，每個(gè)類別由構(gòu)成數(shù)據(jù)的向量之間的距離短的第一層摘要數(shù)據(jù)組成。為此，從第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中登記的第一層摘要數(shù)據(jù)中，第一層摘要數(shù)據(jù)搜索部件153只需將屬于如下類別的第一層摘要數(shù)據(jù)進(jìn)行比較所述類別的重心向量與代表性圖像的第一層摘要數(shù)據(jù)匹配。該特征提高了搜索速度。第二層摘要數(shù)據(jù)搜索和提取部件IM基于與搜索所針對的采樣數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容有關(guān)的運(yùn)動(dòng)圖像信息來生成第二搜索摘要數(shù)據(jù)。第二層摘要數(shù)據(jù)搜索和提取部件1 進(jìn)行搜索以得到一方面的采樣數(shù)據(jù)的第二搜索摘要數(shù)據(jù)與另一方面的由第一層摘要數(shù)據(jù)搜索部件153檢索得到的第一層摘要數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容的第二層摘要數(shù)據(jù)文件112之間的匹配。也就是說，第二層摘要數(shù)據(jù)搜索和提取部件1 控制圖像劃分塊181以將構(gòu)成與搜索所針對的采樣數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容有關(guān)的運(yùn)動(dòng)圖像信息的每個(gè)幀劃分成預(yù)定數(shù)目的分割區(qū)域。第二層摘要數(shù)據(jù)搜索和提取部件154隨后控制RGB像素值平均值計(jì)算塊182以計(jì)算每個(gè)分割區(qū)域中的與每個(gè)RGB像素(紅綠藍(lán)像素)有關(guān)的像素值的平均值。第二層摘要數(shù)據(jù)搜索部件IM隨后獲得用由計(jì)算出的每個(gè)分割區(qū)域中的與每個(gè)RGB像素有關(guān)的像素值平均值組成的元素形成的、總計(jì)約30字節(jié)的基于幀的向量，作為采樣數(shù)據(jù)的第二層摘要數(shù)據(jù)。也就是說，第二層摘要數(shù)據(jù)文件112是其中按時(shí)間順序排列了每幀獲得的第二層摘要數(shù)據(jù)的文件。因此如果在第二層摘要數(shù)據(jù)文件112中按時(shí)間順序排列和登記的采樣數(shù)據(jù)的第二層摘要數(shù)據(jù)被逐幀滑動(dòng)以便依次獲得相應(yīng)幀的第二層摘要數(shù)據(jù)之間的差別，并且如果最小差值被發(fā)現(xiàn)比預(yù)定閾值小，則確定已出現(xiàn)與搜索所針對的運(yùn)動(dòng)圖像內(nèi)容的匹配或相似性。在與搜索所針對的運(yùn)動(dòng)圖像內(nèi)容匹配或相似的情況中，差值最小的滑動(dòng)位置被確定為搜索所針對的運(yùn)動(dòng)圖像內(nèi)容內(nèi)的、所討論的采樣數(shù)據(jù)的再生位置。類別搜索部件155獲得一方面的組成從采樣數(shù)據(jù)的代表性圖像獲取的第一層摘要數(shù)據(jù)的向量和另一方面的存儲(chǔ)單元M中存儲(chǔ)的第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中登記的每個(gè)類別的重心向量之間的距離，以便搜索處于預(yù)定距離內(nèi)的類別。也就是說，類別搜索部件 155控制重心計(jì)算塊191以獲得構(gòu)成屬于每個(gè)類別的第一層摘要數(shù)據(jù)的向量的重心向量。 類別搜索部件155隨后搜索具有預(yù)定距離內(nèi)的重心向量的類別以尋找由代表性圖像的第一層摘要數(shù)據(jù)形成的向量和重心向量之間的距離。搜索結(jié)果顯示圖像生成部件156令諸如IXD (液晶顯示器)之類的顯示單元27顯示與第二層摘要數(shù)據(jù)搜索和提取部件IM搜索的運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)相對應(yīng)的圖像。內(nèi)容文件壓縮單元沈包括匹配部分搜索部件211、不匹配部分搜索部件212、編輯部件213和更新部件214。內(nèi)容文件壓縮單元沈搜索第二層摘要數(shù)據(jù)搜索和提取部件IM 檢索得到的第二層摘要數(shù)據(jù)文件112中的匹配和不匹配部分，并執(zhí)行諸如刪除匹配部分僅保留其中一個(gè)并將其接合到剩余的不匹配部分以壓縮運(yùn)動(dòng)圖像內(nèi)容文件111的數(shù)據(jù)量之類的編輯。也就是說，內(nèi)容文件壓縮單元沈控制匹配部分搜索部件211以搜索所檢索得到的第二層摘要數(shù)據(jù)文件112中的匹配部分的范圍。內(nèi)容文件壓縮單元沈還控制不匹配部分搜索部件212以搜索所檢索得到的文件的不匹配部分的范圍。內(nèi)容文件壓縮單元沈隨后控制編輯部件213以執(zhí)行涉及刪除匹配部分僅保留其中一個(gè)并按需要將其連接到不匹配部分的編輯。使用這樣新生成的運(yùn)動(dòng)圖像內(nèi)容文件111，內(nèi)容文件壓縮單元沈更新當(dāng)前的運(yùn)動(dòng)圖像內(nèi)容文件111。[運(yùn)動(dòng)圖像內(nèi)容存儲(chǔ)處理]下面參考圖2的流程圖說明的是由圖1的圖像處理設(shè)備11執(zhí)行的運(yùn)動(dòng)圖像內(nèi)容存儲(chǔ)處理。在步驟Sll中，圖像獲取單元21獲取要存儲(chǔ)到存儲(chǔ)單元M中的運(yùn)動(dòng)圖像內(nèi)容，并將所獲取的內(nèi)容存儲(chǔ)到緩沖器22中。
10
在步驟S12中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23從緩沖器22讀取運(yùn)動(dòng)圖像內(nèi)容，執(zhí)行第一層摘要數(shù)據(jù)生成處理以生成第一層摘要數(shù)據(jù)，并將生成的摘要數(shù)據(jù)登記到存儲(chǔ)單元 24的第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中。[第一層摘要數(shù)據(jù)生成處理]下面參考圖3的流程圖來說明第一層摘要數(shù)據(jù)生成處理。在步驟S31中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23將對幀進(jìn)行計(jì)數(shù)的計(jì)數(shù)器“f”初始化為“1”。在步驟S32中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23依次讀取運(yùn)動(dòng)圖像內(nèi)容以確定是否存在尚未處理的另一幀圖像。如果另一未處理幀圖像在步驟S32中被確定為不存在，則第一層摘要數(shù)據(jù)生成處理終止。如果在步驟S32中確定運(yùn)動(dòng)圖像內(nèi)容的另一未處理幀圖像存在，則控制轉(zhuǎn)移到步驟S33。在步驟S33中，第一層摘要數(shù)據(jù)生成部件43控制場景改變檢測塊63以在與緊跟在前圖像進(jìn)行比較后確定所提供的幀圖像是否代表場景改變。例如，場景改變檢測塊63獲得被處理的幀圖像的像素與緊跟在前圖像的像素之間的像素值差值總和。如果所獲得的總和被發(fā)現(xiàn)大于預(yù)定閾值，則確定場景改變已發(fā)生。也就是說，在連續(xù)運(yùn)動(dòng)圖像的情況中，當(dāng)前幀圖像與緊跟在前幀圖像之間的改變被認(rèn)為較小，因此像素值的差值總和被認(rèn)為小于預(yù)定閾值。在發(fā)生場景改變后，幀圖像常常與緊跟在前幀圖像大大不同因此像素之間的像素值差值總和被認(rèn)為極大地變化。出于這些考慮，場景改變檢測塊63將像素之間的像素值差值總和與預(yù)定閾值進(jìn)行比較以確定是否發(fā)生了場景改變。如果在步驟S33中由于當(dāng)前和緊跟在前幀圖像之間的像素值的差值總和小于閾值而確定未發(fā)生場景改變，則控制被轉(zhuǎn)移到步驟S34。在步驟S34中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23確定計(jì)數(shù)器“f”是否被設(shè)成30。如果計(jì)數(shù)器“f”不是30，則控制被轉(zhuǎn)移到步驟S35，然后再次到達(dá)步驟S32，其中在步驟S35 中，計(jì)數(shù)器“f”遞增1。也就是說，在30幀流逝之前，除非發(fā)生場景改變，否則步驟S32至 S35重復(fù)。如果在步驟S33中由于當(dāng)前和緊跟在前幀圖像之間的像素值的差值總和大于閾值而確定已發(fā)生場景改變，或者如果在步驟S34中計(jì)數(shù)器“f”為30，則控制被轉(zhuǎn)移到步驟 S36。在步驟S36中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23從緩沖器22提取作為從緊跟在前幀起第30個(gè)幀的感興趣幀的圖像。在步驟S37中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23控制活動(dòng)性計(jì)算部件41以計(jì)算所提取的感興趣幀的圖像中的活動(dòng)性。更具體地，活動(dòng)性計(jì)算部件41計(jì)算彼此水平和垂直相鄰的像素之間的差的和，作為每個(gè)像素的活動(dòng)性。活動(dòng)性計(jì)算部件41對所有像素執(zhí)行相同的計(jì)算，以獲得由與每個(gè)像素有關(guān)的像素值的活動(dòng)性形成的活動(dòng)性圖像。在步驟S38中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23控制圖像滑動(dòng)部件42以在所獲得的活動(dòng)性圖像內(nèi)將具有最高活動(dòng)性的像素的位置移動(dòng)到構(gòu)成感興趣幀的圖像的中心。也就是說，由于圖像中高活動(dòng)性的位置在視覺上最引人注意，因此該位置被滑動(dòng)到圖像中心以便該位置將最容易吸引觀看者的注意力。這種安排使后續(xù)處理標(biāo)準(zhǔn)化。如果存在各自具有最高活動(dòng)性的多個(gè)像素，則觀看者的注意力被吸引到由這些最高活動(dòng)性像素形成的對象。這種情況下，這些像素的重心可被移動(dòng)到組成感興趣幀的圖像的中心。在步驟S39中，第一層摘要數(shù)據(jù)生成部件43控制圖像劃分塊61以將滑動(dòng)了中心位置的第F幀劃分成N個(gè)分割區(qū)域P (η)。例如，如果數(shù)目N為32，則第F幀被劃分為分割區(qū)域P(I)至Ρ(32)，如圖4所示。在步驟S40中，第一層摘要數(shù)據(jù)生成部件43將對分割區(qū)域P (η)進(jìn)行計(jì)數(shù)的計(jì)數(shù)器“η”初始化為1。在步驟S41中，第一層摘要數(shù)據(jù)生成部件43控制RGB像素值平均值計(jì)算塊62以計(jì)算每個(gè)分割區(qū)域中的與每個(gè)RGB像素有關(guān)的像素值的平均值。在步驟S42中，第一層摘要數(shù)據(jù)生成部件43確定計(jì)數(shù)器“η”是否在分割的預(yù)定數(shù)目N。在圖4的示例中，第一層摘要數(shù)據(jù)生成部件43確定計(jì)數(shù)器“η”是否在預(yù)定的分割數(shù) N= 32。如果在步驟S42中確定計(jì)數(shù)器“η”未達(dá)到預(yù)定分割數(shù)N，則到達(dá)步驟S43。在步驟 S43中，第一層摘要數(shù)據(jù)生成部件43將計(jì)數(shù)器“η”遞增1，并且控制返回到步驟S41。也就是說，所有分割區(qū)域Ρ(η)中的與每個(gè)RGB像素有關(guān)的像素值的平均值被獲得。如果在步驟S42中確定計(jì)數(shù)器“η”已達(dá)到分割數(shù)N，則控制被轉(zhuǎn)移到步驟S44。在步驟S44中，第一層摘要數(shù)據(jù)生成部件43隨后獲得由下述向量形成的并且總計(jì)約100字節(jié)的第一層摘要數(shù)據(jù)Cl，并將所獲取的第一層摘要數(shù)據(jù)C 1登記到第一層摘要數(shù)據(jù)數(shù)據(jù)庫101以存儲(chǔ)在存儲(chǔ)單元M中，所述向量的元素由計(jì)算出的每個(gè)分割區(qū)域P(I)至 P(N)中的與每個(gè)RGB像素有關(guān)的像素值平均值組成?？刂齐S后返回到步驟S31。當(dāng)上述步驟已被執(zhí)行時(shí)，感興趣幀被以30幀的間隔依次從目標(biāo)運(yùn)動(dòng)圖像內(nèi)容中獲得或在每次場景改變時(shí)被獲得。每個(gè)感興趣幀被劃分成預(yù)定數(shù)目的分割區(qū)域P (η)，并且每個(gè)分割區(qū)域中的與每個(gè)RGB像素有關(guān)的像素值平均值被獲得。然后，用其元素由計(jì)算出的每個(gè)分割區(qū)域P (η)中的與每個(gè)RGB像素有關(guān)的像素值平均值組成的向量形成并且總計(jì)約100字節(jié)的第一層摘要數(shù)據(jù)Cl被獲得并依次登記在第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中。 例如，如果感興趣幀被劃分成如圖4所示的32個(gè)分割區(qū)域并且如果指示16個(gè)顏色等級 (gradation)之一的每個(gè)RGB像素用一字節(jié)表示，則第一層摘要數(shù)據(jù)Cl由96維向量形成， 所述96維向量由各自代表向量的一個(gè)元素的96個(gè)字節(jié)組成。為此，第一層摘要數(shù)據(jù)數(shù)據(jù)庫 101中登記的信息可被認(rèn)為是由構(gòu)成不包含時(shí)序信息的第一層摘要數(shù)據(jù)的向量集合組成的特征量?，F(xiàn)在將說明返回到圖2的流程圖。在步驟S12中，待登記的運(yùn)動(dòng)圖像數(shù)據(jù)的第一層摘要數(shù)據(jù)被登記到存儲(chǔ)單元對的第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中。在步驟S13中，集群化部件45執(zhí)行集群化處理從而對要登記的運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)進(jìn)行分類。[集群化處理]下面參考圖5的流程圖來說明集群化處理。在步驟S51中，從第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中登記的第一層摘要數(shù)據(jù)中，集群化部件45提取被集群化到類別中并且不包括登記的運(yùn)動(dòng)圖像內(nèi)容的那些數(shù)據(jù)。另外，集群化部件45控制重心計(jì)算塊81以計(jì)算由集群化到同一類別中的第一層摘要數(shù)據(jù)組成的向量的重心向量。例如，對于圖1所示的類別A，集群化部件45控制重心計(jì)算塊81以計(jì)算由與類別A的每個(gè)內(nèi)容數(shù)據(jù)對102-1至102-a相對應(yīng)的第一層摘要數(shù)據(jù)組成的向量的重心向量。以類似方式，集群化部件45令重心計(jì)算塊81計(jì)算由與每個(gè)類別B至D相對應(yīng)的第一層摘要數(shù)據(jù)組成的向量的重心向量。在步驟S52中，在要登記的運(yùn)動(dòng)圖像數(shù)據(jù)的第一層摘要數(shù)據(jù)中，集群化部件45將未處理的摘要數(shù)據(jù)設(shè)為待處理的第一層摘要數(shù)據(jù)Cl。在步驟S53中，集群化部件45將對類別進(jìn)行計(jì)數(shù)的計(jì)數(shù)器“m”初始化為1。在步驟S54中，集群化部件45控制距離計(jì)算塊82以計(jì)算類別“m”的重心向量與構(gòu)成待處理的第一層摘要數(shù)據(jù)Cl的向量之間的距離dm。更具體地，距離計(jì)算塊82可使用平方范數(shù)來計(jì)算向量之間的距離dm。在步驟S55中，集群化部件45確定這樣獲得的向量到向量距離dm是否小于預(yù)定閾值thl。如果向量到向量距離dm被確定為小于閾值thl，則控制被轉(zhuǎn)移到步驟S56。在步驟S56中，集群化部件45將處理所針對的第一層摘要數(shù)據(jù)Cl臨時(shí)登記到類別 “m，，。在步驟S57中，集群化部件45確定計(jì)數(shù)器“m”是否已達(dá)到集群化的類別的數(shù)目M。 如果確定計(jì)數(shù)器“III”尚未達(dá)到數(shù)目M，則控制被轉(zhuǎn)移到步驟S58。在步驟S58中，集群化部件45將計(jì)數(shù)器“m”遞增1，并且控制返回到步驟S54。也就是說，在每個(gè)類別的重心向量和第一層摘要數(shù)據(jù)Cl的向量之間的距離被確定為小于預(yù)定閾值thl之前，步驟SM到S58被重復(fù)。如果在步驟S57中計(jì)數(shù)器“m”被確定為已達(dá)到類別數(shù)目M，則到達(dá)步驟S59。在步驟S59中，集群化部件45確定處理所針對的第一層摘要數(shù)據(jù)Cl是否已被集群化到任一類別中并且臨時(shí)登記在那里。如果確定第一層摘要數(shù)據(jù)Cl已被集群化到任一類別中并且臨時(shí)登記在那里，則控制被轉(zhuǎn)移到步驟S60。在步驟S60中，從待處理的第一層摘要數(shù)據(jù)Cl被臨時(shí)登記到的類別中，集群化部件45將第一層摘要數(shù)據(jù)Cl集群化到處于最短距離dm的類別“m”中。也就是說，在待處理的第一層摘要數(shù)據(jù)Cl已被臨時(shí)登記到多個(gè)類別的場合，需要將摘要數(shù)據(jù)明確地集群化到其中一個(gè)類別中。因此，待處理的第一層摘要數(shù)據(jù)Cl被集群化到重心向量離所討論的第一層摘要數(shù)據(jù)Cl的向量最近的類別中(即，集群化到最相似的類別中)。 在步驟S61中，集群化部件45確定同一運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)是否已被登記到所選類別中。如果在步驟S61中，確定沒有同一運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)被登記到所選類別中，則到達(dá)步驟S62。在步驟S62中，集群化部件45將處理所針對的第一層摘要數(shù)據(jù)Cl集群化到所選類別中從而將摘要數(shù)據(jù)Cl登記到第一層摘要數(shù)據(jù)數(shù)據(jù)庫101 中。如果在步驟S59中所討論的第一層摘要數(shù)據(jù)Cl尚未被集群化到任一類別中，或者如果在步驟S61中同一運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)已被登記到所選類別中，則控制被轉(zhuǎn)移到步驟S63中。在步驟S63中，集群化部件45確定要登記的運(yùn)動(dòng)圖像內(nèi)容中是否剩有任何未處理的第一層摘要數(shù)據(jù)。如果確定這種未處理的第一層摘要數(shù)據(jù)存在，則控制返回到步驟S52。 也就是說，在未處理的第一層摘要數(shù)據(jù)在采樣數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容中窮盡之前，步驟S52 至S63被重復(fù)。如果在步驟S63中確定不再有未處理的第一層摘要數(shù)據(jù)存在于要登記的運(yùn)動(dòng)圖
13像內(nèi)容中了，則集群化處理終止。當(dāng)上述步驟已被執(zhí)行時(shí)，關(guān)于要登記的運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)，最大的一個(gè)第一層摘要數(shù)據(jù)項(xiàng)被集群化到每個(gè)類別中?，F(xiàn)在將說明返回到圖2的流程圖。在步驟S13中，關(guān)于登記所針對的運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)，最大的一個(gè)第一層摘要數(shù)據(jù)項(xiàng)被集群化到每個(gè)類別中?？刂齐S后被轉(zhuǎn)移到步驟S14。在步驟S14中，第二層摘要數(shù)據(jù)生成部件44執(zhí)行第二層摘要數(shù)據(jù)生成處理以生成由第二層摘要數(shù)據(jù)組成的第二層摘要數(shù)據(jù)文件112。第二層摘要數(shù)據(jù)生成部件44將生成的第二層摘要數(shù)據(jù)文件112與運(yùn)動(dòng)圖像內(nèi)容文件111 一起以內(nèi)容數(shù)據(jù)對102的形式存儲(chǔ)到存儲(chǔ)單元M中。[第二層摘要數(shù)據(jù)生成處理]下面參考圖6的流程圖來描述第二層摘要數(shù)據(jù)生成處理。在步驟S81中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23將對幀的數(shù)目進(jìn)行計(jì)數(shù)的計(jì)數(shù)器F 初始化為1。在步驟S82中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23確定緩沖器22中保存的作為要登記的運(yùn)動(dòng)圖像內(nèi)容的一部分的另一幀圖像是否存在。如果運(yùn)動(dòng)圖像內(nèi)容中不剩有幀圖像了，則第二層摘要數(shù)據(jù)生成處理終止。如果另一幀圖像在步驟S82中被確定為存在，則控制被轉(zhuǎn)移到步驟S83。在步驟S83中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23從緩沖器22中提取幀(F)作為感興趣幀的圖像。在步驟S84中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23控制活動(dòng)性計(jì)算部件41以計(jì)算與所提取的感興趣幀的圖像有關(guān)的活動(dòng)性圖像。在步驟S85中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23控制活動(dòng)性計(jì)算部件41以在所獲得的活動(dòng)性圖像內(nèi)將具有最高活動(dòng)性的像素的位置滑動(dòng)到感興趣幀的圖像的中心。在步驟S86中，第二層摘要數(shù)據(jù)生成部件44控制圖像劃分塊71以將滑動(dòng)了中心位置的第F幀劃分成N個(gè)分割區(qū)域P (η)。在步驟S87中，第二層摘要數(shù)據(jù)生成部件44將對分割區(qū)域P (η)進(jìn)行計(jì)數(shù)的計(jì)數(shù)器“η”初始化為1。在步驟S88中，第二層摘要數(shù)據(jù)生成部件44控制RGB像素值平均值計(jì)算塊72以獲得分割區(qū)域P (η)中的與每個(gè)RGB像素有關(guān)的像素值的平均值。在步驟S89中，第二層摘要數(shù)據(jù)生成部件44確定計(jì)數(shù)器“η”是否在預(yù)定分割數(shù)N。 如果在步驟S89中確定計(jì)數(shù)器“η”未達(dá)到預(yù)定分割數(shù)N，則到達(dá)步驟S90。在步驟S90中， 第二層摘要數(shù)據(jù)生成部件44將計(jì)數(shù)器“η”遞增1，并且控制返回到步驟S88。也就是說，所有分割區(qū)域P (η)中的與每個(gè)RGB像素有關(guān)的像素值的平均值被獲得。如果在步驟S90中確定計(jì)數(shù)器“η”已達(dá)到分割數(shù)N，則控制被轉(zhuǎn)移到步驟S91。在步驟S91中，第二層摘要數(shù)據(jù)生成部件44向新的第二層摘要數(shù)據(jù)文件112登記由下述向量形成的并且總計(jì)約30字節(jié)的第二層摘要數(shù)據(jù)C2，所述向量的元素由計(jì)算出的每個(gè)分割區(qū)域P(I)至P(N)中的與每個(gè)RGB像素有關(guān)的像素值平均值組成。這種情況下， 第二層摘要數(shù)據(jù)生成部件44將第二層摘要數(shù)據(jù)C2以被處理的幀的次序登記到新的第二層摘要數(shù)據(jù)文件112中以存儲(chǔ)在存儲(chǔ)單元M中。在步驟S92中，計(jì)數(shù)器F遞增1?？刂齐S后返回到步驟S82。當(dāng)上述步驟已被執(zhí)行時(shí)，組成運(yùn)動(dòng)圖像內(nèi)容的每個(gè)幀被依次當(dāng)作感興趣幀并被劃分成預(yù)定數(shù)目的分割區(qū)域P (η)。每個(gè)分割區(qū)域P (η)中的與每個(gè)RGB像素有關(guān)的像素值平均值被獲得。作為其元素由每個(gè)分割區(qū)域P(n)中的與每個(gè)RGB像素有關(guān)的像素值平均值組成的向量的并且總計(jì)約30字節(jié)的第二層摘要數(shù)據(jù)C2以被處理的幀的次序被依次登記在第二層摘要數(shù)據(jù)文件112中。例如，如果感興趣幀被劃分成如圖4所示的32個(gè)分割區(qū)域并且如果指示四個(gè)顏色等級之一的每個(gè)RGB像素用兩比特表示，則一個(gè)第二層摘要數(shù)據(jù)項(xiàng)C2 由96維向量形成，所述96維向量由M個(gè)字節(jié)組成。另外，第二層摘要數(shù)據(jù)文件112被以如下方式構(gòu)造第二層摘要數(shù)據(jù)C2以幀的次序按時(shí)間順序被存儲(chǔ)在該文件中。為此，由以幀的次序被存儲(chǔ)在第二層摘要數(shù)據(jù)文件112中的第二層摘要數(shù)據(jù)C2組成的數(shù)據(jù)可被認(rèn)為構(gòu)成了由包含時(shí)序信息的第二層摘要數(shù)據(jù)C2的向量組成的特征量。現(xiàn)在將說明返回到圖2的流程圖。在步驟S14中，第二層摘要數(shù)據(jù)文件112在第二層摘要數(shù)據(jù)生成處理中生成?？刂齐S后被轉(zhuǎn)移到步驟S15。在步驟S15中，運(yùn)動(dòng)圖像內(nèi)容數(shù)據(jù)登記單元23向存儲(chǔ)單元M登記由運(yùn)動(dòng)圖像內(nèi)容文件111和相應(yīng)的第二層摘要數(shù)據(jù)文件112構(gòu)成的內(nèi)容數(shù)據(jù)對102，所述運(yùn)動(dòng)圖像內(nèi)容文件111由要登記的運(yùn)動(dòng)圖像內(nèi)容組成。在通過實(shí)施上述步驟登記了運(yùn)動(dòng)圖像內(nèi)容的場合，在預(yù)定數(shù)目的幀間隔處提取的或者以場景改變時(shí)出現(xiàn)的幀為單位提取的第一層摘要數(shù)據(jù)被登記到第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中。此外，以幀為單位提取的第二層摘要數(shù)據(jù)按幀的次序被登記在第二層摘要數(shù)據(jù)文件112中。第二層摘要數(shù)據(jù)文件112與運(yùn)動(dòng)圖像內(nèi)容文件111配對以組成被存儲(chǔ)到存儲(chǔ)單元M中的內(nèi)容數(shù)據(jù)對102。第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中的信息在其中唯一地被登記為構(gòu)成不以幀為單位提取而在預(yù)定數(shù)目的幀間隔處提取或以場景改變時(shí)出現(xiàn)的幀為單位提取的數(shù)據(jù)庫的第一層摘要數(shù)據(jù)Cl。因此，第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中的信息不包含時(shí)序信息并且被登記以用作有助于增強(qiáng)數(shù)據(jù)搜索的數(shù)據(jù)庫。為此，第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中的信息被認(rèn)為提供了高度適合于通過與搜索的目標(biāo)采樣數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容的數(shù)據(jù)作比較來確定搜索所針對的采樣數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容的特征量。由于第一層摘要數(shù)據(jù)在被登記到第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中時(shí)被集群化，因此，在搜索給定的第一層摘要數(shù)據(jù)時(shí)，可以確定感興趣的第一層摘要數(shù)據(jù)屬于哪一類別，然后再搜索所確定的類別以得到所討論的第一層摘要數(shù)據(jù)。這種安排可以提高搜索的速度。[初始集群化處理] 對于前述步驟，假設(shè)存儲(chǔ)單元M中登記的所有運(yùn)動(dòng)圖像內(nèi)容文件111已被集群化到類別中。然而，如果運(yùn)動(dòng)圖像內(nèi)容文件111是未經(jīng)集群化地登記在存儲(chǔ)單元M中的，則需要初始集群化處理。以下參考圖7的流程圖來說明初始集群化處理。這里假設(shè)關(guān)于所有運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)在第一層摘要數(shù)據(jù)生成處理后已被登記到第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中。因此，假設(shè)運(yùn)動(dòng)圖像內(nèi)容在圖2的流程圖中的步驟S11、S12、S14和S15(不包括Si； )中不經(jīng)集群化地被存儲(chǔ)在存儲(chǔ)單元M中。
15
在步驟Slll中，集群化部件45將計(jì)數(shù)器“q”和“r”分別初始化為1和2。計(jì)數(shù)器 “q”標(biāo)識出感興趣的第一層摘要數(shù)據(jù)Cl(q)并且計(jì)數(shù)器“r”標(biāo)識出第一層摘要數(shù)據(jù)數(shù)據(jù)庫 101內(nèi)作為比較對象的第一層摘要數(shù)據(jù)Cl (r)。在步驟Sl 12中，集群化部件45控制距離計(jì)算塊82以計(jì)算第一層摘要數(shù)據(jù)Cl (q) 和第一層摘要數(shù)據(jù)Cl (r)之間的距離dm。在步驟Sl 13中，集群化部件45確定計(jì)算出的距離dm是否短于預(yù)定閾值thl。如果距離dm被確定短于預(yù)定閾值thl (即，檢測到相似性)，則控制被轉(zhuǎn)移到步驟S114。在步驟S114，集群化部件45令初始登記塊83確定第一層摘要數(shù)據(jù)Cl (r)所屬于的運(yùn)動(dòng)圖像內(nèi)容的任何其他第一層摘要數(shù)據(jù)Cl是否已被集群化并登記到與感興趣的第一層摘要數(shù)據(jù)Cl (q)相同的類別。如果在步驟S114中確定第一層摘要數(shù)據(jù)Cl (r)所屬于的運(yùn)動(dòng)圖像內(nèi)容的任何其他第一層摘要數(shù)據(jù)Cl尚未被集群化并登記到與感興趣的第一層摘要數(shù)據(jù)Cl (q)相同的類別，則控制被轉(zhuǎn)移到步驟S115。在步驟S115中，初始登記塊83在登記摘要數(shù)據(jù)Cl (r)之前，將第一層摘要數(shù)據(jù) Cl(r)集群化到與第一層摘要數(shù)據(jù)Cl (q)相同的類別。也就是說，如果被集群化到與第一層摘要數(shù)據(jù)Cl (q)相同的類別的、用于與其他摘要數(shù)據(jù)進(jìn)行比較的第一層摘要數(shù)據(jù)Cl(r)已被登記，則從同一運(yùn)動(dòng)圖像內(nèi)容獲得的多個(gè)不同的第一層摘要數(shù)據(jù)將被登記到同一類別。由于每個(gè)類別被認(rèn)為容納了運(yùn)動(dòng)圖像內(nèi)容之間的相似的或匹配的幀圖像，因此無需將同一運(yùn)動(dòng)圖像內(nèi)容的多個(gè)第一層摘要數(shù)據(jù)登記到同一類別。為此，只有在沒有同一運(yùn)動(dòng)圖像內(nèi)容的其他第一層摘要數(shù)據(jù)已被登記的情況下， 才將作為比較對象的第一層摘要數(shù)據(jù)Cl(r)集群化并登記到與感興趣的第一層摘要數(shù)據(jù) Cl(q)相同的類別中。在步驟S116中，集群化部件45確定計(jì)數(shù)器“r”是否已達(dá)到第一層摘要數(shù)據(jù)Cl的總計(jì)數(shù)Q。如果確定計(jì)數(shù)器“!·”未處于總計(jì)數(shù)Q，則到達(dá)步驟S117。在步驟S117中，計(jì)數(shù)器 “r”遞增1，并且控制返回到步驟S112。如果在步驟Sl 13中確定距離dm長于預(yù)定閾值thl，或者如果在步驟Sl 14中確定作為比較對象的、與感興趣的第一層摘要數(shù)據(jù)Cl(q)屬于同一類別的某一其他第一層摘要數(shù)據(jù)Cl(r)已被集群化并登記，則略過步驟S115?？刂齐S后被轉(zhuǎn)移到步驟S116。也就是說，在感興趣的第一層摘要數(shù)據(jù)Cl(q)已與作為比較對象的所有其他第一層摘要數(shù)據(jù)Cl (r)進(jìn)行比較之前，步驟Sl 12至Sl 16被重復(fù)。如果在步驟S116中確定計(jì)數(shù)器“r”已達(dá)到總計(jì)數(shù)Q，則到達(dá)步驟S118。在步驟 S118中，集群化部件45確定計(jì)數(shù)器“q”是否已達(dá)到總計(jì)數(shù)Q。如果在步驟S118中確定計(jì)數(shù)器“q”未達(dá)到總計(jì)數(shù)Q，則到達(dá)步驟S119。在步驟S119中，集群化部件45將計(jì)數(shù)器“q” 遞增1。然后在步驟S120中，集群化部件45將計(jì)數(shù)器“r”設(shè)為大于計(jì)數(shù)器“q”上的值的值?？刂齐S后返回到步驟S112。也就是說，無需在第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中的第一層摘要數(shù)據(jù)之間執(zhí)行重復(fù)比較。用于與感興趣第一層摘要數(shù)據(jù)Cl (q)進(jìn)行比較的第一層摘要數(shù)據(jù)Cl (r)只需大于計(jì)數(shù)器“q”上的值。因此計(jì)數(shù)器“r”計(jì)算處理從q+Ι開始到總計(jì)數(shù)Q被執(zhí)行的次數(shù)。在這些比較在所有第一層摘要數(shù)據(jù)之間已被執(zhí)行之前，步驟S112至S120重復(fù)。
如果在步驟S118中確定計(jì)數(shù)器“q”已達(dá)到總計(jì)數(shù)Q，則初始集群化處理結(jié)束。當(dāng)上述步驟已被執(zhí)行時(shí)，相似的或匹配的第一層摘要數(shù)據(jù)被集群化到同一類別中。另外，屬于同一運(yùn)動(dòng)圖像內(nèi)容的最大一個(gè)第一層摘要數(shù)據(jù)被集群化到每個(gè)類別中。結(jié)果，如果每個(gè)類別是通過比如說從不同的運(yùn)動(dòng)圖像內(nèi)容獲得六個(gè)第一層摘要數(shù)據(jù)項(xiàng)而形成的，則提取出如圖8的頂行所示的指示同一個(gè)人的六個(gè)幀圖像。作為替代，可以提取出圖8 的從頂部數(shù)第二行的示出同一燈塔和海洋的六個(gè)幀圖像、從頂部數(shù)第三行的示出兩架飛機(jī)的六個(gè)幀圖像或者從頂部數(shù)第四行的示出同一火箭發(fā)射臺(tái)的六個(gè)幀圖像。圖8中每行的六個(gè)幀圖像被集群化到同一類別中。也就是說，由圖8每行的六個(gè)幀圖像組成的第一層摘要數(shù)據(jù)構(gòu)成其向量到向量距離落入預(yù)定范圍的圖像。當(dāng)針對每個(gè)被集群化到同一類別中的第一層摘要數(shù)據(jù)的數(shù)目獲得類別數(shù)目時(shí)，已知會(huì)出現(xiàn)如圖9所示的趨勢。也就是說，在圖9中，縱軸表示被集群化到同一類別中的第一層摘要數(shù)據(jù)的數(shù)目(即，被集群化到同一類別中的幀圖像的數(shù)目)，并且橫軸代表類別數(shù)目。結(jié)果，可以看出，存在多個(gè)各自集群化了小數(shù)目(例如3到5)的第一層摘要數(shù)據(jù)項(xiàng)的類別，并且存在極少數(shù)的各自集群化了大數(shù)目(例如16或更大)的第一層摘要數(shù)據(jù)項(xiàng)的類別。由此理解到標(biāo)識出具有多個(gè)第一層摘要數(shù)據(jù)項(xiàng)的類別之一也可以標(biāo)識出相應(yīng)的運(yùn)動(dòng)圖像內(nèi)容。因此，在對給定的運(yùn)動(dòng)圖像內(nèi)容進(jìn)行搜索時(shí)，可以看出，通過標(biāo)識出類別并與屬于所標(biāo)識的類別的第一層摘要數(shù)據(jù)進(jìn)行比較，搜索處理所涉及的負(fù)荷被減少并且搜索速度被提高。還可以使用如圖9所示的未經(jīng)修改的類別分布來執(zhí)行數(shù)據(jù)挖掘。例如，在同一 TV節(jié)目每天被存儲(chǔ)為運(yùn)動(dòng)圖像內(nèi)容的場合，可以對在給定月份中高頻率地使用的場景進(jìn)行統(tǒng)計(jì)分析。[搜索和提取處理]下面參考圖10的流程圖來說明搜索和提取處理。在步驟S141中，圖像獲取單元21獲取組成搜索所針對的運(yùn)動(dòng)圖像內(nèi)容的采樣數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容，并將獲取的內(nèi)容存儲(chǔ)在緩沖器22中。在步驟S142中，搜索和提取單元25從緩沖器22所保存的采樣數(shù)據(jù)的運(yùn)動(dòng)圖像中提取構(gòu)成代表性圖像的幀圖像。另外，搜索和提取單元25控制活動(dòng)性計(jì)算部件151以計(jì)算組成搜索所針對的運(yùn)動(dòng)圖像內(nèi)容的代表性圖像的幀的活動(dòng)性圖像。在步驟S143中，搜索和提取單元25控制圖像滑動(dòng)部件152以在所獲取的活動(dòng)性圖像內(nèi)將具有最高活動(dòng)性的像素的位置滑動(dòng)到構(gòu)成代表性圖像的幀的圖像的中心。在步驟S144中，第一層摘要數(shù)據(jù)搜索部件153控制圖像劃分塊171以將組成滑動(dòng)了中心位置的代表性圖像的幀劃分成N個(gè)分割區(qū)域P (η)。在步驟S145中，第一層摘要數(shù)據(jù)搜索部件153將對分割區(qū)域Ρ(η)進(jìn)行計(jì)數(shù)的計(jì)數(shù)器“η”初始化為1。在步驟S146中，第一層摘要數(shù)據(jù)搜索部件153控制RGB像素值平均值計(jì)算塊172 以獲得分割區(qū)域P (η)中的與每個(gè)RGB像素有關(guān)的像素值的平均值。在步驟S147中，第一層摘要數(shù)據(jù)搜索部件153確定計(jì)數(shù)器“η”是否處于預(yù)定分割數(shù)N。如果在步驟S147中確定計(jì)數(shù)器“η”未達(dá)到預(yù)定分割數(shù)N，則到達(dá)步驟S148。在步驟 S148中，第一層摘要數(shù)據(jù)搜索部件153將計(jì)數(shù)器“η”遞增1，并且控制返回到步驟S146。也就是說，所有分割區(qū)域P(η)中的與每個(gè)RGB像素有關(guān)的像素值的平均值被獲得。
如果在步驟S147中確定計(jì)數(shù)器“η”已達(dá)到分割數(shù)N，則控制被轉(zhuǎn)移到步驟S149。在步驟S149中，第一層摘要數(shù)據(jù)搜索部件153存儲(chǔ)由下述向量形成的、總計(jì)約100 字節(jié)的第一層摘要數(shù)據(jù)Clt，所述向量的元素由計(jì)算出的每個(gè)分割區(qū)域P(I)至P(N)中的與每個(gè)RGB像素有關(guān)的像素值平均值組成，并且對于搜索所針對的運(yùn)動(dòng)圖像內(nèi)容，所述第一層摘要數(shù)據(jù)Clt組成采樣數(shù)據(jù)的代表性圖像?？刂齐S后被轉(zhuǎn)移到步驟S150。在步驟S 150中，類別搜索部件155從第一層摘要數(shù)據(jù)數(shù)據(jù)庫101中登記的那些第一層摘要數(shù)據(jù)中提取被集群化到類別中的第一層摘要數(shù)據(jù)。另外，類別搜索部件155控制重心計(jì)算塊191以計(jì)算由被集群化到同一類別的第一層摘要數(shù)據(jù)組成的向量的重心向量。在步驟S151中，類別搜索部件155將標(biāo)識出類別的計(jì)數(shù)器“m”初始化為1。在步驟S152中，類別搜索部件155控制比較塊192以將代表性圖像的幀的第一層摘要數(shù)據(jù)Clt的向量與類別“H!”的重心向量作比較以便確定其間的匹配(或相似性)。這種情況下，比如說(3,4,0,4)和(2,4,1,4)之類的使用范圍從0到7的值、用三比特來表示的向量被映射到使用值0到3用兩比特來表示的向量(1，2，0，2)和(1，2，0，2)。如果向量之間的這種比特轉(zhuǎn)換導(dǎo)致匹配或相似性，則所涉及的向量可被確定為彼此匹配或相似。在另一示例中，比如說(3，2，3，0)和(4，2，4，0)之類的三比特的向量在經(jīng)歷簡單的三至兩比特轉(zhuǎn)換后產(chǎn)生兩比特的向量(1，1，1，0)和0，1，2，0)，結(jié)果不匹配。然而，如果由所涉及的量化步長的一半(即，1)來補(bǔ)充，則初始三比特向量成為向量(4,3,3,1)和(5，3，5，1)，后者進(jìn)而在經(jīng)歷三至兩比特轉(zhuǎn)換后產(chǎn)生向量O，l，2，0)和0，1，2，0)，結(jié)果匹配。也就是說， 如果當(dāng)在量化期間進(jìn)行半個(gè)量化步長的補(bǔ)充后再進(jìn)行三至兩比特轉(zhuǎn)換時(shí)，所涉及的向量被發(fā)現(xiàn)彼此匹配或彼此相似，則這種匹配或相似性可以被識別為有效。這種安排使得可以降低由如下情況決定的極窄搜索范圍所造成的增加的不匹配的可能性，所述情況即向量之間的比較只有在完全數(shù)值匹配時(shí)才被認(rèn)為是匹配的。在步驟S152中，確定第一層摘要數(shù)據(jù)Clt的向量是否與類別“m”的重心向量匹配。 如果在步驟S152中確定兩個(gè)向量彼此匹配。則到達(dá)步驟S153。在步驟S153中，類別搜索部件155登記類別“m”。如果在步驟S152中確定第一層摘要數(shù)據(jù)Clt的向量與類別“m”的重心向量不匹配，則略過步驟S153。在步驟SlM中，類別搜索部件155確定計(jì)數(shù)器“m”是否已達(dá)到類別數(shù)M。如果確定計(jì)數(shù)器“III”未達(dá)到類別數(shù)M，則到達(dá)步驟S155。在步驟S155中，計(jì)數(shù)器“m”遞增1，并且控制被轉(zhuǎn)移到步驟S152。當(dāng)與每個(gè)類別“H!”的重心向量的比較已完成時(shí)，計(jì)數(shù)器“H!”在步驟SlM中被確定為已達(dá)到類別數(shù)M。控制隨后被轉(zhuǎn)移到步驟S156。在步驟S156中，第一層摘要數(shù)據(jù)搜索部件153選擇步驟S153中登記的類別“m” 的集合作為處理所針對的類別“X”。作為替代，類別“X”可以被布置成代表多個(gè)類別“m”。在步驟S157中，第一層摘要數(shù)據(jù)搜索部件153將標(biāo)識出屬于類別“X”的第一層摘要數(shù)據(jù)Cl (S)的計(jì)數(shù)器“S”初始化為1。在步驟S158中，第一層摘要數(shù)據(jù)搜索部件153控制比較塊173以將一方面的構(gòu)成代表性圖像的幀的第一層摘要數(shù)據(jù)Clt的向量與另一方面的屬于類別“X”的第一層摘要數(shù)據(jù)Cl (s)的向量作比較，以便確定其間的匹配或不匹配。作為替代，如上面結(jié)合步驟S152
18的處理說明的，向量之間的匹配還可在比特?cái)?shù)轉(zhuǎn)換后或者在通過添加半個(gè)所涉及的量化步長寬度來改變比特?cái)?shù)之后被識別。如果在步驟S158中確定第一層摘要數(shù)據(jù)Clt的向量與屬于類別“X”的第一層摘要數(shù)據(jù)Cl (S)的向量匹配，則到達(dá)步驟S159。在步驟S159中，第一層摘要數(shù)據(jù)搜索部件153 登記屬于類別“X”的第一層摘要數(shù)據(jù)Cl (s)的向量。如果在步驟S158中確定第一層摘要數(shù)據(jù)Clt的向量與屬于類別“X”的第一層摘要數(shù)據(jù)Cl (s)的向量不匹配，則略過步驟S159。在步驟S160中，第一層摘要數(shù)據(jù)搜索部件153確定計(jì)數(shù)器“S”是否已達(dá)到屬于類別“X”的第一層摘要數(shù)據(jù)Cl (S)的總數(shù)S。如果確定計(jì)數(shù)器“S”未達(dá)到總數(shù)S，則到達(dá)步驟 S161并且計(jì)數(shù)器“S”遞增1?？刂齐S后返回到步驟S158。在完成與屬于所有類別“X”的第一層摘要數(shù)據(jù)Cl (S)的向量的比較之后，到達(dá)步驟S160。在步驟S160中，計(jì)數(shù)器“S”被認(rèn)為已達(dá)到總數(shù)S?？刂齐S后被轉(zhuǎn)移到步驟S162。在步驟S162中，從屬于類別“X”的第一層摘要數(shù)據(jù)Cl (s)的向量中，檢索與下述第一層摘要數(shù)據(jù)Clt的向量匹配的第一層摘要數(shù)據(jù)Cl的運(yùn)動(dòng)圖像內(nèi)容所對應(yīng)的內(nèi)容數(shù)據(jù)對102，所述第一層摘要數(shù)據(jù)Clt是從搜索所針對的運(yùn)動(dòng)圖像內(nèi)容的采樣數(shù)據(jù)提取的。在步驟S163中，第二層摘要數(shù)據(jù)搜索和提取部件154以和第二層摘要數(shù)據(jù)生成部件44控制圖像劃分塊71和RGB像素值平均值計(jì)算塊72相同的方式來控制圖像劃分塊181 和RGB像素值平均值計(jì)算塊182，從而執(zhí)行第二層摘要數(shù)據(jù)生成處理以生成搜索所針對的運(yùn)動(dòng)圖像內(nèi)容的采樣數(shù)據(jù)的第二層摘要數(shù)據(jù)文件112。第二層摘要數(shù)據(jù)生成處理與上面參考圖6的流程圖說明的處理相同，因此不再討論。在步驟S164中，第二層摘要數(shù)據(jù)搜索和提取部件IM控制滑動(dòng)匹配搜索塊183以滑動(dòng)搜索所針對的運(yùn)動(dòng)圖像內(nèi)容的采樣數(shù)據(jù)的第二層摘要數(shù)據(jù)文件和步驟S162中檢索得到的內(nèi)容數(shù)據(jù)對102中包含的第二層摘要數(shù)據(jù)文件112，從而獲得在幀的第二層摘要數(shù)據(jù)之間的差分絕對值和的意義上的相似度。在步驟S165中，基于相似度，第二層摘要數(shù)據(jù)搜索和提取部件IM確定搜索所針對的運(yùn)動(dòng)圖像內(nèi)容和運(yùn)動(dòng)圖像內(nèi)容中采樣數(shù)據(jù)的再生位置。更具體地，如果與滑動(dòng)幀的數(shù)目相對應(yīng)地獲得的最小相似度小于預(yù)定閾值，則第二層摘要數(shù)據(jù)搜索和提取部件1 認(rèn)為采樣數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容與步驟S162中檢索得到的內(nèi)容數(shù)據(jù)對102的運(yùn)動(dòng)圖像內(nèi)容匹配， 從而將采樣數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容確定為搜索所針對的運(yùn)動(dòng)圖像內(nèi)容。這種情況下，相似度最小的滑動(dòng)位置也被確定為搜索所針對的運(yùn)動(dòng)圖像內(nèi)容中采樣數(shù)據(jù)的再生位置。也就是說，滑動(dòng)匹配搜索塊183通?？色@得一方面的在圖11的頂行中示出的采樣數(shù)據(jù)的第二層摘要數(shù)據(jù)文件112A和另一方面的在圖11的第二行中示出并且在步驟S162 中檢索得到的第二層摘要數(shù)據(jù)文件112B之間的差分絕對值和來作為相似度。在圖11中， 采樣數(shù)據(jù)的第二層摘要數(shù)據(jù)文件112A由幀F(xiàn)201至F203組成。這些幀的第二層摘要數(shù)據(jù)以幀的次序被表達(dá)為用數(shù)字10、11和7表示的一維向量。第二層摘要數(shù)據(jù)文件112B由幀 Fill至F115組成。這些幀的第二層摘要數(shù)據(jù)也以幀的次序被表達(dá)為用數(shù)字8、10、11、7和 6表示的一維向量。在初始處理中，獲取頂行中的第二層摘要數(shù)據(jù)文件112A和第二行中的第二層摘要數(shù)據(jù)文件112B之間的按相應(yīng)幀的次序的差分絕對值和來作為相似度。這種情況下，相似度被獲取為7(= 10-8| + | 11-10 | + | 7-111)。在下一處理中，第二層摘要數(shù)據(jù)文件112A被向右滑動(dòng)一幀，如圖11的底行中所示。這將相似度提供為0 ( = 110-10 I +111-111 +1 7-7 I)。 這種情況下，確定第二層摘要數(shù)據(jù)文件112B的運(yùn)動(dòng)圖像內(nèi)容是已從如下運(yùn)動(dòng)圖像中搜索到的運(yùn)動(dòng)圖像內(nèi)容，從所述運(yùn)動(dòng)圖像中獲得了第二層摘要數(shù)據(jù)文件112A。另外在這種情況下，確定搜索所針對的運(yùn)動(dòng)圖像內(nèi)容匹配的定時(shí)作為第二層摘要數(shù)據(jù)文件112B中的幀 F112和F113被給出。這使得可以確定匹配的運(yùn)動(dòng)圖像的再生位置。在圖11的示例中，第二層摘要數(shù)據(jù)文件被認(rèn)為在其間的相似度結(jié)果為0時(shí)匹配。作為替代，可在發(fā)現(xiàn)相似度小于預(yù)定閾值的情況下識別出文件之間的匹配。例如，如圖12所示，在發(fā)現(xiàn)不同運(yùn)動(dòng)圖像內(nèi)容之間的相應(yīng)幀的第二層摘要數(shù)據(jù)的改變在其間是相似的或匹配的場合，這些內(nèi)容可被認(rèn)為是同一運(yùn)動(dòng)圖像內(nèi)容。在圖12中，時(shí)隙0至9是標(biāo)識出運(yùn)動(dòng)圖像內(nèi)容的標(biāo)識符。圖12的橫軸代表幀號， 縱軸表示由組成每個(gè)幀的一維向量元素組成的第二層摘要數(shù)據(jù)的改變。應(yīng)該注意，時(shí)隙0 至9代表為了提供最小相似度(即，最相似狀態(tài))而通過滑動(dòng)匹配來調(diào)整幀的滑動(dòng)位置之后給出的波形。也就是說，假定在圖12中，由比如說時(shí)隙1指示的波形屬于從采樣數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容獲得的第二層摘要數(shù)據(jù)文件。然后，該波形被認(rèn)為與對應(yīng)于時(shí)隙2和3的運(yùn)動(dòng)圖像內(nèi)容的第二層摘要數(shù)據(jù)文件的波形足夠相似。結(jié)果，時(shí)隙1的運(yùn)動(dòng)圖像內(nèi)容被發(fā)現(xiàn)與時(shí)隙 2和3的運(yùn)動(dòng)圖像內(nèi)容匹配。然后確定搜索所針對的運(yùn)動(dòng)圖像內(nèi)容是由時(shí)隙2和3的波形指示的運(yùn)動(dòng)圖像內(nèi)容。在步驟S166中，搜索結(jié)果顯示圖像生成部件156讀取與相似度低于預(yù)定值的第二層摘要數(shù)據(jù)文件112的內(nèi)容數(shù)據(jù)對相同的內(nèi)容數(shù)據(jù)對102的運(yùn)動(dòng)圖像內(nèi)容文件111。這樣檢索得到的運(yùn)動(dòng)圖像內(nèi)容文件111與再生位置一起作為搜索結(jié)果被顯示在顯示單元27上。在已執(zhí)行了以上步驟的場合，可以通過簡單地輸入采樣數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容來容易而迅速地搜索存儲(chǔ)單元M中登記的想要的運(yùn)動(dòng)圖像內(nèi)容。在諸如第一層和第二層摘要數(shù)據(jù)之類的分層摘要數(shù)據(jù)被使用的場合，在使用位于較低層并含有時(shí)序信息的第二層摘要數(shù)據(jù)文件執(zhí)行目標(biāo)運(yùn)動(dòng)圖像內(nèi)容的搜索之前，首先基于指示位于較高層并且不含時(shí)序信息的特征量的第一層摘要數(shù)據(jù)來執(zhí)行搜索提煉。這使得可以降低搜索涉及的負(fù)荷并提高搜索的速度。另外，當(dāng)?shù)谝粚诱獢?shù)據(jù)是以數(shù)據(jù)庫的形式來管理的時(shí)，搜索可以比之前更容易且更高速地執(zhí)行。由于第一層摘要數(shù)據(jù)是在被集群化到類別中之后以類別為單位來管理的，第一層摘要數(shù)據(jù)可以通過每個(gè)類別的重心向量來提煉。只有這樣提煉的第一層摘要數(shù)據(jù)可以在彼此之間進(jìn)行詳細(xì)比較。這使得可以實(shí)現(xiàn)僅涉及第一層摘要數(shù)據(jù)的高速搜索處理。[壓縮處理]以上描述集中于通過簡單地輸入由運(yùn)動(dòng)圖像內(nèi)容的一部分組成的采樣數(shù)據(jù)來容易而迅速地搜索并取得目標(biāo)運(yùn)動(dòng)圖像內(nèi)容的示例。然而，有時(shí)候，大量個(gè)別不同的、各自包含同一場景的運(yùn)動(dòng)圖像內(nèi)容同樣可能被檢索并存儲(chǔ)到存儲(chǔ)單元M中，作為眾多包含重復(fù)場景的運(yùn)動(dòng)圖像內(nèi)容。這種情況下，每個(gè)運(yùn)動(dòng)圖像內(nèi)容文件可通過刪除重復(fù)場景并且僅將需要的場景接合在一起來壓縮，從而可以大大節(jié)省存儲(chǔ)單元M的存儲(chǔ)容量。下面參考圖13來說明上述壓縮處理。
20
在步驟S181中，搜索和提取單元25執(zhí)行搜索和提取處理以基于組成采樣數(shù)據(jù)的、 給定的運(yùn)動(dòng)圖像內(nèi)容的一部分來搜索匹配或相似的運(yùn)動(dòng)圖像內(nèi)容，從而確定相應(yīng)的內(nèi)容和再生位置。搜索和提取處理與以上參考圖10的流程圖討論的處理相同因而不再說明。在步驟S182中，內(nèi)容文件壓縮單元沈控制匹配部分搜索部件211以在多個(gè)所檢索得到的運(yùn)動(dòng)圖像內(nèi)容文件中搜索匹配部分。也就是說，如上面參考圖11說明的，第二層摘要數(shù)據(jù)文件112通過以幀為單位的滑動(dòng)匹配被比較。所述比較通過搜索確定了來自采樣數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容的哪些幀與被認(rèn)為匹配或相似的運(yùn)動(dòng)圖像內(nèi)容的那些幀匹配。如果多個(gè)運(yùn)動(dòng)圖像內(nèi)容作為上述比較的結(jié)果被獲取，則采樣運(yùn)動(dòng)圖像內(nèi)容的匹配部分可與所檢索得到的運(yùn)動(dòng)圖像內(nèi)容對齊，以便識別其間哪些幀對應(yīng)。因此，匹配部分搜索部件211對齊運(yùn)動(dòng)圖像內(nèi)容文件之間的匹配幀以搜索相同部分。例如，在幀F(xiàn)l的位置處， 圖14頂行示出的運(yùn)動(dòng)圖像內(nèi)容文件Contl的第二層摘要數(shù)據(jù)文件112與從頂部起第二行示出的運(yùn)動(dòng)圖像內(nèi)容文件Cont2的第二層摘要數(shù)據(jù)文件112對齊。在圖14的陰影部分中， 指示幀F(xiàn)sl至Fel的填充了上三角斜線的部分代表運(yùn)動(dòng)圖像內(nèi)容文件Contl的第二層摘要數(shù)據(jù)文件112，指示幀？82至狗2的填充了下三角斜線的部分代表運(yùn)動(dòng)圖像內(nèi)容文件Cont2 的第二層摘要數(shù)據(jù)文件112。匹配部分搜索部件211隨后通過搜索確定運(yùn)動(dòng)圖像內(nèi)容文件 Contl (或ConU)中范圍從幀F(xiàn)sl至狗2的部分在兩個(gè)文件中相同。在步驟S183中，內(nèi)容文件壓縮單元沈控制不匹配部分搜索部件212以在所檢索得到的多個(gè)運(yùn)動(dòng)圖像內(nèi)容文件的第二層摘要數(shù)據(jù)文件112中搜索不匹配部分。也就是說， 在圖14的情況中，確定運(yùn)動(dòng)圖像內(nèi)容Cont2的幀F(xiàn)s2至Fs 1和運(yùn)動(dòng)圖像內(nèi)容Cont 1的幀 Fe2至Fel是不匹配部分。在步驟S184中，內(nèi)容文件壓縮單元沈控制編輯部件213以通過編輯將匹配和不匹配部分接合在一起。也就是說，編輯部件213將與第二層摘要數(shù)據(jù)文件112相對應(yīng)的運(yùn)動(dòng)圖像內(nèi)容Cont 1(或ConU)的運(yùn)動(dòng)圖像內(nèi)容文件111中的幀F(xiàn)sl至狗2、運(yùn)動(dòng)圖像內(nèi)容 Cont2的運(yùn)動(dòng)圖像內(nèi)容文件111中的幀F(xiàn)s2至Fsl以及運(yùn)動(dòng)圖像內(nèi)容Contl的運(yùn)動(dòng)圖像內(nèi)容文件111中的幀狗2至!^e 1接合在一起。這種情況下，如果運(yùn)動(dòng)圖像內(nèi)容Cont2被用作基準(zhǔn)，則運(yùn)動(dòng)圖像內(nèi)容Contl中的幀？62至狗1僅需要通過如圖14第三行所示的編輯被接合在一起。該接合生成構(gòu)造圖14第三行示出的新的運(yùn)動(dòng)圖像內(nèi)容的一部分的格狀部分。圖 14所指示的行組成第二層摘要數(shù)據(jù)文件112的結(jié)構(gòu)。編輯部件213基于第二層摘要數(shù)據(jù)文件112的結(jié)構(gòu)來編輯運(yùn)動(dòng)圖像內(nèi)容文件111。在步驟S185中，更新部件214以反映新生成的運(yùn)動(dòng)圖像內(nèi)容的方式來更新由運(yùn)動(dòng)圖像內(nèi)容文件111和第二層摘要數(shù)據(jù)文件112組成的內(nèi)容數(shù)據(jù)對102和第一層摘要數(shù)據(jù)數(shù)據(jù)庫101。這種情況下，更新部件214刪除不再必要的運(yùn)動(dòng)圖像內(nèi)容Contl和Cont2的內(nèi)容數(shù)據(jù)對102。當(dāng)上述步驟已被執(zhí)行時(shí)，運(yùn)動(dòng)圖像內(nèi)容文件可被大大壓縮。這使得可以節(jié)省容納運(yùn)動(dòng)圖像內(nèi)容的存儲(chǔ)單元M的存儲(chǔ)容量。另外，壓縮處理降低了搜索所針對的運(yùn)動(dòng)圖像內(nèi)容的數(shù)目，所以內(nèi)容管理的負(fù)擔(dān)減輕。同時(shí)，可以降低基于采樣數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容搜索所涉及的負(fù)荷從而增加搜索速度。前面的描述涉及目標(biāo)圖像被劃分成多個(gè)分割區(qū)域以獲得每個(gè)分割區(qū)域中的RGB 像素值的平均值以用作第一和第二層摘要數(shù)據(jù)的示例。然而，這不限制本實(shí)施例。特征量只需以幀為單位生成。例如，每個(gè)分割區(qū)域中的RGB像素值的平均值可用每個(gè)分割區(qū)域中的亮度或活動(dòng)性值的平均值來取代。每個(gè)分割區(qū)域的亮度直方圖也可被變?yōu)閿?shù)據(jù)。例如， 亮度方向的分辨率可用三至五比特來表達(dá)。如果用四比特來表達(dá)，則亮度方向的分辨率作為16維向量來給出。作為替代，亮度值可用RGB像素值來取代。用RGB像素表達(dá)的色立體各自可沿每個(gè)所涉及的軸用二至四比特的分辨率來劃分，每個(gè)劃分物用其出現(xiàn)的頻率來補(bǔ)充。如果用三比特來表達(dá)，則每個(gè)色立體劃分物可以作為512維向量(=83)被給出。另外，不僅圖像而且音頻信息可被用作生成以幀為單位的第一和第二層摘要數(shù)據(jù)的基礎(chǔ)。例如，每個(gè)預(yù)定音頻頻帶中的聲音音量或幅度平均值可與圖像信息結(jié)合使用。另外，色集群化(對以RGB值進(jìn)行三維表達(dá)的顏色的分布嘗試向量量化的一般圖像處理技術(shù))可在所涉及的像素上執(zhí)行。產(chǎn)生的RGB值隨后可使用這樣的三維向量來表達(dá) 最頻繁使用的顏色被表示為代表性顏色。另外，存在這種情況畫面被分割成較小區(qū)域以使得一個(gè)分割區(qū)域?qū)Ｓ糜谠谄漤敳炕虻撞款I(lǐng)域頻繁顯示插播(telop)。這種情況下，專用于頻繁插播顯示的畫面區(qū)域可用比其他區(qū)域更粗糙的分辨率來劃分以減輕插播的影響。在以上描述中，第一層摘要數(shù)據(jù)被示為從以30幀的間隔或在場景改變時(shí)出現(xiàn)的感興趣幀中獲取。作為替代，第一層摘要數(shù)據(jù)可以以與所涉及的運(yùn)動(dòng)圖像內(nèi)容的改變一致的其他間隔或非周期性地獲取。例如，在需要周期性方案的場合，第一層摘要數(shù)據(jù)可以通過不同數(shù)目的幀間隔來獲取。在優(yōu)選非周期性選項(xiàng)的場合，第一層摘要數(shù)據(jù)可從在音頻數(shù)據(jù)的靜音部分結(jié)束時(shí)出現(xiàn)的幀獲取。另外在以上描述中，第二層摘要數(shù)據(jù)被示為從每一幀中獲取。然而，第二層摘要數(shù)據(jù)只需以比第一層摘要數(shù)據(jù)小的數(shù)目的幀間隔來獲取。只要該要求被滿足，第二層摘要數(shù)據(jù)就可在每當(dāng)某個(gè)條件(例如，出現(xiàn)場景改變)被滿足時(shí)被周期性地(例如，以若干個(gè)幀的間隔)或非周期性地獲得。以上描述給出了如下示例在提取第一和第二層摘要數(shù)據(jù)后，通過事先獲得活動(dòng)性圖像并將高活動(dòng)性的位置當(dāng)作中心位置，使圖像標(biāo)準(zhǔn)化。作為替代，可使用如下距離來使圖像標(biāo)準(zhǔn)化，圖像在該距離上的自相關(guān)函數(shù)改變預(yù)定量(例如，0. 9倍)。匹配的圖像隨后可通過容許更高的放縮自由度而被檢測到。在比較后確定向量之間是否發(fā)生匹配時(shí)，要求其間的距離落入預(yù)定值內(nèi)。該預(yù)定值可依應(yīng)用而改變。例如，如果希望搜索完全匹配的運(yùn)動(dòng)圖像內(nèi)容，則最好應(yīng)令預(yù)定值小。 作為替代，如果希望通過忽略比如說插播或顏色集合的存在來搜索匹配圖像，則允許預(yù)定值大。在上述搜索和提取處理中比較各自由第一層摘要數(shù)據(jù)組成的向量時(shí)，確定向量之間是否存在匹配。作為替代，如上面結(jié)合集群化處理和初始集群化處理說明的，向量之間的距離可被獲得以根據(jù)所獲得的距離是否短于預(yù)定距離來確定其間是否存在足夠的相似性。 結(jié)果，搜索和提取處理中的關(guān)于向量是否匹配的確定可取代集群化處理或初始集群化處理中的確定所獲得的向量之間的距離是否揭示了其間足夠的相似性的處理。另外，雖然前面的段落說明了涉及由第一和第二層摘要數(shù)據(jù)形成的兩層摘要數(shù)據(jù)結(jié)構(gòu)的示例，但是這不限制本實(shí)施例。作為替代，多層摘要數(shù)據(jù)結(jié)構(gòu)可被采用，每個(gè)層經(jīng)歷針對分類目的的集群化處理。根據(jù)本實(shí)施例，如上所述，可以容易地管理海量運(yùn)動(dòng)圖像內(nèi)容并且容易地在這被管理的大量運(yùn)動(dòng)圖像內(nèi)容中搜索想要的運(yùn)動(dòng)圖像內(nèi)容。上述步驟或處理序列可由硬件或軟件來執(zhí)行。在基于軟件的處理被執(zhí)行的場合中，構(gòu)成軟件的程序可事先被合并到所使用的計(jì)算機(jī)的專用硬件中或在通用個(gè)人計(jì)算機(jī)等類似設(shè)備中使用時(shí)安裝，所述通用個(gè)人計(jì)算機(jī)等類似設(shè)備能夠基于所安裝的程序運(yùn)行各種功能。圖15示出通用個(gè)人計(jì)算機(jī)的典型結(jié)構(gòu)。個(gè)人計(jì)算機(jī)包括CPU(中央處理單元)1001。輸入/輸出接口 1005經(jīng)由總線1004連接到CPU 1001。ROM(只讀存儲(chǔ)器)1002 和RAM(隨機(jī)存取存儲(chǔ)器)1003也連接到總線1004。輸入/輸出接口 1005與輸入部件1006、輸出部件1007、存儲(chǔ)部件1008和通信部件1009相連。輸入部件1006由用戶用來輸入操作命令的鍵盤和鼠標(biāo)之類的輸入設(shè)備組成。輸出部件1007允許處理操作畫面或處理結(jié)果圖像出現(xiàn)在顯示設(shè)備上。存儲(chǔ)部件1008 一般由用于存儲(chǔ)程序和各種數(shù)據(jù)的硬盤驅(qū)動(dòng)器形成。通信部件1009通常由執(zhí)行諸如因特網(wǎng)之類的網(wǎng)絡(luò)上的通信處理的LAN(局域網(wǎng))適配器組成。另外，輸入/輸出接口 1005與從一項(xiàng)可移除介質(zhì)1011讀數(shù)據(jù)并向其寫數(shù)據(jù)的驅(qū)動(dòng)器1010相連，所述可移除介質(zhì)例如是磁盤(包括柔性盤)、光盤(包括⑶_R0M(致密盤-只讀存儲(chǔ)器)和DVD(數(shù)字萬用盤))、 磁光盤(包括MD (微型盤))和半導(dǎo)體存儲(chǔ)器。CPU 1001根據(jù)ROM 1002中存儲(chǔ)的程序或與從可移除介質(zhì)1011讀取并安裝在存儲(chǔ)部件1008中然后從那里加載到RAM 1003的程序一致地執(zhí)行各種處理，所述可移除介質(zhì)例如是磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器。RAM 1003還可容納CPU 1001執(zhí)行其不同處理所需的數(shù)據(jù)。在本說明書中，描述記錄存儲(chǔ)介質(zhì)上存儲(chǔ)的程序的步驟不僅代表以所示順序 (即，在時(shí)序基礎(chǔ)上)執(zhí)行的處理，還代表可并列或個(gè)別但不一定按時(shí)間順序執(zhí)行的處理。本申請包含與2010年4月9日遞交日本專利局的日本優(yōu)先專利申請JP 2010-090609中公開的主題相關(guān)的主題，該日本優(yōu)先專利申請的全部內(nèi)容通過引用結(jié)合于此。本領(lǐng)域技術(shù)人員應(yīng)該理解，取決于設(shè)計(jì)需求和其他因素，可以對本發(fā)明做出各種修改、組合、子組合和變更，只要它們落入所附權(quán)利要求或其等同物的范圍內(nèi)即可。
2權(quán)利要求
1.一種圖像處理設(shè)備，包括數(shù)據(jù)庫，所述數(shù)據(jù)庫根據(jù)從組成運(yùn)動(dòng)圖像內(nèi)容的圖像中以第一頻率提取的圖像，登記第一尺寸的第一層摘要數(shù)據(jù)；距離計(jì)算裝置，所述距離計(jì)算裝置基于向量之間的距離來計(jì)算所述第一層摘要數(shù)據(jù)之間的距離，所述向量的元素由所述數(shù)據(jù)庫中登記的所述第一層摘要數(shù)據(jù)形成；以及分類裝置，所述分類裝置將由所述距離計(jì)算裝置計(jì)算的距離落入預(yù)定距離內(nèi)的第一層摘要數(shù)據(jù)集群化到同一類別中，所述分類裝置還基于所述第一層摘要數(shù)據(jù)已被集群化到的類別來將運(yùn)動(dòng)圖像內(nèi)容集群化到多個(gè)類別中。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述距離計(jì)算裝置包括重心向量計(jì)算裝置，所述重心向量計(jì)算裝置計(jì)算元素由每個(gè)類別中的所述第一層摘要數(shù)據(jù)形成的向量的重心向量，所述重心向量計(jì)算裝置還計(jì)算如下兩方面的向量之間的距離作為重心距離，即一方面的元素由輸入的運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)形成的向量和另一方面的所述重心向量；以及數(shù)據(jù)庫登記裝置，所述數(shù)據(jù)庫登記裝置將所述第一層摘要數(shù)據(jù)登記到如下的類別，所述類別中，與所述第一層摘要數(shù)據(jù)有關(guān)的重心距離在所述數(shù)據(jù)庫中最短。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，還包括第二層摘要數(shù)據(jù)生成裝置，所述第二層摘要數(shù)據(jù)生成裝置根據(jù)從組成所述運(yùn)動(dòng)圖像內(nèi)容的圖像中以高于所述第一頻率的第二頻率提取的圖像，生成小于所述第一尺寸的第二尺寸的第二層摘要數(shù)據(jù)；存儲(chǔ)裝置，所述存儲(chǔ)裝置與所述運(yùn)動(dòng)圖像內(nèi)容相對應(yīng)地存儲(chǔ)所述第二層摘要數(shù)據(jù)；第一搜索裝置，所述第一搜索裝置基于由所述第一層摘要數(shù)據(jù)生成裝置生成的所述第一層摘要數(shù)據(jù)，在所述數(shù)據(jù)庫中搜索如下類別中的相應(yīng)運(yùn)動(dòng)圖像內(nèi)容，在所述類別中，作為所述重心距離被所述距離計(jì)算裝置計(jì)算出來的、一方面的元素由輸入的運(yùn)動(dòng)圖像內(nèi)容的第一層摘要數(shù)據(jù)形成的向量和另一方面的所述重心向量之間的距離短于預(yù)定距離；以及第二搜索裝置，所述第二搜索裝置基于由所述第二層摘要數(shù)據(jù)生成裝置生成的所述第二層摘要數(shù)據(jù)，在由所述第一搜索裝置檢索得到的運(yùn)動(dòng)圖像內(nèi)容中搜索相應(yīng)的運(yùn)動(dòng)圖像內(nèi)容。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中所述第一層摘要數(shù)據(jù)由與多個(gè)分割區(qū)域中的每一個(gè)有關(guān)的像素值、亮度值、活動(dòng)性、音量、預(yù)定音頻頻帶內(nèi)的幅度平均值的組合或它們中的一個(gè)組成，所述多個(gè)分割區(qū)域構(gòu)成作為所述運(yùn)動(dòng)圖像內(nèi)容的一部分并以所述第一頻率從所述運(yùn)動(dòng)圖像內(nèi)容中提取出的圖像的每一個(gè)，所述第一層摘要數(shù)據(jù)具有所述第一尺寸；并且所述第二層摘要數(shù)據(jù)由與多個(gè)分割區(qū)域中的每一個(gè)有關(guān)的像素值、亮度值、活動(dòng)性、 音量、預(yù)定音頻頻帶內(nèi)的幅度平均值的組合或它們中的一個(gè)組成，所述多個(gè)分割區(qū)域構(gòu)成作為所述運(yùn)動(dòng)圖像內(nèi)容的一部分并以高于所述第一頻率的所述第二頻率從所述運(yùn)動(dòng)圖像內(nèi)容中提取出的圖像的每一個(gè)，所述第二層摘要數(shù)據(jù)具有小于所述第一尺寸的所述第二尺寸。
5.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中所述第一頻率和所述第二頻率是周期性或非周期性地從所述運(yùn)動(dòng)圖像內(nèi)容中提取圖像的那些頻率。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中周期性圖像提取指以預(yù)定幀數(shù)的間隔來提取圖像；并且非周期性圖像提取指每次所述運(yùn)動(dòng)圖像內(nèi)容中發(fā)生場景改變時(shí)或每次音頻數(shù)據(jù)的無聲部分后面跟著音頻數(shù)據(jù)的非無聲部分時(shí)提取圖像。
7.一種供圖像處理設(shè)備使用的圖像處理方法，所述圖像處理設(shè)備包括數(shù)據(jù)庫，所述數(shù)據(jù)庫根據(jù)從組成運(yùn)動(dòng)圖像內(nèi)容的圖像中以第一頻率提取的圖像，登記第一尺寸的第一層摘要數(shù)據(jù)；距離計(jì)算裝置，所述距離計(jì)算裝置基于向量之間的距離來計(jì)算所述第一層摘要數(shù)據(jù)之間的距離，所述向量的元素由所述數(shù)據(jù)庫中登記的所述第一層摘要數(shù)據(jù)形成；以及分類裝置，所述分類裝置將由所述距離計(jì)算裝置計(jì)算的距離落入預(yù)定距離內(nèi)的第一層摘要數(shù)據(jù)集群化到同一類別中，所述分類裝置還基于所述第一層摘要數(shù)據(jù)已被集群化到的類別來將運(yùn)動(dòng)圖像內(nèi)容集群化到多個(gè)類別中，所述圖像處理方法包括以下步驟令所述距離計(jì)算裝置基于向量之間的距離來計(jì)算所述第一層摘要數(shù)據(jù)之間的距離，所述向量的元素由所述數(shù)據(jù)庫中登記的所述第一層摘要數(shù)據(jù)形成；以及令所述分類裝置將在所述距離計(jì)算步驟中計(jì)算的距離落入所述預(yù)定距離內(nèi)的第一層摘要數(shù)據(jù)集群化到同一類別中，還令所述分類裝置基于所述第一層摘要數(shù)據(jù)已被集群化到的類別來將運(yùn)動(dòng)圖像內(nèi)容集群化到多個(gè)類別中。
8.—種供控制圖像處理設(shè)備的計(jì)算機(jī)使用的程序，所述圖像處理設(shè)備包括數(shù)據(jù)庫， 所述數(shù)據(jù)庫根據(jù)從組成運(yùn)動(dòng)圖像內(nèi)容的圖像中以第一頻率提取的圖像，登記第一尺寸的第一層摘要數(shù)據(jù)；距離計(jì)算裝置，所述距離計(jì)算裝置基于向量之間的距離來計(jì)算所述第一層摘要數(shù)據(jù)之間的距離，所述向量的元素由所述數(shù)據(jù)庫中登記的所述第一層摘要數(shù)據(jù)形成； 以及分類裝置，所述分類裝置將由所述距離計(jì)算裝置計(jì)算的距離落入預(yù)定距離內(nèi)的第一層摘要數(shù)據(jù)集群化到同一類別中，所述分類裝置還基于所述第一層摘要數(shù)據(jù)已被集群化到的類別來將運(yùn)動(dòng)圖像內(nèi)容集群化到多個(gè)類別中，所述程序使得所述計(jì)算機(jī)執(zhí)行包括以下步驟的過程令所述距離計(jì)算裝置基于向量之間的距離來計(jì)算所述第一層摘要數(shù)據(jù)之間的距離，所述向量的元素由所述數(shù)據(jù)庫中登記的所述第一層摘要數(shù)據(jù)形成；以及令所述分類裝置將在所述距離計(jì)算步驟中計(jì)算的距離落入所述預(yù)定距離內(nèi)的第一層摘要數(shù)據(jù)集群化到同一類別中，還令所述分類裝置基于所述第一層摘要數(shù)據(jù)已被集群化到的類別來將運(yùn)動(dòng)圖像內(nèi)容集群化到多個(gè)類別中。
全文摘要
提供了圖像處理設(shè)備、圖像處理方法及程序，所述圖像處理設(shè)備包括數(shù)據(jù)庫，所述數(shù)據(jù)庫被配置成根據(jù)從組成運(yùn)動(dòng)圖像內(nèi)容的圖像中以第一頻率提取的圖像，登記第一尺寸的第一層摘要數(shù)據(jù)；距離計(jì)算塊，所述距離計(jì)算塊被配置成基于向量之間的距離來計(jì)算第一層摘要數(shù)據(jù)之間的距離，所述向量的元素由所述數(shù)據(jù)庫中登記的第一層摘要數(shù)據(jù)形成；以及分類部件，所述分類部件被配置成將由所述距離計(jì)算塊計(jì)算的距離落入預(yù)定距離內(nèi)的第一層摘要數(shù)據(jù)集群化到同一類別中，所述分類部件還基于所述第一層摘要數(shù)據(jù)已被集群化到的類別來將運(yùn)動(dòng)圖像內(nèi)容集群化到多個(gè)類別中。
文檔編號G06F17/30GK102214195SQ201110085879
公開日2011年10月12日 申請日期2011年4月2日 優(yōu)先權(quán)日2010年4月9日
發(fā)明者山田直秀, 川口邦雄, 森崎裕之, 田中健司, 田中和政, 菊地大介, 高橋義博 申請人:索尼公司