專(zhuān)利名稱：數(shù)據(jù)處理裝置和數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)處理裝置，并且更具體地，涉及用于從經(jīng)注冊(cè)的運(yùn)動(dòng) 圖像內(nèi)容中檢索與輸入運(yùn)動(dòng)圖像內(nèi)容類(lèi)似的內(nèi)容的數(shù)據(jù)處理裝置和數(shù)據(jù)處 理方法。
背景技術(shù)：
近年來(lái)，諸如因特網(wǎng)之類(lèi)的網(wǎng)絡(luò)技術(shù)得到改進(jìn)，從而使得各種信息的 高速通信成為可能并且該通信的可靠性增強(qiáng)。此外，運(yùn)動(dòng)圖像共享系統(tǒng)越 來(lái)越普遍。在該系統(tǒng)中，運(yùn)動(dòng)圖像被上傳到與因特網(wǎng)相連接的運(yùn)動(dòng)圖像管 理服務(wù)器，并且運(yùn)動(dòng)圖像可以以被多個(gè)連接到因特網(wǎng)的個(gè)人計(jì)算機(jī)共享的 方式被觀看。
例如，如下的在線服務(wù)是普遍的。具體的，在該服務(wù)中，在使用者家 中的個(gè)人計(jì)算機(jī)經(jīng)由因特網(wǎng)連接到運(yùn)動(dòng)圖像管理服務(wù)器，并且運(yùn)動(dòng)圖像從 使用者家中的個(gè)人計(jì)算機(jī)被上傳到運(yùn)動(dòng)圖像管理服務(wù)器，從而使得該運(yùn)動(dòng) 圖像可以從另 一個(gè)人計(jì)算機(jī)被觀看。
在這樣的運(yùn)動(dòng)圖像共享系統(tǒng)中，在某些情況下，經(jīng)上傳的運(yùn)動(dòng)圖像是 由使用者本人所創(chuàng)建的運(yùn)動(dòng)圖像，然而在其他情況下，將是侵犯他人著作 權(quán)的運(yùn)動(dòng)圖像。如果侵犯他人著作權(quán)的運(yùn)動(dòng)圖像因此被上傳，那么例如通 過(guò)禁止下載該運(yùn)動(dòng)圖像來(lái)阻止人們觀看該運(yùn)動(dòng)圖像是很重要的。對(duì)于經(jīng)上 傳的運(yùn)動(dòng)圖像是否侵犯他人著作權(quán)的判斷，通常，運(yùn)動(dòng)圖像管理服務(wù)器的 管理者直接觀看各個(gè)經(jīng)上傳的運(yùn)動(dòng)圖像從而做出判斷。然而，如果經(jīng)上傳 的運(yùn)動(dòng)圖像的數(shù)目很大，那么管理者將很難觀看所有的運(yùn)動(dòng)圖像。
為了解決這個(gè)問(wèn)題，例如，己經(jīng)提出了圖像檢索裝置。該裝置針對(duì)具 體圖像，做出關(guān)于圖像的匹配度和相似性的判斷，從而檢索與該具體圖像相匹配的圖像，而無(wú)需例如根據(jù)JPEG2000系統(tǒng)來(lái)完全解碼經(jīng)壓縮編碼的 視頻內(nèi)容(例如參見(jiàn)日本專(zhuān)利特開(kāi)第2006-285615號(hào)(圖1))。

發(fā)明內(nèi)容
在該相關(guān)技術(shù)方法中，通過(guò)在編碼流和具體圖像之間比較相同位置處 的編碼塊的零比特平面的數(shù)目，來(lái)執(zhí)行匹配判斷，而無(wú)需對(duì)編碼流進(jìn)行完 全解碼。
然而，運(yùn)動(dòng)圖像內(nèi)容由大量以時(shí)序方式排列的幀構(gòu)成。因此，逐幀地 對(duì)運(yùn)動(dòng)圖像內(nèi)容進(jìn)行特征提取導(dǎo)致如下的問(wèn)題，即所提取的特征的量相當(dāng) 大，因此用于存儲(chǔ)所提取的特征的區(qū)域以及比較處理所需的運(yùn)算量很大。
本發(fā)明需要減小將從運(yùn)動(dòng)圖像內(nèi)容中提取以實(shí)現(xiàn)對(duì)運(yùn)動(dòng)圖像內(nèi)容的有 效檢索的特征的量。
根據(jù)本發(fā)明的實(shí)施例，提供了一種數(shù)據(jù)處理裝置，包括第一存儲(chǔ) 器，其被配置為與在視頻數(shù)據(jù)中所包括的特征相關(guān)聯(lián)地存儲(chǔ)用以識(shí)別視頻 數(shù)據(jù)的識(shí)別信息；第二存儲(chǔ)器，其被配置為與用以識(shí)別視頻數(shù)據(jù)的識(shí)別信 息相關(guān)聯(lián)地存儲(chǔ)在視頻數(shù)據(jù)中所包括的特征；第一讀取器，其被配置為基 于在輸入視頻數(shù)據(jù)中所包括的特征，讀出在第一存儲(chǔ)器中所存儲(chǔ)的識(shí)別信 息；第二讀取器，其被配置為基于由第一讀取器所讀出的識(shí)別信息，讀出 在第二存儲(chǔ)器中所存儲(chǔ)的特征；以及檢驗(yàn)器，其被配置為將在輸入視頻數(shù) 據(jù)中所包括的特征與由第二讀取器所讀出的特征進(jìn)行比較，以判浙輸入視 頻數(shù)據(jù)與特征被存儲(chǔ)在第二存儲(chǔ)器中的視頻數(shù)據(jù)是否匹配。
本發(fā)明的實(shí)施例能夠提供減小將從運(yùn)動(dòng)圖像內(nèi)容中被提取的特征量的 出色優(yōu)點(diǎn)，從而使得能夠高效檢索運(yùn)動(dòng)圖像內(nèi)容。


通過(guò)與附圖相結(jié)合地參考描述，將理解本發(fā)明的這些和其他目的，其
中
圖1是示出根據(jù)本發(fā)明實(shí)施例的內(nèi)容檢索裝置的一個(gè)配置示例的框
圖2是示出根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容和改變點(diǎn)之間關(guān)系的示
圖3A、圖3B和圖3C是對(duì)根據(jù)本發(fā)明實(shí)施例的改變點(diǎn)判斷概要進(jìn)行 說(shuō)明的示圖4是示出根據(jù)本發(fā)明實(shí)施例的特征提取器的功能配置示例的框圖； 圖5是示意性示出根據(jù)本發(fā)明實(shí)施例的瞬變點(diǎn)間隔列表的示圖； 圖6是示出根據(jù)本發(fā)明實(shí)施例的通過(guò)特征檢驗(yàn)器的檢驗(yàn)的具體示例的 示圖7是示出根據(jù)本發(fā)明實(shí)施例的對(duì)瞬變點(diǎn)間隔列表的檢驗(yàn)的構(gòu)成的示
圖8是示出根據(jù)本發(fā)明實(shí)施例的特征數(shù)據(jù)庫(kù)及其外圍設(shè)備的配置示例 的示圖9A、圖9B和圖9C是示出根據(jù)本發(fā)明實(shí)施例的關(guān)于特征數(shù)據(jù)庫(kù)的 操作的構(gòu)成的示圖IO是從概念上示出根據(jù)本發(fā)明實(shí)施例的DC字典和CD字典之間關(guān)
系的示圖11是示出根據(jù)本發(fā)明實(shí)施例的DC字典的一個(gè)配置示例的示圖； 圖12是示出根據(jù)本發(fā)明實(shí)施例的CD字典的一個(gè)配置示例的示圖； 圖13是示出根據(jù)本發(fā)明實(shí)施例的改變點(diǎn)間隔列表的示例的示圖； 圖14是示出根據(jù)本發(fā)明實(shí)施例的其中圖13的改變點(diǎn)間隔列表被注冊(cè)
到DC字典的第一層中的示例的示圖15是示出根據(jù)本發(fā)明實(shí)施例的其中圖13的改變點(diǎn)間隔列表被注冊(cè)
到DC字典的第二層中的示例的示圖16是示出根據(jù)本發(fā)明實(shí)施例的其中圖13的改變點(diǎn)間隔列表被注冊(cè)
到CD字典中的示例的示圖17是示出根據(jù)本發(fā)明實(shí)施例的與DC字典中的傳輸有關(guān)的配置示例
的示圖18A、圖18B、圖18C和圖18D是示出根據(jù)本發(fā)明實(shí)施例的通過(guò)分 類(lèi)器(sorter)的分類(lèi)的一個(gè)示例的示圖19是示出根據(jù)本發(fā)明實(shí)施例的與CD字典中的傳輸有關(guān)的配置示例 的示圖20A、圖20B、圖20C和圖20D是示出根據(jù)本發(fā)明實(shí)施例的DC字 典和CD字典的配置示例的示圖21是示出具有兩層存儲(chǔ)結(jié)構(gòu)的多處理器系統(tǒng)的配置示例的示圖22是示出在多處理器系統(tǒng)中，根據(jù)本發(fā)明實(shí)施例的對(duì)運(yùn)動(dòng)圖像內(nèi) 容進(jìn)行注冊(cè)的處理示例的示圖23是示出在多處理器系統(tǒng)中，根據(jù)本發(fā)明實(shí)施例的對(duì)運(yùn)動(dòng)圖像內(nèi) 容進(jìn)行檢驗(yàn)的處理示例的示圖24是示出根據(jù)本發(fā)明實(shí)施例的特征注冊(cè)處理過(guò)程的一個(gè)示例的流 程圖25是示出根據(jù)本發(fā)明實(shí)施例的特征檢驗(yàn)處理過(guò)程的一個(gè)示例的流 程圖；以及
圖26是示出根據(jù)本發(fā)明實(shí)施例的DC字典的Ll單元的修改示例的示圖。
具體實(shí)施例方式
在下文中，將參考附圖詳細(xì)描述本發(fā)明的實(shí)施例。
圖1是示出根據(jù)本發(fā)明實(shí)施例的內(nèi)容檢索裝置100的一個(gè)配置示例的 框圖。該內(nèi)容檢索裝置100包括運(yùn)動(dòng)圖像輸入部分110、視頻和音頻解復(fù) 用器120、視頻解碼器130、特征提取器200、特征數(shù)據(jù)庫(kù)140、特征檢驗(yàn) 器150和判斷結(jié)果輸出部分160。例如可以通過(guò)如下的個(gè)人計(jì)算機(jī)來(lái)實(shí)現(xiàn) 該內(nèi)容檢索裝置100，該個(gè)人計(jì)算機(jī)可以通過(guò)視頻分析來(lái)提取由諸如數(shù)字 視頻相機(jī)之類(lèi)的攝像裝置所捕捉到的運(yùn)動(dòng)圖像(運(yùn)動(dòng)圖像內(nèi)容)的特征， 并且可以通過(guò)使用所提取的特征來(lái)執(zhí)行各種圖像處理。
運(yùn)動(dòng)圖像輸入部分110是運(yùn)動(dòng)圖像被輸入到其中的單元，并且將所輸 入的運(yùn)動(dòng)圖像輸出到視頻和音頻解復(fù)用器120。將被輸入到運(yùn)動(dòng)圖像輸入 部分110的運(yùn)動(dòng)圖像的示例包括由攝像裝置所捕捉到的運(yùn)動(dòng)圖像以及通過(guò) 電視廣播所接收到的運(yùn)動(dòng)圖像。
視頻和音頻解復(fù)用器120將從運(yùn)動(dòng)圖像輸入部分IIO輸出的運(yùn)動(dòng)圖像 分離為視頻數(shù)據(jù)(信號(hào))和音頻數(shù)據(jù)(信號(hào))，并且將所分離出的視頻數(shù) 據(jù)輸出到視頻解碼器130。在本發(fā)明的實(shí)施例中，并不具體利用所分離出 的音頻數(shù)據(jù)。
視頻解碼器130通過(guò)對(duì)從視頻和音頻解復(fù)用器120輸出的視頻數(shù)據(jù)進(jìn) 行解碼來(lái)產(chǎn)生基帶數(shù)據(jù)，并且將所產(chǎn)生的基帶數(shù)據(jù)輸出到特征提取器 200。
特征提取器200基于從視頻解碼器130輸出的基帶數(shù)據(jù)來(lái)提取特征， 并且將所提取的特征輸出到特征數(shù)據(jù)庫(kù)140和特征檢驗(yàn)器150。在本發(fā)明 的實(shí)施例中，作為示例，將運(yùn)動(dòng)圖像中的改變點(diǎn)的間隔(在下文中，稱作 改變點(diǎn)間隔)用作通過(guò)特征提取器200而提取的特征。改變點(diǎn)例如包括指 示運(yùn)動(dòng)圖像的瞬間場(chǎng)景改變的邊界的瞬變點(diǎn)(cut-change point)，以及指 示運(yùn)動(dòng)圖像的相對(duì)較大場(chǎng)景改變的邊界的軟切換點(diǎn)(crossfade point)。改 變點(diǎn)間隔指示連續(xù)改變點(diǎn)之間的區(qū)間(leg)的時(shí)間、幀數(shù)目等。由特征提 取器200所提取的改變點(diǎn)間隔以時(shí)序的方式被排列，并且形成改變點(diǎn)間隔 列表。
特征數(shù)據(jù)庫(kù)140針對(duì)每一運(yùn)動(dòng)圖像內(nèi)容存儲(chǔ)從特征提取器200輸出的 改變點(diǎn)間隔列表。該特征數(shù)據(jù)庫(kù)140在特征檢驗(yàn)時(shí)，將所存儲(chǔ)的改變點(diǎn)間 隔列表輸出到特征檢驗(yàn)器150。
特征檢驗(yàn)器150相對(duì)于在特征數(shù)據(jù)庫(kù)140中存儲(chǔ)的各個(gè)改變點(diǎn)間隔列 表，檢驗(yàn)從特征提取器200輸出的改變點(diǎn)間隔列表?；跈z驗(yàn)結(jié)果，特征 檢驗(yàn)器150判斷被輸入到運(yùn)動(dòng)圖像輸入部分110的運(yùn)動(dòng)圖像是否與對(duì)應(yīng)于 在特征數(shù)據(jù)庫(kù)140中所存儲(chǔ)的改變點(diǎn)間隔列表的運(yùn)動(dòng)圖像相匹配。特征檢 驗(yàn)器150的檢驗(yàn)判斷結(jié)果作為匹配列表被輸出到判斷結(jié)果輸出部分160。 也就是，特征檢驗(yàn)器150從特征數(shù)據(jù)庫(kù)140所存儲(chǔ)的改變點(diǎn)間隔列表中， 檢索對(duì)應(yīng)于與被輸入到運(yùn)動(dòng)圖像輸入部分110的運(yùn)動(dòng)圖像相匹配的運(yùn)動(dòng)圖 像的改變點(diǎn)間隔列表。
判斷結(jié)果輸出部分160將從特征檢驗(yàn)器150輸出的匹配列表輸出。例 如，判斷結(jié)果輸出部分160可以顯示從特征檢驗(yàn)器150輸出的匹配列表。
如上所述，根據(jù)本發(fā)明實(shí)施例的內(nèi)容檢索裝置IOO通過(guò)檢驗(yàn)運(yùn)動(dòng)圖像 內(nèi)容的改變點(diǎn)間隔來(lái)判斷是否發(fā)現(xiàn)運(yùn)動(dòng)圖像內(nèi)容的匹配。
圖2是示出本發(fā)明實(shí)施例中的運(yùn)動(dòng)圖像內(nèi)容和改變點(diǎn)之間關(guān)系的示 圖。在以下描述中，瞬變點(diǎn)被用作改變點(diǎn)的一個(gè)示例。圖2示意性地示出 對(duì)應(yīng)于在由攝像裝置所捕捉到的運(yùn)動(dòng)圖像290中所包括的各個(gè)幀的圖像 271到279。圖像271到279被被包括在一個(gè)運(yùn)動(dòng)圖像290中。拍攝時(shí)間和 地點(diǎn)彼此不同的四個(gè)場(chǎng)景被包括在運(yùn)動(dòng)圖像290中，因此在對(duì)應(yīng)于場(chǎng)景改 變的幀的前后，對(duì)象的組成、顏色等瞬間改變。在連續(xù)兩幀之間的這樣的 改變被檢測(cè)到，從而被判斷為瞬變點(diǎn)。
例如，圖像271到273從對(duì)繞過(guò)市鎮(zhèn)行走的人的拍攝開(kāi)始。雖然人物 穿過(guò)圖像移動(dòng)并且因此在圖像之間人物位置略有不同，但是這些圖像作為 一個(gè)整體看起來(lái)彼此類(lèi)似。因此，在圖像271到273的連續(xù)兩幀之間沒(méi)有 發(fā)生改變，因此判斷連續(xù)兩幀之間的邊界的每個(gè)都不是瞬變點(diǎn)。
圖像274和275從對(duì)山脈前的一排房子的拍攝幵始。雖然這些圖像以 攝像裝置水平移動(dòng)的方式被捕捉到，并且因此對(duì)象位置水平移動(dòng)從而使圖 像之間彼此略微不同，但是這些圖像作為一個(gè)整體看起來(lái)彼此類(lèi)似。然 而，圖像273和274作為一個(gè)整體彼此不同，因?yàn)檫@些圖像之間的邊界對(duì) 應(yīng)于拍攝時(shí)間和位置彼此不同的場(chǎng)景的切換。因此，圖像273和274之間 的邊界被檢測(cè)為瞬變點(diǎn)281。
類(lèi)似地，圖像275和276之間的邊界以及圖像277和278之間的邊界 也被檢分別測(cè)為瞬變點(diǎn)282和283。
通過(guò)瞬變點(diǎn)被劃界并且因此被檢測(cè)到的區(qū)間將被稱作瞬變點(diǎn)之間的區(qū) 間，并且瞬變點(diǎn)之間的區(qū)間的長(zhǎng)度將被稱作瞬變點(diǎn)間隔。雖然上述示例涉 及作為改變點(diǎn)的一個(gè)示例的瞬變點(diǎn)，但是相同原理還應(yīng)用于其他種類(lèi)的改 變點(diǎn)。因此，通過(guò)改變點(diǎn)而劃界的區(qū)間將被稱作改變點(diǎn)之間的區(qū)間，并且 改變點(diǎn)之間的區(qū)間的長(zhǎng)度將被稱作改變點(diǎn)間隔。
可以基于對(duì)應(yīng)于在運(yùn)動(dòng)圖像內(nèi)容中所包括的各個(gè)幀的圖像的灰階
(grayscale)，以如下的方式來(lái)檢測(cè)改變點(diǎn)。
圖3是對(duì)本發(fā)明實(shí)施例中改變點(diǎn)判斷的概要進(jìn)行說(shuō)明的示圖。圖3A
到3C的每個(gè)基于整個(gè)畫(huà)面中每個(gè)像素的亮度信號(hào)Y、色差信號(hào)(藍(lán))Cb 和色差信號(hào)(紅)Cr的每個(gè)或全部，示出直方圖。在圖3A到圖3C中， 橫坐標(biāo)指示灰階，并且縱坐標(biāo)指示頻率。例如，圖3A示出運(yùn)動(dòng)圖像a的 直方圖，并且圖3B示出運(yùn)動(dòng)圖像a的后續(xù)運(yùn)動(dòng)圖像b的直方圖。圖3C指 示運(yùn)動(dòng)圖像a和b的直方圖之間相差的區(qū)域。
具體地，圖3C中的陰影區(qū)域等于圖3A和3B所示出的直方圖之間相 差的區(qū)域。如果這些差的和超過(guò)預(yù)定閾值，那么可以判斷在運(yùn)動(dòng)圖像a和 b之間的邊界是瞬變點(diǎn)。
圖4是示出根據(jù)本發(fā)明實(shí)施例的特征提取器200的功能配置示例的框 圖。特征提取器200包括顏色直方圖提取器210、用于計(jì)算連續(xù)幀之間的 直方圖差的計(jì)算器220、閾值保持器230、瞬變點(diǎn)判斷器240和改變點(diǎn)間 隔計(jì)算器250。
顏色直方圖提取器210將從視頻解碼器130輸出的基帶數(shù)據(jù)保持在緩 沖器中，并且對(duì)來(lái)自緩沖器所保持的基帶數(shù)據(jù)的整個(gè)畫(huà)面中每個(gè)像素的亮 度信號(hào)Y、色差信號(hào)(藍(lán))Cb和色差信號(hào)(紅)Cr的顏色直方圖進(jìn)行采 樣。此外，對(duì)于所采樣的顏色直方圖，顏色直方圖提取器210將灰階分為 N級(jí)(例如，N=16)，并且以各級(jí)的頻率和變?yōu)楹愣ǖ姆绞絹?lái)執(zhí)行歸一 化。該直方圖的示例在圖3A和3B中被示出。顏色直方圖提取器210將經(jīng) 歸一化的Y、 Cb和Cr的直方圖輸出到直方圖差計(jì)算器220。
直方圖差計(jì)算器220針對(duì)從顏色直方圖提取器210輸出的各幀的Y、 Cb和Cr的顏色直方圖，計(jì)算連續(xù)兩幀之間的顏色直方圖面積的差。直方 圖差計(jì)算器220將計(jì)算得到的直方圖的差輸出到瞬變點(diǎn)判斷器240。例 如，作為在對(duì)應(yīng)于連續(xù)兩幀的圖3A和圖3B中示出的顏色直方圖之間的面 積差，在圖3C中示出的陰影區(qū)域的面積被計(jì)算。
閾值保持器230保持當(dāng)瞬變點(diǎn)判斷器240判斷在連續(xù)兩幀之間的邊界 是否為瞬變點(diǎn)時(shí)所使用的閾值，并且將所保持的閾值輸出到瞬變點(diǎn)判斷器 240。
基于從直方圖差計(jì)算器220中輸出的直方圖差是否超過(guò)在閾值保持器 230中保持的閾值，瞬變點(diǎn)判斷器240判斷在連續(xù)兩幀之間的邊界是否是
瞬變點(diǎn)。具體地，如果從計(jì)算器220輸出的直方圖差超過(guò)在閾值保持器 230中保持的閾值，那么瞬變點(diǎn)判斷器240判斷在對(duì)應(yīng)于該直方圖差的連 續(xù)兩幀之間的邊界是瞬變點(diǎn)，并向?qū)?duì)應(yīng)于該邊界的時(shí)間作為瞬變點(diǎn)時(shí)間 輸出到改變點(diǎn)間隔計(jì)算器250。另一方面，如果從計(jì)算器220輸出的直方 圖差不超過(guò)在閾值保持器230中保持的閾值，那么瞬變點(diǎn)判斷器240判斷 在對(duì)應(yīng)于該直方圖差的連續(xù)兩幀之間的邊界不是瞬變點(diǎn)。如果以這樣的方 式判斷邊界不是瞬變點(diǎn)，那么沒(méi)有時(shí)間被輸出到改變點(diǎn)間隔計(jì)算器250。
基于從瞬變點(diǎn)判斷器240輸出的瞬變點(diǎn)時(shí)間，改變點(diǎn)間隔計(jì)算器250 計(jì)算在相鄰兩個(gè)瞬變點(diǎn)之間的時(shí)間間隔。改變點(diǎn)間隔計(jì)算器250將計(jì)算得 到的瞬變點(diǎn)間隔輸出到特征數(shù)據(jù)庫(kù)140和特征檢驗(yàn)器150。具體地，如果 瞬變點(diǎn)時(shí)間從瞬變點(diǎn)判斷器240中被輸出，那么改變點(diǎn)間隔計(jì)算器250計(jì) 算該時(shí)間和緊接在該時(shí)間之前被輸出的時(shí)間之間的差，從而計(jì)算相鄰兩個(gè) 瞬變點(diǎn)之間的時(shí)間間隔。作為相鄰兩個(gè)瞬變點(diǎn)之間的間隔，在這些瞬變點(diǎn) 之間的區(qū)間中所包括的幀數(shù)目可以被計(jì)算，并且經(jīng)計(jì)算的幀數(shù)目可以用作 瞬變點(diǎn)的間隔。
圖5是示意性示出根據(jù)本發(fā)明實(shí)施例的瞬變點(diǎn)間隔列表的示圖。 一個(gè) 或多個(gè)瞬變點(diǎn)間隔列表被存儲(chǔ)在特征數(shù)據(jù)庫(kù)140中。例如，瞬變點(diǎn)間隔列 表800、 805和806被存儲(chǔ)在特征數(shù)據(jù)庫(kù)140中?？梢酝ㄟ^(guò)順序存儲(chǔ)從特征 提取器200輸出的改變點(diǎn)間隔來(lái)創(chuàng)建在特征數(shù)據(jù)庫(kù)140中存儲(chǔ)的瞬變點(diǎn)間 隔列表，或者可替代地，可以通過(guò)順序存儲(chǔ)由另一信息處理裝置所提取的 改變點(diǎn)間隔來(lái)創(chuàng)建在特征數(shù)據(jù)庫(kù)140中存儲(chǔ)的瞬變點(diǎn)間隔列表。
在瞬變點(diǎn)間隔列表800中，以時(shí)序方式記錄瞬變點(diǎn)間隔803。這些間 隔與用于識(shí)別相應(yīng)運(yùn)動(dòng)圖像的內(nèi)容ID相關(guān)聯(lián)。內(nèi)容ID可用于檢索在運(yùn)動(dòng) 圖像數(shù)據(jù)庫(kù)中存儲(chǔ)的運(yùn)動(dòng)圖像，該運(yùn)動(dòng)圖像數(shù)據(jù)庫(kù)被設(shè)置在內(nèi)容檢索裝置 100的內(nèi)部或外部。例如，"#123"用作對(duì)應(yīng)于瞬變點(diǎn)間隔列表800的內(nèi) 容ID。此外，在圖5中，節(jié)點(diǎn)ID 802用作從相應(yīng)運(yùn)動(dòng)圖像中所提取的瞬 變點(diǎn)間隔的標(biāo)識(shí)號(hào)。
瞬變點(diǎn)間隔803指示作為時(shí)間從相應(yīng)運(yùn)動(dòng)圖像中提取的瞬變點(diǎn)間隔， 并且以時(shí)序的方式被記錄。
在利用其中因此存儲(chǔ)了一個(gè)或多個(gè)瞬變點(diǎn)間隔列表的特征數(shù)據(jù)庫(kù)140 來(lái)針對(duì)被輸入到運(yùn)動(dòng)圖像輸入部分110的運(yùn)動(dòng)圖像進(jìn)行匹配檢索時(shí)，在特 征數(shù)據(jù)庫(kù)140中存儲(chǔ)的瞬變點(diǎn)間隔列表被順序地逐個(gè)讀出，并且如下的檢 索處理被執(zhí)行。
圖6是示出本發(fā)明實(shí)施例中通過(guò)特征檢驗(yàn)器150的檢驗(yàn)的具體示例的 示圖。具體地，圖6示出從特征數(shù)據(jù)庫(kù)140讀出的瞬變點(diǎn)間隔列表800和 作為檢索對(duì)象的、對(duì)應(yīng)于從通過(guò)運(yùn)動(dòng)圖像輸入部分110而輸入的運(yùn)動(dòng)圖像 中所提取的瞬變點(diǎn)間隔的瞬變點(diǎn)間隔列表820的一個(gè)示例。圖7是示出根 據(jù)本發(fā)明實(shí)施例的瞬變點(diǎn)間隔列表的檢驗(yàn)形式的示圖。通過(guò)參考圖6和圖 7，在下文中將描述如何通過(guò)對(duì)這些列表的檢驗(yàn)來(lái)判斷對(duì)應(yīng)于瞬變點(diǎn)間隔 列表800和820的運(yùn)動(dòng)圖像是否彼此匹配。
首先，從特征數(shù)據(jù)庫(kù)140讀出相對(duì)于瞬變點(diǎn)間隔列表820而言作為比 較對(duì)象的瞬變點(diǎn)間隔列表。例如，讀出瞬變點(diǎn)間隔列表800。隨后，基于 節(jié)點(diǎn)ID的順序，依次相互比較瞬變點(diǎn)間隔列表800中的瞬變點(diǎn)間隔803 的值和瞬變點(diǎn)間隔列表820中的瞬變點(diǎn)間隔823的值，因此相互匹配的值 被檢測(cè)到。例如，如箭頭831所示，對(duì)應(yīng)于瞬變點(diǎn)間隔列表800中的節(jié)點(diǎn) ID 802 "11"的瞬變點(diǎn)間隔803的值"0 : 00 : 05.605"，與對(duì)應(yīng)于瞬變點(diǎn) 間隔列表820中的節(jié)點(diǎn)ID 822 "21"的瞬變點(diǎn)間隔823的值"0 : 00 : 05.605"相匹配(841)。在圖7中，省略了在圖6中示出的對(duì)前述部分的 瞬變點(diǎn)間隔的各自的值的指示。
如果因此從兩個(gè)瞬變點(diǎn)間隔列表中檢測(cè)到彼此匹配的瞬變點(diǎn)間隔值， 那么從兩個(gè)列表的每個(gè)中讀出對(duì)應(yīng)于在該匹配值的節(jié)點(diǎn)ID后的節(jié)點(diǎn)ID的 瞬變點(diǎn)間隔值。例如，讀出對(duì)應(yīng)于瞬變點(diǎn)間隔列表800中的節(jié)點(diǎn)ID 802 "12"的瞬變點(diǎn)間隔803的值"0 : 00 : 03.603"和對(duì)應(yīng)于瞬變點(diǎn)間隔列表 820中的節(jié)點(diǎn)ID 822 "22"的瞬變點(diǎn)間隔823的值"0 : 00 : 03.570"。隨 后，判斷這些讀出的兩個(gè)值是否彼此匹配(842)。如果這些值彼此匹 配，那么從兩個(gè)列表的每個(gè)中讀出對(duì)應(yīng)于該匹配值的節(jié)點(diǎn)ID后的節(jié)點(diǎn)ID 的瞬變點(diǎn)間隔值，并且判斷這些讀出值是否彼此匹配。
另一方面，如圖6和圖7所示，如果所讀出的兩個(gè)值彼此不匹配(842),那么從如下的瞬變點(diǎn)間隔列表中，即從中讀出了作為比較對(duì)象 的這兩個(gè)值的較小值的瞬變點(diǎn)間隔列表，讀出對(duì)應(yīng)于該較小值的節(jié)點(diǎn)ID 后的節(jié)點(diǎn)ID的瞬變點(diǎn)間隔值，以使其與作為比較對(duì)象的較小值相加。例 如，將瞬變點(diǎn)間隔803的值"0 : 00 : 03.603"與瞬變點(diǎn)間隔823的值"0 : 00 : 03.570"進(jìn)行比較。瞬變點(diǎn)間隔823的值"0 : 00 : 03.570"較小。因 此，對(duì)應(yīng)于瞬變點(diǎn)間隔列表820中的節(jié)點(diǎn)ID 822 "23"的瞬變點(diǎn)間隔823 的值"0 : 00 : 01.634"被讀出以被相加到瞬變點(diǎn)間隔823的值"0 : 00 : 03.570" (843)。
隨后，判斷由加法而產(chǎn)生的值是否與未應(yīng)用加法的值相匹配
(844)。如果這些值彼此匹配，那么從兩個(gè)列表的每個(gè)中讀出對(duì)應(yīng)于該 匹配值的節(jié)點(diǎn)ID后的節(jié)點(diǎn)ID的瞬變點(diǎn)間隔值，并且判斷這些讀出值是否 彼此匹配。以這樣的方式，從第一個(gè)匹配值起，預(yù)定范圍內(nèi)的值被順序相 加，并且判斷兩個(gè)瞬變點(diǎn)間隔列表的值是否彼此匹配。作為預(yù)定范圍，例 如，可以采用三個(gè)節(jié)點(diǎn)ID的范圍。例如，在從彼此耦合的第一個(gè)匹配值
(如圖6的箭頭831所示)起的三個(gè)節(jié)點(diǎn)ID范圍832內(nèi)，執(zhí)行了加法處理
(843、 845、 847)并且執(zhí)行了比較處理(842、 844、 846、 848)。因 此，在三個(gè)節(jié)點(diǎn)ID的范圍832內(nèi)，在由箭頭833所示的位置處，作為比 較對(duì)象的兩個(gè)值彼此匹配(848)。
如果兩個(gè)瞬變點(diǎn)間隔列表的值以這種方式在從第一個(gè)匹配值起的預(yù)定 范圍內(nèi)彼此匹配，那么從這些匹配值起的預(yù)定范圍內(nèi)的值被類(lèi)似地順序相 加，并且判斷兩個(gè)瞬變點(diǎn)間隔列表的值是否彼此匹配。作為該預(yù)定范圍， 例如，可以與第一范圍類(lèi)似地采用對(duì)應(yīng)于三個(gè)節(jié)點(diǎn)ID的范圍，或者可替 代地，可以采用不同的值。
例如，在從彼此耦合的匹配值(如圖6的箭頭833所示)起的對(duì)應(yīng)于 瞬變點(diǎn)間隔列表800中的三個(gè)節(jié)點(diǎn)ID的范圍835內(nèi)以及對(duì)應(yīng)于瞬變點(diǎn)間 隔列表820中的三個(gè)節(jié)點(diǎn)ID的范圍834內(nèi)，執(zhí)行了加法處理(850、 852)并且執(zhí)行了比較處理(849、 851、 853)。因此，在三個(gè)節(jié)點(diǎn)ID的 范圍834和835中，在由箭頭836所示的位置處，作為比較對(duì)象的兩個(gè)值 彼此匹配(853)。
如果基于第一匹配值或第二或后續(xù)匹配值而讀出的兩個(gè)值的至少一個(gè) 在該至少一個(gè)值經(jīng)過(guò)加法處理之前，與另一比較對(duì)象值相匹配，那么基于 這些匹配值來(lái)執(zhí)行下一比較處理而無(wú)需針對(duì)該至少一個(gè)值進(jìn)行加法處理。 如果在預(yù)定范圍內(nèi)加法結(jié)果值彼此不匹配，那么對(duì)兩個(gè)列表的值的匹配檢 測(cè)被再次重復(fù)。
如上所述，根據(jù)本發(fā)明實(shí)施例的內(nèi)容檢索裝置100檢驗(yàn)運(yùn)動(dòng)圖像內(nèi)容 的改變點(diǎn)間隔，從而判斷是否發(fā)現(xiàn)運(yùn)動(dòng)圖像內(nèi)容的匹配。在這樣的檢驗(yàn) 中，在改變點(diǎn)之間的相鄰區(qū)間的改變點(diǎn)間隔被相加。這使得即使在對(duì)改變 點(diǎn)的檢測(cè)不充分時(shí)也能夠進(jìn)行合理的判斷。通常，很難在比較具有不同比 特率的運(yùn)動(dòng)圖像內(nèi)容時(shí)保持高檢索準(zhǔn)確度。然而，本發(fā)明的實(shí)施例通過(guò)將 改變點(diǎn)間隔用作運(yùn)動(dòng)圖像內(nèi)容的特征，能夠以高準(zhǔn)確度檢索具有不同比特 率或圖像尺寸的運(yùn)動(dòng)圖像內(nèi)容。
接下來(lái)，在下文中將參考示圖來(lái)描述根據(jù)本發(fā)明實(shí)施例的特征數(shù)據(jù)庫(kù) 的配置。
圖8是示出根據(jù)本發(fā)明實(shí)施例的特征數(shù)據(jù)庫(kù)及其外圍設(shè)備的配置示例 的示圖。在圖8中，注冊(cè)運(yùn)動(dòng)圖像特征提取器310和輸入運(yùn)動(dòng)圖像特征提 取器330對(duì)應(yīng)于圖1的特征提取器200。特征數(shù)據(jù)庫(kù)320對(duì)應(yīng)于圖1的特 征數(shù)據(jù)庫(kù)140。特征檢驗(yàn)器340對(duì)應(yīng)于圖1的特征檢驗(yàn)器150。
注冊(cè)運(yùn)動(dòng)圖像特征提取器310從特征數(shù)據(jù)庫(kù)320中作為特征注冊(cè)目標(biāo) 的運(yùn)動(dòng)圖像內(nèi)容(在下文中，這樣的運(yùn)動(dòng)圖像內(nèi)容將被稱作注冊(cè)運(yùn)動(dòng)圖 像)中，提取作為注冊(cè)運(yùn)動(dòng)圖像的特征的改變點(diǎn)間隔。輸入運(yùn)動(dòng)圖像特征 提取器330從作為檢索對(duì)象輸入的運(yùn)動(dòng)圖像內(nèi)容(在下文中，這樣的運(yùn)動(dòng) 圖像內(nèi)容將被稱作輸入運(yùn)動(dòng)圖像)中，提取作為輸入運(yùn)動(dòng)圖像的特征的改 變點(diǎn)間隔。雖然兩個(gè)提取器在作為特征提取對(duì)象的運(yùn)動(dòng)圖像內(nèi)容方面彼此 不同，但是在基本配置方面是相同的它們每個(gè)都具有與通過(guò)圖4所描述 的特征提取器200的配置相同的配置。
特征數(shù)據(jù)庫(kù)320具有作為其存儲(chǔ)器的DC字典600和CD字典700。特 征數(shù)據(jù)庫(kù)320還包括用于在DC字典600中對(duì)注冊(cè)運(yùn)動(dòng)圖像進(jìn)行注冊(cè)的DC 字典注冊(cè)塊321，用于在CD字典700中對(duì)注冊(cè)運(yùn)動(dòng)圖像進(jìn)行注冊(cè)的CD字
典注冊(cè)塊322，用于參照DC字典600的DC字典參照器(consulter) 323，和用于參照CD字典700的CD字典參照器324。 DC字典600是用 于通過(guò)將改變點(diǎn)間隔(持續(xù)時(shí)間)用作參照關(guān)鍵字(consultation key)來(lái) 讀出內(nèi)容ID的字典(持續(xù)時(shí)間到內(nèi)容ID的字典)。CD字典700是用于 通過(guò)將內(nèi)容ID用作參照關(guān)鍵字來(lái)讀出改變點(diǎn)間隔的字典(內(nèi)容ID到持續(xù) 時(shí)間的字典)。
當(dāng)注冊(cè)運(yùn)動(dòng)圖像的改變點(diǎn)間隔通過(guò)注冊(cè)運(yùn)動(dòng)圖像特征提取器310被提 取時(shí)，注冊(cè)運(yùn)動(dòng)圖像的改變點(diǎn)間隔的改變點(diǎn)間隔列表以及內(nèi)容ID經(jīng)由信 號(hào)線319被供應(yīng)給DC字典注冊(cè)塊321和CD字典注冊(cè)塊322。隨后，從 DC字典注冊(cè)塊321到DC字典600的注冊(cè)和從CD字典注冊(cè)塊322到CD 字典700的注冊(cè)被執(zhí)行。
當(dāng)輸入運(yùn)動(dòng)圖像的改變點(diǎn)間隔通過(guò)輸入運(yùn)動(dòng)圖像特征提取器330被提 取時(shí)，輸入運(yùn)動(dòng)圖像的改變點(diǎn)間隔的改變點(diǎn)間隔列表以及內(nèi)容ID經(jīng)由信 號(hào)線339被供應(yīng)給DC字典參照器323和特征檢驗(yàn)器340。隨后，DC字典 參照器323通過(guò)將輸入運(yùn)動(dòng)圖像的改變點(diǎn)間隔用作參照關(guān)鍵字來(lái)參照DC 字典600，并且將所讀出的注冊(cè)運(yùn)動(dòng)圖像的內(nèi)容ID經(jīng)由信號(hào)線328輸出到 CD字典參照器324。 CD字典參照器324通過(guò)將從DC字典參照器323供 應(yīng)的注冊(cè)運(yùn)動(dòng)圖像的內(nèi)容ID用作參照關(guān)鍵字來(lái)參照CD字典700，并且將 所讀出的注冊(cè)運(yùn)動(dòng)圖像的改變點(diǎn)間隔列表供應(yīng)給特征檢驗(yàn)器340。
特征檢驗(yàn)器340相對(duì)于從CD字典參照器324供應(yīng)的改變點(diǎn)間隔列 表，來(lái)檢驗(yàn)從輸入運(yùn)動(dòng)圖像特征提取器330供應(yīng)的改變點(diǎn)間隔列表，從而 判斷輸入運(yùn)動(dòng)圖像是否與注冊(cè)運(yùn)動(dòng)圖像相匹配。已經(jīng)參考圖6和圖7在上 文中描述了該檢驗(yàn)的細(xì)節(jié)。
圖9是示出本發(fā)明實(shí)施例中的關(guān)于特征數(shù)據(jù)庫(kù)320的操作形式的示 圖。如圖9A所示，在注冊(cè)時(shí)，注冊(cè)運(yùn)動(dòng)圖像的改變點(diǎn)間隔列表被注冊(cè)運(yùn) 動(dòng)圖像特征提取器310提取并且被注冊(cè)在特征數(shù)據(jù)庫(kù)320中。由于該操 作，注冊(cè)運(yùn)動(dòng)圖像的改變點(diǎn)間隔列表與注冊(cè)運(yùn)動(dòng)圖像的內(nèi)容ID—起被存 儲(chǔ)在特征數(shù)據(jù)庫(kù)320中。
如圖9B所示，在檢驗(yàn)時(shí)，輸入運(yùn)動(dòng)圖像的改變點(diǎn)間隔列表被輸入運(yùn)
動(dòng)圖像特征提取器330提取，并且相對(duì)于從特征數(shù)據(jù)庫(kù)320中讀出的注冊(cè) 運(yùn)動(dòng)圖像的改變點(diǎn)間隔列表被檢驗(yàn)。
圖9A和圖9B的操作基于如下的假設(shè)，即改變點(diǎn)間隔列表被靜態(tài)地注 冊(cè)在特征數(shù)據(jù)庫(kù)320中。然而，如圖9C所示，當(dāng)輸入運(yùn)動(dòng)圖像的改變點(diǎn) 間隔列表在檢驗(yàn)時(shí)被提取時(shí)，該改變點(diǎn)間隔列表可以被動(dòng)態(tài)地注冊(cè)到特征 數(shù)據(jù)庫(kù)320中。這使得輸入運(yùn)動(dòng)圖像的改變點(diǎn)間隔列表能夠與輸入運(yùn)動(dòng)圖 像的內(nèi)容ID —起被順序存儲(chǔ)。
圖10是從概念上示出本發(fā)明實(shí)施例中的DC字典600和CD字典700 之間關(guān)系的示圖。
以這樣的方式來(lái)參照DC字典600，即將在輸入運(yùn)動(dòng)圖像的改變點(diǎn)間 隔列表中所包括的改變點(diǎn)間隔用作參照關(guān)鍵字的方式，并且DC字典600 輸出注冊(cè)運(yùn)動(dòng)圖像的內(nèi)容ID。在該示例中，將在輸入運(yùn)動(dòng)圖像的改變點(diǎn)間 隔列表中所包括的改變點(diǎn)間隔"30"用作關(guān)鍵字，因此內(nèi)容ID "#20"被 輸出。
以這樣的的方式來(lái)參照CD字典700，即將從DC字典600輸出的內(nèi)容 ID用作參照關(guān)鍵字的方式，并且CD字典700輸出注冊(cè)運(yùn)動(dòng)圖像的改變點(diǎn) 間隔列表。在該示例中，將從DC字典600輸出的內(nèi)容ID "#20"用作關(guān) 鍵字，因此對(duì)應(yīng)于該內(nèi)容ID的注冊(cè)運(yùn)動(dòng)圖像的改變點(diǎn)間隔列表被輸出。
在CD字典700中，針對(duì)每個(gè)注冊(cè)運(yùn)動(dòng)圖像，改變點(diǎn)間隔列表被存儲(chǔ) 以使得與內(nèi)容ID相關(guān)聯(lián)。因此，能夠通過(guò)參照在CD字典700中存儲(chǔ)的所 有數(shù)據(jù)來(lái)找到目標(biāo)注冊(cè)運(yùn)動(dòng)圖像的改變點(diǎn)間隔列表。然而，在本發(fā)明的實(shí) 施例中，應(yīng)該從注冊(cè)運(yùn)動(dòng)圖像的改變點(diǎn)間隔列表中，檢索與在輸入運(yùn)動(dòng)圖 像的改變點(diǎn)間隔列表中所包括的改變點(diǎn)間隔相匹配的改變點(diǎn)間隔。因此， 參照在CD字典700中存儲(chǔ)的所有數(shù)據(jù)是低效率的。因此，在本發(fā)明的實(shí) 施例中，DC字典600與改變點(diǎn)間隔相關(guān)聯(lián)地輸出作為關(guān)鍵字的包括這些 改變點(diǎn)間隔的注冊(cè)運(yùn)動(dòng)圖像的內(nèi)容ID，從而使應(yīng)該從CD字典700中被讀 出的改變點(diǎn)間隔列表的范圍變窄。
應(yīng)理解，在圖10中示出的DC字典600和CD字典700是概念上的實(shí)
體。在下文中將描述其實(shí)現(xiàn)示例。
圖11是示出本發(fā)明實(shí)施例中DC字典600的一個(gè)配置示例的示圖。 DC字典600具有分層結(jié)構(gòu)，該分層結(jié)構(gòu)具有在頭部610之后的第一層 (620、 630)和第二層(640、 650)。第一和第二層的每個(gè)由索引部分和 單元部分構(gòu)成。第一層的索引部分將被稱作Ll索引620，并且第一層的單 元部分將被稱作Ll單元630。第二層的索引部分將被稱作L2索引640， 并且第二層的單元部分將被稱作L2單元650。
頭部610包括間隔起始(beginning)值611、間隔總數(shù)612、 Ll開(kāi)始 地址613和L2開(kāi)始地址614。間隔起始值611是存儲(chǔ)在DC字典600中所 存儲(chǔ)的改變點(diǎn)間隔的起始值的字段。間隔總數(shù)612是存儲(chǔ)在DC字典600 中所存儲(chǔ)的改變點(diǎn)間隔的總數(shù)的字段。Ll開(kāi)始地址613是存儲(chǔ)Ll索引 620的開(kāi)始地址的字段。L2開(kāi)始地址614是存儲(chǔ)L2索引640的開(kāi)始地址 的字段。
Ll索引620具有作為L(zhǎng)l單元630的索引的功能。在Ll索引620的每 個(gè)記錄中，存儲(chǔ)了間隔開(kāi)始(start)值621、間隔寬度622、數(shù)據(jù)數(shù)目623 和偏移量624。間隔開(kāi)始值621是存儲(chǔ)相應(yīng)記錄的改變點(diǎn)間隔的開(kāi)始值的 字段。間隔寬度622是存儲(chǔ)應(yīng)該被包括在相應(yīng)記錄中的改變點(diǎn)間隔的寬度 (數(shù)目)的字段。數(shù)據(jù)數(shù)目623是存儲(chǔ)在Ll單元630的相應(yīng)記錄中所存 儲(chǔ)的數(shù)據(jù)數(shù)目(區(qū)間信息)的字段。偏移量624是存儲(chǔ)指向Ll單元630 的相應(yīng)記錄的指針的字段。
區(qū)間信息631基于逐個(gè)記錄被存儲(chǔ)在Ll單元630中。在本發(fā)明的實(shí) 施例中，區(qū)間信息631包括改變點(diǎn)間隔632和內(nèi)容ID 633的字段。具體 地，作為與改變點(diǎn)之間的區(qū)間有關(guān)的信息，改變點(diǎn)之間的區(qū)間的改變點(diǎn)間 隔和包括改變點(diǎn)之間的區(qū)間的運(yùn)動(dòng)圖像內(nèi)容的內(nèi)容ID被存儲(chǔ)。多組區(qū)間 信息631可以被存儲(chǔ)在連續(xù)地址處的一個(gè)記錄中。期望每個(gè)記錄的區(qū)間信 息631組的最大可存儲(chǔ)數(shù)目等于所有記錄共用的固定大小。在這種情況 下，即使偏移量624沒(méi)有被存儲(chǔ)在每個(gè)記錄中，也能夠根據(jù)Ll單元630 的開(kāi)始地址來(lái)計(jì)算各記錄的地址。
L2索引640具有作為L(zhǎng)2單元650的索引的功能。在L2索引640的每 個(gè)記錄中，存儲(chǔ)了改變點(diǎn)間隔641、數(shù)據(jù)數(shù)目643和偏移量644。改變點(diǎn)
間隔641是存儲(chǔ)相應(yīng)記錄的改變點(diǎn)間隔的字段。數(shù)據(jù)數(shù)目643是存儲(chǔ)在L2 單元650的相應(yīng)記錄中所存儲(chǔ)的數(shù)據(jù)數(shù)目(內(nèi)容ID)的字段。偏移量644 是存儲(chǔ)指向L2單元650的相應(yīng)記錄的指針的字段。
內(nèi)容ID 651基于逐個(gè)記錄被存儲(chǔ)在L2單元650中。多個(gè)內(nèi)容ID 651 可以被存儲(chǔ)在連續(xù)地址處的一個(gè)記錄中。期望每個(gè)記錄的內(nèi)容ID 651的最 大可存儲(chǔ)數(shù)目等于所有記錄共用的固定大小。在這種情況下，即使偏移量 644沒(méi)有被存儲(chǔ)在每個(gè)記錄中，也能夠根據(jù)L2單元650的開(kāi)始地址來(lái)計(jì)算 各記錄的地址。
此外，在L2單元650的每個(gè)記錄中，可以存儲(chǔ)用于擴(kuò)展記錄的下一 偏移量652。不指示具體地址的值(空指針)被設(shè)定在下一偏移量652 中，直到在相應(yīng)記錄中存儲(chǔ)的內(nèi)容ID 651的數(shù)目超過(guò)每個(gè)記錄的內(nèi)容ID 651的最大可存儲(chǔ)數(shù)目。如果新的記錄被擴(kuò)展，那么指向所擴(kuò)展的記錄的 指針被保持在下一偏移量652中。例如，在圖11中，地址"0x40000"被 保持在改變點(diǎn)間隔641為"N+1"的記錄的下一偏移量652中，從而記錄 擴(kuò)展被指示。
假設(shè)存儲(chǔ)空間的大小為32比特，那么DC字典600的各字段的大小可 以被標(biāo)準(zhǔn)化為4個(gè)字節(jié)。
如果幀被用作改變點(diǎn)間隔的單位，那么改變點(diǎn)間隔的值可以采用大于 零的所有整數(shù)的任何一個(gè)，并且因此對(duì)于改變點(diǎn)間隔而言沒(méi)有上限。此 外，對(duì)于內(nèi)容ID而言也沒(méi)有上限。因此，在某些情況下，不能將所有的 DC字典600存儲(chǔ)在具有有限大小的一個(gè)存儲(chǔ)器中。為了解決這個(gè)問(wèn)題， 在本發(fā)明的實(shí)施例中，DC字典600具有第一層和第二層的分層結(jié)構(gòu)。由 于該結(jié)構(gòu)，所以本發(fā)明的實(shí)施例可以覆蓋即使是處理器和存儲(chǔ)器的結(jié)構(gòu)具 有分級(jí)存儲(chǔ)器的情況。如果如下所述的預(yù)定條件被滿足，那么在第一層中 存儲(chǔ)的數(shù)據(jù)被傳輸?shù)降诙印?br> 雖然最初改變點(diǎn)間隔沒(méi)有上限，但是為了實(shí)現(xiàn)DC字典600而設(shè)定其 上限是有效的。例如，可以基于改變點(diǎn)間隔的過(guò)去分布來(lái)設(shè)定等于大約1 分鐘的上限，并且針對(duì)"改變點(diǎn)間隔長(zhǎng)于該上限"的情況，可以針對(duì)改變 點(diǎn)間隔超過(guò)該上限的情況來(lái)設(shè)定記錄?？商娲?，如果改變點(diǎn)間隔超過(guò)現(xiàn)
有上限，那么可以將該改變點(diǎn)間隔不注冊(cè)在第一層中而是直接注冊(cè)在第二 層中。如果改變點(diǎn)間隔超過(guò)現(xiàn)有上限的可能性較低，那么即使當(dāng)執(zhí)行通過(guò) 字節(jié)傳輸?shù)牡诙又械淖?cè)時(shí)，也不會(huì)對(duì)性能施加太大影響。
在該DC字典600中，第二層的大小通常大于第一層的大小。在第二 層中，針對(duì)所有的改變點(diǎn)間隔(參見(jiàn)，改變點(diǎn)間隔641)個(gè)別地設(shè)置記 錄。相反，在第一層中， 一個(gè)記錄被指定給多個(gè)改變點(diǎn)間隔(參見(jiàn)，間隔 寬度622)。因此，第一層中的記錄數(shù)目可以被更大程度的減少。例如， 在圖11中，在第一層中每個(gè)記錄存儲(chǔ)N個(gè)改變點(diǎn)間隔，并且各個(gè)改變點(diǎn) 間隔被存儲(chǔ)在改變點(diǎn)間隔632中。
雖然圖11的示例具有第一層和第二層的分層結(jié)構(gòu)，但是層數(shù)目并沒(méi) 有被具體地限定。具體地，因?yàn)榈诙又械腖2單元650的大小也是有限 的，所以如果在L2單元650中存儲(chǔ)的數(shù)據(jù)量超過(guò)允許量，那么數(shù)據(jù)可以 從L2單元650被傳輸?shù)搅硪淮鎯?chǔ)器。
圖12是示出本發(fā)明實(shí)施例中CD字典700的一個(gè)配置示例的示圖。該 CD字典700包括頭部710、索引720和單元730。
頭部710包括內(nèi)容ID起始值711、內(nèi)容ID總數(shù)712和索引開(kāi)始地址 713。內(nèi)容ID起始值711是存儲(chǔ)在CD字典700中所存儲(chǔ)的內(nèi)容ID的起始 值的字段。內(nèi)容ID總數(shù)712是存儲(chǔ)在CD字典700中所存儲(chǔ)的內(nèi)容ID的 總數(shù)的字段。索引開(kāi)始地址713是存儲(chǔ)索引720的開(kāi)始地址的字段。
索引720具有作為單元730的索引的功能。在索引720的每個(gè)記錄 中，內(nèi)容ID721、間隔數(shù)目722和偏移量723被存儲(chǔ)。內(nèi)容ID721是存儲(chǔ) 相應(yīng)記錄的內(nèi)容ID的字段。間隔數(shù)目722是存儲(chǔ)在單元730的相應(yīng)記錄 中所存儲(chǔ)的改變點(diǎn)間隔的數(shù)目的字段。偏移量723是存儲(chǔ)指向單元730的 相應(yīng)記錄的指針的字段。
改變點(diǎn)間隔731基于逐個(gè)記錄被存儲(chǔ)在單元730中。多個(gè)改變點(diǎn)間隔 731可以按時(shí)序存儲(chǔ)在連續(xù)地址處的一個(gè)記錄中。每個(gè)記錄的改變點(diǎn)間隔 731的最大可存儲(chǔ)數(shù)目可以根據(jù)記錄的不同而不同。然而，整個(gè)單元730 應(yīng)該物理地存儲(chǔ)在連續(xù)地址處。
對(duì)于該CD字典700，沒(méi)有設(shè)想采用類(lèi)似于DC字典600的分層結(jié)構(gòu)
的、由具有不同記錄指定方式的層形成的分層結(jié)構(gòu)。這是因?yàn)楦淖凕c(diǎn)間隔 列表具有確定的長(zhǎng)度量，并且能夠?qū)ζ溥M(jìn)行總的訪問(wèn)。然而，因?yàn)閱卧?br> 730本身的大小是有限的，所以如果在單元730中存儲(chǔ)的數(shù)據(jù)量超過(guò)允許 的量，那么數(shù)據(jù)可以從單元730被傳輸?shù)搅硪淮鎯?chǔ)器。
假設(shè)存儲(chǔ)空間的大小是32比特，那么CD字典700的各個(gè)字段的大小 可以被標(biāo)準(zhǔn)化為4個(gè)字節(jié)。
圖13是示出本發(fā)明實(shí)施例中改變點(diǎn)間隔列表的示例的示圖。在該示 例中，以時(shí)序的方式示出對(duì)應(yīng)于與內(nèi)容ID為"#20"的運(yùn)動(dòng)圖像內(nèi)容有關(guān) 的改變點(diǎn)間隔列表的起始四個(gè)節(jié)點(diǎn)的改變點(diǎn)間隔。從1開(kāi)始以遞增的順序 將節(jié)點(diǎn)ID給予各節(jié)點(diǎn)。
在第一個(gè)節(jié)點(diǎn)(節(jié)點(diǎn)ID: 1)中，"100"被存儲(chǔ)為改變點(diǎn)間隔。在第 二個(gè)節(jié)點(diǎn)(節(jié)點(diǎn)ID: 2)中，"30"被存儲(chǔ)為改變點(diǎn)間隔。在第三個(gè)節(jié)點(diǎn) (節(jié)點(diǎn)ID: 3)中，"50"被存儲(chǔ)為改變點(diǎn)間隔。在第四個(gè)節(jié)點(diǎn)(節(jié)點(diǎn) ID: 4)中，"120"被存儲(chǔ)為改變點(diǎn)間隔。
在下文中，將描述該改變點(diǎn)間隔列表被注冊(cè)到DC字典600和CD字 典700中的示例。
圖14是示出根據(jù)本發(fā)明實(shí)施例的圖13的改變點(diǎn)間隔列表被注冊(cè)到 DC字典600的第一層的示例的示圖。在該示例中，所有的間隔寬度622 被設(shè)定為50。在范圍1到50內(nèi)的改變點(diǎn)間隔被存儲(chǔ)在第一記錄中。在范 圍51到100內(nèi)的改變點(diǎn)間隔被存儲(chǔ)在第二記錄中。在范圍101到150內(nèi)的 改變點(diǎn)間隔被存儲(chǔ)在第三記錄中。在范圍151到200內(nèi)的改變點(diǎn)間隔被存 儲(chǔ)在第四記錄中。
在圖13的示例中，內(nèi)容ID為"#20"的運(yùn)動(dòng)圖像內(nèi)容具有"100"、 "30" 、 "50"和"120"的改變點(diǎn)間隔。因此，在LI單元630的第一記 錄中，"30"和"50"被存儲(chǔ)為改變點(diǎn)間隔632，并且"#20"被存儲(chǔ)為內(nèi) 容ID 633以與每個(gè)改變點(diǎn)間隔632相關(guān)聯(lián)。
在LI單元630的第二記錄中，"100"被存儲(chǔ)為改變點(diǎn)間隔632，并 且與該"100"相關(guān)聯(lián)的"#20"被存儲(chǔ)為內(nèi)容ID 633。在LI單元630的 第三記錄中，"120"被存儲(chǔ)為改變點(diǎn)間隔632，并且與該"120"相關(guān)聯(lián)
的"#20"被存儲(chǔ)為內(nèi)容ID 633。
與該存儲(chǔ)相關(guān)聯(lián)的，在Ll單元630的相應(yīng)記錄中所存儲(chǔ)的數(shù)據(jù)數(shù)目 (區(qū)間信息)被存儲(chǔ)在數(shù)據(jù)數(shù)目623中。具體地，"2" 、 "1"和"1" 分別被存儲(chǔ)在第一、第二和第三記錄的數(shù)據(jù)數(shù)目623中。
圖15是示出根據(jù)本發(fā)明實(shí)施例的圖13的改變點(diǎn)間隔列表被注冊(cè)到 DC字典600的第二層中的示例的示圖。如下文中所述，如圖14所示的被 注冊(cè)到DC字典600的第一層中的數(shù)據(jù)被傳輸?shù)降诙印?br> 在DC字典600的第二層中，記錄被指定給每個(gè)改變點(diǎn)間隔。具體 地，在改變點(diǎn)間隔641中，存儲(chǔ)了從1開(kāi)始每次遞增1的值。
在圖13的示例中，內(nèi)容ID為"#20"的運(yùn)動(dòng)圖像內(nèi)容具有"100"、 "30"、 "50"和"120"的改變點(diǎn)間隔。因此，"#20"被分別存儲(chǔ)在其 改變點(diǎn)間隔641指示"30" 、 "50" 、 "100"和"120"的記錄的內(nèi)容ID 651中。
圖16是示出根據(jù)本發(fā)明實(shí)施例的圖13的改變點(diǎn)間隔列表被注冊(cè)到 CD字典700中的示例的示圖。在圖13的示例中，內(nèi)容ID為"#20"的運(yùn) 動(dòng)圖像內(nèi)容具有"100" 、 "30" 、 "50"和"120"的改變點(diǎn)間隔。因 此，"100" 、 "30" 、 "50"禾B "120"被存儲(chǔ)在其內(nèi)容ID 721指示 "20"的記錄的改變點(diǎn)間隔731中。此外，"4"被存儲(chǔ)為其內(nèi)容ID 721 指示"20"的記錄的間隔數(shù)目722。
接下來(lái)，在下文中將參考示圖來(lái)描述本發(fā)明實(shí)施例中的層間傳輸?shù)奶幚怼?br> 圖17是示出根據(jù)本發(fā)明實(shí)施例的與DC字典600中的傳輸有關(guān)的配置 示例的示圖。在圖17中示出的DC字典600包括第一層存儲(chǔ)器601、第二 層存儲(chǔ)器602、第三層存儲(chǔ)器603、注冊(cè)狀態(tài)管理器691和692、分類(lèi)器 693、傳輸部分694和696以及傳輸控制器695和697。
第一層存儲(chǔ)器601存儲(chǔ)通過(guò)圖11而描述的第一層(620， 630)。第 二層存儲(chǔ)器602存儲(chǔ)通過(guò)圖11而描述的第二層(640, 650)。如果第二 層所存儲(chǔ)的數(shù)據(jù)量超過(guò)其允許量，那么作為第二層被存儲(chǔ)的數(shù)據(jù)的一部分 或全部被作為第三層存儲(chǔ)在第三層存儲(chǔ)器603中。如隨后將要描述的，各
種形式將可用作第一層存儲(chǔ)器601、第二層存儲(chǔ)器602和第三層存儲(chǔ)器 603的實(shí)現(xiàn)示例。例如，在多處理器的環(huán)境下，將設(shè)想如下的形式通過(guò) 局部存儲(chǔ)器來(lái)實(shí)現(xiàn)第一層存儲(chǔ)器601，通過(guò)共用的主存儲(chǔ)器來(lái)實(shí)現(xiàn)第二層 存儲(chǔ)器602，并且通過(guò)大容量硬盤(pán)來(lái)實(shí)現(xiàn)第三層存儲(chǔ)器603。
注冊(cè)狀態(tài)管理器691管理第一層的注冊(cè)狀態(tài)。注冊(cè)狀態(tài)管理器692管 理第二層的注冊(cè)狀態(tài)。作為注冊(cè)狀態(tài)，例如在第一層或第二層中注冊(cè)的數(shù) 據(jù)(區(qū)間信息631或內(nèi)容ID651)的數(shù)目被計(jì)數(shù)。
分類(lèi)器693對(duì)記錄中的被存儲(chǔ)在第一層存儲(chǔ)器601中的區(qū)間信息631 進(jìn)行分類(lèi)。在Ll單元630中，區(qū)間信息631被隨機(jī)地累積。另一方面， 在第二層中，內(nèi)容ID基于改變點(diǎn)間隔的順序分布。因此，針對(duì)從第一層 到第二層的傳輸，應(yīng)該執(zhí)行分類(lèi)。因此，針對(duì)傳輸，分類(lèi)器693基于改變 點(diǎn)間隔的順序執(zhí)行分類(lèi)。雖然在該示例中在傳輸之前執(zhí)行分類(lèi)，但是可以 在傳輸之后執(zhí)行分類(lèi)。在第二層中，內(nèi)容ID按改變點(diǎn)間隔的順序存儲(chǔ)。 因此，無(wú)需針對(duì)從第二層到第三層的傳輸來(lái)執(zhí)行分類(lèi)。
傳輸部分694執(zhí)行從第一層到第二層的傳輸。傳輸部分696執(zhí)行從第 二層到第三層的傳輸。
傳輸控制器695控制從第一層到第二層的傳輸。傳輸控制器697控制 從第二層到第三層的傳輸。這些傳輸控制器695和697分別基于由注冊(cè)狀 態(tài)管理器691和692所管理的注冊(cè)狀態(tài)，來(lái)控制傳輸部分694和696的傳 輸。至于傳輸定時(shí)，例如，可以當(dāng)在一個(gè)記錄中所存儲(chǔ)的數(shù)據(jù)量超過(guò)允許 量時(shí)啟動(dòng)傳輸處理?？商娲兀梢栽诿看晤A(yù)定數(shù)目的數(shù)據(jù)被注冊(cè)到作為 一個(gè)整體的所有記錄中時(shí)，啟動(dòng)傳輸處理。在前一種情況下，期望記錄大 小(區(qū)間信息631和內(nèi)容ID651的最大可存儲(chǔ)量)被預(yù)先調(diào)節(jié)，從而可以 針對(duì)所有記錄以統(tǒng)計(jì)上的相同概率來(lái)啟動(dòng)傳輸處理。
Ll單元630和L2單元650中的數(shù)據(jù)被物理地存儲(chǔ)在連續(xù)地址處。因 此，傳輸部分694和696可以基于逐個(gè)記錄執(zhí)行突發(fā)傳輸(burst transfer)，這使得能夠進(jìn)行高速傳輸處理。由于該突發(fā)傳輸，可以對(duì)應(yīng)于 字節(jié)對(duì)準(zhǔn)來(lái)確定Ll單元630的記錄大小(區(qū)間信息631的最大可存儲(chǔ) 量)。例如，當(dāng)128 —字節(jié)對(duì)準(zhǔn)是必需的時(shí)，如果改變點(diǎn)間隔632和內(nèi)容ID 633的每個(gè)的大小是4個(gè)字節(jié)，那么通過(guò)如下的等式來(lái)表示Ll單元630 的記錄大小U。
U= 128 x i/(4 + 4)
其中i表示大于零的整數(shù)。
圖18是示出本發(fā)明實(shí)施例中的通過(guò)分類(lèi)器693的分類(lèi)的一個(gè)示例的 示圖。在該示例中，公知的分布計(jì)數(shù)分類(lèi)(distribution counting sort)被用 作分類(lèi)方法。在該方法中，雖然確定的工作區(qū)域是必需的，但是對(duì)數(shù)據(jù)的 值量級(jí)的比較不是必需的，因此能夠進(jìn)行高速分類(lèi)。此外，該方法可以處 理即使是包括多個(gè)相同關(guān)鍵字的數(shù)據(jù)。然而，分類(lèi)對(duì)象數(shù)據(jù)的值的范圍需 要預(yù)先確定?？梢酝ㄟ^(guò)如上所述的對(duì)改變點(diǎn)間隔設(shè)定上限來(lái)滿足該需要。
圖18A示出作為分類(lèi)對(duì)象的Ll單元630中的區(qū)間信息631的數(shù)據(jù)陣 列。從零開(kāi)始以遞增的順序?qū)⑺饕到o予各個(gè)數(shù)據(jù)。每個(gè)數(shù)據(jù)具有改變點(diǎn) 間隔和內(nèi)容ID。在本發(fā)明的實(shí)施例中，以改變點(diǎn)間隔被用作分類(lèi)關(guān)鍵字的 方式來(lái)執(zhí)行分類(lèi)。
圖18B示出用于存儲(chǔ)用作關(guān)鍵字的改變點(diǎn)間隔的出現(xiàn)次數(shù)的數(shù)據(jù)陣 列。在該示例中，"1"被存儲(chǔ)為改變點(diǎn)間隔"1"的出現(xiàn)次數(shù)，"2"被 存儲(chǔ)為改變點(diǎn)間隔"3"的出現(xiàn)次數(shù)，"1"被存儲(chǔ)為改變點(diǎn)間隔"4"的 出現(xiàn)次數(shù)，并且"1"被存儲(chǔ)為改變點(diǎn)間隔"5"的出現(xiàn)次數(shù)。出現(xiàn)次數(shù)被 表示為X。
圖18C示出用于存儲(chǔ)作為關(guān)鍵字的改變點(diǎn)間隔的出現(xiàn)次數(shù)的累積頻率 的數(shù)據(jù)陣列。在該示例中，出現(xiàn)次數(shù)X的累積頻率沿著改變點(diǎn)間隔遞增的 順序被計(jì)數(shù)。累積頻率被表示為Y。
圖18D示出在分類(lèi)后獲得的數(shù)據(jù)陣列。在該分類(lèi)方法中，作為結(jié)果得
到的數(shù)據(jù)陣列的數(shù)據(jù)按作為關(guān)鍵字的改變點(diǎn)間隔遞增的順序排列。在該結(jié) 果數(shù)據(jù)陣列中的索引值取決于與各自的改變點(diǎn)間隔相對(duì)應(yīng)的出現(xiàn)次數(shù)X和 累積頻率Y。具體地，當(dāng)X為1時(shí)，每個(gè)改變點(diǎn)間隔被給予等于該改變點(diǎn) 間隔的"Y-X"的一個(gè)索引值，或者當(dāng)X大于1時(shí)，被給予從該改變點(diǎn)間 隔的"Y-X"到"Y-l"的多個(gè)索引值。在圖18D的示例的情況下，其中 有兩個(gè)數(shù)據(jù)其改變點(diǎn)間隔指示"3"，改變點(diǎn)間隔"3"被給予"1"和
"2"作為其索引值，因?yàn)楦淖凕c(diǎn)間隔"3"的次數(shù)X和累積頻率Y分別是 "2"禾口 "3"。
以這種方式，通過(guò)將改變點(diǎn)間隔用作分類(lèi)關(guān)鍵字，針對(duì)傳輸對(duì)Ll單 元630中的區(qū)間信息631的數(shù)據(jù)進(jìn)行了分類(lèi)。
圖19是示出根據(jù)本發(fā)明實(shí)施例的與CD字典700中的傳輸有關(guān)的配置 示例的示圖。圖19的該CD字典700包括第一層存儲(chǔ)器701、第二層存儲(chǔ) 器702、注冊(cè)狀態(tài)管理器791、傳輸部分794和傳輸控制器795。
第一層存儲(chǔ)器701存儲(chǔ)作為第一層的通過(guò)圖12而描述的索引720和單 元730。如果索引720和單元730所存儲(chǔ)的數(shù)據(jù)量超過(guò)其允許量，那么作 為第一層被存儲(chǔ)的數(shù)據(jù)的一部分或全部被作為第二層存儲(chǔ)在第二層存儲(chǔ)器 702中。雖然與DC字典600不同地，CD字典700不具有如下的分層結(jié) 構(gòu)，即由具有不同的記錄指定方式的層形成的分層結(jié)構(gòu)，但是CD字典 700被控制使得如果其所存儲(chǔ)的數(shù)據(jù)量超過(guò)其允許量那么其中存儲(chǔ)的數(shù)據(jù) 可以被保存到例如大容量的硬盤(pán)。
注冊(cè)狀態(tài)管理器791管理索引720和單元730的注冊(cè)狀態(tài)。作為該注 冊(cè)狀態(tài)，例如，在單元730中注冊(cè)的改變點(diǎn)間隔731的數(shù)目被計(jì)數(shù)。
傳輸部分794執(zhí)行從第一層(720， 730)到第二層的傳輸。傳輸控制 器795控制從第一層到第二層的傳輸。具體地，基于由注冊(cè)狀態(tài)管理器 791管理的注冊(cè)狀態(tài)，傳輸控制器795通過(guò)傳輸部分794來(lái)控制傳輸，因 此如果在一個(gè)記錄中所存儲(chǔ)的數(shù)據(jù)量超過(guò)允許量，那么可以啟動(dòng)傳輸。通 常，在CD字典700的每個(gè)記錄中存儲(chǔ)相當(dāng)大數(shù)目的改變點(diǎn)間隔731。因 此，傳輸部分794可以基于逐個(gè)記錄來(lái)執(zhí)行突發(fā)傳輸，這使得能夠進(jìn)行高 速傳輸處理。
圖20是示出本發(fā)明實(shí)施例中的DC字典600和CD字典700的配置示 例的示圖。
圖20A示出當(dāng)處理裝置中存儲(chǔ)器400的容量足夠大時(shí)的配置示例。在 這種情況下，可以僅通過(guò)處理裝置中的存儲(chǔ)器400來(lái)完成操作。因此，DC 字典600和CD字典700并沒(méi)有被置于硬盤(pán)490中而是僅被置于存儲(chǔ)器 400中。圖20B示出當(dāng)處理裝置中存儲(chǔ)器400的容量較小時(shí)的配置示例。
在這種情況下，不能僅通過(guò)處理裝置中的存儲(chǔ)器400來(lái)完成操作。因此， 除了將DC字典600和CD字典700置于存儲(chǔ)器400中之外，如果存儲(chǔ)器 400所存儲(chǔ)的數(shù)據(jù)量超過(guò)其允許量那么還將單元(630， 650， 730)置于硬 盤(pán)490中。
圖20C和圖20D示出當(dāng)采用了兩層的存儲(chǔ)器結(jié)構(gòu)時(shí)的配置示例。在這 種情況下，DC字典600的第一層(620， 630)被置于Ll存儲(chǔ)器410中， 并且第二層(640， 650)被置于L2存儲(chǔ)器420中。如果L2存儲(chǔ)器420的 容量足夠大，那么如圖20C所示地配備DC字典600和CD字典700，并 且沒(méi)有實(shí)體被置于硬盤(pán)490中。另一方面，如果L2存儲(chǔ)器420的容量較 小，那么除了將DC字典600和CD字典700置于Ll存儲(chǔ)器410和L2存 儲(chǔ)器420中之外，在L2存儲(chǔ)器420所存儲(chǔ)的數(shù)據(jù)量超過(guò)其允許量的情況 下還將L2單元650或單元730置于硬盤(pán)490中。
以這種方式，本發(fā)明的實(shí)施例可以靈活地應(yīng)用于具有不同的存儲(chǔ)器分 層結(jié)構(gòu)的各種平臺(tái)。
圖21是示出具有兩層存儲(chǔ)結(jié)構(gòu)的多處理器系統(tǒng)的配置示例的示圖。 該多處理器系統(tǒng)包括多個(gè)要素處理器510、每個(gè)都對(duì)應(yīng)于各自的要素處理 器510的局部存儲(chǔ)器520、管理處理器530、主存儲(chǔ)器540、硬盤(pán)550和將 管理處理器530連接到局部存儲(chǔ)器520的總線590。
多個(gè)要素處理器510形成多處理器。這些要素處理器510可以與其他 要素處理器510同步并行地執(zhí)行處理。對(duì)應(yīng)于各自的要素處理器510來(lái)設(shè) 置每個(gè)局部存儲(chǔ)器520，并且在局部存儲(chǔ)器520中的數(shù)據(jù)被用于相應(yīng)要素 處理器510的處理。
管理處理器530管理整個(gè)多處理器系統(tǒng)，并且控制在局部存儲(chǔ)器520 和主存儲(chǔ)器540之間經(jīng)由總線590的數(shù)據(jù)傳輸。主存儲(chǔ)器540被管理處理 器530使用，并且被所有的要素處理器510共享。
硬盤(pán)550是大容量的存儲(chǔ)器，它被用作多處理器系統(tǒng)的輔助存儲(chǔ)器并 提供文件系統(tǒng)。
該多處理器系統(tǒng)具有兩層存儲(chǔ)結(jié)構(gòu)。局部存儲(chǔ)器520相當(dāng)于圖20的 Ll存儲(chǔ)器410。主存儲(chǔ)器540相當(dāng)于圖20的L2存儲(chǔ)器420。硬盤(pán)550相
當(dāng)于圖20的硬盤(pán)490。本發(fā)明的實(shí)施例還可應(yīng)用于局部存儲(chǔ)器520的容量 較小(例如256K字節(jié))并且主存儲(chǔ)器540的容量相對(duì)較大(例如1G字節(jié) 或更大)的系統(tǒng)中。
在下文中將描述如下事實(shí)，即在這樣的多處理器系統(tǒng)中可以并行執(zhí)行 運(yùn)動(dòng)圖像內(nèi)容的注冊(cè)和檢驗(yàn)的事實(shí)。
圖22是示出在多處理器系統(tǒng)中，根據(jù)本發(fā)明實(shí)施例的對(duì)運(yùn)動(dòng)圖像內(nèi) 容進(jìn)行注冊(cè)的處理示例的示圖。在該示例中，N (N表示大于1的整數(shù)) 個(gè)要素處理器510被指定給注冊(cè)運(yùn)動(dòng)圖像特征提取器310，并且來(lái)自這些 處理器的輸出被供應(yīng)給DC字典注冊(cè)塊321和CD字典注冊(cè)塊322。此外， N個(gè)要素處理器510被指定給DC字典注冊(cè)塊321和CD字典注冊(cè)塊322 的每個(gè)。
在注冊(cè)運(yùn)動(dòng)圖像特征提取器310中，并行地針對(duì)N個(gè)注冊(cè)運(yùn)動(dòng)圖像來(lái) 執(zhí)行提取改變點(diǎn)間隔列表的處理。DC字典注冊(cè)塊321將所提取的N個(gè)改 變點(diǎn)間隔列表注冊(cè)到DC字典600中。在DC字典600中的該注冊(cè)中，在 N個(gè)要素處理器510之間執(zhí)行排他控制以保持注冊(cè)一致性。類(lèi)似地，CD 字典注冊(cè)塊322將所提取的N個(gè)改變點(diǎn)間隔列表注冊(cè)到CD字典700中。 在CD字典700的該注冊(cè)中，在N個(gè)要素處理器510之間執(zhí)行排他控制以 保持注冊(cè)一致性。
圖23是示出在多處理器系統(tǒng)中，根據(jù)本發(fā)明實(shí)施例的對(duì)運(yùn)動(dòng)圖像內(nèi) 容進(jìn)行檢驗(yàn)的處理示例的示圖。在該示例中，N個(gè)要素處理器510被指定 給輸入運(yùn)動(dòng)圖像特征提取器330和DC字典參照器323的每個(gè)。此外，M (M表示大于1的整數(shù))個(gè)要素處理器510被指定給CD字典參照器324 和特征檢驗(yàn)器340的每個(gè)。
在輸入運(yùn)動(dòng)圖像特征提取器330中，并行地針對(duì)N個(gè)輸入運(yùn)動(dòng)圖像來(lái) 執(zhí)行提取改變點(diǎn)間隔列表的處理。DC字典參照器323通過(guò)將在所提取的 N個(gè)改變點(diǎn)間隔列表中包括的改變點(diǎn)間隔用作參照關(guān)鍵字來(lái)參照DC字典 600。 M個(gè)內(nèi)容ID從DC字典600中被讀出。CD字典參照器324通過(guò)將 所讀出的M個(gè)內(nèi)容ID用作參照關(guān)鍵字來(lái)參照CD字典700。 M個(gè)改變點(diǎn) 間隔列表從CD字典700中被讀出。特征檢驗(yàn)器340相對(duì)于所讀出的M個(gè)
改變點(diǎn)間隔列表來(lái)檢驗(yàn)所輸入的N個(gè)改變點(diǎn)間隔列表。
根據(jù)針對(duì)一個(gè)輸入運(yùn)動(dòng)圖像的處理，需要順序地執(zhí)行如下的四級(jí)處
理特征提取、DC字典參照、CD字典參照和特征檢驗(yàn)。然而，即使當(dāng)輸 入多個(gè)運(yùn)動(dòng)圖像時(shí)，也能夠通過(guò)N個(gè)要素處理器510來(lái)針對(duì)這些輸入運(yùn)動(dòng) 圖像執(zhí)行并行處理，因?yàn)樵谶@些輸入運(yùn)動(dòng)圖像之間沒(méi)有數(shù)據(jù)相關(guān)關(guān)系。此 外，在針對(duì)某一輸入運(yùn)動(dòng)圖像的特征提取之后、針對(duì)該輸入運(yùn)動(dòng)圖像執(zhí)行 DC字典參照期間，可以開(kāi)始針對(duì)另一輸入運(yùn)動(dòng)圖像的特征提取。這使得 能夠以流水線的方式來(lái)執(zhí)行重疊處理。
接下來(lái)，在下文中將參考示圖來(lái)描述根據(jù)本發(fā)明實(shí)施例的內(nèi)容檢索裝 置的操作。
圖24是示出根據(jù)本發(fā)明實(shí)施例的特征注冊(cè)處理過(guò)程的一個(gè)示例的流 程圖。
一旦輸入作為注冊(cè)對(duì)象的運(yùn)動(dòng)圖像內(nèi)容(注冊(cè)運(yùn)動(dòng)圖像)，就由注冊(cè) 運(yùn)動(dòng)圖像特征提取器310來(lái)提取特征(改變點(diǎn)間隔列表)(步驟S911)。 所提取的改變點(diǎn)間隔列表通過(guò)DC字典注冊(cè)塊321被注冊(cè)到DC字典600 的第一層中(步驟S912)。如果此時(shí)Ll單元630的相應(yīng)記錄的數(shù)據(jù)量超 過(guò)區(qū)間信息631的最大允許條目數(shù)(number of entries)(步驟S913)，那 么分類(lèi)器693通過(guò)將改變點(diǎn)間隔632用作分類(lèi)關(guān)鍵字來(lái)針對(duì)該記錄執(zhí)行分 類(lèi)(步驟S914)，然后通過(guò)傳輸部分694執(zhí)行到第二層的傳輸(步驟 S915)。
如果到第二層的傳輸(步驟S915)導(dǎo)致L2單元650的相應(yīng)記錄的數(shù) 據(jù)量超過(guò)內(nèi)容ID 651的最大允許條目數(shù)(步驟S916)，那么新的記錄被 添加到L2單元650 (步驟S917)。如果該記錄添加導(dǎo)致整個(gè)L2單元650 的數(shù)據(jù)量超過(guò)其允許量(步驟S918)，那么傳輸部分696將作為第二層被 存儲(chǔ)的數(shù)據(jù)的一部分或全部傳輸?shù)降谌龑?例如硬盤(pán))(步驟S919)。
此外，通過(guò)CD字典注冊(cè)塊322將由注冊(cè)運(yùn)動(dòng)圖像特征提取器310所 提取的改變點(diǎn)間隔列表注冊(cè)到CD字典700中(步驟S921)。如果此時(shí)整 個(gè)單元730的數(shù)據(jù)量超過(guò)其允許量(步驟S922)，那么傳輸部分794將在 單元730中存儲(chǔ)的數(shù)據(jù)的一部分或者全部傳輸?shù)降诙?例如硬盤(pán))(步
驟S923)。
圖25是示出根據(jù)本發(fā)明實(shí)施例的特征檢驗(yàn)處理過(guò)程的一個(gè)示例的流 程圖。
一旦輸入作為檢索對(duì)象的運(yùn)動(dòng)圖像內(nèi)容(輸入運(yùn)動(dòng)圖像)，就由輸入 運(yùn)動(dòng)圖像特征提取器330來(lái)提取特征(改變點(diǎn)間隔列表)(步驟S931)。 DC字典參照器323通過(guò)將在所提取的改變點(diǎn)間隔列表中包括的改變點(diǎn)間 隔用作參照關(guān)鍵字來(lái)參照DC字典600 (步驟S932)。由于該步驟，所以 內(nèi)容ID被讀出。
隨后，CD字典參照器324通過(guò)將所讀出的內(nèi)容ID用作參照關(guān)鍵字來(lái) 參照CD字典700 (步驟S933)。由于該步驟，注冊(cè)運(yùn)動(dòng)圖像的改變點(diǎn)間 隔列表被讀出。
隨后，特征檢驗(yàn)器340相對(duì)于注冊(cè)運(yùn)動(dòng)圖像的改變點(diǎn)間隔列表來(lái)檢驗(yàn) 輸入運(yùn)動(dòng)圖像的改變點(diǎn)間隔列表，從而判斷兩個(gè)運(yùn)動(dòng)圖像是否彼此匹配 (步驟S934)。
如上所述，在本發(fā)明的實(shí)施例中，改變點(diǎn)間隔被用作運(yùn)動(dòng)圖像內(nèi)容的 特征，這使得能夠減少應(yīng)該被提取的特征量。此外，特征數(shù)據(jù)庫(kù)320被設(shè) 置為具有通過(guò)將改變點(diǎn)間隔用作參照關(guān)鍵字來(lái)讀出內(nèi)容ID的DC字典 600，以及通過(guò)將內(nèi)容ID用作參照關(guān)鍵字來(lái)讀出改變點(diǎn)間隔列表的CD字 典700。該特征使得能夠有效獲取如下的注冊(cè)運(yùn)動(dòng)圖像的改變點(diǎn)間隔列 表，所述注冊(cè)運(yùn)動(dòng)圖像具有與輸入運(yùn)動(dòng)圖像的改變點(diǎn)間隔列表中所包括的 改變點(diǎn)間隔相同的改變點(diǎn)間隔。因此，通過(guò)相對(duì)于注冊(cè)運(yùn)動(dòng)圖像的改變點(diǎn) 間隔列表來(lái)檢驗(yàn)輸入運(yùn)動(dòng)圖像的改變點(diǎn)間隔列表，可以對(duì)兩個(gè)運(yùn)動(dòng)圖像的 匹配作出判斷。
在本發(fā)明的實(shí)施例中，與改變點(diǎn)間隔632相關(guān)聯(lián)的內(nèi)容ID 633被存儲(chǔ) 在DC字典600的Ll單元630中。此外，改變點(diǎn)間隔列表中的節(jié)點(diǎn)ID也
可以被如下地存儲(chǔ)在其中。
圖26是示出本發(fā)明實(shí)施例中的DC字典600的Ll單元630的修改示 例的示圖。Ll單元630的該修改示例與圖11的Ll單元630的區(qū)別在于， 改變點(diǎn)間隔列表的節(jié)點(diǎn)ID 634被進(jìn)一步存儲(chǔ)為區(qū)間信息631。
由于提供如在該修改示例中這樣的節(jié)點(diǎn)ID 634，所以在對(duì)CD字典 700進(jìn)行參照時(shí)，能夠僅讀出在必要節(jié)點(diǎn)ID附近的改變點(diǎn)間隔，而無(wú)需讀 出相應(yīng)內(nèi)容ID的全部改變點(diǎn)間隔列表(改變點(diǎn)間隔731)。因此，能夠?qū)?CD字典700進(jìn)行高速訪問(wèn)。此外，針對(duì)從第一層到第二層的傳輸，可以 執(zhí)行利用節(jié)點(diǎn)ID634的分類(lèi)，這使得能夠進(jìn)行高速傳輸。
可以將本發(fā)明實(shí)施例的上述處理過(guò)程理解為包括該過(guò)程的方法。 本領(lǐng)域中的技術(shù)人員應(yīng)理解，根據(jù)設(shè)計(jì)需求和其他因素，可以想到各 種修改、組合、子組合和變更，只要它們落入隨附權(quán)利要求書(shū)或其等價(jià)物 的范圍內(nèi)。
本發(fā)明包含與2007年8月20日遞交到日本特許廳的日本專(zhuān)利申請(qǐng)JP 2007-213221相關(guān)的主題，該日本專(zhuān)利申請(qǐng)的全部?jī)?nèi)容通過(guò)引用被結(jié)合于 此。
權(quán)利要求
1.一種數(shù)據(jù)處理裝置，包括第一存儲(chǔ)裝置，用于與在視頻數(shù)據(jù)中所包括的特征相關(guān)聯(lián)地存儲(chǔ)用以識(shí)別所述視頻數(shù)據(jù)的識(shí)別信息；第二存儲(chǔ)裝置，用于與用以識(shí)別所述視頻數(shù)據(jù)的所述識(shí)別信息相關(guān)聯(lián)地存儲(chǔ)在所述視頻數(shù)據(jù)中所包括的所述特征；第一讀取裝置，用于基于在輸入視頻數(shù)據(jù)中所包括的特征，讀出在所述第一存儲(chǔ)裝置中所存儲(chǔ)的識(shí)別信息；第二讀取裝置，用于基于由所述第一讀取裝置所讀出的識(shí)別信息，讀出在所述第二存儲(chǔ)裝置中所存儲(chǔ)的特征；以及檢驗(yàn)裝置，用于將在所述輸入視頻數(shù)據(jù)中所包括的特征與由所述第二讀取裝置所讀出的特征進(jìn)行比較，以判斷所述輸入視頻數(shù)據(jù)與特征被存儲(chǔ)在所述第二存儲(chǔ)裝置中的視頻數(shù)據(jù)是否匹配。
2. 如權(quán)利要求1所述的數(shù)據(jù)處理裝置，其中 所述特征包括指示改變點(diǎn)之間的間隔的改變點(diǎn)間隔。
3. 如權(quán)利要求2所述的數(shù)據(jù)處理裝置，其中所述第一存儲(chǔ)裝置包括第一層存儲(chǔ)裝置，用于以所述識(shí)別信息的段為單位將所述識(shí)別信息段 存儲(chǔ)在連續(xù)的地址上，其中每段所述識(shí)別信息與預(yù)定范圍內(nèi)的所述改變點(diǎn)間隔之一相關(guān)聯(lián)；以及第二層存儲(chǔ)裝置，用于以所述識(shí)別信息的段為單位將所述視頻數(shù)據(jù)的 所述識(shí)別信息段存儲(chǔ)在連續(xù)的地址上，其中每段所述識(shí)別信息與一個(gè)改變 點(diǎn)間隔相關(guān)聯(lián)。
4. 如權(quán)利要求3所述的數(shù)據(jù)處理裝置，還包括分類(lèi)裝置，用于在存儲(chǔ)在所述第一層存儲(chǔ)裝置中的所述識(shí)別信息的段 數(shù)超過(guò)允許數(shù)目的情況下，根據(jù)所述預(yù)定范圍內(nèi)的所述改變點(diǎn)間隔來(lái)對(duì)所述識(shí)別信息段進(jìn)行分類(lèi)；以及傳輸裝置，用于將通過(guò)所述分類(lèi)裝置進(jìn)行了分類(lèi)的所述識(shí)別信息段與 所述改變點(diǎn)間隔一起傳輸?shù)剿龅诙哟鎯?chǔ)裝置。
5. 如權(quán)利要求3所述的數(shù)據(jù)處理裝置，其中所述第一層存儲(chǔ)裝置包括單元存儲(chǔ)裝置，用于以預(yù)定數(shù)目的所述識(shí)別信息段為單位將所述視頻 數(shù)據(jù)的所述識(shí)別信息段存儲(chǔ)在連續(xù)的地址上；以及索引存儲(chǔ)裝置，用于以所述識(shí)別信息的段為單位來(lái)存儲(chǔ)所述識(shí)別信息 段在所述單元存儲(chǔ)裝置中的地址，其中每段所述識(shí)別信息與所述預(yù)定范圍 內(nèi)的所述改變點(diǎn)間隔之一相關(guān)聯(lián)。
6. 如權(quán)利要求3所述的數(shù)據(jù)處理裝置，其中所述第二層存儲(chǔ)裝置包括單元存儲(chǔ)裝置，用于以預(yù)定數(shù)目的所述識(shí)別信息段為單位將所述識(shí)別信息段存儲(chǔ)在連續(xù)的地址上；以及索弓I存儲(chǔ)裝置，用于存儲(chǔ)所述識(shí)別信息段在所述單元存儲(chǔ)裝置中的地址。
7. 如權(quán)利要求2所述的數(shù)據(jù)處理裝置，其中所述第二存儲(chǔ)裝置以時(shí)序的順序?qū)⑺龈淖凕c(diǎn)間隔存儲(chǔ)在連續(xù)的地址上。
8. 如權(quán)利要求7所述的數(shù)據(jù)處理裝置，其中所述第二存儲(chǔ)裝置包括單元存儲(chǔ)裝置，用于以時(shí)序的順序?qū)⑺龈淖凕c(diǎn)間隔存儲(chǔ)在連續(xù)的地址上；以及索引存儲(chǔ)裝置，用于存儲(chǔ)所述改變點(diǎn)間隔在所述單元存儲(chǔ)裝置中的地址。
9. 如權(quán)利要求2所述的數(shù)據(jù)處理裝置，還包括第一注冊(cè)裝置，用于以使得所述識(shí)別信息與在作為注冊(cè)對(duì)象的視頻數(shù) 據(jù)中所包括的每個(gè)改變點(diǎn)間隔相關(guān)聯(lián)的方式，將作為所述注冊(cè)對(duì)象的所述 視頻數(shù)據(jù)的所述識(shí)別信息注冊(cè)在所述第一存儲(chǔ)裝置中；以及第二注冊(cè)裝置，用于以使得所述改變點(diǎn)間隔與作為所述注冊(cè)對(duì)象的所 述視頻數(shù)據(jù)的所述識(shí)別信息相關(guān)聯(lián)的方式，以時(shí)序的順序?qū)⒃谧鳛樗鲎?冊(cè)對(duì)象的所述視頻數(shù)據(jù)中所包括的所述改變點(diǎn)間隔注冊(cè)在所述第二存儲(chǔ)裝 置中。
10. —種數(shù)據(jù)處理方法，包括以下步驟與在視頻數(shù)據(jù)中所包括的特征相關(guān)聯(lián)地存儲(chǔ)用以識(shí)別所述視頻數(shù)據(jù)的識(shí)別信息；與用以識(shí)別所述視頻數(shù)據(jù)的所述識(shí)別信息相關(guān)聯(lián)地存儲(chǔ)在所述視頻數(shù)據(jù)中所包括的特征；基于在輸入視頻數(shù)據(jù)中所包括的特征，讀出在所述識(shí)別信息存儲(chǔ)步驟 中所存儲(chǔ)的識(shí)別信息；基于在所述識(shí)別信息讀取步驟中所讀出的識(shí)別信息，讀出在所述特征 存儲(chǔ)步驟中所存儲(chǔ)的特征；并且將在所述輸入視頻數(shù)據(jù)中所包括的特征與在所述特征讀取步驟中所讀 出的特征進(jìn)行比較，以判斷所述輸入視頻數(shù)據(jù)與特征在所述特征存儲(chǔ)步驟 中被存儲(chǔ)的視頻數(shù)據(jù)是否匹配。
11. 一種數(shù)據(jù)處理裝置，包括第一存儲(chǔ)器，其被配置為與在視頻數(shù)據(jù)中所包括的特征相關(guān)聯(lián)地存儲(chǔ) 用以識(shí)別所述視頻數(shù)據(jù)的識(shí)別信息；第二存儲(chǔ)器，其被配置為與用以識(shí)別所述視頻數(shù)據(jù)的所述識(shí)別信息相 關(guān)聯(lián)地存儲(chǔ)在所述視頻數(shù)據(jù)中所包括的特征；第一讀取器，其被配置為基于在輸入視頻數(shù)據(jù)中所包括的特征，讀出 在所述第一存儲(chǔ)器中所存儲(chǔ)的識(shí)別信息；第二讀取器，其被配置為基于由所述第一讀取器所讀出的所述識(shí)別信 息，讀出在所述第二存儲(chǔ)器中所存儲(chǔ)的特征；以及檢驗(yàn)器，其被配置為將在所述輸入視頻數(shù)據(jù)中所包括的特征與由所述 第二讀取器所讀出的特征進(jìn)行比較，以判斷所述輸入視頻數(shù)據(jù)與特征被存 儲(chǔ)在所述第二存儲(chǔ)器中的視頻數(shù)據(jù)是否匹配。
全文摘要
本發(fā)明提供了一種數(shù)據(jù)處理裝置和數(shù)據(jù)處理方法。數(shù)據(jù)處理裝置包括第一存儲(chǔ)器，其被配置為與在視頻數(shù)據(jù)中所包括的特征相關(guān)聯(lián)地存儲(chǔ)用以識(shí)別視頻數(shù)據(jù)的識(shí)別信息；第二存儲(chǔ)器，其被配置為與用以識(shí)別視頻數(shù)據(jù)的識(shí)別信息相關(guān)聯(lián)地存儲(chǔ)在視頻數(shù)據(jù)中所包括的特征；第一讀取器，其被配置為基于在輸入視頻數(shù)據(jù)中所包括的特征，讀出在第一存儲(chǔ)器中所存儲(chǔ)的識(shí)別信息；第二讀取器，其被配置為基于由第一讀取器所讀出的識(shí)別信息，讀出在第二存儲(chǔ)器中所存儲(chǔ)的特征；以及檢驗(yàn)器，其被配置為將在輸入視頻數(shù)據(jù)中所包括的特征與由第二讀取器所讀出的特征進(jìn)行比較，以判斷輸入視頻數(shù)據(jù)與特征被存儲(chǔ)在第二存儲(chǔ)器中的視頻數(shù)據(jù)是否匹配。
文檔編號(hào)G06F17/30GK101373483SQ20081021084
公開(kāi)日2009年2月25日 申請(qǐng)日期2008年8月20日 優(yōu)先權(quán)日2007年8月20日
發(fā)明者柿田新次郎, 白根慶太 申請(qǐng)人:索尼株式會(huì)社