專(zhuān)利名稱(chēng)：圖像檢索系統(tǒng)及圖像檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從以模擬或數(shù)字方式記錄的映像、靜止圖像等的圖像數(shù)據(jù)中抽取特征量和屬性信息，并利用所抽取的特征量和屬性信息實(shí)施圖像數(shù)據(jù)檢索的圖像檢索系統(tǒng)及圖像檢索方法。
現(xiàn)有技術(shù)第1圖表示作為以往的圖像檢索處理系統(tǒng)一例的在電子信息通信學(xué)會(huì)論文雜志D-II 1996年4月號(hào)(Vol.79-D-II N0.4，pp.476-483)中記載的系統(tǒng)的構(gòu)成。這里，以靜止圖像為對(duì)象，由前處理部101的區(qū)域分割部103把圖像分割成各個(gè)段，在被分割后的各段內(nèi)附加關(guān)鍵。關(guān)鍵詞包括概念關(guān)鍵詞和場(chǎng)景記述關(guān)鍵詞二種。概念關(guān)鍵詞抽取部104利用預(yù)先分配給顏色信息的概念關(guān)鍵詞根據(jù)各段的顏色及特征量取得概念關(guān)鍵詞108。場(chǎng)景記述關(guān)鍵詞記述部105從各段的圖像特征量中取得“位置”、“顏色”、“形狀”、“大小”、“方向”等有關(guān)謂詞，有必要由用戶(hù)107通過(guò)操作106從預(yù)先定義的謂詞中選擇出來(lái)，并予以記述，輸出場(chǎng)景記述關(guān)鍵詞109。在檢索工具102中，預(yù)先設(shè)置了概念關(guān)鍵詞和場(chǎng)景記述關(guān)鍵詞，由用戶(hù)111從預(yù)先設(shè)置的關(guān)鍵詞中進(jìn)行選擇。特征鑒定部110根據(jù)用戶(hù)所選擇的關(guān)鍵詞112與各圖像中附加的關(guān)鍵詞108、109實(shí)施特征量鑒定及圖像檢索處理。
但是在上述圖像檢索處理系統(tǒng)中，由于根據(jù)用戶(hù)所選擇的概念關(guān)鍵詞和場(chǎng)景記述關(guān)鍵詞等關(guān)鍵詞及各圖像中附加的關(guān)鍵詞實(shí)施特征量的鑒定，并基于該特征量實(shí)施圖像檢索處理，所以只能通過(guò)特征量檢索所有的圖像，因而檢索時(shí)間較長(zhǎng)。
此外，在上述的圖像檢索處理系統(tǒng)中，由于未考慮各關(guān)鍵詞的記述方法及存儲(chǔ)方法等，所以有必要使圖像服務(wù)器與作為客戶(hù)的檢索工具等一對(duì)一地對(duì)應(yīng)，從而無(wú)法建立一種多個(gè)用戶(hù)可通過(guò)網(wǎng)絡(luò)利用各種檢索工具實(shí)施圖像檢索的系統(tǒng)。
此外由于僅僅以靜止圖像為對(duì)象，所以難以檢索運(yùn)動(dòng)圖像。
為此，本發(fā)明考慮到了上述問(wèn)題，其第1目的是提供能有效地實(shí)施圖像檢索處理的圖像檢索系統(tǒng)及圖像檢索方法。
此外本發(fā)明的第2目的是提供通過(guò)利用通用語(yǔ)法記述并生成檢索關(guān)鍵詞從而不依賴(lài)于分散在網(wǎng)絡(luò)上的多個(gè)圖像服務(wù)器的圖像檢索系統(tǒng)及圖像檢索方法。
本發(fā)明的第3目的是提供通過(guò)在從運(yùn)動(dòng)圖像中抽取關(guān)鍵詞時(shí)，不按幀單位而是按集中了多個(gè)幀的視頻段單位抽取特征量，從而可容易地檢索運(yùn)動(dòng)圖像的圖像檢索系統(tǒng)及圖像檢索方法。

發(fā)明內(nèi)容
本發(fā)明涉及的圖像檢索系統(tǒng)具備從輸入圖像數(shù)據(jù)中抽取圖像特征量生成特征描述符的特征描述符生成部、與輸入圖像數(shù)據(jù)相關(guān)聯(lián)蓄存所生成的特征描述符的圖像信息蓄存部、基于附加于輸入圖像數(shù)據(jù)輸入的屬性信息生成屬性表的屬性表生成部、輸入與屬性信息相關(guān)的檢索條件后，檢索上述屬性表，輸出適合該檢索條件的屬性信息，同時(shí)在輸入與特征描述符相關(guān)的檢索條件后，檢索圖像信息蓄存部，輸出適合該檢索條件的圖像數(shù)據(jù)的圖像檢索部。
這樣便可以取得有效實(shí)施檢索的效果。
本發(fā)明涉及的圖像檢索系統(tǒng)的屬性表生成部，基于定義了屬性表數(shù)據(jù)結(jié)構(gòu)的語(yǔ)法生成屬性表，圖像檢索部根據(jù)屬性表的語(yǔ)法實(shí)施檢索。
這樣，可以取得短時(shí)高效檢索的效果。
本發(fā)明涉及的圖像檢索系統(tǒng)的特征描述符生成部，基于定義了特征描述符數(shù)據(jù)結(jié)構(gòu)的語(yǔ)法生成特征描述符，圖像檢索部根據(jù)特征描述符的語(yǔ)法實(shí)施檢索。
這樣，可以取得不依賴(lài)于分散在網(wǎng)絡(luò)上的多個(gè)圖像服務(wù)器實(shí)施圖像檢索的效果。
本發(fā)明涉及的圖像檢索系統(tǒng)的特征描述符生成部，按幀單位抽取特征量，按集中了多個(gè)幀的視頻段單位生成特征描述符。
這樣便可以取得可容易地實(shí)施運(yùn)動(dòng)圖像檢索的效果。
該發(fā)明涉及的圖像檢索系統(tǒng)的特征描述符生成部，把由幀內(nèi)與幀間組成的壓縮映像數(shù)據(jù)作為輸入圖像數(shù)據(jù)，在幀內(nèi)情況下，抽取規(guī)定的編碼單位區(qū)域內(nèi)的各像素值的平均值矩陣，只累計(jì)視頻段中包含的幀內(nèi)成分，作為幀內(nèi)的特征描述符生成根據(jù)幀內(nèi)數(shù)求得的該累計(jì)值的平均值和標(biāo)準(zhǔn)偏差，另一方面，在幀間情況下，抽取規(guī)定的編碼單位區(qū)域中各像素的運(yùn)動(dòng)矢量矩陣，求出幀內(nèi)的運(yùn)動(dòng)矢量平均值，對(duì)該平均值實(shí)施閾值處理，對(duì)零行程長(zhǎng)度分類(lèi)并抽取，作為幀間的特征描述符生成通過(guò)在各視頻段中包含的幀間數(shù)求得的平均值與零行程長(zhǎng)度分類(lèi)的平均值。
這樣便可以取得較容易實(shí)施運(yùn)動(dòng)圖像檢索的效果。
該發(fā)明涉及的圖像檢索系統(tǒng)的特征描述符生成部，把非壓縮映像數(shù)據(jù)作為輸入圖像數(shù)據(jù)，從非壓縮映像數(shù)據(jù)中抽取特征量生成特征描述符，圖像信息蓄存部使非壓縮映像數(shù)據(jù)基于規(guī)定的映像壓縮方式被壓縮后的壓縮映像數(shù)據(jù)與特征描述符組相關(guān)聯(lián)蓄存。
這樣，可以取得有效檢索的效果。
該發(fā)明涉及的圖像檢索系統(tǒng)的圖像檢索部，對(duì)圖像信息蓄存部進(jìn)行檢索，在輸出適合于所指定的特征描述符的圖像數(shù)據(jù)時(shí)，讀出預(yù)先存儲(chǔ)的規(guī)定條件式，并基于該規(guī)定條件式對(duì)是否適合所指定的特征描述符進(jìn)行判斷。
這樣，可以取得有效檢索的效果。
該發(fā)明涉及的圖像檢索系統(tǒng)的輸入圖像數(shù)據(jù)為由監(jiān)視攝像機(jī)記錄的監(jiān)視圖像。
這樣，可以取得能發(fā)現(xiàn)入侵者的效果。
該發(fā)明涉及的圖像檢索系統(tǒng)的輸入圖像數(shù)據(jù)為被蓄存的視頻郵件圖像。
這樣，可以取得用戶(hù)能檢索所需郵件的效果。
該發(fā)明涉及的圖像檢索系統(tǒng)的輸入圖像數(shù)據(jù)為被蓄存的廣播節(jié)目圖像。
這樣，可以取得盡管用戶(hù)未能準(zhǔn)確記住節(jié)目信息，仍可以根據(jù)對(duì)映像的印象進(jìn)行檢索的效果。
該發(fā)明涉及的圖像檢索系統(tǒng)的輸入圖像數(shù)據(jù)為由攝像機(jī)記錄的映像。
這樣，可以取得以映像本身所具有的類(lèi)似性作為關(guān)鍵碼進(jìn)行有效素材檢索的效果。
該發(fā)明涉及的圖像檢索方法，從輸入圖像數(shù)據(jù)抽取圖像特征量生成特征描述符，使所生成的特征描述符與輸入圖像數(shù)據(jù)相關(guān)聯(lián)蓄存，同時(shí)基于附加于輸入圖像數(shù)據(jù)輸入的屬性信息生成屬性表。
輸入與屬性信息相關(guān)的檢索條件后檢索屬性表，并輸出適合檢索條件的屬性信息，同時(shí)參照所輸出的屬性信息輸入與特征描述符相關(guān)的檢索條件后，檢索上述所蓄存的圖像數(shù)據(jù)，并輸出適合該檢索條件的圖像數(shù)據(jù)。
這樣，可以取得有效檢索的效果。
該發(fā)明涉及的圖像檢索系統(tǒng)，由從輸入圖像數(shù)據(jù)抽取圖像特征量生成特征描述符的特征描述符生成部、與輸入圖像數(shù)據(jù)的時(shí)空間結(jié)構(gòu)相關(guān)聯(lián)，在檢索用描述數(shù)據(jù)中記述特征描述符的檢索用描述數(shù)據(jù)生成部、將檢索用描述數(shù)據(jù)與對(duì)應(yīng)的輸入圖像數(shù)據(jù)一起蓄存的圖像信息蓄存部、第1檢索處理部、第2檢索處理部、用戶(hù)接口部組成，第2檢索處理部把用戶(hù)通過(guò)用戶(hù)接口部傳來(lái)的檢索請(qǐng)求作為檢索請(qǐng)求信息傳送給第1檢索處理部，同時(shí)接收從第1檢索處理部傳送的檢索結(jié)果，并通過(guò)用戶(hù)接口部向用戶(hù)提示，第1檢索處理部根據(jù)從第2檢索處理部傳送的檢索請(qǐng)求信息對(duì)圖像信息蓄存部所蓄存的輸入圖像數(shù)據(jù)的檢索用描述數(shù)據(jù)進(jìn)行分析，抽取特征描述符，基于所抽取的特征描述符實(shí)施適合判斷處理求出檢索結(jié)果，并把該檢索結(jié)果傳送給第2檢索處理部，通過(guò)上述用戶(hù)接口部向用戶(hù)提示。
這樣，可以取得基于特征描述符有效檢索圖像數(shù)據(jù)的效果。
該發(fā)明涉及的圖像檢索系統(tǒng)，具備用于計(jì)算由特征描述符生成部生成的特征描述符可靠度的特征描述符可靠度計(jì)算部，檢索用描述數(shù)據(jù)生成部，與輸入圖像數(shù)據(jù)的時(shí)空間結(jié)構(gòu)相關(guān)聯(lián)把特征描述符及可靠度記述到檢索用描述數(shù)據(jù)內(nèi)，第1檢索處理部根據(jù)由第2檢索處理部所傳送的檢索要求信息對(duì)在圖像信息蓄存部中蓄存的輸入圖像數(shù)據(jù)的檢索用描述數(shù)據(jù)進(jìn)行分析，抽取特征描述符及可靠度，基于所抽取的特征描述符及可靠度實(shí)施適合判斷處理并求出檢索結(jié)果，把該檢索結(jié)果傳送給第2檢索處理部，通過(guò)用戶(hù)接口部向用戶(hù)提示。
這樣，可以取得有效檢索的效果。
本發(fā)明涉及的圖像檢索系統(tǒng)的第1檢索處理部，在適合判斷處理時(shí)基于特征描述符的可靠度，對(duì)基于特征描述符的適合判斷的必要性進(jìn)行評(píng)估，如果判斷為沒(méi)有必要進(jìn)行適合性判斷，則跳過(guò)適合判斷處理。
這樣，可以實(shí)現(xiàn)檢索處理速度的高速化，取得進(jìn)一步提高檢索效率的效果。
該發(fā)明涉及的圖像檢索系統(tǒng)，具備基于由特征描述符可靠度計(jì)算部計(jì)算出的可靠度來(lái)決定各特征描述符的檢索使用順序的特征描述符檢索順序決定部，檢索用描述數(shù)據(jù)生成部與輸入圖像數(shù)據(jù)的時(shí)空間結(jié)構(gòu)相關(guān)聯(lián)在檢索用描述數(shù)據(jù)內(nèi)記述特征描述符、可靠度及檢索使用順序，第1檢索處理部根據(jù)由第2檢索處理部傳送來(lái)的檢索請(qǐng)求信息對(duì)在圖像信息蓄存部?jī)?nèi)蓄存的輸入圖像數(shù)據(jù)的檢索用描述數(shù)據(jù)進(jìn)行分析，抽取特征描述符、可靠度及檢索使用順序，并基于所抽取的特征描述符、可靠度及檢索使用順序進(jìn)行適合判斷處理，求出檢索結(jié)果，進(jìn)而將該檢索結(jié)果傳送給第2檢索處理部，通過(guò)用戶(hù)接口部向用戶(hù)提示。
這樣，可以取得基于特征描述符、可靠度及檢索使用順序有效檢索圖像數(shù)據(jù)的效果。
本發(fā)明涉及的圖像檢索系統(tǒng)的第2檢索處理部把作為由用戶(hù)通過(guò)用戶(hù)接口部傳送的檢索請(qǐng)求的包括各特征描述符的檢索使用順序的檢索請(qǐng)求信息傳送給第1檢索處理部，第1檢索處理部根據(jù)由第2檢索處理部傳送來(lái)的檢索請(qǐng)求信息中的檢索使用順序?qū)μ卣髅枋龇臋z索順序進(jìn)行更新，實(shí)施符合來(lái)自用戶(hù)的檢索請(qǐng)求的檢索處理。
這樣，可以取得符合來(lái)自用戶(hù)的檢索請(qǐng)求的檢索處理效果。
本發(fā)明涉及的圖像檢索系統(tǒng)的第1檢索處理部，在實(shí)施適合判斷處理時(shí)，基于各特征描述符的可靠度，決定在檢索使用順序確定的各檢索步驟中的檢索結(jié)果候補(bǔ)數(shù)，然后實(shí)施適合判斷處理。
這樣可以取得使檢索處理實(shí)現(xiàn)高速化的效果。
本發(fā)明涉及的圖像檢索系統(tǒng)，具備視頻數(shù)據(jù)再生服務(wù)器和視頻數(shù)據(jù)解碼再生部，輸入圖像數(shù)據(jù)是視頻數(shù)據(jù)，第1檢索處理部把代表由檢索所確定的各視頻數(shù)據(jù)的各關(guān)鍵圖像數(shù)據(jù)作為檢索結(jié)果向第2檢索處理部傳送，第2檢索處理部接收來(lái)自第1檢索處理部的作為檢索結(jié)果的各關(guān)鍵圖像數(shù)據(jù)，通過(guò)用戶(hù)接口部向用戶(hù)提示，視頻再生服務(wù)器從用戶(hù)接口部接收用戶(hù)從各關(guān)鍵圖像中選擇確定的關(guān)鍵圖像的再生請(qǐng)求，然后從圖像信息蓄存部中讀出代表其選擇的關(guān)鍵圖像的視頻數(shù)據(jù)，向視頻數(shù)據(jù)解碼再生部傳送，視頻數(shù)據(jù)解碼再生部從視頻再生服務(wù)器接收所傳送的視頻數(shù)據(jù)進(jìn)行解碼及再生處理。
這樣，可以取得有效地削減信息傳送總量的效果。
本發(fā)明涉及的圖像檢索方法在從輸入圖像數(shù)據(jù)中抽取圖像特征量生成特征描述符的同時(shí)，與輸入圖像數(shù)據(jù)的時(shí)空間結(jié)構(gòu)相關(guān)聯(lián)，在檢索用描述數(shù)據(jù)中記述特征描述符，將檢索用描述數(shù)據(jù)與所對(duì)應(yīng)的輸入圖像數(shù)據(jù)一同蓄存，根據(jù)來(lái)自用戶(hù)的檢索請(qǐng)求對(duì)所蓄存的輸入圖像數(shù)據(jù)的檢索用描述數(shù)據(jù)進(jìn)行分析，抽取特征描述符，并基于所抽取的特征描述符實(shí)施適合判斷處理，求出檢索結(jié)果，并向用戶(hù)提示該檢索結(jié)果。
這樣，可以取得基于特征描述符、可靠度及檢索使用順序有效實(shí)施圖像數(shù)據(jù)檢索的效果。
本發(fā)明涉及的圖像檢索方法，輸入圖像數(shù)據(jù)是視頻數(shù)據(jù)，將代表由檢索所確定的各視頻數(shù)據(jù)的各關(guān)鍵圖像數(shù)據(jù)作為檢索結(jié)果向用戶(hù)提示，接收用戶(hù)從各關(guān)鍵圖像中選擇確定的關(guān)鍵圖像的再生請(qǐng)求后，讀出代表其所選擇的關(guān)鍵圖像的視頻數(shù)據(jù)實(shí)施解碼及再生。
這樣，可以取得有效地削減信息傳送總量的效果。


第1圖是表示現(xiàn)有圖像檢索處理系統(tǒng)的例圖。
第2圖是說(shuō)明本發(fā)明實(shí)施方式1中圖像檢索系統(tǒng)構(gòu)成的方框圖。
第3圖是表示圖像數(shù)據(jù)生成部處理的流程圖。
第4圖是表示根據(jù)圖像屬性文本信息生成文本信息示例(XML文本)的處理例圖。
第5圖是表示幀內(nèi)幀間自適應(yīng)編碼圖。
第6圖是表示包括特征抽取處理及特征描述符生成處理的全部特征描述符組生成順序的流程圖。
第7圖是表示特征描述符組生成處理的具體生成順序的流程圖。
第8圖是表示運(yùn)動(dòng)分布特征化的量值例圖。
第9圖是表示幀內(nèi)描述符組的意義圖。
第10圖是表示根據(jù)所抽取的特征量生成特征描述符組的處理例圖。
第11圖是表示分層生成并記述特征描述符組的例圖。
第12圖是表示圖像檢索部的處理流程圖。
第13圖是表示適合判斷處理的流程圖。
第14圖是表示圖像數(shù)據(jù)庫(kù)生成部的另一構(gòu)成例圖。
第15圖是表示本實(shí)施方式2下圖像檢索系統(tǒng)服務(wù)器側(cè)的特征部分構(gòu)成方框圖。
第16圖是表示本實(shí)施方式2下圖像檢索系統(tǒng)客戶(hù)側(cè)的特征部分構(gòu)成方框圖。
第17圖是表示實(shí)施方式2下圖像檢索系統(tǒng)的檢索處理過(guò)程流程圖。
第18圖是表示本實(shí)施方式2下圖像檢索系統(tǒng)所利用的檢索用描述數(shù)據(jù)文件構(gòu)成圖。
第19圖是表示在適合判斷處理部中基于搜索優(yōu)先的特征描述符適合判斷處理的例圖。
第20圖是表示用戶(hù)的主觀特征與特征描述符之間的關(guān)系圖。
實(shí)施方式以下為更詳細(xì)說(shuō)明本發(fā)明，根據(jù)附圖對(duì)實(shí)施本發(fā)明的最佳方式作以說(shuō)明。實(shí)施方式1在本實(shí)施方式1中，對(duì)可從在分散在網(wǎng)絡(luò)上的多個(gè)即一個(gè)以上的數(shù)據(jù)庫(kù)中蓄存的圖像數(shù)據(jù)中檢索出用戶(hù)所需的圖像數(shù)據(jù)并加以利用的圖像檢索系統(tǒng)作以說(shuō)明。根據(jù)使用方法，圖像數(shù)據(jù)可以是壓縮靜止圖像(JPEG圖像等)、壓縮運(yùn)動(dòng)圖像(MPEG圖像等)或非壓縮圖像，對(duì)圖像格式?jīng)]有特別限制。在本實(shí)施方式1中，作為本發(fā)明的一例，雖然所設(shè)想的是通過(guò)互聯(lián)網(wǎng)上的WWW(萬(wàn)維網(wǎng))進(jìn)行圖像信息的傳送與接收，但本發(fā)明并不局限于此，有線或無(wú)線通信業(yè)務(wù)及廣播網(wǎng)業(yè)務(wù)等都適用于本系統(tǒng)。
第2圖是說(shuō)明本發(fā)明實(shí)施方式1下圖像檢索系統(tǒng)構(gòu)成的方框圖。以下，“等級(jí)”一詞表示數(shù)據(jù)定義，“示例”一詞表示基于等級(jí)定義以數(shù)值形式具體代表的數(shù)據(jù)，比如文件、變量等。
在第2圖中，1是圖像數(shù)據(jù)庫(kù)生成部，2是表示與圖像相關(guān)屬性的文本信息的屬性信息及圖像數(shù)據(jù)，3是從圖像數(shù)據(jù)中抽取規(guī)定特征量組的特征抽取部，4是基于依據(jù)其它圖像數(shù)據(jù)庫(kù)生成部1或與服務(wù)器通用的特征量描述數(shù)據(jù)等級(jí)的定義根據(jù)特征量組生成作為示例組的特征描述符組的特征描述符組生成部，5是對(duì)圖像數(shù)據(jù)與特征描述符組實(shí)施成對(duì)蓄存的圖像信息蓄存部。
此外在第2圖中，6是基于依據(jù)其它圖像數(shù)據(jù)庫(kù)生成部1或與服務(wù)器通用的文本信息描述數(shù)據(jù)等級(jí)的定義根據(jù)屬性信息生成作為示例組的屬性表的屬性表生成部，7是蓄存屬性表的屬性表蓄存部。此外8是圖像檢索部，9是根據(jù)作為檢索對(duì)象的圖像數(shù)據(jù)目錄與關(guān)鍵圖像選擇所需檢索的圖像的用戶(hù)接口部，10是基于用戶(hù)接口部所指令的檢索條件實(shí)施檢索處理的檢索處理部，11是顯示所檢索出來(lái)的關(guān)鍵圖像及檢索圖像的顯示部。此外在本實(shí)施方式1中，屬性表與特征描述符總稱(chēng)統(tǒng)一定義為元數(shù)據(jù)。
此外在第2圖中，服務(wù)器包括由特征抽取部3、特征描述符組生成部4、圖像信息蓄存部5、屬性表生成部6及屬性表蓄存部7組成的圖像數(shù)據(jù)庫(kù)生成部1和圖像檢索部8的檢索處理部10，圖像檢索部8的用戶(hù)接口部9及顯示部11構(gòu)成客戶(hù)側(cè)，雖然服務(wù)器與客戶(hù)側(cè)構(gòu)成本發(fā)明的圖像檢索系統(tǒng)，但本發(fā)明并不局限于這種構(gòu)成，比如客戶(hù)側(cè)可以配備檢索處理部10，或者服務(wù)器本身也另外配備用戶(hù)接口部9及顯示部11的客戶(hù)側(cè)功能。此外，還分別具有多個(gè)圖像數(shù)據(jù)庫(kù)生成部1或服務(wù)器及圖像檢索部8或客戶(hù)部，并通過(guò)互聯(lián)網(wǎng)等網(wǎng)絡(luò)連接，通過(guò)這些多個(gè)圖像數(shù)據(jù)庫(kù)生成部1或服務(wù)器，基于上述的通用特征量描述數(shù)據(jù)等級(jí)及文本信息描述數(shù)據(jù)等級(jí)生成特征描述符組及屬性表。
以下詳細(xì)介紹各部的處理情況。(1)圖像數(shù)據(jù)庫(kù)生成部1的處理第3圖中，通過(guò)流程圖介紹圖像數(shù)據(jù)庫(kù)生成部1的處理情況。
這里所考慮的是把新的圖像數(shù)據(jù)登錄到圖像數(shù)據(jù)庫(kù)內(nèi)的情況。圖像數(shù)據(jù)庫(kù)的登錄主要包括二種處理。第1種處理是根據(jù)表示圖像數(shù)據(jù)中附加的圖像屬性的文本信息生成屬性表，并蓄存到屬性表蓄存部7內(nèi)。另一種處理是從圖像數(shù)據(jù)中抽取特征量，生成特征描述符，并把圖像數(shù)據(jù)與特征描述符蓄存到作為數(shù)據(jù)庫(kù)的圖像信息蓄存部5內(nèi)。以下分別對(duì)各處理作以詳細(xì)說(shuō)明。
首先對(duì)從生成屬性表到登錄的處理過(guò)程(步驟ST1～ST3)作以詳細(xì)說(shuō)明。
首先抽取附加于圖像信息內(nèi)并隨之輸入的表示圖像屬性的文本信息(步驟ST1)。在比如圖像數(shù)據(jù)是視頻郵件的運(yùn)動(dòng)圖像數(shù)據(jù)的情況下，表示圖像屬性的文本信息是指與運(yùn)動(dòng)圖像數(shù)據(jù)一同傳送的視頻郵件的傳送者、傳送日期、標(biāo)題名稱(chēng)等信息。由于這些信息表示視頻郵件的運(yùn)動(dòng)圖像數(shù)據(jù)的制作者與制作日期等，因而是一種表示運(yùn)動(dòng)圖像數(shù)據(jù)屬性的文本信息。此外，在另一示例中，在圖像數(shù)據(jù)是由廣播電臺(tái)傳送的電視廣播等視頻節(jié)目的情況下，表示圖像屬性的文本信息是指與視頻節(jié)目一同傳送的節(jié)目信息(演員、制片人、片名、播放日期等)。在設(shè)想把家庭用視頻錄像及數(shù)字相片等蓄存到家庭用服務(wù)器內(nèi)的示例情況下，用戶(hù)可以把有關(guān)攝影日期及被攝物的有關(guān)信息作為文本信息直接輸入，也可以考慮以文本形式從錄像機(jī)及照相機(jī)等裝置傳送到服務(wù)器內(nèi)。
所抽取的文本信息在屬性表生成部6內(nèi)被以屬性表形式實(shí)施示例化處理(步驟ST2)。屬性表的數(shù)據(jù)形式包括比如通過(guò)XML(可擴(kuò)展標(biāo)記語(yǔ)言)記述的文件。
第4圖表示生成作為基于圖像屬性文本信息的文本信息示例的XML文件的處理一例。
在第4圖示例中，抽取作為屬性信息的視頻郵件中附加的文本信息，生成以XML語(yǔ)言記述所抽取的文本信息的文件。該XML文件是一種作為屬性表構(gòu)成單位的數(shù)據(jù)，屬性表把針對(duì)各視頻郵件制作的這些文件統(tǒng)一到一個(gè)表數(shù)據(jù)內(nèi)。在XML文件的記述中，需要有用于規(guī)定文件結(jié)構(gòu)的定義文件(DTD(Document Type Definition文件類(lèi)型定義))。DTD用于規(guī)定文件結(jié)構(gòu)中所包括的要素與要素之間的關(guān)系(某一要素是否在其它要素中出現(xiàn)等)及要素的出現(xiàn)順序等。
在第4圖所示的XML文件生成處理中，DTD表示在TextInfo要素中包括Category(目錄)、Author(作者)、Date(日期)、Time(時(shí)間)、Title(名稱(chēng))、Locator(定位符)等各要素，而且這些各要素是文字型數(shù)據(jù)。所抽取的文本信息根據(jù)該DTD被轉(zhuǎn)換成XML文件。第4圖中XML文件示例中的各要素值被包容在表示要素開(kāi)始的標(biāo)記<aaa>和表示要素結(jié)束的標(biāo)記</aaa>之內(nèi)，aaa表示由DTD定義的要素名稱(chēng)。即在被包容在<TextInfo>～</TextInfo>內(nèi)的單位內(nèi)記述與一個(gè)視頻郵件相關(guān)的屬性，對(duì)于作為檢索對(duì)象的所有視頻郵件，如果具有將這些數(shù)據(jù)統(tǒng)一到一起的屬性表，則可以根據(jù)<TextInfo>～</TextInfo>單位下的屬性對(duì)各視頻郵件進(jìn)行檢索。
此外，屬性表的數(shù)據(jù)形式并不局限于此，也可以基于預(yù)先定義的數(shù)據(jù)結(jié)構(gòu)予以記述。比如作為屬性表的數(shù)據(jù)形式，除了以XML文件形式記述之外，也可以是位流型的二進(jìn)制數(shù)據(jù)。在這種情況下，與XML文件相同，需要用于定義二進(jìn)制數(shù)據(jù)結(jié)構(gòu)的語(yǔ)法，即用于規(guī)定各要素的設(shè)置方式及各要素所分配的位數(shù)等的先決條件。
按上述方法生成的屬性表被蓄存到屬性表蓄存部7內(nèi)(步驟ST3)。此外，在圖像數(shù)據(jù)與作為該屬性信息的文本信息所蓄存的數(shù)據(jù)庫(kù)不同的情況下，屬性表中將包括多個(gè)圖像數(shù)據(jù)蓄存地址，并被蓄存到屬性表蓄存部7內(nèi)。比如在WWW下，可以指定圖像數(shù)據(jù)所在的網(wǎng)址(URL(通用資源定位符))。在第4圖的示例中，作為屬性表的XML文件中包括用于指定圖像數(shù)據(jù)的URL的被稱(chēng)為“定位符”的要素，可以指定與各視頻郵件的屬性信息對(duì)應(yīng)的圖像數(shù)據(jù)地址。
以下對(duì)從抽取圖像特征量到生成并登錄特征量描述符的處理過(guò)程(步驟ST4～ST6)作以詳細(xì)說(shuō)明。
在本實(shí)施方式1下的特征描述符生成處理中，被輸入并蓄存的圖像數(shù)據(jù)是一種通過(guò)MPEG及H.261/H.263等規(guī)定的編碼方式被壓縮編碼的視頻(運(yùn)動(dòng)圖像)位流。
首先在特征抽取部3內(nèi)，通過(guò)圖像位流抽取圖像特征量(步驟ST4)。在本實(shí)施方式1中，從壓縮視頻位流中把運(yùn)動(dòng)信息、編碼幀內(nèi)的輝度及色差各直流成分?jǐn)?shù)據(jù)作為特征量抽取。壓縮視頻位流設(shè)想采用MPEG和H.261/H.263等的國(guó)際標(biāo)準(zhǔn)編碼方式，在這類(lèi)方法中，視頻幀信號(hào)被實(shí)施圖5所示單位宏塊下的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(以下稱(chēng)為間)/幀內(nèi)(以下稱(chēng)為內(nèi))自適應(yīng)編碼。宏塊由輝度信號(hào)16×16像素、色差信號(hào)8×8像素×2的圖像數(shù)據(jù)構(gòu)成。具體說(shuō)，一個(gè)幀內(nèi)的所有宏塊都被實(shí)施幀內(nèi)編碼的情況稱(chēng)為幀內(nèi)，在該情況下，可以只使該幀圖像數(shù)據(jù)本身的壓縮數(shù)據(jù)擴(kuò)展及復(fù)原。在這樣的幀內(nèi)，幀內(nèi)編碼宏塊的各信號(hào)直流成分可被視為是大致表示圖像總體的數(shù)據(jù)(第5圖中左側(cè)最下部圖示)。如圖5所示，幀內(nèi)通常大多根據(jù)隨機(jī)訪問(wèn)等要求條件被周期性地插入視頻信號(hào)內(nèi)。
另一方面，在根據(jù)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)對(duì)預(yù)測(cè)殘余信號(hào)實(shí)施編碼處理的幀間編碼宏塊內(nèi)，由于只對(duì)運(yùn)動(dòng)預(yù)測(cè)中不近似的數(shù)據(jù)實(shí)施編碼處理，因而該編碼信息中最本質(zhì)的數(shù)據(jù)是近似于宏塊內(nèi)主要圖像信息的運(yùn)動(dòng)矢量(第5圖中右側(cè)最下部圖示)。根據(jù)上述觀點(diǎn)，在特征抽取部3內(nèi)，幀內(nèi)中各宏塊的輝度及色差信號(hào)的直流成分與幀間編碼宏塊的運(yùn)動(dòng)矢量被作為圖像特征量從圖像位流中抽取。
在以下說(shuō)明中，把規(guī)定期間內(nèi)的幀群稱(chēng)為視頻段。比如最簡(jiǎn)單的視頻段規(guī)定為從一個(gè)幀內(nèi)開(kāi)始到下一個(gè)幀內(nèi)之前的幀結(jié)束的幀單位組。另一種具有較長(zhǎng)周期的幀組是指從一個(gè)幀內(nèi)開(kāi)始到另一個(gè)幀內(nèi)之前的幀結(jié)束的幀群。視頻段的長(zhǎng)度可以根據(jù)視頻段內(nèi)的內(nèi)容意義任意設(shè)定。
在本實(shí)施方式1中，基于由上述特征抽取部3抽取的特征量組，在特征描述符組生成部4內(nèi)生成用于記述視頻段的特征描述符組(步驟ST5)。以下對(duì)特征量組的抽取順序和特征描述符組的生成順序作以詳細(xì)說(shuō)明。
第6圖是詳細(xì)介紹包括第3圖中步驟ST4的特征抽取處理及步驟ST5的特征描述符生成處理的全部特征描述符組生成順序的流程圖。
作為輸入到特征抽取部3內(nèi)的圖像數(shù)據(jù)的視頻位流可以是以預(yù)先切出的視頻段為單位的位流，也可以是按多個(gè)視頻段劃分的歷經(jīng)上述長(zhǎng)時(shí)間視頻節(jié)目的位流。在后者的情況下，在特征抽取部3中，可以根據(jù)來(lái)自外部的指令或者通過(guò)在內(nèi)部實(shí)施適當(dāng)?shù)淖R(shí)別處理確定出視頻段單位，按該單位實(shí)施特征抽取及特征描述符組抽取的處理。以下主要介紹輸入視頻段單位位流情況下的處理。如上所述，視頻段由從幀內(nèi)開(kāi)始的連續(xù)幀組構(gòu)成。特征抽取按幀單位實(shí)施，而且?guī)瑑?nèi)與幀間互相分開(kāi)。在幀內(nèi)情況下抽取輝度與色差信號(hào)的直流成分，在幀間情況下抽取運(yùn)動(dòng)矢量。
具體地說(shuō)，首先在步驟ST7中，對(duì)幀的標(biāo)題信息進(jìn)行搜索，如果該幀是幀內(nèi)(I-frame)(步驟ST7“Y是”)，則通過(guò)步驟ST8把作為各宏塊的各像素平均值矩陣的輝度與色差信號(hào)的直流成分?jǐn)?shù)據(jù)抽取。在第6圖中，宏塊位置按幀的光柵掃描順序以n表示，位置n上的宏塊的輝度信號(hào)的直流成分以DCY[n]表示，色差信號(hào)的直流成分以DCU[n]、DCV[n]表示。n的最大值根據(jù)幀的水平與垂直像素?cái)?shù)確定。在MPEG，H.26x系列等國(guó)際標(biāo)準(zhǔn)視頻編碼方式中，由于直流成分以在構(gòu)成宏塊的各自具有8×8像素的單位子碼組中實(shí)施的DCT(離散余弦變換)(0，0)位置下的直流成分表示，所以可以對(duì)單位宏塊內(nèi)的該數(shù)據(jù)進(jìn)行搜索，并抽取。但由于在輝度信號(hào)中1個(gè)宏塊內(nèi)有4個(gè)子碼組，因而把4個(gè)子碼組的直流成分的平均值作為輝度信號(hào)的直流成分。
在以下步驟ST9中，對(duì)幀內(nèi)所對(duì)應(yīng)的特征量進(jìn)行累加。該步驟在特征描述符組生成部4中實(shí)施。具體地說(shuō)，基于下列算式1對(duì)DCV[n]、DCU[n]、DCV[n]分別進(jìn)行累加。(算式1)avgYsum[n]＝avgYpre[n]+DCY[n]；avgpreY[n]＝avgsumY[n]avgUsum[n]＝avgUpre[n]+DCU[n]；avgpreU[n]＝avgsumU[n]avgVsum[n]＝avgVpre[n]+DCV[n]；avgpreV[n]＝avgsumV[n]stdYsum[n]＝stdYpre[n]+DCY[n]*DCY[n]；stdYpre[n]＝stdYsum[n]stdUsum[n]＝stdUpre[n]+DCU[n]*DCU[n]；stdUpre[n]＝stdUsum[n]stdVsum[n]＝stdVpre[n]+DCV[n]*DCV[n]；stdVpre[n]＝stdVsum[n]這里，avgYpre[n]，avgUpre[n]，avgVpre[n]，stdYpre[n]，stdUpre[n]，stdV[n]的各值在抽取處理開(kāi)始時(shí)復(fù)位至零。
當(dāng)幀內(nèi)中的所有n位置下的抽取與累加處理結(jié)束后(步驟ST10“Y是”)，視頻段中的幀內(nèi)出現(xiàn)次數(shù)計(jì)數(shù)器N1的讀數(shù)增加，并轉(zhuǎn)為下一個(gè)幀處理(步驟ST11“N否”)。如果視頻段結(jié)束(步驟ST11“Y是”)，便轉(zhuǎn)為實(shí)施特征描述符組生成處理的步驟ST17。
以下對(duì)幀間的特征量抽取處理作以說(shuō)明。
如果在步驟ST7中判斷出不是幀內(nèi)(步驟ST7“N否”)，則在步驟ST12中判斷該幀是否是正向(單向)預(yù)測(cè)的幀間(P-frame)。這里之所以限定為P-frame，是因?yàn)樵贛PEG中，除了P-frame之外，作為幀間，還有參照時(shí)間上過(guò)去及未來(lái)幀二方面的實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的雙向預(yù)測(cè)幀(B-frame)和稱(chēng)為變幀的通過(guò)對(duì)全景圖像的變形合成使解碼圖像復(fù)原的預(yù)測(cè)變幀(步驟S-frame，S-VOP)等的幀編碼類(lèi)型，以便作區(qū)別。這里，對(duì)于幀間，只以?xún)H參照過(guò)去的幀實(shí)施正向(單向)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的幀間(P-frame)為對(duì)象。因此，當(dāng)在步驟ST12中判斷為不是P-frame的情況下，(步驟ST12“N否”)，不實(shí)施特征量的抽取，轉(zhuǎn)為對(duì)下一幀的處理。
如果在步驟ST12中判斷出是幀間(P-frame)，(步驟ST12“Y是”)，在特征抽取部3中抽取幀內(nèi)的全部宏塊的運(yùn)動(dòng)矢量MV[n](步驟ST13)。這里，MV[n]值以下列算式2表示。(算式2)MV[n]=xn2+yn2]]>xn位置n上的運(yùn)動(dòng)矢量的水平成分yn位置n上的運(yùn)動(dòng)矢量的垂直成分因此，如果在步驟ST14中判斷出所有宏塊的MV[n]都抽取完畢(步驟ST14“Y是”)，則在步驟ST15中生成與該幀對(duì)應(yīng)的幀間特征描述符組。該處理在特征描述符組生成部4內(nèi)實(shí)施。
第7圖以流程映像式表示在第6圖的步驟ST15中實(shí)施的特征描述符組處理的具體生成順序。首先對(duì)通過(guò)步驟ST13的處理所蓄存的1幀MV[n]，求出作為幀內(nèi)平均運(yùn)動(dòng)量的下列算式3的值(步驟ST15-1)。(算式3)CNP=1NΣn=0N-1MV[n]]]>式中N表示幀內(nèi)的宏塊總數(shù)。
接下來(lái)，在步驟ST15-2中，對(duì)各MV[n]實(shí)施下列算式4的閾值處理。(算式4) 對(duì)于所得到的新的運(yùn)動(dòng)矢量分布，按照光柵掃描順序?qū)V’[n]進(jìn)行掃描，求出下列運(yùn)動(dòng)分布特征量(步驟ST15-3)。
Nsr具有幀水平像素?cái)?shù)1/3以下長(zhǎng)度的零行程(短行程)數(shù)Nms具有幀水平像素?cái)?shù)1/3以上2/3長(zhǎng)度的零行程(中行程)數(shù)
Nlr具有幀水平像素?cái)?shù)2/3以上長(zhǎng)度的零行程(長(zhǎng)行程)數(shù)此外，從第8圖可以看出，存在多個(gè)短行程的幀內(nèi)的運(yùn)動(dòng)復(fù)雜程度較高，其運(yùn)動(dòng)分布在一個(gè)較大的范圍內(nèi)，存在多個(gè)長(zhǎng)行程的幀內(nèi)，其運(yùn)動(dòng)只局限在局部。
當(dāng)幀間中的所有n位置下的抽取與累加處理結(jié)束后(步驟ST14“Y是”)，視頻段中的幀間出現(xiàn)次數(shù)計(jì)數(shù)器Np的讀數(shù)增加，并轉(zhuǎn)為下一個(gè)幀處理(步驟ST16“N否”)。如果視頻段結(jié)束(步驟ST16“Y是”)，便轉(zhuǎn)為實(shí)施特征描述符組生成處理的步驟ST17。
作為以上的結(jié)果，可以得到視頻段中各幀間的特征描述符組(CNp，Nsr，Nms，Nlr，)，為在步驟ST17中生成視頻段的特征描述符組，對(duì)各幀間的特征描述符組進(jìn)行累加。
如上所述，當(dāng)視頻段中所有幀的特征抽取或特征描述符的生成都結(jié)束后，最后在步驟ST17中生成視頻段的特征描述符組。該處理也在特征描述符組生成部4內(nèi)實(shí)施。
具體地說(shuō)，在幀內(nèi)情況下，利用累加的特征量avgYsum[n]，avgUsum[n]，avgVsum[n]，stdYsum[n]，stdUsum[n]，stdYsum[n]和視頻段內(nèi)的幀內(nèi)數(shù)N1生成下列算式5的特征描述符組(avgY[n]，avgU[n]，avgV[n]，stdY[n]，stdU[n]，stdV[n])。(算式5)avgY[n]＝avgYsum[n]/NIavgU[n]＝avgUsum[n]/NIavgV[n]＝avgVsum[n]/NIstdY[n]=stdYsum[n]NI-(avgY[n])2]]>stdU[n]=stdUsum[n]NI-(avgU[n])2]]>stdV[n]=stdVsum[n]NI(avgV[n])2]]>作為上述結(jié)果，生成幀內(nèi)的nx6個(gè)特征描述符組。以下通過(guò)第9圖對(duì)這些特征描述符組的意義作以說(shuō)明。
各幀內(nèi)各宏塊的直流成分的求取與第9圖中所作的各宏塊位置上的圖像數(shù)據(jù)平均亮度與色度相對(duì)時(shí)間方向的波形圖等值。即avgY[n]的時(shí)間系列表示在各宏塊位置n上亮度隨時(shí)間方向的變化，avgU[n]，avgV[n]的時(shí)間系列表示各宏塊位置n上色度隨時(shí)間方向的變化。此外，stdY[n]表示相對(duì)第9圖波形平均(avgY[n])的標(biāo)準(zhǔn)偏差程度，stdU[n]，stdV[n]也分別表示相對(duì)平均值(avgU[n]，avgV[n])的標(biāo)準(zhǔn)偏差程度。因此，這些特征描述符組可以被看作是幀內(nèi)系列的亮度與色度相對(duì)時(shí)間變化的特征化描述符。雖然把波形按原樣作為描述符儲(chǔ)存，而且描述符數(shù)量可以根據(jù)視頻段長(zhǎng)度無(wú)限增加，但由于采用上述描述符，在保持時(shí)間變化的特征而且不依賴(lài)于視頻段長(zhǎng)度的條件下，可以通過(guò)一定量的描述符記述有關(guān)視頻段的亮度與色度的特征。
另一方面，對(duì)于幀間，將各幀間所生成的特征描述符組(CNp，Nsr，Nmr，Nlr)除以幀間總數(shù)Np，得出平均數(shù)。這樣對(duì)于幀間，每個(gè)視頻段生成4個(gè)特征描述符組。
此外，特征描述符組的結(jié)構(gòu)便于提高檢索方便性。特征描述符組的數(shù)據(jù)形式與屬性表一樣有時(shí)被設(shè)置為比如XML文件的形式。
第10圖表示根據(jù)所抽取的特征量生成特征描述符組的處理一例。
如圖10提示，由特征抽取部3從視頻位流中抽取的特征量組根據(jù)DTD被轉(zhuǎn)換為作為特征描述符組的XML文件。在圖10所示的特征描述符組中包括與上述運(yùn)動(dòng)矢量相關(guān)的特征描述符組及與輝度、色差信號(hào)的直流成分相關(guān)的特征描述符組。被包容在<MotionInfo>～</MotionInfo>范圍內(nèi)的信息表示與運(yùn)動(dòng)矢量相關(guān)的特征描述符組，(CNp，Nsr，Nmr，Nlr)分別由Average(平均)、ShortRun(短行程)、MediumRun(中行程)、LongRun(長(zhǎng)行程)的標(biāo)記圍住記述。
被包容在<ColourTexture>～</ColourTexture>內(nèi)的信息表示與輝度、色差信號(hào)的直流成分相關(guān)的特征描述符組，其中被包容在<YDC>～</YDC>內(nèi)的信息表示與輝度信號(hào)的直流成分相關(guān)的特征描述符組，(avgY[n]，stdY[n])分別被包容在“平均、標(biāo)準(zhǔn)”標(biāo)記內(nèi)記述。同樣，被包容在<UDC>～</UDC>或<VDC>～</VDC>內(nèi)的信息表示與色差信號(hào)直流成分有關(guān)的特征描述符組，其中被包容在“平均、標(biāo)準(zhǔn)”標(biāo)記內(nèi)記述的信息表示(avgU[n]，stdU[n])，(avgV[n]，stdV[n])。
在第10圖所示的特征描述符組中，除了與上述運(yùn)動(dòng)矢量有關(guān)的特征描述符組及與輝度、色差信號(hào)的直流成分有關(guān)的特征描述符組之外，還包括與媒體相關(guān)的輔助信息。第10圖中被包容在<MediaInfo>～</MediaInfo>內(nèi)的信息即表示此類(lèi)信息，諸如MPEG-1和JPEG等的圖像格式(格式)、CD、DVD等蓄存媒體種類(lèi)(媒體)及其它表示彩色圖像或單色圖像的與顏色相關(guān)的信息、圖像大小、其它圖像的顯示所必需具備的終端能力的信息等輔助信息也被包括在其中。用戶(hù)在使所檢索出的圖像再生或顯示時(shí)要用到這些信息，同時(shí)也可以作為檢索條件予以指定。此外在輔助信息中還包括表示圖像蓄存地址的信息。在第10圖的示例中，被包容在<Locator>～</Locator>內(nèi)的信息即表示此類(lèi)信息，由URL指定。
作為第10圖示例之外的其它特征描述符，還有記述圖像意義特征的特征描述符組等。其示例有表示體育影片中所描寫(xiě)的選手所屬體育隊(duì)名稱(chēng)及影片中各人物之間的關(guān)系等的特征描述符。在設(shè)想把家庭用視頻錄像及數(shù)字相片等蓄存到家庭用服務(wù)器內(nèi)的情況下，用戶(hù)可以把被攝物所具有的有意義的特征作為文本信息直接輸入進(jìn)去，或者在設(shè)想把視頻廣播節(jié)目蓄存到家庭用服務(wù)器內(nèi)的情況下，可以由節(jié)目信息自動(dòng)抽取。
此外作為其它特征描述符組，對(duì)于幀間的特征描述符組(CNp，Nsr，Nmr，Nlr)，不僅是視頻段內(nèi)的平均值，還可以按照與上述幀內(nèi)的特征描述符組相同的方式計(jì)算出作為表示該時(shí)間變化的復(fù)雜程度即表示與運(yùn)動(dòng)的推移相關(guān)的復(fù)雜程度的指標(biāo)的視頻段內(nèi)的分散度(標(biāo)準(zhǔn)偏差)，并附加到特征描述符組中。這樣，即使發(fā)生運(yùn)動(dòng)推移，也可以附加隨時(shí)間變化的特征量。
此外，對(duì)幀內(nèi)的特征描述符組也可以考慮實(shí)施與幀間的特征描述符組的生成相同的處理，削減特征描述符數(shù)量。比如根據(jù)下列算式6求出各幀內(nèi)的(CV.NI，CU.NI，CV.NI)量。它們分別相當(dāng)于第NI個(gè)與幀內(nèi)相關(guān)的畫(huà)面平均輝度及畫(huà)面平均色差。(算式6)CY,NI=1NmbΣn=1NmbDCY,NI[n]]]>CU,NI=1NmbΣn=1NmbDCU,NI[n]]]>CV,NI=1NmbΣn=1NmbDCV,NI[n]]]>這些值可與幀間內(nèi)的CNp同樣使用，可以得到與畫(huà)面內(nèi)輝度及色差相對(duì)應(yīng)的(Nsr，Nmr，Nlr)值。這些值的值組是記述輝度與色差在空間內(nèi)的分布的復(fù)雜程度的量值。如果把這些值用作各幀內(nèi)的特征描述符組，在得到視頻段內(nèi)的平均與分散(標(biāo)準(zhǔn)偏差)值后，在記述中也可以減少視頻段的總描述符數(shù)。反之，也可以與幀內(nèi)的特征描述符一樣，按照更為詳細(xì)的宏塊精度對(duì)幀間的特征描述符組進(jìn)行包括時(shí)間變化在內(nèi)的記述。
此外在本實(shí)施方式1中介紹的幀內(nèi)的單位宏塊的特征描述符組中，為實(shí)現(xiàn)分層檢索，也可以對(duì)特征描述符組實(shí)施如圖11所示的從上位層到下位層的分層生成與記述。這樣，可以實(shí)施從以總體畫(huà)面為對(duì)象的整體輝度與色差變化到以畫(huà)面內(nèi)宏塊為單位的局部輝度及色差變化的綜合性記述，可根據(jù)需要實(shí)施檢索處理。此外，如果另外指定層數(shù)，由于只需保留確定層數(shù)所需的特征描述符組數(shù)據(jù)，所以對(duì)特征描述符組的數(shù)據(jù)量也可以進(jìn)行適當(dāng)?shù)恼{(diào)整。
此外，本實(shí)施方式1中的幀內(nèi)特征描述符組數(shù)由于取決于宏塊數(shù)，因而對(duì)于宏塊數(shù)不同的視頻段不能進(jìn)行嚴(yán)密的適應(yīng)性判定處理，為解決這一問(wèn)題，可以根據(jù)用戶(hù)請(qǐng)求檢索與實(shí)際檢索的各自圖像數(shù)據(jù)的宏決數(shù)，實(shí)施適宜的任意特征描述符組的插補(bǔ)或減除，與宏塊數(shù)吻合，使其達(dá)到匹配。這種情況雖然適用于對(duì)各種圖像格式的視頻內(nèi)容混合在一起的數(shù)據(jù)庫(kù)實(shí)施檢索處理的情況，但在實(shí)際應(yīng)用情況中(比如數(shù)字廣播等)，為與前導(dǎo)設(shè)備等適配，大多將圖像格式統(tǒng)一起來(lái)，所以上述示例并不多見(jiàn)。此外，在本實(shí)施方式中，雖然在特征描述符組的記述中采用XML語(yǔ)言，但與屬性定義表的情況相同，特征描述符組也不局限于XML，也可以基于預(yù)先定義的數(shù)據(jù)結(jié)構(gòu)被記述。
如上所述，當(dāng)通過(guò)步驟ST5的處理由特征描述符組生成部4生成特征描述符組時(shí)，所生成的特征描述符組與圖像數(shù)據(jù)一同被蓄存在圖像信息蓄存部5內(nèi)(步驟ST6)。此外，特征描述符組的蓄存數(shù)據(jù)庫(kù)也可能與圖像數(shù)據(jù)的蓄存數(shù)據(jù)庫(kù)不同。在該情況下，特征描述符組內(nèi)最好包括表示圖像數(shù)據(jù)存儲(chǔ)位置的地址。在第10圖的示例中，特征描述符組內(nèi)包括一個(gè)稱(chēng)為“定位符”的要素，在該要素值內(nèi)設(shè)定URL。(2)圖像檢索部8的處理以下對(duì)圖像檢索部8的處理作以說(shuō)明。
第12圖是表示圖像檢索部8的處理情況的流程圖。圖像檢索處理主要包括二種處理方法。即基于屬性表的檢索和基于特征描述符組的特征類(lèi)似度檢索。
首先對(duì)基于屬性表的檢索處理作以詳細(xì)說(shuō)明。
首先，由用戶(hù)通過(guò)用戶(hù)接口部9輸入檢索條件(步驟ST18)。這里，輸入比如需要檢索的圖像類(lèi)別、圖像制作日期及時(shí)間、圖像制作者等文本信息。由用戶(hù)輸入的文本信息被傳送給檢索處理部10，在檢索處理部10中，實(shí)施對(duì)屬性表蓄存部7中蓄存的屬性表的適合判斷處理(步驟ST19)。比如以用戶(hù)指定圖像的制作日期與時(shí)間及圖像制作者為檢索條件為例。在第4圖的示例中，搜索“日期、時(shí)間、作者”標(biāo)記，與標(biāo)記所包容的值對(duì)應(yīng)即可。
作為對(duì)與屬性表的適應(yīng)性判定處理結(jié)果，如果存在與日期、時(shí)間、作者所有要素相一致的視頻郵件的屬性信息(步驟ST19“Y是”)，則從屬性表內(nèi)抽取作為適應(yīng)結(jié)果的與日期、時(shí)間、作者所有要素相一致的視頻郵件的屬性信息，并傳送給顯示部11(步驟ST20)。這樣，由于作為圖像數(shù)據(jù)屬性信息的文本信息被實(shí)施結(jié)構(gòu)化記述，因而可基于數(shù)據(jù)結(jié)構(gòu)的定義，只抽取檢索所必需的要素，從而能容易地達(dá)到匹配。
上述步驟ST20、ST21的處理一直重復(fù)到蓄存在屬性表蓄存部7內(nèi)的屬性表最后一項(xiàng)(步驟ST21“N否”)，當(dāng)屬性表的最后一項(xiàng)結(jié)束后(步驟ST21“Y是”)，在步驟ST20中所處理的與用戶(hù)檢索條件相適合的所有屬性信息都被轉(zhuǎn)移到顯示部11內(nèi)。
當(dāng)?shù)剿畲娴膶傩员碜詈筮m合結(jié)果傳送處理結(jié)束時(shí)(步驟ST21“Y是”)，在顯示部11上顯示出適合用戶(hù)檢索條件的屬性信息一覽(步驟ST22)。在第4圖示例中，其日期、時(shí)間、作者的要素值與用戶(hù)的輸入值一致的屬性信息一覽作為文本信息顯示出來(lái)。此時(shí)，在圖4示例所示的以XML文件格式記述屬性數(shù)據(jù)的情況下，XML文件可在顯示部?jī)?nèi)被轉(zhuǎn)換為可通過(guò)瀏覽器顯示的HTML形式。此外，此時(shí)通過(guò)向?qū)傩孕畔⒎峙涑溄?，則可容易地進(jìn)行下一個(gè)用戶(hù)訪問(wèn)。如果圖像數(shù)據(jù)是映像數(shù)據(jù)，而且具有規(guī)定的顯示面積，則映像數(shù)據(jù)的關(guān)鍵幀可與屬性信息一同顯示，如果建立從關(guān)鍵幀數(shù)據(jù)到映像數(shù)據(jù)的鏈接，則用戶(hù)可直觀地訪問(wèn)映像數(shù)據(jù)。
如上所述，由于以預(yù)定的數(shù)據(jù)形式對(duì)屬性表實(shí)施結(jié)構(gòu)處理，因而可在用戶(hù)側(cè)通過(guò)規(guī)定數(shù)據(jù)形式的文件(比如DTD)對(duì)屬性表的數(shù)據(jù)結(jié)構(gòu)進(jìn)行分析，可容易地轉(zhuǎn)換成能顯示出來(lái)的數(shù)據(jù)形式。
其次，如果所顯示的屬性表中存在所需的圖像屬性信息，用戶(hù)在通過(guò)接口部9輸入再生指令(步驟ST23)的同時(shí)，選擇出需要再生的圖像的屬性信息(步驟ST24)。然后，在檢索處理部10內(nèi)，根據(jù)由用戶(hù)選擇的圖像的屬性信息中包含的地址(URL)，把圖像數(shù)據(jù)傳送給顯示部11，顯示部11對(duì)該圖像數(shù)據(jù)實(shí)施再生/顯示(步驟ST25)。
另一方面，即使顯示部11顯示的屬性表一覽與所需圖像的屬性信息不一致，但如果存在與所需圖像的屬性信息相近的屬性信息，或者與屬性幀一同顯示的關(guān)鍵幀與所需圖像類(lèi)似，則用戶(hù)可以通過(guò)接口部9輸入類(lèi)似檢索指令(步驟ST23)，同時(shí)選擇用于類(lèi)似檢索的與所需圖像屬性信息相近的屬性信息(步驟ST26)，這樣，可通過(guò)圖像信息蓄存部5檢索與所需圖像類(lèi)似的圖像。
即當(dāng)用戶(hù)通過(guò)接口部9輸入類(lèi)似檢索指令(步驟ST23)，并選擇用于類(lèi)似檢索的屬性信息(步驟ST26)后，檢索處理部10實(shí)施基于特征描述符組的特征類(lèi)似檢索，通過(guò)步驟ST26從圖像信息蓄存部5內(nèi)抽取所選擇圖像的特征描述符組，實(shí)施與圖像信息蓄存部5內(nèi)蓄存的其它圖像特征描述符組的適應(yīng)性的判定處理(步驟ST27)。此外在以下說(shuō)明中，與上述相同，以通過(guò)運(yùn)動(dòng)矢量和輝度及色差信號(hào)的直流成分相關(guān)的特征描述符組記述特征量的情況為例作以說(shuō)明。
第13圖是詳細(xì)介紹第12圖中步驟ST27的適合判斷處理一例的流程圖。
首先，對(duì)于作為視頻段內(nèi)的幀間特征描述符的運(yùn)動(dòng)矢量的4個(gè)相關(guān)特征描述符CNp，Nsr，Nmr，Nlr及作為幀內(nèi)特征描述符的輝度與色差成分直流成分的Nmb個(gè)相關(guān)特征描述符avgY[n]，avgU[n]，avgV[n]，stdY[n]，stdU[n]，stdV[n]，分別基于通過(guò)步驟ST26選擇的圖像特征描述符組的各特征描述符數(shù)值，實(shí)施該各特長(zhǎng)描述符是否處于由閾值規(guī)定的范圍內(nèi)的比較(步驟ST27-1～ST27-11)，如果所有特征描述符值都是規(guī)定范圍內(nèi)的值，可判定為適合，否則為不適合。
然后，具有被判定為適合的特征描述符的圖像地址信息(URL)被傳送給顯示部11(步驟ST28)。按上述方法，對(duì)剩余的特征描述符組按同樣方法進(jìn)行適合判斷處理，直到特征描述符組表內(nèi)的所有特征描述符組的適合判斷處理都結(jié)束(步驟ST29“Y是”)。
這樣，特征描述符組表內(nèi)的所有特征描述符組的適合判斷處理都結(jié)束后(步驟ST29“N否”)，顯示部11基于具有被判定為適合的特征描述符的圖像地址信息從圖像信息蓄存部5中調(diào)出圖像，對(duì)該圖像進(jìn)行再生/顯示(步驟ST22)。此外，在運(yùn)動(dòng)圖像的情況下，把具有被判定為適合的特征描述符的運(yùn)動(dòng)圖像的關(guān)鍵幀地址信息傳送給顯示部11，顯示部11對(duì)該關(guān)鍵幀進(jìn)行再生/顯示。因此，用戶(hù)通過(guò)接口部9從由顯示部11顯示的關(guān)鍵幀一覽中選擇出所需顯示的運(yùn)動(dòng)圖像(步驟ST24)，對(duì)運(yùn)動(dòng)圖像進(jìn)行再生/顯示(步驟ST25)。此外，也可以再次選出需進(jìn)行類(lèi)似檢索的圖像(步驟ST26)，實(shí)施如上所述的類(lèi)似檢索(步驟ST27)。
因此，根據(jù)本實(shí)施方式1中的圖像檢索系統(tǒng)，在基于參照屬性表的屬性信息實(shí)施檢索后，由于可以基于特征描述符實(shí)施檢索，因而可以有效地進(jìn)行檢索。
此外對(duì)于步驟ST27的適合判斷處理，可考慮采用其它各種方法。即在上述的第13圖示例中，雖然對(duì)所有的特征描述符都附加相同的權(quán)重，然后進(jìn)行相對(duì)閾值的比較處理，但在比如需對(duì)運(yùn)動(dòng)狀態(tài)進(jìn)行重點(diǎn)檢索的情況下，也可以對(duì)幀間的特征描述符的比較處理結(jié)果加權(quán)，產(chǎn)生最終結(jié)果。此外，在第13圖的示例中，雖然對(duì)每個(gè)特征描述符的比較結(jié)果以級(jí)聯(lián)方式逐個(gè)連接，從而得到最終結(jié)果，但也可以對(duì)全部特征描述符的比較處理進(jìn)行適當(dāng)?shù)囊?guī)范化處理并使之結(jié)合起來(lái)，進(jìn)行綜合性判定。這種適合判斷處理可以按照根據(jù)檢索目的將特征描述符的數(shù)據(jù)最有效地用于檢索的方式予以調(diào)整。
此外，在利用多種類(lèi)型的特征描述符進(jìn)行檢索時(shí)，可以根據(jù)應(yīng)用類(lèi)型(檢索系統(tǒng)、數(shù)據(jù)庫(kù)等)，在描述符方式下預(yù)先儲(chǔ)存適合判斷處理(檢索算式)。由于可以通過(guò)根據(jù)標(biāo)準(zhǔn)的記述方法對(duì)判定處理本身進(jìn)行記述，而且可以按照檢索中使用的多個(gè)特征描述符用于檢索的方法不取決于具體應(yīng)用的方式進(jìn)行記述，所以可以統(tǒng)一設(shè)置各種類(lèi)型的應(yīng)用。此外，比如還可以通過(guò)通用的適合判斷處理對(duì)與互聯(lián)網(wǎng)連接的用于同樣特征描述符檢索的其它數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行檢索處理。比如下述(1)～(7)所示可以作為適合判斷處理的記述示例。
(1)記述將多個(gè)特征描述符用于適合判斷的方法。比如綜合檢索或級(jí)聯(lián)檢索等。
(2)附加取決于綜合檢索處理時(shí)的各特征描述符的重要性的權(quán)重系數(shù)。
(3)提供實(shí)施綜合檢索時(shí)的各特征描述符的規(guī)范化方法。
(4)提供將描述符用于檢索的順序。
(5)提供基于級(jí)聯(lián)連接的檢索情況下根據(jù)各特征描述符所得到的檢索候補(bǔ)數(shù)。
(6)提供表示各特征描述符的記述精度(特征記述的正確程度)的數(shù)值。
(7)提供根據(jù)各特征描述符的匹配所得到的檢索候補(bǔ)分別是以“與”方式輸出還是以“或”方式輸出的判斷基準(zhǔn)。
這些適合判斷處理順序的描述符可以通過(guò)具體應(yīng)用所固有的固定方式記述，也可以采用在具體應(yīng)用所容許的范圍內(nèi)由用戶(hù)定制的構(gòu)成。比如，通過(guò)用戶(hù)從系統(tǒng)獲取可用于檢索的特征描述符種類(lèi)信息，并根據(jù)其性質(zhì)把反映本身喜好的獨(dú)自的適合判斷處理作為描述符予以更新，則用戶(hù)便可以實(shí)施更為靈活的檢索處理。雖然這種檢索系統(tǒng)的定制設(shè)置可在某種程度上單獨(dú)取決于具體應(yīng)用，但通過(guò)建立通用標(biāo)準(zhǔn)記述格式，可以容易地設(shè)置到一個(gè)大范圍系統(tǒng)中，此外還可以在各不同應(yīng)用之間共享可用于檢索的數(shù)據(jù)。
此外作為本系統(tǒng)的應(yīng)用示例，本系統(tǒng)可適用于監(jiān)視系統(tǒng)。比如在利用監(jiān)視攝像機(jī)對(duì)侵入者進(jìn)行監(jiān)視的監(jiān)視系統(tǒng)中，通過(guò)圖像的運(yùn)動(dòng)特征量便可以檢測(cè)出侵入者，因此記述圖像運(yùn)動(dòng)特征量的元數(shù)據(jù)可與監(jiān)視圖像位流一道被登錄到數(shù)據(jù)庫(kù)內(nèi)，監(jiān)視圖像的被記錄日期及時(shí)間等信息被登錄到屬性表內(nèi)。當(dāng)用戶(hù)使被記錄的監(jiān)視圖像再生時(shí)，可輸入作為檢索關(guān)鍵碼的日期與時(shí)間等文本信息，并把稱(chēng)為“侵入者”的關(guān)鍵詞作為檢索關(guān)鍵碼輸入進(jìn)去。從登錄表中選擇候補(bǔ)檢索圖像，然后對(duì)候補(bǔ)檢索圖像中附加的元數(shù)據(jù)進(jìn)行檢索，顯示出懷疑有侵入者存在的圖像。用戶(hù)可以從所顯示出的圖像選擇所需的圖像，使其再生。而且對(duì)于已經(jīng)檢索過(guò)的已顯示出的映像，即使記不住準(zhǔn)確的記錄日期與記錄時(shí)間，如想從蓄存映像中更詳細(xì)地檢索出這樣的類(lèi)似映像，也可以利用特征描述符組通過(guò)獲取映像間的匹配向用戶(hù)提供詳細(xì)的檢索結(jié)果。
此外作為本系統(tǒng)的另一應(yīng)用例，本系統(tǒng)可適用于用戶(hù)可從蓄存在便攜終端等內(nèi)的視頻郵件和蓄存在家用服務(wù)器內(nèi)的廣播節(jié)目中檢索出希望察看的郵件或廣播節(jié)目并再生的系統(tǒng)。屬性表由家用服務(wù)器內(nèi)節(jié)目錄像的日期及時(shí)間與從節(jié)目信息中抽取的節(jié)目名稱(chēng)及演員等信息組成。雖然可以根據(jù)輸入用戶(hù)所希望觀看的節(jié)目信息進(jìn)行檢索，但在檢索結(jié)果中沒(méi)有所需信息時(shí)，也可以根據(jù)在映像上附加的特征描述符組進(jìn)行類(lèi)似檢索。這樣即使不能準(zhǔn)確記住所需的節(jié)目信息，也可以憑借對(duì)映像的印象進(jìn)行檢索。
此外對(duì)于上述的特征量抽取部3、特征描述符組生成部4的運(yùn)作及所抽取的特征量和所生成的特征描述符組，還有其它各種例子。比如，如圖13所示，特征抽取部3從通過(guò)映像壓縮編碼部12被壓縮編碼之前的非壓縮狀態(tài)下的圖像數(shù)據(jù)中抽取特征量，把它傳送給特征描述符組生成部4。作為如此構(gòu)成的系統(tǒng)的應(yīng)用例比如包括，在邊壓縮長(zhǎng)時(shí)間監(jiān)視映像邊蓄存的系統(tǒng)內(nèi)，對(duì)來(lái)自攝像機(jī)的數(shù)字化輸入映像實(shí)施直接運(yùn)動(dòng)物體和侵入物等的特征(顏色、形狀、大小、運(yùn)動(dòng)量、方向等)檢測(cè)，并作為特征量抽取，在特征描述符組生成部4內(nèi)生成特征描述符組后，在映像壓縮編碼部12內(nèi)經(jīng)過(guò)壓縮編碼處理，然后被附加到視頻段內(nèi)并蓄存起來(lái)。在該例中，由于抽取保存作為圖像數(shù)據(jù)的詳細(xì)特征的非壓縮映像的特征量，因而與從壓縮數(shù)據(jù)中抽取特征量的情況相比，具有可以生成更詳細(xì)的特征描述符(被攝物的種類(lèi)與軌跡的記述等)的優(yōu)點(diǎn)。另一方面，要生成詳細(xì)的特征描述符需要復(fù)雜的演算處理系統(tǒng)，因此對(duì)特征抽取部3和特征描述符組生成部4要求具有更高的演算性能。
這樣的系統(tǒng)不僅可用于監(jiān)視，還可適用于與成本相比對(duì)其質(zhì)量與可靠性更為重視的廣播業(yè)務(wù)用攝像機(jī)。在該情況下，本實(shí)施方式下介紹的系統(tǒng)總體相當(dāng)于廣播節(jié)目制作用映像庫(kù)系統(tǒng)。從攝像機(jī)得到的映像特征描述符組與被記錄的映像一道被記錄到數(shù)據(jù)庫(kù)內(nèi)，因此，可以以圖像本身所具有的類(lèi)似性作為關(guān)鍵碼有效實(shí)施素材檢索。此外，即使對(duì)于個(gè)人用攝像機(jī)，如果能通過(guò)配備壓縮編碼處理前簡(jiǎn)單的前期處理功能，生成與比如人物的面部圖像有關(guān)的特征描述符，并與所對(duì)應(yīng)的映像一道記錄到媒體內(nèi)(錄像帶、個(gè)人計(jì)算機(jī)或家用服務(wù)器中的硬盤(pán))，則可以通過(guò)特征描述符組的匹配從大量的未整理的映像中檢索出與確定面部對(duì)應(yīng)的映像。
在上述任一種應(yīng)用中，通過(guò)采用屬性表，可以根據(jù)記錄映像的屬性觀點(diǎn)對(duì)多種媒體和數(shù)據(jù)庫(kù)進(jìn)行統(tǒng)一管理，可根據(jù)屬性表的層次進(jìn)一步簡(jiǎn)單地實(shí)施作為候補(bǔ)檢索的映像追加及刪除等，因此，不僅檢索處理，系統(tǒng)構(gòu)成本身也可以統(tǒng)一簡(jiǎn)單化。實(shí)施方式2在本實(shí)施方式2下，主要對(duì)將有關(guān)運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)量、亮度、顏色等多種特征描述符組合起來(lái)，構(gòu)成特征描述符組，作為對(duì)它們進(jìn)行檢索的關(guān)鍵碼使用的可反映用戶(hù)意圖的檢索方針等的圖像檢索系統(tǒng)及圖像檢索方法的具體示例作以說(shuō)明。此外在上述實(shí)施方式1下，雖然所說(shuō)明的檢索處理部10設(shè)置在服務(wù)器側(cè)，但在本實(shí)施方式2下的圖像檢索系統(tǒng)中，檢索處理部10設(shè)置在服務(wù)器側(cè)與客戶(hù)側(cè)，服務(wù)器側(cè)與客戶(hù)側(cè)通過(guò)2個(gè)網(wǎng)絡(luò)A與B互相連接，這是一個(gè)特征。
第15圖是表示本實(shí)施方式2的圖像檢索系統(tǒng)中服務(wù)器側(cè)的特征部分構(gòu)成的方框圖。即第15圖除了表示第2圖中的特征描述符組生成部4的詳細(xì)構(gòu)成，還表示檢索處理部10被分為二個(gè)檢索處理部10A、10B后服務(wù)器側(cè)的檢索處理部10A的詳細(xì)方框圖，還示出了用于再生檢索結(jié)果所必需的視頻再生服務(wù)器218。
在第15圖中，201是壓縮視頻數(shù)據(jù)，202是特征描述符生成部，203是特征描述符數(shù)據(jù)，204是特征描述符可靠度計(jì)算部，205是特征描述符可靠度，206是特征描述符檢索使用順序決定部，207是特征描述符檢索使用順序(檢索優(yōu)先度)數(shù)據(jù)，208是壓縮視頻數(shù)據(jù)存儲(chǔ)位置信息，209是檢索用描述數(shù)據(jù)生成部。
另外，210是檢索用描述數(shù)據(jù)文件，211是檢索用描述數(shù)據(jù)分析部，212是被分析的特征描述符數(shù)據(jù)等，213是適合判斷處理部，214是適合判斷處理結(jié)果，215是檢索結(jié)果編碼傳送部，216是檢索請(qǐng)求信息，217是檢索結(jié)果信息，218是視頻再生服務(wù)器，219是再生請(qǐng)求信息，220是再生控制部，221是再生內(nèi)容確定信息，222是再生視頻內(nèi)容數(shù)據(jù)，223是視頻數(shù)據(jù)傳送部，224是分配視頻數(shù)據(jù)。
第16圖是主要表示本實(shí)施方式2下圖像檢索系統(tǒng)中客戶(hù)側(cè)的特征部分構(gòu)成的方框圖。即第16圖表示第2圖中檢索處理部10被分為二個(gè)檢索處理部10A、10B后客戶(hù)側(cè)的檢索處理部10B的詳細(xì)方框圖，同時(shí)還表示用于為用戶(hù)再生檢索結(jié)果的視頻解碼再生部與用戶(hù)之間的交互作用和用于顯示再生映像等的用戶(hù)接口等。
在第16圖中，225表示網(wǎng)絡(luò)A，227表示檢索請(qǐng)求信息編碼傳送部，228表示檢索結(jié)果接收顯示部，229表示用戶(hù)接口部，230表示來(lái)自用戶(hù)的檢索請(qǐng)求，231表示在用戶(hù)接口部229上顯示出的檢索結(jié)果，232表示用戶(hù)，233表示檢索結(jié)果再生請(qǐng)求，234表示檢索運(yùn)動(dòng)圖像再生，235表示視頻再生控制部，237表示網(wǎng)絡(luò)B，239表示視頻解碼再生部。
此外在第16圖所示的客戶(hù)側(cè)的檢索處理部10B、視頻再生控制部235及視頻解碼再生部239與第15圖所示的服務(wù)器側(cè)的檢索處理部10A及視頻再生服務(wù)器218之間通過(guò)網(wǎng)絡(luò)A225和B237可收發(fā)檢索請(qǐng)求信息216、檢索結(jié)果信息217、再生請(qǐng)求信息219及分配視頻數(shù)據(jù)224。這里，網(wǎng)絡(luò)A225意味著比如與數(shù)據(jù)的傳送高速度相比，可靠性更為重要的網(wǎng)絡(luò)，比如意味著TCP/IP之類(lèi)的網(wǎng)絡(luò)。此外，網(wǎng)絡(luò)B237意味著比如與數(shù)據(jù)的傳送可靠性相比，實(shí)時(shí)傳送的高速度更為重要的網(wǎng)絡(luò)，比如意味著RTP/UDP/IP之類(lèi)的網(wǎng)絡(luò)。
此外，第16圖中的用戶(hù)接口部229相當(dāng)于第2圖中的客戶(hù)部，表示兼有第2圖中的用戶(hù)接口部9與顯示部11功能的客戶(hù)應(yīng)用。
如上所述，第15圖所示的構(gòu)成主要表示在服務(wù)器側(cè)設(shè)置的部件，第16圖所示的構(gòu)成主要表示在客戶(hù)側(cè)設(shè)置的部件。從這些圖中可看出，在本系統(tǒng)中，實(shí)際的檢索適合判斷處理等的檢索處理本身在服務(wù)器側(cè)的檢索處理部10A中實(shí)施，客戶(hù)側(cè)按照規(guī)定的規(guī)則對(duì)檢索處理中用戶(hù)愛(ài)好等的請(qǐng)求信息進(jìn)行編碼處理，并傳送給服務(wù)器側(cè)，這樣，服務(wù)器對(duì)該信息進(jìn)行解釋?zhuān)⒃跈z索處理中反映出來(lái)。
通過(guò)上述系統(tǒng)，可無(wú)需通過(guò)網(wǎng)絡(luò)把存儲(chǔ)大量的檢索用視頻描述數(shù)據(jù)的文件傳送給客戶(hù)側(cè)，因此可以提高網(wǎng)絡(luò)的使用效率。此外，雖然作為一種正常的檢索結(jié)果提示形式，一般都把若干個(gè)候補(bǔ)檢索內(nèi)容提示給用戶(hù)，但是也可以不把作為檢索結(jié)果信息的所有候補(bǔ)檢索視頻數(shù)據(jù)都傳送給客戶(hù)側(cè)，通過(guò)與實(shí)時(shí)視頻再生系統(tǒng)的組合只把用戶(hù)真正需要的檢索結(jié)果傳送給客戶(hù)側(cè)。這樣也能取得提高網(wǎng)絡(luò)整體使用效率的效果。
本系統(tǒng)的檢索處理特征包括可以計(jì)算出相對(duì)多個(gè)視頻特征描述符的表示各自所記述的可靠度的數(shù)值，并根據(jù)該數(shù)值確定檢索所使用的順序，將該數(shù)值作為描述數(shù)據(jù)的一部分存儲(chǔ)到XML文件等檢索用描述數(shù)據(jù)內(nèi)。此外，由于與該檢索使用順序有關(guān)的描述符反映了與檢索相關(guān)的用戶(hù)愛(ài)好等，因而可以把它作為可根據(jù)來(lái)自客戶(hù)側(cè)的用戶(hù)請(qǐng)求予以更新的數(shù)據(jù)，使其作為提供多種視頻特征描述符的組合檢索參數(shù)的描述符發(fā)揮作用。
此外，表示各特征描述符可靠性的數(shù)值被用于確定各特征描述符檢索步驟中的檢索結(jié)果減少候補(bǔ)數(shù)等的系統(tǒng)參數(shù)。以下把特征描述符檢索使用順序的描述符稱(chēng)為“檢索優(yōu)先度”，把表示各特征描述符可靠性的數(shù)值稱(chēng)為“可靠度”。二者的詳細(xì)意義及使用方法在后文介紹。
第17圖表示本系統(tǒng)中檢索用描述數(shù)據(jù)的生成及檢索處理的流程圖。以下基于第15圖～第17圖對(duì)本實(shí)施方式2下的系統(tǒng)的詳細(xì)運(yùn)作作以說(shuō)明。(1)檢索用描述數(shù)據(jù)文件210的生成(步驟ST30～步驟ST33)首先，通過(guò)對(duì)作為附加檢索用描述數(shù)據(jù)的輸入圖像數(shù)據(jù)的壓縮視頻數(shù)據(jù)201實(shí)施下述處理生成檢索用描述數(shù)據(jù)文件210。以下把作為生成檢索用描述數(shù)據(jù)的對(duì)象的壓縮視頻數(shù)據(jù)201稱(chēng)為視頻段。如實(shí)施方式1中所述，視頻段表示由任意數(shù)的幀群構(gòu)成的單位視頻數(shù)據(jù)。因此，視頻段有時(shí)也表示比如一個(gè)電視節(jié)目和視頻軟件(以下把該情況稱(chēng)為“視頻節(jié)目”)，有時(shí)表示根據(jù)電視節(jié)目中確定意義內(nèi)容分類(lèi)的場(chǎng)景(以下稱(chēng)為“視頻場(chǎng)景”)以及構(gòu)成場(chǎng)景的各鏡頭畫(huà)面(以下稱(chēng)為“視頻鏡頭”)等。從幀數(shù)的觀點(diǎn)出發(fā)，他們都是具有不同幀數(shù)的視頻段。(1-1)檢索用描述數(shù)據(jù)的構(gòu)成第18圖表示本實(shí)施方式2中構(gòu)成檢索用描述數(shù)據(jù)文件210的檢索用描述數(shù)據(jù)構(gòu)成的記述例。具體地說(shuō)，檢索用描述數(shù)據(jù)的結(jié)構(gòu)是，視頻節(jié)目240處在最上位層，構(gòu)成視頻節(jié)目240的視頻場(chǎng)景(圖中省略“場(chǎng)景”一詞)243群處在次位層，構(gòu)成各場(chǎng)景243的視頻鏡頭(圖中省略“鏡頭”一詞)244群處在最下位層。此外在圖中，視頻段(視頻節(jié)目240、視頻場(chǎng)景243、視頻鏡頭244)、檢索優(yōu)先度241及可靠度242以符號(hào)“口”表示，另一方面，各視頻段，特別是記述視頻鏡頭的特征描述符245～249群以符號(hào)“0”表示。在本系統(tǒng)中生成與視頻鏡頭244有關(guān)的下列特征描述符組245～249。
·運(yùn)動(dòng)量245是一種與視頻段中運(yùn)動(dòng)矢量的大小有關(guān)的特征描述符。
·運(yùn)動(dòng)方向246是一種與視頻段中的運(yùn)動(dòng)矢量的方向有關(guān)的特征描述符。
·運(yùn)動(dòng)分布247是一種與視頻段中運(yùn)動(dòng)矢量在畫(huà)面內(nèi)分布有關(guān)的特征描述符。
·亮度248是一種與視頻段內(nèi)的平均亮度有關(guān)的特征描述符。
·代表色249是一種與視頻段內(nèi)的代表色有關(guān)的特征描述符。
此外，在各位層240～244及特征描述符245～249中，設(shè)定將在后文介紹的可靠度242。
此外，在最上位層的視頻節(jié)目240中附加一個(gè)檢索優(yōu)先度241。
隨著檢索使用順序的變化，各特征描述符所代表的特征量將返回不同的結(jié)果。在本例中，由于在一開(kāi)始從初期的大量數(shù)據(jù)庫(kù)中抽取了能良好地適合于運(yùn)動(dòng)量的視頻段，因而在最終向用戶(hù)展示的檢索結(jié)果中可以得到運(yùn)動(dòng)量方面具有很高類(lèi)似度的結(jié)果。因此，通過(guò)把這樣的信息附加到視頻段上，用戶(hù)可以持續(xù)地得到基于檢索優(yōu)先度241的信息的檢索結(jié)果，此外由于用戶(hù)可以對(duì)該信息進(jìn)行動(dòng)態(tài)性的變更，因而可以把適合用戶(hù)意圖的檢索結(jié)果靈活地輸出。
在本實(shí)施方式2下，由于假設(shè)從同一視頻節(jié)目240中檢索出與視頻節(jié)目240中某種確定的視頻鏡頭244類(lèi)似的其它視頻鏡頭244，所以在視頻節(jié)目240中附加一個(gè)檢索優(yōu)先度241，而在與視頻場(chǎng)景243和視頻鏡頭244的層次相應(yīng)的視頻段內(nèi)則不附加。
接下來(lái)對(duì)各特征描述符中設(shè)定的可靠度242作以說(shuō)明。比如以與運(yùn)動(dòng)量有關(guān)的特征描述符為例，所謂可靠度242是一種以數(shù)值方式客觀地表現(xiàn)該描述符如何正確地記述視頻內(nèi)容的運(yùn)動(dòng)量的指標(biāo)。有關(guān)數(shù)值化方法在與各特征描述符的生成有關(guān)的說(shuō)明項(xiàng)目中詳述。在本實(shí)施方式2中，可靠度242包括對(duì)各視頻鏡頭244的特征描述符245～249等計(jì)算及附加的可靠度242C、對(duì)各視頻場(chǎng)景243附加的作為構(gòu)成各視頻場(chǎng)景243的全部視頻鏡頭244的可靠度平均值的可靠度242B、作為對(duì)視頻節(jié)目240附加的構(gòu)成該視頻節(jié)目240的全部視頻場(chǎng)景243的可靠度平均值的可靠度242A。在構(gòu)成檢索用描述數(shù)據(jù)的各要素中附加的上述可靠度242主要用于檢索優(yōu)先度241的初期設(shè)定及檢索處理階段中的參數(shù)設(shè)定。詳情后述。(1-2)檢索用描述數(shù)據(jù)的生成處理(1-2-1)特征描述符的生成處理(步驟ST30)在各特征描述符的生成中，首先由特征抽取部3把特征描述符的生成所必需的運(yùn)動(dòng)矢量及直流成分值等圖像特征量從壓縮視頻數(shù)據(jù)201中抽取，特征描述符生成部202基于這些特征量實(shí)施各特征描述符的生成(步驟ST30)。以下對(duì)各特征描述符的生成方法作以詳述。(a)與運(yùn)動(dòng)量有關(guān)的特征描述符245以視頻段中的第k項(xiàng)幀間(P-frame)為例，根據(jù)下列算式求出幀內(nèi)所有宏塊(1≤n≤N；N為幀內(nèi)的宏塊總數(shù))的運(yùn)動(dòng)矢量MVk[n]的大小Ck[n].(算式7)Ck[n]=xn2+yn2]]>xn運(yùn)動(dòng)矢量MVk[n]的水平成分yn運(yùn)動(dòng)矢量MVk[n]的垂直成分接下來(lái)，求出1幀內(nèi)所蓄存的Ck[n]的下列平均值及方差。(算式8)Ckavg=1NΣn=1NCk[n]]]>(算式9)σk2=1NΣn=1N(Ck[n]-Ckavg)2]]>通過(guò)上述計(jì)算可以得到與幀間k的運(yùn)動(dòng)量有關(guān)的特征描述符的數(shù)據(jù)組(Ckavg，σk2)。此外，要求出一個(gè)視頻段的值，可以通過(guò)視頻段內(nèi)的幀間總數(shù)求出平均數(shù)。(b)與運(yùn)動(dòng)方向有關(guān)的特征描述符246根據(jù)下列算式10求出各幀間的運(yùn)動(dòng)矢量MVk[n]的角度Ak[n]。角度以Degree表示。(算式10)4k[n]＝tan-1(yn/xn)另一方面，對(duì)幀內(nèi)宏塊設(shè)為Ak[n]＝0。對(duì)于一幀內(nèi)蓄存的Ak[n]，根據(jù)下列算式11求出平均值。此外，要求出一個(gè)視頻段的值，可以通過(guò)視頻段內(nèi)的幀間總數(shù)求出平均數(shù)。(算式11)Akavg=1NΣn=1NAk[n]]]>(c)與運(yùn)動(dòng)分布有關(guān)的特征描述符247對(duì)于在(a)中求出的幀間k內(nèi)的各運(yùn)動(dòng)矢量Ck[n]，實(shí)施下列閾值處理。(算式12) 對(duì)按上述方法得到的新運(yùn)動(dòng)矢量分布，按照光柵掃描順序?qū)k′[n]進(jìn)行掃描，求出下列運(yùn)動(dòng)分布特征量。
SRk具有幀水平像素?cái)?shù)1/3以下長(zhǎng)度的零行程(短行程)數(shù)MRk具有幀水平像素?cái)?shù)1/3以上2/3長(zhǎng)度的零行程(中行程)數(shù)LRk具有幀水平像素?cái)?shù)2/3以上長(zhǎng)度的零行程(長(zhǎng)行程)數(shù)此外如實(shí)施方式1中所示，從第8圖中可以看出，存在多個(gè)短行程的幀內(nèi)的運(yùn)動(dòng)復(fù)雜度較大，運(yùn)動(dòng)量分布在一個(gè)較大的范圍內(nèi)，在存在多個(gè)長(zhǎng)行程的幀，運(yùn)動(dòng)只局限在局部。
因此，要求出一個(gè)視頻段的值，可以通過(guò)視頻段內(nèi)的幀間總數(shù)求出平均數(shù)。(d)與亮度有關(guān)的特征描述符248采用幀內(nèi)的輝度信號(hào)成分中所包含的各宏決的直流(DC)成分的直方圖。DC成分?jǐn)?shù)值范圍為0～255，該范圍被定量分為16個(gè)試樣區(qū)，求出各試樣的直方圖。通過(guò)各試樣視頻段中的全部幀內(nèi)數(shù)算出按各幀內(nèi)求出的直方圖平均數(shù)。最后，根據(jù)下列算式13求出所有幀內(nèi)(N個(gè))的平均數(shù)。(算式13)Havg(j)=1NΣi=0NHi(j),]]>j＝0，K，15(e)與代表色有關(guān)的特征描述符249采用幀內(nèi)的輝度及色差信號(hào)成分中包含的各宏塊直流(DC)成分的直方圖。DC成分?jǐn)?shù)值范圍為0～255，該范圍被定量分為16個(gè)試樣區(qū)，求出各試樣的直方圖。通過(guò)各試樣視頻段中的全部幀內(nèi)數(shù)求出按各幀內(nèi)求出的直方圖平均數(shù)。最后，根據(jù)下列算式14求出所有幀內(nèi)(N個(gè))的平均數(shù)。(算式14)Havgk(j)=1NΣi=0NHik(j),]]>k色空間、j＝0，K，15(1-2-2)可靠度的計(jì)算處理(步驟ST31)接下來(lái)在特征描述符可靠度計(jì)算部204中計(jì)算出在步驟ST30中求出的各特征描述符245～249的特征描述符可靠度242(與第15圖中特征描述符可靠度205等值)(步驟ST31)。各特征描述符的計(jì)算方法在下文中介紹。(a)有關(guān)運(yùn)動(dòng)量245的特征描述符在抽取視頻段內(nèi)的全部幀間的(Ckavg，σk2)后，求出各要素對(duì)應(yīng)的最終所得到的視頻段值與各幀值的差分絕對(duì)值，把視頻段中的最大值作為0，把最小值作為100，通過(guò)對(duì)全部幀的平均計(jì)算算出規(guī)范化后的各幀的差分絕對(duì)值。這樣，該值成為以幀的記述精度為基準(zhǔn)的表示視頻段記述精度的值。特征描述符的可靠度是相對(duì)(Ckavg，σk2)的各可靠度平均值。(b)有關(guān)運(yùn)動(dòng)方向246的特征描述符在抽取視頻段內(nèi)全部幀間的Akavg后，求出最終得到的視頻段值與各幀值的差分絕對(duì)值，把視頻段中的最大值作為0，把最小值作為100，通過(guò)對(duì)全部幀的平均計(jì)算算出規(guī)范化后的各幀的差分絕對(duì)值。它成為表示相對(duì)幀記述精度的視頻段記述精度的值。(c)有關(guān)運(yùn)動(dòng)量分布247的特征描述符在抽取視頻段內(nèi)全部幀間的(SRk，MRk，LRk)后，求出最終得到的視頻段值與各幀值的差分絕對(duì)值，把視頻段中的最大值作為0，把最小值作為100，通過(guò)對(duì)全部幀的平均計(jì)算算出規(guī)范化后的各幀的差分絕對(duì)值。它成為表示相對(duì)幀記述精度的視頻段記述精度的值。作為特征描述符的可靠度是對(duì)應(yīng)于(SRk，MRk，LRk)的各可靠度平均值。(d)有關(guān)亮度248的特征描述符對(duì)各直方圖試樣，求出最終得到的視頻段值與各幀值之間的差分絕對(duì)值，把視頻段中的最大值作為0，把最小值作為100，通過(guò)對(duì)全部幀的平均計(jì)算算出規(guī)范化后的各幀的差分絕對(duì)值。它成為表示相對(duì)幀記述精度的視頻段記述精度的值。作為特征描述符的可靠度是對(duì)應(yīng)于各直方圖試樣的可靠度平均值。(e)有關(guān)代表色249的特征描述符對(duì)各顏色空間的各直方圖試樣，求出最終得到的作為視頻段的直方圖與各幀的直方圖之間的差分絕對(duì)值，把視頻段中的最大值作為0，把最小值作為100，通過(guò)對(duì)全部幀的平均計(jì)算算出規(guī)范化后的各幀的差分絕對(duì)值。它成為表示相對(duì)幀記述精度的視頻段記述精度的值。作為特征描述符的可靠度是對(duì)應(yīng)于各直方圖試樣的各可靠度平均值。(1-2-3)檢索優(yōu)先度241的設(shè)定處理(步驟ST32)在視頻節(jié)目240中包括的所有視頻鏡頭244的特征描述符245～249及可靠度242的計(jì)算結(jié)束后，在特征描述符檢索使用順序決定部206中，實(shí)施相對(duì)視頻節(jié)目240的檢索優(yōu)先度241的初期設(shè)定(步驟ST32)。雖然初期設(shè)定方法可以根據(jù)系統(tǒng)的設(shè)計(jì)自由規(guī)定，但在本實(shí)施方式2中，需要基于視頻節(jié)目240中的所有特征描述符的可靠度242A決定。如果把視頻節(jié)目240的各特征描述符的可靠度242A設(shè)為k，把視頻場(chǎng)景m的各特征描述符可靠度242B設(shè)為k(m)，把視頻場(chǎng)景m中的視頻鏡頭n的各特征描述符可靠度242C設(shè)為k(m，n)，則在這些k，k(m)，k(m，n)之間可建立下列關(guān)系。(算式15) (算式16) 因此，由于特征描述符中的k值越大，視頻節(jié)目240中的內(nèi)容記述狀況便越好，因而按照k值從大到小的順序決定檢索優(yōu)先度241。(1-2-4)檢索用描述數(shù)據(jù)文件210的寫(xiě)出(步驟ST33)通過(guò)上述處理過(guò)程，在最終檢索用描述數(shù)據(jù)生成部209內(nèi)，按照第18圖所示結(jié)構(gòu)與壓縮視頻數(shù)據(jù)201的時(shí)空間結(jié)構(gòu)相關(guān)聯(lián)，在XML文件等格式下寫(xiě)入視頻節(jié)目、視頻場(chǎng)景、視頻鏡頭的所有特征描述符及檢索優(yōu)先度和可靠度，通過(guò)上述方法生成檢索用描述數(shù)據(jù)文件210，并把所生成的檢索用描述數(shù)據(jù)文件210輸出到圖像信息蓄存部5內(nèi)并存儲(chǔ)起來(lái)(步驟ST33)。此外，在這一過(guò)程中，為了能便于參照所生成的檢索用描述數(shù)據(jù)文件210所記述的是哪一種視頻數(shù)據(jù)，壓縮視頻數(shù)據(jù)存儲(chǔ)位置信息208也一同被編入文件內(nèi)，作為檢索用描述數(shù)據(jù)文件210向圖像信息蓄存部5輸出，在這種方法下，通過(guò)對(duì)文件的分析，便可以確定出作為記述對(duì)象的視頻數(shù)據(jù)的所在位置。(2)檢索處理接下來(lái)，對(duì)來(lái)自客戶(hù)側(cè)的由用戶(hù)指定的要求(檢索請(qǐng)求方視頻鏡頭)所實(shí)施的檢索處理作以詳述。檢索處理通過(guò)第15圖所示的檢索處理部10A及第16圖所示的檢索處理部10B被實(shí)施。
檢索處理部10A對(duì)由客戶(hù)側(cè)傳送來(lái)的檢索請(qǐng)求信息216進(jìn)行解釋?zhuān)瑢?duì)要求進(jìn)行確定，通過(guò)利用圖像信息蓄存部5中存儲(chǔ)的檢索用描述數(shù)據(jù)文件210實(shí)施的適合判斷處理求出規(guī)定的檢索結(jié)果，根據(jù)規(guī)定的規(guī)則對(duì)檢索結(jié)果信息217進(jìn)行編碼，向客戶(hù)側(cè)返送。
檢索處理部10B從用戶(hù)接口部229接收來(lái)自用戶(hù)的檢索請(qǐng)求，根據(jù)規(guī)定的順序?qū)ζ溥M(jìn)行編碼處理，使之成為檢索請(qǐng)求信息216，并向用戶(hù)側(cè)的檢索處理部10A傳送，同時(shí)，接收由用戶(hù)按規(guī)定的規(guī)則傳送的檢索結(jié)果信息217，將其轉(zhuǎn)換為可以向用戶(hù)提示的格式，在用戶(hù)接口部229上顯示出來(lái)。
在本實(shí)施方式2中，如第18圖所示，把所記述的視頻節(jié)目240中確定的視頻鏡頭244作為檢索請(qǐng)求方視頻段(要求)，從同一視頻節(jié)目240中檢索出與詢(xún)問(wèn)類(lèi)似的視頻鏡頭。
對(duì)詢(xún)問(wèn)的視頻鏡頭的確定方法可以有多種。比如一種方法是，視頻節(jié)目制作側(cè)預(yù)先把作為檢索關(guān)鍵碼的視頻鏡頭當(dāng)作詢(xún)問(wèn)予以登錄，并把它提示給用戶(hù)，使其從中任意指定一個(gè)，另一種方法是，用戶(hù)在收聽(tīng)觀看視頻節(jié)目時(shí)，在任意位置上停止再生，把該時(shí)點(diǎn)下的視頻鏡頭作為詢(xún)問(wèn)予以指定。以下對(duì)確定詢(xún)問(wèn)后的檢索處理作以詳述。(2-1)詢(xún)問(wèn)的確定及檢索用描述數(shù)據(jù)的分析(步驟ST34～步驟ST36)該分析形式有用戶(hù)首先從在用戶(hù)接口部229上提示的詢(xún)問(wèn)表等中選定一項(xiàng)詢(xún)問(wèn)作為檢索請(qǐng)求(步驟ST34)。服務(wù)器側(cè)的圖像信息蓄存部5預(yù)先把代表候補(bǔ)要求視頻段的關(guān)鍵幀等數(shù)據(jù)以詢(xún)問(wèn)表的形式在用戶(hù)接口部29上提示。
檢索處理部10B通過(guò)檢索請(qǐng)求信息編碼傳送部227把用于在服務(wù)器側(cè)確定由用戶(hù)指定的詢(xún)問(wèn)的信息作為檢索請(qǐng)求信息216傳送給檢索處理部10A。這里的詢(xún)問(wèn)信息可以是作為比如視頻節(jié)目及其構(gòu)成要素的視頻鏡頭的時(shí)間序列號(hào)，或者是適當(dāng)?shù)腎D數(shù)據(jù)。另外，這種內(nèi)容確定信息也可以在原檢索用描述數(shù)據(jù)文件210中作為與內(nèi)容的鏈接信息被記述，在向用戶(hù)提示詢(xún)問(wèn)表時(shí)把內(nèi)容確定信息附加上去，并傳送給客戶(hù)側(cè)。
然后，在檢索處理部10A中，由檢索用描述數(shù)據(jù)分析部211接收由檢索處理部10B傳送來(lái)的檢索請(qǐng)求信息216，檢索用描述數(shù)據(jù)分析部211基于所接收的檢索請(qǐng)求信息216，對(duì)與作為詢(xún)問(wèn)的視頻鏡頭有關(guān)的檢索用描述數(shù)據(jù)文件210進(jìn)行確定，并對(duì)其進(jìn)行分析，然后抽取特征描述符等數(shù)據(jù)(步驟ST35)。
此外，檢索用描述數(shù)據(jù)分析部211預(yù)先抽取詢(xún)問(wèn)所屬的視頻節(jié)目的檢索優(yōu)先度241與各視頻場(chǎng)景可靠度242B的數(shù)據(jù)，傳送給適合判斷處理部213，與詢(xún)問(wèn)相關(guān)的特征描述符等的數(shù)據(jù)被傳送到適合判斷處理部213內(nèi)后，對(duì)詢(xún)問(wèn)所屬的視頻節(jié)目中的各視頻鏡頭所對(duì)應(yīng)的檢索用描述數(shù)據(jù)文件210進(jìn)行依次分析，并將其傳送給適合判斷處理部213(步驟ST36)。
此外，檢索用描述數(shù)據(jù)文件210的構(gòu)成方法可以任意確定，視頻節(jié)目240內(nèi)的所有視頻鏡頭243的檢索用描述數(shù)據(jù)可以被存儲(chǔ)到一個(gè)文件內(nèi)，也可以把各視頻鏡頭244按文件分割。在后者情況下，最好附加用于由視頻節(jié)目240的描述數(shù)據(jù)文件210確定各視頻鏡頭244的描述數(shù)據(jù)文件的鏈接信息。(2-2)檢索規(guī)則的決定及適合判斷處理(步驟ST37～步驟ST38)適合判斷處理由檢索處理部10A的適合判斷處理部213實(shí)施，其運(yùn)作過(guò)程可大致分為檢索規(guī)則的決定與基于各特征描述符的適合判斷處理。(2-2-1)檢索規(guī)則的決定適合判斷處理部213基于從檢索用描述數(shù)據(jù)分析部211接收的視頻節(jié)目的檢索優(yōu)先度241及視頻場(chǎng)景的可靠度242B的數(shù)據(jù)，設(shè)定檢索規(guī)則與用于檢索的參數(shù)(步驟ST37)。在本實(shí)施方式2中，基于后述第19圖所示的檢索優(yōu)先度241決定作為檢索規(guī)則的各特征描述符檢索順序，然后基于可靠度決定下列檢索參數(shù)。
首先確定作為檢索結(jié)果向用戶(hù)返回的最終檢索結(jié)果數(shù)T?？梢杂上到y(tǒng)把該檢索結(jié)果數(shù)作為缺省值予以保存，也可以作為用戶(hù)請(qǐng)求按照用戶(hù)接口部229→檢索處理部10B→檢索處理部10A的順序傳送。檢索裝置求出各視頻場(chǎng)景中T個(gè)以下的檢索結(jié)果，把作為候補(bǔ)檢索的所有視頻場(chǎng)景中的全部視頻鏡頭中的T個(gè)上位適合判斷結(jié)果視頻鏡頭作為最終結(jié)果向用戶(hù)返送。
基于可靠度k(m)，根據(jù)下列算式17決定視頻場(chǎng)景m在檢索時(shí)的候補(bǔ)檢索數(shù)Tk。(算式17)T0＝T*5 式中，Pk是第K個(gè)(1≤K≤5)特征描述符的檢索優(yōu)先度(1≤Pk≤5)。通過(guò)該設(shè)定，可決定出在根據(jù)優(yōu)先度順序?qū)Ω魈卣髅枋龇麢z索的各步驟中的候補(bǔ)檢索數(shù)Tk。由于每經(jīng)過(guò)一道檢索步驟，候補(bǔ)檢索數(shù)Tk基本上都要被縮減一次，因而可以實(shí)現(xiàn)高速檢索處理。由于在該檢索中的某些情況下，用戶(hù)真正需要的視頻鏡頭在某些檢索步驟中可能被遺漏，因而也可以考慮把各檢索步驟中的候補(bǔ)檢索數(shù)設(shè)為定數(shù)，利用可靠度決定其最終的候補(bǔ)檢索。(b)基于閾值處理的檢索跳越判定在各視頻鏡頭的適合判斷處理時(shí)，滿(mǎn)足下列條件的視頻鏡頭，即具有最高檢索優(yōu)先度的特征描述符的可靠度極低的視頻鏡頭作為不適合檢索條件的視頻鏡頭被排除在候補(bǔ)適合判斷處理以外。由于可靠度越接近0其可靠度被認(rèn)為越低，越接近100其可靠度越高，所以下列算式18中的TH可以被適當(dāng)?shù)卦O(shè)定為較小的值。(算式18)
k(m，n)≤TH； Pk＝1通過(guò)本判定，可以在適合判斷處理之前把明顯不適于候補(bǔ)檢索結(jié)果的視頻鏡頭排除在外，從而可以實(shí)現(xiàn)檢索處理高速化。
另外在本實(shí)施方式2的說(shuō)明中，雖然利用檢索優(yōu)先度最高的特征描述符進(jìn)行判定，但除此之外也可以實(shí)現(xiàn)利用可靠度的各種跳越判定方法。此外在對(duì)各視頻鏡頭實(shí)施適合判斷處理時(shí)，需要針對(duì)每個(gè)視頻鏡頭實(shí)施本實(shí)施方式2下的判定。(2-2-2)各特征描述符的適合判斷處理根據(jù)下列基準(zhǔn)，在各檢索步驟中實(shí)施根據(jù)檢索優(yōu)先度241確定的特征描述符的適合判斷處理。(步驟ST38)(a)與運(yùn)動(dòng)量相關(guān)的特征描述符對(duì)各數(shù)據(jù)間的所有歐幾里得距離進(jìn)行相加。為減小各數(shù)據(jù)要素的值域差，實(shí)施規(guī)范化處理。把詢(xún)問(wèn)設(shè)為Sq，把需被檢索的視頻鏡頭設(shè)為S，通過(guò)下列算式19確定Sq與S之間的匹配評(píng)估尺度D(Sq，S)。該D(Sq，S)越小者，其類(lèi)似度越高，可判定為具有適合性。(算式19)W＝Cavg(Sq)+σ2(Sq)D(Sq,S)=WCavg(Sq)|Cavg(Sq)-Cavg(S)|+Wσ2(Sq)|σ2(Sq)-σ2(S)|]]>(b)與運(yùn)動(dòng)方向相關(guān)的特征描述符通過(guò)下列算式20確定詢(xún)問(wèn)Sq及需被檢索的視頻鏡頭S之間的匹配評(píng)估尺度D(Sq，S)。該D(Sq，S)越小者，其類(lèi)似度越高，可判定為具有適合性。(算式20)D(Sq，S)＝|Aavg(Sq)-Aavg(S)|(c)與運(yùn)動(dòng)分布相關(guān)的特征描述符通過(guò)下列算式21確定詢(xún)問(wèn)Sq及需被檢索的視頻鏡頭S之間的匹配評(píng)估尺度D(Sq，S)。該D(Sq，S)越小者，其類(lèi)似度越高，可判定為具有適合性。(算式21)D(Sq，S)＝|SR(Sq)-SR(S)|+|MR(Sq)-MR(S)|+LR(Sq)-LR(S)|通過(guò)下列算式22確定詢(xún)問(wèn)Sq及需被檢索的視頻鏡頭S之間的匹配評(píng)估尺度D(Sq，S)。這里，Hi(S)表示第I項(xiàng)試樣的直方圖值。該D(Sq，S)越小者，其類(lèi)似度越高，可判定為具有適合性。(算式22)D(Sq,S)=Σi=015|Hi(Sq)-Hi(S)|]]>(e)與代表色相關(guān)的特征描述符通過(guò)下列算式23確定詢(xún)問(wèn)Sq及試驗(yàn)S之間的匹配評(píng)估尺度D(Sq，S)。這里，{HiY(S)，HiU(S)，HiV(S)}表示第i項(xiàng)試樣的直方圖值。該D(Sq，S)越小者，其類(lèi)似度越高，可判定為具有適合性。(算式23)D(Sq,S)=Σi=015[|HiR(Sq)-HiR(S)|+|HiG(Sq)-HiG(S)|+|HiB(Sq)-HiB(S)|]]]>第19圖表示在適合判斷處理部211中通過(guò)檢索優(yōu)先度241確定的特征描述符的適合判斷處理一例。比如假設(shè)每個(gè)視頻段有3個(gè)特征描述符D1～D3。檢索優(yōu)先度Pk(K為自然數(shù))是用于規(guī)定各特征描述符Dk用于檢索的順序的值。比如，如果用D1表示與運(yùn)動(dòng)量有關(guān)的特征描述符，D2表示與運(yùn)動(dòng)分布有關(guān)的特征描述符，D3表示與亮度有關(guān)的特征描述符，則在第19圖例中，適合判斷處理部211首先利用與運(yùn)動(dòng)量有關(guān)的特征描述符D1對(duì)詢(xún)問(wèn)(檢索請(qǐng)求視頻鏡頭)250實(shí)施適合判斷處理251，從由檢索用描述數(shù)據(jù)分析部211傳送的在圖像信息存儲(chǔ)部5內(nèi)存儲(chǔ)的多個(gè)數(shù)據(jù)庫(kù)257中集中選擇在運(yùn)動(dòng)量方面具有很高的類(lèi)似度的并具有良好的適合性的視頻段數(shù)據(jù)。利用有關(guān)運(yùn)動(dòng)量分布的特征描述符D2對(duì)該集中選擇結(jié)果252實(shí)施適合判斷處理253，集中選擇在運(yùn)動(dòng)量分布方面具有很高類(lèi)似度的并具有良好適應(yīng)性的視頻段數(shù)據(jù)，并利用與亮度有關(guān)的特征描述符D3對(duì)該結(jié)果254進(jìn)一步實(shí)施適合判斷處理255，集中選擇在亮度方面具有很高類(lèi)似度的并具有良好適合性的視頻段數(shù)據(jù)，得到最后結(jié)果256(與第15圖中的適合判斷處理結(jié)果214相等)。(2-3)檢索結(jié)果的提示與基于用戶(hù)反饋的再檢索(步驟ST39～步驟ST41)通過(guò)用戶(hù)接口部229把基于上述檢索規(guī)則及適合判斷處理所選擇的T個(gè)檢索結(jié)果視頻鏡頭信息向用戶(hù)232提示(步驟ST39)。雖然提示方法可任意確定，但在本實(shí)施方式2下采用以下方法首先提示比如詢(xún)問(wèn)表，即基于規(guī)定的規(guī)則對(duì)代表檢索結(jié)果視頻鏡頭的關(guān)鍵幀數(shù)據(jù)和視頻鏡頭的屬性信息(視頻鏡頭內(nèi)的被攝體的名稱(chēng)等)進(jìn)行編碼處理，作為檢索結(jié)果信息217傳送給客戶(hù)側(cè)的檢索處理部10B，檢索處理部10B的檢索結(jié)果接收顯示部228接收由服務(wù)器側(cè)傳送來(lái)的對(duì)關(guān)鍵幀數(shù)據(jù)和屬性信息進(jìn)行編碼處理后的檢索結(jié)果信息217，并轉(zhuǎn)換為可以在用戶(hù)接口部229上顯示的格式，傳送給用戶(hù)接口部229。通過(guò)上述處理，用戶(hù)232便可以在用戶(hù)接口部229上見(jiàn)到檢索結(jié)果。
接下來(lái)，對(duì)基于用戶(hù)反饋的再檢索順序作以說(shuō)明。
雖然用戶(hù)首先對(duì)通過(guò)基于檢索優(yōu)先度241和可靠度242等按上述方法確定的檢索規(guī)則所得到的檢索結(jié)果進(jìn)行確認(rèn)，但有時(shí)該結(jié)果與用戶(hù)主觀上的希望有差異。為能靈活地對(duì)應(yīng)這種情況，本實(shí)施方式2構(gòu)成一種用戶(hù)可以改變檢索優(yōu)先度，并基于該變更值實(shí)施再檢索的系統(tǒng)(步驟ST40)。
第20圖表示用戶(hù)特別著重的主觀意義與特征描述符之間關(guān)系的一例。從該圖中可以看出，當(dāng)用戶(hù)把確定的被攝體以一定方向運(yùn)動(dòng)的視頻鏡頭作為詢(xún)問(wèn)加以選擇時(shí)，極有可能期待一種“與運(yùn)動(dòng)方向特征類(lèi)似的視頻鏡頭”檢索結(jié)果。但是，由于在最初的初始設(shè)定中根據(jù)可靠度決定檢索優(yōu)先度，因此該主觀加權(quán)結(jié)果不一定能在檢索過(guò)程中反映出來(lái)。
為此，本系統(tǒng)的構(gòu)成為按照能如第20圖所示使用戶(hù)的主觀意義在檢索處理中反映出來(lái)的方式，可通過(guò)用戶(hù)接口部229等改變檢索優(yōu)先度241。比如在上例中，用戶(hù)232可以“把有關(guān)運(yùn)動(dòng)方向的特征描述符的檢索優(yōu)先度設(shè)定為更高的值”。這樣，由于在檢索處理中優(yōu)先實(shí)施運(yùn)動(dòng)方向特征描述符的適合判斷處理，因此在最終檢索結(jié)果中，“運(yùn)動(dòng)方向“這一因素更易于得到更強(qiáng)烈的反映。
由用戶(hù)232更新的檢索優(yōu)先度241通過(guò)檢索請(qǐng)求信息編碼傳送部227根據(jù)一定的規(guī)則被編碼，作為檢索請(qǐng)求信息216的一部分通過(guò)網(wǎng)絡(luò)A225被傳送給服務(wù)器側(cè)的檢索處理部10A中的檢索用描述數(shù)據(jù)分析部211。
為使傳送來(lái)的檢索優(yōu)先度241的更新值能再次用于以后的檢索處理，檢索用描述數(shù)據(jù)分析部211將檢索用描述數(shù)據(jù)文件210中的視頻節(jié)目240所對(duì)應(yīng)的檢索優(yōu)先度241的值更新為該更新值(步驟ST41)。
此外，檢索用描述數(shù)據(jù)分析部211在連續(xù)幾個(gè)檢索處理結(jié)束后的時(shí)點(diǎn)下，在已更新為該時(shí)點(diǎn)下最新的檢索優(yōu)先度241的值的狀態(tài)下，把檢索用描述數(shù)據(jù)文件210再次存儲(chǔ)到圖像信息蓄存部5內(nèi)。
通過(guò)上述構(gòu)成，在用戶(hù)根據(jù)同樣的基準(zhǔn)再次檢索同一視頻節(jié)目的情況下，可以在反映了過(guò)去的用戶(hù)主觀要求形態(tài)下實(shí)施再檢索。
此外在多個(gè)不同用戶(hù)232使用同一系統(tǒng)的情況下，檢索用描述數(shù)據(jù)文件210也可以被設(shè)置為能存儲(chǔ)各用戶(hù)232的檢索優(yōu)先度241的文件構(gòu)成。這樣，通過(guò)建立適當(dāng)?shù)挠脩?hù)認(rèn)證手續(xù)，便可以適宜地再現(xiàn)適合各用戶(hù)232的檢索規(guī)則。
通過(guò)采用上述的更新后的檢索優(yōu)先度241，并重復(fù)步驟ST37以后的檢索處理過(guò)程，便可以實(shí)施再檢索。至此，第17圖所示的本系統(tǒng)中檢索用描述數(shù)據(jù)生成及檢索處理便結(jié)束。(3)視頻鏡頭再生處理通過(guò)上述運(yùn)作，可以把用戶(hù)所需的檢索結(jié)果傳送到用戶(hù)接口部229上。但是一般的檢索結(jié)果中會(huì)提示多個(gè)候補(bǔ)檢索內(nèi)容，如果把它們都作為視頻數(shù)據(jù)顯示，則必須從服務(wù)器側(cè)向客戶(hù)側(cè)傳送大量的信息。因此如上所述，通過(guò)把代表視頻鏡頭的關(guān)鍵幀數(shù)據(jù)提示到用戶(hù)接口部229上，由此使圖像有選擇地再生的構(gòu)成，可以有效地削減信息傳送總量。為形成這種系統(tǒng)構(gòu)成，在本實(shí)施方式2中，設(shè)置了第15圖及第16圖所示的視頻再生服務(wù)器218、視頻解碼再生部239、再生控制部235等。用戶(hù)232利用本功能可以使所選擇的視頻鏡頭及視頻節(jié)目再生。
以下對(duì)用戶(hù)232利用本功能使所選擇的視頻鏡頭及視頻節(jié)目再生的運(yùn)作過(guò)程作以說(shuō)明。
首先，當(dāng)用戶(hù)232通過(guò)在用戶(hù)接口部229上提示的關(guān)鍵幀選擇所需再生的視頻鏡頭244及視頻節(jié)目240時(shí)，該選擇信息將作為檢索結(jié)果再生請(qǐng)求233從用戶(hù)接口部229被傳送給視頻再生控制部235。
在視頻再生控制部235中，按照規(guī)定的順序把該檢索結(jié)果再生請(qǐng)求233轉(zhuǎn)換為再生請(qǐng)求信息219，通過(guò)網(wǎng)絡(luò)A225傳送給服務(wù)器側(cè)的視頻再生服務(wù)器218的再生控制部220。
也可以采用以下構(gòu)成在再生控制部220中，根據(jù)再生請(qǐng)求信息219生成包括用于確定信息內(nèi)容的內(nèi)容確定信息等的再生內(nèi)容確定信息221。如此形成的再生內(nèi)容確定信息221在原檢索用描述數(shù)據(jù)文件210中作為內(nèi)容鏈接信息被預(yù)先記述，在向用戶(hù)提示檢索結(jié)果信息217時(shí)，在檢索結(jié)果信息217中附加該內(nèi)容確定信息，向客戶(hù)側(cè)傳送，作為再生請(qǐng)求信息219使用。
這樣，再生控制部220把基于所接收的再生請(qǐng)求信息219的再生內(nèi)容確定信息221傳送給圖像信息蓄存部5，由圖像信息蓄存部5對(duì)作為再生對(duì)象的視頻內(nèi)容數(shù)據(jù)222進(jìn)行確定，把確定后的再生對(duì)象視頻內(nèi)容數(shù)據(jù)222傳送給視頻數(shù)據(jù)傳送部223。
在視頻數(shù)據(jù)傳送部223中，把作為再生對(duì)象的視頻內(nèi)容數(shù)據(jù)222轉(zhuǎn)換為可以實(shí)時(shí)傳送的數(shù)據(jù)形式的分配視頻數(shù)據(jù)224后，向網(wǎng)絡(luò)B237傳送。
此外，在視頻數(shù)據(jù)傳送部223內(nèi)可以進(jìn)行旨在向注重高速性的網(wǎng)絡(luò)B237傳送視頻數(shù)據(jù)時(shí)能保證網(wǎng)絡(luò)內(nèi)或客戶(hù)側(cè)的可靠性的數(shù)據(jù)格式轉(zhuǎn)換。比如，可以考慮把視頻數(shù)據(jù)以視頻幀為單位進(jìn)行分割，并按單位附加時(shí)標(biāo)，或者在傳送單位數(shù)據(jù)包內(nèi)附加優(yōu)先度信息等。
另一方面，在客戶(hù)側(cè)，通過(guò)高速網(wǎng)絡(luò)B237傳送的分配視頻數(shù)據(jù)224由視頻解碼再生部239接收，并基于另外從視頻再生控制部235傳送來(lái)的用于再生的必要控制信息262，在用戶(hù)接口部229上以視頻方式再生。此時(shí)，如果由于傳送上的問(wèn)題而致使傳送數(shù)據(jù)可靠性下降，則視頻解碼再生部239及視頻再生控制部235將實(shí)施旨在適宜補(bǔ)償再生質(zhì)量的質(zhì)量管理控制。
如上所述，利用本實(shí)施方式2下的圖像檢索系統(tǒng)及檢索方法，通過(guò)采用服務(wù)器及客戶(hù)型系統(tǒng)構(gòu)成，不僅在局部環(huán)境中，即使在IP網(wǎng)之類(lèi)的分散網(wǎng)絡(luò)環(huán)境中也能有效地檢索分配視頻數(shù)據(jù)。
此外，通過(guò)把檢索優(yōu)先度241及可靠度242作為檢索用描述數(shù)據(jù)存儲(chǔ)到圖像信息蓄存部5內(nèi)，檢索系統(tǒng)可以基于這些值確定通用的檢索規(guī)則的決定準(zhǔn)則。
此外，通過(guò)檢索優(yōu)先度241的更新功能，用戶(hù)可以?xún)?yōu)先實(shí)施基于視頻內(nèi)容的主觀意義的檢索。
另外，通過(guò)基于特征描述符的可靠度的適合判斷處理的跳越控制，可以實(shí)現(xiàn)檢索處理速度的高速化，提高系統(tǒng)效率。
此外，雖然在上述實(shí)施方式1、2中所介紹的被處理媒體只有視頻數(shù)據(jù)，但本發(fā)明并不局限于此，對(duì)于附加語(yǔ)音及音頻數(shù)據(jù)等的視頻數(shù)據(jù)也可以構(gòu)筑同樣的構(gòu)成系統(tǒng)。此外對(duì)于音頻數(shù)據(jù)也可以另外配備基于特征描述符的檢索系統(tǒng)，此外，如果音頻數(shù)據(jù)僅僅附隨于視頻數(shù)據(jù)，也可以構(gòu)成不將其列為檢索對(duì)象的系統(tǒng)。如果音頻數(shù)據(jù)被附加在視頻數(shù)據(jù)中，可以構(gòu)成在視頻鏡頭再生處理中支持附隨于視頻數(shù)據(jù)并與其同步的音頻數(shù)據(jù)的再生的系統(tǒng)。
此外，在本實(shí)施方式2中介紹的系統(tǒng)中，對(duì)于由特征抽取部3及特征描述符組生成部4構(gòu)成的用于生成特征描述數(shù)據(jù)的模塊、由圖像信息蓄存部5構(gòu)成的用于把特征描述數(shù)據(jù)登錄到數(shù)據(jù)庫(kù)內(nèi)的模塊、由檢索處理部10A構(gòu)成的用于接收來(lái)自用戶(hù)的檢索請(qǐng)求，實(shí)施檢索并把結(jié)果返回的檢索裝置模塊、主要由檢索處理部10B構(gòu)成的把用戶(hù)的檢索請(qǐng)求通知給檢索裝置并將返回的檢索結(jié)果提示給用戶(hù)的客戶(hù)模塊，不一定建立在同一硬件及軟件上，也可以根據(jù)各自規(guī)定的接口獨(dú)立地設(shè)置在硬件及軟件上。從服務(wù)的觀點(diǎn)出發(fā)，可以考慮以下方式的運(yùn)用方法比如內(nèi)容提供者生成特征描述數(shù)據(jù)，申請(qǐng)數(shù)據(jù)庫(kù)登錄。檢索服務(wù)提供者把它們登錄到數(shù)據(jù)庫(kù)內(nèi)，準(zhǔn)備檢索處理。用戶(hù)按照本實(shí)施方式所述，指定檢索服務(wù)提供者，或者根據(jù)標(biāo)準(zhǔn)化規(guī)定利用用于實(shí)施檢索處理的客戶(hù)工具實(shí)施檢索。
產(chǎn)業(yè)上的可利用性如上所述，由于本發(fā)明涉及的圖像檢索系統(tǒng)及圖像檢索方法從圖像數(shù)據(jù)中抽取特征量和屬性信息，利用所抽取的特征量和屬性信息實(shí)施圖像數(shù)據(jù)檢索，因而可以實(shí)施高效的圖像檢索處理。
權(quán)利要求
1.一種圖像檢索系統(tǒng)，其特征在于具備特征描述符生成部，從輸入圖像數(shù)據(jù)中抽取圖像特征量生成特征描述符；圖像信息蓄存部，與輸入圖像數(shù)據(jù)相關(guān)聯(lián)蓄存所生成的上述特征描述符；屬性表生成部，基于附加于輸入圖像數(shù)據(jù)輸入的屬性信息生成屬性表；圖像檢索部，輸入與屬性信息相關(guān)的檢索條件后檢索上述屬性表，輸出適合該檢索條件的屬性信息，同時(shí)在輸入與特征描述符相關(guān)的檢索條件后，檢索上述圖像信息蓄存部，輸出適合該檢索條件的圖像數(shù)據(jù)。
2.權(quán)利要求1記載的圖像檢索系統(tǒng)，其特征在于屬性表生成部基于定義了屬性表數(shù)據(jù)結(jié)構(gòu)的語(yǔ)法生成該屬性表，圖像檢索部根據(jù)上述屬性表的語(yǔ)法對(duì)屬性表進(jìn)行分析、檢索。
3.權(quán)利要求1記載的圖像檢索系統(tǒng)，其特征在于特征描述符生成部基于定義了特征描述符數(shù)據(jù)結(jié)構(gòu)的語(yǔ)法生成該特征描述符，圖像檢索部根據(jù)上述特征描述符的語(yǔ)法對(duì)特征描述符進(jìn)行分析、檢索。
4.權(quán)利要求1記載的圖像檢索系統(tǒng)，其特征在于特征描述符生成部按幀單位抽取特征量，按集中了多個(gè)幀的視頻段單位生成特征描述符。
5.權(quán)利要求4記載的圖像檢索系統(tǒng)，其特征在于特征描述符生成部把由幀內(nèi)與幀間組成的壓縮映像數(shù)據(jù)作為輸入圖像數(shù)據(jù)，在上述幀內(nèi)情況下，抽取規(guī)定的編碼單位區(qū)域內(nèi)的各像素值的平均值矩陣，只累計(jì)視頻段中包含的幀內(nèi)成分，作為幀內(nèi)的特征描述符生成根據(jù)幀內(nèi)數(shù)求得的該累計(jì)值平均值和標(biāo)準(zhǔn)偏差，另一方面，在上述幀間情況下，抽取規(guī)定的編碼單位區(qū)域中各像素的運(yùn)動(dòng)矢量矩陣，求出幀內(nèi)的運(yùn)動(dòng)矢量平均值，對(duì)該平均值實(shí)施閾值處理，分類(lèi)并抽取零行程長(zhǎng)度，作為幀間的特征描述符生成分別根據(jù)在視頻段中包含的幀間數(shù)求得的上述平均值和上述零行程長(zhǎng)度分類(lèi)的平均值。
6.權(quán)利要求1記載的圖像檢索系統(tǒng)，其特征在于特征描述符生成部把非壓縮映像數(shù)據(jù)作為輸入圖像數(shù)據(jù)，從上述非壓縮映像數(shù)據(jù)中抽取特征量生成特征描述符，圖像信息蓄存部使上述非壓縮映像數(shù)據(jù)基于規(guī)定的映像壓縮方式被壓縮后的壓縮映像數(shù)據(jù)與特征描述符組相關(guān)聯(lián)進(jìn)行蓄存。
7.權(quán)利要求1記載的圖像檢索系統(tǒng)，其特征在于圖像檢索部對(duì)圖像信息蓄存部進(jìn)行檢索，在輸出適合于所指定的特征描述符的圖像數(shù)據(jù)時(shí)，讀出預(yù)先存儲(chǔ)的規(guī)定的條件式，并基于該規(guī)定條件式對(duì)是否適合該指定的特征描述符進(jìn)行判斷。
8.權(quán)利要求1記載的圖像檢索系統(tǒng)，其特征在于輸入圖像數(shù)據(jù)是由監(jiān)視攝像機(jī)記錄的監(jiān)視圖像。
9.權(quán)利要求1記載的圖像檢索系統(tǒng)，其特征在于輸入圖像數(shù)據(jù)是被蓄存的視頻郵件圖像。
10.權(quán)利要求1記載的圖像檢索系統(tǒng)，其特征在于輸入圖像數(shù)據(jù)是被蓄存的廣播節(jié)目圖像。
11.權(quán)利要求1記載的圖像檢索系統(tǒng)，其特征在于輸入圖像數(shù)據(jù)是由攝像機(jī)記錄的圖像。
12.一種圖像檢索方法，其特征在于從輸入圖像數(shù)據(jù)中抽取圖像特征量生成特征描述符，與輸入圖像數(shù)據(jù)相關(guān)聯(lián)蓄存所生成的上述特征描述符，同時(shí)基于附加于輸入圖像數(shù)據(jù)輸入的屬性信息生成屬性表，輸入與屬性信息相關(guān)的檢索條件后檢索上述屬性表，輸出適合該檢索條件的屬性信息，同時(shí)參照該輸出的屬性信息輸入與特征描述符相關(guān)的檢索條件后檢索上述所蓄存的圖像數(shù)據(jù)，并輸出適合該檢索條件的圖像數(shù)據(jù)。
13.一種圖像檢索系統(tǒng)，其特征在于由特征描述符生成部，從輸入圖像數(shù)據(jù)抽取圖像特征量生成特征描述符；檢索用描述數(shù)據(jù)生成部，與輸入圖像數(shù)據(jù)的時(shí)空間結(jié)構(gòu)相關(guān)聯(lián)，在檢索用描述數(shù)據(jù)中記述上述特征描述符；圖像信息蓄存部，將檢索用描述數(shù)據(jù)與對(duì)應(yīng)的輸入圖像數(shù)據(jù)一起蓄存；第1檢索處理部；第2檢索處理部；用戶(hù)接口部組成，上述第2檢索處理部把用戶(hù)通過(guò)上述用戶(hù)接口部傳來(lái)的檢索請(qǐng)求作為檢索請(qǐng)求信息傳送給上述第1檢索處理部，同時(shí)接收由上述第1檢索處理部傳送的檢索結(jié)果，通過(guò)上述用戶(hù)接口部向用戶(hù)提示，上述第1檢索處理部根據(jù)由上述第2檢索處理部傳來(lái)的上述檢索請(qǐng)求信息對(duì)上述圖像信息蓄存部所蓄存的輸入圖像數(shù)據(jù)的上述檢索用描述數(shù)據(jù)進(jìn)行分析，抽取上述特征描述符，基于所抽取的上述特征描述符實(shí)施適合判斷處理求出檢索結(jié)果，并把該檢索結(jié)果傳送給上述第2檢索處理部，通過(guò)上述用戶(hù)接口部向用戶(hù)提示。
14.權(quán)利要求13記載的圖像檢索系統(tǒng)，其特征在于還具備特征描述符可靠度計(jì)算部，計(jì)算由特征描述符生成部所生成的特征描述符的可靠度，檢索用描述數(shù)據(jù)生成部與輸入圖像數(shù)據(jù)的時(shí)空間結(jié)構(gòu)相關(guān)聯(lián)把上述特征描述符及可靠度記述到檢索用描述數(shù)據(jù)內(nèi)，第1檢索處理部根據(jù)由第2檢索處理部所傳送的檢索要求信息對(duì)圖像信息蓄存部中蓄存的輸入圖像數(shù)據(jù)的上述檢索用描述數(shù)據(jù)進(jìn)行分析，抽取上述特征描述符及可靠度，并基于所抽取的上述特征描述符及可靠度實(shí)施適合判斷處理，求出檢索結(jié)果，把該檢索結(jié)果傳送給上述第2檢索處理部，通過(guò)上述用戶(hù)接口部向用戶(hù)提示。
15.權(quán)利要求14記載的圖像檢索系統(tǒng)，其特征在于第1檢索處理部在適合判斷處理時(shí)基于特征描述符的可靠度，對(duì)基于特征描述符的適合判斷的必要性進(jìn)行評(píng)估，如果判斷為沒(méi)有必要進(jìn)行適合性判斷，則跳過(guò)適合判斷處理。
16.權(quán)利要求14記載的圖像檢索系統(tǒng)，其特征在于還具備特征描述符檢索順序決定部，基于由特征描述符可靠度計(jì)算部計(jì)算出的可靠度決定各特征描述符的檢索使用順序，檢索用描述數(shù)據(jù)生成部與輸入圖像數(shù)據(jù)的時(shí)空間結(jié)構(gòu)相關(guān)聯(lián)在檢索用描述數(shù)據(jù)內(nèi)記述上述特征描述符、可靠度及檢索使用順序，第1檢索處理部根據(jù)由第2檢索處理部傳送來(lái)的檢索請(qǐng)求信息對(duì)在圖像信息蓄存部?jī)?nèi)蓄存的輸入圖像數(shù)據(jù)的上述檢索用描述數(shù)據(jù)進(jìn)行分析，抽取上述特征描述符、可靠度及檢索使用順序，基于所抽取的上述特征描述符、可靠度及檢索使用順序進(jìn)行適合判斷處理，求出檢索結(jié)果，并將該檢索結(jié)果傳送給上述第2檢索處理部，通過(guò)上述用戶(hù)接口部向用戶(hù)提示。
17.權(quán)利要求13記載的圖像檢索系統(tǒng)，其特征在于第2檢索處理部作為通過(guò)上述用戶(hù)接口部由用戶(hù)傳送的檢索請(qǐng)求把包括各特征描述符的檢索使用順序的檢索請(qǐng)求信息傳送給第1檢索處理部，上述第1檢索處理部根據(jù)由上述第2檢索處理部傳送來(lái)的檢索請(qǐng)求信息中的檢索使用順序?qū)μ卣髅枋龇臋z索順序進(jìn)行更新，實(shí)施適合來(lái)自用戶(hù)的檢索請(qǐng)求的檢索處理。
18.權(quán)利要求16記載的圖像檢索系統(tǒng)，其特征在于第1檢索處理部在實(shí)施適合判斷處理時(shí)，基于各特征描述符的可靠度決定出在檢索使用順序確定的各檢索步驟中的檢索結(jié)果候補(bǔ)數(shù)，并實(shí)施適合判斷處理。
19.權(quán)利要求17記載的圖像檢索系統(tǒng)，其特征在于第1檢索處理部在實(shí)施適合判斷處理時(shí)，基于各特征描述符的可靠度決定出在檢索使用順序確定的各檢索步驟中的檢索結(jié)果候補(bǔ)數(shù)，并實(shí)施適合判斷處理。
20.權(quán)利要求13記載的圖像檢索系統(tǒng)，其特征在于還具備視頻數(shù)據(jù)再生服務(wù)器；視頻數(shù)據(jù)解碼再生部，輸入圖像數(shù)據(jù)是視頻數(shù)據(jù)，第1檢索處理部把代表由檢索所確定的各視頻數(shù)據(jù)的各關(guān)鍵圖像數(shù)據(jù)作為檢索結(jié)果向第2檢索處理部傳送，上述第2檢索處理部接收來(lái)自上述第1檢索處理部的作為檢索結(jié)果的上述各關(guān)鍵圖像數(shù)據(jù)，并通過(guò)用戶(hù)接口部向用戶(hù)提示，上述視頻再生服務(wù)器從用戶(hù)接口部接收用戶(hù)從上述各關(guān)鍵圖像中選擇確定關(guān)鍵圖像的再生請(qǐng)求后，從圖像信息蓄存部中讀出代表其選擇的關(guān)鍵圖像的視頻數(shù)據(jù)，向上述視頻數(shù)據(jù)解碼再生部傳送，上述視頻數(shù)據(jù)解碼再生部從上述視頻再生服務(wù)器接收所傳送的視頻數(shù)據(jù)，進(jìn)行解碼及再生處理。
21.一種圖像檢索方法，其特征在于在從輸入圖像數(shù)據(jù)中抽取圖像特征量生成特征描述符的同時(shí)，與輸入圖像數(shù)據(jù)的時(shí)空間結(jié)構(gòu)相關(guān)聯(lián)，在檢索用描述數(shù)據(jù)中記述上述特征描述符，將檢索用描述數(shù)據(jù)與所對(duì)應(yīng)的輸入圖像數(shù)據(jù)一同蓄存，根據(jù)來(lái)自用戶(hù)的檢索請(qǐng)求對(duì)上述所蓄存的輸入圖像數(shù)據(jù)的檢索用描述數(shù)據(jù)進(jìn)行分析，抽取上述特征描述符，并基于所抽取的上述特征描述符實(shí)施適合判斷處理，求出檢索結(jié)果，向用戶(hù)提示該檢索結(jié)果。
22.權(quán)利要求21記載的圖像檢索方法，其特征在于輸入圖像數(shù)據(jù)是視頻數(shù)據(jù)，將代表由檢索所確定的各視頻數(shù)據(jù)的各關(guān)鍵圖像數(shù)據(jù)作為檢索結(jié)果向用戶(hù)提示，接收用戶(hù)從上述各關(guān)鍵圖像中選擇確定關(guān)鍵圖像的再生請(qǐng)求后，讀出代表其選擇的關(guān)鍵圖像的視頻數(shù)據(jù)，實(shí)施解碼及再生處理。
全文摘要
通過(guò)用戶(hù)接口部9輸入屬性表的檢索條件后，檢索處理部10對(duì)屬性表蓄存部7中蓄存的屬性表進(jìn)行檢索，把適合檢索條件的屬性信息輸出到顯示部11進(jìn)行顯示。接下來(lái)，通過(guò)用戶(hù)接口部9輸入類(lèi)似檢索的檢索條件后，檢索處理部10對(duì)圖像信息蓄存部5中蓄存的圖像數(shù)據(jù)進(jìn)行檢索，選擇出具有適合檢索條件的特征描述符組的圖像數(shù)據(jù)，輸出到顯示部11進(jìn)行顯示。
文檔編號(hào)G06T7/00GK1402853SQ00816574
公開(kāi)日2003年3月12日 申請(qǐng)日期2000年12月1日 優(yōu)先權(quán)日1999年12月2日
發(fā)明者關(guān)口俊一, 井須芳美, 西川博文, 山田悅久, 淺井光太郎 申請(qǐng)人:三菱電機(jī)株式會(huì)社