專利名稱：音響信號(hào)檢測(cè)系統(tǒng)、音響信號(hào)檢測(cè)服務(wù)器、影像信號(hào)搜索裝置、影像信號(hào)搜索方法、影像信 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種從存儲(chǔ)的存儲(chǔ)音響信號(hào)中搜索出長(zhǎng)度比該存儲(chǔ)音響信號(hào)短乃至與其相同的、與目的音響信號(hào)類似的信號(hào)的位置的信號(hào)檢測(cè)，涉及例如用于實(shí)際環(huán)境中的音響信號(hào)檢測(cè)的音響信號(hào)檢測(cè)系統(tǒng)和音響信號(hào)檢測(cè)服務(wù)器。
即，本發(fā)明由便攜終端接收在實(shí)際環(huán)境中流動(dòng)的音樂(lè)或CM(Commercial Message商業(yè)廣告)，并使用該接收到的音響信號(hào)，從龐大的音樂(lè)CM數(shù)據(jù)庫(kù)中檢索相同的音樂(lè)或CM。
另外，本發(fā)明涉及一種影像信號(hào)搜索裝置、影像信號(hào)搜索方法、影像信號(hào)搜索程序和記錄介質(zhì)，從存儲(chǔ)在數(shù)據(jù)庫(kù)中的影像信號(hào)(存儲(chǔ)影像信號(hào))中，搜索與包含在實(shí)際環(huán)境下取得的特征失真的影像信號(hào)(目的影像信號(hào))類似的影像信號(hào)。
另外，本發(fā)明涉及一種信號(hào)搜索裝置、信號(hào)搜索方法、信號(hào)搜索程序及記錄介質(zhì)，從存儲(chǔ)在數(shù)據(jù)庫(kù)中的信號(hào)(存儲(chǔ)信號(hào))中，搜索包含與在實(shí)際環(huán)境下取得的特征失真的信號(hào)(目的信號(hào))類似的信號(hào)。
本申請(qǐng)對(duì)2004年7月9日申請(qǐng)的特愿2004-203198號(hào)主張優(yōu)先權(quán)，這里援引其內(nèi)容。
本申請(qǐng)對(duì)2004年7月9日申請(qǐng)的特愿2004-203199號(hào)主張優(yōu)先權(quán)，這里援引其內(nèi)容。
本申請(qǐng)對(duì)2005年3月17日申請(qǐng)的特愿2005-077726號(hào)主張優(yōu)先權(quán)，這里援引其內(nèi)容。
本申請(qǐng)對(duì)2005年3月22日申請(qǐng)的特愿2005-082107號(hào)主張優(yōu)先權(quán)，這里援引其內(nèi)容。
本申請(qǐng)對(duì)2005年3月24日申請(qǐng)的特愿2005-086280號(hào)主張優(yōu)先權(quán)，這里援引其內(nèi)容。
背景技術(shù)：
近年來(lái)，聲音或影像等多媒體信息的流通日益盛行，需要用于得到該多媒體信息的檢索或搜索。
例如，考慮由便攜終端等接收在實(shí)際環(huán)境中流動(dòng)的音樂(lè)和影像或CM，使用該接收到的信號(hào)(目的音響信號(hào)或目的影像信號(hào))，從龐大的數(shù)據(jù)庫(kù)中檢索相同的音樂(lè)或影像、CM。
因此，需要具體地將想搜索的聲音或影像信號(hào)指定為目的音響信號(hào)或目的影像信號(hào)，搜索與此類似的存儲(chǔ)音響信號(hào)或存儲(chǔ)影像信號(hào)存在于數(shù)據(jù)庫(kù)的何處。
作為時(shí)間系列信號(hào)的高速一致法，例如公開有日本專利第3065314號(hào)。這里執(zhí)行的搜索是時(shí)間系列搜索，必需高速且高精度地執(zhí)行。
但是，考慮在用戶在實(shí)際環(huán)境中收錄獲得的音樂(lè)或影像中，包含各種特性失真，例如基于揚(yáng)聲器或屏幕等信號(hào)發(fā)生源的設(shè)備特性、輸入的便攜終端的特性的乘法性失真，或基于實(shí)際環(huán)境中的要素(若為聲音，則為噪音、回聲、吸收等，若為影像，則為大氣透明度、亮度角度不穩(wěn)定、反射等)的加法性噪音。針對(duì)于此，基于日本專利第3065314號(hào)公報(bào)的方法是以構(gòu)成檢索對(duì)象的信號(hào)中特征失真少為前提，在包含噪音或失真的情況下，其搜索精度顯著下降。
為了解決該缺陷，提出有如下方法，即通過(guò)設(shè)置對(duì)輸入的信號(hào)附加變動(dòng)的變動(dòng)附加過(guò)程，執(zhí)行對(duì)特征失真穩(wěn)固的信號(hào)檢測(cè)(例如參照日本專利第3408800號(hào)公報(bào))。但是，在設(shè)置上述變動(dòng)附加過(guò)程時(shí)，在需要考慮多個(gè)噪音或失真的情況下，必須準(zhǔn)備這多個(gè)目的特征，存在信息量大幅度增大的缺陷。
另外，提出有如下方法，即檢測(cè)輸入的音樂(lè)或影像的目的信號(hào)的強(qiáng)度峰值，將該峰值的頻率設(shè)為特征，由此進(jìn)行對(duì)噪音或失真穩(wěn)固的信號(hào)檢測(cè)。
但是，該方法中存在如下缺陷，即由于使用輸入的信號(hào)的峰值，所以受到位于該實(shí)際信號(hào)峰值周邊的大的噪音的影響，從而實(shí)際的信號(hào)峰值檢測(cè)失敗，搜索精度下降。
因此，提出有通過(guò)使用局部特征的統(tǒng)計(jì)量來(lái)規(guī)格化輸入的聲音或影像的目的信號(hào)由此進(jìn)行對(duì)失真穩(wěn)固的信號(hào)檢測(cè)的方法(例如參照日本專利特開2003-022084號(hào)公報(bào)，或尤其就音響信號(hào)而言，參照WO02/11123 A2號(hào)公報(bào))。即，該信號(hào)檢測(cè)的方法由于吸收特征失真引起的聲音或影像的目的信號(hào)的變動(dòng)，所以在抽取頻率特征之后，對(duì)時(shí)間-頻率空間上的每個(gè)局部區(qū)域，都規(guī)格化目的信號(hào)，執(zhí)行對(duì)特征失真穩(wěn)固的向空間的數(shù)據(jù)變換，在該空間中執(zhí)行聲音或影像與存儲(chǔ)音響信號(hào)的比較。
但是，就執(zhí)行對(duì)上述特征失真穩(wěn)固的向空間的數(shù)據(jù)變換的方法而言，對(duì)于噪音或間歇、不穩(wěn)定的失真，僅通過(guò)規(guī)格化無(wú)法吸收其特征失真，存在使搜索的可靠性下降的缺陷。

發(fā)明內(nèi)容
本發(fā)明鑒于上述問(wèn)題作出，其目的在于將作為檢索對(duì)象的聲音或影像的信號(hào)(目的信號(hào)目的音響信號(hào)和目的影像信號(hào))變換為對(duì)加法性噪音或間歇穩(wěn)固的數(shù)據(jù)后，使搜索精度提高，并且使搜索時(shí)間大幅度縮短。
另外，目的在于提供一種系統(tǒng)，對(duì)于包含乘法性失真的信號(hào)，通過(guò)將其變換為穩(wěn)固的數(shù)據(jù)，提高搜索精度，并可執(zhí)行高速高精度的處理。
另外，目的在于提供一種信號(hào)搜索裝置、信號(hào)搜索方法、信號(hào)搜索程序及記錄介質(zhì)，通過(guò)在線性量化后應(yīng)用提高量化后的值的可靠性的量化單元，可使整體的搜索精度提高。
為了實(shí)現(xiàn)上述目的，本發(fā)明的音響信號(hào)檢測(cè)系統(tǒng)從存儲(chǔ)音響信號(hào)中，搜索出長(zhǎng)度比該存儲(chǔ)音響信號(hào)短乃至與其相同的、類似于目的音響信號(hào)的部分，其特征在于，具有存儲(chǔ)特征計(jì)算部，根據(jù)所述存儲(chǔ)音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的存儲(chǔ)特征；目的特征計(jì)算部，根據(jù)所述目的音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的目的特征；存儲(chǔ)特征面積(area)選擇部，根據(jù)所述存儲(chǔ)特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，從該存儲(chǔ)特征中，選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由該選擇到的要素的矢量構(gòu)成的存儲(chǔ)面積選擇特征；目的特征面積選擇部，根據(jù)所述目的特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，從該目的特征中，選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由該選擇到的要素的矢量構(gòu)成的目的面積選擇特征；以及特征對(duì)照部，在所述存儲(chǔ)面積選擇特征中，設(shè)定對(duì)照區(qū)間，計(jì)算所述目的面積選擇特征和所述存儲(chǔ)面積選擇特征中的該對(duì)照區(qū)間的彼此之間的類似度，所述特征對(duì)照部對(duì)于所述存儲(chǔ)面積選擇特征，使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，根據(jù)所述類似度，搜索與目的面積選擇特征類似的存儲(chǔ)面積選擇特征的區(qū)域。
尤其是，與“高速信號(hào)檢測(cè)法、裝置及其記錄介質(zhì)”(日本專利第3065314號(hào)公報(bào))和“信號(hào)檢測(cè)方法、裝置及其程序、記錄介質(zhì)”(日本專利第3408800號(hào)公報(bào))相比，由于新設(shè)置存儲(chǔ)特征面積選擇部和目的特征面積選擇部，選擇特征矢量的有特別特征的要素，僅比較該選擇到的要素，所以對(duì)于噪音、間歇，可執(zhí)行比日本專利第3065314號(hào)公報(bào)和2更穩(wěn)固的音響信號(hào)檢測(cè)。
另外，對(duì)于“信號(hào)檢測(cè)方法和裝置、程序及記錄介質(zhì)”(日本專利特開2003-022084號(hào)公報(bào))的規(guī)格化并單純比較判定目的信號(hào)和存儲(chǔ)信號(hào)的方法，由于新設(shè)置存儲(chǔ)特征面積選擇部和目的特征面積選擇部，選擇特征矢量的有特別特征的要素，僅比較該選擇到的要素，所以對(duì)于噪音、間歇，可執(zhí)行比上述方法更穩(wěn)固的音響信號(hào)檢測(cè)。
并且，與“System and methods for recognizing sound and musicsignal in high noise and distortion”(WO 02/11123 A2號(hào)公報(bào))相比，由于新設(shè)置存儲(chǔ)特征面積選擇部和目的特征面積選擇部，選擇特征矢量的有特別特征的要素，僅比較該選擇到的要素，所以對(duì)于噪音、間歇，可執(zhí)行比上述方法更穩(wěn)固的音響信號(hào)檢測(cè)。
根據(jù)本發(fā)明，由于去除噪音或間歇的影響，所以從存儲(chǔ)音響信號(hào)和目的音響信號(hào)中，在統(tǒng)計(jì)上僅選擇特征要素，進(jìn)行對(duì)照。通過(guò)使用由該選擇到的要素構(gòu)成的多維矢量，可比較存儲(chǔ)音響信號(hào)與目的音響信號(hào)的更有特征的圖案，算出它們的類似度，不執(zhí)行無(wú)用部分的比較處理，所以可使重疊于目的音響信號(hào)上的噪音或音響間歇的影響大幅度降低，可執(zhí)行穩(wěn)固的音響信號(hào)檢測(cè)。
另外，實(shí)際上通過(guò)從由存儲(chǔ)音響信號(hào)和目的音響信號(hào)獲得的存儲(chǔ)特征和目的特征中，統(tǒng)計(jì)評(píng)價(jià)抽取由更有特征的要素構(gòu)成的存儲(chǔ)面積選擇特征和目的面積選擇特征，可大幅度降低對(duì)照的數(shù)據(jù)量，使類似度的計(jì)算處理高速化，并且可大幅度削減存儲(chǔ)的存儲(chǔ)音響信號(hào)每一件的數(shù)據(jù)量，在與以前一樣的存儲(chǔ)部容量中，可存儲(chǔ)更多的存儲(chǔ)音響信號(hào)信息，就這點(diǎn)而言，也可使類似的存儲(chǔ)音響信號(hào)的檢測(cè)精度提高。
另外，為了實(shí)現(xiàn)上述目的，本發(fā)明的音響信號(hào)檢測(cè)系統(tǒng)是一種信號(hào)檢測(cè)系統(tǒng)，從存儲(chǔ)音響信號(hào)中，搜索出長(zhǎng)度比該存儲(chǔ)音響信號(hào)短乃至與其相同的、類似于目的音響信號(hào)的部分，其特征在于，具有存儲(chǔ)特征計(jì)算部，根據(jù)所述存儲(chǔ)音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的存儲(chǔ)特征；目的特征計(jì)算部，根據(jù)所述目的音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的目的特征；存儲(chǔ)特征規(guī)格化部，根據(jù)所述存儲(chǔ)特征、以及該存儲(chǔ)特征的采樣時(shí)間附近的其它存儲(chǔ)特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，對(duì)存儲(chǔ)特征中的矢量的每個(gè)要素進(jìn)行規(guī)格化，導(dǎo)出由將該規(guī)格化得到的數(shù)值設(shè)為要素的矢量構(gòu)成的存儲(chǔ)規(guī)格化特征；目的特征規(guī)格化部，根據(jù)所述目的特征、以及該目的特征的采樣時(shí)間附近的其它目的特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，對(duì)目的特征中的矢量的每個(gè)要素進(jìn)行規(guī)格化，導(dǎo)出由將該規(guī)格化得到的數(shù)值設(shè)為要素的矢量構(gòu)成的目的規(guī)格化特征；存儲(chǔ)特征量化部，根據(jù)所述存儲(chǔ)規(guī)格化特征，導(dǎo)出由將量化得到的值設(shè)為要素的矢量構(gòu)成的存儲(chǔ)量化特征；目的特征量化部，根據(jù)所述目的規(guī)格化特征，導(dǎo)出由將量化得到的值設(shè)為要素的矢量構(gòu)成的目的量化特征；以及特征對(duì)照部，在所述存儲(chǔ)量化特征中，設(shè)定對(duì)照區(qū)間，計(jì)算所述目的量化特征和所述存儲(chǔ)量化特征中的該對(duì)照區(qū)間的彼此之間的類似度，所述特征對(duì)照部對(duì)于所述存儲(chǔ)量化特征，使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，根據(jù)所述類似度，搜索與目的量化特征類似的存儲(chǔ)量化特征的區(qū)域。
尤其是，與“高速信號(hào)檢測(cè)法、裝置及其記錄介質(zhì)”(日本專利第3065314號(hào)公報(bào))和“信號(hào)檢測(cè)方法、裝置及其程序、記錄介質(zhì)”(日本專利第3408800號(hào)公報(bào))相比，由于新設(shè)置目的特征規(guī)格化部、存儲(chǔ)特征規(guī)格化部、目的特征量化部和存儲(chǔ)特征量化部，在規(guī)格化之后，利用規(guī)定的閾值量化特征矢量的各要素，由此對(duì)于間歇，可執(zhí)行比日本專利第3065314號(hào)公報(bào)和2更穩(wěn)固的音響信號(hào)檢測(cè)。
另外，除了“信號(hào)檢測(cè)方法和裝置、程序及記錄介質(zhì)”(日本專利特開2003-022084號(hào)公報(bào))的規(guī)格化并單純比較判定目的信號(hào)和存儲(chǔ)信號(hào)的方法，還新設(shè)置目的特征量化部和存儲(chǔ)特征量化部，通過(guò)量化特征矢量的各要素，可對(duì)特征失真執(zhí)行比上述方法更穩(wěn)固的音響信號(hào)檢測(cè)。
并且，與“System and methods for recognizing sound and musicsignal in high noise and distortion”(WO 02/11123 A2號(hào)公報(bào))相比，通過(guò)新設(shè)置目的特征規(guī)格化過(guò)程和存儲(chǔ)特征規(guī)格化過(guò)程，規(guī)格化特征，可對(duì)特征失真執(zhí)行比上述方法更穩(wěn)固的音響信號(hào)檢測(cè)。
根據(jù)本發(fā)明，由于吸收特征失真，所以通過(guò)設(shè)置利用規(guī)定閾值來(lái)標(biāo)量量化音響信號(hào)的量化部(過(guò)程)，可大幅度降低比較的數(shù)據(jù)量，使類似度的計(jì)算處理高速化，并且可大幅度削減存儲(chǔ)的存儲(chǔ)音響信號(hào)每一件的數(shù)據(jù)量，利用與以前一樣的存儲(chǔ)部容量，可存儲(chǔ)更多的存儲(chǔ)音響信號(hào)信息，就這點(diǎn)而言，也可使類似的存儲(chǔ)音響信號(hào)的檢測(cè)精度提高。
另外，根據(jù)本發(fā)明，通過(guò)設(shè)置上述量化部(過(guò)程)，不是每個(gè)要素的數(shù)據(jù)的詳細(xì)比較判定，而是將對(duì)照區(qū)間中的特征矢量作為整體圖案進(jìn)行檢索，所以可使搜索精度提高，防止漏檢，與公知的方法相比，可執(zhí)行對(duì)各種各樣的特征失真穩(wěn)固的信號(hào)檢測(cè)處理，執(zhí)行對(duì)較通用的特征失真穩(wěn)固的音響信號(hào)檢測(cè)。
并且，為了解決上述問(wèn)題，本發(fā)明是一種影像信號(hào)搜索裝置，從存儲(chǔ)影像信號(hào)中，搜索類似于目的影像信號(hào)的信號(hào)，其特征在于，具有目的特征計(jì)算單元，根據(jù)目的影像信號(hào)，計(jì)算目的特征；目的統(tǒng)計(jì)量計(jì)算單元，根據(jù)目的特征，計(jì)算目的統(tǒng)計(jì)量；目的特征面積選擇單元，對(duì)目的統(tǒng)計(jì)量，利用規(guī)定閾值，進(jìn)行閾值處理，選擇目的統(tǒng)計(jì)量，并算出目的面積選擇特征，該目的面積選擇特征由將選擇到的目的統(tǒng)計(jì)量設(shè)為要素的矢量或矩陣構(gòu)成；存儲(chǔ)統(tǒng)計(jì)量計(jì)算單元，根據(jù)存儲(chǔ)特征，計(jì)算規(guī)定的存儲(chǔ)統(tǒng)計(jì)量；以及存儲(chǔ)特征面積選擇單元，對(duì)存儲(chǔ)統(tǒng)計(jì)量，利用規(guī)定閾值，進(jìn)行閾值處理，選擇存儲(chǔ)統(tǒng)計(jì)量，并算出存儲(chǔ)面積選擇特征，該存儲(chǔ)面積選擇特征由將選擇到的存儲(chǔ)統(tǒng)計(jì)量設(shè)為要素的矢量或矩陣構(gòu)成；以及特征對(duì)照單元，對(duì)存儲(chǔ)面積選擇特征設(shè)定對(duì)照區(qū)間，計(jì)算對(duì)照區(qū)間中的存儲(chǔ)面積選擇特征與目的面積選擇特征的至少一部分的類似度，特征對(duì)照單元使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，計(jì)算出類似度。
本發(fā)明就上述所述的發(fā)明而言，其特征在于所述目的特征面積選擇部和所述存儲(chǔ)特征面積選擇部分別算出目的特征和存儲(chǔ)特征在第1規(guī)定時(shí)間區(qū)間中的平均值以作為統(tǒng)計(jì)量，選擇從所述要素中減去該平均值后的值的絕對(duì)值超過(guò)規(guī)定閾值的目的統(tǒng)計(jì)量和存儲(chǔ)統(tǒng)計(jì)量。
本發(fā)明就上述所述的發(fā)明而言，其特征在于所述目的特征量算出單元和所述存儲(chǔ)統(tǒng)計(jì)量計(jì)算單元分別對(duì)目的特征和存儲(chǔ)特征的每個(gè)要素算出在第2規(guī)定時(shí)間區(qū)間中的平均值與標(biāo)準(zhǔn)偏差，并使用該平均值與標(biāo)準(zhǔn)偏差，規(guī)格化目的特征和存儲(chǔ)特征，由此算出目的統(tǒng)計(jì)量和存儲(chǔ)統(tǒng)計(jì)量。
另外，本發(fā)明是一種影像信號(hào)搜索方法，從存儲(chǔ)影像信號(hào)中搜索類似于目的影像信號(hào)的信號(hào)，其特征在于，具有目的特征計(jì)算步驟，根據(jù)目的影像信號(hào)，計(jì)算目的特征；目的統(tǒng)計(jì)量計(jì)算步驟，根據(jù)目的特征，計(jì)算目的統(tǒng)計(jì)量；目的特征面積選擇步驟，對(duì)目的統(tǒng)計(jì)量，利用規(guī)定閾值，進(jìn)行閾值處理，選擇目的統(tǒng)計(jì)量，并算出目的面積選擇特征，該目的面積選擇特征由將選擇到的目的統(tǒng)計(jì)量設(shè)為要素的矢量或矩陣構(gòu)成；存儲(chǔ)統(tǒng)計(jì)量計(jì)算步驟，根據(jù)存儲(chǔ)特征，計(jì)算規(guī)定的存儲(chǔ)統(tǒng)計(jì)量；以及存儲(chǔ)特征面積選擇步驟，對(duì)存儲(chǔ)統(tǒng)計(jì)量，利用規(guī)定閾值，進(jìn)行閾值處理，選擇存儲(chǔ)統(tǒng)計(jì)量，并算出存儲(chǔ)面積選擇特征，該存儲(chǔ)面積選擇特征由將選擇到的存儲(chǔ)統(tǒng)計(jì)量設(shè)為要素的矢量或矩陣構(gòu)成；以及特征對(duì)照步驟，對(duì)存儲(chǔ)面積選擇特征設(shè)定對(duì)照區(qū)間，計(jì)算對(duì)照區(qū)間中的存儲(chǔ)面積選擇特征與目的面積選擇特征的至少一部分的類似度，特征對(duì)照步驟使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，計(jì)算出類似度。
另外，本發(fā)明是一種影像信號(hào)搜索程序，使計(jì)算機(jī)用作上述發(fā)明之一所述的影像信號(hào)搜索裝置。
另外，本發(fā)明是一種記錄上述發(fā)明的計(jì)算機(jī)程序的計(jì)算機(jī)可讀取的記錄介質(zhì)。
根據(jù)本發(fā)明，由于去除反射或間歇的影響，所以從存儲(chǔ)影像信號(hào)和目的影像信號(hào)中，在統(tǒng)計(jì)上僅選擇特征要素，進(jìn)行對(duì)照。通過(guò)使用由該選擇到的要素構(gòu)成的多維矢量，可比較存儲(chǔ)影像信號(hào)與目的影像信號(hào)的更有特征的圖案，算出它們的類似度，不執(zhí)行無(wú)用部分的比較處理，所以可使重疊于目的影像信號(hào)上的反射或影像的間歇的影響大幅度降低，可執(zhí)行對(duì)噪音穩(wěn)固的影像信號(hào)檢測(cè)。
另外，通過(guò)從由存儲(chǔ)影像信號(hào)和目的影像信號(hào)得到的存儲(chǔ)特征和目的特征中，統(tǒng)計(jì)評(píng)價(jià)抽取由更有特征的要素構(gòu)成的存儲(chǔ)面積選擇特征和目的面積選擇特征，可大幅度降低對(duì)照的數(shù)據(jù)量，使類似度的計(jì)算處理高速化，并且可大幅度削減存儲(chǔ)的存儲(chǔ)影像信號(hào)每一件的數(shù)據(jù)量，在與以前一樣的存儲(chǔ)容量部中，可存儲(chǔ)更多的存儲(chǔ)影像信號(hào)信息。
即，通過(guò)設(shè)置存儲(chǔ)特征面積選擇部與目的特征選擇部，可避開包含于目的影像中的、物體因反射而映射的部位、或捕獲失敗后間歇的部位，執(zhí)行目的影像信號(hào)與存儲(chǔ)影像信號(hào)的特征量彼此的對(duì)照。由此，與不執(zhí)行面積選擇地對(duì)照的情況相比，相對(duì)的類似度上升，可提高搜索精度。
并且，為了解決上述問(wèn)題，本發(fā)明是一種影像信號(hào)搜索裝置，從存儲(chǔ)影像信號(hào)中，搜索類似于目的影像信號(hào)的信號(hào)，其特征在于，具有目的特征計(jì)算單元，根據(jù)目的影像信號(hào)，計(jì)算目的特征；目的統(tǒng)計(jì)量計(jì)算單元，根據(jù)目的特征，計(jì)算目的統(tǒng)計(jì)量；目的特征規(guī)格化單元，使用目的統(tǒng)計(jì)量與目的特征，算出目的規(guī)格化特征的要素；目的量化單元，使用規(guī)定閾值，量化目的規(guī)格化特征的要素，求出目的量化特征的要素，生成目的矢量；存儲(chǔ)統(tǒng)計(jì)量計(jì)算單元，根據(jù)存儲(chǔ)特征，計(jì)算存儲(chǔ)統(tǒng)計(jì)量；存儲(chǔ)特征規(guī)格化單元，使用存儲(chǔ)統(tǒng)計(jì)量與存儲(chǔ)特征，算出存儲(chǔ)規(guī)格化特征的要素；存儲(chǔ)量化單元，使用規(guī)定閾值，量化存儲(chǔ)規(guī)格化特征的要素，求出存儲(chǔ)量化特征的要素，生成存儲(chǔ)矢量；以及特征對(duì)照單元，對(duì)存儲(chǔ)矢量設(shè)定對(duì)照區(qū)間，計(jì)算對(duì)照區(qū)間中存儲(chǔ)矢量的要素與目的矢量的至少一部分要素的類似度，特征對(duì)照單元使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，計(jì)算出類似度。
另外，本發(fā)明是一種影像信號(hào)搜索方法，從存儲(chǔ)影像信號(hào)中，搜索類似于目的影像信號(hào)的信號(hào)，其特征在于，具有目的特征計(jì)算步驟，根據(jù)目的影像信號(hào)，計(jì)算目的特征；目的統(tǒng)計(jì)量計(jì)算步驟，根據(jù)目的特征，計(jì)算目的統(tǒng)計(jì)量；目的特征規(guī)格化步驟，使用目的統(tǒng)計(jì)量與目的特征，算出目的規(guī)格化特征的要素；目的量化步驟，使用規(guī)定閾值，量化目的規(guī)格化特征的要素，求出目的量化特征的要素，生成目的矢量；存儲(chǔ)統(tǒng)計(jì)量計(jì)算步驟，根據(jù)存儲(chǔ)特征，計(jì)算存儲(chǔ)統(tǒng)計(jì)量；存儲(chǔ)特征規(guī)格化步驟，使用存儲(chǔ)統(tǒng)計(jì)量與存儲(chǔ)特征，算出存儲(chǔ)規(guī)格化特征的要素；存儲(chǔ)量化步驟，使用規(guī)定閾值，量化存儲(chǔ)規(guī)格化特征的要素，求出存儲(chǔ)量化特征的要素，生成存儲(chǔ)矢量；以及特征對(duì)照步驟，對(duì)存儲(chǔ)矢量設(shè)定對(duì)照區(qū)間，計(jì)算對(duì)照區(qū)間中存儲(chǔ)矢量的要素與目的矢量的至少一部分要素的類似度，特征對(duì)照步驟使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，計(jì)算出類似度。
另外，本發(fā)明是一種影像信號(hào)搜索程序，使計(jì)算機(jī)用作上述影像信號(hào)搜索裝置。
另外，本發(fā)明是一種記錄上述影像信號(hào)程序的計(jì)算機(jī)可讀取的記錄介質(zhì)。
根據(jù)本發(fā)明，由于吸收特征失真，所以通過(guò)設(shè)置利用規(guī)定閾值來(lái)標(biāo)量量化影像信號(hào)的量化部，可大幅度降低比較的數(shù)據(jù)量，使類似度的運(yùn)算處理高速化，并且可大幅度削減存儲(chǔ)的存儲(chǔ)影像信號(hào)每一件的數(shù)據(jù)量，利用與以前一樣的存儲(chǔ)部容量，可存儲(chǔ)更多的存儲(chǔ)影像信號(hào)，就這點(diǎn)而言，也可使類似的存儲(chǔ)影像信號(hào)的檢測(cè)精度提高。
另外，根據(jù)本發(fā)明，通過(guò)設(shè)置量化部，不是各要素的數(shù)據(jù)的詳細(xì)比較判定，而是將對(duì)照區(qū)間中的特征矢量作為整體圖案進(jìn)行檢索，所以可使搜索精度提高，防止漏檢，與公知的方法相比，可執(zhí)行對(duì)各種各樣的特征失真穩(wěn)固的信號(hào)檢測(cè)處理，執(zhí)行對(duì)較通用的特征失真穩(wěn)固的影像信號(hào)檢測(cè)。
并且，為了解決上述問(wèn)題，本發(fā)明是一種信號(hào)搜索裝置，從存儲(chǔ)信號(hào)中搜索類似于目的信號(hào)的信號(hào)，其特征在于，具有目的特征計(jì)算單元，根據(jù)目的信號(hào)，計(jì)算目的特征；目的統(tǒng)計(jì)量計(jì)算單元，根據(jù)目的特征，計(jì)算目的統(tǒng)計(jì)量；目的特征規(guī)格化單元，使用目的統(tǒng)計(jì)量與目的特征，算出目的規(guī)格化特征的要素；目的面積選擇非線性量化單元，輸入目的規(guī)格化特征的要素，求出被選擇的目的非線性量化特征的要素，生成目的矢量；存儲(chǔ)統(tǒng)計(jì)量計(jì)算單元，根據(jù)存儲(chǔ)特征，計(jì)算存儲(chǔ)統(tǒng)計(jì)量；存儲(chǔ)特征規(guī)格化單元，使用存儲(chǔ)統(tǒng)計(jì)量與存儲(chǔ)特征，算出存儲(chǔ)規(guī)格化特征的要素；存儲(chǔ)面積選擇非線性量化單元，將存儲(chǔ)規(guī)格化特征的要素設(shè)為輸入，求出被選擇的存儲(chǔ)非線性量化特征的要素，生成存儲(chǔ)矢量；以及特征對(duì)照單元，對(duì)存儲(chǔ)矢量設(shè)定對(duì)照區(qū)間，計(jì)算對(duì)照區(qū)間中存儲(chǔ)矢量的要素與目的矢量的至少一部分要素的類似度，特征對(duì)照單元使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，計(jì)算出類似度。
本發(fā)明就上述所述的發(fā)明而言，其特征在于目的面積選擇非線性量化單元和存儲(chǔ)面積選擇非線性量化單元對(duì)多維矢量進(jìn)行芙諾以(Voronoi)分割，非線性量化與特征矢量所屬的芙諾以邊界面的距離。
本發(fā)明就上述所述的發(fā)明而言，其特征在于目的面積選擇非線性量化單元由目的特征面積選擇單元與非線性量化特征矢量的目的特征非線性量化單元構(gòu)成，所述目的特征面積選擇單元選擇統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由選擇到的要素的多維矢量構(gòu)成的目的面積選擇特征。
本發(fā)明就上述所述的發(fā)明而言，其特征在于存儲(chǔ)面積選擇量化單元由存儲(chǔ)特征面積選擇單元與非線性量化特征矢量的存儲(chǔ)特征非線性量化單元構(gòu)成，所述存儲(chǔ)特征面積選擇單元選擇統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由選擇到的要素的多維矢量構(gòu)成的存儲(chǔ)面積選擇特征。
本發(fā)明是一種信號(hào)搜索方法，從存儲(chǔ)信號(hào)中搜索類似于目的信號(hào)的信號(hào)，其特征在于，具有目的特征計(jì)算步驟，根據(jù)目的信號(hào)，計(jì)算目的特征；目的統(tǒng)計(jì)量計(jì)算步驟，根據(jù)目的特征，計(jì)算目的統(tǒng)計(jì)量；目的特征規(guī)格化步驟，使用目的統(tǒng)計(jì)量與目的特征，算出目的規(guī)格化特征的要素；目的面積選擇非線性量化步驟，輸入目的規(guī)格化特征的要素，求出被選擇的目的非線性量化特征的要素，生成目的矢量；存儲(chǔ)統(tǒng)計(jì)量計(jì)算步驟，根據(jù)存儲(chǔ)特征，計(jì)算存儲(chǔ)統(tǒng)計(jì)量；存儲(chǔ)特征規(guī)格化步驟，使用存儲(chǔ)統(tǒng)計(jì)量與存儲(chǔ)特征，算出存儲(chǔ)規(guī)格化特征的要素；存儲(chǔ)面積選擇非線性量化步驟，將存儲(chǔ)規(guī)格化特征的要素設(shè)為輸入，求出被選擇的存儲(chǔ)非線性量化特征的要素，生成存儲(chǔ)矢量；以及特征對(duì)照步驟，對(duì)存儲(chǔ)矢量設(shè)定對(duì)照區(qū)間，計(jì)算對(duì)照區(qū)間中存儲(chǔ)矢量的要素與目的矢量的至少一部分要素的類似度，特征對(duì)照步驟使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，計(jì)算出類似度。
另外，本發(fā)明是一種信號(hào)搜索程序，使計(jì)算機(jī)用作上述信號(hào)搜索裝置。
另外，本發(fā)明是一種記錄上述信號(hào)搜索程序的計(jì)算機(jī)可讀取的記錄介質(zhì)。
另外，根據(jù)本發(fā)明，由于去除噪音或失真的影響，所以從存儲(chǔ)信號(hào)和目的信號(hào)中，在統(tǒng)計(jì)上僅抽取特征的要素，進(jìn)行對(duì)照。通過(guò)使用由該抽取到的要素構(gòu)成的多維矢量，可執(zhí)行識(shí)別存儲(chǔ)信號(hào)與目的信號(hào)的更有特征的圖案的類似度計(jì)算，進(jìn)而通過(guò)將非線性量化適用于利用統(tǒng)計(jì)處理算出的統(tǒng)計(jì)量中，使量化后的值的可靠性提高，可邊降低重疊于目的信號(hào)上的噪音或失真的影響，邊執(zhí)行高精度的信號(hào)檢測(cè)。
另外，統(tǒng)計(jì)地評(píng)價(jià)抽取由更有特征的要素構(gòu)成的存儲(chǔ)面積選擇特征和目的面積選擇特征，進(jìn)而非線性量化存儲(chǔ)面積選擇特征和目的面積選擇特征。由此，可大幅度降低對(duì)照的數(shù)據(jù)量，使類似度的計(jì)算處理高速化，并且可大幅度削減存儲(chǔ)的存儲(chǔ)信號(hào)每一件的數(shù)據(jù)量。即，在與以前一樣的存儲(chǔ)容量部中，可存儲(chǔ)更多的存儲(chǔ)信號(hào)信息，就這點(diǎn)而言，也可使類似的存儲(chǔ)信號(hào)的檢測(cè)精度提高。


圖1是表示本發(fā)明一實(shí)施例的音響信號(hào)檢測(cè)系統(tǒng)的構(gòu)成例的框圖。
圖2是表示圖1的音響信號(hào)檢測(cè)系統(tǒng)的動(dòng)作例的流程圖。
圖3是表示本發(fā)明一實(shí)施例的音響信號(hào)檢測(cè)系統(tǒng)的構(gòu)成例的框圖。
圖4是表示圖3的音響信號(hào)檢測(cè)系統(tǒng)的動(dòng)作例的流程圖。
圖5是表示本發(fā)明一實(shí)施例的影像信號(hào)搜索系統(tǒng)的構(gòu)成例的框圖。
圖6是用于說(shuō)明本發(fā)明一實(shí)施例的影像信號(hào)搜索系統(tǒng)中的閾值設(shè)定的圖表。
圖7是用于說(shuō)明本發(fā)明一實(shí)施例的影像信號(hào)搜索系統(tǒng)中的閾值設(shè)定的圖表。
圖8是表示圖5的影像信號(hào)搜索系統(tǒng)的動(dòng)作例的流程圖。
圖9是本發(fā)明一實(shí)施例的影像信號(hào)搜索系統(tǒng)中的子畫面的說(shuō)明圖。
圖10是本發(fā)明一實(shí)施例的影像信號(hào)搜索系統(tǒng)中局部時(shí)間與幀的關(guān)系的說(shuō)明圖。
圖11是表示本發(fā)明一實(shí)施方式的影像信號(hào)搜索系統(tǒng)的構(gòu)成例的框圖。
圖12是表示圖11的影像信號(hào)搜索系統(tǒng)的動(dòng)作例的流程圖。
圖13是本發(fā)明一實(shí)施方式的影像信號(hào)搜索系統(tǒng)中時(shí)間窗與幀的關(guān)系的說(shuō)明圖。
圖14是本發(fā)明一實(shí)施方式的影像信號(hào)搜索系統(tǒng)中的子畫面的說(shuō)明圖。
圖15是表示本發(fā)明一實(shí)施方式的信號(hào)搜索系統(tǒng)的構(gòu)成例的框圖。
圖16是用于說(shuō)明本發(fā)明一實(shí)施例的信號(hào)搜索系統(tǒng)中的閾值設(shè)定的圖表。
圖17是用于說(shuō)明本發(fā)明一實(shí)施例的信號(hào)搜索系統(tǒng)中的閾值設(shè)定的圖表。
圖18是表示圖15的信號(hào)搜索系統(tǒng)的一例動(dòng)作的流程圖。
圖19是本發(fā)明一實(shí)施方式的信號(hào)搜索系統(tǒng)中時(shí)間窗與幀的關(guān)系的說(shuō)明圖。
圖20是本發(fā)明一實(shí)施方式的信號(hào)搜索系統(tǒng)中的子畫面的說(shuō)明圖。
圖21是本發(fā)明一實(shí)施方式的非線性量化的說(shuō)明圖。
圖22是表示圖15的信號(hào)搜索系統(tǒng)的動(dòng)作例的另一例的流程圖。
符號(hào)說(shuō)明11 目的特征計(jì)算部12 存儲(chǔ)特征計(jì)算部13 目的特征規(guī)格化部14 存儲(chǔ)特征規(guī)格化部15 目的特征面積選擇部16 存儲(chǔ)特征面積選擇部17 特征對(duì)照部18 存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)21 目的特征計(jì)算部22 存儲(chǔ)特征計(jì)算部23 目的特征規(guī)格化部24 存儲(chǔ)特征規(guī)格化部25 目的特征量化部26 存儲(chǔ)特征量化部27 特征對(duì)照部28 存儲(chǔ)量化特征數(shù)據(jù)庫(kù)31 目的特征計(jì)算部32 存儲(chǔ)特征計(jì)算部33 目的特征規(guī)格化部34 存儲(chǔ)特征規(guī)格化部35 目的特征面積選擇部
36 存儲(chǔ)特征面積選擇部37 特征對(duì)照部38 存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)41 目的特征計(jì)算部42 存儲(chǔ)特征計(jì)算部43 目的特征規(guī)格化部44 存儲(chǔ)特征規(guī)格化部45 目的特征量化部46 存儲(chǔ)特征量化部47 特征對(duì)照部48 存儲(chǔ)量化特征數(shù)據(jù)庫(kù)51 目的特征計(jì)算部52 存儲(chǔ)特征計(jì)算部53 目的特征規(guī)格化部54 存儲(chǔ)特征規(guī)格化部55 目的特征面積選擇部56 存儲(chǔ)特征面積選擇部57 目的特征非線性量化部58 存儲(chǔ)特征非線性量化部59 特征對(duì)照部510 存儲(chǔ)非線性量化特征數(shù)據(jù)庫(kù)具體實(shí)施方式
下面，參照附圖來(lái)說(shuō)明本發(fā)明的最佳實(shí)施例。但是，本發(fā)明不限于以下的各實(shí)施例，例如也可適當(dāng)組合這些實(shí)施例的構(gòu)成要素彼此。
<第1實(shí)施方式>
圖1表示本發(fā)明的第1實(shí)施方式，是表示將音響信號(hào)設(shè)為對(duì)象的對(duì)特征失真穩(wěn)固的音響信號(hào)檢測(cè)系統(tǒng)的構(gòu)成框圖。
圖1所示的音響信號(hào)檢測(cè)系統(tǒng)實(shí)現(xiàn)將音響信號(hào)設(shè)為對(duì)象的對(duì)特征失真穩(wěn)固的信號(hào)檢測(cè)，包括目的特征計(jì)算部11、存儲(chǔ)特征計(jì)算部12、目的特征規(guī)格化部13、存儲(chǔ)特征規(guī)格化部14、目的特征面積選擇部15、存儲(chǔ)特征面積選擇部16、特征對(duì)照部17、以及存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)18，輸入存儲(chǔ)時(shí)間系列信號(hào)(存儲(chǔ)音響信號(hào))即想檢索的音響信號(hào)、以及目的時(shí)間系列信號(hào)(目的音響信號(hào))即檢索的音響信號(hào)，輸出與目的時(shí)間系列信號(hào)類似的存儲(chǔ)時(shí)間系列信號(hào)中的部位。
目的特征計(jì)算部11從按規(guī)定間隔以時(shí)間系列采樣目的音響信號(hào)得到的、作為離散值的目的時(shí)間系列信號(hào)中，例如以采樣單位抽取每個(gè)頻率的功率譜值等，多維矢量化該抽取出的特征量，得到特征矢量，導(dǎo)出由該特征矢量構(gòu)成的目的特征。
存儲(chǔ)特征計(jì)算部12也一樣，從按規(guī)定間隔以時(shí)間系列采樣存儲(chǔ)音響信號(hào)得到的、作為離散值的存儲(chǔ)時(shí)間系列信號(hào)中，例如以采樣單位抽取每個(gè)頻率的功率譜值等，多維矢量化該抽取出的特征量，得到特征矢量，導(dǎo)出由該特征矢量構(gòu)成的存儲(chǔ)特征。
目的特征規(guī)格化部13根據(jù)上述目的特征，使用從還包含鄰接部分的周邊目的特征導(dǎo)出的統(tǒng)計(jì)量，對(duì)特征矢量的每個(gè)要素獨(dú)立規(guī)格化，導(dǎo)出具有由規(guī)格化后的值構(gòu)成的多維矢量的目的規(guī)格化特征。
存儲(chǔ)特征規(guī)格化部14根據(jù)上述存儲(chǔ)特征，使用從還包含鄰接部分的周邊存儲(chǔ)特征導(dǎo)出的統(tǒng)計(jì)量，對(duì)特征矢量的每個(gè)要素獨(dú)立規(guī)格化，導(dǎo)出具有由規(guī)格化后的值構(gòu)成的多維矢量的存儲(chǔ)規(guī)格化特征。
目的特征面積選擇部15根據(jù)上述目的規(guī)格化特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，從該目的規(guī)格化特征中，選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由該被選擇的要素的多維矢量構(gòu)成的目的面積選擇特征。
存儲(chǔ)特征面積選擇部16根據(jù)上述存儲(chǔ)規(guī)格化特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，從該存儲(chǔ)規(guī)格化特征中，選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由該被選擇的要素的多維矢量構(gòu)成的存儲(chǔ)面積選擇特征。
例如，各面積選擇部可求出所述規(guī)格化中的存儲(chǔ)特征和目的特征與“0”和“1”的邊界面的差分，作為統(tǒng)計(jì)量，將其與閾值相比較，由此分別導(dǎo)出面積特征。此時(shí)，考慮該閾值為最大差分值的7/10或8/10的數(shù)值。
在各頻帶下，由于將功率譜變動(dòng)大的要素設(shè)為特征要素，所以如上所述，選擇具有較大值的要素，作為特征圖案。
此時(shí)，也可設(shè)置每個(gè)要素的下限值，進(jìn)行控制，使閾值緩慢降低，直到選擇超過(guò)該下限值(1或多個(gè))的要素為止。
另外，目的特征面積選擇部15也可對(duì)上述目的特征求出排列中的規(guī)定范圍的特征矢量的各要素的平均值(每個(gè)頻帶下的平均值)，從該目的規(guī)格化特征中，選擇各要素除以該平均值后的結(jié)果的絕對(duì)值超過(guò)規(guī)定閾值的要素，并導(dǎo)出由該被選擇的要素的多維矢量構(gòu)成的目的面積選擇特征。
同樣，存儲(chǔ)特征面積選擇部16也可對(duì)上述存儲(chǔ)特征求出排列中的規(guī)定范圍的特征矢量的各要素的平均值(每個(gè)頻帶下的平均值)，從該存儲(chǔ)面積特征中，選擇各要素除以該平均值后的結(jié)果的絕對(duì)值超過(guò)規(guī)定閾值的要素，并導(dǎo)出由該被選擇的要素的多維矢量構(gòu)成的存儲(chǔ)面積選擇特征。
利用上述方法，各面積選擇部計(jì)算存儲(chǔ)特征或目的特征與平均值的差分值，作為統(tǒng)計(jì)量，通過(guò)將其與閾值相比較，分別導(dǎo)出面積選擇特征，此時(shí)，考慮該閾值為最大差分值的7/10或8/10的數(shù)值。
在各頻帶下，由于將功率譜變動(dòng)大的要素設(shè)為特征要素，所以如上所述，選擇具有大值的要素，作為特征圖案。
此時(shí)，也可設(shè)置要素的下限值，進(jìn)行控制使閾值緩慢降低，直到選擇超過(guò)該下限值的要素為止。
并且，目的特征面積選擇部15也可輸入上述目的特征和目的規(guī)格化特征，求出該目的特征排列中的規(guī)定范圍(一定區(qū)段)的特征矢量的每個(gè)要素的標(biāo)準(zhǔn)偏差(每個(gè)頻帶下的標(biāo)準(zhǔn)偏差)，然后，對(duì)目的規(guī)格化特征的對(duì)應(yīng)排列位置的特征矢量的每個(gè)要素，乘以上述標(biāo)準(zhǔn)偏差，計(jì)算乘法結(jié)果的絕對(duì)值，作為統(tǒng)計(jì)量，從目的規(guī)格化特征中，選擇該統(tǒng)計(jì)量中最上位或從最上位起的多個(gè)(例如2個(gè))統(tǒng)計(jì)量，導(dǎo)出作為特征圖案的、被選擇的要素的多維矢量所構(gòu)成的目的面積選擇特征。
同樣，存儲(chǔ)特征面積選擇部16也可輸入上述存儲(chǔ)特征和存儲(chǔ)面積選擇特征，求出該存儲(chǔ)特征排列中的規(guī)定范圍(一定區(qū)段)的特征矢量的每個(gè)要素的標(biāo)準(zhǔn)偏差(每個(gè)頻帶下的標(biāo)準(zhǔn)偏差)，然后，對(duì)存儲(chǔ)規(guī)格化特征的對(duì)應(yīng)排列位置的特征矢量的每個(gè)要素，乘以上述標(biāo)準(zhǔn)偏差，計(jì)算乘法結(jié)果的絕對(duì)值，作為統(tǒng)計(jì)量，從存儲(chǔ)規(guī)格化特征中，選擇該統(tǒng)計(jì)量中最上位或從最上位起的多個(gè)(例如2個(gè))統(tǒng)計(jì)量，導(dǎo)出作為特征圖案的、被選擇的要素的多維矢量所構(gòu)成的存儲(chǔ)面積選擇特征。
該目的面積選擇特征和存儲(chǔ)面積選擇特征分別按時(shí)間系列采樣的順序，依次排列各采樣中的特征矢量。目的面積選擇特征的排列數(shù)(排列長(zhǎng)度)比存儲(chǔ)面積選擇特征的短，或相等。
特征對(duì)照部17對(duì)上述存儲(chǔ)面積選擇特征中按時(shí)間系列排列的特征矢量，設(shè)定該排列的規(guī)定范圍，作為對(duì)照區(qū)間，將長(zhǎng)度與該對(duì)照區(qū)間相同的被對(duì)照區(qū)間設(shè)定為目的面積選擇特征，計(jì)算上述對(duì)照區(qū)間與被對(duì)照區(qū)間的類似度，與事先設(shè)定的搜索閾值相比較，判定是否類似。
另外，特征對(duì)照部17在上述對(duì)照區(qū)間的對(duì)照處理結(jié)束時(shí)，由于設(shè)定新的對(duì)照區(qū)間，所以移向排列鄰接的相同時(shí)間寬度范圍。
存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)18對(duì)多個(gè)、例如很好配送的歌曲，利用存儲(chǔ)特征計(jì)算部12、存儲(chǔ)特征規(guī)格化部14和存儲(chǔ)特征面積選擇部16，事先計(jì)算存儲(chǔ)面積選擇特征，對(duì)應(yīng)于各歌曲名來(lái)存儲(chǔ)。
下面，參照附圖來(lái)說(shuō)明本實(shí)施例的音響信號(hào)檢測(cè)系統(tǒng)的動(dòng)作。圖2是表示圖1的音響信號(hào)檢測(cè)系統(tǒng)的動(dòng)作例的流程圖。
存儲(chǔ)特征計(jì)算部12讀入提供的存儲(chǔ)音響信號(hào)并進(jìn)行輸入(步驟S1)，對(duì)輸入的存儲(chǔ)音響信號(hào)執(zhí)行特征抽取。
此時(shí)，存儲(chǔ)特征計(jì)算部12使用音響信號(hào)的傅立葉變換的振幅分量，抽取(傅立葉變換例如以頻率8000Hz標(biāo)本化的音響信號(hào)的1秒?yún)^(qū)間，將0-4000Hz等間隔分割為32個(gè)頻帶的區(qū)間，以每0.1秒排列)各區(qū)間內(nèi)的振幅分量的平均功率構(gòu)成的32維多維矢量，作為特征矢量，設(shè)為存儲(chǔ)特征(步驟S2)。
然后，存儲(chǔ)特征規(guī)格化部14從存儲(chǔ)特征計(jì)算部12讀入存儲(chǔ)特征，對(duì)該存儲(chǔ)特征的特征矢量的每個(gè)要素，計(jì)算求出規(guī)定的一定區(qū)段的平均值與標(biāo)準(zhǔn)偏差。
例如，存儲(chǔ)特征規(guī)格化部14根據(jù)每個(gè)頻帶(要素)下某個(gè)時(shí)間區(qū)間的值，求出平均值與標(biāo)準(zhǔn)偏差，使用求出的平均值與標(biāo)準(zhǔn)偏差，進(jìn)行規(guī)格化。
此時(shí)，存儲(chǔ)特征規(guī)格化部14規(guī)格化后的頻率特征y(i)的第k個(gè)要素如下式(1)所示。
(公式1)
y(i,k)=1σ(i,k)(x(i,k)-m(i,k))---(1)]]>其中，式(1)中，m(i，k)為平均值，由下式(2)求出，σ(i，k)為標(biāo)準(zhǔn)偏差，由下式(3)求出。
(公式2)m(i,k)=12MΣi=-MM-1x(i,k)---(2)]]>(公式3)σ(i,k)2=12MΣi=-MM-1(x(i,k)-m(i,k))2---(3)]]>式(2)和式(3)中，M是用于求出局部時(shí)間內(nèi)的頻率特征的平均值和標(biāo)準(zhǔn)偏差的時(shí)間窗一半大小的數(shù)值。
然后，將由式(1)-(3)得到的多維矢量的時(shí)間系列的排列(由k表示的順序)設(shè)為存儲(chǔ)規(guī)格化特征(步驟S3)。
接著，存儲(chǔ)特征面積選擇部16從存儲(chǔ)特征計(jì)算部12讀入存儲(chǔ)特征并進(jìn)行輸入，或從存儲(chǔ)特征規(guī)格化部14讀入存儲(chǔ)規(guī)格化特征并進(jìn)行輸入，用上述式(2)和(3)，對(duì)各要素(頻帶的功率譜構(gòu)成的特征矢量)排列的一定區(qū)段，求出存儲(chǔ)特征的多維矢量的每個(gè)要素的標(biāo)準(zhǔn)偏差σ(i，k)。
然后，存儲(chǔ)特征面積選擇部16如下式(5)所示，對(duì)每個(gè)要素y(i，k)乘以上述標(biāo)準(zhǔn)偏差σ(i，k)，取其絕對(duì)值。
(公式4)z(i，k)＝|y(i，k)·σ(i，k)| …(4)
這里，存儲(chǔ)特征面積選擇部16從得到的各要素與標(biāo)準(zhǔn)偏差的乘法結(jié)果的統(tǒng)計(jì)量z(i，k)中，以規(guī)定區(qū)間單位對(duì)每個(gè)要素選擇從最上位起的多個(gè)矢量、例如上位2個(gè)矢量。
然后，存儲(chǔ)特征面積選擇部16對(duì)于上述一定區(qū)段，輸出從存儲(chǔ)規(guī)格化特征中對(duì)每個(gè)要素選擇的要素的矢量構(gòu)成的多維矢量，作為存儲(chǔ)面積選擇特征(步驟S4)。
此時(shí)，存儲(chǔ)特征面積選擇部16執(zhí)行將由計(jì)算得出的存儲(chǔ)面積選擇特征直接發(fā)送給特征對(duì)照部17、或暫時(shí)登錄到存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)18之一的處理。
在特征對(duì)照部17實(shí)時(shí)比較存儲(chǔ)面積選擇特征與目的面積選擇特征的情況下，存儲(chǔ)特征面積選擇部16向特征對(duì)照部17輸出輸入的存儲(chǔ)音響信號(hào)的存儲(chǔ)面積選擇特征，向存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)18登錄存儲(chǔ)音響信號(hào)的數(shù)據(jù)，此時(shí)，存儲(chǔ)特征面積選擇部16不向特征對(duì)照部17發(fā)送存儲(chǔ)面積選擇特征，而與歌曲名對(duì)應(yīng)地向存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)18登錄存儲(chǔ)面積選擇特征。
目的特征計(jì)算部11讀入提供的目的音響信號(hào)并進(jìn)行輸入(步驟S5)，對(duì)輸入的目的音響信號(hào)執(zhí)行特征抽取。
此時(shí)，目的特征計(jì)算部11與存儲(chǔ)特征計(jì)算部12一樣，使用音響信號(hào)的傅立葉變換的振幅分量，抽取(傅立葉變換例如以頻率8000Hz標(biāo)本化的音響信號(hào)的1秒?yún)^(qū)間，將0-4000Hz等間隔分割為32個(gè)頻帶的區(qū)間(特征矢量的要素)，以每0.1秒排列)各區(qū)間內(nèi)的振幅分量的平均功率構(gòu)成的32維多維矢量，作為特征矢量，設(shè)為目的特征(步驟S6)。
然后，目的特征規(guī)格化部13從目的特征計(jì)算部11讀入目的特征，對(duì)該目的特征的特征矢量的每個(gè)要素，計(jì)算求出規(guī)定的一定區(qū)段的平均值與標(biāo)準(zhǔn)偏差。
即，目的特征規(guī)格化部13與存儲(chǔ)特征規(guī)格化部14一樣，將由式(1)-(3)得到的多維矢量的時(shí)間系列的排列(由k表示的順序)設(shè)為目的規(guī)格化特征(步驟S7)。
接著，目的特征面積選擇部15從目的特征計(jì)算部11讀入目的特征并進(jìn)行輸入，或從目的特征規(guī)格化部13讀入目的規(guī)格化特征并進(jìn)行輸入，與存儲(chǔ)特征面積選擇部16一樣，對(duì)每個(gè)要素乘以根據(jù)目的特征的一定區(qū)段求出的標(biāo)準(zhǔn)偏差σ(i，k)，將乘法結(jié)果設(shè)為統(tǒng)計(jì)量。
然后，目的特征面積選擇部15對(duì)每個(gè)要素的排列，從上述統(tǒng)計(jì)量中，按數(shù)值從大到小的順序，選擇上位的2個(gè)要素，輸出從目的規(guī)格化特征中對(duì)每個(gè)要素選擇的要素的矢量構(gòu)成的多維矢量，作為目的面積選擇特征(步驟S8)。
然后，特征對(duì)照部17分別讀入由目的特征面積選擇部15和存儲(chǔ)特征面積選擇部16得到的目的面積選擇特征和存儲(chǔ)面積選擇特征。
另外，特征對(duì)照部17在同時(shí)輸入目的音響信號(hào)和存儲(chǔ)音響信號(hào)、實(shí)時(shí)判定類似的情況以外，從存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)18中依次讀出進(jìn)行比較的存儲(chǔ)面積選擇特征，與目的面積選擇特征進(jìn)行比較。
此時(shí)，特征對(duì)照部17對(duì)于存儲(chǔ)面積選擇特征，將長(zhǎng)度與由目的特征面積選擇部15提供的目的面積選擇特征相同的特征矢量的排列設(shè)定為對(duì)照區(qū)間。
即，特征對(duì)照部17將由多個(gè)上述一定區(qū)段構(gòu)成的目的面積選擇特征設(shè)為對(duì)照區(qū)間，對(duì)于存儲(chǔ)面積選擇特征，使與目的面積選擇特征相同的一定區(qū)段數(shù)構(gòu)成的排列長(zhǎng)度對(duì)應(yīng)，作為相對(duì)目的面積選擇特征的對(duì)照區(qū)間，依次利用類似度來(lái)比較兩個(gè)對(duì)照區(qū)間。
然后，特征對(duì)照部17用下式(5)來(lái)計(jì)算目的面積選擇特征與存儲(chǔ)面積選擇特征中對(duì)照區(qū)間與比較部位的類似度。
即，特征對(duì)照部17計(jì)算目的面積選擇特征中的要素yq(i，k)和存儲(chǔ)面積選擇特征的對(duì)照區(qū)間中的要素ys(i，k)的一致部位的歐幾里德距離、與向非一致部位的數(shù)量乘以規(guī)定常數(shù)a的值的和，輸出該和，作為類似度(步驟S9)(公式5)S=Σk=q∩s(yq(i,k)-ys(i+j,k))2+a(max(|q|,|s|)-|q∩s|)---(5)]]>其中，q、s表示目的特征和存儲(chǔ)特征的面積選擇部位，x∩y表示x與y的共同部位，|x|表示面積選擇部位x的要素?cái)?shù)量，max(x，y)表示x與y中大的一方的數(shù)量。
這里，例如特征對(duì)照部17在設(shè)目的面積選擇特征為15秒長(zhǎng)度時(shí)，從該目的面積選擇特征的特征矢量排列中，以0.1秒間隔抽取共計(jì)150部位的作為排列要素的特征矢量，對(duì)各采樣，將頻帶分割成32份，所以根據(jù)由這些矢量構(gòu)成的150×32的4800維，對(duì)每個(gè)頻帶使用功率譜的上位2個(gè)(目的特征面積選擇部15抽取)，將64個(gè)要素構(gòu)成的多維矢量設(shè)為用于對(duì)照的目的矢量。
另外，與上述目的矢量一樣，特征對(duì)照部17從存儲(chǔ)面積選擇特征的數(shù)據(jù)開頭起，15秒長(zhǎng)度為單位，依次設(shè)定為對(duì)照區(qū)間，從特征矢量的排列中，以0.1秒為間隔抽取共計(jì)150部位的特征矢量，對(duì)各采樣，將頻帶分割成32份，所以根據(jù)由這些矢量構(gòu)成的150×32的4800維，對(duì)每個(gè)頻帶使用功率譜的上位2個(gè)(存儲(chǔ)特征面積選擇部16抽取)，將64個(gè)要素構(gòu)成的多維矢量設(shè)為用于對(duì)照的存儲(chǔ)矢量。
接著，特征對(duì)照部17邊從存儲(chǔ)面積選擇特征的開頭依次偏移對(duì)照區(qū)間，邊使用與目的面積選擇特征的即式(5)，計(jì)算上述目的矢量與存儲(chǔ)矢量的類似度，與事先設(shè)定的搜索閾值進(jìn)行比較處理(步驟S10)。
在對(duì)照處理目的面積選擇特征與存儲(chǔ)面積選擇特征直到存儲(chǔ)面積選擇特征的最后之后，輸出每個(gè)對(duì)照區(qū)間的類似度比事先設(shè)定的搜索閾值低的、存儲(chǔ)面積選擇特征的對(duì)照區(qū)間的區(qū)域，作為搜索結(jié)果(步驟S11)。
另外，特征對(duì)照部17也可輸出比較的結(jié)果中、類似度明顯低的存儲(chǔ)面積選擇特征的對(duì)照區(qū)間的區(qū)域，作為搜索結(jié)果。
另外，特征對(duì)照部17也可在多個(gè)對(duì)照區(qū)間的類似度低于搜索閾值的情況下，輸出類似度的上位(從低的數(shù)值起)第N個(gè)以前的對(duì)照區(qū)間。
并且，特征對(duì)照部17也可在沒(méi)有低于搜索閾值的對(duì)照區(qū)間的情況等下，通知表示沒(méi)有對(duì)應(yīng)部位的信息，從存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)18中讀出新的存儲(chǔ)音響信號(hào)的存儲(chǔ)面積選擇特征，繼續(xù)步驟S9以后的搜索處理，直到搜索具有上述搜索閾值以下的對(duì)照區(qū)間的存儲(chǔ)面積選擇特征。
另外，也可將圖1中的目的特征計(jì)算部11、目的特征規(guī)格化部13和目的特征面積選擇部5安裝在各用戶終端(例如電腦)中，將具有存儲(chǔ)特征計(jì)算部12、存儲(chǔ)特征規(guī)格化部14、存儲(chǔ)特征面積選擇部16、特征對(duì)照部17和存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)18的音響信號(hào)檢測(cè)服務(wù)器設(shè)置在執(zhí)行音樂(lè)配送的服務(wù)提供者中。
由此，構(gòu)成為將用戶利用便攜電話等接收到的音響信號(hào)作為目的音響信號(hào)，生成至目的面積選擇特征，經(jīng)因特網(wǎng)等向上述音響信號(hào)檢測(cè)服務(wù)器發(fā)送該目的面積選擇特征，請(qǐng)求搜索類似于該目的面積選擇特征的存儲(chǔ)音響信號(hào)。此時(shí)，使計(jì)算存儲(chǔ)面積選擇特征和目的面積選擇特征時(shí)的一定區(qū)段的特征矢量的排列長(zhǎng)度等規(guī)定在音響信號(hào)檢測(cè)服務(wù)器與終端中事先一致。
下面，示出應(yīng)用上述音響信號(hào)檢測(cè)系統(tǒng)時(shí)的動(dòng)作實(shí)驗(yàn)例及其結(jié)果。
為了確認(rèn)本發(fā)明的音響信號(hào)檢測(cè)系統(tǒng)的效果，比較應(yīng)用本發(fā)明的情況與不應(yīng)用本發(fā)明的情況下的搜索精度。
為了實(shí)驗(yàn)，將再生某個(gè)CD(致密盤)的歌曲的音響信號(hào)作為存儲(chǔ)音響信號(hào)，原樣輸入到圖1的音響信號(hào)檢測(cè)系統(tǒng)的存儲(chǔ)特征計(jì)算部12中。
另一方面，作為目的音響信號(hào)，利用噪音大的飲茶店內(nèi)的揚(yáng)聲器，播出上述CD的相同歌曲的規(guī)定部分(存儲(chǔ)音響信號(hào)的一部分)，在該飲茶店內(nèi)將便攜電話連接于PHS(注冊(cè)商標(biāo))，將從該P(yáng)HS(注冊(cè)商標(biāo))的聲音輸出接收得到的音響信號(hào)作為目的音響信號(hào)，輸入到目的特征計(jì)算部11。
在上述相同的實(shí)驗(yàn)條件下，重復(fù)執(zhí)行搜索處理200次，測(cè)定搜索精度。
該搜索精度為調(diào)節(jié)搜索閾值的設(shè)定、適合率(precision rate)與再現(xiàn)率(recall rate)相等時(shí)的值。
這里，所謂適合率是作為搜索結(jié)果輸出的結(jié)果中正確的比例，再現(xiàn)率是應(yīng)搜索的對(duì)象中、作為搜索結(jié)果輸出的比例。
適合率或再現(xiàn)率隨著搜索閾值的設(shè)定而變化，在本實(shí)驗(yàn)中，由下式(6)來(lái)確定搜索閾值(相對(duì)于式(5)中使用的類似度的閾值)。
(公式6)θ＝m+nν…(6)
在上式(6)中，m和ν分別是對(duì)提供的存儲(chǔ)信號(hào)采樣輸入信號(hào)、并預(yù)備執(zhí)行類似度的計(jì)算后收集到的類似度的平均值與標(biāo)準(zhǔn)偏差，n是經(jīng)驗(yàn)提供的系數(shù)。
其中，式(6)中，在搜索閾值θ超過(guò)1的情況下，設(shè)θ＝1，當(dāng)?shù)陀?時(shí)，θ＝0。
在本實(shí)驗(yàn)中，設(shè)在重復(fù)執(zhí)行200次期間，式(6)中的n值恒定，調(diào)節(jié)其t值，使適合率與再現(xiàn)率大致相等。
上述實(shí)驗(yàn)的結(jié)果是上述精度在不使用利用規(guī)格化特征得到的存儲(chǔ)和目的面積選擇特征時(shí)為15.0％，在使用本發(fā)明的存儲(chǔ)和目的面積選擇特征時(shí)(一實(shí)施例)為80.1％。
另外，就搜索處理而言，在CPU中使用Intel(注冊(cè)商標(biāo))Pentium(注冊(cè)商標(biāo))III 1133MHz，在OS中使用RedHat(注冊(cè)商標(biāo))7.3，在程序編譯器中使用GNU gcc。
另外，執(zhí)行文件利用程序編譯器最佳化選項(xiàng)“-03”來(lái)執(zhí)行編譯。
在上述實(shí)驗(yàn)中，可確認(rèn)通過(guò)本發(fā)明的音響信號(hào)檢測(cè)系統(tǒng)，搜索精度提高。
本發(fā)明的音響信號(hào)檢測(cè)系統(tǒng)也可用于附加在實(shí)際環(huán)境中收錄的有噪音或間歇的片斷音響信號(hào)，不僅搜索一致的音樂(lè)或CM的曲名或播放時(shí)間，還使其與存儲(chǔ)了關(guān)聯(lián)于音樂(lè)或CM的信息的附帶信息數(shù)據(jù)庫(kù)組合，進(jìn)行信息搜索。
例如，用戶利用便攜電話接收從TV或廣播流動(dòng)的音樂(lè)或CM，發(fā)送給音響信號(hào)檢索服務(wù)等?？蓸?gòu)成為音響信號(hào)檢索服務(wù)提供者從數(shù)據(jù)庫(kù)中檢索與該音響信號(hào)一致或類似的音響，經(jīng)因特網(wǎng)等網(wǎng)絡(luò)，收費(fèi)或免費(fèi)地將音樂(lè)或關(guān)于該CM的信息(例如演奏者、作詞作曲者名、商品信息、制品特征、服務(wù)、拍攝地、出演者、主頁(yè)等)提供給用戶。
這里，就檢索的音響的輸入方法而言，也可從便攜終端訪問(wèn)服務(wù)器，由終端的麥克風(fēng)直接接收信號(hào)，作為目的信號(hào)。另外，也可適當(dāng)切取暫且錄音的音響后發(fā)送。
另外，作為其它發(fā)明的實(shí)施例，也可用于根據(jù)用戶利用家庭用磁帶錄音機(jī)錄音的圖象音響中，從配送的CD或電影、電視程序中檢索接近該圖象的音樂(lè)的音節(jié)，利用內(nèi)容，或收集相當(dāng)于錄音的圖象音響的音節(jié)來(lái)編輯。
<第2實(shí)施方式>
圖3表示本發(fā)明的第2實(shí)施方式，是表示將音響信號(hào)設(shè)為對(duì)象的對(duì)特征失真穩(wěn)固的音響信號(hào)檢測(cè)系統(tǒng)的構(gòu)成框圖。
圖3所示的音響信號(hào)檢測(cè)系統(tǒng)實(shí)現(xiàn)將音響信號(hào)設(shè)為對(duì)象的對(duì)特征失真穩(wěn)固的信號(hào)檢測(cè)，包括目的特征計(jì)算部21、存儲(chǔ)特征計(jì)算部22、目的特征規(guī)格化部23、存儲(chǔ)特征規(guī)格化部24、目的特征量化部25、存儲(chǔ)特征量化部26、特征對(duì)照部27、以及存儲(chǔ)量化特征數(shù)據(jù)庫(kù)28，輸入存儲(chǔ)時(shí)間系列信號(hào)(存儲(chǔ)音響信號(hào))即想檢索的音響信號(hào)、以及目的時(shí)間系列信號(hào)(目的音響信號(hào))即檢索的音響信號(hào)，輸出與目的時(shí)間系列信號(hào)類似的存儲(chǔ)時(shí)間系列信號(hào)中的部位。
目的特征計(jì)算部21從按規(guī)定間隔以時(shí)間系列采樣目的音響信號(hào)得到的、作為離散值的目的時(shí)間系列信號(hào)中，例如以采樣單位抽取每個(gè)頻率的功率譜值等，多維矢量化該抽取出的特征量，得到特征矢量，導(dǎo)出(計(jì)算)由該特征矢量構(gòu)成的目的特征。
存儲(chǔ)特征計(jì)算部22也一樣，從按規(guī)定間隔以時(shí)間系列采樣存儲(chǔ)音響信號(hào)得到的、作為離散值的存儲(chǔ)時(shí)間系列信號(hào)中，例如以采樣單位抽取每個(gè)頻率的功率譜值等，多維矢量化該抽取出的特征量，得到特征矢量，導(dǎo)出由該特征矢量構(gòu)成的存儲(chǔ)特征。
目的特征規(guī)格化部23根據(jù)上述目的特征，使用從還包含鄰接部分的周邊目的特征導(dǎo)出的統(tǒng)計(jì)量，對(duì)特征矢量的每個(gè)要素獨(dú)立規(guī)格化，導(dǎo)出具有由規(guī)格化后的值構(gòu)成的多維矢量的目的規(guī)格化特征。
存儲(chǔ)特征規(guī)格化部24根據(jù)上述存儲(chǔ)特征，使用從還包含鄰接部分的周邊存儲(chǔ)特征導(dǎo)出的統(tǒng)計(jì)量，對(duì)特征矢量的每個(gè)要素獨(dú)立規(guī)格化，導(dǎo)出具有由規(guī)格化后的值構(gòu)成的多維矢量的存儲(chǔ)規(guī)格化特征。
目的特征量化部25利用規(guī)定閾值，標(biāo)量量化上述目的規(guī)格化特征，導(dǎo)出將由該量化得到的值設(shè)為要素的多維矢量構(gòu)成的目的量化特征。
存儲(chǔ)特征量化部26利用規(guī)定閾值，標(biāo)量量化上述存儲(chǔ)規(guī)格化特征，導(dǎo)出將由該量化得到的值設(shè)為要素的多維矢量構(gòu)成的存儲(chǔ)量化特征。
在例如二進(jìn)制化目的和存儲(chǔ)規(guī)格化特征的情況下，通過(guò)選擇最小化二進(jìn)制得到的要素的數(shù)值與原要素的數(shù)值的均方差的點(diǎn)等，求出執(zhí)行量化的上述規(guī)定閾值。
該目的量化特征和存儲(chǔ)量化特征分別按時(shí)間系列采樣的順序，依次排列各采樣中的特征矢量。目的量化特征的排列數(shù)(排列長(zhǎng)度)比存儲(chǔ)量化特征的短，或相等。
另外，下面，所謂存儲(chǔ)特征中被簡(jiǎn)并(degeneracy)的矢量是根據(jù)存儲(chǔ)面積選擇特征或存儲(chǔ)規(guī)格化特征等規(guī)定的統(tǒng)計(jì)量、通過(guò)計(jì)算得到的矢量，此外，所謂目的特征中被簡(jiǎn)并的矢量是根據(jù)目的面積選擇特征或目的規(guī)格化特征等規(guī)定的統(tǒng)計(jì)量、通過(guò)計(jì)算得到的矢量。
特征對(duì)照部27對(duì)上述存儲(chǔ)量化特征中按時(shí)間系列排列的特征矢量，設(shè)定該排列的規(guī)定范圍，作為對(duì)照區(qū)間，將長(zhǎng)度與該對(duì)照區(qū)間相同的被對(duì)照區(qū)間設(shè)定為目的量化特征，計(jì)算上述對(duì)照區(qū)間與被對(duì)照區(qū)間的類似度，與事先設(shè)定的搜索閾值相比較，判定是否類似。
另外，特征對(duì)照部27在上述對(duì)照區(qū)間的對(duì)照處理結(jié)束時(shí)，由于設(shè)定新的對(duì)照區(qū)間，所以移向排列鄰接的相同時(shí)間寬度范圍。
存儲(chǔ)量化特征數(shù)據(jù)庫(kù)18對(duì)多個(gè)、例如很好配送的歌曲，利用存儲(chǔ)特征計(jì)算部22、存儲(chǔ)特征規(guī)格化部24和存儲(chǔ)特征量化部26，事先計(jì)算存儲(chǔ)量化特征，對(duì)應(yīng)于各歌曲名來(lái)存儲(chǔ)。
下面，參照附圖來(lái)說(shuō)明本實(shí)施例的音響信號(hào)檢測(cè)系統(tǒng)的動(dòng)作。圖4是表示圖3的音響信號(hào)檢測(cè)系統(tǒng)的動(dòng)作例的流程圖。
存儲(chǔ)特征計(jì)算部22讀入提供的存儲(chǔ)音響信號(hào)并進(jìn)行輸入(步驟T1)，對(duì)輸入的存儲(chǔ)音響信號(hào)執(zhí)行特征抽取。
此時(shí)，存儲(chǔ)特征計(jì)算部22使用音響信號(hào)的傅立葉變換的振幅分量，傅立葉變換例如以頻率8000Hz標(biāo)本化的音響信號(hào)的1秒?yún)^(qū)間，將0-4000Hz等間隔分割為32個(gè)頻帶的區(qū)間，以每0.1秒抽取各區(qū)間內(nèi)的振幅分量的平均功率構(gòu)成的32維多維矢量，作為特征矢量，設(shè)為存儲(chǔ)特征(步驟T2)。
然后，存儲(chǔ)特征規(guī)格化部24從存儲(chǔ)特征計(jì)算部22讀入存儲(chǔ)特征，對(duì)該存儲(chǔ)特征的特征矢量的每個(gè)要素，計(jì)算求出規(guī)定的一定區(qū)段的平均值與標(biāo)準(zhǔn)偏差。
例如，存儲(chǔ)特征規(guī)格化部24根據(jù)每個(gè)頻帶下某個(gè)時(shí)間區(qū)間的值，求出平均值與標(biāo)準(zhǔn)偏差，使用求出的平均值與標(biāo)準(zhǔn)偏差，進(jìn)行規(guī)格化。
此時(shí)，存儲(chǔ)特征規(guī)格化部24規(guī)格化后的頻率特征y(i)的第k個(gè)要素如下式(21)所示。
(公式21)y(i,k)=1σ(i,k)(Q(i,k)-m(i,k))---(21)]]>其中，式(21)中，m(i，k)為平均值，由下式(22)求出，σ(i，k)為標(biāo)準(zhǔn)偏差，由下式(23)求出。
(公式22)m(i,k)=12MΣi=-MM-1Q(i,k)---(22)]]>(公式23)σ(i,k)2=12MΣi=-MM-1(Q(i,k)-m(i,k))2---(23)]]>式(22)和式(23)中，M是用于求出局部時(shí)間內(nèi)的頻率特征的平均值和標(biāo)準(zhǔn)偏差的時(shí)間窗一半大小的數(shù)值。
然后，將由式(21)-(23)得到的多維矢量的時(shí)間系列的排列(由k表示的順序)設(shè)為存儲(chǔ)規(guī)格化特征(步驟T3)。
接著，存儲(chǔ)特征量化部26從存儲(chǔ)特征規(guī)格化部24讀入存儲(chǔ)規(guī)格化特征并進(jìn)行輸入，對(duì)存儲(chǔ)規(guī)格化特征的多維矢量的每個(gè)要素，以事先提供的閾值為界，執(zhí)行二進(jìn)制化處理，得到量化后的數(shù)值的矢量。
例如，存儲(chǔ)特征量化部26以得到的閾值t為界，量化存儲(chǔ)規(guī)格化特征的各要素。
由此，存儲(chǔ)特征量化部26利用下示的式(24)，分別計(jì)算量化后的頻率特征z(i)的第k個(gè)要素。
(公式24)
然后，存儲(chǔ)特征量化部26二進(jìn)制化各要素，輸出該多維矢量，作為存儲(chǔ)量化特征(步驟T4)。
此時(shí)，存儲(chǔ)特征量化部26執(zhí)行將由計(jì)算得出的存儲(chǔ)量化特征直接發(fā)送給特征對(duì)照部27、或暫時(shí)登錄到存儲(chǔ)量化特征數(shù)據(jù)庫(kù)28之一的處理。
在特征對(duì)照部27實(shí)時(shí)比較存儲(chǔ)量化特征與目的量化特征的情況下，存儲(chǔ)特征量化部26向特征對(duì)照部27輸出輸入的存儲(chǔ)音響信號(hào)的存儲(chǔ)量化特征，向存儲(chǔ)量化特征數(shù)據(jù)庫(kù)28登錄存儲(chǔ)音響信號(hào)的數(shù)據(jù)，此時(shí)，存儲(chǔ)特征量化部26不向特征對(duì)照部27發(fā)送存儲(chǔ)量化特征，而與歌曲名對(duì)應(yīng)地向存儲(chǔ)量化特征數(shù)據(jù)庫(kù)28登錄存儲(chǔ)量化特征。
目的特征計(jì)算部21讀入提供的目的音響信號(hào)并進(jìn)行輸入(步驟T5)，對(duì)輸入的目的音響信號(hào)執(zhí)行特征抽取。
此時(shí)，目的特征計(jì)算部21與存儲(chǔ)特征計(jì)算部22一樣，使用音響信號(hào)的傅立葉變換的振幅分量，傅立葉變換例如以頻率8000Hz標(biāo)本化的音響信號(hào)的1秒?yún)^(qū)間，將0-4000Hz等間隔分割為32個(gè)頻帶的區(qū)間，以每0.1秒抽取各區(qū)間內(nèi)的振幅分量的平均功率構(gòu)成的32維多維矢量，作為特征矢量，設(shè)為目的特征(步驟T6)。
然后，目的特征規(guī)格化部23從目的特征計(jì)算部21讀入目的特征，對(duì)該目的特征的特征矢量的每個(gè)要素，計(jì)算求出規(guī)定的一定區(qū)段的平均值與標(biāo)準(zhǔn)偏差。
即，目的特征規(guī)格化部23與存儲(chǔ)特征規(guī)格化部24一樣，將由式(21)-(23)得到的多維矢量的時(shí)間系列的排列(由k表示的順序)設(shè)為目的規(guī)格化特征(步驟T7)。
接著，目的特征量化部25從目的特征規(guī)格化部23讀入目的規(guī)格化特征并進(jìn)行輸入，對(duì)目的規(guī)格化特征的多維矢量的每個(gè)要素，以事先提供的閾值為界，與存儲(chǔ)特征量化部26一樣，使用式(24)，執(zhí)行二進(jìn)制化處理，得到量化后的數(shù)值的矢量。
然后，目的特征量化部25輸出二進(jìn)制化各要素后的該多維矢量，作為目的量化特征(步驟T8)。
接著，特征對(duì)照部27分別讀入由目的特征量化部25和存儲(chǔ)特征量化部26得到的目的量化特征和存儲(chǔ)量化特征。
另外，特征對(duì)照部27在同時(shí)輸入目的音響信號(hào)和存儲(chǔ)音響信號(hào)、實(shí)時(shí)判定類似的情況以外，從存儲(chǔ)量化特征數(shù)據(jù)庫(kù)28中依次讀出進(jìn)行比較的存儲(chǔ)量化特征，與目的量化特征進(jìn)行比較。
此時(shí)，特征對(duì)照部27對(duì)于存儲(chǔ)量化特征，將長(zhǎng)度與由目的特征量化部25提供的目的量化特征相同的特征矢量的排列設(shè)定為對(duì)照區(qū)間。
然后，特征對(duì)照部27計(jì)算目的量化特征與上述對(duì)照區(qū)間的類似度，作為類似度，計(jì)算雙方的特征矢量之間的加重平均(hamming)距離(步驟T9)。
例如，特征對(duì)照部27在設(shè)目的量化特征為15秒長(zhǎng)度時(shí)，從該目的量化特征的特征矢量排列中，以0.1秒間隔抽取共計(jì)150部位的作為排列要素的特征矢量，對(duì)各采樣，將頻帶分割成32份，所以將由這些矢量構(gòu)成的150×32的4800維多維矢量設(shè)為用于對(duì)照的目的矢量。
另外，與上述目的矢量一樣，特征對(duì)照部27從存儲(chǔ)量化特征的數(shù)據(jù)開頭起，以15秒長(zhǎng)度為單位，依次設(shè)定為對(duì)照區(qū)間，從特征矢量的排列中，以0.1秒為間隔抽取共計(jì)150部位的特征矢量，對(duì)各采樣，將頻帶分割成32份，所以將由這些矢量構(gòu)成的150×32的4800維多維矢量設(shè)為用于對(duì)照的存儲(chǔ)矢量。
此時(shí)，特征對(duì)照部27也可從目的量化特征的特征矢量排列中，抽取多個(gè)部位的要素，若是設(shè)為目的矢量的要素，則目的特征量化部25從目的規(guī)格化特征中事先抽取作為排列的要素的特征矢量，即，以0.1秒為間隔抽取共計(jì)150部位的特征矢量，執(zhí)行標(biāo)量量化，作為目的矢量輸出到特征對(duì)照部27。
此時(shí)，特征對(duì)照部27邊從存儲(chǔ)量化特征的開頭依次偏移對(duì)照區(qū)間，邊通過(guò)計(jì)算與目的量化特征的即上述目的矢量與存儲(chǔ)矢量的加重平均距離來(lái)進(jìn)行比較處理。
接著，在對(duì)照處理存儲(chǔ)量化特征至最后之后，特征對(duì)照部27參照每個(gè)對(duì)照區(qū)間的加重平均距離，輸出加重平均距離最小的對(duì)照區(qū)間的區(qū)域，作為搜索結(jié)果。
另外，特征對(duì)照部27也可在事先提供加重平均距離的搜索閾值來(lái)作為搜索結(jié)果的情況下，判定該搜索閾值與選擇到的對(duì)照區(qū)間的加重平均距離(步驟T10)，僅輸出低于該搜索閾值的對(duì)照區(qū)間(步驟T11)。
另外，特征對(duì)照部27也可在多個(gè)對(duì)照區(qū)間的加重平均距離低于搜索閾值的情況下，輸出加重平均距離的上位(從低的數(shù)值起)第N個(gè)以前的對(duì)照區(qū)間。
并且，特征對(duì)照部27也可在沒(méi)有低于搜索閾值的對(duì)照區(qū)間的情況等下，通知表示沒(méi)有對(duì)應(yīng)部位的信息，從存儲(chǔ)量化特征數(shù)據(jù)庫(kù)28中讀出新的存儲(chǔ)音響信號(hào)的存儲(chǔ)量化特征，繼續(xù)步驟T9以后的搜索處理，直到搜索具有上述搜索閾值以下的對(duì)照區(qū)間的存儲(chǔ)量化特征。
另外，也可將圖3中的目的特征計(jì)算部21、目的特征規(guī)格化部23和目的特征量化部25安裝在各用戶終端(例如電腦)中，將具有存儲(chǔ)特征計(jì)算部22、存儲(chǔ)特征規(guī)格化部24、存儲(chǔ)特征量化部26、特征對(duì)照部27和存儲(chǔ)量化特征數(shù)據(jù)庫(kù)28的音響信號(hào)檢測(cè)服務(wù)器設(shè)置在執(zhí)行音樂(lè)配送的服務(wù)提供者中。
由此，構(gòu)成為將用戶利用便攜電話等接收到的音響信號(hào)作為目的音響信號(hào)，生成至目的量化特征，經(jīng)因特網(wǎng)等向上述音響信號(hào)檢測(cè)服務(wù)器發(fā)送該目的量化特征，請(qǐng)求搜索類似于該目的量化特征的存儲(chǔ)音響信號(hào)。
下面，示出應(yīng)用上述音響信號(hào)檢測(cè)系統(tǒng)時(shí)的動(dòng)作實(shí)驗(yàn)例及其結(jié)果。
為了確認(rèn)本發(fā)明的音響信號(hào)檢測(cè)系統(tǒng)的效果，比較應(yīng)用本發(fā)明的情況與不應(yīng)用本發(fā)明的情況下的搜索精度。
為了實(shí)驗(yàn)，將再生某個(gè)CD(致密盤)的歌曲的音響信號(hào)作為存儲(chǔ)音響信號(hào)，原樣輸入到圖3的音響信號(hào)檢測(cè)系統(tǒng)的存儲(chǔ)特征計(jì)算部22中。
另一方面，作為目的音響信號(hào)，利用揚(yáng)聲器，播出上述CD的相同歌曲的規(guī)定部分(存儲(chǔ)音響信號(hào)的一部分)，在該飲茶店內(nèi)將便攜電話連接于PHS(注冊(cè)商標(biāo))，將從該P(yáng)HS(注冊(cè)商標(biāo))的聲音輸出接收得到的音響信號(hào)作為目的音響信號(hào)，輸入到目的特征計(jì)算部21。
在上述相同的實(shí)驗(yàn)條件下，重復(fù)執(zhí)行搜索處理200次，測(cè)定搜索精度。
該搜索精度為調(diào)節(jié)搜索閾值的設(shè)定、適合率(precision rate)與再現(xiàn)率(recall rate)相等時(shí)的值。
這里，所謂適合率是作為搜索結(jié)果輸出的結(jié)果中正確的比例，再現(xiàn)率是應(yīng)搜索的對(duì)象中、作為搜索結(jié)果輸出的比例。
適合率或再現(xiàn)率隨著搜索閾值的設(shè)定而變化，在本實(shí)驗(yàn)中，由下式(25)來(lái)確定搜索閾值(相對(duì)于加重平均距離的閾值)。
(公式25)θ＝m+nν…(25)在上式(25)中，m和ν分別是對(duì)提供的存儲(chǔ)信號(hào)采樣輸入信號(hào)、并預(yù)備執(zhí)行類似度的計(jì)算后收集到的類似度的平均值與標(biāo)準(zhǔn)偏差，n是經(jīng)驗(yàn)提供的系數(shù)。
其中，式(25)中，在搜索閾值θ超過(guò)1的情況下，設(shè)θ＝1，當(dāng)?shù)陀?時(shí)，θ＝0。
在本實(shí)驗(yàn)中，設(shè)在重復(fù)執(zhí)行200次期間，式(25)中的n值恒定，調(diào)節(jié)其t值，使適合率與再現(xiàn)率大致相等。
上述實(shí)驗(yàn)的結(jié)果是上述精度在不執(zhí)行規(guī)格化特征的量化時(shí)為60.0％，在執(zhí)行了量化時(shí)(一實(shí)施例)為85.77％。
另外，就搜索處理而言，在CPU中使用Intel(注冊(cè)商標(biāo))Pentium(注冊(cè)商標(biāo))III 1133MHz，在OS中使用RedHat(注冊(cè)商標(biāo))7.3，在程序編譯器中使用GNU gcc。
另外，執(zhí)行文件利用編譯器最佳化選項(xiàng)“-03”來(lái)執(zhí)行編譯。
在上述實(shí)驗(yàn)中，可確認(rèn)通過(guò)本發(fā)明的音響信號(hào)檢測(cè)系統(tǒng)，搜索精度提高。
本發(fā)明的音響信號(hào)檢測(cè)系統(tǒng)也可用于附加在實(shí)際環(huán)境中收錄的因終端特征、編碼特性等而失真的片斷音響信號(hào)，不僅搜索一致的音樂(lè)或CM的曲名或播放時(shí)間，還使其與存儲(chǔ)了關(guān)聯(lián)于音樂(lè)或CM的信息的附帶信息數(shù)據(jù)庫(kù)組合，進(jìn)行信息搜索。
例如，用戶利用便攜電話接收從TV或廣播流動(dòng)的音樂(lè)或CM，發(fā)送給音響信號(hào)檢索服務(wù)等?？蓸?gòu)成為音響信號(hào)檢索服務(wù)提供者從數(shù)據(jù)庫(kù)中檢索與該音響信號(hào)一致或類似的音響，經(jīng)因特網(wǎng)等網(wǎng)絡(luò)，收費(fèi)或免費(fèi)地將音樂(lè)或關(guān)于該CM的信息(例如演奏者、作詞作曲者名、商品信息、制品特征、服務(wù)、拍攝地、出演者、主頁(yè)等)提供給用戶。
這里，就檢索的音響的輸入方法而言，也可從便攜終端訪問(wèn)服務(wù)器，由終端的麥克風(fēng)直接接收信號(hào)，作為目的信號(hào)。另外，也可適當(dāng)切取暫且錄音的音響后發(fā)送。
另外，作為其它發(fā)明的實(shí)施例，也可用于根據(jù)用戶利用家庭用磁帶錄音機(jī)錄音的圖象音響中，從配送的CD或電影、電視程序中檢索接近該圖象的音樂(lè)的音節(jié)，利用內(nèi)容，或收集相當(dāng)于錄音的圖象音響的音節(jié)來(lái)編輯。
<第3實(shí)施方式>
下面，參照附圖來(lái)說(shuō)明本發(fā)明的第3實(shí)施方式。圖5是本發(fā)明的一實(shí)施方式，是表示將影像信號(hào)設(shè)為對(duì)象的對(duì)反射或間歇穩(wěn)固的影像信號(hào)搜索系統(tǒng)的構(gòu)成框圖。
圖5所示的影像信號(hào)搜索系統(tǒng)實(shí)現(xiàn)將影像信號(hào)設(shè)為對(duì)象的對(duì)反射或間歇穩(wěn)固的信號(hào)檢測(cè)，包括目的特征計(jì)算部31、存儲(chǔ)特征計(jì)算部32、目的特征規(guī)格化部33、存儲(chǔ)特征規(guī)格化部34、目的特征面積選擇部35、存儲(chǔ)特征面積選擇部36、特征對(duì)照部37、以及存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)38，輸入存儲(chǔ)影像信號(hào)即檢索的影像信號(hào)、以及目的影像信號(hào)即想檢索的影像信號(hào)，輸出與目的時(shí)間系列信號(hào)類似的存儲(chǔ)時(shí)間系列信號(hào)中的部位。
目的特征計(jì)算部31將目的影像信號(hào)設(shè)為輸入，從按規(guī)定間隔以時(shí)間系列采樣該目的影像信號(hào)得到的、作為離散值的目的時(shí)間系列信號(hào)中，例如以采樣單位從目的影像信號(hào)中抽取每個(gè)頻率的功率譜值等，設(shè)為特征量，多維矢量化該抽取出的特征量，得到特征矢量，導(dǎo)出由該特征矢量構(gòu)成的目的特征。
存儲(chǔ)特征計(jì)算部32與目的特征計(jì)算部31一樣，多維矢量化從按規(guī)定間隔以時(shí)間系列采樣存儲(chǔ)影像信號(hào)得到的作為離散數(shù)據(jù)的存儲(chǔ)時(shí)間系列信號(hào)中、抽取出的特征量，得到特征矢量，導(dǎo)出由該特征矢量構(gòu)成的存儲(chǔ)特征。
另外，這里將目的特征和存儲(chǔ)特征作為多維矢量，但也可矩陣表現(xiàn)目的特征和存儲(chǔ)特征。
目的特征規(guī)格化部33根據(jù)上述目的特征，使用從包含鄰接該目的特征的目的特征的周邊多個(gè)目的特征導(dǎo)出的統(tǒng)計(jì)量，對(duì)特征矢量的每個(gè)要素獨(dú)立規(guī)格化，導(dǎo)出具有由規(guī)格化后的值構(gòu)成的特征矢量的目的規(guī)格化特征。
存儲(chǔ)特征規(guī)格化部34根據(jù)上述存儲(chǔ)特征，使用從包含鄰接該存儲(chǔ)特征的存儲(chǔ)特征的周邊多個(gè)存儲(chǔ)特征導(dǎo)出的統(tǒng)計(jì)量，對(duì)特征矢量的每個(gè)要素獨(dú)立規(guī)格化，導(dǎo)出具有由規(guī)格化后的值構(gòu)成的特征矢量的存儲(chǔ)規(guī)格化特征。
這里，所謂在“‘鄰接’于存儲(chǔ)特征的存儲(chǔ)特征”的表現(xiàn)中使用的“鄰接”對(duì)應(yīng)于例如對(duì)于就時(shí)間采樣影像信號(hào)時(shí)得到的離散時(shí)刻的幀、表示其前后的離散時(shí)刻的幀時(shí)的“前后離散時(shí)刻的”。另外，所謂“周邊的多個(gè)的”在使用所述實(shí)例時(shí)，對(duì)應(yīng)于“某個(gè)離散時(shí)刻間的”。
目的特征面積選擇部35根據(jù)上述目的特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，從目的規(guī)格化特征中，選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由被選擇的要素的多維矢量構(gòu)成的目的面積選擇特征。
存儲(chǔ)特征面積選擇部36根據(jù)上述存儲(chǔ)規(guī)格化特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，從存儲(chǔ)規(guī)格化特征中，選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由被選擇的要素的多維矢量構(gòu)成的存儲(chǔ)面積選擇特征。
特征對(duì)照部37對(duì)上述存儲(chǔ)面積選擇特征，將規(guī)定范圍設(shè)定為對(duì)照區(qū)間，將長(zhǎng)度與該對(duì)照區(qū)間相同的被對(duì)照區(qū)間設(shè)定為目的面積選擇特征，計(jì)算上述對(duì)照區(qū)間與被對(duì)照區(qū)間的類似度，與事先設(shè)定的搜索閾值相比較，判定是否類似，輸出其結(jié)果，作為信號(hào)檢測(cè)結(jié)果。
另外，特征對(duì)照部37在上述對(duì)照區(qū)間的對(duì)照處理結(jié)束時(shí)，由于設(shè)定新的對(duì)照區(qū)間，所以執(zhí)行將對(duì)照區(qū)間移向排列鄰接的相同時(shí)間寬度范圍的處理。
存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)38存儲(chǔ)利用存儲(chǔ)特征計(jì)算部32、存儲(chǔ)特征規(guī)格化部34和存儲(chǔ)特征面積選擇部36事先計(jì)算的存儲(chǔ)面積選擇特征。
若使用將多個(gè)CM影像設(shè)為存儲(chǔ)影像信號(hào)的實(shí)例，則存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)38對(duì)應(yīng)于各CM提供者名，存儲(chǔ)所述事先計(jì)算的存儲(chǔ)面積選擇特征。
另外，在本例中，在存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)38中計(jì)算存儲(chǔ)事先計(jì)算的存儲(chǔ)面積選擇特征，但也可設(shè)置存儲(chǔ)存儲(chǔ)影像信號(hào)(新的影像信號(hào))的數(shù)據(jù)庫(kù)。
這里，說(shuō)明目的特征面積選擇部35和存儲(chǔ)特征面積選擇部36中的閾值設(shè)定。
考慮上述閾值在例如選擇規(guī)格化特征矢量的各要素的值、與通過(guò)統(tǒng)計(jì)處理求出的構(gòu)成基準(zhǔn)的值(這里為“0”)的差分絕對(duì)值大的要素時(shí)，將規(guī)格化特征矢量的各要素值與“0”的差分的絕對(duì)值最大的值的8/10的數(shù)值設(shè)為閾值，選擇各要素中、差分的絕對(duì)值超過(guò)閾值的要素。
圖6表示該實(shí)例。圖6中，將規(guī)格化特征矢量的各要素d1-d6的值與“0”的差分的絕對(duì)值設(shè)為D1-D6。這里，選擇差分的絕對(duì)值D1-D6中最大的絕對(duì)值，將該值的例如8/10設(shè)為閾值。
如圖6所示，差分的絕對(duì)值最大的是要素d2的差分絕對(duì)值D2。由此，將與D2的差分的絕對(duì)值的8/10設(shè)定為閾值|θ|。
|θ|＝0.8×D2然后，分別將與各要素d1-d6的值的差分絕對(duì)值D1-D6與閾值|θ|相比較，抽取超過(guò)閾值的要素。另外，對(duì)被選擇的要素附加圓標(biāo)記。
圖6中，由于要素d2的差分的絕對(duì)值D2、要素d4的差分的絕對(duì)值D4、要素d5的差分的絕對(duì)值D5、要素d6的差分的絕對(duì)值D6超過(guò)閾值|θ|，所以選擇這些要素，作為選擇特征的圖案。
這里，將差分的絕對(duì)值最大的絕對(duì)值的8/10的值設(shè)為閾值，但這是一例，不限于8/10。
另外，也可設(shè)置每個(gè)要素的下限值，進(jìn)行控制使閾值緩慢降低，直到選擇得到該下限值(1或多個(gè))的要素為止。例如，在圖7的實(shí)例中，示出選擇上位2個(gè)要素的情況，通過(guò)緩慢降低閾值，選擇差分的絕對(duì)值最大的要素d2的值與“0”的差分的絕對(duì)值D2、以及要素d5的值與“0”的差分的絕對(duì)值D5，作為選擇特征的圖案。
另外，目的特征面積選擇部35也可求出上述目的特征中的規(guī)定范圍的特征矢量的各要素的平均值，從目的規(guī)格化特征中，選擇各要素除以該平均值后的結(jié)果的絕對(duì)值超過(guò)規(guī)定閾值的要素，并導(dǎo)出由被選擇的要素的多維矢量構(gòu)成的目的面積選擇特征。
同樣，存儲(chǔ)特征面積選擇部36也可求出上述存儲(chǔ)特征中的規(guī)定范圍的特征矢量的各要素的平均值，從存儲(chǔ)規(guī)格化特征中，選擇各要素除以該平均值后的結(jié)果的絕對(duì)值超過(guò)規(guī)定閾值的要素，并導(dǎo)出由被選擇的要素的多維矢量構(gòu)成的存儲(chǔ)面積選擇特征。
上述閾值例如也可在選擇規(guī)格化特征矢量的各要素的值與平均值的差分的絕對(duì)值大的要素的情況下，將規(guī)格化特征矢量的各要素的值與平均值的差分的絕對(duì)值最大的值的如8/10的數(shù)值設(shè)為閾值，選擇各要素中、與平均值的差分的絕對(duì)值超過(guò)閾值的要素。
此時(shí)，也可設(shè)置要素的下限值，進(jìn)行控制使閾值緩慢降低，直到選擇超過(guò)該下限值的要素為止。
并且，目的特征面積選擇部35也可輸入上述目的特征和目的規(guī)格化特征，求出該目的特征中的規(guī)定范圍(一定區(qū)段)的特征矢量的每個(gè)要素的標(biāo)準(zhǔn)偏差，然后，對(duì)目的規(guī)格化特征的對(duì)應(yīng)排列位置的特征矢量的每個(gè)要素，乘以上述標(biāo)準(zhǔn)偏差，計(jì)算乘法結(jié)果的絕對(duì)值，作為統(tǒng)計(jì)量，從目的規(guī)格化特征中，選擇該統(tǒng)計(jì)量中最上位或從最上位起的多個(gè)(例如2個(gè))統(tǒng)計(jì)量，導(dǎo)出作為特征圖案的、被選擇的要素的多維矢量所構(gòu)成的目的面積選擇特征。
同樣，存儲(chǔ)特征面積選擇部36也可輸入上述存儲(chǔ)特征和存儲(chǔ)規(guī)格化特征，求出該存儲(chǔ)特征中的規(guī)定范圍(一定區(qū)段)的特征矢量的每個(gè)要素的標(biāo)準(zhǔn)偏差，然后，對(duì)存儲(chǔ)規(guī)格化特征的對(duì)應(yīng)排列位置的特征矢量的每個(gè)要素，乘以上述標(biāo)準(zhǔn)偏差，計(jì)算乘法結(jié)果的絕對(duì)值，作為統(tǒng)計(jì)量，從目的規(guī)格化特征中，選擇該統(tǒng)計(jì)量中最上位或從最上位起的多個(gè)(例如2個(gè))統(tǒng)計(jì)量，導(dǎo)出作為特征圖案的、被選擇的要素的多維矢量所構(gòu)成的目的面積選擇特征。
下面，參照附圖來(lái)說(shuō)明本實(shí)施方式的影像信號(hào)搜索系統(tǒng)的動(dòng)作。圖8是表示圖5的影像信號(hào)搜索系統(tǒng)的動(dòng)作例的流程圖。
在以下的說(shuō)明中，示出使用將1幀分割成多個(gè)的各區(qū)域的RGB各色的平均值信息的實(shí)施例。
圖8中，存儲(chǔ)特征計(jì)算部32讀入提供的存儲(chǔ)影像信號(hào)并進(jìn)行輸出(步驟U1)，對(duì)輸入的存儲(chǔ)影像信號(hào)執(zhí)行特征抽取。
此時(shí)，存儲(chǔ)特征計(jì)算部32根據(jù)存儲(chǔ)影像的時(shí)間系列數(shù)據(jù)，如圖9所示，例如將存儲(chǔ)影像的1幀圖像橫向3等分、縱向3等分，共計(jì)分割成9個(gè)區(qū)域，對(duì)各個(gè)分割(區(qū)域)內(nèi)的RGB各色象素，算出平均值。在第i個(gè)幀的情況下，將關(guān)于第1子畫面的RGB的平均值分別設(shè)為(xi，1，xi，2，xi，3)，將關(guān)于第2子畫面的RGB的平均值分別設(shè)為(xi，4，xi，5，xi，6)，將關(guān)于第3子畫面的RGB的平均值分別設(shè)為(xi，7，xi，8，xi，9)，以下一樣，生成將關(guān)于各子畫面的RGB的平均值分別設(shè)為要素的多維矢量。將該多維矢量稱為局部區(qū)域原色特征。
此時(shí)，所述的xi，1等變?yōu)榫植繀^(qū)域原色特征的要素。
抽取如此得到的9個(gè)區(qū)域中的RGB各自的平均象素值構(gòu)成的共計(jì)27維矢量，作為特征矢量，并設(shè)為存儲(chǔ)特征。此時(shí)，對(duì)每個(gè)幀得到特征矢量(步驟U2)。
另外，在存儲(chǔ)特征的抽取方法中，有使用作為數(shù)字動(dòng)態(tài)圖像壓縮技術(shù)的MPEG(Moving Picture Coding Experts Group)編碼方式(由活動(dòng)補(bǔ)償、DCT(Discrete Cosine Transform)與可變長(zhǎng)編碼構(gòu)成)或傅立葉變換的振幅分量的方法。
然后，存儲(chǔ)特征規(guī)格化部34從存儲(chǔ)特征計(jì)算部32讀入存儲(chǔ)特征，對(duì)該存儲(chǔ)特征的特征矢量的每個(gè)要素，計(jì)算求出規(guī)定的一定區(qū)段的平均值與標(biāo)準(zhǔn)偏差。例如，存儲(chǔ)特征規(guī)格化部34對(duì)各區(qū)域中每個(gè)RGB色，根據(jù)某個(gè)時(shí)間區(qū)間的值，求出平均值與標(biāo)準(zhǔn)偏差，使用求出的平均值與標(biāo)準(zhǔn)偏差，進(jìn)行規(guī)格化。
此時(shí)，當(dāng)將存儲(chǔ)特征規(guī)格化部34規(guī)格化后的局部區(qū)域原色特征稱為規(guī)格化局部原色特征時(shí)，其第k個(gè)要素如下式(31)所示。
(公式31)yi,k=1σi,kxi,k-mi,k---(31)]]>其中，式(31)中的x(i+j)，k表示向全部幀附加通用序號(hào)時(shí)的第(i+j)個(gè)幀的局部區(qū)域特征的第k個(gè)要素。j是對(duì)設(shè)定的時(shí)間區(qū)間內(nèi)的幀中的中心幀的相對(duì)序號(hào)，在設(shè)定的時(shí)間區(qū)間內(nèi)包含2M個(gè)幀的情況下，為-M≤j≤M-1，j為整數(shù)。i為設(shè)定的時(shí)間區(qū)間的幀中、中心幀的通用序號(hào)(i≥M)，相當(dāng)于j＝0時(shí)的通用序號(hào)。另外，mi，k是對(duì)-M≤j≤M-1的x(i+j)，k的平均值，由式(32)表示。σi，k為對(duì)-M≤j≤M-1的x(i+j)，k的標(biāo)準(zhǔn)偏差，由下式(33)求出。
(公式32)mi,k=12MΣj=-MM-1x(i+j),k---(32)]]>(公式33)σ2i,k=12MΣj=-MM-1(x(i+j),k-mi,k)2---(33)]]>為了執(zhí)行局部時(shí)間內(nèi)的統(tǒng)計(jì)處理，當(dāng)設(shè)定相當(dāng)于2M幀的時(shí)間窗時(shí)，如圖10所示，得到2M幀大小的特征矢量。特征矢量如圖9所示，將1幀分割成9個(gè)區(qū)域，在各個(gè)區(qū)域中，對(duì)RGB的各象素平均化，所以由27個(gè)要素構(gòu)成。從而，若設(shè)定相當(dāng)于2M幀的時(shí)間窗時(shí)，則得到2M個(gè)特征矢量，若統(tǒng)一由該2M幀構(gòu)成的特征矢量，則可由如下的(2M)行N列矩陣表現(xiàn)。其中，N為對(duì)每個(gè)幀得到的特征矢量的要素?cái)?shù)量。當(dāng)將n設(shè)為表示分割1幀時(shí)的子畫面的數(shù)量的整數(shù)時(shí)，N由N＝3×n來(lái)表示。另外，所述時(shí)間窗的幀數(shù)量由2M等偶數(shù)來(lái)記載，但不限于偶數(shù)，也可以是奇數(shù)。
(公式34)x0.1x0.2x0.3x0.4x0.5x0.6··x0.Nx1.1x1.2x1.3x1.4x1.5x1.6···x1.N························x(2M-1).1x(2M-1).2x(2M-1).3x(2M-1).4x(2M-1).5x(2M-1).6···x(2M-1).N---(34)]]>將下一階段設(shè)定的時(shí)間窗設(shè)定在僅移位1幀的位置上。然后，將利用式(31)-(33)得到的規(guī)格化局部區(qū)域原色特征的要素構(gòu)成的多維矢量的時(shí)間系列的排列(由k表示的順序)設(shè)為存儲(chǔ)規(guī)格化特征(步驟U3)。
接著，存儲(chǔ)特征面積選擇部36從存儲(chǔ)特征計(jì)算部32讀入存儲(chǔ)特征并進(jìn)行輸入，或從存儲(chǔ)特征規(guī)格化部34讀入存儲(chǔ)規(guī)格化特征并進(jìn)行輸入，用上述式(32)和(33)，對(duì)各要素(由局部區(qū)域的RGB原色構(gòu)成的特征矢量)排列的一定區(qū)段，就存儲(chǔ)特征的多維矢量的每個(gè)要素求出標(biāo)準(zhǔn)偏差σi，k。同樣，也可通過(guò)將存儲(chǔ)規(guī)格化特征與標(biāo)準(zhǔn)偏差從存儲(chǔ)特征規(guī)格化部34讀入并輸入存儲(chǔ)特征面積選擇部36中來(lái)實(shí)現(xiàn)。
然后，存儲(chǔ)特征面積選擇部36如下式(35)所示，對(duì)每個(gè)要素yi，k乘以標(biāo)準(zhǔn)偏差σi，k，取其絕對(duì)值。
(公式35)zi，k＝|yi，k·σi，k|＝|xi，k-mi，k| …(35)這里，存儲(chǔ)特征面積選擇部36從得到的作為各要素與標(biāo)準(zhǔn)偏差的乘法結(jié)果的統(tǒng)計(jì)量zi，k中，以規(guī)定區(qū)間單位對(duì)每個(gè)要素選擇從最上位起的多個(gè)要素、例如上位2個(gè)要素。用于選擇統(tǒng)計(jì)量zi，k的規(guī)定區(qū)間(時(shí)間窗或幀數(shù))與算出規(guī)格化局部區(qū)域原色特征的要素yi，k時(shí)的時(shí)間窗獨(dú)立確定，不必一致。這里，設(shè)包含于所述時(shí)間窗中的幀數(shù)為M’。
即，局部時(shí)間內(nèi)的特征矢量也可用式(36)所示的矩陣表現(xiàn)。在該矩陣的各行要素中，按降序選擇對(duì)應(yīng)于上述規(guī)定個(gè)數(shù)的P個(gè)(P為正整數(shù))、例如(P＝2)個(gè)。
(公式36)Z=zi.1zi.2zi.3zi.4zi.5zi.6··zi.Nzi+1.1zi+1.2zi+1.3zi+1.4zi+1.5zi+1.6···zi+1.N························zi+(M-1).1zi+(M-1).2zi+(M-1).3zi+(M-1).4zi+(M-1).5zi+(M-1).6···zi+(M-1).N---(36)]]>這種選擇可通過(guò)將對(duì)應(yīng)于被選擇的(M’×P)個(gè)要素的要素為“0”、其它要素為(-zi，k)的矩陣(選擇屏蔽(mask))相加來(lái)實(shí)現(xiàn)。例如，選擇zi，1，zi，3，zi+1，2，zi+1，N，zi+(M’-1)，2，zi+(M’-1)，3的選擇屏蔽如下所示。
(公式37)
Z0=0-zi.20-zi.4-zi.5-zi.6··zi.N-zi+1.10-zi+1.3-zi+1.4-zi+1.5z-i+1.6···0························-zi+(M-1).100-zi+(M-1).4-zi+(M-1).5-zi+(M-1).6···-zi+(M-1).N---(37)]]>若向式(36)所示的矩陣加上式(37)所示的選擇屏蔽，則如下所示，得到存儲(chǔ)面積選擇特征的矩陣。
(公式38)Zs＝Z+Z0…(38)Zs存儲(chǔ)面積選擇特征然后，存儲(chǔ)特征面積選擇部36對(duì)于上述一定區(qū)間，輸出從存儲(chǔ)規(guī)格化特征中對(duì)每個(gè)要素選擇的要素的矢量構(gòu)成的多維矢量，作為存儲(chǔ)面積選擇特征(步驟U4)。
此時(shí)，存儲(chǔ)特征面積選擇部36執(zhí)行將由計(jì)算得出的存儲(chǔ)面積選擇特征直接發(fā)送給特征對(duì)照部37、或暫時(shí)登錄到存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)38之一的處理。
在特征對(duì)照部37實(shí)時(shí)比較存儲(chǔ)面積選擇特征與目的面積選擇特征的情況下，存儲(chǔ)特征面積選擇部36向特征對(duì)照部37輸出輸入的存儲(chǔ)影像信號(hào)的存儲(chǔ)面積選擇特征。另外，在向存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)38登錄存儲(chǔ)影像信號(hào)的數(shù)據(jù)的情況下，存儲(chǔ)特征面積選擇部36不向特征對(duì)照部37發(fā)送存儲(chǔ)面積選擇特征，而與例如影像廣告提供者名或節(jié)目名和電影的題目對(duì)應(yīng)地向存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)38登錄存儲(chǔ)面積選擇特征。
目的特征計(jì)算部31讀入提供的目的影像信號(hào)并進(jìn)行輸入(步驟U5)，對(duì)輸入的目的影像信號(hào)執(zhí)行特征抽取。
此時(shí)，目的特征計(jì)算部31與存儲(chǔ)特征計(jì)算部32一樣，根據(jù)目的影像的時(shí)間系列數(shù)據(jù)，例如將目的影像的1幀圖像橫向3等分、縱向3等分，共計(jì)分割成9個(gè)區(qū)域，對(duì)各個(gè)分割(區(qū)域)內(nèi)的RGB各色象素，算出平均值。抽取如此得到的9個(gè)區(qū)域中的RGB各自的平均象素值構(gòu)成的共計(jì)27維矢量，作為特征矢量，并設(shè)為目的特征(步驟U6)。
另外，在存儲(chǔ)特征的抽取方法中，有使用作為數(shù)字動(dòng)態(tài)圖像壓縮技術(shù)的MPEG編碼方式(由活動(dòng)補(bǔ)償、DCT與可變長(zhǎng)編碼構(gòu)成)或傅立葉變換的振幅分量的方法。
然后，目的特征規(guī)格化部33從目的特征計(jì)算部31讀入目的特征，對(duì)該目的特征的特征矢量的每個(gè)要素，計(jì)算求出規(guī)定的一定區(qū)段的平均值與標(biāo)準(zhǔn)偏差。
即，目的特征規(guī)格化部33與存儲(chǔ)特征規(guī)格化部34一樣，將利用式(31)-(33)得到的多維矢量的時(shí)間系列的排列(由k表示的順序)設(shè)為目的規(guī)格化特征(步驟U7)。
接著，目的特征面積選擇部35從目的特征計(jì)算部31讀入目的特征并進(jìn)行輸入，或從目的特征規(guī)格化部33讀入目的規(guī)格化特征并進(jìn)行輸入，與存儲(chǔ)特征面積選擇部36一樣，對(duì)每個(gè)要素乘以根據(jù)目的特征的一定區(qū)段求出的標(biāo)準(zhǔn)偏差σi，k，將乘法結(jié)果設(shè)為統(tǒng)計(jì)量。同樣，也可通過(guò)將目的規(guī)格化特征與標(biāo)準(zhǔn)偏差從目的特征規(guī)格化部33讀入并輸入目的特征面積選擇部35中來(lái)實(shí)現(xiàn)。
然后，目的特征面積選擇部35對(duì)每個(gè)要素的排列，根據(jù)上述統(tǒng)計(jì)量，按數(shù)值從大到小的順序，選擇上位2個(gè)要素，輸出從目的規(guī)格化特征中對(duì)每個(gè)要素選擇的要素的矢量構(gòu)成的多維矢量，作為目的面積選擇特征(步驟U8)。
然后，特征對(duì)照部37分別讀入由目的特征面積選擇部35和存儲(chǔ)特征面積選擇部36得到的目的面積選擇特征和存儲(chǔ)面積選擇特征。
另外，特征對(duì)照部37在同時(shí)輸入目的影像信號(hào)和存儲(chǔ)影像信號(hào)、實(shí)時(shí)判定類似的情況以外，從存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)38中依次讀出進(jìn)行比較的存儲(chǔ)面積選擇特征，與目的面積選擇特征進(jìn)行比較。
此時(shí)，特征對(duì)照部37對(duì)于存儲(chǔ)面積選擇特征，將長(zhǎng)度與由目的特征面積選擇部35提供的目的面積選擇特征相同的特征矢量的排列設(shè)定為對(duì)照區(qū)間。
即，特征對(duì)照部37將由多個(gè)上述一定區(qū)段構(gòu)成的目的面積選擇特征設(shè)為對(duì)照區(qū)間，對(duì)于存儲(chǔ)面積選擇特征，使與目的面積選擇特征相同的一定區(qū)段數(shù)構(gòu)成的排列長(zhǎng)度對(duì)應(yīng)，作為相對(duì)目的面積選擇特征的對(duì)照區(qū)間，依次利用類似度來(lái)比較兩個(gè)對(duì)照區(qū)間。
然后，特征對(duì)照部37用下式(39)來(lái)計(jì)算目的面積選擇特征與存儲(chǔ)面積選擇特征中與對(duì)照區(qū)間的比較部位的類似度判斷數(shù)。特征對(duì)照部37中使用的對(duì)照區(qū)間(時(shí)間窗或幀數(shù))與存儲(chǔ)面積選擇部36或目的面積選擇部35中使用的時(shí)間區(qū)間(時(shí)間窗)和存儲(chǔ)或目的特征規(guī)格化部33中使用的時(shí)間區(qū)間(時(shí)間窗)獨(dú)立確定，即未必使用一致的時(shí)間區(qū)間。
特征對(duì)照部37計(jì)算目的面積選擇特征和存儲(chǔ)面積選擇特征的對(duì)照區(qū)間中的各個(gè)規(guī)格化局部區(qū)域原色特征yq-i，k與ys-i，k的一致部位的歐幾里德距離、以及向非一致部位的數(shù)量乘以規(guī)定常數(shù)a的值的和，輸出該和，作為類似度判斷數(shù)S(步驟U9)。
另外，就生成存儲(chǔ)面積選擇特征與目的面積選擇特征時(shí)的各個(gè)選擇屏蔽而言，將具有相同i，k的要素(相同位置的要素)為“0”的要素稱為“一致”，將此外的要素稱為“不一致”。
(公式39)S=Σk=q∩s(yq_i,k-ys_i+r.k)2+a(max(|q|,|s|)-|q∩s|)---(39)]]>x∩yx與y一致的要素其中，q、s分別表示目的特征的面積選擇部位、存儲(chǔ)特征的面積選擇部位，r是整數(shù)，是表示目的特征與存儲(chǔ)特征中的幀序號(hào)也可不相等的變量。a被認(rèn)為是例如yi，k的歐幾里德距離的差分值取得值的最大值，即yi，k的量化等級(jí)數(shù)的平方。x是面積選擇部位x的要素?cái)?shù)量，max(x，y)由下式定義。
(公式40) 這里，例如特征對(duì)照部37在設(shè)目的面積選擇特征為15秒長(zhǎng)度時(shí)，以0.1秒為間隔抽取共計(jì)150部位的作為排列要素的特征矢量。對(duì)各采樣，分割幀圖像，求出RGB各自的平均象素值，所以根據(jù)由這些矢量構(gòu)成的(150×27)的4050維，使用各區(qū)域中的各RGB色強(qiáng)度的上位2個(gè)(目的特征面積選擇部35抽取)，將54個(gè)要素構(gòu)成的多維矢量設(shè)為用于對(duì)照的目的矢量。
另外，與上述目的矢量一樣，特征對(duì)照部37從存儲(chǔ)面積選擇特征的數(shù)據(jù)開頭起，以15秒長(zhǎng)度為單位，依次設(shè)定為對(duì)照區(qū)間，從特征矢量的排列中，以0.1秒為間隔抽取共計(jì)150部位的特征矢量，對(duì)各采樣，分割幀圖像，求出RGB各自的平均象素值，所以根據(jù)由這些矢量構(gòu)成的(150×27)的4050維，使用各區(qū)域中的各RGB色強(qiáng)度的上位2個(gè)(存儲(chǔ)特征面積選擇部36抽取)，將54個(gè)要素構(gòu)成的多維矢量設(shè)為用于對(duì)照的存儲(chǔ)矢量。
接著，特征對(duì)照部37執(zhí)行目的面積選擇特征與存儲(chǔ)面積選擇特征的對(duì)照。
即，使用式(39)，計(jì)算上述目的矢量與存儲(chǔ)矢量的類似度判斷數(shù)S，與事先設(shè)定的搜索閾值進(jìn)行比較處理(步驟U10)。對(duì)照的結(jié)果是在由式(39)求出的類似度判斷數(shù)S比事先設(shè)定的搜索閾值大(類似度小)的情況下，移位時(shí)間窗，進(jìn)行反饋(步驟U11)。
在步驟U11中，邊從存儲(chǔ)面積選擇特征的開頭依次偏移對(duì)照區(qū)間(例如邊使其各移位1幀)，邊計(jì)算上述目的矢量與存儲(chǔ)矢量的類似度判斷數(shù)S，與事先設(shè)定的搜索閾值進(jìn)行比較處理，對(duì)照處理目的面積選擇特征與存儲(chǔ)面積選擇特征直到存儲(chǔ)面積選擇特征的最后，然后，若檢索到每個(gè)對(duì)照區(qū)間的類似度判斷數(shù)S比事先設(shè)定的搜索閾值低的存儲(chǔ)面積選擇特征的對(duì)照區(qū)間的區(qū)域，則輸出該對(duì)照區(qū)間，作為搜索結(jié)果(步驟U12)。
另外，對(duì)照時(shí)的目的影像信號(hào)的幀數(shù)與存儲(chǔ)影像信號(hào)的幀數(shù)未必相等。
如上所述，在本發(fā)明的實(shí)施方式中，從存儲(chǔ)影像信號(hào)和目的影像信號(hào)中，僅選擇統(tǒng)計(jì)上有特征的要素來(lái)進(jìn)行對(duì)照。
另外，特征對(duì)照部37也可輸出比較的結(jié)果中、類似度判斷數(shù)明顯低的存儲(chǔ)面積選擇特征的對(duì)照區(qū)間的區(qū)域，作為搜索結(jié)果。
另外，特征對(duì)照部37也可在多個(gè)對(duì)照區(qū)間的類似度低于搜索閾值的情況下，輸出類似度的上位(從低的數(shù)值起)第N個(gè)以前的對(duì)照區(qū)間。
并且，特征對(duì)照部37也可在沒(méi)有低于搜索閾值的對(duì)照區(qū)間的情況等下，通知表示沒(méi)有對(duì)應(yīng)部位的信息，從存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)38中讀出新的存儲(chǔ)影像信號(hào)的存儲(chǔ)面積選擇特征，繼續(xù)步驟U9以后的搜索處理，直到搜索具有上述搜索閾值以下的對(duì)照區(qū)間的存儲(chǔ)面積選擇特征。
另外，也可將圖5中的目的特征計(jì)算部31、目的特征規(guī)格化部33和目的特征面積選擇部35安裝在各用戶終端(例如電腦)中，將具有存儲(chǔ)特征計(jì)算部32、存儲(chǔ)特征規(guī)格化部34、存儲(chǔ)特征面積選擇部36、特征對(duì)照部37和存儲(chǔ)面積選擇特征數(shù)據(jù)庫(kù)38的影像信號(hào)搜索服務(wù)器設(shè)置在執(zhí)行影像配送的服務(wù)提供者中。
由此，構(gòu)成為將用戶利用帶攝影機(jī)的便攜電話等接收到的影像信號(hào)作為目的影像信號(hào)，生成至目的面積選擇特征，經(jīng)因特網(wǎng)等向上述影像信號(hào)搜索服務(wù)器發(fā)送該目的面積選擇特征，請(qǐng)求搜索類似于該目的面積選擇特征的存儲(chǔ)影像信號(hào)。此時(shí)，使計(jì)算存儲(chǔ)面積選擇特征和目的面積選擇特征時(shí)的一定區(qū)段的特征矢量的排列長(zhǎng)度等規(guī)定在影像信號(hào)搜索服務(wù)器與終端中事先一致。
下面，示出應(yīng)用上述影像信號(hào)搜索系統(tǒng)的實(shí)施方式。本發(fā)明的影像信號(hào)搜索系統(tǒng)可用于使用在實(shí)際環(huán)境中收錄的有反射或間歇的片斷影像信號(hào)，搜索一致的影像并進(jìn)行信息檢索。例如，用戶利用帶攝影機(jī)的便攜電話拍攝在街頭的大型屏幕中播出的CM，發(fā)送給影像信號(hào)搜索服務(wù)等。影像信號(hào)搜索服務(wù)提供者從數(shù)據(jù)庫(kù)中檢索與該影像信號(hào)一致或類似的影像，收費(fèi)或免費(fèi)地將內(nèi)容或關(guān)于該影像的信息(例如商品信息、制品特征、服務(wù)、拍攝地、出演者、主頁(yè)等)提供給用戶。
這里，就檢索的影像的輸入方法而言，期望使帶攝影機(jī)的終端的取景器或屏幕與想拍攝的影像(目的影像信號(hào))的幀一致后進(jìn)行拍攝，或利用菜單操作或筆輸入等手動(dòng)跟蹤(manual trace)來(lái)范圍指定拍攝的影像中的動(dòng)態(tài)圖像幀。
另外，由于可利用本發(fā)明來(lái)容易地搜索以前難以正確搜索的、由家庭用視頻反復(fù)配音復(fù)制的影像、或位速率低的影像，所以還可廣泛應(yīng)用于因特網(wǎng)上的動(dòng)態(tài)圖像的著作權(quán)管理系統(tǒng)、或CM信息檢索服務(wù)等。
另外，還可用于使用用戶利用攝影機(jī)拍攝的動(dòng)態(tài)圖像影像，從配送的電影或電視程序中切取接近該圖像的剪輯后進(jìn)行編輯。
<第4實(shí)施方式>
下面，參照附圖來(lái)說(shuō)明本發(fā)明的第4實(shí)施方式。圖11是本發(fā)明的一實(shí)施方式，是表示將影像信號(hào)設(shè)為對(duì)象的對(duì)反射或間歇穩(wěn)固的影像信號(hào)搜索系統(tǒng)的構(gòu)成框圖。
圖11所示的影像信號(hào)搜索系統(tǒng)實(shí)現(xiàn)將影像信號(hào)設(shè)為對(duì)象的對(duì)反射或間歇穩(wěn)固的信號(hào)檢測(cè)，包括目的特征計(jì)算部41、存儲(chǔ)特征計(jì)算部42、目的特征規(guī)格化部43、存儲(chǔ)特征規(guī)格化部44、目的特征量化部45、存儲(chǔ)特征量化部46、特征對(duì)照部47、以及存儲(chǔ)量化特征數(shù)據(jù)庫(kù)48，輸入存儲(chǔ)影像信號(hào)即檢索的影像信號(hào)、以及目的影像信號(hào)即想檢索的影像信號(hào)，輸出與目的時(shí)間系列信號(hào)類似的存儲(chǔ)時(shí)間系列信號(hào)中的部位。
目的特征計(jì)算部41將目的影像信號(hào)設(shè)為輸入，多維矢量化從按規(guī)定間隔以時(shí)間系列采樣該目的影像信號(hào)得到的、作為離散數(shù)據(jù)的存儲(chǔ)時(shí)間系列信號(hào)中抽取的特征量，得到特征矢量，算出由該特征矢量構(gòu)成的目的特征。
存儲(chǔ)特征計(jì)算部42與目的特征計(jì)算部41一樣，從按規(guī)定間隔以時(shí)間系列采樣存儲(chǔ)影像信號(hào)得到的、作為離散值的存儲(chǔ)時(shí)間系列信號(hào)中，例如以采樣單位從存儲(chǔ)影像信號(hào)中抽取每個(gè)頻率的功率譜值等，設(shè)為特征量，多維矢量化該抽取出的特征量，得到特征矢量，算出由該特征矢量構(gòu)成的存儲(chǔ)特征。
目的特征規(guī)格化部43根據(jù)上述目的特征，使用從包含鄰接該目的特征的目的特征的周邊多個(gè)目的特征導(dǎo)出的統(tǒng)計(jì)量(也稱為目的統(tǒng)計(jì)量)，對(duì)特征矢量的每個(gè)要素獨(dú)立規(guī)格化，導(dǎo)出具有由規(guī)格化后的值構(gòu)成的特征矢量的目的規(guī)格化特征。
存儲(chǔ)特征規(guī)格化部44根據(jù)上述存儲(chǔ)特征，使用從包含鄰接該存儲(chǔ)特征的存儲(chǔ)特征的周邊多個(gè)存儲(chǔ)特征導(dǎo)出的統(tǒng)計(jì)量(也稱為存儲(chǔ)統(tǒng)計(jì)量)，對(duì)特征矢量的每個(gè)要素獨(dú)立規(guī)格化，導(dǎo)出具有由規(guī)格化后的值構(gòu)成的特征矢量的存儲(chǔ)規(guī)格化特征。
這里，所謂在“‘鄰接’于存儲(chǔ)特征的存儲(chǔ)特征”的表現(xiàn)中使用的“鄰接”對(duì)應(yīng)于例如對(duì)于就時(shí)刻采樣影像信號(hào)時(shí)得到的離散時(shí)刻的幀、表現(xiàn)其前后的離散時(shí)刻的幀時(shí)的“前后離散時(shí)刻的”。
另外，所謂“周邊的多個(gè)的”在使用所述實(shí)例時(shí)，對(duì)應(yīng)于“某個(gè)離散時(shí)刻間的”。
目的特征量化部45對(duì)上述目的規(guī)格化特征的各要素，利用相同或單獨(dú)的閾值來(lái)執(zhí)行標(biāo)量量化，導(dǎo)出目的量化特征，作為將該量化后的值設(shè)為矢量的要素的多維矢量。
存儲(chǔ)特征量化部46對(duì)上述存儲(chǔ)規(guī)格化特征的各要素，利用相同或單獨(dú)的閾值來(lái)執(zhí)行標(biāo)量量化，導(dǎo)出作為將該量化后的值設(shè)為矢量的要素的多維矢量的存儲(chǔ)量化特征，。
另外，影像信號(hào)中的對(duì)存儲(chǔ)特征簡(jiǎn)并的矢量和對(duì)目的特征簡(jiǎn)并的矢量通過(guò)與上述一樣的計(jì)算得到。
在二進(jìn)制化目的和存儲(chǔ)規(guī)格化特征的情況下，進(jìn)行量化的上述規(guī)定閾值使用最小化各代碼的代表數(shù)值與原要素?cái)?shù)值的均方差的值。作為代表數(shù)值，例如兩個(gè)代碼中一個(gè)使用比閾值大1的值，另一個(gè)使用比閾值小1的值。
特征對(duì)照部47對(duì)上述存儲(chǔ)量化特征設(shè)定規(guī)定范圍，作為對(duì)照區(qū)間，對(duì)目的量化特征設(shè)定長(zhǎng)度與該對(duì)照區(qū)間相同的被對(duì)照區(qū)間，對(duì)上述對(duì)照區(qū)間與被對(duì)照區(qū)間的類似度進(jìn)行運(yùn)算，與事先設(shè)定的搜索閾值進(jìn)行比較，判定是否類似。
另外，特征對(duì)照部47當(dāng)上述對(duì)照區(qū)間的對(duì)照處理結(jié)束時(shí)，由于設(shè)定新的對(duì)照區(qū)間，所以執(zhí)行將對(duì)照區(qū)間移向排列鄰接的相同時(shí)間寬度范圍的處理。
存儲(chǔ)量化特征數(shù)據(jù)庫(kù)48利用存儲(chǔ)特征計(jì)算部42、存儲(chǔ)特征規(guī)格化部44和存儲(chǔ)特征量化部46，事先計(jì)算并存儲(chǔ)存儲(chǔ)量化特征。若使用將多個(gè)CM(Commercial Message)影像設(shè)為存儲(chǔ)影像信號(hào)的實(shí)例，則存儲(chǔ)量化特征數(shù)據(jù)庫(kù)48對(duì)應(yīng)于各CM提供者名，存儲(chǔ)事先計(jì)算的存儲(chǔ)量化特征。
另外，在本例中，在存儲(chǔ)量化特征數(shù)據(jù)庫(kù)48中，計(jì)算存儲(chǔ)事先計(jì)算的存儲(chǔ)量化特征，但也可設(shè)置存儲(chǔ)存儲(chǔ)影像信號(hào)(新的影像信號(hào))的數(shù)據(jù)庫(kù)。
下面，參照附圖來(lái)說(shuō)明本實(shí)施方式的影像信號(hào)搜索系統(tǒng)的動(dòng)作。
圖12是表示圖11的影像信號(hào)搜索系統(tǒng)的動(dòng)作例的流程圖。
另外，以下的說(shuō)明中，示出使用將1幀分割成多個(gè)的各區(qū)域的R(紅)、G(綠)、B(藍(lán))各色的平均值信息的實(shí)施例。
圖12中，存儲(chǔ)特征計(jì)算部42讀入提供的存儲(chǔ)影像信號(hào)并進(jìn)行輸出(步驟V1)，對(duì)輸入的存儲(chǔ)影像信號(hào)執(zhí)行特征抽取。
此時(shí)，存儲(chǔ)特征計(jì)算部42根據(jù)存儲(chǔ)影像的時(shí)間系列數(shù)據(jù)，將存儲(chǔ)影像的1幀圖像分割成n個(gè)區(qū)域(例如橫向3等分、縱向3等分，共計(jì)9個(gè)區(qū)域)，對(duì)各個(gè)分割區(qū)域內(nèi)的RGB各色象素，算出平均值。
即，如圖13所示，當(dāng)設(shè)定相當(dāng)于從幀(-M)至幀(M-1)的2M幀的時(shí)間窗時(shí)，就位于其間的幀0(0表示時(shí)間窗內(nèi)的幀中的相對(duì)序號(hào)，表示第0個(gè)幀)而言，如圖14所示，將1個(gè)幀分割成n個(gè)子畫面。平均幀0的第1子畫面的RGB各色的象素，取得平均值(xi，1，xi，2，xi，3)，平均第2子畫面的RGB各色的象素，取得平均值(xi，4，xi，5，xi，6)，平均第3子畫面的RGB各色的象素，取得平均值(xi，7，xi，8，xi，9)，以下一樣，平均第n子畫面的RGB各色的象素，取得平均值(xi，(3n-2)，xi，(3n-1)，xi，3n)。其中，第1個(gè)下標(biāo)表示賦予全部幀的通用序號(hào)，第2個(gè)下標(biāo)表示該幀內(nèi)的要素的序號(hào)。另外，第1個(gè)下標(biāo)由賦予全部幀的通用序號(hào)i、與表示相對(duì)于第i個(gè)幀的相對(duì)位置的j的和(i+j)來(lái)表示。
由此，例如當(dāng)設(shè)n＝9時(shí)，各幀得到(3×9＝27)維的值，抽取如此得到的27維的多維矢量，作為特征矢量，設(shè)為存儲(chǔ)特征(步驟V2)。將所述多維矢量稱為局部區(qū)域原色特征。此時(shí)，所述Xi，1等為局部區(qū)域原色特征的要素。
另外，在存儲(chǔ)特征的抽取方法中，有使用作為數(shù)字動(dòng)態(tài)圖像壓縮技術(shù)的MPEG(Moving Picture Coding Experts Group)編碼方式(由活動(dòng)補(bǔ)償、DCT(Discrete Cosine Transform)與可變長(zhǎng)編碼構(gòu)成)或傅立葉變換的振幅分量的方法。
然后，存儲(chǔ)特征規(guī)格化部44從存儲(chǔ)特征計(jì)算部42讀入存儲(chǔ)特征，對(duì)該存儲(chǔ)特征的特征矢量的每個(gè)要素，計(jì)算求出規(guī)定的一定區(qū)段的平均值與標(biāo)準(zhǔn)偏差。
例如，存儲(chǔ)特征規(guī)格化部44對(duì)各區(qū)域中每個(gè)RGB色，根據(jù)某個(gè)時(shí)間區(qū)間的值，求出平均值與標(biāo)準(zhǔn)偏差，使用求出的平均值與標(biāo)準(zhǔn)偏差，進(jìn)行規(guī)格化。
此時(shí)，當(dāng)將存儲(chǔ)特征規(guī)格化部44規(guī)格化后的局部區(qū)域原色特征稱為規(guī)格化局部原色特征時(shí)，其第k個(gè)要素yi，k如下式(41)所示。
(公式41)
yi,k=1σi,k(xi,k-mi,k)---(41)]]>(公式42)mi,k=12MΣj=-MM-1x(i+j),k---(42)]]>(公式43)σ2i,k=12MΣj=-MM-1(x(i+j),k-mi,k)2---(43)]]>其中，式(42)中的x(i+j)，k表示向全部幀附加通用序號(hào)時(shí)的第(i+j)個(gè)幀的局部區(qū)域特征的第k個(gè)要素。j是對(duì)設(shè)定的時(shí)間區(qū)間內(nèi)的幀中的中心幀的相對(duì)序號(hào)，在設(shè)定的時(shí)間區(qū)間內(nèi)包含2M個(gè)幀的情況下，為-M≤j≤M-1，j為整數(shù)。i為設(shè)定的時(shí)間區(qū)間的幀中、中心幀的通用序號(hào)(i≥M)，相當(dāng)于j＝0時(shí)的通用序號(hào)。另外，mi，k是對(duì)-M≤j≤M-1的x(i+j)，k的平均值。式(43)中的σi，k為對(duì)-M≤j≤M-1的x(i+j)，k的標(biāo)準(zhǔn)偏差。
以某個(gè)幀為中心幀，使用該中心幀的前后幀的局部區(qū)域原色特征，執(zhí)行統(tǒng)計(jì)處理(規(guī)格化)，對(duì)該中心幀，得到規(guī)格化局部區(qū)域原色特征。通過(guò)邊錯(cuò)開1幀邊設(shè)定中心幀，可對(duì)全部幀得到規(guī)格化局部區(qū)域原色特征。該步驟是將局部區(qū)域原色特征映射到規(guī)格化局部區(qū)域特征的步驟。將存儲(chǔ)特征的所述影像稱為規(guī)格化存儲(chǔ)特征Y(步驟V3)。
(公式44)Y＝(yi，1，yi，2，yi，3，…，yi，N) …(44)其中，N是對(duì)每個(gè)幀得到的特征矢量的要素?cái)?shù)量。當(dāng)將1幀分割成n個(gè)時(shí)，N由3×n來(lái)表示。
然后，存儲(chǔ)特征量化部46從存儲(chǔ)特征規(guī)格化部44讀入存儲(chǔ)特征并進(jìn)行輸入，利用1以上的閾值，對(duì)存儲(chǔ)規(guī)格化特征的多維矢量的每個(gè)要素進(jìn)行量化。
例如，將閾值設(shè)為t1、t2、…、tR，量化上述式(44)所示的矢量Y時(shí)，如下所述，在使用R個(gè)閾值的情況下，(R+1)維編碼yi，k。
(公式45)zi,k=0yi,k≤t11ti<yi,k≤t2······R-1tR-1<yi,k≤tRRtR<yi,k---(45)]]>下面，為了簡(jiǎn)化，說(shuō)明由閾值t來(lái)2維編碼(二進(jìn)制)的情況?；陂撝祎的2維編碼如下。
(公式46)zi,k=0yi,k≤t1yi,k>t---(46)]]>當(dāng)將利用閾值t來(lái)2維編碼式(44)所示的矩陣后的量設(shè)為量化特征Z時(shí)，量化特征Z如下所示。
(公式47)Z＝(zi，1，zi，2，zi，3，…，zi，N) …(47)存儲(chǔ)特征量化部46輸出將該多維矢量Z、或多維矢量的時(shí)間系列(即多個(gè)幀大小的Z)設(shè)為1個(gè)新的多維矢量的量，作為存儲(chǔ)量化特征(步驟V4)。
此時(shí)，存儲(chǔ)特征量化部46進(jìn)行將通過(guò)運(yùn)算得到的存儲(chǔ)量化特征直接發(fā)送到特征對(duì)照部47、或暫時(shí)登錄到存儲(chǔ)量化數(shù)據(jù)庫(kù)48之一的處理。
在特征對(duì)照部47實(shí)時(shí)比較存儲(chǔ)量化特征與目的量化特征的情況下，存儲(chǔ)特征量化部46向特征對(duì)照部47輸出輸入的存儲(chǔ)影像信號(hào)的存儲(chǔ)量化特征。另外，在向存儲(chǔ)量化特征數(shù)據(jù)庫(kù)48登錄存儲(chǔ)影像信號(hào)的數(shù)據(jù)的情況下，存儲(chǔ)特征量化部46不向特征對(duì)照部47發(fā)送存儲(chǔ)量化特征，而與例如影像廣告提供者名或節(jié)目名和電影的題目對(duì)應(yīng)地向存儲(chǔ)量化特征數(shù)據(jù)庫(kù)48登錄存儲(chǔ)量化特征。
目的特征計(jì)算部41讀入提供的目的影像信號(hào)并進(jìn)行輸入(步驟V5)，對(duì)輸入的目的影像信號(hào)執(zhí)行特征抽取。
此時(shí)，目的特征計(jì)算部41與存儲(chǔ)特征計(jì)算部42一樣，根據(jù)目的影像的時(shí)間系列數(shù)據(jù)，例如將目的影像的1幀圖像分割成n個(gè)區(qū)域(例如橫向3等分、縱向3等分，共計(jì)9個(gè)區(qū)域)，對(duì)各個(gè)分割區(qū)域內(nèi)的RGB各色象素，算出平均值。抽取如此得到的各區(qū)域中的RGB各自的平均象素值構(gòu)成的例如27維矢量(n＝9的情況)，作為特征矢量，設(shè)為目的特征(步驟V6)。
另外，在目的特征的抽取方法中，有使用作為數(shù)字動(dòng)態(tài)圖像壓縮技術(shù)的MPEG編碼方式(由活動(dòng)補(bǔ)償、DCT與可變長(zhǎng)編碼構(gòu)成)或傅立葉變換的振幅分量的方法。
然后，目的特征規(guī)格化部43從目的特征計(jì)算部41讀入目的特征，對(duì)該目的特征的特征矢量的每個(gè)要素，運(yùn)算求出規(guī)定的一定區(qū)段的平均值與標(biāo)準(zhǔn)偏差。
即，目的特征規(guī)格化部43與存儲(chǔ)特征規(guī)格化部44一樣，將利用式(41)-(43)得到的多維矢量的時(shí)間系列的排列(由k表示的順序)設(shè)為目的規(guī)格化特征(步驟V7)。
然后，目的特征量化部45從目的特征規(guī)格化部43讀入目的規(guī)格化特征并進(jìn)行輸入，生成式(44)所示的矩陣，以對(duì)該矩陣的每個(gè)要素事先提供的閾值為界，與存儲(chǔ)特征量化部46一樣，使用式(46)，例如量化成二進(jìn)制，如式(47)所示，得到量化特征。然后，輸出該量化特征，作為目的量化特征(步驟V8)。
然后，特征對(duì)照部47分別讀入由目的特征量化部45和存儲(chǔ)特征量化部46得到的目的量化特征和存儲(chǔ)量化特征。
另外，特征對(duì)照部47在同時(shí)輸入目的影像信號(hào)和存儲(chǔ)影像信號(hào)、實(shí)時(shí)判定類似的情況以外，從存儲(chǔ)量化特征數(shù)據(jù)庫(kù)48中依次讀出進(jìn)行比較的存儲(chǔ)量化特征，與目的量化特征進(jìn)行比較。
此時(shí)，特征對(duì)照部47對(duì)于存儲(chǔ)量化特征，將長(zhǎng)度與由目的特征量化部45提供的目的量化特征相同的特征矢量的排列設(shè)定為對(duì)照區(qū)間。
然后，特征對(duì)照部47運(yùn)算目的量化特征與存儲(chǔ)量化特征在上述對(duì)照區(qū)間中的類似度。運(yùn)算雙方特征矢量間的加重平均距離，作為類似度(步驟V9)。
特征對(duì)照部47從目的量化特征的特征矢量排列中，抽取多個(gè)部位的要素，設(shè)為作為排列的要素的特征矢量。
例如在設(shè)目的量化特征為15秒長(zhǎng)度時(shí)，以0.1秒為間隔抽取共計(jì)150部位的作為排列要素的特征矢量。對(duì)各采樣，分割幀圖像，求出RGB各自的平均象素值，所以將由這些矢量構(gòu)成的(150×27)4050維的矢量設(shè)為特征對(duì)照部47用于對(duì)照的目的矢量。
另外，與上述目的矢量一樣，特征對(duì)照部47從存儲(chǔ)量化特征的數(shù)據(jù)開頭起，以15秒長(zhǎng)度為單位，依次設(shè)定為對(duì)照區(qū)間，從特征矢量的排列中，以0.1秒間隔抽取共計(jì)150部位的特征矢量，對(duì)各采樣，分割幀圖像，求出RGB各自的平均象素值，所以將由這些矢量構(gòu)成的(150×27)4050維的矢量設(shè)為用于對(duì)照的存儲(chǔ)矢量。
此時(shí)，若特征對(duì)照部47從目的量化特征的特征矢量的排列中，抽取多個(gè)部位的要素并設(shè)為目的矢量，則目的特征量化部45事先從目的規(guī)格化特征中抽取作為排列要素的特征矢量，即每0.1秒間隔抽取共計(jì)150部位，進(jìn)行標(biāo)量量化，作為目的矢量，輸出到特征對(duì)照部47。
特征對(duì)照部47邊從存儲(chǔ)量化特征的開頭依次依次偏移對(duì)照區(qū)間，邊運(yùn)算與目的量化特征即上述目的矢量與存儲(chǔ)矢量的加重平均距離，由此進(jìn)行比較處理(步驟V10)。
然后，特征對(duì)照部47對(duì)照存儲(chǔ)量化特征直到最后，然后，參照每個(gè)對(duì)照區(qū)間的加重平均距離，輸出加重平均距離最小的對(duì)照區(qū)間的區(qū)域，作為搜索結(jié)果(步驟V11)。
另外，特征對(duì)照部47也可在事先提供加重平均距離的搜索閾值的情況下，判定該搜索閾值與選擇的對(duì)照區(qū)間的加重平均距離，作為搜索結(jié)果(步驟V10)，僅輸出低于該搜索閾值的區(qū)域(步驟V11)。
但是，如(R+1)維編碼的情況那樣，在非二維的情況下，也可代替加重平均距離，應(yīng)用如下定義的李(リ-)距離。其中，在下式(48)中，‖zq_i，k-zs_r，k‖是指(zq_i，k-zs_r，k)mod(R+1)與(zq_i，k-zs_r，k)mod(R+1)中小的一方。r是幀序號(hào)，是為了表示q與s未必一致而導(dǎo)入的記號(hào)。
(公式48)dL=Σ(i,r)Σk=1N||zq_i,k-zs_r,k||---(48)]]>如上所述，在本發(fā)明的實(shí)施方式中，從存儲(chǔ)影像信號(hào)和目的影像信號(hào)中，抽取作為由多維矢量構(gòu)成的存儲(chǔ)特征和目的特征，量化該多維矢量，算出量化特征，并使用加重平均距離等來(lái)對(duì)照該存儲(chǔ)量化特征與目的量化特征。
另外，特征對(duì)照部47在多個(gè)對(duì)照區(qū)間的加重平均距離低于搜索閾值的情況下，也可輸出加重平均距離的上位(從低數(shù)值的開始)第P個(gè)(P為規(guī)定的正整數(shù))前的對(duì)照區(qū)間。
并且，特征對(duì)照部47也可在沒(méi)有低于搜索閾值的對(duì)照區(qū)間的情況等下，通知表示沒(méi)有對(duì)應(yīng)部位的信息，從存儲(chǔ)量化特征數(shù)據(jù)庫(kù)48中讀出新的存儲(chǔ)影像信號(hào)的存儲(chǔ)量化特征，繼續(xù)步驟V9以后的搜索處理，直到搜索具有上述搜索閾值以下的對(duì)照區(qū)間的存儲(chǔ)量化特征。
另外，也可將圖11中的目的特征計(jì)算部41、目的特征規(guī)格化部43和目的特征量化部45安裝在各用戶終端(例如電腦)中，將具有存儲(chǔ)特征計(jì)算部42、存儲(chǔ)特征規(guī)格化部44、存儲(chǔ)特征量化部46、特征對(duì)照部47和存儲(chǔ)量化特征數(shù)據(jù)庫(kù)48的影像信號(hào)搜索服務(wù)器設(shè)置在執(zhí)行影像配送的服務(wù)提供器中。
由此，構(gòu)成為將用戶利用帶攝影機(jī)的便攜電話等接收到的影像信號(hào)作為目的影像信號(hào)，生成至目的量化特征，經(jīng)因特網(wǎng)等向上述影像信號(hào)搜索服務(wù)器發(fā)送該目的量化特征，請(qǐng)求搜索類似于該目的量化特征的存儲(chǔ)影像信號(hào)。此時(shí)，使計(jì)算存儲(chǔ)量化特征和目的量化特征時(shí)的一定區(qū)段的特征矢量的排列長(zhǎng)度等規(guī)定在影像信號(hào)搜索服務(wù)器與終端中事先一致。
下面，示出應(yīng)用上述影像信號(hào)搜索系統(tǒng)的實(shí)施方式。本發(fā)明的影像信號(hào)搜索系統(tǒng)可用于使用在實(shí)際環(huán)境中收錄的有反射或間歇的片斷影像信號(hào)，搜索一致的影像并進(jìn)行信息檢索。例如，用戶利用帶攝影機(jī)的便攜電話拍攝在街頭的大型屏幕中播出的CM，發(fā)送給影像信號(hào)搜索服務(wù)等。影像信號(hào)搜索服務(wù)提供者從數(shù)據(jù)庫(kù)中檢索與該影像信號(hào)一致或類似的影像，收費(fèi)或免費(fèi)地將內(nèi)容或關(guān)于該影像的信息(例如商品信息、制品特征、服務(wù)、拍攝地、出演者、主頁(yè)等)提供給用戶。
這里，就檢索的影像的輸入方法而言，期望使帶攝影機(jī)的終端的取景器或屏幕與想拍攝的影像(目的影像信號(hào))的幀一致后進(jìn)行拍攝，或利用菜單動(dòng)作或筆輸入等手動(dòng)跟蹤(manua1 trace)來(lái)范圍指定拍攝的影像中的動(dòng)態(tài)圖像幀。
另外，由于可利用本發(fā)明來(lái)容易地搜索以前難以正確搜索的、由家庭用視頻反復(fù)配音復(fù)制的影像、或位速率低的影像，所以還可廣泛應(yīng)用于因特網(wǎng)上的動(dòng)態(tài)圖像的著作權(quán)管理系統(tǒng)、或CM信息檢索服務(wù)等。
另外，還可用于使用用戶利用攝影機(jī)拍攝的動(dòng)態(tài)圖像影像，從配送的電影或電視程序中切取接近該影像的剪輯后進(jìn)行編輯。
<第5實(shí)施方式>
圖15表示本發(fā)明的第5實(shí)施方式，是表示對(duì)噪音或失真穩(wěn)固的高精度信號(hào)搜索系統(tǒng)的構(gòu)成框圖。這里，所謂信號(hào)是時(shí)間系列數(shù)據(jù)，是指若有規(guī)定的再生裝置則可再生的所有信息。例如，就音樂(lè)而言，表示作為音樂(lè)本身的模擬數(shù)據(jù)、記錄在CD(Compact Disc)中的數(shù)據(jù)、WAV文件的數(shù)據(jù)、MP3(MPEG-1 Audio Layer3)文件的數(shù)據(jù)等。
另外，就影像而言，表示作為影像本身的模擬數(shù)據(jù)、以MPEG-2(Moving Picture Coding Experts Group 2)為代表的數(shù)字?jǐn)?shù)據(jù)等。這里，將信號(hào)檢測(cè)的對(duì)象作為影像信號(hào)和音響信號(hào)來(lái)進(jìn)行說(shuō)明。
圖15所示的信號(hào)檢測(cè)系統(tǒng)實(shí)現(xiàn)將時(shí)間系列信號(hào)設(shè)為對(duì)象的對(duì)噪音或失真穩(wěn)固的高精度信號(hào)檢測(cè)，包括目的特征計(jì)算部51、存儲(chǔ)特征計(jì)算部52、目的特征規(guī)格化部53、存儲(chǔ)特征規(guī)格化部54、目的特征面積選擇部55、存儲(chǔ)特征面積選擇部56、目的特征非線性量化部57、存儲(chǔ)特征非線性量化部58、特征對(duì)照部59、以及存儲(chǔ)非線性量化特征數(shù)據(jù)庫(kù)510，輸入存儲(chǔ)時(shí)間系列信號(hào)(存儲(chǔ)信號(hào))即想檢索的信號(hào)、以及目的時(shí)間系列信號(hào)(目的信號(hào))即檢索的信號(hào)，輸出與目的時(shí)間系列信號(hào)類似的存儲(chǔ)時(shí)間系列信號(hào)中的部位。另外，根據(jù)目的信號(hào)，在從存儲(chǔ)信號(hào)中執(zhí)行檢索之后，目的信號(hào)比存儲(chǔ)信號(hào)短。
目的特征計(jì)算部51從按規(guī)定間隔以時(shí)間系列采樣目的信號(hào)得到的、作為離散值的目的時(shí)間系列信號(hào)中，例如在音響信號(hào)的情況下，以采樣單位抽取每個(gè)頻率的功率譜值，多維矢量化該抽取出的特征量，得到特征矢量，導(dǎo)出由該特征矢量構(gòu)成的目的特征。另外，在影像信號(hào)的情況下，分割幀，抽取分割區(qū)域內(nèi)的象素的平均值，多維矢量化該抽取出的特征量，得到特征矢量，導(dǎo)出由該特征矢量構(gòu)成的目的特征。
存儲(chǔ)特征計(jì)算部52與目的特征計(jì)算部51一樣，從按規(guī)定間隔以時(shí)間系列采樣存儲(chǔ)信號(hào)得到的、作為離散值的存儲(chǔ)時(shí)間系列信號(hào)中，例如在音響信號(hào)的情況下，以采樣單位抽取每個(gè)頻率的功率譜值，多維矢量化該抽取出的特征量，得到特征矢量，導(dǎo)出由該特征矢量構(gòu)成的存儲(chǔ)特征。另外，在影像信號(hào)的情況下，分割幀，抽取分割區(qū)域內(nèi)的象素的平均值，多維矢量化該抽取出的特征量，得到特征矢量，導(dǎo)出由該特征矢量構(gòu)成的存儲(chǔ)特征。
目的特征規(guī)格化部53根據(jù)上述目的特征，使用從包含鄰接該目的特征的目的特征的周邊多個(gè)目的特征導(dǎo)出的統(tǒng)計(jì)量，對(duì)特征矢量的每個(gè)要素獨(dú)立規(guī)格化，導(dǎo)出具有由規(guī)格化后的值構(gòu)成的多維矢量的目的規(guī)格化特征。
存儲(chǔ)特征規(guī)格化部54根據(jù)上述存儲(chǔ)特征，使用從包含鄰接該存儲(chǔ)特征的存儲(chǔ)特征的周邊多個(gè)存儲(chǔ)特征導(dǎo)出的統(tǒng)計(jì)量，對(duì)特征矢量的每個(gè)要素獨(dú)立規(guī)格化，導(dǎo)出具有由規(guī)格化后的值構(gòu)成的多維矢量的存儲(chǔ)規(guī)格化特征。
目的特征面積選擇部55根據(jù)上述目的規(guī)格化特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，從目的規(guī)格化特征中，選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由被選擇的要素的多維矢量構(gòu)成的目的面積選擇特征。
存儲(chǔ)特征面積選擇部56根據(jù)上述存儲(chǔ)規(guī)格化特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，從存儲(chǔ)規(guī)格化特征中，選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由被選擇的要素的多維矢量構(gòu)成的存儲(chǔ)面積選擇特征。
這里，參照?qǐng)D16和圖17來(lái)說(shuō)明目的特征面積選擇部55和存儲(chǔ)特征面積選擇部56的閾值設(shè)定。
例如，考慮在選擇規(guī)格化特征矢量的各要素的值、與通過(guò)統(tǒng)計(jì)處理求出的構(gòu)成基準(zhǔn)的值(這里為“0”)的差分絕對(duì)值大的要素的情況下，將規(guī)格化特征矢量的各要素的值與“0”的差分絕對(duì)值最大的值的例如8/10的數(shù)值設(shè)為閾值，選擇各要素中、差分的絕對(duì)值超過(guò)閾值的要素。
圖16中，將規(guī)格化特征矢量的各要素d1-d6的值與“0”的差分的絕對(duì)值設(shè)為D1-D6。這里，選擇差分的絕對(duì)值D1-D6中最大的絕對(duì)值，將該值的例如8/10設(shè)為閾值。
如圖16所示，差分的絕對(duì)值最大的是要素d2的差分絕對(duì)值D2。由此，將與D2的差分的絕對(duì)值的8/10設(shè)定為閾值|θ|。
|θ|＝0.8×D2然后，分別將與各要素d1-d6的值的差分絕對(duì)值D1-D6與閾值|θ|相比較，抽取超過(guò)閾值的要素。另外，對(duì)被選擇的要素附加圓標(biāo)記。
圖16中，由于要素d2的差分的絕對(duì)值D2、要素d4的差分的絕對(duì)值D4、要素d5的差分的絕對(duì)值D5、要素d6的差分的絕對(duì)值D6超過(guò)閾值|θ|，所以選擇這些要素，作為選擇特征的圖案。
這里，將差分的絕對(duì)值最大的絕對(duì)值的8/10的值設(shè)為閾值，但這是一例，不限于8/10。
另外，也可設(shè)置每個(gè)要素的下限值，進(jìn)行控制使閾值緩慢降低，直到選擇得到該下限值(1或多個(gè))的要素為止。例如，在圖17的實(shí)例中，示出選擇上位2個(gè)要素的情況，通過(guò)緩慢降低閾值，選擇差分的絕對(duì)值最大的要素d2的值與“0”的差分的絕對(duì)值D2、以及要素d5的值與“0”的差分的絕對(duì)值D5，作為選擇特征的圖案。
另外，目的特征面積選擇部55也可求出上述目的特征中、排列的規(guī)定范圍的特征矢量的各要素的平均值，從目的規(guī)格化特征中，選擇各要素除以該平均值后的結(jié)果的絕對(duì)值超過(guò)規(guī)定閾值的要素，并導(dǎo)出由該被選擇的要素的多維矢量構(gòu)成的目的面積選擇特征。
同樣，存儲(chǔ)特征面積選擇部56也可求出上述存儲(chǔ)特征中、排列的規(guī)定范圍的特征矢量的各要素的平均值，從存儲(chǔ)規(guī)格化特征中，選擇各要素除以該平均值后的結(jié)果的絕對(duì)值超過(guò)規(guī)定閾值的要素，并導(dǎo)出由被選擇的要素的多維矢量構(gòu)成的存儲(chǔ)面積選擇特征。
另外，所謂上述“排列”是按時(shí)間系列采樣的順序、依次排列各采樣中的特征矢量的排列，所謂“規(guī)定范圍的特征矢量”是指該排列中的規(guī)定時(shí)間區(qū)間(下面為一定區(qū)段)的特征矢量。
上述閾值例如也可在選擇規(guī)格化特征矢量的各要素的值與平均值的差分的絕對(duì)值大的要素的情況下，將規(guī)格化特征矢量的各要素的值與平均值的差分的絕對(duì)值最大的值的例如8/10的數(shù)值設(shè)為閾值，選擇各要素中、與平均值的差分的絕對(duì)值超過(guò)閾值的要素。
此時(shí)，也可設(shè)置要素的下限值，進(jìn)行控制使閾值緩慢降低，直到選擇超過(guò)該下限值的要素為止。
并且，目的特征面積選擇部55也可輸入上述目的特征和目的規(guī)格化特征，求出該目的特征排列中的規(guī)定范圍(一定區(qū)段)的特征矢量的每個(gè)要素的標(biāo)準(zhǔn)偏差，然后，對(duì)目的規(guī)格化特征的對(duì)應(yīng)排列位置的特征矢量的每個(gè)要素，乘以上述標(biāo)準(zhǔn)偏差，計(jì)算乘法結(jié)果的絕對(duì)值，作為統(tǒng)計(jì)量，從目的規(guī)格化特征中，選擇該統(tǒng)計(jì)量中最上位或從最上位起的多個(gè)(例如2個(gè))統(tǒng)計(jì)量，導(dǎo)出作為特征圖案的、被選擇的要素的多維矢量所構(gòu)成的目的面積選擇特征。
同樣，存儲(chǔ)特征面積選擇部56也可輸入上述存儲(chǔ)特征和存儲(chǔ)規(guī)格化特征，求出該存儲(chǔ)特征排列中的規(guī)定范圍(一定區(qū)段)的特征矢量的每個(gè)要素的標(biāo)準(zhǔn)偏差，然后，對(duì)存儲(chǔ)規(guī)格化特征的對(duì)應(yīng)排列位置的特征矢量的每個(gè)要素，乘以上述標(biāo)準(zhǔn)偏差，計(jì)算乘法結(jié)果的絕對(duì)值，作為統(tǒng)計(jì)量，從目的規(guī)格化特征中，選擇該統(tǒng)計(jì)量中最上位或從最上位起的多個(gè)(例如2個(gè))統(tǒng)計(jì)量，導(dǎo)出作為特征圖案的、被選擇的要素的多維矢量所構(gòu)成的目的面積選擇特征。
目的特征非線性量化部57對(duì)上述目的面積選擇特征執(zhí)行后述的芙諾以分割，根據(jù)距接近特征矢量所屬的芙諾以區(qū)域的1個(gè)或多個(gè)芙諾以邊界面的距離，量化特征矢量。該量化利用S形(sigmoid)函數(shù)或分段直線函數(shù)，非線性量化與各個(gè)芙諾以邊界面的距離，導(dǎo)出得到的量化的值組，作為目的非線性量化特征。
或者，利用S形函數(shù)或分段直線函數(shù)，標(biāo)量非線性量化上述目的面積選擇特征的矢量的各個(gè)要素，導(dǎo)出作為要素得到非線性量化為多個(gè)灰度的值的多維矢量構(gòu)成的目的非線性量化特征。
存儲(chǔ)特征非線性量化部58也與目的特征非線性量化部57一樣，對(duì)上述存儲(chǔ)面積選擇特征執(zhí)行后述的芙諾以分割，根據(jù)距接近特征矢量所屬的芙諾以區(qū)域的1個(gè)或多個(gè)芙諾以邊界面的距離，量化特征矢量。
該量化利用S形函數(shù)或分段直線函數(shù)，非線性量化與各個(gè)芙諾以邊界面的距離，導(dǎo)出得到的量化值的組，作為存儲(chǔ)非線性量化特征。
或者，利用S形函數(shù)或分段直線函數(shù)，標(biāo)量非線性量化上述存儲(chǔ)面積選擇特征的矢量的各個(gè)要素，導(dǎo)出作為要素得到非線性量化為多個(gè)灰度的值的多維矢量構(gòu)成的存儲(chǔ)非線性量化特征。
該目的非線性量化特征和存儲(chǔ)非線性量化特征分別按時(shí)間系列采樣的順序，依次排列各采樣中的特征矢量。
特征對(duì)照部59對(duì)于按時(shí)間系列排列上述存儲(chǔ)非線性量化特征的特征矢量，將該排列的規(guī)定范圍設(shè)定為對(duì)照區(qū)間，將長(zhǎng)度與該對(duì)照區(qū)間相同的被對(duì)照區(qū)間設(shè)定為目的非線性量化特征，計(jì)算上述對(duì)照區(qū)間與被對(duì)照區(qū)間的類似度，與事先設(shè)定的搜索閾值進(jìn)行比較，判定是否類似。
另外，特征對(duì)照部59在上述對(duì)照區(qū)間的對(duì)照處理結(jié)束時(shí)，由于設(shè)定新的對(duì)照區(qū)間，所以移向排列鄰接的相同時(shí)間寬度范圍。
存儲(chǔ)非線性量化特征數(shù)據(jù)庫(kù)510對(duì)多個(gè)、例如很好配送的音樂(lè)或CM，利用存儲(chǔ)特征計(jì)算部52、存儲(chǔ)特征規(guī)格化部54、存儲(chǔ)特征面積選擇部56、存儲(chǔ)特征非線性量化部58，事先計(jì)算存儲(chǔ)非線性量化特征，對(duì)應(yīng)于各歌曲名或CM提供者名來(lái)存儲(chǔ)存儲(chǔ)非線性量化特征。
另外，本例中，在存儲(chǔ)非線性量化特征數(shù)據(jù)庫(kù)510中，計(jì)算存儲(chǔ)事先計(jì)算的非線性量化特征，但也可設(shè)置存儲(chǔ)存儲(chǔ)信號(hào)(新信號(hào))的數(shù)據(jù)庫(kù)。
下面，參照附圖來(lái)說(shuō)明本實(shí)施方式的信號(hào)檢測(cè)系統(tǒng)的動(dòng)作。圖18是表示圖15的信號(hào)檢測(cè)系統(tǒng)的動(dòng)作例的流程圖。
存儲(chǔ)特征計(jì)算部52讀入提供的存儲(chǔ)信號(hào)并進(jìn)行輸出(步驟W1)，對(duì)輸入的存儲(chǔ)信號(hào)執(zhí)行特征抽取。
就存儲(chǔ)特征計(jì)算部52中的特征抽取而言，下面示出輸入的信號(hào)是音響信號(hào)的情況、以及是影像信號(hào)的情況等兩種實(shí)例。存儲(chǔ)特征計(jì)算部52在檢測(cè)的對(duì)象是音響信號(hào)的情況下，使用傅立葉變換的振幅分量，傅立葉變換例如以頻率8000Hz標(biāo)本化的音響信號(hào)的1秒?yún)^(qū)間，等間隔地將0-4000Hz分割成32個(gè)頻帶區(qū)間，將各區(qū)間中的振幅分量的平均功率構(gòu)成的32維多維矢量作為特征矢量，每0.1秒抽取，設(shè)為存儲(chǔ)特征(步驟W2)。
在影像信號(hào)是檢測(cè)對(duì)象的情況下，根據(jù)存儲(chǔ)的時(shí)間系列數(shù)據(jù)，例如將存儲(chǔ)的1幀圖像橫向3等分、縱向3等分，共計(jì)分割成9個(gè)區(qū)域，對(duì)各個(gè)分割(區(qū)域)內(nèi)的RGB各色象素，算出平均值。抽取如此得到的9個(gè)區(qū)域中的RGB各自的平均象素值構(gòu)成的共計(jì)27維的矢量，作為特征矢量，設(shè)為存儲(chǔ)特征(步驟W2)。此時(shí)，對(duì)每個(gè)幀得到所述特征矢量。
即，如圖19所示，當(dāng)設(shè)定相當(dāng)于從幀(i-M)至幀(i+M-1)的2M幀的時(shí)間窗時(shí)(i為開頭幀的幀序號(hào))，就位于其間的幀(i+0)(下面有時(shí)也記作幀i)而言，如圖20所示，將1個(gè)幀分割成n個(gè)子畫面。平均幀i的第1子畫面的RGB各色的象素，取得平均值(xi，1，xi，2，xi，3)，平均第2子畫面的RGB各色的象素，取得平均值(xi，4，xi，5，xi，6)，平均第3子畫面的RGB各色的象素，取得平均值(xi，7，xi，8，xi，9)，以下一樣，平均第n子畫面的RGB各色的象素，取得平均值(xi，(3n-2)，xi，(3n-1)，xi，3n)。其中，第1個(gè)下標(biāo)表示幀的通用序號(hào)，第2個(gè)下標(biāo)表示該幀內(nèi)的要素的序號(hào)。
另外，上述說(shuō)明中，各象素具有R值、G值、B值，但各象素也可具有R值、G值、B值之一。
由此，例如若設(shè)n＝9，則各幀得到(3×9＝27)個(gè)值，抽取如此得到的27維多維矢量，作為特征矢量，并設(shè)為存儲(chǔ)特征(步驟W2)。將所述多維矢量稱為局部區(qū)域原色特征。此時(shí)，所述的xi，1等變?yōu)榫植繀^(qū)域原色特征的要素。
另外，在存儲(chǔ)特征的抽取方法中，有使用作為數(shù)字動(dòng)態(tài)圖像壓縮技術(shù)的MPEG(Moving Picture Coding Experts Group)編碼方式(由活動(dòng)補(bǔ)償、DCT(Discrete Cosine Transform)與可變長(zhǎng)編碼構(gòu)成)或傅立葉變換的振幅分量的方法。
然后，圖15中，存儲(chǔ)特征規(guī)格化部54從存儲(chǔ)特征計(jì)算部52讀入存儲(chǔ)特征，對(duì)該存儲(chǔ)特征的特征矢量的每個(gè)要素，計(jì)算求出規(guī)定的一定區(qū)段的平均值與標(biāo)準(zhǔn)偏差。
例如，在影像信號(hào)的情況下，存儲(chǔ)特征規(guī)格化部54對(duì)各局部區(qū)域中RGB各色，根據(jù)某個(gè)時(shí)間區(qū)間的值，求出平均值與標(biāo)準(zhǔn)偏差，使用求出的平均值與標(biāo)準(zhǔn)偏差，進(jìn)行規(guī)格化。此時(shí)，當(dāng)將存儲(chǔ)特征規(guī)格化部54規(guī)格化后的局部區(qū)域原色特征稱為規(guī)格化局部原色特征時(shí)，其第k個(gè)要素yi，k如下式(51)所示。
(公式51)
yi,k=1σi,k(xi,k-mi,k)---(51)]]>(公式52)mi,k=12MΣj=-MM-1x(i+j),k---(52)]]>(公式53)σ2i,k=12MΣj=-MM-1(x(i+j),k-mi,k)2---(53)]]>其中，式(52)中的x(i+j)，k表示向全部幀附加通用序號(hào)時(shí)的第(i+j)個(gè)幀的局部區(qū)域特征的第k個(gè)要素。j是對(duì)設(shè)定的時(shí)間區(qū)間內(nèi)的幀中的中心幀的相對(duì)序號(hào)，在設(shè)定的時(shí)間區(qū)間內(nèi)包含2M個(gè)幀的情況下，為-M≤j≤M-1，j為整數(shù)。i為設(shè)定的時(shí)間區(qū)間的幀中、中心幀的通用序號(hào)(i≥M)，相當(dāng)于j＝0時(shí)的通用序號(hào)。另外，mi，k是對(duì)-M≤j≤M-1的x(i+j)，k的平均值。式(53)中的σi，k為對(duì)-M≤j≤M-1的x(i+j)，k的標(biāo)準(zhǔn)偏差。
然后，使用由式(51)-(53)得到的多維矢量的時(shí)間系列的排列即1以上的幀，將通過(guò)按幀序號(hào)的上升順序排列由按k的上升順序排列各幀的要素的要素所構(gòu)成的多維矢量所生成的多維矢量設(shè)為存儲(chǔ)規(guī)格化特征(步驟W3)。
接著，存儲(chǔ)特征面積選擇部56從存儲(chǔ)特征計(jì)算部52讀入存儲(chǔ)特征并進(jìn)行輸入，或從存儲(chǔ)特征規(guī)格化部54讀入存儲(chǔ)規(guī)格化特征并進(jìn)行輸入，就關(guān)于各要素的一定區(qū)段，使用上述式(52)和式(53)，求出存儲(chǔ)特征的多維矢量的每個(gè)要素的標(biāo)準(zhǔn)偏差σi，k。同樣，也可通過(guò)從存儲(chǔ)特征規(guī)格化部54將存儲(chǔ)規(guī)格化特征與標(biāo)準(zhǔn)偏差讀入并輸入存儲(chǔ)特征面積選擇部56來(lái)實(shí)現(xiàn)。這是因?yàn)橛纱鎯?chǔ)特征規(guī)格化部54算出的標(biāo)準(zhǔn)偏差、與根據(jù)從存儲(chǔ)特征計(jì)算部52得到的存儲(chǔ)特征算出的標(biāo)準(zhǔn)偏差為相同值。
然后，存儲(chǔ)特征面積選擇部56如下式(54)所示，對(duì)每個(gè)要素yik乘以上述標(biāo)準(zhǔn)偏差σi，k，取其絕對(duì)值。
(公式54)zi，k＝|yi，k·σi，k| …(54)這里，存儲(chǔ)特征面積選擇部56從得到的各要素與標(biāo)準(zhǔn)偏差的乘法結(jié)果的統(tǒng)計(jì)量zik中，按一定區(qū)段單位，對(duì)每個(gè)要素選擇從最上位開始的多個(gè)矢量、例如上位兩個(gè)矢量(步驟W4)。
存儲(chǔ)特征非線性量化部58對(duì)存儲(chǔ)面積選擇特征的多維矢量的各要素執(zhí)行上述芙諾以分割，根據(jù)基于特征矢量與芙諾以邊界面所得到的距離，進(jìn)行非線性量化計(jì)算(步驟W5)。
這里，參照?qǐng)D21來(lái)說(shuō)明上述芙諾以分割。圖21表示非線性量化2維特征矢量中的芙諾以邊界與其距離的情況。圖21中，Q1、Q2、Q3為芙諾以區(qū)域的原點(diǎn)(母點(diǎn))。這些原點(diǎn)Q1、Q2、Q 3事先提供學(xué)習(xí)信號(hào)、使用公知的矢量量化法來(lái)確定。原點(diǎn)Q1、Q2、Q3各自被芙諾以多邊形包圍，設(shè)定芙諾以區(qū)域R1、R2、R3。
然后，確定該特征矢量屬于芙諾以區(qū)域R1、R2、R3的哪個(gè)區(qū)域。接著，選擇接近該區(qū)域的芙諾以邊界(用實(shí)線表示)中、最近的芙諾以邊界。使用關(guān)于距選擇的芙諾以邊界的距離x的非線性函數(shù)f(x)，對(duì)與對(duì)f(x)的規(guī)定定義值對(duì)應(yīng)的每個(gè)x值，分配1個(gè)代碼，進(jìn)行量化。另外，圖21中，虛線表示非線性的分割線，點(diǎn)劃線是二等分兩個(gè)芙諾以邊界間的區(qū)域的超平面。作為非線性函數(shù)，例如使用下示的S形函數(shù)。
(公式55)f(x)=11+exp(-x)---(55)]]>例如圖21所示，非線性分割與芙諾以邊界的距離，分配各代碼A-U。此時(shí)，對(duì)于全部芙諾以分割區(qū)域中的細(xì)化的區(qū)域，設(shè)定代碼長(zhǎng)度，以不分配相同的代碼。
另外，作為非線性函數(shù)，也可使用下示的分段直線函數(shù)。
(公式56)f(x)=x0.2(0≤x<0.2)x-0.20.3+1.0(0.2≤x<0.5)x-0.50.5+2.0(0.5≤x<1.0)x+2.0(1.0≤x)---(56)]]>另外，在量化特征矢量的情況下，也可標(biāo)量量化各個(gè)要素。另外，也可使用將幾個(gè)要素一起設(shè)為矢量的量化法。
然后，存儲(chǔ)特征非線性量化部58執(zhí)行將由上述非線性量化計(jì)算得出的存儲(chǔ)非線性量化特征直接發(fā)送給特征對(duì)照部59、或暫時(shí)登錄到存儲(chǔ)非線性量化特征數(shù)據(jù)庫(kù)510之一的處理。
在特征對(duì)照部59實(shí)時(shí)比較存儲(chǔ)非線性量化特征與目的非線性量化特征的情況下，存儲(chǔ)特征非線性量化部58向特征對(duì)照部59輸出輸入的存儲(chǔ)信號(hào)的存儲(chǔ)非線性量化特征。另外，在向存儲(chǔ)非線性量化特征數(shù)據(jù)庫(kù)510登錄存儲(chǔ)信號(hào)的數(shù)據(jù)的情況下，存儲(chǔ)特征非線性量化部58不向特征對(duì)照部59發(fā)送存儲(chǔ)非線性量化特征，而與例如廣告提供者名或節(jié)目名和電影的題目對(duì)應(yīng)地向存儲(chǔ)非線性量化特征數(shù)據(jù)庫(kù)510登錄存儲(chǔ)面積選擇特征。
目的特征計(jì)算部51讀入提供的目的信號(hào)并進(jìn)行輸入(步驟W6)，對(duì)輸入的目的信號(hào)執(zhí)行特征抽取。
目的特征計(jì)算部51在檢測(cè)的對(duì)象是音響信號(hào)的情況下，使用傅立葉變換的振幅分量，傅立葉變換例如以頻率8000Hz標(biāo)本化的音響信號(hào)的1秒?yún)^(qū)間，將0-4000Hz等間隔分割為32個(gè)頻帶的區(qū)間，以每0.1秒抽取各區(qū)間內(nèi)的振幅分量的平均功率構(gòu)成的32維多維矢量，作為特征矢量，設(shè)為目的特征(步驟W7)。
在影像信號(hào)是檢測(cè)對(duì)象的情況下，根據(jù)目的的時(shí)間系列數(shù)據(jù)，例如將目的的1幀圖像橫向3等分、縱向3等分，共計(jì)分割成9個(gè)區(qū)域，對(duì)各個(gè)分割(區(qū)域)內(nèi)的RGB各色象素，算出平均值。抽取如此得到的9個(gè)區(qū)域中的RGB各自的平均象素值構(gòu)成的共計(jì)27維的矢量，作為特征矢量，設(shè)為目的特征(步驟W7)。此時(shí)，對(duì)每個(gè)幀得到所述特征矢量。
然后，目的特征規(guī)格化部53從目的特征計(jì)算部51讀入目的特征，對(duì)該目的特征的特征矢量的每個(gè)要素，計(jì)算求出規(guī)定的一定區(qū)段的平均值與標(biāo)準(zhǔn)偏差。
即，目的特征規(guī)格化部53與存儲(chǔ)特征規(guī)格化部54一樣，將由式(51)-(53)得到的多維矢量的時(shí)間系列的排列(由k表示的順序)設(shè)為目的規(guī)格化特征(步驟W8)。
接著，目的特征面積選擇部55從目的特征計(jì)算部51讀入目的特征并進(jìn)行輸入，或從目的特征規(guī)格化部53讀入目的規(guī)格化特征并進(jìn)行輸入，與存儲(chǔ)特征面積選擇部56一樣，對(duì)每個(gè)要素乘以根據(jù)目的特征的一定區(qū)段求出的標(biāo)準(zhǔn)偏差σi，k，將乘法結(jié)果設(shè)為統(tǒng)計(jì)量。同樣，也可通過(guò)從目的特征規(guī)格化部53將目的規(guī)格化特征與標(biāo)準(zhǔn)偏差讀入并輸入目的特征面積選擇部55來(lái)實(shí)現(xiàn)。這是因?yàn)橛赡康奶卣饕?guī)格化部53算出的標(biāo)準(zhǔn)偏差、與根據(jù)由目的特征計(jì)算部51得到的目的特征算出的標(biāo)準(zhǔn)偏差為相同值。
這里，目的特征面積選擇部55從得到的各要素與標(biāo)準(zhǔn)偏差的乘法結(jié)果的統(tǒng)計(jì)量zi，k中，按一定區(qū)段單位，對(duì)每個(gè)要素，選擇從最上位起的多個(gè)矢量、例如上位2個(gè)矢量(步驟W9)。
目的特征非線性量化部57對(duì)目的面積選擇特征的多維矢量的各要素執(zhí)行上述芙諾以分割，根據(jù)基于特征矢量與芙諾以邊界面所得到的距離，進(jìn)行非線性量化計(jì)算。然后，將通過(guò)所述非線性量化計(jì)算得到的目的非線性量化特征輸出到特征對(duì)照部59(步驟W10)。
特征對(duì)照部59分別讀入由目的特征非線性量化部57和存儲(chǔ)特征非線性量化部58得到的目的非線性量化特征和存儲(chǔ)非線性量化特征。
另外，特征對(duì)照部59在同時(shí)輸入目的信號(hào)和存儲(chǔ)信號(hào)、實(shí)時(shí)判定類似的情況以外，從存儲(chǔ)非線性量化特征數(shù)據(jù)庫(kù)510中依次讀出進(jìn)行比較的存儲(chǔ)非線性量化特征，與目的非線性量化特征進(jìn)行比較。
此時(shí)，特征對(duì)照部59對(duì)于存儲(chǔ)非線性量化特征，將長(zhǎng)度與由目的特征非線性量化部57提供的目的非線性量化特征相同的特征矢量的排列設(shè)定為對(duì)照區(qū)間。
然后，特征對(duì)照部59運(yùn)算目的非線性量化特征與上述對(duì)照區(qū)間的類似度。運(yùn)算雙方特征矢量間的加重平均距離，作為類似度(步驟W11)。
特征對(duì)照部59從目的非線性量化特征的特征矢量的排列中，抽取多個(gè)部位的要素，并設(shè)為作為排列的要素的特征矢量。例如，在設(shè)目的非線性量化特征為15秒長(zhǎng)度時(shí)，從該目的非線性量化特征的特征矢量排列中，以0.1秒為間隔抽取共計(jì)150部位的作為排列要素的特征矢量。對(duì)各采樣，將頻帶分割成3個(gè)，所以將由這些矢量構(gòu)成的(150×32)的4800維多維矢量設(shè)為特征對(duì)照部59用于對(duì)照的目的矢量。
另外，與上述目的矢量一樣，特征對(duì)照部59從存儲(chǔ)非線性量化特征的數(shù)據(jù)開頭起，以15秒長(zhǎng)度為單位，依次設(shè)定為對(duì)照區(qū)間，從特征矢量的排列中，以0.1秒為間隔抽取共計(jì)150部位的特征矢量，對(duì)各采樣，將頻帶分割成32份，所以將由這些矢量構(gòu)成的(150×32)的4800維多維矢量設(shè)為特征對(duì)照部59用于對(duì)照的存儲(chǔ)矢量。
此時(shí)，若特征對(duì)照部59從目的非線性量化特征的特征矢量排列中，抽取多個(gè)部位的要素并設(shè)為目的矢量，則目的特征非線性量化部57也可從面積選擇特征中事先抽取作為排列的要素的特征矢量，即以0.1秒為間隔抽取共計(jì)150部位，執(zhí)行非線性量化，作為目的矢量，輸出到特征對(duì)照部59。
特征對(duì)照部59在事先提供加重平均距離的搜索閾值作為搜索結(jié)果的情況下，判定該搜索閾值與選擇的對(duì)照區(qū)間的加重平均距離(步驟W12)。
在步驟W12中，邊從存儲(chǔ)面積選擇特征的開頭起依次偏移對(duì)照區(qū)間，邊計(jì)算上述目的非線性量化特征與存儲(chǔ)非線性量化特征的加重平均距離，與事先設(shè)定的搜索閾值進(jìn)行比較處理，在對(duì)照處理至最后之后，若檢索到每個(gè)對(duì)照區(qū)間的加重平均距離比事先設(shè)定的搜索閾值低的存儲(chǔ)面積選擇特征的對(duì)照區(qū)間的區(qū)域，則輸出該對(duì)照區(qū)間，作為搜索結(jié)果(步驟W13)。
如上所述，在本發(fā)明的實(shí)施方式中，根據(jù)存儲(chǔ)影像信號(hào)和目的影像信號(hào)，求出為由多維矢量構(gòu)成的存儲(chǔ)特征和目的特征，規(guī)格化該多維矢量，進(jìn)行要素選擇，進(jìn)行非線性量化，算出非線性存儲(chǔ)量化特征和非線性目的量化特征，使用加重平均距離等，對(duì)照該非線性存儲(chǔ)量化特征和非線性目的量化特征。
另外，在上述實(shí)例中，在進(jìn)行面積選擇之后，進(jìn)行非線性量化，但也可如圖22中的流程圖所示，在進(jìn)行非線性量化之后(步驟W5和步驟W10)，進(jìn)行面積選擇(步驟W4和步驟W9)。
特征對(duì)照部59所用的對(duì)照區(qū)間(時(shí)間窗或幀數(shù))或與存儲(chǔ)特征面積選擇部56或目的特征面積選擇部55所用的時(shí)間區(qū)間、以及存儲(chǔ)特征規(guī)格化部54或目的特征規(guī)格化部53所用的時(shí)間區(qū)間獨(dú)立確定，即，未必使用一致的時(shí)間區(qū)間。
另外，特征對(duì)照部59也可在事先提供加重平均距離的搜索閾值作為搜索結(jié)果的情況下，判定該搜索閾值與選擇的對(duì)照區(qū)間的加重平均距離，僅輸出低于該搜索閾值的區(qū)域。
另外，特征對(duì)照部59也可在多個(gè)對(duì)照區(qū)間的加重平均距離低于搜索閾值的情況下，輸出加重平均距離的上位(從低的數(shù)值起)第L個(gè)以前的對(duì)照區(qū)間。
并且，特征對(duì)照部59也可在沒(méi)有低于搜索閾值的對(duì)照區(qū)間的情況等下，通知表示沒(méi)有對(duì)應(yīng)部位的信息，從存儲(chǔ)非線性量化特征數(shù)據(jù)庫(kù)510中讀出新的存儲(chǔ)信號(hào)的存儲(chǔ)非線性量化特征，繼續(xù)步驟W10以后的搜索處理，直到搜索具有上述搜索閾值以下的對(duì)照區(qū)間的存儲(chǔ)非線性量化特征。
另外，也可將圖15中的目的特征計(jì)算部51、目的特征規(guī)格化部53、目的特征面積選擇部55和目的特征非線性量化部57安裝在各用戶終端(例如電腦)中，將具有存儲(chǔ)特征計(jì)算部52、存儲(chǔ)特征規(guī)格化部54、存儲(chǔ)特征面積選擇部56、存儲(chǔ)特征非線性量化部58、特征對(duì)照部59和存儲(chǔ)非線性量化特征數(shù)據(jù)庫(kù)510的信號(hào)檢索服務(wù)器設(shè)置在執(zhí)行配送的服務(wù)提供器中。
由此，構(gòu)成為將用戶利用便攜電話等接收到的信號(hào)作為目的信號(hào)，生成至目的非線性量化特征，經(jīng)因特網(wǎng)等向上述信號(hào)搜索服務(wù)器發(fā)送該目的非線性量化特征，請(qǐng)求搜索類似于該目的非線性量化特征的存儲(chǔ)信號(hào)。此時(shí)，使計(jì)算存儲(chǔ)非線性量化特征和目的非線性量化特征時(shí)的一定區(qū)段的特征矢量的排列長(zhǎng)度等規(guī)定在信號(hào)檢測(cè)服務(wù)器與終端中事先一致。
下面，示出應(yīng)用上述信號(hào)檢測(cè)系統(tǒng)時(shí)的實(shí)施方式。本發(fā)明的搜索系統(tǒng)可用于使用在實(shí)際環(huán)境中收錄的有噪音或失真的片斷信號(hào)，搜索一致或類似的信號(hào)或進(jìn)行信息檢索。例如，用戶利用便攜電話等便攜終端，接收在飲茶店作為BGM(Back Ground Music)播放的音樂(lè)、或在街頭的大型屏幕中播出的CM的音樂(lè)或影像，發(fā)送給信號(hào)檢索服務(wù)。信號(hào)檢索服務(wù)提供者從數(shù)據(jù)庫(kù)中檢索與該信號(hào)一致或類似的信息，收費(fèi)或免費(fèi)地將內(nèi)容或關(guān)聯(lián)信息(例如曲名、演奏者名、節(jié)目、商品、音樂(lè)會(huì)信息、或主頁(yè)等)提供給用戶。
這里，在檢索影像信號(hào)的情況下，期望當(dāng)輸入影像信號(hào)時(shí)，由帶有錄音功能的終端裝置使帶攝影機(jī)的終端的取景器或屏幕與想拍攝的(目的信號(hào)的)幀一致后進(jìn)行拍攝，或利用菜單動(dòng)作或筆輸入等手動(dòng)跟蹤來(lái)范圍指定拍攝中的動(dòng)態(tài)圖像幀。
當(dāng)實(shí)際上構(gòu)造上述各實(shí)施方式中的檢索系統(tǒng)時(shí)，也可通過(guò)將實(shí)現(xiàn)各系統(tǒng)功能用的程序記錄在計(jì)算機(jī)可讀取的記錄介質(zhì)中，使記錄在該記錄介質(zhì)中的程序讀入計(jì)算機(jī)系統(tǒng)中，通過(guò)執(zhí)行，進(jìn)行信號(hào)檢測(cè)處理和對(duì)數(shù)據(jù)庫(kù)的存儲(chǔ)信號(hào)的存儲(chǔ)處理。設(shè)這里所謂的“計(jì)算機(jī)系統(tǒng)”包含OS(Operating System)或外圍設(shè)備等硬件。另外，設(shè)“計(jì)算機(jī)系統(tǒng)”還包含具備主頁(yè)提供環(huán)境(或顯示環(huán)境)的WWW(World Wide Web)系統(tǒng)，另外，所謂“計(jì)算機(jī)可讀取的記錄介質(zhì)”是指軟盤、磁光盤、ROM(ReadOnly Memory)、CD-ROM(Compact Disc Read On1y Memory)等可移動(dòng)介質(zhì)、內(nèi)置于計(jì)算機(jī)中的硬盤等存儲(chǔ)裝置。另外，所謂“計(jì)算機(jī)可讀取的記錄介質(zhì)”還包含在經(jīng)因特網(wǎng)等網(wǎng)絡(luò)或電話線路等通信線路發(fā)送程序時(shí)的、構(gòu)成服務(wù)器或客戶機(jī)的計(jì)算機(jī)內(nèi)部的易失性存儲(chǔ)器(RAM)等、在一定時(shí)間保持程序的存儲(chǔ)器。
另外，上述程序也可從將該程序存儲(chǔ)在存儲(chǔ)裝置等中的計(jì)算機(jī)系統(tǒng)，經(jīng)傳輸介質(zhì)，或由傳輸介質(zhì)中的載波傳輸?shù)狡渌?jì)算機(jī)。這里，傳輸程序的“傳輸介質(zhì)”是指因特網(wǎng)等網(wǎng)絡(luò)(通信網(wǎng))或電話線路等通信線路(通信線)等、具有傳輸信息的功能的介質(zhì)。另外，上述程序也可用于實(shí)現(xiàn)所述功能的一部分。并且，也可以利用與已記錄在計(jì)算機(jī)系統(tǒng)中的程序的組合來(lái)實(shí)現(xiàn)所述功能的所謂差分文件(差分程序)。
另外，在上述各實(shí)施方式中，作為用戶取入音樂(lè)所用的捕獲器件，例如也可使用附帶于便攜電話或IC錄音機(jī)等便攜終端上的麥克風(fēng)、連接于電腦上的麥克風(fēng)、或來(lái)自電視或視頻等的線輸入。
另外，在例如上述第1實(shí)施方式中對(duì)用戶提供服務(wù)的方法中，有具備如下處理步驟的方法。
首先，利用便攜電話的聲音通話來(lái)發(fā)送接受用戶的指示的該便攜電話捕獲的聲音。然后，接收側(cè)執(zhí)行關(guān)于從該便攜電話接收到的聲音數(shù)據(jù)的特征抽取，再根據(jù)該抽取結(jié)果執(zhí)行搜索。然后，接收側(cè)生成搜索結(jié)果的一覽信息，將該一覽信息發(fā)送給該便攜電話。
然后，該便攜電話接收該一覽信息，輸出到自身的顯示部進(jìn)行顯示。用戶確認(rèn)該便攜電話的顯示部，指示該便攜電話下載期望的音樂(lè)數(shù)據(jù)等。以后的處理也可與現(xiàn)有的音樂(lè)數(shù)據(jù)的下載等中的處理一樣。
另外，上述提供服務(wù)的方法中，用戶也可使用電腦來(lái)代替便攜電話。此時(shí)，也可在電腦上對(duì)聲音進(jìn)行特征抽取，并且，也可經(jīng)因特網(wǎng)發(fā)送特征的抽取結(jié)果，由接收側(cè)進(jìn)行搜索。
另外，在上述提供服務(wù)的方法中，也可在便攜終端上特征抽取聲音，并且，也可由i模式(注冊(cè)商標(biāo))等數(shù)據(jù)包通信、撥號(hào)連接或無(wú)線LAN(Local Area Network)等手段發(fā)送特征的抽取結(jié)果，由接收側(cè)進(jìn)行搜索。
另外，就上述提供服務(wù)的方法而言，既可文件化聲音，還可利用HTTP(Hyper Text Transfer Protocol)或SMTP(Simple Mail TransferProtocol)等經(jīng)因特網(wǎng)發(fā)送，在接收側(cè)執(zhí)行特征抽取和搜索。
另外，在上述各實(shí)施方式中，作為用戶為了取入影像而使用的捕獲器件，例如也可使用附屬在便攜終端上的照相機(jī)、數(shù)碼相機(jī)、連接于電腦上的網(wǎng)絡(luò)相機(jī)(web camera)、或來(lái)自電視或視頻等的影像輸入。
另外，在例如上述第3實(shí)施方式中對(duì)用戶提供服務(wù)的方法中，有具備如下處理步驟的方法。
首先，接受到用戶指示的便攜電話發(fā)送由自身的電視電話功能得到的影像。然后，接收側(cè)執(zhí)行關(guān)于從該便攜電話接收到的影像數(shù)據(jù)的特征抽取，再根據(jù)該抽取結(jié)果執(zhí)行搜索。然后，接收側(cè)生成搜索結(jié)果的一覽信息，將該一覽信息發(fā)送給該便攜電話。
然后，該便攜電話接收該一覽信息，輸出到自身的顯示部進(jìn)行顯示。用戶確認(rèn)該便攜電話的顯示部，指示該便攜電話下載期望的影像數(shù)據(jù)等。以后的處理也可與現(xiàn)有的影像數(shù)據(jù)的下載等中的處理一樣。
另外，上述提供服務(wù)的方法中，用戶也可使用電腦來(lái)代替便攜電話。此時(shí)，也可在電腦上對(duì)影像進(jìn)行特征抽取，并且，也可經(jīng)因特網(wǎng)發(fā)送特征的抽取結(jié)果，由接收側(cè)進(jìn)行搜索。
另外，在上述提供服務(wù)的方法中，也可在便攜終端上特征抽取影像，并且，也可由i模式(注冊(cè)商標(biāo))等數(shù)據(jù)包通信、撥號(hào)連接或無(wú)線LAN等手段發(fā)送特征的抽取結(jié)果，由接收側(cè)進(jìn)行搜索。
另外，就上述提供服務(wù)的方法而言，既可文件化影像，還可利用HTTP或SMTP等經(jīng)因特網(wǎng)發(fā)送，在接收側(cè)執(zhí)行特征抽取和搜索。
另外，在上述服務(wù)的提供方法中，便攜電話既可在聲音通話中利用聲音通知搜索結(jié)果，還可告知附帶信息。此時(shí)，利用HTTP或SMTP將從接收側(cè)發(fā)送的搜索結(jié)果發(fā)送給便攜電話，便攜電話利用文本來(lái)顯示搜索結(jié)果，告知用戶。并且，該附帶信息也可包含音樂(lè)或影像的藝術(shù)家名、標(biāo)題、關(guān)聯(lián)的URL等。另外，上述附帶信息在檢索結(jié)果是CM的情況下，還包含該CM的商品信息等。另外，該便攜電話在檢索結(jié)果中存在關(guān)于由MPEG7等記述的作為檢索結(jié)果的內(nèi)容的摘要信息或關(guān)聯(lián)信息的情況下，還顯示這些摘要信息或關(guān)聯(lián)信息。
本發(fā)明可在便攜終端接收在實(shí)際環(huán)境中播放的影像或CM，使用該接收到的影像信號(hào)(目的影像信號(hào)想搜索的影像)，從龐大的影像CM數(shù)據(jù)庫(kù)中檢索相同的影像或CM。
另外，本發(fā)明可在便攜終端接收在實(shí)際環(huán)境中播放的CM等影像信號(hào)或音樂(lè)等音響信號(hào)，使用該接收到的影像信號(hào)或音響信號(hào)(目的信號(hào)想搜索的影像信號(hào)或音響信號(hào))，從存儲(chǔ)龐大的影像或音樂(lè)的信號(hào)信息的數(shù)據(jù)庫(kù)中，檢索相同的影像或音樂(lè)。
權(quán)利要求
1.一種信號(hào)檢測(cè)系統(tǒng)，從存儲(chǔ)信號(hào)中搜索出類似于目的信號(hào)的部分，其特征在于，具有存儲(chǔ)特征計(jì)算部，根據(jù)所述存儲(chǔ)信號(hào)，計(jì)算存儲(chǔ)特征；目的特征計(jì)算部，根據(jù)所述目的信號(hào)，計(jì)算目的特征；以及特征對(duì)照部，使用根據(jù)所述存儲(chǔ)特征的規(guī)定統(tǒng)計(jì)量使所述存儲(chǔ)特征簡(jiǎn)并的矢量、以及根據(jù)所述目的特征的規(guī)定統(tǒng)計(jì)量使所述目的特征簡(jiǎn)并的矢量，計(jì)算類似度。
2.一種信號(hào)檢測(cè)服務(wù)器，從存儲(chǔ)信號(hào)中搜索出類似于從用戶終端輸入的目的信號(hào)的部分，其特征在于，具有用戶信號(hào)輸入部，接收所述用戶終端得到的所述目的信號(hào)的目的特征；存儲(chǔ)特征計(jì)算部，根據(jù)所述存儲(chǔ)信號(hào)，計(jì)算存儲(chǔ)特征；以及特征對(duì)照部，使用根據(jù)所述存儲(chǔ)特征的規(guī)定統(tǒng)計(jì)量使所述存儲(chǔ)特征簡(jiǎn)并的矢量、以及根據(jù)所述目的特征的規(guī)定統(tǒng)計(jì)量使所述目的特征簡(jiǎn)并的矢量，計(jì)算類似度。
3.一種信號(hào)搜索方法，從存儲(chǔ)信號(hào)中搜索類似于目的信號(hào)的信號(hào)，其特征在于，具有目的特征計(jì)算步驟，根據(jù)目的信號(hào)，計(jì)算目的特征；目的統(tǒng)計(jì)量計(jì)算步驟，根據(jù)所述目的特征，計(jì)算目的統(tǒng)計(jì)量；以及特征對(duì)照步驟，使用根據(jù)所述存儲(chǔ)特征的規(guī)定統(tǒng)計(jì)量使所述存儲(chǔ)特征簡(jiǎn)并的矢量、以及根據(jù)所述目的特征的規(guī)定統(tǒng)計(jì)量使所述目的特征簡(jiǎn)并的矢量，計(jì)算類似度。
4.一種信號(hào)搜索裝置，從存儲(chǔ)信號(hào)中搜索類似于目的信號(hào)的信號(hào)，其特征在于，具有目的特征計(jì)算單元，根據(jù)目的信號(hào)，計(jì)算目的特征；目的統(tǒng)計(jì)量計(jì)算單元，根據(jù)所述目的特征，計(jì)算目的統(tǒng)計(jì)量；存儲(chǔ)統(tǒng)計(jì)量計(jì)算單元，根據(jù)基于所述存儲(chǔ)信號(hào)的存儲(chǔ)特征，計(jì)算存儲(chǔ)統(tǒng)計(jì)量；以及特征對(duì)照單元，使用根據(jù)所述存儲(chǔ)特征的規(guī)定統(tǒng)計(jì)量使所述存儲(chǔ)特征簡(jiǎn)并的矢量、以及根據(jù)所述目的特征的規(guī)定統(tǒng)計(jì)量使所述目的特征簡(jiǎn)并的矢量，計(jì)算類似度。
5.根據(jù)權(quán)利要求1所述的音響信號(hào)檢測(cè)系統(tǒng)，其特征在于該系統(tǒng)是作為所述信號(hào)檢測(cè)系統(tǒng)的音響信號(hào)檢測(cè)系統(tǒng)，從作為所述存儲(chǔ)信號(hào)的存儲(chǔ)音響信號(hào)中，搜索出長(zhǎng)度比該存儲(chǔ)音響信號(hào)短乃至與其相同的、類似于所述目的信號(hào)即目的音響信號(hào)的部分，所述存儲(chǔ)特征計(jì)算部根據(jù)所述存儲(chǔ)音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的所述存儲(chǔ)特征，所述目的特征計(jì)算部根據(jù)所述目的音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的所述目的特征，所述音響信號(hào)檢測(cè)系統(tǒng)還具有存儲(chǔ)特征面積選擇部，根據(jù)所述存儲(chǔ)特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，從該存儲(chǔ)特征中選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由該選擇到的要素的矢量構(gòu)成的存儲(chǔ)面積選擇特征；以及目的特征面積選擇部，根據(jù)所述目的特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，從該目的特征中選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由該選擇到的要素的矢量構(gòu)成的目的面積選擇特征，所述特征對(duì)照部在所述存儲(chǔ)面積選擇特征中設(shè)定對(duì)照區(qū)間，計(jì)算所述目的面積選擇特征和所述存儲(chǔ)面積選擇特征中的該對(duì)照區(qū)間的彼此之間的類似度，對(duì)于所述存儲(chǔ)面積選擇特征，使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，根據(jù)所述類似度，搜索與目的面積選擇特征類似的存儲(chǔ)面積選擇特征的區(qū)域。
6.根據(jù)權(quán)利要求5所述的音響信號(hào)檢測(cè)系統(tǒng)，其特征在于所述目的特征面積選擇部和存儲(chǔ)特征面積選擇部根據(jù)周邊的特征矢量，對(duì)每個(gè)要素計(jì)算平均值以作為所述面積選擇時(shí)的統(tǒng)計(jì)量，根據(jù)從各要素中減去該平均值所得的值來(lái)選擇特征部位，計(jì)算出由持有該被選擇部位的要素實(shí)值的矢量構(gòu)成的面積選擇特征。
7.根據(jù)權(quán)利要求6所述的音響信號(hào)檢測(cè)系統(tǒng)，其特征在于所述目的特征面積選擇部和存儲(chǔ)特征面積選擇部根據(jù)周邊的特征矢量，對(duì)每個(gè)要素計(jì)算平均值以作為所述面積選擇時(shí)的統(tǒng)計(jì)量，選擇從各要素中減去該平均值所得的值的絕對(duì)值超過(guò)規(guī)定閾值的部位，使用由持有該被選擇部位的要素實(shí)值的矢量構(gòu)成的面積選擇特征。
8.根據(jù)權(quán)利要求6所述的音響信號(hào)檢測(cè)系統(tǒng)，其特征在于在所述目的特征面積選擇過(guò)程和所述存儲(chǔ)特征面積選擇過(guò)程中，根據(jù)周邊的特征矢量，對(duì)每個(gè)要素計(jì)算平均值以作為所述面積選擇時(shí)的統(tǒng)計(jì)量，選擇從各要素中減去該平均值所得的值的絕對(duì)值的上位一至多個(gè)要素，并使用由該選擇到的要素的矢量構(gòu)成的面積選擇特征。
9.根據(jù)權(quán)利要求5所述的音響信號(hào)檢測(cè)系統(tǒng)，其特征在于，具有存儲(chǔ)特征規(guī)格化部，根據(jù)所述存儲(chǔ)特征、以及該存儲(chǔ)特征的采樣時(shí)間附近的其它存儲(chǔ)特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，對(duì)存儲(chǔ)特征中的矢量的每個(gè)要素進(jìn)行規(guī)格化，導(dǎo)出由將該規(guī)格化得到的數(shù)值設(shè)為要素的矢量構(gòu)成的存儲(chǔ)規(guī)格化特征；以及目的特征規(guī)格化部，根據(jù)所述目的特征、以及該目的特征的采樣時(shí)間附近的其它目的特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，對(duì)目的特征中的矢量的每個(gè)要素進(jìn)行規(guī)格化，導(dǎo)出由將該規(guī)格化得到的數(shù)值設(shè)為要素的矢量構(gòu)成的目的規(guī)格化特征。
10.根據(jù)權(quán)利要求5所述的音響信號(hào)檢測(cè)系統(tǒng)，其特征在于所述音響信號(hào)檢測(cè)系統(tǒng)由用戶終端與信號(hào)檢測(cè)服務(wù)器構(gòu)成，所述用戶終端請(qǐng)求搜索類似于所述目的音響信號(hào)的所述存儲(chǔ)信號(hào)，所述信號(hào)檢測(cè)服務(wù)器從所述存儲(chǔ)音響信號(hào)中，搜索出長(zhǎng)度比該存儲(chǔ)音響信號(hào)短乃至與其相同的、類似于所述目的音響信號(hào)的部分，所述用戶終端具有所述目的特征計(jì)算部與所述目的特征面積選擇部，所述信號(hào)檢測(cè)服務(wù)器具有所述存儲(chǔ)特征計(jì)算部、所述存儲(chǔ)特征面積選擇部、以及所述特征對(duì)照部。
11.根據(jù)權(quán)利要求2所述的音響信號(hào)檢測(cè)服務(wù)器，其特征在于所述信號(hào)檢測(cè)服務(wù)器是一種音響信號(hào)檢測(cè)服務(wù)器，從作為所述存儲(chǔ)信號(hào)的存儲(chǔ)音響信號(hào)中，搜索出長(zhǎng)度比該存儲(chǔ)音響信號(hào)短乃至與其相同的、類似于從所述用戶終端輸入的所述目的信號(hào)即目的音響信號(hào)的部分，所述用戶終端中，所述用戶信號(hào)輸入部具有目的特征計(jì)算部，根據(jù)所述目的音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的目的特征；以及目的特征面積選擇部，根據(jù)所述目的特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，從該目的特征中，選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由該選擇到的要素的矢量構(gòu)成的、作為所述目的特征的目的面積選擇特征，所述存儲(chǔ)特征計(jì)算部根據(jù)所述存儲(chǔ)音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的所述存儲(chǔ)特征，所述音響信號(hào)檢測(cè)服務(wù)器還具有存儲(chǔ)特征面積選擇部，根據(jù)所述存儲(chǔ)特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，從該存儲(chǔ)特征中，選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由該選擇到的要素的矢量構(gòu)成的存儲(chǔ)面積選擇特征，所述特征對(duì)照部在所述存儲(chǔ)面積選擇特征中設(shè)定對(duì)照區(qū)間，計(jì)算所述目的面積選擇特征和所述存儲(chǔ)面積選擇特征中的該對(duì)照區(qū)間的彼此之間的類似度，對(duì)于所述存儲(chǔ)面積選擇特征，使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，根據(jù)所述類似度，搜索與目的面積選擇特征類似的存儲(chǔ)面積選擇特征的區(qū)域。
12.根據(jù)權(quán)利要求3所述的音響信號(hào)檢測(cè)方法，其特征在于所述信號(hào)搜索方法是一種音響信號(hào)檢測(cè)方法，從作為所述存儲(chǔ)信號(hào)的存儲(chǔ)音響信號(hào)中，搜索出長(zhǎng)度比該存儲(chǔ)音響信號(hào)短乃至與其相同的、類似于所述目的信號(hào)即目的音響信號(hào)的部分，在所述存儲(chǔ)特征計(jì)算步驟中，根據(jù)所述存儲(chǔ)音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的存儲(chǔ)特征，在所述目的特征計(jì)算步驟中，根據(jù)所述目的音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的目的特征，所述音響信號(hào)檢測(cè)方法還具有存儲(chǔ)特征面積選擇步驟，根據(jù)所述存儲(chǔ)特征計(jì)算規(guī)定的統(tǒng)計(jì)量，從該存儲(chǔ)特征中，選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由該選擇到的要素的矢量構(gòu)成的存儲(chǔ)面積選擇特征；以及目的特征面積選擇步驟，根據(jù)所述目的特征計(jì)算規(guī)定的統(tǒng)計(jì)量，從該目的特征中，選擇其統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由該選擇到的要素的矢量構(gòu)成的目的面積選擇特征，在所述特征對(duì)照步驟中，在所述存儲(chǔ)面積選擇特征中設(shè)定對(duì)照區(qū)間，計(jì)算所述目的面積選擇特征和所述存儲(chǔ)面積選擇特征中的該對(duì)照區(qū)間的彼此之間的類似度，使所述存儲(chǔ)面積選擇特征中的對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，根據(jù)所述類似度，搜索與目的面積選擇特征類似的存儲(chǔ)面積選擇特征的區(qū)域。
13.根據(jù)權(quán)利要求1所述的音響信號(hào)檢測(cè)系統(tǒng)，其特征在于該系統(tǒng)是作為所述信號(hào)檢測(cè)系統(tǒng)的音響信號(hào)檢測(cè)系統(tǒng)，從作為所述存儲(chǔ)信號(hào)的存儲(chǔ)音響信號(hào)中，搜索出長(zhǎng)度比該存儲(chǔ)音響信號(hào)短乃至與其相同的、類似于所述目的信號(hào)即目的音響信號(hào)的部分，所述存儲(chǔ)特征計(jì)算部根據(jù)所述存儲(chǔ)音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的所述存儲(chǔ)特征，所述目的特征計(jì)算部根據(jù)所述目的音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的所述目的特征，所述音響信號(hào)檢測(cè)系統(tǒng)還具有存儲(chǔ)特征規(guī)格化部，根據(jù)所述存儲(chǔ)特征、以及該存儲(chǔ)特征的采樣時(shí)間附近的其它存儲(chǔ)特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，對(duì)存儲(chǔ)特征中的矢量的每個(gè)要素進(jìn)行規(guī)格化，導(dǎo)出由將該規(guī)格化得到的數(shù)值設(shè)為要素的矢量構(gòu)成的存儲(chǔ)規(guī)格化特征；目的特征規(guī)格化部，根據(jù)所述目的特征、以及該目的特征的采樣時(shí)間附近的其它目的特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，對(duì)目的特征中的矢量的每個(gè)要素進(jìn)行規(guī)格化，導(dǎo)出由將該規(guī)格化得到的數(shù)值設(shè)為要素的矢量構(gòu)成的目的規(guī)格化特征；存儲(chǔ)特征量化部，根據(jù)所述存儲(chǔ)規(guī)格化特征，導(dǎo)出由將量化得到的值設(shè)為要素的矢量構(gòu)成的存儲(chǔ)量化特征；以及目的特征量化部，根據(jù)所述目的規(guī)格化特征，導(dǎo)出由將量化得到的值設(shè)為要素的矢量構(gòu)成的目的量化特征，所述特征對(duì)照部在所述存儲(chǔ)量化特征中設(shè)定對(duì)照區(qū)間，計(jì)算所述目的量化特征和所述存儲(chǔ)量化特征中的該對(duì)照區(qū)間的彼此之間的類似度，對(duì)于所述存儲(chǔ)量化特征，使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，根據(jù)所述類似度，搜索與目的量化特征類似的存儲(chǔ)量化特征的區(qū)域。
14.根據(jù)權(quán)利要求13所述的音響信號(hào)檢測(cè)系統(tǒng)，其特征在于所述特征矢量是將按每個(gè)規(guī)定間隔采樣的每個(gè)頻率的強(qiáng)度信息設(shè)為要素的矢量，所述統(tǒng)計(jì)量是對(duì)照區(qū)間中的特征矢量的平均值和方差。
15.根據(jù)權(quán)利要求13所述的音響信號(hào)檢測(cè)系統(tǒng)，其特征在于所述目的特征量化部和所述存儲(chǔ)特征量化部將二進(jìn)制矢量作為量化特征，該二進(jìn)制矢量是利用規(guī)定閾值對(duì)所述規(guī)格化特征的各要素進(jìn)行標(biāo)量量化而得到的。
16.根據(jù)權(quán)利要求13所述的音響信號(hào)檢測(cè)系統(tǒng)，其特征在于所述目的特征量化部和所述存儲(chǔ)特征量化部將一矢量作為量化特征，該矢量在要素中持有通過(guò)矢量量化所述規(guī)格化特征的矢量要素中多個(gè)要素所得到的代碼。
17.根據(jù)權(quán)利要求13所述的音響信號(hào)檢測(cè)系統(tǒng)，其特征在于所述音響信號(hào)檢測(cè)系統(tǒng)由用戶終端與信號(hào)檢測(cè)服務(wù)器構(gòu)成，所述用戶終端請(qǐng)求搜索類似于所述目的音響信號(hào)的存儲(chǔ)信號(hào)，所述信號(hào)檢測(cè)服務(wù)器從所述存儲(chǔ)音響信號(hào)中，搜索出長(zhǎng)度比該存儲(chǔ)音響信號(hào)短乃至與其相同的、類似于所述目的音響信號(hào)的部分，所述用戶終端具有所述目的特征計(jì)算部、所述目的特征規(guī)格化部、以及所述目的特征量化部，所述信號(hào)檢測(cè)服務(wù)器具有所述存儲(chǔ)特征計(jì)算部、所述存儲(chǔ)特征規(guī)格化部、所述存儲(chǔ)特征量化部、以及所述特征對(duì)照部。
18.一種使用權(quán)利要求2所述的音響信號(hào)檢測(cè)服務(wù)器的音響信號(hào)檢測(cè)系統(tǒng)，其特征在于作為所述信號(hào)檢測(cè)服務(wù)器的音響信號(hào)檢測(cè)服務(wù)器是如下的音響信號(hào)檢測(cè)服務(wù)器，即從作為所述存儲(chǔ)信號(hào)的存儲(chǔ)音響信號(hào)中，搜索出長(zhǎng)度比該存儲(chǔ)音響信號(hào)短乃至與其相同的、類似于從所述用戶終端輸入的所述目的信號(hào)即目的音響信號(hào)的部分，所述用戶終端具有目的特征計(jì)算部，根據(jù)作為所述目的信號(hào)的目的音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的所述目的特征；目的特征規(guī)格化部，根據(jù)所述目的特征、以及該目的特征的采樣時(shí)間附近的其它目的特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，對(duì)目的特征中的矢量的每個(gè)要素進(jìn)行規(guī)格化，導(dǎo)出由將該規(guī)格化得到的數(shù)值設(shè)為要素的矢量構(gòu)成的目的規(guī)格化特征；以及目的特征量化部，根據(jù)所述目的規(guī)格化特征，導(dǎo)出由將量化得到的值設(shè)為要素的矢量構(gòu)成的目的量化特征，所述存儲(chǔ)特征計(jì)算部根據(jù)所述存儲(chǔ)音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的所述存儲(chǔ)特征，所述音響信號(hào)檢測(cè)服務(wù)器還具有存儲(chǔ)特征規(guī)格化部，根據(jù)所述存儲(chǔ)特征、以及該存儲(chǔ)特征的采樣時(shí)間附近的其它存儲(chǔ)特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，對(duì)存儲(chǔ)特征中的矢量的每個(gè)要素進(jìn)行規(guī)格化，導(dǎo)出由將該規(guī)格化得到的數(shù)值設(shè)為要素的矢量構(gòu)成的存儲(chǔ)規(guī)格化特征；以及存儲(chǔ)特征量化部，根據(jù)所述存儲(chǔ)規(guī)格化特征，導(dǎo)出由將量化得到的值設(shè)為要素的矢量構(gòu)成的存儲(chǔ)量化特征，所述特征對(duì)照部在所述存儲(chǔ)量化特征中設(shè)定對(duì)照區(qū)間，計(jì)算所述目的量化特征和所述存儲(chǔ)量化特征中的該對(duì)照區(qū)間的彼此之間的類似度，對(duì)于所述存儲(chǔ)量化特征，使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，根據(jù)所述類似度，搜索與目的量化特征類似的存儲(chǔ)量化特征的區(qū)域。
19.根據(jù)權(quán)利要求3所述的音響信號(hào)檢測(cè)方法，其特征在于所述信號(hào)搜索方法是一種音響信號(hào)檢測(cè)方法，從作為所述存儲(chǔ)信號(hào)的存儲(chǔ)音響信號(hào)中，搜索出長(zhǎng)度比該存儲(chǔ)音響信號(hào)短乃至與其相同的、類似于所述目的信號(hào)即目的音響信號(hào)的部分，在所述存儲(chǔ)特征計(jì)算步驟中，根據(jù)所述存儲(chǔ)音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的所述存儲(chǔ)特征，在所述目的特征計(jì)算步驟中，根據(jù)所述目的音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算由特征矢量構(gòu)成的所述目的特征，所述音響信號(hào)檢測(cè)方法還具有存儲(chǔ)特征規(guī)格化步驟，根據(jù)所述存儲(chǔ)特征、以及該存儲(chǔ)特征的采樣時(shí)間附近的其它存儲(chǔ)特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，對(duì)存儲(chǔ)特征中的矢量的每個(gè)要素進(jìn)行規(guī)格化，導(dǎo)出由將該規(guī)格化得到的數(shù)值設(shè)為要素的矢量構(gòu)成的存儲(chǔ)規(guī)格化特征；目的特征規(guī)格化步驟，根據(jù)所述目的特征、以及該目的特征的采樣時(shí)間附近的其它目的特征，計(jì)算規(guī)定的統(tǒng)計(jì)量，對(duì)目的特征中的矢量的每個(gè)要素進(jìn)行規(guī)格化，導(dǎo)出由將該規(guī)格化得到的數(shù)值設(shè)為要素的矢量構(gòu)成的目的規(guī)格化特征；存儲(chǔ)特征量化步驟，根據(jù)所述存儲(chǔ)規(guī)格化特征，導(dǎo)出由將量化得到的值設(shè)為要素的矢量構(gòu)成的存儲(chǔ)量化特征；以及目的特征量化步驟，根據(jù)所述目的規(guī)格化特征，導(dǎo)出由將量化得到的值設(shè)為要素的矢量構(gòu)成的目的量化特征，在所述特征對(duì)照步驟中，在所述存儲(chǔ)量化特征中設(shè)定對(duì)照區(qū)間，計(jì)算所述目的量化特征和所述存儲(chǔ)量化特征中的該對(duì)照區(qū)間的彼此之間的類似度，對(duì)于所述存儲(chǔ)量化特征，使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，根據(jù)所述類似度，搜索與目的量化特征類似的存儲(chǔ)量化特征的區(qū)域。
20.根據(jù)權(quán)利要求4所述的影像信號(hào)搜索裝置，其特征在于作為所述信號(hào)搜索裝置，從作為所述存儲(chǔ)信號(hào)的存儲(chǔ)影像信號(hào)中、搜索類似于所述目的信號(hào)即目的影像信號(hào)的信號(hào)的影像信號(hào)搜索裝置還具有目的特征面積選擇單元，對(duì)所述目的統(tǒng)計(jì)量，利用規(guī)定閾值，進(jìn)行閾值處理，選擇目的統(tǒng)計(jì)量，并算出目的面積選擇特征，該目的面積選擇特征由將選擇到的目的統(tǒng)計(jì)量設(shè)為要素的矢量或矩陣構(gòu)成；以及存儲(chǔ)特征面積選擇單元，對(duì)所述存儲(chǔ)統(tǒng)計(jì)量，利用規(guī)定閾值，進(jìn)行閾值處理，選擇存儲(chǔ)統(tǒng)計(jì)量，并算出存儲(chǔ)面積選擇特征，該存儲(chǔ)面積選擇特征由將選擇到的存儲(chǔ)統(tǒng)計(jì)量設(shè)為要素的矢量或矩陣構(gòu)成，所述特征對(duì)照單元對(duì)所述存儲(chǔ)面積選擇特征設(shè)定對(duì)照區(qū)間，計(jì)算對(duì)照區(qū)間中的所述存儲(chǔ)面積選擇特征與所述目的面積選擇特征的至少一部分的類似度，使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，計(jì)算出類似度。
21.根據(jù)權(quán)利要求20所述的影像信號(hào)搜索裝置，其特征在于所述目的特征面積選擇部和所述存儲(chǔ)特征面積選擇部分別算出目的特征和存儲(chǔ)特征在第1規(guī)定時(shí)間區(qū)間中的平均值以作為統(tǒng)計(jì)量，選擇從所述要素中減去該平均值后的值的絕對(duì)值超過(guò)規(guī)定閾值的目的統(tǒng)計(jì)量和存儲(chǔ)統(tǒng)計(jì)量。
22.根據(jù)權(quán)利要求21所述的影像信號(hào)搜索裝置，其特征在于所述目的特征量算出單元和所述存儲(chǔ)統(tǒng)計(jì)量計(jì)算單元分別對(duì)目的特征和存儲(chǔ)特征的每個(gè)要素算出在第2規(guī)定時(shí)間區(qū)間中的平均值與標(biāo)準(zhǔn)偏差，并使用該平均值與標(biāo)準(zhǔn)偏差，對(duì)目的特征和存儲(chǔ)特征進(jìn)行規(guī)格化，由此算出目的統(tǒng)計(jì)量和存儲(chǔ)統(tǒng)計(jì)量。
23.根據(jù)權(quán)利要求3所述的影像信號(hào)搜索方法，其特征在于所述信號(hào)搜索方法是一種影像信號(hào)搜索方法，從作為所述存儲(chǔ)信號(hào)的存儲(chǔ)影像信號(hào)中，搜索類似于所述目的信號(hào)即目的影像信號(hào)的信號(hào)，該方法還具有目的特征面積選擇步驟，對(duì)所述目的統(tǒng)計(jì)量，利用規(guī)定閾值進(jìn)行閾值處理，選擇目的統(tǒng)計(jì)量，并算出目的面積選擇特征，該目的面積選擇特征由將選擇到的目的統(tǒng)計(jì)量設(shè)為要素的矢量或矩陣構(gòu)成；存儲(chǔ)統(tǒng)計(jì)量計(jì)算步驟，根據(jù)存儲(chǔ)特征來(lái)計(jì)算規(guī)定的存儲(chǔ)統(tǒng)計(jì)量；以及存儲(chǔ)特征面積選擇步驟，對(duì)所述存儲(chǔ)統(tǒng)計(jì)量，利用規(guī)定閾值進(jìn)行閾值處理，選擇存儲(chǔ)統(tǒng)計(jì)量，并算出存儲(chǔ)面積選擇特征，該存儲(chǔ)面積選擇特征由將選擇到的存儲(chǔ)統(tǒng)計(jì)量設(shè)為要素的矢量或矩陣構(gòu)成，在所述特征對(duì)照步驟中，對(duì)所述存儲(chǔ)面積選擇特征設(shè)定對(duì)照區(qū)間，計(jì)算對(duì)照區(qū)間中所述存儲(chǔ)面積選擇特征與所述目的面積選擇特征的至少一部分的類似度。
24.一種影像信號(hào)搜索程序，用于使計(jì)算機(jī)作為權(quán)利要求20-22的任一項(xiàng)所述的影像信號(hào)搜索裝置來(lái)發(fā)揮作用。
25.一種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄權(quán)利要求24所述的計(jì)算機(jī)程序。
26.根據(jù)權(quán)利要求4所述的影像信號(hào)搜索裝置，其特征在于作為所述信號(hào)搜索裝置，從作為所述存儲(chǔ)信號(hào)的存儲(chǔ)影像信號(hào)中、搜索類似于所述目的信號(hào)即目的影像信號(hào)的信號(hào)的影像信號(hào)搜索裝置還具有目的特征規(guī)格化單元，使用所述目的統(tǒng)計(jì)量與所述目的特征，算出目的規(guī)格化特征的要素；目的量化單元，使用規(guī)定閾值，量化所述目的規(guī)格化特征的要素，求出目的量化特征的要素，生成目的矢量；存儲(chǔ)特征規(guī)格化單元，使用所述存儲(chǔ)統(tǒng)計(jì)量與所述存儲(chǔ)特征，算出存儲(chǔ)規(guī)格化特征的要素；以及存儲(chǔ)量化單元，使用規(guī)定閾值，量化所述存儲(chǔ)規(guī)格化特征的要素，求出存儲(chǔ)量化特征的要素，生成存儲(chǔ)矢量，所述特征對(duì)照單元對(duì)所述存儲(chǔ)矢量設(shè)定對(duì)照區(qū)間，計(jì)算對(duì)照區(qū)間中所述存儲(chǔ)矢量的要素與所述目的矢量的至少一部分要素的類似度，使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，計(jì)算出類似度。
27.根據(jù)權(quán)利要求3所述的影像信號(hào)搜索方法，其特征在于所述信號(hào)搜索方法是一種影像信號(hào)搜索方法，從作為所述存儲(chǔ)信號(hào)的存儲(chǔ)影像信號(hào)中，搜索類似于作為所述目的信號(hào)的目的影像信號(hào)的信號(hào)，該方法還具有目的特征規(guī)格化步驟，使用所述目的統(tǒng)計(jì)量與所述目的特征，算出目的規(guī)格化特征的要素；目的量化步驟，使用規(guī)定閾值，量化所述目的規(guī)格化特征的要素，求出目的量化特征的要素，生成目的矢量；存儲(chǔ)統(tǒng)計(jì)量計(jì)算步驟，根據(jù)存儲(chǔ)特征來(lái)計(jì)算存儲(chǔ)統(tǒng)計(jì)量；存儲(chǔ)特征規(guī)格化步驟，使用所述存儲(chǔ)統(tǒng)計(jì)量與所述存儲(chǔ)特征，算出存儲(chǔ)規(guī)格化特征的要素；以及存儲(chǔ)量化步驟，使用規(guī)定閾值，量化所述存儲(chǔ)規(guī)格化特征的要素，求出存儲(chǔ)量化特征的要素，生成存儲(chǔ)矢量，在所述特征對(duì)照步驟中，對(duì)所述存儲(chǔ)矢量設(shè)定對(duì)照區(qū)間，計(jì)算對(duì)照區(qū)間中所述存儲(chǔ)矢量的要素與所述目的矢量的至少一部分要素的類似度。
28.一種影像信號(hào)搜索程序，用于使計(jì)算機(jī)作為權(quán)利要求26所述的影像信號(hào)搜索裝置來(lái)發(fā)揮作用。
29.一種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄權(quán)利要求28所述的影像信號(hào)搜索程序。
30.根據(jù)權(quán)利要求4所述的信號(hào)搜索裝置，其特征在于所述信號(hào)搜索裝置還具有目的特征規(guī)格化單元，使用所述目的統(tǒng)計(jì)量與所述目的特征，算出目的規(guī)格化特征的要素；目的面積選擇非線性量化單元，將所述目的規(guī)格化特征的要素設(shè)為輸入，求出被選擇的目的非線性量化特征的要素，生成目的矢量；存儲(chǔ)特征規(guī)格化單元，使用所述存儲(chǔ)統(tǒng)計(jì)量與所述存儲(chǔ)特征，算出存儲(chǔ)規(guī)格化特征的要素；以及存儲(chǔ)面積選擇非線性量化單元，將所述存儲(chǔ)規(guī)格化特征的要素設(shè)為輸入，求出被選擇的存儲(chǔ)非線性量化特征的要素，生成存儲(chǔ)矢量，所述特征對(duì)照單元對(duì)所述存儲(chǔ)矢量設(shè)定對(duì)照區(qū)間，計(jì)算對(duì)照區(qū)間中所述存儲(chǔ)矢量的要素與所述目的矢量的至少一部分要素的類似度，使對(duì)照區(qū)間依次移動(dòng)并重復(fù)執(zhí)行，計(jì)算出類似度。
31.根據(jù)權(quán)利要求30所述的信號(hào)搜索裝置，其特征在于所述目的面積選擇非線性量化單元和所述存儲(chǔ)面積選擇非線性量化單元對(duì)多維矢量進(jìn)行芙諾以分割，對(duì)與特征矢量所屬的芙諾以邊界面的距離進(jìn)行非線性量化。
32.根據(jù)權(quán)利要求30所述的信號(hào)搜索裝置，其特征在于所述目的面積選擇非線性量化單元由目的特征面積選擇單元與對(duì)特征矢量進(jìn)行非線性量化的目的特征非線性量化單元構(gòu)成，所述目的特征面積選擇單元選擇統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由選擇到的要素的多維矢量構(gòu)成的目的面積選擇特征。
33.根據(jù)權(quán)利要求30所述的信號(hào)搜索裝置，其特征在于所述存儲(chǔ)面積選擇量化單元由存儲(chǔ)特征面積選擇單元與對(duì)特征矢量進(jìn)行非線性量化的存儲(chǔ)特征非線性量化單元構(gòu)成，所述存儲(chǔ)特征面積選擇單元選擇統(tǒng)計(jì)量超過(guò)規(guī)定閾值的要素，導(dǎo)出由選擇到的要素的多維矢量構(gòu)成的存儲(chǔ)面積選擇特征。
34.根據(jù)權(quán)利要求3所述的信號(hào)搜索方法，其特征在于所述信號(hào)搜索方法還具有目的特征規(guī)格化步驟，使用所述目的統(tǒng)計(jì)量與所述目的特征，算出目的規(guī)格化特征的要素；目的面積選擇非線性量化步驟，將所述目的規(guī)格化特征的要素設(shè)為輸入，求出被選擇的目的非線性量化特征的要素，生成目的矢量；存儲(chǔ)統(tǒng)計(jì)量計(jì)算步驟，根據(jù)存儲(chǔ)特征，計(jì)算存儲(chǔ)統(tǒng)計(jì)量；存儲(chǔ)特征規(guī)格化步驟，使用所述存儲(chǔ)統(tǒng)計(jì)量與所述存儲(chǔ)特征，算出存儲(chǔ)規(guī)格化特征的要素；以及存儲(chǔ)面積選擇非線性量化步驟，將所述存儲(chǔ)規(guī)格化特征的要素設(shè)為輸入，求出被選擇的存儲(chǔ)非線性量化特征的要素，生成存儲(chǔ)矢量，對(duì)所述存儲(chǔ)矢量設(shè)定對(duì)照區(qū)間，計(jì)算對(duì)照區(qū)間中所述存儲(chǔ)矢量的要素與所述目的矢量的至少一部分要素的類似度。
35.一種信號(hào)搜索程序，用于使計(jì)算機(jī)作為權(quán)利要求30-33的任一項(xiàng)所述的信號(hào)搜索裝置來(lái)發(fā)揮作用。
36.一種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄權(quán)利要求35所述的信號(hào)搜索程序。
全文摘要
本發(fā)明的音響信號(hào)檢測(cè)系統(tǒng)從存儲(chǔ)音響信號(hào)中，搜索出類似于目的音響信號(hào)的部分，其中，具有存儲(chǔ)特征計(jì)算部，根據(jù)存儲(chǔ)音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算存儲(chǔ)特征；目的特征計(jì)算部，根據(jù)目的音響信號(hào)的時(shí)間系列數(shù)據(jù)，計(jì)算目的特征；存儲(chǔ)特征面積選擇部，從存儲(chǔ)特征中，選擇存儲(chǔ)特征的統(tǒng)計(jì)量超過(guò)閾值的要素，導(dǎo)出由選擇的要素構(gòu)成的存儲(chǔ)面積選擇特征；目的特征面積選擇部，從目的特征中選擇目的特征的統(tǒng)計(jì)量超過(guò)閾值的要素，導(dǎo)出由選擇的要素構(gòu)成的目的面積選擇特征；以及特征對(duì)照部，對(duì)存儲(chǔ)面積選擇特征設(shè)定對(duì)照區(qū)間，計(jì)算目的和存儲(chǔ)面積選擇特征中對(duì)照區(qū)間的彼此之間的類似度。
文檔編號(hào)G10L11/00GK1898720SQ20058000135
公開日2007年1月17日 申請(qǐng)日期2005年7月8日 優(yōu)先權(quán)日2004年7月9日
發(fā)明者黑住隆行, 永野秀尚, 柏野邦夫 申請(qǐng)人:日本電信電話株式會(huì)社