本申請(qǐng)主張平成27年(2015年)4月20日提出的日本申請(qǐng)?zhí)卦?015-85964的優(yōu)先權(quán)，參照其內(nèi)容并引入本申請(qǐng)。

本發(fā)明涉及從圖像檢測(cè)規(guī)定的對(duì)象的技術(shù)。

背景技術(shù)：

近年，通過網(wǎng)絡(luò)的寬帶化、各種存儲(chǔ)裝置的大容量化，大規(guī)模地存儲(chǔ)圖像和影像并將它們發(fā)布的服務(wù)成為可能。

在大規(guī)模地處理內(nèi)容的系統(tǒng)中檢索技術(shù)是重要技術(shù)。作為一般的檢索技術(shù)，是檢索與圖像、影像內(nèi)容相關(guān)聯(lián)的文本信息的技術(shù)。在文本信息的檢索技術(shù)中，作為查詢輸入一個(gè)或多個(gè)關(guān)鍵詞，作為檢索結(jié)果返還與含有所輸入的關(guān)鍵詞的文本信息相關(guān)聯(lián)的圖像、影像。此外，還提案有從圖像自身提取信息進(jìn)行檢索的技術(shù)。如在日本特開2000-123173號(hào)公報(bào)和日本特開2007-334402號(hào)公報(bào)等中記載的那樣，在類似圖像檢索中，通過在數(shù)據(jù)庫注冊(cè)成為檢索對(duì)象的注冊(cè)圖像的特征數(shù)值化后的圖像特征量來實(shí)現(xiàn)高速的檢索。

類似圖像檢索的圖像特征量的提取中，對(duì)含有成為檢索對(duì)象的事物的圖像中的部分區(qū)域進(jìn)行檢測(cè)的處理多處于重要地位。例如，在使用類似圖像檢索的面部檢索中，檢測(cè)面部區(qū)域，從檢測(cè)到的面部區(qū)域提取圖像特征量。同樣，在車輛的類似檢索中，檢測(cè)圖像中的車輛所在的區(qū)域。

作為從圖像中檢測(cè)特定的物體所在的區(qū)域的方法，提案有使用學(xué)習(xí)數(shù)據(jù)的方法。例如，通過根據(jù)將拍攝到成為檢測(cè)對(duì)象的物體的圖像的集合作為學(xué)習(xí)資料使用的adaboost法進(jìn)行的學(xué)習(xí)，將基于局部的特征一致的弱分類器在級(jí)聯(lián)上并列而構(gòu)成而分類器。該方法特別在人物的面部區(qū)域檢測(cè)的領(lǐng)域顯示高的有效性。

此外，在該方法中，需要按檢測(cè)的對(duì)象物的各個(gè)類別進(jìn)行鑒別器的學(xué)習(xí)。就這種情況下的類別而言，單純意義上的分類是不充分的。在各類別內(nèi)，圖像的觀看一定程度上需要為均質(zhì)。例如，在面部檢測(cè)中，正面面部與側(cè)面部作為不同的鑒別器進(jìn)行學(xué)習(xí)。此外，在各學(xué)習(xí)中，需要大量的學(xué)習(xí)用數(shù)據(jù)。

與此相對(duì)，提案有使用注冊(cè)了部分圖像的字典模式的方法。例如，將含有要檢測(cè)的對(duì)象物的部分圖像在數(shù)據(jù)庫作為字典模式注冊(cè)，通過從圖像中有效率地提取與字典模式類似的部分區(qū)域而實(shí)現(xiàn)部分區(qū)域的檢測(cè)。在該方法中，能夠?qū)⒂^看方式不同的多種多樣的對(duì)象物一并檢測(cè)。

技術(shù)實(shí)現(xiàn)要素：

發(fā)明所要解決的問題

在上述的現(xiàn)有技術(shù)中，在要檢索的圖像為圖像中的部分區(qū)域的情況下，需要進(jìn)行上述的檢測(cè)處理。為了進(jìn)行上述的檢測(cè)處理，在任一方法中均需要事先收集設(shè)想為檢索對(duì)象的事物的圖像。例如，基于所收集的圖像實(shí)施鑒別器的學(xué)習(xí)，或?qū)⑺占膱D像注冊(cè)為字典模式。在任一方法中均事先決定所注目的事物來進(jìn)行檢測(cè)處理，構(gòu)筑數(shù)據(jù)庫。因此，在所注目的事物事先不明的情況下，任一方法都不恰當(dāng)。

使用檢索系統(tǒng)的用戶一般難以將注目于怎樣的事物進(jìn)行檢索在事先完全設(shè)想好。此外，即使能夠設(shè)想好要檢索的事物，也存在成為線索的信息、即成為檢索查詢的信息由于隱蔽等而僅能夠得知事物的一部分的情況。在這種情況下，不能通過事先對(duì)成為檢索對(duì)象的圖像進(jìn)行檢測(cè)處理而數(shù)據(jù)庫化。

用于解決問題的技術(shù)方案

將本申請(qǐng)中公開的發(fā)明的一個(gè)代表例表示如下。即，其是由具有處理器和存儲(chǔ)器的計(jì)算機(jī)構(gòu)成的圖像分析裝置執(zhí)行的對(duì)象檢測(cè)方法，包括：第一步驟，上述處理器接收?qǐng)D像的輸入并將其儲(chǔ)存至上述存儲(chǔ)器；第二步驟，上述處理器從上述輸入的圖像提取作為其一部分的部分區(qū)域并將所述部分區(qū)域儲(chǔ)存至上述存儲(chǔ)器；第三步驟，上述處理器使用從上述部分區(qū)域提取出的特征量和將上述特征量進(jìn)行鏡像變換之后的鏡像特征量來評(píng)價(jià)上述部分區(qū)域的對(duì)稱性；和第四步驟，上述處理器將被評(píng)價(jià)為上述對(duì)稱性高于規(guī)定的閾值的部分區(qū)域判斷為映現(xiàn)檢測(cè)對(duì)象的對(duì)象區(qū)域。

發(fā)明的效果

根據(jù)本發(fā)明，能夠可靠地檢測(cè)應(yīng)該注目的部分區(qū)域。上述以外的問題、結(jié)構(gòu)和效果可通過以下的實(shí)施例的說明而明了。

附圖說明

圖1是說明第一實(shí)施例的圖像特征量的提取的圖。

圖2是說明第一實(shí)施例對(duì)稱軸的圖。

圖3是說明第一實(shí)施例的微分濾波器的圖。

圖4是說明第一實(shí)施例的亮度梯度強(qiáng)度分布特征量的圖。

圖5是說明第一實(shí)施例的亮度梯度矢量(intensitygradientvector)的方向的圖。

圖6是表示第一實(shí)施例的圖像評(píng)價(jià)系統(tǒng)的物理結(jié)構(gòu)的框圖。

圖7是第一實(shí)施例的圖像評(píng)價(jià)處理的流程圖。

圖8是表示第二實(shí)施例的圖像檢索系統(tǒng)的結(jié)構(gòu)的圖。

圖9是表示第二實(shí)施例的圖像檢索系統(tǒng)的邏輯結(jié)構(gòu)的圖。

圖10是第二實(shí)施例的注目區(qū)域提取部進(jìn)行時(shí)處理的流程圖。

圖11是說明第二實(shí)施例的注目區(qū)域提取處理的步驟701～703的圖。

圖12是說明第二實(shí)施例的注目區(qū)域提取部處理的詳細(xì)化處理(步驟706)的圖。

具體實(shí)施方式

接著，參照附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行說明。

＜實(shí)施例1＞

圖1是在第一實(shí)施例的檢索方法中，用于評(píng)價(jià)局部的對(duì)稱性的圖像特征量的提取說明的圖。

將圖像101中任意的矩形部分區(qū)域102，進(jìn)一步分割為規(guī)定數(shù)jg(圖示的例子中為3×3)的區(qū)塊，提取各區(qū)塊的區(qū)域的圖像特征量矢量103。分別以f00、f10、f20、f01、f11、f21、f02、f12、f22表示該9個(gè)圖像特征量矢量。表示圖像特征量矢量的編號(hào)的第1個(gè)標(biāo)注數(shù)字表示各區(qū)塊的x方向的位置，第2個(gè)標(biāo)注數(shù)字表示y方向的位置。

接著，如圖2所示，對(duì)于各區(qū)塊的區(qū)域的圖像特征量矢量，考慮4個(gè)軸為中心的鏡像變換。此處，以t0、t1、t3、t4表示用于對(duì)圖像特征量矢量應(yīng)用以各軸為中心的鏡像變換的矩陣。即，t0是用于進(jìn)行左右鏡像變換的矩陣，t1向用于以右上45度的軸為中心進(jìn)行鏡像變換的矩陣，t3是用于進(jìn)行上下鏡像變換的矩陣，t4是用于以右下45度的軸為中心進(jìn)行鏡像變換的矩陣。另外，圖2表示成為通過各矩陣進(jìn)行的鏡像變換的中心的軸。

通過對(duì)在各區(qū)塊的區(qū)域提取的圖像特征量矢量應(yīng)用上述的轉(zhuǎn)換矩陣，評(píng)價(jià)矩形部分的區(qū)域內(nèi)的對(duì)稱性。例如，為了評(píng)價(jià)左右對(duì)稱性，對(duì)于存在于以y軸為中心對(duì)稱的位置的f00與f20，如果將f20進(jìn)行左右鏡像變換后的矢量、即在f20乘以t0而得到的矢量接近f00，則認(rèn)為對(duì)稱性高。同樣，對(duì)于f01與f21，如果接近在f21乘以t0而得到的矢量，則認(rèn)為對(duì)稱性高，對(duì)于f02與f22，如果接近在f22乘以t0而得到的矢量則認(rèn)為對(duì)稱性高。這樣，左右對(duì)稱性能夠作為數(shù)式(1)所示那樣的由特征量矢量間的三個(gè)平方距離構(gòu)成的矢量d0表示。

[式1]

同樣，以右上45度的軸為中心的對(duì)稱性能夠作為數(shù)式(2)的d1表示。

[式2]

同樣，上下對(duì)稱性能夠作為數(shù)式(3)的d2表示。

[式3]

同樣，以右下45度的軸為中心的對(duì)稱性能夠作為數(shù)式(4)的d3表示。

[式4]

另一方面，本實(shí)施例的方法中，在由于特征量矢量的轉(zhuǎn)換而對(duì)稱性相比轉(zhuǎn)換前增大的情況下，評(píng)價(jià)為對(duì)稱性高。例如，在d0的計(jì)算中使用的f00與f02本來就即使進(jìn)行左右的鏡像變換對(duì)稱性的變化也小的情況下，不認(rèn)為左右對(duì)稱性大。作為將這樣的性質(zhì)定量地表現(xiàn)的修正項(xiàng)，定義數(shù)式(5)所示那樣的、由與未應(yīng)用鏡像變換的情況對(duì)應(yīng)的區(qū)塊的區(qū)域的特征量矢量間的平方距離構(gòu)成的矢量e0。

[式5]

同樣，對(duì)于d1的修正項(xiàng)e1以數(shù)式(6)表示。

[式6]

同樣，對(duì)于d2的修正項(xiàng)e2以數(shù)式(7)表示。

[式7]

同樣，對(duì)于d3的修正項(xiàng)e3以數(shù)式(8)表示。

[式8]

使用d0、d1、d2、d3和e0、e1、e2、e3評(píng)價(jià)矩形部分區(qū)域的對(duì)稱性。作為具體的評(píng)價(jià)函數(shù)，定義以下的四個(gè)函數(shù)。

數(shù)式(9)所示的評(píng)價(jià)函數(shù)使用d0、d1、d2、d3的各要素的總和與e0、e1、e2、e3的各要素的總和之比評(píng)價(jià)對(duì)稱性。

[式9]

數(shù)式(10)所示的評(píng)價(jià)函數(shù)在評(píng)價(jià)4個(gè)方向的對(duì)稱性之后使用其平均值評(píng)價(jià)綜合的對(duì)稱性。

[式10]

數(shù)式(11)所示的評(píng)價(jià)函數(shù)在對(duì)應(yīng)的各區(qū)塊間評(píng)價(jià)對(duì)稱性之后，使用其平均值評(píng)價(jià)綜合的對(duì)稱性。

[式11]

數(shù)式(12)所示的評(píng)價(jià)函數(shù)在分別評(píng)價(jià)4個(gè)方向各自的對(duì)稱性之后使用其最大值評(píng)價(jià)綜合的對(duì)稱性。

[式12]

這些評(píng)價(jià)函數(shù)采用最適合于應(yīng)用本發(fā)明的具體的案例的評(píng)價(jià)函數(shù)即可。

接著，對(duì)本實(shí)施例中使用的圖像特征量進(jìn)行說明。

本實(shí)施例中使用的圖像特征量必須通過能夠作為規(guī)定維度的矢量從分割成區(qū)塊的區(qū)域中提取的算法提取。進(jìn)一步，關(guān)于鏡像變換，不能采用不變的特征量。例如，區(qū)塊內(nèi)的顏色平均特征量、即由構(gòu)成圖像的rgb值的平均構(gòu)成的特征量對(duì)于鏡像變換而言不變，因此在本實(shí)施例中不能使用。

關(guān)于對(duì)于鏡像變換而言并非不變的特征量的提取，具有多個(gè)公知技術(shù)。例如，將區(qū)塊的區(qū)域內(nèi)進(jìn)一步分割為更小區(qū)塊，按每小區(qū)塊計(jì)算顏色平均而得到的特征量和按每小區(qū)塊的顏色分布直方圖化而得到的特征量對(duì)于鏡像變換而言并非不變。此外，在黑白濃淡圖像的情況下，提取局部的亮度變化的圖案的性質(zhì)的邊緣圖案特征量對(duì)于鏡像變換而言也并非不變。在以下的說明中，為了使本實(shí)施例的方法容易理解地進(jìn)行說明，對(duì)使用亮度梯度矢量的強(qiáng)度分布作為特征量的例子進(jìn)行詳細(xì)說明。

亮度梯度矢量能夠通過在黑白濃淡圖像中應(yīng)用二維的數(shù)值微分進(jìn)行計(jì)算。圖3是用于進(jìn)行數(shù)值微分的濾波器的例子。能夠從通過微分濾波器求得的像素位置(x，y)上的亮度梯度矢量(gx，gy)如數(shù)式(13)那樣計(jì)算矢量的方向θ和矢量的平方范數(shù)p。

[式13]

矢量的方向θ分布于0度至360度的范圍。通過將其以恰當(dāng)?shù)募?jí)別等間隔地量子化，在矩形區(qū)域內(nèi)對(duì)平方范數(shù)p進(jìn)行合計(jì)，能夠?qū)⒘炼忍荻仁噶糠较虻膹?qiáng)度分布作為直方圖狀的數(shù)據(jù)表現(xiàn)。

圖4是說明該處理的圖。

首先，從圖像提取表示像素的亮度的梯度的亮度梯度矢量401，對(duì)所提取的亮度梯度矢量進(jìn)行合計(jì)，計(jì)算直方圖狀的數(shù)據(jù)402。另外，為了應(yīng)用本實(shí)施例的方法中的4個(gè)方向的鏡像變換，令量子化的級(jí)數(shù)為8或8的倍數(shù)。此外，使量子化的最初的值域的中心與x軸方向一致即可。

如果令本特征量中量子化的級(jí)數(shù)為8，則從各區(qū)塊的區(qū)域提取8維的圖像特征量矢量。此時(shí)，用于評(píng)價(jià)左右的對(duì)稱性的鏡像變換矩陣t0以數(shù)式(14)表示。

[式14]

同樣，用于評(píng)價(jià)以右上45度方向的軸為中心的對(duì)稱性的鏡像變換矩陣t1以數(shù)式(15)表示。

[式15]

同樣，用于評(píng)價(jià)上下對(duì)稱性的鏡像變換矩陣t2以數(shù)式(16)表示。

[式16]

同樣，用于評(píng)價(jià)以右下45度方向的軸中心的對(duì)稱性的鏡像變換矩陣t3以數(shù)式(17)表示。

[式17]

在基于亮度梯度矢量的特征量中，也可以無視從明亮的像素向暗的像素去的亮度梯度與從暗的像素向明亮的像素去的亮度梯度的明暗反轉(zhuǎn)，使矢量的方向θ分布于0度至180度的范圍來進(jìn)行處理。在這種情況下，為了應(yīng)用本實(shí)施例的方法的4個(gè)方向的鏡像變換，令量子化的級(jí)數(shù)為4或4的倍數(shù)即可。

使用圖5說明亮度梯度矢量的方向。

在圖5(a)所示那樣的2值圖像(例如，黑白2值的線畫)中，相反方向的亮度梯度矢量接近。因此，僅使用一個(gè)亮度梯度矢量求取亮度梯度矢量的方向的分布就足夠，使亮度梯度矢量分布于0°～180°的范圍即可。另一方面，在圖5(b)所示那樣的多值圖像(例如，多值的灰度圖像或彩色圖像)中，在各種方向出現(xiàn)亮度梯度矢量。因此，需要使于亮度梯度矢量分布0°～360°的范圍。特別是在圖5(c)所示背景的亮度改變的情況下，在0°～180°的范圍內(nèi)，不能正確地求取亮度梯度矢量的分布。這樣，根據(jù)所輸入的圖像的種類改變亮度梯度矢量的分布的范圍即可。

亮度梯度矢量的分布的范圍的切換也可以根據(jù)輸入圖像性質(zhì)設(shè)定運(yùn)算符。此外，也可以由計(jì)算機(jī)對(duì)所輸入的圖像進(jìn)行判斷，在所輸入的圖像為2值圖像的情況下，使亮度梯度矢量的方向分布于0度至180度的范圍，在這以外的情況下，使亮度梯度矢量的方向分布于0度至360度的范圍地進(jìn)行處理。

如果令本特征量中量子化的級(jí)數(shù)為4，則從各區(qū)塊的區(qū)域提取4維的圖像特征量矢量。此時(shí)，用于評(píng)價(jià)左右對(duì)稱性的鏡像變換矩陣t0以數(shù)式(18)表示。

[式18]

同樣，用于評(píng)價(jià)以右上45度方向的軸為中心的對(duì)稱性的鏡像變換矩陣t1以數(shù)式(19)表示。

[式19]

此外，在這種情況下，用于評(píng)價(jià)上下對(duì)稱性的鏡像變換矩陣t2與t0相同，用于評(píng)價(jià)以右下45度方向的軸為中心的對(duì)稱性的鏡像變換矩陣t3與t1相同。

另外，在使用基于亮度梯度矢量的特征量的情況下，由數(shù)式(9)至數(shù)式(12)定義的評(píng)價(jià)函數(shù)全部相對(duì)于特征量矢量的范數(shù)不變。這具有能夠?qū)τ趫D像的絕對(duì)的對(duì)比度等不變地評(píng)價(jià)對(duì)稱性的優(yōu)點(diǎn)。另一方面，在幾乎不存在亮度梯度的區(qū)域、即各特征量矢量接近零矢量的區(qū)域，評(píng)價(jià)函數(shù)變得不穩(wěn)定。為了應(yīng)對(duì)這樣的情況，從評(píng)價(jià)對(duì)象排除區(qū)域內(nèi)的亮度梯度強(qiáng)度的平均或和為一定的閾值以下的矩形區(qū)域即可。進(jìn)一步，也可以通過如果區(qū)域內(nèi)的亮度梯度強(qiáng)度的平均或和較小則加入使得評(píng)價(jià)函數(shù)的值增大的修正項(xiàng)，推測(cè)更恰當(dāng)?shù)淖⒛坎糠謪^(qū)域。

圖6是表示第一實(shí)施例的圖像評(píng)價(jià)系統(tǒng)的物理的結(jié)構(gòu)的框圖。

本實(shí)施方式的圖像評(píng)價(jià)系統(tǒng)由具有處理器(cpu)1、存儲(chǔ)器2、輔助存儲(chǔ)裝置3、通信接口4、輸入接口5和輸出接口8的計(jì)算機(jī)構(gòu)成。

處理器1執(zhí)行儲(chǔ)存在存儲(chǔ)器2的程序。存儲(chǔ)器2包含作為非易失性的存儲(chǔ)元件的rom和作為易失性的存儲(chǔ)元件的ram。rom儲(chǔ)存不變的程序(例如，bios)等。ram是dram(dynamicrandomaccessmemory：動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)那樣的高速且易失性的存儲(chǔ)元件，臨時(shí)儲(chǔ)存處理器1執(zhí)行的程序和在執(zhí)行程序時(shí)使用的數(shù)據(jù)。

輔助存儲(chǔ)裝置3例如是磁存儲(chǔ)裝置(hdd)、閃存存儲(chǔ)器(ssd)等的大容量且非易失性的存儲(chǔ)裝置。此外，輔助存儲(chǔ)裝置3儲(chǔ)存處理器1執(zhí)行的程序。即，程序被從輔助存儲(chǔ)裝置3讀出并加載至存儲(chǔ)器2，由處理器1執(zhí)行。

通信接口4是按照規(guī)定的協(xié)議控制與其它裝置(文件服務(wù)器和網(wǎng)關(guān)等)的通信的網(wǎng)絡(luò)接口裝置。

輸入接口5連接鍵盤6和鼠標(biāo)7等，是接收來自操作員的輸入的接口。輸出接口8連接顯示器裝置9和打印機(jī)等，是將程序的執(zhí)行結(jié)果以操作員可看的形式輸出的接口。

處理器1執(zhí)行的程序被經(jīng)可移動(dòng)介質(zhì)(cd-rom、閃存存儲(chǔ)器等)或網(wǎng)絡(luò)提供給圖像評(píng)價(jià)系統(tǒng)，儲(chǔ)存在作為非臨時(shí)的存儲(chǔ)介質(zhì)非易失性的輔助存儲(chǔ)裝置3。因此，圖像評(píng)價(jià)系統(tǒng)具有從可移動(dòng)介質(zhì)讀入數(shù)據(jù)的接口即可。

圖像評(píng)價(jià)系統(tǒng)是物理地在一個(gè)計(jì)算機(jī)上、或者在邏輯或物理地構(gòu)成的多個(gè)計(jì)算機(jī)上被構(gòu)成的計(jì)算機(jī)系統(tǒng)，既可以在同一個(gè)計(jì)算機(jī)上以不同的線程(thread)動(dòng)作，也可以在多個(gè)物理的計(jì)算機(jī)資源上構(gòu)筑成的虛擬計(jì)算機(jī)上動(dòng)作。

圖7是第一實(shí)施例的對(duì)稱性評(píng)價(jià)處理的流程圖。

首先，處理器1接收被評(píng)價(jià)的圖像的輸入(711)。例如，輸入圖像從通信接口4輸入或從省略圖示的數(shù)據(jù)輸入輸出端口(例如，usb端口)按照操作員的指示輸入即可。

之后，從所輸入的圖像提取部分區(qū)域(712)，提取所提取的部分區(qū)域的轉(zhuǎn)換前的特征量(713)。之后，對(duì)所提取的部分區(qū)域進(jìn)行鏡像變換，提取鏡像變換后的特征量(714)。

之后，對(duì)鏡像變換前的特征量與鏡像變換后的特征量進(jìn)行比較，評(píng)價(jià)對(duì)稱性(715)。

如以上說明的那樣，根據(jù)本發(fā)明的第一實(shí)施例，能夠不事先設(shè)想成為對(duì)象的事物地檢測(cè)應(yīng)該注目的部分區(qū)域。

＜實(shí)施例2＞

接著，作為第二實(shí)施例，對(duì)將第一實(shí)施例的方法應(yīng)用于圖像檢索服務(wù)的系統(tǒng)進(jìn)行說明。

圖8是表示第二實(shí)施例的圖像檢索系統(tǒng)的結(jié)構(gòu)的圖。

計(jì)算機(jī)系統(tǒng)500提供檢索服務(wù)。檢索服務(wù)提供的各種功能經(jīng)由網(wǎng)絡(luò)系統(tǒng)510向使用終端計(jì)算機(jī)520的用戶提供。

計(jì)算機(jī)系統(tǒng)500能夠由具有處理器、存儲(chǔ)器和通信接口的一般的服務(wù)器裝置構(gòu)成。計(jì)算機(jī)系統(tǒng)500的物理結(jié)構(gòu)與圖6所示的計(jì)算機(jī)相同即可。

在計(jì)算機(jī)系統(tǒng)500的存儲(chǔ)器2中儲(chǔ)存有用于實(shí)現(xiàn)后述的圖像注冊(cè)部611、注目區(qū)域提取部612、檢索用特征量提取部613、查詢圖像分析部631、類似檢索部632和檢索結(jié)果輸出部634的程序。

終端計(jì)算機(jī)520能夠由具有處理器、存儲(chǔ)器和通信接口的一般的個(gè)人計(jì)算機(jī)、平板終端構(gòu)成。終端計(jì)算機(jī)520的物理結(jié)構(gòu)與圖6所示的計(jì)算機(jī)相同即可。終端計(jì)算機(jī)520向用戶提供的功能既可以由web瀏覽器構(gòu)成，也可以由專用應(yīng)用構(gòu)成。

圖9是表示第二實(shí)施例的圖像檢索系統(tǒng)的邏輯結(jié)構(gòu)的圖。

圖像注冊(cè)部611在接收成為檢索對(duì)象的注冊(cè)圖像610時(shí)，將圖像數(shù)據(jù)的保存地址、顯示用縮略圖像和圖像附帶的各種目錄信息等保存至數(shù)據(jù)庫620。接著，注目區(qū)域提取部612運(yùn)用第一實(shí)施例的方法，從注冊(cè)圖像提取應(yīng)該注目的矩形部分區(qū)域的集合。之后，檢索用特征量提取部613提取所提取的各矩形部分區(qū)域的圖像特征量。所提取的圖像特征量與注冊(cè)圖像對(duì)應(yīng)地保存在數(shù)據(jù)庫620。

在檢索時(shí)，查詢圖像分析部631在得到查詢(query)圖像630時(shí)提取檢索用的圖像特征量。之后，類似檢索部632從查詢圖像提取的圖像特征量與保存在數(shù)據(jù)庫620中的矩形部分區(qū)域的圖像特征量之間進(jìn)行基于矢量間距離的類似檢索處理，作為檢索結(jié)果取得與查詢圖像類似的矩形部分區(qū)域。最后，檢索結(jié)果輸出部634使用類似檢索的結(jié)果和儲(chǔ)存在數(shù)據(jù)庫620中的各種信息，生成應(yīng)該反饋給檢索要求地址的信息，作為檢索結(jié)果640發(fā)送至檢索要求地址。

檢索用特征量提取部613和查詢圖像分析部631使用的圖像特征量基于顏色分布、亮度梯度矢量的分布等來計(jì)算。具體的圖像特征量能夠使用公知圖像特征量。此外，使用這些特征量的類似檢索處理也能夠使用公知類似檢索處理。

接著，對(duì)直接應(yīng)用本實(shí)施例的方法的注目區(qū)域提取部612的處理的詳細(xì)情況進(jìn)行說明。

作為本發(fā)明的實(shí)施例的系統(tǒng)的安裝例，除了圖8和圖9所示的圖像檢索系統(tǒng)以外，例如包括圖像注冊(cè)部611、注目區(qū)域提取部612和檢索用特征量提取部613在內(nèi)，具有檢測(cè)對(duì)象的圖像分析裝置650。

圖10是注目區(qū)域提取部612進(jìn)行的處理的流程圖。

首先，生成從注冊(cè)圖像610轉(zhuǎn)換為恰當(dāng)?shù)某叨?scale)和縱橫尺寸比(aspect)后的多個(gè)圖像(701)。該縱橫尺寸比(圖像的縱橫比)由用戶設(shè)定即可。此外，也可以根據(jù)要搜尋的圖像的縱橫尺寸比，自動(dòng)地設(shè)定縱橫尺寸比。進(jìn)一步，還可以根據(jù)要搜尋的圖像的種類自動(dòng)地設(shè)定縱橫尺寸比。例如，在要搜尋人的圖像的情況下，使用縱長(zhǎng)的圖像即可。

進(jìn)一步，將生成的多個(gè)圖像多分辨率化(702)。之后，通過后述的掃描處理，從多分辨率化后的多個(gè)圖像生成成為注目部分區(qū)域的候選的矩形部分區(qū)域，計(jì)算所生成的各部分區(qū)域的對(duì)稱性(703)。該步驟703的處理是上述的第一實(shí)施例的對(duì)稱性評(píng)價(jià)處理(圖7)。

之后，將通過掃描處理生成的多個(gè)部分區(qū)域基于對(duì)稱性的評(píng)價(jià)值進(jìn)行分類，將上級(jí)的一定件數(shù)的部分區(qū)域作為應(yīng)該注目的部分區(qū)域的候選進(jìn)行保持(704)。接著，通過收斂判斷處理(705)判斷為應(yīng)該注目的部分區(qū)域的范圍縮小已經(jīng)結(jié)束。具體而言，在注目區(qū)域不發(fā)生變動(dòng)的情況下或重復(fù)次數(shù)超過規(guī)定次數(shù)的情況下判斷為已收斂。

之后，在判斷為應(yīng)該注目的部分區(qū)域的范圍縮小結(jié)束之后，通過后述的詳細(xì)化處理，從該時(shí)刻的注目區(qū)域候選生成新的部分區(qū)域，計(jì)算各部分區(qū)域的對(duì)稱性，追加注目區(qū)域候選(706)。然后，返回步驟704，再次評(píng)價(jià)對(duì)稱性，由此將通過詳細(xì)化處理生成的注目區(qū)域候選范圍縮小。

圖11是說明注目區(qū)域提取部處理(圖10)的步驟701～703的圖。

在注目區(qū)域的提取中，需要根據(jù)應(yīng)用領(lǐng)域恰當(dāng)?shù)毓浪銏D像中的部分區(qū)域的大小。特別是在將小得超過需要的區(qū)域設(shè)定為部分區(qū)域時(shí)，不需要部分區(qū)域的提取、即誤檢測(cè)和處理時(shí)間增大，成為運(yùn)用上的問題的原因。例如，如果令本方式的對(duì)稱性評(píng)價(jià)中的1個(gè)區(qū)塊的大小為8×8像素，則部分區(qū)域的大小成為24×24像素。假如應(yīng)該注目的部分區(qū)域?yàn)閳D像的大小的10％左右為止是充分的，則圖像的大小為240×240像素左右是充分的。

此外，注目部分區(qū)域的形狀并不一定為正方形，需要橫長(zhǎng)或縱長(zhǎng)的矩形區(qū)域的提取的情況也很多。本實(shí)施例中，在需要提取橫長(zhǎng)的矩形的情況下，將原來圖像的縱橫尺寸比變形為縱長(zhǎng)，通過正方格狀的區(qū)塊分割來評(píng)價(jià)對(duì)稱性。如果使通過這樣的處理生成的矩形區(qū)域返回原來的圖像的坐標(biāo)系，則成為橫長(zhǎng)的矩形。同樣，在需要提取縱長(zhǎng)的矩形的情況下，將原來圖像的縱橫尺寸比變形為橫長(zhǎng)進(jìn)行處理。

從上述的二個(gè)觀點(diǎn)出發(fā)進(jìn)行的處理是從圖11的注冊(cè)圖像801向圖像802的轉(zhuǎn)換。

從注冊(cè)圖像801轉(zhuǎn)換為恰當(dāng)?shù)某叨?，生成將寬度縮小一半后的圖像、保持了縱橫尺寸比的圖像和將高度縮小一半的圖像這三個(gè)圖像802。進(jìn)一步，在多重解像度處理中，將各圖像縮小至各1/2、2階段為止的圖像803生成。對(duì)這樣生成的九個(gè)圖像803進(jìn)行掃描處理(810)。在掃描處理810中，通過將各圖像內(nèi)的窗戶每一定像素?cái)?shù)地平行移動(dòng)，粗略生成矩形區(qū)域。

圖12是說明注目區(qū)域提取部處理(圖10)的詳細(xì)化處理(步驟706)的圖。

作為新的注目部分區(qū)域的候選生成對(duì)某個(gè)注目部分區(qū)域的候選微小地縱橫平行移動(dòng)后的矩形區(qū)域910、微小地進(jìn)行放大縮小后的矩形區(qū)域920和將放大縮小后的矩形區(qū)域進(jìn)一步再縱橫平行移動(dòng)后的矩形區(qū)域。通過平行移動(dòng)生成的矩形區(qū)域的數(shù)量按上下、左右和斜向的移動(dòng)具有8個(gè)圖案。通過放大縮小生成的矩形區(qū)域?yàn)?個(gè)圖案，通過放大和縮小的矩形區(qū)域的平行移動(dòng)，放大和縮小分別生成8個(gè)圖案的矩形區(qū)域。同時(shí)，對(duì)成為一種的矩形區(qū)域，最大生成26個(gè)圖案的新的矩形區(qū)域，評(píng)價(jià)其對(duì)稱性。

如上所述，反復(fù)執(zhí)行詳細(xì)化處理706。各重復(fù)處理中的各微小變動(dòng)量能夠通過下式定義。

[式20]

在數(shù)式(20)中，q是詳細(xì)化處理的反復(fù)的次數(shù)，sx和sy是掃描處理703中進(jìn)行平行移動(dòng)時(shí)的橫方向和縱方向各自的步幅，dx和dy是第q次詳細(xì)化處理中的橫方向和縱方向各自的變動(dòng)量。另一方面，dz是第q次詳細(xì)化處理中的放大率，縮小的情況下的縮小率為1/dz。由數(shù)式(20)可知，變動(dòng)的大小與本處理的重復(fù)的次數(shù)相應(yīng)地變小。因?yàn)槌蔀閷?duì)象的圖像是分散的數(shù)字圖像，所以如果將本處理反復(fù)進(jìn)行足夠多的次數(shù)，則不會(huì)由于微小變動(dòng)而生成新的區(qū)域候選。至少，只要不生成新的區(qū)域候選，詳細(xì)化處理706就可以結(jié)束。

如以上說明的那樣，根據(jù)本發(fā)明的實(shí)施例，能夠不依賴于對(duì)象物地可靠地檢測(cè)應(yīng)該注目的部分區(qū)域。

此外，因?yàn)槭褂脧牟糠謪^(qū)域提取的特征量、將特征量鏡像變換后的鏡像特征量和特征量的平均強(qiáng)度評(píng)價(jià)部分區(qū)域的對(duì)稱性，所以能夠地高精度檢測(cè)部分區(qū)域。

此外，因?yàn)閷⒉糠謪^(qū)域分割為規(guī)定的大小的矩形的區(qū)塊，從各區(qū)塊提取特征量，將各區(qū)塊的特征量進(jìn)行鏡像變換，所以能夠以簡(jiǎn)單的運(yùn)算計(jì)算鏡像特征量。

此外，因?yàn)樯蓪⒉糠謪^(qū)域的位置和大小的至少一方變更后的區(qū)域，對(duì)部分區(qū)域的特征量和上述生成的區(qū)域的特征量的對(duì)稱性進(jìn)行評(píng)價(jià)，所以能夠提取不完全看見應(yīng)該注目的部分的恰當(dāng)?shù)牟糠謪^(qū)域。因此，例如，在不完全看見人的面部、在部分區(qū)域的中心具有面部即可的面部認(rèn)證的應(yīng)用變得容易。

此外，因?yàn)楦鶕?jù)所輸入的圖像的種類改變分布作為特征量提取的亮度梯度矢量的方向的范圍，所以能夠可靠地計(jì)算特征量。

此外，因?yàn)閷⑺斎氲膱D像轉(zhuǎn)換為規(guī)定的縱橫比，從轉(zhuǎn)換縱橫比后的圖像提取部分區(qū)域，所以提取的特征量(亮度梯度矢量)的各向異性消失，能夠正確地計(jì)算特征量。即，存在如果使用長(zhǎng)方形的部分區(qū)域則產(chǎn)生亮度矢量的直方圖的偏斜的情況，為了評(píng)價(jià)對(duì)稱性優(yōu)選部分區(qū)域?yàn)檎叫巍?/p>

另外，本發(fā)明并不限定于上述的實(shí)施例，而包括所附要求的權(quán)利范圍主旨內(nèi)的各種各樣的變形例及同等的結(jié)構(gòu)。例如，上述的實(shí)施例為了將本發(fā)明說明得容易明白而進(jìn)行了詳細(xì)的說明，但是并不一定限定于包括所說明的所有結(jié)構(gòu)。此外，能夠?qū)⒁粋€(gè)實(shí)施例的結(jié)構(gòu)的一部分替換到另一個(gè)實(shí)施例的結(jié)構(gòu)，此外，還能夠在一個(gè)實(shí)施例的結(jié)構(gòu)中加入另一個(gè)實(shí)施例的結(jié)構(gòu)。此外，能夠?qū)Ω鲗?shí)施例的結(jié)構(gòu)的一部分進(jìn)行其它結(jié)構(gòu)的追加、削除、替換。

此外，上述的各結(jié)構(gòu)、功能、處理部、處理單元等例如可以通過利用集成電路等進(jìn)行設(shè)計(jì)、利用硬件實(shí)現(xiàn)，也可以通過對(duì)處理器實(shí)現(xiàn)各自的功能的程序進(jìn)行解釋、執(zhí)行而以軟件實(shí)現(xiàn)。

實(shí)現(xiàn)各功能的程序、圖表、文件夾等信息能夠存儲(chǔ)于存儲(chǔ)器、硬盤、ssd(solidstatedrive：固態(tài)硬盤)等記錄裝置或ic卡、sd卡、dvd等記錄介質(zhì)。

此外，對(duì)于控制線和信息線，僅展示在說明上被認(rèn)為需要的部分，并不一定展示安裝上所需的所有控制線和信息線。實(shí)際上也可以認(rèn)為幾乎所有的結(jié)構(gòu)相互連接。