專利名稱：圖像整理系統(tǒng)、圖像整理方法和計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像整理技木。
背景技術(shù)：
作為臉部圖像整理技術(shù)，使用非向前看的臉部圖像的整理技術(shù)是可用的。這種使用非向前看的臉部圖像的技術(shù)非常方便，因?yàn)椴槐貜?qiáng)迫目標(biāo)個(gè)體將他們的臉部轉(zhuǎn)向成像設(shè)備。作為臉部圖像整理技術(shù)的示例，以下專利文獻(xiàn)I公開了分別根據(jù)配準(zhǔn)對(duì)象的圖像和目標(biāo)對(duì)象的輸入圖像來檢測(cè)對(duì)象圖像上亮度值變化非常大的特征區(qū)域或點(diǎn)(特征點(diǎn))(例如，眼睛和嘴)，并且確定特征點(diǎn)的位置與輸入圖像的特征點(diǎn)的位置最相似的圖像，從而計(jì)算目標(biāo)對(duì)象的位置、姿勢(shì)等。
·
以下非專利文獻(xiàn)I公開了從臉上最小特征(例如，痣、皺紋、雀斑)中確定兩個(gè)圖像之間對(duì)應(yīng)點(diǎn)的組合，作為對(duì)應(yīng)的特征點(diǎn)，并且基于每個(gè)對(duì)應(yīng)的特征點(diǎn)的相似度和位置來計(jì)算兩個(gè)圖像的整理得分。現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)[專利文獻(xiàn)I]日本專利文獻(xiàn)No.4167390。非專利文獻(xiàn)[非專利文獻(xiàn)I]“ Face image matching using corresponding feature pointson detailed textures”，Technical Report of IEICE，Vol. 108，No. 198，PRMU 2008-75，pp. 175—180，Sept. 2008，Yasushi Hamada, Hitoshi Imaoka。

發(fā)明內(nèi)容
然而，根據(jù)專利文獻(xiàn)I中公開的技術(shù)，如果目標(biāo)個(gè)體向側(cè)面看，則不能檢測(cè)到臉部前面區(qū)域上存在的特征點(diǎn)(例如，眼睛、嘴)，并因此與參考圖像的整理精度下降。在非專利文獻(xiàn)I中公開的技術(shù)中，如果整理目標(biāo)對(duì)象的成像方向與參考對(duì)象的成像方向非常不同，則不能檢測(cè)到對(duì)應(yīng)的特征點(diǎn)，或者需要大量處理來檢測(cè)對(duì)應(yīng)的特征點(diǎn)。本發(fā)明要解決的技術(shù)問題本發(fā)明的示例性目的是提供ー種用于圖像整理的新架構(gòu)。問題解決方案本發(fā)明的圖像整理系統(tǒng)包括三維數(shù)據(jù)存儲(chǔ)裝置，用于存儲(chǔ)與參考對(duì)象的至少形狀和紋理有關(guān)的三維數(shù)據(jù)；第一方向估計(jì)裝置，用于通過比較整理目標(biāo)對(duì)象的圖像與三維數(shù)據(jù)存儲(chǔ)裝置中存儲(chǔ)的參考對(duì)象的三維數(shù)據(jù)之間的全局特征，來估計(jì)與整理目標(biāo)對(duì)象的成像方向匹配的參考對(duì)象的第一成像方向；第二方向估計(jì)裝置，基于三維數(shù)據(jù)，生成與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像，并且通過比較整理目標(biāo)對(duì)象的圖像與對(duì)應(yīng)于第一成像方向的生成圖像之間的局部特征，來估計(jì)參考對(duì)象的與整理目標(biāo)對(duì)象的成像方向匹配的第二成像方向；以及圖像一致性確定裝置，用于基于三維數(shù)據(jù)，生成與參考對(duì)象的第二成像方向相對(duì)應(yīng)的圖像，并且基于整理目標(biāo)對(duì)象的圖像是否與對(duì)應(yīng)于第二成像方向的生成圖像相匹配，來確定整理目標(biāo)對(duì)象是否對(duì)應(yīng)于參考對(duì)象。根據(jù)本發(fā)明的示例性方面，第二方向估計(jì)裝置可以提取整理目標(biāo)對(duì)象圖像和與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像中對(duì)應(yīng)的部分區(qū)域，并且確定參考對(duì)象的第二成像方向，使得提取的對(duì)應(yīng)部分區(qū)域彼此交疊。根據(jù)本發(fā)明的另ー示例性方面，第二方向估計(jì)裝置可以改變與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像的每個(gè)部分區(qū)域的成像方向，使得部分區(qū)域變得最相似于整理目標(biāo)對(duì)象的圖像的每個(gè)部分區(qū)域，并且確定整理目標(biāo)對(duì)象圖像中相似度最高的部分區(qū)域，作為對(duì)應(yīng)的部分區(qū)域。根據(jù)本發(fā)明的另ー示例性實(shí)施例，圖像一致性確定裝置可以基于分別比較這些圖 像之間全局特征和局部特征的結(jié)果，來確定與參考對(duì)象的第二成像方向相對(duì)應(yīng)的圖像是否與整理目標(biāo)對(duì)象的圖像匹配。根據(jù)本發(fā)明的另ー示例性實(shí)施例，整理目標(biāo)對(duì)象和參考對(duì)象是人臉，并且局部特征是基于以下中的至少ー個(gè)的圖像特征臉部皮膚上的痣、斑、雀斑、毛孔和腫塊。一種本發(fā)明的圖像整理方法包括第一方向估計(jì)步驟，用于通過比較整理目標(biāo)對(duì)象的圖像與三維數(shù)據(jù)存儲(chǔ)裝置中存儲(chǔ)的關(guān)于參考對(duì)象的至少形狀和紋理的三維數(shù)據(jù)之間的全局特征，來估計(jì)參考對(duì)象的與整理目標(biāo)對(duì)象的成像方向匹配的第一成像方向；第二方向估計(jì)步驟，基于三維數(shù)據(jù)，生成與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像，并且通過比較整理目標(biāo)對(duì)象的圖像與對(duì)應(yīng)于第一成像方向的生成圖像之間的局部特征，來估計(jì)參考對(duì)象的與整理目標(biāo)對(duì)象的成像方向匹配的第二成像方向；以及圖像一致性確定步驟，用于基于三維數(shù)據(jù)，生成與參考對(duì)象的第二成像方向相對(duì)應(yīng)的圖像，并且基于整理目標(biāo)對(duì)象的圖像是否與對(duì)應(yīng)于第二成像方向的生成圖像相匹配，來確定整理目標(biāo)對(duì)象是否對(duì)應(yīng)于參考對(duì)象。一種本發(fā)明的計(jì)算機(jī)程序是用于使計(jì)算機(jī)執(zhí)行上述圖像整理方法的計(jì)算機(jī)程序。在本發(fā)明中，“裝置”并不簡(jiǎn)單指代物理裝置，而是包括實(shí)現(xiàn)裝置功能的軟件情況。ー個(gè)裝置或一個(gè)設(shè)備的功能可以通過兩個(gè)或更多物理裝置或設(shè)備來實(shí)現(xiàn)，或者兩個(gè)或更多裝置或設(shè)備的功能可以通過ー個(gè)物理裝置或設(shè)備來實(shí)現(xiàn)。本發(fā)明的效果根據(jù)本發(fā)明，可以逐步使用成像方向估計(jì)處理，S卩，首先基于全局特征來估計(jì)參考對(duì)象的一般成像方向(第一成像方向)，然后基于局部特征來估計(jì)參考對(duì)象的更具體成像方向(第二成像方向)，從而可以以高精度估計(jì)參考對(duì)象的成像方向?？梢曰谙惹肮烙?jì)的一般成像方向(第一成像方向)來估計(jì)參考對(duì)象的具體成像方向(第二成像方向)，從而可以動(dòng)態(tài)地提高處理效率。


圖I是示出了第一實(shí)施例的圖像整理系統(tǒng)的一般配置的圖；圖2是示出了圖像整理處理的流程圖；圖3是示出了參考對(duì)象的第一成像方法和第二成像方向的相應(yīng)估計(jì)方法的示意圖；圖4是示出了第二成像方向估計(jì)處理的流程圖；圖5是更詳細(xì)示出了參考對(duì)象的第二成像方向的估計(jì)方法的示意圖。
具體實(shí)施例方式作為本發(fā)明的示例性實(shí)施例， 參照附圖描述用于確定作為整理目標(biāo)對(duì)象的人臉是否與預(yù)先作為參考對(duì)象存儲(chǔ)的臉部相匹配。圖I示出了第一實(shí)施例的圖像整理系統(tǒng)I的一般配置。圖像整理系統(tǒng)I包括經(jīng)由通信線路以通信方式配置的攝像機(jī)100、存儲(chǔ)設(shè)備102、以及數(shù)據(jù)處理器104。對(duì)于通信線路，這種諸如LAN、WAN、Bluet00thTM和USB等已知技術(shù)可以單獨(dú)或以組合方式使用。攝像機(jī)100具有捕獲人臉圖像作為整理目標(biāo)對(duì)象并且輸出圖像數(shù)據(jù)的功能。存儲(chǔ)設(shè)備102是存儲(chǔ)與人臉有關(guān)的三維數(shù)據(jù)作為參考對(duì)象的裝置。對(duì)于與人臉有關(guān)的三維數(shù)據(jù)，能夠存儲(chǔ)至少與臉部的三維形狀和臉部表面的紋理圖案有關(guān)的數(shù)據(jù)。在該實(shí)施例中，存儲(chǔ)設(shè)備102被描述為數(shù)據(jù)處理器104的外部設(shè)備，但是可以嵌入在數(shù)據(jù)處理器104 中。數(shù)據(jù)處理器104可以使用標(biāo)準(zhǔn)計(jì)算機(jī)來構(gòu)造，并且包括第一方向估計(jì)裝置111、第二方向估計(jì)裝置113、以及圖像一致性確定裝置115，作為使用RAM和執(zhí)行程序通過讀取硬盤上存儲(chǔ)的計(jì)算機(jī)程序的CPU來在功能上實(shí)現(xiàn)的裝置。第一方向估計(jì)裝置111比較整理目標(biāo)對(duì)象的圖像與存儲(chǔ)裝置102中存儲(chǔ)的參考對(duì)象的三維數(shù)據(jù)之間的全局特征，從而估計(jì)與整理對(duì)象的成像方向匹配的參考對(duì)象的第一成像方向。在本發(fā)明中，全局特征是相對(duì)主要的圖像特征，當(dāng)分別全局觀察整理目標(biāo)對(duì)象的圖像和參考對(duì)象的圖像時(shí)，可以檢測(cè)到相對(duì)主要的圖像特征。在該實(shí)施例中，諸如眼睛、眼眉、嘴和鼻子等區(qū)域的圖像特征可以用于全局特征。可以容易地檢測(cè)到這些區(qū)域，因?yàn)檫@些區(qū)域的數(shù)目及其在臉部表面上的一般位置是預(yù)定的。根據(jù)成像方向難以檢測(cè)到臉部圖像的全局特征，即，例如如果從臉部的右側(cè)對(duì)臉部成像，則難以檢測(cè)到左眼的圖像特征。第二方向估計(jì)裝置113基于存儲(chǔ)裝置102中存儲(chǔ)的三維數(shù)據(jù)來生成與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像(從該成像方向觀看的參考對(duì)象的圖像)，并且比較整理目標(biāo)對(duì)象的圖像與對(duì)應(yīng)于第一成像方向的生成對(duì)象之間的局部特征，從而估計(jì)與整理目標(biāo)對(duì)象的成像方向相匹配的參考對(duì)象的第二成像方向。在本發(fā)明中，局部特征是相對(duì)小的圖像特征，當(dāng)分別局部觀察整理目標(biāo)對(duì)象的圖像和參考對(duì)象的圖像時(shí)，可以檢測(cè)到相對(duì)小的圖像特征。在該實(shí)施例中，使用表示皮膚表面上小圖案的圖像特征，例如痣、斑、雀斑、毛孔和腫塊。這些特征以不規(guī)則的數(shù)目和位置存在于整個(gè)臉部表面上。可以始終檢測(cè)到臉部圖像的局部特征，而與整理目標(biāo)對(duì)象和參考對(duì)象的成像方向無關(guān)，但是可以根據(jù)成像方向容易地改變局部特征的形式。圖像一致性確定裝置115基于存儲(chǔ)設(shè)備102中存儲(chǔ)的三維數(shù)據(jù)，來生成與參考對(duì)象的第二成像方向相對(duì)應(yīng)的圖像，分別比較生成圖像與整理目標(biāo)對(duì)象的圖像之間的全局特征和局部特征，基于相應(yīng)的比較結(jié)果，來確定這些圖像是否匹配，并且基于以上確定結(jié)果，來確定整理目標(biāo)對(duì)象是否與參考對(duì)象相對(duì)應(yīng)。
圖2是示出了圖像整理系統(tǒng)I的圖像整理處理的流的流程圖。圖3是示出了參考對(duì)象的成像方向估計(jì)處理的流的流程圖?，F(xiàn)在參照?qǐng)D2和圖3描述圖像整理處理。在本描述中，流程圖中的每個(gè)步驟(包括沒有用附圖標(biāo)記表示的部分步驟)的順序可以任意變化，或者可以在處理內(nèi)容不相矛盾的范圍內(nèi)并行執(zhí)行。當(dāng)攝像機(jī)100捕獲人臉圖像時(shí)，數(shù)據(jù)處理器104的第一方向估計(jì)裝置111獲取臉部圖像(整理目標(biāo)圖像)(SlOl)?？梢匝刂魏纬上穹较虿东@這里所使用的整理目標(biāo)對(duì)象的圖像。然后第一方向估計(jì)裝置111比較整理目標(biāo)圖像與對(duì)從存儲(chǔ)設(shè)備102中讀取的參考對(duì)象的形狀和紋理加以表示的三維數(shù)據(jù)之間的全局特征，以估計(jì)與整理目標(biāo)對(duì)象的成像方向相匹配的參考對(duì)象的一般成像方向(第一成像方向)，如圖3的上部所示(步驟S102)。例如，可以使用專利文獻(xiàn)I中公開的方法來估計(jì)參考 對(duì)象的第一成像方向。然后第二方向估計(jì)裝置113使用以上作為初始值估計(jì)的參考對(duì)象的第一成像方向，來估計(jì)參考對(duì)象的更具體成像方向(第二成像方向)，如圖3的下部所示(S103)。具體地，基于存儲(chǔ)設(shè)備102中存儲(chǔ)的三維數(shù)據(jù)來生成與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像，并且比較對(duì)應(yīng)于第一方向的生成圖像與整理目標(biāo)圖像之間的局部特征，以估計(jì)與整理目標(biāo)對(duì)象的成像方向相匹配的參考對(duì)象的第二成像方向。為了確定參考對(duì)象的第二成像方向，可以使用以下方法從臉部表面上觀察到的需要小特征點(diǎn)中確定參考圖像(在這種情況下，與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像)與整理目標(biāo)圖像之間的最可能對(duì)應(yīng)性，并且確定參考對(duì)象的成像方向，使得對(duì)應(yīng)特征點(diǎn)的位置和形狀匹配，例如如非專利文獻(xiàn)I中所公開的。后續(xù)參照?qǐng)D4和圖5描述估計(jì)參考對(duì)象的第二成像方向的處理的細(xì)節(jié)。當(dāng)估計(jì)參考對(duì)象的第二成像方向吋，圖像一致性確定裝置115基于存儲(chǔ)設(shè)備102中存儲(chǔ)的三維數(shù)據(jù)，生成與參考對(duì)象的第二成像方向相對(duì)應(yīng)的圖像作為參考圖像(S104)，比較全局特征(S105)，比較生成參考圖像與整理目標(biāo)圖像之間的局部特征(S106)，基于分別比較結(jié)果來確定兩個(gè)圖像是否匹配(S107)，以及基于以上確定結(jié)果來確定整理目標(biāo)對(duì)象是否與參考對(duì)象相對(duì)應(yīng)(108)。具體地，通過比較參考圖像與整理目標(biāo)圖像之間的全局特征來計(jì)算參考圖像與整理目標(biāo)圖像之間的第一相似性。對(duì)于基于全局特征比較的圖像整理方法，可以使用在專利文獻(xiàn)I中公開的方法。然后通過比較參考圖像與整理目標(biāo)圖像之間的局部特征來計(jì)算參考圖像與整理目標(biāo)圖像之間的第二相似性。對(duì)于第二相似性，可以使用非專利文獻(xiàn)I中公開的整理評(píng)分。然后圖像一致性確定裝置115基于在參考圖像與整理目標(biāo)圖像之間執(zhí)行的比較全局特征和局部特征的相應(yīng)結(jié)果(即基于第一相似性和第二相似性)來確定參考圖像與整理目標(biāo)圖像是否匹配。作為這種確定的可能方法，將第一相似性和第二相似性的統(tǒng)計(jì)(例如，平均值、最大值、最小值、加權(quán)和)與預(yù)定閾值相比較，并且這些圖像匹配確定統(tǒng)計(jì)值是否大于閾值?；谡砟繕?biāo)圖像與參考圖像是否匹配，圖像一致性確定裝置115經(jīng)由監(jiān)視器或揚(yáng)聲器輸出圖像整理處理的結(jié)果，即，整理目標(biāo)對(duì)象與參考對(duì)象是否彼此對(duì)應(yīng)。例如，如果確定這些圖像匹配，則輸出通知整理目標(biāo)對(duì)象與參考對(duì)象相對(duì)應(yīng)的信息。圖4是更詳細(xì)示出了數(shù)據(jù)處理器104的第二方向估計(jì)裝置113進(jìn)行的參考對(duì)象的第二成像方向估計(jì)處理的流程圖，圖5是更詳細(xì)示出了第二方向估計(jì)處理的流的示意圖。參照?qǐng)D4和圖5詳細(xì)描述第二成像方向估計(jì)處理。首先，第二估計(jì)裝置113從整理目標(biāo)圖像和與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像中分別提取局部特征(S401、S402)。對(duì)于提取局部特征的方法，可以使用在非專利文獻(xiàn)I中公開的方法。然后，第二方向估計(jì)裝置113從整理目標(biāo)圖像中確定在預(yù)定范圍中包括局部特征(特征點(diǎn))的ー個(gè)或多個(gè)部分區(qū)域(目標(biāo)部分區(qū)域)(S403)。[第二方向估計(jì)裝置113]還從沿著參考對(duì)象的第一成像方向的圖像中確定部分區(qū)域(參考部分區(qū)域)(S404)。然后，第二方向估計(jì)裝置113順序地參考目標(biāo)部分區(qū)域和參考部分區(qū)域，并且確定彼此相對(duì)應(yīng)的目標(biāo)部分區(qū)域和參考部分區(qū)域的組合。首先從目標(biāo)部分區(qū)域和參考部分區(qū)域中分別選擇ー個(gè)部分區(qū)域(S405、S406)，并且對(duì)參考部分區(qū)域執(zhí)行預(yù)定變換處理(S407)。
具體地，第二方向估計(jì)裝置113改變參考對(duì)象(為了精確，部分區(qū)域)的成像方向，使得要參考的部分區(qū)域在整理目標(biāo)圖像與參考圖像(與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像)之間匹配(變得類似)。為了更精確，第二方向估計(jì)裝置113改變每個(gè)參考部分區(qū)域的成像方向，以分別最大程度類似于目標(biāo)部分區(qū)域。然后第二方向估計(jì)裝置113通過比較與預(yù)定閾值的相似性來確定與改變之后的成像方向相對(duì)應(yīng)的參考部分區(qū)域是否與目標(biāo)部分區(qū)域相匹配(S408)，并且如果確定這些部分區(qū)域相匹配，則存儲(chǔ)這些部分區(qū)域(對(duì)應(yīng)的部分區(qū)域)的組合(S409)。通過針對(duì)所有部分區(qū)域重復(fù)S405至S409中的處理，針對(duì)多個(gè)部分區(qū)域確定對(duì)應(yīng)性(對(duì)應(yīng)的部分區(qū)域)。假定第二方向估計(jì)裝置113針對(duì)每個(gè)參考部分區(qū)域確定與對(duì)應(yīng)的部分區(qū)域具有最高相似性的目標(biāo)部分區(qū)域，并且如果第二方向估計(jì)裝置113例如在重復(fù)S405至S409中的處理時(shí)檢測(cè)到比之前執(zhí)行的對(duì)應(yīng)部分區(qū)域確定處理(S408和S409)中確定的對(duì)應(yīng)部分區(qū)域的組合更高相似性的組合，則存儲(chǔ)這種具有較高相似性的部分區(qū)域的組合作為對(duì)應(yīng)的部分區(qū)域(例如，蓋寫)。在針對(duì)所有部分區(qū)域確定相應(yīng)性之前重復(fù)S405至S409中的處理之后(S410中的是)，基于S408中確定的對(duì)應(yīng)部分區(qū)域來確定參考對(duì)象的第二成像方向(S411)。具體地，使用存儲(chǔ)設(shè)備102中存儲(chǔ)的三維數(shù)據(jù)來確定參考對(duì)象的第二成像方向，使得整理目標(biāo)圖像和參考圖像的對(duì)應(yīng)部分區(qū)域最佳地交疊(例如，使得交疊區(qū)域中像素的數(shù)目達(dá)到最大)。如上所述，根據(jù)本發(fā)明，首先基于全局特征來估計(jì)參考對(duì)象的一般成像方向(第一成像方向)，然后基于局部特征來估計(jì)參考對(duì)象的更精確成像方向(第二成像方向)。因此，即使整理目標(biāo)對(duì)象的圖像對(duì)應(yīng)于難于觀察到全局特征的成像方向(例如，向側(cè)面看的臉部圖像)，也可以基于整理目標(biāo)對(duì)象的整個(gè)臉部中可觀察到的局部特征來估計(jì)具體成像方向，并且可以執(zhí)行圖像整理。換言之，在處理作為整理對(duì)象目標(biāo)和參考對(duì)象的人臉的情況下，眼睛、眼眉、鼻子和嘴可以用作全局特征，皮膚上的痣、斑、雀斑、毛孔和腫塊可以用作局部特征。但是眼睛和嘴位于前臉部區(qū)域，并且如果僅使用全局特征來估計(jì)姿勢(shì)，則當(dāng)臉部向側(cè)面看時(shí)，姿勢(shì)估計(jì)精度下降。另ー方面，可以在整個(gè)臉部的皮膚表面上檢測(cè)到局部特征(表示皮膚上圖案的圖像特征，例如痣)，從而不管成像整理目標(biāo)對(duì)象(臉部)的哪個(gè)成像方向，可以高精度地估計(jì)成像方向。此外，可以基于全局特征來估計(jì)參考對(duì)象的一般成像方向(第一成像方向)，因此縮窄了基于局部特征的對(duì)應(yīng)候選的范圍，并且可以增加處理效率。此外，根據(jù)本發(fā)明，逐級(jí)執(zhí)行成像方向估計(jì)處理，S卩，首先基于全局特征來估計(jì)參考對(duì)象的一般成像方向(第一成像方向)，然后基于局部特征來估計(jì)參考對(duì)象的更精確成像方向(第二成像方向)，因此即使分別整理具有相似全局特征的臉部圖像(例如雙胞胎的情況)，也可以使用局部特征(例如，痣)的差異更精確地確定整理目標(biāo)對(duì)象和參考對(duì)象的一致性。本申請(qǐng)要求基于2010年I月12日提交的日本專利申請(qǐng)No. 2010-3832的優(yōu)先權(quán)，其全部公開合并于此。盡管參照實(shí)施例描述了本發(fā)明，但是本發(fā)明不限于這些實(shí)施例。本領(lǐng)域技術(shù)人員 在本發(fā)明的范圍內(nèi)對(duì)本發(fā)明的配置和細(xì)節(jié)進(jìn)行各種修改。エ業(yè)上的適用性本發(fā)明可以應(yīng)用于使用臉部圖像整理的個(gè)人認(rèn)證系統(tǒng)、基于圖像整理的圖像獲取系統(tǒng)、以及基于臉部方向操作計(jì)算機(jī)的架構(gòu)(人間人機(jī)界面)。附圖標(biāo)記列表I圖像整理系統(tǒng)100攝像機(jī)102存儲(chǔ)設(shè)備104數(shù)據(jù)處理器111第一方向估計(jì)裝置113第二方向估計(jì)裝置115圖像一致性確定裝置
權(quán)利要求
1.一種圖像整理系統(tǒng)，包括 三維數(shù)據(jù)存儲(chǔ)裝置，用于存儲(chǔ)與參考對(duì)象的至少形狀和紋理有關(guān)的三維數(shù)據(jù)； 第一方向估計(jì)裝置，用于通過比較整理目標(biāo)對(duì)象的圖像與三維數(shù)據(jù)存儲(chǔ)裝置中存儲(chǔ)的參考對(duì)象的三維數(shù)據(jù)之間的全局特征，來估計(jì)參考對(duì)象的與整理目標(biāo)對(duì)象的成像方向匹配的第一成像方向； 第二方向估計(jì)裝置，基于三維數(shù)據(jù)，生成與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像，并且通過比較整理目標(biāo)對(duì)象的圖像與對(duì)應(yīng)于第一成像方向的生成圖像之間的局部特征，來估計(jì)參考對(duì)象的與整理目標(biāo)對(duì)象的成像方向匹配的第二成像方向；以及 圖像一致性確定裝置，用于基于三維數(shù)據(jù)，生成與參考對(duì)象的第二成像方向相對(duì)應(yīng)的圖像，并且基于整理目標(biāo)對(duì)象的圖像是否與對(duì)應(yīng)于第二成像方向的生成圖像相匹配，來確定整理目標(biāo)對(duì)象是否對(duì)應(yīng)于參考對(duì)象。
2.根據(jù)權(quán)利要求I所述的圖像整理系統(tǒng)，其中， 第二方向估計(jì)裝置提取整理目標(biāo)對(duì)象的圖像和與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像中對(duì)應(yīng)的部分區(qū)域，并且確定參考對(duì)象的第二成像方向，使得提取的對(duì)應(yīng)部分區(qū)域彼此交疊。
3.根據(jù)權(quán)利要求2所述的圖像整理系統(tǒng)，其中， 第二方向估計(jì)裝置改變與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像的每個(gè)部分區(qū)域的成像方向，使得所述部分區(qū)域變得最相似于整理目標(biāo)對(duì)象的圖像的每個(gè)部分區(qū)域，并且確定整理目標(biāo)對(duì)象的圖像中相似度最高的部分區(qū)域，作為所述對(duì)應(yīng)的部分區(qū)域。
4.根據(jù)權(quán)利要求I至3中任一項(xiàng)所述的圖像整理系統(tǒng)，其中， 圖像一致性確定裝置基于分別比較這些圖像之間全局特征和局部特征的結(jié)果，來確定與參考對(duì)象的第二成像方向相對(duì)應(yīng)的圖像是否與整理目標(biāo)對(duì)象的圖像匹配。
5.根據(jù)權(quán)利要求I至4中任一項(xiàng)所述的圖像整理系統(tǒng)，其中， 整理目標(biāo)對(duì)象和參考對(duì)象是人臉，并且局部特征是基于以下中的至少一個(gè)的圖像特征臉部皮膚上的痣、斑、雀斑、毛孔和腫塊。
6.一種圖像整理方法包括 第一方向估計(jì)步驟，用于通過比較整理目標(biāo)對(duì)象的圖像與三維數(shù)據(jù)存儲(chǔ)裝置中存儲(chǔ)的關(guān)于參考對(duì)象的至少形狀和紋理的三維數(shù)據(jù)之間的全局特征，來估計(jì)與整理目標(biāo)對(duì)象的成像方向匹配的參考對(duì)象的第一成像方向； 第二方向估計(jì)步驟，基于三維數(shù)據(jù)，生成與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像，并且通過比較整理目標(biāo)對(duì)象的圖像與對(duì)應(yīng)于第一成像方向的生成圖像之間的局部特征，來估計(jì)與整理目標(biāo)對(duì)象的成像方向匹配的參考對(duì)象的第二成像方向；以及 圖像一致性確定步驟，用于基于三維數(shù)據(jù)，生成與參考對(duì)象的第二成像方向相對(duì)應(yīng)的圖像，并且基于整理目標(biāo)對(duì)象的圖像是否與對(duì)應(yīng)于第二成像方向的生成圖像相匹配，來確定整理目標(biāo)對(duì)象是否對(duì)應(yīng)于參考對(duì)象。
7.一種使計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求6所示的圖像整理方法的計(jì)算機(jī)程序。
全文摘要
本發(fā)明提供了一種圖像整理的新架構(gòu)，本發(fā)明的圖像整理系統(tǒng)包括三維數(shù)據(jù)存儲(chǔ)裝置，用于存儲(chǔ)與參考對(duì)象的至少形狀和紋理有關(guān)的三維數(shù)據(jù)；第一方向估計(jì)裝置，用于通過比較整理目標(biāo)對(duì)象的圖像與三維數(shù)據(jù)存儲(chǔ)裝置中存儲(chǔ)的參考對(duì)象的三維數(shù)據(jù)之間的全局特征，來估計(jì)與整理目標(biāo)對(duì)象的成像方向匹配的參考對(duì)象的第一成像方向；第二方向估計(jì)裝置，基于三維數(shù)據(jù)，生成與參考對(duì)象的第一成像方向相對(duì)應(yīng)的圖像，并且通過比較整理目標(biāo)對(duì)象的圖像與對(duì)應(yīng)于第一成像方向的生成圖像之間的局部特征，來估計(jì)參考對(duì)象的與整理目標(biāo)對(duì)象的成像方向匹配的第二成像方向；以及圖像一致性確定裝置，用于基于三維數(shù)據(jù)，生成與參考對(duì)象的第二成像方向相對(duì)應(yīng)的圖像，并且基于整理目標(biāo)對(duì)象的圖像是否與對(duì)應(yīng)于第二成像方向的生成圖像相匹配，來確定整理目標(biāo)對(duì)象是否對(duì)應(yīng)于參考對(duì)象。
文檔編號(hào)G06T7/60GK102713975SQ201080061269
公開日2012年10月3日 申請(qǐng)日期2010年12月14日 優(yōu)先權(quán)日2010年1月12日
發(fā)明者浜田康志 申請(qǐng)人:日本電氣株式會(huì)社