專利名稱：圖像識別裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像識別裝置和圖像識別方法，其中通過使用輸入圖像和三維形狀信息生成三維模型，并且執(zhí)行識別處理。
背景技術(shù)：
使用臉面圖像的識別在安全上是一種非常有用的技術(shù)，因為與物理鑰匙或密碼不同，不用擔(dān)心丟失或遺忘。但是，臉面的形狀隨著用戶的站立位置或者體型的個體差異而改變，并且臉面的方向也不恒定，識別時的照射條件也不能事先確定。因此，為了高精度地執(zhí)行識別，吸收由這些情況引起的臉面圖案的變化是必不可少的。
到目前為止，作為使用臉面圖像進(jìn)行個人身份識別的技術(shù)，存在例如由O.Yamaguchi和K.Fukui公開的一種方法(“Smartface”-A RobustFace Recognition System under Varying Facial Pose and Expression”，IEICE Trans.On Information and Systems Vol.E86-D，No.1，pp.37-44，2003。這相應(yīng)于Yamaguchi，F(xiàn)ukui的“Face Recognition System“Smartface”Robust to Change in Face Direction and Expression”SINGAKURON(D-II)Vol.J84-D-II，No.6，pp.1045-1052，2001的英文譯文)。按照這種方法，通過使用運動圖像來抑制臉面圖案的變化，并且進(jìn)行識別。為了高精度地執(zhí)行識別，從運動圖像收集各種個人臉面圖案非常重要，但是，這存在圖案收集依賴用戶自己的臉面方向的問題。除此之外，由于對于輸入和字典兩者都需要多個圖像，因此例如在只有一幅照片可以用于識別的情形下該方法不能應(yīng)用。
根據(jù)JP-2002-157595A(日本專利申請公開2002-157595)的方法，通過使用范圍取景器(range finder)事先執(zhí)行測量，以便拍攝臉面的三維形狀，并且在運動和旋轉(zhuǎn)臉面形狀以使其與檢查對象具有相同的臉面方向時執(zhí)行檢查。由于針對每一個個體拍攝了精確的形狀，因此能夠在臉面的方向和大小正確時執(zhí)行檢查，但卻需要特殊設(shè)備以便拍攝形狀。除此之外，對于已經(jīng)通過普通相機拍攝的圖像，例如在護(hù)照或許可證上的圖像，由于不能獲得形狀，因此該方法不能應(yīng)用。
根據(jù)V.Blanz和T.Vetter(“A morphable model for the synthesis of3-D faces”，Proc.SIGGRAPH，1999，pp.187-194)的方法，事先拍攝大量臉面形狀，通過線性組合生成與輸入圖像最相似的模型，并且能夠執(zhí)行識別。盡管臉面的形狀、方向和大小以及照射條件能夠從一個圖像進(jìn)行估計，但是由于所生成的臉面模型的三維形狀信息取決于事先拍攝的臉面形狀，因此該方法并必然地能夠高精度地應(yīng)用到任意臉面。除此之外，由于估計大量參數(shù)并進(jìn)行身份識別，因此需要大量處理時間。
如上所述，為了吸收人臉面圖案的各種變化，盡管現(xiàn)有技術(shù)中通過某些方法收集或生成各種臉面圖案并進(jìn)行身份識別的方法是有效的，但是存在需要大量圖像、需要特殊設(shè)備、以及可適用臉面受到限制的問題。

發(fā)明內(nèi)容
為了解決現(xiàn)有技術(shù)的上述問題作出了本發(fā)明，并且本發(fā)明的目的是提供一種圖像識別裝置、圖像識別方法和圖像識別程序產(chǎn)品，其能夠通過使用普通相機從任意數(shù)量的圖像并且使用三維形狀信息通過三維臉面模型生成應(yīng)用到任意臉面。
根據(jù)本發(fā)明的實施例，提供一種圖像識別裝置，使用通過拍攝具有三維形狀的對象所獲得的圖像并且執(zhí)行該對象的圖像識別，包括圖像輸入單元，圖像輸入其中；三維形狀信息保存單元，配置以存儲三維形狀信息作為對象的三維模型的初始；模型生成單元，配置以使用輸入圖像和三維形狀信息生成三維模型；圖案生成單元，配置以生成在不同方向上三維模型投影到平面上的多個圖案圖像；特征提取單元，配置以從多個圖案圖像提取特征量；登記字典保存單元，配置以登記對象的特征量；以及相似度計算單元，配置以計算所提取的特征量和所登記的對象的特征量之間的相似度，以便根據(jù)所計算的相似度識別對象。
根據(jù)本發(fā)明的實施例，提供一種圖像識別裝置，使用通過拍攝具有三維形狀的對象所獲得的圖像并且執(zhí)行該對象的圖像識別，包括圖像輸入單元，圖像輸入其中；三維形狀信息保存單元，配置以存儲三維形狀信息作為對象的三維模型的初始；模型生成單元，配置以使用輸入圖像和三維形狀信息生成三維模型；紋理擾動分析單元，配置以將兩維變化添加到三維模型上并生成多個圖案圖像；特征提取單元，配置以從多個圖案圖像提取特征量；登記字典保存單元，配置以登記對象的特征量；以及相似度計算單元，配置以計算所提取的特征量和所登記的對象的特征量之間的相似度，以便根據(jù)所計算的相似度識別對象。
根據(jù)本發(fā)明的實施例，通過使用三維形狀信息生成三維模型，能夠從任意數(shù)量的圖像和使用普通相機進(jìn)行高精度的識別。


圖1示出本發(fā)明的第一實施例的結(jié)構(gòu)方框圖。
圖2是從三維模型的圖案圖像生成的概念圖。
圖3示出本發(fā)明的第二實施例的結(jié)構(gòu)方框圖。
圖4是從紋理圖像的圖案圖像生成的概念圖。
圖5示出本發(fā)明的第三實施例的結(jié)構(gòu)方框圖。
圖6示出本發(fā)明的第四實施例的結(jié)構(gòu)方框圖。
圖7示出本發(fā)明的第五實施例的結(jié)構(gòu)方框圖。
圖8是從輸入形狀的形狀規(guī)格化的概念圖。
具體實施例方式
(第一實施例)下面將參照圖1和2描述本發(fā)明的第一實施例的圖像識別裝置10。
(1)圖像識別裝置10的結(jié)構(gòu)如圖1的方框圖所示，該實施例的圖像識別裝置10包括圖像輸入單元12，用于輸入目標(biāo)人的臉面；對象檢測單元14，用于從輸入圖像檢測人的臉面；模型生成單元16，用于使用所檢測的臉面和事先保存的三維形狀信息生成三維臉面模型；圖案生成單元18，用于從所生成的三維臉面模型生成臉面圖案圖像；特征提取單元20，用于從所生成的臉面圖案圖像提取用以識別的特征量；以及相似度計算單元24，用于計算對事先登記的登記字典22的相似度。
下面將參照圖1描述圖像識別裝置10的操作。
(2)圖像輸入單元12首先，圖像輸入單元12輸入臉面圖像作為處理對象。作為構(gòu)成圖像輸入單元12的設(shè)備示例，可以使用USB相機或數(shù)字相機。除此之外，也可以使用存儲事先拍攝并保存的臉面圖像數(shù)據(jù)的記錄設(shè)備、錄像帶、DVD等，或者也可以使用用于掃描臉面照片的掃描儀。圖像也可以通過網(wǎng)絡(luò)輸入。
通過圖像輸入單元12所獲得的圖像順次發(fā)送給對象檢測單元14。
(3)對象檢測單元14對象檢測單元14檢測圖像中臉面部分的坐標(biāo)作為臉面特征點。盡管可以使用任何方法來檢測臉面特征點，可以通過使用例如Fukui和Yamaguchi(“Facial Feature Extraction Method based on Combination ofShape Extraction and Pattern Matching”SINGAKURON(D-II)Vol.J80-D-II，No.9，pp.2170-2177，1997)的方法來執(zhí)行檢測。
被檢測的特征點可以任意為瞳孔、鼻孔、嘴角、眼外框、眼內(nèi)框、鼻尖、嘴輪廓、嘴中點、眉梢、臉面輪廓、以及下頦，只要它們?yōu)椴辉谕黄矫嫔系乃狞c或更多點即可。除此之外，待輸出的特征點可以為多組點。例如，針對所檢測的特征點在任意方向上受擾的不同特征點進(jìn)行計算并輸出。此時，模型生成和圖案生成的處理按照輸出的特征點的組數(shù)執(zhí)行，并且在特征提取單元20中執(zhí)行綜合，以便獨立于所輸出的特征點的組數(shù)執(zhí)行處理。
(4)模型生成單元16模型生成單元16使用事先保存的三維形狀信息并生成三維臉面模型。模型生成單元16也可以使用其他人的三維形狀信息。
在三維形狀信息中，存儲三維形狀的坐標(biāo)，其變?yōu)樽鳛樽R別對象的人臉面的三維模型的初始，特別地，存儲臉面特征點例如瞳孔、鼻孔、以及嘴角的各個點的坐標(biāo)(xi’，yi’，zi’)。
使用從對象檢測單元14獲得的臉面特征點(xi，yi)和模型上相應(yīng)的臉面特征點(xi’，yi’，zi’)，并且按照下面的表達(dá)式(1)、表達(dá)式(2)和表達(dá)式(3)定義相機運動矩陣M。
W＝|xi-xyi-y|T(1)S=xi′-x′‾yi′-y′‾zi′-z′‾T---(2)]]>W＝MS (3)M＝WS(4)(x，y)(A)(x′，y′，z′) (B)(x′‾,y′‾,z′‾)---(B)]]>S(C)其中，表達(dá)式(A)表示輸入圖像上特征點的重心，而表達(dá)式(B)表示三維臉面模型上特征點的重心。通過計算表達(dá)式(C)的矩陣作為表達(dá)式(3)中的矩陣S的廣義逆矩陣，能夠根據(jù)表達(dá)式(4)計算相機運動矩陣M。
接著，通過使用所計算的相機運動矩陣M，能夠從輸入圖像估計三維臉面模型的紋理。通過表達(dá)式(5)能夠?qū)⑷S模型上的任意坐標(biāo)(x′，y′，z′)變換成所對應(yīng)的輸入圖像上的坐標(biāo)(s，t)。順便提及的是，紋理指的是添加在每一個坐標(biāo)上的圖像信息，比如顏色。
st=Mx′-x′‾y′-y′‾z′-z′‾---(5)]]>相應(yīng)地，在三維模型上坐標(biāo)(x′，y′，z′)處紋理圖像的像素值T(x′，y′，z′)通過使用輸入圖像上的像素值I(x，y)和表達(dá)式(6)定義。
T(x′，y′，z′)＝I(s+x，t+y) (6)可以針對表達(dá)式(5)和(6)通過對紋理圖像上的所有像素執(zhí)行計算來計算紋理圖像。紋理圖像和三維形狀信息構(gòu)成三維臉面模型。像素值T(x′，y′，z′)可以使用輸入圖像上靠近坐標(biāo)(s，t)的像素值通過插補來計算。
(5)圖案生成單元18
接著，圖案生成單元18使用所獲得的三維臉面模型并生成臉面圖案圖像。
使三維臉面模型具有任意的姿勢，通過使用計算機圖形技術(shù)進(jìn)行著色(rendering)，并且能夠針對任意姿勢提取臉面圖案圖像。在姿勢進(jìn)行各種變化時生成多個臉面圖案圖像。圖2示出在三維模型的姿勢變化時生成臉面圖案圖像的情況下的概念圖。順便提及的是，臉面圖案圖像是在多個不同的方向上通過將臉面的三維模型投影到到平面上所獲得的圖像。
雖然姿勢可以任意方式變化，然而例如臉面可以在垂直方向或水平方向上在-5°到+5°的范圍內(nèi)按照每度變化，或者模型的角度從相機運動矩陣計算而角度相對于模型的角度變化，并且能夠提取臉面圖案圖像。
作為角度的參數(shù)，在作為著色的結(jié)果能夠看見臉面的范圍內(nèi)可以使用任何值。
順便提及的是，由于在著色之后臉面特征點的坐標(biāo)可以從幾何學(xué)上計算，因此臉面圖案圖像可以從著色的結(jié)果并且相對于任意臉面特征點提取。
(6)特征提取單元20接著，特征提取單元20提取識別所需的特征。
由于多個臉面圖案圖像由圖案生成單元18獲取，這些被看作例如具有像素值作為元素的特征向量，之行公知的K-L擴展，并將所獲得的正交基向量用作與輸入圖像相對應(yīng)的個人的特征量。
在對個人進(jìn)行登記時，記錄該特征量?？梢詧?zhí)行特征向量的元素的任意選擇方式或任意生成方法。除此之外，可以對特征向量執(zhí)行任意圖像處理，例如差分處理或直方圖均衡，并且特征量生成方法不僅限于此。
(7)相似度計算單元24之后，相似度計算單元24計算事先計算的特征量和在特征提取單元20中計算的輸入的特征量之間的相似度。
雖然相似度計算可以使用任何方法，然而例如使用在背景技術(shù)部分中提到的O.Yamaguchi和K.Fukui提出的交互子空間方法。通過該識別方法，可以計算臉面特征量之間的相似度。根據(jù)特定的預(yù)定閾值判定相似度，并且識別個人。閾值可以是通過事先的識別試驗確定的值，或者可以根據(jù)個人的特征量增加/減小。
(8)該實施例的效果如上所述，根據(jù)第一實施例的圖像識別裝置10，通過使用三維形狀信息生成三維臉面模型，可以從任意數(shù)量的圖像并使用普通相機進(jìn)行高精度的識別。
(第二實施例)下面將參照圖3和4描述本發(fā)明的笫二實施例的圖像識別裝置10。
(1)圖像識別裝置10的結(jié)構(gòu)如圖3的方框圖所示，該實施例的圖像識別裝置10包括圖像輸入單元12，用于輸入目標(biāo)人的臉面；對象檢測單元14，用于從輸入圖像檢測人的臉面；模型生成單元16，用于使用所檢測的臉面和事先保存的三維形狀信息生成三維臉面模型；紋理擾動分析單元26，用于從紋理生成多個臉面圖案圖像；特征提取單元20，用于從所生成的臉面圖案圖像提取用以識別的特征量；以及相似度計算單元24，用于計算對事先登記的登記字典22的相似度。
順便提及的是，圖像輸入單元12、對象檢測單元14、三維形狀信息、模型生成單元16、特征提取單元20、登記字典22、以及相似度計算單元24與第一實施例中描述的相同。
(2)紋理擾動分析單元26下面將描述該實施例的特有部分紋理擾動分析單元26。
紋理擾動分析單元26使用模型生成單元16獲得的紋理，并且生成多個臉面圖案圖像。由于建立了所獲得的紋理上的坐標(biāo)和三維臉面模型上的坐標(biāo)之間的對應(yīng)關(guān)系，因此能夠得到紋理中臉面特征點的坐標(biāo)。通過使用該紋理中的臉面特征點的坐標(biāo)將臉面圖案圖像切出。
此時，對于臉面特征點，不僅在從對象檢測單元14獲得的臉面特征點中，而且在模型生成時所有的三維坐標(biāo)中建立對于關(guān)系，從而也可以再次選擇臉面的任意點作為臉面特征點。
對于臉面圖案圖像的切出方法，可以使用任何切出方法，例如可以進(jìn)行規(guī)格化以便兩個瞳孔之間的間隔變得相等、或者特征點的重心位于圖案圖像的中心。
除此之外，可以在左、右、上、下等的任意方向上擴展/壓縮圖案圖像。
除此之外，在切出時可以通過在任意方向上擾動臉面特征點的坐標(biāo)來生成不同的臉面圖案圖像。擾動量可以在任意范圍內(nèi)。
除此之外，對于要被擾動的臉面特征點的種類，可以任意組合一種或所有的特征點，并且對于施加擾動的方向，不僅可以在垂直于或平行于圖像的方向上、而且可以在任意方向上施加擾動。例如，當(dāng)選擇雙眼作為臉面特征點時，在水平和垂直的各自方向上施加-2到+2像素的擾動的情況下，能夠從模型生成單元16獲得的紋理中生成625個臉面圖案圖像。圖4示出在紋理圖像一維變化的情況下的概念圖。
(3)該實施例的效果如上所述，根據(jù)第二實施例的圖像識別裝置10，從所生成的三維臉面模型中，不是根據(jù)計算機圖形技術(shù)執(zhí)行著色，而是從紋理中生成多個臉面圖案圖像，從而能夠高速地進(jìn)行識別。
(第三實施例)下面將參照圖5描述本發(fā)明的第三實施例的圖像識別裝置10。
(1)圖像識別裝置10的結(jié)構(gòu)如圖5的方框圖所示，該實施例的圖像識別裝置10包括圖像輸入單元12，用于輸入目標(biāo)人的臉面；對象檢測單元14，用于從輸入圖像檢測人的臉面；形狀選擇單元28，用于使用事先保存的三維形狀信息和來自對象檢測單元14的結(jié)果，選擇合適的三維形狀信息；模型生成單元16，用于使用形狀選擇單元28所獲得的三維形狀信息生成三維臉面模型；圖案生成單元18，用于從所三維臉面模型生成臉面圖案圖像；特征提取單元20，用于從所生成的臉面圖案圖像提取用以識別的特征量；以及相似度計算單元24，用于計算對事先登記的登記字典22的相似度。
順便提及的是，圖像輸入單元12、對象檢測單元14、三維形狀信息、模型生成單元16、圖案生成單元18、特征提取單元20、登記字典22、以及相似度計算單元24與第一實施例中描述的相同。
(2)形狀選擇單元28下面將描述該實施例的特有部分形狀選擇單元28。
形狀選擇單元28根據(jù)從對象檢測單元14獲得的特征點和事先保存的多個三維形狀信息選擇合適的三維形狀信息。
當(dāng)從對象檢測單元14獲得特征點時，針對這些特征點間的位置關(guān)系，還在三維形狀中事先測量等價特征點之間的距離，并且輸出多個三維形狀中距離最接近的一個。
特征點和距離計算的標(biāo)準(zhǔn)可以任意方式選擇。例如，可以計算眼睛和鼻子之間的距離，并且輸出其中距離最接近的三維形狀。
除此之外，在不僅給出臉面的幾何構(gòu)造，而且給出男性和女性、種族等作為信息的情況下，可以根據(jù)這些信息，為男性和女性、種族等中的每一個準(zhǔn)備三維形狀，并且輸出適當(dāng)?shù)娜S形狀。此時，可以使用圖案匹配等自動執(zhí)行男性和女性、種族等的判別。
除此之外，待輸出的三維形狀不僅限于一個，而是可以輸出選擇三維形狀時滿足閾值的那些三維形狀或者所有的三維形狀，針對所輸出的模型執(zhí)行諸如模型生成之類的隨后的處理，并且可以在特征提取單元20中結(jié)合它們。在特征提取單元20中，由于可以結(jié)合來自圖案生成單元18的多個圖像，因此不必考慮待輸出的模型的數(shù)量和圖案圖像的數(shù)量，并且可以完全類似于一個模型的情況執(zhí)行特征提取。
(3)該實施例的效果如上所述，根據(jù)第三實施例的圖像識別裝置10，通過選擇用于輸入圖像的適當(dāng)?shù)娜S形狀，能夠高精度地進(jìn)行識別。
(笫四實施例)下面將參照圖6描述本發(fā)明的第四實施例的圖像識別裝置10。
(1)圖像識別裝置10的結(jié)構(gòu)如圖6的方框圖所示，該實施例的圖像識別裝置10包括圖像輸入單元12，用于輸入目標(biāo)人的臉面；對象檢測單元14，用于從輸入圖像檢測人的臉面；模型生成單元16，用于使用所檢測的臉面和事先保存的三維形狀信息生成三維臉面模型；圖案生成單元18，用于從所三維臉面模型生成臉面圖案圖像；圖案圖像驗證單元30，用于使用所生成的臉面圖案圖像驗證對象檢測單元14所獲得的特征點；特征提取單元20，用于從所生成的臉面圖案圖像提取用以識別的特征量；以及相似度計算單元24，用于計算對事先登記的登記字典22的相似度。
順便提及的是，圖像輸入單元12、對象檢測單元14、三維形狀信息、模型生成單元16、圖案生成單元18、特征提取單元20、登記字典22、以及相似度計算單元24與第一實施例中描述的相同。
(2)圖案圖像驗證單元30下面將描述該實施例的特有部分圖案圖像驗證單元30。
圖案圖像驗證單元30使用模型生成單元16獲得的臉面模型，并且驗證在特征提取單元20中獲得的臉面特征點是否正確。
從表達(dá)式(4)計算的相機運動矩陣估計模型的角度作為參考角度，并且將模型生成單元16中獲得的三維臉面模型旋轉(zhuǎn)到參考角度，以及根據(jù)計算機圖形技術(shù)進(jìn)行著色。
此時，在檢測的特征點偏移正確位置并且被錯誤地提取的情況下，著色結(jié)果明顯與圖像輸入單元12所輸入的圖像或標(biāo)準(zhǔn)臉面圖案不同，并將其輸出。驗證該圖案圖像中的差異，在超出特定閾值的情況下，判定特征點檢測錯誤并再次執(zhí)行特征點檢測。針對圖案圖像中的差異，可以使用任何方法。例如，可以使用兩個圖案圖像的亮度差的絕對值之和(SAD絕對差之和)等。
除此之外，可以對整個著色的圖案圖像進(jìn)行驗證，或者可以僅對關(guān)注特征點的近鄰進(jìn)行驗證，或者也可以組合特征點的多個近鄰。
(3)該實施例的效果如上所述，根據(jù)第四實施例的圖像識別裝置10，可以根據(jù)所生成的三維臉面模型驗證所檢測的臉面特征點，從而能夠高精度地進(jìn)行識別。
(第五實施例)下面將參照圖7和圖8描述本發(fā)明的第五實施例的圖像識別裝置10。
(1)圖像識別裝置10的結(jié)構(gòu)如圖7的方框圖所示，該實施例的圖像識別裝置10包括圖像輸入單元12，用于輸入目標(biāo)人的臉面；對象檢測單元14，用于從輸入圖像檢測人的臉面；形狀輸入單元72，用于輸入目標(biāo)人的臉面的三維形狀；形狀規(guī)格化單元76，用于使用事先保存的參考形狀信息74規(guī)格化所輸入的臉面形狀；模型生成單元16，用于使用所檢測的臉面和規(guī)格化的三維形狀信息78生成三維臉面模型；圖案生成單元18，用于從所三維臉面模型生成臉面圖案圖像；特征提取單元20，用于從所生成的臉面圖案圖像提取用以識別的特征量；以及相似度計算單元24，用于計算對事先登記的登記字典22的相似度。
順便提及的是，圖像輸入單元12、對象檢測單元14、模型生成單元16、圖案生成單元18、特征提取單元20、登記字典22、以及相似度計算單元24與第一實施例中描述的相同。
(2)形狀輸入單元72在形狀輸入單元72中，輸入由能夠測量對象的三維形狀的設(shè)備例如范圍取景器所獲得的目標(biāo)人的臉面的三維形狀(圖8中的輸入形狀82)。由于一些范圍取景器不僅能夠獲取三維形狀，而且能夠同時獲取拍攝對象的圖像，因此圖像輸入單元12和形狀輸入單元72可以為同一設(shè)備。除此之外，可以通過立體方法從多個圖像獲得所述形狀，并且獲取識別對象的形狀的方法不僅限于這些方法。
假定輸入到該實施例的形狀輸入單元72的形狀是其中深度(z坐標(biāo)值)為像素值的圖像(深度圖像)。
順便提及的是，可以將描述多個構(gòu)成該形狀的頂點和這些頂點之間的耦接關(guān)系的網(wǎng)狀結(jié)構(gòu)(例如VRML(虛擬現(xiàn)實造型語言))輸入到形狀輸入單元72。在這種情況下，形狀輸入單元72從網(wǎng)狀結(jié)構(gòu)的多個頂點通過線性函數(shù)、樣條函數(shù)等在任意坐標(biāo)內(nèi)插深度來獲取深度圖。
(3)形狀規(guī)格化單元76圖8是根據(jù)輸入形狀82的形狀規(guī)格化的概念圖。形狀規(guī)格化單元76使用事先保存的參考形狀信息74規(guī)格化形狀輸入單元72作為三維形狀輸入的輸入形狀72，并且生成三維形狀信息78。
首先，形狀規(guī)格化單元76提取輸入形狀82上的特征點。被提取的特征點的類型可以任意為瞳孔、鼻孔、嘴角、眼外框、眼內(nèi)框、鼻尖、嘴輪廓、嘴中點、眉梢、臉面輪廓、以及下頦，只要它們?yōu)椴辉谕黄矫嫔系乃狞c或更多點即可。它們可以與在對象檢測單元14中提取的特征點相同，也可以不同。
在建立了輸入圖像84和輸入形狀82之間的對應(yīng)關(guān)系的情況下，可以將對象檢測單元14從輸入圖像84所檢測的特征點(圖8的特征點85)用于輸入形狀上的特征點。在沒有建立輸入圖像84和輸入形狀82之間的對應(yīng)關(guān)系的情況下，通過例如圖案匹配來提取輸入形狀82上的特征點?；蛘撸梢酝ㄟ^使用點擊設(shè)備由個人指定特征點。
如上所述，可以將輸入形狀82看作圖像。因此，形狀規(guī)格化單元76使用從輸入形狀82或輸入圖像84提取的特征點85、輸入形狀82、以及事先保存的參考形狀信息74，執(zhí)行與模型生成單元16相同的處理，從而能夠生成模型。
所生成的模型的紋理圖像是其中z坐標(biāo)表示像素值的圖像。形狀規(guī)格化單元76將此變換成三維形狀信息78作為規(guī)格化三維形狀。當(dāng)生成輸入圖像84的臉面模型時，該實施例的模型生成單元16使用該三維形狀信息78。
順便提及的是，作為參考形狀信息74，可以使用任意信息。例如，可以使用在第一實施例中描述的作為識別對象的個人的普通臉面的三維形狀。除此之外，通過執(zhí)行迭代處理，從規(guī)格化的輸入形狀的平均生成新的參考形狀，并且再次生成輸入形狀，也能夠提高規(guī)格化的精度。
(4)該實施例的效果如上所述，根據(jù)第五實施例的圖像識別裝置10，使用參考形狀信息74針對每一個個體規(guī)格化三維形狀信息，并根據(jù)規(guī)格化的三維形狀信息78為每一個個體生成臉面模型，由此能夠高精度地進(jìn)行識別。
(變型示例)在輸入圖像單元中，可以從能夠測量三維形狀例如范圍取景器的設(shè)備輸入具有深度為像素值的圖像(深度圖)。在這種情況下，登記字典也使用從深度圖生成的特征量，并執(zhí)行相似度的計算。
在模型生成單元，當(dāng)相機運動矩陣從表達(dá)式(3)獲取時，不僅可以使用獲取廣義逆矩陣的方法，而且也可以使用任意其它方法。例如，使用作為魯棒估計的一種的M估計，并且可以按照下式獲取相機運動矩陣。
εM＝‖W-MS‖ (7)M~=argminMρ(ϵM)---(8)]]>ρ(x)=x2ρ+x2---(9)]]>當(dāng)相機運動矩陣的估計誤差εM按照表達(dá)式(7)所定義時，如表達(dá)式(8)所示，根據(jù)評價參考函數(shù)ρ(x)求解使估計誤差最小化的 以便獲取相機運動矩陣。順便提及的是， 表示在M上附加顎化符號(～)的字符。盡管可以使用任意的評價參考函數(shù)ρ(x)，但是例如表達(dá)式(9)是公知的。順便提及的是，表達(dá)式(9)中的σ表示比例參數(shù)。
順便提及的是，本發(fā)明不僅限于上面所述的這些實施方式，而是可以實施為在不背離其原理的范圍內(nèi)修改其結(jié)構(gòu)要素的實際狀態(tài)。
除此之外，通過適當(dāng)?shù)亟M合在這些實施例中公開的多個結(jié)構(gòu)要素能夠構(gòu)成不同的發(fā)明。例如，可以從實施例中描述的所有結(jié)構(gòu)要素中刪除某些結(jié)構(gòu)要素。
此外，不同實施例中的結(jié)構(gòu)要素也可以進(jìn)行適當(dāng)?shù)亟M合。
例如，在各個實施例中，盡管描述為將人臉作為對象進(jìn)行圖像識別，但是可替代地，本發(fā)明也可以用于其它三維對象的圖像識別。例如作為三維對象，可以列舉出人的整個身體、汽車、飛機、輪船等等。
權(quán)利要求
1.一種圖像識別裝置，使用通過拍攝具有三維形狀的對象所獲得的圖像并且執(zhí)行該對象的圖像識別，包括圖像輸入單元，圖像輸入其中；三維形狀信息保存單元，配置以存儲三維形狀信息作為對象的三維模型的初始；模型生成單元，配置以使用輸入圖像和三維形狀信息生成三維模型；圖案生成單元，配置以生成在不同方向上三維模型投影到平面上的多個圖案圖像；特征提取單元，配置以從多個圖案圖像提取特征量；字典保存單元，配置以保存對象的字典特征量；以及相似度計算單元，配置以計算所提取的特征量和對象的字典特征量之間的相似度，以便根據(jù)所計算的相似度識別對象。
2.根據(jù)權(quán)利要求1所述的裝置，其中模型生成單元包括對象檢測單元，配置以從輸入圖像提取特征點；紋理估計單元，配置以從輸入圖像的特征點和三維形狀信息估計三維模型的紋理；以及計算單元，配置以從紋理和三維形狀信息計算三維模型。
3.根據(jù)權(quán)利要求2所述的裝置，其中紋理估計單元通過從與輸入圖像的特征點相對應(yīng)的三維信息中的特征點計算的投影矩陣來估計三維模型的紋理。
4.根據(jù)權(quán)利要求3所述的裝置，其中特征提取單元通過執(zhí)行圖案圖像的主要分量分析計算子空間，作為提取的特征量；其中字典保存單元保存字典子空間作為對象的字典特征量；以及其中相似度計算單元計算所計算的子空間和字典子空間之間的角度作為相似度。
5.根據(jù)權(quán)利要求4所述的裝置，還包括圖案驗證單元，配置以根據(jù)三維模型驗證由圖案生成單元生成的圖案圖像上的特征點的檢測位置是否是正確的位置。
6.根據(jù)權(quán)利要求5所述的裝置，其中三維形狀信息保存單元包括形狀輸入單元，配置以獲取輸入形狀作為對象的三維形狀信息；參考形狀信息保存單元，配置以存儲用作對象的三維模型的初始的三維形狀信息，作為參考形狀信息；以及形狀規(guī)格化單元，配置以使用輸入形狀和參考形狀信息規(guī)格化所存儲的三維形狀信息。
7.一種圖像識別裝置，使用通過拍攝具有三維形狀的對象所獲得的圖像并且執(zhí)行該對象的圖像識別，包括圖像輸入單元，圖像輸入其中；三維形狀信息保存單元，配置以存儲三維形狀信息作為對象的三維模型的初始；模型生成單元，配置以使用輸入圖像和三維形狀信息生成三維模型；紋理擾動分析單元，配置以將兩維變化添加到三維模型上并生成多個圖案圖像；特征提取單元，配置以從多個圖案圖像提取特征量；字典保存單元，配置以保存對象的字典特征量；以及相似度計算單元，配置以計算所提取的特征量和對象的字典特征量之間的相似度，以便根據(jù)所計算的相似度識別對象。
8.根據(jù)權(quán)利要求7所述的裝置，其中模型生成單元包括對象檢測單元，配置以從輸入圖像提取特征點；紋理估計單元，配置以從輸入圖像的特征點和三維形狀信息估計三維模型的紋理；以及計算單元，配置以從紋理和三維形狀信息計算三維模型。
9.根據(jù)權(quán)利要求8所述的裝置，其中紋理估計單元通過從與輸入圖像的特征點相對應(yīng)的三維信息中的特征點計算的投影矩陣來估計三維模型的紋理。
10.根據(jù)權(quán)利要求9所述的裝置，其中特征提取單元通過執(zhí)行圖案圖像的主要分量分析計算子空間，作為提取的特征量；字典保存單元保存字典子空間作為對象的字典特征量；以及相似度計算單元計算所計算的子空間和字典子空間之間的角度作為相似度。
11.根據(jù)權(quán)利要求10所述的裝置，還包括圖案驗證單元，配置以根據(jù)三維模型驗證由紋理擾動單元生成的圖案圖像上的特征點的檢測位置是否是正確的位置。
12.一種使用通過拍攝具有三維形狀的對象所獲得的圖像并且執(zhí)行該對象的圖像識別的方法，所述方法包括輸入圖像；存儲三維形狀信息作為對象的三維模型的初始；使用輸入圖像和三維形狀信息生成三維模型；生成在不同方向上三維模型投影到平面上的多個圖案圖像；從多個圖案圖像提取特征量；保存對象的字典特征量；以及計算所提取的特征量和對象的字典特征量之間的相似度，以便根據(jù)所計算的相似度識別對象。
13.根據(jù)權(quán)利要求12所述的方法，還包括從輸入圖像提取特征點；從輸入圖像的特征點和三維形狀信息估計三維模型的紋理；以及從紋理和三維形狀信息計算三維模型。
14.根據(jù)權(quán)利要求13所述的方法，其中通過從與輸入圖像的特征點相對應(yīng)的三維信息中的特征點計算的投影矩陣來估計三維模型的紋理。
15.根據(jù)權(quán)利要求14所述的方法，還包括通過執(zhí)行圖案圖像的主要分量分析計算子空間，作為提取的特征量；保存字典子空間作為對象的字典特征量；以及計算所計算的子空間和字典子空間之間的角度作為相似度。
16.根據(jù)權(quán)利要求15所述的方法，還包括根據(jù)三維模型驗證通過圖案生成所生成的圖案圖像上的特征點的檢測位置是否是正確的位置。
17.根據(jù)權(quán)利要求16所述的方法，還包括獲取輸入形狀作為對象的三維形狀信息；存儲用作對象的三維模型的初始的三維形狀信息，作為參考形狀信息；以及使用輸入形狀和參考形狀信息規(guī)格化所存儲的三維形狀信息。
18.一種使用通過拍攝具有三維形狀的對象所獲得的圖像并且執(zhí)行該對象的圖像識別的方法，所述方法包括輸入圖像；存儲三維形狀信息作為對象的三維模型的初始；使用輸入圖像和三維形狀信息生成三維模型；通過將兩維變化添加到三維模型上生成多個圖案圖像；從多個圖案圖像提取特征量；保存對象的字典特征量；以及計算所提取的特征量和對象的字典特征量之間的相似度，以便根據(jù)所計算的相似度識別對象。
19.根據(jù)權(quán)利要求18所述的方法，還包括從輸入圖像提取特征點；從輸入圖像的特征點和三維形狀信息估計三維模型的紋理；以及從紋理和三維形狀信息計算三維模型。
20.根據(jù)權(quán)利要求19所述的方法，其中通過從與輸入圖像的特征點相對應(yīng)的三維信息中的特征點計算的投影矩陣來估計三維模型的紋理。
21.根據(jù)權(quán)利要求20所述的方法，還包括通過執(zhí)行圖案圖像的主要分量分析計算子空間，作為提取的特征量；保存字典子空間作為對象的字典特征量；以及計算所計算的子空間和字典子空間之間的角度作為相似度。
22.根據(jù)權(quán)利要求21所述的方法，還包括根據(jù)三維模型驗證通過圖案生成所生成的圖案圖像上的特征點的檢測位置是否是正確的位置。
全文摘要
根據(jù)本發(fā)明的實施例，一種從具有三維形狀的對象的拍攝圖像對該對象進(jìn)行圖像識別的方法，包括輸入圖像；存儲三維形狀信息作為對象的三維模型的初始；使用輸入圖像和三維形狀信息生成三維模型；生成在不同方向上三維模型投影到平面上的多個圖案圖像；從多個圖案圖像提取特征量；保存對象的字典特征量；以及計算所提取的特征量和對象的字典特征量之間的相似度，以便根據(jù)所計算的相似度識別對象。
文檔編號G06K9/00GK1870005SQ200610084850
公開日2006年11月29日 申請日期2006年5月23日 優(yōu)先權(quán)日2005年5月23日
發(fā)明者小坂谷達(dá)夫 申請人:株式會社東芝