計測對象提取裝置、面部形狀估計裝置、計測對象提取方法以及面部形狀估計方法【專利摘要】公開了能夠以高精度和低計算量估計難以僅用二維圖像檢測的、產生了立體的表情變化的面部形狀的計測對象提取裝置。在該裝置中，面部紋理評價值計算單元(103)對于多個面部形狀候選的每個面部形狀候選，計算表示輸入的面部圖像與面部形狀候選的紋理的重合度的面部紋理評價值，面部表情變化似然計算單元(104)對于多個面部形狀候選的每個面部形狀候選，計算成為基準的面部形狀與面部形狀候選之間的第一似然，相關評價單元(105)對于多個面部形狀候選的每個面部形狀候選，計算表示面部紋理評價值與第一似然之間的相關的強度的第一相關評價值，提取單元(107)提取多個面部形狀候選中的、第一相關評價值低于第一閾值的面部形狀候選作為計測對象?！緦＠f明】計測對象提取裝置、面部形狀估計裝置、計測對象提取方法以及面部形狀估計方法【
技術領域：
】[0001]本發(fā)明涉及計測對象提取裝置、面部形狀估計裝置、計測對象提取方法以及面部形狀估計方法?！?br>背景技術：
】[0002]為了獲知人的感情或狀態(tài)，有時會估計表情發(fā)生變化的面部形狀。例如，在駕駛車輛中產生了睡意時，駕駛員的面部往往會產生皺眉、伴隨深呼吸而撅起嘴唇、鼓起臉頰這樣的表情變化。因此，這些表情變化成為用于檢查駕駛員的睡意的指標。[0003]在以往使用的面部形狀估計方法中，為了提高面部形狀的估計精度，設置“眼、鼻或嘴等面部部位處于無表情時的標準形狀和位置”的限制，從而估計面部形狀。但是，在該面部形狀估計方法中，由于設置了該限制，因此無法檢測脫離標準形狀并發(fā)生了上述表情變化的面部。此外，在此，“表情變化”指的是面部處于不是無表情的狀態(tài)。[0004]與此不同，在非專利文獻I所公開的技術(以下稱為現有技術I)中，預先學習產生了表情變化的面部的圖像，從而檢測表情變化時的面部部位的形狀和位置。另外，在專利文獻I(以下稱為現有技術2)所公開的技術中，對面部部位的三維位置進行測距，根據面部部位的三維位置估計面部的立體形狀。由此，在非專利文獻I或專利文獻I所公開的技術中，能夠檢測發(fā)生了上述表情變化的面部。[0005]現有技術文獻[0006]專利文獻[0007]專利文獻1:日本特開2005-182247號公報[0008]非專利文獻[0009]非專利文獻1:PaulViolaandMichaelJ.Jones,"RapidObjectDetectionusingaBoostedCascadeofSimpleFeatures",IEEECVPR,2001【
發(fā)明內容】[0010]發(fā)明要解決的問題[0011]但是，在現有技術I中，用于學習的圖像為二維信息，因此無法應對面部部位的形狀在二維上(平面上)沒有變化、但在三維上(立體上)發(fā)生變化時的表情變化。例如，在現有技術I中，無法對應于撅起嘴唇、鼓起臉頰等表情變化。[0012]另外，在現有技術2中，為了檢測表情變化(估計面部的立體形狀)，需要對面部整體的三維位置進行測距，面部形狀估計的計算處理量變得龐大。因此，在現有技術2中，難以實時地檢測產生了表情變化的面部。[0013]本發(fā)明的目的在于，提供計測對象提取裝置、面部形狀估計裝置、計測對象提取方法以及面部形狀估計方法，其能夠以高精度和低計算量估計難以僅用二維圖像檢測的、產生了立體的表情變化的面部形狀。[0014]解決問題的方案[0015]本發(fā)明的一個方案的計測對象提取裝置，提取多個面部形狀候選中的成為三維形狀的計測對象的候選，采用的結構包括:面部紋理評價值計算單元，對于所述多個面部形狀候選的每個面部形狀候選，計算表示輸入的面部圖像與所述面部形狀候選的紋理的重合度的面部紋理評價值；似然計算單元，對于所述多個面部形狀候選的每個面部形狀候選，計算成為基準的面部形狀與所述面部形狀候選之間的第一似然；相關評價單元，對于所述多個面部形狀候選的每個面部形狀候選，計算表示所述面部紋理評價值與所述第一似然之間的相關的強度的第一相關評價值；以及提取單元，提取所述多個面部形狀候選中的所述第一相關評價值小于第一閾值的面部形狀候選作為所述計測對象。[0016]本發(fā)明的一個方案的面部形狀估計裝置采用的結構包括:所述計測對象提取裝置；三維形狀計測單元，對在所述計測對象提取裝置中作為所述計測對象提取出的面部形狀候選的三維形狀進行計測；形狀候選評價單元，對于所述多個面部形狀候選的每個面部形狀候選，基于所述面部紋理評價值和所述第一似然，計算第一形狀候選評價值；再評價單元，對于所述提取出的面部形狀候選的每個面部形狀候選，使用所述三維形狀計算第二形狀候選評價值；以及確定單元，基于所述第一形狀候選評價值和所述第二形狀候選評價值，從所述多個面部形狀候選中確定對所述面部圖像的估計形狀。[0017]本發(fā)明的一個方案的計測對象提取方法，提取多個面部形狀候選中的、成為三維形狀的計測對象的候選，包括如下步驟:對于所述多個面部形狀候選的每個面部形狀候選，計算表示輸入的面部圖像與所述面部形狀候選的紋理的重合度的面部紋理評價值的步驟；對于所述多個面部形狀候選的每個面部形狀候選，計算成為基準的面部形狀與所述面部形狀候選之間的第一似然的步驟；對于所述多個面部形狀候選的每個面部形狀候選，計算表示所述面部紋理評價值與所述第一似然之間的相關的強度的第一相關評價值的步驟；以及提取所述多個面部形狀候選中的所述第一相關評價值低于第一閾值的面部形狀候選作為所述計測對象的步驟。[0018]本發(fā)明的一個方案的面部形狀估計方法，包括如下步驟:計測通過所述計測對象提取方法作為所述計測對象提取出的面部形狀候選的三維形狀的步驟；對于所述多個面部形狀候選的每個面部形狀候選，基于所述面部紋理評價值和所述第一似然，計算第一形狀候選評價值的步驟；對于所述提取出的面部形狀候選的每個面部形狀候選，使用所述三維形狀計算第二形狀候選評價值的步驟；以及基于所述第一形狀候選評價值和所述第二形狀候選評價值，確定所述多個面部形狀候選中的、對所述面部圖像的估計形狀的步驟。[0019]發(fā)明效果[0020]根據本發(fā)明，能夠以高精度和低計算量估計難以僅用二維圖像檢測的、產生了立體的表情變化的面部形狀?！緦＠綀D】【附圖說明】[0021]圖1是表示本發(fā)明實施方式I的計測對象提取裝置的主要結構的框圖。[0022]圖2是表示本發(fā)明實施方式I的計測對象提取裝置的結構的框圖。[0023]圖3是表示本發(fā)明實施方式I的其他計測對象提取裝置的結構的框圖。[0024]圖4是表示本發(fā)明實施方式I的其他計測對象提取裝置的結構的框圖。[0025]圖5是表示本發(fā)明實施方式I的面部形狀估計裝置的結構的框圖。[0026]圖6是表示本發(fā)明實施方式I的面部形狀估計裝置的工作的流程圖。[0027]圖7是表示本發(fā)明實施方式I的面部紋理評價值與面部表情變化似然之間的相關的圖。[0028]圖8是表示本發(fā)明實施方式I的面部紋理評價值與面部表情變化似然之間的相關的圖。[0029]圖9是表示本發(fā)明實施方式2的計測對象提取裝置的結構的框圖。[0030]圖10是表示本發(fā)明實施方式2的面部形狀估計裝置的結構的框圖。[0031]圖11是表示本發(fā)明實施方式2的面部形狀估計裝置的工作的流程圖。[0032]圖12是表示本發(fā)明實施方式3的計測對象提取裝置的結構的框圖。[0033]圖13是表示本發(fā)明實施方式3的面部形狀估計裝置的工作的流程圖。[0034]圖14是用于說明本發(fā)明實施方式3的表情肌似然的計算方法的圖。[0035]圖15是表示本發(fā)明實施方式4的面部形狀估計裝置的結構的框圖。[0036]圖16是表示本發(fā)明實施方式4的面部形狀估計裝置的工作的流程圖。[0037]標號說明[0038]100、300、500計測對象提取裝置[0039]200,400,600面部形狀估計裝置[0040]101輸入單元[0041]102、102a、102b面部形狀候選保持單元[0042]103、301面部紋理評價值計算單元[0043]104,302面部表情變化似然計算單元[0044]105,303相關評價單元[0045]106>304判斷單元[0046]107,305提取單元[0047]201形狀候選評價單元[0048]202、401三維計測單元[0049]203、402、601再評價單元[0050]204確定單元[0051]501表情肌似然計算單元【具體實施方式】[0052]以下，參照附圖詳細地說明本發(fā)明的各實施方式。[0053]<實施方式I>[0054]圖1是表示本實施方式的計測對象提取裝置100的主要結構的框圖。圖1所示的計測對象提取裝置100主要包括面部紋理評價值計算單元103、面部表情變化似然計算單元104、相關評價單元105、以及提取單元107。計測對象提取裝置100從多個面部形狀候選中提取成為三維形狀的計測對象的候選。[0055]在計測對象提取裝置100中，面部紋理評價值計算單元103對于多個面部形狀候選的每個面部形狀候選，計算表示輸入的面部圖像與面部形狀候選的紋理(texture)之間的重合度的面部紋理評價值。面部表情變化似然計算單元104對于多個面部形狀候選的每個面部形狀候選，計算成為基準的面部形狀與面部形狀候選之間的第一似然(面部表情變化似然)。相關評價單元105對于多個面部形狀候選的每個面部形狀候選，計算表示面部紋理評價值與第一似然之間的相關的強度的第一相關評價值。提取單元107提取多個面部形狀候選中第一相關評價值低于第一閾值的面部形狀候選作為計測對象。[0056][計測對象提取裝置100的結構][0057]圖2是表示本實施方式的計測對象提取裝置100的結構的框圖。在圖2中，計測對象提取裝置100包括輸入單元101、面部形狀候選保持單元102、面部紋理評價值計算單元103、面部表情變化似然計算單元104、相關評價單元105、判斷單元106、以及提取單元107。[0058]輸入單元101獲得從外部輸入的二維圖像，將其輸出到面部紋理評價值計算單元103。輸入單元101獲得的圖像，可以是通過設置在例如方向盤上、或者儀表板上等能夠拍攝面部的位置上的照相機拍攝到的圖像，也可以是從預先拍攝好的視頻影像數據每幀切出數據而得到的圖像，或者可以是保存在存儲器等中的圖像。另外，輸入到輸入單元101的圖像也可以是通過具有例如CMOS(ComplementaryMetalOxideSemiconductor:互補金屬氧化物半導體)圖像傳感器和鏡頭的數碼相機拍攝到的PPM格式(PortablePixMapfileformat:可移植像素圖格式)的圖像。[0059]面部形狀候選保持單元102至少保持一個以上的面部形狀候選，將面部形狀候選輸出到面部紋理評價值計算單元103和面部表情變化似然計算單元104。“面部形狀候選”是由面部的多個特征點的坐標(三維坐標)、以及作為各特征點的亮度信息的紋理(各特征點的圖像)構成的數據。例如，面部形狀候選，由分別表示面部的外眼角、內眼角、嘴角、眉頭等面部部位的特征點的三維坐標、以及表示特征點周圍的亮度分布的紋理來表現。[0060]面部紋理評價值計算單元103比較從輸入單元101輸入的圖像(輸入圖像)和從面部形狀候選保持單元102輸入的面部形狀候選，計算對輸入圖像的面部紋理評價值。面部紋理評價值計算單元103將對于每個面部形狀候選的面部紋理評價值輸出到相關評價單元105。[0061]“面部紋理評價值”是表示面部形狀候選的紋理(在面部形狀候選中包含的特征點的紋理)與輸入圖像的重合度(二維上的重合度)的值。特征點的紋理與輸入圖像的重合度越高，則面部紋理評價值越高。例如，也可以是，面部紋理評價值計算單元103對于某面部形狀候選，分別計算該面部形狀候選的多個特征點處與輸入圖像的重合度(評價值)，將各特征點的重合度(評價值)的總和設為該面部形狀候選的面部紋理評價值。[0062]具體而言，面部紋理評價值計算單元103首先在輸入圖像上投影面部形狀候選的各特征點，計算各特征點的輸入圖像平面上的二維坐標。接著，面部紋理評價值計算單元103對計算出的二維坐標周圍的輸入圖像(紋理)與面部形狀候選的各特征點的紋理的重合度進行計算。例如通過SAD(SumofAbsoluteDifference:絕對差值求和)或歸一化互相關計算重合度。[0063]面部表情變化似然計算單元104使用從面部形狀候選保持單元102輸入的面部形狀候選計算面部表情變化似然，并將對于每個面部形狀候選的面部表情變化似然輸出到相關評價單元105。“面部表情變化似然”是表示表情發(fā)生變化的面部的自然度的值。即，“面部表情變化似然”是表示面部形狀候選所表示的面部形狀作為面部形成何種程度的自然形狀的值。[0064]面部表情變化似然是成為基準的面部形狀與面部形狀候選之間的似然。例如，在將成為基準的面部形狀設為無表情時的面部形狀時，距離無表情的狀態(tài)的變化量越大，則面部表情變化似然的值越低。例如，面部表情變化似然計算單元104也可以將如下的值作為該面部形狀候選的面部表情變化似然，即:與某面部形狀候選的特征點的三維坐標和與無表情的面部形狀(成為基準的面部形狀)的上述特征點對應的位置的三維坐標之間的變化量(即距離)的總和成反比例的函數的值。[0065]相關評價單元105對于每個面部形狀候選，計算表示從面部紋理評價值計算單元103輸入的面部紋理評價值、與從面部表情變化似然計算單元104輸入的面部表情變化似然之間的相關的強度的相關評價值，將相關評價值輸出到判斷單元106?！跋嚓P評價值”例如以如下值表示，即:以面部紋理評價值和面部表情變化似然表示的樣本集合的、距面部紋理評價值和面部表情變化似然的比例直線的距離的倒數等。此時，面部紋理評價值和面部表情變化似然的相關越強(距比例直線的距離越小)，相關評價值取越大的的值。[0066]判斷單元106判斷從相關評價單元105輸入的、各面部形狀候選的相關評價值是否小于規(guī)定的閾值，將判斷結果輸出到提取單元107。[0067]提取單元107提取如下面部形狀候選作為三維形狀的計測對象，該面部形狀候選為面部形狀候選保持單元102所保持的面部形狀候選中的、從判斷單元106輸入的判斷結果為相關評價值小于規(guī)定的閾值的面部形狀候選。即，提取單元107提取面部紋理評價值與面部表情變化似然之間的相關弱的面部形狀候選。由此，在面部形狀候選保持單元102中保持的多個面部形狀候選中，僅由提取單元107提取出的面部形狀候選成為三維形狀的計測(三維測距)的對象。[0068]此外，在本實施方式中，對在計測對象提取裝置100中，作為計算面部表情變化似然的基準，使用無表情時的面部形狀的情況進行說明。但是，例如當能夠相信在先前規(guī)定的時間估計出的面部形狀時，計測對象提取裝置100也可以使用先前估計出的面部形狀作為計算面部表情變化似然的基準。例如，也可以是，在圖3所示的計測對象提取裝置100中，面部形狀候選保持單元102a保持在先前規(guī)定的時間取得的有關面部的形狀的信息(形狀信息)。形狀信息與圖2中的面部形狀候選同樣，由面部的多個特征點的坐標(三維坐標)、以及作為各特征點的亮度信息的紋理(各特征點的圖像)構成。另外，在先前規(guī)定的時間估計出的與面部有關的形狀信息既可以是實際計測出的值，可以是在其他系統所估計的值，也可以是后述的面部形狀估計裝置200(圖5)中的估計結果。[0069]另外，在計測對象提取裝置100中，作為計算面部表情變化似然的基準，在使用無表情時的面部形狀的情況下，也可以預先計算面部表情變化似然。因此，也可以是，例如在圖4所示的計測對象提取裝置100中，面部形狀候選保持單元102b保持預先計算出的、各面部形狀候選的面部表情變化似然，將面部表情變化似然直接輸出到相關評價單元105。即，此時，不需要面部表情變化似然計算單元104。[0070][面部形狀估計裝置200的結構][0071]圖5是表示本實施方式的面部形狀估計裝置200的結構的框圖。在圖5中，面部形狀估計裝置200包括:計測對象提取裝置100(圖2)、形狀候選評價單元201、三維計測單元202、再評價單元203、以及確定單元204。[0072]以下，作為一例，說明面部形狀估計裝置200基于多個面部形狀候選估計面部形狀的情況。[0073]在形狀候選評價單元201中，從計測對象提取裝置100的面部紋理評價值計算單元103輸入面部紋理評價值，從計測對象提取裝置100的面部表情變化似然計算單元104輸入面部表情變化似然。形狀候選評價單元201使用面部紋理評價值和面部表情變化似然，計算各面部形狀候選的形狀候選評價值，將形狀候選評價值輸出到確定單元204?！靶螤詈蜻x評價值”是表示在輸入圖像拍攝時的面部形狀和面部形狀候選的重合度(評價值)的值，例如以面部紋理評價值與面部表情變化似然之積表示。[0074]三維計測單元202計測(測距)通過計測對象提取裝置100的提取單元107作為三維形狀的計測對象(三維測距對象)提取出的面部形狀候選投影到輸入圖像的圖像位置的三維形狀，將各面部形狀候選的計測出的三維形狀輸出到再評價單元203。例如，三維計測單元202將面部形狀候選投影到輸入圖像平面，對于投影的圖像區(qū)域進行測距。通過利用例如激光距離傳感器或立體攝影機等距離傳感器來實施測距。[0075]再評價單元203基于從三維計測單元202輸入的三維形狀、從提取單元107輸入的面部形狀候選，計算三維形狀的計測對象即每個面部形狀候選的新評價值，將新評價值輸出到確定單元204。“新評價值”是表示面部形狀候選與三維形狀的重合度的值。面部形狀候選與三維形狀的重合度越高，則新評價值越高。例如，也可以是，再評價單元203比較從提取單元107輸入的面部形狀候選的各特征點(三維坐標)與三維形狀(三維坐標)，分別計算該面部形狀候選的多個特征點的與三維形狀的重合度(評價值)，將各特征點的重合度(評價值)的總和與該面部形狀候選的面部紋理評價值之積設為該面部形狀候選的新評價值。即，新評價值(從三維形狀求得的評價值)是相當于形狀候選評價值(從二維圖像求得的評價值)的值。[0076]確定單元204基于面部形狀候選、從形狀候選評價單元201輸入的形狀候選評價值以及從再評價單元203輸入的新評價值，確定面部形狀候選保持單元102保持的面部形狀候選中的、成為對輸入圖像(面部圖像)的估計形狀的候選。例如，確定單元204將包含新評價值和形狀候選評價值的評價值中的最大值所對應的面部形狀候選，確定為對輸入圖像的面部的估計形狀。[0077]此外，也可以是，確定單元204基于使用新評價值和形狀候選評價值而計算的權重，通過求多個面部形狀候選(三維坐標)的加權平均，從而確定對輸入圖像的估計形狀。其中，確定單元204對于計算出新評價值的面部形狀候選，并不是將形狀候選評價值而是將新評價值用作權重。另外，也可以是，確定單元204并不將新評價值或形狀候選評價值作為權重直接使用，而是使用將各評價值平方后所得到的值，或者使用將新評價值或形狀候選評價值作為變量的S型函數那樣的單調增加函數。[0078][面部形狀估計裝置200的工作][0079]說明具有以上結構的面部形狀估計裝置200的工作。圖6是表示面部形狀估計裝置200的面部形狀的估計處理的流程圖。例如，利用照相機拍攝圖像時，圖6所示的處理流程與拍攝作業(yè)一同開始。另外，拍攝作業(yè)既可以通過用戶的操作開始，也可以將來自外部的某些信號作為觸發(fā)而開始。[0080]在圖6所示的步驟(以下用“S”表示)101中，輸入單元101取得拍攝到人物面部的圖像(輸入圖像)，將輸入圖像輸出到面部紋理評價值計算單元103。[0081]在S102中，面部紋理評價值計算單元103根據從面部形狀候選保持單元102輸入的面部形狀候選、以及在SlOl中從輸入單元101輸入的輸入圖像，計算各面部形狀候選的面部紋理評價值。[0082]在S103中，面部表情變化似然計算單元104計算從面部形狀候選保持單元102輸入的面部形狀候選的面部表情變化似然。[0083]在S104中，形狀候選評價單元201根據在S102中計算出的面部紋理評價值和在S103中計算出的面部表情變化似然，計算面部形狀候選的形狀候選評價值。例如，形狀候選評價值被計算為面部紋理評價值與面部表情變化似然之積或和。[0084]在S105中，相關評價單元105計算在S102中計算出的面部紋理評價值與在S103中計算出的面部表情變化似然的相關評價值e。例如，通過以下的方法計算相關評價值e。首先，相關評價單元105將多個面部形狀候選的面部紋理評價值和面部表情變化似然作為樣本集合，計算將面部紋理評價值和面部表情變化似然作為變量時的第一主分量，取得表示第一主分量的直線。此外，相關評價單元105代替表示第一主成分的直線而使用預先取得的面部紋理評價值和面部表情變化似然的比例直線。接著，相關評價單元105計算作為第一主分量的直線與作為評價對象的面部形狀候選(以面部紋理評價值和面部表情變化似然表示的采樣點)之間的距離d。然后，相關評價單元105依照以下的式(I)計算相關評價值e?！緳嗬蟆?.計測對象提取裝置，提取多個面部形狀候選中的成為三維形狀的計測對象的候選，包括:面部紋理評價值計算單元，對于所述多個面部形狀候選的每個面部形狀候選，計算表示輸入的面部圖像與所述面部形狀候選的紋理的重合度的面部紋理評價值；似然計算單元，對于所述多個面部形狀候選的每個面部形狀候選，計算成為基準的面部形狀與所述面部形狀候選之間的第一似然；相關評價單元，對于所述多個面部形狀候選的每個面部形狀候選，計算表示所述面部紋理評價值與所述第一似然之間的相關的強度的第一相關評價值；以及提取單元，提取所述多個面部形狀候選中的所述第一相關評價值小于第一閾值的面部形狀候選作為所述計測對象。2.如權利要求1所述的計測對象提取裝置，所述面部紋理評價值計算單元計算所述面部紋理評價值，對于所述面部形狀候選的各面部部位，計算表示所述面部圖像和所述面部部位的重合度的面部部位紋理評價值，所述似然計算單元計算所述第一似然，對于所述面部形狀候選的每個所述面部部位，計算成為所述基準的面部形狀與所述面部部位之間的第二似然，所述相關評價單元計算所述第一相關評價值，對于所述面部形狀候選的每個所述面部部位，計算表示所述面部部位紋理評價值與所述第二似然之間的相關的強度的第二相關評價值，所述提取單元提取所述第一相關評價值低于所述第一閾值的面部形狀候選的各面部部位中的、所述第二相關評價值低于第二閾值的面部部位作為所述計測對象。3.如權利要求2所述的計測對象提取裝置，所述提取單元按照所述第二相關評價值從低到高的順序，選擇所述第二相關評價值低于所述第二閾值的面部部位中的、相對于所述面部部位的總數的規(guī)定的比例的數的面部部位，提取選擇出的面部部位作為所述計測對象。4.如權利要求1所述的計測對象提取裝置，所述似然計算單元對于所述多個面部形狀候選的每個面部形狀候選，計算所述第一似然，該所述第一似然表示在表示所述面部形狀候選的多個特征點的三維坐標與成為所述基準的面部形狀的所述多個特征點所對應的位置的三維坐標之間的變化量。5.如權利要求2所述的計測對象提取裝置，所述似然計算單元通過比較所述面部形狀候選的各面部部位的位置與成為所述基準的面部形狀的位置，計算表示所述面部形狀候選的各面部部位的位置與使所述各面部部位活動的表情肌的可動范圍的重合度的所述第一似然。6.如權利要求1所述的計測對象提取裝置，成為所述基準的面部形狀是無表情時的面部形狀。7.如權利要求1所述的計測對象提取裝置，成為所述基準的面部形狀是在先前規(guī)定的時間取得的面部形狀。8.面部形狀估計裝置，包括:權利要求1所述的計測對象提取裝置；三維形狀計測單元，計測在所述計測對象提取裝置中作為所述計測對象提取出的面部形狀候選的三維形狀；形狀候選評價單元，對于所述多個面部形狀候選的每個面部形狀候選，基于所述面部紋理評價值和所述第一似然，計算第一形狀候選評價值；再評價單元，對于所述提取出的面部形狀候選的每個面部形狀候選，使用所述三維形狀計算第二形狀候選評價值；以及確定單元，基于所述第一形狀候選評價值和所述第二形狀候選評價值，從所述多個面部形狀候選中確定對所述面部圖像的估計形狀。9.如權利要求8所述的面部形狀估計裝置，在所述計測對象提取裝置中，所述面部紋理評價值計算單元計算所述面部紋理評價值，對于所述面部形狀候選的各面部部位，計算表示所述面部圖像和所述面部部位的重合度的面部部位紋理評價值，所述似然計算單元計算所述第一似然，對于所述面部形狀候選的每個所述面部部位，計算成為所述基準的面部形狀與所述面部部位之間的第二似然，所述相關評價單元計算所述第一相關評價值，對于所述面部形狀候選的每個所述面部部位，計算表示所述面部部位紋理評價值與所述第二似然之間的相關的強度的第二相關評價值，所述提取單元提取所述第一相關評價值低于所述第一閾值的面部形狀候選的各面部部位中的、所述第二相關評價值低于第二閾值的面部部位，作為所述計測對象，所述三維計測單元計測在所述提取單元中提取出的面部部位的三維形狀，所述再評價單元使用所述面部部位的所述三維形狀，計算所述第二形狀候選評價值。10.如權利要求8所述的面部形狀估計裝置，所述再評價單元對于所述提取出的面部形狀候選的每個面部形狀候選，基于所述三維形狀和所述面部形狀候選的三維坐標的比較結果、以及所述面部紋理評價值，計算所述第二形狀候選評價值。11.如權利要求8所述的面部形狀估計裝置，所述再評價單元使用所述提取出的面部形狀候選和有關所述三維形狀的信息，生成新的面部形狀候選，基于與所述新的面部形狀候選的每個面部形狀候選對應的所述面部紋理評價值和所述第一似然，計算對所述新的面部形狀候選的所述第二形狀候選評價值。12.如權利要求8所述的面部形狀估計裝置，所述確定單元將所述第一形狀候選評價值和所述第二形狀候選評價值中的最大值所對應的面部形狀候選，確定為所述估計形狀。13.如權利要求8所述的面部形狀估計裝置，所述確定單元基于使用所述第一形狀候選評價值和所述第二形狀候選評價值計算的權重，求所述多個面部形狀候選的加權平均，從而確定所述估計形狀。14.計測對象提取方法，提取多個面部形狀候選中的、成為三維形狀的計測對象的候選，包括如下步驟:對于所述多個面部形狀候選的每個面部形狀候選，計算表示輸入的面部圖像與所述面部形狀候選的紋理的重合度的面部紋理評價值的步驟；對于所述多個面部形狀候選的每個面部形狀候選，計算成為基準的面部形狀與所述面部形狀候選之間的第一似然的步驟；對于所述多個面部形狀候選的每個面部形狀候選，計算表示所述面部紋理評價值與所述第一似然之間的相關的強度的第一相關評價值的步驟；以及提取所述多個面部形狀候選中的所述第一相關評價值低于第一閾值的面部形狀候選，作為所述計測對象的步驟。15.面部形狀估計方法，包括如下步驟:計測通過權利要求14所述的計測對象提取方法作為所述計測對象提取出的面部形狀候選的三維形狀的步驟；對于所述多個面部形狀候選的每個面部形狀候選，基于所述面部紋理評價值和所述第一似然，計算第一形狀候選評價值的步驟；對于所述提取出的面部形狀候選的每個面部形狀候選，使用所述三維形狀計算第二形狀候選評價值的步驟；以及基于所述第一形狀候選評價值和所述第二形狀候選評價值，確定所述多個面部形狀候選中的、對所述面部圖像的估計形狀的步驟。【文檔編號】G06T1/00GK103890811SQ201280051327【公開日】2014年6月25日申請日期:2012年12月4日優(yōu)先權日:2011年12月13日【發(fā)明者】筑澤宗太郎,久保谷寬行,Z.牛,S.普拉納塔申請人:松下電器產業(yè)株式會社