圖像處理裝置、信息生成裝置、圖像處理方法、信息生成方法、控制程序及記錄介質(zhì)的制作方法
【專利摘要】特征量提取部（26）針對(duì)對(duì)與圖像上的部位點(diǎn)對(duì)應(yīng)的基準(zhǔn)點(diǎn)進(jìn)行采樣而得的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從采樣點(diǎn)的像素或像素組中提取特征量，以提取與基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組，位置信息確定部（29）參照與基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組與表示部位點(diǎn)相對(duì)于基準(zhǔn)點(diǎn)的相對(duì)位置的位置信息之間的對(duì)應(yīng)關(guān)系的LRF函數(shù)，確定與特征量提取部（26）所提取的特征量組對(duì)應(yīng)的位置信息，部位點(diǎn)確定部（30）將由位置信息確定部（29）確定的位置信息示出的位置作為物體的部位點(diǎn)。
【專利說(shuō)明】圖像處理裝置、信息生成裝置、圖像處理方法、信息生成方法、控制程序及記錄介質(zhì)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于檢測(cè)眼、嘴等物體的輪廓點(diǎn)、特征點(diǎn)等的部位點(diǎn)的圖像處理裝置、信息生成裝置、圖像處理方法、信息生成方法、控制程序及記錄介質(zhì)。
【背景技術(shù)】
[0002]由于從臉部圖像中檢測(cè)眼、嘴的輪廓點(diǎn)的技術(shù)能夠應(yīng)用在用于認(rèn)證臉部或推斷表情的前段處理、生成肖像畫等的應(yīng)用程序等，所以，以往人們一直積極地研究這項(xiàng)技術(shù)。
[0003]例如，在專利文獻(xiàn)I中記載了如下的技術(shù):將用戶指定的眼、嘴等的中心點(diǎn)作為中心，來(lái)設(shè)定眼、嘴等的探索范圍，在所設(shè)定的探索范圍內(nèi)進(jìn)行掃描，基于顏色成分等，來(lái)提取眼區(qū)域、嘴區(qū)域等。另外，在專利文獻(xiàn)I中記載了如下的技術(shù):確定所提取的眼區(qū)域、嘴區(qū)域等左右的端點(diǎn)，基于左右的端點(diǎn)，設(shè)定用于探索眼區(qū)域、嘴區(qū)域等的上下的端點(diǎn)的探索范圍，提取上下的端點(diǎn)。
[0004]另外，在專利文獻(xiàn)2中記載了如下的技術(shù):在提取眼的輪廓點(diǎn)的情況下，以眼左右的端點(diǎn)為基準(zhǔn)點(diǎn)，基于基準(zhǔn)點(diǎn)，擬合(fitting)動(dòng)態(tài)的輪廓模型，利用能量最小化的方法來(lái)提取眼的輪廓點(diǎn)。
[0005]另外，作為根據(jù)臉部圖像來(lái)檢測(cè)眼、嘴的輪廓點(diǎn)的方法，有基于形狀模型或紋理模型的擬合方法。具體來(lái)說(shuō)，有非專利文獻(xiàn)1、2及專利文獻(xiàn)3、4所述的ASM (Active ShapeModel:主動(dòng)形狀模型)、AAM (Active Appearance Model:主動(dòng)外觀模型)、ASAM (ActiveStructure Appearance Model:主動(dòng)結(jié)構(gòu)外觀模型)等的擬合方法。
[0006]ASM、AAM及ASAM的形狀模型，是以很少的參數(shù)來(lái)表現(xiàn)臉部的形狀、紋理的模型。這些模型對(duì)臉部特征點(diǎn)坐標(biāo)信息、紋理信息應(yīng)用主成分分析，在由此得到的基礎(chǔ)向量中，僅利用特征值大的基礎(chǔ)向量來(lái)表現(xiàn)臉部的特征點(diǎn)坐標(biāo)。由此，不僅能夠利用很少的數(shù)據(jù)表現(xiàn)臉部的形狀，還能夠保證保持臉部的形狀的約束條件。ASM及AAM通過(guò)能量最小化使其模型與臉部圖像擬合，ASAM通過(guò)模型參數(shù)誤差計(jì)算使其模型與臉部圖像擬合，由此，檢測(cè)臉部的特征點(diǎn)坐標(biāo)。
[0007]現(xiàn)有技術(shù)文獻(xiàn)
[0008]專利文獻(xiàn)
[0009]專利文獻(xiàn)1:日本國(guó)公開專利公報(bào)“日本特開平9-6964號(hào)公報(bào)(1997年I月10日公開)，，
[0010]專利文獻(xiàn)2:日本國(guó)公開專利公報(bào)“日本特開2005-339288號(hào)公報(bào)(2005年12月8日公開)”
[0011]專利文獻(xiàn)3:日本國(guó)公開專利公報(bào)“專利第4093273號(hào)公報(bào)(2008年6月4日發(fā)行)，，
[0012]專利文獻(xiàn)4:日本國(guó)公開專利公報(bào)“專利第4501937號(hào)公報(bào)(2010年7月14日發(fā)行)，，[0013]非專利文獻(xiàn)
[0014]非專利文獻(xiàn)1:Τ.F.Cootes, et al, “Active Shape Models-Their Training andApplication”，CVIU、Vol.6，N0.1，p.38-59，1995 年
[0015]非專利文獻(xiàn)2:Τ.F.Cootes, et al, “Active appearance models”，ECCV，98Vo1.1I,Freiburg, Germany,1998 年

【發(fā)明內(nèi)容】

[0016]發(fā)明要解決的問(wèn)題
[0017]通過(guò)嘴的形狀、眼的形狀或這些形狀的組合等，使臉部的表情多樣地變化，具有各種各樣的變化狀態(tài)。因此，難以完全預(yù)測(cè)到變化成各種各樣的形狀的眼、嘴等物體的形狀狀態(tài)。因此，上述的現(xiàn)有技術(shù)難以高精度地檢測(cè)眼、嘴的輪廓點(diǎn)等的形狀發(fā)生很大變化的物體的輪廓點(diǎn)。
[0018]具體來(lái)說(shuō)，在專利文獻(xiàn)I所述的技術(shù)中，在眼、嘴等的形狀發(fā)生預(yù)想不到的變化，而導(dǎo)致眼、嘴等的輪廓點(diǎn)都超出探索范圍的情況下，不能準(zhǔn)確地檢測(cè)輪廓點(diǎn)。另一方面，在為了覆蓋多樣的嘴的形狀、眼的形狀，而設(shè)定了廣泛的探索范圍的情況下，利用專利文獻(xiàn)I所述的技術(shù)在探索范圍內(nèi)通過(guò)掃描來(lái)進(jìn)行檢測(cè)，因此，處理負(fù)擔(dān)變得非常大。因此，在專利文獻(xiàn)I所述的技術(shù)中，設(shè)定廣泛的探索范圍并不實(shí)用。因此，專利文獻(xiàn)I所述的技術(shù)難以高精度地形狀發(fā)生很大變化的物體的輪廓點(diǎn)。
[0019]另外，在專利文獻(xiàn)2所述的技術(shù)中，在物體的形狀與所使用的動(dòng)態(tài)的輪廓模型有偏差的情況下，提取物體的輪廓點(diǎn)需要花費(fèi)非常多的時(shí)`間，或者，不能夠提取準(zhǔn)確的輪廓點(diǎn)。另一方面，在為了覆蓋多樣的嘴的形狀、眼的形狀，而準(zhǔn)備了各種各樣的模型的情況下，雖然輪廓點(diǎn)的提取的精度上升，但裝置事先存儲(chǔ)的數(shù)據(jù)大小變大，或者處理負(fù)擔(dān)變大。因此，在專利文獻(xiàn)2所述的技術(shù)中，準(zhǔn)備各種各樣的模型并不實(shí)用。因此，專利文獻(xiàn)2所述的技術(shù)難以高精度地形狀發(fā)生很大變化的物體的輪廓點(diǎn)。
[0020]另外，ASM及AAM存在探索處理花費(fèi)很多計(jì)算時(shí)間的缺點(diǎn)。另外，AAM需要針對(duì)每個(gè)人而準(zhǔn)備形狀模型，存在對(duì)他人的臉部進(jìn)行擬合的精度低的問(wèn)題。
[0021]另外，相對(duì)于ASM及AAM來(lái)說(shuō)，ASAM能夠?qū)崿F(xiàn)高速高精度化。ASAM針對(duì)表情變化少的臉部，能夠通過(guò)將臉部的形狀作為約束條件來(lái)獲得高精度的檢測(cè)結(jié)果。然而，ASAM針對(duì)嘴、眼等的開閉狀態(tài)、形狀狀態(tài)變化很大的表情，則不能夠高精度地進(jìn)行檢測(cè)。這是因?yàn)?，ASAM所使用的臉部的形狀模型為表現(xiàn)臉部整體的形狀的全局模型，不能準(zhǔn)確地檢測(cè)出針對(duì)目艮、嘴等各部位的變化，例如無(wú)法準(zhǔn)確檢測(cè)出開閉、形狀變化等變化的表現(xiàn)。
[0022]本發(fā)明是鑒于上述問(wèn)題點(diǎn)而產(chǎn)生的，本發(fā)明的目的在于，即使是變化成各種各樣的形狀的物體，也能夠?qū)崿F(xiàn)用于高精度地檢測(cè)圖像上的物體的形狀的圖像處理裝置、信息生成裝置、圖像處理方法、信息生成方法、控制程序及記錄介質(zhì)。
[0023]用于解決問(wèn)題的手段
[0024]為了解決上述問(wèn)題，本發(fā)明的圖像處理裝置從圖像中檢測(cè)物體的部位點(diǎn)，其特征在于，具有:基準(zhǔn)點(diǎn)確定單元，其在上述圖像上確定與上述部位點(diǎn)對(duì)應(yīng)的基準(zhǔn)點(diǎn)；特征量提取單元，其針對(duì)與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組；位置信息確定單元，其參照對(duì)應(yīng)關(guān)系信息，確定與上述特征量提取單元所提取的特征量組對(duì)應(yīng)的位置信息，該對(duì)應(yīng)關(guān)系信息表示:從上述多個(gè)采樣點(diǎn)的各像素或各像素組中提取出的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組，與位置信息之間的對(duì)應(yīng)關(guān)系，該位置信息表示上述部位點(diǎn)相對(duì)于上述基準(zhǔn)點(diǎn)的相對(duì)位置；檢測(cè)側(cè)部位點(diǎn)確定單元，其將由上述位置信息確定單元確定的位置信息所表示的位置，作為上述物體的部位點(diǎn)。
[0025]為了解決上述問(wèn)題，本發(fā)明的圖像處理方法從圖像中檢測(cè)物體的部位點(diǎn)，其特征在于，包括:基準(zhǔn)點(diǎn)確定步驟，在上述圖像上確定與上述部位點(diǎn)對(duì)應(yīng)的基準(zhǔn)點(diǎn)；特征量提取步驟，針對(duì)與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組；位置信息確定步驟，參照對(duì)應(yīng)關(guān)系信息，確定與在上述特征量提取步驟中提取的特征量組對(duì)應(yīng)的位置信息，該對(duì)應(yīng)關(guān)系信息表示:從上述多個(gè)采樣點(diǎn)的各像素或各像素組中提取出的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組，與位置信息之間的對(duì)應(yīng)關(guān)系，該位置信息表示上述部位點(diǎn)相對(duì)于上述基準(zhǔn)點(diǎn)的相對(duì)位置；部位點(diǎn)確定步驟，將在上述位置信息確定步驟中確定的位置信息所表示的位置，作為上述物體的部位點(diǎn)。
[0026]根據(jù)上述的結(jié)構(gòu)，上述位置信息確定單元參照表示特征量組與位置信息之間的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息，確定與上述特征量提取單元所提取的特征量組對(duì)應(yīng)的位置信息，該特征量組是指，從上述多個(gè)采樣點(diǎn)的各像素或各像素組中提取出的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組，該特征位置信息是指，表示上述部位點(diǎn)相對(duì)于上述基準(zhǔn)點(diǎn)的相對(duì)位置的位置信息，檢測(cè)側(cè)部位點(diǎn)確定單元將由上述位置信息確定單元確定的位置信息所表示的位置作為上述物體的部位點(diǎn)。
[0027]本發(fā)明的發(fā)明人們發(fā)現(xiàn):在圖像上，例如在從包括眼、嘴等的器官的區(qū)域中提取的特征量組與圖像上的器官的輪廓點(diǎn)、特征點(diǎn)相對(duì)于基準(zhǔn)點(diǎn)的相對(duì)位置之間，存在關(guān)聯(lián)關(guān)系?；谠撘娊猓ㄟ^(guò)參照表示上述特征量組與上述位置信息之間的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息，即使是形狀變化的物體，也能夠高精度地檢測(cè)圖像上的物體的部位點(diǎn)。即，即使在物體的形狀變化的情況下，上述圖像處理裝置及上述圖像處理方法也達(dá)到能夠高精度地檢測(cè)物體的部位點(diǎn)的效果。
[0028]發(fā)明的效果
[0029]如上所述，本發(fā)明的圖像處理裝置具有:基準(zhǔn)點(diǎn)確定單元，其在上述圖像上確定與上述部位點(diǎn)對(duì)應(yīng)的基準(zhǔn)點(diǎn)；特征量提取單元，其針對(duì)與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組；位置信息確定單元，其參照對(duì)應(yīng)關(guān)系信息，確定與上述特征量提取單元所提取的特征量組對(duì)應(yīng)的位置信息，該對(duì)應(yīng)關(guān)系信息表示:從上述多個(gè)采樣點(diǎn)的各像素或各像素組中提取出的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組，與位置信息之間的對(duì)應(yīng)關(guān)系，該位置信息表示上述部位點(diǎn)相對(duì)于上述基準(zhǔn)點(diǎn)的相對(duì)位置；檢測(cè)側(cè)部位點(diǎn)確定單元，其將由上述位置信息確定單元確定的位置信息所表示的位置，作為上述物體的部位點(diǎn)。
[0030]另外，本發(fā)明的圖像處理方法包括:基準(zhǔn)點(diǎn)確定步驟，在上述圖像上確定與上述部位點(diǎn)對(duì)應(yīng)的基準(zhǔn)點(diǎn)；特征量提取步驟，針對(duì)與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組；位置信息確定步驟，參照對(duì)應(yīng)關(guān)系信息，確定與在上述特征量提取步驟中提取的特征量組對(duì)應(yīng)的位置信息，該對(duì)應(yīng)關(guān)系信息表示:從上述多個(gè)采樣點(diǎn)的各像素或各像素組中提取出的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組，與位置信息之間的對(duì)應(yīng)關(guān)系，該位置信息表示上述部位點(diǎn)相對(duì)于上述基準(zhǔn)點(diǎn)的相對(duì)位置；部位點(diǎn)確定步驟，將在上述位置信息確定步驟中確定的位置信息所表示的位置，作為上述物體的部位點(diǎn)。
[0031]因此，上述圖像處理裝置及上述圖像處理方法達(dá)到如下的效果:在物體的形狀變化的情況下，也能夠高精度地檢測(cè)物體的部位點(diǎn)。
【專利附圖】

【附圖說(shuō)明】
[0032]圖1是表示本發(fā)明的實(shí)施方式的圖，是表示部位點(diǎn)檢測(cè)裝置的主要部分結(jié)構(gòu)的框圖。
[0033]圖2是表示階段性擬合的概要示意圖。
[0034]圖3是表示本發(fā)明的實(shí)施方式的圖，LRF學(xué)習(xí)裝置的主要部分結(jié)構(gòu)的框圖。
[0035]圖4是表示基準(zhǔn)點(diǎn)確定方法及位置信息生成方法的概要示意圖。
[0036]圖5是表示采樣位置確定方法及特征量提取方法的概要示意圖。
[0037]圖6是表示位置信息與特征量組之間的關(guān)聯(lián)關(guān)系的LRF函數(shù)的概要示意圖。
[0038]圖7是表示包括保存在LRF學(xué)習(xí)裝置的存儲(chǔ)部?jī)?nèi)的LRF函數(shù)在內(nèi)的LRF信息的一個(gè)例子的圖。
[0039]圖8是表示作為對(duì)LRF函數(shù)的輸入數(shù)據(jù)的特征量組與作為輸出數(shù)據(jù)的位置信息之間的對(duì)應(yīng)關(guān)系的圖。
[0040]圖9是表示LRF學(xué)習(xí)裝置所執(zhí)行的LRF學(xué)習(xí)方法的一個(gè)例子的圖。
[0041]圖10是利用圖像示意性地表示LRF學(xué)習(xí)方法所包含的各處理的狀態(tài)的遷移圖。
[0042]圖11是表示部位點(diǎn)檢測(cè)裝置所執(zhí)行的部位點(diǎn)檢測(cè)方法的一個(gè)例子的圖。
[0043]圖12是利用圖像示意性地表示部位點(diǎn)檢測(cè)方法所包含的各處理的狀態(tài)的遷移圖。
【具體實(shí)施方式】
[0044](本發(fā)明的概要)
[0045]本發(fā)明的發(fā)明人們發(fā)現(xiàn):在圖像上，在從包括眼、嘴等器官的區(qū)域中提取出的特征量組，與以圖像上的基準(zhǔn)點(diǎn)為原點(diǎn)的器官的輪廓點(diǎn)、特征點(diǎn)的位置之間，存在關(guān)聯(lián)關(guān)系?；谠撘娊?，通過(guò)回歸分析生成表示上述特征量組與上述位置之間的對(duì)應(yīng)關(guān)系的模型，發(fā)明了使用該模型的檢測(cè)方法。
[0046]通過(guò)利用該檢測(cè)方法，不僅能夠準(zhǔn)確地檢測(cè)事先設(shè)想的表情，而且，即使在眼、嘴等極度開閉那樣的表情等的各種各樣的條件下，也能夠準(zhǔn)確地檢測(cè)臉部、各器官。下面，將本發(fā)明的發(fā)明人們發(fā)明的檢測(cè)方法稱為“Local Regression Fitting”(LRF:局部回歸擬合)檢測(cè)方法，將用于生成上述模型的學(xué)習(xí)方法稱為L(zhǎng)RF學(xué)習(xí)方法。
[0047]另外，本發(fā)明的發(fā)明人們提出了這樣的方法:將LRF檢測(cè)方法與現(xiàn)有的捕捉臉部全局形狀的全局?jǐn)M合方法組合使用，是能夠準(zhǔn)確檢測(cè)臉部、各器官的最佳方法。具體來(lái)說(shuō)，提出了組合了全局?jǐn)M合和局部擬合(LRF檢測(cè)方法)的階段性擬合，該全局?jǐn)M合是指，利用基于ASAM等的學(xué)習(xí)方法的全局模型來(lái)捕捉臉部全局形狀的擬合，該局部擬合是指，利用基于LRF學(xué)習(xí)方法而針對(duì)臉部每個(gè)器官的局部模型來(lái)分別捕捉各器官的詳細(xì)形狀的擬合。
[0048]更詳細(xì)來(lái)說(shuō)，如圖2所示，首先，在階段性擬合中，通過(guò)全局?jǐn)M合來(lái)檢測(cè)太陽(yáng)穴(兩處)、左右的眉毛的眉頭及眉梢、兩眼的內(nèi)眼角及外眼角、鼻孔(兩處)、嘴角(兩處)以及下巴等。然后，通過(guò)LRF檢測(cè)方法，來(lái)檢測(cè)其它的臉部、眉、目、鼻及嘴的輪廓點(diǎn)?；谕ㄟ^(guò)全局?jǐn)M合及LRF檢測(cè)方法檢測(cè)出的輪廓點(diǎn)，檢測(cè)臉部及各器官的輪廓。
[0049]由此，即使對(duì)于不能利用全局模型表現(xiàn)的表情，也能夠高精度地檢測(cè)出臉部的輪廓。而且，通過(guò)設(shè)計(jì)成這種階段結(jié)構(gòu)，能夠減少因全局?jǐn)M合而產(chǎn)生的很大的誤檢測(cè)，并且，即使是表情變化的臉部圖像，也能夠利用局部擬合準(zhǔn)確地檢測(cè)臉部輪廓特征點(diǎn)。
[0050]以下，基于圖1?圖16，針對(duì)本發(fā)明的一個(gè)實(shí)施方式的部位點(diǎn)檢測(cè)裝置(圖像處理裝置)和LRF學(xué)習(xí)裝置(信息生成裝置)進(jìn)行說(shuō)明，其中，該部位點(diǎn)檢測(cè)裝置利用LRF檢測(cè)方法檢測(cè)圖像上的物體的輪廓點(diǎn)、特征點(diǎn)等的部位點(diǎn)，該LRF學(xué)習(xí)裝置利用LRF學(xué)習(xí)方法生成模型。此外，以下，將部位點(diǎn)檢測(cè)裝置和LRF學(xué)習(xí)裝置作為彼此分離的裝置進(jìn)行說(shuō)明，但部位點(diǎn)檢測(cè)裝置及LRF學(xué)習(xí)裝置也可以為一體的裝置。
[0051](LRF學(xué)習(xí)裝置的結(jié)構(gòu))
[0052]首先，基于圖3，針對(duì)LRF學(xué)習(xí)裝置進(jìn)行說(shuō)明。LRF學(xué)習(xí)裝置是生成LRF函數(shù)(對(duì)應(yīng)關(guān)系信息)的裝置，該LRF函數(shù)表示，在由其它裝置獲取的圖像或利用搭載在本裝置上的攝像頭拍攝而得的圖像中，物體的部位點(diǎn)相對(duì)于圖像上的基準(zhǔn)點(diǎn)的相對(duì)位置與根據(jù)基于該部位點(diǎn)而從圖像上的規(guī)定位置提取的特征量組之間的對(duì)應(yīng)關(guān)系。
[0053]LRF學(xué)習(xí)裝置例如可以為PC (個(gè)人計(jì)算機(jī))、數(shù)碼相機(jī)、手機(jī)、PDA (PersonalDigital Assistant:個(gè)人數(shù)字助理)、游戲機(jī)、拍攝并印刷照片的裝置、編輯圖像的裝置等。
[0054]在本實(shí)施方式中，不限于將具有學(xué)習(xí)上述對(duì)應(yīng)關(guān)系的對(duì)象的部位點(diǎn)的物體設(shè)為人類的眼、嘴等。例如，可以為狗、貓等的動(dòng)物的臉部、器官等，還可以為手機(jī)、電視機(jī)等，還可以為建筑物、云彩等。
[0055]物體的部位點(diǎn)是指，在圖像上的物體的區(qū)域內(nèi)的點(diǎn)。具體來(lái)說(shuō)，例如在物體為眼的情況下，部位點(diǎn)是指眼的輪廓點(diǎn)、瞳孔點(diǎn)等。在此，將物體的部位點(diǎn)稱為學(xué)習(xí)對(duì)象點(diǎn)，將具有學(xué)習(xí)對(duì)象點(diǎn)的物體稱為學(xué)習(xí)對(duì)象物，其中，物體的部位點(diǎn)為L(zhǎng)RF學(xué)習(xí)裝置學(xué)習(xí)上述對(duì)應(yīng)關(guān)系的對(duì)象。
[0056]圖3是表示LRF學(xué)習(xí)裝置2的主要部分結(jié)構(gòu)的一個(gè)例子的框圖。如圖3所示，LRF學(xué)習(xí)裝置2具有控制部16、存儲(chǔ)部17、圖像輸入部13、操作部(輸入單元)14及顯示部15。此外，LRF學(xué)習(xí)裝置2還可以具有用于與其它的裝置通信的通信部、聲音輸入部、聲音輸出部等的設(shè)備，由于與發(fā)明的特征點(diǎn)無(wú)關(guān)，所以不示出這些設(shè)備。
[0057]圖像輸入部13從外部的圖像提供裝置(圖示省略)接收?qǐng)D像。圖像提供裝置只要為能夠?qū)⑺３值膱D像或獲取的圖像提供至其它裝置即可，可以是任意裝置。例如，圖像提供裝置為數(shù)碼相機(jī)、PC、手機(jī)、PDA、游戲機(jī)、數(shù)字電視機(jī)、USB (Universal Serial Bus:通用串行總線)存儲(chǔ)器等的存儲(chǔ)裝置等。此外，也可以取代圖像輸入部13，而使LRF學(xué)習(xí)裝置2搭載攝像頭。
[0058]操作部14用于使用戶向LRF學(xué)習(xí)裝置2輸入指示信號(hào)，來(lái)操作LRF學(xué)習(xí)裝置2。操作部14可以由鍵盤、鼠標(biāo)、小型鍵盤(Keypad)、操作按鈕等的輸入設(shè)備等構(gòu)成。另外，可以為操作部14和顯示部15 —體構(gòu)成的觸摸屏。另外，操作部14可以為與LRF學(xué)習(xí)裝置2分離的遙控器等的遠(yuǎn)程控制裝置。
[0059]顯示部15按照控制部16的指示來(lái)顯示圖像。顯示部15只要按照控制部16的指示來(lái)顯示圖像即可，例如，能夠應(yīng)用IXD (液晶顯示器)、有機(jī)EL顯示器、等離子顯示器等。
[0060]控制部16通過(guò)執(zhí)行從存儲(chǔ)部17讀取至臨時(shí)存儲(chǔ)部(圖示省略)的程序，來(lái)進(jìn)行各種運(yùn)算，并且統(tǒng)一控制LRF學(xué)習(xí)裝置2所具有的各部分。
[0061]在本實(shí)施方式中，在控制部16中，作為功能框而具有:圖像獲取部(圖像獲取單元)21、區(qū)域截取部22、基準(zhǔn)點(diǎn)確定部(基準(zhǔn)點(diǎn)確定單元)23、部位點(diǎn)確定部(學(xué)習(xí)側(cè)部位點(diǎn)確定單元)24、采樣位置確定部(采樣位置確定單元)25、特征量提取部(特征量提取單元)26、位置信息生成部(位置信息生成單元)27及LRF函數(shù)計(jì)算部(對(duì)應(yīng)關(guān)系信息生成單元)28。CPU (central processing unit:中央處理器)將由 ROM (read only memory:只讀存儲(chǔ)器)等實(shí)現(xiàn)的存儲(chǔ)裝置所存儲(chǔ)的程序讀取至采用RAM (random access memory:隨機(jī)存取存儲(chǔ)器)等的臨時(shí)存儲(chǔ)部，并執(zhí)行該程序，來(lái)實(shí)現(xiàn)控制部16的這些功能框(21?28)。
[0062]圖像獲取部21獲取經(jīng)由圖像輸入部13輸入的圖像。圖像獲取部21向區(qū)域截取部22輸出所獲取的圖像。此外，在存儲(chǔ)部17內(nèi)存儲(chǔ)有圖像的情況下，圖像獲取部21可以從存儲(chǔ)部17讀取圖像。
[0063]區(qū)域截取部22基于規(guī)定的學(xué)習(xí)對(duì)象區(qū)域圖像提取方法，從所獲取的圖像中，提取包含學(xué)習(xí)對(duì)象點(diǎn)的區(qū)域的圖像即學(xué)習(xí)對(duì)象區(qū)域圖像。另外，區(qū)域截取部22基于規(guī)定的標(biāo)準(zhǔn)化方法，將所提取的學(xué)習(xí)對(duì)象區(qū)域圖像標(biāo)準(zhǔn)化，生成標(biāo)準(zhǔn)化圖像。區(qū)域截取部22向基準(zhǔn)點(diǎn)確定部23、部位點(diǎn)確定部24及采樣位置確定部25輸出所生成的標(biāo)準(zhǔn)化圖像。
[0064]具體來(lái)說(shuō)，例如，在學(xué)習(xí)對(duì)象物為“眼”或“嘴”的情況下，區(qū)域截取部22從所獲取的圖像中提取臉部圖像，將所提取的臉部圖像修正為例如100像素X100像素的圖像，來(lái)生成標(biāo)準(zhǔn)化圖像。
[0065]在此，只要事先針對(duì)物體的每個(gè)部位點(diǎn)(學(xué)習(xí)對(duì)象點(diǎn))規(guī)定學(xué)習(xí)對(duì)象區(qū)域圖像提取方法及標(biāo)準(zhǔn)化方法即可，具體方法可以為任意的。另外，以下，將作為標(biāo)準(zhǔn)化圖像的原始圖像即圖像獲取部21所獲取的圖像稱為原圖像。
[0066]基準(zhǔn)點(diǎn)確定部23從區(qū)域截取部22獲取標(biāo)準(zhǔn)化圖像，將基于規(guī)定的基準(zhǔn)點(diǎn)確定方法而獲取的標(biāo)準(zhǔn)化圖像上的規(guī)定的點(diǎn)，確定為基準(zhǔn)點(diǎn)。基準(zhǔn)點(diǎn)確定部23向位置信息生成部27輸出基準(zhǔn)坐標(biāo),該基準(zhǔn)坐標(biāo)為所確定的基準(zhǔn)點(diǎn)在標(biāo)準(zhǔn)化圖像上的坐標(biāo)。
[0067]具體來(lái)說(shuō)，如圖4所示，例如，在學(xué)習(xí)對(duì)象物為“眼”的情況下，基準(zhǔn)點(diǎn)確定部23將標(biāo)準(zhǔn)化圖像上的眼的中心點(diǎn)，確定為基準(zhǔn)點(diǎn)。此時(shí)，基準(zhǔn)點(diǎn)確定部23可以在顯示部15上顯示標(biāo)準(zhǔn)化圖像，指示用戶指定眼的中心點(diǎn)，將用戶所指定的點(diǎn)作為基準(zhǔn)點(diǎn)。另外，基準(zhǔn)點(diǎn)確定部23也可以基于在區(qū)域截取部22提取臉部圖像時(shí)確定的眼的內(nèi)眼角點(diǎn)及外眼角點(diǎn)，將內(nèi)眼角點(diǎn)及外眼角點(diǎn)的中點(diǎn)確定為基準(zhǔn)點(diǎn)。另外，基準(zhǔn)點(diǎn)確定部23也可以參照與原圖像建立了對(duì)應(yīng)關(guān)系的元數(shù)據(jù)(基準(zhǔn)點(diǎn)位置信息)，基于用元數(shù)據(jù)表示的眼的中心點(diǎn)的位置，利用仿射變換等確定基準(zhǔn)點(diǎn)。在該情況下，在LRF學(xué)習(xí)裝置2執(zhí)行學(xué)習(xí)之前，事先，在各原圖像上確認(rèn)原圖像上的眼的中心點(diǎn)的位置，并將包括表示所確定的眼的中心點(diǎn)的位置的信息的元數(shù)據(jù)與原圖像建立對(duì)應(yīng)關(guān)系。此外，在元數(shù)據(jù)中，也可以取代表示眼的中心點(diǎn)的位置的信息，而包括用于確定眼的中心點(diǎn)的位置的信息(例如，內(nèi)眼角點(diǎn)、外眼角點(diǎn)等)。
[0068]此外，基準(zhǔn)點(diǎn)只要為標(biāo)準(zhǔn)化圖像上的點(diǎn)，無(wú)論是哪一點(diǎn)均可。即，在例如學(xué)習(xí)對(duì)象物為“眼”的情況下，也可以將內(nèi)眼角點(diǎn)或外眼角點(diǎn)作為基準(zhǔn)點(diǎn)，也可以將臉部的中心點(diǎn)(標(biāo)準(zhǔn)化圖像的中心點(diǎn))作為基準(zhǔn)點(diǎn)，也可以將標(biāo)準(zhǔn)化圖像的左上的端點(diǎn)等作為基準(zhǔn)點(diǎn)。
[0069]只要事先針對(duì)物體的每個(gè)部位點(diǎn)(學(xué)習(xí)對(duì)象點(diǎn))規(guī)定基準(zhǔn)點(diǎn)確定方法即可，具體的方法可以是任意的。
[0070]部位點(diǎn)確定部24從區(qū)域截取部22獲取標(biāo)準(zhǔn)化圖像，基于從操作部14輸入的用戶的指示，確定所獲取的標(biāo)準(zhǔn)化圖像上的學(xué)習(xí)對(duì)象點(diǎn)。部位點(diǎn)確定部24向位置信息生成部27輸出部位坐標(biāo)，部位坐標(biāo)為所確定的學(xué)習(xí)對(duì)象點(diǎn)的標(biāo)準(zhǔn)化圖像上的坐標(biāo)。
[0071]具體來(lái)說(shuō)，例如，在學(xué)習(xí)對(duì)象點(diǎn)為作為眼的輪廓點(diǎn)的“上眼瞼點(diǎn)”的情況下，部位點(diǎn)確定部24在顯示部15顯示標(biāo)準(zhǔn)化圖像，指示用戶指定眼的上眼瞼點(diǎn)，將用戶指定的點(diǎn)確定為學(xué)習(xí)對(duì)象點(diǎn)。另外，部位點(diǎn)確定部24也可以參照與原圖像建立了對(duì)應(yīng)關(guān)系的元數(shù)據(jù)(部位點(diǎn)位置信息)，基于用元數(shù)據(jù)表示的眼的上眼瞼點(diǎn)的位置，利用仿射變換等確定學(xué)習(xí)對(duì)象點(diǎn)。在該情況下，在LRF學(xué)習(xí)裝置2執(zhí)行學(xué)習(xí)之前，事先在各原圖像上確定原圖像上的眼的上眼瞼點(diǎn)的位置，將包括表示所確定的眼的上眼瞼點(diǎn)的位置的信息的元數(shù)據(jù)與原圖像建立對(duì)應(yīng)關(guān)系。
[0072]在圖4示出的例子中，除了上眼瞼點(diǎn)以外，還可以將下眼瞼點(diǎn)、內(nèi)眼角點(diǎn)及外眼角點(diǎn)確定為學(xué)習(xí)對(duì)象點(diǎn)。此外，上眼瞼點(diǎn)是指，眼的輪廓點(diǎn)所形成的上側(cè)的圓弧的頂點(diǎn)。另外，下眼瞼點(diǎn)是指，眼的輪廓點(diǎn)所形成的下側(cè)的圓弧的頂點(diǎn)。
[0073]采樣位置確定部25從區(qū)域截取部22獲取標(biāo)準(zhǔn)化圖像，基于規(guī)定的采樣位置確定方法，在標(biāo)準(zhǔn)化圖像上的規(guī)定的范圍內(nèi)確定與基準(zhǔn)點(diǎn)(部位點(diǎn))對(duì)應(yīng)的多個(gè)采樣點(diǎn)。在此，將上述規(guī)定的范圍稱為采樣范圍。
[0074]只要事先針對(duì)物體的每個(gè)部位點(diǎn)(學(xué)習(xí)對(duì)象點(diǎn))規(guī)定采樣位置確定方法即可，可以為任何方法。
[0075]具體來(lái)說(shuō)，采樣位置確定部25所確定的采樣點(diǎn)只要在采樣范圍內(nèi)即可，可以為任何一點(diǎn)。例如，采樣位置確定部25可以將采樣范圍內(nèi)的全部像素作為采樣點(diǎn)。采樣位置確定部25可以規(guī)則地或不規(guī)則地選擇采樣范圍內(nèi)的像素，將所選擇的像素作為采樣點(diǎn)。另夕卜，采樣位置確定部25將采樣范圍劃分成多個(gè)區(qū)塊，將區(qū)塊的中心點(diǎn)作為采樣點(diǎn)。
[0076]在此，上述的采樣范圍，只要為在標(biāo)準(zhǔn)化圖像上包括認(rèn)為是學(xué)習(xí)對(duì)象點(diǎn)所在的區(qū)域的范圍即可，可以為任何范圍。例如，將包括認(rèn)為是學(xué)習(xí)對(duì)象點(diǎn)所在的區(qū)域在內(nèi)的η像素Xm像素的范圍作為采樣范圍。另外，認(rèn)為是學(xué)習(xí)對(duì)象點(diǎn)所在的區(qū)域可以為標(biāo)準(zhǔn)化圖像上的規(guī)定的位置、具有規(guī)定大小的區(qū)域。例如，在上眼瞼點(diǎn)為學(xué)習(xí)對(duì)象點(diǎn)的情況下，可以根據(jù)內(nèi)眼角點(diǎn)及外眼角點(diǎn)確定眼的中心點(diǎn)，根據(jù)眼的中心點(diǎn)將上方的規(guī)定范圍作為認(rèn)為是學(xué)習(xí)對(duì)象點(diǎn)所在的區(qū)域。
[0077]另外，可以將包括認(rèn)為是學(xué)習(xí)對(duì)象物所在的區(qū)域的范圍作為采樣范圍。具體來(lái)說(shuō)，如圖5所示，在學(xué)習(xí)對(duì)象物為眼的情況下，在標(biāo)準(zhǔn)化圖像中，可以將覆蓋認(rèn)為是眼所在的區(qū)域的范圍作為采樣范圍，例如，如上所述，根據(jù)內(nèi)眼角點(diǎn)及外眼角點(diǎn)確定眼的中心點(diǎn)，可以將以眼的中心點(diǎn)為中心的i像素Xj像素的范圍作為采樣范圍。
[0078]此外，采樣范圍的形狀不限于i像素Xj像素的矩形。采樣范圍的形狀可以為任意的，例如，可以為其它的多角形或圓形。在圖5示出的例子中，由于將覆蓋認(rèn)為是眼所在的區(qū)域的范圍作為采樣范圍，所以采樣范圍的形狀為從矩形削去四個(gè)角后的形狀。
[0079]特征量提取部26基于規(guī)定的特征量提取方法，針對(duì)采樣位置確定部25所確定的每個(gè)采樣點(diǎn)，從采樣點(diǎn)的像素或包括采樣點(diǎn)的像素的像素組中提取特征量。特征量提取部26針對(duì)每個(gè)部位點(diǎn)，生成由分別與各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的特征量組。
[0080]換言之，特征量提取部26針對(duì)與部位點(diǎn)對(duì)應(yīng)的基準(zhǔn)點(diǎn)所對(duì)應(yīng)的多個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組。
[0081]在此，只要事先針對(duì)物體的每個(gè)部位點(diǎn)(學(xué)習(xí)對(duì)象點(diǎn))規(guī)定特征量提取方法即可，可以為任何的方法。
[0082]具體來(lái)說(shuō)，特征量提取部26所提取的特征量可以為任意的。例如，可以為亮度值、邊緣信息、頻率特性(Gabor、Haar (哈爾特征)等)、亮度斜率特征量(SIFT、HOG等)或由這些組合的特征量。
[0083]另外，在特征量提取部26從包括具有采樣點(diǎn)的像素的像素組中提取特征量的情況下，可以基于像素組所包含的全部像素的值的平均值或中央值，提取特征量。另外，在該情況下，特征量提取部26可以基于像素組所包含的一個(gè)或多個(gè)像素，提取特征量。例如，在特征量提取部26從包括以采樣點(diǎn)作為中心的3X3像素的九個(gè)像素的像素組中提取特征量的情況下，可以基于九個(gè)像素的值的平均值或中央值，提取特征量。另外，特征量提取部26可以基于九個(gè)像素的中的一個(gè)或多個(gè)像素，提取特征量。
[0084]另外，特征量提取部26可以從一個(gè)采樣點(diǎn)提取多個(gè)種類的特征量。例如，特征量提取部26可以從一個(gè)采樣點(diǎn)的像素或像素組中分別提取亮度值及哈爾特征值(Haar-1ikefeature value)，來(lái)作為特征量。另外，特征量提取部26從以采樣點(diǎn)為中心的3X3像素的像素組中提取亮度值，來(lái)作為特征量，并且從以相同的采樣點(diǎn)為中心的4X4像素的像素組中提取亮度值，來(lái)作為特征量，可以提取兩種的特征量。
[0085]在圖5示出的例子中，特征量提取部26從采樣點(diǎn)的各像素提取哈爾特征值，來(lái)作為特征量，生成特征量組。此外，采樣位置確定部25例如在采樣范圍內(nèi)設(shè)定數(shù)百個(gè)采樣點(diǎn)。即，特征量提取部26例如生成由數(shù)百個(gè)特征量構(gòu)成的特征量組。
[0086]位置信息生成部27從基準(zhǔn)點(diǎn)確定部23獲取基準(zhǔn)坐標(biāo)，從部位點(diǎn)確定部24獲取部位坐標(biāo)。并且，位置信息生成部27基于規(guī)定的位置信息生成方法，生成位置信息，該位置信息表示以基準(zhǔn)點(diǎn)為原點(diǎn)的學(xué)習(xí)對(duì)象點(diǎn)的位置。換言之，位置信息生成部27基于規(guī)定的位置信息生成方法，生成表示學(xué)習(xí)對(duì)象點(diǎn)相對(duì)于基準(zhǔn)點(diǎn)的相對(duì)位置的位置信息。位置信息生成部27向LRF函數(shù)計(jì)算部28輸出所生成的位置信息。
[0087]位置信息為xy坐標(biāo)系或極坐標(biāo)系的坐標(biāo)。另外，基準(zhǔn)坐標(biāo)及部位坐標(biāo)可以為xy坐標(biāo)系或極坐標(biāo)系的某一個(gè)。
[0088]在此，只要事先針對(duì)物體的每個(gè)部位點(diǎn)(學(xué)習(xí)對(duì)象點(diǎn))規(guī)定位置信息生成方法即可，可以為任意的方法。
[0089]在圖4示出的例子中，位置信息生成部27用xy坐標(biāo)系表示基準(zhǔn)坐標(biāo)及部位坐標(biāo)以及位置信息，針對(duì)每個(gè)部位坐標(biāo)，計(jì)算部位坐標(biāo)與基準(zhǔn)坐標(biāo)的差分，生成各學(xué)習(xí)對(duì)象點(diǎn)的位置信息。S卩，若部位坐標(biāo)為(a, b)、基準(zhǔn)坐標(biāo)為(c, d),則計(jì)算出位置信息(X, Y)為(a-c,b_d)。
[0090]另外，在圖4中，“LeftX”、“LeftY”分別表示外眼角點(diǎn)的位置信息的x坐標(biāo)、y坐標(biāo)，“RightX”、“RightY”分別表示內(nèi)眼角點(diǎn)的位置信息的X坐標(biāo)、I坐標(biāo)，“UpX”、“UpY”分別表示上眼瞼點(diǎn)的位置信息的X坐標(biāo)、y坐標(biāo)，“D0WnX”、“D0WnY”分別表示下眼瞼點(diǎn)的位置信息的X坐標(biāo)、y坐標(biāo)。
[0091]在LRF函數(shù)計(jì)算部28中，就一個(gè)圖像而言，針對(duì)每個(gè)學(xué)習(xí)對(duì)象點(diǎn)，從特征量提取部26獲取與學(xué)習(xí)對(duì)象點(diǎn)對(duì)應(yīng)的特征量組，從位置信息生成部27獲取與該學(xué)習(xí)對(duì)象點(diǎn)對(duì)應(yīng)的位置信息。LRF函數(shù)計(jì)算部28針對(duì)每個(gè)學(xué)習(xí)對(duì)象點(diǎn)，基于分別從多個(gè)圖像生成的特征量組及位置信息，生成與該學(xué)習(xí)對(duì)象點(diǎn)對(duì)應(yīng)的表示位置信息與特征量組的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息。此外，LRF函數(shù)計(jì)算部28在生成對(duì)應(yīng)關(guān)系信息時(shí)，針對(duì)相同學(xué)習(xí)對(duì)象點(diǎn)，使用通過(guò)相同的方法(學(xué)習(xí)對(duì)象區(qū)域圖像提取方法、標(biāo)準(zhǔn)化方法、基準(zhǔn)點(diǎn)確定方法、采樣位置確定方法、特征量提取方法及位置信息生成方法相同)生成的位置信息及特征量組。
[0092]具體來(lái)說(shuō)，如圖6所示，LRF函數(shù)計(jì)算部28描畫分別根據(jù)多個(gè)圖像生成的特征量組及位置信息，利用回歸分析，計(jì)算表示位置信息與特征量組之間的關(guān)聯(lián)關(guān)系的LRF函數(shù)(對(duì)應(yīng)關(guān)系信息)。此外，在圖6中，為了方便說(shuō)明，用平面表示LRF函數(shù)，但在實(shí)際上，由于特征量組與位置信息之間的對(duì)應(yīng)關(guān)系為高次(高維)，所以利用超回歸平面表示特征量組與位置信息之間的對(duì)應(yīng)關(guān)系即LRF函數(shù)。
[0093]另外，在圖6示出的例子中，設(shè)定采樣范圍，使其覆蓋全部的認(rèn)為是各學(xué)習(xí)對(duì)象點(diǎn)(外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)及下眼瞼點(diǎn))所在的區(qū)域，針對(duì)各學(xué)習(xí)對(duì)象點(diǎn)生成相同特征量組，利用相同的基準(zhǔn)點(diǎn)，生成各學(xué)習(xí)對(duì)象點(diǎn)的位置信息，因此，將各學(xué)習(xí)對(duì)象點(diǎn)的位置信息與一個(gè)特征量組建立對(duì)應(yīng)關(guān)系。但不限于此，還可以針對(duì)各學(xué)習(xí)對(duì)象點(diǎn)，分別生成位置信息及特征量組，針對(duì)每個(gè)學(xué)習(xí)對(duì)象點(diǎn) 求出LRF函數(shù)。
[0094]在圖6示出的例子中，若將特征量組設(shè)為X，將位置信息設(shè)為Y，則用Y = AX + B表示Y。在此，例如，特征量組X由從k個(gè)采樣點(diǎn)中提取的m個(gè)(m = kx (從一個(gè)采樣點(diǎn)提取的特征量的種類數(shù)))的特征量構(gòu)成，位置信息Y由η個(gè)學(xué)習(xí)對(duì)象點(diǎn)的X坐標(biāo)、y坐標(biāo)構(gòu)成，在此情況下，利用特征量組X =(χ1; χ2,…，xm)τ、位置信息Y = (.11,12,表示X和Y。在該情況下，系數(shù)A用2nXm的矩陣表示，系數(shù)B用2nX I的矩陣表示。
[0095]在此，LRF函數(shù)計(jì)算部28所使用的回歸分析只要為多元回歸、CCA等回歸分析即可。另外，LRF函數(shù)計(jì)算部28求出的LRF函數(shù)可以為圖6示出的線性的函數(shù)，也可以為非線性的函數(shù)。
[0096]另外，LRF函數(shù)計(jì)算部28可以基于位置信息與特征量組之間的對(duì)應(yīng)關(guān)系，生成確定兩者的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系表。
[0097]LRF函數(shù)計(jì)算部28將LRF信息保存在存儲(chǔ)部17內(nèi)，該LRF信息是指，將由LRF函數(shù)表示對(duì)應(yīng)關(guān)系的位置的部位點(diǎn)及上述各方法與所生成的LRF函數(shù)建立了對(duì)應(yīng)關(guān)系的LRF信息。
[0098]存儲(chǔ)部17保存用于控制部16參照的程序、數(shù)據(jù)等，例如，保存上述的LRF信息41
坐寸ο
[0099]基于圖7，針對(duì)保存在存儲(chǔ)部17內(nèi)的LRF信息41進(jìn)行說(shuō)明。圖7是表示保存在存儲(chǔ)部17內(nèi)的LRF信息41的一個(gè)例子的圖。[0100]如圖7所示，LRF信息41是將部位點(diǎn)和與該部位點(diǎn)相關(guān)的LRF函數(shù)建立了對(duì)應(yīng)關(guān)系的信息。另外，LRF信息41是表示部位點(diǎn)和分別用于生成特征量組及位置信息的各方法(學(xué)習(xí)對(duì)象區(qū)域圖像提取方法、標(biāo)準(zhǔn)化方法、基準(zhǔn)點(diǎn)確定方法、采樣位置確定方法、特征量提取方法及位置信息生成方法)建立了對(duì)應(yīng)關(guān)系的信息。
[0101]在圖7示出的例子中，就學(xué)習(xí)對(duì)象區(qū)域圖像提取方法及標(biāo)準(zhǔn)化方法而言，針對(duì)各學(xué)習(xí)對(duì)象點(diǎn)而對(duì)應(yīng)關(guān)聯(lián)了相同的方法；就其它的方法而言，針對(duì)每個(gè)物體，針對(duì)各學(xué)習(xí)對(duì)象點(diǎn)而對(duì)應(yīng)關(guān)聯(lián)了相同的方法，但不限于此。還可以針對(duì)每個(gè)學(xué)習(xí)對(duì)象點(diǎn)，分別采用不同的方法。
[0102]另外，在圖7示出的例子中，LRF函數(shù)不限于與每個(gè)部位點(diǎn)對(duì)應(yīng)，還可以針對(duì)每個(gè)物體，建立物體與LRF函數(shù)的對(duì)應(yīng)關(guān)系。例如，在圖7示出的例子中，就每個(gè)物體而言，學(xué)習(xí)對(duì)象區(qū)域圖像提取方法、標(biāo)準(zhǔn)化方法、基準(zhǔn)點(diǎn)確定方法、采樣位置確定方法及特征量提取方法都相同。也就是說(shuō)，只要為相同的物體，從某個(gè)圖像提取出的特征量組X都相同，而與部位點(diǎn)無(wú)關(guān)。在該情況下，例如，就右眼而言，在位置信息Y = Gpy2,…，yici)T中，將Y1~y10分別設(shè)定為上眼瞼點(diǎn)的位置信息的X坐標(biāo)及I坐標(biāo)、下眼瞼點(diǎn)的位置信息的X坐標(biāo)及I坐標(biāo)、內(nèi)眼角點(diǎn)的位置信息的X坐標(biāo)及I坐標(biāo)、外眼角點(diǎn)的位置信息的X坐標(biāo)及I坐標(biāo)、瞳孔點(diǎn)的位置信息的X坐標(biāo)及I坐標(biāo)，則能夠用Y = AX + B表示右眼的LRF函數(shù)。此外，A =(A1, A2,..., A5) τ, B = (B1, B2,…，Β5)τ。
[0103]另外，在圖7示出的例子中，在LRF信息41中，各方法不限于與LRF函數(shù)建立對(duì)應(yīng)關(guān)系。在圖7示出的例子中，示出了在學(xué)習(xí)時(shí)LRF學(xué)習(xí)裝置適當(dāng)?shù)剡x擇各方法來(lái)生成LRF函數(shù)的情況，在學(xué)習(xí)時(shí)或檢測(cè)時(shí)，在針對(duì)各部位點(diǎn)而使用事先規(guī)定的方法來(lái)作為各方法的情況下，部位點(diǎn)檢測(cè)裝置I及LRF學(xué)習(xí)裝置2只要存儲(chǔ)針對(duì)各部位點(diǎn)而事先規(guī)定的方法即可(例如，只要編入學(xué)習(xí)程序及檢測(cè)程序中即可)。在該情況下，在LRF信息41中，無(wú)需將各方法與LRF函數(shù)建立對(duì)應(yīng)關(guān)系，LRF信息41只要包含表示與部位點(diǎn)建立了對(duì)應(yīng)關(guān)系的LRF函數(shù)的信息即可。`
[0104](部位點(diǎn)檢測(cè)裝置的結(jié)構(gòu))
[0105]接著，基于圖1，針對(duì)部位點(diǎn)檢測(cè)裝置進(jìn)行說(shuō)明。部位點(diǎn)檢測(cè)裝置，基于LRF學(xué)習(xí)裝置生成的LRF信息，從由其它裝置獲取的圖像或利用搭載在本裝置上的攝像頭拍攝而得的圖像中，檢測(cè)物體的輪廓點(diǎn)、特征點(diǎn)等的部位點(diǎn)。
[0106]部位點(diǎn)檢測(cè)裝置可以為例如數(shù)碼相機(jī)、PC、手機(jī)、PDA (Personal DigitalAssistant)、游戲機(jī)、拍攝并印刷照片的裝置、編輯圖像的裝置等。
[0107]在本實(shí)施方式中，將具有檢測(cè)對(duì)象的部位點(diǎn)的物體設(shè)為人類的眼、嘴等，但不限于此。例如，可以為狗、貓等的動(dòng)物的臉部、器官等，還可以為手機(jī)、電視機(jī)等，還可以為建筑物、云彩等。在此，部位點(diǎn)檢測(cè)裝置將上述檢測(cè)對(duì)象的部位點(diǎn)稱為檢測(cè)對(duì)象點(diǎn)，將具有檢測(cè)對(duì)象點(diǎn)的物體稱為檢測(cè)對(duì)象物。
[0108]圖1是表示部位點(diǎn)檢測(cè)裝置I的主要部分結(jié)構(gòu)的一個(gè)例子的框圖。如圖1所示，部位點(diǎn)檢測(cè)裝置I具有控制部11、存儲(chǔ)部12、圖像輸入部13、操作部(輸入單元)14及顯示部15。此外，部位點(diǎn)檢測(cè)裝置I可以具有用于與其它的裝置通信的通信部、聲音輸入部、聲音輸出部等的設(shè)備，由于與發(fā)明的特征點(diǎn)無(wú)關(guān)，所以不示出該設(shè)備。
[0109]此外，為了方便說(shuō)明，對(duì)與LRF學(xué)習(xí)裝置2所包括的設(shè)備具有相同的功能的設(shè)備標(biāo)注相同的附圖標(biāo)記，并省略一部分的說(shuō)明。
[0110]存儲(chǔ)部12保存用于控制部11參照的程序、數(shù)據(jù)等，例如，保存LRF學(xué)習(xí)裝置生成的LRF信息41等的。保存在存儲(chǔ)部12內(nèi)的LRF信息41例如可以為如圖7所示的數(shù)據(jù)。
[0111]控制部11通過(guò)執(zhí)行從存儲(chǔ)部12讀取至臨時(shí)存儲(chǔ)部(圖示省略)的程序，來(lái)進(jìn)行各種的運(yùn)算，并且統(tǒng)一控制部位點(diǎn)檢測(cè)裝置I所具有的各部分。
[0112]在本實(shí)施方式中，在控制部11中，作為功能框而具有:圖像獲取部21、區(qū)域截取部22、基準(zhǔn)點(diǎn)確定部23、采樣位置確定部(采樣位置確定單元)25、特征量提取部26、位置信息確定部(位置信息確定單元)29及部位點(diǎn)確定部(檢測(cè)側(cè)部位點(diǎn)確定單元)30。CPU將由ROM等實(shí)現(xiàn)的存儲(chǔ)裝置內(nèi)存儲(chǔ)的程序讀取至采用RAM等的臨時(shí)存儲(chǔ)部并執(zhí)行該程序，來(lái)實(shí)現(xiàn)控制部11的這些功能框(21?23、25、26、29、30)。
[0113]圖像獲取部21獲取經(jīng)由圖像輸入部13輸入的圖像。圖像獲取部21向區(qū)域截取部22輸出所獲取的圖像。
[0114]區(qū)域截取部22從存儲(chǔ)部12讀取LRF信息41，針對(duì)在LRF信息41中與檢測(cè)對(duì)象點(diǎn)建立了對(duì)應(yīng)關(guān)系的學(xué)習(xí)對(duì)象區(qū)域圖像提取方法，從所獲取的圖像中，提取檢測(cè)對(duì)象區(qū)域圖像，該檢測(cè)對(duì)象區(qū)域圖像為包含檢測(cè)對(duì)象點(diǎn)的區(qū)域的圖像。
[0115]另外，區(qū)域截取部22基于在LRF信息41中與檢測(cè)對(duì)象點(diǎn)建立了對(duì)應(yīng)關(guān)系的標(biāo)準(zhǔn)化方法，將所提取的檢測(cè)對(duì)象區(qū)域圖像標(biāo)準(zhǔn)化，生成標(biāo)準(zhǔn)化圖像。區(qū)域截取部22向基準(zhǔn)點(diǎn)確定部23及采樣位置確定部25輸出所生成的標(biāo)準(zhǔn)化圖像。
[0116]基準(zhǔn)點(diǎn)確定部23從存儲(chǔ)部12讀取LRF信息41，從區(qū)域截取部22獲取標(biāo)準(zhǔn)化圖像?；鶞?zhǔn)點(diǎn)確定部23基于在LRF信息41中與檢測(cè)對(duì)象點(diǎn)建立了對(duì)應(yīng)關(guān)系的基準(zhǔn)點(diǎn)確定方法，將所獲取的標(biāo)準(zhǔn)化圖像上的規(guī)定的點(diǎn)確定為基準(zhǔn)點(diǎn)?；鶞?zhǔn)點(diǎn)確定部23向部位點(diǎn)確定部30輸出基準(zhǔn)坐標(biāo)，該基準(zhǔn)坐標(biāo)是所確定的基準(zhǔn)點(diǎn)在標(biāo)準(zhǔn)化圖像上的坐標(biāo)。
[0117]采樣位置確定部25從存儲(chǔ)部12讀取LRF信息41，從區(qū)域截取部22獲取標(biāo)準(zhǔn)化圖像，基于在LRF信息41中與檢測(cè)對(duì)象點(diǎn)建立了對(duì)應(yīng)關(guān)系的采樣位置確定方法，在標(biāo)準(zhǔn)化圖像上的規(guī)定的范圍內(nèi)，確定與基準(zhǔn)點(diǎn)(部位點(diǎn))對(duì)應(yīng)的多個(gè)采樣點(diǎn)。
[0118]特征量提取部26從存儲(chǔ)部12讀取LRF信息41，基于在LRF信息41中與檢測(cè)對(duì)象點(diǎn)建立了對(duì)應(yīng)關(guān)系的特征量提取方法，針對(duì)與基準(zhǔn)點(diǎn)對(duì)應(yīng)的每個(gè)采樣點(diǎn)，從采樣點(diǎn)的像素或包括采樣點(diǎn)的像素的像素組中提取特征量。然后，特征量提取部26生成由分別與各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的特征量組。
[0119]位置信息確定部29從存儲(chǔ)部12讀取LRF信息41，基于在LRF信息41中與檢測(cè)對(duì)象點(diǎn)建立了對(duì)應(yīng)關(guān)系的LRF函數(shù)，確定與特征量提取部26生成的特征量組對(duì)應(yīng)的位置信息。位置信息確定部29向部位點(diǎn)確定部30輸出所確定的位置信息。
[0120]具體來(lái)說(shuō)，如圖8所示，位置信息確定部29將特征量提取部26生成的特征量組作為輸入值賦給LRF函數(shù)，將其輸出結(jié)果作為位置信息。
[0121 ] 部位點(diǎn)確定部30從基準(zhǔn)點(diǎn)確定部23獲取基準(zhǔn)坐標(biāo)，從位置信息確定部29獲取位置信息。部位點(diǎn)確定部30，在標(biāo)準(zhǔn)化圖像中，將以基準(zhǔn)坐標(biāo)所示的點(diǎn)作為原點(diǎn)的位置信息所表示的位置確定為檢測(cè)對(duì)象點(diǎn)。
[0122](LRF學(xué)習(xí)方法)
[0123]接著，基于圖9及圖10，針對(duì)LRF學(xué)習(xí)裝置2執(zhí)行的LRF學(xué)習(xí)方法進(jìn)行說(shuō)明。圖9是表示LRF學(xué)習(xí)裝置2執(zhí)行的LRF學(xué)習(xí)方法的一個(gè)例子的圖。圖10是利用圖像來(lái)示意性地示出LRF學(xué)習(xí)方法所包含的各處理的狀態(tài)的遷移圖。
[0124]在圖9及圖10示出的例子中，生成與人類的臉部的雙眼及嘴的輪廓點(diǎn)對(duì)應(yīng)的LRF函數(shù)。具體來(lái)說(shuō)，將右眼及左眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)、嘴的右嘴角點(diǎn)及左嘴角點(diǎn)、上唇及下唇的上中點(diǎn)及下中點(diǎn)，作為學(xué)習(xí)對(duì)象點(diǎn)。此外，上唇(下唇)的上中點(diǎn)是指，上唇(下唇)的中央的上側(cè)的輪廓點(diǎn)；上唇(下唇)的下中點(diǎn)是指，上唇(下唇)的中央的下側(cè)的輪廓點(diǎn)。
[0125]另外，在圖9及圖10示出的例子中，將右眼、左眼及嘴的中央點(diǎn)分別作為右眼、左眼及嘴的基準(zhǔn)點(diǎn)。另外，采樣范圍設(shè)定為分別覆蓋右眼、左眼及嘴的范圍。具體來(lái)說(shuō)，將以右眼、左眼及嘴的中央點(diǎn)(基準(zhǔn)點(diǎn))為中心的規(guī)定范圍作為采樣范圍。
[0126]如圖9所示，首先，圖像獲取部21獲取經(jīng)由圖像輸入部13輸入的圖像(SI)。此時(shí)的狀態(tài)如圖10的狀態(tài)I所示。
[0127]接著，區(qū)域截取部22從圖像獲取部21獲取的圖像中，基于學(xué)習(xí)對(duì)象區(qū)域圖像提取方法“G001”(例如，現(xiàn)有的臉部檢測(cè)方法或臉部器官點(diǎn)檢測(cè)方法)，檢測(cè)臉部圖像(S2)。此時(shí)的狀態(tài)如圖10的狀態(tài)2所示。在狀態(tài)2下，所檢測(cè)的臉部圖像由帶四角的線圈出，用白點(diǎn)表示檢測(cè)出的臉部器官點(diǎn)。
[0128]區(qū)域截取部22基于標(biāo)準(zhǔn)化方法“H001”，截取檢測(cè)出的臉部圖像，將截取的臉部圖像標(biāo)準(zhǔn)化，生成標(biāo)準(zhǔn)化圖像(S3)。此時(shí)的狀態(tài)如圖10的狀態(tài)3所示。
[0129]接著，基準(zhǔn)點(diǎn)確定部23分別基于基準(zhǔn)點(diǎn)確定方法“1001”、“1002”、“1003”，確定標(biāo)準(zhǔn)化圖像上的右眼、左眼及嘴的基準(zhǔn)點(diǎn)(S4)。此時(shí)的狀態(tài)如圖10的狀態(tài)4所示。如上所述，在狀態(tài)4下，在左右的眼的中心及嘴的中心設(shè)定有各自的基準(zhǔn)點(diǎn)。
[0130]接著，部位點(diǎn)確定部24，在標(biāo)準(zhǔn)化圖像上確定右眼及左眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)、嘴的右嘴角點(diǎn)及左嘴角點(diǎn)、上唇及下唇的上中點(diǎn)及下中點(diǎn)，來(lái)作為學(xué)習(xí)對(duì)象點(diǎn)(S5)。此時(shí)的狀態(tài)如圖10的狀態(tài)5所示。
[0131]接著，采樣位置確定部25分別基于采樣位置確定方法“幾01”、“川02”、“川03”，在標(biāo)準(zhǔn)化圖像上的各采樣范圍內(nèi)分別確定多個(gè)采樣點(diǎn)(S6)。然后，特征量提取部26分別基于特征量提取方法“K001”、“K002”、“K003”，從左右的眼及嘴的各采樣點(diǎn)的像素或像素組中分別提取特征量組(S7)。此時(shí)的狀態(tài)如圖10的狀態(tài)6所示。如上所述，在狀態(tài)6下，以分別覆蓋左右的眼及嘴的方式，在以各器官的中心點(diǎn)為中心的規(guī)定的位置設(shè)定有采樣點(diǎn)。即，在此，生成如下三組特征量組:右眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)所對(duì)應(yīng)的特征量組；左眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)所對(duì)應(yīng)的特征量組；嘴的右嘴角點(diǎn)及左嘴角點(diǎn)、上唇及下唇的上中點(diǎn)及下中點(diǎn)所對(duì)應(yīng)的特征量組。換言之，針對(duì)右眼、左眼及嘴的各基準(zhǔn)點(diǎn)(中心點(diǎn))分別生成三組特征量組。
[0132]接著，位置信息生成部27分別基于位置信息生成方法“L001”、“L002”、“L003”，針對(duì)每個(gè)學(xué)習(xí)對(duì)象點(diǎn)，生成表示以基準(zhǔn)點(diǎn)為原點(diǎn)的學(xué)習(xí)對(duì)象點(diǎn)的位置的位置信息(S8)。此時(shí)的狀態(tài)如圖10的狀態(tài)7所示。
[0133]對(duì)多個(gè)圖像進(jìn)行以上的處理，針對(duì)每個(gè)圖像，生成各學(xué)習(xí)對(duì)象點(diǎn)的特征量組及位
置信息。
[0134]LRF函數(shù)計(jì)算部28利用回歸分析，根據(jù)多組位置信息及特征量組，分別生成與各學(xué)習(xí)對(duì)象點(diǎn)對(duì)應(yīng)的LRF函數(shù)(S9)。然后，LRF函數(shù)計(jì)算部28分別將所使用的各方法(學(xué)習(xí)對(duì)象區(qū)域圖像提取方法、標(biāo)準(zhǔn)化方法、基準(zhǔn)點(diǎn)確定方法、采樣位置確定方法、特征量提取方法及位置信息生成方法)與所生成的與各學(xué)習(xí)對(duì)象點(diǎn)對(duì)應(yīng)的LRF函數(shù)建立對(duì)應(yīng)關(guān)系，生成LRF信息41，并將其保存在存儲(chǔ)部12內(nèi)。
[0135](部位點(diǎn)檢測(cè)方法)
[0136]接著，基于圖11及圖12，針對(duì)部位點(diǎn)檢測(cè)裝置I所執(zhí)行的部位點(diǎn)檢測(cè)方法進(jìn)行說(shuō)明。圖11是表示部位點(diǎn)檢測(cè)裝置I執(zhí)行的部位點(diǎn)檢測(cè)方法的一個(gè)例子的圖。圖12是利用圖像示意性地表示部位點(diǎn)檢測(cè)方法所包含的各處理的狀態(tài)的遷移圖。
[0137]在圖11及圖12示出的例子中，在部位點(diǎn)檢測(cè)裝置I的存儲(chǔ)部12內(nèi)保存有圖7示出的LRF信息41。另外，在此，該LRF信息41用于檢測(cè)人類的臉部的右眼及左眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)、嘴的右嘴角點(diǎn)及左嘴角點(diǎn)、上唇及下唇的上中點(diǎn)及下中點(diǎn)。
[0138]如圖11所示，首先，圖像獲取部21獲取經(jīng)由圖像輸入部13輸入的圖像(S11)。此時(shí)的狀態(tài)如圖12的狀態(tài)11所示。
[0139]接著，區(qū)域截取部22從存儲(chǔ)部12中讀取LRF信息41。在此，在LRF信息41中，各檢測(cè)對(duì)象點(diǎn)全部與相同的學(xué)習(xí)對(duì)象區(qū)域圖像提取方法“G001”及標(biāo)準(zhǔn)化方法“H001”建立了對(duì)應(yīng)關(guān)系。因此，區(qū)域截取部22基于學(xué)習(xí)對(duì)象區(qū)域圖像提取方法“G001”，從圖像獲取部21獲取的圖像中，截取圖像(S12)。此時(shí)的狀態(tài)如圖12的狀態(tài)12所示。在狀態(tài)12下，檢測(cè)臉部圖像及臉部器官點(diǎn)，檢測(cè)出的臉部圖像由具有四角的線圈出，利用白點(diǎn)表示檢測(cè)出的臉部器官點(diǎn)。
[0140]區(qū)域截取部22截取檢測(cè)出的臉部圖像，基于標(biāo)準(zhǔn)化方法“H001”，將截取的臉部圖像標(biāo)準(zhǔn)化，生成標(biāo)準(zhǔn)化圖像(S13)。此時(shí)的狀態(tài)如圖12的狀態(tài)13所示。
[0141]接著，基準(zhǔn)點(diǎn)確定部23從存儲(chǔ)部12中讀取LRF信息41。在此，在LRF信息41中，以右眼、左眼、嘴為單位，分別與相同的基準(zhǔn)點(diǎn)確定方法“1001”、“1002”、“1003”建立了對(duì)應(yīng)關(guān)系。因此，基準(zhǔn)點(diǎn)確定部23，在標(biāo)準(zhǔn)化圖像上，基于基準(zhǔn)點(diǎn)確定方法“1001”來(lái)確定右眼的檢測(cè)對(duì)象點(diǎn)的基準(zhǔn)點(diǎn)，基于基準(zhǔn)點(diǎn)確定方法“1002”來(lái)確定左眼的檢測(cè)對(duì)象點(diǎn)的基準(zhǔn)點(diǎn)，基于基準(zhǔn)點(diǎn)確定方法“1003”來(lái)確定嘴的檢測(cè)對(duì)象點(diǎn)的基準(zhǔn)點(diǎn)(S14)。此時(shí)的狀態(tài)如圖12的狀態(tài)14所示。如圖所示，在狀態(tài)14下，將右眼、左眼、嘴的各自的中心點(diǎn)確定為基準(zhǔn)點(diǎn)。
[0142]接著，采樣位置確定部25從存儲(chǔ)部12讀取LRF信息41。在此，在LRF信息41中，以右眼、左眼、嘴為單位，分別與相同的采樣位置確定方法“幾01”、“川02”、“川03”建立了對(duì)應(yīng)關(guān)系。因此，采樣位置確定部25，在標(biāo)準(zhǔn)化圖像上，基于采樣位置確定方法“J001”來(lái)確定右眼的檢測(cè)對(duì)象點(diǎn)的采樣點(diǎn)，基于采樣位置確定方法“J002”來(lái)確定左眼的檢測(cè)對(duì)象點(diǎn)的采樣點(diǎn)，基于采樣位置確定方法“J003”來(lái)確定嘴的檢測(cè)對(duì)象點(diǎn)的采樣點(diǎn)(S15)。
[0143]此時(shí)的狀態(tài)如圖12的狀態(tài)15所示。如圖所示，在狀態(tài)15下，以分別覆蓋左右的眼及嘴的方式，在以各器官的基準(zhǔn)點(diǎn)為中心的規(guī)定的范圍內(nèi)設(shè)定有采樣點(diǎn)。
[0144]特征量提取部26從存儲(chǔ)部12中讀取LRF信息41。在此，在LRF信息41中，以右目艮、左眼、嘴為單位，分別與相同的特征量提取方法“K001”、“K002”、“K003”建立了對(duì)應(yīng)關(guān)系。因此，特征量提取部26從右眼的檢測(cè)對(duì)象點(diǎn)的采樣點(diǎn)的像素或像素組中，基于特征量提取方法“Κ001”來(lái)提取右眼的檢測(cè)對(duì)象點(diǎn)的特征量組，從左眼的檢測(cè)對(duì)象點(diǎn)的采樣點(diǎn)的像素或像素組中，基于特征量提取方法“K002”來(lái)提取左眼的檢測(cè)對(duì)象點(diǎn)的特征量組，從嘴的檢測(cè)對(duì)象點(diǎn)的采樣點(diǎn)的像素或像素組中，基于特征量提取方法“K003”來(lái)提取嘴的檢測(cè)對(duì)象點(diǎn)的特征量組(S16 )。
[0145]S卩，在此，生成如下的三組特征量組:右眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)所對(duì)應(yīng)的特征量組；左眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)所對(duì)應(yīng)的特征量組；嘴的右嘴角點(diǎn)及左嘴角點(diǎn)、以及、上唇及下唇的上中點(diǎn)及下中點(diǎn)所對(duì)應(yīng)的特征量組。換言之，分別針對(duì)右眼、左眼及嘴的各基準(zhǔn)點(diǎn)(中心點(diǎn))，生成三組特征量組。
[0146]接著，位置信息確定部29從存儲(chǔ)部12中讀取LRF信息41。然后，位置信息確定部29分別向與右眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)建立了對(duì)應(yīng)關(guān)系的LRF函數(shù)，輸入這些檢測(cè)對(duì)象點(diǎn)所對(duì)應(yīng)的特征量組，分別確定右眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)的位置信息。另外，位置信息確定部29分別向與左眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)建立了對(duì)應(yīng)關(guān)系的LRF函數(shù)，輸入這些檢測(cè)對(duì)象點(diǎn)所對(duì)應(yīng)的特征量組，分別確定左眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)的位置信息。另外，位置信息確定部29分別向嘴的右嘴角點(diǎn)及左嘴角點(diǎn)、上唇及下唇的上中點(diǎn)及下中點(diǎn)建立了對(duì)應(yīng)關(guān)系的LRF函數(shù),輸入這些檢測(cè)對(duì)象點(diǎn)所對(duì)應(yīng)的特征量組,分別確定嘴的右嘴角點(diǎn)及左嘴角點(diǎn)、上唇及下唇的上中點(diǎn)及下中點(diǎn)的位置信息(S17)。
[0147]最后，部位點(diǎn)確定部30從存儲(chǔ)部12中讀取LRF信息41。在此，在LRF信息41中，以右眼、左眼、嘴為單位，分別與相同的位置信息生成方法“L001”、“L002”、“L003”建立了對(duì)應(yīng)關(guān)系。因此，部位點(diǎn)確定部30基于位置信息生成方法“L001”，從右眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)的位置信息中，分別確定這些檢測(cè)對(duì)象點(diǎn)在標(biāo)準(zhǔn)化圖像上的坐標(biāo)，基于位置信息生成方法“L002”，從左眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)的位置信息中，分別確定這些檢測(cè)對(duì)象點(diǎn)在標(biāo)準(zhǔn)化圖像上的坐標(biāo)，基于位置信息生成方法“L003”，從嘴的右嘴角點(diǎn)及左嘴角點(diǎn)、上唇及下唇的上中點(diǎn)及下中點(diǎn)的位置信息中，分別確定這些檢測(cè)對(duì)象點(diǎn)在標(biāo)準(zhǔn)化圖像上的坐標(biāo)(S18)。
[0148]例如，針對(duì)右眼的外眼角點(diǎn)，將右眼的基準(zhǔn)點(diǎn)(中心點(diǎn))的X坐標(biāo)值、Y坐標(biāo)值分別加上外眼角點(diǎn)的位置信息示出的X坐標(biāo)值、Y坐標(biāo)值的差分值。作為通過(guò)相加而求出的值的X坐標(biāo)值、Y坐標(biāo)值，是外眼角點(diǎn)在標(biāo)準(zhǔn)化圖像上的坐標(biāo)值。對(duì)右眼的其它的部位點(diǎn)、左眼的各部位點(diǎn)及嘴的各部位點(diǎn)進(jìn)行同樣的處理，確定標(biāo)準(zhǔn)化圖像上的右眼、左眼及嘴的各部位點(diǎn)的坐標(biāo)。
[0149]此時(shí)的狀態(tài)如圖12的狀態(tài)16所示。如圖所示，在狀態(tài)16下，確定右眼及左眼的外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼點(diǎn)、下眼瞼點(diǎn)及瞳孔點(diǎn)、嘴的右嘴角點(diǎn)及左嘴角點(diǎn)、上唇及下唇的上中點(diǎn)及下中點(diǎn)在標(biāo)準(zhǔn)化圖像上的位置(坐標(biāo))。
[0150]然后，根據(jù)標(biāo)準(zhǔn)化圖像上的各部位點(diǎn)的坐標(biāo)值，利用例如仿射變換等來(lái)計(jì)算原圖像上的各部位點(diǎn)的坐標(biāo)值，確定原圖像上的各部位點(diǎn)的坐標(biāo)。
[0151](用于解決問(wèn)題的手段)
[0152]本發(fā)明的圖像處理裝置從圖像中檢測(cè)物體的部位點(diǎn)，其特征在于，具有:基準(zhǔn)點(diǎn)確定單元，其在上述圖像上確定與上述部位點(diǎn)對(duì)應(yīng)的基準(zhǔn)點(diǎn)；特征量提取單元，其針對(duì)與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組；位置信息確定單元，其參照對(duì)應(yīng)關(guān)系信息，確定與上述特征量提取單元所提取的特征量組對(duì)應(yīng)的位置信息，該對(duì)應(yīng)關(guān)系信息表示:從上述多個(gè)采樣點(diǎn)的各像素或各像素組中提取出的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組，與位置信息之間的對(duì)應(yīng)關(guān)系，該位置信息表示上述部位點(diǎn)相對(duì)于上述基準(zhǔn)點(diǎn)的相對(duì)位置；檢測(cè)側(cè)部位點(diǎn)確定單元，其將由上述位置信息確定單元確定的位置信息所表示的位置，作為上述物體的部位點(diǎn)。
[0153]本發(fā)明的圖像處理方法是從圖像中檢測(cè)物體的部位點(diǎn)的圖像處理方法，其特征在于，包括:基準(zhǔn)點(diǎn)確定步驟，在上述圖像上確定與上述部位點(diǎn)對(duì)應(yīng)的基準(zhǔn)點(diǎn)；特征量提取步驟，針對(duì)與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組；位置信息確定步驟，參照對(duì)應(yīng)關(guān)系信息，確定與在上述特征量提取步驟中提取的特征量組對(duì)應(yīng)的位置信息，該對(duì)應(yīng)關(guān)系信息表示:從上述多個(gè)采樣點(diǎn)的各像素或各像素組中提取出的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組，與位置信息之間的對(duì)應(yīng)關(guān)系，該位置信息表示上述部位點(diǎn)相對(duì)于上述基準(zhǔn)點(diǎn)的相對(duì)位置；部位點(diǎn)確定步驟，將在上述位置信息確定步驟中確定的位置信息所表示的位置，作為上述物體的部位點(diǎn)。
[0154]根據(jù)上述的結(jié)構(gòu)，上述位置信息確定單元參照表示特征量組與位置信息之間的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息，確定與上述特征量提取單元所提取的特征量組對(duì)應(yīng)的位置信息，該特征量組是指，從上述多個(gè)采樣點(diǎn)的各像素或各像素組中提取出的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組，該特征位置信息是指，表示上述部位點(diǎn)相對(duì)于上述基準(zhǔn)點(diǎn)的相對(duì)位置的位置信息，檢測(cè)側(cè)部位點(diǎn)確定單元將由上述位置信息確定單元確定的位置信息所表示的位置作為上述物體的部位點(diǎn)。
[0155]本發(fā)明的發(fā)明人們發(fā)現(xiàn):在圖像上，例如在從包括眼、嘴等的器官的區(qū)域中提取的特征量組與圖像上的器官的輪廓點(diǎn)、特征點(diǎn)相對(duì)于基準(zhǔn)點(diǎn)的相對(duì)位置之間，存在關(guān)聯(lián)關(guān)系?；谠撘娊?，通過(guò)參照表示上述特征量組與上述位置信息之間的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息，即使是形狀變化的物體，也能夠高精度地檢測(cè)圖像上的物體的部位點(diǎn)。即，即使在物體的形狀變化的情況下，上述圖像處理裝置及上述圖像處理方法也達(dá)到能夠高精度地檢測(cè)物體的部位點(diǎn)的效果。
[0156]另外，優(yōu)選地，本發(fā)明的圖像處理裝置還具有采樣位置確定單元，該采樣位置確定單元，在上述圖像上，在包括認(rèn)為是上述部位點(diǎn)所在的區(qū)域的范圍內(nèi)，確定上述采樣點(diǎn)的位置。
[0157]另外，本發(fā)明的信息生成裝置生成用于上述圖像處理裝置所參照的上述對(duì)應(yīng)關(guān)系信息，其特征在于，具有:圖像獲取單元，其獲取拍攝有物體的部位點(diǎn)的圖像；基準(zhǔn)點(diǎn)確定單元，其在上述圖像上確定與上述部位點(diǎn)對(duì)應(yīng)的上述基準(zhǔn)點(diǎn)；特征量提取單元，其針對(duì)與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組；位置信息生成單元，其生成表示上述部位點(diǎn)相對(duì)于由上述基準(zhǔn)點(diǎn)確定單元確定的基準(zhǔn)點(diǎn)的相對(duì)位置的上述位置信息；對(duì)應(yīng)關(guān)系信息生成單元，其生成表示上述特征量提取單元所提取的特征量組與上述位置信息生成單元所生成的位置信息之間的對(duì)應(yīng)關(guān)系的上述對(duì)應(yīng)關(guān)系信息。
[0158]另外，本發(fā)明的信息生成方法生成用于在上述圖像處理方法中所參照的上述對(duì)應(yīng)關(guān)系信息，其特征在于，包括:圖像獲取步驟，獲取拍攝有物體的部位點(diǎn)的圖像；基準(zhǔn)點(diǎn)確定步驟，在上述圖像上確定與上述部位點(diǎn)對(duì)應(yīng)的上述基準(zhǔn)點(diǎn)；特征量提取步驟，針對(duì)與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組；位置信息生成步驟，生成表示上述部位點(diǎn)相對(duì)于在上述基準(zhǔn)點(diǎn)確定步驟中確定的基準(zhǔn)點(diǎn)的相對(duì)位置的上述位置信息；對(duì)應(yīng)關(guān)系信息生成步驟，生成表示在上述特征量提取步驟中提取的特征量組與在上述位置信息生成步驟中生成的位置信息之間的對(duì)應(yīng)關(guān)系的上述對(duì)應(yīng)關(guān)系信息。
[0159]根據(jù)上述的結(jié)構(gòu)，上述圖像獲取單元獲取拍攝有上述物體的部位點(diǎn)的圖像，上述基準(zhǔn)點(diǎn)確定單元在上述圖像上確定與上述部位點(diǎn)對(duì)應(yīng)的基準(zhǔn)點(diǎn)，上述特征量提取單元針對(duì)與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組，上述位置信息生成單元生成表示上述部位點(diǎn)相對(duì)于由上述基準(zhǔn)點(diǎn)確定單元確定的基準(zhǔn)點(diǎn)的相對(duì)位置的位置信息，上述對(duì)應(yīng)關(guān)系信息生成單元生成表示由上述特征量提取單元提取的特征量組與由上述位置信息生成單元生成的位置信息之間的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)關(guān)系信息。
[0160]因此，能夠達(dá)到生成用于上述圖像處理裝置參照的對(duì)應(yīng)關(guān)系信息的效果。如上所述，由于在上述特征量組與上述位置信息之間具有對(duì)應(yīng)關(guān)系，所以通過(guò)使用所生成的對(duì)應(yīng)關(guān)系信息，能夠高精度地檢測(cè)物體的部位點(diǎn)。
[0161]另外，優(yōu)選地，在本發(fā)明的信息生成裝置中，上述對(duì)應(yīng)關(guān)系信息生成單元利用回歸分析生成上述對(duì)應(yīng)關(guān)系信息。
[0162]另外，優(yōu)選地，本發(fā)明的信息生成裝置還具有:輸入單元，其接收來(lái)自用戶的操作指示；學(xué)習(xí)側(cè)部位點(diǎn)確定單元，其基于向上述輸入單元輸入的操作指示，確定上述圖像上的上述物體的部位點(diǎn)。
[0163]另外，優(yōu)選地，在本發(fā)明的信息生成裝置中，上述圖像獲取單元一并獲取上述圖像以及與該圖像建立了對(duì)應(yīng)關(guān)系的表示上述部位點(diǎn)的位置的部位點(diǎn)位置信息，本發(fā)明的信息生成裝置還具有學(xué)習(xí)側(cè)部位點(diǎn)確定單元，該學(xué)習(xí)側(cè)部位點(diǎn)確定單元基于上述部位點(diǎn)位置信息所表示的位置，確定上述圖像上的上述物體的部位點(diǎn)。
[0164]此外，上述圖像處理裝置及上述信息生成裝置可以通過(guò)計(jì)算機(jī)來(lái)實(shí)現(xiàn)，在該情況下，使計(jì)算機(jī)作為上述圖像處理裝置及上述信息生成裝置的各單元進(jìn)行動(dòng)作，由此，使上述圖像處理裝置及上述信息生成裝置通過(guò)計(jì)算機(jī)來(lái)實(shí)現(xiàn)的控制程序、記錄有該程序的能夠由計(jì)算機(jī)讀取的記錄介質(zhì)也屬于本發(fā)明的范疇。
[0165](補(bǔ)充)
[0166]本發(fā)明不限于上述的實(shí)施方式，能夠在權(quán)利要求書示出的范圍內(nèi)進(jìn)行各種各樣的變更。即，在權(quán)利要求書示出的范圍內(nèi)通過(guò)組合適當(dāng)變更的技術(shù)的單元而得到的實(shí)施方式包含在本發(fā)明的技術(shù)的范圍內(nèi)。
[0167]最后，部位點(diǎn)檢測(cè)裝置I及LRF學(xué)習(xí)裝置2的各區(qū)塊、特別是控制部11及控制部16可以由硬件邏輯構(gòu)成，還可以以下述的方式利用CPU，通過(guò)軟件實(shí)現(xiàn)。
[0168]S卩，部位點(diǎn)檢測(cè)裝置I及LRF學(xué)習(xí)裝置2具有執(zhí)行實(shí)現(xiàn)各功能的控制程序的命令的CPU (central processing unit:中央處理器)、保存了上述程序的ROM (read onlymemory:只讀存儲(chǔ)器)、展開上述程序的RAM (random access memory:隨機(jī)存取存儲(chǔ)器)、保存上述程序及各種數(shù)據(jù)的存儲(chǔ)器等的存儲(chǔ)裝置(記錄介質(zhì))等。并且，向部位點(diǎn)檢測(cè)裝置I及LRF學(xué)習(xí)裝置2供給能夠由計(jì)算機(jī)讀取的記錄介質(zhì)，該記錄介質(zhì)記錄有作為實(shí)現(xiàn)上述的功能的軟件的部位點(diǎn)檢測(cè)裝置I及LRF學(xué)習(xí)裝置2的控制程序的程序編碼(執(zhí)行形式程序、中間編碼程序、源程序)，通過(guò)該計(jì)算機(jī)(或者，CPU、MPU (微處理器))讀取并執(zhí)行記錄在記錄介質(zhì)內(nèi)的程序編碼,也能夠達(dá)到本發(fā)明的目的。
[0169]作為上述記錄介質(zhì)，能夠使用如下的設(shè)備:例如，磁帶、盒式磁帶等的磁帶類，包括軟盤(Floppy disk:注冊(cè)商標(biāo))/硬盤等的磁盤、CD-ROM (只讀光盤)/MO (光磁盤)/MD (迷你光盤)/DVD (數(shù)字多功能光盤)/CD-R (數(shù)據(jù)寫入光盤)等的光盤的磁盤類，IC卡(包括存儲(chǔ)卡)/光卡等的卡類或掩膜R0M/EPR0M (電可擦可編程只讀存儲(chǔ)器)/EEPROM (電可擦可編程只讀存儲(chǔ)器)/快閃ROM等的半導(dǎo)體存儲(chǔ)器類。
[0170]另外，可以將部位點(diǎn)檢測(cè)裝置I及LRF學(xué)習(xí)裝置2構(gòu)成為能夠與通信網(wǎng)絡(luò)連接，經(jīng)由通信網(wǎng)絡(luò)供給上述程序編碼。作為該通信網(wǎng)絡(luò)，沒(méi)有特別的限定，例如，能夠利用互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng)、外聯(lián)網(wǎng)、LAN、ISDN (綜合業(yè)務(wù)數(shù)字網(wǎng))、VAN (增值網(wǎng)絡(luò))、CATV通信網(wǎng)絡(luò)、虛擬專用網(wǎng)絡(luò)(virtual private network)、電話線網(wǎng)絡(luò)、移動(dòng)通信網(wǎng)絡(luò)、衛(wèi)星通信網(wǎng)絡(luò)等。另外,作為構(gòu)成通信網(wǎng)絡(luò)的傳送介質(zhì)，沒(méi)有特別的限定，例如，能夠利用IEEE1394、USB、電力線傳輸、電纜TV線路、電話線、ADSL線路(非對(duì)稱數(shù)字用戶環(huán)路)等的有線網(wǎng)絡(luò)，還能夠利用IrDA (紅外數(shù)據(jù)組織)、遙控之類的紅外線、Bluetooth (注冊(cè)商標(biāo))、802.11無(wú)線網(wǎng)絡(luò)、HDR、手機(jī)網(wǎng)絡(luò)、衛(wèi)星線路、地面數(shù)字網(wǎng)等的無(wú)線網(wǎng)絡(luò)。此外，本發(fā)明還可以通過(guò)利用電子傳送將上述程序編碼具體化成嵌入在載波中的計(jì)算機(jī)數(shù)據(jù)信號(hào)的方式來(lái)實(shí)現(xiàn)。
[0171]產(chǎn)業(yè)上的可利用性
[0172]本發(fā)明能夠用于檢測(cè)圖像上的物體的規(guī)定的部位點(diǎn)的圖像處理裝置。更優(yōu)選地，能夠用于從圖像中檢測(cè)形狀多樣變化的物體的規(guī)定的部位點(diǎn)的圖像處理裝置。
[0173]附圖標(biāo)記說(shuō)明
[0174]I部位點(diǎn)檢測(cè)裝置(圖像處理裝置)，
[0175]2 LRF學(xué)習(xí)裝置(信息生成裝置)，
[0176]14操作部(輸入單元)，
[0177]21圖像獲取部(圖像獲取單元)，
[0178]23基準(zhǔn)點(diǎn)確定部(基準(zhǔn)點(diǎn)確定單元)，
[0179]24部位點(diǎn)確定部(學(xué)習(xí)側(cè)部位點(diǎn)確定單元)，
[0180]25采樣位置確定部(采樣位置確定單元)，
[0181]26特征量提取部(特征量提取單元)，
[0182]27位置信息生成部(位置信息生成單元)，
[0183]28 LRF函數(shù)計(jì)算部(對(duì)應(yīng)關(guān)系信息生成單元)，
[0184]29位置信息確定部(位置信息確定單元)，
[0185]30部位點(diǎn)確定部(檢測(cè)側(cè)部位點(diǎn)確定單元)。
【權(quán)利要求】
1.一種圖像處理裝置，從圖像中檢測(cè)物體的部位點(diǎn)，其特征在于， 具有: 基準(zhǔn)點(diǎn)確定單元，其在上述圖像上確定與上述部位點(diǎn)對(duì)應(yīng)的基準(zhǔn)點(diǎn)， 特征量提取單元，其針對(duì)與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組， 位置信息確定單元，其參照對(duì)應(yīng)關(guān)系信息，確定與上述特征量提取單元所提取的特征量組對(duì)應(yīng)的位置信息，該對(duì)應(yīng)關(guān)系信息表示:從上述多個(gè)采樣點(diǎn)的各像素或各像素組中提取出的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組，與位置信息之間的對(duì)應(yīng)關(guān)系，該位置信息表示上述部位點(diǎn)相對(duì)于上述基準(zhǔn)點(diǎn)的相對(duì)位置， 檢測(cè)側(cè)部位點(diǎn)確定單元，其將由上述位置信息確定單元確定的位置信息所表示的位置，作為上述物體的部位點(diǎn)。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在于， 還具有采樣位置確定單元，該采樣位置確定單元，在上述圖像上，在包括認(rèn)為是上述部位點(diǎn)所在的區(qū)域在內(nèi)的范圍內(nèi)，確定上述采樣點(diǎn)的位置。
3.一種信息生成裝置，生成用于如權(quán)利要求1或2所述的圖像處理裝置所參照的上述對(duì)應(yīng)關(guān)系信息，其特征在于，具有: 圖像獲取單元，其獲取拍攝有物體的部位點(diǎn)的圖像， 基準(zhǔn)點(diǎn)確定單元，其在上述圖像上確定與上述部位點(diǎn)對(duì)應(yīng)的上述基準(zhǔn)點(diǎn)， 特征量提取單元，其針對(duì)與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組， 位置信息生成單元，其生成表示上述部位點(diǎn)相對(duì)于由上述基準(zhǔn)點(diǎn)確定單元確定的基準(zhǔn)點(diǎn)的相對(duì)位置的上述位置信息， 對(duì)應(yīng)關(guān)系信息生成單元，其生成表示上述特征量提取單元所提取的特征量組與上述位置信息生成單元所生成的位置信息之間的對(duì)應(yīng)關(guān)系的上述對(duì)應(yīng)關(guān)系信息。
4.如權(quán)利要求3所述的信息生成裝置，其特征在于， 上述對(duì)應(yīng)關(guān)系信息生成單元利用回歸分析生成上述對(duì)應(yīng)關(guān)系信息。
5.如權(quán)利要求3或者4所述的信息生成裝置，其特征在于， 還具有:輸入單元，其接收來(lái)自用戶的操作指示， 學(xué)習(xí)側(cè)部位點(diǎn)確定單元，其基于向上述輸入單元輸入的操作指示，確定上述圖像上的上述物體的部位點(diǎn)。
6.如權(quán)利要求3或者4所述的信息生成裝置，其特征在于， 上述圖像獲取單元一并獲取上述圖像以及與該圖像建立了對(duì)應(yīng)關(guān)系的表示上述部位點(diǎn)的位置的部位點(diǎn)位置信息， 還具有學(xué)習(xí)側(cè)部位點(diǎn)確定單元，該學(xué)習(xí)側(cè)部位點(diǎn)確定單元基于上述部位點(diǎn)位置信息所表示的位置，確定上述圖像上的上述物體的部位點(diǎn)。
7.一種圖像 處理方法，從圖像中檢測(cè)物體的部位點(diǎn)，其特征在于， 包括:基準(zhǔn)點(diǎn)確定步驟，在上述圖像上確定與上述部位點(diǎn)對(duì)應(yīng)的基準(zhǔn)點(diǎn)， 特征量提取步驟，針對(duì)與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組， 位置信息確定步驟，參照對(duì)應(yīng)關(guān)系信息，確定與在上述特征量提取步驟中提取的特征量組對(duì)應(yīng)的位置信息，該對(duì)應(yīng)關(guān)系信息表示:從上述多個(gè)采樣點(diǎn)的各像素或各像素組中提取出的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組，與位置信息之間的對(duì)應(yīng)關(guān)系，該位置信息表示上述部位點(diǎn)相對(duì)于上述基準(zhǔn)點(diǎn)的相對(duì)位置， 部位點(diǎn)確定步驟，將在上述位置信息確定步驟中確定的位置信息所表示的位置，作為上述物體的部位點(diǎn)。
8.一種信息生成方法，生成用于在如權(quán)利要求7所述的圖像處理方法中參照的上述對(duì)應(yīng)關(guān)系信息，其特征在于，包括: 圖像獲取步驟，獲取拍攝有物體的部位點(diǎn)的圖像， 基準(zhǔn)點(diǎn)確定步驟，在上述圖像上確定與上述部位點(diǎn)對(duì)應(yīng)的上述基準(zhǔn)點(diǎn)， 特征量提取步驟，針對(duì)與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的多個(gè)采樣點(diǎn)中的每個(gè)采樣點(diǎn)，從該采樣點(diǎn)的像素或包括該像素的像素組中提取特征量，提取由分別與所提取的各采樣點(diǎn)對(duì)應(yīng)的多個(gè)特征量構(gòu)成的與上述基準(zhǔn)點(diǎn)對(duì)應(yīng)的特征量組， 位置信息生成步驟，生成表示上述部位點(diǎn)相對(duì)于在上述基準(zhǔn)點(diǎn)確定步驟中確定的基準(zhǔn)點(diǎn)的相對(duì)位置的上述位置信息， 對(duì)應(yīng)關(guān)系信息生成步驟，生成表示在上述特征量提取步驟中提取的特征量組與在上述位置信息生成步驟中生成的位置信息之間的對(duì)應(yīng)關(guān)系的上述對(duì)應(yīng)關(guān)系信息。
9.一種控制程序，使如權(quán)利要求1或2所述的圖像處理裝置進(jìn)行動(dòng)作，其特征在于， 使計(jì)算機(jī)作為上述各單元起作用。
10.一種控制程序，使如權(quán)利要求3~6中任一項(xiàng)所述的信息生成裝置進(jìn)行動(dòng)作，其特征在于， 使計(jì)算機(jī)作為上述各單元起作用。
11.一種記錄介質(zhì),其特征在于， 能夠由計(jì)算機(jī)讀取，并記錄有如權(quán)利要求9或者10所述的控制程序。
【文檔編號(hào)】G06T1/00GK103562964SQ201280025429
【公開日】2014年2月5日 申請(qǐng)日期:2012年3月14日 優(yōu)先權(quán)日:2011年6月7日
【發(fā)明者】入江淳 申請(qǐng)人:歐姆龍株式會(huì)社