專利名稱：物體檢測(cè)裝置及物體檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及根據(jù)拍攝具有通過(guò)關(guān)節(jié)連接的多個(gè)部位的物體而得到的圖像數(shù)據(jù)，檢測(cè)與該物體有關(guān)的信息的物體檢測(cè)裝置及物體檢測(cè)方法。
背景技術(shù)：
近年來(lái)，盛行有關(guān)基于拍攝到的動(dòng)態(tài)圖像的圖像數(shù)據(jù)進(jìn)行的人的姿勢(shì)估計(jì)的研究。這是因?yàn)?，如果能夠通過(guò)計(jì)算機(jī)分析根據(jù)動(dòng)態(tài)圖像判定人的行動(dòng)，則可以不依賴于人力來(lái)進(jìn)行在各種領(lǐng)域所進(jìn)行的行動(dòng)分析。作為行動(dòng)分析，可例舉例如街頭的異常行動(dòng)探測(cè)、商店中的購(gòu)買行動(dòng)分析、工廠中的作業(yè)高效化輔助、及體育運(yùn)動(dòng)中的姿勢(shì)指導(dǎo)。因此，例如專利文獻(xiàn)I中記載了基于由單眼相機(jī)拍攝到的圖像數(shù)據(jù)來(lái)估計(jì)人的姿勢(shì)狀態(tài)的技術(shù)。專利文獻(xiàn)I中記載的技術(shù)(以下稱為“現(xiàn)有技術(shù)”)中，首先基于包含于拍攝圖像的橢圓形狀或平行線提取部位候選。其次，現(xiàn)有技術(shù)中，使用從多個(gè)采樣圖像統(tǒng)計(jì)求出的似然函數(shù)，計(jì)算部位似然及部位關(guān)系似然。而且，現(xiàn)有技術(shù)中，基于這些似然計(jì)算最優(yōu)的部位候選的組合。通過(guò)使用這種現(xiàn)有技術(shù)，能夠確定哪個(gè)部位位于哪個(gè)區(qū)域，能夠不依賴于人的位置及朝向估計(jì)人的姿勢(shì)狀態(tài)。現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1:日本特開2005-165923號(hào)公報(bào)非專利文獻(xiàn)非專利文獻(xiàn)1:下坂正倫、佐藤真、森武俊、佐藤知正、“單眼畫像々^ ^形狀特徴全用P &動(dòng)作認(rèn)識(shí)法”、全國(guó)大會(huì)演講論文集第70次平成20年(5)、社團(tuán)法人信息處理學(xué)會(huì)、2008 年 3 月 13 日、p.5-93、p.5-94 非專利文獻(xiàn)2:P.Viola and M.Jones, “Rapid Object Detection Using aBoosted Cascade of Simple Features,，，in Proc.0f CVPR, vol.1, December 2001,ppp.511-518

發(fā)明內(nèi)容
發(fā)明要解決的問(wèn)題但是，現(xiàn)有技術(shù)中，使用根據(jù)多個(gè)人的圖像統(tǒng)計(jì)求出的似然函數(shù)，所以對(duì)于與這些多個(gè)人的平均體格不同的被攝體，各似然的精度降低，人的檢測(cè)和姿勢(shì)狀態(tài)的估計(jì)精度降低。另一方面，根據(jù)其用途不同，總是使上述平均體格與圖像數(shù)據(jù)中所含的人的體格一致是困難的。因此，在現(xiàn)有技術(shù)中存在如下問(wèn)題:高精度地進(jìn)行人的姿勢(shì)狀態(tài)的估計(jì)和作為其基礎(chǔ)的信息檢測(cè)是困難的。另外，雖然考慮到將現(xiàn)有技術(shù)適用于機(jī)器人等具有通過(guò)關(guān)節(jié)連接的多個(gè)部位的人以外的各種物體，但在這種情況下也會(huì)產(chǎn)生同樣的問(wèn)題。 本發(fā)明的目的在于提供能夠根據(jù)圖像數(shù)據(jù)高精度地檢測(cè)與具有關(guān)節(jié)的物體有關(guān)的信息的物體檢測(cè)裝置及物體檢測(cè)方法。解決問(wèn)題的方案本發(fā)明的物體檢測(cè)裝置根據(jù)拍攝具有通過(guò)關(guān)節(jié)連接的多個(gè)部位的物體而得到的圖像數(shù)據(jù)，檢測(cè)與所述物體有關(guān)的信息，該物體檢測(cè)裝置包括:關(guān)節(jié)角度提取單元，根據(jù)從所述圖像數(shù)據(jù)獲取的相鄰的兩個(gè)所述部位的位置候選，提取連接所述兩個(gè)部位的關(guān)節(jié)的角度；以及部位長(zhǎng)度比估計(jì)單元，使用所述關(guān)節(jié)的角度進(jìn)行所述檢測(cè)。本發(fā)明的物體檢測(cè)方法是，根據(jù)拍攝具有通過(guò)關(guān)節(jié)連接的多個(gè)部位的物體而得到的圖像數(shù)據(jù)，檢測(cè)與所述物體有關(guān)的信息的方法，該物體檢測(cè)方法包括:根據(jù)從所述圖像數(shù)據(jù)獲取的相鄰的兩個(gè)所述部位的位置候選，提取連接所述兩個(gè)部位的關(guān)節(jié)的角度的步驟；以及使用所述關(guān)節(jié)的角度進(jìn)行所述檢測(cè)的步驟。發(fā)明效果根據(jù)本發(fā)明，能夠根據(jù)圖像數(shù)據(jù)高精度地檢測(cè)與具有關(guān)節(jié)的物體有關(guān)的信息。


圖1是表示一例本發(fā)明實(shí)施方式I的物體檢測(cè)裝置的結(jié)構(gòu)的框圖。圖2是用于說(shuō)明本實(shí)施方式I的圖像數(shù)據(jù)的圖。圖3是表示一例本實(shí)施方式I的物體檢測(cè)單元的結(jié)構(gòu)的框圖。圖4是表示一例本實(shí)施方式I的物體檢測(cè)裝置的動(dòng)作的流程圖。圖5是用于說(shuō)明本實(shí)施方式I的歐米茄形狀形狀)的圖。圖6是用于說(shuō)明本實(shí)施方式I的從基準(zhǔn)線到歐米茄形狀的垂直距離的圖。圖7是表示一例本實(shí)施方式I的距離直方圖的圖。圖8是表示一例本實(shí)施方式I的二值化后的距離直方圖的圖。圖9是用于說(shuō)明表示本實(shí)施方式I的基準(zhǔn)部位的各種參數(shù)的圖。圖10是表不一例本實(shí)施方式I的基準(zhǔn)部位對(duì)應(yīng)表的內(nèi)容的圖。圖11是表不一例本實(shí)施方式I的部位區(qū)域?qū)?yīng)表的內(nèi)容的圖。圖12是表示一例本實(shí)施方式I的部位區(qū)域數(shù)據(jù)的內(nèi)容的圖。圖13是表示一例本實(shí)施方式I的估計(jì)似然圖的圖。圖14是表示一例本實(shí)施方式I的二值化后的估計(jì)似然圖的圖。圖15是表示一例本實(shí)施方式I的基準(zhǔn)模型和被攝體之間的關(guān)系的圖。圖16是表示一例本發(fā)明實(shí)施方式2的物體檢測(cè)裝置的主要部分結(jié)構(gòu)的框圖。圖17是表示一例本實(shí)施方式2的物體檢測(cè)單元的結(jié)構(gòu)的框圖。圖18是用于說(shuō)明本實(shí)施方式2的人的姿勢(shì)和各部位的明亮度之間的關(guān)系的圖。圖19是表示一例本實(shí)施方式2的物體檢測(cè)裝置的處理流程的圖。圖20是表示一例本實(shí)施方式2的凹凸映射圖生成處理的處理流程的圖。圖21是用于說(shuō)明本實(shí)施方式2的區(qū)域分類方法的圖。標(biāo)號(hào)說(shuō)明IOOUOOa物體檢測(cè)裝置110身體限制信息存儲(chǔ)單元120圖像數(shù)據(jù)獲取單元
130部位區(qū)域估計(jì)單元140部位候選提取單元145a凹凸映射圖估計(jì)單元150、150a姿勢(shì)狀態(tài)估計(jì)單元160、160a物體檢測(cè)單元161關(guān)節(jié)角度提取單元162關(guān)節(jié)位置提取單元163基準(zhǔn)比姿勢(shì)數(shù)據(jù)庫(kù)164基準(zhǔn)比關(guān)節(jié)位置獲取單元165部位長(zhǎng)度比估計(jì)單元166a關(guān)節(jié)位置估計(jì)單元200單眼相機(jī)300信息輸出裝置
具體實(shí)施例方式下面參照附圖詳細(xì)地說(shuō)明本發(fā)明的各實(shí)施方式。(實(shí)施方式I)本發(fā)明實(shí)施方式I是將本發(fā)明適用于對(duì)所拍攝的運(yùn)動(dòng)圖像中的人的姿勢(shì)狀態(tài)進(jìn)行估計(jì)的裝置的例。在以下的說(shuō)明中，“部位”是指人的身體中由關(guān)節(jié)劃分出的部分的集合。即，部位例如是頭、肩、右上臂、右前臂、左上臂、左前臂、右大腿、右小腿、左大腿及左小腿。另外，“部位區(qū)域”是指圖像中某部位可占的區(qū)域、即部位的可動(dòng)范圍。另外，“部位軸”是指部位的長(zhǎng)度方向的虛擬的中心軸，具體而言，是指連結(jié)將部位與另外的第一部位連接的關(guān)節(jié)和將部位與另外的第二部位連接的關(guān)節(jié)或部位的端部的線段。例如，右上臂O部位軸的位置、朝向及長(zhǎng)度與右上臂的骨頭的中心軸的位置、朝向及長(zhǎng)
度大致一致。另外，“部位長(zhǎng)度”是指部位軸的長(zhǎng)度(部位的長(zhǎng)度方向的長(zhǎng)度)，具體而言是指將部位與另外的第一部位連接的關(guān)節(jié)和將部位與另外的第二部位連接的關(guān)節(jié)或部位的端部(例如，手指尖或頭頂部)之間的距離。例如，右上臂的部位長(zhǎng)度與右上臂的骨頭的長(zhǎng)度、即從右上臂的右肩關(guān)節(jié)到右肘關(guān)節(jié)為止的長(zhǎng)度大致一致。另外，“部位長(zhǎng)度比”是部位長(zhǎng)度相對(duì)于規(guī)定長(zhǎng)度的比。在本實(shí)施方式中，該規(guī)定長(zhǎng)度是人的基準(zhǔn)模型中所對(duì)應(yīng)的部位的部位長(zhǎng)度。人的基準(zhǔn)模型是用于生成本實(shí)施方式的物體檢測(cè)裝置中使用的后述的身體限制信息的身體模型，只要可以唯一地確定，可以將其體型設(shè)為任意的體型。另外，“關(guān)節(jié)角度”是指兩個(gè)部位各自的長(zhǎng)度方向之間的角度。例如，右肘的關(guān)節(jié)角度是右上臂的部位軸與右前臂的部位軸所構(gòu)成的角度。另外，“部位候選”是指部位的位置的候選，是根據(jù)圖像數(shù)據(jù)估計(jì)的部位的位置。另外，“姿勢(shì)狀態(tài)”是指應(yīng)關(guān)注的兩個(gè)以上的部位的姿勢(shì)(位置及/或角度)的組合的類別，例如是“右臂彎曲”、“直立狀態(tài)”等。在此，通過(guò)連接部位的關(guān)節(jié)的位置、或相關(guān)各部位的長(zhǎng)度及部位間的角度等信息所來(lái)表現(xiàn)“姿勢(shì)”。因此，“與物體有關(guān)的信息的檢測(cè)”是包含獲取這些信息、以及根據(jù)這些信息估計(jì)姿勢(shì)狀態(tài)的含義的概念。此外，在本實(shí)施方式中以像素為單位進(jìn)行說(shuō)明，但物體檢測(cè)裝置100也可以將相當(dāng)于規(guī)定大小的包含多個(gè)像素的集合分別看作是一個(gè)像素進(jìn)行同様?shù)奶幚?。由此，物體檢測(cè)裝置可以高速進(jìn)行處理。在將多個(gè)像素看作是一個(gè)像素的情況下，可以將成為多個(gè)像素的重心的像素的值作為該多個(gè)像素的值使用，也可以將多個(gè)像素的值的平均值作為該多個(gè)像素的值使用。圖1是表示本發(fā)明實(shí)施方式的物體檢測(cè)裝置的結(jié)構(gòu)的框圖。為了便于說(shuō)明，對(duì)物體檢測(cè)裝置的外圍設(shè)備也一并進(jìn)行圖示。在圖1中，物體檢測(cè)裝置100具有身體限制信息存儲(chǔ)單元110、圖像數(shù)據(jù)獲取單元120、部位區(qū)域估計(jì)單元130、部位候選提取單元140、姿勢(shì)狀態(tài)估計(jì)單元150以及物體檢測(cè)單元160。身體限制信息存儲(chǔ)單元110預(yù)先存儲(chǔ)與人的體格或姿勢(shì)有關(guān)的限制條件(以下稱為“身體限制信息”)。身體限制信息是用于后述的部位區(qū)域的估計(jì)或部位候選的提取的信息。身體限制信息的具體內(nèi)容根據(jù)部位區(qū)域的估計(jì)方法或部位候選的提取方法而不同，因此將后述。圖像數(shù)據(jù)獲取單元120通過(guò)有線通信或無(wú)線通信獲取利用設(shè)置在規(guī)定的三維坐標(biāo)空間的單眼相機(jī)200拍攝的圖像的圖像數(shù)據(jù)，并輸出到部位區(qū)域估計(jì)單元130。此外，在本實(shí)施方式中，單眼相機(jī)200為視頻攝像機(jī)。圖像數(shù)據(jù)獲取單元120輸入單眼相機(jī)200中連續(xù)地實(shí)時(shí)拍攝到的動(dòng)態(tài)圖像數(shù)據(jù)，將構(gòu)成動(dòng)態(tài)圖像數(shù)據(jù)的各靜態(tài)圖像數(shù)據(jù)依次輸出到部位區(qū)域估計(jì)單元130。在以下的說(shuō)明中，設(shè)為圖像數(shù)據(jù)僅包含一個(gè)人的圖像進(jìn)行說(shuō)明，但不限于此，可以包含多人的圖像，也可以未包含人的圖像。圖2是用于說(shuō)明圖像數(shù)據(jù)的圖。如圖2所示，例如設(shè)定以將單眼相機(jī)200的位置投影到地面而得到的位置為原點(diǎn)0的三維坐標(biāo)系410。在坐標(biāo)系410中，例如將垂直方向設(shè)為Y軸，將與Y軸及單眼相機(jī)200的光軸411正交的方向設(shè)為X軸，將與X軸及Y軸正交的方向設(shè)為Z軸。例如利用Y軸和光軸411之間的角度0表示單眼相機(jī)200的設(shè)置角度。而且，單眼相機(jī)200將焦點(diǎn)(focus)對(duì)準(zhǔn)包含于單眼相機(jī)200的視角9的范圍的某平面412進(jìn)行拍攝。將這樣拍攝到的圖像的圖像數(shù)據(jù)發(fā)送到物體檢測(cè)裝置100。圖1的部位區(qū)域估計(jì)單元130基于從圖像數(shù)據(jù)獲取單元120輸入的圖像數(shù)據(jù)，估計(jì)各部位的部位區(qū)域。具體而言，部位區(qū)域估計(jì)單元130根據(jù)圖像數(shù)據(jù)估計(jì)人的基準(zhǔn)部位的位置及朝向?！盎鶞?zhǔn)部位”是指在其它部位之前進(jìn)行其位置及朝向的估計(jì)且其估計(jì)結(jié)果影響對(duì)其它部位的位置及朝向的估計(jì)的部位。優(yōu)選的是，采用在圖像獲取空間中，可穩(wěn)定地得到影像的部位。而且，部位區(qū)域估計(jì)單元130以估計(jì)出的基準(zhǔn)部位的位置及朝向?yàn)榛鶞?zhǔn)估計(jì)各部位的部位區(qū)域。在本實(shí)施方式中，基準(zhǔn)部位為人的頭部及肩部。另外，將基準(zhǔn)部位的朝向設(shè)為肩部的朝向，將肩部的朝向設(shè)為連結(jié)右肩部和左肩部的直線的方向。而且，部位區(qū)域估計(jì)單元130將圖像數(shù)據(jù)和表示每個(gè)部位的部位區(qū)域的信息(以下稱為“部位區(qū)域數(shù)據(jù)”)輸出到部位候選提取單元140。
部位候選提取單元140基于所輸入的部位區(qū)域數(shù)據(jù)從所輸入的圖像數(shù)據(jù)提取各部位候選，并輸出到姿勢(shì)狀態(tài)估計(jì)單元150。此外，在本實(shí)施方式中，利用圖像上的位置即圖像的二維坐標(biāo)系表示部位候選，將表示部位候選的信息設(shè)為似然圖，其表示各部位存在的似然度的分布。部位候選提取單元140生成對(duì)于從部位區(qū)域估計(jì)單元130輸入的部位區(qū)域數(shù)據(jù)所表示的部位區(qū)域以外的區(qū)域，使與該部位區(qū)域相對(duì)應(yīng)的指定部位存在的似然度降低的似然圖。下面，將基于圖像數(shù)據(jù)生成的似然圖稱為“估計(jì)似然圖”。姿勢(shì)狀態(tài)估計(jì)單元150基于從部位候選提取單元140輸入的估計(jì)似然圖進(jìn)行包含于圖像數(shù)據(jù)中的人(以下稱為“被攝體”)的姿勢(shì)狀態(tài)的估計(jì)。更具體而言，姿勢(shì)狀態(tài)估計(jì)單元150按每個(gè)姿勢(shì)狀態(tài)預(yù)先保持有從處于該姿勢(shì)狀態(tài)的基準(zhǔn)模型學(xué)習(xí)的似然圖(以下稱為“學(xué)習(xí)似然圖”)。而且，姿勢(shì)狀態(tài)估計(jì)單元150在估計(jì)似然圖和某一個(gè)學(xué)習(xí)似然圖的一致度高時(shí)，將與該學(xué)習(xí)似然圖相對(duì)應(yīng)的姿勢(shì)狀態(tài)估計(jì)為被攝體的姿勢(shì)狀態(tài)。而且，姿勢(shì)狀態(tài)估計(jì)單元150通過(guò)有線通信或無(wú)線通信對(duì)顯示裝置等信息輸出裝置300發(fā)送信息，對(duì)用戶通知估計(jì)結(jié)果。此外，姿勢(shì)狀態(tài)估計(jì)單元150也可以不僅估計(jì)姿勢(shì)狀態(tài)，而且一并估計(jì)被攝體的朝向(例如朝向右側(cè)坐著還是朝向左側(cè)坐著)。物體檢測(cè)單元160根據(jù)從圖像數(shù)據(jù)獲取的相鄰的兩個(gè)部位的部位候選，提取將這兩個(gè)部位連接的關(guān)節(jié)的角度，基于提取到的關(guān)節(jié)的角度，估計(jì)與被攝體的部位長(zhǎng)度比有關(guān)的信息。圖3是表示物體檢測(cè)單元160的結(jié)構(gòu)的框圖。在圖3中，物體檢測(cè)單元160具有關(guān)節(jié)角度提取單元161、關(guān)節(jié)位置提取單元162、基準(zhǔn)比姿勢(shì)數(shù)據(jù)庫(kù)(DB database) 163、基準(zhǔn)比關(guān)節(jié)位置獲取單元164以及部位長(zhǎng)度比估計(jì)單元165。關(guān)節(jié)角度提取單元161根據(jù)所輸入的每個(gè)部位的部位候選，提取相鄰的兩個(gè)部位各自的長(zhǎng)度方向之間的角度，作為將這些部位連接的關(guān)節(jié)的關(guān)節(jié)角度。而且，關(guān)節(jié)角度提取單元161將構(gòu)成提取出的關(guān)節(jié)角度的兩個(gè)部位的部位軸的位置及方向輸出到關(guān)節(jié)位置提取單元162。另外，關(guān)節(jié)角度提取單元161將提取出的關(guān)節(jié)角度輸出到基準(zhǔn)比關(guān)節(jié)位置獲取單元164。此外，在本實(shí)施方式中，將關(guān)節(jié)角度表示為圖像上的角度。關(guān)節(jié)位置提取單元162根據(jù)所輸入的部位軸的位置及方向，提取部位所構(gòu)成的關(guān)節(jié)的關(guān)節(jié)位置。而且，關(guān)節(jié)位置提取單元162將提取出的關(guān)節(jié)的關(guān)節(jié)位置輸出到部位長(zhǎng)度比估計(jì)單元165。以下，將從圖像數(shù)據(jù)提取的關(guān)節(jié)位置稱為“提取關(guān)節(jié)位置”。此外，在本實(shí)施方式中，將關(guān)節(jié)位置表示為圖像上的絕對(duì)位置。基準(zhǔn)比姿勢(shì)數(shù)據(jù)庫(kù)163預(yù)先保持與人的基準(zhǔn)模型有關(guān)的信息(以下稱為“基準(zhǔn)模型信息”)?；鶞?zhǔn)模型信息例如包含對(duì)于每個(gè)從某視點(diǎn)觀察某姿勢(shì)狀態(tài)時(shí)的每個(gè)圖像上的狀態(tài)(以下稱為“圖像姿勢(shì)狀態(tài)”)的、表示各關(guān)節(jié)的圖像上的關(guān)節(jié)角度及位置的信息(例如各部位的圖像上的部位長(zhǎng)度及可動(dòng)范圍)。換言之，基準(zhǔn)模型信息為有關(guān)基準(zhǔn)模型的體格及姿勢(shì)的限制條件。此外，基準(zhǔn)模型信息優(yōu)選是上述的學(xué)習(xí)似然圖的學(xué)習(xí)中使用的基準(zhǔn)模型的信息?；鶞?zhǔn)比關(guān)節(jié)位置獲取單元164估計(jì)與從關(guān)節(jié)角度提取單元161輸入的關(guān)節(jié)角度最接近的關(guān)節(jié)角度的圖像姿勢(shì)狀態(tài)，獲取處于估計(jì)出的圖像姿勢(shì)狀態(tài)時(shí)的基準(zhǔn)模型的各關(guān)節(jié)的位置。然后，基準(zhǔn)比關(guān)節(jié)位置獲取單元164將提取出的位置輸出到部位長(zhǎng)度比估計(jì)單元165。以下，將從基準(zhǔn)模型信息提取出的關(guān)節(jié)位置稱為“基準(zhǔn)比關(guān)節(jié)位置”。此外，基準(zhǔn)比關(guān)節(jié)位置獲取單元164估計(jì)出的圖像姿勢(shì)狀態(tài)并不一定與姿勢(shì)狀態(tài)估計(jì)單元150估計(jì)出的姿勢(shì)狀態(tài)對(duì)應(yīng)。這是因?yàn)?，如上所述，在成為學(xué)習(xí)似然圖的基礎(chǔ)的基準(zhǔn)模型的體格和被攝體的體格有較大差異的情況下，有可能在姿勢(shì)狀態(tài)估計(jì)單元150中進(jìn)行錯(cuò)誤的估計(jì)，但在基準(zhǔn)比關(guān)節(jié)位置獲取單元164中進(jìn)行正確的估計(jì)。這是因?yàn)?，如果是相同的姿?shì)狀態(tài)，則不依賴于體格，各關(guān)節(jié)的關(guān)節(jié)角度幾乎相同。部位長(zhǎng)度比估計(jì)單元165基于所輸入的提取關(guān)節(jié)位置及基準(zhǔn)比關(guān)節(jié)位置計(jì)算被攝體的部位長(zhǎng)度及基準(zhǔn)模型的部位長(zhǎng)度，進(jìn)行部位長(zhǎng)度比的估計(jì)。此外，在本實(shí)施方式中，利用圖像的二維坐標(biāo)系中的絕對(duì)值表示部位長(zhǎng)度比估計(jì)單元165進(jìn)行計(jì)算的部位長(zhǎng)度。也就是說(shuō)，部位長(zhǎng)度比是從圖像數(shù)據(jù)提取的部位長(zhǎng)度相對(duì)于基準(zhǔn)模型中的部位長(zhǎng)度的比。另外，部位長(zhǎng)度比估計(jì)單元165基于所輸入的提取關(guān)節(jié)位置及基準(zhǔn)比關(guān)節(jié)位置、以及估計(jì)出的部位長(zhǎng)度比，對(duì)存儲(chǔ)于身體限制信息存儲(chǔ)單元110的身體限制信息進(jìn)行校正。具體而言，以使身體限制信息的內(nèi)容與被攝體的體格或姿勢(shì)相符合的方式，對(duì)身體限制信息進(jìn)行校正。物體檢測(cè)裝置100是包含CPU (中央處理器)及RAM(隨機(jī)存儲(chǔ)器)等存儲(chǔ)介質(zhì)等的計(jì)算機(jī)。即，通過(guò)CPU執(zhí)行所存儲(chǔ)的控制程序，物體檢測(cè)裝置100進(jìn)行動(dòng)作。這樣的物體檢測(cè)裝置100從圖像數(shù)據(jù)提取被攝體的關(guān)節(jié)的角度，所以可以通過(guò)在與處于相同的姿勢(shì)狀態(tài)的基準(zhǔn)模型之間比較部位長(zhǎng)度來(lái)估計(jì)部位長(zhǎng)度比。另外，物體檢測(cè)裝置100能夠獲取被攝體的部位長(zhǎng)度比，所以能夠?qū)τ糜谧藙?shì)狀態(tài)估計(jì)的身體限制信息進(jìn)行校正，以使其與體格或姿勢(shì)相符合。因此，物體檢測(cè)裝置100根據(jù)圖像數(shù)據(jù)，能夠高精度地檢測(cè)被攝體的部位區(qū)域、部位候選及姿勢(shì)狀態(tài)。另外，物體檢測(cè)裝置100由于使用表示每個(gè)部位的似然分布的似然圖，所以例如即使在圖像上右臂收斂于軀體的外形中的情況下，也能夠判定是否處于“右臂彎曲”這樣的姿勢(shì)狀態(tài)。另外，物體檢測(cè)裝置100由于估計(jì)指定部位的可動(dòng)區(qū)域即部位區(qū)域，且對(duì)部位區(qū)域以外的區(qū)域降低似然值，所以能夠提高似然圖的精度。下面，說(shuō)明物體檢測(cè)裝置100的動(dòng)作。圖4是表示一例物體檢測(cè)裝置100的動(dòng)作的流程圖。首先，在步驟SllOO中，部位區(qū)域估計(jì)單元130借助于圖像數(shù)據(jù)獲取單元120從單眼相機(jī)200獲取一張靜態(tài)圖像的圖像數(shù)據(jù)。然后，在步驟S1200中，部位區(qū)域估計(jì)單元130進(jìn)行估計(jì)基準(zhǔn)部位的位置及朝向的處理(以下稱為“基準(zhǔn)部位估計(jì)處理”)。在此，說(shuō)明基準(zhǔn)部位估計(jì)處理的詳細(xì)例?；鶞?zhǔn)部位估計(jì)處理大體上由估計(jì)人的肩關(guān)節(jié)位置的第一處理和估計(jì)人的軀體的朝向的第二處理構(gòu)成。首先，說(shuō)明估計(jì)人的肩關(guān)節(jié)位置的第一處理。部位區(qū)域估計(jì)單元130從圖像數(shù)據(jù)檢測(cè)歐米茄形狀，基于歐米茄形狀估計(jì)肩關(guān)節(jié)位置。圖5是用于說(shuō)明歐米茄形狀的圖。
歐米茄(Q)形狀是包含人的頭部及肩部的區(qū)域的特征性邊緣形狀，是人的身體中在使用監(jiān)視相機(jī)等的情況下最穩(wěn)定地拍攝到的概率高的形狀。另外，頭部及肩部與人的軀體之間的相對(duì)位置的變化少。因此，部位區(qū)域估計(jì)單元130首先檢測(cè)歐米茄形狀來(lái)檢測(cè)出人的頭部及肩部的位置，以這些位置為基準(zhǔn)估計(jì)其它部位的部位區(qū)域，由此高精度地估計(jì)部位區(qū)域。例如，通過(guò)使用如下的檢測(cè)器，能夠檢測(cè)歐米茄形狀，該檢測(cè)器是使用足夠數(shù)量的采樣圖像通過(guò)實(shí)時(shí)自適應(yīng)增強(qiáng)(Real Ada Boost)等來(lái)制作的檢測(cè)器。作為用于檢測(cè)器的特征量，可使用例如HoG (histogram of gradient,梯度直方圖)特征量、Sparse (稀疏)特征量、Haar (哈爾)特征量等。另外，作為學(xué)習(xí)方法，例如除增強(qiáng)型(Boosting)方法外，還可以利用 SVM(Support Vector Machine,支持向量機(jī))、神經(jīng)網(wǎng)絡(luò)(Neural Network)等。部位區(qū)域估計(jì)單元130首先從圖像數(shù)據(jù)的圖像420檢測(cè)歐米茄形狀421。在此，設(shè)為，歐米爺區(qū)域422的像素中構(gòu)成歐米爺形狀421的像素(邊緣部分的像素)為數(shù)字信號(hào)“1”，其它像素為數(shù)字信號(hào)“O”。而且，將包含歐米茄形狀421的較小的矩形區(qū)域確定為歐米茄區(qū)域422。在此，將歐米茄區(qū)域422的下面的邊稱為基準(zhǔn)線423。部位區(qū)域估計(jì)單元130去除包含于歐米茄區(qū)域422的噪聲。具體而言，部位區(qū)域估計(jì)單元130將歐米茄區(qū)域422的像素中存在于被歐米茄形狀421包圍的區(qū)域的數(shù)字信號(hào)“I”作為噪聲而校正為數(shù)字信號(hào)“O”。例如可通過(guò)進(jìn)行所謂的閉運(yùn)算(closing)處理來(lái)進(jìn)行該修正。閉運(yùn)算處理是指以規(guī)定像素量或規(guī)定的比例將圖像區(qū)域進(jìn)行放大或縮小的處理。通過(guò)該修正，可以提高后述的距離直方圖的精度。而且，部位區(qū)域估計(jì)單元130對(duì)基準(zhǔn)線423的各位置獲取從基準(zhǔn)線423到歐米茄形狀421的垂直距離。圖6是用于說(shuō)明從基準(zhǔn)線423到歐米茄形狀421的垂直距離的圖。如圖6所示，部位區(qū)域估計(jì)單元130以基準(zhǔn)線423的方向?yàn)閄軸，以基準(zhǔn)線423的垂直方向?yàn)閅軸進(jìn)行處理。部位區(qū)域估計(jì)單元130例如將從基準(zhǔn)線423的左端起的像素?cái)?shù)作為X坐標(biāo)值。而且，部位區(qū)域估計(jì)單元130獲取從基準(zhǔn)線423到構(gòu)成歐米茄形狀421的像素為止的Y軸方向的像素?cái)?shù)、即到歐米茄形狀421的垂直距離，作為垂直距離d(X)。構(gòu)成歐米茄形狀421的像素例如是數(shù)字信號(hào)“I”的像素中距基準(zhǔn)線423最近的像素。然后，部位區(qū)域估計(jì)單元130生成使n個(gè)(n為正的整數(shù))垂直距離d(X)的數(shù)據(jù)與X坐標(biāo)對(duì)應(yīng)關(guān)聯(lián)的距離直方圖。圖7是表示一例部位區(qū)域估計(jì)單元130基于圖5所示的歐米茄區(qū)域422生成的距離直方圖的圖。如圖7所示，部位區(qū)域估計(jì)單元130在XY坐標(biāo)系中生成以垂直距離d (X)為Y軸的值來(lái)表示垂直距離d(X)的分布的距離直方圖430。距離直方圖430成為如下的形狀:以與肩部相對(duì)應(yīng)的形狀隆起，其中，在與頭部的中心部相對(duì)應(yīng)的范圍突出。而且，部位區(qū)域估計(jì)單元130應(yīng)用規(guī)定的閾值Th對(duì)所生成的距離直方圖430進(jìn)行二值化處理。具體而言，部位區(qū)域估計(jì)單元130將垂直距離d(X)為閾值Th以上的X坐標(biāo)處的Y坐標(biāo)值置換為“1”，將垂直距離d(X)小于閾值Th的X坐標(biāo)處的Y坐標(biāo)值置換為“O”。將閾值Th設(shè)定為如下的值，S卩，在歐米茄區(qū)域422中以高的概率比肩部上端的垂直距離d(X)大且比頭部上端的垂直距離d(X)小的值。此外，二值化處理不限于此，例如也可以為所謂的大津二值化(大津法)等其它方法。圖8是一例將圖7所示的距離直方圖430進(jìn)行了二值化處理后的結(jié)果。如圖8所示，成為“I”的范圍441表示頭部的中央部分的圖像區(qū)域(以下稱為“頭區(qū)域”)的X坐標(biāo)的范圍。另外，包含成為“I”的范圍441的整體的范圍442表示肩部的圖像區(qū)域(以下稱為“肩區(qū)域”)的X坐標(biāo)的范圍。因此，部位區(qū)域估計(jì)單元130提取圖像數(shù)據(jù)的圖像420中的歐米茄區(qū)域422的X軸方向范圍作為肩區(qū)域的X軸方向范圍，提取成為“I”的范圍441的X軸方向范圍作為頭區(qū)域的X軸方向范圍。而且，部位區(qū)域估計(jì)單元130基于提取到的肩區(qū)域及頭區(qū)域計(jì)算表示基準(zhǔn)部位的位置及朝向的各種參數(shù)。圖9是用于說(shuō)明表示基準(zhǔn)部位的各種參數(shù)的圖。在此,如圖9所示,部位區(qū)域估計(jì)單元130使用H(xh,yh)、RSE(x_rse)、RD(x_rd)、RS(x_rs, y_rs)、RSU(y_rsu)、以及LS作為表示基準(zhǔn)部位的位置的記號(hào)(括弧中表示XY坐標(biāo)系中的參數(shù))。H是頭部的重心位置。RSE是右肩的端部的位置。RD是從頭部的重心到右肩的端部為止的X軸方向的距離。RS是右肩的關(guān)節(jié)的位置(以下稱為“右肩位置”)。RSU是右肩的頂部的位置。LS是左肩的關(guān)節(jié)的位置(以下稱為作“左肩位置”)。部位區(qū)域估計(jì)單元130例如如下計(jì)算各參數(shù)的值。首先，部位區(qū)域估計(jì)單元130在基于二值化處理的結(jié)果提取出的肩區(qū)域中，基于人(的軀體)是否朝向單眼相機(jī)200側(cè)來(lái)確定右肩區(qū)域。部位區(qū)域估計(jì)單元130基于頭區(qū)域的顏色信息的膚色成分是否為規(guī)定的閾值以上來(lái)判斷人是否朝向單眼相機(jī)200側(cè)。在此，設(shè)為人朝向單眼相機(jī)200側(cè)，并在面對(duì)圖像看時(shí)的左側(cè)的肩區(qū)域被確定為右肩區(qū)域。其次，部位區(qū)域估計(jì)單元130計(jì)算右肩區(qū)域的重心位置作為右肩位置RS (X_rs，y_rs)。另外，部位區(qū)域估計(jì)單元130也可以計(jì)算頭部的重心位置H(xh，yh)，使用重心位置H(xh,yh)和基礎(chǔ)的歐米茄形狀421之間的Y軸方向的距離(以下稱為“頭部高度Ah”)計(jì)算右肩位置RS(x_rs，y_rs)。具體而言，部位區(qū)域估計(jì)單元130例如只要將相對(duì)于頭部高度Ah成為預(yù)先規(guī)定的比的值、設(shè)為從頭部的重心位置H到右肩位置RS為止的X軸方向的距離(Xh-X_rs)即可。另外，部位區(qū)域估計(jì)單元130例如也可以將從肩的高度降低頭部高度Ah的一半的值A(chǔ)h/2的位置設(shè)為右肩位置RS的Y坐標(biāo)y_rs。另外，部位區(qū)域估計(jì)單元130計(jì)算歐米茄形狀421的邊緣的傾斜(即距離直方圖的變化率)超過(guò)閾值的點(diǎn)，作為右肩的端部的位置RSE(x_rse)。而且，部位區(qū)域估計(jì)單元130計(jì)算頭部的重心位置H和右肩的端部的位置RSE之間的X軸方向的距離RD(x_rd)。最后，部位區(qū)域估計(jì)單元130估計(jì)為右肩位置RS位于在X軸方向上距頭部的重心位置H的距離為RD的80%的位置。S卩，部位區(qū)域估計(jì)單元130利用x_rs = x_rse+0.2 X RD計(jì)算右肩位置RS的X坐標(biāo)x_rs。另外，部位區(qū)域估計(jì)單元130計(jì)算通過(guò)右肩位置RS且垂直的直線(與Y軸平行的直線)和歐米茄形狀421的邊緣的交點(diǎn)，作為右肩的頂部的位置RSU(y_rsu)。而且,部位區(qū)域估計(jì)單元130利用y_rs = y_rsu_0.2XRD計(jì)算右肩位置RS的Y坐標(biāo)y_rs。另外，部位區(qū)域估計(jì)單元130也同樣計(jì)算左肩位置LS。此外，各參數(shù)的計(jì)算方法不限于上述例。例如在肩寬(例如右肩位置RS和左肩位置LS之間的距離)等部位長(zhǎng)度作為身體限制信息之一被存儲(chǔ)于身體限制信息存儲(chǔ)單元110的情況下，部位區(qū)域估計(jì)單元130也可以使用該身體限制信息計(jì)算各參數(shù)。下面，說(shuō)明估計(jì)人的軀體朝向的第二處理。本實(shí)施方式中，部位區(qū)域估計(jì)單元130參照作為身體限制信息之一而預(yù)先保持于身體限制信息存儲(chǔ)單元110的基準(zhǔn)部位對(duì)應(yīng)表進(jìn)行第二處理?；鶞?zhǔn)部位對(duì)應(yīng)表是將頭部的重心位置H、右肩位置RS和左肩位置LS的組合(以下稱為“基準(zhǔn)部位的位置”)，與根據(jù)該基準(zhǔn)部位的位置估計(jì)的身體朝向(以下稱為“基準(zhǔn)部位的朝向”)對(duì)應(yīng)關(guān)聯(lián)而記述的表。即，基準(zhǔn)部位表是記述各部位的相對(duì)位置關(guān)系的表。此夕卜，基準(zhǔn)部位是表示人的頭部和肩部的歐米茄形狀的部分。因此，基準(zhǔn)部位的朝向是指人的身體(軀體)的朝向。部位區(qū)域估計(jì)單元130從基準(zhǔn)部位對(duì)應(yīng)表導(dǎo)出與根據(jù)圖像數(shù)據(jù)計(jì)算出的基準(zhǔn)部位的位置相對(duì)應(yīng)的基準(zhǔn)部位的朝向。此外，優(yōu)選的是，所保持的基準(zhǔn)部位對(duì)應(yīng)表中記述的基準(zhǔn)部位的位置、以及部位區(qū)域估計(jì)單元130根據(jù)圖像數(shù)據(jù)計(jì)算的基準(zhǔn)部位的位置是不依賴于人的畫面上的大小的歸一化后的值。具體而言，部位區(qū)域估計(jì)單元130例如以頭部的重心位置H為原點(diǎn)，使用以頭部的重心位置H和右肩位置RS或左肩位置LS之間的長(zhǎng)度成為I的方式歸一化后的值導(dǎo)出基準(zhǔn)部位的朝向。另外，在基準(zhǔn)部位對(duì)應(yīng)表中也可以記述右肩位置RS及左肩位置LS。另外，在基準(zhǔn)部位對(duì)應(yīng)表中也可以記述由通過(guò)頭部的重心位置H和右肩位置RS或左肩位置LS的線、和通過(guò)頭部的重心位置H的垂直的直線(以下稱為“頭部垂直線”)所構(gòu)成的角度。另外，在基準(zhǔn)部位對(duì)應(yīng)表中也可以記述將頭部的重心位置H和右肩位置RS之間的距離設(shè)為I時(shí)的頭部的重心位置H和左肩位置LS之間的距離。部位區(qū)域估計(jì)單元130通過(guò)計(jì)算與記述于基準(zhǔn)部位對(duì)應(yīng)表中的參數(shù)相對(duì)應(yīng)的參數(shù)，導(dǎo)出基準(zhǔn)部位的朝向。圖10是表不一例基準(zhǔn)部位對(duì)應(yīng)表的內(nèi)容的圖。如圖10所示，基準(zhǔn)部位對(duì)應(yīng)表450中，與標(biāo)識(shí)符451對(duì)應(yīng)關(guān)聯(lián)地記述投影角度452、左肩位置LS的坐標(biāo)453、頭部的重心位置H的坐標(biāo)454和基準(zhǔn)部位的朝向455。例如以右肩位置RS為原點(diǎn)，使用與畫面的二維坐標(biāo)系平行的規(guī)定的二維坐標(biāo)系來(lái)表示各坐標(biāo)。投影角度452例如是該規(guī)定的二維坐標(biāo)系相對(duì)于圖2中說(shuō)明過(guò)的三維坐標(biāo)系410的XZ平面的角度(即圖2所示的設(shè)置角度0 )。另外，例如利用相對(duì)于圖2中說(shuō)明過(guò)的三維坐標(biāo)系410的XYZ軸的每個(gè)軸的旋轉(zhuǎn)角度來(lái)表示基準(zhǔn)部位的朝向455。此外，也可以使用將臂的部位長(zhǎng)度或身長(zhǎng)等其它長(zhǎng)度設(shè)為I的坐標(biāo)系來(lái)表示各坐標(biāo)。這樣，部位區(qū)域估計(jì)單元130使用身體限制信息估計(jì)基準(zhǔn)部位的位置及朝向。如上結(jié)束基準(zhǔn)部位估計(jì)處理的說(shuō)明。接著，在圖4的步驟S1300中，部位區(qū)域估計(jì)單元130進(jìn)行基于估計(jì)出的基準(zhǔn)部位的位置及朝向?qū)γ總€(gè)部位估計(jì)部位區(qū)域的處理(以下稱為“部位區(qū)域估計(jì)處理”)。在此，說(shuō)明部位區(qū)域估計(jì)處理的詳細(xì)例。本實(shí)施方式中，部位區(qū)域估計(jì)單元130參照作為身體限制信息之一而預(yù)先保持于身體限制信息存儲(chǔ)單元110的部位區(qū)域?qū)?yīng)表、進(jìn)行部位區(qū)域估計(jì)處理。部位區(qū)域?qū)?yīng)表是使基準(zhǔn)部位的位置及朝向與其它部位的部位區(qū)域?qū)?yīng)關(guān)聯(lián)而記述的表。
部位區(qū)域估計(jì)單元130根據(jù)部位區(qū)域?qū)?yīng)表導(dǎo)出與根據(jù)圖像數(shù)據(jù)估計(jì)出的基準(zhǔn)部位的位置及朝向相對(duì)應(yīng)的部位區(qū)域。例如由圖像數(shù)據(jù)的圖像的像素位置定義部位區(qū)域。因此，部位區(qū)域估計(jì)單元130對(duì)圖像數(shù)據(jù)的圖像整體的所有像素，判斷各像素是否為屬于任一部位的部位區(qū)域的像素。圖11是表不一例部位區(qū)域?qū)?yīng)表的內(nèi)容的圖。如圖11所示，部位區(qū)域?qū)?yīng)表460中，與標(biāo)識(shí)符461對(duì)應(yīng)關(guān)聯(lián)地記述頭肩區(qū)域(基準(zhǔn)部位)的位置463、頭肩區(qū)域(基準(zhǔn)部位)的朝向464以及各部位的區(qū)域465。例如，利用圖像的二維坐標(biāo)系的值表示各位置及區(qū)域。投影角度462例如是該規(guī)定的二維坐標(biāo)系相對(duì)于圖2中說(shuō)明過(guò)的三維坐標(biāo)系410的XZ平面的角度(即圖2所示的設(shè)置角度9)。頭肩區(qū)域的位置463例如是右肩位置RS。例如利用相對(duì)于圖2中說(shuō)明過(guò)的三維坐標(biāo)系410的XYZ軸的每個(gè)軸的旋轉(zhuǎn)角度來(lái)表示頭肩區(qū)域的朝向464。例如利用將區(qū)域以圓近似的情況下的該圓的中心坐標(biāo)和半徑來(lái)表示各部位的區(qū)域465。半徑即是部位長(zhǎng)度。此外，在標(biāo)識(shí)符461與基準(zhǔn)部位對(duì)應(yīng)表450的標(biāo)識(shí)符451相同的情況下，也可以不必將頭肩區(qū)域的朝向464記述于部位區(qū)域?qū)?yīng)表460。此外，在估計(jì)部位區(qū)域時(shí)，也可以使用其他種類的身體限制信息。另外，身體限制信息也可以取上述的結(jié)構(gòu)以外的結(jié)構(gòu)。在此，說(shuō)明可用于部位區(qū)域的估計(jì)的其它身體限制信息。身體限制信息例如以規(guī)定部位的長(zhǎng)度及關(guān)節(jié)的角度中至少一者為基準(zhǔn)，限制與規(guī)定的部位連接的部位可存在的區(qū)域(即部位區(qū)域)。在這種情況下，身體限制信息例如包含某部位和其它部位之間的長(zhǎng)度之比及關(guān)節(jié)的可動(dòng)角度中的至少一者。例如，身體限制信息規(guī)定:在將肩寬設(shè)為I時(shí)，上臂的長(zhǎng)度為0.6。例如，身體限制信息按每個(gè)部位包含部位長(zhǎng)度比、以及對(duì)3個(gè)方向(X軸方向、Y軸方向、Z軸方向)記述了以接近軀體之側(cè)的關(guān)節(jié)為基點(diǎn)時(shí)的運(yùn)動(dòng)的自由度的信息。另外，例如在右上臂的部位ID為“3”，右上臂的部位長(zhǎng)度相對(duì)于肩部的部位長(zhǎng)度之比為“0.8”的情況下，身體限制信息可以通過(guò)以下那樣記述的文件或程序源規(guī)定右上臂的部位長(zhǎng)。Begin部位 ID: 3長(zhǎng)度之比:0.8End另外，例如在右上臂的部位ID為“3”，右上臂的粗度相對(duì)于肩部的部位長(zhǎng)之比為“0.2”的情況下，身體限制信息可以通過(guò)以下那樣記述的文件或程序源規(guī)定右上臂的部位粗度。Begin部位 ID: 3粗度之比:0.2End另外，例如設(shè)為右肩的關(guān)節(jié)ID為“100”，肩部的部位ID為“1”，右上臂的部位ID為“3”。另外，設(shè)為右上臂的可動(dòng)方向關(guān)于X軸為(-60.0，90.0)，關(guān)于Y軸為(-90.0，90.0)，關(guān)于Z軸為(-90.0,90.0)。這種情況下，身體限制信息例如可以通過(guò)以下那樣記述的文件或程序源規(guī)定右上臂相對(duì)于右肩的關(guān)節(jié)的自由度。
Begin
關(guān)節(jié)ID: 100
部位ID:1部位I D: 3可動(dòng)方向:rx, ry, rz
角度:(-60.0, 90.0).( — 90.0，90.0)、(- 90.0, 90.0)
End 此外，這些情況下，也可以將表示由關(guān)節(jié)ID和部位ID所示的關(guān)節(jié)和部位之間的連接關(guān)系的信息和表示各關(guān)節(jié)的可動(dòng)方向及角度的信息記述在另外的文件中。另外，也可以利用將各位置投影于二維坐標(biāo)系所得的信息記述身體限制信息。在這種情況下，即使在三維中為唯一的位置信息，其值也可能因投影角度而不同。另外，可動(dòng)方向和角度為二維的值。因此，身體限制信息存儲(chǔ)單元110在將這樣的值作為身體限制信息保持的情況下，需要一并預(yù)先保持有關(guān)投影角度的信息。以上結(jié)束有關(guān)用于部位區(qū)域的估計(jì)的其它身體限制信息的例的說(shuō)明。部位區(qū)域估計(jì)單元130在完成部位區(qū)域的估計(jì)后，對(duì)于圖像數(shù)據(jù)的圖像整體的所有像素，將對(duì)每個(gè)像素表示是否為部位的部位區(qū)域的信息輸出到部位候選提取單元140作為部位區(qū)域數(shù)據(jù)。部位區(qū)域數(shù)據(jù)例如可具有對(duì)于圖像數(shù)據(jù)的所有像素位置(1、j)，排列像素信息Kij所得的構(gòu)造，該像素信息Kij表示是否符合任一部位的部位區(qū)域。像素信息Kij的各要素例如在屬于對(duì)應(yīng)的部位的部位區(qū)域的情況下取“1”，在不屬于的情況下取“O”。像素信息Kij例如象Kij = [kl，k2]那樣具有與部位數(shù)相同數(shù)量的維。在此，kl與右上臂的部位區(qū)域?qū)?yīng)，k2與右前臂的部位區(qū)域?qū)?yīng)。例如，在判定為某像素位置Kab包含于右上臂的部位區(qū)域但不包含于右前臂的部位區(qū)域的情況下，部位區(qū)域估計(jì)單元130生成Kab = [1,0]這樣的像素信息。部位區(qū)域估計(jì)單元130生成這樣生成的各像素的像素信息的集合，作為部位區(qū)域數(shù)據(jù)。此外，基于部位區(qū)域數(shù)據(jù)的部位區(qū)域的表示方法不限于上述例。例如，部位區(qū)域數(shù)據(jù)可以對(duì)圖像中預(yù)先設(shè)定的每個(gè)部分區(qū)域，表示與哪一部位的部位區(qū)域相符合，也可以對(duì)每個(gè)部位表示部位區(qū)域的外緣的坐標(biāo)。此外，在將基準(zhǔn)部位的位置歸一化后的位置用于基準(zhǔn)部位估計(jì)處理的情況下，優(yōu)選在部位區(qū)域?qū)?yīng)表中記述與歸一化后的基準(zhǔn)部位對(duì)應(yīng)的部位區(qū)域。另外，在部位區(qū)域數(shù)據(jù)中，與上述的基準(zhǔn)部位對(duì)應(yīng)表的情況同樣，也可以記述右肩位置RS及左肩位置LS等其它信息。部位區(qū)域估計(jì)單元130通過(guò)計(jì)算與部位區(qū)域?qū)?yīng)表中記述的參數(shù)相對(duì)應(yīng)的參數(shù)，導(dǎo)出各部位的部位區(qū)域。圖12是表示一例部位區(qū)域數(shù)據(jù)的內(nèi)容的圖。在此，為簡(jiǎn)化說(shuō)明，將處于直立狀態(tài)的情況下的各部位的位置一并圖示。如圖12所示，部位區(qū)域數(shù)據(jù)在圖像數(shù)據(jù)的圖像420中表示右上臂的部位區(qū)域471和右前臂的部位區(qū)域472。如上所述，這些部位區(qū)域471、472是以先前估計(jì)出的基準(zhǔn)部位473的位置及朝向?yàn)榛鶞?zhǔn)估計(jì)出的。這樣，部位區(qū)域估計(jì)單元130使用身體限制信息估計(jì)各部位的部位區(qū)域。以上結(jié)束部位區(qū)域估計(jì)處理的說(shuō)明。接著，在圖4的步驟S1400中，部位候選提取單元140進(jìn)行按每個(gè)部位對(duì)于部位區(qū)域計(jì)算似然值來(lái)生成估計(jì)似然圖的處理(以下稱為“估計(jì)似然圖生成處理”)。在此說(shuō)明估計(jì)似然圖生成處理的細(xì)節(jié)的第一例。首先，部位候選提取單元140根據(jù)圖像數(shù)據(jù)對(duì)各部位的部位區(qū)域內(nèi)的每個(gè)像素判別適于表示該部位的位置及朝向的狀態(tài)的圖像特征量，計(jì)算表示部位存在的似然度的似然值。而且，部位候選提取單元140使用根據(jù)圖像數(shù)據(jù)計(jì)算出的似然值，生成表示各像素的似然值的分布的估計(jì)似然圖。似然值可以是歸一化為0 I的范圍的值，也可以是包含正的整數(shù)和負(fù)數(shù)的實(shí)數(shù)。作為在圖像中識(shí)別出關(guān)注對(duì)象的方法，例如可采用如下的技術(shù)，即，將以矩形信息為基礎(chǔ)的多個(gè)弱識(shí)別器的總和通過(guò)自適應(yīng)增強(qiáng)(AdaBoost)進(jìn)行整合，來(lái)制作強(qiáng)識(shí)別器，且將強(qiáng)識(shí)別器串聯(lián)連接，識(shí)別出臉部作為圖像中的關(guān)注對(duì)象的技術(shù)。另外，作為圖像特征量，例如可米用SIFT (scale-1nvariant feature transform,尺度不變特征變換)特征量(例如參照非專利文獻(xiàn)I)。SIFT特征量由128維的向量構(gòu)成，是按每個(gè)像素計(jì)算的值。由于SIFT特征量不受作為檢測(cè)對(duì)象的物體的尺度變化、旋轉(zhuǎn)、及平行移動(dòng)的影響，所以特別對(duì)如臂那樣可在各個(gè)方向旋轉(zhuǎn)的部位的檢測(cè)有效。即，SIFT特征量適合由兩個(gè)以上的部位的關(guān)節(jié)的相對(duì)的位置及角度定義姿勢(shì)狀態(tài)的本實(shí)施方式。在將使用SIFT特征量的方法適用于本實(shí)施方式的情況下，對(duì)右上臂(k= I)、右前臂(k = 2)等每個(gè)部位區(qū)域，預(yù)先通過(guò)機(jī)器學(xué)習(xí)而生成強(qiáng)識(shí)別器Hk(k = 1，2)，并保持于部位候選提取單元140。通過(guò)自適應(yīng)增強(qiáng)(AdaBoost)算法生成識(shí)別器Hk。S卩，通過(guò)如下方式生成強(qiáng)識(shí)別器Hk:對(duì)于預(yù)先對(duì)每個(gè)部位準(zhǔn)備的多個(gè)學(xué)習(xí)圖像反復(fù)進(jìn)行學(xué)習(xí)，直至能夠以所希望的精度判定是否為右上臂以及是否為右前臂為止，并將多個(gè)弱識(shí)別器串聯(lián)連接而生成強(qiáng)識(shí)別器Hk。部位候選提取單元140在對(duì)每個(gè)部位及每個(gè)像素計(jì)算出圖像特征量后，將該圖像特征量輸入到強(qiáng)識(shí)別器Hk，且計(jì)算對(duì)構(gòu)成該強(qiáng)識(shí)別器Hk的各弱識(shí)別器的輸出，乘以對(duì)每個(gè)弱識(shí)別器預(yù)先得到的可靠度a所得的值的總和。然后，部位候選提取單元140從計(jì)算出的總和減去規(guī)定的閾值Th，計(jì)算每個(gè)部位及每個(gè)像素的似然值ck。在此，Cl表示右上臂的似然值，c2表示右前臂的似然值。部位候選提取單元140將整合各部位的似然值而成的每個(gè)像素的似然值Cij設(shè)為Cij = [cl,c2]。而且，部位候選提取單元140將圖像整體的所有像素的似然值Cij作為估計(jì)似然圖輸出到姿勢(shì)狀態(tài)估計(jì)單元150。部位候選提取單元140也可以對(duì)各像素判斷該像素是否包含于任一部位區(qū)域，如果包含則使用該部位的識(shí)別器計(jì)算似然值，如果不包含則將該部位的似然值設(shè)為O。換言之，部位候選提取單元140也可以將從部位區(qū)域估計(jì)單元130輸出的像素信息的行列式(Kij)和與部位區(qū)域無(wú)關(guān)地計(jì)算出的各像素的似然值的行列式(Cij)相乘所得的結(jié)果設(shè)為最終的估計(jì)似然圖。圖13是表示一例估計(jì)似然圖的圖。在此，僅表示估計(jì)似然圖中的一個(gè)部位(例如右上臂)的似然值，越是似然值高的像素，帶著越濃的底紋。如圖13所示，估計(jì)似然圖478表示部位存在的似然度的分布。 例如在將部位k的似然值表示為ck，并存在n個(gè)部位的情況下，似然圖的每個(gè)像素的信息為似然向量Cij = [Cl，c2，…，ck，…，cn]這樣的數(shù)據(jù)構(gòu)造。這樣，部位候選提取單元140生成估計(jì)似然圖。以上結(jié)束有關(guān)估計(jì)似然圖生成處理的細(xì)節(jié)的第一例的說(shuō)明。接著，說(shuō)明估計(jì)似然圖生成處理的細(xì)節(jié)的第二例。部位候選提取單元140例如通過(guò)從包含于圖像數(shù)據(jù)的邊緣提取平行線，生成估計(jì)似然圖。在這種情況下，部位候選提取單元140例如參照作為身體限制信息之一預(yù)先保持于身體限制信息存儲(chǔ)單元110的、使肩關(guān)節(jié)的長(zhǎng)度和各部位的標(biāo)準(zhǔn)粗度的值對(duì)應(yīng)關(guān)聯(lián)而得到的對(duì)應(yīng)表，進(jìn)行平行線的提取。部位候選提取單元140 —邊使進(jìn)行判定的方向旋轉(zhuǎn)360度，一邊在部位區(qū)域內(nèi)檢索以相當(dāng)于該部位的標(biāo)準(zhǔn)粗度的距離隔開的平行線的組。而且，在存在該平行線的組的情況下，部位候選提取單元140重復(fù)進(jìn)行對(duì)由這些平行線包圍的區(qū)域的各像素進(jìn)行投票的處理，基于最終的各像素的投票數(shù)生成估計(jì)似然圖。采用這種方法時(shí)，估計(jì)似然圖和學(xué)習(xí)似然圖按每個(gè)像素及每個(gè)部位包含平行線的方向和投票數(shù)(以下稱為“方向的似然值”)。例如，在將平行線的角度分類為8種的情況下，每個(gè)像素及每個(gè)部位的似 然值成為與8個(gè)方向?qū)?yīng)的8維的值。進(jìn)而，例如在將平行線的寬度分類為2種的情況下,每個(gè)像素及每個(gè)部位的似然值成為2X8 = 16維的值。此外,作為投票對(duì)象的平行線的距離和角度也可以按每個(gè)部位而不同。通過(guò)求平行線的多種寬度，并使用其中的似然值最高的寬度的似然值，能夠減少體型或服裝的不同帶來(lái)的影響來(lái)求似然。而且，部位候選提取單元140例如按每個(gè)部位，將方向的似然值最高的方向判定為該部位的主要的邊緣方向。此時(shí)，姿勢(shì)狀態(tài)估計(jì)單元150也可以按每個(gè)方向取所有像素的似然值的合計(jì)值，并將其合計(jì)值最高的方向判定為方向的似然值最高的方向。這樣，部位候選提取單元140使用身體限制信息生成估計(jì)似然圖。以上結(jié)束有關(guān)估計(jì)似然圖生成處理的細(xì)節(jié)的第二例的說(shuō)明。接著，在步驟S1500中，姿勢(shì)狀態(tài)估計(jì)單元150進(jìn)行一致度判定處理，基于某一學(xué)習(xí)似然圖和估計(jì)似然圖的一致度是否為規(guī)定的等級(jí)以上，來(lái)判斷該學(xué)習(xí)似然圖和估計(jì)似然
圖是否一致。在此，說(shuō)明一致度判定處理的詳細(xì)例。首先，說(shuō)明與采用上述的估計(jì)似然圖生成處理的第一例的情況相對(duì)應(yīng)的一致度判定處理的細(xì)節(jié)的第一例。姿勢(shì)狀態(tài)估計(jì)單元150首先使用規(guī)定的閾值分別將估計(jì)似然圖及各學(xué)習(xí)似然圖二值化。具體而言，姿勢(shì)狀態(tài)估計(jì)單元150在每個(gè)像素及每個(gè)部位的似然值為規(guī)定的閾值以上的情況下將其似然值變換為數(shù)字信號(hào)“0”，在小于規(guī)定的閾值的情況下變換為數(shù)字信號(hào) “I，，。
圖14是表示一例將圖13所示的估計(jì)似然圖二值化后的狀態(tài)的圖。其中，用灰色表示數(shù)字信號(hào)“I”的像素，用白色表示數(shù)字信號(hào)“0”的像素。如圖14所示，二值化后的估計(jì)似然圖479表示部位存在的似然度高的部分的分布。而且，姿勢(shì)狀態(tài)估計(jì)單元150對(duì)每個(gè)學(xué)習(xí)似然圖，在估計(jì)似然圖和學(xué)習(xí)似然圖之間，取對(duì)每個(gè)像素及每個(gè)部位二值化后的似然值的乘積，并將關(guān)于所有像素及所有部位的值之總和設(shè)為評(píng)價(jià)值。具體而言，姿勢(shì)狀態(tài)估計(jì)單元150將估計(jì)似然圖和學(xué)習(xí)似然圖以規(guī)定的位置關(guān)系重疊，按每個(gè)像素將二值化后的似然值信息相乘，求關(guān)于所有的像素及部位的相乘所得的值之總和。姿勢(shì)狀態(tài)估計(jì)單元150通過(guò)移動(dòng)及旋轉(zhuǎn)使估計(jì)似然圖和學(xué)習(xí)似然圖之間重合的位置關(guān)系逐漸錯(cuò)位，對(duì)各位置關(guān)系進(jìn)行上述的運(yùn)算處理。而且，姿勢(shì)狀態(tài)估計(jì)單元150獲取所求出的評(píng)價(jià)值中的最大值，作為表示與學(xué)習(xí)似然圖之間的一致度的最終評(píng)價(jià)值。而且，在該評(píng)價(jià)值為規(guī)定的閾值以上的學(xué)習(xí)似然圖存在時(shí)，姿勢(shì)狀態(tài)估計(jì)單元150判斷為該學(xué)習(xí)似然圖和估計(jì)似然圖一致。作為閾值，預(yù)先通過(guò)學(xué)習(xí)等而設(shè)定適當(dāng)?shù)闹?。此外，姿?shì)狀態(tài)估計(jì)單元150也可以不必將估計(jì)似然圖及學(xué)習(xí)似然圖二值化。在這種情況下，姿勢(shì)狀態(tài)估計(jì)單元150可以更高精度地判定學(xué)習(xí)似然圖和估計(jì)似然圖的一致度。另外，在進(jìn)行了二值化的情況下，姿勢(shì)狀態(tài)估計(jì)單元150能夠高速進(jìn)行一致度的判定。這樣，姿勢(shì)狀態(tài)估計(jì)單元150判定估計(jì)似然圖和學(xué)習(xí)似然圖的一致度。以上結(jié)束有關(guān)一致度判定處理的第一例的說(shuō)明。接著，說(shuō)明與采用上述的估計(jì)似然圖生成處理的第二例的情況相對(duì)應(yīng)的一致度判定處理的細(xì)節(jié)的第二例。姿勢(shì)狀態(tài)估計(jì)單元150對(duì)每個(gè)部位，以使各自的主要的邊緣方向一致的方式將估計(jì)似然圖與學(xué)習(xí)似然圖重合，從而計(jì)算一致度。以后的處理與上述的第一例相同。這樣，考慮邊緣的方向的方法由于能夠?qū)烙?jì)似然圖和學(xué)習(xí)似然圖之間的重合位置關(guān)系施加限制，所以能夠減輕處理負(fù)荷。此外，姿勢(shì)狀態(tài)估計(jì)單元150在計(jì)算估計(jì)似然圖和學(xué)習(xí)似然圖的一致度時(shí)，也可以僅使用邊緣方向的信息。此時(shí)，例如姿勢(shì)狀態(tài)估計(jì)單元150將在多個(gè)指定部位間各指定部位的邊緣方向所構(gòu)成的角度的一致度設(shè)為表示估計(jì)似然圖和學(xué)習(xí)似然圖之間的一致度的評(píng)價(jià)值。而且，在評(píng)價(jià)值在規(guī)定的范圍內(nèi)時(shí)，姿勢(shì)狀態(tài)估計(jì)單元150判定為被攝體的姿勢(shì)處于與相應(yīng)的學(xué)習(xí)似然圖對(duì)應(yīng)的姿勢(shì)狀態(tài)。這樣，僅使用邊緣方向判定一致度的方法由于可以省去一邊使圖像旋轉(zhuǎn)一邊反復(fù)計(jì)算多個(gè)評(píng)價(jià)值的處理，所以能夠進(jìn)一步降低處理負(fù)荷。以上結(jié)束有關(guān)一致度判定處理的第二例的說(shuō)明。在學(xué)習(xí)似然圖與估計(jì)似然圖一致時(shí)(S1500 是”)，姿勢(shì)狀態(tài)估計(jì)單元150進(jìn)至步驟S1600。而在學(xué)習(xí)似然圖與估計(jì)似然圖不一致時(shí)(S1500:“否”)，姿勢(shì)狀態(tài)估計(jì)單元150進(jìn)至步驟S1700。在步驟S1600中，姿勢(shì)狀態(tài)估計(jì)單元150將對(duì)應(yīng)于與估計(jì)似然圖一致的學(xué)習(xí)似然圖的姿勢(shì)狀態(tài)，經(jīng)由信息輸出裝置300通知給用戶，并進(jìn)至步驟S1700。在步驟S1700中，關(guān)節(jié)角度提取單元161基于從部位候選提取單元140輸出的部位候選，提取被攝體的各關(guān)節(jié)的關(guān)節(jié)角度。
具體而言，首先，關(guān)節(jié)角度提取單元161從部位候選提取各部位的部位軸的方向(角度，以下稱為“軸方向”)。例如在部位候選所表示的部位的外形可近似為橢圓的情況下，將該橢圓的長(zhǎng)軸設(shè)為部位軸。另外，關(guān)節(jié)角度提取單元161也可以將該區(qū)域的各像素的似然值的平均值超過(guò)規(guī)定的閾值的區(qū)域近似為橢圓，將該橢圓的長(zhǎng)軸設(shè)為部位軸。另外，關(guān)節(jié)角度提取單元161也可以在部位候選包含方向成分的情況下，采用在部位候選內(nèi)最多的平行成分作為部位的軸方向，將軸方向的通過(guò)包含似然值為規(guī)定的閾值以上的像素的區(qū)域的重心的直線設(shè)為部位軸。然后，關(guān)節(jié)角度提取單元161對(duì)于各關(guān)節(jié)，根據(jù)夾著該關(guān)節(jié)的兩個(gè)部位的軸方向計(jì)算該關(guān)節(jié)的關(guān)節(jié)角度。然后，關(guān)節(jié)角度提取單元161將部位軸的位置及軸方向與該部位軸所對(duì)應(yīng)的部位的標(biāo)識(shí)符(ID) —起輸出到關(guān)節(jié)位置提取單元162。而且，關(guān)節(jié)角度提取單元161將關(guān)節(jié)角度與該關(guān)節(jié)角度所對(duì)應(yīng)的關(guān)節(jié)的標(biāo)識(shí)符一起輸出到基準(zhǔn)比關(guān)節(jié)位置獲取單元164。然后，在步驟S1800中，關(guān)節(jié)位置提取單元162根據(jù)所輸入的部位軸的位置及軸方向，估計(jì)各關(guān)節(jié)的關(guān)節(jié)位置。具體而言，關(guān)節(jié)位置提取單元162對(duì)每個(gè)部位求成為部位軸的交點(diǎn)的位置，將求出的位置設(shè)為所對(duì)應(yīng)的關(guān)節(jié)的關(guān)節(jié)位置。而且，關(guān)節(jié)位置提取單元162將求出的關(guān)節(jié)位置(即提取關(guān)節(jié)位置)與其標(biāo)識(shí)符一起輸出到部位長(zhǎng)度比估計(jì)單元165。另外，在步驟S1900中，基準(zhǔn)比關(guān)節(jié)位置獲取單元164參照基準(zhǔn)比姿勢(shì)數(shù)據(jù)庫(kù)163的基準(zhǔn)模型信息，對(duì)每個(gè)與所輸入的關(guān)節(jié)的標(biāo)識(shí)符對(duì)應(yīng)的關(guān)節(jié)提取關(guān)節(jié)位置。然后，基準(zhǔn)比關(guān)節(jié)位置獲取單元164將求出的關(guān)節(jié)位置(即基準(zhǔn)比關(guān)節(jié)位置)與其標(biāo)識(shí)符一起輸出到部位長(zhǎng)度比估計(jì)單元165。更具體而言，首先，基準(zhǔn)比關(guān)節(jié)位置獲取單元164基于從關(guān)節(jié)角度提取單元161輸入的關(guān)節(jié)角度和關(guān)節(jié)的標(biāo)識(shí)符的組，檢索圖像姿勢(shì)狀態(tài)與被攝體的圖像上的姿勢(shì)狀態(tài)一致的基準(zhǔn)模型信息。即，基準(zhǔn)比關(guān)節(jié)位置獲取單元164檢索各關(guān)節(jié)的圖像上的角度近似的圖像姿勢(shì)狀態(tài)，提取該圖像姿勢(shì)狀態(tài)的基準(zhǔn)模型的各關(guān)節(jié)的位置作為基準(zhǔn)比關(guān)節(jié)位置。然后，基準(zhǔn)比關(guān)節(jié)位置獲取單元164將提取出的個(gè)基準(zhǔn)比關(guān)節(jié)位置與對(duì)應(yīng)的關(guān)節(jié)的標(biāo)識(shí)符(ID)一起輸出到部位長(zhǎng)度比估計(jì)單元165。在此說(shuō)明基準(zhǔn)模型信息的詳細(xì)例。基準(zhǔn)模型信息例如由對(duì)每個(gè)姿勢(shì)狀態(tài)使用三維坐標(biāo)系表現(xiàn)關(guān)節(jié)位置等的第一階段信息(以下稱為“基準(zhǔn)模型三維信息”)和使用二維坐標(biāo)系表現(xiàn)從某個(gè)視點(diǎn)觀看該姿勢(shì)狀態(tài)時(shí)的關(guān)節(jié)位置等的第二階段信息(以下稱為“基準(zhǔn)模型二維信息”)構(gòu)成。以下，將上述第一階段信息稱為“基準(zhǔn)模型三維信息”，將上述第二階段信息稱為“基準(zhǔn)模型二維信息”。此時(shí)，通過(guò)將基準(zhǔn)模型三維信息向二維坐標(biāo)系投影而得到基準(zhǔn)模型二維信息。另外，在對(duì)處于一個(gè)姿勢(shì)狀態(tài)的基準(zhǔn)模型假定多個(gè)視點(diǎn)的情況下，根據(jù)一個(gè)基準(zhǔn)模型三維信息，可生成多個(gè)基準(zhǔn)模型二維信息。也就是說(shuō)，多個(gè)視點(diǎn)對(duì)應(yīng)于如下的情況:對(duì)于相機(jī)視點(diǎn)，存在基準(zhǔn)模型的位置和朝向的多個(gè)組合。首先說(shuō)明三維信息。使用將右肩關(guān)節(jié)的關(guān)節(jié)位置設(shè)為原點(diǎn)，并將右肩位置與左肩位置之間的距離設(shè)為I的規(guī)定的三維坐標(biāo)系來(lái)表現(xiàn)基準(zhǔn)模型三維信息。此外，也可以使用將其他位置設(shè)為原點(diǎn)的坐標(biāo)系，或者使用將臂的部位長(zhǎng)度或身長(zhǎng)等其他長(zhǎng)度設(shè)為I的坐標(biāo)系來(lái)表現(xiàn)基準(zhǔn)模型三維信息。在此，例如假定姿勢(shì)狀態(tài)的姿勢(shì)ID為“200”，右肩的關(guān)節(jié)ID為“100”，肩部的部位ID為“1”，右上臂的部位ID為“3”。另外，將右上臂的可動(dòng)方向假定為，關(guān)于X軸為(20.0)，關(guān)于Y軸為(90.0)，關(guān)于Z軸為(0.0)。此時(shí)，基準(zhǔn)模型三維信息例如通過(guò)如下記述的文件或程序源，能夠規(guī)定基準(zhǔn)模型的右上臂相對(duì)于右肩的關(guān)節(jié)的自由度。此外，基準(zhǔn)模型三維信息中的可動(dòng)方向與身體限制信息不同，不是范圍而是一方向，這是因?yàn)榛鶞?zhǔn)模型三維信息是每個(gè)姿勢(shì)狀態(tài)的信息。但是，也可以考慮關(guān)節(jié)角度的誤差或個(gè)體差，由范圍定義基準(zhǔn)模型三維信息中的可動(dòng)方向。
三維姿勢(shì)Begin 姿勢(shì)ID: 200 關(guān)節(jié)Begin 關(guān)節(jié)ID: 100 部位ID:1 部位ID: 3 可動(dòng)方向:rx, ry, rz 角度:20.0，90.0, 0.0 位置:(0，0，0)
關(guān)節(jié)End 三維姿勢(shì)Erid
此外，作為基準(zhǔn)模型三維信息，也可以將與關(guān)節(jié)有關(guān)的信息和與部位有關(guān)的信息記述在不同的文件中。由此，可以在多個(gè)姿勢(shì)狀態(tài)之間共享文件，能夠減小基準(zhǔn)比姿勢(shì)數(shù)據(jù)庫(kù)163的大小。另外，對(duì)于基準(zhǔn)模型三維信息，也可以將關(guān)節(jié)位置與姿勢(shì)狀態(tài)之間的對(duì)應(yīng)關(guān)系、和關(guān)節(jié)角度與姿勢(shì)狀態(tài)之間的對(duì)應(yīng)關(guān)系記述在不同的文件。由此，在準(zhǔn)備對(duì)于體格不同的多個(gè)基準(zhǔn)模型的基準(zhǔn)模型三維信息的情況下，可以使記述關(guān)節(jié)角度與姿勢(shì)狀態(tài)之間的對(duì)應(yīng)關(guān)系的文件為通用的文件，能夠減小基準(zhǔn)比姿勢(shì)數(shù)據(jù)庫(kù)163的大小。另外，作為基準(zhǔn)模型三維信息，也可以記述各關(guān)節(jié)的關(guān)節(jié)角度與部位長(zhǎng)度以及部位的粗度等而不記述關(guān)節(jié)位置。此時(shí)，可以根據(jù)關(guān)節(jié)角度和身體限制計(jì)算關(guān)節(jié)位置。由此，能夠減小基準(zhǔn)比姿勢(shì)數(shù)據(jù)庫(kù)163的大小。例如，可以如下述那樣分開記述上述的有關(guān)右上臂的基準(zhǔn)模型三維信息。三維姿勢(shì)定義Begin 姿勢(shì)ID: 200 關(guān)節(jié)Begin 關(guān)節(jié)ID: 100 部位ID:1 部位ID: 3 可動(dòng)方向:rx, ry, rz 關(guān)節(jié)End 三維姿勢(shì)定義End 三維姿勢(shì)角度Begin 姿勢(shì)〖D: 200 關(guān)節(jié)Begin 關(guān)節(jié)ID: 100 角度:20.0，90.0，00 關(guān)節(jié)End 三維姿勢(shì)角度End 三維姿勢(shì)位置Begin 姿勢(shì)ID: 200 關(guān)節(jié)Begin 關(guān)節(jié)ID: 100 位置:(0，0，0) 關(guān)節(jié)End 三維姿勢(shì)位置End另外，如以下那樣，基準(zhǔn)模型三維信息也可以將與多個(gè)關(guān)節(jié)有關(guān)的信息包含于一個(gè)文件。此外，在這種情況下，也可以利用將右肩關(guān)節(jié)位置等的一個(gè)基準(zhǔn)點(diǎn)設(shè)為原點(diǎn)的規(guī)定的三維坐標(biāo)系來(lái)表現(xiàn)角度及位置?；蛘?，也可以利用將與軀體近的一側(cè)的關(guān)節(jié)位置以及與軀體近的一側(cè)的其他部位的軸方向作為基準(zhǔn)的相對(duì)的三維坐標(biāo)系來(lái)表現(xiàn)角度及位置。三維姿勢(shì)Begin 姿勢(shì)ID: 200 關(guān)節(jié)Begin 關(guān)節(jié)ID: 100 部位ID:1 部位ID: 3 可動(dòng)方向:rx, ry, rz 角度:20.0，90.0, 0.0 位置:(0，0，0)
關(guān)節(jié)End 關(guān)節(jié)Begin
關(guān)節(jié)End 三維姿勢(shì)End
三維姿勢(shì)Begin姿勢(shì)ID: 300 關(guān)節(jié)Begin
關(guān)節(jié)End 關(guān)節(jié)Begin
關(guān)節(jié)End 三維姿勢(shì)End此外，即使在這樣將與多個(gè)關(guān)節(jié)有關(guān)的信息包含于一個(gè)文件的情況下，也可以如上述那樣，對(duì)每個(gè)信息類別，將基準(zhǔn)模型三維信息記述在不同的文件中。另外，作為基準(zhǔn)模型三維信息，也可以同樣地將與多個(gè)姿勢(shì)狀態(tài)有關(guān)的信息包含于一個(gè)文件。下面，說(shuō)明基準(zhǔn)模型二維信息?；诨鶞?zhǔn)模型三維信息生成基準(zhǔn)模型二維信息?？梢灶A(yù)先生成基準(zhǔn)模型二維信息并保存于基準(zhǔn)比姿勢(shì)數(shù)據(jù)庫(kù)163，也可以隨時(shí)根據(jù)基準(zhǔn)模型三維信息生成基準(zhǔn)模型二維信息。在假設(shè)多個(gè)視點(diǎn)的情況下，通過(guò)隨時(shí)生成基準(zhǔn)模型二維信息，能夠減小基準(zhǔn)比姿勢(shì)數(shù)據(jù)庫(kù)163的大小。例如由基準(zhǔn)比姿勢(shì)數(shù)據(jù)庫(kù)163或基準(zhǔn)比關(guān)節(jié)位置獲取單元164生成基準(zhǔn)模型二維信息。此外，對(duì)基準(zhǔn)模型二維信息附加如下的信息，該信息表示作為基準(zhǔn)的部位的長(zhǎng)度在圖像上相當(dāng)于幾個(gè)像素。例如加設(shè)為，投射到二維坐標(biāo)的水平的角度為“90度”，垂直方向的角度為“45度”，作為基準(zhǔn)的部位是肩部，肩的長(zhǎng)度(從右肩關(guān)節(jié)位置到左肩關(guān)節(jié)位置的距離)為“20像素”。此時(shí)，可以如下述那樣記述上述的有關(guān)右上臂的基準(zhǔn)模型二維信息。這里，在二維坐標(biāo)系中，將圖像中的水平方向設(shè)為X軸，將垂直方向設(shè)為y軸，將右肩關(guān)節(jié)位置設(shè)為原點(diǎn)。另外，將角度設(shè)為相對(duì)于X軸的角度。此外，投影角度例如用于基于單眼相機(jī)200的設(shè)置角度遴選基準(zhǔn)模型二維信息。
二維姿勢(shì)Begin 姿勢(shì)ID: 200
作為基準(zhǔn)的部位的長(zhǎng)度換算:20 投射Begin
投影角度:(90 45)
關(guān)節(jié)Begin 關(guān)節(jié)m: 100 部位ID:1 部位m: 3 角度:10.0 位置:(()，0)
關(guān)節(jié)End 投影End 二維姿勢(shì)End此外，也可以與上述的基準(zhǔn)三維模型信息的情況同樣地，按每個(gè)圖像姿勢(shì)狀態(tài)或者每個(gè)信息的類別，將基準(zhǔn)二維模型信息記述在不同的文件。另外，如以下所示那樣，基準(zhǔn)二維模型信息也可以對(duì)一個(gè)投影角度包含與多個(gè)關(guān)
節(jié)有關(guān)的信息，或?qū)σ粋€(gè)姿 勢(shì)包含與多個(gè)投影角度有關(guān)的信息。二維姿勢(shì)Begin 姿勢(shì)ID: 200
作為基準(zhǔn)的部位的長(zhǎng)度換算:20 投射Begin 投影角度:(90, 45)
關(guān)節(jié)Begin 關(guān)節(jié)ID: 100 部位ID:1 部位ID: 3 角度:10.0 位置:(0, 0)
關(guān)節(jié)End
關(guān)節(jié)Begin
關(guān)節(jié)End 投影End 投射Begin 投影角度:(70, 45)
關(guān)節(jié)Begin
關(guān)節(jié)End 投影End
二維姿勢(shì)Lnd此外，即使在對(duì)一個(gè)姿勢(shì)包含與多個(gè)投影角度有關(guān)的信息的情況下，也可以與上述的基準(zhǔn)三維模型信息的情況同樣地，按每個(gè)圖像姿勢(shì)狀態(tài)或者每個(gè)信息類別，將基準(zhǔn)模型二維信息記述在不同的文件。由此，能夠減小基準(zhǔn)比姿勢(shì)數(shù)據(jù)庫(kù)163的大小。

另外，基準(zhǔn)模型三維信息向二維坐標(biāo)系的投影角度可以是固定值，也可以是根據(jù)計(jì)算出的肩部的朝向而變化的值。在是后者的情況下，基準(zhǔn)比關(guān)節(jié)位置獲取單元164需要獲取部位候選提取單元140所提取出的肩部的朝向。另外，基準(zhǔn)比關(guān)節(jié)位置獲取單元164也可以具有將投影角度設(shè)定為任意的值的投影角度設(shè)定處理單元。
以上結(jié)束了有關(guān)基準(zhǔn)模型信息的例的說(shuō)明。接著，在圖4的步驟S2000中，部位長(zhǎng)度比估計(jì)單元165計(jì)算由所輸入的提取關(guān)節(jié)位置確定的各部位的部位長(zhǎng)度、以及由所輸入的基準(zhǔn)比關(guān)節(jié)位置確定的各部位的部位長(zhǎng)度。而且，部位長(zhǎng)度比估計(jì)單元165對(duì)每個(gè)部位，計(jì)算基于提取關(guān)節(jié)位置的部位長(zhǎng)度相對(duì)于基于基準(zhǔn)比關(guān)節(jié)位置的部位長(zhǎng)度之比。即，部位長(zhǎng)度比估計(jì)單元165對(duì)每個(gè)部位計(jì)算從圖像數(shù)據(jù)提取出的被攝體的部位長(zhǎng)度相對(duì)于基準(zhǔn)模型的部位長(zhǎng)度之比。在此，說(shuō)明部位長(zhǎng)度比的計(jì)算方法的具體例。圖15是表示一例處于同一圖像姿勢(shì)狀態(tài)的基準(zhǔn)模型與被攝體之間的關(guān)系的圖。如圖15所示，例如，有時(shí)被攝體481的從頭部到腰為止的部分的部位軸的長(zhǎng)度I比基準(zhǔn)模型482的從頭部到腰為止的部分的部位軸的長(zhǎng)度Ic長(zhǎng)。此時(shí)，根據(jù)圖15可知，SP使腿的長(zhǎng)度和角度相同，在被攝體481與基準(zhǔn)模型482之間，腿相對(duì)于頭部的位置也產(chǎn)生偏差。這樣的部位偏差使部位區(qū)域的估計(jì)、部位候選的估計(jì)、以及姿勢(shì)狀態(tài)的估計(jì)的各自的精度降低。另一方面，對(duì)于同一關(guān)節(jié)，由于從圖像數(shù)據(jù)提取出的關(guān)節(jié)角度與提取出的圖像姿勢(shì)狀態(tài)的關(guān)節(jié)角度的一致度應(yīng)該高，所以如圖15所示，與該關(guān)節(jié)連接的部位軸也幾乎平行。因此，在圖4的步驟S2100中，部位長(zhǎng)度比估計(jì)單元165對(duì)身體限制信息進(jìn)行校正，該校正相當(dāng)于延長(zhǎng)或縮短身體限制信息所規(guī)定的基準(zhǔn)模型482的部位長(zhǎng)度以使其與被攝體481的部位長(zhǎng)度一致。在是圖15的例的情況下，例如，部位長(zhǎng)度比估計(jì)單元165使基準(zhǔn)模型482的從頭部到腰為止的部分的部位長(zhǎng)度向下方延伸，以使在被攝體481與基準(zhǔn)模型482之間腿的位置一致。由此能夠提高部位區(qū)域的估計(jì)、部位候選的估計(jì)、以及姿勢(shì)狀態(tài)的估計(jì)的各自的精度。具體而言，例如，部位長(zhǎng)度比估計(jì)單元165使用被攝體的第m部位的部位長(zhǎng)度乜和基準(zhǔn)模型的第m部位的部位長(zhǎng)度lcm，并利用以下的式(I)計(jì)算第m部位的部位長(zhǎng)度比rm = lm/lcm......(I)而且，部位長(zhǎng)度比估計(jì)單元165基于各部位長(zhǎng)度比rm校正身體限制信息存儲(chǔ)單元110的身體限制信息。也就是說(shuō)，部位長(zhǎng)度比估計(jì)單元165校正身體限制信息以使身體限制信息所示的各部位長(zhǎng)度Icm與乘以對(duì)應(yīng)于當(dāng)前的值的部位長(zhǎng)度比后的值一致。具體而言，部位長(zhǎng)度比估計(jì)單元165例如在部位區(qū)域?qū)?yīng)表460 (參照?qǐng)D11)中記述的部位的區(qū)域464中，將其圓的半徑校正為對(duì)基準(zhǔn)模型的情況下的半徑乘以部位長(zhǎng)度比所得的值。此外，優(yōu)選的是，部位長(zhǎng)度比估計(jì)單元165也對(duì)基準(zhǔn)比姿勢(shì)數(shù)據(jù)庫(kù)163的基準(zhǔn)模型信息，進(jìn)行與對(duì)身體限制信息進(jìn)行的校正相對(duì)應(yīng)的內(nèi)容的校正。由此，在被攝體相同的期間，能夠通過(guò)最初的一次校正而完成對(duì)身體限制信息的校正處理。此外，部位長(zhǎng)度比估計(jì)單元165也可以直接使用計(jì)算出的被攝體的部位長(zhǎng)度乜來(lái)校正身體限制信息存儲(chǔ)單元110的身體限制信息。但是，存在表現(xiàn)與身體限制信息的部位長(zhǎng)度相當(dāng)?shù)膮?shù)的二維坐標(biāo)系與基準(zhǔn)模型二維信息的二維坐標(biāo)系不一致的情況，或與身體限制信息的部位長(zhǎng)度相當(dāng)?shù)膮?shù)是三維坐標(biāo)系的值的情況。在這些情況下，與二維坐標(biāo)系的長(zhǎng)度即部位長(zhǎng)度Im相比，部位長(zhǎng)度比rm更適合于運(yùn)算。然后，在步驟S2200中，部位區(qū)域估計(jì)單元130判斷是否通過(guò)用戶操作等收到處理結(jié)束指示。在沒有處理結(jié)束的指示的情況下(S2200:“否”)，部位區(qū)域估計(jì)單元130返回到步驟S1100，且移至對(duì)下一靜態(tài)圖像的處理。另外，在存在處理結(jié)束的指示的情況下(S2200 是”)，部位區(qū)域估計(jì)單元130結(jié)束一系列的處理。通過(guò)這樣的動(dòng)作，物體檢測(cè)裝置100能夠從圖像數(shù)據(jù)提取被攝體的關(guān)節(jié)的角度，估計(jì)被攝體的各部位的部位長(zhǎng)度比，從而提高姿勢(shì)狀態(tài)估計(jì)的精度。此外，姿勢(shì)狀態(tài)估計(jì)單元150也可以在經(jīng)過(guò)使身體限制信息的內(nèi)容與被攝體的體格一致的充分的時(shí)間后，進(jìn)行姿勢(shì)狀態(tài)的估計(jì)，或進(jìn)行估計(jì)結(jié)果的輸出。由此，能夠提高姿勢(shì)狀態(tài)估計(jì)的估計(jì)結(jié)果的可靠性。另外，部位長(zhǎng)度比估計(jì)單元165也可以使用根據(jù)數(shù)幀的量的圖像數(shù)據(jù)得到的部位長(zhǎng)度比的平均值，對(duì)身體限制信息進(jìn)行校正。由此，能夠提高姿勢(shì)狀態(tài)估計(jì)相對(duì)于從各圖像數(shù)據(jù)提取的信息偏差的魯棒性。另外，也可以構(gòu)成為，部位長(zhǎng)度比估計(jì)單元165只利用被攝體處于能夠高精度地檢測(cè)部位長(zhǎng)度的特定姿勢(shì)狀態(tài)時(shí)的部位長(zhǎng)度比，進(jìn)行身體限制信息的校正。由此，能夠進(jìn)一步提高姿勢(shì)狀態(tài)的估計(jì)精度。如上所述，本實(shí)施方式的物體檢測(cè)裝置100從圖像數(shù)據(jù)提取被攝體的關(guān)節(jié)的角度，并估計(jì)被攝體的各部位的部位長(zhǎng)度比，所以能夠根據(jù)圖像數(shù)據(jù)高精度地檢測(cè)有關(guān)該圖像數(shù)據(jù)中包含的人的信息。另外，物體檢測(cè)裝置100能夠基于被攝體的部位長(zhǎng)度比，校正用于姿勢(shì)狀態(tài)估計(jì)的身體限制信息，以使其與體格或姿勢(shì)符合，所以能夠抑制體格的個(gè)人差或姿勢(shì)的差異對(duì)姿勢(shì)狀態(tài)估計(jì)造成的影響。另外，由此，物體檢測(cè)裝置100無(wú)需事先準(zhǔn)備平均體格的模型或每個(gè)受驗(yàn)者的體格的模型等特別的基準(zhǔn)模型而能夠進(jìn)行高精度的姿勢(shì)狀態(tài)估計(jì)。此外，物體檢測(cè)裝置100也可以只對(duì)具體指定的某個(gè)姿勢(shì)狀態(tài)進(jìn)行估計(jì)，作為估計(jì)結(jié)果輸出是否屬于所指定的姿勢(shì)狀態(tài)。另外，用于物體檢測(cè)的圖像數(shù)據(jù)也可以是由立體相機(jī)或多個(gè)相機(jī)拍攝的圖像的數(shù)據(jù)。在使用立體相機(jī)的圖像數(shù)據(jù)的情況下，物體檢測(cè)裝置100也可以使用由單側(cè)相機(jī)拍攝的圖像數(shù)據(jù)和根據(jù)立體相機(jī)的設(shè)置參數(shù)得到的被攝體的位置信息。另外，在使用多個(gè)相機(jī)的圖像數(shù)據(jù)的情況下，物體檢測(cè)裝置100也可以使用由這些相機(jī)中的一臺(tái)相機(jī)拍攝的圖像數(shù)據(jù)和根據(jù)各相機(jī)的設(shè)置參數(shù)得到的被攝體的位置信息。另外，在基準(zhǔn)部位的位置及朝向已知的情況或被指定的情況下，部位區(qū)域估計(jì)單元130也可以不進(jìn)行上述的基準(zhǔn)部位估計(jì)處理。另外，例如在人的步行方向已確定、基準(zhǔn)部位的朝向大致固定的情況下，部位區(qū)域估計(jì)單元130也可以預(yù)先保持身體的朝向信息。另外，部位區(qū)域估計(jì)單元130進(jìn)行的部位區(qū)域的估計(jì)的方法不限于上述的例。例如，部位區(qū)域估計(jì)單元130也可以從圖像數(shù)據(jù)提取圖像的邊緣部分(以下簡(jiǎn)稱為“邊緣”)，基于由邊緣包圍的區(qū)域的Y坐標(biāo)的值的范圍估計(jì)各部位區(qū)域。具體而言，例如部位區(qū)域估計(jì)單元130以如下方式進(jìn)行估計(jì):在由邊緣包圍的區(qū)域內(nèi)，將從Y坐標(biāo)的值最高的位置起20%的區(qū)域估計(jì)為頭部的部位區(qū)域。同樣，例如部位區(qū)域估計(jì)單元130將15% 65%的區(qū)域估計(jì)為軀體的部位區(qū)域、將55% 85%的區(qū)域估計(jì)為大腿的部位區(qū)域、將75% 100%的區(qū)域估計(jì)為小腿的部位區(qū)域。在這種情況下，與各區(qū)域的百分比對(duì)應(yīng)的值成為身體限制信息。另外，部位區(qū)域估計(jì)單元130也可以通過(guò)在基礎(chǔ)的動(dòng)態(tài)圖像數(shù)據(jù)中的圖像間取背景差分來(lái)提取動(dòng)體，且將包含提取到的區(qū)域的區(qū)域整體作為各部位的部位區(qū)域的候選。由此，能夠?qū)崿F(xiàn)估計(jì)部位區(qū)域時(shí)的處理的高速化。另外，物體檢測(cè)裝置100也可以按距基準(zhǔn)部位從近到遠(yuǎn)的順序一個(gè)一個(gè)地估計(jì)部位的位置，重復(fù)進(jìn)行基于估計(jì)出的位置估計(jì)下一部位的部位區(qū)域的處理，從而估計(jì)各關(guān)注部位的部位區(qū)域。另外，物體檢測(cè)裝置100也可以不必進(jìn)行部位區(qū)域估計(jì)。在這種情況下，部位候選提取單元140對(duì)圖像的所有區(qū)域均一地進(jìn)行似然值的計(jì)算。另外，在將與學(xué)習(xí)似然圖的基礎(chǔ)的圖像的光軸方向有關(guān)的信息與該學(xué)習(xí)似然圖對(duì)應(yīng)關(guān)聯(lián)的情況下，姿勢(shì)狀態(tài)估計(jì)單元150也可以將與單眼相機(jī)200的設(shè)置角度0對(duì)應(yīng)的學(xué)習(xí)似然圖作為比較對(duì)象。另外，姿勢(shì)狀態(tài)估計(jì)單元150進(jìn)行的姿勢(shì)狀態(tài)估計(jì)的方法不限于上述例。例如，姿勢(shì)狀態(tài)估計(jì)單元150也可以不是使用學(xué)習(xí)似然圖，而是使用基準(zhǔn)比姿勢(shì)數(shù)據(jù)庫(kù)163的基準(zhǔn)模型信息進(jìn)行姿勢(shì)狀態(tài)的估計(jì)。另外，在能夠通過(guò)無(wú)線標(biāo)簽等識(shí)別被攝體的情況下，物體檢測(cè)裝置100也可以按每個(gè)被攝體保持身體限制信息來(lái)進(jìn)行姿勢(shì)估計(jì)或身體限制信息的校正等處理。由此，物體檢測(cè)裝置100能夠?qū)Υ谝粋€(gè)畫面中包含多個(gè)被攝體的情況。另外，在對(duì)相同被攝體進(jìn)行兩次以上檢測(cè)時(shí)，在第二次以后的檢測(cè)中，能夠提前得到高的檢測(cè)精度。另外，物體檢測(cè)裝置100也可以基于關(guān)節(jié)位置估計(jì)被攝體的姿勢(shì)狀態(tài)。以下，說(shuō)明一例基于關(guān)節(jié)位置的姿勢(shì)狀態(tài)估計(jì)?；鶞?zhǔn)比關(guān)節(jié)位置獲取單元164基于從關(guān)節(jié)角度提取單元161輸入的關(guān)節(jié)角度，提取關(guān)節(jié)角度近似的多個(gè)圖像姿勢(shì)狀態(tài)，作為被攝體的圖像姿勢(shì)狀態(tài)的候選。然后，基準(zhǔn)比關(guān)節(jié)位置獲取單元164使作為各圖像姿勢(shì)狀態(tài)的基準(zhǔn)的一個(gè)關(guān)節(jié)的關(guān)節(jié)位置與根據(jù)被攝體估計(jì)的相同的關(guān)節(jié)的關(guān)節(jié)位置一致。具體而言，進(jìn)行如下處理。在此，將右肩關(guān)節(jié)設(shè)為作為基準(zhǔn)的關(guān)節(jié)，并設(shè)被攝體的右肩關(guān)節(jié)的關(guān)節(jié)位置為(xa，ya)，第p圖像姿勢(shì)狀態(tài)的右肩關(guān)節(jié)的位置為(xbp，ybp)。此時(shí)，基準(zhǔn)比關(guān)節(jié)位置獲取單元164使第p圖像姿勢(shì)狀態(tài)的各關(guān)節(jié)位置平行移動(dòng)(xa_xbp，ya-ybp)。然后，與部位長(zhǎng)度比估計(jì)單元165同樣地，基準(zhǔn)比關(guān)節(jié)位置獲取單元164對(duì)作為基準(zhǔn)的部位(例如肩部)計(jì)算與第P圖像姿勢(shì)狀態(tài)相對(duì)的部位長(zhǎng)度比rp。S卩，部位長(zhǎng)度比rp是表示體格之比的值。此外，例如，在部位候選提取單元140提取出的部位候選中，可求根據(jù)被攝體估計(jì)的關(guān)節(jié)位置。而且，基準(zhǔn)比關(guān)節(jié)位置獲取單元164使用計(jì)算出的部位長(zhǎng)度比rp使各圖像姿勢(shì)狀態(tài)的基準(zhǔn)模型的體格與被攝體的體格一致。具體而言，進(jìn)行如下處理。在將第P圖像姿勢(shì)狀態(tài)的第q關(guān)節(jié)的平行移動(dòng)前的關(guān)節(jié)位置設(shè)為(xM，yM)時(shí)，基準(zhǔn)比關(guān)節(jié)位置獲取單元164例如使用以下的式(2)計(jì)算使體格一致后的各關(guān)節(jié)位置(Xpt/，yp(/ )。(Xpt/ , Ypq1 ) = ({xpq-xa+xbp}rp, {ypq-ya+ybp} rp)......(2)而且，基準(zhǔn)比關(guān)節(jié)位置獲取單元164使用使體格一致后的各關(guān)節(jié)位置(xp/，Yp/ )，對(duì)每個(gè)圖像姿勢(shì)狀態(tài)計(jì)算各部位的位置、軸方向以及部位長(zhǎng)度。然后，基準(zhǔn)比關(guān)節(jié)位置獲取單元164對(duì)每個(gè)部位求包含該部位軸的像素的似然值的總和。似然值例如是上述的估計(jì)似然圖的值。另外，基準(zhǔn)比關(guān)節(jié)位置獲取單元164既可以使用關(guān)于距部位軸的距離為規(guī)定的范圍內(nèi)的區(qū)域的似然值的總和，也可以使用關(guān)于以部位軸為長(zhǎng)軸的橢圓區(qū)域的似然值的總和。而且，基準(zhǔn)比關(guān)節(jié)位置獲取單元164將關(guān)于全部部位的似然值的總和最高的圖像姿勢(shì)狀態(tài)確定為被攝體的圖像姿勢(shì)狀態(tài)。從而，與所確定的圖像姿勢(shì)狀態(tài)對(duì)應(yīng)的基準(zhǔn)模型二維信息表示圖像上的被攝體的關(guān)節(jié)位置。另外，作為該基準(zhǔn)模型二維信息的基礎(chǔ)的基準(zhǔn)模型三維信息表示三維坐標(biāo)系中的被攝體的關(guān)節(jié)位置。以上，結(jié)束對(duì)基于關(guān)節(jié)位置的姿勢(shì)狀態(tài)估計(jì)的說(shuō)明。另外，物體檢測(cè)裝置100也可以將作為物體檢測(cè)結(jié)果而輸出的姿勢(shì)狀態(tài)設(shè)為只基于關(guān)節(jié)角度估計(jì)出的姿勢(shì)狀態(tài)。此時(shí)，物體檢測(cè)裝置100例如將基準(zhǔn)比關(guān)節(jié)位置獲取單元164估計(jì)出的姿勢(shì)狀態(tài)作為被攝體的姿勢(shì)狀態(tài)輸出。另外，在這種情況下，在能夠獲取被攝體的關(guān)節(jié)角度作為三維空間中的角度的情況下，物體檢測(cè)裝置100也可以使用三維空間中的各關(guān)節(jié)的關(guān)節(jié)角度來(lái)估計(jì)圖像姿勢(shì)狀態(tài)，進(jìn)行關(guān)節(jié)位置的比較。由此，可以將基準(zhǔn)模型信息設(shè)為對(duì)每個(gè)姿勢(shì)狀態(tài)只是記述了關(guān)節(jié)角度的內(nèi)容。另外，本發(fā)明的適用不限于人的姿勢(shì)狀態(tài)估計(jì)。例如也可以將本發(fā)明適用于被攝體的體格的檢測(cè)、基于體格的年齡、性別、人種等屬性的檢測(cè)、機(jī)器人等具有通過(guò)關(guān)節(jié)連接的多個(gè)部位的各種物體的姿勢(shì)狀態(tài)檢測(cè)等。以下，作為本發(fā)明實(shí)施方式2，說(shuō)明還使用凹凸映射圖進(jìn)行姿勢(shì)估計(jì)的例。這里，凹凸映射圖是指利用凹凸對(duì)映于圖像中的被攝體的面進(jìn)行劃分而得到的映射圖。(實(shí)施方式2)圖16是表示本發(fā)明實(shí)施方式2的物體檢測(cè)裝置的主要部分結(jié)構(gòu)的框圖，是與實(shí)施方式I的圖1的物體檢測(cè)裝置100對(duì)應(yīng)的圖。此外，在圖16中，對(duì)于與圖1共同的結(jié)構(gòu)部分賦予與圖1相同的標(biāo)號(hào)，并省略說(shuō)明。圖16的物體檢測(cè)裝置IOOa中，除了圖1的結(jié)構(gòu)以外，還具有凹凸映射圖估計(jì)單元145a。另外，物體檢測(cè)裝置IOOa具有姿勢(shì)狀態(tài)估計(jì)單元150a及物體檢測(cè)單元160a代替圖1的姿勢(shì)狀態(tài)估計(jì)單元150及物體檢測(cè)單元160。凹凸映射圖估計(jì)單元145a生成各部位的凹凸映射圖。更具體而言，凹凸映射圖估計(jì)單元145a從部位候選提取單元140輸入估計(jì)似然圖及圖像數(shù)據(jù)。而且，凹凸映射圖估計(jì)單兀145a基于所輸入的信息生成凹凸映射圖，將所生成的凹凸映射圖輸出到姿勢(shì)狀態(tài)估計(jì)單元150a。凹凸映射圖的生成方法的細(xì)節(jié)將后述。下面，將根據(jù)圖像數(shù)據(jù)生成的凹凸映射圖稱為“估計(jì)凹凸映射圖”。除了學(xué)習(xí)似然圖以外，姿勢(shì)狀態(tài)估計(jì)單元150a還對(duì)每個(gè)姿勢(shì)狀態(tài)預(yù)先保持根據(jù)處于該姿勢(shì)狀態(tài)的基準(zhǔn)模型學(xué)習(xí)得到的凹凸映射圖(以下稱為“學(xué)習(xí)凹凸映射圖”)。而且，除了估計(jì)似然圖與學(xué)習(xí)似然圖之間的一致度以外，姿勢(shì)狀態(tài)估計(jì)單元150a還基于估計(jì)凹凸映射圖與學(xué)習(xí)凹凸映射圖之間的一致度，進(jìn)行被攝體的姿勢(shì)狀態(tài)的估計(jì)。即，除了實(shí)施方式I的動(dòng)作以外，姿勢(shì)狀態(tài)估計(jì)單元150a還進(jìn)行估計(jì)凹凸映射圖與學(xué)習(xí)凹凸映射圖之間的匹配。物體檢測(cè)單元160a對(duì)于無(wú)法根據(jù)部位軸估計(jì)其位置的關(guān)節(jié)，基于估計(jì)凹凸映射圖進(jìn)行其位置的估計(jì)。圖17是表示一例物體檢測(cè)單元160a的結(jié)構(gòu)的框圖，是與實(shí)施方式I的圖3對(duì)應(yīng)的圖。對(duì)于與圖3相同的部分賦予相同的標(biāo)號(hào)，并省略其說(shuō)明。如圖17所示,物體檢測(cè)單元160a還具有關(guān)節(jié)位置估計(jì)單元166a。關(guān)節(jié)位置估計(jì)單元166a從凹凸映射圖估計(jì)單元145a輸入估計(jì)凹凸映射圖，對(duì)于無(wú)法提取關(guān)節(jié)位置的關(guān)節(jié)，根據(jù)輸入的估計(jì)凹凸映射圖估計(jì)關(guān)節(jié)位置。更具體而言，關(guān)節(jié)位置估計(jì)單元166a例如從部位軸的始點(diǎn)到終點(diǎn)，按順序，參照部位軸上的像素位置的估計(jì)凹凸映射圖的值，提取估計(jì)凹凸映射圖的值發(fā)生變化的位置，作為關(guān)節(jié)位置。然后，關(guān)節(jié)位置估計(jì)單元166a將求出的關(guān)節(jié)位置(即估計(jì)關(guān)節(jié)位置)與其標(biāo)識(shí)符一起輸出到部位長(zhǎng)度比估計(jì)單元165。無(wú)法提取關(guān)節(jié)位置的關(guān)節(jié)例如是在相鄰的部位之間部位軸的角度相同的情況。本實(shí)施方式的物體檢測(cè)單元160a通過(guò)使用凹凸映射圖，能夠在部位軸的角度相同的情況下提取關(guān)節(jié)位置。首先，說(shuō)明凹凸映射圖。凹凸映射圖估計(jì)單元145a根據(jù)圖像上的部位的明亮度信息，估計(jì)部位的面的朝向。關(guān)節(jié)位置估計(jì)單元166a通過(guò)將凹凸映射圖所示的面相等的一個(gè)區(qū)域估計(jì)為一個(gè)部位的區(qū)域，由此進(jìn)行關(guān)節(jié)位置的估計(jì)。在此，明亮度例如是亮度的等級(jí)，明亮度信息是表示亮度或亮度的等級(jí)的信息。圖18是用于說(shuō)明人的姿勢(shì)和各部位的明亮度之間的關(guān)系的圖。圖18A所示的第一姿勢(shì)與圖18B所示的第二姿勢(shì)盡管是不同的姿勢(shì)，但是如圖18C所示，從正面觀看時(shí)的剪影相同。此時(shí)，如果只是根據(jù)由正面圖像的邊緣構(gòu)成的區(qū)域信息，則無(wú)法正確估計(jì)對(duì)象人物的姿勢(shì)是第一姿勢(shì)還是第二姿勢(shì)。例如，根據(jù)圖18C所示的剪影，可知右臂的長(zhǎng)度比左臂的長(zhǎng)度短，所以可以推測(cè)右肘彎曲著的可能性高。然而，滿足身體限制的彎曲方式中存在變化形式。另外，如圖18A和圖18B所示，右臂整體的角度也存在變化形式。另外，例如，根據(jù)圖18C所示的剪影，可知左腳的長(zhǎng)度比左臂的長(zhǎng)度短，所以可以推測(cè)左膝有可能彎曲著。但是，如圖18A和圖18B所75,會(huì)存在左膝彎曲著的情況和伸著的情況。只要能夠估計(jì)上臂與前臂之間的劃分點(diǎn)和大腿與小腿之間的劃分點(diǎn)的位置(即，關(guān)節(jié))，就能夠估計(jì)對(duì)象人物的姿勢(shì)是上述的變化形式的哪種。然而，在是如圖18C所示那樣臂和腿看上去是直線的姿勢(shì)的情況下，如果只是根據(jù)由邊緣構(gòu)成的區(qū)域信息，即使使用身體限制，也難以估計(jì)這樣的劃分點(diǎn)的位置。因此，為了對(duì)待如果只是根據(jù)這樣的區(qū)域信息則無(wú)法確定關(guān)節(jié)位置的姿勢(shì)，物體檢測(cè)裝置IOOa除了使用區(qū)域信息以外，還使用明亮度信息來(lái)估計(jì)部位區(qū)域。圖18D是用濃度表示以來(lái)自上方的自然光為光源時(shí)的、從正面拍攝第一姿勢(shì)的情況下的各部位的明亮度的圖。圖18E是用濃度表示以來(lái)自上方的自然光為光源時(shí)的、從正面拍攝第二姿勢(shì)的情況下的各部位的明亮度的圖。這里表示，濃度越高則明亮度越低(越暗)。另外，作為明亮度，按照從暗到亮的等級(jí)的順序，定義了 “_2，_1，0，1，2”這5個(gè)階段的等級(jí)。等級(jí)“O ”例如是與地面垂直方向的面的明亮度的等級(jí)。
對(duì)于圖像的各區(qū)域的明亮度等級(jí)，越朝向上的面的區(qū)域越明亮，相反，越朝向下的面的區(qū)域越暗。例如，如圖18D及圖18E所示，在第一及第二姿勢(shì)兩者中，頭、軀干、左臂的區(qū)域的等級(jí)為“0”，右腿的區(qū)域是稍暗的等級(jí)“-1”。在第一姿勢(shì)中，右上臂垂直下垂，右前臂向前伸著，所以如圖18D所示，右上臂的區(qū)域的等級(jí)為“0”，右前臂的區(qū)域的等級(jí)為“2”。相對(duì)于此，在第二姿勢(shì)中，右上臂向后擺，右前臂下垂，因此如圖18E所示，右上臂的區(qū)域的等級(jí)為“_2”，右前臂的區(qū)域的等級(jí)為“2”。另外，在第一姿勢(shì)中，左腿整體向前伸著，所以如圖18D所示，左大腿及左下腿的區(qū)域的等級(jí)為“ I ”。相對(duì)于此，在第二姿勢(shì)中，左大腿向上抬，左小腿朝后，因此，如圖18E所示，左大腿的區(qū)域的等級(jí)為“2”，左小腿的區(qū)域的等級(jí)為“_2”。這樣，各部位能夠作為相同明亮度的面被捕捉。因此，根據(jù)圖像上的部位的明亮度信息估計(jì)部位的面的朝向，而且，能夠?qū)⒃摬课坏拿娴某虬l(fā)生變化的位置推測(cè)為關(guān)節(jié)位置。即，通過(guò)使用明亮度信息，即使在根據(jù)區(qū)域信息獲得的角度相等的部位(剪影呈直線狀延伸的連續(xù)的多個(gè)部位、部位的直線平行的多個(gè)部位)之間也能夠估計(jì)(提取)關(guān)節(jié)位置。接著，使用圖19的處理流程，說(shuō)明如以上那樣構(gòu)成的物體檢測(cè)裝置IOOa的動(dòng)作。此外，在圖19中，對(duì)與實(shí)施方式I的圖4共同的步驟，賦予與圖4相同的步驟編號(hào)，并省略其說(shuō)明。生成估計(jì)似然圖(S1400)后，處理進(jìn)至S1410a。在S1410a中，凹凸映射圖估計(jì)單元145a進(jìn)行估計(jì)凹凸映射圖生成處理。估計(jì)凹凸映射圖生成處理是根據(jù)在SllOO中所獲取的圖像數(shù)據(jù)和在S1400中所生成的估計(jì)似然圖生成估計(jì)凹凸映射圖的處理。圖20是表示凹凸映射圖生成處理(圖19的步驟S1410a)的處理流程的圖。對(duì)于估計(jì)凹凸映射圖的每個(gè)像素的信息，例如，在將部位k的似然表示為pk，存在n個(gè)部位的情況下,成為凹凸矢量Oij = [pi, p2,…，pk,，pn]這樣的數(shù)據(jù)結(jié)構(gòu)。pk是二進(jìn)制信息，Pk的值例如采取表示不可能為部位k的“0”和表示有可能為部位k的“I”中的任一個(gè)值。在S3100a中，凹凸映射圖估計(jì)單元145a選擇一個(gè)作為處理對(duì)象的部位。在本實(shí)施方式中，作為估計(jì)對(duì)象的關(guān)節(jié)位置為右肘。此時(shí)，凹凸映射圖估計(jì)單元145a將右臂設(shè)為凹凸映射圖生成處理的對(duì)象，首先，選擇最遠(yuǎn)離主干部位的右前臂。然后，在S3200a中，凹凸映射圖估計(jì)單元145a從S1400中生成的估計(jì)似然圖中，獲取S3100a中選擇的部位的區(qū)域(以后，稱為部位似然區(qū)域)。在此，提取估計(jì)似然圖上的右前臂的似然超過(guò)規(guī)定閾值的像素，將其作為右前臂的部位似然區(qū)域。然后，在S3300a中，凹凸映射圖估計(jì)單元145a從S1100中獲取的圖像數(shù)據(jù)中，提取S3200a中提取的部位似然區(qū)域的明亮度信息。例如能夠通過(guò)轉(zhuǎn)換成灰度(黑白灰度等級(jí)的)圖像來(lái)提取明亮度信息，上述灰度圖像是從構(gòu)成圖像數(shù)據(jù)的各像素的RGB值中僅提取亮度(像素的明亮度)所得的圖像。接著，在S3400a中，凹凸映射圖估計(jì)單元145a使用明亮度的閾值，對(duì)S3300a中求出的部位似然區(qū)域的明亮度信息進(jìn)行分組。凹凸映射圖估計(jì)單元145a可以將明亮度的閾值設(shè)為預(yù)先設(shè)定的固定值，也可以動(dòng)態(tài)地設(shè)定明亮度的閾值。在此，說(shuō)明動(dòng)態(tài)地設(shè)定閾值的方法的一例。圖21是用于說(shuō)明使用了右前臂的身體限制的區(qū)域分類的方法的圖。為了簡(jiǎn)化說(shuō)明，設(shè)為軀干僅包含右臂而進(jìn)行說(shuō)明。在圖19的步驟S1200中，例如，以估計(jì)出的右肩位置500a為基準(zhǔn)，估計(jì)頭肩區(qū)域與連接于該頭肩區(qū)域的軀干區(qū)域501a。此時(shí)，有可能存在右上臂和右前臂的區(qū)域?yàn)閰^(qū)域502a，僅可能存在右前臂的區(qū)域?yàn)閰^(qū)域503a。例如，能夠根據(jù)圖11所示的部位區(qū)域?qū)?yīng)表計(jì)算區(qū)域502b、503b。凹凸映射圖估計(jì)單元145a首先從右前臂的部位似然區(qū)域中的僅可能存在右前臂的區(qū)域503a中，提取存在于該區(qū)域中的像素的亮度值(明亮度信息)。而且，若將對(duì)象像素的總數(shù)m的a%設(shè)為n個(gè)，則凹凸映射圖估計(jì)單元145a從已提取的亮度值的數(shù)據(jù)中，從最小的數(shù)據(jù)起依序去除n個(gè)數(shù)據(jù)，并從最大的數(shù)據(jù)起依序去除n個(gè)數(shù)據(jù)。進(jìn)而，凹凸映射圖估計(jì)單元145a將去除了上述2n個(gè)數(shù)據(jù)后的數(shù)據(jù)(數(shù)據(jù)的數(shù)量為m-2n)的最小值和最大值作為右前臂的明亮度信息的閾值(作為右前臂進(jìn)行處理的亮度值的范圍的上限值與下限值)。此處，a為預(yù)先設(shè)定的值。而且，凹凸映射圖估計(jì)單元145a例如對(duì)右前臂的部位似然區(qū)域中的符合該閾值(即，處于作為右前臂進(jìn)行處理的亮度值的范圍內(nèi))的像素的凹凸矢量Oij中的表示右前臂的值，設(shè)定表示有可能為右前臂的值(例如I)。這樣，凹凸映射圖估計(jì)單元145a僅使用根據(jù)身體限制而僅存在右前臂的部位似然區(qū)域的明亮度信息設(shè)定亮度值的閾值。由此，凹凸映射圖估計(jì)單元145a能夠不受其他部位的影響地確定具有右前臂的明亮度信息的像素。凹凸映射圖估計(jì)單元145a首先從右前臂的部位似然區(qū)域中的僅可能存在右前臂的區(qū)域503a中，提取存在于該區(qū)域中的像素的亮度值(明亮度信息)。然后，凹凸映射圖估計(jì)單元145a從已提取的亮度值的數(shù)據(jù)中，刪除與在上一步驟中求出的右前臂的明亮度信息的閾值符合的數(shù)據(jù)。接著，將剩余的亮度值的數(shù)據(jù)的總數(shù)P的b%設(shè)為q個(gè)，則凹凸映射圖估計(jì)單元145a從已提取的亮度值的數(shù)據(jù)中，從最小的數(shù)據(jù)起依序去除q個(gè)數(shù)據(jù)，并從最大的數(shù)據(jù)起依序去除q個(gè)數(shù)據(jù)。進(jìn)而，凹凸映射圖估計(jì)單元145a將去除了上述2q個(gè)數(shù)據(jù)后的數(shù)據(jù)(數(shù)據(jù)的數(shù)量為p_2q)的最小值和最大值作為右上臂的明亮度信息的閾值(作為右前臂進(jìn)行處理的亮度值的范圍的上限值與下限值)。此處，b的值為預(yù)先設(shè)定的值。然后，凹凸映射圖估計(jì)單元145a例如對(duì)右前臂的部位似然區(qū)域中的符合該閾值(即，處于作為右上臂進(jìn)行處理的亮度值的范圍內(nèi))的像素的凹凸矢量Oij的表示右上臂的值，設(shè)為表示有可能為右上臂的值(例如I)。這樣，凹凸映射圖估計(jì)單元145a從根據(jù)身體限制而僅存在右上臂與右前臂的部位似然區(qū)域的明亮度信息的數(shù)據(jù)中，去除作為右前臂進(jìn)行處理的亮度值的范圍內(nèi)的數(shù)據(jù)，來(lái)設(shè)定閾值。由此，凹凸映射圖估計(jì)單元145a能夠不受其他部位的影響而確定具有右上臂的明売度"[目息的像素，且能夠聞精度地確定具有右上臂的明売度"[目息的像素。這樣，凹凸映射圖估計(jì)單元145a從遠(yuǎn)離主干部位的部位起，使用僅存在該部位的區(qū)域的明亮度信息依次設(shè)定明亮度信息的閾值，對(duì)每個(gè)部位的明亮度信息進(jìn)行分組來(lái)估計(jì)區(qū)域。此外，也會(huì)有以下的情況:在僅可能存在右前臂的區(qū)域503a中無(wú)右前臂的部位似然區(qū)域。在這種情況下，凹凸映射圖估計(jì)單元145a例如也可以進(jìn)行以下的處理:在右前臂和右上臂的部位似然區(qū)域中，提取存在于僅可能存在右上臂和右前臂的區(qū)域502a的像素的亮度信息，并分成右前臂和右上臂這兩組的處理。而且，凹凸映射圖估計(jì)單元145a例如使用大津二值化設(shè)定上述閾值。由此，凹凸映射圖估計(jì)單元145a即使在僅可能存在右前臂的區(qū)域503a中無(wú)右前臂的部位似然區(qū)域的情況下，仍能夠設(shè)定右上臂和右前臂的明亮度信息的閾值。另外，也會(huì)有以下的情況:在僅可能存在右前臂的區(qū)域503a中設(shè)定右前臂的明亮度信息后，盡管是僅可能存在右上臂和右前臂的區(qū)域502a，但是因?yàn)闆]有與右前臂不同的明亮度信息的像素，所以無(wú)法設(shè)定與右前臂不同的閾值。在這種情況下，凹凸映射圖估計(jì)單元145a例如也可以對(duì)右上臂的明亮度信息設(shè)定與右前臂相同的值。由此，即使在右上臂和右前臂的面的朝向相似的情況下(在筆直地伸出的情況下)，凹凸映射圖估計(jì)單元145a仍能夠設(shè)定右上臂的明亮度信息。在圖20的S3500a中，凹凸映射圖估計(jì)單元145a判斷是否已對(duì)成為凹凸映射圖生成處理對(duì)象的所有部位進(jìn)行了處理。例如在還對(duì)左臂生成估計(jì)凹凸映射圖的情況下，凹凸映射圖估計(jì)單元145a返回到S3100a，對(duì)左臂進(jìn)行與右臂相同的處理。然后，凹凸映射圖估計(jì)單元145a將所生成的估計(jì)凹凸映射圖輸出到姿勢(shì)狀態(tài)估計(jì)單元150a及關(guān)節(jié)位置估計(jì)單元166a。在圖19的S1500a中，姿勢(shì)狀態(tài)估計(jì)單元150a進(jìn)行學(xué)習(xí)似然圖和估計(jì)似然圖之間的匹配，之后，進(jìn)行學(xué)習(xí)凹凸映射圖和估計(jì)凹凸映射圖之間的匹配。然后，姿勢(shì)狀態(tài)估計(jì)單元150a與實(shí)施方式I同樣地判斷估計(jì)似然圖是否與任一學(xué)習(xí)似然圖一致。更具體而言，姿勢(shì)狀態(tài)估計(jì)單元150a在凹凸映射圖的似然值是二進(jìn)制的情況下，在估計(jì)凹凸映射圖和學(xué)習(xí)凹凸映射圖之間，對(duì)每個(gè)像素，評(píng)價(jià)似然的一致度。例如，姿勢(shì)狀態(tài)估計(jì)單元150a對(duì)于全部像素對(duì)標(biāo)識(shí)符一致的像素進(jìn)行計(jì)數(shù)，并將計(jì)數(shù)值最大的學(xué)習(xí)凹凸映射圖判斷為與估計(jì)凹凸映射圖之間的一致度高。此外，與似然圖同樣，在尺寸不同的情況下，姿勢(shì)狀態(tài)估計(jì)單元150a也可以在進(jìn)行對(duì)圖像區(qū)域的放大縮小處理后進(jìn)行匹配。如圖18中說(shuō)明的那樣，可能有雖然學(xué)習(xí)似然圖相同但學(xué)習(xí)凹凸映射圖不同的姿勢(shì)狀態(tài)。因此，不只是學(xué)習(xí)似然圖，還進(jìn)行與學(xué)習(xí)凹凸映射圖之間的匹配，由此，能夠進(jìn)行更準(zhǔn)確的姿勢(shì)狀態(tài)估計(jì)。在此，在學(xué)習(xí)似然圖和學(xué)習(xí)凹凸映射圖都不同的情況下，人物的二維的剪影不同且部位的凹凸也不同，所以能夠判斷為三維姿勢(shì)不同。而且，在提取出關(guān)節(jié)角度后(S1700)，在步驟S1710a中，關(guān)節(jié)位置估計(jì)單元166a在相鄰的部位之間判斷軸方向是否不同(即，關(guān)節(jié)角度是否為180度)。在軸方向不同的情況下(S1710a:“是”)，關(guān)節(jié)位置估計(jì)單元166a進(jìn)至步驟S1800。而在軸方向相同的情況下(S1710a 否”)，關(guān)節(jié)位置估計(jì)單元166a進(jìn)至步驟S1720a。這是因?yàn)?，在部位軸的方向相同的情況下，無(wú)法唯一地確定交點(diǎn)，難以根據(jù)部位軸估計(jì)關(guān)節(jié)位置。
在步驟S1720a中，關(guān)節(jié)位置估計(jì)單元166a基于估計(jì)凹凸映射圖估計(jì)關(guān)節(jié)位置，并進(jìn)至步驟S1800。具體而言，關(guān)節(jié)位置估計(jì)單元166a例如從右上臂和右前臂的部位的直線的始點(diǎn)向終點(diǎn)，按順序參照部位軸上的像素位置的凹凸映射圖的值。而且，關(guān)節(jié)位置估計(jì)單元166a提取凹凸映射圖的值發(fā)生變化的像素的位置，作為關(guān)節(jié)位置。在存在多個(gè)符合的像素的情況下，關(guān)節(jié)位置估計(jì)單元166a也可以輸出中央的位置作為關(guān)節(jié)位置。然后，關(guān)節(jié)位置估計(jì)單元166a將求出的關(guān)節(jié)位置(即估計(jì)關(guān)節(jié)位置)和該關(guān)節(jié)的標(biāo)識(shí)符輸出到部位長(zhǎng)度比估計(jì)單元165。部位長(zhǎng)度比估計(jì)單元165基于從關(guān)節(jié)位置提取單元輸入的關(guān)節(jié)位置以及從關(guān)節(jié)位置估計(jì)單元166a輸入的關(guān)節(jié)位置，獲取部位的位置。這樣，本實(shí)施方式的物體檢測(cè)裝置IOOa生成凹凸映射圖，并基于凹凸映射圖來(lái)估計(jì)各關(guān)節(jié)的位置，因此即使在部位的直線的角度相同而連接的部位的線平行的情況下，也能夠求出部位長(zhǎng)度比。而且，由此，能夠提高姿勢(shì)估計(jì)的精度。此外，物體檢測(cè)裝置IOOa還利用凹凸映射圖的匹配，所以能夠進(jìn)一步提高姿勢(shì)估計(jì)的精度。此外，在圖16中，說(shuō)明了將凹凸映射圖估計(jì)單元的結(jié)果輸出到姿勢(shì)狀態(tài)估計(jì)單元150a和物體檢測(cè)單元160a兩者的例子，但也可以只適用于其中之一。2010年12月9日提交的日本專利申請(qǐng)?zhí)卦?010-274674號(hào)中包含的說(shuō)明書、附圖及說(shuō)明書摘要的公開內(nèi)容全部引用于本申請(qǐng)。工業(yè)實(shí)用性本發(fā)明作為能夠根據(jù)圖像數(shù)據(jù)高精度地檢測(cè)與具有關(guān)節(jié)的物體有關(guān)的信息的物體檢測(cè)裝置及物體檢測(cè)方法很有用。
權(quán)利要求
1.物體檢測(cè)裝置，根據(jù)拍攝具有通過(guò)關(guān)節(jié)連接的多個(gè)部位的物體而得到的圖像數(shù)據(jù)，檢測(cè)有關(guān)所述物體的信息，該物體檢測(cè)裝置包括: 關(guān)節(jié)角度提取單元，根據(jù)從所述圖像數(shù)據(jù)獲取的相鄰的兩個(gè)所述部位的位置候選，提取連接所述兩個(gè)部位的關(guān)節(jié)的角度；以及 部位長(zhǎng)度比估計(jì)單元，使用所述關(guān)節(jié)的角度進(jìn)行所述檢測(cè)。
2.如權(quán)利要求1所述的物體檢測(cè)裝置， 所述關(guān)節(jié)角度提取單元根據(jù)所述兩個(gè)部位的位置候選提取所述兩個(gè)部位各自的長(zhǎng)度方向之間的角度，作為連接所述兩個(gè)部位的所述關(guān)節(jié)的角度。
3.如權(quán)利要求2所述的物體檢測(cè)裝置，還包括: 關(guān)節(jié)位置提取單元，根據(jù)所述關(guān)節(jié)的所述角度提取所述關(guān)節(jié)的位置。
4.如權(quán)利要求3所述的物體檢測(cè)裝置， 有關(guān)所述物體的信息包含所述物體的部位的長(zhǎng)度相對(duì)于規(guī)定長(zhǎng)度之比。
5.如權(quán)利要求4所述的物體檢測(cè)裝置，還包括: 部位候選提取單元，使用所述物體的基準(zhǔn)模型的限制信息，從所述圖像數(shù)據(jù)提取所述位置候選；以及 基準(zhǔn)比關(guān)節(jié)位置獲取單元，獲取所述基準(zhǔn)模型的關(guān)節(jié)中的與連接所述兩個(gè)部位的關(guān)節(jié)對(duì)應(yīng)的關(guān)節(jié)的位置， 所述規(guī)定長(zhǎng)度是與所述部位對(duì)應(yīng)的、所述基準(zhǔn)模型的部位的長(zhǎng)度， 所述部位長(zhǎng)度比估計(jì)單元通過(guò)比較所述物體的所述關(guān)節(jié)的位置與所述基準(zhǔn)模型的所述關(guān)節(jié)的位置，估計(jì)有關(guān)所述比的信息，并基于估計(jì)出的所述信息校正所述限制信息。
6.如權(quán)利要求5所述的物體檢測(cè)裝置， 所述基準(zhǔn)比關(guān)節(jié)位置獲取單元基于所述關(guān)節(jié)的角度估計(jì)所述物體的姿勢(shì)狀態(tài)，在與處于估計(jì)出的姿勢(shì)狀態(tài)的所述基準(zhǔn)模型之間進(jìn)行所述比較。
7.如權(quán)利要求1所述的物體檢測(cè)裝置，還包括: 基準(zhǔn)比關(guān)節(jié)位置獲取單元，基于所述關(guān)節(jié)的角度估計(jì)所述物體的姿勢(shì)狀態(tài)。
8.如權(quán)利要求1所述的物體檢測(cè)裝置， 所述物體是人。
9.如權(quán)利要求2所述的物體檢測(cè)裝置，還包括: 凹凸映射圖估計(jì)單元，生成凹凸映射圖，該凹凸映射圖是利用凹凸劃分所述圖像數(shù)據(jù)的圖像中的被攝體的面而得到的映射圖， 所述關(guān)節(jié)位置提取單元至少在根據(jù)所述關(guān)節(jié)的所述角度無(wú)法提取所述關(guān)節(jié)的位置時(shí)，根據(jù)所述凹凸映射圖提取該關(guān)節(jié)的位置。
10.物體檢測(cè)方法，根據(jù)拍攝具有通過(guò)關(guān)節(jié)連接的多個(gè)部位的物體而得到的圖像數(shù)據(jù)，檢測(cè)與所述物體有關(guān)的信息，該物體檢測(cè)方法包括: 根據(jù)從所述圖像數(shù)據(jù)獲取的相鄰的兩個(gè)所述部位的位置候選，提取連接所述兩個(gè)部位的關(guān)節(jié)的角度的步驟；以及 使用所述關(guān)節(jié)的角度進(jìn)行所述檢測(cè)的步驟。
全文摘要
本發(fā)明提供能夠根據(jù)圖像數(shù)據(jù)高精度地檢測(cè)與具有關(guān)節(jié)的物體有關(guān)的信息的物體檢測(cè)裝置。物體檢測(cè)裝置(160)是根據(jù)拍攝具有通過(guò)關(guān)節(jié)連接的多個(gè)部位的物體而得到的圖像數(shù)據(jù)，檢測(cè)與物體有關(guān)的信息的裝置，包括關(guān)節(jié)角度提取單元(161)，根據(jù)從所述圖像數(shù)據(jù)獲取的相鄰的兩個(gè)部位的位置候選，提取連接兩個(gè)部位的關(guān)節(jié)的角度；以及部位長(zhǎng)度比估計(jì)單元(165)，使用關(guān)節(jié)的角度進(jìn)行所述檢測(cè)。
文檔編號(hào)G06T1/00GK103210421SQ20118005468
公開日2013年7月17日 申請(qǐng)日期2011年11月22日 優(yōu)先權(quán)日2010年12月9日
發(fā)明者川口京子, 田靡雅基, 丸谷健介, 里雄二, 藤田光子 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社