部位估計(jì)裝置、部位估計(jì)方法以及部位估計(jì)程序的制作方法
【專利摘要】公開了能夠高精度地估計(jì)多關(guān)節(jié)物體的部位的部位估計(jì)裝置。該裝置中，邊緣對(duì)似然圖生成單元(120)計(jì)算邊緣對(duì)似然，生成對(duì)每個(gè)像素表示該邊緣對(duì)似然的邊緣對(duì)似然圖，所述邊緣對(duì)似然表示成對(duì)像素是估計(jì)對(duì)象部位的邊緣的似真性。連續(xù)性似然圖生成單元(130)對(duì)邊緣對(duì)似然圖，對(duì)設(shè)想了估計(jì)對(duì)象部位的區(qū)域內(nèi)包含的像素的邊緣對(duì)似然，評(píng)價(jià)連續(xù)性，生成表示具有連續(xù)性的邊緣對(duì)似然作為估計(jì)對(duì)象部位候選區(qū)域的連續(xù)性似然圖。綜合似然圖生成單元(140)生成基于預(yù)先確定的條件鎖定而表示連續(xù)性似然圖所示的候選區(qū)域的綜合似然圖。
【專利說明】部位估計(jì)裝置、部位估計(jì)方法以及部位估計(jì)程序

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及估計(jì)人、動(dòng)物或機(jī)器人等多關(guān)節(jié)物體的部位的部位估計(jì)裝置、部位估計(jì)方法以及部位估計(jì)程序。

【背景技術(shù)】
[0002]近年來，基于拍攝到的運(yùn)動(dòng)圖像進(jìn)行人的姿勢(shì)估計(jì)的相關(guān)研究積極開展著。姿勢(shì)估計(jì)裝置能夠利用計(jì)算機(jī)分析從運(yùn)動(dòng)圖像中判定人的行動(dòng)，不依賴于人工就能夠進(jìn)行行動(dòng)分析。作為行動(dòng)分析，例如有街頭異常行動(dòng)檢測(cè)、店鋪購(gòu)買行動(dòng)分析、工廠作業(yè)高效化輔助、以及運(yùn)動(dòng)姿勢(shì)指導(dǎo)。
[0003]因此，例如專利文獻(xiàn)I中記載了基于由單眼照相機(jī)拍攝人得到的圖像來估計(jì)此人的姿勢(shì)的技術(shù)。
[0004]專利文獻(xiàn)I記載的技術(shù)(以下稱為“現(xiàn)有技術(shù)”)中，首先基于拍攝了人的圖像中包含的橢圓形或平行線，提取部位候選。接著，現(xiàn)有技術(shù)使用從多個(gè)樣本圖像中統(tǒng)計(jì)求得的似然函數(shù)，計(jì)算部位似然和部位關(guān)系似然。接著，現(xiàn)有技術(shù)基于計(jì)算出的似然，計(jì)算最佳部位候選的組合。由此，現(xiàn)有技術(shù)能夠確定哪個(gè)部位位于哪個(gè)區(qū)域，無論人的位置或朝向如何，都能夠估計(jì)人的姿勢(shì)。
[0005]現(xiàn)有技術(shù)文獻(xiàn)
[0006]專利文獻(xiàn)
[0007]專利文獻(xiàn)1:日本專利特開2005-165923號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0008]發(fā)明要解決的問題
[0009]但是，現(xiàn)有技術(shù)具有在某些拍攝條件下無法高精度地估計(jì)部位的問題。這是因?yàn)?，現(xiàn)有技術(shù)的前提是用平行線從拍攝圖像中提取部位輪廓。但實(shí)際上，由于部位衣服的褶皺或陰影、以及部位背景物體的形狀或陰影，難以僅將部位輪廓作為平行線提取出來。
[0010]本發(fā)明的目的是高精度地估計(jì)多關(guān)節(jié)物體的部位。
[0011]解決問題的方案
[0012]本發(fā)明的一方式的部件估計(jì)裝置包括:邊緣對(duì)似然圖生成單元，對(duì)圖像中的每個(gè)像素計(jì)算邊緣對(duì)似然，生成對(duì)每個(gè)所述像素表示該邊緣對(duì)似然的邊緣對(duì)似然圖，所述邊緣對(duì)似然表示該像素附近存在的成對(duì)像素是估計(jì)對(duì)象部位的邊緣的似真性；連續(xù)性似然圖生成單元，對(duì)于所述邊緣對(duì)似然圖，對(duì)設(shè)想了所述估計(jì)對(duì)象部位的區(qū)域內(nèi)包含的像素的邊緣對(duì)似然，評(píng)價(jià)連續(xù)性，生成表示具有連續(xù)性的邊緣對(duì)似然作為表示所述估計(jì)對(duì)象部位的候選區(qū)域的連續(xù)性似然圖；以及綜合似然圖生成單元，生成基于預(yù)先確定的條件鎖定而表示所述連續(xù)性似然圖所示的所述候選區(qū)域的綜合似然圖。
[0013]本發(fā)明的一方式的部件估計(jì)方法具有如下步驟:對(duì)圖像中的每個(gè)像素計(jì)算邊緣對(duì)似然，生成對(duì)每個(gè)所述像素表示該邊緣對(duì)似然的邊緣對(duì)似然圖的步驟，所述邊緣對(duì)似然表示該像素附近存在的成對(duì)像素是估計(jì)對(duì)象部位的邊緣的似真性；對(duì)于所述邊緣對(duì)似然圖，對(duì)設(shè)想了所述估計(jì)對(duì)象部位的區(qū)域內(nèi)包含的像素的邊緣對(duì)似然，評(píng)價(jià)連續(xù)性，生成表示具有連續(xù)性的邊緣對(duì)似然作為表示所述估計(jì)對(duì)象部位的候選區(qū)域的連續(xù)性似然圖的步驟；以及生成基于預(yù)先確定的條件鎖定而表示所述連續(xù)性似然圖所示的所述候選區(qū)域的綜合似然圖的步驟。
[0014]本發(fā)明的一方式的部件估計(jì)程序使輸入或生成圖像的裝置的計(jì)算機(jī)執(zhí)行如下處理:對(duì)所述圖像中的每個(gè)像素計(jì)算邊緣對(duì)似然，生成對(duì)每個(gè)所述像素表示該邊緣對(duì)似然的邊緣對(duì)似然圖的處理，所述邊緣對(duì)似然表示該像素附近存在的成對(duì)像素是估計(jì)對(duì)象部位的邊緣的似真性；對(duì)于所述邊緣對(duì)似然圖，對(duì)設(shè)想了所述估計(jì)對(duì)象部位的區(qū)域內(nèi)包含的像素的邊緣對(duì)似然，評(píng)價(jià)連續(xù)性，生成表示具有連續(xù)性的邊緣對(duì)似然作為表示所述估計(jì)對(duì)象部位的候選區(qū)域的連續(xù)性似然圖的處理；以及生成基于預(yù)先確定的條件鎖定而表示所述連續(xù)性似然圖所示的所述候選區(qū)域的綜合似然圖的處理。
[0015]發(fā)明效果
[0016]根據(jù)本發(fā)明，能夠高精度地估計(jì)多關(guān)節(jié)物體的部位。

【專利附圖】

【附圖說明】
[0017]圖1是表示本發(fā)明實(shí)施方式I的部位估計(jì)裝置的一例結(jié)構(gòu)的框圖。
[0018]圖2是表示本發(fā)明實(shí)施方式2的部位估計(jì)系統(tǒng)的一例結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖。
[0019]圖3是表示本發(fā)明實(shí)施方式2的一例身體模型的圖。
[0020]圖4是表示本發(fā)明實(shí)施方式2的部位估計(jì)裝置的一例結(jié)構(gòu)的框圖。
[0021]圖5是表示本發(fā)明實(shí)施方式2的部位估計(jì)裝置的一例動(dòng)作的流程圖。
[0022]圖6是表示本發(fā)明實(shí)施方式2的邊緣對(duì)似然圖生成處理的一例動(dòng)作的流程圖。
[0023]圖7是用于說明本發(fā)明實(shí)施方式2的邊緣對(duì)似然圖生成處理的圖。
[0024]圖8是表示本發(fā)明實(shí)施方式2的一例邊緣對(duì)似然圖的圖。
[0025]圖9是表示本發(fā)明實(shí)施方式2的一例連續(xù)性似然圖的圖。
[0026]圖10是表示本發(fā)明實(shí)施方式2的綜合似然圖生成處理的一例動(dòng)作的流程圖。
[0027]圖11是表示本發(fā)明實(shí)施方式3的部位估計(jì)裝置的一例結(jié)構(gòu)的框圖。
[0028]圖12是表示本發(fā)明實(shí)施方式3的部位估計(jì)裝置的一例動(dòng)作的流程圖。
[0029]圖13是表示本發(fā)明實(shí)施方式3的一例連續(xù)性似然圖的圖。
[0030]圖14是表示本發(fā)明實(shí)施方式4的部位估計(jì)裝置的一例結(jié)構(gòu)的框圖。
[0031]圖15是表示本發(fā)明實(shí)施方式4的部位估計(jì)裝置的一例結(jié)構(gòu)的框圖。
[0032]標(biāo)號(hào)說明
[0033]100、100b、10c 部位估計(jì)裝置
[0034]110圖像輸入單元
[0035]120邊緣對(duì)似然圖生成單元
[0036]130連續(xù)性似然圖生成單元
[0037]140、140b、140c綜合似然圖生成單元
[0038]150結(jié)果輸出單元
[0039]160方差似然圖生成單元
[0040]170輪廓區(qū)域提取單元
[0041]200部位估計(jì)系統(tǒng)
[0042]310監(jiān)視區(qū)
[0043]320監(jiān)視照相機(jī)
[0044]330地面
[0045]340人

【具體實(shí)施方式】
[0046]下面，參照附圖對(duì)本發(fā)明的各實(shí)施方式進(jìn)行詳細(xì)說明。
[0047](實(shí)施方式I)
[0048]本發(fā)明的實(shí)施方式I是本發(fā)明的基本方式的一例。
[0049]<部位估計(jì)裝置的結(jié)構(gòu)>
[0050]圖1是表示本實(shí)施方式的部位估計(jì)裝置的一例結(jié)構(gòu)的框圖。
[0051]在圖1中，部位估計(jì)裝置100具有邊緣對(duì)似然圖生成單元120、連續(xù)性似然圖生成單元130、以及綜合似然圖生成單元140。
[0052]邊緣對(duì)似然圖生成單元120對(duì)圖像中的每個(gè)像素計(jì)算邊緣對(duì)似然。每個(gè)像素的邊緣對(duì)似然是指，對(duì)該像素附近存在的像素是估計(jì)對(duì)象部位(以下稱為“對(duì)象部位”)邊緣的似真性進(jìn)行數(shù)值化表示而得到的值。邊緣對(duì)似然圖生成單元120基于像素附近存在的、與規(guī)定的梯度方向平行的邊緣對(duì)，計(jì)算邊緣對(duì)似然。并且，邊緣對(duì)似然圖生成單元120生成對(duì)每個(gè)像素表示計(jì)算出的邊緣對(duì)似然的邊緣對(duì)似然圖。
[0053]這里，上述“部位”指作為多關(guān)節(jié)物體的人的一部分。另外，假設(shè)這里的“人”是包含人體、動(dòng)物、或機(jī)器人等多關(guān)節(jié)物體的、包含所有多關(guān)節(jié)物體的概念。
[0054]連續(xù)性似然圖生成單元130對(duì)于邊緣對(duì)似然圖，對(duì)設(shè)想了對(duì)象部位的大小或形狀的區(qū)域內(nèi)包含的像素的邊緣對(duì)似然，評(píng)價(jià)連續(xù)性。并且，連續(xù)性似然圖生成單元130生成連續(xù)性似然圖，該圖將具有連續(xù)性的邊緣對(duì)似然表示為部位區(qū)域候選。這里的“部位區(qū)域”是指圖像中“對(duì)象部位所占的區(qū)域”，換言之是“表示對(duì)象部位的區(qū)域”。
[0055]綜合似然圖生成單元140基于預(yù)先確定的條件鎖定連續(xù)性似然圖所示的部位區(qū)域候選，生成表示鎖定的部位區(qū)域候選的綜合似然圖。
[0056]部位估計(jì)裝置100例如具有CPU (Central Processing Unit,中央處理單元)、存儲(chǔ)控制程序的ROM (Read Only Memory,只讀存儲(chǔ)器)等存儲(chǔ)介質(zhì)、以及RAM (Random AccessMemory，隨機(jī)存取存儲(chǔ)器)等作業(yè)用存儲(chǔ)器。此時(shí)，上述各結(jié)構(gòu)單元的功能通過CPU執(zhí)行控制程序來實(shí)現(xiàn)。
[0057]這種部位估計(jì)裝置100通過以下動(dòng)作，在復(fù)雜的圖像中也能夠高精度地估計(jì)部位。此外，“復(fù)雜的圖像”例如是胳膊與軀干重疊的圖像、存在多個(gè)由衣服褶皺或人工物體形成的平行線邊緣的圖像等。
[0058]首先，邊緣對(duì)似然圖生成單元120對(duì)圖像中的每個(gè)像素，基于該像素附近存在的、與規(guī)定的梯度方向平行的邊緣對(duì)，計(jì)算邊緣對(duì)似然。并且，邊緣對(duì)似然圖生成單元120生成對(duì)每個(gè)像素表示計(jì)算出的邊緣對(duì)似然的邊緣對(duì)似然圖。這里，平行線的寬度采用對(duì)象部位的粗細(xì)。由此，邊緣對(duì)似然圖生成單元120能夠生成與對(duì)象部位對(duì)應(yīng)的邊緣對(duì)似然圖。
[0059]接著，連續(xù)性似然圖生成單元130將邊緣對(duì)似然圖作為對(duì)象部位進(jìn)行評(píng)價(jià)。每個(gè)像素的邊緣對(duì)似然是指，該像素附近存在的像素是對(duì)象部位邊緣的似真性(plausibility)。因此，在圖像中存在對(duì)象部位的區(qū)域中，設(shè)想?yún)^(qū)域內(nèi)包含的像素的邊緣對(duì)似然的總和較大?！霸O(shè)想?yún)^(qū)域”是預(yù)先設(shè)想了對(duì)象部位的大小或形狀的區(qū)域。
[0060]連續(xù)性似然圖生成單元130對(duì)于邊緣對(duì)似然圖，若設(shè)想?yún)^(qū)域內(nèi)的邊緣對(duì)似然的總和大于預(yù)先確定的閾值，則留下設(shè)想?yún)^(qū)域內(nèi)的邊緣對(duì)似然。如果設(shè)想?yún)^(qū)域內(nèi)的邊緣對(duì)似然的總和小于預(yù)先確定的閾值，則連續(xù)性似然圖生成單元130可以在設(shè)想?yún)^(qū)域內(nèi)設(shè)定表示無邊緣對(duì)似然的值(例如零)。
[0061]這樣，部位估計(jì)裝置100并不是用閾值過濾每個(gè)像素的邊緣對(duì)似然，而是留下作為部位區(qū)域的可能性較高的區(qū)域中包含的像素的邊緣對(duì)似然。據(jù)此，部位估計(jì)裝置100能夠留下雖然邊緣對(duì)似然較低，但作為部位區(qū)域的可能性較高的區(qū)域中包含的像素。另外，部位估計(jì)裝置100刪除雖然邊緣對(duì)似然較高、但作為部位區(qū)域的可能性較低的區(qū)域中包含的像素的邊緣對(duì)似然。由此，部位估計(jì)裝置100能夠除去陰影或褶皺等并非部位區(qū)域的區(qū)域中包含的像素。
[0062]因此，與現(xiàn)有技術(shù)相比，部位估計(jì)裝置100也能夠從難以僅將對(duì)象部位輪廓作為平行線提取的圖像中，高精度地估計(jì)對(duì)象部位。
[0063](實(shí)施方式2)
[0064]本發(fā)明的實(shí)施方式2是將本發(fā)明適用于估計(jì)圖像中包含的人的部位的裝置時(shí)的一例具體方式。
[0065]<部位估計(jì)系統(tǒng)的概要>
[0066]首先，說明包含本實(shí)施方式的部位估計(jì)裝置的部位估計(jì)系統(tǒng)的概要。
[0067]圖2是表示本實(shí)施方式的部位估計(jì)系統(tǒng)的一例結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖。圖2中，部位估計(jì)系統(tǒng)200具有拍攝監(jiān)視區(qū)310的監(jiān)視照相機(jī)320、以及與監(jiān)視照相機(jī)320可通信連接的部位估計(jì)裝置100。
[0068]監(jiān)視照相機(jī)320例如是數(shù)字?jǐn)z像機(jī)，從斜上方拍攝監(jiān)視區(qū)310。也就是說，監(jiān)視照相機(jī)320拍攝的圖像是拍攝包括人340和水平地面330的真實(shí)空間得到的圖像。并且，監(jiān)視照相機(jī)320將拍攝到的圖像發(fā)送到部位估計(jì)裝置100。這里，假設(shè)作為部位估計(jì)對(duì)象的人340正在監(jiān)視區(qū)310的地面330上步行。
[0069]部位估計(jì)裝置100例如是個(gè)人計(jì)算機(jī)，基于從監(jiān)視照相機(jī)320接收到的圖像，估計(jì)人340的部位。
[0070]以上是關(guān)于部位估計(jì)系統(tǒng)200的概要的說明。
[0071]〈關(guān)于人的部位的說明〉
[0072]接著，說明本實(shí)施方式中作為估計(jì)對(duì)象的人340的部位。
[0073]圖3是表示人340的一例身體結(jié)構(gòu)模型(以下稱為“身體模型”)410的圖。身體模型410示意性地表示部位估計(jì)中使用的身體各部位的位置關(guān)系。身體模型410例如包括軀干411、左大腿412、左小腿413、左腳414、右大腿415、右小腿416、右腳417、頭418、右上臂419、右前臂420、左上臂422、以及左前臂423。
[0074]上述各部位通過關(guān)節(jié)連接。因此，各部位的可動(dòng)區(qū)域受到其他部位的限制。例如，左腳414只能在以與左小腿413的連接點(diǎn)為中心的規(guī)定的角度范圍內(nèi)移動(dòng)。本實(shí)施方式中，部位估計(jì)裝置100使用各部位的連接關(guān)系，從圖像中估計(jì)身體模型410中各部位的區(qū)域(上述“部位區(qū)域”)。此外，部位估計(jì)裝置100使用的身體模型不限于圖3所示的例子。
[0075]以上是關(guān)于作為估計(jì)對(duì)象的人340的部位的說明。
[0076]〈部位估計(jì)裝置的結(jié)構(gòu)〉
[0077]接著，對(duì)部位估計(jì)裝置100的結(jié)構(gòu)進(jìn)行說明。
[0078]圖4是表示部位估計(jì)裝置100的一例結(jié)構(gòu)的框圖。圖4中，部位估計(jì)裝置100具有圖像輸入部110、邊緣對(duì)似然圖生成單元120、連續(xù)性似然圖生成單元130、綜合似然圖生成單元140、以及結(jié)果輸出單元150。
[0079]圖像輸入單元110輸入圖像。
[0080]具體而言，圖像輸入單元110接收由監(jiān)視照相機(jī)320拍攝的圖像。并且，圖像輸入單元I1將接收的圖像依次輸出到邊緣對(duì)似然圖生成單元120。
[0081]邊緣對(duì)似然圖生成單元120檢測(cè)來自圖像輸入單元110的圖像的邊緣，對(duì)該圖像中包含的每個(gè)像素(以下稱為“關(guān)注像素”)，檢測(cè)以關(guān)注像素為基準(zhǔn)的兩個(gè)像素(以下稱為“邊緣對(duì)”)。此時(shí)，作為邊緣對(duì)，邊緣對(duì)似然圖生成單元120檢測(cè)垂直于梯度方向并且位于包含關(guān)注像素的直線上的、與關(guān)注像素等距離的兩個(gè)像素。并且，邊緣對(duì)似然圖生成單元120確定以檢測(cè)出的兩個(gè)像素的各個(gè)像素為中心的規(guī)定范圍的區(qū)域，基于確定的兩個(gè)區(qū)域內(nèi)的像素的亮度總和，計(jì)算關(guān)注像素的邊緣對(duì)似然。并且，邊緣對(duì)似然圖生成單元120生成對(duì)每個(gè)像素表示計(jì)算出的邊緣對(duì)似然的邊緣對(duì)似然圖。每個(gè)像素的邊緣對(duì)似然是指，對(duì)該像素附近存在的像素是對(duì)象部位邊緣的似真性進(jìn)行數(shù)值化表示的值。邊緣對(duì)似然圖生成單元120對(duì)預(yù)先定義的多個(gè)梯度方向分別生成邊緣對(duì)似然圖。
[0082]這里，說明邊緣對(duì)。如上所述，構(gòu)成邊緣對(duì)的兩個(gè)像素位于垂直于預(yù)先定義的梯度方向并且位于包含關(guān)注像素的直線上，與關(guān)注像素距離相等。另外，兩個(gè)像素之間的距離是對(duì)象部位的粗細(xì)。這兩個(gè)像素稱為“梯度方向?qū)ο袼亍?。另外，將以梯度方向?qū)ο袼氐母鱾€(gè)像素為中心的兩個(gè)小區(qū)域稱為“梯度方向?qū)Ω浇鼌^(qū)域”。
[0083]并且，在梯度方向?qū)Ω浇鼌^(qū)域中的任一區(qū)域包含了作為邊緣的像素(以下簡(jiǎn)稱為“邊緣”)的情況下，對(duì)關(guān)注像素而言，稱為“存在邊緣對(duì)”。并且，此時(shí)，由包含在梯度方向?qū)Ω浇鼌^(qū)域中的邊緣構(gòu)成的像素集合稱為“關(guān)注像素的邊緣對(duì)”。
[0084]另外，關(guān)注像素的邊緣對(duì)似然基于關(guān)注像素的邊緣對(duì)來計(jì)算。例如，在一個(gè)梯度方向?qū)Ω浇鼌^(qū)域較多地包含邊緣，而另一個(gè)梯度方向?qū)Ω浇鼌^(qū)域中包含的邊緣較少的情況下，邊緣對(duì)似然較低。此外，關(guān)于邊緣對(duì)似然的具體計(jì)算方法，將在后闡述。
[0085]另外，將對(duì)于圖像的所有像素，映射計(jì)算出的邊緣對(duì)似然所得到的圖稱為“邊緣對(duì)似然圖”。
[0086]另外，通過確定表示關(guān)注像素位置的X坐標(biāo)x、y坐標(biāo)y、梯度方向k，來識(shí)別邊緣對(duì)似然圖中包含的所有邊緣對(duì)似然。
[0087]此外，本實(shí)施方式中，相對(duì)關(guān)注像素，將包含預(yù)先定義的所有梯度方向的梯度方向?qū)^(qū)域的區(qū)域稱為“局部區(qū)域”。
[0088]并且，邊緣對(duì)似然圖生成單元120對(duì)預(yù)先定義的多個(gè)梯度方向，分別生成邊緣對(duì)似然圖。隨后，邊緣對(duì)似然圖生成單元120將生成的邊緣對(duì)似然圖輸出到連續(xù)性似然圖生成單元130。
[0089]此外，關(guān)于邊緣對(duì)似然圖的生成方法的詳細(xì)情況，將在后闡述。
[0090]連續(xù)性似然圖生成單元130對(duì)于生成的邊緣對(duì)似然圖的、同一梯度方向的邊緣對(duì)似然，評(píng)價(jià)設(shè)想?yún)^(qū)域內(nèi)包含的像素的邊緣對(duì)似然的連續(xù)性，生成連續(xù)性似然圖。
[0091]每個(gè)像素的邊緣對(duì)似然是指，該像素附近存在的像素是對(duì)象部位邊緣的似真性。因此，在圖像中存在對(duì)象部位的區(qū)域中，設(shè)想?yún)^(qū)域內(nèi)包含的像素的邊緣對(duì)似然的總和較大。
[0092]連續(xù)性似然圖生成單元130對(duì)于不同梯度方向的每個(gè)邊緣對(duì)似然圖，若設(shè)想?yún)^(qū)域內(nèi)的邊緣對(duì)似然的總和較大，則留下設(shè)想?yún)^(qū)域內(nèi)的邊緣對(duì)似然。如果設(shè)想?yún)^(qū)域內(nèi)的邊緣對(duì)似然的總和較小，則連續(xù)性似然圖生成單元130可以在設(shè)想?yún)^(qū)域內(nèi)設(shè)定表示無邊緣對(duì)似然的值(例如零)。
[0093]此外，關(guān)于連續(xù)性似然圖的生成方法的細(xì)節(jié)，將在后闡述。
[0094]綜合似然圖生成單元140從連續(xù)性似然圖中不同梯度方向上提取出的的部位區(qū)域候選之中，提取與預(yù)先確定的對(duì)象部位條件相符合的區(qū)域，生成表示所提取區(qū)域的綜合似然圖。
[0095]此外，與對(duì)象部位條件相符合的區(qū)域的提取方法的細(xì)節(jié)，將在后闡述。
[0096]結(jié)果輸出單元150輸出綜合似然圖生成單元140的部位估計(jì)結(jié)果。
[0097]具體而言，結(jié)果輸出單元150例如包括液晶顯示器等顯示裝置。結(jié)果輸出單元150在估計(jì)出部位的情況下將表示該部位的信息通知給用戶，在未估計(jì)出部位的情況下將表示該情況的信息通知給用戶。作為該通知的方法可舉出使用了文字及圖像中的至少一者的顯
/Jn ο
[0098]部位估計(jì)裝置100例如具有CPU、存儲(chǔ)控制程序的ROM等存儲(chǔ)介質(zhì)、以及RAM等作業(yè)用存儲(chǔ)器。此時(shí)，上述各結(jié)構(gòu)單元的功能通過CPU執(zhí)行控制程序來實(shí)現(xiàn)。
[0099]以上是關(guān)于部位估計(jì)裝置100的結(jié)構(gòu)的說明。
[0100]<部位估計(jì)裝置的動(dòng)作說明>
[0101]接著，說明部位估計(jì)裝置100的動(dòng)作。
[0102]本實(shí)施方式中，圖像輸入單元110將圖像輸出到邊緣對(duì)似然圖生成單元120，該圖像是從監(jiān)視照相機(jī)320等輸入的圖像中提取出估計(jì)為人340的區(qū)域(以下稱為“人候選區(qū)域”)所得到的圖像。
[0103]上述“提取出人候選區(qū)域所得到的圖像”是在人候選區(qū)域以外的像素中存儲(chǔ)表示背景的值，僅對(duì)人候選區(qū)域的像素存儲(chǔ)像素值的圖像。
[0104]就人候選區(qū)域的提取來說，可以使用從監(jiān)視照相機(jī)320等輸入的圖像與背景圖像的背景差圖像。這里，背景差圖像例如是表示在人340不在的狀態(tài)下拍攝到的背景圖像和輸入圖像之間的差的圖像。由此，部位估計(jì)裝置100能夠?qū)谋O(jiān)視照相機(jī)等輸入的圖像中與背景不同的像素作為人候選區(qū)域進(jìn)行處理。
[0105]此外，部位估計(jì)裝置100也可以例如預(yù)先保持背景圖像，通過計(jì)算背景圖像和輸入圖像之間的差來生成背景差圖像。或者，部位估計(jì)裝置100還可以通過從輸入的圖像中提取移動(dòng)物體區(qū)域，生成背景差圖像。例如，基于上次輸入的圖像和本次輸入的圖像之間的差，進(jìn)行靜止物體與移動(dòng)物體的識(shí)別。由此，部位估計(jì)裝置100能夠?qū)⒆鳛橐苿?dòng)體的一部分識(shí)別出的像素作為人候選區(qū)域。
[0106]此外，本實(shí)施方式中，圖像輸入單元110將灰度圖像輸出到邊緣對(duì)似然圖生成單元 120。
[0107]在從監(jiān)視照相機(jī)320等輸入的圖像為RGB (Red Green Blue，紅綠藍(lán))值的情況下，圖像輸入單元110將圖像變換為從各像素的RGB值中僅提取亮度Y(像素的明亮程度)得到的灰度(黑白梯度)圖像并輸出。亮度Y例如通過下式進(jìn)行計(jì)算。
[0108]Y(R，G，B) = RX0.29891+GX0.58661+BX0.11448
[0109]另外，本實(shí)施方式中，對(duì)象部位為胳膊(右上臂419、右前臂420、左上臂422、左前臂423)。此外，部位估計(jì)裝置100也可以區(qū)分前臂與上臂來估計(jì)部位。
[0110]另外，本實(shí)施方式中，提取人候選區(qū)域中圖像的上部區(qū)域作為胳膊候選區(qū)域，將胳膊候選區(qū)域中包含的全部像素作為處理對(duì)象。上部區(qū)域例如預(yù)先確定為包含人候選區(qū)域的規(guī)定的比例(例如從上方起10%至50% )的部分的區(qū)域。
[0111]<部位估計(jì)裝置的基于流程圖的動(dòng)作說明>
[0112]圖5是表示部位估計(jì)裝置100的一例動(dòng)作的流程圖。
[0113]在步驟S1000中，圖像輸入單元110輸入I幀的圖像數(shù)據(jù)。
[0114]在步驟S2000中，邊緣對(duì)似然圖生成單元120基于輸入的圖像，進(jìn)行邊緣對(duì)似然圖生成處理。邊緣對(duì)似然圖生成處理是生成上述邊緣對(duì)似然圖的處理。其細(xì)節(jié)使用圖6及圖7在后面闡述。
[0115]在步驟S3000中，連續(xù)性似然圖生成單元130基于邊緣對(duì)似然圖，進(jìn)行連續(xù)性似然圖生成處理。連續(xù)性似然圖生成處理是生成上述連續(xù)性似然圖的處理。其細(xì)節(jié)使用圖8及圖9在后面闡述。
[0116]在步驟S4000中，綜合似然圖生成單元140基于連續(xù)性似然圖，進(jìn)行綜合似然圖生成處理。綜合似然圖生成處理是生成上述綜合似然圖的處理。其細(xì)節(jié)使用圖10在后面闡述。
[0117]在步驟S5000中，結(jié)果輸出單元150基于綜合似然圖，進(jìn)行結(jié)果輸出處理。結(jié)果輸出處理是輸出步驟S4000中估計(jì)的對(duì)象部位的信息的處理。
[0118]例如，結(jié)果輸出單元150對(duì)每個(gè)像素重疊估計(jì)出的部位的候選區(qū)域，并顯示在液晶顯示器上。此外，結(jié)果輸出單元150可以在進(jìn)行重疊時(shí)，顯示為能夠通過顏色等區(qū)分表示部位候選區(qū)域的梯度方向的信息。
[0119]在步驟S6000中，結(jié)果輸出單元150判斷是否滿足預(yù)先設(shè)定的規(guī)定的處理結(jié)束條件。這里的“規(guī)定的處理結(jié)束條件”例如是通過用戶操作而指示部位估計(jì)處理的結(jié)束。
[0120]結(jié)果輸出單元150在不滿足規(guī)定的處理結(jié)束條件的情況下(S6000 否”)，返回步驟S1000反復(fù)執(zhí)行處理。另一方面，結(jié)果輸出單元150在滿足規(guī)定的處理結(jié)束條件的情況下(S6000 是”)，結(jié)束一系列處理。
[0121]通過這種動(dòng)作，部位估計(jì)裝置100能夠生成從對(duì)象部位候選區(qū)域中提取最適合的候選區(qū)域并進(jìn)行表示的綜合似然圖，上述對(duì)象部位候選區(qū)域是基于每個(gè)像素的邊緣對(duì)似然和每個(gè)設(shè)想?yún)^(qū)域的連續(xù)性似然提取的。由此，即使是難以用直線提取部位輪廓的圖像，部位估計(jì)裝置100也能夠估計(jì)人340的對(duì)象部位。
[0122]以上是對(duì)部位估計(jì)裝置100的動(dòng)作的說明。
[0123]<邊緣對(duì)似然圖生成處理的說明>
[0124]接著，使用圖6及圖7說明一例邊緣對(duì)似然圖生成處理(圖5的步驟S2000)。
[0125]圖6是表示邊緣對(duì)似然圖生成處理(圖5的步驟S2000)的一例動(dòng)作的流程圖。圖7是用于說明梯度方向?yàn)樗椒较虻倪吘墝?duì)似然圖的生成處理的圖。這里，說明以水平方向?yàn)镺度，生成水平方向的邊緣對(duì)似然圖的例子。
[0126]在步驟S2001中，邊緣對(duì)似然圖生成單元120選擇要生成的邊緣對(duì)似然圖的梯度方向的增量。這里，作為例子，假設(shè)將增量預(yù)先設(shè)定為30度。在以此方式使梯度方向以30度為增量的情況下，生成O度、30度、60度、90度、120度、150度的6個(gè)邊緣對(duì)似然圖。因此，在該情況下，邊緣對(duì)似然圖生成單元120將步驟S2002至S2007的處理反復(fù)執(zhí)行6次。
[0127]梯度方向的增量影響到對(duì)象部位的估計(jì)精度。在需要較高的估計(jì)精度的情況下，用戶可以將增量設(shè)定得較小。例如，對(duì)比將增量設(shè)定為45度時(shí)及設(shè)定為30度時(shí)，在設(shè)定為30度時(shí)，對(duì)象部位的估計(jì)精度較高。
[0128]在步驟S2002中，邊緣對(duì)似然圖生成單元120從胳膊候選區(qū)域710中選擇關(guān)注像素。胳膊候選區(qū)域710是從圖像輸入單元110輸入的圖像的一例。例如，圖7中，邊緣對(duì)似然圖生成單元120以左上角的像素(由※所示的像素)為起點(diǎn)，將X坐標(biāo)和Y坐標(biāo)分別逐一遞增1，由此選擇圖7所示的全部像素作為關(guān)注像素。不過，選擇的方法不限于此。圖7中，以從胳膊候選區(qū)域710中選擇了關(guān)注像素702的情況為例進(jìn)行說明。
[0129]在步驟S2003中，邊緣對(duì)似然圖生成單元120選擇梯度方向?qū)ο袼?。圖7中，選擇704和705作為梯度方向?qū)ο袼亍?br> [0130]如上所述，這里，以生成水平方向的邊緣對(duì)似然圖為例。因此，邊緣對(duì)似然圖生成單元120作為滿足兩個(gè)條件的像素，選擇704和705這兩個(gè)像素作為梯度方向?qū)ο袼亍蓚€(gè)條件是:位于通過關(guān)注像素702且垂直于水平直線的直線上，以及與關(guān)注像素702的距離是對(duì)象部位的粗細(xì)701的一半長(zhǎng)度703。也就是說，在生成角度為Θ的邊緣對(duì)似然圖的情況下，邊緣對(duì)似然圖生成單元120選擇兩個(gè)梯度方向?qū)ο袼亍Ｌ荻确较驅(qū)ο袼厥俏挥谕ㄟ^關(guān)注像素且與角度Θ垂直(Θ+90度)的直線上、距離為對(duì)象部位的粗細(xì)701的一半長(zhǎng)度703的像素。此外，對(duì)象部位的粗細(xì)701是表示對(duì)象部位的平均粗細(xì)的預(yù)先確定的值。
[0131]在步驟S2004中，邊緣對(duì)似然圖生成單元120分別選擇與梯度方向?qū)ο袼胤謩e相距預(yù)先設(shè)定的距離以內(nèi)的像素組，作為梯度方向?qū)Ω浇鼌^(qū)域。圖7中，作為梯度方向?qū)Ω浇鼌^(qū)域706和707，分別選擇與梯度方向?qū)ο袼?04和705的距離分別在附近長(zhǎng)度708以內(nèi)的像素組。附近長(zhǎng)度708是表示部位的外觀誤差長(zhǎng)度的預(yù)先確定的值。
[0132]這里，上述“部位的外觀誤差長(zhǎng)度”是圖像上對(duì)象部位的粗細(xì)的差。有時(shí)對(duì)象部位的端部和中央的粗細(xì)不同。另外，在某些拍攝角度下，對(duì)象部位在圖像上的粗細(xì)不同，或者部位兩端粗細(xì)不同。此外，有時(shí)由于衣服的褶皺等，拍攝到的對(duì)象部位的粗細(xì)并不均勻。因此，本實(shí)施方式中，作為部位的外觀誤差長(zhǎng)度，預(yù)先設(shè)定相對(duì)于部位的平均粗細(xì)的、規(guī)定的圖像上的部位的粗細(xì)差，由此能夠進(jìn)行魯棒性估計(jì)。
[0133]在步驟S2005中，邊緣對(duì)似然圖生成單元120計(jì)算關(guān)注像素702的邊緣對(duì)似然。具體而言，邊緣對(duì)似然圖生成單元120計(jì)算梯度方向?qū)Ω浇鼌^(qū)域706內(nèi)的像素亮度總和與梯度方向?qū)Ω浇鼌^(qū)域707內(nèi)的像素亮度總和的積，作為邊緣對(duì)似然。
[0134]此外，邊緣對(duì)似然圖生成單元120也可以計(jì)算梯度方向?qū)Ω浇鼌^(qū)域706內(nèi)具有規(guī)定值以上的亮度Y的像素?cái)?shù)與梯度方向?qū)Ω浇鼌^(qū)域707內(nèi)具有規(guī)定值以上的亮度Y的像素?cái)?shù)的積，作為邊緣對(duì)似然。由此，邊緣對(duì)似然圖生成單元120能夠用各梯度方向?qū)Ω浇鼌^(qū)域706、707的大小對(duì)邊緣對(duì)似然進(jìn)行標(biāo)準(zhǔn)化。
[0135]在步驟S2006中，邊緣對(duì)似然圖生成單元120判斷關(guān)于胳膊候選區(qū)域710的全部像素的邊緣對(duì)似然計(jì)算是否已結(jié)束。若關(guān)于全部像素已結(jié)束計(jì)算(32006:“是”)，則邊緣對(duì)似然圖生成單元120判斷為步驟S2001中選擇的增量的邊緣對(duì)似然圖的生成已結(jié)束，并進(jìn)入步驟S2007。另一方面，若關(guān)于全部像素未結(jié)束計(jì)算(S2006:“否”)，則邊緣對(duì)似然圖生成單元120判斷為步驟S2001中選擇的增量的邊緣對(duì)似然圖的生成未結(jié)束，并進(jìn)入步驟S2002。
[0136]在步驟S2007中，邊緣對(duì)似然圖生成單元120判斷關(guān)于全部梯度方向的邊緣對(duì)似然計(jì)算是否已結(jié)束。若關(guān)于全部梯度方向已結(jié)束計(jì)算(32007:“是”)，則邊緣對(duì)似然圖生成單元120判斷為預(yù)先確定的全部梯度方向的邊緣對(duì)似然圖的生成已結(jié)束，并結(jié)束一系列處理。另一方面，若關(guān)于全部梯度方向未結(jié)束計(jì)算(S2007:“否”)，則邊緣對(duì)似然圖生成單元120判斷為預(yù)先確定的全部梯度方向的邊緣對(duì)似然圖的生成未結(jié)束。因此，邊緣對(duì)似然圖生成單元120為了生成尚未生成的梯度方向的邊緣對(duì)似然圖，進(jìn)入步驟S2001。
[0137]此外，在上述圖7的說明中，關(guān)于部位的粗細(xì)701和附近長(zhǎng)度708，說明了預(yù)先設(shè)定值的例子，但不限于此。也就是說，邊緣對(duì)似然圖生成單元120也可以與人物候選區(qū)域或胳膊候選區(qū)域的大小成比例來動(dòng)態(tài)地改變值，調(diào)節(jié)為合適的值。由此，邊緣對(duì)似然圖生成單元120能夠根據(jù)人340的圖像上的大小，將對(duì)象部位的粗細(xì)701和附近長(zhǎng)度708改變?yōu)楹线m的值。其結(jié)果是，邊緣對(duì)似然圖生成單元120能夠?qū)γ總€(gè)梯度方向生成精度更高的邊緣對(duì)似然圖。
[0138]<連續(xù)性似然圖生成處理的說明>
[0139]接著，使用圖8及圖9說明一例連續(xù)性似然圖生成處理(圖5的步驟S3000)。
[0140]在邊緣對(duì)似然圖中，與不存在對(duì)象部位的區(qū)域內(nèi)的像素相比，存在對(duì)象部位的區(qū)域內(nèi)的像素在各像素的各梯度方向?qū)Ω浇鼌^(qū)域中存在邊緣的幾率較高，因此邊緣對(duì)似然較高。因此，連續(xù)性似然圖生成單元130利用如下事實(shí):在對(duì)象部位候選區(qū)域內(nèi)僅特定像素的邊緣對(duì)似然較高，特定像素周圍像素的邊緣對(duì)似然較低的情況下，能夠判斷為該候選區(qū)域并非部位區(qū)域。
[0141]圖8是表示一例作為連續(xù)性似然圖的基礎(chǔ)的邊緣對(duì)似然圖的圖。圖8中，在邊緣對(duì)似然圖的部分區(qū)域810中，表示各像素的水平方向的邊緣對(duì)似然。
[0142]在生成連續(xù)性似然圖時(shí)，連續(xù)性似然圖生成單元130使用作為設(shè)想了對(duì)象部位的大小或形狀的區(qū)域的部位矩形801。部位矩形801是設(shè)想?yún)^(qū)域的一例。圖8中，部位矩形801例示設(shè)想為上臂或前臂的長(zhǎng)方形。不過，連續(xù)性似然圖生成單元130能夠設(shè)定與對(duì)象部位的大小或形狀相應(yīng)的部位矩形。另外，雖然例示了長(zhǎng)方形，但部位矩形801也可以使用與對(duì)象部位的大小或形狀相應(yīng)的橢圓形。部位的連接根部及端部受連接部位的形狀的影響，與部位中央相比，邊緣對(duì)似然傾向于較低，因此通過使部位矩形為橢圓形，能夠減少部位的連接根部及端部的影響程度，高精度地提取候選區(qū)域。
[0143]圖8所示的部位矩形801，將短邊設(shè)想為對(duì)象部位的平均粗細(xì)，將長(zhǎng)邊設(shè)想為對(duì)象部位的平均長(zhǎng)度。
[0144]連續(xù)性似然圖生成單元130使部位矩形801的長(zhǎng)邊的方向與邊緣對(duì)似然圖的梯度方向一致。并且，連續(xù)性似然圖生成單元130評(píng)價(jià)部位矩形801中包含的像素的邊緣對(duì)似然的總和。
[0145]圖8中示出梯度方向?yàn)樗椒较虻倪吘墝?duì)似然，因此連續(xù)性似然圖生成單元130將部位矩形801的長(zhǎng)邊的方向設(shè)定為水平方向。另外，連續(xù)性似然圖生成單元130例如將部位矩形801的初始位置設(shè)定為連續(xù)性似然圖的左上角。并且，連續(xù)性似然圖生成單元130反復(fù)進(jìn)行X軸方向上的每一個(gè)像素的掃描和Y軸方向上的每一行的移動(dòng)。由此，連續(xù)性似然圖生成單元130在連續(xù)性似然圖的全部區(qū)域中評(píng)價(jià)部位矩形801中包含的像素的邊緣對(duì)似然的總和。
[0146]例如，在圖8中，邊緣對(duì)似然圖的邊緣對(duì)似然P使用表示關(guān)注像素的位置的X坐標(biāo)X、y坐標(biāo)y、以及梯度方向k，設(shè)為p(x，y，k)。另外，設(shè)部位矩形801的左上角像素的位置為(i，j)，部位矩形的長(zhǎng)邊長(zhǎng)度為r，短邊長(zhǎng)度為s，梯度方向?yàn)閗。此時(shí)，連續(xù)性似然圖生成單元130通過下式求由部位矩形801包圍的像素的邊緣對(duì)似然的總和T。
[0147]T = ff；'p(x,y,k) - - - (I)

r - j λ- -1
[0148]在圖8的例子中，(i, j) = (4, 3), r = 5, s = 2。因此,作為上式的計(jì)算結(jié)果,部位矩形801內(nèi)的像素的邊緣對(duì)似然的總和T為41。
[0149]連續(xù)性似然圖生成單元130在邊緣對(duì)似然的總和為規(guī)定的閾值以上的情況下，將部位矩形801中包含的像素在邊緣對(duì)似然圖上的坐標(biāo)信息追加到總和的評(píng)價(jià)結(jié)果列表信息中進(jìn)行保持。連續(xù)性似然圖生成單元130對(duì)于胳膊候選區(qū)域710的全部區(qū)域，結(jié)束了部位矩形801中包含的像素的邊緣對(duì)似然總和的評(píng)價(jià)之后，進(jìn)行以下動(dòng)作。即，連續(xù)性似然圖生成單元130僅保持在上述列表信息中保持了坐標(biāo)信息的像素的邊緣對(duì)似然?；蛘?連續(xù)性似然圖生成單元130也可以將剩余像素的邊緣對(duì)似然設(shè)定為表示無邊緣對(duì)似然的值(例如零)。這樣一來，評(píng)價(jià)了邊緣對(duì)似然之后的似然稱為“連續(xù)性似然”。
[0150]圖9是表示一例基于圖8所示的邊緣對(duì)似然圖生成的連續(xù)性似然圖的圖。
[0151]圖8中，假設(shè)在規(guī)定的閾值為40的情況下，對(duì)于胳膊候選區(qū)域的一部分810的全部區(qū)域，結(jié)束了部位矩形801中包含的像素的邊緣對(duì)似然總和的評(píng)價(jià)。此時(shí)，邊緣對(duì)似然總和的評(píng)價(jià)結(jié)果列表信息中保持的像素，僅為圖8的部位矩形801所包圍的區(qū)域的像素。連續(xù)性似然圖生成單元130將部位矩形801所包圍區(qū)域以外的像素的邊緣對(duì)似然，設(shè)定為表示無邊緣對(duì)似然的值(例如零)，生成連續(xù)性似然圖。其結(jié)果是，如圖9所示那樣，生成連續(xù)性似然圖820。
[0152]這里，規(guī)定的閾值可以根據(jù)對(duì)象部位的部位矩形801不同而不同。規(guī)定的閾值例如可以與對(duì)象部位的部位矩形801的大小成比例地改變閾值。另外，規(guī)定的閾值可以根據(jù)身體模型中對(duì)象部位的位置改變閾值。例如，在對(duì)象部位位于身體模型的端部的情況下，對(duì)象部位與其他部位不重疊，被檢測(cè)出的可能性高，因此將閾值設(shè)定得較高。另外，在對(duì)象部位位于身體模型的中央的情況下，與其他部位重疊的可能性高，被檢測(cè)出的可能性低，因此將閾值設(shè)定得較低。連續(xù)性似然圖生成單元130可以通過這樣設(shè)定閾值來生成魯棒性的連續(xù)性似然圖。另外，連續(xù)性似然圖生成單元130也可以使用事先準(zhǔn)備的圖像的邊緣對(duì)似然，學(xué)習(xí)對(duì)象部位的部位矩形801中包含的像素的邊緣對(duì)似然的總和。
[0153]連續(xù)性似然圖生成單元130對(duì)于各梯度方向的全部邊緣對(duì)似然圖反復(fù)執(zhí)行上述處理。由此，連續(xù)性似然圖生成單元130能夠?qū)γ總€(gè)梯度方向生成連續(xù)性似然圖。
[0154]這樣，連續(xù)性似然圖生成單元130并不是用閾值過濾各像素的邊緣對(duì)似然，而是以設(shè)想了對(duì)象部位的大小或形狀的區(qū)域?yàn)閱挝辉O(shè)定閾值，過濾邊緣對(duì)似然。連續(xù)性似然圖生成單元130例如對(duì)于設(shè)想了對(duì)象部位的大小或形狀的區(qū)域，以部位矩形801為單位設(shè)定閾值。由此，連續(xù)性似然圖生成單元130能夠留下雖然作為單個(gè)像素是邊緣對(duì)似然低的像素，但包含在部位區(qū)域中的可能性較高的像素。另外，連續(xù)性似然圖生成單元130能夠?qū)⒉粷M足對(duì)象部位區(qū)域條件的像素的邊緣對(duì)似然作為噪聲除去。不滿足對(duì)象部位區(qū)域條件的情況例如是如下情況:雖然作為單個(gè)像素的邊緣對(duì)似然較高，但設(shè)想了對(duì)象部位的大小或形狀的區(qū)域的邊緣對(duì)似然總和小于閾值。
[0155]〈綜合似然圖生成處理的說明〉
[0156]接著，使用圖10說明一例綜合似然圖生成處理(圖5的步驟S4000)。
[0157]圖10是表示一例綜合似然圖生成處理(圖5的步驟S4000)的動(dòng)作的流程圖。
[0158]綜合似然圖是使用對(duì)各梯度方向生成的所有連續(xù)性似然圖生成的、表示對(duì)象部位的可能性最大的區(qū)域的圖。
[0159]在步驟S9001中，綜合似然圖生成單元140對(duì)連續(xù)性似然圖的同一梯度方向中的每個(gè)方向，將對(duì)象部位候選區(qū)域的數(shù)進(jìn)行計(jì)數(shù)。也就是說，在有6個(gè)梯度方向的情況下，綜合似然圖生成單元140對(duì)6個(gè)梯度方向中的每個(gè)方向，將候選區(qū)域的數(shù)進(jìn)行計(jì)數(shù)。這里的“對(duì)象部位候選區(qū)域”是指，在連續(xù)性似然圖中，對(duì)在同一梯度方向上連續(xù)的像素賦予了連續(xù)性似然的區(qū)域。例如，在圖9的例子中，對(duì)象部位候選區(qū)域的數(shù)量為I。本實(shí)施方式中，假設(shè)對(duì)6個(gè)梯度方向中的每個(gè)方向，將候選區(qū)域的數(shù)進(jìn)行計(jì)數(shù)后，提取了 5個(gè)候選區(qū)域。
[0160]在步驟S9002中，綜合似然圖生成單元140將對(duì)各梯度方向計(jì)數(shù)了的對(duì)象部位候選區(qū)域的數(shù)量總和與對(duì)象部位的數(shù)量進(jìn)行比較。這里的“對(duì)象部位的數(shù)量”是預(yù)先確定的值。在比較結(jié)果是候選區(qū)域的數(shù)量總和為對(duì)象部位的數(shù)量以下的情況下69002:“是”)，綜合似然圖生成單元140將連續(xù)性似然圖作為綜合似然圖，并結(jié)束一系列處理。另一方面，在候選區(qū)域的數(shù)量總和大于對(duì)象部位數(shù)的情況下(S9002 否”)，綜合似然圖生成單元140進(jìn)入步驟S9003。
[0161]本實(shí)施方式中，對(duì)象部位的數(shù)為4(右前臂420、右上臂419、左上臂422、左前臂423)。因此，綜合似然圖生成單元140在候選區(qū)域的數(shù)量總和為4以下時(shí)結(jié)束一系列處理，在候選區(qū)域的數(shù)量總和多于4時(shí)進(jìn)入步驟S9003。
[0162]在步驟S9003中，綜合似然圖生成單元140對(duì)各梯度方向上進(jìn)行了計(jì)數(shù)的每個(gè)對(duì)象部位候選區(qū)域，計(jì)算候選區(qū)域中包含的像素的連續(xù)性似然的總和。并且，綜合似然圖生成單元140從計(jì)算出的總和最大的區(qū)域起，依次提取數(shù)量為對(duì)象部位數(shù)的候選區(qū)域。
[0163]本實(shí)施方式中，對(duì)象部位的數(shù)為4，因此綜合似然圖生成單元140對(duì)于全部5個(gè)候選區(qū)域，計(jì)算候選區(qū)域中包含的像素的連續(xù)性似然的總和。并且，綜合似然圖生成單元140從計(jì)算出的總和值最大的區(qū)域起，依次提取4個(gè)候選區(qū)域。
[0164]在步驟S9004中，綜合似然圖生成單元140判定提取出的候選區(qū)域是否滿足對(duì)象部位的身體限制。
[0165]例如，本實(shí)施方式中，對(duì)象部位為上臂或前臂，使用上臂和前臂至少通過關(guān)節(jié)連接這一身體限制。具體而言，使用的判定基準(zhǔn)是:在各候選區(qū)域的至少一個(gè)端部附近，存在其他候選區(qū)域的端部。
[0166]這里，說明一例確定表示候選區(qū)域端部位置的端部坐標(biāo)的方法。
[0167]例如，在圖9所示的梯度方向?yàn)樗椒较虻倪B續(xù)性似然圖中，考慮通過候選區(qū)域的水平方向(X軸方向)的直線群。在該直線群中，考慮直線與候選區(qū)域重疊的長(zhǎng)度最長(zhǎng)的直線。將該直線和候選區(qū)域的邊界像素作為候選區(qū)域的端部像素。例如，圖9中，候選區(qū)域的端部像素用X軸和Y軸的值(x，y)表示為(4，3)和(8，3)、或者(4，4)和(8，4)。這里，在候選區(qū)域的端部像素有多個(gè)的情況下，將各坐標(biāo)值的平均值作為端部坐標(biāo)，所以為(4，3.5)和(8，3.5)。
[0168]本實(shí)施方式中，綜合似然圖生成單元140用同樣的方法求其他3個(gè)候選區(qū)域的端部坐標(biāo)。并且，綜合似然圖生成單元140對(duì)每個(gè)候選區(qū)域，判定從部位區(qū)域的任一端部起的規(guī)定的距離內(nèi)是否存在其他候選區(qū)域的端部。并且，綜合似然圖生成單元140在對(duì)全部候選區(qū)域，從部位區(qū)域的任一端部起的規(guī)定的距離內(nèi)存在其他候選區(qū)域的端部的情況下，判斷為滿足身體限制。這里，上述“規(guī)定的距離”依賴于部位區(qū)域的大小，長(zhǎng)度短于部位區(qū)域的短邊。
[0169]在滿足身體限制時(shí)(S9004 是”)，綜合似然圖生成單元140生成保持提取出的候選區(qū)域的連續(xù)性似然，將其他值設(shè)定為表示無連續(xù)性似然的值(例如零)的綜合似然圖，并結(jié)束一系列處理。另一方面，在不滿足身體限制時(shí)(39004:“否”)，綜合似然圖生成單元140返回步驟S9003，繼續(xù)進(jìn)行候選區(qū)域的提取。
[0170]此外，在所有候選區(qū)域組合均不滿足身體限制時(shí)，綜合似然圖生成單元140將最接近身體限制的候選區(qū)域組合視為候選區(qū)域進(jìn)行提取。并且，綜合似然圖生成單元140生成保持提取出的候選區(qū)域的連續(xù)性似然，將其他值設(shè)定為表示無連續(xù)性似然的值(例如零)的綜合似然圖，并結(jié)束一系列處理。
[0171]說明綜合似然圖生成單元140判斷規(guī)定的候選區(qū)域是否最接近身體限制的方法的一例。首先，綜合似然圖生成單元140對(duì)從部位區(qū)域的任一端部起的規(guī)定的距離內(nèi)不存在其他候選區(qū)域的端部的部位候選，計(jì)算從部位區(qū)域的任一端部起到其他候選區(qū)域的端部的最短距離。并且，綜合似然圖生成單元140對(duì)每個(gè)候選區(qū)域組合，計(jì)算最短距離與規(guī)定的距離之差的和。綜合似然圖生成單元140將該值小的候選區(qū)域組合判斷為接近身體限制。
[0172]這樣，部位估計(jì)裝置100利用對(duì)各梯度方向生成的連續(xù)性似然圖，并且考慮身體限制，僅提取作為部位的可能性最高的區(qū)域。由此，部位估計(jì)裝置100能夠高精度地估計(jì)部位。
[0173]此外，綜合似然圖生成單元140使用了 “前臂和上臂通過關(guān)節(jié)連接”這一身體限制，另外，也可以進(jìn)行估計(jì)頭或肩的位置的處理，使用“在肩附近存在上臂的候選區(qū)域的端部”這一身體限制。由此，部位估計(jì)裝置100能夠高精度地估計(jì)部位。
[0174]另外，本實(shí)施方式中，在圖9所示的流程中，也可以省略是否滿足身體限制的判定(步驟S9004)本身。
[0175]如以上說明的，本實(shí)施方式能夠得到以下作用和效果。也就是說，部位估計(jì)裝置100首先對(duì)輸入圖像的每個(gè)像素，對(duì)各梯度方向生成將局部區(qū)域中的對(duì)象部位相似性數(shù)值化而得到的邊緣對(duì)似然圖。由此，部位估計(jì)裝置100能夠無遺漏地提取局部區(qū)域中的對(duì)象部位相似性。另外，部位估計(jì)裝置100對(duì)各梯度方向生成連續(xù)性似然圖，該圖表示邊緣對(duì)似然圖上基于相當(dāng)于對(duì)象部位的區(qū)域判定的對(duì)象部位相似性。由此，部位估計(jì)裝置100能夠?qū)㈦m然局部區(qū)域滿足部位相似性、但不滿足作為區(qū)域的部位相似性的區(qū)域，判斷為并非部位區(qū)域。
[0176]此外，部位估計(jì)裝置100生成綜合似然圖，該圖是從連續(xù)性似然圖中各梯度方向上提取出的候選區(qū)域中，鎖定了與對(duì)象部位最相似的滿足身體限制的區(qū)域并進(jìn)行表示的圖。由此，部位估計(jì)裝置100能夠估計(jì)人340的對(duì)象部位。
[0177]通過上述一系列動(dòng)作，如上所述，即使是難以用直線提取部位輪廓的圖像，部位估計(jì)裝置100也能夠高精度地估計(jì)人340的部位。
[0178](實(shí)施方式3)
[0179]本發(fā)明的實(shí)施方式3是將本發(fā)明適用于估計(jì)拍攝圖像中包含的人的部位的裝置時(shí)的具體方式的一例。
[0180]本實(shí)施方式是對(duì)實(shí)施方式2增加功能的方式，對(duì)與實(shí)施方式2相同的部分附加相同的標(biāo)號(hào)，并省略與其相關(guān)的說明。
[0181]本實(shí)施方式中，部位估計(jì)裝置在圖像中存在與對(duì)象部位形狀類似的人工物體的情況下,通過將對(duì)象部位和人工物體相區(qū)別，能夠精度更高地估計(jì)部位。
[0182]首先，包括本實(shí)施方式的部位估計(jì)裝置的部位估計(jì)系統(tǒng)的概要，與實(shí)施方式2是同樣的。
[0183]<部位估計(jì)裝置的結(jié)構(gòu)>
[0184]首先說明部位估計(jì)裝置10b的結(jié)構(gòu)。
[0185]圖11是表示部位估計(jì)裝置10b的一例結(jié)構(gòu)的框圖。圖11中，部位估計(jì)裝置10b具有圖像輸入單元110、邊緣對(duì)似然圖生成單元120、連續(xù)性似然圖生成單元130、方差似然圖生成單元160、綜合似然圖生成單元140b、以及結(jié)果輸出單元150。
[0186]圖11中，與圖4不同之處有兩個(gè)。一個(gè)是增加了方差似然圖生成單元160。另一個(gè)是綜合似然圖生成單元140b使用方差似然圖生成單元160生成的方差似然圖，生成綜合似然圖。
[0187]方差似然圖生成單元160在連續(xù)性似然圖生成單元130對(duì)各梯度方向生成的各個(gè)連續(xù)性似然圖中，評(píng)價(jià)預(yù)先定義的設(shè)想?yún)^(qū)域(例如部位矩形)內(nèi)包含的連續(xù)性似然的方差。并且，方差似然圖生成單元160反復(fù)進(jìn)行連續(xù)性似然的方差評(píng)價(jià)，直到包括全部連續(xù)性似然圖為止，由此生成方差似然圖。上述“預(yù)先定義的設(shè)想?yún)^(qū)域”例如是對(duì)象部位候選區(qū)域。這里的“對(duì)象部位候選區(qū)域”是指，在連續(xù)性似然圖中，對(duì)在同一梯度方向上連續(xù)的像素賦予了連續(xù)性似然的區(qū)域。
[0188]具體而言，方差似然圖生成單元160刪除判斷為連續(xù)性似然圖的連續(xù)性似然的方差和對(duì)象部位的方差不同的連續(xù)性似然。或者，方差似然圖生成單元160也可以僅保持判斷為與對(duì)象部位的方差類似的連續(xù)性似然。這樣的話，方差似然圖生成單元160生成方差似然圖。
[0189]該方差似然圖生成處理利用了人工物體與人的部位中連續(xù)性似然的方差不同的事實(shí)。工業(yè)產(chǎn)品等人工物體的邊緣與人的部位的邊緣的梯度相比，容易用單一的梯度進(jìn)行提取，方差的值傾向于較小。因此，本實(shí)施方式中，通過評(píng)價(jià)方差能夠判別人工物體和人的部位。
[0190]此外，關(guān)于方差似然圖生成方法的細(xì)節(jié)，在后面闡述。
[0191]這種部位估計(jì)裝置10b首先與上述實(shí)施方式1、2同樣地進(jìn)行邊緣對(duì)似然圖生成處理和連續(xù)性似然圖生成處理。隨后，部位估計(jì)裝置100進(jìn)行方差似然圖生成處理，該處理評(píng)價(jià)連續(xù)性似然的方差，對(duì)各梯度方向生成滿足對(duì)象部位的方差的方差似然圖。并且，部位估計(jì)裝置10b基于各梯度方向的方差似然圖，生成滿足對(duì)象部位的身體限制的綜合似然圖。這樣，即使是難以用直線提取部位輪廓的圖像或者混合有人工物體的圖像，部位估計(jì)裝置10b也能夠高精度地估計(jì)人340的部位。
[0192]以上是對(duì)部位估計(jì)裝置10b的結(jié)構(gòu)的說明。
[0193]<部位估計(jì)裝置的動(dòng)作說明>
[0194]接著說明部位估計(jì)裝置10b的動(dòng)作。
[0195]圖12是表示部位估計(jì)裝置10b的一例動(dòng)作的流程圖。
[0196]圖12與圖5的不同之處在于，在連續(xù)性似然圖生成處理(S3000)和綜合似然圖生成處理(S4000)之間，增加了方差似然圖生成處理(S7000)。
[0197]在步驟S7000中，方差似然圖生成單元160進(jìn)行方差似然圖生成處理。方差似然圖生成處理是生成上述方差似然圖的處理。
[0198]<方差似然圖生成處理的說明>
[0199]這里，說明一例方差似然圖生成處理(S7000)。
[0200]方差似然圖生成單元160使用下式求方差的值。
I n
[0201]σ 2 = —X (x 1- ~)...(2)

n i = i
[0202]方差σ 2是從各數(shù)據(jù)Xi中減去平均值I求出偏差，將這些值的平方和除以數(shù)據(jù)數(shù)η,
[0203]由此求得數(shù)據(jù)和平均值之間的距離所得到的值。
[0204]方差σ 2越大，表示數(shù)據(jù)的標(biāo)準(zhǔn)離差越大。
[0205]在圖像中，工業(yè)產(chǎn)品等人工物體的邊緣往往由直線構(gòu)成。因此，本實(shí)施方式中，利用與人工物體與人340的部位相比連續(xù)性似然圖的方差值更小這一點(diǎn)，能夠區(qū)分人工物體與人340的部位。具體而言，方差似然圖生成單元160對(duì)各個(gè)同一梯度方向求連續(xù)性似然圖的部位候選區(qū)域的方差。若求得的方差值小于規(guī)定的閾值，則方差似然圖生成單元160將候選區(qū)域判斷為人工物體。并且，方差似然圖生成單元160將方差值小于規(guī)定的閾值的像素的連續(xù)性似然設(shè)定為表示無連續(xù)性似然的值(例如零)。另一方面，若求得的方差值大于規(guī)定的閾值，則方差似然圖生成單元160判斷為候選區(qū)域是部位的可能性大。并且，方差似然圖生成單元160保持方差值大于規(guī)定的閾值的像素的連續(xù)性似然。例如，方差似然圖生成單元160在梯度方向k的候選區(qū)域的方差小于規(guī)定的閾值時(shí)，將該候選區(qū)域中包含的像素的梯度方向k的連續(xù)性似然設(shè)定為表示無似然的值(例如零)。
[0206]這里，方差似然圖生成單元160作為上述“規(guī)定的閾值”，既可以使用預(yù)先學(xué)習(xí)的值，也可以基于上次部位估計(jì)結(jié)果的部位區(qū)域的方差的平均值進(jìn)行計(jì)算?；蛘撸讲钏迫粓D生成單元160還可以使用判別分析法，將本次提取的候選區(qū)域的方差分類為人工物體與人340的部位。判別分析法是求分離度最大的閾值，自動(dòng)進(jìn)行二值化的公知方法。在分類為人工物體與人340的部位這兩個(gè)類時(shí)，通過類間方差與類內(nèi)方差之比來求分離度。
[0207]接著，說明一例方差似然圖生成單元160計(jì)算連續(xù)性似然圖的部位候選區(qū)域的方差的方法。
[0208]首先，方差似然圖生成單元160使用下式計(jì)算連續(xù)性似然圖的部位候選區(qū)域的重心C。
[0209]設(shè)部位候選區(qū)域中包含的第k像素Gk的X坐標(biāo)和y坐標(biāo)的位置為Gk = (xk, yk)，在有m個(gè)像素的情況下，通過下式計(jì)算重心C。

【權(quán)利要求】
1.部位估計(jì)裝置，包括: 邊緣對(duì)似然圖生成單元，對(duì)圖像中的每個(gè)像素計(jì)算邊緣對(duì)似然，生成對(duì)每個(gè)所述像素表示該邊緣對(duì)似然的邊緣對(duì)似然圖，所述邊緣對(duì)似然表示該像素附近存在的成對(duì)像素是估計(jì)對(duì)象部位的邊緣的似真性； 連續(xù)性似然圖生成單元，對(duì)于所述邊緣對(duì)似然圖，對(duì)設(shè)想了所述估計(jì)對(duì)象部位的區(qū)域內(nèi)包含的像素的邊緣對(duì)似然，評(píng)價(jià)連續(xù)性，生成表示具有連續(xù)性的邊緣對(duì)似然作為表示所述估計(jì)對(duì)象部位的候選區(qū)域的連續(xù)性似然圖；以及 綜合似然圖生成單元，生成基于預(yù)先確定的條件鎖定而表示所述連續(xù)性似然圖所示的所述候選區(qū)域的綜合似然圖。
2.如權(quán)利要求1所述的部位估計(jì)裝置，還包括: 方差似然圖生成單元，評(píng)價(jià)所述連續(xù)性似然圖所示的具有所述連續(xù)性的邊緣對(duì)似然的方差，生成滿足所述估計(jì)對(duì)象部位的方差的方差似然圖， 所述綜合似然圖生成單元基于所述方差似然圖，生成所述綜合似然圖。
3.如權(quán)利要求2所述的部位估計(jì)裝置， 所述連續(xù)性似然圖生成單元除了考慮具有所述連續(xù)性的邊緣對(duì)似然以外，還考慮設(shè)想了所述估計(jì)對(duì)象部位的區(qū)域的附近區(qū)域中包含的像素的邊緣對(duì)似然，生成所述連續(xù)性似然圖， 所述方差似然圖生成單元基于所述連續(xù)性似然圖，生成所述方差似然圖。
4.如權(quán)利要求1所述的部位估計(jì)裝置，還包括: 輪廓區(qū)域估計(jì)單元，估計(jì)作為所述估計(jì)對(duì)象部位以外的部位的非估計(jì)對(duì)象部位的輪廓區(qū)域， 所述綜合似然圖生成單元在鎖定所述候選區(qū)域時(shí)，優(yōu)先選擇坐標(biāo)與由所述輪廓區(qū)域估計(jì)單元估計(jì)出的所述輪廓區(qū)域不重疊的候選區(qū)域。
5.如權(quán)利要求1所述的部位估計(jì)裝置， 所述邊緣對(duì)似然圖生成單元根據(jù)所述圖像的大小，動(dòng)態(tài)調(diào)節(jié)所述邊緣對(duì)似然圖生成中使用的值。
6.部位估計(jì)方法，包括如下步驟: 對(duì)圖像中的每個(gè)像素計(jì)算邊緣對(duì)似然，生成對(duì)每個(gè)所述像素表示該邊緣對(duì)似然的邊緣對(duì)似然圖的步驟，所述邊緣對(duì)似然表示該像素附近存在的成對(duì)像素是估計(jì)對(duì)象部位的邊緣的似真性； 對(duì)于所述邊緣對(duì)似然圖，對(duì)設(shè)想了所述估計(jì)對(duì)象部位的區(qū)域內(nèi)包含的像素的邊緣對(duì)似然，評(píng)價(jià)連續(xù)性，生成表示具有連續(xù)性的邊緣對(duì)似然作為表示所述估計(jì)對(duì)象部位的候選區(qū)域的連續(xù)性似然圖的步驟；以及 生成基于預(yù)先確定的條件鎖定而表示所述連續(xù)性似然圖所示的所述候選區(qū)域的綜合似然圖的步驟。
7.部位估計(jì)程序，使輸入或生成圖像的裝置的計(jì)算機(jī)執(zhí)行如下處理: 對(duì)所述圖像中的每個(gè)像素計(jì)算邊緣對(duì)似然，生成對(duì)每個(gè)所述像素表示該邊緣對(duì)似然的邊緣對(duì)似然圖的處理，所述邊緣對(duì)似然表示該像素附近存在的成對(duì)像素是估計(jì)對(duì)象部位的邊緣的似真性； 對(duì)于所述邊緣對(duì)似然圖，對(duì)設(shè)想了所述估計(jì)對(duì)象部位的區(qū)域內(nèi)包含的像素的邊緣對(duì)似然，評(píng)價(jià)連續(xù)性，生成表示具有連續(xù)性的邊緣對(duì)似然作為表示所述估計(jì)對(duì)象部位的候選區(qū)域的連續(xù)性似然圖的處理；以及 生成基于預(yù)先確定的條件鎖定而表示所述連續(xù)性似然圖所示的所述候選區(qū)域的綜合似然圖的處理。
【文檔編號(hào)】G06T7/00GK104169968SQ201380013587
【公開日】2014年11月26日 申請(qǐng)日期:2013年3月15日 優(yōu)先權(quán)日:2012年3月29日
【發(fā)明者】川口京子, 田靡雅基, 里雄二 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社