姿勢(shì)估計(jì)裝置、姿勢(shì)估計(jì)方法以及姿勢(shì)估計(jì)程序的制作方法
【專利摘要】能夠?qū)哂谐蓪?duì)的部位的多關(guān)節(jié)物體的姿勢(shì)高精度地進(jìn)行估計(jì)的姿勢(shì)估計(jì)裝置。在該裝置中，候選區(qū)域提取單元(110)使用共同特征量，從圖像中提取多個(gè)候選區(qū)域。部位區(qū)域提取單元(120)劃分部位的似然較高的部位區(qū)域和除此以外的第二部位的候選區(qū)域。特征量計(jì)算單元(130)對(duì)部位區(qū)域以及第二部位的候選區(qū)域的每一個(gè)計(jì)算固有特征量。特征量校正單元(140)將部位區(qū)域以及第二部位的候選區(qū)域中的、任意一方的候選區(qū)域的固有特征量，基于另一方的候選區(qū)域的長(zhǎng)度、寬度、以及角度中的至少一個(gè)進(jìn)行校正。判定單元(150)基于校正后的固有特征量和另一方的候選區(qū)域的固有特征量之間的相似度，判定部位區(qū)域和第二部位的候選區(qū)域是否為成對(duì)的部位。
【專利說明】姿勢(shì)估計(jì)裝置、姿勢(shì)估計(jì)方法以及姿勢(shì)估計(jì)程序

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及對(duì)具有成對(duì)的部位的多關(guān)節(jié)物體的姿勢(shì)進(jìn)行估計(jì)的姿勢(shì)估計(jì)裝置、姿 勢(shì)估計(jì)方法、以及姿勢(shì)估計(jì)程序。

【背景技術(shù)】
[0002] 近年來，一直在積極地開展與基于拍攝到的運(yùn)動(dòng)圖像的圖像數(shù)據(jù)的人的姿勢(shì)估計(jì) 相關(guān)的研宄。姿勢(shì)估計(jì)裝置能夠利用計(jì)算機(jī)分析從運(yùn)動(dòng)圖像來判定人的行為，能夠不依賴 于人工進(jìn)行行為分析。作為行為分析的適用應(yīng)用，例如，有街頭中的異常行為檢測(cè)、商店中 的購(gòu)買行為分析、工廠中的作業(yè)效率輔助、以及運(yùn)動(dòng)中的姿勢(shì)（form)指導(dǎo)。
[0003] 在估計(jì)人的姿勢(shì)的情況下，例如，期望可進(jìn)行部位的姿勢(shì)的估計(jì)。這里，部位表示 多關(guān)節(jié)物體的結(jié)構(gòu)要素（例如，頭部、軀干、胳膊、腿等）。此外，部位的姿勢(shì)表示人的姿勢(shì)中 的部位的位置或角度。人因動(dòng)作而改變部位的姿勢(shì)，所以如果能夠估計(jì)部位的位置，則可進(jìn) 行該人在干什么、今后要干什么這樣的動(dòng)作的估計(jì)等。
[0004] 這樣的人的姿勢(shì)估計(jì)，最好在人上不安裝方位傳感器等裝置。因?yàn)樵谌松习惭b裝 置的估計(jì)方法，難以將未指定的人作為估計(jì)對(duì)象，在估計(jì)對(duì)象為多個(gè)的情況下，花費(fèi)成本。
[0005] 因此，例如在專利文獻(xiàn)1中記載了基于拍攝到的人的視頻，估計(jì)該人的姿勢(shì)的技 術(shù)。
[0006] 專利文獻(xiàn)1中記載的技術(shù)（以下，稱為"現(xiàn)有技術(shù)1"），從拍攝視頻求人物輪廓 (silhouette)的重心，計(jì)算從重心到人物輪廓的輪廓線上的各點(diǎn)為止的距離，并檢測(cè)從重 心延伸到上方的垂直軸，將與人物輪廓的輪廓線的交點(diǎn)作為頭頂點(diǎn)。而且，現(xiàn)有技術(shù)1中， 搜索以頭頂點(diǎn)為始點(diǎn)并逆時(shí)針轉(zhuǎn)動(dòng)地算出的距離為極大的點(diǎn)，將第一極大的點(diǎn)判定為右手 的前端，將第二極大點(diǎn)判定為右腿、左腿、左手的前端。根據(jù)這種現(xiàn)有技術(shù)1，能夠在人上不 安裝方位傳感器等裝置而估計(jì)人的姿勢(shì)。
[0007] 此外，例如在專利文獻(xiàn)2中記載了基于拍攝到人的圖像，估計(jì)該人的姿勢(shì)的技術(shù)。
[0008] 專利文獻(xiàn)2中記載的技術(shù)（以下，稱為'現(xiàn)有技術(shù)2'），在藍(lán)色的背景中，拍攝穿著 藍(lán)色以外的顏色、并且每個(gè)部位顏色不同的衣服的人。由此，現(xiàn)有技術(shù)2從背景圖像和人物 圖像之間的顏色信息的差異獲取人物輪廓，從衣服的顏色信息檢測(cè)人的部位。如果采用這 種現(xiàn)有技術(shù)2,能夠在人上不安裝方位傳感器等裝置而估計(jì)人的姿勢(shì)。
[0009] 現(xiàn)有技術(shù)文獻(xiàn)
[0010] 專利文獻(xiàn)
[0011] 專利文獻(xiàn)1 :(日本）專利第3400961號(hào)公報(bào)
[0012] 專利文獻(xiàn)2 :(日本）特開2005-339100號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0013] 發(fā)明要解決的問題
[0014] 但是，現(xiàn)有技術(shù)1以及現(xiàn)有技術(shù)2,因拍攝條件而存在無法高精度地估計(jì)人的姿勢(shì) 的課題。因?yàn)楝F(xiàn)有技術(shù)1在雙臂、雙腳彼此交差，并且胳膊或腿與軀干體重合的情況下，在 人物輪廓內(nèi)胳膊或腿重合，所以無法估計(jì)胳膊或腿的姿勢(shì)。此外，現(xiàn)有技術(shù)2如果不以特定 的背景以及特定的衣服來拍攝人，就無法檢測(cè)人的部位。
[0015]本發(fā)明的目的在于，高精度地估計(jì)具有成對(duì)的部位的多關(guān)節(jié)物體的姿勢(shì)。
[0016]解決問題的方式
[0017]本發(fā)明的一方式的姿勢(shì)估計(jì)裝置，基于包含具有成對(duì)的部位的多關(guān)節(jié)物體的全部 或一部分的圖像，估計(jì)所述成對(duì)的部位，包括：候選區(qū)域提取單元，從所述圖像中，使用對(duì)于 所述成對(duì)的部位表示未指定多個(gè)多關(guān)節(jié)物體共同的形狀特征的共同特征量，提取多個(gè)所述 成對(duì)的部位的候選區(qū)域；部位區(qū)域提取單元，從所述多個(gè)候選區(qū)域中，提取作為所述成對(duì) 的部位的似然為最大的第一候選區(qū)域，并將所述第一候選區(qū)域以外的區(qū)域作為第二候選區(qū) 域；特征量計(jì)算單元，分別對(duì)于所述第一候選區(qū)域以及所述第二候選區(qū)域，計(jì)算對(duì)于所述成 對(duì)的部位表示估計(jì)對(duì)象的多關(guān)節(jié)物體上固有的特征的固有特征量；特征量校正單元，將所 述第一候選區(qū)域以及所述第二候選區(qū)域中的、一方的候選區(qū)域的固有特征量，基于另一方 的候選區(qū)域的長(zhǎng)度、寬度、以及角度中的至少一個(gè)進(jìn)行校正；以及判定單元，基于所述校正 后的固有特征量和所述另一方的候選區(qū)域的固有特征量之間的相似度，判定所述第一候選 區(qū)域和所述第二候選區(qū)域是否為所述成對(duì)的部位。
[0018] 本發(fā)明的一方式的姿勢(shì)估計(jì)方法，基于包含具有成對(duì)的部位的多關(guān)節(jié)物體的全部 或一部分的圖像，估計(jì)所述成對(duì)的部位，該方法包括以下步驟：從所述圖像中，使用對(duì)于所 述成對(duì)的部位表示未指定多個(gè)多關(guān)節(jié)物體共同的形狀特征的共同特征量，提取多個(gè)所述成 對(duì)的部位的候選區(qū)域的步驟；從所述多個(gè)候選區(qū)域中，提取作為所述成對(duì)的部位的似然為 最大的第一候選區(qū)域，并將所述第一候選區(qū)域以外的區(qū)域作為第二候選區(qū)域的步驟；分別 對(duì)于所述第一候選區(qū)域以及所述第二候選區(qū)域，計(jì)算對(duì)于所述成對(duì)的部位表示估計(jì)對(duì)象的 多關(guān)節(jié)物體上固有的特征的固有特征量的步驟；將所述第一候選區(qū)域以及所述第二候選區(qū) 域中的、一方的候選區(qū)域的固有特征量，基于另一方的候選區(qū)域的長(zhǎng)度、寬度、以及角度中 的至少一個(gè)進(jìn)行校正的步驟；以及基于所述校正后的固有特征量和所述另一方的候選區(qū)域 的固有特征量之間的相似度，判定所述第一候選區(qū)域和所述第二候選區(qū)域是否為所述成對(duì) 的部位的步驟。
[0019] 本發(fā)明的一方式的姿勢(shì)估計(jì)程序，使基于包含具有成對(duì)的部位的多關(guān)節(jié)物體的全 部或一部分的圖像，估計(jì)所述成對(duì)的部位的裝置的計(jì)算機(jī)執(zhí)行以下處理：從所述圖像中，使 用對(duì)于所述成對(duì)的部位表示未指定多個(gè)多關(guān)節(jié)物體共同的形狀特征的共同特征量，提取多 個(gè)所述成對(duì)的部位的候選區(qū)域的處理；從所述多個(gè)候選區(qū)域中，提取作為所述成對(duì)的部位 的似然為最大的第一候選區(qū)域，并將所述第一候選區(qū)域以外的區(qū)域作為第二候選區(qū)域的處 理；分別對(duì)于所述第一候選區(qū)域以及所述第二候選區(qū)域，計(jì)算對(duì)于所述成對(duì)的部位表示估 計(jì)對(duì)象的多關(guān)節(jié)物體上固有的特征的固有特征量的處理；將所述第一候選區(qū)域以及所述第 二候選區(qū)域中的、一方的候選區(qū)域的固有特征量，基于另一方的候選區(qū)域的長(zhǎng)度、寬度、以 及角度中的至少一個(gè)進(jìn)行校正的處理；以及基于所述校正后的固有特征量和所述另一方的 候選區(qū)域的固有特征量之間的相似度，判定所述第一候選區(qū)域和所述第二候選區(qū)域是否為 所述成對(duì)的部位的處理。
[0020] 發(fā)明的效果
[0021] 根據(jù)本發(fā)明，能夠高精度地估計(jì)具有成對(duì)的部位的多關(guān)節(jié)物體的姿勢(shì)。

【專利附圖】

【附圖說明】
[0022] 圖1是表示本發(fā)明的實(shí)施方式1的一例姿勢(shì)估計(jì)裝置的結(jié)構(gòu)的框圖。
[0023] 圖2是表示本發(fā)明的實(shí)施方式2的一例姿勢(shì)估計(jì)系統(tǒng)的結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖。
[0024] 圖3是表示本發(fā)明的實(shí)施方式2中的一例身體模型的圖。
[0025] 圖4是表示本發(fā)明的實(shí)施方式2的姿勢(shì)估計(jì)裝置的一例動(dòng)作的流程圖。
[0026] 圖5是表示本發(fā)明的實(shí)施方式2中的一例候選區(qū)域提取處理的流程圖。
[0027] 圖6是表示本發(fā)明的實(shí)施方式2中的一例邊緣對(duì)似然映射圖生成處理的流程圖。
[0028] 圖7是用于說明本發(fā)明的實(shí)施方式2中的邊緣對(duì)似然映射圖生成處理的圖。
[0029] 圖8是用于說明本發(fā)明的實(shí)施方式2中的極大值的圖。
[0030] 圖9表示本發(fā)明的實(shí)施方式2中的一例特征量校正處理的流程圖。
[0031] 圖10表示本發(fā)明的實(shí)施方式2中的一例人的姿勢(shì)的圖。
[0032] 圖11表示本發(fā)明的實(shí)施方式2中的一例特征量算出區(qū)域提取處理的流程圖。
[0033] 圖12表示本發(fā)明的實(shí)施方式2中的一例人的姿勢(shì)的圖。
[0034] 圖13表示本發(fā)明的實(shí)施方式2中的一例無法正確計(jì)算固有特征量的情況下的圖 像和其直方圖的圖。
[0035] 圖14表示本發(fā)明的實(shí)施方式2中的一例無法正確計(jì)算固有特征量的情況下的直 方圖的圖。
[0036] 圖15表示本發(fā)明的實(shí)施方式2中的一例無法正確計(jì)算固有特征量的情況下的直 方圖的圖。

【具體實(shí)施方式】
[0037] 以下，關(guān)于本發(fā)明的各實(shí)施方式，參照附圖詳細(xì)地說明。
[0038](實(shí)施方式1)
[0039] 本發(fā)明的實(shí)施方式1是一例本發(fā)明的基本方式。
[0040]圖1是表示一例本實(shí)施方式的姿勢(shì)估計(jì)裝置的結(jié)構(gòu)的框圖。
[0041] 在圖1中，姿勢(shì)估計(jì)裝置100包括候選區(qū)域提取單元110、部位區(qū)域提取單元120、 特征量計(jì)算單元130、特征量校正單元140、以及判定單元150。
[0042] 再有，本實(shí)施方式的姿勢(shì)估計(jì)裝置100對(duì)構(gòu)成多關(guān)節(jié)物體的"成對(duì)的部位"的姿勢(shì) 進(jìn)行估計(jì)。這里，"部位"是多關(guān)節(jié)物體的結(jié)構(gòu)要素。此外，"部位的姿勢(shì)"意味著部位的位 置或角度。
[0043] 候選區(qū)域提取單元110從包含作為估計(jì)對(duì)象的多關(guān)節(jié)物體的一部分或全部的圖 像中，使用共同特征量，提取多個(gè)估計(jì)對(duì)象部位的候選區(qū)域。"共同特征量"表示對(duì)于成對(duì)的 部位在未指定多個(gè)多關(guān)節(jié)物體中共同的形狀的特征（例如，僅邊緣、或者邊緣以及輪廓）。 此外，這里提取出的候選區(qū)域有包含存在噪聲的候選區(qū)域的情況。再有，"估計(jì)對(duì)象部位"是 部位的姿勢(shì)的估計(jì)對(duì)象，是成對(duì)的部位。此外，將成對(duì)的部位中的、一方的部位稱為"第一部 位"，將另一方的部位稱為"第二部位"。例如，成對(duì)的部位是小臂的情況下，將右小臂稱為第 一部位，將左小臂稱為第二部位。
[0044] 再有，上述"對(duì)于成對(duì)的部位在未指定多個(gè)多關(guān)節(jié)物體中共同的形狀"，例如由多 關(guān)節(jié)物體中的部位的可能存在范圍、或者部位的大小、長(zhǎng)度、粗細(xì)、或截面的形狀、拍攝多關(guān) 節(jié)物體的角度確定。有關(guān)這樣的部位的、可能存在范圍、大小、長(zhǎng)度、粗細(xì)、截面的形狀、或拍 攝多關(guān)節(jié)物體的角度，作為多關(guān)節(jié)物體的限制信息而被預(yù)先確定。因而，候選區(qū)域提取單元 110也可以基于上述限制信息提取候選區(qū)域。由此，候選區(qū)域提取單元110能夠?qū)⒐烙?jì)對(duì)象 部位即可能性（似然）為最高的區(qū)域作為候選區(qū)域提取。
[0045] 部位區(qū)域提取單元120將在候選區(qū)域提取單元110提取出的多個(gè)候選區(qū)域之中 的、估計(jì)對(duì)象部位即似然為最高的區(qū)域，作為第一部位的候選區(qū)域（第一候選區(qū)域的一例 子）提取。這里，將第一部位的候選區(qū)域稱為"部位區(qū)域"。另一方面，將部位區(qū)域以外的候 選區(qū)域稱為"第二部位的候選區(qū)域"（第二候選區(qū)域的一例子）。第二部位的候選區(qū)域也有 存在多個(gè)的情況。
[0046] 特征量計(jì)算單元130對(duì)于部位區(qū)域提取單元120中提取出的、部位區(qū)域以及第二 部位的候選區(qū)域的各個(gè)區(qū)域，計(jì)算固有特征量。這里算出的"固有特征量"表示對(duì)于成對(duì)的 部位在估計(jì)對(duì)象的多關(guān)節(jié)物體的個(gè)體中固有的特征（例如，顏色以及紋理中的至少一個(gè)）。
[0047] 特征量校正單元140對(duì)于特征量計(jì)算單元130中算出的、部位區(qū)域以及第二部位 的候選區(qū)域之中的任意一方的候選區(qū)域的固有特征量，基于另一方的候選區(qū)域的長(zhǎng)度、寬 度、以及角度中的至少一個(gè)進(jìn)行校正（再計(jì)算）。即，特征量校正單元140對(duì)部位區(qū)域的固 有特征量，基于第二部位的候選區(qū)域的長(zhǎng)度、寬度、以及角度中的至少一個(gè)進(jìn)行校正?；蛘撸?特征量校正單元140對(duì)第二部位的候選區(qū)域的固有特征量，基于部位區(qū)域的長(zhǎng)度、寬度、以 及角度中的至少一個(gè)進(jìn)行校正。前者的校正方法對(duì)似然較高的候選區(qū)域進(jìn)行校正，以使其 與似然較低的候選區(qū)域相匹配，所以與從似然較低的候選區(qū)域?qū)λ迫惠^高的候選區(qū)域的特 征量進(jìn)行估計(jì)的后者的校正方法相比，估計(jì)的精度提高。
[0048] 再有，在第二部位的候選區(qū)域有多個(gè)的情況下，特征量校正單元140對(duì)部位區(qū)域 和第二部位的候選區(qū)域的每個(gè)對(duì)進(jìn)行固有特征量校正。
[0049] 此外，特征量校正單元140在進(jìn)行上述固有特征量的校正前，也可以進(jìn)行以下的 處理。首先，特征量校正單元140計(jì)算在特征量計(jì)算單元130中算出的、部位區(qū)域的固有特 征量和第二部位的候選區(qū)域的固有特征量之間的相似度。接著，特征量校正單元140基于 算出的相似度，判斷是否存在能夠估計(jì)為與部位區(qū)域成對(duì)的第二部位的候選區(qū)域。該判斷 的結(jié)果，在不存在能夠估計(jì)為與部位區(qū)域成對(duì)的第二部位的候選區(qū)域的情況下，特征量校 正單元140進(jìn)行上述固有特征量的校正。
[0050] 判定單元150基于特征量校正單元140中校正后的固有特征量和另一方的候選區(qū) 域的固有特征量之間的相似度（例如，余弦相似度），判定部位區(qū)域和第二部位的候選區(qū)域 是否為成對(duì)的部位。根據(jù)該判定，估計(jì)部位的姿勢(shì)。
[0051] 姿勢(shì)估計(jì)裝置100例如具有CPU(Central Processing Unit ;中央處理器）、存 儲(chǔ)了控制程序的R〇M(Read Only Memory;只讀存儲(chǔ)器）等的存儲(chǔ)介質(zhì)、以及RAM(Random Access Memory;隨機(jī)存取存儲(chǔ)器）等的工作用存儲(chǔ)器。這種情況下，上述各構(gòu)成單元的功 能通過CPU執(zhí)行控制程序來實(shí)現(xiàn)。
[0052] 具備這樣的結(jié)構(gòu)的姿勢(shì)估計(jì)裝置100具有以下的效果。
[0053] 在估計(jì)未指定多個(gè)多關(guān)節(jié)物體的姿勢(shì)的情況下，由于事先難以掌握各多關(guān)節(jié)物體 為什么樣的衣服或顏色，所以一般是使用共同特征量（例如，邊緣、輪廓、輪廓等）進(jìn)行部位 的估計(jì)。在這樣的部位的估計(jì)中，在某個(gè)部位的周圍沒有其他部位的情況下，由于僅該部位 的邊緣信息被提取，所以部位的估計(jì)比較容易。但是，在進(jìn)行部位的估計(jì)時(shí)，假定在某個(gè)部 位的周圍有其他部位的情況。即，例如，在某個(gè)部位的背后有其他部位的情況下，由于不僅 某個(gè)部位，而且位于其背后的其他部位的邊緣信息也一并獲取，所以難以進(jìn)行部位的估計(jì)。 而且，在某個(gè)部位被其他部位遮擋的情況下，圖像上可看見的面積變少，僅用上述共同特征 量，難以進(jìn)行部位的估計(jì)。
[0054]在另一方面，一般地，在具有成對(duì)的部位的多關(guān)節(jié)物體中，大多被認(rèn)為成對(duì)的部位 的衣服、顏色、質(zhì)感是相同的。例如，在人的情況下，右腿和左腿穿著單一的衣服，所以能夠 假定為成為相同的顏色，右臂和左臂也大多被認(rèn)為是相同花紋的衣服。
[0055] 因此，姿勢(shì)估計(jì)裝置100首先使用共同特征量，從圖像中提取多個(gè)候選區(qū)域，并分 成部位區(qū)域和第二部位的候選區(qū)域。接著，姿勢(shì)估計(jì)裝置100分別對(duì)于部位區(qū)域以及第二 部位的候選區(qū)域計(jì)算固有特征量。接著，姿勢(shì)估計(jì)裝置100對(duì)部位區(qū)域以及第二部位的候 選區(qū)域之中的、任意一方的候選區(qū)域的固有特征量，基于另一方的候選區(qū)域的長(zhǎng)度、寬度、 以及角度中的至少一個(gè)進(jìn)行校正。接著，姿勢(shì)估計(jì)裝置100基于校正后的固有特征量和另 一方的候選區(qū)域的固有特征量之間的相似度，判定部位區(qū)域和第二部位的候選區(qū)域是否為 成對(duì)的部位。通過這樣的動(dòng)作，即使在第二部位的候選區(qū)域的周圍有其他部位的候選區(qū)域 的情況下，姿勢(shì)估計(jì)裝置100也可縮窄第二部位的候選區(qū)域。因此，即使在難以估計(jì)成對(duì)的 部位的一方的姿勢(shì)的情況下，甚至即使在事前該部位的顏色以及紋理的至少一方不明的情 況下，姿勢(shì)估計(jì)裝置100也可高精度地估計(jì)具有成對(duì)的部位的多關(guān)節(jié)物體的姿勢(shì)。
[0056](實(shí)施方式2)
[0057]本發(fā)明的實(shí)施方式2是將本發(fā)明適用于輸入拍攝圖像、估計(jì)在該拍攝圖像中包含 的人的姿勢(shì)的裝置的情況下的本發(fā)明的具體方式的一例子。
[0058]首先，說明包含本實(shí)施方式的姿勢(shì)估計(jì)裝置的姿勢(shì)估計(jì)系統(tǒng)的概要。
[0059] 圖2是表示一例本實(shí)施方式中的姿勢(shì)估計(jì)系統(tǒng)的結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖。在圖2中， 姿勢(shì)估計(jì)系統(tǒng)200具有對(duì)拍攝區(qū)域310進(jìn)行拍攝的攝像機(jī)320、以及與攝像機(jī)320可通信地 連接的姿勢(shì)估計(jì)裝置100。攝像機(jī)320例如是數(shù)碼攝像機(jī)，對(duì)拍攝區(qū)域310從斜上方拍攝。 即，攝像機(jī)320拍攝的圖像是拍攝包含人340以及水平的地面330的實(shí)際空間所得的圖像。 而且，攝像機(jī)320將拍攝視頻的視頻數(shù)據(jù)發(fā)送到姿勢(shì)估計(jì)裝置100。這里，將拍攝區(qū)域310 的地面330假設(shè)為作為姿勢(shì)估計(jì)的對(duì)象的人340在步行的地面。
[0060]姿勢(shì)估計(jì)裝置100例如是個(gè)人計(jì)算機(jī)，基于從攝像機(jī)320接收到的視頻數(shù)據(jù)，估計(jì) 人340的姿勢(shì)。
[0061]通過以上，結(jié)束有關(guān)姿勢(shì)估計(jì)系統(tǒng)200的概要的說明。
[0062]接著，說明有關(guān)在本實(shí)施方式中作為估計(jì)的對(duì)象的人340的姿勢(shì)。
[0063]圖3是表示一例人340的身體的結(jié)構(gòu)模型（以下稱為'身體模型'）410的圖。身 體模型410是示意地表示用于姿勢(shì)估計(jì)的身體的各部位的位置關(guān)系的模型。身體模型410 至少包含軀干411、左大腿412、左小腿413、左腳414、右大腿415、右小腿416、右腳417、以 及頭418、右大臂419、右小臂420、左大臂422、左小臂423。
[0064]這些各部位通過關(guān)節(jié)連接著。因此，各部位的可動(dòng)區(qū)域受到其他部位的限制。例 如，左小臂423只能夠在以與左大臂422之間的連接點(diǎn)為中心的規(guī)定的角度范圍內(nèi)移動(dòng)。此 夕卜，例如在將頭418和軀干411之間的連接點(diǎn)作為基準(zhǔn)點(diǎn)時(shí)，以基準(zhǔn)點(diǎn)為中心的左小臂423 的可存在區(qū)域（也稱為'可能存在范圍'）受到左小臂423的連接源的部位即左大臂422和 軀干411的部位的物理的長(zhǎng)度和可動(dòng)區(qū)域的限制。將這樣的多關(guān)節(jié)物體的構(gòu)造上的連接關(guān) 系、連接點(diǎn)的可動(dòng)區(qū)域、部位的長(zhǎng)度、粗細(xì)、形狀造成的限制稱為限制信息。
[0065] 在本實(shí)施方式中，除了使用各部位的限制信息表示對(duì)人共同的特征的信息以外， 假設(shè)姿勢(shì)估計(jì)裝置1〇〇還使用表示個(gè)人的部位的特征的信息，從圖像信息中提取身體模型 410中的各部位的區(qū)域的信息。再有，姿勢(shì)估計(jì)裝置100使用的身體模型不限定于圖3所示 的例子。
[0066] 在身體模型410中，成對(duì)的部位是左大腿412和右大腿415、左小腿413和右小腿 416、左腳414和右腳417、左大臂422和右大臂419、左小臂423和右小臂420。再有，在本 實(shí)施方式中，將成對(duì)的部位設(shè)為上述組合中的左小臂423和右小臂420的小臂來說明，但不 限定于此。
[0067] 通過以上，結(jié)束有關(guān)作為估計(jì)的對(duì)象的人340的姿勢(shì)的說明。
[0068] 接著，說明有關(guān)姿勢(shì)估計(jì)裝置100的結(jié)構(gòu)。
[0069] 圖1是表示一例姿勢(shì)估計(jì)裝置100的結(jié)構(gòu)的框圖。本實(shí)施方式的姿勢(shì)估計(jì)裝置100 的結(jié)構(gòu)與實(shí)施方式1相同。但是，在本實(shí)施方式中，將估計(jì)對(duì)象的多關(guān)節(jié)物體設(shè)為人340來 說明，將成對(duì)的部位設(shè)為小臂（左小臂423和右小臂420)來說明。
[0070] 候選區(qū)域提取單元110從包含作為估計(jì)對(duì)象的人的一部分或全部的圖像中，使用 共同特征量，提取被估計(jì)為小臂的多個(gè)候選區(qū)域。這里所謂的共同特征量表示有關(guān)小臂在 未指定人數(shù)的人中共同的形狀的特征（例如，僅邊緣、或者邊緣以及輪廓）。再有，這里所提 取的候選區(qū)域包含有干擾的候選區(qū)域的情況，即，有包含衣服的圖案等被誤估計(jì)是小臂的 候選區(qū)域的情況。
[0071] 再有，上述"有關(guān)小臂在未指定人數(shù)的人中共同的形狀"，例如根據(jù)人340中的小 臂的可能存在范圍、或者小臂的大小、長(zhǎng)度或粗細(xì)來確定。有關(guān)這樣的小臂的可能存在范 圍、大小、長(zhǎng)度以及粗細(xì)，作為人的限制信息被預(yù)先確定。再有，人340中的小臂的可能存在 范圍，例如也可以用距人340上的某個(gè)基準(zhǔn)點(diǎn)（例如，頭418和軀干411的連接點(diǎn)）的距離 來確定。而且，候選區(qū)域提取單元110也可以基于上述限制信息，提取候選區(qū)域。由此，候 選區(qū)域提取單元110能夠?qū)⑹切”鄣目赡苄裕ㄋ迫唬樽罡叩膮^(qū)域作為候選區(qū)域提取。
[0072] 部位區(qū)域提取單元120將在候選區(qū)域提取單元110中提取出的多個(gè)候選區(qū)域之中 的、是小臂的似然為最高的區(qū)域，作為小臂之中的第一部位的候選區(qū)域（第一候選區(qū)域的 一例子）提取。這里，將第一部位的候選區(qū)域稱為'部位區(qū)域'。另一方面，部位區(qū)域以外的 候選區(qū)域稱為'第二部位的候選區(qū)域'（第二候選區(qū)域的一例子）。還有存在多個(gè)第二部位 的候選區(qū)域的情況。
[0073] 特征量計(jì)算單元130對(duì)于由部位區(qū)域提取單元120提取出的、各個(gè)部位區(qū)域和第 二部位的候選區(qū)域，計(jì)算固有特征量。這里所謂的固有特征量表示對(duì)于小臂在估計(jì)對(duì)象的 人340中固有的特征（例如，顏色以及紋理中的至少一個(gè)）。
[0074] 特征量校正單元140將特征量計(jì)算單元130算出的、部位區(qū)域以及第二部位的候 選區(qū)域之中任一方的候選區(qū)域的固有特征量，基于另一方的候選區(qū)域的長(zhǎng)度、寬度、以及角 度中的至少一個(gè)進(jìn)行校正（再計(jì)算）。即，特征量校正單元140將部位區(qū)域的固有特征量， 基于第二部位的候選區(qū)域的長(zhǎng)度、寬度、以及角度中的至少一個(gè)進(jìn)行校正。再有，特征量校 正單元140也可以將第二部位的候選區(qū)域的固有特征量，基于部位區(qū)域的長(zhǎng)度、寬度、以及 角度中的至少一個(gè)進(jìn)行校正。前者的校正方法將似然較高的候選區(qū)域進(jìn)行校正，以與似然 較低的候選區(qū)域相匹配，與后者的校正方法相比，估計(jì)的精度提高，因而被優(yōu)選。
[0075] 再有，在第二部位的候選區(qū)域有多個(gè)的情況下，特征量校正單元140對(duì)每個(gè)部位 區(qū)域和第二部位的候選區(qū)域的對(duì)，校正部位區(qū)域或第二部位的候選區(qū)域的固有特征量。
[0076] 此外，特征量校正單元140在進(jìn)行上述固有特征量的校正前，也可以進(jìn)行以下的 處理。首先，特征量校正單元140計(jì)算由特征量計(jì)算單元130算出的、部位區(qū)域的固有特 征量和第二部位的候選區(qū)域的固有特征量之間的相似度。接著，特征量校正單元140基于 算出的相似度，判斷是否存在能夠估計(jì)為與部位區(qū)域成對(duì)的小臂的第二部位的候選區(qū)域。 該判斷的結(jié)果，在不存在能夠估計(jì)為與部位區(qū)域成對(duì)的小臂的第二部位的候選區(qū)域的情況 下，特征量校正單元140進(jìn)行上述固有特征量的校正。
[0077] 判定單元150基于由特征量校正單元140校正后的固有特征量和另一方的候選區(qū) 域的固有特征量之間的相似度（例如，余弦相似度），判定部位區(qū)域和第二部位的候選區(qū)域 是否為成對(duì)的小臂。根據(jù)該判定，估計(jì)小臂的姿勢(shì)。
[0078] 姿勢(shì)估計(jì)裝置100例如具有CPU (Central Processing Unit)、存儲(chǔ)了控制程序的 ROM (Read Only Memory ;只讀存儲(chǔ)器）等存儲(chǔ)介質(zhì)、以及 RAM (Random Access Memory ;隨機(jī) 存取存儲(chǔ)器）等作業(yè)用的存儲(chǔ)器。這種情況下，上述各結(jié)構(gòu)單元的功能，通過CPU執(zhí)行控制 程序來實(shí)現(xiàn)。
[0079] 具備這樣的結(jié)構(gòu)的姿勢(shì)估計(jì)裝置100具有以下的效果。
[0080] 在估計(jì)未指定許多人的姿勢(shì)的情況下，由于難以事先掌握各個(gè)人為什么樣的衣服 或皮膚的顏色，所以一般采用共同特征量（例如，邊緣、輪廓、輪廓等），進(jìn)行部位的估計(jì)。在 這樣的部位的估計(jì)中，在某個(gè)部位的周圍沒有其他部位的情況下，僅提取該部位的邊緣信 息，所以部位的估計(jì)比較容易。但是，在進(jìn)行部位的估計(jì)時(shí)，假定在某個(gè)部位的周圍有其他 部位的情況。即，例如，在左小臂423的背后有軀干411的情況下，不僅左小臂423,而且軀 干411的邊緣信息也被一并獲取，所以難以進(jìn)行左小臂423的估計(jì)。而且，還假定某個(gè)部位 被其他部位遮擋的情況。即，例如，在左小臂423的一部分隱藏在軀干411中的情況下，左 小臂423在圖像上可看見的面積較少，僅用表示小臂的形狀的特征的圖像特征量，難以進(jìn) 行左小臂423的估計(jì)。
[0081] 在另一方面，一般地，人的衣服是左右對(duì)稱的，在成對(duì)的部位的圖像上的顏色、紋 理大多相同。例如，在人的情況下，右腿和左腿穿著單一的褲子，所以能夠假定為相同的長(zhǎng) 度、相同顏色，并認(rèn)為右臂和左臂也為相同的花紋、相同的袖子長(zhǎng)度的衣服居多。
[0082] 因此，姿勢(shì)估計(jì)裝置100首先使用共同特征量從圖像中提取多個(gè)候選區(qū)域，并分 為部位區(qū)域和第二部位的候選區(qū)域。接著，姿勢(shì)估計(jì)裝置100對(duì)于部位區(qū)域以及第二部位 的候選區(qū)域的各個(gè)區(qū)域，計(jì)算固有特征量。接著，姿勢(shì)估計(jì)裝置1〇〇將部位區(qū)域以及第二部 位的候選區(qū)域中的、任意一方的候選區(qū)域的固有特征量，基于另一方的候選區(qū)域的長(zhǎng)度、寬 度、以及角度中的至少一個(gè)進(jìn)行校正。接著，姿勢(shì)估計(jì)裝置100基于校正后的固有特征量和 另一方的候選區(qū)域的固有特征量之間的相似度，判定部位區(qū)域和第二部位的候選區(qū)域是否 為成對(duì)的部位。通過這樣的動(dòng)作，即使在第二部位的候選區(qū)域的周圍有其他部位（例如軀 干411)的候選區(qū)域的情況下，姿勢(shì)估計(jì)裝置100也可縮窄第二部位的候選區(qū)域。因此，即 使是難以估計(jì)小臂一方的姿勢(shì)的情況下，并且，即使是在事先該部位的顏色以及紋理的至 少一方不明的情況下，姿勢(shì)估計(jì)裝置100也可高精度地估計(jì)具有成對(duì)的部位的多關(guān)節(jié)物體 的姿勢(shì)。
[0083] 接著，說明有關(guān)姿勢(shì)估計(jì)裝置100的動(dòng)作。圖4是表示一例姿勢(shì)估計(jì)裝置的動(dòng)作 的流程圖。
[0084]首先，在步驟S1100中，候選區(qū)域提取單元110進(jìn)行候選區(qū)域提取處理。候選區(qū)域 提取處理是提取多個(gè)估計(jì)對(duì)象部位即小臂的候選區(qū)域的處理。
[0085] 這里，說明有關(guān)步驟S1100的候選區(qū)域提取處理的細(xì)節(jié)。圖5是表示一例候選區(qū) 域提取處理的動(dòng)作的流程圖。
[0086] 首先，在步驟S1101的'圖像輸入'中，候選區(qū)域提取單元110從攝像機(jī)320輸入 圖像。該圖像是拍攝了人340的一部分或全部的圖像。
[0087] 接著，在步驟S1102的'近景提取'中，候選區(qū)域提取單元110從輸入的圖像中，提 取近景區(qū)域。具體地說，候選區(qū)域提取單元110生成背景差分圖像，提取近景作為被估計(jì)為 人340的區(qū)域（以下稱為'人的候選區(qū)域'）。這里，例如，背景差分圖像是表示在不存在人 340的狀態(tài)下拍攝到的背景圖像和輸入的圖像之間的差分的圖像。
[0088]例如，背景差分圖像將輸入的圖像和背景圖像的像素值不同的像素以白色表現(xiàn)， 將輸入圖像和背景圖像的像素值相同的像素以黑色表現(xiàn)。即，背景差分圖像將人340存在 的區(qū)域以白色的區(qū)域表現(xiàn)，將人340不存在的區(qū)域以黑色的區(qū)域表現(xiàn)。
[0089] 接著，步驟S1103的'頭提取'中，候選區(qū)域提取單元110提取被估計(jì)為頭418的 區(qū)域（以下稱為'頭的候選區(qū)域'），并計(jì)算人340的基準(zhǔn)點(diǎn)。在本實(shí)施方式中，基準(zhǔn)點(diǎn)設(shè)為 頭418和軀干411之間的連接點(diǎn)，但不限于此。
[0090] 候選區(qū)域提取單元110提取白色的區(qū)域作為人的候選區(qū)域，其中，提取上部的區(qū) 域作為頭的候選區(qū)域。例如，上部的區(qū)域作為人的候選區(qū)域（白色的區(qū)域）中從上端向下 方包含規(guī)定的比率（例如，30% )的部分的區(qū)域被預(yù)先確定。
[0091] 然后，候選區(qū)域提取單元110從提取出的頭的候選區(qū)域中，使用霍夫變換等提取 頭區(qū)域?；舴蜃儞Q是公知的技術(shù)，能夠從邊緣信息求表示橢圓的中心（X坐標(biāo)、Y坐標(biāo)）、長(zhǎng) 軸、短軸、斜度的五個(gè)參數(shù)。候選區(qū)域提取單元110將該橢圓的長(zhǎng)軸和橢圓的交點(diǎn)中的、位 于下面的點(diǎn)，作為頭418和軀干411的連接點(diǎn)即基準(zhǔn)點(diǎn)來計(jì)算。
[0092] 接著，在步驟S1104的'候選區(qū)域提取'中，提取小臂的候選區(qū)域。這里，說明兩個(gè) 提取小臂的候選區(qū)域的例子。
[0093] 首先，說明第一例子。第一例子與頭的候選區(qū)域的提取同樣地進(jìn)行。
[0094] 候選區(qū)域提取單元110提取白色的區(qū)域作為人的候選區(qū)域，其中，提取距基準(zhǔn)點(diǎn) 規(guī)定的距離的區(qū)域作為小臂可能存在區(qū)域。這里，基于人340的限制信息，通過預(yù)先學(xué)習(xí)， 規(guī)定的距離作為頭區(qū)域的大小的規(guī)定的倍率（例如，短軸的7. 5倍等）被預(yù)先確定。
[0095] 然后，候選區(qū)域提取單元110從提取出的小臂可能存在區(qū)域中，采用霍夫變換等 提取小臂的候選區(qū)域。霍夫變換是公知的技術(shù)，能夠從邊緣信息求表示橢圓的中心（X坐 標(biāo)、Y坐標(biāo)）、長(zhǎng)軸、短軸、斜度的五個(gè)參數(shù)。候選區(qū)域提取單元110提取這樣求得的橢圓之 中的、長(zhǎng)軸、短軸的長(zhǎng)度滿足規(guī)定的條件的區(qū)域作為小臂的候選區(qū)域。這里，基于人340的 限制信息，預(yù)先通過學(xué)習(xí)，預(yù)先確定，作為頭區(qū)域的大小的規(guī)定的比率的范圍（例如，長(zhǎng)軸 小于頭區(qū)域的長(zhǎng)軸的長(zhǎng)度的1. 2倍，短軸小于頭區(qū)域的短軸的長(zhǎng)度的1. 2倍等）被規(guī)定的 條件。
[0096] 這樣一來，候選區(qū)域提取單元110提取的小臂的候選區(qū)域分別由橢圓的中心（X坐 標(biāo)、Y坐標(biāo)）、長(zhǎng)軸、短軸、斜度定義并被輸出。
[0097] 接著，說明第二例子。第二例子從基于小臂可能存在區(qū)域生成的邊緣對(duì)似然映射 圖中提取小臂的候選區(qū)域。
[0098] 邊緣對(duì)似然映射圖是將基于在各像素附近存在的、與規(guī)定的梯度方向平行的邊緣 對(duì)算出的邊緣對(duì)似然作為各像素的值的映射圖。在本實(shí)施方式中，基于小臂的粗細(xì)的限制 信息確定平行線的寬度，所以每個(gè)像素的邊緣對(duì)似然表示在該像素附近存在的像素是小臂 的邊緣的似然性（似然）。
[0099]圖6是表示一例邊緣對(duì)似然映射圖生成處理的動(dòng)作的流程圖。圖7是用于說明梯 度方向?yàn)樗椒较虻倪吘墝?duì)似然映射圖的生成處理的圖。這里，使水平方向?yàn)椹柖?，說明生 成水平方向的邊緣對(duì)似然映射圖的例子。
[0100] 在步驟S2001中，候選區(qū)域提取單元110選擇要生成的邊緣對(duì)似然映射圖的梯度 方向的步長(zhǎng)寬度。這里，作為例子，假設(shè)增量寬度預(yù)先設(shè)定為30度。這樣，在將梯度方向設(shè) 為30度增量的情況下，生成0度、30度、60度、90度、120度、150度的六個(gè)邊緣對(duì)似然映射 圖。因此，在該情況下，候選區(qū)域提取單元110反復(fù)六次步驟S2002到S2006的處理。
[0101] 在步驟S2002中，候選區(qū)域提取單元110從小臂可能存在區(qū)域中選擇關(guān)注像素。 例如，在圖7中，候選區(qū)域提取單元110通過反復(fù)以下的處理，將胳膊第二部位的候選區(qū)域 的全部像素作為關(guān)注像素選擇。這里所謂的處理是，從左上角的像素（用※表示的像素） 起，將X坐標(biāo)在X軸方向每次增加1而移動(dòng)至X軸方向的端部后，將X坐標(biāo)返回到初始位置 (用※表示的像素的X坐標(biāo)的位置），并將Y坐標(biāo)在Y坐標(biāo)方向上增加1，然后將X坐標(biāo)在 X軸方向上每次增加1的處理。但是，關(guān)注像素的選擇方法不限于此。在圖7中，以從小臂 可能存在區(qū)域710中選擇出關(guān)注像素702的情況為例進(jìn)行說明。
[0102] 在步驟S2003中，候選區(qū)域提取單元110選擇梯度方向?qū)ο袼?。在圖7中，選擇 704和705作為梯度方向?qū)ο袼亍?br> [0103] 如上述那樣，這里，作為生成水平方向的邊緣對(duì)似然映射圖的例子。因此，作為滿 足兩個(gè)條件的像素，候選區(qū)域提取單元110選擇704以及705兩個(gè)作為梯度方向?qū)ο袼?。?個(gè)條件是，位于通過關(guān)注像素702、與水平直線垂直的直線上，以及距關(guān)注像素702的距離 為對(duì)象部位的粗細(xì)701的一半長(zhǎng)度703。即，在生成角度0的邊緣對(duì)似然映射圖的情況下， 候選區(qū)域提取單元110假設(shè)在通過關(guān)注像素、與角度9垂直（9+90度）的直線上，選擇兩 個(gè)距離為對(duì)象部位的粗細(xì)701的一半長(zhǎng)度703的像素作為梯度方向?qū)ο袼亍Ｔ儆?，在本?shí) 施方式中，預(yù)先通過學(xué)習(xí)，對(duì)象部位的粗細(xì)701作為頭區(qū)域的大小的規(guī)定的比率（例如，頭 區(qū)域的短軸的長(zhǎng)度的1. 2倍等）被預(yù)先確定。
[0104] 在步驟S2004中，候選區(qū)域提取單元110從梯度方向?qū)ο袼氐母鱾€(gè)梯度方向?qū)ο?素中分別選擇位于預(yù)先設(shè)定的距離以內(nèi)的像素群作為梯度方向?qū)Ω浇鼌^(qū)域。在圖7中，從 梯度方向?qū)ο袼?04以及705各個(gè)梯度方向?qū)ο袼刂校謩e選擇位于附近的長(zhǎng)度708的距 離以內(nèi)的像素群作為梯度方向?qū)Ω浇鼌^(qū)域706以及707。附近的長(zhǎng)度708表示部位的粗細(xì) 誤差的長(zhǎng)度，是預(yù)先確定的值。例如，附近的長(zhǎng)度708作為頭區(qū)域的大小的規(guī)定的比率（例 如，頭區(qū)域的短軸的長(zhǎng)度的20%等）被預(yù)先確定。
[0105] 在步驟S2005中，候選區(qū)域提取單元110計(jì)算關(guān)注像素702的邊緣對(duì)似然。具體 地說，候選區(qū)域提取單元110計(jì)算梯度方向?qū)Ω浇鼌^(qū)域706內(nèi)的像素的亮度的總和與梯度 方向?qū)Ω浇鼌^(qū)域707內(nèi)的像素的亮度的總和之積，作為邊緣對(duì)似然。
[0106] 再有，候選區(qū)域提取單元110也可以計(jì)算在梯度方向?qū)Ω浇鼌^(qū)域706內(nèi)具有規(guī)定 值以上的亮度Y的像素的數(shù)與在梯度方向?qū)Ω浇鼌^(qū)域707內(nèi)具有規(guī)定值以上的亮度Y的像 素的數(shù)之積，作為邊緣對(duì)似然。由此，候選區(qū)域提取單元110能夠?qū)⑦吘墝?duì)似然以各梯度方 向?qū)Ω浇鼌^(qū)域706、707的大小進(jìn)行歸一化。
[0107] 在步驟S2006中，候選區(qū)域提取單元110判斷對(duì)于小臂可能存在區(qū)域的全部像素 是否結(jié)束了邊緣對(duì)似然的計(jì)算。如果對(duì)于全部像素結(jié)束了計(jì)算（S2006:"是"），則候選區(qū) 域提取單元110判斷為結(jié)束了在步驟S2001中選擇出的增量寬度的邊緣對(duì)似然映射圖的生 成，進(jìn)至步驟S2007。另一方面，如果沒有結(jié)束有關(guān)全部像素的計(jì)算（S2006:"否"），則候選 區(qū)域提取單元110判斷為沒有結(jié)束在步驟S2001中選擇出的增量寬度的邊緣對(duì)似然映射圖 的生成，進(jìn)至步驟S2002。
[0108] 在步驟S2007中，候選區(qū)域提取單元110判斷對(duì)于所有的梯度方向是否結(jié)束了邊 緣對(duì)似然的計(jì)算。如果對(duì)于所有的梯度方向結(jié)束了計(jì)算（S2006:"是"），則候選區(qū)域提取 單元110判斷為結(jié)束了預(yù)先確定的所有的梯度方向的邊緣對(duì)似然映射圖的生成，并結(jié)束一 系列的處理。另一方面，如果對(duì)于所有的梯度方向沒有結(jié)束（S2006:"否"），則候選區(qū)域提 取單元110判斷為沒有結(jié)束預(yù)先確定的所有的梯度方向的邊緣對(duì)似然映射圖的生成。因 此，候選區(qū)域提取單元110為了生成處于未生成的梯度方向的邊緣對(duì)似然映射圖，進(jìn)至步 驟 S2001。
[0109] 候選區(qū)域提取單元110提取這樣生成的邊緣對(duì)似然映射圖的似然為規(guī)定的閾值 以上的像素，作為根據(jù)邊緣對(duì)似然映射圖算出的小臂可能存在區(qū)域。這里，規(guī)定的閾值作為 相對(duì)邊緣對(duì)似然映射圖內(nèi)的最大邊緣對(duì)似然的比率（例如，10%等）被預(yù)先確定。
[0110] 候選區(qū)域提取單元110,與從小臂可能存在區(qū)域中提取小臂的候選區(qū)域時(shí)相同地， 從根據(jù)邊緣對(duì)似然映射圖算出的小臂可能存在區(qū)域中，采用霍夫變換提取小臂的候選區(qū) 域。
[0111] 這樣，在本實(shí)施方式中，通過采用對(duì)象部位即小臂的限制信息，縮窄小臂可能存在 區(qū)域，能夠更高精度地提取對(duì)象部位即小臂的候選區(qū)域。
[0112] 通過以上，結(jié)束步驟S1100的候選區(qū)域提取處理的具體例子的說明。
[0113] 接著，在步驟S1200中，部位區(qū)域提取單元120進(jìn)行部位區(qū)域提取處理。部位區(qū)域 提取處理中，提取候選區(qū)域提取單元110提取出的多個(gè)候選區(qū)域中的、為小臂的似然較高 的區(qū)域，作為小臂之中的第一部位的候選區(qū)域即'部位區(qū)域'。
[0114] 這里，說明三個(gè)提取小臂的部位區(qū)域的例子。
[0115] 首先，說明第一例子。第一例子中，部位區(qū)域提取單元120采用人340的輪廓上的 距基準(zhǔn)點(diǎn)的極大值，提取部位區(qū)域。
[0116]圖8是表示一例采用輪廓上的距基準(zhǔn)點(diǎn)的極大值，提取部位區(qū)域的圖。
[0117] 圖8A表示人340的背景差分圖像的一部分的例子。在圖8A中，白色的區(qū)域表示 輸入圖像和背景圖像的像素值為不同的像素（人340存在的區(qū)域）。此外，在圖8A中，801 表示人340的基準(zhǔn)點(diǎn)的例子。
[0118] 部位區(qū)域提取單元120選擇位于距基準(zhǔn)點(diǎn)正上方的白色的區(qū)域和黑色的區(qū)域（陰 影線區(qū)域）的邊界的像素802,沿邊界向左轉(zhuǎn)地記錄像素位置。圖8A的像素上的數(shù)字表述 所記錄的序號(hào)。像素802被第一個(gè)記錄，所以表述為"1"。所記錄的序號(hào)，例如，假設(shè)為左 上、水平、左下、下、右下的像素的順序。
[0119] 圖8B是表示所記錄的序號(hào)和以該序號(hào)記錄像素與基準(zhǔn)點(diǎn)之間的距離的曲線圖。 從該曲線圖可知，所記錄的序號(hào)為20的像素取極大值。
[0120] 部位區(qū)域提取單元120將候選區(qū)域提取單元110提取出的候選區(qū)域中的、與極大 值之間距離最小的區(qū)域，作為部位區(qū)域提取。具體地說，部位區(qū)域提取單元120可以將候選 區(qū)域的長(zhǎng)軸和橢圓周的交點(diǎn)之中的、距基準(zhǔn)點(diǎn)的距離較大一方的交點(diǎn)與極大點(diǎn)的距離較小 的候選區(qū)域作為部位區(qū)域，也可以將第二部位的候選區(qū)域的重心和距基準(zhǔn)點(diǎn)的距離較小的 候選區(qū)域作為部位區(qū)域。
[0121] 這樣，由于小臂從其他部位（例如軀干）分離，所以部位區(qū)域提取單元120可提取 包含其他部位的信息的可能性最低的候選區(qū)域作為部位區(qū)域。
[0122] 接著，說明第二例子。
[0123] 部位區(qū)域提取單元120采用邊緣對(duì)似然，提取部位區(qū)域。具體地說，部位區(qū)域提取 單元120在邊緣對(duì)似然映射圖上的各候選區(qū)域中，計(jì)算邊緣對(duì)似然的總和，提取該總和最 高的候選區(qū)域作為部位區(qū)域。
[0124] 于是，部位區(qū)域提取單元120可最多地保持對(duì)象部位的邊緣對(duì)似然，提取為對(duì)象 部位的可能性最高的候選區(qū)域作為部位區(qū)域。
[0125] 接著，說明第三例子。
[0126] 部位區(qū)域提取單元120組合第一例子和第二例子的手法來提取部位區(qū)域。具體 地說，部位區(qū)域提取單元120提取第二部位的候選區(qū)域的長(zhǎng)軸和橢圓周的交點(diǎn)中距基準(zhǔn)點(diǎn) 的距離較大一方的交點(diǎn)和極大點(diǎn)之間的距離較小的、并且候選區(qū)域的邊緣對(duì)似然的總和較 高的候選區(qū)域，作為部位區(qū)域。具體地說，部位區(qū)域提取單元120也可以提取采用以下的式 (1)算出的值為最高的候選區(qū)域，作為部位區(qū)域。

【權(quán)利要求】
1. 姿勢(shì)估計(jì)裝置，基于包含具有成對(duì)的部位的多關(guān)節(jié)物體的全部或一部分的圖像，估 計(jì)所述成對(duì)的部位，包括： 候選區(qū)域提取單元，從所述圖像中，使用對(duì)于所述成對(duì)的部位表示未指定多個(gè)多關(guān)節(jié) 物體共同的形狀特征的共同特征量，提取多個(gè)所述成對(duì)的部位的候選區(qū)域； 部位區(qū)域提取單元，從所述多個(gè)候選區(qū)域中，提取作為所述成對(duì)的部位的似然為最大 的第一候選區(qū)域，并將所述第一候選區(qū)域以外的區(qū)域作為第二候選區(qū)域； 特征量計(jì)算單元，分別對(duì)于所述第一候選區(qū)域以及所述第二候選區(qū)域，計(jì)算對(duì)于所述 成對(duì)的部位表示估計(jì)對(duì)象的多關(guān)節(jié)物體上固有的特征的固有特征量； 特征量校正單元，將所述第一候選區(qū)域以及所述第二候選區(qū)域中的、一方的候選區(qū)域 的固有特征量，基于另一方的候選區(qū)域的長(zhǎng)度、寬度、以及角度中的至少一個(gè)進(jìn)行校正；以 及 判定單元，基于所述校正后的固有特征量和所述另一方的候選區(qū)域的固有特征量之間 的相似度，判定所述第一候選區(qū)域和所述第二候選區(qū)域是否為所述成對(duì)的部位。
2. 如權(quán)利要求1所述的姿勢(shì)估計(jì)裝置， 所述特征量校正單元 計(jì)算所述第一候選區(qū)域的固有特征量和所述第二候選區(qū)域的固有特征量之間的相似 度， 基于所述算出的相似度，判斷是否存在能夠估計(jì)為與所述第一候選區(qū)域成對(duì)的所述第 二候選區(qū)域， 在所述判斷的結(jié)果不存在能夠估計(jì)為與所述第一候選區(qū)域成對(duì)的所述第二候選區(qū)域 的情況下，進(jìn)行所述一方的候選區(qū)域的固有特征量的校正。
3. 如權(quán)利要求1所述的姿勢(shì)估計(jì)裝置， 所述特征量校正單元將所述第一候選區(qū)域的固有特征量，基于所述第二候選區(qū)域的長(zhǎng) 度、寬度、以及角度中的至少一個(gè)進(jìn)行校正。
4. 如權(quán)利要求1所述的姿勢(shì)估計(jì)裝置， 所述特征量校正單元 提取距基準(zhǔn)點(diǎn)的距離短的第一交點(diǎn)和距所述基準(zhǔn)點(diǎn)的距離長(zhǎng)的第二交點(diǎn)，作為所述第 二候選區(qū)域的長(zhǎng)軸和橢圓周之間的交點(diǎn)， 基于在有可能存在其他部位的區(qū)域中是否包含所述第一交點(diǎn)以及所述第二交點(diǎn)，判斷 所述第二候選區(qū)域被所述其他部位遮擋的可能性， 在有被遮擋的可能性的情況下，提取所述第一候選區(qū)域的一部分， 對(duì)于提取出的所述第一候選區(qū)域的一部分，進(jìn)行固有特征量的計(jì)算。
5. 如權(quán)利要求1所述的姿勢(shì)估計(jì)裝置， 所述特征量校正單元 判斷所述第一候選區(qū)域和所述第二候選區(qū)域形成的角度是否為〇度， 在所述角度不是〇度的情況下，使用所述角度，使所述第一候選區(qū)域的一部分或全部 轉(zhuǎn)動(dòng)。
6. 如權(quán)利要求1所述的姿勢(shì)估計(jì)裝置， 所述特征量校正單元 比較所述第一候選區(qū)域的長(zhǎng)軸的長(zhǎng)度和所述第二候選區(qū)域的長(zhǎng)軸的長(zhǎng)度， 在所述長(zhǎng)軸的長(zhǎng)度之差小于規(guī)定的值的情況下，或者，在所述長(zhǎng)軸的長(zhǎng)度相等的情況 下，與所述第二候選區(qū)域的長(zhǎng)軸的長(zhǎng)度相對(duì)所述第一候選區(qū)域的長(zhǎng)軸的長(zhǎng)度的比率相匹配 來縮小所述第一候選區(qū)域， 對(duì)于縮小后的所述第一候選區(qū)域，進(jìn)行固有特征量的計(jì)算。
7. 如權(quán)利要求1所述的姿勢(shì)估計(jì)裝置， 所述候選區(qū)域提取單元基于對(duì)所述成對(duì)的部位的特性預(yù)先確定的限制信息，提取所述 多個(gè)候選區(qū)域。
8. 如權(quán)利要求1所述的姿勢(shì)估計(jì)裝置， 所述共同特征量只是邊緣，或者是邊緣以及輪廓。
9. 如權(quán)利要求1所述的姿勢(shì)估計(jì)裝置， 所述固有特征量是顏色以及紋理中的至少一個(gè)。
10. 姿勢(shì)估計(jì)方法，基于包含具有成對(duì)的部位的多關(guān)節(jié)物體的全部或一部分的圖像，估 計(jì)所述成對(duì)的部位，該方法包括以下步驟： 從所述圖像中，使用對(duì)于所述成對(duì)的部位表示未指定多個(gè)多關(guān)節(jié)物體共同的形狀特征 的共同特征量，提取多個(gè)所述成對(duì)的部位的候選區(qū)域的步驟； 從所述多個(gè)候選區(qū)域中，提取作為所述成對(duì)的部位的似然為最大的第一候選區(qū)域，并 將所述第一候選區(qū)域以外的區(qū)域作為第二候選區(qū)域的步驟； 分別對(duì)于所述第一候選區(qū)域以及所述第二候選區(qū)域，計(jì)算對(duì)于所述成對(duì)的部位表示估 計(jì)對(duì)象的多關(guān)節(jié)物體上固有的特征的固有特征量的步驟； 將所述第一候選區(qū)域以及所述第二候選區(qū)域中的、一方的候選區(qū)域的固有特征量，基 于另一方的候選區(qū)域的長(zhǎng)度、寬度、以及角度中的至少一個(gè)進(jìn)行校正的步驟；以及 基于所述校正后的固有特征量和所述另一方的候選區(qū)域的固有特征量之間的相似度， 判定所述第一候選區(qū)域和所述第二候選區(qū)域是否為所述成對(duì)的部位的步驟。
11. 姿勢(shì)估計(jì)程序，使基于包含具有成對(duì)的部位的多關(guān)節(jié)物體的全部或一部分的圖像， 估計(jì)所述成對(duì)的部位的裝置的計(jì)算機(jī)執(zhí)行以下處理： 從所述圖像中，使用對(duì)于所述成對(duì)的部位表示未指定多個(gè)多關(guān)節(jié)物體共同的形狀特征 的共同特征量，提取多個(gè)所述成對(duì)的部位的候選區(qū)域的處理； 從所述多個(gè)候選區(qū)域中，提取作為所述成對(duì)的部位的似然為最大的第一候選區(qū)域，并 將所述第一候選區(qū)域以外的區(qū)域作為第二候選區(qū)域的處理； 分別對(duì)于所述第一候選區(qū)域以及所述第二候選區(qū)域，計(jì)算對(duì)于所述成對(duì)的部位表示估 計(jì)對(duì)象的多關(guān)節(jié)物體上固有的特征的固有特征量的處理； 將所述第一候選區(qū)域以及所述第二候選區(qū)域中的、一方的候選區(qū)域的固有特征量，基 于另一方的候選區(qū)域的長(zhǎng)度、寬度、以及角度中的至少一個(gè)進(jìn)行校正的處理；以及 基于所述校正后的固有特征量和所述另一方的候選區(qū)域的固有特征量之間的相似度， 判定所述第一候選區(qū)域和所述第二候選區(qū)域是否為所述成對(duì)的部位的處理。
【文檔編號(hào)】G06T7/60GK104487999SQ201380039239
【公開日】2015年4月1日 申請(qǐng)日期:2013年6月4日 優(yōu)先權(quán)日:2012年7月26日
【發(fā)明者】川口京子, 巖井和彥 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社