本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,特別是涉及人體信息采集方法、裝置及系統(tǒng)。
背景技術(shù):
人體信息采集已被廣泛地應(yīng)用在人的健康管理、目標(biāo)廣告定位、智能監(jiān)控等不同領(lǐng)域。
目前,常用的人體信息采集方式是基于視覺(jué)圖像對(duì)人體進(jìn)行身高、姓別以及體重等信息的獲取。具體,主要是利用彩色圖像對(duì)人體進(jìn)行身高、姓別及體重進(jìn)行粗略估算及判別。由于彩色圖像僅能反映人物的顏色以及紋理等二維信息,還會(huì)受到光照等影響,另外對(duì)運(yùn)動(dòng)著的人體則無(wú)法進(jìn)行身高測(cè)量,因而基于彩色圖像采集得到人體信息的準(zhǔn)確性不高。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明主要解決的技術(shù)問(wèn)題是提供人體信息采集方法、裝置及系統(tǒng),能夠提高人體信息采集的準(zhǔn)確性和穩(wěn)定性。
為解決上述技術(shù)問(wèn)題,本發(fā)明采用的一個(gè)技術(shù)方案是:提供一種人體信息采集方法,包括:
獲取目標(biāo)人體的深度圖像;
從所述深度圖像中提取與人體信息相關(guān)的圖像數(shù)據(jù);
利用所述提取的圖像數(shù)據(jù)得到所述目標(biāo)人體的人體信息,其中,所述人體信息包括身高、體重、性別的至少一種。
其中,當(dāng)所述人體信息包括身高時(shí),所述從所述深度圖像中提取與人體信息相關(guān)的圖像數(shù)據(jù),包括:
從所述深度圖像中提取與所述身高相關(guān)的圖像數(shù)據(jù),所述身高相關(guān)的圖像數(shù)據(jù)包括所述目標(biāo)人體的頭部最高點(diǎn)像素對(duì)應(yīng)的第一三維空間坐標(biāo)、左大腿最高點(diǎn)像素對(duì)應(yīng)的第二三維空間坐標(biāo)、右大腿最高點(diǎn)像素對(duì)應(yīng)的第三三維空間坐標(biāo)、左腳最低點(diǎn)像素對(duì)應(yīng)的第四三維空間坐標(biāo)和右腳最低點(diǎn)像素對(duì)應(yīng)的第五三維空間坐標(biāo);
所述利用所述提取的圖像數(shù)據(jù)得到所述目標(biāo)人體的人體信息,包括:
根據(jù)所述提取的三維空間坐標(biāo),計(jì)算得到由所述左大腿最高點(diǎn)與所述右大腿最高點(diǎn)間連線的中點(diǎn)指向所述頭部最高點(diǎn)的第一向量、由所述左大腿最高點(diǎn)指向所述左腳最低點(diǎn)的第二向量以及由所述右大腿最高點(diǎn)指向所述右腳最低點(diǎn)的第三向量;
利用所述第一向量、第二向量和第三向量計(jì)算得到所述目標(biāo)人體的身高。
其中,所述利用所述第一向量、第二向量和第三向量計(jì)算得到所述目標(biāo)人體的身高,包括:將所述第一向量第二向量和第三向量代入下述公式1或公式2,得到所述目標(biāo)人體的身高Height,
其中,當(dāng)所述人體信息包括性別時(shí),所述從所述深度圖像中提取與人體信息相關(guān)的圖像數(shù)據(jù),包括:
從所述深度圖像中提取與性別相關(guān)的圖像數(shù)據(jù),其中,所述與性別相關(guān)的圖像數(shù)據(jù)包括所述目標(biāo)人體的人臉的輪廓特征、肩部的輪廓特征、胸部的輪廓特征以及臀部的輪廓特征;
所述利用所述提取的圖像數(shù)據(jù)得到所述目標(biāo)人體的人體信息,包括:
將所述提取的與性別相關(guān)的圖像數(shù)據(jù)和所述目標(biāo)人體的身高輸入至設(shè)定分類(lèi)器進(jìn)行分類(lèi),并根據(jù)所述設(shè)定分類(lèi)器的分類(lèi)結(jié)果確定所述目標(biāo)人體的性別。
其中,當(dāng)所述人體信息包括體重時(shí),所述從所述深度圖像中提取與人體信息相關(guān)的圖像數(shù)據(jù),包括:
從所述深度圖像中提取與體重相關(guān)的圖像數(shù)據(jù),其中,所述與體重相關(guān)的圖像數(shù)據(jù)包括所述目標(biāo)人體的人臉的輪廓特征、肩部的輪廓特征、胸部的輪廓特征、臀部的輪廓特征以及腹部的輪廓特征;
所述利用所述提取的圖像數(shù)據(jù)得到所述目標(biāo)人體的人體信息,包括:
將所述提取的與體重相關(guān)的圖像數(shù)據(jù)與所述目標(biāo)人體的身高和性別輸入至設(shè)定回歸模型對(duì)體重進(jìn)行估算,并根據(jù)估算結(jié)果確定所述目標(biāo)人體的體重。
其中,所述提取的與性別/體重相關(guān)的圖像數(shù)據(jù)還包括將所述目標(biāo)人體的正面的法線與獲取所述深度圖像的相機(jī)的光軸之間的夾角α。
其中,所述夾角α由所述目標(biāo)人體的左大腿最高點(diǎn)像素對(duì)應(yīng)的第二三維空間坐標(biāo)(x2,y2,z2)和右大腿最高點(diǎn)像素對(duì)應(yīng)的第三三維空間坐標(biāo)(x3,y3,z3)代入下述公式3計(jì)算得到,
其中,所述目標(biāo)人體的某個(gè)部位的所述輪廓特征為所述目標(biāo)人體的對(duì)應(yīng)部位的輪廓線、所述目標(biāo)人體的對(duì)應(yīng)部位的一平行于所述目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度與寬度間的比例、所述目標(biāo)人體的對(duì)應(yīng)部位的多個(gè)平行于所述目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度與寬度間的比例的平均值、或所述目標(biāo)人體的對(duì)應(yīng)部位的多個(gè)平行于所述目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度與寬度間的比例中的最大值。
為解決上述技術(shù)問(wèn)題,本發(fā)明采用的另一個(gè)技術(shù)方案是:提供一種人體信息采集裝置,包括:
獲取模塊,用于獲取目標(biāo)人體的深度圖像;
提取模塊,用于從所述深度圖像中提取與人體信息相關(guān)的圖像數(shù)據(jù);
得到模塊,用于利用所述提取的圖像數(shù)據(jù)得到所述目標(biāo)人體的人體信息,其中,所述人體信息包括身高、體重、性別的至少一種。
為解決上述技術(shù)問(wèn)題,本發(fā)明采用的再一個(gè)技術(shù)方案是:提供一種人體信息采集系統(tǒng),包括相互連接的圖像采集設(shè)備和人體信息采集設(shè)備,所述人體信息采集設(shè)備包括處理器和存儲(chǔ)器;
所述圖像采集設(shè)備用于采集目標(biāo)人體的深度圖像,并輸出至所述人體信息采集設(shè)備;
所述人體信息采集設(shè)備的存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)指令以及所述處理器在處理過(guò)程中所需使用的圖像數(shù)據(jù);
所述處理器執(zhí)行所述計(jì)算機(jī)指令,用于:
獲取目標(biāo)人體的深度圖像;
從所述深度圖像中提取與人體信息相關(guān)的圖像數(shù)據(jù);
利用所述提取的圖像數(shù)據(jù)得到所述目標(biāo)人體的人體信息,其中,所述人體信息包括身高、體重、性別的至少一種。
本發(fā)明的有益效果是:通過(guò)從目標(biāo)人體的深度圖像提取與人體信息相關(guān)的圖像數(shù)據(jù),進(jìn)而利用該與人體信息相關(guān)的圖像數(shù)據(jù)得到該目標(biāo)人體的人體信息,由于深度圖像包含三維信息,故利用該深度圖像中的圖像數(shù)據(jù)得到的人體信息更加準(zhǔn)確,且由于深度圖像用于表征深度信息,而不受環(huán)境光影響,故上述人體信息的采集不受環(huán)境光限制,提高了該人體信息采集的穩(wěn)定性。
附圖說(shuō)明
圖1是本發(fā)明人體信息采集方法一實(shí)施例的流程圖;
圖2是本發(fā)明人體信息采集方法一應(yīng)用場(chǎng)景中人體采集信息系統(tǒng)的結(jié)構(gòu)示意圖;
圖3是本發(fā)明人體信息采集方法另一實(shí)施例的流程圖;
圖4是本發(fā)明人體信息采集方法一應(yīng)用場(chǎng)景中目標(biāo)人體深度圖像的示意圖。
圖5是本發(fā)明人體信息采集方法一應(yīng)用場(chǎng)景中目標(biāo)人體深度圖像中人臉的示意圖;
圖6是本發(fā)明人體信息采集裝置一實(shí)施例的結(jié)構(gòu)示意圖;
圖7是本發(fā)明人體信息采集系統(tǒng)一實(shí)施例的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了更好的理解本發(fā)明的技術(shù)方案,下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例進(jìn)行詳細(xì)描述。
在本發(fā)明實(shí)施例中使用的術(shù)語(yǔ)是僅僅出于描述特定實(shí)施例的目的,而非旨在限制本發(fā)明。在本發(fā)明實(shí)施例和所附權(quán)利要求書(shū)中所使用的單數(shù)形式的“一種”、“所述”和“該”也旨在包括多數(shù)形式,除非上下文清楚地表示其他含義。還應(yīng)當(dāng)理解,本文中使用的術(shù)語(yǔ)“和/或”是指并包含一個(gè)或多個(gè)相關(guān)聯(lián)的列出項(xiàng)目的任何或所有可能組合。
請(qǐng)參閱圖1,圖1是本發(fā)明人體信息采集方法一實(shí)施例的流程圖。本實(shí)施例中,該方法可由人體信息采集裝置執(zhí)行,包括以下步驟:
S11:獲取目標(biāo)人體的深度圖像。
其中,可采用以下三種方式獲取該目標(biāo)人體的深度圖像:
1)基于雙目視覺(jué)的方式
具體,可模仿人眼距離設(shè)置兩個(gè)相機(jī)(相當(dāng)于左右眼)同步對(duì)目標(biāo)人體進(jìn)行采集,得到左、右兩幅目標(biāo)圖像,通過(guò)算法對(duì)該左、右目標(biāo)圖像進(jìn)行計(jì)算,以獲得該目標(biāo)人體的深度圖像。其中,上述對(duì)左、右目標(biāo)圖像進(jìn)行計(jì)算的步驟可由該人體信息采集裝置執(zhí)行,或者由其他設(shè)備與該兩個(gè)相機(jī)連接的處理裝置執(zhí)行。該兩個(gè)相機(jī)可以均為彩色相機(jī)、或者均為不可見(jiàn)光相機(jī)。其中,該不可見(jiàn)光相機(jī)可為如下兩種方式的不可見(jiàn)光相機(jī),不可見(jiàn)光相機(jī)例如為紅外相機(jī)或者紫外相機(jī)等。
2)基于結(jié)構(gòu)光的方式
具體,可如圖2所示,可利用不可見(jiàn)光投影模組22通過(guò)向目標(biāo)人體23所處的空間投射經(jīng)編碼的結(jié)構(gòu)光圖案(如不規(guī)則排列的散斑圖案),并利用不可見(jiàn)光相機(jī)21對(duì)該目標(biāo)人體23進(jìn)行采集,得到帶有結(jié)構(gòu)光圖案的目標(biāo)人體的不可見(jiàn)光圖像,不可見(jiàn)光相機(jī)21可根據(jù)三角算法經(jīng)對(duì)該不可見(jiàn)光圖像進(jìn)行計(jì)算后得到該目標(biāo)人體的深度圖像,并輸出至人體信息采集裝置24。當(dāng)然,在其他實(shí)施例中,不可見(jiàn)光相機(jī)21可直接將該不可見(jiàn)光圖像輸出至人體信息采集裝置24,由該人體信息采集裝置24根據(jù)三角算法經(jīng)對(duì)該不可見(jiàn)光圖像進(jìn)行計(jì)算后得到該目標(biāo)人體的深度圖像。
其中,上述不可見(jiàn)光投影模組22一般由光源及衍射光學(xué)元件組成,光源可以是邊發(fā)射激光也可以是垂直腔面發(fā)射激光,該光源發(fā)出能被該不可見(jiàn)光相機(jī)21識(shí)別的不可見(jiàn)光。例如,例如,該不可見(jiàn)光為紅外光,該不可見(jiàn)光相機(jī)21為紅外相機(jī),該不可見(jiàn)光圖像為紅外圖像;或者該不可見(jiàn)光為紫外光,該不可見(jiàn)光相機(jī)21為紫外相機(jī),該不可見(jiàn)光圖像為紫外圖像。衍射光學(xué)元件根據(jù)不同的結(jié)構(gòu)光圖案需要可以被設(shè)置成具有準(zhǔn)直、分束、擴(kuò)散等功能。
上述結(jié)構(gòu)光圖案可以為分布不規(guī)則的散斑圖案。該散斑圖案的密集程度影響了深度值計(jì)算的速度及精度,散斑顆粒越多,計(jì)算速度越慢,但精度卻越高。因此,該不可見(jiàn)光投影模組22可根據(jù)拍攝圖像的目標(biāo)區(qū)域的大致深度,選擇合適的散斑顆粒密度,在保證計(jì)算速度的同時(shí),仍有著較高的計(jì)算精度。當(dāng)然,該散斑顆粒密度也可由上述人體信息采集裝置24根據(jù)自身的計(jì)算需求而確定的,并將該確定的密度信息發(fā)送至不可見(jiàn)光投影模組22。
本實(shí)施例中,該不可見(jiàn)光投影模組22向目標(biāo)人體所在的區(qū)域是但不限是以一定的擴(kuò)散角投射散斑顆粒圖案的。
值得注意的是,上述不可見(jiàn)光投影模組22也可設(shè)置在該不可見(jiàn)光相機(jī)中。
3)基于飛行時(shí)差(Time of Flight,TOF)的方式
具體,通過(guò)向目標(biāo)人體所在的區(qū)域投射不可見(jiàn)光,并由不可見(jiàn)光相機(jī)采集返回的不可見(jiàn)光,根據(jù)不可見(jiàn)光飛行的時(shí)間來(lái)計(jì)算目標(biāo)人體的深度信息,以形成該目標(biāo)人體的深度圖像。其中,該不可見(jiàn)光如為紅外光,該投射的不可見(jiàn)光可以由該不可見(jiàn)光相機(jī)發(fā)出或者由其他獨(dú)立于不可見(jiàn)光相機(jī)的其他投射結(jié)構(gòu)發(fā)出。
可以理解的是,在其他實(shí)施例中,還可采用其他方式獲得目標(biāo)人體的深度圖像,故在此不做限定。另外,該S11步驟也可為直接接收其他裝置如圖像采集設(shè)備采集得到的目標(biāo)人體的深度圖像,該目標(biāo)人體的深度圖像為預(yù)先經(jīng)上述方式獲得的。
而且,將上述方式得到深度圖像之后,可先對(duì)該深度圖像中的人體進(jìn)行識(shí)別,并可進(jìn)一步將深度圖像中的人體部分分割得到新的深度圖像,再?gòu)姆指畹玫降纳疃葓D片進(jìn)行下述步驟S12中的提取圖像數(shù)據(jù)。
S12:從所述深度圖像中提取與人體信息相關(guān)的圖像數(shù)據(jù)。
本實(shí)施例中,人體信息采集裝置可根據(jù)所需采集的人體信息預(yù)先確定所需提取的與該人體信息相關(guān)的圖像數(shù)據(jù),以在獲取該目標(biāo)人體的深度圖像后,按照預(yù)先確定的所需提取的圖像數(shù)據(jù)從該深度圖像中進(jìn)行圖像數(shù)據(jù)提取。
具體,該人體信息包括身高、體重、性別的至少一種。對(duì)應(yīng)地,可提取該深度圖像中設(shè)定人體部位對(duì)應(yīng)像素的三維空間信息作為身高相關(guān)的圖像數(shù)據(jù);可至少提取該深度圖像中人體某些部位的輪廓特征作為與體重、性別相關(guān)的圖像數(shù)據(jù)。該三維空間信息即包括該深度圖像的對(duì)應(yīng)像素的深度信息。該輪廓特征可包括該對(duì)應(yīng)該人體某些部位邊緣的多個(gè)像素坐標(biāo)或?qū)υ摱鄠€(gè)像素坐標(biāo)的進(jìn)一步計(jì)算結(jié)果。
S13:利用所述提取的圖像數(shù)據(jù)得到所述目標(biāo)人體的人體信息。
例如,利用該深度圖像中設(shè)定人體部位對(duì)應(yīng)像素的三維空間信息計(jì)算得到該目標(biāo)人體的身高,利用該深度圖像中人體某些部位的輪廓特征和/或該目標(biāo)人體的身高進(jìn)行分類(lèi)識(shí)別得到該目標(biāo)人體的性別,利用該深度圖像中人體某些部位的輪廓特征和/或該目標(biāo)人體的身高及性別進(jìn)行分析算得該目標(biāo)人體的體重。
可以理解的是,上述人體信息采集方法可為實(shí)時(shí)連續(xù)執(zhí)行、定時(shí)執(zhí)行或者接收到用戶指示時(shí)才執(zhí)行,例如,該采集裝置可實(shí)時(shí)不斷地采集當(dāng)前目標(biāo)區(qū)域的人體的深度圖像,并由本發(fā)明方法得到在不同時(shí)刻位于該目標(biāo)區(qū)域的人的人體信息。
本實(shí)施例中,通過(guò)從目標(biāo)人體的深度圖像提取與人體信息相關(guān)的圖像數(shù)據(jù),進(jìn)而利用該與人體信息相關(guān)的圖像數(shù)據(jù)得到該目標(biāo)人體的人體信息,由于深度圖像包含三維信息,故利用該深度圖像中的圖像數(shù)據(jù)得到的人體信息更加準(zhǔn)確,且由于深度圖像用于表征深度信息,而不受環(huán)境光影響,故上述人體信息的采集不受環(huán)境光限制,即無(wú)論何種環(huán)境不會(huì)影響該人體信息的采集,提高了該人體信息采集的穩(wěn)定性。
請(qǐng)參閱圖3,圖3是本發(fā)明人體信息采集方法另一實(shí)施例的流程圖。本實(shí)施例中,該方法可由人體信息采集裝置執(zhí)行,包括以下步驟:
S31:獲取目標(biāo)人體的深度圖像。
具體可參閱上述S11的描述。
S32:從所述深度圖像中提取與身高、性別和體重相關(guān)的圖像數(shù)據(jù)。
本實(shí)施例中,該與身高相關(guān)的圖像數(shù)據(jù)可包括所述目標(biāo)人體的頭部最高點(diǎn)像素對(duì)應(yīng)的第一三維空間坐標(biāo)P1、左大腿最高點(diǎn)像素對(duì)應(yīng)的第二三維空間坐標(biāo)P2、右大腿最高點(diǎn)像素對(duì)應(yīng)的第三三維空間坐標(biāo)P3、左腳最低點(diǎn)像素對(duì)應(yīng)的第四三維空間坐標(biāo)P4和右腳最低點(diǎn)像素對(duì)應(yīng)的第五三維空間坐標(biāo)P5,如圖4所示。上述像素點(diǎn)的三維空間坐標(biāo)由該像素點(diǎn)對(duì)應(yīng)的目標(biāo)人體部位在該目標(biāo)人體所在平面的二維坐標(biāo)以及該像素點(diǎn)的深度信息構(gòu)成。在一具體應(yīng)用中,該像素點(diǎn)對(duì)應(yīng)的目標(biāo)人體部位在該目標(biāo)人體所在平面的二維坐標(biāo)可以為該像素點(diǎn)在采集該深度圖像的相機(jī)的世界坐標(biāo),該世界坐標(biāo)可理解為以該相機(jī)的鏡頭中心為原點(diǎn),在該目標(biāo)人體所在的與該鏡頭平行的平面上形成的二維坐標(biāo)系中的坐標(biāo)。
該與性別相關(guān)的圖像數(shù)據(jù)可包括:所述目標(biāo)人體的人臉的輪廓特征、肩部的輪廓特征、胸部的輪廓特征以及臀部的輪廓特征。
該與體重相關(guān)的圖像數(shù)據(jù)包括所述目標(biāo)人體的人臉的輪廓特征、肩部的輪廓特征、胸部的輪廓特征、臀部的輪廓特征以及腹部的輪廓特征。
其中,上述目標(biāo)人體的某個(gè)部位A的所述輪廓特征為所述目標(biāo)人體的部位A的輪廓線、所述目標(biāo)人體的部位A的一平行于所述目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度與寬度間的比例、所述目標(biāo)人體的部位A的多個(gè)平行于所述目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度與寬度間的比例的平均值、或所述目標(biāo)人體的部位A的多個(gè)平行于所述目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度與寬度間的比例中的最大值。該部位A的輪廓線即在該深度圖像中部位A邊緣對(duì)應(yīng)的像素點(diǎn)形成的線條,該目標(biāo)人體所在平面即與相機(jī)鏡頭平行的平面,該截面的輪廓線的長(zhǎng)度與寬度分別為該截面上在相互垂直的兩個(gè)參考方向下的最大長(zhǎng)度。如圖5所示,該目標(biāo)人體的人臉的輪廓線為L(zhǎng),該人臉的鼻尖所在的平行于目標(biāo)人體所在平面的界面的輪廓線的長(zhǎng)度為a1,寬度為b1,故其比例為a1/b1,進(jìn)一步,還可獲取該人臉的左眼珠所在平行于目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度a2和寬度b2,得到其比例為a2/b2,以及獲取該人臉的右眼珠所在平行于目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度a3和寬度b3,得到其比例為a3/b3,取上述三個(gè)截面得到的比例a1/b1、a2/b2、a3/b3的平均值或者最大值作為其頭部的輪廓特征。
進(jìn)一步的,根據(jù)不同部件的特征不同,可針對(duì)不同部位選擇以上不同圖像數(shù)據(jù)作為該部位的輪廓特征,例如,對(duì)于人臉,則選擇人臉多個(gè)平行于目標(biāo)人體所在平面的截面的長(zhǎng)度和寬度間的比例的平均值作為該目標(biāo)人體的人臉的輪廓特征;對(duì)于肩部、胸部、腹部以及臀部,則選擇該部位多個(gè)平行于目標(biāo)人體所在平面的截面的長(zhǎng)度和寬度間的比例中的最大值作為該部位的輪廓特征。
本實(shí)施例中,上述提取與性別/體重相關(guān)的圖像數(shù)據(jù)還包括將所述目標(biāo)人體的正面的法線與獲取所述深度圖像的相機(jī)的光軸之間的夾角α,如圖4所示。具體可通過(guò)提取目標(biāo)人體的左大腿最高點(diǎn)像素對(duì)應(yīng)的第二三維空間坐標(biāo)P2(x2,y2,z2)、右大腿最高點(diǎn)像素對(duì)應(yīng)的第三三維空間坐標(biāo)P3(x3,y3,z3),并利用下述公式13計(jì)算得到,
夾角的設(shè)置可以避免由于人體在運(yùn)動(dòng)過(guò)程中的側(cè)身導(dǎo)致的特征信息變化帶來(lái)的性別、體重估算誤差,從而可以實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)。
當(dāng)然,在其他實(shí)施例中,與性別/體重相關(guān)的圖像數(shù)據(jù)可不包括夾角α,在此不作限定。
S33:利用所述提取的圖像數(shù)據(jù)得到所述目標(biāo)人體的身高、性別和體重。
其中,利用上述S32中提取的與身高相關(guān)的圖像數(shù)據(jù)計(jì)算得到該目標(biāo)人體的身高。具體地,該得到身高的步驟可包括以下子步驟:
S331:根據(jù)所述提取的三維空間坐標(biāo),計(jì)算得到由所述左大腿最高點(diǎn)與所述右大腿最高點(diǎn)間連線的中點(diǎn)指向所述頭部最高點(diǎn)的第一向量、由所述左大腿最高點(diǎn)指向所述左腳最低點(diǎn)的第二向量以及由所述右大腿最高點(diǎn)指向所述右腳最低點(diǎn)的第三向量。
例如,如圖4所示,獲的頭部最高點(diǎn)像素對(duì)應(yīng)的第一三維空間坐標(biāo)P1為(x1,y1,z1)、左大腿最高點(diǎn)像素對(duì)應(yīng)的第二三維空間坐標(biāo)P2為(x2,y2,z2)、右大腿最高點(diǎn)像素對(duì)應(yīng)的第三三維空間坐標(biāo)P3為(x3,y3,z3)、左腳最低點(diǎn)像素對(duì)應(yīng)的第四三維空間坐標(biāo)P4為(x4,y4,z4)和右腳最低點(diǎn)像素對(duì)應(yīng)的第五三維空間坐標(biāo)P5為(x5,y5,z5),上述x坐標(biāo),y坐標(biāo)為采集該深度圖像的相機(jī)的世界坐標(biāo),z坐標(biāo)為深度圖像中該像素點(diǎn)的深度值,由上述空間坐標(biāo)可計(jì)算得到第一向量為第二向量和第三向量
S332:利用所述第一向量、第二向量和第三向量計(jì)算得到所述目標(biāo)人體的身高。
例如,將所述第一向量第二向量和第三向量代入下述公式11或公式12,得到所述目標(biāo)人體的身高Height。
本實(shí)施例中,利用目標(biāo)人體的相關(guān)部位在深度圖像中的三維空間坐標(biāo)計(jì)算得到其身高,可使得該身高計(jì)算更加準(zhǔn)確。根據(jù)這一算法不需要人體以某一固定姿勢(shì)站立,即使人在運(yùn)動(dòng)過(guò)程中也能準(zhǔn)確測(cè)量,實(shí)現(xiàn)實(shí)時(shí)的監(jiān)測(cè)。
其中,利用上述S32中提取的與性別相關(guān)的圖像數(shù)據(jù)計(jì)算得到該目標(biāo)人體的身高。具體如,將所述提取的與性別相關(guān)的圖像數(shù)據(jù)和所述目標(biāo)人體的身高輸入至設(shè)定分類(lèi)器進(jìn)行分類(lèi),并根據(jù)所述設(shè)定分類(lèi)器的分類(lèi)結(jié)果確定所述目標(biāo)人體的性別。該設(shè)定分類(lèi)器可以是已有技術(shù)中的最近鄰分類(lèi)器、貝葉斯分類(lèi)器、支持向量機(jī)等。該目標(biāo)人體的身高可以由本S33中的上述獲取身高的方式得到或者由用戶輸入又或者采用其他方式計(jì)算得到。
其中,利用上述S32中提取的與體重相關(guān)的圖像數(shù)據(jù)計(jì)算得到該目標(biāo)人體的身高。具體如,將所述提取的與體重相關(guān)的圖像數(shù)據(jù)與所述目標(biāo)人體的身高和性別輸入至設(shè)定回歸模型對(duì)體重進(jìn)行估算,并根據(jù)估算結(jié)果確定所述目標(biāo)人體的體重。該目標(biāo)人體的身高、性別可以由本S33中的上述獲取身高和性別的方式得到或者由用戶輸入又或者采用其他方式計(jì)算得到。由于輸入特征多元,因而可以采用多元線性回歸模型作為上述設(shè)定回歸模型,例如采用下述公式14得到目標(biāo)人體的體重Weight,
其中,ωi是權(quán)重系數(shù),為獲取的與體重相關(guān)的圖像數(shù)據(jù)值,該n為提取的與體重相關(guān)的圖像數(shù)據(jù)的總數(shù)。
上述設(shè)定分類(lèi)器為經(jīng)訓(xùn)練得到的,該設(shè)定回歸模型為經(jīng)學(xué)習(xí)得到的。例如,事先利用深度相機(jī)對(duì)不同身高、姓別以及體重的人群進(jìn)行測(cè)量,并且準(zhǔn)確獲取其姓別、身高、體重信息,將這些圖像數(shù)據(jù)對(duì)分類(lèi)器以及回歸模型進(jìn)行訓(xùn)練和學(xué)習(xí)。
可以理解的是,其他實(shí)施例中,可僅提取身高、性別及體重中的其中一個(gè)或兩個(gè)的相關(guān)圖像數(shù)據(jù),繼而計(jì)算得到該目標(biāo)人體的身高、性別及體重中的其中一個(gè)或兩個(gè)。
請(qǐng)參閱圖6,圖6是本發(fā)明人體信息采集裝置一實(shí)施例的結(jié)構(gòu)示意圖。本實(shí)施例中,該人體信息采集裝置60包括獲取模塊61、提取模塊62和得到模塊63。其中,
獲取模塊61用于獲取目標(biāo)人體的深度圖像;
提取模塊62用于從所述深度圖像中提取與人體信息相關(guān)的圖像數(shù)據(jù);
得到模塊63用于利用所述提取的圖像數(shù)據(jù)得到所述目標(biāo)人體的人體信息,其中,所述人體信息包括身高、體重、性別的至少一種。
可選地,當(dāng)所述人體信息包括身高時(shí),所述提取模塊62具體用于:從所述深度圖像中提取與所述身高相關(guān)的圖像數(shù)據(jù),所述身高相關(guān)的圖像數(shù)據(jù)包括所述目標(biāo)人體的頭部最高點(diǎn)像素對(duì)應(yīng)的第一三維空間坐標(biāo)、左大腿最高點(diǎn)像素對(duì)應(yīng)的第二三維空間坐標(biāo)、右大腿最高點(diǎn)像素對(duì)應(yīng)的第三三維空間坐標(biāo)、左腳最低點(diǎn)像素對(duì)應(yīng)的第四三維空間坐標(biāo)和右腳最低點(diǎn)像素對(duì)應(yīng)的第五三維空間坐標(biāo);
得到模塊63具體用于:根據(jù)所述提取的三維空間坐標(biāo),計(jì)算得到由所述左大腿最高點(diǎn)與所述右大腿最高點(diǎn)間連線的中點(diǎn)指向所述頭部最高點(diǎn)的第一向量、由所述左大腿最高點(diǎn)指向所述左腳最低點(diǎn)的第二向量以及由所述右大腿最高點(diǎn)指向所述右腳最低點(diǎn)的第三向量;利用所述第一向量、第二向量和第三向量計(jì)算得到所述目標(biāo)人體的身高。
進(jìn)一步可選地,得到模塊63進(jìn)一步用于將所述第一向量第二向量和第三向量代入上述公式11或公式12,得到所述目標(biāo)人體的身高Height。
可選地,當(dāng)所述人體信息包括性別時(shí),所述提取模塊62具體用于:從所述深度圖像中提取與性別相關(guān)的圖像數(shù)據(jù),其中,所述與性別相關(guān)的圖像數(shù)據(jù)包括所述目標(biāo)人體的人臉的輪廓特征、肩部的輪廓特征、胸部的輪廓特征以及臀部的輪廓特征;
得到模塊63具體用于:將所述提取的與性別相關(guān)的圖像數(shù)據(jù)和所述目標(biāo)人體的身高輸入至設(shè)定分類(lèi)器進(jìn)行分類(lèi),并根據(jù)所述設(shè)定分類(lèi)器的分類(lèi)結(jié)果確定所述目標(biāo)人體的性別。
可選地,當(dāng)所述人體信息包括體重時(shí),提取模塊62具體用于:從所述深度圖像中提取與體重相關(guān)的圖像數(shù)據(jù),其中,所述與體重相關(guān)的圖像數(shù)據(jù)包括所述目標(biāo)人體的人臉的輪廓特征、肩部的輪廓特征、胸部的輪廓特征、臀部的輪廓特征以及腹部的輪廓特征;
得到模塊63具體用于:將所述提取的與體重相關(guān)的圖像數(shù)據(jù)與所述目標(biāo)人體的身高和性別輸入至設(shè)定回歸模型對(duì)體重進(jìn)行估算,并根據(jù)估算結(jié)果確定所述目標(biāo)人體的體重。
進(jìn)一步可選地,所述提取的與性別/體重相關(guān)的圖像數(shù)據(jù)還包括將所述目標(biāo)人體的正面的法線與獲取所述深度圖像的相機(jī)的光軸之間的夾角α。
其中,所述夾角α可由所述三維空間坐標(biāo)P2(x2,y2,z2)和所述三維空間坐標(biāo)P3(x3,y3,z3)代入上述公式13計(jì)算得到。
可選地,所述目標(biāo)人體的某個(gè)部位的所述輪廓特征為所述目標(biāo)人體的對(duì)應(yīng)部位的輪廓線、所述目標(biāo)人體的對(duì)應(yīng)部位的一平行于所述目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度與寬度間的比例、所述目標(biāo)人體的對(duì)應(yīng)部位的多個(gè)平行于所述目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度與寬度間的比例的平均值、或所述目標(biāo)人體的對(duì)應(yīng)部位的多個(gè)平行于所述目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度與寬度間的比例中的最大值。
其中,該人體信息采集裝置的上述模塊分別用于執(zhí)行上述方法實(shí)施例中的相應(yīng)步驟,具體執(zhí)行過(guò)程如上方法實(shí)施例說(shuō)明,在此不作贅述。
請(qǐng)參閱圖7,圖7是本發(fā)明人體信息采集系統(tǒng)一實(shí)施例方式的結(jié)構(gòu)示意圖。本實(shí)施例中,該系統(tǒng)70包括相互連接的圖像采集設(shè)備71和人體信息采集設(shè)備72。該人體信息采集設(shè)備72包括輸入接口721、處理器722、存儲(chǔ)器723。
圖像采集設(shè)備71用于采集目標(biāo)人體的深度圖像,并輸出至所述人體信息采集設(shè)備72。具體,該圖像采集設(shè)備71可包括模仿人體眼里設(shè)置的兩個(gè)相機(jī),以采用上述方法實(shí)施例中的基于雙目視覺(jué)方式采集得到該深度圖像;該圖像采集設(shè)備71也可如圖2所示,以采用上述方法實(shí)施例中的基于結(jié)構(gòu)光方式采集得到該深度圖像;圖像采集設(shè)備71還可包括不可見(jiàn)光源和不可見(jiàn)光相機(jī),以采用上述方法實(shí)施例中的基于TOF方式采集得到該深度圖像。當(dāng)然,圖像采集設(shè)備71還可為其他結(jié)構(gòu),故在此不做限定。
人體信息采集設(shè)備72的輸入接口721用于獲得圖像采集設(shè)備71采集得到的深度圖像。
存儲(chǔ)器723用于存儲(chǔ)計(jì)算機(jī)指令,并向處理器722提供所述計(jì)算機(jī)指令,且可存儲(chǔ)處理器722處理過(guò)程中所需使用的數(shù)據(jù)如用于計(jì)算得到性別、體重的設(shè)定分類(lèi)器和回歸模型、以及上述方法實(shí)施例中的公式等,以及輸入接口721獲得的深度圖像。
處理器722執(zhí)行所述計(jì)算機(jī)指令,用于:
獲取目標(biāo)人體的深度圖像;
從所述深度圖像中提取與人體信息相關(guān)的圖像數(shù)據(jù);
利用所述提取的圖像數(shù)據(jù)得到所述目標(biāo)人體的人體信息,其中,所述人體信息包括身高、體重、性別的至少一種。
可選地,當(dāng)所述人體信息包括身高時(shí),處理器722具體用于:從所述深度圖像中提取與所述身高相關(guān)的圖像數(shù)據(jù),所述身高相關(guān)的圖像數(shù)據(jù)包括所述目標(biāo)人體的頭部最高點(diǎn)像素對(duì)應(yīng)的第一三維空間坐標(biāo)、左大腿最高點(diǎn)像素對(duì)應(yīng)的第二三維空間坐標(biāo)、右大腿最高點(diǎn)像素對(duì)應(yīng)的第三三維空間坐標(biāo)、左腳最低點(diǎn)像素對(duì)應(yīng)的第四三維空間坐標(biāo)和右腳最低點(diǎn)像素對(duì)應(yīng)的第五三維空間坐標(biāo);根據(jù)所述提取的三維空間坐標(biāo),計(jì)算得到由所述左大腿最高點(diǎn)與所述右大腿最高點(diǎn)間連線的中點(diǎn)指向所述頭部最高點(diǎn)的第一向量、由所述左大腿最高點(diǎn)指向所述左腳最低點(diǎn)的第二向量以及由所述右大腿最高點(diǎn)指向所述右腳最低點(diǎn)的第三向量;利用所述第一向量、第二向量和第三向量計(jì)算得到所述目標(biāo)人體的身高。
進(jìn)一步可選地,處理器722進(jìn)一步用于將所述第一向量第二向量和第三向量代入上述公式11或公式12,得到所述目標(biāo)人體的身高Height。
可選地,當(dāng)所述人體信息包括性別時(shí),處理器722具體用于:從所述深度圖像中提取與性別相關(guān)的圖像數(shù)據(jù),其中,所述與性別相關(guān)的圖像數(shù)據(jù)包括所述目標(biāo)人體的人臉的輪廓特征、肩部的輪廓特征、胸部的輪廓特征以及臀部的輪廓特征;將所述提取的與性別相關(guān)的圖像數(shù)據(jù)和所述目標(biāo)人體的身高輸入至設(shè)定分類(lèi)器進(jìn)行分類(lèi),并根據(jù)所述設(shè)定分類(lèi)器的分類(lèi)結(jié)果確定所述目標(biāo)人體的性別。
可選地,當(dāng)所述人體信息包括體重時(shí),處理器722具體用于從所述深度圖像中提取與體重相關(guān)的圖像數(shù)據(jù),其中,所述與體重相關(guān)的圖像數(shù)據(jù)包括所述目標(biāo)人體的人臉的輪廓特征、肩部的輪廓特征、胸部的輪廓特征、臀部的輪廓特征以及腹部的輪廓特征;將所述提取的與體重相關(guān)的圖像數(shù)據(jù)與所述目標(biāo)人體的身高和性別輸入至設(shè)定回歸模型對(duì)體重進(jìn)行估算,并根據(jù)估算結(jié)果確定所述目標(biāo)人體的體重。
進(jìn)一步可選地,所述提取的與性別/體重相關(guān)的圖像數(shù)據(jù)還包括將所述目標(biāo)人體的正面的法線與獲取所述深度圖像的相機(jī)的光軸之間的夾角α。
其中,所述夾角α可由所述三維空間坐標(biāo)P2(x2,y2,z2)和所述三維空間坐標(biāo)P3(x3,y3,z3)代入上述公式13計(jì)算得到。
可選地,所述目標(biāo)人體的某個(gè)部位的所述輪廓特征為所述目標(biāo)人體的對(duì)應(yīng)部位的輪廓線、所述目標(biāo)人體的對(duì)應(yīng)部位的一平行于所述目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度與寬度間的比例、所述目標(biāo)人體的對(duì)應(yīng)部位的多個(gè)平行于所述目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度與寬度間的比例的平均值、或所述目標(biāo)人體的對(duì)應(yīng)部位的多個(gè)平行于所述目標(biāo)人體所在平面的截面的輪廓線的長(zhǎng)度與寬度間的比例中的最大值。
該人體信息采集設(shè)備72可作為上述人體信息采集裝置,用于執(zhí)行上述實(shí)施例所述方法。例如,上述本發(fā)明實(shí)施方式揭示的方法應(yīng)用于處理器722中,或者由處理器722實(shí)現(xiàn)。處理器722可能是一種集成電路芯片,具有信號(hào)的處理能力。在實(shí)現(xiàn)過(guò)程中,上述方法的各步驟可以通過(guò)處理器722中的硬件的集成邏輯電路或者軟件形式的指令完成。上述的處理器722可以是通用處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)成可編程門(mén)陣列(FPGA)或者其他可編程邏輯器件、分立門(mén)或者晶體管邏輯器件、分立硬件組件??梢詫?shí)現(xiàn)或者執(zhí)行本發(fā)明實(shí)施例中的公開(kāi)的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。結(jié)合本發(fā)明實(shí)施例所公開(kāi)的方法的步驟可以直接體現(xiàn)為硬件譯碼處理器執(zhí)行完成,或者用譯碼處理器中的硬件及軟件模塊組合執(zhí)行完成。軟件模塊可以位于隨機(jī)存儲(chǔ)器,閃存、只讀存儲(chǔ)器,可編程只讀存儲(chǔ)器或者電可擦寫(xiě)可編程存儲(chǔ)器、寄存器等本領(lǐng)域成熟的存儲(chǔ)介質(zhì)中。該存儲(chǔ)介質(zhì)位于存儲(chǔ)器723,處理器722讀取相應(yīng)存儲(chǔ)器中的信息,結(jié)合其硬件完成上述方法的步驟。
上述方案中,通過(guò)從目標(biāo)人體的深度圖像提取與人體信息相關(guān)的圖像數(shù)據(jù),進(jìn)而利用該與人體信息相關(guān)的圖像數(shù)據(jù)得到該目標(biāo)人體的人體信息,由于深度圖像包含三維信息,故利用該深度圖像中的圖像數(shù)據(jù)得到的人體信息更加準(zhǔn)確,且由于深度圖像用于表征深度信息,而不受環(huán)境光影響,故上述人體信息的采集不受環(huán)境光限制,即無(wú)論何種環(huán)境不會(huì)影響該人體信息的采集,提高了該人體信息采集的穩(wěn)定性。
以上所述僅為本發(fā)明的實(shí)施方式,并非因此限制本發(fā)明的專利范圍,凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換,或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域,均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。