本發(fā)明涉及圖像處理領(lǐng)域,具體而言,涉及一種基于深度相機(jī)的身高測量方法及裝置。
背景技術(shù):
目前,身高作為人體的重要特征,在日常生活中隨處可見,例如,醫(yī)院體檢的身高測量、基礎(chǔ)交通驗票時對兒童身高的測量、景區(qū)入口檢票處對兒童身高的測量以及對個人身高信息驗證等。傳統(tǒng)身高測量方法一般是通過尺度工具或測量設(shè)備逐個進(jìn)行身高測量。在人群密集的情況下,以上述方法對身高進(jìn)行測量,速度慢、效率低,無法滿足需求。因此,基于視頻圖像的身高測量方法被廣泛使用,使用上述方法可以同時對出現(xiàn)在相機(jī)視場范圍內(nèi)的多個人體目標(biāo)進(jìn)行身高的測量,其測量速度快、效率高。
但是,現(xiàn)有技術(shù)中的基于視頻圖像的身高測量方法,多采用基于二維圖像的身高測量方法對身高進(jìn)行測量,該方法需要在安裝時,預(yù)先標(biāo)定出相機(jī)的安裝高度和角度,然后相機(jī)通過相似三角形關(guān)系以及人體在成像面上的像素高度計算出對應(yīng)的身高,理論上需要圖像以水平方向拍攝,使人體與地面保持垂直。但是,通常為了使相機(jī)有更大的視場范圍,會將相機(jī)設(shè)置于人群之上,因此,相機(jī)的視角是自上而下進(jìn)行拍攝的,所以在攝像機(jī)獲取的圖像中,人體并不能與地面保持垂直。并且,因人體個體差異的原因,人體各部分的比例并不相同。這些導(dǎo)致現(xiàn)有的方法容易受已標(biāo)定的標(biāo)準(zhǔn)身高比例的影響,以及相機(jī)安裝角度影響,使身高測量結(jié)果的誤差較大,并且在每次調(diào)整相機(jī)取景位置后,都需要重新標(biāo)定出相機(jī)的安裝高度和角度進(jìn)行調(diào)整,操作繁瑣,并且其標(biāo)定精度會直接影響身高測量結(jié)果。
針對上述的問題,目前尚未提出有效的解決方案。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例提供了一種基于深度相機(jī)的身高測量方法及裝置,以至少解決由于在對深度相機(jī)進(jìn)行安裝時需要對安裝高度和安裝角度進(jìn)行人工標(biāo)定,導(dǎo)致的安裝操作 繁瑣、身高測量精度差的技術(shù)問題。
根據(jù)本發(fā)明實(shí)施例的一個方面,提供了一種基于深度相機(jī)的身高測量方法,包括:通過深度相機(jī)對場景進(jìn)行拍攝,獲取場景的深度圖像,其中,深度圖像包括影像信息和景深信息;根據(jù)預(yù)先設(shè)置的人體特征參數(shù)在深度圖像中進(jìn)行識別,確定深度圖像中的人體目標(biāo);根據(jù)人體目標(biāo)在深度圖像中的所在位置,確定人體目標(biāo)的上端點(diǎn)在深度圖像中的第一圖像坐標(biāo)和人體目標(biāo)的下端點(diǎn)在深度圖像中的第二圖像坐標(biāo);根據(jù)第一圖像坐標(biāo)、第二圖像坐標(biāo)、景深信息和預(yù)先設(shè)置的相機(jī)標(biāo)定參數(shù),計算第一圖像坐標(biāo)對應(yīng)的第一三維坐標(biāo)和第二圖像坐標(biāo)對應(yīng)的第二三維坐標(biāo),其中,第一三維坐標(biāo)用于表征人體目標(biāo)的上端點(diǎn)在場景中的三維坐標(biāo)值,第二三維坐標(biāo)用于表征人體目標(biāo)的下端點(diǎn)在場景中的三維坐標(biāo)值;根據(jù)第一三維坐標(biāo)和第二三維坐標(biāo),確定人體目標(biāo)的高度。
進(jìn)一步地,根據(jù)人體目標(biāo)在深度圖像中的所在位置,確定人體目標(biāo)的上端點(diǎn)在深度圖像中的第一圖像坐標(biāo)和人體目標(biāo)的下端點(diǎn)在深度圖像中的第二圖像坐標(biāo),包括:對深度圖像中的人體目標(biāo)進(jìn)行提取,確定人體目標(biāo)的人體輪廓;根據(jù)人體輪廓,生成人體目標(biāo)的最小外接矩形;獲取最小外接矩形與人體輪廓頂部切點(diǎn)的坐標(biāo),設(shè)置為第一圖像坐標(biāo);以第一圖像坐標(biāo)為起點(diǎn),垂直于最小外接矩形的短邊做垂線;獲取垂線與最小外接矩形底邊的交點(diǎn)的坐標(biāo),設(shè)置為第二圖像坐標(biāo)。
進(jìn)一步地,相機(jī)標(biāo)定參數(shù)至少包括:相機(jī)焦距、圖像中心坐標(biāo)和圖像畸變系數(shù),其中,圖像畸變系數(shù)用于校正因深度相機(jī)的鏡頭成像原因,導(dǎo)致的深度圖像發(fā)生的形變。
進(jìn)一步地,根據(jù)第一圖像坐標(biāo)、第二圖像坐標(biāo)、景深信息和預(yù)先設(shè)置的相機(jī)標(biāo)定參數(shù),計算第一圖像坐標(biāo)對應(yīng)的第一三維坐標(biāo)和第二圖像坐標(biāo)對應(yīng)的第二三維坐標(biāo),包括:根據(jù)圖像畸變系數(shù)和第一圖像坐標(biāo),計算得到第一校正坐標(biāo);根據(jù)圖像畸變系數(shù)和第二圖像坐標(biāo),計算得到第二校正坐標(biāo);根據(jù)深度圖像中的景深信息,確定與第一圖像坐標(biāo)對應(yīng)的第一深度值和與第二圖像坐標(biāo)對應(yīng)的第二深度值,其中,第一深度值為第一三維坐標(biāo)中的Z軸坐標(biāo)值,第二深度值為第二三維坐標(biāo)中的Z軸坐標(biāo)值;將第一深度值、第一校正坐標(biāo)和圖像中心坐標(biāo)代入計算模型,計算得到第一三維坐標(biāo);將第二深度值、第二校正坐標(biāo)和圖像中心坐標(biāo)代入計算模型,計算得到第二三維坐標(biāo)。
進(jìn)一步地,在通過深度相機(jī)對場景進(jìn)行拍攝,獲取場景的深度圖像之后,方法還包括:通過對深度圖像進(jìn)行處理,確定深度圖像中的前景區(qū)域和背景區(qū)域,其中,對深度圖像進(jìn)行處理的處理方法至少包括:混合高斯處理。
進(jìn)一步地,根據(jù)預(yù)先設(shè)置的人體特征參數(shù)在深度圖像中進(jìn)行識別,確定深度圖像中的人體目標(biāo),包括:利用圖像二值化算法對深度圖像進(jìn)行處理,得到預(yù)處理深度圖像,其中,預(yù)處理深度圖像中的前景區(qū)域為白色,預(yù)處理深度圖像中的背景區(qū)域為黑色;根據(jù)人體特征參數(shù),對預(yù)處理深度圖像中用于表征前景區(qū)域的白色圖形進(jìn)行識別,確定人體目標(biāo),其中,人體特征參數(shù)至少包括如下的其中一種或多種:圖形長寬比、圖形面積、圖形周長、圖形占空比。
進(jìn)一步地,在利用圖像二值化算法對深度圖像進(jìn)行處理,得到預(yù)處理深度圖像之后,還包括:依次通過腐蝕算法和膨脹算法對預(yù)處理深度圖像進(jìn)行處理,得到提取后的預(yù)處理深度圖像。
根據(jù)本發(fā)明實(shí)施例的另一方面,還提供了一種基于深度相機(jī)的身高測量裝置,包括:獲取模塊,用于通過深度相機(jī)對場景進(jìn)行拍攝,獲取場景的深度圖像,其中,深度圖像包括影像信息和景深信息;識別模塊,用于根據(jù)預(yù)先設(shè)置的人體特征參數(shù)在深度圖像中進(jìn)行識別,確定深度圖像中的人體目標(biāo);確定模塊,用于根據(jù)人體目標(biāo)在深度圖像中的所在位置,確定人體目標(biāo)的上端點(diǎn)在深度圖像中的第一圖像坐標(biāo)和人體目標(biāo)的下端點(diǎn)在深度圖像中的第二圖像坐標(biāo);第一處理模塊,用于根據(jù)第一圖像坐標(biāo)、第二圖像坐標(biāo)、景深信息和預(yù)先設(shè)置的相機(jī)標(biāo)定參數(shù),計算第一圖像坐標(biāo)對應(yīng)的第一三維坐標(biāo)和第二圖像坐標(biāo)對應(yīng)的第二三維坐標(biāo),其中,第一三維坐標(biāo)用于表征人體目標(biāo)的上端點(diǎn)在場景中的三維坐標(biāo)值,第二三維坐標(biāo)用于表征人體目標(biāo)的下端點(diǎn)在場景中的三維坐標(biāo)值;第二處理模塊,用于根據(jù)第一三維坐標(biāo)和第二三維坐標(biāo),確定人體目標(biāo)的高度。
進(jìn)一步地,確定模塊包括:子提取模塊,用于對深度圖像中的人體目標(biāo)進(jìn)行提取,確定人體目標(biāo)的人體輪廓;子生成模塊,用于根據(jù)人體輪廓,生成人體目標(biāo)的最小外接矩形;第一子設(shè)置模塊,用于獲取最小外接矩形與人體輪廓頂部切點(diǎn)的坐標(biāo),設(shè)置為第一圖像坐標(biāo);第一子處理模塊,用于以第一圖像坐標(biāo)為起點(diǎn),垂直于最小外接矩形的短邊做垂線;第二子設(shè)置模塊,用于獲取垂線與最小外接矩形底邊的交點(diǎn)的坐標(biāo),設(shè)置為第二圖像坐標(biāo)。
進(jìn)一步地,第一處理模塊包括:第一子校正模塊,用于根據(jù)圖像畸變系數(shù)和第一圖像坐標(biāo),計算得到第一校正坐標(biāo);第二子校正模塊,用于根據(jù)圖像畸變系數(shù)和第二圖像坐標(biāo),計算得到第二校正坐標(biāo);子確定模塊,用于根據(jù)深度圖像中的景深信息,確定與第一圖像坐標(biāo)對應(yīng)的第一深度值和與第二圖像坐標(biāo)對應(yīng)的第二深度值,其中,第一深度值為第一三維坐標(biāo)中的Z軸坐標(biāo)值,第二深度值為第二三維坐標(biāo)中的Z軸坐標(biāo)值;第一子計算模塊,用于將第一深度值、第一校正坐標(biāo)和圖像中心坐標(biāo)代入計算 模型,計算得到第一三維坐標(biāo);第二子計算模塊,用于將第二深度值、第二校正坐標(biāo)和圖像中心坐標(biāo)代入計算模型,計算得到第二三維坐標(biāo)。
進(jìn)一步地,裝置還包括:處理模塊,用于通過對深度圖像進(jìn)行處理,確定深度圖像中的前景區(qū)域和背景區(qū)域,其中,對深度圖像進(jìn)行處理的處理單元至少包括:混合高斯處理單元。
進(jìn)一步地,識別模塊包括:第二子處理模塊,用于利用圖像二值化算法對深度圖像進(jìn)行處理,得到預(yù)處理深度圖像,其中,預(yù)處理深度圖像中的前景區(qū)域為白色,預(yù)處理深度圖像中的背景區(qū)域為黑色;子識別模塊,用于根據(jù)人體特征參數(shù),對預(yù)處理深度圖像中用于表征前景區(qū)域的白色圖形進(jìn)行識別,確定人體目標(biāo),其中,人體特征參數(shù)至少包括如下的其中一種或多種:圖形長寬比、圖形面積、圖形周長、圖形占空比。
進(jìn)一步地,識別模塊還包括:第三子處理模塊,用于依次通過腐蝕算法和膨脹算法對預(yù)處理深度圖像進(jìn)行處理,得到提取后的預(yù)處理深度圖像。
在本發(fā)明實(shí)施例中,采用通過深度相機(jī)對場景進(jìn)行拍攝,獲取場景的深度圖像,其中,深度圖像包括影像信息和景深信息;根據(jù)預(yù)先設(shè)置的人體特征參數(shù)在深度圖像中進(jìn)行識別,確定深度圖像中的人體目標(biāo);根據(jù)人體目標(biāo)在深度圖像中的所在位置,確定人體目標(biāo)的上端點(diǎn)在深度圖像中的第一圖像坐標(biāo)和人體目標(biāo)的下端點(diǎn)在深度圖像中的第二圖像坐標(biāo);根據(jù)第一圖像坐標(biāo)、第二圖像坐標(biāo)、景深信息和預(yù)先設(shè)置的相機(jī)標(biāo)定參數(shù),計算第一圖像坐標(biāo)對應(yīng)的第一三維坐標(biāo)和第二圖像坐標(biāo)對應(yīng)的第二三維坐標(biāo),其中,第一三維坐標(biāo)用于表征人體目標(biāo)的上端點(diǎn)在場景中的三維坐標(biāo)值,第二三維坐標(biāo)用于表征人體目標(biāo)的下端點(diǎn)在場景中的三維坐標(biāo)值;根據(jù)第一三維坐標(biāo)和第二三維坐標(biāo),確定人體目標(biāo)的高度的方式,通過獲取模塊,用于通過深度相機(jī)對場景進(jìn)行拍攝,獲取場景的深度圖像,其中,深度圖像包括影像信息和景深信息;識別模塊,用于根據(jù)預(yù)先設(shè)置的人體特征參數(shù)在深度圖像中進(jìn)行識別,確定深度圖像中的人體目標(biāo);確定模塊,用于根據(jù)人體目標(biāo)在深度圖像中的所在位置,確定人體目標(biāo)的上端點(diǎn)在深度圖像中的第一圖像坐標(biāo)和人體目標(biāo)的下端點(diǎn)在深度圖像中的第二圖像坐標(biāo);第一處理模塊,用于根據(jù)第一圖像坐標(biāo)、第二圖像坐標(biāo)、景深信息和預(yù)先設(shè)置的相機(jī)標(biāo)定參數(shù),計算第一圖像坐標(biāo)對應(yīng)的第一三維坐標(biāo)和第二圖像坐標(biāo)對應(yīng)的第二三維坐標(biāo),其中,第一三維坐標(biāo)用于表征人體目標(biāo)的上端點(diǎn)在場景中的三維坐標(biāo)值,第二三維坐標(biāo)用于表征人體目標(biāo)的下端點(diǎn)在場景中的三維坐標(biāo)值;第二處理模塊,用于根據(jù)第一三維坐標(biāo)和第二三維坐標(biāo),確定人體目標(biāo)的高度,從而實(shí)現(xiàn)了身高的測量精度不受相機(jī)安裝角度影響的技術(shù)效果,達(dá)到了簡化操作步驟的目的,進(jìn)而解決了由于在對深度 相機(jī)進(jìn)行安裝時需要對安裝高度和安裝角度進(jìn)行人工標(biāo)定,導(dǎo)致的安裝操作繁瑣、身高測量精度差的技術(shù)問題。
附圖說明
此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解,構(gòu)成本申請的一部分,本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明,并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
圖1是根據(jù)本發(fā)明實(shí)施例的一種基于深度相機(jī)的身高測量方法的流程圖;
圖2a是在深度圖像中的一種狀態(tài)下的人體目標(biāo)的示意圖;
圖2b是在深度圖像中的另一種狀態(tài)下的人體目標(biāo)的示意圖;
圖3是人體目標(biāo)在深度相機(jī)的三維坐標(biāo)系下的位置示意圖;
圖4是根據(jù)本發(fā)明實(shí)施例的一種可選的基于深度相機(jī)的身高測量方法的流程圖;
圖5是基于混合高斯背景建模流程圖;
圖6是對人體目標(biāo)進(jìn)行提取的提取流程圖;
圖7是根據(jù)本發(fā)明實(shí)施例的一種可選的基于深度相機(jī)的身高測量方法的流程示意圖;
圖8是根據(jù)本發(fā)明實(shí)施例的一種基于深度相機(jī)的身高測量裝置的結(jié)構(gòu)示意圖;
圖9是根據(jù)本發(fā)明實(shí)施例的一種可選的基于深度相機(jī)的身高測量裝置中確定模塊的結(jié)構(gòu)示意圖;
圖10是根據(jù)本發(fā)明實(shí)施例的一種可選的基于深度相機(jī)的身高測量裝置中第一處理模塊的結(jié)構(gòu)示意圖;
圖11是根據(jù)本發(fā)明實(shí)施例的一種可選的基于深度相機(jī)的身高測量裝置的結(jié)構(gòu)示意圖;
圖12是根據(jù)本發(fā)明實(shí)施例的一種可選的基于深度相機(jī)的身高測量裝置中識別模塊的結(jié)構(gòu)示意圖;以及
圖13是根據(jù)本發(fā)明實(shí)施例的一種可選的基于深度相機(jī)的身高測量裝置中識別模塊的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分的實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例,都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。
需要說明的是,本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象,而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換,以便這里描述的本發(fā)明的實(shí)施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。此外,術(shù)語“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
根據(jù)本發(fā)明實(shí)施例,提供了一種基于深度相機(jī)的身高測量方法的方法實(shí)施例,需要說明的是,在附圖的流程圖示出的步驟可以在諸如一組計算機(jī)可執(zhí)行指令的計算機(jī)系統(tǒng)中執(zhí)行,并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
圖1是根據(jù)本發(fā)明實(shí)施例的基于深度相機(jī)的身高測量方法的流程圖,如圖1所示,該方法包括如下步驟:
步驟S11,通過深度相機(jī)對場景進(jìn)行拍攝,獲取場景的深度圖像,其中,深度圖像包括影像信息和景深信息。
具體的,深度相機(jī)是一種在獲取影像信息的同時,還能獲取場景的景深信息的攝影器材。在現(xiàn)有的深度相機(jī)中,至少包括TOF(Time of flight)深度相機(jī)和雙目深度相機(jī)。TOF深度相機(jī)通過向場景中的目標(biāo)連續(xù)發(fā)送光脈沖,通過探測光脈沖往返的飛行時間,從而得到場景中各個物體與相機(jī)之間的距離。而雙目深度相機(jī)則是利用視差原理,通過計算得到場景中各個物體與相機(jī)之間的距離。在本發(fā)明實(shí)施例中,所使用的深度相機(jī)可以是上述兩類深度相機(jī)中的其中一種,但也可以是能夠?qū)崿F(xiàn)同時獲取影像信息和景深信息的其他類型的深度相機(jī),此處不做具體限定。
在步驟S11中,利用深度相機(jī)對進(jìn)行身高測量的場景進(jìn)行影像信息拍攝的同時,獲取場景中的與影像信息對應(yīng)的景深信息。
步驟S13,根據(jù)預(yù)先設(shè)置的人體特征參數(shù)在深度圖像中進(jìn)行識別,確定深度圖像 中的人體目標(biāo)。
具體的,通過步驟S13,對利用深度相機(jī)獲取到的深度圖像中的人體目標(biāo)進(jìn)行識別。其中,首先,可以對深度圖像中的前景區(qū)域與背景區(qū)域進(jìn)行區(qū)分,然后,將區(qū)分得到的前景區(qū)域中的物體與預(yù)先設(shè)置的人體特征參數(shù)進(jìn)行比對,從而確定深度圖像中的人體目標(biāo)。其中,人體特征參數(shù)至少包括長寬比、面積大小、周長大小和占空比中的一種或多種。通過將上述人體特征參數(shù)與深度圖像中的物體進(jìn)行比對,將前景區(qū)域中符合上述人體特征參數(shù)的物體識別為人體目標(biāo)。
步驟S15,根據(jù)人體目標(biāo)在深度圖像中的所在位置,確定人體目標(biāo)的上端點(diǎn)在深度圖像中的第一圖像坐標(biāo)和人體目標(biāo)的下端點(diǎn)在深度圖像中的第二圖像坐標(biāo)。
具體的,通常情況下,在對人體目標(biāo)的身高進(jìn)行測量時,將人體頭頂至地面的距離作為人體目標(biāo)的身高。在對通過步驟S13識別得到的深度圖像中的人體目標(biāo)進(jìn)行身高測量時,通過步驟S15確定在深度圖像中人體目標(biāo)的頭部最高點(diǎn)(即通過圖像識別,確認(rèn)深度圖像中的人頭尖點(diǎn))位置的坐標(biāo)和人體目標(biāo)的雙腳接觸地面位置下端點(diǎn)(即通過圖像識別,確認(rèn)深度圖像兩腳中點(diǎn))位置的坐標(biāo)。
其中,在深度圖像中,人體目標(biāo)雙腳與深度相機(jī)的距離并不相同,因此,為了提高身高測量的準(zhǔn)確性以及便于計算,可以取雙腳之間的中點(diǎn)(即下端點(diǎn))的坐標(biāo)作為用于計算人體目標(biāo)身高的第二圖像坐標(biāo)。
步驟S17,根據(jù)第一圖像坐標(biāo)、第二圖像坐標(biāo)、景深信息和預(yù)先設(shè)置的相機(jī)標(biāo)定參數(shù),計算第一圖像坐標(biāo)對應(yīng)的第一三維坐標(biāo)和第二圖像坐標(biāo)對應(yīng)的第二三維坐標(biāo),其中,第一三維坐標(biāo)用于表征人體目標(biāo)的上端點(diǎn)在場景中的三維坐標(biāo)值,第二三維坐標(biāo)用于表征人體目標(biāo)的下端點(diǎn)在場景中的三維坐標(biāo)值。
在通常情況下,因深度相機(jī)的鏡頭由多組光學(xué)透鏡組成,所以深度相機(jī)在成像過程中會因光學(xué)透鏡固有的透視失真。通過步驟S17,根據(jù)獲取到的相機(jī)標(biāo)定參數(shù)對獲取到的原始深度圖像進(jìn)行校正,并根據(jù)校正后的深度圖像,結(jié)合第一圖像坐標(biāo)、第二圖像坐標(biāo)以及景深信息,計算得到與第一圖像坐標(biāo)對應(yīng)的第一三維坐標(biāo),以及與第二圖像坐標(biāo)對應(yīng)的第二三維坐標(biāo)。
步驟S19,根據(jù)第一三維坐標(biāo)和第二三維坐標(biāo),確定人體目標(biāo)的高度。
具體的,通過步驟S19,根據(jù)第一三維坐標(biāo)的坐標(biāo)值和第二三維坐標(biāo)的坐標(biāo)值,計算得出第一三維坐標(biāo)與第二三維坐標(biāo)之間的距離,即人體目標(biāo)的高度。
在上述步驟S11至步驟S19中,利用深度相機(jī)對人體目標(biāo)進(jìn)行識別,通過確定人 體目標(biāo)上端點(diǎn)的第一圖像坐標(biāo)和下端點(diǎn)的第二圖像坐標(biāo),并結(jié)合景深信息將二維平面上的第一圖像坐標(biāo)與第二圖像坐標(biāo),轉(zhuǎn)換為三維空間中的第一三維坐標(biāo)和第二三維坐標(biāo)。通過計算第一三維坐標(biāo)和第二三維坐標(biāo)之間的距離,得到人體目標(biāo)的高度。
通過本發(fā)明實(shí)施例提供了一種基于深度相機(jī)的人體身高測量方法。在利用上述實(shí)施例中所涉及的方法對人體身高進(jìn)行測量時,只需對深度相機(jī)的相機(jī)標(biāo)定參數(shù)進(jìn)行標(biāo)定,無需對深度相機(jī)的安裝高度和安裝角度進(jìn)行標(biāo)定。從而實(shí)現(xiàn)了身高的測量精度不受相機(jī)安裝角度影響的技術(shù)效果,達(dá)到了簡化操作步驟的目的,進(jìn)而解決了由于對深度相機(jī)的安裝高度和安裝角度的標(biāo)定誤差,導(dǎo)致的影響身高測量精度,操作繁瑣的技術(shù)問題。
作為一種可選的實(shí)施例,對深度圖像中的前景區(qū)域與背景區(qū)域進(jìn)行區(qū)分的方法可以包括:首先,以預(yù)定的時間間隔獲取場景的影像信息序列,然后通過將影像信息序列中的各個影像信息進(jìn)行比對,將各個影像信息中未發(fā)生變化的區(qū)域確定為背景區(qū)域,而其他區(qū)域確定為前景區(qū)域。通過上述方法,可以簡單的通過比對影像信息序列中各個影像信息,對影像信息中的前景區(qū)域和背景區(qū)域進(jìn)行區(qū)分,從而提高了處理效率。
作為一種可選的實(shí)施例,步驟S15根據(jù)人體目標(biāo)在深度圖像中的所在位置,確定人體目標(biāo)的上端點(diǎn)在深度圖像中的第一圖像坐標(biāo)和人體目標(biāo)的下端點(diǎn)在深度圖像中的第二圖像坐標(biāo),可以包括:
步驟S51,對深度圖像中的人體目標(biāo)進(jìn)行提取,確定人體目標(biāo)的人體輪廓。
步驟S53,根據(jù)人體輪廓,生成人體目標(biāo)的最小外接矩形。
步驟S55,獲取最小外接矩形與人體輪廓頂部切點(diǎn)的坐標(biāo),設(shè)置為第一圖像坐標(biāo)。
步驟S57,以第一圖像坐標(biāo)為起點(diǎn),垂直于最小外接矩形的短邊做垂線。
步驟S59,獲取垂線與最小外接矩形底邊的交點(diǎn)的坐標(biāo),設(shè)置為第二圖像坐標(biāo)。
通常情況下,人體目標(biāo)的輪廓為不規(guī)則的圖形。因此在對深度圖像中的人體目標(biāo)進(jìn)行提取得到人體目標(biāo)的人體輪廓之后,通過最小外接矩形算法對人體輪廓進(jìn)行處理,根據(jù)人體輪廓生成一個用于表征人體目標(biāo)的最小外接矩形。另一方面,由人體外形的比例可知,人體的高度要遠(yuǎn)大于人體的寬度。因此,通過最小外接矩形算法處理得到的最小外接矩形為長方形。
通過步驟S51至步驟S59,將獲取到的最小外接矩形與人體輪廓頂部的切點(diǎn)坐標(biāo),設(shè)置為用于表征上端點(diǎn)的第一圖像坐標(biāo),即人頭尖點(diǎn)的坐標(biāo)。并且,通過以第一圖像坐標(biāo)為起點(diǎn),向人體輪廓頂部的切點(diǎn)所在邊的對邊作垂線,將垂點(diǎn)的坐標(biāo)設(shè)置為用于 表征下端點(diǎn)的第二圖像坐標(biāo),即兩腳中點(diǎn)的坐標(biāo)。通過利用最小外接矩形算法,通過簡單的計算,即可確定與人體輪廓對應(yīng)的人頭尖點(diǎn)坐標(biāo)和下端點(diǎn)坐標(biāo)。
在實(shí)際應(yīng)用當(dāng)中,用于測量身高的深度相機(jī),通常為了不被前景物體遮擋,都被架設(shè)于高處,因此,深度相機(jī)通常與地面呈一定角度安裝。如圖2a和圖2b所示,因為安裝角度的原因,獲取的人體目標(biāo)在影像信息中通常存在一定的傾斜角度。因此,可以利用最小外接矩形算法確定人體目標(biāo)的最小外接矩形,并通過最小外接矩形計算得到人體人頭尖點(diǎn)和兩腳中心的位置坐標(biāo)。首先,通過已確認(rèn)的人體目標(biāo)區(qū)域計算出其最小外接矩形;再根據(jù)最小外接矩形獲取與人體目標(biāo)頂部相切的位置坐標(biāo),即為人頭尖點(diǎn)坐標(biāo)(xh,yh);最后以人頭尖點(diǎn)位置為起點(diǎn),沿最小外接矩形的高度方向,向底邊作垂線,獲取垂線與最小外接矩形底邊的交點(diǎn)坐標(biāo),即為人體兩腳中心坐標(biāo)(xf,yf)。
作為一種可選的實(shí)施例,相機(jī)標(biāo)定參數(shù)至少包括:相機(jī)焦距、圖像中心坐標(biāo)和圖像畸變系數(shù),其中,圖像畸變系數(shù)用于校正因深度相機(jī)的鏡頭成像原因,導(dǎo)致的深度圖像發(fā)生的形變。
具體的,在實(shí)際應(yīng)用當(dāng)中,深度相機(jī)的相機(jī)標(biāo)定參數(shù)可以采用主流的標(biāo)定方法進(jìn)行標(biāo)定,例如:張正友標(biāo)定法等。深度相機(jī)通過相機(jī)標(biāo)定參數(shù)對圖像畸變進(jìn)行校正,并且實(shí)現(xiàn)二維坐標(biāo)到三維坐標(biāo)的轉(zhuǎn)換。
作為一種可選的實(shí)施例,上述步驟S17根據(jù)第一圖像坐標(biāo)、第二圖像坐標(biāo)、景深信息和預(yù)先設(shè)置的相機(jī)標(biāo)定參數(shù),計算第一圖像坐標(biāo)對應(yīng)的第一三維坐標(biāo)和第二圖像坐標(biāo)對應(yīng)的第二三維坐標(biāo)可以包括:
步驟S71,根據(jù)圖像畸變系數(shù)和第一圖像坐標(biāo),計算得到第一校正坐標(biāo)。
步驟S73,根據(jù)圖像畸變系數(shù)和第二圖像坐標(biāo),計算得到第二校正坐標(biāo)。
步驟S75,根據(jù)深度圖像中的景深信息,確定與第一圖像坐標(biāo)對應(yīng)的第一深度值和與第二圖像坐標(biāo)對應(yīng)的第二深度值,其中,第一深度值為第一三維坐標(biāo)中的Z軸坐標(biāo)值,第二深度值為第二三維坐標(biāo)中的Z軸坐標(biāo)值。
步驟S77,將第一深度值、第一校正坐標(biāo)和圖像中心坐標(biāo)代入計算模型,計算得到第一三維坐標(biāo)。
步驟S79,將第二深度值、第二校正坐標(biāo)和圖像中心坐標(biāo)代入計算模型,計算得到第二三維坐標(biāo)。
具體的,通過步驟S71至步驟S79,在利用圖像畸變系數(shù)對第一圖像坐標(biāo)和第二圖像坐標(biāo)進(jìn)行校正后,根據(jù)校正得到的第一校正坐標(biāo)、第二校正坐標(biāo)和景深信息,計 算得到與第一校正坐標(biāo)對應(yīng)的第一三維坐標(biāo),以及與第二校正坐標(biāo)對應(yīng)的第二三維坐標(biāo)。
在實(shí)際應(yīng)用當(dāng)中,如圖3所示,根據(jù)相機(jī)的圖像畸變系數(shù)計算出深度圖像中分別與人頭尖點(diǎn)坐標(biāo)(xh,yh)和兩腳中心坐標(biāo)(xf,yf)對應(yīng)的第一校正坐標(biāo)(x′h,y′h)和第二校正坐標(biāo)(x′f,y′f)。然后,通過計算將第一校正坐標(biāo)(x′h,y′h)和第二校正坐標(biāo)(x′f,y′f)轉(zhuǎn)換為三維坐標(biāo),其中,與人頭尖點(diǎn)坐標(biāo)對應(yīng)的第一三維坐標(biāo)和與兩腳中點(diǎn)坐標(biāo)對應(yīng)的第二三維坐標(biāo)的計算公式為:
其中,fx和fy為相機(jī)標(biāo)定參數(shù)中的相機(jī)焦距,(x0,y0)為相機(jī)標(biāo)定參數(shù)中的圖像中心坐標(biāo),和可由深度圖像中的景深信息獲取。
進(jìn)一步的,可以根據(jù)三維坐標(biāo)系中的第一三維坐標(biāo)和第二三維坐標(biāo)計算兩點(diǎn)間的距離,從而推導(dǎo)出人體身高HP,其中,人體身高的計算公式為:
作為一種可選的實(shí)施例,如圖4所示,在步驟S11通過深度相機(jī)對場景進(jìn)行拍攝,獲取場景的深度圖像之后,方法還可以包括:
步驟S12,通過對深度圖像進(jìn)行處理,確定深度圖像中的前景區(qū)域和背景區(qū)域,其中,對深度圖像進(jìn)行處理的處理方法至少包括:混合高斯處理。
具體的,在對深度圖像進(jìn)行混合高斯背景建模時,首先在深度相機(jī)安裝完成后,采集現(xiàn)場場景的深度圖像用于背景建模。在深度相機(jī)開始工作后,可以通過對沒有人體目標(biāo)的場景的深度圖像進(jìn)行采集,從而實(shí)現(xiàn)背景模型初始化,提高前景目標(biāo)的提取精度的目的。
通過混合高斯背景建模算法,對深度圖像進(jìn)行混合高斯背景建模。其中,對深度圖像進(jìn)行混合高斯背景建模的步驟主要包括:高斯背景模型初始化、背景模型匹配、 背景模型更新、背景點(diǎn)和前景點(diǎn)判斷。為了提高背景模型的精度,可以針對現(xiàn)場場景創(chuàng)建K個高斯背景模型,其中,K可以為3個或5個。
具體的,圖5為基于混合高斯背景建模流程圖,結(jié)合圖5對混合高斯背景建模步驟進(jìn)行詳細(xì)說明:
求前N幀圖像的每一個像素點(diǎn)亮度值的均值μ0和標(biāo)準(zhǔn)值σ0,用于初始化K個高斯模型的概率分布參數(shù):
其中,Pi為第i幀圖像的像素亮度值。
在與K個混合高斯模型進(jìn)行匹配時,應(yīng)滿足以下條件關(guān)系:
|Pi-μi,m|≤Dσi,m;
其中,μi,m為第i幀圖像時刻第m個高斯模型的期望值;σi,m為第i幀圖像時刻第m個高斯模型的期望值的標(biāo)準(zhǔn)差;D為閾值,D的取值范圍為[2.5,3.0]。
若上述條件成立,則認(rèn)為當(dāng)前像素與對應(yīng)的高斯模式匹配,可以用該像素點(diǎn)進(jìn)行背景高斯模型更新,其中,更新的內(nèi)容包括:權(quán)重ωi,m、期望值μi,m和標(biāo)準(zhǔn)差σi,m,具體的方式如下:
ωi,m=(1-α)ωi-1,m+α,
μi,m=(1-β)μi-1,m+βPi-1,
其中,α為更新系數(shù);β為參數(shù)學(xué)習(xí)率,β=α/ωi,m。
若當(dāng)前像素點(diǎn)與K個高斯模型都沒有匹配,則將K個高斯模型中權(quán)重最小的高斯模型去除,并增加期望值為Pi,標(biāo)準(zhǔn)差為σ0的新高斯模型。同時,對其余高斯模型的權(quán)值進(jìn)行更新處理:
ωi,m=(1-α)ωi-1,m。
根據(jù)更新后的K個高斯模型的權(quán)值選取符合閾值條件的背景模型,然后對當(dāng)前像素點(diǎn)進(jìn)行背景點(diǎn)和前景點(diǎn)判斷,最后遍歷完當(dāng)前幀圖像的所有像素點(diǎn)。
作為一種可選的實(shí)施例,在步驟S13根據(jù)預(yù)先設(shè)置的人體特征參數(shù)在深度圖像中進(jìn)行識別,確定深度圖像中的人體目標(biāo)中,可以包括:
步驟S31,利用圖像二值化算法對深度圖像進(jìn)行處理,得到預(yù)處理深度圖像,其中,預(yù)處理深度圖像中的前景區(qū)域為白色,預(yù)處理深度圖像中的背景區(qū)域為黑色。
步驟S33,根據(jù)人體特征參數(shù),對預(yù)處理深度圖像中用于表征前景區(qū)域的白色圖形進(jìn)行識別,確定人體目標(biāo),其中,人體特征參數(shù)至少包括如下的其中一種或多種:圖形長寬比、圖形面積、圖形周長、圖形占空比。
具體的,通過步驟S31至步驟S33,對深度圖像中的前景區(qū)域和背景區(qū)域進(jìn)行二值化處理,并根據(jù)人體特征參數(shù),對前景區(qū)域進(jìn)行識別,從而得到前景區(qū)域中的人體目標(biāo)。
在實(shí)際應(yīng)用當(dāng)中,根據(jù)混合高斯背景建模可以得到含有運(yùn)動目標(biāo)的前景區(qū)域的差分圖像,然后,對其進(jìn)行二值化處理,使背景區(qū)域為黑色0,前景區(qū)域為白色1。通過二值化算法進(jìn)行處理得到的前景區(qū)域中的運(yùn)動目標(biāo)可以是人、車或其他運(yùn)動目標(biāo),為了將人體目標(biāo)從運(yùn)動目標(biāo)中區(qū)分出來,可通過人體目標(biāo)的形狀特征對其進(jìn)行區(qū)分。例如,目標(biāo)的長寬比、目標(biāo)的面積、目標(biāo)的周長、目標(biāo)的占空比等。
作為一種可選的實(shí)施例,在步驟S31利用圖像二值化算法對深度圖像進(jìn)行處理,得到預(yù)處理深度圖像之后,還可以包括:
步驟S32,依次通過腐蝕算法和膨脹算法對預(yù)處理深度圖像進(jìn)行處理,得到提取后的預(yù)處理深度圖像。
具體的,由于圖像中噪聲干擾的影響,在通過二值化算法進(jìn)行處理后的深度圖像中,前景區(qū)域會存在空洞區(qū)域或邊緣毛刺,并且背景區(qū)域也會出現(xiàn)孤立的小塊。因此,可以先利用圖像腐蝕處理,后利用圖像膨脹處理的方式去除深度圖像中的噪聲干擾,使得前景區(qū)域更加完整和精確。
作為一種可選的實(shí)施例,在實(shí)際應(yīng)用當(dāng)中,如圖6所示,獲取深度圖像中的人體目標(biāo)的方法可以包括:
步驟S1,獲取場景的深度圖像。
步驟S2,根據(jù)獲取到的深度圖像進(jìn)行混合高斯背景建模,得到背景模型。
步驟S3,根據(jù)背景模型,對深度圖像中前景區(qū)域和背景區(qū)域進(jìn)行差分處理,得到二值化圖像。
步驟S4,通過圖像的腐蝕處理和膨脹處理,去除二值化圖像中的噪聲干擾。
步驟S5,通過人體特征對前景區(qū)域中的人體目標(biāo)進(jìn)行識別。
作為一種可選的實(shí)施例,如圖7所示,上述基于深度相機(jī)的身高測量方法的步驟可以包括:
步驟一,在深度相機(jī)出廠時,對深度相機(jī)的相機(jī)標(biāo)定參數(shù)進(jìn)行標(biāo)定。
步驟二,在安裝后相機(jī)后對實(shí)時場景的深度圖像進(jìn)行捕獲。
步驟三,根據(jù)深度圖像,獲取圖像中的人體目標(biāo)。
步驟四,對人體目標(biāo)區(qū)域進(jìn)行定位,獲取人頭尖點(diǎn)和兩腳中心點(diǎn)在深度圖像中的坐標(biāo)位置。
步驟五,根據(jù)已標(biāo)定好的相機(jī)標(biāo)定參數(shù)計算出人頭尖點(diǎn)和兩腳中點(diǎn)的三維坐標(biāo)。
步驟六,計算出人體身高。
通過上述步驟,無需對深度相機(jī)的安裝高度和安裝角度進(jìn)行標(biāo)定,減少了安裝時繁瑣的操作步驟,僅通過獲取人體目標(biāo)的人頭尖點(diǎn)和兩腳中點(diǎn)的圖像坐標(biāo)就能計算出人體身高信息,并且可同時測量出在深度相機(jī)的視場范圍內(nèi)的多個人體目標(biāo)的高度信息。
根據(jù)本發(fā)明實(shí)施例,還提供了一種用于實(shí)施上述基于深度相機(jī)的身高測量方法的基于深度相機(jī)的身高測量裝置,如圖8所示,該裝置包括:獲取模塊21、識別模塊23、確定模塊25、第一處理模塊27和第二處理模塊29。
其中,獲取模塊21,用于通過深度相機(jī)對場景進(jìn)行拍攝,獲取場景的深度圖像,其中,深度圖像包括影像信息和景深信息;識別模塊23,用于根據(jù)預(yù)先設(shè)置的人體特征參數(shù)在深度圖像中進(jìn)行識別,確定深度圖像中的人體目標(biāo);確定模塊25,用于根據(jù)人體目標(biāo)在深度圖像中的所在位置,確定人體目標(biāo)的上端點(diǎn)在深度圖像中的第一圖像坐標(biāo)和人體目標(biāo)的下端點(diǎn)在深度圖像中的第二圖像坐標(biāo);第一處理模塊27,用于根據(jù)第一圖像坐標(biāo)、第二圖像坐標(biāo)、景深信息和預(yù)先設(shè)置的相機(jī)標(biāo)定參數(shù),計算第一圖像坐標(biāo)對應(yīng)的第一三維坐標(biāo)和第二圖像坐標(biāo)對應(yīng)的第二三維坐標(biāo),其中,第一三維坐標(biāo)用于表征人體目標(biāo)的上端點(diǎn)在場景中的三維坐標(biāo)值,第二三維坐標(biāo)用于表征人體目標(biāo) 的下端點(diǎn)在場景中的三維坐標(biāo)值;第二處理模塊29,用于根據(jù)第一三維坐標(biāo)和第二三維坐標(biāo),確定人體目標(biāo)的高度。
具體的,上述獲取模塊21、識別模塊23、確定模塊25、第一處理模塊27和第二處理模塊29,利用深度相機(jī)對人體目標(biāo)進(jìn)行識別,通過確定人體目標(biāo)上端點(diǎn)的第一圖像坐標(biāo)和下端點(diǎn)的第二圖像坐標(biāo),并結(jié)合景深信息將二維平面上的第一圖像坐標(biāo)與第二圖像坐標(biāo),轉(zhuǎn)換為三維空間中的第一三維坐標(biāo)和第二三維坐標(biāo)。通過計算第一三維坐標(biāo)和第二三維坐標(biāo)之間的距離,得到人體目標(biāo)的高度。
通過本發(fā)明實(shí)施例提供了一種基于深度相機(jī)的人體身高測量方法。在利用上述實(shí)施例中所涉及的方法對人體身高進(jìn)行測量時,只需對深度相機(jī)的相機(jī)標(biāo)定參數(shù)進(jìn)行標(biāo)定,無需對深度相機(jī)的安裝高度和安裝角度進(jìn)行標(biāo)定。從而實(shí)現(xiàn)了身高的測量精度不受相機(jī)安裝角度影響的技術(shù)效果,達(dá)到了簡化操作步驟的目的,進(jìn)而解決了由于對深度相機(jī)的安裝高度和安裝角度的標(biāo)定誤差,導(dǎo)致的影響身高測量精度,操作繁瑣的技術(shù)問題。
作為一種可選的實(shí)施例,通過上述獲取模塊21對深度圖像中的前景區(qū)域與背景區(qū)域進(jìn)行區(qū)分的方法可以包括:首先,以預(yù)定的時間間隔獲取場景的影像信息序列,然后通過將影像信息序列中的各個影像信息進(jìn)行比對,將各個影像信息中未發(fā)生變化的區(qū)域確定為背景區(qū)域,而其他區(qū)域確定為前景區(qū)域。通過上述方法,可以簡單的通過比對影像信息序列中各個影像信息,對影像信息中的前景區(qū)域和背景區(qū)域進(jìn)行區(qū)分,從而提高了處理效率。
作為一種可選的實(shí)施例,如圖9所示,上述確定模塊25包括:子提取模塊251、子生成模塊253、第一子設(shè)置模塊255、第一子處理模塊257和第二子設(shè)置模塊259。
其中,子提取模塊251,用于對深度圖像中的人體目標(biāo)進(jìn)行提取,確定人體目標(biāo)的人體輪廓;子生成模塊253,用于根據(jù)人體輪廓,生成人體目標(biāo)的最小外接矩形;第一子設(shè)置模塊255,用于獲取最小外接矩形與人體輪廓頂部切點(diǎn)的坐標(biāo),設(shè)置為第一圖像坐標(biāo);第一子處理模塊257,用于以第一圖像坐標(biāo)為起點(diǎn),垂直于最小外接矩形的短邊做垂線;第二子設(shè)置模塊259,用于獲取垂線與最小外接矩形底邊的交點(diǎn)的坐標(biāo),設(shè)置為第二圖像坐標(biāo)。
通常情況下,人體目標(biāo)的輪廓為不規(guī)則的圖形。因此在對深度圖像中的人體目標(biāo)進(jìn)行提取得到人體目標(biāo)的人體輪廓之后,通過最小外接矩形算法對人體輪廓進(jìn)行處理,根據(jù)人體輪廓生成一個用于表征人體目標(biāo)的最小外接矩形。另一方面,由人體外形的比例可知,人體的高度要遠(yuǎn)大于人體的寬度。因此,通過最小外接矩形算法處理得到 的最小外接矩形為長方形。
通過子提取模塊251、子生成模塊253、第一子設(shè)置模塊255、第一子處理模塊257和第二子設(shè)置模塊259,將獲取到的最小外接矩形與人體輪廓頂部的切點(diǎn)坐標(biāo),設(shè)置為用于表征上端點(diǎn)的第一圖像坐標(biāo),即人頭尖點(diǎn)的坐標(biāo)。并且,通過以第一圖像坐標(biāo)為起點(diǎn),向人體輪廓頂部的切點(diǎn)所在邊的對邊作垂線,將垂點(diǎn)的坐標(biāo)設(shè)置為用于表征下端點(diǎn)的第二圖像坐標(biāo),即兩腳中點(diǎn)的坐標(biāo)。。通過利用最小外接矩形算法,通過簡單的計算,即可確定與人體輪廓對應(yīng)的人頭尖點(diǎn)坐標(biāo)和下端點(diǎn)坐標(biāo)。
作為一種可選的實(shí)施例,如圖10所示,上述第一處理模塊27包括:第一子校正模塊271、第二子校正模塊273、子確定模塊275、第一子計算模塊277和第二子計算模塊279。
其中,第一子校正模塊271,用于根據(jù)圖像畸變系數(shù)和第一圖像坐標(biāo),計算得到第一校正坐標(biāo);第二子校正模塊273,用于根據(jù)圖像畸變系數(shù)和第二圖像坐標(biāo),計算得到第二校正坐標(biāo);子確定模塊275,用于根據(jù)深度圖像中的景深信息,確定與第一圖像坐標(biāo)對應(yīng)的第一深度值和與第二圖像坐標(biāo)對應(yīng)的第二深度值,其中,第一深度值為第一三維坐標(biāo)中的Z軸坐標(biāo)值,第二深度值為第二三維坐標(biāo)中的Z軸坐標(biāo)值;第一子計算模塊277,用于將第一深度值、第一校正坐標(biāo)和圖像中心坐標(biāo)代入計算模型,計算得到第一三維坐標(biāo);第二子計算模塊279,用于將第二深度值、第二校正坐標(biāo)和圖像中心坐標(biāo)代入計算模型,計算得到第二三維坐標(biāo)。
具體的,通過上述第一子校正模塊271、第二子校正模塊273、子確定模塊275、第一子計算模塊277和第二子計算模塊279,在利用圖像畸變系數(shù)對第一圖像坐標(biāo)和第二圖像坐標(biāo)進(jìn)行校正后,根據(jù)校正得到的第一校正坐標(biāo)、第二校正坐標(biāo)和景深信息,計算得到與第一校正坐標(biāo)對應(yīng)的第一三維坐標(biāo),以及與第二校正坐標(biāo)對應(yīng)的第二三維坐標(biāo)。
作為一種可選的實(shí)施例,如圖11所示,上述裝置還包括:處理模塊22。
其中,處理模塊22,用于通過對深度圖像進(jìn)行處理,確定深度圖像中的前景區(qū)域和背景區(qū)域,其中,對深度圖像進(jìn)行處理的處理單元至少包括:混合高斯處理單元。
具體的,在對深度圖像進(jìn)行混合高斯背景建模時,首先在深度相機(jī)安裝完成后,采集現(xiàn)場場景的深度圖像用于背景建模。在深度相機(jī)開始工作后,可以通過對沒有人體目標(biāo)的場景的深度圖像進(jìn)行采集,從而實(shí)現(xiàn)背景模型初始化,提高前景目標(biāo)的提取精度的目的。
通過混合高斯背景建模算法,對深度圖像進(jìn)行混合高斯背景建模。其中,對深度 圖像進(jìn)行混合高斯背景建模的步驟主要包括:高斯背景模型初始化、背景模型匹配、背景模型更新、背景點(diǎn)和前景點(diǎn)判斷。
作為一種可選的實(shí)施例,如圖12所示,上述識別模塊23包括:第二子處理模塊231和子識別模塊233。
其中,第二子處理模塊231,用于利用圖像二值化算法對深度圖像進(jìn)行處理,得到預(yù)處理深度圖像,其中,預(yù)處理深度圖像中的前景區(qū)域為白色,預(yù)處理深度圖像中的背景區(qū)域為黑色;子識別模塊233,用于根據(jù)人體特征參數(shù),對預(yù)處理深度圖像中用于表征前景區(qū)域的白色圖形進(jìn)行識別,確定人體目標(biāo),其中,人體特征參數(shù)至少包括如下的其中一種或多種:圖形長寬比、圖形面積、圖形周長、圖形占空比。
具體的,通過上述第二子處理模塊231和子識別模塊233,對深度圖像中的前景區(qū)域和背景區(qū)域進(jìn)行二值化處理,并根據(jù)人體特征參數(shù),對前景區(qū)域進(jìn)行識別,從而得到前景區(qū)域中的人體目標(biāo)。
在實(shí)際應(yīng)用當(dāng)中,根據(jù)混合高斯背景建模可以得到含有運(yùn)動目標(biāo)的前景區(qū)域的差分圖像,然后,對其進(jìn)行二值化處理,使背景區(qū)域為黑色0,前景區(qū)域為白色1。通過二值化算法進(jìn)行處理得到的前景區(qū)域中的運(yùn)動目標(biāo)可以是人、車或其他運(yùn)動目標(biāo),為了將人體目標(biāo)從運(yùn)動目標(biāo)中區(qū)分出來,可通過人體目標(biāo)的形狀特征對其進(jìn)行區(qū)分。例如,目標(biāo)的長寬比、目標(biāo)的面積、目標(biāo)的周長、目標(biāo)的占空比等。
作為一種可選的實(shí)施例,如圖13所示,上述識別模塊23還包括:第三子處理模塊232。
其中,第三子處理模塊232,用于依次通過腐蝕算法和膨脹算法對預(yù)處理深度圖像進(jìn)行處理,得到提取后的預(yù)處理深度圖像。
具體的,由于圖像中噪聲干擾的影響,在通過二值化算法進(jìn)行處理后的深度圖像中,前景區(qū)域會存在空洞區(qū)域或邊緣毛刺,并且背景區(qū)域也會出現(xiàn)孤立的小塊。因此,可以通過上述第三處理模塊232先利用圖像腐蝕處理,后利用圖像膨脹處理的方式去除深度圖像中的噪聲干擾,使得前景區(qū)域更加完整和精確。
上述本發(fā)明實(shí)施例序號僅僅為了描述,不代表實(shí)施例的優(yōu)劣。
在本發(fā)明的上述實(shí)施例中,對各個實(shí)施例的描述都各有側(cè)重,某個實(shí)施例中沒有詳述的部分,可以參見其他實(shí)施例的相關(guān)描述。
在本申請所提供的幾個實(shí)施例中,應(yīng)該理解到,所揭露的技術(shù)內(nèi)容,可通過其它的方式實(shí)現(xiàn)。其中,以上所描述的裝置實(shí)施例僅僅是示意性的,例如所述單元的劃分, 可以為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時可以有另外的劃分方式,例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,單元或模塊的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本發(fā)明各個實(shí)施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨(dú)物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能單元的形式實(shí)現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時,可以存儲在一個計算機(jī)可讀取存儲介質(zhì)中。基于這樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計算機(jī)設(shè)備(可為個人計算機(jī)、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實(shí)施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括:U盤、只讀存儲器(ROM,Read-Only Memory)、隨機(jī)存取存儲器(RAM,Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式,應(yīng)當(dāng)指出,對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進(jìn)和潤飾,這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。