人臉跟蹤方法及裝置制造方法
【專利摘要】本發(fā)明實(shí)施例公開了一種人臉跟蹤方法及裝置，涉及人臉跟蹤【技術(shù)領(lǐng)域】，所述方法包括：確定人臉區(qū)域和人臉外區(qū)域；根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得人臉特征模型；在下一幀圖像中，根據(jù)所述人臉區(qū)域、人臉外區(qū)域和人臉特征模型確定人臉區(qū)域位置和人臉外區(qū)域位置；根據(jù)人臉區(qū)域位置和人臉外區(qū)域位置，確定人臉位置。本發(fā)明適用于處理動態(tài)人臉信息。
【專利說明】人臉跟蹤方法及裝置【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及人臉跟蹤【技術(shù)領(lǐng)域】，特別涉及一種人臉跟蹤方法及裝置。
【背景技術(shù)】
[0002]人臉跟蹤是在視頻或圖像序列中確定某個人臉的運(yùn)動軌跡及大小變化的過程。一直以來，人臉跟蹤在圖像分析與識別圖像監(jiān)控與檢索等領(lǐng)域都具有重大意義，成為大量學(xué)者的關(guān)注的焦點(diǎn)，許多行之有效的算法也相繼出現(xiàn)。Mean shift (均值偏移)技術(shù)是一種基于密度梯度的無參數(shù)估計(jì)方法，主要應(yīng)用于運(yùn)動目標(biāo)跟蹤，具有快速和有效的特點(diǎn)。Camshift (連續(xù)自適應(yīng)的均值偏移)是基于均值偏移方法的一種運(yùn)動目標(biāo)跟蹤算法。在基于Mean shift算法快速收斂特性的前提下，Cam shift利用被跟蹤物體的直方圖特征使其兼具計(jì)算量低、對目標(biāo)變形、旋轉(zhuǎn)變化、遮擋等適應(yīng)性強(qiáng)的特點(diǎn)，從而被廣泛應(yīng)用于人臉、手部及其它物體的跟蹤及機(jī)器人視覺等多種場合。在Cam shift算法中，人臉顏色直方圖(主要是膚色特征)是人臉跟蹤的唯一依據(jù)，當(dāng)跟蹤人臉過程遇到大面積類膚色區(qū)域或者背景與膚色接近的情況時，其跟蹤結(jié)果會受到嚴(yán)重干擾，導(dǎo)致跟蹤失敗。
[0003]針對上述干擾情況，現(xiàn)有技術(shù)中提出了兩種優(yōu)化方法，一種是基于Cam shift的改進(jìn)算法，利用多維度顏色空間建立目標(biāo)模型，使用兩個核函數(shù)來進(jìn)一步排除背景區(qū)域?qū)τ谀繕?biāo)跟蹤的干擾；另一種是基于邊緣直方圖的Mean shift人臉跟蹤算法，利用邊緣信息和紋理信息作為跟蹤特征，該方法在背景顏色與膚色相似的情況下，跟蹤效果明顯優(yōu)于傳統(tǒng)的mean shift人臉跟蹤算法。
[0004]在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題:基于Camshift的改進(jìn)算法雖然能夠?qū)Ω蓴_進(jìn)行優(yōu)化，但是當(dāng)背景顏色和跟蹤目標(biāo)的顏色非常接近時，仍不能徹底排除干擾的影響；基于邊緣直方圖的Mean shift人臉跟蹤算法能夠較好的處理背景顏色與跟蹤目標(biāo)顏色接近的問題，但是在人臉出現(xiàn)姿態(tài)變化，表情變化以及部分人臉被遮擋的情況下，該方法`不具備魯棒性，跟蹤結(jié)果受到影響。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的實(shí)施例提供一種人臉方法及裝置，能夠解決人臉跟蹤過程中與膚色相近的背景顏色對人臉跟蹤的干擾以及在人臉發(fā)生表情變化、姿態(tài)變化以及被遮擋的情況下，保持對人臉的跟蹤，提聞人臉跟蹤質(zhì)量。
[0006]本發(fā)明實(shí)施例采用的技術(shù)方案為:
[0007]一種人臉跟蹤方法，包括:
[0008]確定人臉區(qū)域和人臉外區(qū)域；
[0009]根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得人臉特征模型；
[0010]在下一幀圖像中，根據(jù)所述人臉區(qū)域、人臉外區(qū)域和人臉特征模型確定人臉區(qū)域位置和人臉外區(qū)域位置；
[0011]根據(jù)人臉區(qū)域位置和人臉外區(qū)域位置，確定人臉位置。[0012]其中，所述確定人臉外區(qū)域包括:統(tǒng)計(jì)所述頭發(fā)區(qū)域的先驗(yàn)，得到所述頭發(fā)區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為頭發(fā)區(qū)域；統(tǒng)計(jì)所述衣肩區(qū)域的先驗(yàn)，得到所述衣肩區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為衣肩區(qū)域；將所述頭發(fā)區(qū)域和所述衣肩區(qū)域一起作為人臉外區(qū)域。
[0013]其中，所述根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得人臉特征模型包括:根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得膚色模型和非膚色模型，對所述膚色模型和所述非膚色模型進(jìn)行加權(quán)平均獲得人臉特征模型，其中所述膚色模型由所述膚色區(qū)域得到，所述非膚色模型由所述眼睛區(qū)域、嘴唇區(qū)域和所述頭發(fā)區(qū)域得到。
[0014]進(jìn)一步的，所述獲得膚色模型包括:統(tǒng)計(jì)人臉區(qū)域的色度、飽和度和亮度三個分量的顏色直方圖，將所述顏色直方圖作為膚色模型。
[0015]進(jìn)一步的，所述獲得人臉內(nèi)非膚色模型包括:將所述膚色模型中的膚色區(qū)域剪除，剩余部分的顏色直方圖再加上所述頭發(fā)區(qū)域的顏色直方圖作為人臉內(nèi)非膚色模型。
[0016]其中，所述根據(jù)所述人臉區(qū)域、人臉外區(qū)域和人臉特征模型確定人臉區(qū)域位置和人臉外區(qū)域位置包括:使用加入了所述人臉特征模型的連續(xù)自適應(yīng)的均值偏移Cam shift算法跟蹤人臉區(qū)域，確定人臉區(qū)域位置；使用所述Cam shift算法分別跟蹤頭發(fā)區(qū)域和衣肩區(qū)域，確定人臉外區(qū)域位置。
[0017]一種人臉跟蹤裝置，包括:
[0018]第一確定模塊，用于初始化人臉跟蹤區(qū)域，確定人臉區(qū)域和人臉外區(qū)域；
[0019]模型獲取模塊，用于根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得人臉特征模型；
[0020]第二確定模塊，用于在下一幀圖像中，根據(jù)所述人臉區(qū)域、人臉外區(qū)域和人臉特征模型確定人臉區(qū)域位置和人臉外區(qū)域位置；
[0021]第三確定模塊，用于根據(jù)人臉區(qū)域位置和人臉外區(qū)域位置，確定人臉位置。
[0022]其中，所述第一確定模塊還包括:第一統(tǒng)計(jì)單元，用于統(tǒng)計(jì)所述頭發(fā)區(qū)域的先驗(yàn)，得到所述頭發(fā)區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為頭發(fā)區(qū)域；第二統(tǒng)計(jì)單元，用于統(tǒng)計(jì)所述衣肩區(qū)域的先驗(yàn)，得到所述衣肩區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為衣肩區(qū)域；第二確定單元，用于將所述頭發(fā)區(qū)域和所述衣肩區(qū)域一起作為人臉外區(qū)域。
[0023]其中所述模型獲取模塊具體用于:根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得膚色模型和非膚色模型，對所述膚色模型和所述非膚色模型進(jìn)行加權(quán)平均獲得人臉特征模型，其中所述膚色模型由所述膚色區(qū)域得到，所述非膚色模型由所述眼睛區(qū)域、嘴唇區(qū)域和所述頭發(fā)區(qū)域得到。
[0024]進(jìn)一步的，所述模型獲取模塊包括:第一模型獲取單元，用于統(tǒng)計(jì)人臉區(qū)域的色度、飽和度和亮度三個分量的顏色直方圖，將所述顏色直方圖作為膚色模型。
[0025]進(jìn)一步的，所述模型獲取模塊還包括:第二模型獲取單元，用于將所述膚色模型中的膚色區(qū)域剪除，剩余部分的顏色直方圖再加上所述頭發(fā)區(qū)域的顏色直方圖作為人臉內(nèi)非膚色模型。
[0026]其中，所述第二確定模塊包括:第三確定單元，用于使用加入了所述人臉特征模型的連續(xù)自適應(yīng)的均值偏移Cam shift算法跟蹤人臉區(qū)域，確定人臉區(qū)域位置；第四確定單元，用于使用所述Cam shift算法分別跟蹤頭發(fā)區(qū)域和衣肩區(qū)域，確定人臉外區(qū)域位置。
[0027]與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例通過在膚色模型的基礎(chǔ)上，獲取眼睛區(qū)域和嘴唇區(qū)域的顏色直方圖，并通過離線訓(xùn)練的方法得到頭發(fā)區(qū)域和衣肩區(qū)域，并通過將頭發(fā)區(qū)域的顏色直方圖、眼睛區(qū)域和嘴唇區(qū)域的顏色直方圖和原本的膚色直方圖加權(quán)結(jié)合起來，獲得一個綜合的人臉特征模型以及綜合的顏色直方圖，通過將綜合的人臉特征模型加入到Cam shift算法中，更加精確的對人臉進(jìn)行跟蹤，可以大大降低與膚色相近的背景顏色對人臉跟蹤的干擾，并且在人臉發(fā)生表情變化、姿態(tài)變化以及被遮擋的情況下不會中斷對人臉的跟蹤，增強(qiáng)了人臉跟蹤的魯棒性，另外通過頭發(fā)區(qū)域和衣肩區(qū)域?qū)θ四樀奈恢米鬟M(jìn)一步約束和限制，提高了人臉跟蹤的準(zhǔn)確性。
【專利附圖】

【附圖說明】
[0028]為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其它的附圖。
[0029]圖1為本發(fā)明實(shí)施例一提供的方法流程圖；
[0030]圖2為本發(fā)明實(shí)施例二提供的方法流程圖；
[0031]圖3、圖4為本發(fā)明實(shí)施例三提供的裝置結(jié)構(gòu)示意圖；
[0032]圖5為本發(fā)明實(shí)施例四提供的裝置結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0033]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0034]為使本發(fā)明技術(shù)方案的優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖和實(shí)施例對本發(fā)明作詳細(xì)說明。
[0035]實(shí)施例一
[0036]本實(shí)施例提供一種人臉跟蹤方法，如圖1所示，所述方法包括:
[0037]101、確定人臉區(qū)域和人臉外區(qū)域。
[0038]其中，所述人臉區(qū)域包括:膚色區(qū)域、眼睛區(qū)域和嘴唇區(qū)域；所述人臉外區(qū)域包括:頭發(fā)區(qū)域和衣肩區(qū)域。
[0039]其中，確定人臉區(qū)域是直接對人臉跟蹤區(qū)域進(jìn)行初始化，即可得到人臉區(qū)域；確定人臉外區(qū)域是通過離線訓(xùn)練的方法獲得，包括:統(tǒng)計(jì)所述頭發(fā)區(qū)域的先驗(yàn)，得到所述頭發(fā)區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為頭發(fā)區(qū)域；統(tǒng)計(jì)所述衣肩區(qū)域的先驗(yàn)，得到所述衣肩區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為衣肩區(qū)域；將所述頭發(fā)區(qū)域和所述衣肩區(qū)域一起作為人臉外區(qū)域。
[0040]102、根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得人臉特征模型。
[0041]其中，在獲得人臉區(qū)域和人臉外區(qū)域后，需要建立人臉特征模型，包括:根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得膚色模型和非膚色模型，對所述膚色模型和所述非膚色模型進(jìn)行加權(quán)平均獲得人臉特征模型，其中所述膚色模型由所述膚色區(qū)域得到，所述非膚色模型由所述眼睛區(qū)域、嘴唇區(qū)域和所述頭發(fā)區(qū)域得到。
[0042]其中，獲得膚色模型包括:統(tǒng)計(jì)人臉區(qū)域的色度、飽和度和亮度三個分量的顏色直方圖，將所述顏色直方圖作為膚色模型；獲得人臉內(nèi)非膚色模型包括:將所述膚色模型中的膚色區(qū)域剪除，剩余部分的顏色直方圖再加上所述頭發(fā)區(qū)域的顏色直方圖作為人臉內(nèi)非膚色模型。
[0043]103、在下一幀圖像中，根據(jù)所述人臉區(qū)域、人臉外區(qū)域和人臉特征模型確定人臉區(qū)域位置和人臉外區(qū)域位置。
[0044]例如，使用加入了所述人臉特征模型的連續(xù)自適應(yīng)的均值偏移Cam shift算法跟蹤人臉區(qū)域，確定人臉區(qū)域位置；使用所述Cam shift算法分別跟蹤頭發(fā)區(qū)域和衣肩區(qū)域，確定人臉外區(qū)域位置。
[0045]104、根據(jù)人臉區(qū)域位置和人臉外區(qū)域位置，確定人臉位置。
[0046]進(jìn)一步的，在所述根據(jù)人臉區(qū)域位置和人臉外區(qū)域位置，確定人臉位置之后，還包括:對所述最終的人臉位置的跟蹤結(jié)果做平滑處理，根據(jù)多幀圖像的人臉位置加權(quán)得到最佳人臉位置。
[0047]與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例通過在膚色模型的基礎(chǔ)上，獲取眼睛區(qū)域和嘴唇區(qū)域的顏色直方圖，并通過離線訓(xùn)練的方法得到頭發(fā)區(qū)域和衣肩區(qū)域，并通過將頭發(fā)區(qū)域的顏色直方圖、眼睛區(qū)域和嘴唇區(qū)域的顏色直方圖和原本的膚色直方圖加權(quán)結(jié)合起來，獲得一個綜合的人臉特征模型以及綜合的顏色直方圖，通過將綜合的人臉特征模型加入到Cam shift算法中，更加精確的對人臉進(jìn)行跟蹤，可以大大降低與膚色相近的背景顏色對人臉跟蹤的干擾，并且在人臉發(fā)生表情變化、姿態(tài)變化以及被遮擋的情況下不會中斷對人臉的跟蹤，增強(qiáng)了人臉跟蹤的魯棒性，另外通過頭發(fā)區(qū)域和衣肩區(qū)域?qū)θ四樀奈恢米鬟M(jìn)一步約束和限制，提高了人臉跟蹤的準(zhǔn)確性。
[0048]實(shí)施例二
[0049]本實(shí)施例提供一種人臉跟蹤方法，如圖2所示，所述方法包括:
[0050]201、初始化人臉跟蹤區(qū)域，確定人臉區(qū)域和人臉外區(qū)域。
[0051]其中，所述人臉區(qū)域包括:膚色區(qū)域、眼睛區(qū)域和嘴唇區(qū)域；所述人臉外區(qū)域包括:頭發(fā)區(qū)域和衣肩區(qū)域。在進(jìn)行初始化人臉跟蹤區(qū)域后，就可以得到跟蹤的人臉的區(qū)域，這個區(qū)域主要包括了人臉的膚色區(qū)域、眼睛區(qū)域和嘴唇區(qū)域。
[0052]進(jìn)一步的，在確定人臉外區(qū)域時，需要使用離線訓(xùn)練的方法讓系統(tǒng)根據(jù)多個樣本進(jìn)行估計(jì)，最終確定頭發(fā)區(qū)域和衣肩區(qū)域，例如，統(tǒng)計(jì)頭發(fā)區(qū)域的先驗(yàn)，得到頭發(fā)區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為頭發(fā)區(qū)域；統(tǒng)計(jì)衣肩區(qū)域的先驗(yàn)，得到衣肩區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為衣肩區(qū)域。
[0053]202、計(jì)算人臉區(qū)域的膚色模型。
[0054]例如，統(tǒng)計(jì)人臉區(qū)域的色度、飽和度和亮度三個分量的顏色直方圖，將此顏色直方圖作為膚色模型，需要說明的是，這里由于人臉區(qū)域主要是膚色區(qū)域，所以可以認(rèn)為此顏色直方圖即是膚色模型。
[0055]203、計(jì)算人臉區(qū)域的非膚色模型，以及人臉外區(qū)域的非膚色模型。
[0056]例如，計(jì)算人臉區(qū)域的非膚色模型包括:根據(jù)步驟202中得到的膚色模型，將該膚色模型中膚色區(qū)域去掉，剩余的模型即為人臉區(qū)域的非膚色模型；其中人臉外區(qū)域包括頭發(fā)區(qū)域和衣肩區(qū)域，我們在計(jì)算人臉外區(qū)域模型時僅僅考慮頭發(fā)區(qū)域而不對衣肩區(qū)域進(jìn)行計(jì)算，因?yàn)橐录鐓^(qū)域在本方法中主要是對人臉位置的確定，并且加入計(jì)算過于復(fù)雜。計(jì)算人臉外區(qū)域的非膚色模型包括:根據(jù)步驟201中確定的頭發(fā)區(qū)域，按照步驟202獲取膚色模型的方法，獲取頭發(fā)區(qū)域的顏色直方圖作為人臉外區(qū)域的非膚色模型。
[0057]204、獲取人臉特征模型。
[0058]例如，對步驟202和步驟203中得到的一個膚色模型和兩個非膚色模型對應(yīng)的顏色直方圖進(jìn)行加權(quán)平均，獲得新的顏色直方圖，即新的模型，將新模型作為人臉特征模型，人臉特征模型主要用于加入到Cam shift算法使用的模型中，來增強(qiáng)人臉的跟蹤效果，消除近膚色背景或者物體對人臉跟蹤的干擾。
[0059]對比僅使用膚色模型的Cam shift算法和使用人臉特征模型的Cam shift算法，以一幀人臉跟蹤圖像為例，可以發(fā)現(xiàn)，在對兩張圖像做反向投影后，使用人臉特征模型的圖像與使用膚色模型的圖像相比，使用人臉特征模型的圖像的人臉區(qū)域明顯較使用膚色模型的圖像的人臉區(qū)域更加明顯，大大提高了跟蹤的準(zhǔn)確性。
[0060]205、繼續(xù)跟蹤下一幀圖像。
[0061]206、判斷這一幀圖像是否到達(dá)幀尾，如果到達(dá)了幀尾，則結(jié)束流程；如果沒有到達(dá)幀尾，則執(zhí)行步驟207。
[0062]可選的，這里需要對當(dāng)前人臉跟蹤的圖像幀數(shù)進(jìn)行判斷，若當(dāng)前的圖像時最后一幀圖像，則停止人臉跟蹤；若當(dāng)前圖像不是最后一幀圖像，則繼續(xù)跟蹤。這樣做的主要目的就是為了防止當(dāng)人臉跟蹤的圖像為最后一幀，已沒有繼續(xù)跟蹤的必要時，不能及時停止流
程，浪費(fèi)一些資源。
[0063]207、使用Cam shift算法分別對人臉區(qū)域、衣肩區(qū)域和頭發(fā)區(qū)域進(jìn)行跟蹤。
[0064]針對人臉區(qū)域使用加入了人臉特征模型的Cam shift算法，針對衣肩區(qū)域和頭發(fā)區(qū)域使用普通的Cam shift算法,例如,使用加入了所述人臉特征模型的Cam shift算法跟蹤人臉區(qū)域，確定人臉區(qū)域位置；再使用Cam shift算法跟蹤衣肩區(qū)域和頭發(fā)區(qū)域，獲得這兩個區(qū)域的位置，根據(jù)頭發(fā)區(qū)域和衣肩區(qū)域的位置，可以更好的幫助確定人臉的最終位置，提聞人臉跟蹤的準(zhǔn)確性。
[0065]208、確定人臉位置。
[0066]209、判斷人臉跟蹤是否失效，若已失效，則執(zhí)行步驟201，若沒有失效，則執(zhí)行步驟210。
[0067]210、對人臉跟蹤結(jié)果進(jìn)行平滑性處理。
[0068]例如，對最近幾幀圖像的人臉位置作加權(quán)平均，獲得一個相對準(zhǔn)確的人臉位置。
[0069]211、輸出平滑處理后的人臉跟蹤結(jié)果。
[0070]其中，人臉跟蹤結(jié)果顯示在屏幕上即為一個跟蹤框，用來框住人臉。
[0071]進(jìn)一步的，在輸出跟蹤結(jié)果之后，還可以返回繼續(xù)執(zhí)行步驟205，實(shí)現(xiàn)對目標(biāo)的持續(xù)跟蹤。
[0072]與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例通過在膚色模型的基礎(chǔ)上，獲取眼睛區(qū)域和嘴唇區(qū)域的顏色直方圖，并通過離線訓(xùn)練的方法得到頭發(fā)區(qū)域和衣肩區(qū)域，并通過將頭發(fā)區(qū)域的顏色直方圖、眼睛區(qū)域和嘴唇區(qū)域的顏色直方圖和原本的膚色直方圖加權(quán)結(jié)合起來，獲得一個綜合的人臉特征模型以及綜合的顏色直方圖，通過將綜合的人臉特征模型加入到Cam shift算法中，更加精確的對人臉進(jìn)行跟蹤，可以大大降低與膚色相近的背景顏色對人臉跟蹤的干擾，并且在人臉發(fā)生表情變化、姿態(tài)變化以及被遮擋的情況下不會中斷對人臉的跟蹤，增強(qiáng)了人臉跟蹤的魯棒性，另外通過頭發(fā)區(qū)域和衣肩區(qū)域?qū)θ四樀奈恢米鬟M(jìn)一步約束和限制，提高了人臉跟蹤的準(zhǔn)確性。
[0073]實(shí)施例三
[0074]本實(shí)施例提供一種人臉跟蹤裝置，如圖3所示，所述裝置包括:
[0075]第一確定模塊31，用于初始化人臉跟蹤區(qū)域，確定人臉區(qū)域和人臉外區(qū)域；
[0076]模型獲取模塊32，用于根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得人臉特征模型；
[0077]第二確定模塊33，用于在下一幀圖像中，根據(jù)所述人臉區(qū)域、人臉外區(qū)域和人臉特征模型確定人臉區(qū)域位置和人臉外區(qū)域位置；
[0078]第三確定模塊34，用于根據(jù)人臉區(qū)域位置和人臉外區(qū)域位置，確定人臉位置。
[0079]其中，所述人臉區(qū)域包括:膚色區(qū)域、眼睛區(qū)域和嘴唇區(qū)域；所述人臉外區(qū)域包括:頭發(fā)區(qū)域和衣肩區(qū)域。
[0080]進(jìn)一步的，如圖4所示，所述第一確定模塊31還可以包括:
[0081]第一確定單元311，用于根據(jù)初始化人臉跟蹤區(qū)域的初始化結(jié)果，得到人臉區(qū)域。
[0082]進(jìn)一步的，如圖4所示，所述第一確定模塊31還可以包括:
[0083]第一統(tǒng)計(jì)單元312，用于統(tǒng)計(jì)所述頭發(fā)區(qū)域的先驗(yàn)，得到所述頭發(fā)區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為頭發(fā)區(qū)域；
[0084]第二統(tǒng)計(jì)單元313，用于統(tǒng)計(jì)所述衣肩區(qū)域的先驗(yàn)，得到所述衣肩區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為衣肩區(qū)域；
[0085]第二確定單元314，用于將所述頭發(fā)區(qū)域和所述衣肩區(qū)域一起作為人臉外區(qū)域。
[0086]其中，所述模型獲取模塊32具體用于:根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得的膚色模型和非膚色模型，對所述膚色模型和所述非膚色模型進(jìn)行加權(quán)平均獲得人臉特征模型，其中所述膚色模型由所述膚色區(qū)域得到，所述非膚色模型由所述眼睛區(qū)域、嘴唇區(qū)域和所述頭發(fā)區(qū)域得到。
[0087]進(jìn)一步的，如圖4所示，所述模型獲取模塊32還可以包括:
[0088]第一模型獲取單元321，用于統(tǒng)計(jì)人臉區(qū)域的色度、飽和度和亮度三個分量的顏色直方圖，將所述顏色直方圖作為膚色模型。
[0089]進(jìn)一步的，如圖4所示，所述模型獲取模塊32還可以包括:
[0090]第二模型獲取單元322，用于將所述膚色模型中的膚色區(qū)域剪除，剩余部分的顏色直方圖再加上所述頭發(fā)區(qū)域的顏色直方圖作為人臉內(nèi)非膚色模型。
[0091]進(jìn)一步的，如圖4所示，所述第二確定模塊33還可以包括:
[0092]第三確定單元331，用于使用加入了所述人臉特征模型的連續(xù)自適應(yīng)的均值偏移Cam shift算法跟蹤人臉區(qū)域，確定人臉區(qū)域位置；
[0093]第四確定單元332，用于使用所述Cam shift算法分別跟蹤頭發(fā)區(qū)域和衣肩區(qū)域，確定人臉外區(qū)域位置。
[0094]進(jìn)一步的，如圖4所示，所述裝置還可以包括:
[0095]結(jié)果處理模塊35，用于對所述最終的人臉位置的跟蹤結(jié)果做平滑處理，根據(jù)多幀圖像的人臉位置加權(quán)得到最佳人臉位置。[0096]與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例通過在膚色模型的基礎(chǔ)上，獲取眼睛區(qū)域和嘴唇區(qū)域的顏色直方圖，并通過離線訓(xùn)練的方法得到頭發(fā)區(qū)域和衣肩區(qū)域，并通過將頭發(fā)區(qū)域的顏色直方圖、眼睛區(qū)域和嘴唇區(qū)域的顏色直方圖和原本的膚色直方圖加權(quán)結(jié)合起來，獲得一個綜合的人臉特征模型以及綜合的顏色直方圖，通過將綜合的人臉特征模型加入到Cam shift算法中，更加精確的對人臉進(jìn)行跟蹤，可以大大降低與膚色相近的背景顏色對人臉跟蹤的干擾，并且在人臉發(fā)生表情變化、姿態(tài)變化以及被遮擋的情況下不會中斷對人臉的跟蹤，增強(qiáng)了人臉跟蹤的魯棒性，另外通過頭發(fā)區(qū)域和衣肩區(qū)域?qū)θ四樀奈恢米鬟M(jìn)一步約束和限制，提高了人臉跟蹤的準(zhǔn)確性。
[0097]實(shí)施例四
[0098]本實(shí)施例提供一種人臉跟蹤裝置，如圖5所示，所述裝置包括:
[0099]接收器41，用于接收人臉圖像信號；
[0100]第一處理器42，用于根據(jù)接收器41接收的人臉圖像信號，初始化人臉跟蹤區(qū)域，確定人臉區(qū)域和人臉外區(qū)域；
[0101]第二處理器43，用于根據(jù)第一處理器42確定的人臉區(qū)域和人臉外區(qū)域獲得人臉特征模型；
[0102]第三處理器44，用于使用第二處理器43獲得的人臉特征模型以及第一處理器42確定的人臉區(qū)域和人臉外區(qū)域?qū)邮掌?1接收的下一幀圖像進(jìn)行人臉跟蹤，確定人臉區(qū)域位置和人臉外區(qū)域位置；
[0103]第四處理器45，用于根據(jù)第三處理器44確定的人臉區(qū)域位置和人臉外區(qū)域位置確定人臉位置。
[0104]進(jìn)一步的，還包括:第五處理器46，用于對第四處理器獲得的近幾幀圖像的人臉位置進(jìn)行平滑性處理，得到最佳的人臉位置。
[0105]與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例通過在膚色模型的基礎(chǔ)上，獲取眼睛區(qū)域和嘴唇區(qū)域的顏色直方圖，并通過離線訓(xùn)練的方法得到頭發(fā)區(qū)域和衣肩區(qū)域，并通過將頭發(fā)區(qū)域的顏色直方圖、眼睛區(qū)域和嘴唇區(qū)域的顏色直方圖和原本的膚色直方圖加權(quán)結(jié)合起來，獲得一個綜合的人臉特征模型以及綜合的顏色直方圖，通過將綜合的人臉特征模型加入到Cam shift算法中，更加精確的對人臉進(jìn)行跟蹤，可以大大降低與膚色相近的背景顏色對人臉跟蹤的干擾，并且在人臉發(fā)生表情變化、姿態(tài)變化以及被遮擋的情況下不會中斷對人臉的跟蹤，增強(qiáng)了人臉跟蹤的魯棒性，另外通過頭發(fā)區(qū)域和衣肩區(qū)域?qū)θ四樀奈恢米鬟M(jìn)一步約束和限制，提高了人臉跟蹤的準(zhǔn)確性。
[0106]本發(fā)明實(shí)施例提供的人臉跟蹤裝置可以實(shí)現(xiàn)上述提供的方法實(shí)施例，具體功能實(shí)現(xiàn)請參見方法實(shí)施例中的說明，在此不再贅述。本發(fā)明實(shí)施例提供的人臉跟蹤方法及裝置可以適用于處理動態(tài)人臉信息，但不僅限于此。
[0107]本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過計(jì)算機(jī)程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一計(jì)算機(jī)可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory, ROM)或隨機(jī)存儲記憶體(Random AccessMemory, RAM)等。
[0108]以上所述，僅為本發(fā)明的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【權(quán)利要求】
1.一種人臉跟蹤方法，其特征在于，包括:
確定人臉區(qū)域和人臉外區(qū)域； 根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得人臉特征模型； 在下一幀圖像中，根據(jù)所述人臉區(qū)域、人臉外區(qū)域和人臉特征模型確定人臉區(qū)域位置和人臉外區(qū)域位置； 根據(jù)人臉區(qū)域位置和人臉外區(qū)域位置，確定人臉位置。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述人臉區(qū)域包括:膚色區(qū)域、眼睛區(qū)域和嘴唇區(qū)域；所述人臉外區(qū)域包括:頭發(fā)區(qū)域和衣肩區(qū)域。
3.根據(jù)權(quán)利要求1，其特征在于，所述確定人臉區(qū)域包括: 根據(jù)初始化人臉跟蹤區(qū)域的初始化結(jié)果，得到人臉區(qū)域。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定人臉外區(qū)域包括: 統(tǒng)計(jì)所述頭發(fā)區(qū)域的先驗(yàn)，得到所述頭發(fā)區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為頭發(fā)區(qū)域； 統(tǒng)計(jì)所述衣肩區(qū)域的先驗(yàn)，得到所述衣肩區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為衣肩區(qū)域； 將所述頭發(fā)區(qū)域和所述衣肩區(qū)域一起作為人臉外區(qū)域。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得人臉特征模型包括: 根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得的膚色模型和非膚色模型，對所述膚色模型和所述非膚色模型進(jìn)行加權(quán)平均獲得人臉特征模型，其中所述膚色模型由所述膚色區(qū)域得到，所述非膚色模型由所述眼睛區(qū)域、嘴唇區(qū)域和所述頭發(fā)區(qū)域得到。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述獲得膚色模型包括: 統(tǒng)計(jì)人臉區(qū)域的色度、飽和度和亮度三個分量的顏色直方圖，將所述顏色直方圖作為膚色模型。
7.根據(jù)權(quán)利要求5或6所述的方法，其特征在于，所述獲得人臉內(nèi)非膚色模型包括: 將所述膚色模型中的膚色區(qū)域剪除，剩余部分的顏色直方圖再加上所述頭發(fā)區(qū)域的顏色直方圖作為人臉內(nèi)非膚色模型。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述人臉區(qū)域、人臉外區(qū)域和人臉特征模型確定人臉區(qū)域位置和人臉外區(qū)域位置包括: 使用加入了所述人臉特征模型的連續(xù)自適應(yīng)的均值偏移Cam shift算法跟蹤人臉區(qū)域，確定人臉區(qū)域位置； 使用所述Cam shift算法分別跟蹤頭發(fā)區(qū)域和衣肩區(qū)域，確定人臉外區(qū)域位置。
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)人臉區(qū)域位置和人臉外區(qū)域位置，確定人臉位置之后，還包括: 對所述最終的人臉位置的跟蹤結(jié)果做平滑處理，根據(jù)多幀圖像的人臉位置加權(quán)得到最佳人臉位置。
10.一種人臉跟蹤裝置，其特征在于，包括: 第一確定模塊，用于初始化人臉跟蹤區(qū)域，確定人臉區(qū)域和人臉外區(qū)域； 模型獲取模塊，用于根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得人臉特征模型；第二確定模塊，用于在下一幀圖像中，根據(jù)所述人臉區(qū)域、人臉外區(qū)域和人臉特征模型確定人臉區(qū)域位置和人臉外區(qū)域位置； 第三確定模塊，用于根據(jù)人臉區(qū)域位置和人臉外區(qū)域位置，確定人臉位置。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述人臉區(qū)域包括:膚色區(qū)域、眼睛區(qū)域和嘴唇區(qū)域；所述人臉外區(qū)域包括:頭發(fā)區(qū)域和衣肩區(qū)域。
12.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述第一確定模塊包括: 第一確定單元，用于根據(jù)初始化人臉跟蹤區(qū)域的初始化結(jié)果，得到人臉區(qū)域。
13.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述第一確定模塊還包括: 第一統(tǒng)計(jì)單元，用于統(tǒng)計(jì)所述頭發(fā)區(qū)域的先驗(yàn)，得到所述頭發(fā)區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為頭發(fā)區(qū)域； 第二統(tǒng)計(jì)單元，用于統(tǒng)計(jì)所述衣肩區(qū)域的先驗(yàn)，得到所述衣肩區(qū)域的先驗(yàn)概率，選取概率較大的區(qū)域作為衣肩區(qū)域； 第二確定單元，用于將所述頭發(fā)區(qū)域和所述衣肩區(qū)域一起作為人臉外區(qū)域。
14.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述模型獲取模塊具體用于:根據(jù)所述人臉區(qū)域和所述人臉外區(qū)域獲得的膚色模型和非膚色模型，對所述膚色模型和所述非膚色模型進(jìn)行加權(quán)平均獲得人臉特征模型，其中所述膚色模型由所述膚色區(qū)域得到，所述非膚色模型由所述眼睛區(qū)域、嘴唇區(qū)域和所述頭發(fā)區(qū)域得到。
15.根據(jù)權(quán)利要求14所述的裝置，其特征在于，所述模型獲取模塊包括: 第一模型獲取單元，用于統(tǒng)計(jì)人臉區(qū)域的色度、飽和度和亮度三個分量的顏色直方圖，將所述顏色直方圖作為膚色模型。
16.根據(jù)權(quán)利要求14或15所述的裝置，其特征在于，所述模型獲取模塊還包括: 第二模型獲取單元，用于將所述膚色模型中的膚色區(qū)域剪除，剩余部分的顏色直方圖再加上所述頭發(fā)區(qū)域的顏色直方圖作為人臉內(nèi)非膚色模型。
17.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述第二確定模塊包括: 第三確定單元，用于使用加入了所述人臉特征模型的連續(xù)自適應(yīng)的均值偏移Camshift算法跟蹤人臉區(qū)域，確定人臉區(qū)域位置； 第四確定單元，用于使用所述Cam shift算法分別跟蹤頭發(fā)區(qū)域和衣肩區(qū)域，確定人臉外區(qū)域位置。
18.根據(jù)權(quán)利要求10所述的裝置，其特征在于，還包括: 結(jié)果處理模塊，用于對所述最終的人臉位置的跟蹤結(jié)果做平滑處理，根據(jù)多幀圖像的人臉位置加權(quán)得到最佳人臉位置。
【文檔編號】G06K9/46GK103632126SQ201210296738
【公開日】2014年3月12日 申請日期:2012年8月20日 優(yōu)先權(quán)日:2012年8月20日
【發(fā)明者】張 杰, 熊劍平, 黃一寧 申請人:華為技術(shù)有限公司