亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

人臉跟蹤方法及裝置與流程

文檔序號:12365456閱讀:1023來源:國知局
人臉跟蹤方法及裝置與流程

本公開涉及圖像識別領(lǐng)域,尤其涉及一種人臉跟蹤方法及裝置。



背景技術(shù):

隨著技術(shù)的發(fā)展,人臉跟蹤技術(shù)的應(yīng)用范圍越來越廣。其中,人臉跟蹤技術(shù)指的是在視頻數(shù)據(jù)中對每一個(gè)人臉的人臉關(guān)鍵點(diǎn)進(jìn)行跟蹤,對人臉的人臉關(guān)鍵點(diǎn)進(jìn)行跟蹤可以方便后續(xù)對視頻數(shù)據(jù)包括的視頻幀圖像的處理,比如,表情分析、駕駛員疲勞駕駛檢測、智能美顏等。

相關(guān)技術(shù)中,主要通過判別模型進(jìn)行人臉關(guān)鍵點(diǎn)的定位,也即是,人臉跟蹤。典型的判別模型為SDM(Supervised Descent Method,有監(jiān)督的梯度下降方法)模型。首先,從存儲的多張訓(xùn)練圖像中,獲取多個(gè)人臉關(guān)鍵點(diǎn)中每個(gè)人臉關(guān)鍵點(diǎn)的平均位置,將獲取的每個(gè)人臉關(guān)鍵點(diǎn)的平均位置確定為視頻幀圖像中每個(gè)人臉關(guān)鍵點(diǎn)的初始位置X0,每個(gè)人臉關(guān)鍵點(diǎn)的初始位置X0為每個(gè)人臉關(guān)鍵點(diǎn)在該視頻幀圖像中的坐標(biāo)位置,通過SDM模型獲取每個(gè)人臉關(guān)鍵點(diǎn)的初始位置X0處的HOG(Histogram OfOriented Gradient,方向梯度直方圖)特征,并根據(jù)每個(gè)人臉關(guān)鍵點(diǎn)的初始位置X0處的HOG特征確定特征向量Y0,并通過特征向量Y0和指定函數(shù),計(jì)算從每個(gè)人臉關(guān)鍵點(diǎn)的初始位置X0到跟蹤位置的位移量△X0,然后將每個(gè)人臉關(guān)鍵點(diǎn)的初始位置X0和位移量△X0相加,得到迭代結(jié)果,這樣就完成了一次迭代更新。之后,通過相同的方式重復(fù)進(jìn)行迭代,直到所得的迭代結(jié)果為一個(gè)固定值,或者所得的迭代結(jié)果的變化開始變小時(shí),將所得的迭代結(jié)果確定為該視頻幀圖像中每個(gè)人臉關(guān)鍵點(diǎn)的跟蹤位置。



技術(shù)實(shí)現(xiàn)要素:

為克服相關(guān)技術(shù)中存在的問題,本公開提供一種人臉跟蹤方法及裝置。

根據(jù)本公開實(shí)施例的第一方面,提供一種人臉跟蹤方法,所述方法包括:

獲取視頻數(shù)據(jù)中包含人臉圖像的當(dāng)前幀圖像;

當(dāng)所述當(dāng)前幀圖像不為第一幀圖像時(shí),對所述視頻數(shù)據(jù)中與所述當(dāng)前幀圖像相鄰的上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,所述第一幀圖像為所述視頻數(shù)據(jù)中第一次出現(xiàn)人臉圖像的視頻幀圖像;

當(dāng)所述上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確時(shí),基于所述上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置和第一指定判別模型,確定所述當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置;

當(dāng)所述上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為不正確時(shí),對所述當(dāng)前幀圖像進(jìn)行人臉檢測,得到所述當(dāng)前幀圖像中的人臉位置;

基于多個(gè)指定關(guān)鍵點(diǎn)位置和第二指定判別模型,確定所述當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,以實(shí)現(xiàn)對所述視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤。

可選地,所述方法還包括:

獲取多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,所述每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為對所述每張訓(xùn)練圖像中的多個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行標(biāo)注所確定的位置;

以所述多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為中心進(jìn)行高斯采樣,得到所述多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置;

基于所述多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置和標(biāo)注位置,對判別模型進(jìn)行訓(xùn)練,得到所述第一指定判別模型。

需要說明的是,由于終端通過大量訓(xùn)練圖像進(jìn)行模型訓(xùn)練,因此,提高了模型訓(xùn)練的效果,同時(shí),在終端通過模型訓(xùn)練得到第一判別模型后,當(dāng)該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確時(shí),終端可以基于上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置和該第一指定判別模型,確定當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,從而實(shí)現(xiàn)對視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤,并且使進(jìn)行人臉跟蹤的操作具有針對性。

可選地,所述方法還包括:

獲取多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,所述每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為對所述每張訓(xùn)練圖像中的多個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行標(biāo)注所確定的位置;

對于所述多張訓(xùn)練圖像中每張訓(xùn)練圖像,基于所述訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,確定所述訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置;

基于所述多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置和標(biāo)注位置,對判別模型進(jìn)行訓(xùn)練,得到所述第二指定判別模型。

需要說明的是,終端通過模型訓(xùn)練得到第二判別模型,從而當(dāng)該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為不正確時(shí),終端可以基于多個(gè)指定關(guān)鍵點(diǎn)位置和第二指定判別模型,確定當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,從而實(shí)現(xiàn)對視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤,并且使進(jìn)行人臉跟蹤的操作具有針對性。

可選地,所述對所述視頻數(shù)據(jù)中與所述當(dāng)前幀圖像相鄰的上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,包括:

提取所述上一幀圖像中的每個(gè)人臉關(guān)鍵點(diǎn)的方向梯度梯直方圖HOG特征;

將所述每個(gè)人臉關(guān)鍵點(diǎn)的HOG特征串聯(lián)成特征向量;

通過指定分類器對所述特征向量進(jìn)行分類,得到分類結(jié)果;

當(dāng)所述分類結(jié)果為第一數(shù)值時(shí),確定所述上一幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確;

當(dāng)所述分類結(jié)果為第二數(shù)值時(shí),確定所述上一幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置評估不為正確。

需要說明的是,終端通過對上一幀圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,從而可以選擇確定當(dāng)前幀圖像包括的人臉關(guān)鍵點(diǎn)的位置的方法,使人臉跟蹤具有針對性,從而提高了人臉跟蹤的效率。

可選地,所述方法還包括:

對所述特征向量進(jìn)行降維;

相應(yīng)地,所述通過指定分類器對所述特征向量進(jìn)行分類,得到分類結(jié)果,包括:

通過所述指定分類器對降維后的所述特征向量進(jìn)行分類,得到所述分類結(jié)果。

需要說明的是,當(dāng)終端對該特征向量進(jìn)行降維后,降維后的特征向量中僅包括該特長向量的主要成分,因此,終端通過指定分類器對降維后的特征向量進(jìn)行分類,可以降低計(jì)算復(fù)雜度,提高分類速度,進(jìn)而提高了分類的效率。

根據(jù)本公開實(shí)施例的第二方面,提供一種人臉跟蹤裝置,所述裝置包括:

第一獲取模塊,用于獲取視頻數(shù)據(jù)中包含人臉圖像的當(dāng)前幀圖像;

評估模塊,用于當(dāng)所述當(dāng)前幀圖像不為第一幀圖像時(shí),對所述視頻數(shù)據(jù)中與所述當(dāng)前幀圖像相鄰的上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,所述第一幀圖像為所述視頻數(shù)據(jù)中第一次出現(xiàn)人臉圖像的視頻幀圖像;

第一確定模塊,用于當(dāng)所述上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確時(shí),基于所述上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置和第一指定判別模型,確定所述當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置;

人臉檢測模塊,用于當(dāng)所述上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為不正確時(shí),對所述當(dāng)前幀圖像進(jìn)行人臉檢測,得到所述當(dāng)前幀圖像中的人臉位置;

第二確定模塊,用于基于多個(gè)指定關(guān)鍵點(diǎn)位置和第二指定判別模型,確定所述當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,以實(shí)現(xiàn)對所述視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤。

可選地,所述裝置還包括:

第二獲取模塊,用于獲取多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,所述每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為對所述每張訓(xùn)練圖像中的多個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行標(biāo)注所確定的位置;

采樣模塊,用于以所述多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為中心進(jìn)行高斯采樣,得到所述多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置;

第一訓(xùn)練模塊,用于基于所述多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置和標(biāo)注位置,對判別模型進(jìn)行訓(xùn)練,得到所述第一指定判別模型。

可選地,所述裝置還包括:

第三獲取模塊,用于獲取多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,所述每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為對所述每張訓(xùn)練圖像中的多個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行標(biāo)注所確定的位置;

第三確定模塊,用于對于所述多張訓(xùn)練圖像中每張訓(xùn)練圖像,基于所述訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,確定所述訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置;

第二訓(xùn)練模塊,用于基于所述多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置和標(biāo)注位置,對判別模型進(jìn)行訓(xùn)練,得到所述第二指定判別模型。

可選地,所述評估模塊包括:

提取單元,用于提取所述上一幀圖像中的每個(gè)人臉關(guān)鍵點(diǎn)的方向梯度梯直方圖HOG特征;

串聯(lián)單元,用于將所述每個(gè)人臉關(guān)鍵點(diǎn)的HOG特征串聯(lián)成特征向量;

分類單元,用于通過指定分類器對所述特征向量進(jìn)行分類,得到分類結(jié)果;

第一確定單元,用于當(dāng)所述分類結(jié)果為第一數(shù)值時(shí),確定所述上一幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確;

第二確定單元,用于當(dāng)所述分類結(jié)果為第二數(shù)值時(shí),確定所述上一幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置評估不為正確。

可選地,所述評估模塊還包括:

降維單元,用于對所述特征向量進(jìn)行降維;

相應(yīng)地,所述分類單元包括:

分類子單元,通過所述指定分類器對降維后的所述特征向量進(jìn)行分類,得到所述分類結(jié)果。

根據(jù)本公開實(shí)施例的第三方面,提供一種人臉跟蹤裝置,所述裝置包括:

處理器;

用于存儲處理器可執(zhí)行指令的存儲器;

其中,所述處理器被配置為:

獲取視頻數(shù)據(jù)中包含人臉圖像的當(dāng)前幀圖像;

當(dāng)所述當(dāng)前幀圖像不為第一幀圖像時(shí),對所述視頻數(shù)據(jù)中與所述當(dāng)前幀圖像相鄰的上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,所述第一幀圖像為所述視頻數(shù)據(jù)中第一次出現(xiàn)人臉圖像的視頻幀圖像;

當(dāng)所述上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確時(shí),基于所述上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置和第一指定判別模型,確定所述當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置;

當(dāng)所述上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為不正確時(shí),對所述當(dāng)前幀圖像進(jìn)行人臉檢測,得到所述當(dāng)前幀圖像中的人臉位置;

基于多個(gè)指定關(guān)鍵點(diǎn)位置和第二指定判別模型,確定所述當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,以實(shí)現(xiàn)對所述視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果:在本公開實(shí)施例中,當(dāng)終端從視頻數(shù)據(jù)中獲取的當(dāng)前幀圖像不為第一幀圖像時(shí),可以對上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,并當(dāng)評估結(jié)果為正確時(shí),通過該上一幀圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的位置和第一指定模型,確定當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置;當(dāng)評估結(jié)果為不正確時(shí),可以對當(dāng)前幀圖像進(jìn)行人臉檢測,并通過該指定關(guān)鍵點(diǎn)位置和第二指定模型,確定當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,從而實(shí)現(xiàn)對該視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤。由于通過該第一指定模型和第二指定模型確定人臉關(guān)鍵點(diǎn)位置的條件不同,從而可以使該第一指定模型和第二指定模型在不同的條件下進(jìn)行相互配合,減少了終端進(jìn)行人臉跟蹤時(shí)計(jì)算量,提高了人臉跟蹤的速度,從而提高了人臉跟蹤效果。

應(yīng)當(dāng)理解的是,以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的,并不能限制本公開。

附圖說明

此處的附圖被并入說明書中并構(gòu)成本說明書的一部分,示出了符合本發(fā)明的實(shí)施例,并與說明書一起用于解釋本發(fā)明的原理。

圖1是根據(jù)一示例性實(shí)施例示出的一種人臉跟蹤方法的流程圖。

圖2A是根據(jù)一示例性實(shí)施例示出的另一種人臉跟蹤方法的流程圖。

圖2B是根據(jù)一示例性實(shí)施例示出的一種人臉關(guān)鍵點(diǎn)的示意圖。

圖3A是根據(jù)一示例性實(shí)施例示出的第一種人臉跟蹤裝置的結(jié)構(gòu)框圖。

圖3B是根據(jù)一示例性實(shí)施例示出的第二種人臉跟蹤裝置的結(jié)構(gòu)框圖。

圖3C是根據(jù)一示例性實(shí)施例示出的第三種人臉跟蹤裝置的結(jié)構(gòu)框圖。

圖3D是根據(jù)一示例性實(shí)施例示出的一種評估模塊的結(jié)構(gòu)框圖。

圖4是根據(jù)一示例性實(shí)施例示出的第四種人臉跟蹤裝置的結(jié)構(gòu)框圖。

具體實(shí)施方式

這里將詳細(xì)地對示例性實(shí)施例進(jìn)行說明,其示例表示在附圖中。下面的描述涉及附圖時(shí),除非另有表示,不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本發(fā)明相一致的所有實(shí)施方式。相反,它們僅是與如所附權(quán)利要求書中所詳述的、本發(fā)明的一些方面相一致的裝置和方法的例子。

在對本公開實(shí)施例進(jìn)行詳細(xì)地解釋說明之前,先對本公開實(shí)施例的應(yīng)用場景予以介紹。隨著技術(shù)的發(fā)展,人臉跟蹤技術(shù)的應(yīng)用范圍越來越廣泛。相關(guān)技術(shù)中,主要通過SDM模型來確定視頻數(shù)據(jù)中人臉關(guān)鍵點(diǎn)的位置以實(shí)現(xiàn)對人臉的跟蹤。但是,由于在通過SDM模型進(jìn)行人臉跟蹤時(shí),需要進(jìn)行大量計(jì)算,從而造成人臉跟蹤過程繁瑣,人臉跟蹤效果不佳。因此,本公開實(shí)施例提供了一種人臉跟蹤方法,從而減少了人臉跟蹤過程中的計(jì)算量,簡化了人臉跟蹤的過程,從而提高了人臉跟蹤的效果。

圖1是根據(jù)一示例性實(shí)施例示出的一種人臉跟蹤方法的流程圖,如圖1所示,該方法用于終端中,包括以下步驟。

在步驟101中,獲取視頻數(shù)據(jù)中包含人臉圖像的當(dāng)前幀圖像。

在步驟102中,當(dāng)該當(dāng)前幀圖像不為第一幀圖像時(shí),對該視頻數(shù)據(jù)中與該當(dāng)前幀圖像相鄰的上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,該第一幀圖像為該視頻數(shù)據(jù)中第一次出現(xiàn)人臉圖像的視頻幀圖像。

在步驟103中,當(dāng)該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確時(shí),基于該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置和第一指定判別模型,確定該當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置。

在步驟104中,當(dāng)該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為不正確時(shí),對該當(dāng)前幀圖像進(jìn)行人臉檢測,得到該當(dāng)前幀圖像中的人臉位置。

在步驟105中,基于多個(gè)指定關(guān)鍵點(diǎn)位置和第二指定判別模型,確定該當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,以實(shí)現(xiàn)對該視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤。

在本公開實(shí)施例中,當(dāng)終端從視頻數(shù)據(jù)中獲取的當(dāng)前幀圖像不為第一幀圖像時(shí),可以對上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,并當(dāng)評估結(jié)果為正確時(shí),通過該上一幀圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的位置和第一指定模型,確定當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置;當(dāng)評估結(jié)果為不正確時(shí),可以對當(dāng)前幀圖像進(jìn)行人臉檢測,并通過該指定關(guān)鍵點(diǎn)位置和第二指定模型,確定當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,從而實(shí)現(xiàn)對該視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤。由于通過該第一指定模型和第二指定模型確定人臉關(guān)鍵點(diǎn)位置的條件不同,從而可以使該第一指定模型和第二指定模型在不同的條件下進(jìn)行相互配合,減少了終端進(jìn)行人臉跟蹤時(shí)計(jì)算量,提高了人臉跟蹤的速度,從而提高了人臉跟蹤效果。

可選地,該方法還包括:

獲取多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,該每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為對該每張訓(xùn)練圖像中的多個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行標(biāo)注所確定的位置;

以該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為中心進(jìn)行高斯采樣,得到該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置;

基于該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置和標(biāo)注位置,對判別模型進(jìn)行訓(xùn)練,得到該第一指定判別模型。

可選地,該方法還包括:

獲取多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,該每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為對該每張訓(xùn)練圖像中的多個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行標(biāo)注所確定的位置;

對于該多張訓(xùn)練圖像中每張訓(xùn)練圖像,基于該訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,確定該訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置;

基于該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置和標(biāo)注位置,對判別模型進(jìn)行訓(xùn)練,得到該第二指定判別模型。

可選地,對該視頻數(shù)據(jù)中與該當(dāng)前幀圖像相鄰的上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,包括:

提取該上一幀圖像中的每個(gè)人臉關(guān)鍵點(diǎn)的方向梯度梯直方圖HOG特征;

將該每個(gè)人臉關(guān)鍵點(diǎn)的HOG特征串聯(lián)成特征向量;

通過指定分類器對該特征向量進(jìn)行分類,得到分類結(jié)果;

當(dāng)該分類結(jié)果為第一數(shù)值時(shí),確定該上一幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確;

當(dāng)該分類結(jié)果為第二數(shù)值時(shí),確定該上一幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置評估不為正確。

可選地,該方法還包括:

對該特征向量進(jìn)行降維;

相應(yīng)地,通過指定分類器對該特征向量進(jìn)行分類,得到分類結(jié)果,包括:

通過該指定分類器對降維后的該特征向量進(jìn)行分類,得到該分類結(jié)果。

上述所有可選技術(shù)方案,均可按照任意結(jié)合形成本公開的可選實(shí)施例,本發(fā)明實(shí)施例對此不再一一贅述。

圖2A是根據(jù)示例性實(shí)施例示出的一種人臉跟蹤方法的流程圖,參見圖2A,該方法包括如下步驟。

在步驟201中,終端獲取視頻數(shù)據(jù)中包含人臉圖像的當(dāng)前幀圖像。

其中,當(dāng)前幀圖像是指終端當(dāng)前從視頻數(shù)據(jù)中進(jìn)行人臉跟蹤的圖像,且該當(dāng)前幀圖像可以為視頻數(shù)據(jù)中的任一幀圖像,本公開實(shí)施例對此不做具體限定。

需要說明的是,該視頻數(shù)據(jù)可以為任一視頻數(shù)據(jù),比如,該視頻數(shù)據(jù)可以為電子警察拍攝到的視頻數(shù)據(jù)等,本公開實(shí)施例對此不做具體限定。

還需要說明的是,終端獲取視頻數(shù)據(jù)中包含人臉圖像的當(dāng)前幀圖像的操作可以參考相關(guān)技術(shù),本公開實(shí)施例對此不做具體限定。

在步驟202中,當(dāng)該當(dāng)前幀圖像不為第一幀圖像時(shí),終端對該視頻數(shù)據(jù)中與該當(dāng)前幀圖像相鄰的上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,該第一幀圖像為該視頻數(shù)據(jù)中第一次出現(xiàn)人臉圖像的視頻幀圖像。

其中,終端對該視頻數(shù)據(jù)中與該當(dāng)前幀圖像相鄰的上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估的操作可以為:提取該上一幀圖像中的每個(gè)人臉關(guān)鍵點(diǎn)的HOG特征;將每個(gè)人臉關(guān)鍵點(diǎn)的HOG特征串聯(lián)成特征向量;通過指定分類器對該特征向量進(jìn)行分類,得到分類結(jié)果;當(dāng)該分類結(jié)果為第一數(shù)值時(shí),確定該上一幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確;當(dāng)該分類結(jié)果為第二數(shù)值時(shí),確定該上一幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置評估不為正確。

需要說明的是,上一幀圖像是指視頻數(shù)據(jù)中與當(dāng)前幀圖像相鄰,且位于當(dāng)前幀圖像之前的圖像。

另外,由于終端在進(jìn)行人臉跟蹤時(shí),可以對視頻數(shù)據(jù)中包括人臉圖像的每一幀圖像進(jìn)行人臉跟蹤,并獲取該每一幀圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的位置。因此,當(dāng)該終端對當(dāng)前幀圖像進(jìn)行人臉跟蹤時(shí),該終端可以從已進(jìn)行了人臉跟蹤的圖像中,獲取與當(dāng)前幀圖像相鄰的上一幀圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的位置。

還需要說明的是,該多個(gè)人臉關(guān)鍵點(diǎn)可以是指表示人臉五官的點(diǎn)。比如,如圖2B所示的人臉關(guān)鍵點(diǎn)示意圖,該多個(gè)人臉關(guān)鍵點(diǎn)可以為表示人臉的眼睛、嘴巴、鼻子、眉毛、臉部輪廓等的點(diǎn),本公開實(shí)施例對此不做具體限定。

另外,在本公開實(shí)施例中,該多個(gè)人臉關(guān)鍵點(diǎn)的數(shù)量可以為95個(gè),當(dāng)然在實(shí)際應(yīng)用中,該多個(gè)人臉關(guān)鍵點(diǎn)的數(shù)量也可以為其他個(gè)數(shù),本公開實(shí)施例對此不做具體限定。

還需要說明的是,指定分類器用于對特征向量進(jìn)行分類,且該指定分類器可以為任意一個(gè)具有分類功能的分類器,比如,SVM(Support Vector Machine,支持向量機(jī))等,本公開實(shí)施例對此不做具體限定。

另外,終端提取該上一幀圖像中的每個(gè)人臉關(guān)鍵點(diǎn)的HOG特征的操作可以參考相關(guān)技術(shù),本公開實(shí)施例對此不再進(jìn)行一一贅述。

再者,終端將每個(gè)人臉關(guān)鍵點(diǎn)的HOG特征串聯(lián)成特征向量的操作同樣可以參考相關(guān)技術(shù),本公開實(shí)施例對此同樣不再進(jìn)行一一贅述。

還需要說明的是,在本公開實(shí)施例中,第一數(shù)值和第二數(shù)值為兩個(gè)不相同的數(shù)值。

其中,第一數(shù)值用于表示該指定分類器對該特征向量的分類結(jié)果為正確,且該第一數(shù)值可以事先設(shè)置,比如,該第一數(shù)值可以為1、0等,本公開實(shí)施例對此不做具體限定。

同理,第二數(shù)值用于表示該指定分類器對該特征向量的分類結(jié)果為不正確,且該第二數(shù)值同樣可以事先設(shè)置,比如,該第二數(shù)值可以為0、1等,本公開實(shí)施例對此不做具體限定。

其中,由于該第一數(shù)值和第二數(shù)值為兩個(gè)不相同的數(shù)值,因此,當(dāng)該第一數(shù)值為1時(shí),第二數(shù)值為0;當(dāng)該第一數(shù)值為0時(shí),該第二數(shù)值為1。

進(jìn)一步地,終端將該每個(gè)人臉關(guān)鍵點(diǎn)的HOG特征串聯(lián)成特征向量之后,還可以對該特征向量進(jìn)行降維;相應(yīng)地,該終端通過指定分類器對該特征向量進(jìn)行分類,得到分類結(jié)果的操作可以為:通過該指定分類器對降維后的特征向量進(jìn)行分類,得到該分類結(jié)果。

其中,終端可以通過PCA(Principal ComponentAnalysis,主成分分析)算法對該特征向量進(jìn)行降維,也可以通過其他方式對該特征向量進(jìn)行將降維,本公開實(shí)施例對此不做具體限定。

需要說明的是,終端通過PCA算法對該特征向量進(jìn)行降維的操作可以參考相關(guān)技術(shù),本公開實(shí)施例對此不再進(jìn)行一一贅述。

還需要說明的是,當(dāng)終端對該特征向量進(jìn)行降維后,降維后的特征向量中僅包括該特長向量的主要成分,因此,終端通過指定分類器對降維后的特征向量進(jìn)行分類,可以降低計(jì)算復(fù)雜度,提高分類速度,進(jìn)而提高了分類的效率。

另外,終端通過對上一幀圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,從而可以選擇確定當(dāng)前幀圖像包括的人臉關(guān)鍵點(diǎn)的位置的方法,使人臉跟蹤具有針對性,從而提高了人臉跟蹤的效率。

在步驟203中,當(dāng)該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確時(shí),終端基于該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置和第一指定判別模型,確定該當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置。

其中,終端基于該上一幀圖像中的多個(gè)人臉關(guān)鍵的位置和第一指定判別模型,確定該當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置的操作可以為:終端將該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置中的每個(gè)人臉關(guān)鍵點(diǎn)的位置代入到該第一指定判別模型中進(jìn)行計(jì)算,將得到的結(jié)果確定為當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置。

需要說明的是,第一指定判別模型為事先進(jìn)行模型訓(xùn)練得到的模型,且該第一指定判別模型用于當(dāng)上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確時(shí),對當(dāng)前幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行計(jì)算。

其中,終端進(jìn)行模型訓(xùn)練得到第一判別模型的操作可以為:獲取多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,該每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為對該每張訓(xùn)練圖像中的多個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行標(biāo)注所確定的位置;以該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為中心進(jìn)行高斯采樣,得到該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置;基于該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置和標(biāo)注位置,對判別模型進(jìn)行訓(xùn)練,得到該第一指定判別模型。

需要說明的是,訓(xùn)練圖像為用于進(jìn)行模型訓(xùn)練的圖像,該訓(xùn)練圖像可以為任意一張具有人臉圖像的圖像,且該訓(xùn)練圖像的數(shù)量可以為任一數(shù)量。而為了具有更好的訓(xùn)練效果,該訓(xùn)練圖像的數(shù)量越多越好,比如,該訓(xùn)練圖像的數(shù)量可以為10000張,本公開實(shí)施例對此不做具體限定。

還需要說明的是,終端以該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為中心進(jìn)行高斯采樣,得到該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置的操作可以參考相關(guān)技術(shù),本公開實(shí)施例對此不再進(jìn)行一一贅述。

其中,終端基于該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置和標(biāo)注位置,對判別模型進(jìn)行訓(xùn)練,得到該第一指定判別模型的操作可以參考相關(guān)技術(shù),本公開實(shí)施例對此不再進(jìn)行一一贅述。

在步驟204中,當(dāng)該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為不正確時(shí),對該當(dāng)前幀圖像進(jìn)行人臉檢測,得到該當(dāng)前幀圖像中的人臉位置。

其中,當(dāng)該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為不正確時(shí),終端可以通過人臉識別的方式對該當(dāng)前幀圖像進(jìn)行人臉檢測,得到該當(dāng)前幀圖像中的人臉位置。

需要說明的是,終端不僅可以通過人臉識別的方式對當(dāng)前幀圖像進(jìn)行人臉檢測,該終端還可以通過其他方式對該當(dāng)前幀圖像進(jìn)行人臉檢測,本公開實(shí)施例對此不做具體限定。

還需要說明的是,終端通過人臉識別的方式對該當(dāng)前幀圖像進(jìn)行人臉檢測,得到該當(dāng)前幀圖像中的人臉位置的操作可以參考相關(guān)技術(shù),本公開實(shí)施例對此不再進(jìn)行一一贅述。

在步驟205中,終端基于多個(gè)指定關(guān)鍵點(diǎn)位置和第二指定判別模型,確定該當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,以實(shí)現(xiàn)對該視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤。

其中,終端基于該多個(gè)指定關(guān)鍵點(diǎn)位置和第二指定判別模型,確定該當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置的操作可以為:終端將該多個(gè)指定關(guān)鍵點(diǎn)位置中的每個(gè)指定關(guān)鍵點(diǎn)位置代入到該第二指定判別模型中進(jìn)行計(jì)算,將得到的結(jié)果確定為當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置。

需要說明的是,第二指定判別模型為事先進(jìn)行模型訓(xùn)練得到的模型,且該第二指定判別模型用于當(dāng)上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為不正確時(shí),對當(dāng)前幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行計(jì)算。

其中,終端進(jìn)行模型訓(xùn)練得到第二判別模型的操作可以為:獲取多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,該每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為對該每張訓(xùn)練圖像中的多個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行標(biāo)注所確定的位置;對于該多張訓(xùn)練圖像中每張訓(xùn)練圖像,基于該訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,確定該訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置;基于該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置和標(biāo)注位置,對判別模型進(jìn)行訓(xùn)練,得到該第二指定判別模型。

需要說明的是,該多個(gè)指定關(guān)鍵點(diǎn)位置為事先設(shè)置的多個(gè)人臉關(guān)鍵點(diǎn)的位置,比如,該多個(gè)指定關(guān)鍵點(diǎn)位置為該訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置,當(dāng)然,該多個(gè)指定關(guān)鍵點(diǎn)位置也可以為其他位置,本公開實(shí)施例對此不做具體限定。

另外,對于該多張訓(xùn)練圖像中每張訓(xùn)練圖像,終端基于該訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,確定該訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置的操作可以為:對每張訓(xùn)練圖像中的多個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行編號,從多張訓(xùn)練圖像中獲取多個(gè)編號相同的人臉關(guān)鍵點(diǎn)的標(biāo)注位置,將獲取的多個(gè)編號相同的人臉關(guān)鍵點(diǎn)的標(biāo)注位置進(jìn)行相加,并用相加后得到的結(jié)果除以該多個(gè)訓(xùn)練圖像的數(shù)量,得到該訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置。

比如,當(dāng)訓(xùn)練圖像的數(shù)量為5張,終端對5中訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)從0開始編號到95,并從該5張訓(xùn)練圖像中獲取每張訓(xùn)練圖像中編號為0的人臉關(guān)鍵點(diǎn)的標(biāo)注位置分別為(10,15)、(9,10)、(10,10)、(11、15)和(10,10),將獲取的5個(gè)編號為0的人臉關(guān)鍵點(diǎn)的標(biāo)注位置進(jìn)行相加,得到(50,60),用相加得到后的結(jié)果(50,60)除以訓(xùn)練圖像的數(shù)量5,得到該訓(xùn)練圖像包括的編號為0的人臉關(guān)鍵點(diǎn)的平均位置為(10,12)。終端按照該訓(xùn)練圖像包括的編號為0的平均位置的操作,確定剩余編號為1到95的人臉關(guān)鍵點(diǎn)的平均位置,從而確定該訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置。

需要說明的是,在本公開實(shí)施例中所涉及到的數(shù)字均是為了說明本公開實(shí)施例而舉得例子,并不對本公開實(shí)施例構(gòu)成限定。

進(jìn)一步地,當(dāng)該終端獲取的當(dāng)前幀圖像為第一幀圖像時(shí),該終端可以對當(dāng)前幀圖像進(jìn)行人臉檢測,得到當(dāng)前幀圖像中的人臉位置;并基于多個(gè)指定關(guān)鍵點(diǎn)位置和第二指定判別模型,確定該當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置。

還需要說明的是,當(dāng)終端無法獲取到視頻數(shù)據(jù)中的幀圖像時(shí),終端將停止對人臉圖像的跟蹤。

在本公開實(shí)施例中,當(dāng)終端從視頻數(shù)據(jù)中獲取的當(dāng)前幀圖像不為第一幀圖像時(shí),可以對上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,并在評估結(jié)果為正確時(shí),通過該上一幀圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的位置和第一指定模型,確定當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置;當(dāng)評估結(jié)果為不正確時(shí),或者,終端從視頻數(shù)據(jù)中獲取的當(dāng)前幀圖像不為第一幀圖像時(shí),可以對當(dāng)前幀圖像進(jìn)行人臉檢測,并通過該多個(gè)指定關(guān)鍵點(diǎn)位置和第二指定模型,確定當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,從而實(shí)現(xiàn)對該視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤。由于訓(xùn)練得到的第一指定判別模型和第二指定判別模型的訓(xùn)練條件不同,因此,通過該第一指定模型和第二指定模型確定人臉關(guān)鍵點(diǎn)位置的條件不同,從而可以使該第一指定模型和第二指定模型在不同的條件下進(jìn)行相互配合,減少了終端進(jìn)行人臉跟蹤時(shí)的大量計(jì)算過程,提高了人臉跟蹤的速度,從而提高了人臉跟蹤效果。

圖3A是根據(jù)一示例性實(shí)施例示出的一種人臉跟蹤裝置的結(jié)構(gòu)框圖。參照圖3A,該裝置包括:第一獲取模塊301、評估模塊302、第一確定模塊303、人臉檢測模塊304和第二確定模塊305。

第一獲取模塊301,用于獲取視頻數(shù)據(jù)中包含人臉圖像的當(dāng)前幀圖像;

評估模塊302,用于當(dāng)該當(dāng)前幀圖像不為第一幀圖像時(shí),對該視頻數(shù)據(jù)中與該當(dāng)前幀圖像相鄰的上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,該第一幀圖像為該視頻數(shù)據(jù)中第一次出現(xiàn)人臉圖像的視頻幀圖像;

第一確定模塊303,用于當(dāng)該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確時(shí),基于該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置和第一指定判別模型,確定該當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置;

人臉檢測模塊304,用于當(dāng)該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為不正確時(shí),對該當(dāng)前幀圖像進(jìn)行人臉檢測,得到該當(dāng)前幀圖像中的人臉位置;

第二確定模塊305,用于基于多個(gè)指定關(guān)鍵點(diǎn)位置和第二指定判別模型,確定該當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,以實(shí)現(xiàn)對該視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤。

可選地,參見圖3B,該裝置還包括:

第二獲取模塊306,用于獲取多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,該每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為對該每張訓(xùn)練圖像中的多個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行標(biāo)注所確定的位置;

采樣模塊307,用于以該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為中心進(jìn)行高斯采樣,得到該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置;

第一訓(xùn)練模塊308,用于基于該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置和標(biāo)注位置,對判別模型進(jìn)行訓(xùn)練,得到該第一指定判別模型。

可選地,參見圖3C,該裝置還包括:

第三獲取模塊309,用于獲取多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,該每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為對該每張訓(xùn)練圖像中的多個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行標(biāo)注所確定的位置;

第三確定模塊310,用于對于該多張訓(xùn)練圖像中每張訓(xùn)練圖像,基于該訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,確定該訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置;

第二訓(xùn)練模塊311,用于基于該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置和標(biāo)注位置,對判別模型進(jìn)行訓(xùn)練,得到該第二指定判別模型。

可選地,參見圖3D,該評估模塊302包括:

提取單元3021,用于提取該上一幀圖像中的每個(gè)人臉關(guān)鍵點(diǎn)的方向梯度梯直方圖HOG特征;

串聯(lián)單元3022,用于將該每個(gè)人臉關(guān)鍵點(diǎn)的HOG特征串聯(lián)成特征向量;

分類單元3023,用于通過指定分類器對該特征向量進(jìn)行分類,得到分類結(jié)果;

第一確定單元3024,用于當(dāng)該分類結(jié)果為第一數(shù)值時(shí),確定該上一幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確;

第二確定單元3025,用于當(dāng)該分類結(jié)果為第二數(shù)值時(shí),確定該上一幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置評估不為正確。

可選地,該評估模塊302還包括:

降維單元,用于對該特征向量進(jìn)行降維;

相應(yīng)地,該分類單元3023包括:

分類子單元,通過該指定分類器對降維后的該特征向量進(jìn)行分類,得到該分類結(jié)果。

在本公開實(shí)施例中,當(dāng)終端從視頻數(shù)據(jù)中獲取的當(dāng)前幀圖像不為第一幀圖像時(shí),可以對上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,并在評估結(jié)果為正確時(shí),通過該上一幀圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的位置和第一指定模型,確定當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置;當(dāng)評估結(jié)果為不正確時(shí),或者,終端從視頻數(shù)據(jù)中獲取的當(dāng)前幀圖像不為第一幀圖像時(shí),可以對當(dāng)前幀圖像進(jìn)行人臉檢測,并通過該多個(gè)指定關(guān)鍵點(diǎn)位置和第二指定模型,確定當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,從而實(shí)現(xiàn)對該視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤。由于訓(xùn)練得到的第一指定判別模型和第二指定判別模型的訓(xùn)練條件不同,因此,通過該第一指定模型和第二指定模型確定人臉關(guān)鍵點(diǎn)位置的條件不同,從而可以使該第一指定模型和第二指定模型在不同的條件下進(jìn)行相互配合,減少了終端進(jìn)行人臉跟蹤時(shí)的大量計(jì)算過程,提高了人臉跟蹤的速度,從而提高了人臉跟蹤效果。

關(guān)于上述實(shí)施例中的裝置,其中各個(gè)模塊執(zhí)行操作的具體方式已經(jīng)在有關(guān)該方法的實(shí)施例中進(jìn)行了詳細(xì)描述,此處將不做詳細(xì)闡述說明。

圖4是根據(jù)一示例性實(shí)施例示出的一種用于人臉跟蹤的裝置400的框圖。例如,裝置400可以是移動電話,計(jì)算機(jī),數(shù)字廣播終端,消息收發(fā)設(shè)備,游戲控制臺,平板設(shè)備,醫(yī)療設(shè)備,健身設(shè)備,個(gè)人數(shù)字助理等。

參照圖4,裝置400可以包括以下一個(gè)或多個(gè)組件:處理組件402,存儲器404,電源組件406,多媒體組件408,音頻組件410,輸入/輸出(I/O)的接口412,傳感器組件414,以及通信組件416。

處理組件402通常控制裝置400的整體操作,諸如與顯示,電話呼叫,數(shù)據(jù)通信,相機(jī)操作和記錄操作相關(guān)聯(lián)的操作。處理組件402可以包括一個(gè)或多個(gè)處理器420來執(zhí)行指令,以完成上述的方法的全部或部分步驟。此外,處理組件402可以包括一個(gè)或多個(gè)模塊,便于處理組件402和其他組件之間的交互。例如,處理組件402可以包括多媒體模塊,以方便多媒體組件408和處理組件402之間的交互。

存儲器404被配置為存儲各種類型的數(shù)據(jù)以支持在裝置400的操作。這些數(shù)據(jù)的示例包括用于在裝置400上操作的任何應(yīng)用程序或方法的指令,聯(lián)系人數(shù)據(jù),電話簿數(shù)據(jù),消息,圖片,視頻等。存儲器404可以由任何類型的易失性或非易失性存儲設(shè)備或者它們的組合實(shí)現(xiàn),如靜態(tài)隨機(jī)存取存儲器(SRAM),電可擦除可編程只讀存儲器(EEPROM),可擦除可編程只讀存儲器(EPROM),可編程只讀存儲器(PROM),只讀存儲器(ROM),磁存儲器,快閃存儲器,磁盤或光盤。

電源組件406為裝置400的各種組件提供電源。電源組件406可以包括電源管理系統(tǒng),一個(gè)或多個(gè)電源,及其他與為裝置400生成、管理和分配電源相關(guān)聯(lián)的組件。

多媒體組件408包括在所述裝置400和用戶之間的提供一個(gè)輸出接口的屏幕。在一些實(shí)施例中,屏幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果屏幕包括觸摸面板,屏幕可以被實(shí)現(xiàn)為觸摸屏,以接收來自用戶的輸入信號。觸摸面板包括一個(gè)或多個(gè)觸摸傳感器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸傳感器可以不僅感測觸摸或滑動動作的邊界,而且還檢測與所述觸摸或滑動操作相關(guān)的持續(xù)時(shí)間和壓力。在一些實(shí)施例中,多媒體組件408包括一個(gè)前置攝像頭和/或后置攝像頭。當(dāng)裝置400處于操作模式,如拍攝模式或視頻模式時(shí),前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個(gè)前置攝像頭和后置攝像頭可以是一個(gè)固定的光學(xué)透鏡系統(tǒng)或具有焦距和光學(xué)變焦能力。

音頻組件410被配置為輸出和/或輸入音頻信號。例如,音頻組件410包括一個(gè)麥克風(fēng)(MIC),當(dāng)裝置400處于操作模式,如呼叫模式、記錄模式和語音識別模式時(shí),麥克風(fēng)被配置為接收外部音頻信號。所接收的音頻信號可以被進(jìn)一步存儲在存儲器404或經(jīng)由通信組件416發(fā)送。在一些實(shí)施例中,音頻組件410還包括一個(gè)揚(yáng)聲器,用于輸出音頻信號。

I/O接口412為處理組件402和外圍接口模塊之間提供接口,上述外圍接口模塊可以是鍵盤,點(diǎn)擊輪,按鈕等。這些按鈕可包括但不限于:主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。

傳感器組件414包括一個(gè)或多個(gè)傳感器,用于為裝置400提供各個(gè)方面的狀態(tài)評估。例如,傳感器組件414可以檢測到裝置400的打開/關(guān)閉狀態(tài),組件的相對定位,例如所述組件為裝置400的顯示器和小鍵盤,傳感器組件414還可以檢測裝置400或裝置400一個(gè)組件的位置改變,用戶與裝置400接觸的存在或不存在,裝置400方位或加速/減速和裝置400的溫度變化。傳感器組件414可以包括接近傳感器,被配置用來在沒有任何的物理接觸時(shí)檢測附近物體的存在。傳感器組件414還可以包括光傳感器,如CMOS或CCD圖像傳感器,用于在成像應(yīng)用中使用。在一些實(shí)施例中,該傳感器組件414還可以包括加速度傳感器,陀螺儀傳感器,磁傳感器,壓力傳感器或溫度傳感器。

通信組件416被配置為便于裝置400和其他設(shè)備之間有線或無線方式的通信。裝置400可以接入基于通信標(biāo)準(zhǔn)的無線網(wǎng)絡(luò),如WiFi,2G或3G,或它們的組合。在一個(gè)示例性實(shí)施例中,通信組件416經(jīng)由廣播信道接收來自外部廣播管理系統(tǒng)的廣播信號或廣播相關(guān)信息。在一個(gè)示例性實(shí)施例中,所述通信組件416還包括近場通信(NFC)模塊,以促進(jìn)短程通信。例如,在NFC模塊可基于射頻識別(RFID)技術(shù),紅外數(shù)據(jù)協(xié)會(IrDA)技術(shù),超寬帶(UWB)技術(shù),藍(lán)牙(BT)技術(shù)和其他技術(shù)來實(shí)現(xiàn)。

在示例性實(shí)施例中,裝置400可以被一個(gè)或多個(gè)應(yīng)用專用集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理設(shè)備(DSPD)、可編程邏輯器件(PLD)、現(xiàn)場可編程門陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實(shí)現(xiàn),用于執(zhí)行上述方法。

在示例性實(shí)施例中,還提供了一種包括指令的非臨時(shí)性計(jì)算機(jī)可讀存儲介質(zhì),例如包括指令的存儲器404,上述指令可由裝置400的處理器420執(zhí)行以完成上述方法。例如,所述非臨時(shí)性計(jì)算機(jī)可讀存儲介質(zhì)可以是ROM、隨機(jī)存取存儲器(RAM)、CD-ROM、磁帶、軟盤和光數(shù)據(jù)存儲設(shè)備等。

一種非臨時(shí)性計(jì)算機(jī)可讀存儲介質(zhì),當(dāng)所述存儲介質(zhì)中的指令由移動終端的處理器執(zhí)行時(shí),使得移動終端能夠執(zhí)行一種人臉跟蹤方法,所述方法包括:

獲取視頻數(shù)據(jù)中包含人臉圖像的當(dāng)前幀圖像。

當(dāng)該當(dāng)前幀圖像不為第一幀圖像時(shí),對該視頻數(shù)據(jù)中與該當(dāng)前幀圖像相鄰的上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,該第一幀圖像為該視頻數(shù)據(jù)中第一次出現(xiàn)人臉圖像的視頻幀圖像。

當(dāng)該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確時(shí),基于該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置和第一指定判別模型,確定該當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置。

當(dāng)該上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為不正確時(shí),對該當(dāng)前幀圖像進(jìn)行人臉檢測,得到該當(dāng)前幀圖像中的人臉位置。

基于多個(gè)指定關(guān)鍵點(diǎn)位置和第二指定判別模型,確定該當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,以實(shí)現(xiàn)對該視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤。

可選地,該方法還包括:

獲取多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,該每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為對該每張訓(xùn)練圖像中的多個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行標(biāo)注所確定的位置;

以該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為中心進(jìn)行高斯采樣,得到該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置;

基于該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的采樣位置和標(biāo)注位置,對判別模型進(jìn)行訓(xùn)練,得到該第一指定判別模型。

可選地,該方法還包括:

獲取多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,該每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置為對該每張訓(xùn)練圖像中的多個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行標(biāo)注所確定的位置;

對于該多張訓(xùn)練圖像中每張訓(xùn)練圖像,基于該訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注位置,確定該訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置;

基于該多張訓(xùn)練圖像中每張訓(xùn)練圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的平均位置和標(biāo)注位置,對判別模型進(jìn)行訓(xùn)練,得到該第二指定判別模型。

可選地,對該視頻數(shù)據(jù)中與該當(dāng)前幀圖像相鄰的上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,包括:

提取該上一幀圖像中的每個(gè)人臉關(guān)鍵點(diǎn)的方向梯度梯直方圖HOG特征;

將該每個(gè)人臉關(guān)鍵點(diǎn)的HOG特征串聯(lián)成特征向量;

通過指定分類器對該特征向量進(jìn)行分類,得到分類結(jié)果;

當(dāng)該分類結(jié)果為第一數(shù)值時(shí),確定該上一幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置評估為正確;

當(dāng)該分類結(jié)果為第二數(shù)值時(shí),確定該上一幀圖像中多個(gè)人臉關(guān)鍵點(diǎn)的位置評估不為正確。

可選地,該方法還包括:

對該特征向量進(jìn)行降維;

相應(yīng)地,通過指定分類器對該特征向量進(jìn)行分類,得到分類結(jié)果,包括:

通過該指定分類器對降維后的該特征向量進(jìn)行分類,得到該分類結(jié)果。

在本公開實(shí)施例中,當(dāng)終端從視頻數(shù)據(jù)中獲取的當(dāng)前幀圖像不為第一幀圖像時(shí),可以對上一幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置進(jìn)行評估,并當(dāng)評估結(jié)果為正確時(shí),通過該上一幀圖像包括的多個(gè)人臉關(guān)鍵點(diǎn)的位置和第一指定模型,確定當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置;當(dāng)評估結(jié)果為不正確時(shí),可以對當(dāng)前幀圖像進(jìn)行人臉檢測,并通過該指定關(guān)鍵點(diǎn)位置和第二指定模型,確定當(dāng)前幀圖像中的多個(gè)人臉關(guān)鍵點(diǎn)的位置,從而實(shí)現(xiàn)對該視頻數(shù)據(jù)中的人臉進(jìn)行跟蹤。由于通過該第一指定模型和第二指定模型確定人臉關(guān)鍵點(diǎn)位置的條件不同,從而可以使該第一指定模型和第二指定模型在不同的條件下進(jìn)行相互配合,減少了終端進(jìn)行人臉跟蹤時(shí)計(jì)算量,提高了人臉跟蹤的速度,從而提高了人臉跟蹤效果。

本領(lǐng)域技術(shù)人員在考慮說明書及實(shí)踐這里公開的發(fā)明后,將容易想到本發(fā)明的其它實(shí)施方案。本申請旨在涵蓋本發(fā)明的任何變型、用途或者適應(yīng)性變化,這些變型、用途或者適應(yīng)性變化遵循本發(fā)明的一般性原理并包括本公開未公開的本技術(shù)領(lǐng)域中的公知常識或慣用技術(shù)手段。說明書和實(shí)施例僅被視為示例性的,本發(fā)明的真正范圍和精神由下面的權(quán)利要求指出。

應(yīng)當(dāng)理解的是,本發(fā)明并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu),并且可以在不脫離其范圍進(jìn)行各種修改和改變。本發(fā)明的范圍僅由所附的權(quán)利要求來限制。

當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1