本發(fā)明涉及圖像識(shí)別的技術(shù)領(lǐng)域，尤其是涉及一種人臉特征點(diǎn)的識(shí)別方法和裝置。

背景技術(shù)：

隨著智能硬件的飛速發(fā)展，人工智能與機(jī)器學(xué)習(xí)的成果越來越多的應(yīng)用到了移動(dòng)終端，人臉檢測(cè)與人臉特征點(diǎn)檢測(cè)的技術(shù)被更多的手機(jī)客戶端(app)使用。例如，一些簡(jiǎn)單的美圖軟件，視頻交互軟件，ar特效軟件等等，都使用到了人臉檢測(cè)和特征點(diǎn)檢測(cè)的技術(shù)。尤其是在ios的客戶端，因其蘋果手機(jī)強(qiáng)大的圖形處理功能，原來只能非實(shí)時(shí)，異步進(jìn)行的特征點(diǎn)檢測(cè)的技術(shù)，也達(dá)到了實(shí)時(shí)的效果。視頻社交軟件，諸如snapchat和faceu，qq，陌陌等都將特征定位的技術(shù)用在了實(shí)時(shí)的ar特效上面，以添加更多的交互趣味功能。

然而，目前的特征點(diǎn)檢測(cè)技術(shù)在實(shí)時(shí)的視頻中存在定位抖動(dòng)的問題，當(dāng)然這些問題可以通過不停的加大訓(xùn)練樣本，完善特征定位模型，以及多幀平均的方式減緩其抖動(dòng)的幅度。但是這些改進(jìn)又會(huì)帶來新的問題，比如增大樣本訓(xùn)練模型，相當(dāng)于直接增加模型的成本。樣本的擴(kuò)充可能需要幾十到上百萬的標(biāo)注樣本，以數(shù)據(jù)堂的標(biāo)注樣本售價(jià)為標(biāo)準(zhǔn)，一張標(biāo)注好的樣本成本在1.5元以上，所以模型迭代基本以百萬的耗資為基數(shù)。更離譜得是，模型就算訓(xùn)練得再好，也不能消除抖動(dòng)，最多只能減緩其趨勢(shì)。其次是多幀的預(yù)測(cè)結(jié)果作均值，這樣雖然可以有效得消除抖動(dòng)，但是如果視頻中的人物頭部運(yùn)動(dòng)較劇烈就會(huì)產(chǎn)生嚴(yán)重得拖影，反饋在用戶上的感覺就像是渲染在頭部的特效并沒有與渲染部位完美得融合，而像是被頭部拖著跑，嚴(yán)重影響用戶體驗(yàn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種人臉特征點(diǎn)的識(shí)別方法和裝置，以緩解傳統(tǒng)的人臉特征點(diǎn)識(shí)別技術(shù)在進(jìn)行人臉特征點(diǎn)識(shí)別的過程中識(shí)別穩(wěn)定性較差的技術(shù)問題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種人臉特征點(diǎn)的識(shí)別方法，包括：獲取當(dāng)前視頻幀圖像；在所述當(dāng)前視頻幀圖像中檢測(cè)初始人臉特征點(diǎn)，以及檢測(cè)所述初始人臉特征點(diǎn)的紋理特征信息；以及，將所述初始人臉特征點(diǎn)的特征紋理信息與第一目標(biāo)特征點(diǎn)的紋理特征信息進(jìn)行紋理匹配，得到與所述第一目標(biāo)特征點(diǎn)的紋理特征信息相匹配的特征點(diǎn)，并將所述相匹配的特征點(diǎn)作為所述當(dāng)前視頻幀圖像的特征點(diǎn)，其中，所述第一目標(biāo)特征點(diǎn)為上一視頻幀圖像的人臉特征點(diǎn)。

進(jìn)一步地，在所述當(dāng)前視頻幀圖像中檢測(cè)初始人臉特征點(diǎn)，以及檢測(cè)所述初始人臉特征點(diǎn)的紋理特征信息包括：判斷在所述當(dāng)前視頻幀圖像中是否檢測(cè)到所述初始人臉特征點(diǎn)；如果判斷出檢測(cè)到所述初始人臉特征點(diǎn)，則判斷所述初始人臉特征點(diǎn)所屬的特征空間是否存在紋理特征信息；以及，如果判斷出所述初始人臉特征點(diǎn)所屬的特征空間存在紋理特征信息，則執(zhí)行將所述初始人臉特征點(diǎn)的特征紋理信息與所述第一目標(biāo)特征點(diǎn)的紋理特征信息進(jìn)行匹配的步驟。

進(jìn)一步地，如果判斷出所述初始人臉特征點(diǎn)所屬的特征空間不存在紋理特征信息，所述方法還包括：為所述初始人臉特征點(diǎn)分配紋理特征信息，并繼續(xù)檢測(cè)下一視頻幀圖像中的人臉特征點(diǎn)和所述下一視頻幀圖像中人臉特征點(diǎn)的紋理特征信息。

進(jìn)一步地，將所述初始人臉特征點(diǎn)的特征紋理信息與第一目標(biāo)特征點(diǎn)的紋理特征信息進(jìn)行匹配包括：在預(yù)設(shè)范圍內(nèi)查找第二目標(biāo)特征點(diǎn)，其中，所述第二目標(biāo)特征點(diǎn)為所述預(yù)設(shè)范圍內(nèi)紋理特征信息與所述第一目標(biāo)特征點(diǎn)的紋理特征信息相似度最大的特征點(diǎn)，所述預(yù)設(shè)范圍包括以下任一種：以所述初始人臉特征點(diǎn)為中心r為半徑的圓形區(qū)域，以所述初始人臉特征點(diǎn)為中心的矩形區(qū)域；以及，將所述第二目標(biāo)特征點(diǎn)作為所述當(dāng)前視頻幀圖像的特征點(diǎn)。

進(jìn)一步地，如果判斷出未檢測(cè)到的所述初始人臉特征點(diǎn)，所述方法還包括：繼續(xù)檢測(cè)下一視頻幀圖像中的人臉特征點(diǎn)和所述下一視頻幀圖像中人臉特征點(diǎn)的紋理特征信息。

進(jìn)一步地，在獲取當(dāng)前視頻幀圖像之前，所述方法還包括：獲取預(yù)先設(shè)置的所述人臉特征點(diǎn)的屬性信息；以及，獲取預(yù)先為每個(gè)所述人臉特征點(diǎn)分配的特征空間。

根據(jù)本發(fā)明實(shí)施例的另一個(gè)方面，還提供了一種人臉特征點(diǎn)的識(shí)別裝置，包括：第一獲取單元，用于獲取當(dāng)前視頻幀圖像；檢測(cè)單元，用于在所述當(dāng)前視頻幀圖像中檢測(cè)初始人臉特征點(diǎn)，以及檢測(cè)所述初始人臉特征點(diǎn)的紋理特征信息；以及，匹配單元，用于將所述初始人臉特征點(diǎn)的特征紋理信息與第一目標(biāo)特征點(diǎn)的紋理特征信息進(jìn)行紋理匹配，得到與所述第一目標(biāo)特征點(diǎn)的紋理特征信息相匹配的特征點(diǎn)，并將所述相匹配的特征點(diǎn)作為所述當(dāng)前視頻幀圖像的特征點(diǎn)，其中，所述第一目標(biāo)特征點(diǎn)為上一視頻幀圖像的人臉特征點(diǎn)。

進(jìn)一步地，所述檢測(cè)單元包括：第一判斷模塊，用于判斷在所述當(dāng)前視頻幀圖像中是否檢測(cè)到所述初始人臉特征點(diǎn)；第二判斷模塊，用于在判斷出檢測(cè)到所述初始人臉特征點(diǎn)的情況下，判斷所述初始人臉特征點(diǎn)所屬的特征空間是否存在紋理特征信息；其中，如果所述第二判斷模塊判斷出所述初始人臉特征點(diǎn)所屬的特征空間存在紋理特征信息，則通過所述匹配單元將所述初始人臉特征點(diǎn)的特征紋理信息與所述第一目標(biāo)特征點(diǎn)的紋理特征信息進(jìn)行匹配。

進(jìn)一步地，所述裝置還包括：分配模塊，用于在判斷出所述初始人臉特征點(diǎn)所屬的特征空間不存在紋理特征信息的情況下，為所述初始人臉特征點(diǎn)分配紋理特征信息，并繼續(xù)檢測(cè)下一視頻幀圖像中的人臉特征點(diǎn)和所述下一視頻幀圖像中人臉特征點(diǎn)的紋理特征信息。

進(jìn)一步地，所述匹配單元包括：查找模塊，用于在預(yù)設(shè)范圍內(nèi)查找第二目標(biāo)特征點(diǎn)，其中，所述第二目標(biāo)特征點(diǎn)為所述預(yù)設(shè)范圍內(nèi)紋理特征信息與所述第一目標(biāo)特征點(diǎn)的紋理特征信息相似度最大的特征點(diǎn)，所述預(yù)設(shè)范圍包括以下任一種：以所述初始人臉特征點(diǎn)為中心r為半徑的圓形區(qū)域，以所述初始人臉特征點(diǎn)為中心的矩形區(qū)域；以及，確定模塊，用于將所述第二目標(biāo)特征點(diǎn)作為所述當(dāng)前視頻幀圖像的特征點(diǎn)。

在本發(fā)明實(shí)施例中，首先獲取當(dāng)前視頻幀圖像；然后，在當(dāng)前視頻幀圖像中檢測(cè)初始人臉特征點(diǎn)，以及檢測(cè)初始人臉特征點(diǎn)的紋理特征信息；接下來，將初始人臉特征點(diǎn)的特征紋理信息與上一視頻幀圖像的人臉特征點(diǎn)的紋理特征信息進(jìn)行匹配，得到相匹配的特征點(diǎn)，并將相匹配的特征點(diǎn)作為當(dāng)前視頻幀圖像的特征線。在采用本發(fā)明對(duì)人臉特征進(jìn)行識(shí)別時(shí)，是對(duì)每個(gè)視頻幀圖像進(jìn)行上述處理，經(jīng)過上述處理之后得到人臉特征點(diǎn)的定位抖動(dòng)現(xiàn)象明顯減弱，進(jìn)一步地提高了人臉特征點(diǎn)的識(shí)別效果，進(jìn)而緩解了傳統(tǒng)的人臉特征點(diǎn)識(shí)別技術(shù)在進(jìn)行人臉特征點(diǎn)識(shí)別的過程中識(shí)別穩(wěn)定性較差的技術(shù)問題。

附圖說明

為了更清楚地說明本發(fā)明具體實(shí)施方式或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)具體實(shí)施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施方式，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是根據(jù)本發(fā)明實(shí)施例的一種人臉特征點(diǎn)的識(shí)別方法的流程圖；

圖2是根據(jù)本發(fā)明實(shí)施例的另一種可選地人臉特征點(diǎn)的識(shí)別方法的流程圖；

圖3是根據(jù)本發(fā)明實(shí)施例的一種測(cè)試結(jié)果對(duì)比圖；

圖4是根據(jù)本發(fā)明實(shí)施例的另一種測(cè)試結(jié)果對(duì)比圖；

圖5是根據(jù)本發(fā)明實(shí)施例的一種人臉特征點(diǎn)的識(shí)別裝置的示意圖。

具體實(shí)施方式

下面將結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

在本發(fā)明的描述中，需要說明的是，術(shù)語(yǔ)“中心”、“上”、“下”、“左”、“右”、“豎直”、“水平”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。此外，術(shù)語(yǔ)“第一”、“第二”、“第三”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性。

在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術(shù)語(yǔ)“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語(yǔ)在本發(fā)明中的具體含義。

實(shí)施例一

根據(jù)本發(fā)明實(shí)施例，提供了一種人臉特征點(diǎn)的識(shí)別方法的實(shí)施例，需要說明的是，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

圖1是根據(jù)本發(fā)明實(shí)施例的一種人臉特征點(diǎn)的識(shí)別方法的流程圖，如圖1所示，該方法包括如下步驟：

步驟s102，獲取當(dāng)前視頻幀圖像；

步驟s104，在當(dāng)前視頻幀圖像中檢測(cè)初始人臉特征點(diǎn)，以及檢測(cè)初始人臉特征點(diǎn)的紋理特征信息；

步驟s106，將初始人臉特征點(diǎn)的特征紋理信息與第一目標(biāo)特征點(diǎn)的紋理特征信息進(jìn)行紋理匹配，得到與第一目標(biāo)特征點(diǎn)的紋理特征信息相匹配的特征點(diǎn)，并將相匹配的特征點(diǎn)作為當(dāng)前視頻幀圖像的特征點(diǎn)，其中，第一目標(biāo)特征點(diǎn)為上一視頻幀圖像的人臉特征點(diǎn)。

其中，上一視頻幀圖像的人臉特征點(diǎn)同樣是采用上述步驟s102至步驟s106中所描述的方法得到的。

在本發(fā)明實(shí)施例中，首先獲取當(dāng)前視頻幀圖像；然后，在當(dāng)前視頻幀圖像中檢測(cè)初始人臉特征點(diǎn)，以及檢測(cè)初始人臉特征點(diǎn)的紋理特征信息；接下來，將初始人臉特征點(diǎn)的特征紋理信息與上一視頻幀圖像的人臉特征點(diǎn)的紋理特征信息進(jìn)行匹配，得到相匹配的特征點(diǎn)，并將相匹配的特征點(diǎn)作為當(dāng)前視頻幀圖像的特征線。在采用本發(fā)明對(duì)人臉特征進(jìn)行識(shí)別時(shí)，是對(duì)每個(gè)視頻幀圖像進(jìn)行上述處理，經(jīng)過上述處理之后得到人臉特征點(diǎn)的定位抖動(dòng)現(xiàn)象明顯減弱，進(jìn)一步地提高了人臉特征點(diǎn)的識(shí)別效果，進(jìn)而緩解了傳統(tǒng)的人臉特征點(diǎn)識(shí)別技術(shù)在進(jìn)行人臉特征點(diǎn)識(shí)別的過程中識(shí)別穩(wěn)定性較差的技術(shù)問題。

在本發(fā)明實(shí)施例的一個(gè)可選實(shí)施方式中，在獲取當(dāng)前視頻幀圖像之前，該方法還包括如下步驟：

步驟s1011，獲取預(yù)先設(shè)置的人臉特征點(diǎn)的屬性信息；以及

步驟s1012，獲取預(yù)先為每個(gè)人臉特征點(diǎn)分配的特征空間。

在本發(fā)明實(shí)施例中，在對(duì)每個(gè)視頻幀圖像進(jìn)行識(shí)別之前，需要進(jìn)行特征的選取，即，選取人臉特征點(diǎn)的屬性。在進(jìn)行特征選取時(shí)，應(yīng)該遵循幾個(gè)原則：能代表該特征點(diǎn)以及特征點(diǎn)隨周圍像素的變化趨勢(shì)，具有較高的唯一性和不可復(fù)制性。常見的特征有l(wèi)bp，hog，sift等等，當(dāng)然也可以由用戶自行開發(fā)出更好的特征用以匹配，對(duì)此不做具體限制。

在確定人臉特征點(diǎn)的屬性信息之后，就可以為每一個(gè)特征點(diǎn)分配一個(gè)特征空間，其中，特征空間的長(zhǎng)度以選用的特征來自定義。比如，用sift特征可能需要128維，利用hog特征，其維度就隨著hog的參數(shù)值的變化而變化。

在進(jìn)行特征的選取，以及為每個(gè)特征點(diǎn)確定特征空間之后，就可以通過人臉特征點(diǎn)的檢測(cè)算法實(shí)時(shí)對(duì)視頻中包含的人臉信息的人臉特征點(diǎn)進(jìn)行識(shí)別。其中，在識(shí)別的過程中，是以幀為單位進(jìn)行識(shí)別，即對(duì)于每個(gè)視頻幀圖像，均采用上述步驟s102至步驟s106中所描述的方式來確定人臉特征點(diǎn)。

在下述實(shí)施例中，以一個(gè)視頻幀圖像為例進(jìn)行說明。

在對(duì)視頻流進(jìn)行識(shí)別時(shí)，獲取當(dāng)前視頻幀圖像，然后在當(dāng)前視頻幀圖像中檢測(cè)初始人臉特征點(diǎn)，以及檢測(cè)初始人員特征點(diǎn)的紋理特征信息。其中，可以采用下述方式在當(dāng)前視頻幀圖像中檢測(cè)初始人臉特征點(diǎn)：

首先，判斷在當(dāng)前視頻幀圖像中是否檢測(cè)到初始人臉特征點(diǎn)；

如果判斷出檢測(cè)到初始人臉特征點(diǎn)，則判斷初始人臉特征點(diǎn)所屬的特征空間是否存在紋理特征信息；

其中，如果判斷出初始人臉特征點(diǎn)所屬的特征空間存在紋理特征信息，則執(zhí)行將初始人臉特征點(diǎn)的特征紋理信息與第一目標(biāo)特征點(diǎn)的紋理特征信息進(jìn)行匹配的步驟。

在一個(gè)可選的實(shí)施方式中，將初始人臉特征點(diǎn)的特征紋理信息與第一目標(biāo)特征點(diǎn)的紋理特征信息進(jìn)行匹配包括如下步驟：

步驟s1，在預(yù)設(shè)范圍內(nèi)查找第二目標(biāo)特征點(diǎn)，其中，第二目標(biāo)特征點(diǎn)為預(yù)設(shè)范圍內(nèi)紋理特征信息與第一目標(biāo)特征點(diǎn)的紋理特征信息相似度最大的特征點(diǎn)，預(yù)設(shè)范圍包括以下任一種：以初始人臉特征點(diǎn)為中心r為半徑的圓形區(qū)域，以初始人臉特征點(diǎn)為中心的矩形區(qū)域；

具體地，如果判斷出初始人臉特征點(diǎn)所屬的特征空間存在紋理特征信息，那么在當(dāng)前初始人臉特征點(diǎn)以r為半徑的圓周范圍內(nèi)，查找與第一目標(biāo)特征點(diǎn)a的紋理特征信息相似度最大的特征點(diǎn)，并將該特征點(diǎn)作為第二目標(biāo)特征點(diǎn)，其中，第一目標(biāo)特征點(diǎn)a為多個(gè)第一目標(biāo)特征點(diǎn)中與當(dāng)前初始人臉特征點(diǎn)相對(duì)應(yīng)的特征點(diǎn)。需要說明的是，上述r＝幾個(gè)像素或者r＝十幾個(gè)像素，具體根據(jù)用戶的實(shí)際需要來進(jìn)行確定。

除此之外，還可以在當(dāng)前初始人臉特征點(diǎn)為中心的矩形范圍內(nèi)，查找與第一目標(biāo)特征點(diǎn)a的紋理特征相似度最大的特征點(diǎn)，并將該特征點(diǎn)作為第二目標(biāo)特征點(diǎn)。

步驟s2，將第二目標(biāo)特征點(diǎn)作為當(dāng)前視頻幀圖像的特征點(diǎn)。

具體地，在按照上述步驟s1所描述的方式將每個(gè)初始人臉特征與依次與第一目標(biāo)特征點(diǎn)進(jìn)行匹配之后，就可以確定多個(gè)第二目標(biāo)特征點(diǎn)。一般情況下，第一目標(biāo)特征點(diǎn)，初始目標(biāo)特征點(diǎn)和第二目標(biāo)特征點(diǎn)的數(shù)量相同。

通過上述描述可知，如果判斷出檢測(cè)到初始人臉特征點(diǎn)，則判斷初始人臉特征點(diǎn)所屬的特征空間是否存在紋理特征信息。那么如果判斷出未檢測(cè)到初始人臉特征點(diǎn)，則繼續(xù)檢測(cè)當(dāng)前視頻幀的下一視頻幀的視頻幀圖像中的人臉特征點(diǎn)，以及下一視頻幀圖像中人臉特征點(diǎn)的紋理特征信息。

進(jìn)一步地，通過上述描述可知，如果判斷出初始人臉特征點(diǎn)所屬的特征空間存在紋理特征信息，則執(zhí)行將初始人臉特征點(diǎn)的特征紋理信息與第一目標(biāo)特征點(diǎn)的紋理特征信息進(jìn)行匹配的步驟。如果判斷出初始人臉特征點(diǎn)所屬的特征空間不存在紋理特征信息，則為初始人臉特征點(diǎn)分配紋理特征信息，并繼續(xù)檢測(cè)下一視頻幀圖像中的人臉特征點(diǎn)和下一視頻幀圖像中人臉特征點(diǎn)的紋理特征信息。

可選地，如果初始人臉特征點(diǎn)的特征空間中不存在紋理特征信息，那么可以以初始人臉特征點(diǎn)為原點(diǎn)，預(yù)設(shè)圓周范圍內(nèi)的紋理特征信息作為該初始人臉特征點(diǎn)的紋理特征信息。其中，具體預(yù)設(shè)圓周范圍的大小可以根據(jù)實(shí)際需要進(jìn)行確定。

需要說明的是，通過上述操作處理之后得到的人臉特征點(diǎn)，能夠從根本上解決定位抖動(dòng)。當(dāng)采用傳統(tǒng)的人臉特征點(diǎn)的檢測(cè)算法對(duì)視頻流中包含的人臉進(jìn)行特征點(diǎn)識(shí)別時(shí)，人臉特征點(diǎn)一直在抖動(dòng)，而且抖動(dòng)很嚴(yán)重，穩(wěn)定性較差。但是，采用本發(fā)明實(shí)施例中提供的方法對(duì)視頻流中人臉特征點(diǎn)進(jìn)行識(shí)別時(shí)，能夠有效減小抖動(dòng)，通過本發(fā)明實(shí)施例中提供的方法檢測(cè)到的特征點(diǎn)在實(shí)時(shí)視頻中像是貼在用戶的臉上一樣。也就是說，本發(fā)明實(shí)施例中提供的人臉特征點(diǎn)的識(shí)別方法又可以稱為一種增穩(wěn)算法。

在本發(fā)明實(shí)施例中，對(duì)檢測(cè)到的初始人臉特征點(diǎn)進(jìn)行二次算法(諸如頭部3d姿態(tài)估計(jì)，表情估計(jì)，動(dòng)作估計(jì))以及各種特效渲染(諸如貼卡通鼻子、耳朵、嘴巴等等)相比之前能帶來質(zhì)的飛躍。更重要的是，現(xiàn)在市面上存在的各種主流的特征點(diǎn)檢測(cè)算法都可以與本發(fā)明提供的方法適配以提高其原有的性能。

實(shí)施例二

根據(jù)本發(fā)明實(shí)施例，還提供了另一種可選地人臉特征點(diǎn)的識(shí)別方法的實(shí)施例。

圖2是根據(jù)本發(fā)明實(shí)施例的另一種可選地人臉特征點(diǎn)的識(shí)別方法的流程圖，如圖2所示，該方法包括如下步驟：

步驟s201，選取特征，即，獲取預(yù)先設(shè)置的人臉特征點(diǎn)的屬性信息，其中，選取特征應(yīng)該遵循幾個(gè)原則：能代表該特征點(diǎn)以及特征點(diǎn)隨周圍像素的變化趨勢(shì)，具有較高的唯一性和不可復(fù)制性。常見的特征有l(wèi)bp，hog，sift等等，當(dāng)然也可以由用戶自行開發(fā)出更好的特征用以匹配，對(duì)此不做具體限定；

步驟s202，為每一個(gè)特征點(diǎn)分配一個(gè)特征空間，其中，特征空間的長(zhǎng)度以選用的特征來自定義。比如，用sift特征可能需要128維。又比如，用hog特征，其維度就隨著hog的參數(shù)值的變化而變化；

步驟s203，通過人臉特征點(diǎn)檢測(cè)算法在每個(gè)視頻幀圖像中檢測(cè)初始人臉特征點(diǎn)；

步驟s204，判斷是否出現(xiàn)初始人臉特征點(diǎn)；如果出現(xiàn)初始人臉特征點(diǎn)，則執(zhí)行步驟s205，如果未出現(xiàn)初始人臉特征點(diǎn)，則返回執(zhí)行步驟s203，檢測(cè)下一視頻幀圖像中的初始人臉特征點(diǎn)；

步驟s205，檢查每個(gè)初始人臉特征點(diǎn)的特征空間內(nèi)是否有紋理特征信息；其中，如果存在，則執(zhí)行步驟s207；如果不存在，則執(zhí)行步驟s206；

步驟s206，提取該初始人臉特征點(diǎn)的紋理特征信息，并存入特征空間，返回執(zhí)行步驟s203，即，繼續(xù)檢測(cè)下一視頻幀圖像中的初始人臉特征點(diǎn)；

具體地，如果初始人臉特征點(diǎn)的特征空間中不存在紋理特征信息，那么可以以初始人臉特征點(diǎn)為原點(diǎn)，預(yù)設(shè)圓周范圍內(nèi)的紋理特征信息作為該初始人臉特征點(diǎn)的紋理特征信息。其中，具體預(yù)設(shè)圓周范圍的大小可以根據(jù)實(shí)際需要進(jìn)行確定。

步驟s207，在預(yù)設(shè)范圍內(nèi)查找第二目標(biāo)特征點(diǎn)，其中，第二目標(biāo)特征點(diǎn)為預(yù)設(shè)范圍內(nèi)紋理特征信息與第一目標(biāo)特征點(diǎn)的紋理特征信息相似度最大的特征點(diǎn)，預(yù)設(shè)范圍包括以下任一種：以初始人臉特征點(diǎn)為中心r為半徑的圓形區(qū)域，以初始人臉特征點(diǎn)為中心的矩形區(qū)域；

步驟s208，更新初始人臉特征點(diǎn)坐標(biāo)為第二目標(biāo)特征點(diǎn)，即最匹配紋理特征的坐標(biāo)，更新第二目標(biāo)特征點(diǎn)的紋理特征信息為最匹配紋理特征信息。

在本發(fā)明實(shí)施例中，利用視頻流的時(shí)序特點(diǎn)，將前一幀檢測(cè)的特征點(diǎn)的紋理特征信息提取出來存儲(chǔ)，然后在當(dāng)前視頻幀作紋理匹配。并在一個(gè)合理的搜索范圍內(nèi)使其最大相似紋理的坐標(biāo)值作為當(dāng)前視頻幀的人臉特征點(diǎn)，并更新該點(diǎn)的紋理特征信息作為下一幀的匹配特征信息。

在本發(fā)明實(shí)施例中，是在識(shí)別出初始人臉特征點(diǎn)之后，繼續(xù)對(duì)初始人臉特征進(jìn)行前一視頻幀的紋理匹配，并更新該初始人臉特征點(diǎn)的坐標(biāo)和紋理特征信息，通過該改進(jìn)方式大幅度提高了特征點(diǎn)檢測(cè)的穩(wěn)定性。

為了證明本發(fā)明實(shí)施例提供的人臉特征點(diǎn)的識(shí)別方法的穩(wěn)定性，發(fā)明人分別用特征點(diǎn)檢測(cè)算法(例如，dlib庫(kù)自帶特征點(diǎn)檢測(cè)算法和官方模型)和本發(fā)明實(shí)施例提供的人臉特征點(diǎn)的識(shí)別方法依次采樣進(jìn)行比較。其采樣的方式為人頭不移動(dòng)(即，在視頻中一直是固定位置)，每?jī)蓭杉惶卣鼽c(diǎn)在圖像上的位置的距離之差作為采樣的樣本；然后，以樣本的數(shù)量作為橫軸，同一特征點(diǎn)在圖像上的位置的距離之差作為縱軸，觀測(cè)其抖動(dòng)的特性。這樣的設(shè)置的依據(jù)是，只要人頭不動(dòng)，那么特征點(diǎn)必須是固定的，如果特征點(diǎn)檢測(cè)算法能完美檢測(cè)每一幀，那么相鄰兩幀之間的同一個(gè)特征點(diǎn)的位置距離只差應(yīng)該為0。所以距離只差越小，性能越穩(wěn)定。下述圖3和圖4為測(cè)試結(jié)果對(duì)比圖。

在圖3和圖4中，mu和sigma分別是總體抖動(dòng)幅度的平均值和方差。從圖中可以看到，與圖3相比，圖4加了增穩(wěn)算法以后，整體性能大幅度提升。原來平均每幀1像素(以像素為距離的度量單位，比如一個(gè)480*64分辨率的圖像，它的寬為480像素，高為640像素)的抖動(dòng)，現(xiàn)在降到了0.035像素，方差也大幅度減小，整體趨于穩(wěn)定。在用戶體驗(yàn)上，增穩(wěn)的效果帶來的體驗(yàn)改進(jìn)會(huì)更加明顯，尤其在3d貼圖的特效上面，感官上特效與頭部會(huì)更加貼合自然。

其次，增穩(wěn)算法并不會(huì)帶來太多計(jì)算資源的消耗與計(jì)算速度的下降。以圖3與圖4的實(shí)驗(yàn)相比較為例，使用了增穩(wěn)算法以后的檢測(cè)算法與原始特征點(diǎn)檢測(cè)算法相比平均每一幀多了1ms計(jì)算時(shí)間，即使在移動(dòng)端，這樣的差距只在2ms以內(nèi)。因此該增穩(wěn)算法是在極少增加計(jì)算負(fù)擔(dān)的同時(shí)，有效的彌補(bǔ)了因?yàn)槟Ｐ陀?xùn)練不足等因素帶來的特征點(diǎn)檢測(cè)的抖動(dòng)狀態(tài)，取得了體驗(yàn)上的大幅改進(jìn)，大大節(jié)省了樣本資源與物資消耗。

實(shí)施例三

本發(fā)明實(shí)施例還提供了一種人臉特征點(diǎn)的識(shí)別裝置，該人臉特征點(diǎn)的識(shí)別裝置主要用于執(zhí)行本發(fā)明實(shí)施例上述內(nèi)容所提供的人臉特征點(diǎn)的識(shí)別方法，以下對(duì)本發(fā)明實(shí)施例提供的人臉特征點(diǎn)的識(shí)別裝置做具體介紹。

圖5是根據(jù)本發(fā)明實(shí)施例的一種人臉特征點(diǎn)的識(shí)別裝置的示意圖，如圖5所示，該人臉特征點(diǎn)的識(shí)別裝置主要包括：第一獲取單元51，檢測(cè)單元52和匹配單元53，其中：

第一獲取單元51，用于獲取當(dāng)前視頻幀圖像；

檢測(cè)單元52，用于在當(dāng)前視頻幀圖像中檢測(cè)初始人臉特征點(diǎn)，以及檢測(cè)初始人臉特征點(diǎn)的紋理特征信息；

匹配單元53，用于將初始人臉特征點(diǎn)的特征紋理信息與第一目標(biāo)特征點(diǎn)的紋理特征信息進(jìn)行紋理匹配，得到與第一目標(biāo)特征點(diǎn)的紋理特征信息相匹配的特征點(diǎn)，并將相匹配的特征點(diǎn)作為當(dāng)前視頻幀圖像的特征點(diǎn)，其中，第一目標(biāo)特征點(diǎn)為上一視頻幀圖像的人臉特征點(diǎn)。

在本發(fā)明實(shí)施例中，首先獲取當(dāng)前視頻幀圖像；然后，在當(dāng)前視頻幀圖像中檢測(cè)初始人臉特征點(diǎn)，以及檢測(cè)初始人臉特征點(diǎn)的紋理特征信息；接下來，將初始人臉特征點(diǎn)的特征紋理信息與上一視頻幀圖像的人臉特征點(diǎn)的紋理特征信息進(jìn)行匹配，得到相匹配的特征點(diǎn)，并將相匹配的特征點(diǎn)作為當(dāng)前視頻幀圖像的特征線。在采用本發(fā)明對(duì)人臉特征進(jìn)行識(shí)別時(shí)，是對(duì)每個(gè)視頻幀圖像進(jìn)行上述處理，經(jīng)過上述處理之后得到人臉特征點(diǎn)的抖動(dòng)現(xiàn)象明顯減弱，進(jìn)一步地的提高了人臉特征點(diǎn)的識(shí)別效果，進(jìn)而緩解了傳統(tǒng)的人臉特征點(diǎn)識(shí)別技術(shù)在進(jìn)行人臉特征點(diǎn)識(shí)別的過程中識(shí)別穩(wěn)定性較差的技術(shù)問題。

可選地，檢測(cè)單元包括：第一判斷模塊，用于判斷在當(dāng)前視頻幀圖像中是否檢測(cè)到初始人臉特征點(diǎn)；第二判斷模塊，用于在判斷出檢測(cè)到初始人臉特征點(diǎn)的情況下，判斷初始人臉特征點(diǎn)所屬的特征空間是否存在紋理特征信息；其中，如果第二判斷模塊判斷出初始人臉特征點(diǎn)所屬的特征空間存在紋理特征信息，則通過匹配單元將初始人臉特征點(diǎn)的特征紋理信息與第一目標(biāo)特征點(diǎn)的紋理特征信息進(jìn)行匹配。

可選地，該裝置還包括：分配模塊，用于在判斷出初始人臉特征點(diǎn)所屬的特征空間不存在紋理特征信息的情況下，為初始人臉特征點(diǎn)分配紋理特征信息，并繼續(xù)檢測(cè)下一視頻幀圖像中的人臉特征點(diǎn)和下一視頻幀圖像中人臉特征點(diǎn)的紋理特征信息。

可選地，匹配單元包括：查找模塊，用于在預(yù)設(shè)范圍內(nèi)查找第二目標(biāo)特征點(diǎn)，其中，第二目標(biāo)特征點(diǎn)為預(yù)設(shè)范圍內(nèi)紋理特征信息與第一目標(biāo)特征點(diǎn)的紋理特征信息相似度最大的特征點(diǎn)，預(yù)設(shè)范圍包括以下任一種：以初始人臉特征點(diǎn)為中心r為半徑的圓形區(qū)域，以初始人臉特征點(diǎn)為中心的矩形區(qū)域；以及，確定模塊，用于將第二目標(biāo)特征點(diǎn)作為當(dāng)前視頻幀圖像的特征點(diǎn)。

可選地，該裝置還包括：檢測(cè)模塊，用于在判斷出未檢測(cè)到的初始人臉特征點(diǎn)的情況下，繼續(xù)檢測(cè)下一視頻幀圖像中的人臉特征點(diǎn)和下一視頻幀圖像中人臉特征點(diǎn)的紋理特征信息。

可選地，該裝置還包括：，在獲取當(dāng)前視頻幀圖像之前，方法還包括：第二獲取單元，用于獲取預(yù)先設(shè)置的人臉特征點(diǎn)的屬性信息；以及，第三獲取單元，用于獲取預(yù)先為每個(gè)人臉特征點(diǎn)分配的特征空間。

最后應(yīng)說明的是：以上各實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。