指并包含一個(gè)或多個(gè)相關(guān)聯(lián)的列出項(xiàng)目的任何或所有可能組合。
[0061 ]應(yīng)當(dāng)理解，盡管在本公開(kāi)可能采用術(shù)語(yǔ)第一、第二、第三等來(lái)描述各種信息，但這些信息不應(yīng)限于這些術(shù)語(yǔ)。這些術(shù)語(yǔ)僅用來(lái)將同一類(lèi)型的信息彼此區(qū)分開(kāi)。例如，在不脫離本公開(kāi)范圍的情況下，第一信息也可以被稱(chēng)為第二信息，類(lèi)似地，第二信息也可以被稱(chēng)為第一信息。取決于語(yǔ)境，如在此所使用的詞語(yǔ)“如果”可以被解釋成為“在……時(shí)”或“當(dāng)……時(shí)”或“響應(yīng)于確定”。
[0062]如圖1所示，圖1是本公開(kāi)根據(jù)一示例性實(shí)施例示出的一種人臉圖像處理方法的流程圖，可應(yīng)用在終端中，包括以下步驟101-104:
[0063]在步驟101中，獲取預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置。所述預(yù)設(shè)幀圖像在當(dāng)前幀圖像之前，與所述當(dāng)前幀圖像間隔預(yù)設(shè)幀數(shù)。
[0064]本公開(kāi)實(shí)施例中涉及的終端可以是智能終端，例如計(jì)算機(jī)、智能電視、智能手機(jī)、平板電腦、PDA(Personal Digital Assistant，個(gè)人數(shù)字助理)等。
[0065]本公開(kāi)實(shí)施例提供的方法，可應(yīng)用于視頻圖像中的人臉關(guān)鍵點(diǎn)位置檢測(cè);視頻圖像由一幀幀連續(xù)的圖像構(gòu)成，對(duì)當(dāng)前幀圖像進(jìn)行人臉關(guān)鍵點(diǎn)位置定位時(shí)，可采用本公開(kāi)實(shí)施例提供的處理方法進(jìn)行定位。
[0066]其中，人臉關(guān)鍵點(diǎn)即臉部關(guān)鍵特征點(diǎn)，可以包括眉毛、眼睛、鼻子、嘴巴或臉部輪廓等。在實(shí)際應(yīng)用中，可以根據(jù)需要預(yù)先設(shè)定需定位的人臉關(guān)鍵點(diǎn)，例如設(shè)定鼻子或嘴巴等。各人臉關(guān)鍵點(diǎn)在圖像中的具體位置，即表示圖像中哪些像素點(diǎn)為上述的臉部關(guān)鍵特征點(diǎn)。
[0067]預(yù)設(shè)幀圖像是指在當(dāng)前幀圖像之前，與所述當(dāng)前幀圖像間隔預(yù)設(shè)幀數(shù)。當(dāng)前幀圖像是指當(dāng)前需進(jìn)行人臉關(guān)鍵點(diǎn)定位的圖像，預(yù)設(shè)幀圖像可以是已完成人臉關(guān)鍵點(diǎn)定位的圖像，因此對(duì)于預(yù)設(shè)幀圖像，可以獲取得到其預(yù)先處理好的定位結(jié)果，也即是上述的預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置。在本公開(kāi)提供的實(shí)施例，預(yù)設(shè)幀圖像與當(dāng)前幀圖像的間隔幀數(shù)可選取較小的數(shù)值，預(yù)設(shè)幀圖像與當(dāng)前幀圖像間隔越小，兩幀圖像之間的差異越小;在實(shí)際應(yīng)用中，該間隔幀數(shù)可以是一幀、兩幀等多種選擇，為了減少計(jì)算量及獲得較優(yōu)的定位結(jié)果，預(yù)設(shè)幀圖像可以是當(dāng)前幀圖像的上一幀圖像。
[0068]在步驟102中，在當(dāng)前幀圖像中對(duì)預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置進(jìn)行跟蹤。
[0069]由于預(yù)設(shè)幀圖像已獲得人臉關(guān)鍵點(diǎn)位置，而預(yù)設(shè)幀圖像與當(dāng)前幀圖像的差別較小，因此可對(duì)預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置進(jìn)行跟蹤。
[0070]在一個(gè)可選的實(shí)現(xiàn)方式中，可以是在當(dāng)前幀圖像中利用預(yù)設(shè)的特征點(diǎn)跟蹤算法對(duì)預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置進(jìn)行跟蹤，所述特征點(diǎn)跟蹤算法包括基于光流的特征點(diǎn)跟蹤算法。
[0071]當(dāng)物體在運(yùn)動(dòng)時(shí)，它在圖像上對(duì)應(yīng)點(diǎn)的亮度模式也在運(yùn)動(dòng)。這種圖像亮度模式的表觀運(yùn)動(dòng)(apparent mot1n)就是光流。光流表達(dá)了圖像的變化，由于它包含了目標(biāo)運(yùn)動(dòng)的信息，因此可用來(lái)確定目標(biāo)的運(yùn)動(dòng)情況。利用運(yùn)動(dòng)圖像序列中的灰度圖像數(shù)據(jù)的時(shí)域變化和相關(guān)性，可以確定圖像像素的運(yùn)動(dòng)情況。在對(duì)預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置進(jìn)行跟蹤時(shí)，在連續(xù)的幀圖像中，人臉即可看做是一運(yùn)動(dòng)目標(biāo)，因此可以采用相關(guān)技術(shù)中的光流公式，基于預(yù)設(shè)幀圖像中的人臉關(guān)鍵點(diǎn)位置，在當(dāng)前幀圖像中對(duì)該人臉關(guān)鍵點(diǎn)進(jìn)行跟蹤，計(jì)算得到當(dāng)前幀中人臉關(guān)鍵點(diǎn)的位置。
[0072]由上述實(shí)施例可見(jiàn)，采用基于光流的特征點(diǎn)跟蹤算法可快速對(duì)預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置進(jìn)行跟蹤，該方式易于實(shí)現(xiàn)，且準(zhǔn)確率高。
[0073]在步驟103中，當(dāng)對(duì)預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置跟蹤成功，獲得人臉關(guān)鍵點(diǎn)在當(dāng)前幀圖像的跟蹤位置，將所述跟蹤位置作為當(dāng)前幀圖像的人臉關(guān)鍵點(diǎn)的初始化位置。
[0074]若預(yù)設(shè)幀圖像和當(dāng)前幀圖像之間的差異不大，則預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置通?？梢愿櫝晒?，從而獲得在當(dāng)前幀圖像中定位出人臉關(guān)鍵點(diǎn)的跟蹤位置。由于預(yù)設(shè)幀圖像已對(duì)人臉關(guān)鍵點(diǎn)進(jìn)行準(zhǔn)確定位，可知該跟蹤位置與最終位置非常接近，可以將跟蹤位置作為當(dāng)前幀圖像的人臉關(guān)鍵點(diǎn)的初始化位置。
[0075]在步驟104中，對(duì)當(dāng)前幀圖像的人臉關(guān)鍵點(diǎn)的初始化位置進(jìn)行迭代求解，獲得當(dāng)前幀圖像的人臉關(guān)鍵點(diǎn)位置。
[0076]在進(jìn)行迭代求解時(shí)，以步驟103中的跟蹤位置為初始化位置進(jìn)行迭代求解時(shí)，則迭代求解的次數(shù)可顯著減少。
[0077]在一個(gè)可選的實(shí)現(xiàn)方式中，可利用預(yù)設(shè)的監(jiān)督的梯度下降(SDM，SupervisedDescent Method)算法對(duì)所述初始化位置進(jìn)行迭代求解。
[0078]SDM算法能實(shí)現(xiàn)快速的人臉對(duì)齊，該方法基于機(jī)器學(xué)習(xí)來(lái)解決復(fù)雜最小二乘問(wèn)題(least squares problem)的方法。該方法的思路是從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)梯度下降的方向并建立相應(yīng)的回歸模型，然后利用得到的模型來(lái)進(jìn)行梯度方向估計(jì)。在本公開(kāi)提供的實(shí)施例中，將跟蹤位置作為當(dāng)前幀圖像的人臉關(guān)鍵點(diǎn)的初始化位置，利用SDM算法對(duì)初始化位置的人臉特征點(diǎn)進(jìn)行迭代求解，最終獲得最優(yōu)解的人臉關(guān)鍵點(diǎn)位置。
[0079]由上述實(shí)施例可見(jiàn)，該監(jiān)督的梯度下降算法的迭代求解速度快，且可以求解出精確的人臉關(guān)鍵點(diǎn)位置。
[0080]至此，本公開(kāi)實(shí)施例提供的人臉圖像處理方法，以在當(dāng)前幀圖像之前的預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置為基礎(chǔ)，在當(dāng)前幀圖像中對(duì)該位置進(jìn)行跟蹤獲得跟蹤位置，由于預(yù)設(shè)幀圖像已對(duì)人臉關(guān)鍵點(diǎn)進(jìn)行準(zhǔn)確定位，則當(dāng)前幀圖像中跟蹤位置與最終位置非常接近，當(dāng)以跟蹤位置為初始化位置進(jìn)行迭代求解時(shí)，迭代求解的次數(shù)可顯著減少，可加快迭代求解的速度，提尚人臉關(guān)鍵點(diǎn)定位的效率。
[0081]如圖2所示，是根據(jù)一示例性實(shí)施例示出的另一種人臉圖像處理方法的流程圖，包括如下步驟:
[0082]在步驟201中，當(dāng)所述預(yù)設(shè)幀圖像為人臉初始幀圖像時(shí)，利用平均位置求解法求解所述預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置。
[0083]在步驟202中，在當(dāng)前幀圖像中對(duì)預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置進(jìn)行跟蹤。
[0084]在步驟203中，當(dāng)對(duì)預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置跟蹤成功時(shí)，獲得人臉關(guān)鍵點(diǎn)在當(dāng)前幀圖像的跟蹤位置，將所述跟蹤位置作為當(dāng)前幀圖像的人臉關(guān)鍵點(diǎn)的初始化位置。
[0085]在步驟204中，當(dāng)對(duì)預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置跟蹤失敗時(shí)，利用所述平均位置求解法求解所述當(dāng)前幀圖像的人臉關(guān)鍵點(diǎn)的初始化位置。
[0086]在步驟205中，對(duì)當(dāng)前幀圖像的人臉關(guān)鍵點(diǎn)的初始化位置進(jìn)行迭代求解，獲得當(dāng)前幀圖像的人臉關(guān)鍵點(diǎn)位置。
[0087]其中，平均位置求解法包括如下步驟:
[0088]對(duì)圖像進(jìn)行人臉檢測(cè)，獲得圖像中的人臉區(qū)域。
[0089]獲取預(yù)設(shè)訓(xùn)練集中的人臉關(guān)鍵點(diǎn)平均位置。
[0090]以所述人臉關(guān)鍵點(diǎn)平均位置為所述人臉區(qū)域的人臉關(guān)鍵點(diǎn)的初始化位置進(jìn)行迭代求解，得到所述圖像的人臉關(guān)鍵點(diǎn)位置。
[0091]本公開(kāi)提供的實(shí)施例，人臉初始幀圖像，是指在視頻圖像中某一張待識(shí)別的人臉的第一幀圖像。視頻圖像是由連續(xù)的視頻幀序列構(gòu)成，對(duì)視頻圖像進(jìn)行人臉識(shí)別，若某一張待識(shí)別的人臉圖像第一次在視頻幀序列中出現(xiàn)，則無(wú)法獲得可作為參考的前一幀圖像，此時(shí)可利用平均位置求解法對(duì)人臉初始幀圖像求解人臉關(guān)鍵點(diǎn)位置。
[0092]平均位置求解法中，首先對(duì)圖像進(jìn)行人臉檢測(cè)，獲得人臉區(qū)域，以用于后續(xù)進(jìn)行人臉關(guān)鍵點(diǎn)定位時(shí)，在已框定的人臉區(qū)域中進(jìn)行計(jì)算，可減少迭代求解的范圍。而人臉關(guān)鍵點(diǎn)初始化位置則采用訓(xùn)練集中預(yù)先標(biāo)定的人臉關(guān)鍵點(diǎn)平均位置進(jìn)行迭代求解，最后獲得圖像的人臉關(guān)鍵點(diǎn)位置。
[0093]當(dāng)初始幀圖像定位出人臉關(guān)鍵點(diǎn)位置后，則可作為后續(xù)其他幀圖像的參考，供其他幀圖像進(jìn)行跟蹤。
[0094]其中，若當(dāng)前幀圖像和預(yù)設(shè)幀圖像的區(qū)別較大，則有可能造成跟蹤失敗的情況，當(dāng)對(duì)預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置跟蹤失敗時(shí)，可利用上述的平均位置求解法求解所述當(dāng)前幀圖像的人臉關(guān)鍵點(diǎn)的初始化位置。
[0095]由上述實(shí)施例可見(jiàn)，若預(yù)設(shè)幀圖像為視頻圖像中的第一幀圖像，則無(wú)法以前一幀圖像為參考，可利用平均位置求解法進(jìn)行求解，獲得預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置，實(shí)現(xiàn)為后續(xù)其他圖像的人臉關(guān)鍵點(diǎn)定位提供參考?？紤]到當(dāng)預(yù)設(shè)幀圖像與當(dāng)前幀圖像的差別較大，則有可能出現(xiàn)對(duì)預(yù)設(shè)幀圖像的人臉關(guān)鍵點(diǎn)位置跟蹤失敗的情況，可利用平均位置求解法求解當(dāng)前幀圖像的人臉關(guān)鍵點(diǎn)的初始化位置，提高本公開(kāi)的適用性。
[0096]與前述方法的實(shí)施例相對(duì)應(yīng)，本公開(kāi)還提供了人臉圖像處理裝置及其所應(yīng)用的終端的實(shí)施例。
[0097]如圖3所示，圖3是本公開(kāi)根據(jù)一示例性