本發(fā)明涉及信息處理領域,具體而言,涉及一種人臉跟蹤方法和裝置。
背景技術:
人臉配準算法作為人臉識別的一個重要處理環(huán)節(jié),通過人臉配準算法可以確定人臉照片上各關鍵點位置的信息,利用該關鍵點位置的信息,一方面可以在自動P圖、自動美妝等應用中實現(xiàn)更加智能化的功能,另一方面也可以準確判斷用戶的動作信息,如用戶是否閉眼、是否張嘴等動作信息,對活體檢測、疲勞駕駛檢測等應用有巨大的幫助。
現(xiàn)有技術中,通常通過單張照片進行人臉配準點跟蹤實現(xiàn)人臉識別等上述功能,然而單張照片提供的信息有限,難以獲得準確、穩(wěn)定的配準點。為了解決該問題,現(xiàn)有技術中利用視頻中鄰近幀包含的信息具有高度相關性的特點,通過相鄰幀提供的輔助信息,有效提高當前幀圖像配準結果的準確性和穩(wěn)定性。
具體地,利用前后多幀配準結果求平均的方法提高配準點穩(wěn)定性,采用該方案對于變化劇烈的視頻序列,配準點準確性會嚴重降低,并且,利用后幀配準結果會使跟蹤結果產(chǎn)生時延,無法保證實時性;設定防抖動規(guī)則,控制前后幀配準點結果的抖動幅度,以提高配準點穩(wěn)定性,然而,由于防抖動規(guī)則非常復雜,難以將各種可能情形考慮周全,在某些特例情形下,跟蹤結果的準確性和穩(wěn)定性都會明顯降低;直接以視頻作為輸入,用3DCNN(即3D卷積神經(jīng)網(wǎng)絡,用于運動識別)或LSTM(即Long Short-Term Memory,時間遞歸神經(jīng)網(wǎng)絡)等深度學習網(wǎng)絡直接訓練視頻配準點結果,在該方案中,需要大量的標注訓練樣本視頻,實際應用時代價很高。此外該類算法的耗時與內存開銷往往都會較大。
針對上述現(xiàn)有的人臉配準點跟蹤算法難以同時保證高準確度與低復雜度的問題,目前尚未提出有效的解決方案。
技術實現(xiàn)要素:
本發(fā)明實施例提供了一種人臉跟蹤方法和裝置,以至少解決現(xiàn)有的人臉配準點跟蹤算法難以同時保證高準確度與低復雜度的技術問題。
根據(jù)本發(fā)明實施例的一個方面,提供了一種人臉跟蹤方法,包括:獲取序列圖像中當前幀圖像的人臉特征信息和序列圖像中前序幀圖像的人臉跟蹤信息,其中,前序幀圖像為在序列圖像中位于當前幀圖像之前的幀圖像,人臉特征信息中記錄有當前幀圖像中人臉特征點的信息,人臉跟蹤信息用于記錄前序幀圖像的人臉跟蹤結果;基于所述當前幀圖像的人臉特征信息和所述前序幀圖像的人臉跟蹤信息,從所述前序幀圖像中選取調整幀圖像;利用所述調整幀圖像的人臉跟蹤信息和所述當前幀圖像的人臉特征信息擬合出所述當前幀圖像的調整參數(shù);基于調整參數(shù)和前序幀圖像的人臉跟蹤信息,確定當前幀圖像的人臉跟蹤信息。
根據(jù)本發(fā)明實施例的另一方面,還提供了一種人臉跟蹤裝置,包括:第一獲取單元,用于獲取序列圖像中當前幀圖像的人臉特征信息和序列圖像中前序幀圖像的人臉跟蹤信息,其中,前序幀圖像為在序列圖像中位于當前幀圖像之前的幀圖像,人臉特征信息中記錄有當前幀圖像中人臉特征點的信息,人臉跟蹤信息用于記錄前序幀圖像的人臉跟蹤結果;第一選取模塊,用于基于所述當前幀圖像的人臉特征信息和所述前序幀圖像的人臉跟蹤信息,從所述前序幀圖像中選取調整幀圖像;擬合模塊,用于利用所述調整幀圖像的人臉跟蹤信息和所述當前幀圖像的人臉特征信息擬合出所述當前幀圖像的調整參數(shù);第二確定單元,用于基于調整參數(shù)和前序幀圖像的人臉跟蹤信息,確定當前幀圖像的人臉跟蹤信息。
在本發(fā)明實施例中,基于當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息,從前序幀圖像中選取調整幀圖像,并利用調整幀圖像的信息確定用于減小當前幀圖像的人臉跟蹤信息的誤差的調整參數(shù),利用該調整參數(shù)可以準確地確定當前幀圖像的人臉跟蹤信息。通過上述實施例,使用前序幀圖像的信息確定調整參數(shù),而不使用后續(xù)幀圖像的信息,不會產(chǎn)生時延,可以保證實時性;并且,在該方案中無需配置復雜的防抖規(guī)則,跟蹤信息的獲取方式簡單;進一步地,上述方案無需標注大量即可確定準確的人臉跟蹤信息,解決了現(xiàn)有技術中人臉配準點跟蹤算法難以同時保證高準確度與低復雜度的問題,實現(xiàn)了使用簡單的處理方式保證人臉跟蹤信息的高準確度的效果。
附圖說明
此處所說明的附圖用來提供對本發(fā)明的進一步理解,構成本申請的一部分,本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明,并不構成對本發(fā)明的不當限定。在附圖中:
圖1是根據(jù)本發(fā)明實施例的定義的人臉特征點的位置示意圖;
圖2是根據(jù)本發(fā)明實施例的人臉跟蹤方法的硬件環(huán)境的示意圖;
圖3是根據(jù)本發(fā)明實施例的一種可選的人臉跟蹤方法的流程圖;
圖4是根據(jù)本發(fā)明實施例的又一種可選的人臉跟蹤方法的流程圖;
圖5是根據(jù)本發(fā)明實施例的再一種可選的人臉跟蹤方法的流程圖;
圖6是根據(jù)本發(fā)明實施例的一種可選的人臉跟蹤裝置的示意圖;
圖7是根據(jù)本發(fā)明實施例的另一種可選的人臉跟蹤裝置的示意圖;以及
圖8是根據(jù)本發(fā)明實施例的一種終端的結構框圖。
具體實施方式
為了使本技術領域的人員更好地理解本發(fā)明方案,下面將結合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分的實施例,而不是全部的實施例。基于本發(fā)明中的實施例,本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都應當屬于本發(fā)明保護的范圍。
需要說明的是,本發(fā)明的說明書和權利要求書及上述附圖中的術語“第一”、“第二”等是用于區(qū)別類似的對象,而不必用于描述特定的順序或先后次序。應該理解這樣使用的數(shù)據(jù)在適當情況下可以互換,以便這里描述的本發(fā)明的實施例能夠以除了在這里圖示或描述的那些以外的順序實施。此外,術語“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設備不必限于清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或對于這些過程、方法、產(chǎn)品或設備固有的其它步驟或單元。
首先,在對本發(fā)明實施例進行描述的過程中出現(xiàn)的部分名詞或者術語適用于如下解釋:
人臉關鍵點:人臉上具有語義特征的位置點,也可以稱之為特征點。如圖1所示,在該申請實施例中可以預先定義多個人臉區(qū)域的多個人臉關鍵點,可選地,每個人臉區(qū)域可以對應多個人臉關鍵點,可以通過每個人臉關鍵點在圖像中的位置信息來記錄每個人臉關鍵點的信息。
具體地,如圖1所示,可以將人臉區(qū)域劃分為下顎輪廓、左眉毛、右眉毛、左眼、鼻子和嘴巴,可以定義90個人臉關鍵點,如定義的第一至第七個人臉關鍵點位于左眉毛的區(qū)域,定義的第八個至第十六個人臉關鍵點位于右眉毛的區(qū)域、定義的第十七個至第二十四個人臉關鍵點位于左眼的區(qū)域內,定義的第二十五至第三十二個人臉關鍵點位于右眼的區(qū)域,定義的第三十三個至第四十五個人臉關鍵點位于鼻子的區(qū)域、定義的第四十六個至第六十七個人臉關鍵點位于嘴巴的區(qū)域,定義的第六十八個至第九十個人臉關鍵點位于下顎輪廓的區(qū)域。
可選地,還可以將人臉區(qū)域劃分為左右瞳孔、鼻尖以及左右嘴角。本申請對人臉區(qū)域的劃分方式不做具體限定。
人臉配準算法:是一種圖像預處理方法,主要用于人臉識別,主要用于從人臉圖像中得到人臉關鍵點,可選地,可以將人臉圖像的尺度、旋轉和平移等變化去除。
配準點準確度:人臉配準結果與配準點真值的接近程度。
配準點穩(wěn)定度:人臉視頻鄰近幀配準結果的抖動程度。
人臉配準點跟蹤算法:利用人臉視頻中多幀的信息改善各幀配準點準確度與穩(wěn)定度的算法。
根據(jù)本發(fā)明實施例,提供了一種人臉跟蹤的方法實施例??蛇x地,在本實施例中,上述人臉跟蹤方法可以應用于如圖2所示的由服務器102和終端104所構成的硬件環(huán)境中。如圖2所示,服務器102通過網(wǎng)絡與終端104進行連接,上述網(wǎng)絡包括但不限于:廣域網(wǎng)、城域網(wǎng)或局域網(wǎng),終端104并不限定于PC、手機、平板電腦等。本發(fā)明實施例的人臉跟蹤方法可以由服務器102來執(zhí)行,也可以由終端104來執(zhí)行,還可以是由服務器102和終端104共同執(zhí)行。其中,終端104執(zhí)行本發(fā)明實施例的人臉跟蹤方法也可以是由安裝在其上的客戶端來執(zhí)行。
可選地,上述實施例可以應用在服務器上,服務器在獲取到序列圖像,如視頻之后,依序對序列圖像中的每幀圖像依次執(zhí)行上述人臉跟蹤方式,得到每幀的人臉跟蹤信息,得到該序列圖像的人臉跟蹤結果。
其中,幀是指不分場的圖像,序列圖像可以為時間上連續(xù)的多幅圖像,序列圖像中的一幅圖像為一幀圖像,在序列圖像中一般包括多幀圖像,在序列圖像中位于當前幀圖像之前的幀圖像為前序幀圖像,在序列圖像中位于當前幀圖像之后的幀圖像為后續(xù)幀圖像,例如,播放時間早于第K幀圖像的幀圖像為第K幀圖像的前序幀圖像,播放時間晚于第K幀的幀為第K幀圖像的后續(xù)幀圖像。也即,第K幀圖像的前序幀圖像的播放順序或者展示順序早于第K幀,第K幀圖像的后續(xù)幀圖像的播放順序或展示順序晚于第K幀圖像。
可選地,序列圖像可以為視頻,在該實施例中,幀與幀圖像相同。
在一個可選的實施例中,服務器可以在接收到人臉識別請求或者在需進行人臉識別的情況下,獲取請求識別的序列圖像(如,視頻),逐幀進行分析,具體地,對當前幀圖像進行人臉配準處理,得到人臉配準信息(即人臉特征信息),可選地,利用人臉配準算法對的當前幀圖像進行人臉配準處理,得到預先定義的多個人臉關鍵點(即人臉特征點)的坐標向量,如,點A(x1,y1),若定義了B個點,則得到的人臉配準信息中包括2B維向量,將得到的人臉配準信息作為人臉特征信息。
服務器獲取前序幀圖像的人臉跟蹤信息,該人臉跟蹤信息用于記錄通過本申請的人臉跟蹤方法實施例最終確定的跟蹤結果。
利用該當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息確定當前幀圖像的人臉跟蹤信息。
圖3是根據(jù)本發(fā)明實施例的一種可選的人臉跟蹤方法的流程圖,如圖2所示,該方法可以包括以下步驟:
步驟S302:獲取序列圖像中當前幀圖像的人臉特征信息和序列圖像中前序幀圖像的人臉跟蹤信息,其中,前序幀圖像為在序列圖像中位于當前幀圖像之前的幀圖像,人臉特征信息中記錄有當前幀圖像中人臉特征點的信息,人臉跟蹤信息用于記錄前序幀圖像的人臉跟蹤結果;
步驟S304:基于當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息,從前序幀圖像中選取調整幀圖像;
步驟S305:利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù);
步驟S306:基于調整參數(shù)和前序幀圖像的人臉跟蹤信息,確定當前幀圖像的人臉跟蹤信息。
通過上述實施例,基于當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息,從前序幀圖像中選取調整幀圖像,并利用調整幀圖像的信息確定用于減小當前幀圖像的人臉跟蹤信息的誤差的調整參數(shù),利用該調整參數(shù)可以準確地確定當前幀圖像的人臉跟蹤信息。通過上述實施例,使用前序幀圖像的信息確定調整參數(shù),而不使用后續(xù)幀圖像的信息,不會產(chǎn)生時延,可以保證實時性;并且,在該方案中無需配置復雜的防抖規(guī)則,跟蹤信息的獲取方式簡單;進一步地,上述方案無需標注大量即可確定準確的人臉跟蹤信息,解決了現(xiàn)有技術中人臉配準點跟蹤算法難以同時保證高準確度與低復雜度的問題,實現(xiàn)了使用簡單的處理方式保證人臉跟蹤信息的高準確度的效果。
在步驟S302提供的技術方案中,服務器獲取序列圖像中當前幀圖像的人臉特征信息。服務器可以對當前幀圖像進行人臉配準處理,得到人臉特征信息,可選地,利用人臉配準算法對的當前幀圖像進行人臉配準處理,得到預先定義的多個人臉關鍵點(即人臉特征點)的坐標向量,如,點A(x1,y1),若定義了B個點,則得到的人臉配準信息中包括2B維向量,將得到的人臉配準信息作為人臉特征信息,例如,在預定定義使用90個特征點識別人臉,則人臉特征信息中可以包括180維向量,通過該180維向量表示90個特征點的橫縱坐標。
服務器獲取序列圖像中位于當前幀圖像之前的前序幀圖像的人臉跟蹤信息,該人臉跟蹤信息用于記錄前序幀圖像的人臉跟蹤結果,該人臉跟蹤結果為前序幀圖像基于本申請實施例的人臉跟蹤方法確定出的人臉跟蹤結果。
其中,序列圖像可以包括時間上連續(xù)的多幅圖像,在序列圖像中位于當前幀圖像之前的幀圖像為前序幀圖像,在序列圖像中位于當前幀圖像之后的幀圖像為后續(xù)幀圖像,第K幀圖像的前序幀圖像的播放順序或者展示順序早于第K幀,第K幀圖像的后續(xù)幀圖像的播放順序或展示順序晚于第K幀圖像。
可選地,序列圖像可以為視頻。
在步驟S304提供的技術方案中,在獲取到當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息之后,利用該獲取到的當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息確定當前幀圖像的調整參數(shù)。
可選地,將人臉視頻兩不同幀間人臉配準點(即對人臉特征點進行配準得到的信息)與真實關鍵點位置之間的誤差分為系統(tǒng)誤差與隨機誤差兩類。其中,系統(tǒng)誤差為兩幀中人臉位置變化所帶來的誤差;而隨機誤差為人臉配準算法本身所造成的誤差。
在上述實施例中,通過前序幀圖像的人臉跟蹤信息確定當前幀圖像的誤差調整參數(shù),如使用過去N幀配準點位置擬合當前幀配準點位置,盡可能消除系統(tǒng)誤差。進一步地,可以在控制擬合誤差的前提下最小化擬合系數(shù)的平方和,盡可能消除隨機誤差。
可選地,在獲取序列圖像中當前幀圖像的人臉特征信息和所述序列圖像中前序幀圖像的人臉跟蹤信息之后,基于當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息,從前序幀圖像中選取調整幀圖像。
可選地,從前序幀圖像中選取部分偵圖像,利用選取出來的調整幀圖像進行后續(xù)處理,而不是使用全部前序幀圖像,一方面可以減小數(shù)據(jù)處理量,另一方面,可以從前序幀圖像中選取當前偵圖像中人臉位置變化較小的幀圖像作為調整幀圖像,以減小系統(tǒng)誤差(即造成當前幀圖像的人臉跟蹤信息的誤差的一種)。
基于當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息,從前序幀圖像中選取調整幀圖像,可以包括:從前序幀圖像中選取出與當前幀圖像中特征點位置距離較近的調整幀圖像。
在一個可選的實施例中,第K幀圖像有K-1幀前序幀圖像,以該K-1幀圖像中的部分幀圖像中,如,M幀圖像,從該M幀圖像中選取調整幀圖像。
可選地,該M幀圖像可以為從時間維度上講,與當前幀圖像距離最近的M幀圖像,例如,序列圖像包括Y幀圖像,該Y幀圖像分別為:第1幀,第2幀,……,第K-M幀,……,第K-1幀,第K幀,……,第Y幀,則采用上述實施例,從第K-M幀至第K-1幀中選取調整幀圖像。
進一步可選地,可以基于M個前序幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息,確定M個前序幀圖像中各個前序幀圖像與當前幀圖像的距離,并從M個前序幀圖像中,選取與當前幀圖像距離最小的N個調整幀圖像。
在一個可選的實施例中,計算的上述距離為歐式距離,可選地,人臉跟蹤信息和人臉特征信息利用向量來記錄對應的信息,分別計算各個幀的人臉跟蹤信息與人臉特征信息的歐式距離,從M幀前序幀圖像中獲取歐式距離最小的N個幀,得到N個調整幀圖像。
進一步可選地,在獲取到各幀圖像的人臉跟蹤信息與當前幀圖像的人臉特征信息的歐式距離之后,對計算得到的歐式距離進行排序,得到距離序列,可以按照值的大小排序,若按照值從大到小的順序,則可以選取距離序列中的后N個距離對應的幀圖像;若按照值從小到大的順序,則可以選取距離序列中的前N個距離對應的幀圖像。
另一種可選地,在獲取到各幀圖像的人臉跟蹤信息與當前幀圖像的人臉特征信息的歐式距離之后,對計算得到的歐式距離依次兩兩比較,得到距離值較小的N個值,將該N個值對應的幀圖像確定為調整幀圖像。
在該實施例中,通過排序選取或者通過兩兩比較最終確定的調整幀圖像的處理方式僅作為示例說明,本申請對選取方式不做具體限定。
通過上述實施例,從前序幀圖像中選取N個與當前幀距離最近的調整幀圖像,由于兩幀中人臉位置變化會帶來誤差,在該示例中選取與當前幀距離最近的N個調整幀圖像(即與當前幀圖像中人臉位置距離越近,系統(tǒng)誤差越小),利用該選取出的調整幀圖像確定當前幀圖像的調整參數(shù),可以準確確定出該調整參數(shù)。
在步驟S306提供的技術方案中,基于調整參數(shù)和前序幀圖像的人臉跟蹤信息,確定當前幀圖像的人臉跟蹤信息。利用用于減小當前幀圖像的人臉跟蹤信息的調整參數(shù),準確確定當前幀圖像的人臉跟蹤信息。
通過上述實施例,將當前幀配準結果與其它幀提供的信息有效融合,同時提高配準結果的準確度與穩(wěn)定度,且運算復雜度極低,可用單核CPU實時實現(xiàn)。
上述實施例中的擬合,是指已知某函數(shù)的若干離散函數(shù)值,通過調整該函數(shù)中若干待定系數(shù),使得該函數(shù)與已知點集的差別最小。
在該實施例中,該調整幀圖像的人臉跟蹤信息即為已知的若干離散函數(shù)值,該當前幀圖像的人臉特征信息即為已知點集,該調整參數(shù)即為若干待定系數(shù),也即,在該實施例中,通過調整該調整參數(shù)的值,使得各個調整幀圖像的人臉跟蹤信息與當前幀圖像的人臉特征信息的差異最小,通過上述實施例,可以確定出使得系統(tǒng)誤差和隨機誤差最小的調整參數(shù),利用該調整參數(shù)確定當前幀圖像的人臉跟蹤信息,可以使得確定的當前幀的人臉跟蹤信息的準確度高。
在一個可選的實施例中,利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)包括下述至少之一:
利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息,確定使得當前幀圖像的人臉跟蹤信息與人臉特征信息的誤差最小的調整參數(shù);
利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息,確定使得調整參數(shù)的平方和最小的調整參數(shù)。
其中,將兩幀圖像中人臉位置配準點與真實特征點位置之間的誤差分為系統(tǒng)誤差和隨機誤差,通過該實施例確定的調整參數(shù)可以用于減小上述系統(tǒng)誤差和/或隨機誤差。
可選地,系統(tǒng)誤差為兩幀中人臉位置變化所帶來的誤差,在上述實施例中,通過最小化擬合當前幀圖像的人臉跟蹤信息與當前幀圖像的人臉特征信息的差異來控制系統(tǒng)誤差。
另一種可選地,隨機誤差為人臉配準算法本身所造成的誤差,在上述實施例中,通過最小化擬合調整參數(shù)(如優(yōu)化系數(shù))的平方和來控制隨機誤差。
根據(jù)上述實施例,可以通過嶺回歸算法有效實現(xiàn)擬合,不僅可以提高計算準確度和穩(wěn)定性,并且可以降低運算復雜度。可選地,利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)包括:利用預定函數(shù)L(q1,…,qN)擬合出當前幀圖像的回歸系數(shù),其中,調整參數(shù)包括回歸系數(shù),
其中,qi表示回歸系數(shù),Ci表示調整幀圖像i的人臉跟蹤信息,PK表示當前幀圖像的人臉特征信息,S為第一預設參數(shù),λ為第二預設參數(shù),K、i和N為自然數(shù)??蛇x地,在擬合過程中,確定的回歸系數(shù)可以使得L(q1,…,qN)的值最小。
其中,通過可以利用各幀的人臉跟蹤信息,最小化擬合當前幀的人臉跟蹤信息與當前幀的人臉特征信息的差異,以控制系統(tǒng)誤差;通過可以最小化擬合回歸系數(shù)的平方和,以控制隨機誤差,通過該嶺回歸算法,使用過去N幀配準點位置擬合當前幀配準點位置,盡可能消除系統(tǒng)誤差;并在控制擬合誤差的前提下最小化擬合系數(shù)的平方和,盡可能消除隨機誤差,從而可以簡單、快速確定出回歸系數(shù)。
可選地,該回歸系數(shù)為多個,每個調整幀對應一個回歸系數(shù),例如選取出10幀調整幀,則確定10個回歸系數(shù)。
根據(jù)本申請的上述實施例,基于調整參數(shù)和前序幀圖像的人臉跟蹤信息,確定當前幀圖像的人臉跟蹤信息可以包括:利用調整參數(shù)調整每個前序幀圖像的人臉跟蹤信息;將各個前序幀圖像的人臉跟蹤信息進行累加,得到當前幀圖像的人臉跟蹤信息Qk。
可選地,根據(jù)計算當前幀圖像的人臉跟蹤信息。
根據(jù)本發(fā)明上述實施例,利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)可以包括如圖4所示的:
步驟S401:計算多個調整幀圖像的人臉跟蹤信息的均值,其中,人臉跟蹤信息利用多維向量記錄對應幀的人臉跟蹤結果;
步驟S403:將調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息分別減去均值,得到處理后的調整幀圖像的人臉跟蹤信息和處理后的當前幀圖像的人臉特征信息;
步驟S405:利用處理后的調整幀圖像的人臉跟蹤信息和處理后的當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)。
在該實施例中,在確定調整參數(shù)之前,確定出對確定調整參數(shù)沒有影響的均值,并分別將各個調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息減去均值,利用處理后的調整幀圖像的人臉跟蹤信息和處理后的當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)。在該示例中,由于不影響調整參數(shù)的均值未參與計算,僅將可能影響調整參數(shù)的信息進行擬合,也即,無影響信息未參與擬合操作,一方面可以減少計算量,另一方面,可以提高擬合結果的準確性。
可選地,在該示例中,通過預定函數(shù)確定調整參數(shù)可以通過如下方式實現(xiàn):其中,C’1,...,C’N為減去了均值各調整幀的人臉跟蹤信息,P’k為減去了均值的當前幀的人臉特征信息。
進一步需要說明的是,上述第一預設參數(shù)和第二預設參數(shù)可以為常數(shù),也可以根據(jù)序列圖像的特征預先設置,可選地,在利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)之前,可以預先設置上述的第一預設參數(shù)S和第二預設參數(shù)λ。
可選地,通過獲取當前幀圖像的人臉特征信息中特征點的坐標尺度;并基于特征點的坐標尺度設置第一預設參數(shù)S。
進一步可選地,基于特征點的坐標尺度確定第一預設參數(shù)S包括:從特征點的橫坐標尺度和縱坐標尺度中選取值大的坐標尺度;將選取出的值大的坐標尺度的平方確定為第一預設參數(shù)S。
其中,坐標尺度可以為用于考量特征點的橫縱坐標的空間范圍,例如,該尺度可以為坐標軸上的計數(shù)單位,在同一個坐標系中橫坐標尺度和縱坐標尺度可以相同或不同。
在一個可選的實施例中,若橫坐標尺度和縱坐標尺度不同,可以從兩者之間選取值大的坐標尺度,基于該值較大的坐標尺度確定第一預設參數(shù),可選地,可以直接將該值大的坐標尺度的平方作為第一預設參數(shù),也可以將該值大的坐標尺度的平方的整數(shù)倍作為第一預設參數(shù)S。
根據(jù)上述實施例,在利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)之前,可以至少根據(jù)序列圖像中記錄內容的變化程度設置第二預設參數(shù)λ的值。
一種可選地,至少根據(jù)序列圖像中記錄內容的變化程度設置第二預設參數(shù)λ的值可以包括:若序列圖像中記錄內容的變化程度高于第一預定閾值,則在默認值的基礎上,調高第二預設參數(shù)λ的值,以設置第二預設參數(shù)λ的值;若序列圖像中記錄內容的變化程度低于第二預定閾值,則在默認值的基礎上,調低第二預設參數(shù)λ的值,以設置第二預設參數(shù)λ的值。
在該實施例中,可以預先設置第二預設參數(shù)的默認值,可以通過調整默認值實現(xiàn)對第二預設參數(shù)λ的值的設置。
可選地,預先確定序列圖像中記錄內容的變化程度,該變化程度可以表示序列圖像中記錄內容的劇烈程度,若變化劇烈,則變化程度大;若變化平緩,則變化程度小。在該實施例中可以將變化程度進行量化處理,若序列圖像中記錄內容的變化程度高于第一預定閾值,則調高第二預設參數(shù)λ的默認值,以設置第二預設參數(shù)λ的值;若序列圖像中記錄內容的變化程度低于第二預定閾值,則調低默認值,以設置第二預設參數(shù)λ的值。
另一種可選地,根據(jù)人臉配準算法的準確度設置第二預設參數(shù)λ的值。其中,若人臉配準算法準確度高于第一預定準確度,則調低第二預設參數(shù)的默認值,若人臉配準算法準確度低于第二預定準確度,則調高第二預設參數(shù)的默認值。
在上述實施例中,若人臉配準算法準確度高于第一預定準確度,則確定隨機誤差較小,優(yōu)化問題系統(tǒng)誤差更重要,因此λ較?。环粗?,若人臉配準算法準確度較低,則λ應較大。實際應用中,可設λ初值為1,并根據(jù)人臉配準算法在序列圖像(如視頻)上的表現(xiàn)按如上原則調整至合適值。
再一種可選地,根據(jù)人臉配準算法的準確度和序列圖像中記錄內容的變化程度來設置第二預設參數(shù)λ的值。其中,設置人臉配準算法的準確度和序列圖像中記錄內容的變化程度的權重,對人臉配準算法的準確度和序列圖像中記錄內容的變化程度進行歸一化處理,利用設置的權重對歸一化得到的準確度和變化程度進行加權計算,若加權計算得到的值屬于第一預設區(qū)間,則調高第二預設參數(shù)的默認值,若加權計算得到的值屬于第二預設區(qū)間,則使用第二預設參數(shù)的默認值設置第二預設參數(shù)的值;若加權計算得到的值屬于第三預設區(qū)間,則調低第二預設參數(shù)的默認值。
其中,第一預設區(qū)間、第二預設區(qū)間和第三預設區(qū)間為連續(xù)的區(qū)間??梢愿鶕?jù)人臉跟蹤算法的準確度和穩(wěn)定性調整三個預設區(qū)間的端點??蛇x地,第一預設區(qū)間的左端點為六個區(qū)間端點中的最小值或最大值。
在一種可選的實施例中,基于調整參數(shù)和前序幀圖像的人臉跟蹤信息,確定當前幀圖像的人臉跟蹤信息可以包括:利用如下公式確定當前幀圖像的人臉跟蹤信息Qk,其中,公式為:其中,qi表示調整參數(shù),Ci'表示處理后的調整幀圖像的人臉跟蹤信息,表示均值。
下面結合圖5,以序列圖像為視頻、視頻中的第K幀圖像作為當前幀圖像為例,對本申請的一種可選的實施例進行詳細說明,實際應用中下述這些步驟將對視頻的第1幀至最后1幀依次使用。在該示例中,已知第1至K幀的人臉配準點結果(即上述的人臉特征信息)P1,...,Pk;以及第1至K-1幀的跟蹤后人臉配準點結果(即上述的人臉跟蹤信息)Q1,...,Qk-1,在預先定義的人臉特征點為90個的情況下,所有Pi與Qi均可以為180維向量(每個特征點包括橫縱兩個向量),包含90個關鍵點的橫、縱坐標。
如圖5所示,該實施例可以通過如下步驟實現(xiàn):
步驟S501:選取調整幀圖像。
可選地,從第Qk-M到第Qk-1這M幀圖像中,選取與當前幀圖像Pk的歐氏距離最小的N幀(即上述的N幀調整幀),將調整幀的人臉跟蹤信息記為C1,...,CN。優(yōu)選地,M可取50,N可取10,本申請對此不做限定。
進一步地,若上述的下標中出現(xiàn)小于1的情形,下標全部使用1來代替,例如,得到Q-1則用Q1代替,例如,將第2幀作為當前幀,則K-1為1,K-M=K-50=-49,則全部使用Q1代替。
步驟S502:計算調整幀的人臉跟蹤信息的均值,并利用均值對調整幀的人臉跟蹤信息和當前幀的人臉特征信息進行處理。
可選地,計算C1,...,CN的均值將C1,...,CN與Pk均減去計算結果分別記為C’1,...,C’N和P’k。
步驟S503:利用處理后的調整幀的人臉跟蹤信息和當前幀的人臉特征信息計算回歸系數(shù)。
可選地,通過確定的最小值確定回歸系數(shù)。其中,S為與Pk尺度(即上述實施例中的坐標尺度)的平方成正比的量,可選地,將Pk橫坐標跨度(即上述實施例中的橫坐標尺度)與縱坐標跨度(即上述實施例中的縱坐標尺度)中較大者的平方作為S的取值,λ可以為設定參數(shù)。
其中,λ的選擇原則如下:該參數(shù)主要控制系統(tǒng)誤差與隨機誤差在優(yōu)化問題中所占的權重。若視頻變化劇烈,系統(tǒng)誤差較大,優(yōu)化問題前一項更重要,因此λ應較??;反之若視頻變化平緩,則λ應較大。另一方面,若人臉配準算法準確度較高,則隨機誤差較小,優(yōu)化問題前一項更重要,因此λ較小;反之若人臉配準算法準確度較低,則λ應較大。實際應用中,可設λ初值為1,并根據(jù)實際算法在視頻上的表現(xiàn)按如上原則調整至合適值。
上述實施例中的第一項最小化擬合當前幀的人臉跟蹤結果與當前幀的人臉配準結果Pk(即人臉特征信息)的差異,可控制系統(tǒng)誤差;第二項最小化擬合系數(shù)的平方和,可控制隨機誤差。通過上式的嶺回歸算法,可簡單、快速地求解回歸系數(shù)。
步驟S504:計算當前幀的人臉跟蹤結果。
可選地,上述q1,...,qN計算出結果以后,Qk可采用如下公式計算:
通過上述實施例利用嶺回歸方法對視頻人臉配準點進行跟蹤,可同時滿足穩(wěn)定性、準確性以及高速實時計算的要求。
需要進一步說明的是,在一種可選的實施例中,可以將當前幀的配準點結果Pi與Qi劃分成多組;每組按其各自特點選用不同的λ各自獨立地進行跟蹤,得到的結果再合并成整體的跟蹤結果。
具體地,至少根據(jù)所述序列圖像中記錄內容的變化程度設置所述第二預設參數(shù)λ的值包括:將所述調整幀圖像的人臉跟蹤信息和所述當前幀圖像的人臉特征信息劃分為多組信息;根據(jù)所述序列圖像中記錄內容的變化程度設置各組信息的所述第二預設參數(shù)λ的值,其中,至少兩組信息對應的第二預設參數(shù)的值不同。
可選地,每組信息中包含當前幀的人臉特征信息和部分調整幀圖像的人臉跟蹤信息,如按照序列圖像記錄的內容的變化程度來分組,或者,按照調整幀圖像的人臉跟蹤信息和所述當前幀圖像的人臉特征信息的歐式距離進行分組。
可選地,不同組之間設置的第二預設參數(shù)λ可以不同,可以按照序列圖像記錄的內容的變化程度來分組,例如,可以將序列圖像記錄的內容的變化劇烈的轉折點為基準,進行分組;或者,按照調整幀圖像的人臉跟蹤信息和所述當前幀圖像的人臉特征信息的歐式距離進行分組,進一步地,預設距離區(qū)間,將屬于同一預設距離區(qū)間的歐式距離對應的調整幀分為一組。
又一種可選地,每組信息中包含當前幀的部分人臉特征信息和各個調整幀圖像的部分人臉跟蹤信息,例如,按照預先劃分的人臉區(qū)域將每幀的信息進行劃分,如,預先將人臉的區(qū)域劃分為5個區(qū)域,則可以將所述調整幀圖像的人臉跟蹤信息和所述當前幀圖像的人臉特征信息劃分為五組信息,每組信息對應一個區(qū)域。
根據(jù)上述實施例,分別對各組執(zhí)行利用所述調整幀圖像的人臉跟蹤信息和所述當前幀圖像的人臉特征信息擬合出所述當前幀圖像的調整參數(shù)、以及基于調整參數(shù)和調整幀的人臉跟蹤信息,確定當前幀圖像的人臉跟蹤信息(在該示例中,基于各組的調整參數(shù)和調整幀的人臉跟蹤信息,確定的是該組信息對應的人臉跟蹤信息)的操作,在得到各組的組人臉跟蹤信息之后,將各組對應的組跟蹤信息進行整合得到所述當前幀的人臉跟蹤信息。
通過上述實施例,可以更加準確地確定當前幀的人臉跟蹤結果。
需要說明的是,對于前述的各方法實施例,為了簡單描述,故將其都表述為一系列的動作組合,但是本領域技術人員應該知悉,本發(fā)明并不受所描述的動作順序的限制,因為依據(jù)本發(fā)明,某些步驟可以采用其他順序或者同時進行。其次,本領域技術人員也應該知悉,說明書中所描述的實施例均屬于優(yōu)選實施例,所涉及的動作和模塊并不一定是本發(fā)明所必須的。
通過以上的實施方式的描述,本領域的技術人員可以清楚地了解到根據(jù)上述實施例的方法可借助軟件加必需的通用硬件平臺的方式來實現(xiàn),當然也可以通過硬件,但很多情況下前者是更佳的實施方式?;谶@樣的理解,本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機軟件產(chǎn)品存儲在一個存儲介質(如ROM/RAM、磁碟、光盤)中,包括若干指令用以使得一臺終端設備(可以是手機,計算機,服務器,或者網(wǎng)絡設備等)執(zhí)行本發(fā)明各個實施例所述的方法。
根據(jù)本發(fā)明實施例,還提供了一種用于實施上述人臉跟蹤方法的人臉跟蹤裝置。圖6是根據(jù)本發(fā)明實施例的一種可選的人臉跟蹤裝置的示意圖,如圖6所示,該裝置可以包括:
第一獲取單元61,用于獲取序列圖像中當前幀圖像的人臉特征信息和序列圖像中前序幀圖像的人臉跟蹤信息,其中,前序幀圖像為在序列圖像中位于當前幀圖像之前的幀圖像,人臉特征信息中記錄有當前幀圖像中人臉特征點的信息,人臉跟蹤信息用于記錄前序幀圖像的人臉跟蹤結果;
第一選取模塊71,用于基于當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息,從前序幀圖像中選取調整幀圖像;
擬合模塊73,用于利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù);
第二確定單元65,用于基于調整參數(shù)和前序幀圖像的人臉跟蹤信息,確定當前幀圖像的人臉跟蹤信息。
可選地,擬合模塊包括如圖7所示的第一擬合子模塊731,用于利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息,確定使得當前幀圖像的人臉跟蹤信息與人臉特征信息的誤差最小的調整參數(shù);第二擬合子模塊,用于利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息,確定使得調整參數(shù)的平方和最小的調整參數(shù)。
可選地,擬合模塊包括:第三擬合子模塊,用于利用預定函數(shù)L(q1,…,qN)擬合出當前幀圖像的回歸系數(shù),其中,調整參數(shù)包括回歸系數(shù),其中,qi表示回歸系數(shù),Ci表示調整幀圖像i的人臉跟蹤信息,PK表示當前幀圖像的人臉特征信息,S為第一預設參數(shù),λ為第二預設參數(shù),K、i和N為自然數(shù)。
可選地,裝置還包括:第二獲取單元,用于在利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)之前,獲取當前幀圖像的人臉特征信息中特征點的坐標尺度;第一設置單元,用于基于特征點的坐標尺度設置第一預設參數(shù)S。
可選地,第一設置單元包括:第二選取模塊,用于從特征點的橫坐標尺度和縱坐標尺度中選取值大的坐標尺度;第一確定模塊,用于將選取出的值大的坐標尺度的平方確定為第一預設參數(shù)S。
可選地,裝置還包括:第二設置單元,用于在利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)之前,至少根據(jù)序列圖像中記錄內容的變化程度設置第二預設參數(shù)λ的值。
可選地,第二設置單元包括:第一調整模塊,用于若序列圖像中記錄內容的變化程度高于第一預定閾值,則在默認值的基礎上,調高第二預設參數(shù)λ的值,以設置第二預設參數(shù)λ的值;第二調整模塊,用于若序列圖像中記錄內容的變化程度低于第二預定閾值,則在默認值的基礎上,調低第二預設參數(shù)λ的值,以設置第二預設參數(shù)λ的值。
可選地,第二設置單元包括:分組模塊,用于將調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息劃分為多組信息;第一設置模塊,用于根據(jù)序列圖像中記錄內容的變化程度設置各組信息的第二預設參數(shù)λ的值,其中,至少兩組信息對應的第二預設參數(shù)的值不同;擬合模塊包括:第四擬合子模塊,用于分別擬合出各組信息的調整參數(shù);第二確定單元包括:第二確定模塊,用于確定各組信息對應的組跟蹤信息,將各組對應的組跟蹤信息進行整合得到當前幀的人臉跟蹤信息。
可選地,擬合模塊包括:第一計算子模塊,用于計算多個調整幀圖像的人臉跟蹤信息的均值,其中,人臉跟蹤信息利用多維向量記錄對應幀的人臉跟蹤結果;第二計算子模塊,用于將調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息分別減去均值,得到處理后的調整幀圖像的人臉跟蹤信息和處理后的當前幀圖像的人臉特征信息;第五擬合子模塊,用于利用處理后的調整幀圖像的人臉跟蹤信息和處理后的當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)。
可選地,第一選取模塊包括:第一獲取子模塊,用于從前序幀圖像中,獲取時間距離當前幀圖像最近的M個前序幀圖像;第一確定子模塊,用于基于M個前序幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息,確定M個前序幀圖像中各個前序幀圖像與當前幀圖像的距離;選取子模塊,用于從M個前序幀圖像中,選取與當前幀圖像距離最小的N個調整幀圖像。
可選地,第二確定單元包括:調整模塊,用于利用調整參數(shù)調整每個前序幀圖像的人臉跟蹤信息;累加模塊,用于將各個前序幀圖像的人臉跟蹤信息進行累加,得到當前幀圖像的人臉跟蹤信息。
可選地,第二確定單元包括:第三確定模塊,用于利用如下公式確定當前幀圖像的人臉跟蹤信息Qk,其中,公式為:其中,qi表示調整參數(shù),Ci'表示處理后的調整幀圖像的人臉跟蹤信息,表示均值。
通過上述實施例,基于當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息,確定用于減小當前幀圖像的人臉跟蹤信息的誤差的調整參數(shù),利用該調整參數(shù)可以準確地確定當前幀圖像的人臉跟蹤信息。通過上述實施例,使用前序幀圖像的信息確定調整參數(shù),而不使用后續(xù)幀圖像的信息,不會產(chǎn)生時延,可以保證實時性;并且,在該方案中無需配置復雜的防抖規(guī)則,跟蹤信息的獲取方式簡單;進一步地,上述方案無需標注大量即可確定準確的人臉跟蹤信息,解決了現(xiàn)有技術中人臉配準點跟蹤算法難以同時保證高準確度與低復雜度的問題,實現(xiàn)了使用簡單的處理方式保證人臉跟蹤信息的高準確度的效果。
此處需要說明的是,上述模塊與對應的步驟所實現(xiàn)的示例和應用場景相同,但不限于上述實施例所公開的內容。需要說明的是,上述模塊作為裝置的一部分可以運行在如圖2所示的硬件環(huán)境中,可以通過軟件實現(xiàn),也可以通過硬件實現(xiàn),其中,硬件環(huán)境包括網(wǎng)絡環(huán)境。
根據(jù)本發(fā)明實施例,還提供了一種用于實施上述人臉跟蹤方法的終端。
圖8是根據(jù)本發(fā)明實施例的一種終端的結構框圖,如圖8所示,該終端可以包括:一個或多個(圖中僅示出一個)處理器201、存儲器203、以及傳輸裝置205,如圖8所示,該終端還可以包括輸入輸出設備207。
其中,存儲器203可用于存儲軟件程序以及模塊,如本發(fā)明實施例中的人臉跟蹤方法和裝置對應的程序指令/模塊,處理器201通過運行存儲在存儲器203內的軟件程序以及模塊,從而執(zhí)行各種功能應用以及數(shù)據(jù)處理,即實現(xiàn)上述的人臉跟蹤方法。存儲器203可包括高速隨機存儲器,還可以包括非易失性存儲器,如一個或者多個磁性存儲裝置、閃存、或者其他非易失性固態(tài)存儲器。在一些實例中,存儲器203可進一步包括相對于處理器201遠程設置的存儲器,這些遠程存儲器可以通過網(wǎng)絡連接至終端。上述網(wǎng)絡的實例包括但不限于互聯(lián)網(wǎng)、企業(yè)內部網(wǎng)、局域網(wǎng)、移動通信網(wǎng)及其組合。
上述的傳輸裝置205用于經(jīng)由一個網(wǎng)絡接收或者發(fā)送數(shù)據(jù),還可以用于處理器與存儲器之間的數(shù)據(jù)傳輸。上述的網(wǎng)絡具體實例可包括有線網(wǎng)絡及無線網(wǎng)絡。在一個實例中,傳輸裝置205包括一個網(wǎng)絡適配器(Network Interface Controller,NIC),其可通過網(wǎng)線與其他網(wǎng)絡設備與路由器相連從而可與互聯(lián)網(wǎng)或局域網(wǎng)進行通訊。在一個實例中,傳輸裝置205為射頻(Radio Frequency,RF)模塊,其用于通過無線方式與互聯(lián)網(wǎng)進行通訊。
其中,具體地,存儲器203用于存儲應用程序。
處理器201可以通過傳輸裝置205調用存儲器203存儲的應用程序,以執(zhí)行下述步驟:獲取序列圖像中當前幀圖像的人臉特征信息和序列圖像中前序幀圖像的人臉跟蹤信息,其中,前序幀圖像為在序列圖像中位于當前幀圖像之前的幀圖像,人臉特征信息中記錄有當前幀圖像中人臉特征點的信息,人臉跟蹤信息用于記錄前序幀圖像的人臉跟蹤結果;基于當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息,從前序幀圖像中選取調整幀圖像;利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù);基于調整參數(shù)和前序幀圖像的人臉跟蹤信息,確定當前幀圖像的人臉跟蹤信息。
處理器201還用于執(zhí)行下述至少之一的步驟:利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息,確定使得當前幀圖像的人臉跟蹤信息與人臉特征信息的誤差最小的調整參數(shù);利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息,確定使得調整參數(shù)的平方和最小的調整參數(shù),以利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)。
處理器201還用于執(zhí)行下述步驟:利用預定函數(shù)L(q1,…,qN)擬合出當前幀圖像的回歸系數(shù),以利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù),其中,調整參數(shù)包括回歸系數(shù),其中,qi表示回歸系數(shù),Ci表示調整幀圖像i的人臉跟蹤信息,PK表示當前幀圖像的人臉特征信息,S為第一預設參數(shù),λ為第二預設參數(shù),K、i和N為自然數(shù)。
處理器201還用于執(zhí)行下述步驟:在利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)之前,獲取當前幀圖像的人臉特征信息中特征點的坐標尺度;基于特征點的坐標尺度設置第一預設參數(shù)S。
處理器201還用于執(zhí)行下述步驟:從特征點的橫坐標尺度和縱坐標尺度中選取值大的坐標尺度;將選取出的值大的坐標尺度的平方確定為第一預設參數(shù)S,以基于特征點的坐標尺度確定第一預設參數(shù)S。
處理器201還用于執(zhí)行下述步驟:在利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)之前,至少根據(jù)序列圖像中記錄內容的變化程度設置第二預設參數(shù)λ的值。
處理器201還用于執(zhí)行下述步驟:若序列圖像中記錄內容的變化程度高于第一預定閾值,則在默認值的基礎上,調高第二預設參數(shù)λ的值,以設置第二預設參數(shù)λ的值;若序列圖像中記錄內容的變化程度低于第二預定閾值,則在默認值的基礎上,調低第二預設參數(shù)λ的值,以設置第二預設參數(shù)λ的值,以至少根據(jù)序列圖像中記錄內容的變化程度設置第二預設參數(shù)λ的值。
處理器201還用于執(zhí)行下述步驟:將調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息劃分為多組信息;根據(jù)序列圖像中記錄內容的變化程度設置各組信息的第二預設參數(shù)λ的值,其中,至少兩組信息對應的第二預設參數(shù)的值不同,以至少根據(jù)序列圖像中記錄內容的變化程度設置第二預設參數(shù)λ的值;分別擬合出各組信息的調整參數(shù),以利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù);確定各組信息對應的組跟蹤信息,將各組對應的組跟蹤信息進行整合得到當前幀的人臉跟蹤信息,以確定當前幀圖像的人臉跟蹤信息。
處理器201還用于執(zhí)行下述步驟:計算多個調整幀圖像的人臉跟蹤信息的均值,其中,人臉跟蹤信息利用多維向量記錄對應幀的人臉跟蹤結果;將調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息分別減去均值,得到處理后的調整幀圖像的人臉跟蹤信息和處理后的當前幀圖像的人臉特征信息;利用處理后的調整幀圖像的人臉跟蹤信息和處理后的當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù),以利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù)。
處理器201還用于執(zhí)行下述步驟:從前序幀圖像中,獲取時間距離當前幀圖像最近的M個前序幀圖像;基于M個前序幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息,確定M個前序幀圖像中各個前序幀圖像與當前幀圖像的距離;從M個前序幀圖像中,選取與當前幀圖像距離最小的N個調整幀圖像,以基于當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息,從前序幀圖像中選取調整幀圖像。
處理器201還用于執(zhí)行下述步驟:利用調整參數(shù)調整每個前序幀圖像的人臉跟蹤信息;將各個前序幀圖像的人臉跟蹤信息進行累加,得到當前幀圖像的人臉跟蹤信息,基于調整參數(shù)和前序幀圖像的人臉跟蹤信息,確定當前幀圖像的人臉跟蹤信息。
處理器201還用于執(zhí)行下述步驟:利用如下公式確定當前幀圖像的人臉跟蹤信息Qk,以基于調整參數(shù)和前序幀圖像的人臉跟蹤信息,確定當前幀圖像的人臉跟蹤信息,其中,公式為:其中,qi表示調整參數(shù),Ci'表示處理后的調整幀圖像的人臉跟蹤信息,表示均值。
通過上述實施例,基于當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息,確定用于減小當前幀圖像的人臉跟蹤信息的誤差的調整參數(shù),利用該調整參數(shù)可以準確地確定當前幀圖像的人臉跟蹤信息。通過上述實施例,使用前序幀圖像的信息確定調整參數(shù),而不使用后續(xù)幀圖像的信息,不會產(chǎn)生時延,可以保證實時性;并且,在該方案中無需配置復雜的防抖規(guī)則,跟蹤信息的獲取方式簡單;進一步地,上述方案無需標注大量即可確定準確的人臉跟蹤信息,解決了現(xiàn)有技術中人臉配準點跟蹤算法難以同時保證高準確度與低復雜度的問題,實現(xiàn)了使用簡單的處理方式保證人臉跟蹤信息的高準確度的效果。
可選地,本實施例中的具體示例可以參考上述實施例中所描述的示例,本實施例在此不再贅述。
本領域普通技術人員可以理解,圖8所示的結構僅為示意,終端可以是智能手機(如Android手機、iOS手機等)、平板電腦、掌上電腦以及移動互聯(lián)網(wǎng)設備(Mobile Internet Devices,MID)、PAD等終端設備。圖8其并不對上述電子裝置的結構造成限定。例如,終端還可包括比圖8中所示更多或者更少的組件(如網(wǎng)絡接口、顯示裝置等),或者具有與圖8所示不同的配置。
本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令終端設備相關的硬件來完成,該程序可以存儲于一計算機可讀存儲介質中,存儲介質可以包括:閃存盤、只讀存儲器(Read-Only Memory,ROM)、隨機存取器(Random Access Memory,RAM)、磁盤或光盤等。
本發(fā)明的實施例還提供了一種存儲介質??蛇x地,在本實施例中,上述存儲介質可以用于執(zhí)行人臉跟蹤方法的程序代碼。
可選地,在本實施例中,上述存儲介質可以位于上述實施例所示的網(wǎng)絡中的多個網(wǎng)絡設備中的至少一個網(wǎng)絡設備上。
可選地,在本實施例中,存儲介質被設置為存儲用于執(zhí)行以下步驟的程序代碼:
處理器201可以通過傳輸裝置205調用存儲器203存儲的應用程序,以執(zhí)行下述步驟:獲取序列圖像中當前幀圖像的人臉特征信息和序列圖像中前序幀圖像的人臉跟蹤信息,其中,前序幀圖像為在序列圖像中位于當前幀圖像之前的幀圖像,人臉特征信息中記錄有當前幀圖像中人臉特征點的信息,人臉跟蹤信息用于記錄前序幀圖像的人臉跟蹤結果;基于當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息,從前序幀圖像中選取調整幀圖像;利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù);基于調整參數(shù)和前序幀圖像的人臉跟蹤信息,確定當前幀圖像的人臉跟蹤信息。
可選地,在本實施例中,存儲介質被設置為存儲用于執(zhí)行以下步驟的程序代碼:基于當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息,從前序幀圖像中選取調整幀圖像;利用調整幀圖像的人臉跟蹤信息和當前幀圖像的人臉特征信息擬合出當前幀圖像的調整參數(shù),以基于當前幀圖像的人臉特征信息和前序幀圖像的人臉跟蹤信息,確定當前幀圖像的調整參數(shù)。
可選地,本實施例中的具體示例可以參考上述實施例中所描述的示例,本實施例在此不再贅述。
可選地,在本實施例中,上述存儲介質可以包括但不限于:U盤、只讀存儲器(ROM,Read-Only Memory)、隨機存取存儲器(RAM,Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質。
上述本發(fā)明實施例序號僅僅為了描述,不代表實施例的優(yōu)劣。
上述實施例中的集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時,可以存儲在上述計算機可讀取的存儲介質中?;谶@樣的理解,本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機軟件產(chǎn)品存儲在存儲介質中,包括若干指令用以使得一臺或多臺計算機設備(可為個人計算機、服務器或者網(wǎng)絡設備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。
在本發(fā)明的上述實施例中,對各個實施例的描述都各有側重,某個實施例中沒有詳述的部分,可以參見其他實施例的相關描述。
在本申請所提供的幾個實施例中,應該理解到,所揭露的客戶端,可通過其它的方式實現(xiàn)。其中,以上所描述的裝置實施例僅僅是示意性的,例如所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,單元或模塊的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個網(wǎng)絡單元上。可以根據(jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。
另外,在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn),也可以采用軟件功能單元的形式實現(xiàn)。
以上所述僅是本發(fā)明的優(yōu)選實施方式,應當指出,對于本技術領域的普通技術人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進和潤飾,這些改進和潤飾也應視為本發(fā)明的保護范圍。