本公開涉及視頻技術(shù)領(lǐng)域，尤其涉及視頻數(shù)據(jù)中的關(guān)鍵點定位方法及裝置。

背景技術(shù)：

目前，在對包含某拍攝對象的視頻進行檢測以對每幀圖像中的該對象的關(guān)鍵點進行定位時，往往需要先對視頻中每幀圖像中的對象的位置進行檢測，進而在檢測到每幀圖像中該對象的位置后，再對該幀視頻中該對象的關(guān)鍵點進行定位，但由于需要檢測每幀圖像中對象的位置，因而，每幀圖像中的關(guān)鍵點的定位結(jié)果很容易受對象檢測器的影響，容易導(dǎo)致定位結(jié)果的不穩(wěn)定和不連續(xù)。

技術(shù)實現(xiàn)要素：

本公開實施例提供了視頻數(shù)據(jù)中的關(guān)鍵點定位方法及裝置。所述技術(shù)方案如下：

根據(jù)本公開實施例的第一方面，提供一種視頻數(shù)據(jù)中的關(guān)鍵點定位方法，包括：

當(dāng)獲取到參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)時，根據(jù)所述第一關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)；

當(dāng)獲取所述參考幀圖像中所述目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，根據(jù)預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)確定所述當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)。

在一個實施例中，所述根據(jù)所述第一關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)，包括：

確定所述參考幀圖像中所述目標(biāo)對象與參考方向之間的角度；

將所述參考幀圖像按照所述第一預(yù)設(shè)方向旋轉(zhuǎn)所述角度，得到旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)；

根據(jù)旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)。

在一個實施例中，所述根據(jù)旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)，包括：

將所述當(dāng)前幀圖像按照所述第一預(yù)設(shè)方向旋轉(zhuǎn)所述角度；

根據(jù)旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)，確定旋轉(zhuǎn)后的所述當(dāng)前幀圖像中所述目標(biāo)對象的第三關(guān)鍵點的坐標(biāo)；

根據(jù)所述第三關(guān)鍵點的坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)。

在一個實施例中，所述根據(jù)所述第三關(guān)鍵點的坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)，包括：

將旋轉(zhuǎn)后的所述當(dāng)前幀圖像按照與所述第一預(yù)設(shè)方向相反的第二預(yù)設(shè)方向旋轉(zhuǎn)所述角度，得到旋轉(zhuǎn)后的所述第三關(guān)鍵點的坐標(biāo)；

將旋轉(zhuǎn)后的所述第三關(guān)鍵點的坐標(biāo)確定為所述第二關(guān)鍵點坐標(biāo)。

在一個實施例中，所述當(dāng)獲取參考幀圖像中所述目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，根據(jù)預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)，包括：

當(dāng)獲取參考幀圖像中所述目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，對所述當(dāng)前幀圖像中所述目標(biāo)對象進行檢測，獲得所述當(dāng)前幀圖像中所述目標(biāo)對象所在的目標(biāo)區(qū)域；

根據(jù)所述目標(biāo)區(qū)域和所述預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)，確定所述當(dāng)前幀圖像中所述目標(biāo)對象中各關(guān)鍵點相對于所述目標(biāo)區(qū)域的第二關(guān)鍵點坐標(biāo)，其中，所述目標(biāo)對象包括人臉、寵物臉。

在一個實施例中，所述第一關(guān)鍵點坐標(biāo)包括：所述當(dāng)前幀圖像所在的所述視頻數(shù)據(jù)中與所述當(dāng)前幀圖像相鄰的前一幀圖像中所述目標(biāo)對象中各關(guān)鍵點的坐標(biāo)；

所述預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)包括：所述目標(biāo)對象中各關(guān)鍵點的平均坐標(biāo)。

根據(jù)本公開實施例的第二方面，提供一種視頻數(shù)據(jù)中的關(guān)鍵點定位裝置，包括：

第一確定模塊，用于當(dāng)獲取到參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)時，根據(jù)所述第一關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)；

第二確定模塊，用于當(dāng)獲取所述參考幀圖像中所述目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，根據(jù)預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)確定所述當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)。

在一個實施例中，所述第一確定模塊包括：

第一確定子模塊，用于確定所述參考幀圖像中所述目標(biāo)對象與參考方向之間的角度；

旋轉(zhuǎn)子模塊，用于將所述參考幀圖像按照所述第一預(yù)設(shè)方向旋轉(zhuǎn)所述角度，得到旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)；

第二確定子模塊，用于根據(jù)旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)。

在一個實施例中，所述第二確定子模塊包括：

旋轉(zhuǎn)單元，用于將所述當(dāng)前幀圖像按照所述第一預(yù)設(shè)方向旋轉(zhuǎn)所述角度；

第一確定單元，用于根據(jù)旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)，確定旋轉(zhuǎn)后的所述當(dāng)前幀圖像中所述目標(biāo)對象的第三關(guān)鍵點的坐標(biāo)；

第二確定單元，用于根據(jù)所述第三關(guān)鍵點的坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)。

在一個實施例中，所述第二確定單元包括：

旋轉(zhuǎn)子單元，用于將旋轉(zhuǎn)后的所述當(dāng)前幀圖像按照與所述第一預(yù)設(shè)方向相反的第二預(yù)設(shè)方向旋轉(zhuǎn)所述角度，得到旋轉(zhuǎn)后的所述第三關(guān)鍵點的坐標(biāo)；

確定子單元，用于將旋轉(zhuǎn)后的所述第三關(guān)鍵點的坐標(biāo)確定為所述第二關(guān)鍵點坐標(biāo)。

在一個實施例中，所述第二確定模塊包括：

檢測子模塊，用于當(dāng)獲取參考幀圖像中所述目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，對所述當(dāng)前幀圖像中所述目標(biāo)對象進行檢測，獲得所述當(dāng)前幀圖像中所述目標(biāo)對象所在的目標(biāo)區(qū)域；

第三確定子模塊，用于根據(jù)所述目標(biāo)區(qū)域和所述預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)，確定所述當(dāng)前幀圖像中所述目標(biāo)對象中的關(guān)鍵點相對于所述目標(biāo)區(qū)域的第二關(guān)鍵點坐標(biāo)，其中，所述目標(biāo)對象包括人臉、寵物臉。

在一個實施例中，所述第一關(guān)鍵點坐標(biāo)包括：所述當(dāng)前幀圖像所在的所述視頻數(shù)據(jù)中與所述當(dāng)前幀圖像相鄰的前一幀圖像中所述目標(biāo)對象中各關(guān)鍵點的坐標(biāo)；

所述預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)包括：所述目標(biāo)對象中各關(guān)鍵點的平均坐標(biāo)。

根據(jù)本公開實施例的第三方面，提供了一種視頻數(shù)據(jù)中的關(guān)鍵點定位裝置，包括：

處理器；

用于存儲處理器可執(zhí)行指令的存儲器；

其中，所述處理器被配置為：

當(dāng)獲取到參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)時，根據(jù)所述第一關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)；

當(dāng)獲取所述參考幀圖像中所述目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，根據(jù)預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)確定所述當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)。

本公開的實施例提供的技術(shù)方案可以包括以下有益效果：

本公開的實施例提供的技術(shù)方案，由于視頻具有連續(xù)性，相鄰幀之間的變化較小，關(guān)聯(lián)性較大，同一目標(biāo)對象在參考幀圖像和當(dāng)前幀圖像中的區(qū)域位置大概相同(可能只相差幾個像素點)且每幀圖像中目標(biāo)對象的關(guān)鍵點的坐標(biāo)也是相對于該目標(biāo)對象在該幀圖像中的區(qū)域位置而言的，因而，將視頻數(shù)據(jù)中的參考幀圖像中目標(biāo)對象的關(guān)鍵點的第一關(guān)鍵點坐標(biāo)作為該當(dāng)前幀圖像中相同關(guān)鍵點的參考坐標(biāo)，可以省略對當(dāng)前幀圖像中的目標(biāo)對象的檢測步驟，從而實現(xiàn)在盡可能不需要對當(dāng)前幀圖像中的目標(biāo)對象的位置進行檢測以確定出目標(biāo)對象在該當(dāng)前幀圖像中的區(qū)域位置的基礎(chǔ)上，可以直接根據(jù)參考幀圖像的第一關(guān)鍵點坐標(biāo)，得到當(dāng)前幀圖像的第二關(guān)鍵點坐標(biāo)，以對該當(dāng)前幀圖像中的關(guān)鍵點進行精準(zhǔn)、快速的定位，以盡量避免需要檢測目標(biāo)對象在當(dāng)前幀圖像中的位置區(qū)域，進而避免對象檢測結(jié)果影響最終的第二關(guān)鍵點坐標(biāo)，也可以盡量避免由于需要檢測目標(biāo)對象的位置區(qū)域而造成最終定位結(jié)果的不穩(wěn)定和不連續(xù)。

應(yīng)當(dāng)理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的，并不能限制本公開。

附圖說明

此處的附圖被并入說明書中并構(gòu)成本說明書的一部分，示出了符合本公開的實施例，并與說明書一起用于解釋本公開的原理。

圖1是根據(jù)一示例性實施例示出的一種視頻數(shù)據(jù)中的關(guān)鍵點定位方法的流程圖。

圖2是根據(jù)一示例性實施例示出的另一種視頻數(shù)據(jù)中的關(guān)鍵點定位方法的流程圖。

圖3是根據(jù)一示例性實施例一示出的又一種視頻數(shù)據(jù)中的關(guān)鍵點定位方法的流程圖。

圖4是根據(jù)一示例性實施例一示出的再一種視頻數(shù)據(jù)中的關(guān)鍵點定位方法的流程圖。

圖5是根據(jù)一示例性實施例一示出的再一種視頻數(shù)據(jù)中的關(guān)鍵點定位方法的流程圖。

圖6是根據(jù)一示例性實施例示出的一種視頻數(shù)據(jù)中的關(guān)鍵點定位裝置的框圖。

圖7是根據(jù)一示例性實施例示出的另一種視頻數(shù)據(jù)中的關(guān)鍵點定位裝置的框圖。

圖8是根據(jù)一示例性實施例示出的又一種視頻數(shù)據(jù)中的關(guān)鍵點定位裝置的框圖。

圖9是根據(jù)一示例性實施例示出的再一種視頻數(shù)據(jù)中的關(guān)鍵點定位裝置的框圖。

圖10是根據(jù)一示例性實施例示出的再一種視頻數(shù)據(jù)中的關(guān)鍵點定位裝置的框圖。

圖11是根據(jù)一示例性實施例示出的適用于視頻數(shù)據(jù)中的關(guān)鍵點定位裝置的框圖。

具體實施方式

這里將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不代表與本公開相一致的所有實施方式。相反，它們僅是與如所附權(quán)利要求書中所詳述的、本公開的一些方面相一致的裝置和方法的例子。

目前，在對包含某拍攝對象的視頻進行檢測以對每幀圖像中的該對象的關(guān)鍵點進行定位以對關(guān)鍵點進行處理(如美顏處理)時，往往需要先對視頻中每幀圖像中的對象的位置進行檢測，進而在檢測到每幀圖像中該對象的位置(如該對象在其所在幀圖像中的位置區(qū)域)后，再對該幀視頻中該對象的關(guān)鍵點進行定位(即根據(jù)該對象的關(guān)鍵點的坐標(biāo)進行定位)，但由于需要檢測每幀圖像中該對象的位置，因而，每幀圖像中的關(guān)鍵點的坐標(biāo)和定位結(jié)果很容易受對象檢測器的影響，容易導(dǎo)致定位結(jié)果的不穩(wěn)定和不連續(xù)，例如：在對人臉視頻中每幀人臉圖像中的關(guān)鍵點進行檢測時，由于需要對每幀人臉圖像中的人臉位置先進行檢測，然后再根據(jù)檢測到的人臉的位置來計算人臉中關(guān)鍵點的坐標(biāo)進而實現(xiàn)關(guān)鍵點定位，因而，每幀人臉圖像中的人臉關(guān)鍵點的定位結(jié)果很容易受人臉檢測器的影響，造成定位結(jié)果的不穩(wěn)定和不連續(xù)。

為了解決上述技術(shù)問題，本公開實施例提供了一種視頻數(shù)據(jù)中的關(guān)鍵點定位方法，該方法可用于視頻數(shù)據(jù)中的關(guān)鍵點定位程序、系統(tǒng)或裝置中，且該方法對應(yīng)的執(zhí)行主體可以是手機、平板、計算機等終端或者是服務(wù)器。

圖1是根據(jù)一示例性實施例示出的一種視頻數(shù)據(jù)中的關(guān)鍵點定位方法的流程圖。

如圖1所示，該方法包括步驟S101至步驟S102：

在步驟S101中，當(dāng)獲取到參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)時，根據(jù)第一關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中目標(biāo)對象的第二關(guān)鍵點坐標(biāo)。

其中，第一關(guān)鍵點坐標(biāo)和第二關(guān)鍵點坐標(biāo)用于表示目標(biāo)對象中至少一個相同關(guān)鍵點分別在參考幀圖像和當(dāng)前幀圖像中的坐標(biāo)，具體地，第一關(guān)鍵點坐標(biāo)為參考幀圖像中目標(biāo)對象的至少一個關(guān)鍵點的坐標(biāo)(當(dāng)然，這里的第一關(guān)鍵點坐標(biāo)是對參考幀圖像中目標(biāo)對象的各關(guān)鍵點的坐標(biāo)統(tǒng)稱，即參考幀圖像中目標(biāo)對象中的每個關(guān)鍵點的坐標(biāo)均可稱為第一關(guān)鍵點坐標(biāo))，如目標(biāo)對象為人臉時，第一關(guān)鍵點坐標(biāo)為參考幀圖像中五官(如眼睛、鼻子、眉毛、嘴巴等)的坐標(biāo)，而該第一關(guān)鍵點坐標(biāo)可以用于表示以參考幀圖像中目標(biāo)對象所在區(qū)域為準(zhǔn)，該參考幀圖像中目標(biāo)對象的關(guān)鍵點的坐標(biāo)值，例如：以參考幀圖像中目標(biāo)對象所在的預(yù)設(shè)矩形區(qū)域的左上角頂點為原點，以水平向右的方向為X軸正向，以豎直向下的方向為Y軸正向建立坐標(biāo)系后，參考幀圖像中目標(biāo)對象的各關(guān)鍵點在該坐標(biāo)系中的坐標(biāo)值。

同樣地，第二關(guān)鍵點坐標(biāo)為當(dāng)前幀圖像中目標(biāo)對象的至少一個相同關(guān)鍵點的坐標(biāo)(當(dāng)然，這里的第二關(guān)鍵點坐標(biāo)也是對當(dāng)前幀圖像中目標(biāo)對象的各關(guān)鍵點的坐標(biāo)統(tǒng)稱，即當(dāng)前幀圖像中目標(biāo)對象中的每個關(guān)鍵點的坐標(biāo)均可稱為第二關(guān)鍵點坐標(biāo))，如目標(biāo)對象為人臉時，第二關(guān)鍵點坐標(biāo)為當(dāng)前幀圖像中五官(如眼睛、鼻子、眉毛、嘴巴等)的坐標(biāo)，而該第二關(guān)鍵點坐標(biāo)表征的含義仍然可以為：以上述建立的坐標(biāo)系和參考幀圖像中目標(biāo)對象所在的預(yù)設(shè)矩形區(qū)域為準(zhǔn)，該當(dāng)前幀圖像中目標(biāo)對象的各關(guān)鍵點在該坐標(biāo)系中的坐標(biāo)值。

其次，該當(dāng)前幀圖像可以是包含有該目標(biāo)對象的視頻數(shù)據(jù)中的任一幀圖像，而參考幀圖像可以是該視頻數(shù)據(jù)中與該當(dāng)前幀圖像相鄰的幀圖像，如該參考幀圖像可以是當(dāng)前幀圖像之前的第M幀圖像(如前一幀圖像，其中，M為正整數(shù))或者之后第N幀圖像(如后一幀圖像，其中，N為正整數(shù))，而該目標(biāo)對象可以是人臉、寵物臉，某物體(如車輛等)、動物的某部位(如臉部、腿部等)、某建筑或者某景物等。

由于視頻具有連續(xù)性，相鄰幀之間的變化較小，關(guān)聯(lián)性較大，同一目標(biāo)對象在參考幀圖像和當(dāng)前幀圖像中的區(qū)域位置大概相同(可能只相差幾個像素點)且每幀圖像中目標(biāo)對象的關(guān)鍵點的坐標(biāo)也是相對于該目標(biāo)對象在該幀圖像中的區(qū)域位置而言的，因而，將視頻數(shù)據(jù)中的參考幀圖像中目標(biāo)對象的關(guān)鍵點的第一關(guān)鍵點坐標(biāo)作為該當(dāng)前幀圖像中相同關(guān)鍵點的參考坐標(biāo)，可以省略對當(dāng)前幀圖像中的目標(biāo)對象的檢測步驟，從而實現(xiàn)在盡可能不需要對當(dāng)前幀圖像中的目標(biāo)對象的位置進行檢測以確定出目標(biāo)對象在該當(dāng)前幀圖像中的區(qū)域位置的基礎(chǔ)上，可以直接根據(jù)參考幀圖像的第一關(guān)鍵點坐標(biāo)，得到當(dāng)前幀圖像的第二關(guān)鍵點坐標(biāo)，進而對該當(dāng)前幀圖像中的關(guān)鍵點進行精準(zhǔn)、快速的定位(如以參考幀圖像中目標(biāo)對象所在的區(qū)域建立的上述坐標(biāo)系和該第二關(guān)鍵點坐標(biāo)為依據(jù)即可實現(xiàn)定位)，以盡量避免需要檢測目標(biāo)對象在當(dāng)前幀圖像中的位置區(qū)域，進而避免對象檢測結(jié)果影響最終的第二關(guān)鍵點坐標(biāo)，也可以盡量避免由于需要檢測目標(biāo)對象的位置區(qū)域而造成最終定位結(jié)果的不穩(wěn)定和不連續(xù)。

另外，目標(biāo)對象的至少一個關(guān)鍵點因目標(biāo)對象而異，例如：當(dāng)目標(biāo)對象是人臉時，至少一個關(guān)鍵點可以是人臉的五官，當(dāng)目標(biāo)對象為某物體時，關(guān)鍵點可以是該物體的重要結(jié)構(gòu)部位，當(dāng)目標(biāo)對象為某建筑時，該關(guān)鍵點可以是該建筑的標(biāo)志性設(shè)計部位等。

進一步地，上述步驟S101可以重復(fù)執(zhí)行，以分別獲取視頻數(shù)據(jù)中每幀圖像中目標(biāo)對象的第二關(guān)鍵點坐標(biāo)，且如果該參考幀圖像為該視頻數(shù)據(jù)中的當(dāng)前幀圖像的前一幀圖像，則在依次獲取視頻數(shù)據(jù)中每幀圖像的第二關(guān)鍵點坐標(biāo)后，每幀圖像均將依次成為其緊鄰的后一幀圖像的參考幀圖像(此時，每幀圖像的第二關(guān)鍵點坐標(biāo)將成為其緊鄰的后一幀圖像可以參考的第一關(guān)鍵點坐標(biāo))，這樣，如果每幀圖像的關(guān)鍵點坐標(biāo)均不獲取失敗(即成功獲取每幀圖像的關(guān)鍵點坐標(biāo))，則在獲取該視頻數(shù)據(jù)中每幀圖像中目標(biāo)對象的關(guān)鍵點坐標(biāo)并對每幀圖像中的關(guān)鍵點進行定位的整個過程中，僅需要檢測視頻數(shù)據(jù)中初始幀圖像中目標(biāo)對象的位置區(qū)域而后續(xù)的其他所有幀圖像均可實現(xiàn)在不需要檢測目標(biāo)對象的位置區(qū)域的基礎(chǔ)上，直接根據(jù)前一幀圖像的關(guān)鍵點坐標(biāo)獲取其第二關(guān)鍵點坐標(biāo)，并根據(jù)初始幀圖像中目標(biāo)對象的位置區(qū)域和其第二關(guān)鍵點坐標(biāo)進行定位。

最后，由于視頻數(shù)據(jù)中每幀圖像的尺寸大小均相同，因而，當(dāng)前幀圖像與參考幀圖像(如當(dāng)前幀圖像的前一幀圖像)的尺寸大小特相同，所以上述實施例中所描述的第一關(guān)鍵點坐標(biāo)和第二關(guān)鍵點坐標(biāo)也可以是以整個圖像為準(zhǔn)，即第一關(guān)鍵點坐標(biāo)可以是以參考幀圖像的左上角頂點為原點，以水平向右的方向為X軸正向，以豎直向下的方向為Y軸正向建立坐標(biāo)系后，各關(guān)鍵點的坐標(biāo)值，同樣地，第二關(guān)鍵點坐標(biāo)也可以是以該當(dāng)前幀圖像為坐標(biāo)系得到的目標(biāo)對象中各關(guān)鍵點的坐標(biāo)值。

在步驟S102中，當(dāng)獲取參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，根據(jù)預(yù)設(shè)幀中目標(biāo)對象的關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中目標(biāo)對象的第二關(guān)鍵點坐標(biāo)。

當(dāng)獲取參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，可以以該預(yù)設(shè)幀中目標(biāo)對象的至少一個關(guān)鍵點各自的關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中目標(biāo)對象的第二關(guān)鍵點坐標(biāo)，從而根據(jù)預(yù)設(shè)幀圖像中目標(biāo)對象的關(guān)鍵點坐標(biāo)實現(xiàn)對當(dāng)前幀圖像中目標(biāo)對象的關(guān)鍵點的定位。

在一個實施例中，上述圖1所示的步驟S101可被執(zhí)行為：

獲取當(dāng)前幀圖像中關(guān)鍵點的特征向量。

該關(guān)鍵點的特征向量可以是該關(guān)鍵點的HOG(Histogram of Oriented Gradient，方向梯度直方圖)特征或者SIFT特征(Scale-invariant feature transform，尺度不變特征變換)的特征向量，上述特征向量可以通過SDM算法來獲取。

根據(jù)關(guān)鍵點的特征向量，對第一關(guān)鍵點坐標(biāo)進行調(diào)整，獲得第二關(guān)鍵點坐標(biāo)。

在獲得該當(dāng)前幀圖像中關(guān)鍵點的特征向量之后，可以利用該特征向量對第一關(guān)鍵點坐標(biāo)進行線性回歸，以對該第一關(guān)鍵點坐標(biāo)進行迭代求解、迭代更新，從而獲得該第二關(guān)鍵點坐標(biāo)。例如：可以使用SDM(supervised descent method，有監(jiān)督的梯度下降方法)算法和該特征向量，對該第一關(guān)鍵點坐標(biāo)進行多次調(diào)整，以獲得該第二關(guān)鍵點坐標(biāo)。

例如，可以使用SDM提供的線性回歸函數(shù)y＝ax1+bx2+……+pxn對該第一關(guān)鍵點坐標(biāo)進行調(diào)整，其中，x1、x2……xn分別是特征向量中每一緯度的值(即參考幀圖像中該關(guān)鍵點的特征向量為x1x2…xi…xn，一共有n個緯度，長度為n，xi表示特征向量在第i個維度的值)，a、b……p分別是預(yù)設(shè)參數(shù)，y表示該第二關(guān)鍵點坐標(biāo)與該第一關(guān)鍵點坐標(biāo)之間的位置差，因而，對該第一關(guān)鍵點坐標(biāo)進行調(diào)整時，可以將該第一關(guān)鍵點坐標(biāo)與y進行求和即得到了第二關(guān)鍵點坐標(biāo)，而為了使第二關(guān)鍵點坐標(biāo)的結(jié)果更為準(zhǔn)確，一般需要使用該線性回歸函數(shù)對該第一關(guān)鍵點坐標(biāo)回歸4至6次，即可得到準(zhǔn)確的第二關(guān)鍵點坐標(biāo)。

圖2是根據(jù)一示例性實施例示出的另一種視頻數(shù)據(jù)中的關(guān)鍵點定位方法的流程圖。

如圖2所示，在一個實施例中，上述步驟S101可以包括步驟A1至步驟A3：

在步驟A1中，確定參考幀圖像中目標(biāo)對象與參考方向之間的角度。

其中，該參考方向可以是水平向右的方向，而在確定該角度時，可以以參考幀圖像中目標(biāo)對象中某目標(biāo)關(guān)鍵點的第一關(guān)鍵點坐標(biāo)來確定，或者依據(jù)目標(biāo)關(guān)鍵點的顯示方向等標(biāo)準(zhǔn)來確定，例如：如果目標(biāo)對象為人臉，則該目標(biāo)關(guān)鍵點可以是左右眼睛、嘴角、鼻子、人耳等，相應(yīng)地，目標(biāo)關(guān)鍵點所確定的目標(biāo)對象與參考方向之間的角度分別為左右眼的中心所在的直線的方向與參考方向之間的角度，嘴角的兩端所確定的直線的方向與參考方向之間的角度，鼻子的左右兩端所確定的直線的方向與參考方向之間的角度，兩只人耳上沿所確定的直線的方向與參考方向之間的角度。

在步驟A2中，將參考幀圖像按照第一預(yù)設(shè)方向旋轉(zhuǎn)角度，得到旋轉(zhuǎn)后的第一關(guān)鍵點坐標(biāo)(即旋轉(zhuǎn)后的參考幀圖像中各關(guān)鍵點的坐標(biāo))。

在將參考幀圖像按照第一預(yù)設(shè)方向旋轉(zhuǎn)該角度后，目標(biāo)關(guān)鍵點所在的直線的方向與參考方向基本重合，使得參考幀圖像處于擺正狀態(tài)(如該目標(biāo)對象為人臉時，人臉為正臉，幾乎不偏不歪)。

在步驟A3中，根據(jù)旋轉(zhuǎn)后的第一關(guān)鍵點坐標(biāo)，確定第二關(guān)鍵點坐標(biāo)。

由于關(guān)鍵點定位算法在訓(xùn)練時，所使用的樣本圖像中的目標(biāo)對象大都是某種姿態(tài)(如目標(biāo)關(guān)鍵點所確定的方向與參考方向重合使得圖像中的目標(biāo)對象看起來處于正放狀態(tài))，因而，在獲取第二關(guān)鍵點坐標(biāo)時，需要獲取參考幀圖像中目標(biāo)關(guān)鍵點所確定的目標(biāo)對象與參考方向之間的角度，然后將該參考幀圖像按照第一預(yù)設(shè)方向在平面內(nèi)(如以該前一幀圖像中左上角為準(zhǔn))旋轉(zhuǎn)該角度，使得參考幀圖像中目標(biāo)對象的姿態(tài)與樣本圖像中的目標(biāo)對象的相近甚至相同(如參考幀圖像中目標(biāo)對象也處于正放狀態(tài))，從而得到旋轉(zhuǎn)后的第一關(guān)鍵點坐標(biāo)，進而根據(jù)該旋轉(zhuǎn)后的第一關(guān)鍵點坐標(biāo)即可獲得更為準(zhǔn)確的第二關(guān)鍵點坐標(biāo)，從而避免目標(biāo)對象的姿態(tài)變化而影響第二關(guān)鍵點坐標(biāo)的準(zhǔn)確性進而導(dǎo)致當(dāng)前幀圖像中的關(guān)鍵點的定位失敗或不準(zhǔn)確。

圖3是根據(jù)一示例性實施例一示出的又一種視頻數(shù)據(jù)中的關(guān)鍵點定位方法的流程圖。

如圖3所示，在一個實施例中，上述圖2所示的步驟A3可以包括步驟B1至步驟B3：

在步驟B1中，將當(dāng)前幀圖像按照第一預(yù)設(shè)方向旋轉(zhuǎn)角度。

在步驟B2中，根據(jù)旋轉(zhuǎn)后的第一關(guān)鍵點坐標(biāo)，確定旋轉(zhuǎn)后的當(dāng)前幀圖像中目標(biāo)對象的第三關(guān)鍵點的坐標(biāo)。

在步驟B3中，根據(jù)第三關(guān)鍵點的坐標(biāo)，確定第二關(guān)鍵點坐標(biāo)。

在根據(jù)該旋轉(zhuǎn)后的第一關(guān)鍵點坐標(biāo)獲取第二關(guān)鍵點坐標(biāo)時，為了防止由于當(dāng)前幀圖像中目標(biāo)對象的姿態(tài)不準(zhǔn)確而影響第二關(guān)鍵點坐標(biāo)的準(zhǔn)確性進而導(dǎo)致當(dāng)前幀圖像中的關(guān)鍵點的定位失敗或不準(zhǔn)確，還需要將當(dāng)前幀圖像也按照該第一預(yù)設(shè)方向在平面內(nèi)(如以該當(dāng)前幀圖像中左上角為準(zhǔn))旋轉(zhuǎn)該角度，進而使得當(dāng)前幀圖像中目標(biāo)關(guān)鍵點所確定的方向也基本與參考方向重合，然后根據(jù)該旋轉(zhuǎn)后的第一關(guān)鍵點坐標(biāo)，確定旋轉(zhuǎn)后的當(dāng)前幀圖像的關(guān)鍵點的第三關(guān)鍵點坐標(biāo)，然后以該第三關(guān)鍵點坐標(biāo)為依據(jù)，還原出較為準(zhǔn)確的該當(dāng)前幀圖像未被旋轉(zhuǎn)時，當(dāng)前幀圖像中目標(biāo)對象的各關(guān)鍵點的原始坐標(biāo)即各關(guān)鍵點的第二關(guān)鍵點坐標(biāo)。

例如：當(dāng)目標(biāo)對象為人臉，使用的關(guān)鍵點定位算法為SDM、目標(biāo)關(guān)鍵點為左右眼睛時，如果人臉關(guān)鍵點定位算法大多是根據(jù)正臉來訓(xùn)練(即左右眼睛的中心所確定的直線的方向為水平方向)的，則得到前一幀圖像(即參考幀圖像)中的人臉關(guān)鍵點(如鼻子)的坐標(biāo)P_t-1(即第一關(guān)鍵點坐標(biāo))后，為了得到當(dāng)前幀圖像的第二關(guān)鍵點坐標(biāo)(即鼻子在當(dāng)前幀圖像中的坐標(biāo))，需要進行以下操作步驟：

<1>首先計算出前一幀圖像中兩個眼睛中心所確定直線的方向與水平方向(x軸)的夾角α。

<2>然后將當(dāng)前幀圖像F_t旋轉(zhuǎn)α角度，得到旋轉(zhuǎn)后的圖像F′_t，使當(dāng)前幀圖像中兩個眼睛中心所在的直線基本處于水平方向。相應(yīng)的也將前一幀圖像旋轉(zhuǎn)α角度，得到旋轉(zhuǎn)后的坐標(biāo)P′_t-1(即旋轉(zhuǎn)后的第一關(guān)鍵點坐標(biāo))。

<3>在旋轉(zhuǎn)后的圖像F′_t中進行人臉關(guān)鍵點的求解，具體步驟可以為：用旋轉(zhuǎn)后的前一幀圖像的人臉關(guān)鍵點坐標(biāo)P′_t-1來做初始化，得到旋轉(zhuǎn)后的圖像F′_t(即旋轉(zhuǎn)后的當(dāng)前幀圖像)中的人臉關(guān)鍵點坐標(biāo)為(即第三關(guān)鍵點坐標(biāo))。

<4>以旋轉(zhuǎn)后的圖像F′_t(即旋轉(zhuǎn)后的當(dāng)前幀圖像)中的人臉關(guān)鍵點坐標(biāo)為(即第三關(guān)鍵點坐標(biāo))，還原出較為準(zhǔn)確的該當(dāng)前幀圖像未被旋轉(zhuǎn)時，當(dāng)前幀圖像中目標(biāo)對象的各關(guān)鍵點的原始坐標(biāo)即各關(guān)鍵點的第二關(guān)鍵點坐標(biāo)。

圖4是根據(jù)一示例性實施例一示出的再一種視頻數(shù)據(jù)中的關(guān)鍵點定位方法的流程圖。

如圖4所示，在一個實施例中，上述圖3中的步驟B3可以包括步驟C1和步驟C2：

在步驟C1中，將旋轉(zhuǎn)后的當(dāng)前幀圖像按照與第一預(yù)設(shè)方向相反的第二預(yù)設(shè)方向旋轉(zhuǎn)角度，得到旋轉(zhuǎn)后的第三關(guān)鍵點的坐標(biāo)，其中，如果第一預(yù)設(shè)方向為順時針方向，則第二預(yù)設(shè)方向為逆時針方向，如果第一預(yù)設(shè)方向為逆時針方向，則第二預(yù)設(shè)方向為順時針方向。

在步驟C2中，將旋轉(zhuǎn)后的第三關(guān)鍵點的坐標(biāo)確定為第二關(guān)鍵點坐標(biāo)。

由于是為了獲得未旋轉(zhuǎn)的當(dāng)前幀圖像中關(guān)鍵點的第二關(guān)鍵點坐標(biāo)，因而在獲得旋轉(zhuǎn)后的當(dāng)前幀圖像中關(guān)鍵點的第三關(guān)鍵點坐標(biāo)后，可以將旋轉(zhuǎn)后的當(dāng)前幀圖像按照與該第一預(yù)設(shè)方向相反的第二預(yù)設(shè)方向旋轉(zhuǎn)該角度，以還原出旋轉(zhuǎn)前當(dāng)前幀圖像的第二關(guān)鍵點坐標(biāo)，即將旋轉(zhuǎn)后的第三關(guān)鍵點的坐標(biāo)直接確定為第二關(guān)鍵點坐標(biāo)。

圖5是根據(jù)一示例性實施例一示出的再一種視頻數(shù)據(jù)中的關(guān)鍵點定位方法的流程圖。

如圖5所示，在一個實施例中，上述圖1所示的步驟S102可以包括步驟D1和步驟D2：

在步驟D1中，當(dāng)獲取參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，對當(dāng)前幀圖像中目標(biāo)對象進行檢測，獲得當(dāng)前幀圖像中目標(biāo)對象所在的目標(biāo)區(qū)域。

其中，該目標(biāo)區(qū)域指示了該目標(biāo)對象在該當(dāng)前幀圖像中所占區(qū)域的位置信息，如該目標(biāo)區(qū)域的四個頂點的位置和/或該目標(biāo)區(qū)域的邊長等。

參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗可能表征：由參考幀圖像之前的第M幀圖像或者之后第N幀圖像的關(guān)鍵點坐標(biāo)為準(zhǔn)得到該參考幀圖像的第一關(guān)鍵點坐標(biāo)與其第M幀圖像或者第N幀圖像中相同關(guān)鍵點的關(guān)鍵點坐標(biāo)相差過大，如大于某個閾值(當(dāng)然，第一關(guān)鍵點坐標(biāo)失敗的原因很多，可能是該參考幀圖像與其第M幀圖像或者第N幀圖像中目標(biāo)對象的姿態(tài)變化差異太大或者當(dāng)前幀圖像與其前第M幀圖像或者第N幀圖像中目標(biāo)對象不同、或者該當(dāng)前幀圖像即為初始幀圖像等)，例如：由參考幀圖像的前一幀圖像中的大部分關(guān)鍵點的關(guān)鍵點坐標(biāo)為準(zhǔn)得到的該參考幀圖像中相同關(guān)鍵點的第一關(guān)鍵點坐標(biāo)與該參考幀圖像的前一幀圖像中相應(yīng)關(guān)鍵點的關(guān)鍵點坐標(biāo)均大于該閾值，則可以說明參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗。

另外，由于獲取參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，無法再以參考幀圖像中目標(biāo)對象所在的位置區(qū)域和相對于該位置區(qū)域的第一關(guān)鍵點坐標(biāo)為參考而得到該第二關(guān)鍵點坐標(biāo)，因而，需要重新檢測目標(biāo)對象在該當(dāng)前幀圖像中的位置區(qū)域，以盡可能地確保最終得到的第二關(guān)鍵點坐標(biāo)和以此為依據(jù)定位出的關(guān)鍵點比較精準(zhǔn)。

在步驟D2中，根據(jù)目標(biāo)區(qū)域和預(yù)設(shè)幀中目標(biāo)對象的關(guān)鍵點坐標(biāo)，確定當(dāng)前幀圖像中目標(biāo)對象中各關(guān)鍵點相對于該目標(biāo)區(qū)域的第二關(guān)鍵點坐標(biāo)，其中，目標(biāo)對象包括人臉、寵物臉，而該預(yù)設(shè)幀可以是該視頻數(shù)據(jù)中的初始幀圖像(即該視頻數(shù)據(jù)中的第一幀圖像)或者是該視頻數(shù)據(jù)中的某特定幀圖像。

當(dāng)獲取參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，為了避免當(dāng)前幀圖像中關(guān)鍵點定位失敗，可以對該當(dāng)前幀圖像中的目標(biāo)對象進行重新檢測，以確定出該當(dāng)前幀圖像中目標(biāo)對象的目標(biāo)區(qū)域，進而根據(jù)該目標(biāo)區(qū)域和預(yù)設(shè)幀中目標(biāo)對象的關(guān)鍵點坐標(biāo)，得到當(dāng)前幀圖像中目標(biāo)對象中各關(guān)鍵點相對于該目標(biāo)區(qū)域的第二關(guān)鍵點坐標(biāo)，并實現(xiàn)通過該目標(biāo)區(qū)域和第二關(guān)鍵點坐標(biāo)對該當(dāng)前幀圖像中的關(guān)鍵點進行精準(zhǔn)定位。

上述根據(jù)目標(biāo)區(qū)域和預(yù)設(shè)幀中目標(biāo)對象的關(guān)鍵點坐標(biāo)，確定當(dāng)前幀圖像中目標(biāo)對象的第二關(guān)鍵點坐標(biāo)，以對當(dāng)前幀圖像中的關(guān)鍵點進行定位的具體實現(xiàn)過程可以是：

在該當(dāng)前幀圖像中確定出該目標(biāo)區(qū)域后，以該目標(biāo)區(qū)域的左上角為原點，以水平向右的方向為X軸正向，以豎直向下的方向為Y軸正向建立坐標(biāo)系，進而根據(jù)該預(yù)設(shè)幀中目標(biāo)對象的關(guān)鍵點坐標(biāo)，得到當(dāng)前幀圖像中各關(guān)鍵在該目標(biāo)區(qū)域所建立的坐標(biāo)系中的第二關(guān)鍵點坐標(biāo)，以便于根據(jù)以目標(biāo)區(qū)域所建立的坐標(biāo)系和該第二關(guān)鍵點坐標(biāo)，即可定位出當(dāng)前幀圖像中目標(biāo)對象的關(guān)鍵點。

在一個實施例中，第一關(guān)鍵點坐標(biāo)包括：當(dāng)前幀圖像所在的視頻數(shù)據(jù)中與當(dāng)前幀圖像相鄰的前一幀圖像中目標(biāo)對象中各關(guān)鍵點的坐標(biāo)。

由于視頻具有連續(xù)性，相鄰幀之間的變化較小，關(guān)聯(lián)性較大，同一目標(biāo)對象在參考幀圖像和當(dāng)前幀圖像中的區(qū)域位置大概相同(可能只相差幾個像素點)且每幀圖像中目標(biāo)對象的關(guān)鍵點的坐標(biāo)也是相對于該目標(biāo)對象在該幀圖像中的區(qū)域位置而言的，因而，將視頻數(shù)據(jù)中的該當(dāng)前幀圖像的前一幀圖像中目標(biāo)對象的關(guān)鍵點的第一關(guān)鍵點坐標(biāo)作為該當(dāng)前幀圖像中相同關(guān)鍵點的參考坐標(biāo)，可以省略對當(dāng)前幀圖像中的目標(biāo)對象的檢測步驟，從而實現(xiàn)在盡可能不需要對當(dāng)前幀圖像中的目標(biāo)對象進行檢測以確定出目標(biāo)對象在該當(dāng)前幀圖像中的區(qū)域位置的基礎(chǔ)上，可以直接根據(jù)前一幀圖像的第一關(guān)鍵點坐標(biāo)，得到當(dāng)前幀圖像的第二關(guān)鍵點坐標(biāo)，進而根據(jù)該第二關(guān)鍵點坐標(biāo)和參考幀圖像中目標(biāo)對象的位置區(qū)域?qū)υ摦?dāng)前幀圖像中的關(guān)鍵點進行精準(zhǔn)、快速的定位。

預(yù)設(shè)幀中目標(biāo)對象的關(guān)鍵點坐標(biāo)包括：目標(biāo)對象中各關(guān)鍵點的平均坐標(biāo)。

其中，目標(biāo)對象中各關(guān)鍵點的平均坐標(biāo)的獲取方式可以如下：

對該目標(biāo)對象進行拍攝得到的尺寸相同的海量圖像；

根據(jù)每張圖像中目標(biāo)對象的各關(guān)鍵點在目標(biāo)對象所在區(qū)域中的坐標(biāo)值，得到目標(biāo)對象的各關(guān)鍵點的平均坐標(biāo)值，例如：當(dāng)目標(biāo)對象為人臉時，可以根據(jù)海量尺寸大小相同的人臉圖像中關(guān)鍵點的(五官)坐標(biāo)值，得到五官的平均坐標(biāo)值(即分別得到鼻子的平均坐標(biāo)值、眼睛的平均坐標(biāo)值等)，從而得到預(yù)設(shè)幀中目標(biāo)對象的關(guān)鍵點坐標(biāo)。

最后，上述實施例可以單獨實施，也可以相互結(jié)合后實施。

對應(yīng)本公開實施例提供的上述視頻數(shù)據(jù)中的關(guān)鍵點定位方法，本公開實施例還提供一種視頻數(shù)據(jù)中的關(guān)鍵點定位裝置，如圖6所示，該裝置包括第一確定模塊601和第二確定模塊602：

第一確定模塊601，被配置為當(dāng)獲取到參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)時，根據(jù)第一關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中目標(biāo)對象的第二關(guān)鍵點坐標(biāo)；

第二確定模塊602，被配置為當(dāng)獲取參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，根據(jù)預(yù)設(shè)幀中目標(biāo)對象的關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中目標(biāo)對象的第二關(guān)鍵點坐標(biāo)。

圖7是根據(jù)一示例性實施例示出的另一種視頻數(shù)據(jù)中的關(guān)鍵點定位裝置的框圖。

如圖7所示，在一個實施例中，上述圖6所示的第一確定模塊601可以包括第一確定子模塊6011、旋轉(zhuǎn)子模塊6012和第二確定子模塊6013：

第一確定子模塊6011，被配置為確定參考幀圖像中目標(biāo)對象與參考方向之間的角度；

旋轉(zhuǎn)子模塊6012，被配置為將參考幀圖像按照第一預(yù)設(shè)方向旋轉(zhuǎn)角度，得到旋轉(zhuǎn)后的第一關(guān)鍵點坐標(biāo)；

第二確定子模塊6013，被配置為根據(jù)旋轉(zhuǎn)后的第一關(guān)鍵點坐標(biāo)，確定第二關(guān)鍵點坐標(biāo)。

圖8是根據(jù)一示例性實施例示出的又一種視頻數(shù)據(jù)中的關(guān)鍵點定位裝置的框圖。

如圖8所示，在一個實施例中，第二確定子模塊6013可以包括旋轉(zhuǎn)單元60131、第一確定單元60132和第二確定單元60133：

旋轉(zhuǎn)單元60131，被配置為將當(dāng)前幀圖像按照第一預(yù)設(shè)方向旋轉(zhuǎn)角度；

第一確定單元60132，被配置為根據(jù)旋轉(zhuǎn)后的第一關(guān)鍵點坐標(biāo)，確定旋轉(zhuǎn)后的當(dāng)前幀圖像中目標(biāo)對象的第三關(guān)鍵點的坐標(biāo)；

第二確定單元60133，被配置為根據(jù)第三關(guān)鍵點的坐標(biāo)，確定第二關(guān)鍵點坐標(biāo)。

圖9是根據(jù)一示例性實施例示出的再一種視頻數(shù)據(jù)中的關(guān)鍵點定位裝置的框圖。

如圖9所示，在一個實施例中，上述圖8所示的第二確定單元60133可以包括旋轉(zhuǎn)子單元601331和確定子單元601332：

旋轉(zhuǎn)子單元601331，被配置為將旋轉(zhuǎn)后的當(dāng)前幀圖像按照與第一預(yù)設(shè)方向相反的第二預(yù)設(shè)方向旋轉(zhuǎn)角度，得到旋轉(zhuǎn)后的第三關(guān)鍵點的坐標(biāo)；

確定子單元601332，被配置為將旋轉(zhuǎn)后的第三關(guān)鍵點的坐標(biāo)確定為第二關(guān)鍵點坐標(biāo)。

圖10是根據(jù)一示例性實施例示出的再一種視頻數(shù)據(jù)中的關(guān)鍵點定位裝置的框圖。

如圖10所示，在一個實施例中，上述圖6所示的第二確定模塊602可以包括：

檢測子模塊6021，被配置為當(dāng)獲取參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，對當(dāng)前幀圖像中目標(biāo)對象進行檢測，獲得當(dāng)前幀圖像中目標(biāo)對象所在的目標(biāo)區(qū)域；

第三確定子模塊6022，被配置為根據(jù)目標(biāo)區(qū)域和預(yù)設(shè)幀中目標(biāo)對象的關(guān)鍵點坐標(biāo)，確定當(dāng)前幀圖像中目標(biāo)對象中各關(guān)鍵點相對于目標(biāo)區(qū)域的第二關(guān)鍵點坐標(biāo)，其中，目標(biāo)對象包括人臉、寵物臉。

在一個實施例中，第一關(guān)鍵點坐標(biāo)包括：當(dāng)前幀圖像所在的視頻數(shù)據(jù)中與當(dāng)前幀圖像相鄰的前一幀圖像中目標(biāo)對象中各關(guān)鍵點的坐標(biāo)；

預(yù)設(shè)幀中目標(biāo)對象的關(guān)鍵點坐標(biāo)包括：目標(biāo)對象中各關(guān)鍵點的平均坐標(biāo)。

根據(jù)本公開實施例的第三方面，提供一種視頻數(shù)據(jù)中的關(guān)鍵點定位裝置，包括：

處理器；

用于存儲處理器可執(zhí)行指令的存儲器；

其中，處理器被配置為：

當(dāng)獲取到參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)時，根據(jù)所述第一關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)；

當(dāng)獲取所述參考幀圖像中所述目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，根據(jù)預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)確定所述當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)。

上述處理器還可被配置為：

所述根據(jù)所述第一關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)，包括：

確定所述參考幀圖像中所述目標(biāo)對象與參考方向之間的角度；

將所述參考幀圖像按照所述第一預(yù)設(shè)方向旋轉(zhuǎn)所述角度，得到旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)；

根據(jù)旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)。

上述處理器還可被配置為：

所述根據(jù)旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)，包括：

將所述當(dāng)前幀圖像按照所述第一預(yù)設(shè)方向旋轉(zhuǎn)所述角度；

根據(jù)旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)，確定旋轉(zhuǎn)后的所述當(dāng)前幀圖像中所述目標(biāo)對象的第三關(guān)鍵點的坐標(biāo)；

根據(jù)所述第三關(guān)鍵點的坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)。

上述處理器還可被配置為：

所述根據(jù)所述第三關(guān)鍵點的坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)，包括：

將旋轉(zhuǎn)后的所述當(dāng)前幀圖像按照與所述第一預(yù)設(shè)方向相反的第二預(yù)設(shè)方向旋轉(zhuǎn)所述角度，得到旋轉(zhuǎn)后的所述第三關(guān)鍵點的坐標(biāo)；

將旋轉(zhuǎn)后的所述第三關(guān)鍵點的坐標(biāo)確定為所述第二關(guān)鍵點坐標(biāo)。

上述處理器還可被配置為：

所述當(dāng)獲取參考幀圖像中所述目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，根據(jù)預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)，包括：

當(dāng)獲取參考幀圖像中所述目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，對所述當(dāng)前幀圖像中所述目標(biāo)對象進行檢測，獲得所述當(dāng)前幀圖像中所述目標(biāo)對象所在的目標(biāo)區(qū)域；

根據(jù)所述目標(biāo)區(qū)域和所述預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)，確定當(dāng)前幀圖像中目標(biāo)對象中各關(guān)鍵點相對于目標(biāo)區(qū)域的第二關(guān)鍵點坐標(biāo)，其中，所述目標(biāo)對象包括人臉、寵物臉。

上述處理器還可被配置為：

所述第一關(guān)鍵點坐標(biāo)包括：所述當(dāng)前幀圖像所在的所述視頻數(shù)據(jù)中與所述當(dāng)前幀圖像相鄰的前一幀圖像中所述目標(biāo)對象中各關(guān)鍵點的坐標(biāo)；

所述預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)包括：所述目標(biāo)對象中各關(guān)鍵點的平均坐標(biāo)。

圖11是根據(jù)一示例性實施例示出的一種用于視頻數(shù)據(jù)中的關(guān)鍵點定位裝置1100的框圖，該裝置適用于終端設(shè)備。例如，裝置1100可以是移動電話，計算機，數(shù)字廣播終端，消息收發(fā)設(shè)備，游戲控制臺，平板設(shè)備，醫(yī)療設(shè)備，健身設(shè)備，個用戶數(shù)字助理等。

參照圖11，裝置1100可以包括以下一個或至少兩個組件：處理組件1102，存儲器1104，電源組件1106，多媒體組件1108，音頻組件1110，輸入/輸出(I/O)接口1112，傳感器組件1114，以及通信組件1116。

處理組件1102通?？刂蒲b置1100的整體操作，諸如與顯示，電話呼叫，數(shù)據(jù)通信，相機操作和記錄操作相關(guān)聯(lián)的操作。處理組件1102可以包括一個或至少兩個處理器1120來執(zhí)行指令，以完成上述的方法的全部或部分步驟。此外，處理組件1102可以包括一個或至少兩個模塊，便于處理組件1102和其他組件之間的交互。例如，處理組件1102可以包括多媒體模塊，以方便多媒體組件1108和處理組件1102之間的交互。

存儲器1104被配置為存儲各種類型的數(shù)據(jù)以支持在裝置1100的操作。這些數(shù)據(jù)的示例包括用于在裝置1100上操作的任何存儲對象或方法的指令，聯(lián)系用戶數(shù)據(jù)，電話簿數(shù)據(jù)，消息，圖片，視頻等。存儲器1104可以由任何類型的易失性或非易失性存儲設(shè)備或者它們的組合實現(xiàn)，如靜態(tài)隨機存取存儲器(SRAM)，電可擦除可編程只讀存儲器(EEPROM)，可擦除可編程只讀存儲器(EPROM)，可編程只讀存儲器(PROM)，只讀存儲器(ROM)，磁存儲器，快閃存儲器，磁盤或光盤。

電源組件1106為裝置1100的各種組件提供電源。電源組件1106可以包括電源管理系統(tǒng)，一個或至少兩個電源，及其他與為裝置1100生成、管理和分配電源相關(guān)聯(lián)的組件。

多媒體組件1108包括在所述裝置1100和用戶之間的提供一個輸出接口的屏幕。在一些實施例中，屏幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果屏幕包括觸摸面板，屏幕可以被實現(xiàn)為觸摸屏，以接收來自用戶的輸入信號。觸摸面板包括一個或至少兩個觸摸傳感器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸傳感器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關(guān)的持續(xù)時間和壓力。在一些實施例中，多媒體組件1108包括一個前置攝像頭和/或后置攝像頭。當(dāng)裝置1100處于操作模式，如拍攝模式或視頻模式時，前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個前置攝像頭和后置攝像頭可以是一個固定的光學(xué)透鏡系統(tǒng)或具有焦距和光學(xué)變焦能力。

音頻組件1110被配置為輸出和/或輸入音頻信號。例如，音頻組件1110包括一個麥克風(fēng)(MIC)，當(dāng)裝置1100處于操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風(fēng)被配置為接收外部音頻信號。所接收的音頻信號可以被進一步存儲在存儲器1104或經(jīng)由通信組件1116發(fā)送。在一些實施例中，音頻組件1110還包括一個揚聲器，用于輸出音頻信號。

I/O接口1112為處理組件1102和外圍接口模塊之間提供接口，上述外圍接口模塊可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限于：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。

傳感器組件1114包括一個或至少兩個傳感器，用于為裝置1100提供各個方面的狀態(tài)評估。例如，傳感器組件1114可以檢測到裝置1100的打開/關(guān)閉狀態(tài)，組件的相對定位，例如所述組件為裝置1100的顯示器和小鍵盤，傳感器組件1114還可以檢測裝置1100或裝置1100一個組件的位置改變，用戶與裝置1100接觸的存在或不存在，裝置1100方位或加速/減速和裝置1100的溫度變化。傳感器組件1114可以包括接近傳感器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。傳感器組件1114還可以包括光傳感器，如CMOS或CCD圖像傳感器，用于在成像應(yīng)用中使用。在一些實施例中，該傳感器組件1114還可以包括加速度傳感器，陀螺儀傳感器，磁傳感器，壓力傳感器或溫度傳感器。

通信組件1116被配置為便于裝置1100和其他設(shè)備之間有線或無線方式的通信。裝置1100可以接入基于通信標(biāo)準(zhǔn)的無線網(wǎng)絡(luò)，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通信組件1116經(jīng)由廣播信道接收來自外部廣播管理系統(tǒng)的廣播信號或廣播相關(guān)信息。在一個示例性實施例中，所述通信組件1116還包括近場通信(NFC)模塊，以促進短程通信。例如，在NFC模塊可基于射頻識別(RFID)技術(shù)，紅外數(shù)據(jù)協(xié)會(IrDA)技術(shù)，超寬帶(UWB)技術(shù)，藍牙(BT)技術(shù)和其他技術(shù)來實現(xiàn)。

在示例性實施例中，裝置1100可以被一個或至少兩個應(yīng)用專用集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理設(shè)備(DSPD)、可編程邏輯器件(PLD)、現(xiàn)場可編程門陣列(FPGA)、控制器、微控制器、微處理器或其他電子組件實現(xiàn)，用于執(zhí)行上述方法。

在示例性實施例中，還提供了一種包括指令的非臨時性計算機可讀存儲介質(zhì)，例如包括指令的存儲器1104，上述指令可由裝置1100的處理器1120執(zhí)行以完成上述方法。例如，所述非臨時性計算機可讀存儲介質(zhì)可以是ROM、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤和光數(shù)據(jù)存儲設(shè)備等。

一種非臨時性計算機可讀存儲介質(zhì)，當(dāng)所述存儲介質(zhì)中的指令由上述裝置1100的處理器執(zhí)行時，使得上述裝置1100能夠執(zhí)行一種視頻數(shù)據(jù)中的關(guān)鍵點定位方法，包括：

當(dāng)獲取到參考幀圖像中目標(biāo)對象的第一關(guān)鍵點坐標(biāo)時，根據(jù)所述第一關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)；

當(dāng)獲取所述參考幀圖像中所述目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，根據(jù)預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)確定所述當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)。

在一個實施例中，所述根據(jù)所述第一關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)，包括：

確定所述參考幀圖像中所述目標(biāo)對象與參考方向之間的角度；

將所述參考幀圖像按照所述第一預(yù)設(shè)方向旋轉(zhuǎn)所述角度，得到旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)；

根據(jù)旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)。

在一個實施例中，所述根據(jù)旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)，包括：

將所述當(dāng)前幀圖像按照所述第一預(yù)設(shè)方向旋轉(zhuǎn)所述角度；

根據(jù)旋轉(zhuǎn)后的所述第一關(guān)鍵點坐標(biāo)，確定旋轉(zhuǎn)后的所述當(dāng)前幀圖像中所述目標(biāo)對象的第三關(guān)鍵點的坐標(biāo)；

根據(jù)所述第三關(guān)鍵點的坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)。

在一個實施例中，所述根據(jù)所述第三關(guān)鍵點的坐標(biāo)，確定所述第二關(guān)鍵點坐標(biāo)，包括：

將旋轉(zhuǎn)后的所述當(dāng)前幀圖像按照與所述第一預(yù)設(shè)方向相反的第二預(yù)設(shè)方向旋轉(zhuǎn)所述角度，得到旋轉(zhuǎn)后的所述第三關(guān)鍵點的坐標(biāo)；

將旋轉(zhuǎn)后的所述第三關(guān)鍵點的坐標(biāo)確定為所述第二關(guān)鍵點坐標(biāo)。

在一個實施例中，所述當(dāng)獲取參考幀圖像中所述目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，根據(jù)預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)確定當(dāng)前幀圖像中所述目標(biāo)對象的第二關(guān)鍵點坐標(biāo)，包括：

當(dāng)獲取參考幀圖像中所述目標(biāo)對象的第一關(guān)鍵點坐標(biāo)失敗時，對所述當(dāng)前幀圖像中所述目標(biāo)對象進行檢測，獲得所述當(dāng)前幀圖像中所述目標(biāo)對象所在的目標(biāo)區(qū)域；

根據(jù)所述目標(biāo)區(qū)域和所述預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)，確定當(dāng)前幀圖像中目標(biāo)對象中各關(guān)鍵點相對于目標(biāo)區(qū)域的第二關(guān)鍵點坐標(biāo)，其中，所述目標(biāo)對象包括人臉、寵物臉。

在一個實施例中，所述第一關(guān)鍵點坐標(biāo)包括：所述當(dāng)前幀圖像所在的所述視頻數(shù)據(jù)中與所述當(dāng)前幀圖像相鄰的前一幀圖像中所述目標(biāo)對象中各關(guān)鍵點的坐標(biāo)；

所述預(yù)設(shè)幀中所述目標(biāo)對象的關(guān)鍵點坐標(biāo)包括：所述目標(biāo)對象中各關(guān)鍵點的平均坐標(biāo)。

本領(lǐng)域技術(shù)用戶員在考慮說明書及實踐這里公開的公開后，將容易想到本公開的其它實施方案。本申請旨在涵蓋本公開的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本公開的一般性原理并包括本公開未公開的本技術(shù)領(lǐng)域中的公知常識或慣用技術(shù)手段。說明書和實施例僅被視為示例性的，本公開的真正范圍和精神由下面的權(quán)利要求指出。

應(yīng)當(dāng)理解的是，本公開并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進行各種修改和改變。本公開的范圍僅由所附的權(quán)利要求來限制。