本技術(shù)涉及視覺和終端領(lǐng)域，尤其涉及面部信息獲取方法和電子設(shè)備。

背景技術(shù)：

1、日常生活中，電子設(shè)備的種類繁多。其中，既包括配置了攝像頭的電子設(shè)備（例如手機(jī)、電腦等），也包括并未配置攝像頭的電子設(shè)備（例如智能手表、智能眼鏡等）。雖然，相比于配置了攝像頭的電子設(shè)備，未配置攝像頭的電子設(shè)備在功能性和交互性上較為受限。但是，未配置攝像頭的電子設(shè)備在特定的使用場景中卻能展現(xiàn)出配置了攝像頭的電子設(shè)備所不及的優(yōu)勢。例如，以未配置攝像頭的電子設(shè)備是智能眼鏡為例，既可以作為眼鏡幫助佩戴者視物，又具有除視物以外的其他功能，包括但不限于：提供導(dǎo)航提示、實(shí)時(shí)翻譯、甚至在佩戴者的視線中展示電子郵件通知或即將到來的日程安排等。

2、但是，未配置攝像頭的電子設(shè)備無法獲取面部信息，難以在視頻通訊、人臉檢測和識(shí)別等需要面部信息的場景提供更多的可能性。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了面部信息獲取方法和電子設(shè)備，用于通過超聲波進(jìn)行面部狀態(tài)特征檢測，生成與實(shí)際面部狀態(tài)相匹配的面部信息。

2、第一方面，本技術(shù)提供了一種面部信息獲取方法，應(yīng)用于第一電子設(shè)備，該第一電子設(shè)備中包括揚(yáng)聲器和麥克風(fēng)，該方法包括：通過該麥克風(fēng)獲取第一超聲音頻數(shù)據(jù)，該第一超聲音頻數(shù)據(jù)指示了該揚(yáng)聲器發(fā)射的且經(jīng)面部反射后的超聲信號(hào)；?通過該第一超聲音頻數(shù)據(jù)提取該面部的面部狀態(tài)特征；基于該面部狀態(tài)特征對(duì)第一預(yù)設(shè)人臉畫面進(jìn)行調(diào)整，生成仿真人臉畫面。

3、上述實(shí)施例中，面部狀態(tài)特征是基于第一超聲音頻數(shù)據(jù)得到，但是面部狀態(tài)特征可以指示仿真人臉畫面的面部狀態(tài)，因?yàn)榈谝怀曇纛l數(shù)據(jù)來源于人臉處于仿真人臉畫面所對(duì)應(yīng)的面部狀態(tài)時(shí)反射的超聲信號(hào)。因此，電子設(shè)備可以基于超聲信號(hào)檢測面部狀態(tài)特征，進(jìn)而生成與實(shí)際面部狀態(tài)相匹配的仿真人臉畫面（一種面部信息）。這樣，電子設(shè)備獲取人臉畫面時(shí)可以不依賴于攝像頭，基于電子設(shè)備自身攜帶的揚(yáng)聲器和麥克風(fēng)獲取超聲音頻數(shù)據(jù)，就可以實(shí)現(xiàn)人臉畫面的生成。

4、結(jié)合第一方面，在一些實(shí)施例中，基于該面部狀態(tài)特征對(duì)第一預(yù)設(shè)人臉畫面進(jìn)行調(diào)整，生成仿真人臉畫面，具體包括：通過第一預(yù)設(shè)人臉提取該第一預(yù)設(shè)人臉畫面中的人臉特征；通過該面部狀態(tài)特征對(duì)該人臉特征進(jìn)行調(diào)整；將調(diào)整后的人臉特征映射成為該仿真人臉畫面。

5、上述實(shí)施例中，人臉特征是基于第一預(yù)設(shè)人臉畫面得到的可以表征第一預(yù)設(shè)人臉畫面的數(shù)據(jù)。因此基于人臉特征進(jìn)行調(diào)整得到仿真人臉畫面，也可以理解為是基于第一預(yù)設(shè)人臉畫面進(jìn)行調(diào)整后得到仿真人臉畫面的。但是，仿真人臉畫面是對(duì)第一預(yù)設(shè)人臉畫面對(duì)應(yīng)的人臉特征進(jìn)行調(diào)整后得到的，提高了調(diào)整效率。

6、結(jié)合第一方面，在一些實(shí)施例中，該第一電子設(shè)備中還包括姿態(tài)傳感器，該方法還包括：通過該姿態(tài)傳感器獲取第一姿態(tài)數(shù)據(jù)，該第一姿態(tài)數(shù)據(jù)指示了該面部的姿態(tài)；通過該第一姿態(tài)數(shù)據(jù)提取該面部的姿態(tài)特征；通過該面部狀態(tài)特征對(duì)該人臉特征進(jìn)行調(diào)整，具體包括：通過該面部狀態(tài)特征和該姿態(tài)特征對(duì)該人臉特征進(jìn)行調(diào)整，生成仿真人臉畫面；該仿真人臉畫面具備該姿態(tài)特征所指示的姿態(tài)。

7、上述實(shí)施例中，姿態(tài)數(shù)據(jù)為針對(duì)頭部的姿態(tài)數(shù)據(jù)。引入針對(duì)頭部的姿態(tài)數(shù)據(jù)。可以用于降低頭部運(yùn)動(dòng)對(duì)面部的表情識(shí)別的負(fù)面影響，生成更加準(zhǔn)確的仿真人臉畫面。若不引入針對(duì)頭部的姿態(tài)數(shù)據(jù)，頭部的姿態(tài)變化和面部的表情變化均會(huì)影響超聲信號(hào)的反射情況，進(jìn)而均會(huì)體現(xiàn)在超聲音頻數(shù)據(jù)中。電子設(shè)備通過超聲音頻數(shù)據(jù)分析面部信息時(shí)，存在不夠準(zhǔn)確的問題。例如，會(huì)將頭部的姿態(tài)變化誤認(rèn)為是面部的表情變化，導(dǎo)致生成的面部信息錯(cuò)誤。

8、結(jié)合第一方面，在一些實(shí)施例中，該面部狀態(tài)特征是通過第一人臉畫面生成模型中的第一特征提取網(wǎng)絡(luò)確定的，該人臉特征是通過第一人臉畫面生成模型中的第二特征提取網(wǎng)絡(luò)確定的；該人臉畫面生成模型中還包括第一人臉生成網(wǎng)絡(luò)；該第一人臉生成網(wǎng)絡(luò)中包括第一卷積網(wǎng)絡(luò)、第一反卷積網(wǎng)絡(luò)以及第二卷積網(wǎng)絡(luò)；該第一卷積網(wǎng)絡(luò)以及該第一反卷積網(wǎng)絡(luò)的作用包括：基于面部狀態(tài)特征對(duì)該人臉特征進(jìn)行調(diào)整，得到調(diào)整后的人臉特征；該第二卷積網(wǎng)絡(luò)用于將該調(diào)整后的人臉特征映射成為該仿真人臉畫面；其中，該第一人臉畫面生成模型是以第二超聲音頻數(shù)據(jù)以及第二預(yù)設(shè)人臉畫面作為輸入數(shù)據(jù)、預(yù)測人臉畫面作為輸出數(shù)據(jù)以及樣本人臉畫面作為參考數(shù)據(jù)進(jìn)行訓(xùn)練得到的；該樣本人臉畫面與基于該第二超聲音頻數(shù)據(jù)所提取的面部狀態(tài)特征相匹配。

9、結(jié)合第一方面，在一些實(shí)施例中，該面部狀態(tài)特征是通過第二人臉畫面生成模型中的第一特征提取網(wǎng)絡(luò)確定的，該人臉特征是通過該第二人臉畫面生成模型中的第二特征提取網(wǎng)絡(luò)確定的，姿態(tài)特征是通過該第二人臉畫面生成模型中的第三特征提取網(wǎng)絡(luò)確定的；該人臉畫面生成模型中還包括第二人臉生成網(wǎng)絡(luò)；該第二人臉生成網(wǎng)絡(luò)中包括第三卷積網(wǎng)絡(luò)、第二反卷積網(wǎng)絡(luò)以及第四卷積網(wǎng)絡(luò)；該第三卷積網(wǎng)絡(luò)以及該第二反卷積網(wǎng)絡(luò)的作用包括：基于面部狀態(tài)特征以及姿態(tài)特征對(duì)該人臉特征進(jìn)行調(diào)整，得到調(diào)整后的人臉特征；該第四卷積網(wǎng)絡(luò)用于將該調(diào)整后的人臉特征映射成為該仿真人臉畫面；其中，該第二人臉畫面生成模型是以第二超聲音頻數(shù)據(jù)、第二姿態(tài)數(shù)據(jù)以及第二預(yù)設(shè)人臉畫面作為輸入數(shù)據(jù)、預(yù)測人臉畫面作為輸出數(shù)據(jù)以及樣本人臉畫面作為參考數(shù)據(jù)進(jìn)行訓(xùn)練得到的；該樣本人臉畫面與基于該第二超聲音頻數(shù)據(jù)所提取的面部狀態(tài)特征相匹配。

10、結(jié)合第一方面，在一些實(shí)施例中，通過該麥克風(fēng)獲取第一超聲音頻數(shù)據(jù)之前，該方法還包括：與該第二電子設(shè)備建立視頻通話連接；生成仿真人臉畫面之后，該方法還包括：通過該視頻通話連接向該第二電子設(shè)備發(fā)送該仿真人臉畫面。

11、上述實(shí)施例中，生成的仿真人臉畫面可以應(yīng)用在視頻通話場景中。這樣，可以使得視頻通話場景不再依賴攝像頭?；陔娮釉O(shè)備自身攜帶的揚(yáng)聲器和麥克風(fēng)獲取超聲音頻數(shù)據(jù)，就可以實(shí)現(xiàn)人臉畫面的生成，進(jìn)而實(shí)現(xiàn)視頻通話。

12、結(jié)合第一方面，在一些實(shí)施例中，通過該麥克風(fēng)獲取第一超聲音頻數(shù)據(jù)，具體包括：

13、通過該麥克風(fēng)采集聲音信號(hào)；對(duì)該聲音信號(hào)進(jìn)行高通濾波，得到該經(jīng)面部反射后的超聲信號(hào)；對(duì)該經(jīng)面部反射后的超聲信號(hào)進(jìn)行處理，得到該第一超聲音頻數(shù)據(jù)。

14、上述實(shí)施例中，之所以進(jìn)行高通濾波是因?yàn)槁曇粜盘?hào)中除了超聲信號(hào)以外還可能包括佩戴者所處環(huán)境中的聲音信號(hào)。因此，進(jìn)行高通濾波去除噪音，使得生成的第一超聲音頻數(shù)據(jù)可以更準(zhǔn)確指示揚(yáng)聲器發(fā)射的且經(jīng)面部反射后的超聲信號(hào)，進(jìn)而得到更準(zhǔn)確的面部狀態(tài)特征，最后得到更準(zhǔn)確的仿真人臉畫面。

15、結(jié)合第一方面，在一些實(shí)施例中，該方法還包括：對(duì)該聲音信號(hào)進(jìn)行低通濾波，得到可聽聲音信號(hào)；該可聽聲音信號(hào)的頻率低于超聲信號(hào)的頻率；對(duì)該可聽聲音信號(hào)進(jìn)行處理，得到可聽音頻數(shù)據(jù)；通過該視頻通話連接向該第二電子設(shè)備發(fā)送該可聽音頻數(shù)據(jù)。

16、上述實(shí)施例中，之所以進(jìn)行低通濾波是因?yàn)橐曨l通話麥克風(fēng)不僅需要采集佩戴者的聲音信號(hào)，還需要采集經(jīng)面部反射的超聲信號(hào)，但是發(fā)送至對(duì)端電子設(shè)備的語音只需要體現(xiàn)佩戴者的聲音信號(hào)。

17、結(jié)合第一方面，在一些實(shí)施例中，該第一電子設(shè)備為佩戴于頭部的可穿戴設(shè)備，該第一電子設(shè)備的中軸線的兩側(cè)均布置了至少一個(gè)揚(yáng)聲器、至少一個(gè)麥克風(fēng)以及至少一個(gè)姿態(tài)傳感器。

18、上述實(shí)施例中，按照左右對(duì)稱的形式布置麥克風(fēng)、揚(yáng)聲器以及姿態(tài)傳感器，可以使得獲取的超聲音頻數(shù)據(jù)以及姿態(tài)數(shù)據(jù)更加準(zhǔn)確的反饋面部信息。得到更準(zhǔn)確的仿真人臉畫面。

19、結(jié)合第一方面，在一些實(shí)施例中，該第一電子設(shè)備為眼鏡設(shè)備，該第一電子設(shè)備中包括第一鏡框、第二鏡框、與該第一鏡框連接的第一框架臂以及與該第二鏡框連接的第二框架臂；該第一鏡框以及該第二鏡框中的第一位置處均布置了一個(gè)揚(yáng)聲器、該第一鏡框以及該第二鏡框中的第二位置處均布置了一個(gè)麥克風(fēng)，且該第一鏡框以及該第二鏡框中的第三位置處均布置了一個(gè)姿態(tài)傳感器；該第一框架臂以及該第二框架臂中的第一位置處均布置了一個(gè)揚(yáng)聲器，且該第一框架臂以及該第二框架臂中的第二位置處均布置了一個(gè)麥克風(fēng)。

20、上述實(shí)施例中，將麥克風(fēng)、揚(yáng)聲器以及姿態(tài)傳感器對(duì)稱及均勻的布置在框架臂和鏡框中，可以進(jìn)一步使得智能眼鏡獲取的超聲音頻數(shù)據(jù)以及姿態(tài)數(shù)據(jù)更加準(zhǔn)確的反饋面部信息。得到更準(zhǔn)確的仿真人臉畫面。

21、第二方面，本技術(shù)實(shí)施例提供了一種面部信息獲取方法，應(yīng)用于第一電子設(shè)備，該第一電子設(shè)備中包括揚(yáng)聲器和麥克風(fēng)，該方法包括：通過該麥克風(fēng)獲取第一超聲音頻數(shù)據(jù)，該第一超聲音頻數(shù)據(jù)指示了該揚(yáng)聲器發(fā)射的且經(jīng)面部反射后的超聲信號(hào)；?通過該第一超聲音頻數(shù)據(jù)提取該面部的面部狀態(tài)特征；基于該面部狀態(tài)特征映射得到該面部的面部狀態(tài)。

22、上述實(shí)施例中，電子設(shè)備可以基于超聲信號(hào)檢測面部狀態(tài)特征，進(jìn)而映射得到實(shí)際的面部狀態(tài)（一種面部信息）。這樣，電子設(shè)備分析面部狀態(tài)時(shí)可以不依賴于攝像頭，基于電子設(shè)備自身攜帶的揚(yáng)聲器和麥克風(fēng)獲取超聲音頻數(shù)據(jù)，就可以實(shí)現(xiàn)面部狀態(tài)的分析。

23、結(jié)合第二方面，在一些實(shí)施例中，該第一電子設(shè)備中還包括姿態(tài)傳感器，該方法還包括：通過該姿態(tài)傳感器獲取第一姿態(tài)數(shù)據(jù)，該第一姿態(tài)數(shù)據(jù)指示了該面部的姿態(tài)；通過該第一姿態(tài)數(shù)據(jù)提取該面部的姿態(tài)特征；基于該面部狀態(tài)特征，映射得到該面部的面部狀態(tài)，具體包括：拼接該面部狀態(tài)特征以及該姿態(tài)特征，得到拼接特征；將該拼接特征映射成為該面部狀態(tài)。

24、上述實(shí)施例中，姿態(tài)數(shù)據(jù)為針對(duì)頭部的姿態(tài)數(shù)據(jù)。引入針對(duì)頭部的姿態(tài)數(shù)據(jù)?？梢杂糜诮档皖^部運(yùn)動(dòng)對(duì)面部的表情識(shí)別的負(fù)面影響，分析出更加準(zhǔn)確的面部狀態(tài)。若不引入針對(duì)頭部的姿態(tài)數(shù)據(jù)，頭部的姿態(tài)變化和面部的表情變化均會(huì)影響超聲信號(hào)的反射情況，進(jìn)而均會(huì)體現(xiàn)在超聲音頻數(shù)據(jù)中。電子設(shè)備通過超聲音頻數(shù)據(jù)分析面部狀態(tài)時(shí)，存在不夠準(zhǔn)確的問題。例如，會(huì)將頭部的姿態(tài)變化誤認(rèn)為是面部的表情變化，導(dǎo)致生成的面部狀態(tài)錯(cuò)誤。

25、結(jié)合第二方面，在一些實(shí)施例中，該面部狀態(tài)特征是通過第一面部狀態(tài)分析模型中的第一特征提取網(wǎng)絡(luò)確定的，該第一面部狀態(tài)分析模型中還包括第一面部分析網(wǎng)絡(luò)；該第一面部分析網(wǎng)絡(luò)用于將該面部狀態(tài)特征映射成為該面部的面部狀態(tài)；

26、其中，該第一面部狀態(tài)分析模型是以第二超聲音頻數(shù)據(jù)作為輸入數(shù)據(jù)、預(yù)測面部狀態(tài)作為輸出數(shù)據(jù)以及樣本面部狀態(tài)作為參考數(shù)據(jù)進(jìn)行訓(xùn)練得到的；該樣本面部狀態(tài)與該第二超聲音頻數(shù)據(jù)所提取的面部狀態(tài)特征相匹配。

27、結(jié)合第二方面，在一些實(shí)施例中，該面部狀態(tài)特征是通過第二面部狀態(tài)分析模型中的第一特征提取網(wǎng)絡(luò)確定的，姿態(tài)特征是通過該第二面部狀態(tài)分析模型中的第二特征提取網(wǎng)絡(luò)確定的；該第二面部狀態(tài)分析模型中還包括第二面部狀態(tài)分析網(wǎng)絡(luò)；該第二面部狀態(tài)分析網(wǎng)絡(luò)用于將拼接特征映射成為該面部的面部狀態(tài)，該拼接特征中包括該姿態(tài)特征和該面部狀態(tài)特征；其中，該第一面部狀態(tài)分析模型是以第二超聲音頻數(shù)據(jù)以及第二姿態(tài)數(shù)據(jù)作為輸入數(shù)據(jù)、預(yù)測面部狀態(tài)作為輸出數(shù)據(jù)以及樣本面部狀態(tài)作為參考數(shù)據(jù)進(jìn)行訓(xùn)練得到的；該樣本面部狀態(tài)與該第二超聲音頻數(shù)據(jù)所提取的面部狀態(tài)特征相匹配。

28、第三方面，本技術(shù)實(shí)施例提供了一種第一電子設(shè)備，該第一電子設(shè)備包括：一個(gè)或多個(gè)處理器和存儲(chǔ)器；該存儲(chǔ)器與該一個(gè)或多個(gè)處理器耦合，該存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序代碼，該計(jì)算機(jī)程序代碼包括計(jì)算機(jī)指令，該一個(gè)或多個(gè)處理器調(diào)用該計(jì)算機(jī)指令以使得該第一電子設(shè)備執(zhí)行如第一方面中實(shí)施的方法。

29、第四方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括指令，當(dāng)該指令在電子設(shè)備上運(yùn)行時(shí)，使得該電子設(shè)備執(zhí)行如第一方面中實(shí)施的方法。

30、第五方面，本技術(shù)實(shí)施例提供了一種芯片系統(tǒng)，該芯片系統(tǒng)應(yīng)用于電子設(shè)備，該芯片系統(tǒng)包括一個(gè)或多個(gè)處理器，該處理器用于調(diào)用計(jì)算機(jī)指令以使得該電子設(shè)備執(zhí)行如第一方面實(shí)施的方法。

31、第六方面，本技術(shù)實(shí)施例提供了一種包含指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)該計(jì)算機(jī)程序產(chǎn)品在電子設(shè)備上運(yùn)行時(shí)，使得該電子設(shè)備執(zhí)行如第一方面實(shí)施的方法。

32、可以理解地，第三方面提供的第一電子設(shè)備、第四方面提供的計(jì)算機(jī)存儲(chǔ)介質(zhì)、第五方面提供的芯片系統(tǒng)和第六方面提供的計(jì)算機(jī)程序產(chǎn)品均用于執(zhí)行本技術(shù)實(shí)施例所提供的方法。因此，其所能達(dá)到其他有益效果可參考對(duì)應(yīng)方法中的有益效果，此處不再贅述。