本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種2d虛擬模型的驅(qū)動方法及設(shè)備。
背景技術(shù)：
虛擬模型表情動畫是當前研究的熱點，其在虛擬現(xiàn)實，數(shù)字娛樂，通信和視頻會議、人際交互等領(lǐng)域有著非常廣泛的應用。
隨著移動終端的普及，以及網(wǎng)絡帶寬資費的下降，視頻電話將成為社交領(lǐng)域的首選。由于陌生人之間交流在剛開始的時候不太愿意露臉，因此亟待一種交流工具來替代雙方的視頻圖像。虛擬表情映射將是較佳選擇，它不僅能夠用虛擬人物來代替用戶表達感情，而且能夠大量的節(jié)省帶寬，只需要通過發(fā)送對應參數(shù)就可以完成。
現(xiàn)有的一種基于單個模型的表情驅(qū)動方法，通過應用rbf訓練骨架結(jié)構(gòu)建立源與目標之間的運動對應關(guān)系，然后通過訓練得到的權(quán)值進行實時驅(qū)動，該方法雖然簡單，但對于姿態(tài)的改變很容易造成模型的畸變。
綜上所述，現(xiàn)有技術(shù)利用虛擬模型的驅(qū)動方法存在用戶體驗性差、模型容易產(chǎn)生畸變等缺點，無法滿足在視頻通話過程中利用虛擬模型來代替用戶表達情緒的要求，同時，因為視頻通話傳輸?shù)氖钦麄€視頻，對網(wǎng)絡資源占用較多，容易出現(xiàn)視頻卡頓、模糊或掉線的情況，用戶體驗不佳。
技術(shù)實現(xiàn)要素：
為了滿足用戶通過2d虛擬模型代替自身進行視頻的需求，并有效地減少視頻通話的帶寬，同時，避免與陌生人交流過程中用戶不愿意露臉的尷尬，提高用戶體驗，本發(fā)明實施例提供了一種2d虛擬模型的驅(qū)動方法及設(shè)備。所述技術(shù)方案如下：
第一方面，提供了一種2d虛擬模型的驅(qū)動方法，所述方法包括：
對當前人臉圖像進行特征點定位，并獲得所述特征點的2d坐標；
根據(jù)所述特征點的2d坐標獲得所述特征點的正面化的3d坐標；
獲取2d虛擬模型的3d坐標，根據(jù)所述2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫的表情基數(shù)據(jù)的回歸關(guān)系，建立所述2d虛擬模型的3d表情基；
根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，獲取所述當前人臉與所述2d虛擬模型的3d表情基的擬合系數(shù)；
根據(jù)所述擬合系數(shù)，驅(qū)動所述2d虛擬模型。
結(jié)合第一方面，在第一種可能實現(xiàn)的方式中，所述對當前人臉圖像進行特征點定位，并獲得所述特征點的2d坐標包括：
對所述特征點中的眼睛部位特征點提取特征向量，并對所述特征向量進行特征降維；
將經(jīng)過特征降維的特征向量輸入預先訓練的判別器以判別所述眼睛是否為閉眼狀態(tài)；
當為閉眼狀態(tài)時，將所述眼睛部位上眼瞼的特征點坐標移至下眼瞼的特征點位置。
結(jié)合第一方面，在第二種可能實現(xiàn)的方式中，所述根據(jù)所述特征點的2d坐標獲得所述特征點的正面化的3d坐標包括：
根據(jù)預先訓練的3d線性形狀增益模型獲取所述特征點的3d坐標；
根據(jù)所述特征點的2d坐標對所述3d坐標進行優(yōu)化以獲得所述特征點的正面化的3d坐標。
結(jié)合第一方面的第二種可能實現(xiàn)的方式，在第三種可能實現(xiàn)的方式中，所述根據(jù)所述特征點的2d坐標對所述3d坐標進行優(yōu)化以獲得所述特征點的正面化的3d坐標，包括：
根據(jù)所述特征點的2d坐標和預設(shè)公式正面化所述3d坐標。
結(jié)合第一方面，在第四種可能實現(xiàn)的方式中，所述獲取2d虛擬模型的3d坐標包括：
獲取所述2d虛擬模型的特征點的2d坐標；
根據(jù)所述2d虛擬模型的特征點的2d坐標，計算所述2d虛擬模型的特征點的3d坐標。
結(jié)合第一方面或第一方面的第四種可能實現(xiàn)的方式，在第五種可能實現(xiàn)的方式中，所述根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，獲取所述當前人臉與所述2d虛擬模型表情基的擬合系數(shù)包括：
根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，通過二次規(guī)劃獲取所述擬合系數(shù)。
結(jié)合第一方面的第五種可能實現(xiàn)的方式，在第六種可能實現(xiàn)的方式中，所述根據(jù)所述擬合系數(shù)，驅(qū)動所述2d虛擬模型包括：
根據(jù)所述擬合系數(shù)，對所述2d虛擬模型的3d表情基進行加權(quán)，獲取加權(quán)后的2d虛擬模型的特征點的3d坐標；
將所述加權(quán)后的2d虛擬模型的特征點的3d坐標轉(zhuǎn)換回2d坐標；
根據(jù)所述轉(zhuǎn)換回的所述2d坐標，驅(qū)動所述2d虛擬模型。
結(jié)合第一方面的第四種或第六種可能實現(xiàn)的方式，在第七種可能實現(xiàn)的方式中，所述方法還包括：
根據(jù)所述2d虛擬模型的特征點的2d坐標，對所述2d虛擬模型進行三角剖分；
獲取剖分后的每個三角形內(nèi)的像素點坐標。
結(jié)合第一方面的第七種可能實現(xiàn)的方式，在第八種可能實現(xiàn)的方式中，所述根據(jù)所述轉(zhuǎn)換回的所述2d坐標，驅(qū)動所述2d虛擬模型包括：
根據(jù)所述轉(zhuǎn)換回的所述2d坐標，計算剖分后的所述每個三角形內(nèi)的像素點的位移；
根據(jù)所述位移，驅(qū)動所述2d虛擬模型。
第二方面，提供了一種電子設(shè)備，所述設(shè)備包括：
特征點定位模塊，用于對當前人臉圖像進行特征點定位，并獲得所述特征點的2d坐標；
正面化模塊，用于根據(jù)所述特征點的2d坐標獲得所述特征點的正面化的3d坐標；
2d虛擬模型的3d坐標獲取模塊，用于獲取2d虛擬模型的3d坐標；
建立表情基模塊，用于根據(jù)所述2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫的表情基數(shù)據(jù)的回歸關(guān)系，建立所述2d虛擬模型的3d表情基；
擬合系數(shù)獲取模塊，用于根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，獲取所述當前人臉與所述2d虛擬模型的3d表情基的擬合系數(shù)；
驅(qū)動模塊，用于根據(jù)所述擬合系數(shù)，驅(qū)動所述2d虛擬模型。
結(jié)合第二方面，在第一種可能實現(xiàn)的方式中，所述特征點定位模塊包括：
降維子模塊，用于對所述特征點中的眼睛部位特征點提取特征向量，并對所述特征向量進行特征降維；
判別子模塊，用于將經(jīng)過特征降維的特征向量輸入預先訓練的判別器以判別所述眼睛是否為閉眼狀態(tài)；
移動子模塊，用于當為閉眼狀態(tài)時，將所述眼睛部位上眼瞼的特征點坐標移至下眼瞼的特征點位置。
結(jié)合第二方面，在第二種可能實現(xiàn)的方式中，所述正面化模塊包括：
3d坐標獲取子模塊，用于根據(jù)預先訓練的3d線性形狀增益模型獲取所述特征點的3d坐標；
優(yōu)化子模塊，用于根據(jù)所述特征點的2d坐標對所述3d坐標進行優(yōu)化以獲得所述特征點的正面化的3d坐標。
結(jié)合第二方面的第二種可能實現(xiàn)的方式，在第三種可能實現(xiàn)的方式中，所述優(yōu)化子模塊具體用于：
根據(jù)所述特征點的2d坐標和預設(shè)公式正面化所述3d坐標。
結(jié)合第二方面，在第四種可能實現(xiàn)的方式中，所述2d虛擬模型的3d坐標獲取模塊包括：
2d虛擬模型的2d坐標獲取子模塊，用于獲取所述2d虛擬模型的特征點的2d坐標；
2d虛擬模型的3d坐標計算子模塊，用于根據(jù)所述2d虛擬模型的特征點的2d坐標，計算所述2d虛擬模型的特征點的3d坐標。
結(jié)合第二方面或第二方面的第四種可能實現(xiàn)的方式，在第五種可能實現(xiàn)的方式中，所述擬合系數(shù)獲取模塊包括：
二次規(guī)劃子模塊，用于根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，通過二次規(guī)劃獲取所述擬合系數(shù)。
結(jié)合第二方面的第五種可能實現(xiàn)的方式，在第六種可能實現(xiàn)的方式中，所述驅(qū)動模塊包括：
3d表情基加權(quán)子模塊，用于根據(jù)所述擬合系數(shù)，對所述2d虛擬模型的3d表情基進行加權(quán)，獲取加權(quán)后的2d虛擬模型的特征點的3d坐標；
2d坐標轉(zhuǎn)換子模塊，用于將所述加權(quán)后的2d虛擬模型的特征點的3d坐標轉(zhuǎn)換回2d坐標；
驅(qū)動子模塊，用于根據(jù)所述轉(zhuǎn)換回的所述2d坐標，驅(qū)動所述2d虛擬模型。
結(jié)合第二方面的第四種或第六種可能實現(xiàn)的方式，在第七種可能實現(xiàn)的方式中，所述設(shè)備還包括：
三角剖分模塊，用于根據(jù)所述2d虛擬模型的特征點的2d坐標，對所述2d虛擬模型進行三角剖分；
像素點坐標獲取模塊，用于獲取剖分后的每個三角形內(nèi)的像素點坐標。
結(jié)合第二方面的第七種可能實現(xiàn)的方式，在第八種可能實現(xiàn)的方式中，所述驅(qū)動子模塊具體用于：
根據(jù)所述轉(zhuǎn)換回的所述2d坐標，計算剖分后的所述每個三角形內(nèi)的像素點的位移；
根據(jù)所述位移，驅(qū)動所述2d虛擬模型。
第三方面，提供了一種電子設(shè)備，所述設(shè)備包括存儲器以及與所述存儲器連接的處理器，其中，所述存儲器用于存儲一組程序代碼，所述處理器調(diào)用所述存儲器所存儲的程序代碼用于執(zhí)行以下操作：
對當前人臉圖像進行特征點定位，并獲得所述特征點的2d坐標；
根據(jù)所述特征點的2d坐標獲得所述特征點的正面化的3d坐標；
獲取2d虛擬模型的3d坐標，根據(jù)所述2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫的表情基數(shù)據(jù)的回歸關(guān)系，建立所述2d虛擬模型的3d表情基；
根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，獲取所述當前人臉與所述2d虛擬模型的3d表情基的擬合系數(shù)；
根據(jù)所述擬合系數(shù)，驅(qū)動所述2d虛擬模型。
結(jié)合第三方面，在第一種可能實現(xiàn)的方式中，所述處理器調(diào)用所述存儲器所存儲的程序代碼用于執(zhí)行以下操作：
對所述特征點中的眼睛部位特征點提取特征向量，并對所述特征向量進行特征降維；
將經(jīng)過特征降維的特征向量輸入預先訓練的判別器以判別所述眼睛是否為閉眼狀態(tài)；
當為閉眼狀態(tài)時，將所述眼睛部位上眼瞼的特征點坐標移至下眼瞼的特征點位置。
結(jié)合第三方面，在第二種可能實現(xiàn)的方式中，所述處理器調(diào)用所述存儲器所存儲的程序代碼用于執(zhí)行以下操作：
根據(jù)預先訓練的3d線性形狀增益模型獲取所述特征點的3d坐標；
根據(jù)所述特征點的2d坐標對所述3d坐標進行優(yōu)化以獲得所述特征點的正面化的3d坐標。
結(jié)合第三方面的第二種可能實現(xiàn)的方式，在第三種可能實現(xiàn)的方式中，所述處理器調(diào)用所述存儲器所存儲的程序代碼用于執(zhí)行以下操作：
根據(jù)所述特征點的2d坐標和預設(shè)公式正面化所述3d坐標。
結(jié)合第三方面，在第四種可能實現(xiàn)的方式中，所述處理器調(diào)用所述存儲器所存儲的程序代碼用于執(zhí)行以下操作：
獲取所述2d虛擬模型的特征點的2d坐標；
根據(jù)所述2d虛擬模型的特征點的2d坐標，計算所述2d虛擬模型的特征點的3d坐標。
結(jié)合第三方面或第三方面的第四種可能實現(xiàn)的方式，在第五種可能實現(xiàn)的方式中，所述處理器調(diào)用所述存儲器所存儲的程序代碼用于執(zhí)行以下操作：
根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，通過二次規(guī)劃獲取所述擬合系數(shù)。
結(jié)合第三方面的第五種可能實現(xiàn)的方式，在第六種可能實現(xiàn)的方式中，所述處理器調(diào)用所述存儲器所存儲的程序代碼用于執(zhí)行以下操作：
根據(jù)所述擬合系數(shù)，對所述2d虛擬模型的3d表情基進行加權(quán)，獲取加權(quán)后的2d虛擬模型的特征點的3d坐標；
將所述加權(quán)后的2d虛擬模型的特征點的3d坐標轉(zhuǎn)換回2d坐標；
根據(jù)所述轉(zhuǎn)換回的所述2d坐標，驅(qū)動所述2d虛擬模型。
結(jié)合第三方面的第四種或第六種可能實現(xiàn)的方式，在第七種可能實現(xiàn)的方式中，所述處理器調(diào)用所述存儲器所存儲的程序代碼用于執(zhí)行以下操作：
根據(jù)所述2d虛擬模型的特征點的2d坐標，對所述2d虛擬模型進行三角剖分；
獲取剖分后的每個三角形內(nèi)的像素點坐標。
結(jié)合第三方面的第七種可能實現(xiàn)的方式，在第八種可能實現(xiàn)的方式中，所述處理器調(diào)用所述存儲器所存儲的程序代碼用于執(zhí)行以下操作：
根據(jù)所述轉(zhuǎn)換回的所述2d坐標，計算剖分后的所述每個三角形內(nèi)的像素點的位移；
根據(jù)所述位移，驅(qū)動所述2d虛擬模型。
本發(fā)明實施例提供了一種2d虛擬模型的驅(qū)動方法及設(shè)備，通過對當前人臉圖像進行特征點定位，并獲得特征點的2d坐標，再根據(jù)特征點的2d坐標獲得特征點的正面化的3d坐標，再獲取2d虛擬模型的3d坐標，根據(jù)2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫的表情基數(shù)據(jù)的回歸關(guān)系，建立2d虛擬模型的3d表情基，進而根據(jù)正面化的3d坐標與2d虛擬模型的3d表情基，獲取當前人臉與2d虛擬模型的3d表情基的擬合系數(shù)，最后根據(jù)擬合系數(shù)，驅(qū)動2d虛擬模型，從而在即時視頻過程中用戶能夠通過虛擬模型表達自己的情感與他人進行交互，滿足了用戶通過2d虛擬模型代替自身進行視頻的需求；并且因為通過2d虛擬模型進行視頻時，只需向?qū)Ψ桨l(fā)送驅(qū)動虛擬模型的參數(shù)，從而相較于傳統(tǒng)視頻通話過程中傳輸整個視頻而言，大大減少了對網(wǎng)絡資源的占用，有效減少了視頻通話的帶寬，提高了傳輸速率；另外，通過2d虛擬模型進行視頻通話時，因為其占用的帶寬少，避免了傳統(tǒng)視頻通話容易出現(xiàn)的視頻卡頓、模糊或掉線的情況，提高了用戶體驗；同時，在與陌生人社交場景中，用戶能夠通過2d虛擬模型進行視頻，避免了與陌生人交流過程中用戶不愿意露臉的尷尬，提高了用戶體驗。
附圖說明
為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明實施例提供的一種2d虛擬模型的驅(qū)動方法流程圖；
圖2是本發(fā)明實施例提供的一種2d虛擬模型的驅(qū)動方法流程圖；
圖3是本發(fā)明實施例提供的對人臉圖像進行特征點定位的示意圖；
圖4是本發(fā)明實施例提供的表情基的示意圖；
圖5是本發(fā)明實施例提供的一種電子設(shè)備結(jié)構(gòu)示意圖；
圖6是本發(fā)明實施例提供的一種電子設(shè)備結(jié)構(gòu)示意圖。
具體實施方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
實施例一
本發(fā)明實施例提供了一種2d虛擬模型的驅(qū)動方法，參照圖1所示，該方法流程包括：
101、對當前人臉圖像進行特征點定位，并獲得所述特征點的2d坐標。
具體的，該過程包括：
對所述特征點中的眼睛部位特征點提取特征向量，并對所述特征向量進行特征降維；
將經(jīng)過特征降維的特征向量輸入預先訓練的判別器以判別所述眼睛是否為閉眼狀態(tài)；
當為閉眼狀態(tài)時，將所述眼睛部位上眼瞼的特征點坐標移至下眼瞼的特征點位置。
102、根據(jù)所述特征點的2d坐標獲得所述特征點的正面化的3d坐標。
具體的，該過程包括：
根據(jù)預先訓練的3d線性形狀增益模型獲取所述特征點的3d坐標；
根據(jù)所述特征點的2d坐標對所述3d坐標進行優(yōu)化以獲得所述特征點的正面化的3d坐標。
其中，根據(jù)所述特征點的2d坐標對所述3d坐標進行優(yōu)化以獲得所述特征點的正面化的3d坐標的過程可以包括：
根據(jù)所述特征點的2d坐標和預設(shè)公式正面化所述3d坐標。
103、獲取2d虛擬模型的3d坐標，根據(jù)所述2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫的表情基數(shù)據(jù)的回歸關(guān)系，建立所述2d虛擬模型的3d表情基。
具體的，獲取2d虛擬模型的3d坐標的過程可以包括：
獲取所述2d虛擬模型的特征點的2d坐標；
根據(jù)所述2d虛擬模型的特征點的2d坐標，計算所述2d虛擬模型的特征點的3d坐標。
104、根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，獲取所述當前人臉與所述2d虛擬模型的3d表情基的擬合系數(shù)。
具體的，根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，通過二次規(guī)劃獲取所述擬合系數(shù)。
105、根據(jù)所述擬合系數(shù)，驅(qū)動所述2d虛擬模型。
具體的，該過程包括：
根據(jù)所述擬合系數(shù)，對所述2d虛擬模型的3d表情基進行加權(quán)，獲取加權(quán)后的2d虛擬模型的特征點的3d坐標；
將所述加權(quán)后的2d虛擬模型的特征點的3d坐標轉(zhuǎn)換回2d坐標；
根據(jù)所述轉(zhuǎn)換回的所述2d坐標，驅(qū)動所述2d虛擬模型。
其中，所述根據(jù)所述轉(zhuǎn)換回的所述2d坐標，驅(qū)動所述2d虛擬模型的過程可以包括：
根據(jù)所述2d虛擬模型的特征點的2d坐標，對所述2d虛擬模型進行三角剖分；
獲取剖分后的每個三角形內(nèi)的像素點坐標；
根據(jù)所述轉(zhuǎn)換回的所述2d坐標，計算剖分后的所述每個三角形內(nèi)的像素點的位移；
根據(jù)所述位移，驅(qū)動所述2d虛擬模型。
本發(fā)明實施例提供了一種2d虛擬模型的驅(qū)動方法，通過對當前人臉圖像進行特征點定位，并獲得特征點的2d坐標，再根據(jù)特征點的2d坐標獲得特征點的正面化的3d坐標，再獲取2d虛擬模型的3d坐標，根據(jù)2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫的表情基數(shù)據(jù)的回歸關(guān)系，建立2d虛擬模型的3d表情基，進而根據(jù)正面化的3d坐標與2d虛擬模型的3d表情基，獲取當前人臉與2d虛擬模型的3d表情基的擬合系數(shù)，最后根據(jù)擬合系數(shù)，驅(qū)動2d虛擬模型，從而在即時視頻過程中用戶能夠通過虛擬模型表達自己的情感與他人進行交互，滿足了用戶通過2d虛擬模型代替自身進行視頻的需求；并且因為通過2d虛擬模型進行視頻時，只需向?qū)Ψ桨l(fā)送驅(qū)動虛擬模型的參數(shù)，從而相較于傳統(tǒng)視頻通話過程中傳輸整個視頻而言，大大減少了對網(wǎng)絡資源的占用，有效減少了視頻通話的帶寬，提高了傳輸速率；另外，通過2d虛擬模型進行視頻通話時，因為其占用的帶寬少，避免了傳統(tǒng)視頻通話容易出現(xiàn)的視頻卡頓、模糊或掉線的情況，提高了用戶體驗；同時，在與陌生人社交場景中，用戶能夠通過2d虛擬模型進行視頻，避免了與陌生人交流過程中用戶不愿意露臉的尷尬，提高了用戶體驗。
實施例二
本發(fā)明實施例提供了一種2d虛擬模型的驅(qū)動方法，參照圖2所示，該方法流程包括：
201、對當前人臉圖像進行特征點定位，并獲得所述特征點的2d坐標。
具體地，可以采用基于形狀回歸的方法對人臉圖像中的人臉特征點進行定位。人臉特征點定位是在人臉檢測的基礎(chǔ)上，進一步定位人臉的眼睛、眉毛、鼻子和嘴巴輪廓等?？梢岳锰卣鼽c附近的信息以及各個特征點之間的相互關(guān)系來定位特征點，例如采用論文“facialanimationretargetingframeworkusingradialbasisfunctions”中的算法采集人臉66個特征點的2d坐標，其中，示例性的，對人臉圖像進行特征點定位可以參照圖3中a所示。
對于特征點定位，當帶上眼鏡，或者受到光照影響，人臉圖像中眼睛部位的特征點幾乎不運動，因此，對眼睛部分的特征點定位以及眼睛部分的特征點2d坐標的獲取，可以單獨處理。
該過程可以包括：
a、對所述特征點中的眼睛部位特征點提取特征向量，并對所述特征向量進行特征降維。
其中，本發(fā)明實施例所述的特征向量可以是sift(scale-invariantfeaturetransform，尺度不變特征變換)特征向量。
具體的，對所述特征點中的眼睛部位特征點提取sift特征向量，并對sift特征向量進行特征降維。
由于sift特征向量具備較強的魯棒性，在尺度縮放、亮度變換下能夠保持不變形，且在角度變換、放射變換以及噪聲方面的穩(wěn)定性也較強，所以，將sift特征向量作為眼睛部位對應的特征向量，可以提高對眼睛部位特征點定位的準確性，從而提高了通過人臉圖像中的眼部動作驅(qū)動2d虛擬模型眼部的準確性，提高了驅(qū)動2d虛擬模型的準確性，進一步提高了用戶體驗。
b、將經(jīng)過特征降維的特征向量輸入預先訓練的判別器以判別所述眼睛是否為閉眼狀態(tài)。
其中，該判別器可以通過以下方式訓練所得：
b1、選擇睜閉眼樣本各為若干個(例如1000個)。需要說明的是，為了增加樣本的多樣性，可以挑選每個類別的樣本中包括各種光照、姿態(tài)以及戴眼鏡和不戴眼鏡等樣本，這樣可以有效增強最終的泛化能力。
b2、對樣本進行特征點定位，然后抽取眼角兩個特征點的尺度不變特征變換特征以得到128維的特征向量。上述兩個特征點的所述128維的特征向量結(jié)合成為256維的長向量，進而每個樣本均形成256維的sift特征向量，對于每個類別的1000個樣本即產(chǎn)生256*1000的矩陣向量。
b3、對256*1000的矩陣向量進行降維處理。
具體地，可以將256維數(shù)據(jù)通過主成分分析(即pca)算法降低到100維數(shù)據(jù)。實驗表明，這樣依然可以保留原有98％的能量信息。
通過降維處理消除了大量樣本信息中的冗余和重復的信息，減少數(shù)據(jù)存儲容量，并且改善數(shù)據(jù)的可理解性，減少噪聲的影響，提高學習的精度。
b4、基于支持向量機構(gòu)造眼睛睜閉判別器。
利用步驟b3中經(jīng)過降維后的數(shù)據(jù)的特征向量作為支持向量機的訓練集，標注睜眼樣本為1，閉眼樣本為0，具體步驟如下：
首先，選取最佳參數(shù)?？梢赃x取rbf(radialbasisfunction，徑向基函數(shù))核函數(shù)，該rbf核函數(shù)可以為：
k(x-c)＝exp(-g||x-c||2)
其中，c為懲罰系數(shù)，g為函數(shù)的寬度參數(shù)，k(x-c)為訓練結(jié)果，x為輸入值，該輸入值即多個用于描述人眼的特征向量，通過交叉驗證的方式，確定rbf核函數(shù)中的最佳參數(shù)c和g；
根據(jù)rbf核函數(shù)，對整個訓練集進行訓練。
進一步地，為了訓練一個最優(yōu)的判別器，還要選取一個最優(yōu)的懲罰系數(shù)。其次，利用最佳參數(shù)c和g對整個訓練集進行訓練，當完成訓練之后，根據(jù)該rbf核函數(shù)，分別生成對應的眼睛睜閉判別器。
通過步驟b1-b4訓練所得的判別器在公開的人臉測試集lfw上隨機選取1498個樣本，并對樣本進行標注以進行性能測試，最后獲得98.9％的正確識別率。
c、當為閉眼狀態(tài)時，將所述眼睛部位上眼瞼的特征點坐標移至下眼瞼的特征點位置。
202、根據(jù)所述特征點的2d坐標獲得所述特征點的正面化的3d坐標。
具體的，該過程包括：
a、根據(jù)預先訓練的3d線性形狀增益模型獲取所述特征點的3d坐標。
其中，可以根據(jù)以下公式獲得所述特征點的3d坐標：
其中，i＝1,2...,l，l為所述特征點的數(shù)量，s表示縮放尺度，r表示旋轉(zhuǎn)矩陣，t表示偏移量，
根據(jù)該預設(shè)公式，獲取參數(shù)s、r以及t。
需要說明的是，可以通過以下過程訓練所述3d線性形狀增益模型：首先，在multi-pie等數(shù)據(jù)集上采用“從運動中恢復結(jié)構(gòu)”的3d重構(gòu)技術(shù)，對2d的特征點的數(shù)據(jù)集計算以求取對應的3d坐標點；然后，將人臉的特征點分成三個部分：眼睛的輪廓，眉毛的輪廓，嘴巴和/或鼻子的輪廓，對于每個部分分別進行奇異值分解，得到ψeyes，ψeyebrows，ψmouth；最后再將每個部分進行重構(gòu)以獲取3d線性形狀增益模型。
b、根據(jù)所述特征點的2d坐標對所述3d坐標進行優(yōu)化以獲得所述特征點的正面化的3d坐標。
具體的，根據(jù)所述特征點的2d坐標和預設(shè)公式正面化所述3d坐標。
其中，可以根據(jù)以下預設(shè)公式正面化所述3d坐標：
其中，xi，yi為所述特征點的二維坐標，zi為相對深度值，ε為閾值，ρ為懲罰項，i＝1,2...,l，l為所述特征點的數(shù)量。
通過獲取3d線性形狀增益模型計算特征點的3d坐標，并對計算的3d坐標進行優(yōu)化，使得獲取的3d坐標正面化，同時保持了獲取的3d坐標尺度一致，從而保證了通過該3d坐標獲取擬合系數(shù)的準確性與穩(wěn)定性，進一步提高了驅(qū)動2d虛擬模型的準確性，提高了用戶體驗，滿足了用戶通過2d虛擬模型代替自身進行視頻表達情感的需求。
示例性的，根據(jù)人臉圖像的2d特征點在模板人臉上定位的正面化的3d坐標可以參照圖3中b所示。
203、獲取2d虛擬模型的3d坐標。
該過程可以包括：
a、獲取所述2d虛擬模型的特征點的2d坐標。
具體的，該步驟與步驟201類似，此處不再加以贅述。
b、根據(jù)所述2d虛擬模型的特征點的2d坐標，計算所述2d虛擬模型的特征點的3d坐標。
具體的，該步驟與步驟202類似，此處不再加以贅述。
204、根據(jù)所述2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫的表情基數(shù)據(jù)的回歸關(guān)系，建立所述2d虛擬模型的3d表情基。
具體的，建立該2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫中的中性表情之間的回歸關(guān)系，再根據(jù)該回歸關(guān)系，通過徑向基函數(shù)獲取該2d虛擬模型與人臉模型數(shù)據(jù)庫對應數(shù)量的3d表情基，示例性的，該對應數(shù)量可以為52個。
其中，該人臉模型數(shù)據(jù)庫可以通過以下方式建立：
制作同一個3d模型的若干個表情基數(shù)據(jù)(例如52個)作為訓練表情基，示例性的，參照圖4所示，是建立的其中的一個臉型對應的52種表情基；進一步地，在52個3d模型上分別提取若干個(與步驟201中定位的特征點數(shù)量一致，例如為66個)與2d人臉對應的3d坐標點；由于上述建立的表情基具有相同的網(wǎng)絡拓撲結(jié)構(gòu)，因此可以選取其中一個中性表情基上的66個特征點的頂點索引坐標，進而擴展到所有模型，建立和52個模型對應的3d坐標數(shù)據(jù)庫；分別對該52個表情基的3d坐標數(shù)據(jù)去除z軸的深度信息，獲得2d坐標，再對獲得的2d坐標進行步驟202的操作，獲取正面化后的3d坐標，這樣就獲得了52個表情基的先驗知識，其將用于通過徑向函數(shù)建立與所要驅(qū)動的每一個2d虛擬模型相對應的52個3d表情基。
需要說明的是，該人臉模型數(shù)據(jù)庫的建立過程可以是在線下完成。
需要說明的是，步驟203至步驟204是實現(xiàn)獲取2d虛擬模型的3d坐標，根據(jù)所述2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫的表情基數(shù)據(jù)的回歸關(guān)系，建立所述2d虛擬模型的3d表情基的過程，除了上述方式之外，還可以通過其他方式實現(xiàn)該過程，本發(fā)明實施例對具體的方式不加以限定。
205、根據(jù)所述2d虛擬模型的特征點的2d坐標，對所述2d虛擬模型進行三角剖分。
其中，該三角剖分可以為delaunay三角剖分。
具體的，根據(jù)該2d虛擬模型的特征點的2d坐標，對2d虛擬模型進行delaunay三角剖分。
206、獲取剖分后的每個三角形內(nèi)的像素點坐標。
具體的，根據(jù)delaunay三角剖分的結(jié)果，獲取2d虛擬模型的特征點組成的每個三角形內(nèi)對應的像素點，每個像素點的坐標可以根據(jù)其所在三角形的三個關(guān)鍵頂點線性表達。
需要說明的是，步驟205至步驟206只要在步驟208之前執(zhí)行即可，本發(fā)明實施例對具體的步驟205至步驟206的執(zhí)行順序不加以限定。
207、根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，獲取所述當前人臉與所述2d虛擬模型的3d表情基的擬合系數(shù)。
具體的，根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，通過二次規(guī)劃獲取所述擬合系數(shù)。
其中，可以根據(jù)以下公式獲取人臉表情基的擬合系數(shù)：
其中，αi為表情基權(quán)重系數(shù)，
208、根據(jù)所述擬合系數(shù)，驅(qū)動所述2d虛擬模型。
該過程包括：
a、根據(jù)所述擬合系數(shù)，對所述2d虛擬模型的3d表情基進行加權(quán)，獲取加權(quán)后的2d虛擬模型的特征點的3d坐標。
具體的，通過以下預設(shè)公式對所述2d虛擬模型的3d表情基進行加權(quán)，獲取加權(quán)后的2d虛擬模型的特征點的3d坐標：
其中，其中，αi即為擬合系數(shù)，g0為2d虛擬模型的中性表情基的3d頂點數(shù)據(jù)，gi為2d虛擬模型的其他表情基的3d頂點數(shù)據(jù)。
b、將所述加權(quán)后的2d虛擬模型的特征點的3d坐標轉(zhuǎn)換回2d坐標。
具體的，通過以下預設(shè)公式將所述加權(quán)后的2d虛擬模型的特征點的3d坐標轉(zhuǎn)換回2d坐標：
s2d＝s-1rt([xi；yi；zi]-[tx；ty；0])
其中，s、r以及t為步驟202中步驟a計算的參數(shù)。
c、根據(jù)所述轉(zhuǎn)換回的所述2d坐標，驅(qū)動所述2d虛擬模型。
該過程可以包括：
根據(jù)所述轉(zhuǎn)換回的所述2d坐標，計算剖分后的所述每個三角形內(nèi)的像素點的位移；
根據(jù)所述位移，驅(qū)動所述2d虛擬模型。
具體的，根據(jù)轉(zhuǎn)換回的2d坐標以及對2d虛擬模型進行三角剖分的結(jié)果，獲取該幀中2d虛擬模型的轉(zhuǎn)換回的2d特征點組成的三角形的頂點對應的像素點的坐標；通過線性插值計算上一幀的2d虛擬模型的三角形內(nèi)的像素點的坐標在該幀中的位移；根據(jù)該位移，驅(qū)動上一幀2d虛擬模型的三角形內(nèi)的像素點的坐標移動至新的坐標位置。
本發(fā)明實施例提供了一種2d虛擬模型的驅(qū)動方法，通過對當前人臉圖像進行特征點定位，并獲得特征點的2d坐標，再根據(jù)特征點的2d坐標獲得特征點的正面化的3d坐標，再獲取2d虛擬模型的3d坐標，根據(jù)2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫的表情基數(shù)據(jù)的回歸關(guān)系，建立2d虛擬模型的3d表情基，進而根據(jù)正面化的3d坐標與2d虛擬模型的3d表情基，獲取當前人臉與2d虛擬模型的3d表情基的擬合系數(shù)，最后根據(jù)擬合系數(shù)，驅(qū)動2d虛擬模型，從而在即時視頻過程中用戶能夠通過虛擬模型表達自己的情感與他人進行交互，滿足了用戶通過2d虛擬模型代替自身進行視頻的需求；并且因為通過2d虛擬模型進行視頻時，只需向?qū)Ψ桨l(fā)送驅(qū)動虛擬模型的參數(shù)，從而相較于傳統(tǒng)視頻通話過程中傳輸整個視頻而言，大大減少了對網(wǎng)絡資源的占用，有效減少了視頻通話的帶寬，提高了傳輸速率；另外，通過2d虛擬模型進行視頻通話時，因為其占用的帶寬少，避免了傳統(tǒng)視頻通話容易出現(xiàn)的視頻卡頓、模糊或掉線的情況，提高了用戶體驗；同時，在與陌生人社交場景中，用戶能夠通過2d虛擬模型進行視頻，避免了與陌生人交流過程中用戶不愿意露臉的尷尬，提高了用戶體驗。
實施例三
本發(fā)明實施例提供了一種電子設(shè)備5，參照圖5所示，該電子設(shè)備包括：
特征點定位模塊51，用于對當前人臉圖像進行特征點定位，并獲得所述特征點的2d坐標；
正面化模塊52，用于根據(jù)所述特征點的2d坐標獲得所述特征點的正面化的3d坐標；
2d虛擬模型的3d坐標獲取模塊53，用于獲取2d虛擬模型的3d坐標；
建立表情基模塊54，用于根據(jù)所述2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫的表情基數(shù)據(jù)的回歸關(guān)系，建立所述2d虛擬模型的3d表情基；
擬合系數(shù)獲取模塊55，用于根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，獲取所述當前人臉與所述2d虛擬模型的3d表情基的擬合系數(shù)；
驅(qū)動模塊56，用于根據(jù)所述擬合系數(shù)，驅(qū)動所述2d虛擬模型。
可選的，所述特征點定位模塊51包括：
降維子模塊，用于對所述特征點中的眼睛部位特征點提取特征向量，并對所述特征向量進行特征降維；
判別子模塊，用于將經(jīng)過特征降維的特征向量輸入預先訓練的判別器以判別所述眼睛是否為閉眼狀態(tài)；
移動子模塊，用于當為閉眼狀態(tài)時，將所述眼睛部位上眼瞼的特征點坐標移至下眼瞼的特征點位置。
可選的，所述正面化模塊52包括：
3d坐標獲取子模塊，用于根據(jù)預先訓練的3d線性形狀增益模型獲取所述特征點的3d坐標；
優(yōu)化子模塊，用于根據(jù)所述特征點的2d坐標對所述3d坐標進行優(yōu)化以獲得所述特征點的正面化的3d坐標。
可選的，所述優(yōu)化子模塊具體用于：
根據(jù)所述特征點的2d坐標和預設(shè)公式正面化所述3d坐標。
可選的，所述2d虛擬模型的3d坐標獲取模塊53包括：
2d虛擬模型的2d坐標獲取子模塊，用于獲取所述2d虛擬模型的特征點的2d坐標；
2d虛擬模型的3d坐標計算子模塊，用于根據(jù)所述2d虛擬模型的特征點的2d坐標，計算所述2d虛擬模型的特征點的3d坐標。
可選的，所述擬合系數(shù)獲取模塊55包括：
二次規(guī)劃子模塊，用于根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，通過二次規(guī)劃獲取所述擬合系數(shù)。
可選的，所述驅(qū)動模塊56包括：
3d表情基加權(quán)子模塊，用于根據(jù)所述擬合系數(shù)，對所述2d虛擬模型的3d表情基進行加權(quán)，獲取加權(quán)后的2d虛擬模型的特征點的3d坐標；
2d坐標轉(zhuǎn)換子模塊，用于將所述加權(quán)后的2d虛擬模型的特征點的3d坐標轉(zhuǎn)換回2d坐標；
驅(qū)動子模塊，用于根據(jù)所述轉(zhuǎn)換回的所述2d坐標，驅(qū)動所述2d虛擬模型。
可選的，所述設(shè)備還包括：
三角剖分模塊57，用于根據(jù)所述2d虛擬模型的特征點的2d坐標，對所述2d虛擬模型進行三角剖分；
像素點坐標獲取模塊58，用于獲取剖分后的每個三角形內(nèi)的像素點坐標。
可選的，所述驅(qū)動子模塊具體用于：
根據(jù)所述轉(zhuǎn)換回的所述2d坐標，計算剖分后的所述每個三角形內(nèi)的像素點的位移；
根據(jù)所述位移，驅(qū)動所述2d虛擬模型。
本發(fā)明實施例提供了一種電子設(shè)備，通過對當前人臉圖像進行特征點定位，并獲得特征點的2d坐標，再根據(jù)特征點的2d坐標獲得特征點的正面化的3d坐標，再獲取2d虛擬模型的3d坐標，根據(jù)2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫的表情基數(shù)據(jù)的回歸關(guān)系，建立2d虛擬模型的3d表情基，進而根據(jù)正面化的3d坐標與2d虛擬模型的3d表情基，獲取當前人臉與2d虛擬模型的3d表情基的擬合系數(shù)，最后根據(jù)擬合系數(shù)，驅(qū)動2d虛擬模型，從而在即時視頻過程中用戶能夠通過虛擬模型表達自己的情感與他人進行交互，滿足了用戶通過2d虛擬模型代替自身進行視頻的需求；并且因為通過2d虛擬模型進行視頻時，只需向?qū)Ψ桨l(fā)送驅(qū)動虛擬模型的參數(shù)，從而相較于傳統(tǒng)視頻通話過程中傳輸整個視頻而言，大大減少了對網(wǎng)絡資源的占用，有效減少了視頻通話的帶寬，提高了傳輸速率；另外，通過2d虛擬模型進行視頻通話時，因為其占用的帶寬少，避免了傳統(tǒng)視頻通話容易出現(xiàn)的視頻卡頓、模糊或掉線的情況，提高了用戶體驗；同時，在與陌生人社交場景中，用戶能夠通過2d虛擬模型進行視頻，避免了與陌生人交流過程中用戶不愿意露臉的尷尬，提高了用戶體驗。
實施例四
本發(fā)明實施例提供了一種電子設(shè)備6，參照圖6所示，所述電子設(shè)備包括存儲器61以及與所述存儲器連接的處理器62，其中，所述存儲器61用于存儲一組程序代碼，所述處理器62調(diào)用所述存儲器61所存儲的程序代碼用于執(zhí)行以下操作：
對當前人臉圖像進行特征點定位，并獲得所述特征點的2d坐標；
根據(jù)所述特征點的2d坐標獲得所述特征點的正面化的3d坐標；
獲取2d虛擬模型的3d坐標，根據(jù)所述2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫的表情基數(shù)據(jù)的回歸關(guān)系，建立所述2d虛擬模型的3d表情基；
根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，獲取所述當前人臉與所述2d虛擬模型的3d表情基的擬合系數(shù)；
根據(jù)所述擬合系數(shù)，驅(qū)動所述2d虛擬模型。
可選的，所述處理器62調(diào)用所述存儲器61所存儲的程序代碼用于執(zhí)行以下操作：
對所述特征點中的眼睛部位特征點提取特征向量，并對所述特征向量進行特征降維；
將經(jīng)過特征降維的特征向量輸入預先訓練的判別器以判別所述眼睛是否為閉眼狀態(tài)；
當為閉眼狀態(tài)時，將所述眼睛部位上眼瞼的特征點坐標移至下眼瞼的特征點位置。
可選的，所述處理器62調(diào)用所述存儲器61所存儲的程序代碼用于執(zhí)行以下操作：
根據(jù)預先訓練的3d線性形狀增益模型獲取所述特征點的3d坐標；
根據(jù)所述特征點的2d坐標對所述3d坐標進行優(yōu)化以獲得所述特征點的正面化的3d坐標。
可選的，所述處理器62調(diào)用所述存儲器61所存儲的程序代碼用于執(zhí)行以下操作：
根據(jù)所述特征點的2d坐標和預設(shè)公式正面化所述3d坐標。
可選的，所述處理器62調(diào)用所述存儲器61所存儲的程序代碼用于執(zhí)行以下操作：
獲取所述2d虛擬模型的特征點的2d坐標；
根據(jù)所述2d虛擬模型的特征點的2d坐標，計算所述2d虛擬模型的特征點的3d坐標。
可選的，所述處理器62調(diào)用所述存儲器61所存儲的程序代碼用于執(zhí)行以下操作：
根據(jù)所述正面化的3d坐標與所述2d虛擬模型的3d表情基，通過二次規(guī)劃獲取所述擬合系數(shù)。
可選的，所述處理器62調(diào)用所述存儲器61所存儲的程序代碼用于執(zhí)行以下操作：
根據(jù)所述擬合系數(shù)，對所述2d虛擬模型的3d表情基進行加權(quán)，獲取加權(quán)后的2d虛擬模型的特征點的3d坐標；
將所述加權(quán)后的2d虛擬模型的特征點的3d坐標轉(zhuǎn)換回2d坐標；
根據(jù)所述轉(zhuǎn)換回的所述2d坐標，驅(qū)動所述2d虛擬模型。
可選的，所述處理器62調(diào)用所述存儲器61所存儲的程序代碼用于執(zhí)行以下操作：
根據(jù)所述2d虛擬模型的特征點的2d坐標，對所述2d虛擬模型進行三角剖分；
獲取剖分后的每個三角形內(nèi)的像素點坐標。
可選的，所述處理器62調(diào)用所述存儲器61所存儲的程序代碼用于執(zhí)行以下操作：
根據(jù)所述轉(zhuǎn)換回的所述2d坐標，計算剖分后的所述每個三角形內(nèi)的像素點的位移；
根據(jù)所述位移，驅(qū)動所述2d虛擬模型。
本發(fā)明實施例提供了一種電子設(shè)備，通過對當前人臉圖像進行特征點定位，并獲得特征點的2d坐標，再根據(jù)特征點的2d坐標獲得特征點的正面化的3d坐標，再獲取2d虛擬模型的3d坐標，根據(jù)2d虛擬模型的3d坐標與預先建立的人臉模型數(shù)據(jù)庫的表情基數(shù)據(jù)的回歸關(guān)系，建立2d虛擬模型的3d表情基，進而根據(jù)正面化的3d坐標與2d虛擬模型的3d表情基，獲取當前人臉與2d虛擬模型的3d表情基的擬合系數(shù)，最后根據(jù)擬合系數(shù)，驅(qū)動2d虛擬模型，從而在即時視頻過程中用戶能夠通過虛擬模型表達自己的情感與他人進行交互，滿足了用戶通過2d虛擬模型代替自身進行視頻的需求；并且因為通過2d虛擬模型進行視頻時，只需向?qū)Ψ桨l(fā)送驅(qū)動虛擬模型的參數(shù)，從而相較于傳統(tǒng)視頻通話過程中傳輸整個視頻而言，大大減少了對網(wǎng)絡資源的占用，有效減少了視頻通話的帶寬，提高了傳輸速率；另外，通過2d虛擬模型進行視頻通話時，因為其占用的帶寬少，避免了傳統(tǒng)視頻通話容易出現(xiàn)的視頻卡頓、模糊或掉線的情況，提高了用戶體驗；同時，在與陌生人社交場景中，用戶能夠通過2d虛擬模型進行視頻，避免了與陌生人交流過程中用戶不愿意露臉的尷尬，提高了用戶體驗。
上述所有可選技術(shù)方案，可以采用任意結(jié)合形成本發(fā)明的可選實施例，在此不再一一贅述。
需要說明的是：上述實施例提供的電子設(shè)備在執(zhí)行2d虛擬模型的驅(qū)動方法時，僅以上述各功能模塊的劃分進行舉例說明，實際應用中，可以根據(jù)需要而將上述功能分配由不同的功能模塊完成，即將設(shè)備的內(nèi)部結(jié)構(gòu)劃分成不同的功能模塊，以完成以上描述的全部或者部分功能。另外，上述實施例提供的電子設(shè)備與2d虛擬模型的驅(qū)動方法實施例屬于同一構(gòu)思，其具體實現(xiàn)過程詳見方法實施例，這里不再贅述。
本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例的全部或部分步驟可以通過硬件來完成，也可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲于一種計算機可讀存儲介質(zhì)中，上述提到的存儲介質(zhì)可以是只讀存儲器，磁盤或光盤等。
以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。