[0022] 具體地，我們首先利用幾何特征&建立一組輔助預(yù)測問題。假設(shè)fi包含1i維度。 對中的每一維度fJi)，我們建立并求解如下輔助問題：
[0023] a.建立輔助標簽。對每一個樣本，建立輔助標簽= ?%?(/#) -力⑴)，其中 /i⑷是f\(i)在L中的平均值，而sign(_)表示取符號運算。
[0024] b.對每一個對象j的全部樣本，利用&訓(xùn)練線性SVM模型，來預(yù)測輔助標簽Yi⑴。 訓(xùn)練所得線性SVM模型的權(quán)重向量記為％ (i).
[0025] 對每一個對象j，通過求解上述的^個輔助問題，我們可以獲得一組輔助預(yù)測模 型權(quán)重向量，其中每一項Wj(i)為對象j在由f\(i)建立的輔助預(yù)測問題上的線性 SVM權(quán)重向量。將這組權(quán)重向量拼接，我們對每一個對象建立一個輔助預(yù)測模型長向量I =[Wj(l)T，Wj⑵T，...jjdi)1]1，其中維度。的維度為1，12，其中1 2是匕的 維度。輔助預(yù)測模型長向量％代表的是在對應(yīng)對象數(shù)據(jù)上表觀特征和幾何特征之間的關(guān)聯(lián) 性，反應(yīng)了對象的數(shù)據(jù)特性。因此，基于對象的輔助預(yù)測模型矩陣，我們可以將任意兩個對 象j和k之間的距離定義為對應(yīng)的％和Wk兩個矩陣之間的距離。具體地，對象j和k之間 的距離(^被定義為：(1』1;=2：|1』-11;|-2：_(1』。1 1;)，其中2：表示疊加向量中的所有元素， 而。代表矩陣Hadamard積，即對應(yīng)元素相乘。在這種新的距離定義中，SlWj-Wkl項的作 用是在考察各個對應(yīng)元素取值接近的情況，而2sign(W，Wk)項則是考察對應(yīng)元素符號一 致的情況?？紤]到％的物理意義是線性SVM的權(quán)重向量，在尋找數(shù)據(jù)特性相近對象這個應(yīng) 用上，符號一致甚至比取值接近更為重要?；趯ο箝g的距離，我們在L中選取n個與U最 接近的對象，組成訓(xùn)練集L'。
[0026] 基于樣本加權(quán)的協(xié)同訓(xùn)練部分：
[0027] 在選取得到的訓(xùn)練集L'和測試對象U上，我們提取幾何特征和表觀特征，利用加 權(quán)協(xié)同訓(xùn)練的方法，分別訓(xùn)練對應(yīng)的幾何特征和表觀特征預(yù)測器。在本發(fā)明中，我們提出一 套給協(xié)同訓(xùn)練樣本加權(quán)重的策略。通過加權(quán)，預(yù)測模型將更有效的適應(yīng)測試數(shù)據(jù)領(lǐng)域U，同 時具有更好的魯棒性。
[0028] 預(yù)測器訓(xùn)練方法選用線性支持向量機（linearSupportVectorMachine,SVM)。 為了使得不同SVM模型的輸出可以一起比較，在訓(xùn)練時，我們采用PlattSealing的方法來 處理SVM的輸出。經(jīng)過這個步驟，各個SVM模型的輸出具有統(tǒng)一的概率含義。我們在測試 時將其用于評價預(yù)測的置信度。
[0029] 具體的，首先我們在L'上利用線性SVM訓(xùn)練幾何特征預(yù)測器4和表觀特征預(yù)測 器匕。為方便討論，我們將匕和^的訓(xùn)練集分別稱為L/和V。在輸入測試對象數(shù)據(jù)U上，我們采用與在L'上一致的方法，檢測人臉特征點，提取幾何特征^和表觀特征f2。然 后，我們循環(huán)執(zhí)行以下步驟：
[0030] a.將hi應(yīng)用于測試對象數(shù)據(jù)U，獲得預(yù)測標簽f/。將h2應(yīng)用于U，獲得預(yù)測標簽 対。
[0031] b.在U中，選取hi以較高置信度預(yù)測的，且不在L2'中樣本。以,命》.丨妗丨作為偽 標簽，加入h2的訓(xùn)練集合L2'。類似的，選取112高置信度新樣本，加入L/。
[0032] c.對于V和IV中每一個訓(xùn)練樣本X，賦予訓(xùn)練權(quán)重Qx。
[0033] d.基于訓(xùn)練權(quán)重Qx，重新訓(xùn)練hJPh2。
[0034] 這個循環(huán)過程的終止條件是U中沒有新的高置信度樣本可以加入L/或L2'。所 謂高置信度指的是4或h2預(yù)測時的置信度高于事先設(shè)定的閾值。
[0035] 訓(xùn)練樣本權(quán)重義根據(jù)來自U中樣本的正負樣本比例和、與]^之間的差值來計算。 具體地：
【主權(quán)項】
1. 一種領(lǐng)域自適應(yīng)人臉表情分析方法，其特征在于如下步驟： (1) 根據(jù)FACS手冊中關(guān)于表情動作單元的描述，定義人臉面部幾何特征和表觀特征 f2； (2) 構(gòu)建輔助預(yù)測問題，由幾何特征&計算標簽，由表觀特征f2預(yù)測標簽，記錄預(yù)測參 數(shù)向量； (3) 由預(yù)測參數(shù)向量定義對象之間的距離，距離定義包括取值接近和符號一致兩部分， 在訓(xùn)練集L中選取與測試對象U距離相近的訓(xùn)練對象，組成訓(xùn)練集1/ C心 (4) 采用加權(quán)協(xié)同訓(xùn)練，訓(xùn)練預(yù)測模型4和h2，訓(xùn)練樣本權(quán)重計算包含正負樣本個數(shù)比 例和匕與h2分值的絕對差值兩個因素； (5) 利用預(yù)先訓(xùn)練的優(yōu)勢預(yù)測模型hlv2，融合匕和h2得到模型h，輸出最終預(yù)測結(jié)果。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于： 所述的幾何特征和表觀特征具有獨立的表情分析能力，同時具有互補性。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于：所述步驟（1)中特征定義進一步包括： (1. 1)幾何特征由角度，長度等幾何度量組成，基于人臉特征點計算得出； (1. 2)表觀特征選用固定位置和尺度的SIFT描述子。
4. 根據(jù)權(quán)利要求1所述的方法，其特征在于：所述步驟⑷加權(quán)協(xié)同訓(xùn)練樣本進一步 包括：權(quán)重計算中，正負樣本個數(shù)的比例統(tǒng)計所有來自測試對象U的樣本，記為RskOT(x)。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于：所述步驟⑷加權(quán)協(xié)同訓(xùn)練 樣本進一步包括：權(quán)重計算的具體公式為：
其中a和b是預(yù)先設(shè)定的大于零的常數(shù)，通過在數(shù)據(jù)庫中進行交叉驗證（cross validation)選取得到。
6. 根據(jù)權(quán)利要求1所述的方法，其特征在于：所述步驟（5)進一步包括：利用預(yù)先訓(xùn) 練優(yōu)勢預(yù)測模型hlv2，預(yù)測幾何特征在測試對象U上相對于表觀特征f2處于優(yōu)勢的概率， 融合幾何特征模型4和表觀特征模型h2。
【專利摘要】本發(fā)明是一種領(lǐng)域自適應(yīng)的人臉面部表情分析方法，屬于計算機視覺和情感計算研究領(lǐng)域。目的是解決自動表情分析中訓(xùn)練與測試數(shù)據(jù)領(lǐng)域差異阻礙預(yù)測精度的問題，更符合實際需要。本發(fā)明提出了一種基于對象領(lǐng)域的領(lǐng)域適應(yīng)表情分析方法。對每個受試對象，定義一個數(shù)據(jù)領(lǐng)域。首先通過構(gòu)建輔助預(yù)測問題的方式來定義對象領(lǐng)域之間的距離。然后在源數(shù)據(jù)集里選取與測試對象數(shù)據(jù)性質(zhì)相近的一組對象，組成訓(xùn)練集。在訓(xùn)練集上，采用加權(quán)協(xié)同訓(xùn)練的方式，將部分測試對象數(shù)據(jù)直接用于模型訓(xùn)練，使得預(yù)測模型進一步接近測試對象領(lǐng)域。本發(fā)明的優(yōu)勢在于：解決了訓(xùn)練與測試數(shù)據(jù)相隔離的問題，使得預(yù)測模型適應(yīng)于測試數(shù)據(jù)領(lǐng)域，對領(lǐng)域差異具有魯棒性，適用范圍廣。
【IPC分類】G06K9-62, G06K9-00
【公開號】CN104616005
【申請?zhí)枴緾N201510103956
【發(fā)明人】丁小羽, 王橋, 夏睿
【申請人】南京宜開數(shù)據(jù)分析技術(shù)有限公司
【公開日】2015年5月13日
【申請日】2015年3月10日