技術(shù)特征：

1.一種基于無監(jiān)督域適應(yīng)的語音情感識別方法，其特征在于，包括如下步驟：

S1，語音樣本預(yù)處理：按照INTERSPEECH 2009情感挑戰(zhàn)賽的要求，利用開源工具包openEAR從原始語音樣本中提取384維特征，替代原始語音樣本作為輸入數(shù)據(jù)；

S2，模型訓(xùn)練：所述模型包括三部分：特征提取，情感標(biāo)簽預(yù)測，域標(biāo)簽預(yù)測；源域的有標(biāo)簽樣本和目標(biāo)域的無標(biāo)簽訓(xùn)練樣本通過S1得到相應(yīng)的384維特征作為模型的輸入數(shù)據(jù)；具體實現(xiàn)包括如下：

在模型的特征提取層，輸入數(shù)據(jù)通過不同的權(quán)重映射成兩種特征：情感判別特征和情感無關(guān)特征；然后情感判別特征通過層次非線性轉(zhuǎn)換得到高層情感特征；

源域有標(biāo)簽樣本的高層情感特征用于情感標(biāo)簽的預(yù)測，源域和目標(biāo)域樣本的高層情感特征用于域標(biāo)簽的預(yù)測；

最后更新模型的參數(shù)，將兩個標(biāo)簽預(yù)測器的損失進(jìn)行反向傳播，用梯度下降法進(jìn)行參數(shù)的更新；

S3，特征提?。豪肧2中訓(xùn)練好的特征提取層的參數(shù)，將源域有標(biāo)簽訓(xùn)練樣本的384維特征轉(zhuǎn)換成高層情感特征；

S4，分類器訓(xùn)練：利用S3中源域有標(biāo)簽訓(xùn)練樣本的高層情感特征和相對應(yīng)的情感標(biāo)簽，進(jìn)行分類器SVM的訓(xùn)練；

S5，語音情感識別：對任意一個目標(biāo)域的語音測試樣本，首先利用步驟S1提取384維特征作為輸入數(shù)據(jù)，然后通過S2中訓(xùn)練好的特征提取層得到高層情感特征，最后輸入到S4訓(xùn)練好的SVM中進(jìn)行分類。

2.根據(jù)權(quán)利要求1所述的一種基于無監(jiān)督域適應(yīng)的語音情感識別方法，其特征在于，所述步驟S2中所述特征提取層的實現(xiàn)包括如下：

S2.1，設(shè)有N+1層，第n層有k⁽ⁿ⁾個結(jié)點，h⁽ⁿ⁾表示第n層的特征表示，n∈[0,1,...,N]；對于第零層，假設(shè)h⁽⁰⁾＝x，x為輸入樣本；那么第n層的特征表示為：

其中W⁽ⁿ⁾∈R^k(n)×k(n-1)表示權(quán)重矩陣，b⁽ⁿ⁾∈R^k(n)表示偏置，表示非線性激活函數(shù)；

S2.2，為了消除提取到的特征摻雜一些情感無關(guān)的因素，引進(jìn)一個正交項來解開情感判別因素和其他無關(guān)因素；對于輸入x，把它映射成兩塊特征：一塊編碼輸入數(shù)據(jù)的判別因素，另一塊編碼輸入數(shù)據(jù)的其他因素，參數(shù)分別是θ_e＝{W⁽¹⁾,b⁽¹⁾}和θ_o＝{w,c}；

S2.3，為了讓這兩塊特征可以有效地解開，讓第i個情感相關(guān)特征的敏感度向量和每個情感無關(guān)的特征的敏感度向量正交；進(jìn)一步，對這兩塊特征進(jìn)行約束的正交損失函數(shù)定義如下：

$L_{orth}({\mathrm{\θ}}_e,{\mathrm{\θ}}_o)=\underset{x\∈D_s}{\Σ}\underset{i,j}{\Σ}{(\frac{\∂h_i^{\left(e\right)}\left(x\right)}{\∂x}\·\frac{\∂h_j^{\left(o\right)}\left(x\right)}{\∂x})}^2$

其中表示所有樣本的域標(biāo)簽集合；

S2.4，對于輸入x，經(jīng)過上述特征提取過程，得到它的高層特征表示h^(N)。

3.根據(jù)權(quán)利要求2所述的一種基于無監(jiān)督域適應(yīng)的語音情感識別方法，其特征在于，所述步驟S2中所述情感標(biāo)簽預(yù)測和域標(biāo)簽預(yù)測的實現(xiàn)包括如下：

利用得到的高層特征表示h^(N)來預(yù)測情感標(biāo)簽和域標(biāo)簽：采用Softmax回歸進(jìn)行情感標(biāo)簽和域標(biāo)簽的預(yù)測，具體地，情感標(biāo)簽預(yù)測的損失函數(shù)L_y和域標(biāo)簽預(yù)測的損失函數(shù)L_d可以表示成如下形式：

$L_y({\mathrm{\θ}}_f,{\mathrm{\θ}}_y)=-\frac{1}{n_s}\underset{x\∈D_s}{\Σ}\underset{i=1}{\overset{c}{\Σ}}1\{y=i\}log\frac{e^{{\mathrm{\θ}}_{yi}^T{h}^{\left(N\right)}}}{\underset{j=1}{\overset{c}{\Σ}}{e}^{{\mathrm{\θ}}_{yj}^T{h}^{\left(N\right)}}},$

$L_d({\mathrm{\θ}}_f,{\mathrm{\θ}}_d)=-\frac{1}{n_s}\underset{x\∈X}{\Σ}\underset{i=0}{\overset{1}{\Σ}}1\{y=i\}log\frac{e^{{\mathrm{\θ}}_{di}^T{h}^{\left(N\right)}}}{\underset{j=0}{\overset{1}{\Σ}}{e}^{{\mathrm{\θ}}_{dj}^T{h}^{\left(N\right)}}},$

其中是情感標(biāo)簽預(yù)測的參數(shù)，是域標(biāo)簽預(yù)測的參數(shù)；X＝{x|x∈D_s||x∈D_t}表示訓(xùn)練時所有可獲得的源域有標(biāo)簽樣本和目標(biāo)域無標(biāo)簽樣本集合；表示所有樣本的域標(biāo)簽集合；y表示情感標(biāo)簽；n_s表示源域樣本個數(shù)。

4.根據(jù)權(quán)利要求3所述的一種基于無監(jiān)督域適應(yīng)的語音情感識別方法，其特征在于，所述步驟S2中所述更新模型參數(shù)的實現(xiàn)包括如下：

S2.5，結(jié)合特征提取、情感標(biāo)簽預(yù)測和域標(biāo)簽預(yù)測的損失函數(shù)，得到總目標(biāo)函數(shù)如下：

$\begin{array}{c}L\left({\mathrm{\θ}}_f,{\mathrm{\θ}}_y,{\mathrm{\θ}}_d\right)=\underset{x\∈D_s}{\mathrm{\Σ}}{G}_y\left(f\left(x;{\mathrm{\θ}}_f\right);{\mathrm{\θ}}_y\right)+\mathrm{\α}\underset{x\∈X}{\mathrm{\Σ}}{G}_d\left(f\left(x;{\mathrm{\θ}}_f\right);{\mathrm{\θ}}_d\right)++{\mathrm{\βL}}_{orth}\left({\mathrm{\θ}}_e,{\mathrm{\θ}}_o\right)\\ =L_y\left({\mathrm{\θ}}_f,{\mathrm{\θ}}_y\right)+{\mathrm{\αL}}_d\left({\mathrm{\θ}}_f,{\mathrm{\θ}}_d\right)+{\mathrm{\βL}}_{orth}\left({\mathrm{\θ}}_e,{\mathrm{\θ}}_o\right),\end{array}$

其中f把輸入x映射成高層特征表示，G_y和G_d分別把高層特征表示映射成情感標(biāo)簽和域標(biāo)簽，L_y和L_d分別表示情感標(biāo)簽預(yù)測和域標(biāo)簽預(yù)測的損失函數(shù)，a衡量域標(biāo)簽預(yù)測項的貢獻(xiàn)程度，β衡量正交損失函數(shù)的貢獻(xiàn)程度；

S2.6，為了得到情感判別和域不變的特征，需要尋找總目標(biāo)函數(shù)的一個鞍點：

$({\widehat{\mathrm{\θ}}}_f,{\widehat{\mathrm{\θ}}}_y)=\arg {\min }_{{\mathrm{\θ}}_f,{\mathrm{\θ}}_y}L({\mathrm{\θ}}_f,{\mathrm{\θ}}_y,{\widehat{\mathrm{\θ}}}_d),$

$\left({\widehat{\mathrm{\θ}}}_d\right)=\arg {\max }_{{\mathrm{\θ}}_d}L({\widehat{\mathrm{\θ}}}_f,{\widehat{\mathrm{\θ}}}_y,{\mathrm{\θ}}_d).$

S2.7，為了能使用梯度下降法來尋找這個鞍點，在特征提取層和域標(biāo)簽預(yù)測層之間加上了一個梯度反轉(zhuǎn)層；在前向傳播時，梯度反轉(zhuǎn)層相對于一個恒等變換函數(shù)；在反向傳播時，梯度會乘以一個負(fù)數(shù)-λ；用如下的偽函數(shù)來描述梯度反轉(zhuǎn)層：

R_λ(x)＝x,

$\frac{{\mathrm{dR}}_{\mathrm{\λ}}}{dx}=-\mathrm{\λ}I,$

其中I是單位矩陣；因此總目標(biāo)函數(shù)的偽目標(biāo)函數(shù)可以定義成如下形式：

$L_{ESDF}=\underset{x\∈D_s}{\mathrm{\Σ}}{G}_y\left(f\right(x;{\mathrm{\θ}}_f);{\mathrm{\θ}}_y)+\mathrm{\α}\underset{x\∈X}{\mathrm{\Σ}}{G}_d\left(R_{\mathrm{\λ}}\right(f\left(x;{\mathrm{\θ}}_f\right));{\mathrm{\θ}}_d)+{\mathrm{\βL}}_{orth}({\mathrm{\θ}}_e,{\mathrm{\θ}}_o),$

所有的權(quán)重和偏置可以使用如下的梯度下降算法進(jìn)行更新：

$W^{\left(1\right)}\←W^{\left(1\right)}-\mathrm{\μ}\left(\frac{\∂L_y}{\∂W^{\left(1\right)}}-\mathrm{\λ}\mathrm{\α}\frac{\∂L_d}{\∂W^{\left(1\right)}}+\mathrm{\β}\frac{\∂L_{orth}}{\∂W^{\left(1\right)}}\right),$

$b^{\left(1\right)}\←b^{\left(1\right)}-\mathrm{\μ}(\frac{\∂L_y}{\∂b^{\left(1\right)}}-\mathrm{\λ}\mathrm{\α}\frac{\∂L_d}{\∂b^{\left(1\right)}}+\mathrm{\β}\frac{\∂L_{orth}}{\∂b^{\left(1\right)}}),$

$W^{\left(m\right)}\←W^{\left(m\right)}-\mathrm{\μ}(\frac{\∂L_y}{\∂W^{\left(m\right)}}-\mathrm{\λ}\mathrm{\α}\frac{\∂L_d}{\∂W^{\left(m\right)}}),$

$b^{\left(m\right)}\←b^{\left(m\right)}-\mathrm{\μ}(\frac{\∂L_y}{\∂b^{\left(m\right)}}-\mathrm{\λ}\mathrm{\α}\frac{\∂L_d}{\∂b^{\left(m\right)}}),$

$w\←w-\mathrm{\μ}\left(\mathrm{\β}\frac{\∂L_{orth}}{\∂w}\right),$

$c\←c-\mathrm{\μ}\left(\mathrm{\β}\frac{\∂L_{orth}}{\∂c}\right),$

${\mathrm{\θ}}_d\←{\mathrm{\θ}}_d-\mathrm{\μ}\left(\mathrm{\α}\frac{\∂L_d}{\∂{\mathrm{\θ}}_d}\right),$

${\mathrm{\θ}}_y\←{\mathrm{\θ}}_y-\mathrm{\μ}\left(\frac{\∂L_y}{\∂{\mathrm{\θ}}_y}\right),$

其中m＝2,...,N，μ是學(xué)習(xí)率，a和β分別衡量域預(yù)測損失函數(shù)和正交損失函數(shù)的貢獻(xiàn)程度，λ是梯度反轉(zhuǎn)層的參數(shù)。