一種半監(jiān)督語音特征可變因素分解方法
【專利摘要】本發(fā)明公開了一種半監(jiān)督語音特征可變因素分解方法，把語音特征分成四類：情感相關特征、性別相關特征、年齡相關特征、包括噪聲和語種的其他因素相關特征。首先，對語音進行預處理得到語譜圖，不同尺寸的語譜塊輸入無監(jiān)督特征學習網(wǎng)絡SAE，預訓練得到不同尺寸的卷積核，然后分別用不同尺寸的卷積核對整個語譜圖進行卷積，得到若干特征映射圖，再對特征映射圖進行最大池化，最終把特征堆疊起來形成局部不變特征y。y作為半監(jiān)督卷積神經網(wǎng)絡的輸入，通過最小化四個不同的損失函數(shù)項將y分解成四類特征。本發(fā)明解決了情感、性別、年齡語音特征相互混雜導致識別準確率不高的問題，可分別用于基于語音信號的不同識別需求，還可以用于分解更多因素。
【專利說明】—種半監(jiān)督語音特征可變因素分解方法
【技術領域】
[0001]本發(fā)明屬于語音識別領域，具體涉及一種語音特征分解的方法。
【背景技術】
[0002]隨著計算機滲透到生活的各個角落，各種類型的計算平臺都需要更簡便的輸入媒體，語音當仁不讓成為用戶最佳的選擇之一。一般來說，語音中包括了說話人、說話內容、說話人的情感、性別、年齡等多種信息。近年來，隨著一些應用的不斷完善，促進了對人的情感、性別、年齡、說話內容等方面的基于語音信號的識別技術的發(fā)展。比如傳統(tǒng)的呼叫中心通常都會隨機的接通服務生來為客戶提供電話咨詢，而不能夠根據(jù)用戶的情感、性別和年齡提供個性化的服務，這就促使了是否可以通過客戶的聲音來判斷其情感、性別和年齡，并以此為依據(jù)提供更加個性化的語音服務。但是在現(xiàn)有的基于語音信號的情感、性別和年齡識別相關任務中，傳統(tǒng)的特征提取方法所提取的特征往往摻雜了情感、性別、年齡、說話內容、語言等因素，彼此之間很難區(qū)分，從而導致識別效果不佳。
[0003]在Dong Yu 等、名稱為 Feature Learning in Deep Neural Networks—Studies onSpeech Recognition Tasks的論文中，利用深度神經網(wǎng)絡學到一個深層特征,但這個特征可能混雜了很多因素，如情感、性別、年齡等因素，如果把這個特征用于語音情感識別，識別率可能會受特征中其他因素的影響。目前還未出現(xiàn)一種特征提取方法能分別提取語音信號中不同類型的特征。本發(fā)明為了克服現(xiàn)有技術的缺陷，通過基于卷積神經網(wǎng)絡的半監(jiān)督特征學習，將語音特征分解成四類:情感相關特征、性別相關特征、年齡相關特征、其他因素相關特征，可分別用于基于語音信號的不同識別需求。本發(fā)明進一步拓展以后還可以用于分解更多因素。

【發(fā)明內容】

[0004]本發(fā)明的目的在于提供一種半監(jiān)督語音特征可變因素分解方法，使得分解出的特征不受與識別任務無關的因素的干擾，且更顯著地體現(xiàn)識別目標類別之間的差異，從而提高識別的準確度。
[0005]為了解決以上技術問題，本發(fā)明首先對語音進行預處理得到語譜圖，然后通過基于卷積神經網(wǎng)絡的無監(jiān)督學習得到局部不變特征，再采用一種半監(jiān)督學習方法，通過重構誤差函數(shù)、判別損失函數(shù)、正交損失函數(shù)、顯著性損失函數(shù)四個損失函數(shù)的約束將無監(jiān)督學習得到的局部不變特征，分解成四類:情感相關特征、性別相關特征、年齡相關特征和其他因素相關特征，可分別用于情感識別、性別識別、年齡識別，能有效提高識別準確率。具體技術方案如下:
[0006]一種半監(jiān)督語音特征可變因素分解方法，其特征在于包括下列步驟:
[0007]步驟一，預處理:對語音樣本進行預處理得到語譜圖，再采用PCA進行主成份分析降維以及白化，從中提取出不同尺寸的語譜塊；
[0008]步驟二，無監(jiān)督的局部不變特征學習:將所述語譜塊作為無監(jiān)督特征學習SAE的輸入，通過輸入不同尺寸的語譜塊，預訓練得到不同尺寸的卷積核，然后分別用所述不同尺寸的卷積核對整個語譜圖進行卷積，得到若干特征映射圖，再對所述特征映射圖進行最大池化，最終把特征堆疊起來形成局部不變特征y ；
[0009]步驟三，基于卷積神經網(wǎng)絡的半監(jiān)督特征學習:將所述局部不變特征I作為半監(jiān)督學習算法的輸入，利用基于卷積神經網(wǎng)絡的半監(jiān)督學習的方法，通過四個不同的損失函數(shù)將將局部不變特征I分解成四類特征；所述四類特征包括情感相關特征、性別相關特征、年齡相關特征、以及包括噪聲和語種的其他因素相關特征；所述半監(jiān)督學習的損失函數(shù)由重構誤差函數(shù)、判別損失函數(shù)、正交損失函數(shù)、顯著性損失函數(shù)四部分組成；
[0010]對于所述重構誤差函數(shù)，所述四類特征都要參與重構局部不變特征y，誤差采用均方誤差；對于所述判別損失函數(shù)，先對有標簽的數(shù)據(jù)進行類別預測，然后計算預測標簽和真實標簽之間的差異作為判別損失函數(shù)的值；對于所述正交損失函數(shù)，目的是使所述四類特征相互正交，表示輸入局部不變特征y的不同的方向；對于所述顯著性損失函數(shù)，目的是學習到僅體現(xiàn)識別目標類別之間的差異且更具有類別區(qū)分性的特征；通過最小化所述損失函數(shù)來獲得四個損失函數(shù)的參數(shù)包括偏置和權重，從而得到所述四類特征。
[0011]本發(fā)明具有有益效果。本發(fā)明的半監(jiān)督特征學習，通過將局部不變特征分解成情感相關特征、性別相關特征、年齡相關特征、其他因素相關特征共四類特征，使得不同類型的特征用于不同的識別需求，避免了不同類型特征之間相互干擾的缺點。特別是半監(jiān)督學習的損失函數(shù)由重構誤差函數(shù)、判別損失函數(shù)、正交損失函數(shù)、顯著性損失函數(shù)四部分組成，使得所學習到的特征能更好地描述識別目標類別之間的差異，不受無關因素的干擾。本發(fā)明解決了不同的語音特征混雜在一起從而帶來的識別率不高的問題，能有效地提高識別準確率。
【專利附圖】

【附圖說明】
[0012]圖1是語音特征分解流程圖。
[0013]圖2是無監(jiān)督特征學習流程圖。
[0014]圖3是半監(jiān)督語音特征分解結構圖。
【具體實施方式】
[0015]圖1給出了本發(fā)明方法的總體思路，首先，對語音進行預處理得到語譜圖，不同尺寸的語譜塊輸入無監(jiān)督特征學習網(wǎng)絡SAE，預訓練得到不同尺寸的卷積核，然后經過卷積、池化操作，形成局部不變特征I。I作為半監(jiān)督卷積神經網(wǎng)絡的輸入，通過最小化四個不同的損失函數(shù)項將I分解成四類特征。
[0016]預處理后的語音信號被劃分成IixIii大小的語譜塊，i表示語譜塊的個數(shù)，不同尺寸的語譜塊輸入無監(jiān)督特征學習網(wǎng)絡SAE，預訓練得到不同尺寸的卷積核，然后分別用不同尺寸的卷積核對整個語譜圖進行卷積，得到若干特征映射圖，再對特征映射圖進行最大池化，最終把特征堆疊起來形成局部不變特征y，如圖2所示。y作為半監(jiān)督卷積神經網(wǎng)絡的輸入，通過四個不同的損失函數(shù)項將y分解成四類特征。半監(jiān)督的損失函數(shù)由重構誤差函數(shù)、判別損失函數(shù)、正交損失函數(shù)、顯著性損失函數(shù)四部分組成。通過最小化損失函數(shù)來獲得四個損失函數(shù)項的參數(shù)，從而分解得到四類特征，分別用于不同的識別需求，如圖3所示。所有特征均要參加重構，而不同類型的特征參與對應的判別損失函數(shù)的約束。
[0017]本發(fā)明首先對語音進行預處理，利用基于卷積神經網(wǎng)絡的無監(jiān)督學習算法得到一組局部不變特征，然后利用基于卷積神經網(wǎng)絡的半監(jiān)督學習算法把局部不變特征分解成四類特征:情感相關特征、性別相關特征、年齡相關特征、其他因素相關特征。具體的步驟如下:
[0018]步驟一，首先把時域信號轉化成語譜圖，窗尺寸為20ms，有IOms的重疊；然后利用PCA降維以及白化，PCA有60個主成分，最終產生60 X η的語譜圖。從中提取若干個不重疊的60 X 15的語譜。對于每個60 X 15的語譜，從中提取兩個尺寸的語譜塊，分別為60 X 6和60X10。
[0019]步驟二，將60X6和60X 10兩種尺寸的語譜塊分別輸入到SAE，分別學習得到120個和輸入尺寸一樣大的60X6和60Χ 10的卷積核。然后利用這兩個卷積核分別對整個語譜60X15進行卷積，得到120個IX 10和120個1X6的特征映射圖，然后每兩幀進行最大池化，得到120個I X 5和120個I X 3的特征。即對于60 X 6的卷積核得到600個特征，對于60Χ 10的卷積核得到360個特征。這總的960個特征作為半監(jiān)督的輸入。接下來介紹一下無監(jiān)督特征學習的一般步驟。
[0020]自動編碼器AE(Auto-Encoder)的目標函數(shù)如下:
[0021]Jae(Q) = Σχει(χ, g(h(x))) (I)
[0022]其中X是輸入的語譜塊，此處的X是不帶標簽的。h(x)是編碼函數(shù)，
[0023]h(x) = s (ωχ+α),其中ω是權重矩陣，α是偏置，
【權利要求】
1.一種半監(jiān)督語音特征可變因素分解方法，其特征在于包括下列步驟: 步驟一，預處理:對語音樣本進行預處理得到語譜圖，再采用PCA進行主成份分析降維以及白化，從中提取出不同尺寸的語譜塊； 步驟二，無監(jiān)督的局部不變特征學習:將所述語譜塊作為無監(jiān)督特征學習SAE的輸入，通過輸入不同尺寸的語譜塊，預訓練得到不同尺寸的卷積核，然后分別用所述不同尺寸的卷積核對整個語譜圖進行卷積，得到若干特征映射圖，再對所述特征映射圖進行最大池化，最終把特征堆疊起來形成局部不變特征y ； 步驟三，基于卷積神經網(wǎng)絡的半監(jiān)督特征學習:將所述局部不變特征y作為半監(jiān)督學習算法的輸入，利用基于卷積神經網(wǎng)絡的半監(jiān)督學習的方法，通過四個不同的損失函數(shù)將將局部不變特征I分解成四類特征；所述四類特征包括情感相關特征、性別相關特征、年齡相關特征、以及包括噪聲和語種的其他因素相關特征；所述半監(jiān)督學習的損失函數(shù)由重構誤差函數(shù)、判別損失函數(shù)、正交損失函數(shù)、顯著性損失函數(shù)四部分組成； 對于所述重構誤差函數(shù)，所述四類特征都要參與重構局部不變特征y，誤差采用均方誤差；對于所述判別損失函數(shù)，先對有標簽的數(shù)據(jù)進行類別預測，然后計算預測標簽和真實標簽之間的差異作為判別損失函數(shù)的值；對于所述正交損失函數(shù)，目的是使所述四類特征相互正交，表示輸入局部不變特征y的不同的方向；對于所述顯著性損失函數(shù)，目的是學習到僅體現(xiàn)識別目標類別之間的差異且更具有類別區(qū)分性的特征；通過最小化所述損失函數(shù)來獲得四個損失函數(shù)的參數(shù)包括偏置和權重，從而得到所述四類特征。
【文檔編號】G06K9/00GK104021373SQ201410229537
【公開日】2014年9月3日 申請日期:2014年5月27日 優(yōu)先權日:2014年5月27日
【發(fā)明者】毛啟容, 黃正偉, 薛文韜, 于永斌, 詹永照, 茍建平, 邢玉萍 申請人:江蘇大學