本發(fā)明涉及情緒識別領域，特別涉及基于改進transformer的幼兒情緒檢測方法。

背景技術：

1、幼兒情緒是兒童心理健康發(fā)展的重要指標，能夠反映出他們的心理狀態(tài)和社交能力。然而，現(xiàn)有的情緒識別技術在幼兒群體中的應用存在一定的挑戰(zhàn)和局限。傳統(tǒng)的情緒識別方法通常依賴于手工設計的特征，這些特征在不同情境下的泛化能力較弱，難以應對幼兒復雜多變的面部表情。此外，幼兒的面部表情往往具有微小且快速變化的特點，傳統(tǒng)方法難以準確捕捉這些細微差異。

2、近年來，深度學習技術在圖像處理和情緒識別領域取得了顯著進展。盡管深度學習方法能夠自動學習特征表示，并在成人情緒識別中表現(xiàn)出色，但在幼兒面部表情識別中仍存在一些問題：1、基于深度卷積神經(jīng)網(wǎng)絡的方法雖然具有自動特征學習能力，但缺乏對長程依賴關系的建模，難以充分挖掘幼兒面部表情的全局信息；2、現(xiàn)有深度卷積神經(jīng)網(wǎng)絡模型通常采用單一的特征提取器，無法同時捕獲局部和全局特征，影響了對幼兒面部細微表情變化的識別能力.

3、因此，需要提供基于改進transformer的幼兒情緒檢測方法，用于實現(xiàn)更加精準和可靠的幼兒情緒識別。

技術實現(xiàn)思路

1、本發(fā)明提供基于改進transformer的幼兒情緒檢測方法，包括：構建數(shù)據(jù)集；建立改進transformer模型，其中，所述改進transformer模型包括改進編碼器及改進解碼器，所述改進編碼器至少包括交叉卷積層，所述改進解碼器至少包括編碼器-解碼器注意力機制；通過所述數(shù)據(jù)集訓練并優(yōu)化所述改進transformer模型；獲取待檢測幼兒面部圖像；通過優(yōu)化后的改進transformer模型基于所述待檢測幼兒面部圖像，識別幼兒情緒。

2、進一步地，所述改進編碼器至少包括編碼器輸入層、編碼器交叉卷積層以及堆疊的基本編碼器單元，其中，所述基本編碼器單元包括編碼器多頭自注意力機制層、編碼器前饋神經(jīng)網(wǎng)絡、編碼器殘差連接和編碼器層歸一化。

3、進一步地，所述交叉卷積層包括多個行方向可分離一維卷積核和多個列方向可分離一維卷積核。

4、進一步地，所述交叉卷積層的卷積運算公式為：其中，f′(i,j)為輸出特征圖的第(i,j)個位置，d(i,j)為輸入的圖像數(shù)據(jù)，d(i-m,j-n)為輸入的圖像數(shù)據(jù)的i-m行和j-n列的局部圖像，wm(i)為作用于第i行的行方向可分離一維卷積核，wn(j)為作用于第j列的列方向可分離一維卷積核，m為輸入的圖像數(shù)據(jù)的行總數(shù)，n為輸入的圖像數(shù)據(jù)的列總數(shù)。

5、進一步地，所述改進解碼器至少包括解碼器輸入層、堆疊的基本解碼器單元及解碼器輸出層，其中，所述基本解碼器單元包括解碼器多頭自注意力機制層、編碼器-解碼器注意力機制層、解碼器前饋神經(jīng)網(wǎng)絡、解碼器殘差連接和解碼器層歸一化。

6、進一步地，所述編碼器-解碼器注意力機制，包括：計算解碼器的輸入與編碼器輸出的幼兒面部圖像特征中的每個位置特征之間的相關性權重，其中，所述解碼器的輸入為通過所述解碼器多頭自注意力機制層對當前輸入序列進行處理得到的增強后的序列表示；基于所述相關性權重，對所述幼兒面部圖像特征進行加權求和，生成新的特征表示。

7、進一步地，通過以下公式計算解碼器的輸入與編碼器輸出的幼兒面部圖像特征中的每個位置特征之間的相關性權重：其中，α為相關性權重，wq為查詢序列的線性變換矩陣，為鍵序列的線性變換矩陣，dk為注意力維度，v為幼兒面部圖像特征，h為增強后的序列表示。

8、進一步地，通過以下公式生成新的特征表示：其中，z為新的特征表示，m為值序列的序列長度，wv為幼兒面部圖像特征的線性變換矩陣，(v×wv)j表示由v×wv得到的向量中第j個元素的值。

9、進一步地，所述構建數(shù)據(jù)集，包括：采集原始幼兒面部表情圖像；對所述原始幼兒面部表情圖像進行預處理，得到預處理后的幼兒面部表情圖像，其中，所述預處理至少包括圖像去噪、圖像增強、圖像裁剪和圖像縮放；為預處理后的幼兒面部表情圖像賦予情緒類別標簽；構建訓練集、驗證集和測試集。

10、進一步地，通過所述數(shù)據(jù)集訓練并優(yōu)化所述改進transformer模型，包括：重復執(zhí)行將訓練集分批導入所述改進transformer模型，獲取所述改進transformer模型的預測結果，根據(jù)損失函數(shù)基于所述改進transformer模型的預測結果，計算預測損失，采用優(yōu)化算法基于所述預測損失對所述改進transformer模型的參數(shù)進行更新，直至滿足預設訓練條件。

11、相比于現(xiàn)有技術，本發(fā)明提供的基于改進transformer的幼兒情緒檢測方法，至少具備以下有益效果：

12、1、交叉卷積層中可分離的一維卷積核能夠自適應地捕獲幼兒面部表情的不同尺度和形狀的局部特征，避免了固定卷積核帶來的限制，從而顯著提高了特征提取能力。同時，減少了參數(shù)量和計算量，降低了模型復雜度。

13、2、編碼器融合了卷積神經(jīng)網(wǎng)絡和自注意力機制的優(yōu)勢，能夠同時提取局部特征和建模全局依賴關系，為情緒檢測任務提供高質(zhì)量的特征輸入，提高了模型的表達能力；

14、3、編碼器-解碼器注意力機制使解碼器能夠獲取當前輸入所包含的局部信息，并挖掘出與之最相關的全局圖像特征，更好地理解輸入在整體語境中的語義，為情緒預測提供了豐富的解碼表示，提高了預測的準確性。

技術特征：

1.基于改進transformer的幼兒情緒檢測方法，其特征在于，包括：

2.根據(jù)權利要求1所述的基于改進transformer的幼兒情緒檢測方法，其特征在于，所述改進編碼器至少包括編碼器輸入層、編碼器交叉卷積層以及堆疊的基本編碼器單元，其中，所述基本編碼器單元包括編碼器多頭自注意力機制層、編碼器前饋神經(jīng)網(wǎng)絡、編碼器殘差連接和編碼器層歸一化。

3.根據(jù)權利要求2所述的基于改進transformer的幼兒情緒檢測方法，其特征在于，所述交叉卷積層包括多個行方向可分離一維卷積核和多個列方向可分離一維卷積核。

4.根據(jù)權利要求2所述的基于改進transformer的幼兒情緒檢測方法，其特征在于，所述交叉卷積層的卷積運算公式為：

5.根據(jù)權利要求2所述的基于改進transformer的幼兒情緒檢測方法，其特征在于，所述改進解碼器至少包括解碼器輸入層、堆疊的基本解碼器單元及解碼器輸出層，其中，所述基本解碼器單元包括解碼器多頭自注意力機制層、編碼器-解碼器注意力機制層、解碼器前饋神經(jīng)網(wǎng)絡、解碼器殘差連接和解碼器層歸一化。

6.根據(jù)權利要求5所述的基于改進transformer的幼兒情緒檢測方法，其特征在于，所述編碼器-解碼器注意力機制，包括：

7.根據(jù)權利要求6所述的基于改進transformer的幼兒情緒檢測方法，其特征在于，通過以下公式計算解碼器的輸入與編碼器輸出的幼兒面部圖像特征中的每個位置特征之間的相關性權重：

8.根據(jù)權利要求7所述的基于改進transformer的幼兒情緒檢測方法，其特征在于，通過以下公式生成新的特征表示：

9.根據(jù)權利要求1-8中任意一項所述的基于改進transformer的幼兒情緒檢測方法，其特征在于，所述構建數(shù)據(jù)集，包括：

10.根據(jù)權利要求9的基于改進transformer的幼兒情緒檢測方法，其特征在于，通過所述數(shù)據(jù)集訓練并優(yōu)化所述改進transformer模型，包括：

技術總結
本發(fā)明提供基于改進Transformer的幼兒情緒檢測方法，涉及情緒識別領域，包括：構建數(shù)據(jù)集；建立改進Transformer模型，其中，改進Transformer模型包括改進編碼器及改進解碼器，改進編碼器至少包括交叉卷積層，改進解碼器至少包括編碼器?解碼器注意力機制；通過數(shù)據(jù)集訓練并優(yōu)化改進Transformer模型；獲取待檢測幼兒面部圖像；通過優(yōu)化后的改進Transformer模型基于待檢測幼兒面部圖像，識別幼兒情緒，具有更加精準和可靠的幼兒情緒識別的優(yōu)點。

技術研發(fā)人員：夏江柳,鄭甲,胡曉,溫冬冬,張月嬌
受保護的技術使用者：浙江大學
技術研發(fā)日：
技術公布日：2024/12/19