本發(fā)明涉及人工智能領域，具體涉及一種前饋序列記憶神經(jīng)網(wǎng)絡及其構建方法和系統(tǒng)。

背景技術：

人工神經(jīng)網(wǎng)絡是從微觀結構與功能上對人腦神經(jīng)系統(tǒng)的模擬而建立起來的一類模型，具有模擬人的部分形象思維的能力，其特點主要是具有非線性特征、學習能力和自適應性，是實現(xiàn)人工智能的重要途徑，它是由簡單信息處理單元互聯(lián)組成的網(wǎng)絡，能接受并處理信息，網(wǎng)絡的信息處理由單元之間的相互作用來實現(xiàn)，具體處理信息時，通過將問題表達為處理單元之間的連接權重來處理。近年來，神經(jīng)網(wǎng)絡在人機交互的應用系統(tǒng)中起到了至關重要的作用，如基于深度神經(jīng)網(wǎng)絡的語音識別系統(tǒng)，基于深度神經(jīng)網(wǎng)絡的語音合成系統(tǒng)等，現(xiàn)有的神經(jīng)網(wǎng)絡如前饋神經(jīng)網(wǎng)絡在進行信息處理時，實現(xiàn)的是固定的輸入到固定輸出的映射關系，每個時刻的樣本是獨立計算的，不能有效利用訓練數(shù)據(jù)的長時信息；現(xiàn)有的神經(jīng)網(wǎng)絡在處理具有時序依賴性的數(shù)據(jù)時，經(jīng)常得不到很好的效果，所述具有時序依賴性的數(shù)據(jù)指數(shù)據(jù)與之數(shù)據(jù)之間存在前后依賴的關系，如語音識別時，為了提升識別的準確率，經(jīng)常需要考慮語音數(shù)據(jù)的上下文信息。因此，為了使神經(jīng)網(wǎng)絡有效利用訓練數(shù)據(jù)的長時信息，研究人員提出了具有記憶功能的遞歸神經(jīng)網(wǎng)絡，這種神經(jīng)網(wǎng)絡采用雙向循環(huán)反饋的結構來實現(xiàn)記憶功能，使得該遞歸神經(jīng)網(wǎng)絡可以利用訓練數(shù)據(jù)的長時信息。但是，該遞歸神經(jīng)網(wǎng)絡結構較復雜，訓練網(wǎng)絡參數(shù)時，經(jīng)常存在不穩(wěn)定性；并且，具有雙向循環(huán)反饋的網(wǎng)絡結構在對訓練數(shù)據(jù)實現(xiàn)記憶功能時，需要等數(shù)據(jù)輸入結束后，根據(jù)反饋信息來實現(xiàn)記憶，在信息處理效率較高的應用系統(tǒng)中無法使用，尤其是實時信息處理系統(tǒng)，經(jīng)常需要用戶等待較長的時間，降低了用戶體驗效果。

技術實現(xiàn)要素：

本發(fā)明實施例提供一種前饋序列記憶神經(jīng)網(wǎng)絡及其構建方法和系統(tǒng)，解決在有效利用訓練數(shù)據(jù)的長時信息的前提下，現(xiàn)有神經(jīng)網(wǎng)絡無法保證信息處理效率的問題，以提高用戶體驗效果。

為此，本發(fā)明實施例提供如下技術方案：

一種前饋序列記憶神經(jīng)網(wǎng)絡包括至少三層的多個節(jié)點，第一層為輸入層，最后一層為輸出層，其它位于輸入層和輸出層之間的多個節(jié)點組成至少一個隱層，層與層之間的節(jié)點是全連接的，每一個隱層都包含一個記憶塊，隱層與記憶塊共同構成雙向前饋序列記憶神經(jīng)網(wǎng)絡fsmn層，其中，當前隱層的記憶塊的輸入為當前隱層的輸出，當前隱層的記憶塊的輸出為下一層的一個輸入，所述記憶塊用于存儲當前幀輸入數(shù)據(jù)的歷史信息和未來信息，所述歷史信息為當前幀輸入數(shù)據(jù)之前幀的特征序列，所述未來信息為當前幀輸入數(shù)據(jù)之后幀的特征序列。

優(yōu)選地，所述前饋序列記憶神經(jīng)網(wǎng)絡還包括：

各雙向fsmn層都相應存在一個長短時記憶lstm層，同一層的雙向fsmn層和lstm層共同構成雙向長短時前饋序列記憶神經(jīng)網(wǎng)絡lsfsmn層，其中，當前l(fā)stm層的輸入為輸入層的輸出或上一lstm層、上一隱層以及上一隱層的記憶塊的輸出，當前l(fā)stm層的輸出為下一隱層和下一lstm層的一個輸入，其中，所述lstm層用于記憶歷史信息，所述雙向fsmn層用于記憶未來信息。

優(yōu)選地，所述前饋序列記憶神經(jīng)網(wǎng)絡還包括：位于雙向fsmn疊層和所述輸出層之間的全連接疊層，其中，所述全連接疊層的輸入端和所述雙向fsmn疊層的輸出端相連接，所述全連接疊層的輸出端和所述輸出層的輸入端相連接，所述全連接疊層包括至少一個全連接層，所述雙向fsmn疊層包括至少一個雙向fsmn層；或者

位于雙向lsfsmn疊層和所述輸出層之間的全連接疊層，其中，所述全連接疊層的輸入端和所述雙向lsfsmn疊層的輸出端相連接，所述全連接疊層的輸出端和所述輸出層的輸入端相連接，所述全連接疊層包括至少一個全連接層，所述雙向lsfsmn疊層包括至少一個雙向lsfsmn層。

一種前饋序列記憶神經(jīng)網(wǎng)絡的構建方法，包括：

收集大量訓練數(shù)據(jù)，并提取所述訓練數(shù)據(jù)的特征序列；

構建前饋序列記憶神經(jīng)網(wǎng)絡；

利用所述訓練數(shù)據(jù)的特征序列對構建的前饋序列記憶神經(jīng)網(wǎng)絡進行訓練，得到前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)取值。

優(yōu)選地，所述構建前饋序列記憶神經(jīng)網(wǎng)絡包括：

確定前饋序列記憶神經(jīng)網(wǎng)絡的結構；

根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡結構確定所述特征序列的變換方法及相應前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)。

優(yōu)選地，所述前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)包括以下一種或多種：歷史信息權重、未來信息權重、當前隱層與下個隱層的連接權重矩陣及權重偏置、當前隱層的記憶塊與下個隱層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個隱層的連接權重矩陣與權重偏置、當前l(fā)stm層與下個lstm層的轉換矩陣及權重偏置、當前隱層與下個lstm層的連接權重矩陣與權重偏置、當前隱層的記憶塊與下個lstm層的連接權重矩陣與權重偏置、當前l(fā)stm層與當前l(fā)stm層的轉換矩陣及權重偏置、當前全連接層與下個全連接層的連接權重矩陣及權重偏置、當前雙向fsmn層與下個全連接層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個全連接層的連接權重矩陣與權重偏置、當前全連接層與輸出層的連接權重矩陣及權重偏置。

優(yōu)選地，對于包括雙向fsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡，所述根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡結構確定所述特征序列的變換方法及相應前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)包括：

由輸入層輸入所述訓練數(shù)據(jù)的特征序列，進入所述雙向fsmn疊層；

各雙向fsmn層的隱層對輸入特征序列進行特征變換，并由記憶塊保存當前幀訓練數(shù)據(jù)的歷史信息和未來信息；

利用所述歷史信息權重和所述未來信息權重對訓練數(shù)據(jù)的歷史信息和未來信息進行融合，獲取每幀訓練數(shù)據(jù)的融合特征序列，作為當前隱層的記憶塊的輸出特征序列；

利用所述當前隱層與下個隱層的連接權重矩陣及權重偏置、所述當前隱層的記憶塊與下個隱層的連接權重矩陣及權重偏置對所述當前隱層的輸出特征序列和該隱層記憶塊的輸出特征序列進行變換，獲取下一隱層的輸出特征序列；

以最后一個隱層的輸出和\或該隱層記憶塊的輸出作為輸出層的輸入，進行變換獲取輸出層的輸出結果。

優(yōu)選地，對于包括雙向lsfsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡，所述根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡結構確定所述特征序列的變換方法及相應前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)包括：

由輸入層輸入所述訓練數(shù)據(jù)的特征序列，進入雙向lsfsmn疊層；

由lsfsmn層的雙向fsmn層的隱層和lstm層對輸入特征序列進行特征變換，并由lstm層保存當前幀訓練數(shù)據(jù)的歷史信息，記憶塊保存當前幀訓練數(shù)據(jù)的未來信息；

利用所述當前隱層與下個隱層的連接權重矩陣及權重偏置、所述當前隱層的記憶塊與下個隱層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個lstm層的轉換矩陣及權重偏置、當前隱層與下個lstm層的連接權重矩陣與權重偏置、當前l(fā)stm層與當前l(fā)stm層的轉換矩陣及權重偏置、當前隱層的記憶塊與下個lstm層的連接權重矩陣與權重偏置對所述當前隱層的輸出特征序列、當前隱層的記憶塊的輸出特征序列及當前l(fā)stm層的輸出特征序列進行變換，獲取下一隱層和下一lstm層的輸出特征序列；

以最后一個隱層的輸出和\或該隱層記憶塊的輸出及最后一個lstm層的輸出作為輸出層的輸入，進行變換獲取輸出層的輸出結果。

優(yōu)選地，對于包括全連接疊層的前饋序列記憶神經(jīng)網(wǎng)絡，所述方法還包括：

當訓練數(shù)據(jù)的特征序列從雙向fsmn層或雙向lsfsmn層進入全連接層時，利用當前雙向fsmn層與下個全連接層的連接權重矩陣及權重偏置或當前雙向fsmn層與下個全連接層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個隱層的連接權重矩陣與權重偏置，對當前雙向fsmn層或雙向lsfsmn層的輸出特征進行變換，獲取全連接層的輸出特征序列；

當訓練數(shù)據(jù)的特征序列進入所述全連接層之后，利用所述當前全連接層與下個全連接層的連接權重矩陣及權重偏置對當前全連接層的輸出特征序列進行變換，獲取下一全連接層的輸出特征序列；

當訓練數(shù)據(jù)的特征序列由全連接層進入輸出層時，利用當前全連接層與輸出層的連接權重矩陣及權重偏置對當前全連接層的輸出特征進行變換，獲取輸出層的輸出特征序列。

一種前饋序列記憶神經(jīng)網(wǎng)絡的構建系統(tǒng)，包括：

提取模塊，用于收集大量訓練數(shù)據(jù)，并提取所述訓練數(shù)據(jù)的特征序列；

構建模塊，用于構建前饋序列記憶神經(jīng)網(wǎng)絡；

訓練模塊，用于利用所述訓練數(shù)據(jù)的特征序列對構建的前饋序列記憶神經(jīng)網(wǎng)絡進行訓練，得到前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)取值。

優(yōu)選地，所述構建模塊包括：

結構確定單元，用于確定前饋序列記憶神經(jīng)網(wǎng)絡的結構；

參數(shù)確定單元，用于根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡結構確定所述特征序列的變換方法及相應前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)。

優(yōu)選地，所述前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)包括以下一種或多種：歷史信息權重、未來信息權重、當前隱層與下個隱層的連接權重矩陣及權重偏置、當前隱層的記憶塊與下個隱層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個隱層的連接權重矩陣與權重偏置、當前l(fā)stm層與下個lstm層的轉換矩陣及權重偏置、當前隱層與下個lstm層的連接權重矩陣與權重偏置、當前隱層的記憶塊與下個lstm層的連接權重矩陣與權重偏置、當前l(fā)stm層與當前l(fā)stm層的轉換矩陣及權重偏置、當前全連接層與下個全連接層的連接權重矩陣及權重偏置、當前雙向fsmn層與下個全連接層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個全連接層的連接權重矩陣與權重偏置、當前全連接層與輸出層的連接權重矩陣及權重偏置。

優(yōu)選地，對于包括雙向fsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡，所述參數(shù)確定單元包括：

第一輸入子單元，用于由輸入層輸入所述訓練數(shù)據(jù)的特征序列，進入所述 雙向fsmn疊層；

第一變換子單元，用于各雙向fsmn層的隱層對輸入特征序列進行特征變換，并由記憶塊保存當前幀訓練數(shù)據(jù)的歷史信息和未來信息；

特征融合子單元，用于利用所述歷史信息權重和所述未來信息權重對訓練數(shù)據(jù)的歷史信息和未來信息進行融合，獲取每幀訓練數(shù)據(jù)的融合特征序列，作為當前隱層的記憶塊的輸出特征序列；

第二變換子單元，用于利用所述當前隱層與下個隱層的連接權重矩陣及權重偏置、所述當前隱層的記憶塊與下個隱層的連接權重矩陣及權重偏置對所述當前隱層的輸出特征序列和該隱層記憶塊的輸出特征序列進行變換，獲取下一隱層的輸出特征序列；

第三變換子單元，用于以最后一個隱層的輸出和\或該隱層記憶塊的輸出作為輸出層的輸入，進行變換獲取輸出層的輸出結果。

優(yōu)選地，對于包括雙向lsfsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡，所述參數(shù)確定單元包括：

第二輸入子單元，用于由輸入層輸入所述訓練數(shù)據(jù)的特征序列，進入雙向lsfsmn疊層；

第四變換子單元，用于由lsfsmn層的雙向fsmn層的隱層和lstm層對輸入特征序列進行特征變換，并由lstm層保存當前幀訓練數(shù)據(jù)的歷史信息，記憶塊保存當前幀訓練數(shù)據(jù)的未來信息；

第五變換子單元，用于利用所述當前隱層與下個隱層的連接權重矩陣及權重偏置、所述當前隱層的記憶塊與下個隱層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個lstm層的轉換矩陣及權重偏置、當前l(fā)stm層與當前l(fā)stm層的轉換矩陣及權重偏置、當前隱層與下個lstm層的連接權重矩陣與權重偏置、當前隱層的記憶塊與下個lstm層的連接權重矩陣與權重偏置對所述當前隱層的輸出特征序列、當前隱層的記憶塊的輸出特征序列及當前l(fā)stm層的輸出特征序列進行變換，獲取下一隱層和下一lstm層的輸出特征序列。

第六變換子單元，用于以最后一個隱層的輸出和\或該隱層記憶塊的輸出及最后一個lstm層的輸出作為輸出層的輸入，進行變換獲取輸出層的輸出 結果。

優(yōu)選地，對于包括全連接疊層的前饋序列記憶神經(jīng)網(wǎng)絡，所述參數(shù)確定單元還包括：

第七變換子單元，用于當訓練數(shù)據(jù)的特征序列從雙向fsmn層或雙向lsfsmn層進入全連接層時，利用當前雙向fsmn層與下個全連接層的連接權重矩陣及權重偏置或當前雙向fsmn層與下個全連接層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個隱層的連接權重矩陣與權重偏置，對當前雙向fsmn層或雙向lsfsmn層的輸出特征進行變換，獲取全連接層的輸出特征序列；

第八變換子單元，用于當訓練數(shù)據(jù)的特征序列進入所述全連接層之后，利用所述當前全連接層與下個全連接層的連接權重矩陣及權重偏置對當前全連接層的輸出特征序列進行變換，獲取下一全連接層的輸出特征序列；

第九變換子單元，用于當訓練數(shù)據(jù)的特征序列由全連接層進入輸出層時，利用當前全連接層與輸出層的連接權重矩陣及權重偏置對當前全連接層的輸出特征進行變換，獲取輸出層的輸出特征序列。

本發(fā)明實施例提供的前饋序列記憶神經(jīng)網(wǎng)絡及其構建方法和系統(tǒng)，該神經(jīng)網(wǎng)絡包括記憶塊，通過該記憶塊可以存儲每幀輸入信息的歷史信息和未來信息，以利用訓練數(shù)據(jù)的長時信息，進而提升該神經(jīng)網(wǎng)絡處理信息數(shù)據(jù)的能力，并且該過程無需通過雙向循環(huán)反饋，使得本發(fā)明提供的前饋序列記憶神經(jīng)網(wǎng)絡在有效利用訓練數(shù)據(jù)的長時信息的前提下保證信息處理效率，提高了用戶體驗效果。

進一步地，為了提升神經(jīng)網(wǎng)絡的記憶能力，本發(fā)明還提供了另一種網(wǎng)絡結構，該結構中各雙向fsmn層都相應存在一個長短時記憶lstm層，同一層的雙向fsmn層和lstm層共同構成雙向長短時前饋序列記憶神經(jīng)網(wǎng)絡lsfsmn層，利用lstm層來記憶每幀訓練數(shù)據(jù)的歷史信息，利用fsmn層來記憶每幀訓練數(shù)據(jù)的未來信息，有效提升了前饋序列記憶神經(jīng)網(wǎng)絡的記憶能力，進而提升該神經(jīng)網(wǎng)絡處理信息數(shù)據(jù)的能力。

附圖說明

為了更清楚地說明本申請實施例或現(xiàn)有技術中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明中記載的一些實施例，對于本領域普通技術人員來講，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是現(xiàn)有技術中前饋神經(jīng)網(wǎng)絡的結構示意圖；

圖2是根據(jù)本發(fā)明實施例提供的前饋序列記憶神經(jīng)網(wǎng)絡的第一種結構示意圖；

圖3是根據(jù)本發(fā)明實施例提供的雙向fsmn層的一種時序展開結構示意圖；

圖4是根據(jù)本發(fā)明實施例提供的前饋序列記憶神經(jīng)網(wǎng)絡的第二種結構示意圖；

圖5是根據(jù)本發(fā)明實施例提供的前饋序列記憶神經(jīng)網(wǎng)絡的第三種結構示意圖；

圖6是根據(jù)本發(fā)明實施例提供的前饋序列記憶神經(jīng)網(wǎng)絡的第四種結構示意圖；

圖7是根據(jù)本發(fā)明實施例提供的一種前饋序列記憶神經(jīng)網(wǎng)絡的構建方法的流程圖；

圖8是根據(jù)本發(fā)明實施例提供的前饋序列記憶神經(jīng)網(wǎng)絡的構建系統(tǒng)的一種結構示意圖。

具體實施方式

為了使本技術領域的人員更好地理解本發(fā)明實施例的方案，下面結合附圖和實施例方式對本發(fā)明作進一步的詳細說明。以下實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。

為了更好地理解本發(fā)明，下面首先對現(xiàn)有技術中主要的神經(jīng)網(wǎng)絡進行簡介，現(xiàn)有神經(jīng)網(wǎng)絡結構的一種為前饋神經(jīng)網(wǎng)絡結構，如圖1所示，該結構具體包括輸入層、隱層及輸出層，每層由很多節(jié)點構成，層與層之間的節(jié)點是全連接的，同一層節(jié)點之間沒有連接；另一種常用的神經(jīng)網(wǎng)絡結構為遞歸神經(jīng)網(wǎng)絡 結構，具體包括輸入層、隱層及輸出層，每層由很多節(jié)點構成，隱層采用雙向循環(huán)反饋結構。但是前饋神經(jīng)網(wǎng)絡的結構由于同一層節(jié)點之間沒有連接，在進行信息處理時，實現(xiàn)的是固定的輸入到固定輸出的映射關系，每個時刻的樣本是獨立計算的。不能有效利用訓練數(shù)據(jù)的長時信息，大大降低了信息處理的能力；遞歸神經(jīng)網(wǎng)絡結構，由于采用雙向循環(huán)反饋的結構來實現(xiàn)記憶功能，網(wǎng)絡結構較復雜，對訓練數(shù)據(jù)實現(xiàn)記憶功能時，需要等數(shù)據(jù)輸入結束后，根據(jù)反饋信息來實現(xiàn)記憶，在信息處理效率較高的應用系統(tǒng)中無法使用，尤其是實時信息處理系統(tǒng)，經(jīng)常需要用戶等待較長的時間，降低了用戶體驗效果。

本發(fā)明提供的前饋序列記憶神經(jīng)網(wǎng)絡由于每一個雙向fsmn層都包含一個記憶塊，該記憶塊用于存儲每幀輸入數(shù)據(jù)的歷史信息和未來信息，該歷史信息和未來信息能體現(xiàn)數(shù)據(jù)的長時信息，有效提升神經(jīng)網(wǎng)絡處理信息數(shù)據(jù)的能力，并且該網(wǎng)絡結構不需要采用雙向循環(huán)反饋的結構，而是采用記憶塊來實現(xiàn)記憶功能，從而提高信息處理的效率。為了更好的理解本發(fā)明的技術方案和技術效果，以下將結合流程圖和具體的實施例進行詳細的描述。

如圖2至圖6所示，是本發(fā)明實施例提供的前饋序列記憶神經(jīng)網(wǎng)絡的結構示意圖：

實施例一

一種前饋序列記憶神經(jīng)網(wǎng)絡包括至少三層的多個節(jié)點，第一層為輸入層，最后一層為輸出層，其它位于輸入層和輸出層之間的多個節(jié)點組成至少一個隱層，層與層之間的節(jié)點是全連接的，還包括：每一個隱層都包含一個記憶塊，隱層與記憶塊共同構成雙向前饋序列記憶神經(jīng)網(wǎng)絡fsmn層，其中，當前隱層的記憶塊的輸入為當前隱層的輸出，當前隱層記憶塊的輸出為下一隱層的一個輸入，所述記憶塊用于存儲每幀輸入數(shù)據(jù)的歷史信息和未來信息，所述歷史信息為當前幀輸入數(shù)據(jù)之前幀的特征序列，所述未來信息為當前幀輸入數(shù)據(jù)之后幀的特征序列，如圖2所示。需要說明的是，現(xiàn)有技術中前饋神經(jīng)網(wǎng)絡的同一層節(jié)點之間沒有連接，而本發(fā)明提供的神經(jīng)網(wǎng)絡結構中，各fsmn層的隱層都與本層的記憶塊相連接，使得該記憶塊可以存儲每幀輸入數(shù)據(jù)的歷史信息和未來信息。

在實際應用中，雙向fsmn疊層可以由至少一個雙向fsmn層，如包含2個或3個，具體可以根據(jù)實際應用需求設定，所述記憶塊由多個節(jié)點構成，該記憶塊中存儲的每幀輸入數(shù)據(jù)的歷史信息和未來信息等，具體存儲多少幀歷史信息和未來信息可以根據(jù)實際應用或經(jīng)驗值等設定，一種雙向fsmn層的時序展開結構如圖3所示，該雙向fsmn層存儲當前幀輸入數(shù)據(jù)之前2幀的歷史信息，未存儲未來信息。該示意圖僅為說明本實施例，不能被解釋為對本發(fā)明的限定，例如，該雙向fsmn層的記憶塊可以存儲當前幀輸入數(shù)據(jù)之前5幀的歷史信息，并存儲當前幀輸入數(shù)據(jù)之后5幀的未來信息，在此不再列舉。

實施例二

一種前饋序列記憶神經(jīng)網(wǎng)絡，如實施例一所述，所不同的是，在本實施例中，為了提升神經(jīng)網(wǎng)絡處理信息數(shù)據(jù)的能力，所述雙向fsmn疊層替換為雙向lsfsmn疊層，各雙向lsfsmn層由同一層的雙向fsmn層和lstm層共同構成，其中，所述lstm層用于記憶歷史信息，所述雙向fsmn層用于記憶未來信息。該神經(jīng)網(wǎng)絡結構對輸入數(shù)據(jù)的記憶能力優(yōu)于實施例一提供的神經(jīng)網(wǎng)絡結構。

一種前饋序列記憶神經(jīng)網(wǎng)絡包括至少三層的多個節(jié)點，第一層為輸入層，最后一層為輸出層，其它位于輸入層和輸出層之間的多個節(jié)點組成至少一個隱層，層與層之間的節(jié)點是全連接的，每一個隱層都包含一個記憶塊，隱層與記憶塊共同構成雙向前饋序列記憶神經(jīng)網(wǎng)絡fsmn層，其中，當前隱層的記憶塊的輸入為當前隱層的輸出，當前隱層記憶塊的輸出為下一層的一個輸入，所述記憶塊用于存儲當前幀輸入數(shù)據(jù)的歷史信息和未來信息，所述歷史信息為當前幀輸入數(shù)據(jù)之前幀的特征序列，所述未來信息為當前幀輸入數(shù)據(jù)之后幀的特征序列；所述前饋序列記憶神經(jīng)網(wǎng)絡還包括：各雙向fsmn層都相應存在一個長短時記憶lstm層，同一層的雙向fsmn層和lstm層共同構成雙向長短時前饋序列記憶神經(jīng)網(wǎng)絡lsfsmn層，其中，當前l(fā)stm層的輸入為輸入層的輸出或上一lstm層、上一隱層以及上一隱層的記憶塊的輸出，當前l(fā)stm層的輸出為下一隱層和下一lstm層的一個輸入，其中，所述lstm 層用于記憶歷史信息，所述雙向fsmn層用于記憶未來信息，所述雙向lsfsmn疊層包括至少一個雙向lsfsmn層，如圖4所示。

實施例三

一種前饋序列記憶神經(jīng)網(wǎng)絡，如實施例一所述，所不同的是，在本實施例中，為了提升神經(jīng)網(wǎng)絡處理信息數(shù)據(jù)的能力，該神經(jīng)網(wǎng)絡結構還包括全連接疊層。該神經(jīng)網(wǎng)絡結構的信息處理能力優(yōu)于實施例一提供的神經(jīng)網(wǎng)絡結構，且信息處理效率不會明顯下降。

一種前饋序列記憶神經(jīng)網(wǎng)絡包括至少三層的多個節(jié)點，第一層為輸入層，最后一層為輸出層，其它位于輸入層和輸出層之間的多個節(jié)點組成至少一個隱層，層與層之間的節(jié)點是全連接的，每一個隱層都包含一個記憶塊，隱層與記憶塊共同構成雙向前饋序列記憶神經(jīng)網(wǎng)絡fsmn層，其中，當前隱層的記憶塊的輸入為當前隱層的輸出，當前隱層記憶塊的輸出為下一層的一個輸入，所述記憶塊用于存儲當前幀輸入數(shù)據(jù)的歷史信息和未來信息，所述歷史信息為當前幀輸入數(shù)據(jù)之前幀的特征序列，所述未來信息為當前幀輸入數(shù)據(jù)之后幀的特征序列；此外，所述前饋序列記憶神經(jīng)網(wǎng)絡還包括：位于雙向fsmn疊層和所述輸出層之間的全連接疊層，其中，所述全連接疊層的輸入端和所述雙向fsmn疊層的輸出端相連接，所述全連接疊層的輸出端和所述輸出層的輸入端相連接，所述全連接疊層包括至少一個全連接層，所述雙向fsmn疊層包括至少一個雙向fsmn層，如圖5所示。

優(yōu)選地，全連接疊層為2至3層，該全連接疊層可以進一步提升神經(jīng)網(wǎng)絡的信息處理能力并且不會造成效率降低的問題。

實施例四

一種前饋序列記憶神經(jīng)網(wǎng)絡，如實施例一所述，所不同的是，在本實施例中，為了提升神經(jīng)網(wǎng)絡處理信息數(shù)據(jù)的能力，所述雙向fsmn疊層替換為雙向lsfsmn疊層，各雙向lsfsmn層由同一層的雙向fsmn層和lstm層共同構成，其中，所述lstm層用于記憶歷史信息，所述雙向fsmn 層用于記憶未來信息；此外，該神經(jīng)網(wǎng)絡結構還包括全連接疊層。該神經(jīng)網(wǎng)絡結構的信息處理能力最優(yōu)，但是信息處理效率略低于實施例一至三。

一種前饋序列記憶神經(jīng)網(wǎng)絡包括至少三層的多個節(jié)點，第一層為輸入層，最后一層為輸出層，其它位于輸入層和輸出層之間的多個節(jié)點組成至少一個隱層，層與層之間的節(jié)點是全連接的，每一個隱層都包含一個記憶塊，隱層與記憶塊共同構成雙向前饋序列記憶神經(jīng)網(wǎng)絡fsmn層，其中，當前隱層的記憶塊的輸入為當前隱層的輸出，當前隱層記憶塊的輸出為下一層的一個輸入，所述記憶塊用于存儲當前幀輸入數(shù)據(jù)的歷史信息和未來信息，所述歷史信息為當前幀輸入數(shù)據(jù)之前幀的特征序列，所述未來信息為當前幀輸入數(shù)據(jù)之后幀的特征序列，各雙向fsmn層都相應存在一個長短時記憶lstm層，同一層的雙向fsmn層和lstm層共同構成雙向長短時前饋序列記憶神經(jīng)網(wǎng)絡lsfsmn層，其中，當前l(fā)stm層的輸入為輸入層的輸出或上一lstm層、上一隱層以及上一隱層的記憶塊的輸出，當前l(fā)stm層的輸出為下一隱層和下一lstm層的一個輸入，其中，所述lstm層用于記憶歷史信息，所述雙向fsmn層用于記憶未來信息；該神經(jīng)網(wǎng)絡結構還包括位于雙向lsfsmn疊層和所述輸出層之間的全連接疊層，其中，所述全連接層的輸入端和所述雙向lsfsmn疊層的輸出端相連接，所述全連接疊層的輸出端和所述輸出層的輸入端相連接，所述全連接疊層包括至少一個全連接層，所述雙向lsfsmn疊層包括至少一個雙向lsfsmn層，如圖6所示。

本發(fā)明實施例提供的前饋序列記憶神經(jīng)網(wǎng)絡，該神經(jīng)網(wǎng)絡與傳統(tǒng)的神經(jīng)網(wǎng)絡相比，在神經(jīng)網(wǎng)絡的隱層額外增加了一個記憶塊，該記憶塊用于保存每幀訓練數(shù)據(jù)的歷史信息和未來信息，有效提升了神經(jīng)網(wǎng)絡處理信息數(shù)據(jù)的能力。進一步地，所述前饋序列記憶神經(jīng)網(wǎng)絡還包括lstm疊層，利用記憶塊保存每幀訓練數(shù)據(jù)的未來信息，利用lstm保存每幀訓練數(shù)據(jù)的歷史信息，進一步提升了神經(jīng)網(wǎng)絡處理信息數(shù)據(jù)的能力。

相應地，本發(fā)明還提供了一種前饋序列記憶神經(jīng)網(wǎng)絡的構建方法，該構建方法的流程圖如圖7所示，包括：

步驟s01，收集大量訓練數(shù)據(jù)，并提取所述訓練數(shù)據(jù)的特征序列。

在本實施例中，所述訓練數(shù)據(jù)可以為語音數(shù)據(jù)、文本數(shù)據(jù)、或圖像數(shù)據(jù)等，具體可以根據(jù)應用需求確定。

以語音數(shù)據(jù)為例，提取訓練數(shù)據(jù)的特征時，首先需要對每句語音數(shù)據(jù)進行分幀處理，得到語音幀序列；然后提取各語音幀的語音特征，所述語音特征，可以是感知線性預測系數(shù)(perceptuallinearpredictive，plp)，它是受人的聽覺系統(tǒng)研究成果推動而導出的聲學特征，當然也可以是filterbank特征、梅爾頻率倒譜系數(shù)(melfrequencycepstrumcoefficient，mfcc)、線性預測系數(shù)(linearpredictioncoefficient，lpc)等語音特征等。具體提取方法與現(xiàn)有技術相同。

步驟s02，構建前饋序列記憶神經(jīng)網(wǎng)絡。

在本實施例中，所述構建前饋序列記憶神經(jīng)網(wǎng)絡可以包括：確定前饋序列記憶神經(jīng)網(wǎng)絡的結構；根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡結構確定所述特征序列的變換方法及相應前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)。其中，所述前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)可以包括以下一種或多種：歷史信息權重、未來信息權重、當前隱層與下個隱層的連接權重矩陣及權重偏置、當前隱層的記憶塊與下個隱層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個隱層的連接權重矩陣與權重偏置、當前l(fā)stm層與下個lstm層的轉換矩陣及權重偏置、當前隱層與下個lstm層的連接權重矩陣與權重偏置、當前隱層的記憶塊與下個lstm層的連接權重矩陣與權重偏置、當前l(fā)stm層與當前l(fā)stm層的轉換矩陣及權重偏置、當前全連接層與下個全連接層的連接權重矩陣及權重偏置、當前雙向fsmn層與下個全連接層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個全連接層的連接權重矩陣與權重偏置、當前全連接層與輸出層的連接權重矩陣及權重偏置。

在一個具體實施例中，前饋序列記憶神經(jīng)網(wǎng)絡由三部分構成，即輸入層、雙向fsmn疊層及輸出層，雙向fsmn疊層至少包括一個雙向fsmn層；每層包含多個節(jié)點，如2048個，雙向fsmn層包含記憶塊，所述記憶塊用來保存每幀訓練數(shù)據(jù)的歷史信息和未來信息，記憶的歷史信息和未來信息的幀數(shù)可以根據(jù)實際應用確定，如一條訓練數(shù)據(jù)共t幀，第t幀訓練數(shù)據(jù)的歷史信息可 以指第t幀之前一幀或多幀訓練數(shù)據(jù)，即第1幀到第t-1幀的一幀或多幀訓練數(shù)據(jù)，未來信息可以指第t幀之生一幀或多幀訓練數(shù)據(jù)，即第t+1到幀到第t幀的一幀或多幀訓練數(shù)據(jù)，記憶塊存儲的歷史信息和未來信息的幀數(shù)可以根據(jù)實際應用確定。輸入層為訓練數(shù)據(jù)提取的特征序列，輸出層為每幀訓練數(shù)據(jù)所屬的數(shù)據(jù)單元，以語音數(shù)據(jù)為例，所述數(shù)據(jù)單元可以為隱馬爾可夫模型的狀態(tài)、音素單元或音節(jié)單元等。

對于包括雙向fsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡，所述根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡結構確定所述特征序列的變換方法及相應前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)包括：

首先，由輸入層輸入所述訓練數(shù)據(jù)的特征序列，進入所述雙向fsmn疊層，其中，所述聲學特征序列使用x表示，其中x＝{x1,x2,...,xt,...,xt}，xt表示輸入層輸入的第t幀訓練數(shù)據(jù)的特征；

然后，各雙向fsmn層的隱層對輸入特征序列進行特征變換，并由記憶塊保存每幀訓練數(shù)據(jù)的歷史信息和未來信息，其中輸入層的輸出特征序列作為雙向fsmn層的輸入特征序列，雙向fsmn層對輸入特征序列進行特征變換，在特征變換的過程中使用記憶塊保存每幀訓練數(shù)據(jù)的歷史信息和未來信息。例如訓練數(shù)據(jù)的特征序列經(jīng)過第l個雙向fsmn層，第l個雙向fsmn層的隱層的輸出特征序列使用表示，表示第l個隱層的第t幀輸出特征，dl為第l個隱層的節(jié)點數(shù)目，第l個隱層的特征序列變換方法與現(xiàn)有技術相同，在此不再詳述，隱層輸出的每幀特征的歷史信息和未來信息通過記憶塊保存，將隱層的輸出特征序列作為該層記憶塊的輸入特征序列；

接著，利用所述歷史信息權重和所述未來信息權重對訓練數(shù)據(jù)的歷史信息和未來信息進行融合，獲取每幀訓練數(shù)據(jù)的融合特征序列，作為當前隱層的記憶塊的輸出特征序列；其中，記憶塊的輸出特征序列使用表示，表示第l個隱層的記憶塊的第t幀輸出特征，記憶塊保存信息時，首先將當前隱層輸出的特征序列作為該雙向fsmn層的記憶塊的輸入特征序列；然后以幀為單位，將每幀輸入特征的歷史信息和未來信息進行融合，得到當前幀的融合特征；最后將每幀訓練數(shù)據(jù)的歷史信息和未來信息融合后的 特征保存到記憶塊中，作為每幀訓練數(shù)據(jù)的融合特征，具體融合方法如式(1)所示：

其中，為在第l個雙向fsmn層的記憶塊中第t幀特征歷史信息和未來信息的融合特征，作為記憶塊的輸出特征，為在第l個雙向fsmn層的記憶塊中第t幀特征的第i個歷史信息，為在第l個雙向fsmn層的記憶塊中第t幀特征的第j個未來信息，表示兩個向量對應維度元素間的乘法操作符，n1、n2分別表示記憶塊的第t幀特征的歷史信息和未來信息記憶的幀數(shù)，具體可以根據(jù)實際應用設置；歷史信息權重表示第t幀特征第i個歷史信息的權重，a^l為dlxn1的矩陣，將a^l稱為正向權重；未來信息權重表示第t幀特征第j個未來信息的權重，b^l為dlxn2的矩陣，將b^l稱為反向權重，所述正向權重和反向權重為前饋序列記神經(jīng)網(wǎng)絡的參數(shù)，可以通過大量數(shù)據(jù)訓練得到，通過正向權重和反向權重的作用，使得雙向fsmn層可以保存每幀訓練數(shù)據(jù)的歷史信息和未來信息；如圖3為n1＝2，n2＝0時，第l個雙向fsmn層的時序展開結構；需要說明的是，現(xiàn)有技術中可以采用雙向循環(huán)反饋結構來實現(xiàn)記憶功能，但是需要在一個輸入信號的所有幀都處理完成后，才能獲取歷史信息，并且該歷史信息包括最后一幀之前所有幀歷史信息，使得現(xiàn)有雙向循環(huán)反饋結構的信息處理效率較低，尤其不能應用在實時交互的情景中，例如，用戶必須等系統(tǒng)將一個輸入信息的所有幀都處理完成后，才能給出輸出結果，當存在較長的輸入信息時，用戶需要等待的時間較長；而本發(fā)明提供的記憶塊存儲的每幀輸入信息的歷史信息和未來信息的幀數(shù)可以預先設定，例如獲取當前幀之前3幀或5幀歷史信息、當前幀之后3幀或5幀未來信息等，這樣，不必等一個輸入信息的所有幀都處理完成后才能獲得每幀輸入信息的歷史信息或未來信息，當設定的歷史信息和/或未來信息的幀數(shù)較少時，用戶使用過程中甚至感覺不到信息處理過程的耗時，能夠大大提高信息處理效率，提升客戶使用的滿意度；

然后，利用所述當前隱層與下個隱層的連接權重矩陣及權重偏置、所述當前隱層的記憶塊與下個隱層的連接權重矩陣及權重偏置對所述當前隱層的輸 出特征序列和該隱層記憶塊的輸出特征序列進行變換，獲取下一隱層的輸出特征序列；其中，將記憶塊的輸出特征序列與記憶塊所在雙向fsmn層的隱層的輸出特征序列一起作為下一雙向fsmn層的隱層的輸入特征序列，則下一雙向fsmn層的隱層的輸出特征序列為對輸入特征序列進行變換后的特征序列，具體可以通過激活函數(shù)對輸入特征序列進行變換，如將第l個雙向fsmn層的隱層的輸出特征序列及第l個雙向fsmn層的記憶塊的輸出特征序列作為第l+1個雙向fsmn層的隱層的輸入，得到的第l+1個隱層輸出特征序列的變換方法如式(2)所示：

其中，為第l+1個雙向fsmn層的隱層輸出的第t幀特征，w^l為第l個雙向fsmn層的隱層與第l+1個隱層的連接權重矩陣，為第l個雙向fsmn層的記憶塊與第l+1個雙向fsmn層的隱層的連接權重矩陣，b^l為權重偏置，w^l、及b^l為前饋序列記憶神經(jīng)網(wǎng)絡參數(shù)，具體可根據(jù)大量數(shù)據(jù)訓練得到，f為激活函數(shù)，如激活函數(shù)為relu時，f(x)＝max{0,x}，當然也可以為其它激活函數(shù)，本案不作限定。

最終，以最后一個隱層的輸出和該隱層記憶塊的輸出作為輸出層的輸入，進行變換獲取輸出層的輸出結果；其中，輸出層的預測目標為每幀訓練數(shù)據(jù)所屬的數(shù)據(jù)單元，具體變換方法同現(xiàn)有技術，激活函數(shù)為softmax函數(shù)。

在另一個實施例中，不同于上一個實施例，前饋序列記憶神經(jīng)網(wǎng)絡由四部分構成，即輸入層、雙向fsmn疊層、全連接疊層及輸出層，其中雙向fsmn疊層包括至少一個雙向fsmn層，全連接疊層包括至少一個全連接層，具體結構參考實施例三，當訓練數(shù)據(jù)的特征序列從雙向fsmn層進入全連接層時，利用當前雙向fsmn層與下個全連接層的連接權重矩陣及權重偏置對當前雙向fsmn層的輸出特征進行變換，獲取全連接層的輸出特征序列；當訓練數(shù)據(jù)的特征序列進入所述全連接層之后，利用所述當前全連接層與下個全連接層的連接權重矩陣及權重偏置對當前全連接層的輸出特征序列進行變換，獲取下一全連接層的輸出特征序列；當訓練數(shù)據(jù)的特征序列由全連接層進入輸出層時，利用當前全連接層與輸出層的連接權重矩陣及權重偏置對當前全連接層的 輸出特征進行變換，獲取輸出層的輸出特征序列。具體的，特征序列經(jīng)過雙向fsmn疊層進入全連接疊層，所述全連接層與雙向fsmn層的區(qū)別在于，全連接層沒有記憶塊，當特征序列從雙向fsmn疊層進入全連接疊層時(即最后一個雙向fsmn層進入第一個全連接層時)，特征序列的變換方法如式(2)所示，當特征序列在全連接疊層內傳遞時，特征序列的變換不需要考慮記憶塊。以第m個全連接層(可以為現(xiàn)有技術中的隱層)和第m+1個全連接層為例，特征序列在全連接層之間的變換方法如式(3)所示：

其中，為第m+1個全連接層(隱層)的輸出特征，為第m個隱層的輸出特征，作為第m+1個隱層的輸入特征，w^m為第m個隱層與第m+1個隱層之間的連接權重矩陣，b^m為權重偏置，w^m和b^m為前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)，f為激活函數(shù)，所述激活函數(shù)與雙向fsmn層的激活函數(shù)相同。最后，特征序列經(jīng)過全連接疊層進入輸出層，輸出層的預測目標為每幀訓練數(shù)據(jù)所屬的數(shù)據(jù)單元，具體變換方法如式(3)所示，激活函數(shù)為softmax函數(shù)。

在其它實施例中，前饋序列記憶神經(jīng)網(wǎng)絡由四部分構成，即輸入層、雙向lsfsmn疊層、全連接疊層及輸出層，其中雙向lsfsmn疊層包括至少一個雙向lsfsmn層，所述雙向lsfsmn層由雙向fsmn層及l(fā)stm層構成，具體結構參考實施例四，其中，所述lstm(longshorttermmemory)層用來記憶每幀訓練數(shù)據(jù)的歷史信息，所述fsmn層用來記憶每幀訓練數(shù)據(jù)的未來信息，各lsfsmn層之間進行特征序列的變換時，不僅將當前雙向fsmn層的隱層的輸出特征序列、該隱層記憶塊的輸出特征序列及l(fā)stm層的輸出特征序列作為下一個雙向lsfsmn層的隱層的輸入特征序列，同時還將當前雙向fsmn層的隱層的輸出特征序列、該隱層記憶塊的輸出特征序列及l(fā)stm層的輸出特征序列作為下一個雙向lsfsmn層的lstm層的輸入特征序列，需要說明的是，lstm層的輸出特征序列同時可以作為自己的輸入特征序列，當特征序列從雙向lsfsmn疊層進入到全連接疊層時，只需要將雙向lsfsmn層的lstm層的輸出特征序列、雙向fsmn層的隱層的輸出特征序列及該隱層記憶塊的輸出特征序列作為第一個全連接層的輸入特征序列。

在實際應用中，所述根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡結構確定所述特征序列的變換方法及相應前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)包括：

首先，由輸入層輸入所述訓練數(shù)據(jù)的特征序列，進入雙向lsfsmn疊層；

然后，由lsfsmn層的雙向fsmn層的隱層和lstm層對輸入特征序列進行特征變換，并由lstm層保存每幀訓練數(shù)據(jù)的歷史信息，記憶塊保存每幀訓練數(shù)據(jù)的未來信息；

接著，利用所述當前隱層與下個隱層的連接權重矩陣及權重偏置、所述當前隱層的記憶塊與下個隱層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個隱層的轉換矩陣及權重偏置、當前l(fā)stm層與下個lstm層的轉換矩陣及權重偏置、當前l(fā)stm層與當前l(fā)stm層的轉換矩陣及權重偏置、當前隱層與下個lstm層的連接權重矩陣與權重偏置、當前隱層的記憶塊與下個lstm層的連接權重矩陣與權重偏置對所述當前隱層的輸出特征序列、當前隱層的記憶塊的輸出特征序列及當前l(fā)stm層的輸出特征序列進行變換，獲取下一雙向lsfsmn層的隱層和lstm層的輸出特征序列；

然后，當訓練數(shù)據(jù)的特征序列從雙向lsfsmn層進入全連接層時，利用當前雙向fsmn層與下個全連接層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個隱層的連接權重矩陣與權重偏置，對當前雙向lsfsmn層的輸出特征進行變換，獲取全連接層的輸出特征序列；

接著，當訓練數(shù)據(jù)的特征序列進入所述全連接層之后，利用所述當前全連接層與下個全連接層的連接權重矩陣及權重偏置對當前全連接層的輸出特征序列進行變換，獲取下一全連接層的輸出特征序列；

最終，當訓練數(shù)據(jù)的特征序列由全連接層進入輸出層時，利用當前全連接層與輸出層的連接權重矩陣及權重偏置對當前全連接層的輸出特征進行變換，獲取輸出層的輸出特征序列。其中，輸出層的預測目標為每幀訓練數(shù)據(jù)所屬的數(shù)據(jù)單元，具體變換方法如式(3)所示，激活函數(shù)為softmax函數(shù)。

步驟s03，利用所述訓練數(shù)據(jù)的特征序列對構建的前饋序列記憶神經(jīng)網(wǎng)絡進行訓練，得到前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)取值。

在本實施例中，具體訓練方法與現(xiàn)有技術相同，如利用誤差反向傳播算法 (bp)對網(wǎng)絡參數(shù)進行調整，具體可以采用交叉熵準則對網(wǎng)絡參數(shù)進行調整，提高每幀訓練數(shù)據(jù)的分類正確率，當訓練數(shù)據(jù)較多時，一般采用固定迭代次數(shù)對網(wǎng)絡參數(shù)進行調整，如固定10次迭代，具體迭代時，前四次迭代學習速率可以不變，從第五次迭代開始，每次學習速率減半；當訓練數(shù)據(jù)較少時，可以通過計算分類錯誤率來調整學習速率，當分類錯誤率的變化較小時，則認為網(wǎng)絡參數(shù)已經(jīng)收斂，停止迭代。

需要說明的是，當訓練結束后，得到該神經(jīng)網(wǎng)絡的各參數(shù)。利用該神經(jīng)網(wǎng)絡進行語音識別等實際應用中，特征序列的轉換過程同建模過程，在此不再詳述，并且在使用中可以繼續(xù)優(yōu)化該神經(jīng)網(wǎng)絡的各參數(shù)。

在本發(fā)明實施例中，利用所述訓練數(shù)據(jù)的特征序列對構建的前饋序列記憶神經(jīng)網(wǎng)絡進行訓練，得到前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)取值，可以根據(jù)實際應用中對神經(jīng)網(wǎng)絡信息處理能力的要求的高低，構建不同的前饋序列記憶神經(jīng)網(wǎng)絡，并針對不同的神經(jīng)網(wǎng)絡結構確定前饋序列神經(jīng)網(wǎng)絡的參數(shù)。例如對信息處理能力要求高，但是對速度要求不高的場景中，可以采用實施例二或四提供的網(wǎng)絡結構并進行訓練；而對信息處理能力要求較高，但是對速度要求高的場景中，可以采用實施例一或實施例三提供的網(wǎng)絡結構并進行訓練。

此外，本發(fā)明還提供了一種前饋序列記憶神經(jīng)網(wǎng)絡的其構建系統(tǒng)，如圖8所示：

一種前饋序列記憶神經(jīng)網(wǎng)絡的構建系統(tǒng)，包括：

提取模塊901，用于收集大量訓練數(shù)據(jù)，并提取所述訓練數(shù)據(jù)的特征序列；

構建模塊902，用于構建前饋序列記憶神經(jīng)網(wǎng)絡；

訓練模塊903，用于利用所述訓練數(shù)據(jù)的特征序列對構建的前饋序列記憶神經(jīng)網(wǎng)絡進行訓練，得到前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)取值。

在本實施例中，所述構建模塊902包括：

結構確定單元，用于確定前饋序列記憶神經(jīng)網(wǎng)絡的結構；

參數(shù)確定單元，用于根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡結構確定所述特征序列的變換方法及相應前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)。

其中，所述前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)包括以下一種或多種：歷史信息權重、未來信息權重、當前隱層與下個隱層的連接權重矩陣及權重偏置、當前 隱層的記憶塊與下個隱層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個隱層的連接權重矩陣與權重偏置、當前l(fā)stm層與下個lstm層的轉換矩陣及權重偏置、當前隱層與下個lstm層的連接權重矩陣與權重偏置、當前隱層的記憶塊與下個lstm層的連接權重矩陣與權重偏置、當前l(fā)stm層與當前l(fā)stm層的轉換矩陣及權重偏置、當前全連接層與下個全連接層的連接權重矩陣及權重偏置、當前雙向fsmn層與下個全連接層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個全連接層的連接權重矩陣與權重偏置、當前全連接層與輸出層的連接權重矩陣及權重偏置。

在實際應用中，對于包括雙向fsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡，所述參數(shù)確定單元包括：

第一輸入子單元，用于由輸入層輸入所述訓練數(shù)據(jù)的特征序列，進入所述雙向fsmn疊層；

第一變換子單元，用于各雙向fsmn層的隱層對輸入特征序列進行特征變換，并由記憶塊保存每幀訓練數(shù)據(jù)的歷史信息和未來信息；

特征融合子單元，用于利用所述歷史信息權重和所述未來信息權重對訓練數(shù)據(jù)的歷史信息和未來信息進行融合，獲取每幀訓練數(shù)據(jù)的融合特征序列，作為當前隱層的記憶塊的輸出特征序列；

第二變換子單元，用于利用所述當前隱層與下個隱層的連接權重矩陣及權重偏置、所述當前隱層的記憶塊與下個隱層的連接權重矩陣及權重偏置對所述當前隱層的輸出特征序列和該隱層記憶塊的輸出特征序列進行變換，獲取下一隱層的輸出特征序列；

第三變換子單元，用于以最后一個隱層的輸出和\或該隱層記憶塊的輸出作為輸出層的輸入，進行變換獲取輸出層的輸出結果。

此外，對于包括雙向lsfsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡，所述參數(shù)確定單元包括：

第二輸入子單元，用于由輸入層輸入所述訓練數(shù)據(jù)的特征序列，進入雙向lsfsmn疊層；

第四變換子單元，用于由lsfsmn層的雙向fsmn層的隱層和lstm層 對輸入特征序列進行特征變換，并由lstm層保存每幀訓練數(shù)據(jù)的歷史信息，記憶塊保存每幀訓練數(shù)據(jù)的未來信息；

第五變換子單元，用于利用所述當前隱層與下個隱層的連接權重矩陣及權重偏置、所述當前隱層的記憶塊與下個隱層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個隱層的轉換矩陣及權重偏置、當前l(fā)stm層與下個lstm層的轉換矩陣及權重偏置、當前l(fā)stm層與當前l(fā)stm層的轉換矩陣及權重偏置、當前隱層與下個lstm層的連接權重矩陣與權重偏置、當前隱層的記憶塊與下個lstm層的連接權重矩陣與權重偏置對所述當前隱層的輸出特征序列、當前隱層的記憶塊的輸出特征序列及當前l(fā)stm層的輸出特征序列進行變換，獲取下一隱層和下一lstm層的輸出特征序列。

第六變換子單元，用于以最后一個隱層的輸出和\或該隱層記憶塊的輸出及最后一個lstm層的輸出作為輸出層的輸入，進行變換獲取輸出層的輸出結果。

進一步地，對于包括全連接疊層的前饋序列記憶神經(jīng)網(wǎng)絡，所述參數(shù)確定單元還包括：

第七變換子單元，用于當訓練數(shù)據(jù)的特征序列從雙向fsmn層或雙向lsfsmn層進入全連接層時，利用當前雙向fsmn層與下個全連接層的連接權重矩陣及權重偏置或當前雙向fsmn層與下個全連接層的連接權重矩陣及權重偏置、當前l(fā)stm層與下個隱層的連接權重矩陣與權重偏置，對當前雙向fsmn層或雙向lsfsmn層的輸出特征進行變換，獲取全連接層的輸出特征序列；

第八變換子單元，用于當訓練數(shù)據(jù)的特征序列進入所述全連接層之后，利用所述當前全連接層與下個全連接層的連接權重矩陣及權重偏置對當前全連接層的輸出特征序列進行變換，獲取下一全連接層的輸出特征序列；

第九變換子單元，用于當訓練數(shù)據(jù)的特征序列由全連接層進入輸出層時，利用當前全連接層與輸出層的連接權重矩陣及權重偏置對當前全連接層的輸出特征進行變換，獲取輸出層的輸出特征序列。

當然，該系統(tǒng)還可以進一步包括存儲模塊(未圖示)，用于保存特征序列、及相應神經(jīng)網(wǎng)絡的參數(shù)等信息。這樣，以方便對待處理信息進行計算機自動處 理，并存儲處理結果相關信息等。

本發(fā)明實施例提供的前饋序列記憶神經(jīng)網(wǎng)絡的構建系統(tǒng)，通過提取模塊901收集大量訓練數(shù)據(jù)，并提取所述訓練數(shù)據(jù)的特征序列，然后利用構建模塊902構建前饋序列記憶神經(jīng)網(wǎng)絡，其中，前饋序列記憶神經(jīng)網(wǎng)絡針對不同的應用場景可以采用不同的前饋序列記憶神經(jīng)網(wǎng)絡結構，最終，通過訓練模塊903利用所述訓練數(shù)據(jù)的特征序列對構建的前饋序列記憶神經(jīng)網(wǎng)絡進行訓練，得到前饋序列記憶神經(jīng)網(wǎng)絡的參數(shù)取值。使得本發(fā)明提供的構建系統(tǒng)可以根據(jù)實際應用中對神經(jīng)網(wǎng)絡信息處理能力的要求等，構建不同的前饋序列記憶神經(jīng)網(wǎng)絡，并針對不同的神經(jīng)網(wǎng)絡結構確定前饋序列神經(jīng)網(wǎng)絡的參數(shù)，以滿足用戶的需求。

本說明書中的各個實施例均采用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對于系統(tǒng)實施例而言，由于其基本相似于方法實施例，所以描述得比較簡單，相關之處參見方法實施例的部分說明即可。以上所描述的系統(tǒng)實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領域普通技術人員在不付出創(chuàng)造性勞動的情況下，即可以理解并實施。

以上對本發(fā)明實施例進行了詳細介紹，本文中應用了具體實施方式對本發(fā)明進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及設備；同時，對于本領域的一般技術人員，依據(jù)本發(fā)明的思想，在具體實施方式及應用范圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發(fā)明的限制。