1.一種用于處理系統(tǒng)輸入序列以產(chǎn)生系統(tǒng)輸出序列的增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，所述增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)包括：
神經(jīng)網(wǎng)絡(luò)，其中所述神經(jīng)網(wǎng)絡(luò)被配置為接收神經(jīng)網(wǎng)絡(luò)輸入序列并且處理每個(gè)神經(jīng)網(wǎng)絡(luò)輸入，以從所述神經(jīng)網(wǎng)絡(luò)輸入生成神經(jīng)網(wǎng)絡(luò)輸出；
外部存儲(chǔ)器；和
存儲(chǔ)器接口子系統(tǒng)，其中所述存儲(chǔ)器接口子系統(tǒng)被配置為：對(duì)于所述神經(jīng)網(wǎng)絡(luò)輸出中的每一個(gè)執(zhí)行包括以下的操作：
提供從所述神經(jīng)網(wǎng)絡(luò)輸出的第一部分導(dǎo)出的輸出，作為所述系統(tǒng)輸出序列中的系統(tǒng)輸出；
對(duì)于所述外部存儲(chǔ)器中的多個(gè)位置中的每一個(gè)，從所述神經(jīng)網(wǎng)絡(luò)輸出的第二部分確定一個(gè)或多個(gè)寫(xiě)入權(quán)重集合；
根據(jù)所述寫(xiě)入權(quán)重集合，將由所述神經(jīng)網(wǎng)絡(luò)輸出的第三部分定義的數(shù)據(jù)寫(xiě)入所述外部存儲(chǔ)器；
對(duì)于所述外部存儲(chǔ)器中的所述多個(gè)位置中的每一個(gè)，從所述神經(jīng)網(wǎng)絡(luò)輸出的第四部分確定一個(gè)或多個(gè)讀取權(quán)重集合；
根據(jù)所述讀取權(quán)重集合，從所述外部存儲(chǔ)器讀取數(shù)據(jù)；以及將從外部存儲(chǔ)器讀取的數(shù)據(jù)與所述系統(tǒng)輸入序列中的下一個(gè)系統(tǒng)輸入組合，以產(chǎn)生在所述神經(jīng)網(wǎng)絡(luò)輸入序列中的下一個(gè)神經(jīng)網(wǎng)絡(luò)輸入。
2.根據(jù)權(quán)利要求1所述的增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，所述操作還包括：對(duì)于所述神經(jīng)網(wǎng)絡(luò)輸出中的每一個(gè)：
對(duì)于所述外部存儲(chǔ)器中的所述多個(gè)位置中的每一個(gè)，從所述神經(jīng)網(wǎng)絡(luò)輸出的第五部分確定一個(gè)或多個(gè)擦除權(quán)重集合；以及
根據(jù)所述擦除權(quán)重集合，從所述外部存儲(chǔ)器擦除數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述擦除權(quán)重集合與所述寫(xiě)入權(quán)重集合相同，并且所述第二部分與所述第五部分相同。
4.根據(jù)權(quán)利要求1所述的增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，確定所述一個(gè)或多個(gè)寫(xiě)入權(quán)重集合中的每一個(gè)包括：
從所述神經(jīng)網(wǎng)絡(luò)輸出的所述第二部分確定基于內(nèi)容的寫(xiě)入權(quán)重集合。
5.根據(jù)權(quán)利要求4所述的增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，確定所述一個(gè)或多個(gè)寫(xiě)入權(quán)重集合中的每一個(gè)還包括：
確定基于位置的寫(xiě)入權(quán)重集合；以及
使用所述基于位置的寫(xiě)入權(quán)重來(lái)調(diào)整所述基于內(nèi)容的寫(xiě)入權(quán)重，以生成所述寫(xiě)入權(quán)重集合。
6.根據(jù)權(quán)利要求1所述的增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，確定所述一個(gè)或多個(gè)讀取權(quán)重集合中的每一個(gè)包括：
根據(jù)所述神經(jīng)網(wǎng)絡(luò)輸出的所述第四部分確定基于內(nèi)容的讀取權(quán)重集合。
7.根據(jù)權(quán)利要求6所述的增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，確定所述一個(gè)或多個(gè)讀取權(quán)重集合中的每一個(gè)還包括：
確定基于位置的讀取權(quán)重集合；以及
使用所述基于位置的讀取權(quán)重來(lái)調(diào)整所述基于內(nèi)容的讀取權(quán)重，以生成所述讀取權(quán)重集合。
8.根據(jù)權(quán)利要求1所述的增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，根據(jù)所述讀取權(quán)重集合從所述外部存儲(chǔ)器讀取數(shù)據(jù)包括，對(duì)于所述讀取權(quán)重的每一個(gè)集合：
根據(jù)所述讀取權(quán)重集合中的所述讀取權(quán)重，確定在所述外部存儲(chǔ)器中的所述多個(gè)位置中存儲(chǔ)的值的加權(quán)平均。
9.根據(jù)權(quán)利要求1所述的增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，根據(jù)所述寫(xiě)入權(quán)重集合將由所述神經(jīng)網(wǎng)絡(luò)輸出的所述第三部分定義的數(shù)據(jù)寫(xiě)入到所述外部存儲(chǔ)器包括，對(duì)于所述寫(xiě)入權(quán)重集合中的每一個(gè)：
從所述神經(jīng)網(wǎng)絡(luò)輸出的所述第三部分確定所述寫(xiě)入權(quán)重集合的寫(xiě)入向量；以及
根據(jù)所述寫(xiě)入權(quán)重集合，將所述寫(xiě)入向量寫(xiě)入所述多個(gè)位置。
10.一種用于處理系統(tǒng)輸入序列以使用包括神經(jīng)網(wǎng)絡(luò)和外部存儲(chǔ)器的增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)生成系統(tǒng)輸出序列的方法，其中所述神經(jīng)網(wǎng)絡(luò)被配置為：接收神經(jīng)網(wǎng)絡(luò)輸入序列并處理每個(gè)神經(jīng)網(wǎng)絡(luò)輸入，以從所述神經(jīng)網(wǎng)絡(luò)輸入生成神經(jīng)網(wǎng)絡(luò)輸出，并且其中所述方法包括：對(duì)于每個(gè)神經(jīng)網(wǎng)絡(luò)輸出：
提供從所述神經(jīng)網(wǎng)絡(luò)輸出的第一部分導(dǎo)出的輸出，作為所述系統(tǒng)輸出序列中的系統(tǒng)輸出；
對(duì)于所述外部存儲(chǔ)器中的多個(gè)位置中的每一個(gè)，從所述神經(jīng)網(wǎng)絡(luò)輸出的第二部分確定一個(gè)或多個(gè)寫(xiě)入權(quán)重集合；
根據(jù)所述寫(xiě)入權(quán)重集合，將由所述神經(jīng)網(wǎng)絡(luò)輸出的第三部分定義的數(shù)據(jù)寫(xiě)入所述外部存儲(chǔ)器；
對(duì)于所述外部存儲(chǔ)器中的所述多個(gè)位置中的每一個(gè)，從所述神經(jīng)網(wǎng)絡(luò)輸出的第四部分確定一個(gè)或多個(gè)讀取權(quán)重集合；
根據(jù)所述讀取權(quán)重集合，從所述外部存儲(chǔ)器讀取數(shù)據(jù)；以及
將從外部存儲(chǔ)器讀取的數(shù)據(jù)與所述系統(tǒng)輸入序列中的下一個(gè)系統(tǒng)輸入組合，以產(chǎn)生在所述神經(jīng)網(wǎng)絡(luò)輸入序列中的下一個(gè)神經(jīng)網(wǎng)絡(luò)輸入。
11.根據(jù)權(quán)利要求10所述的方法，還包括：對(duì)于所述神經(jīng)網(wǎng)絡(luò)輸出中的每一個(gè)：
對(duì)于所述外部存儲(chǔ)器中的所述多個(gè)位置中的每一個(gè)，從所述神經(jīng)網(wǎng)絡(luò)輸出的第五部分確定一個(gè)或多個(gè)擦除權(quán)重集合；以及
根據(jù)所述擦除權(quán)重集合從所述外部存儲(chǔ)器擦除數(shù)據(jù)。
12.根據(jù)權(quán)利要求11所述的方法，其中，所述擦除權(quán)重集合與所述寫(xiě)入權(quán)重集合相同，并且所述第二部分與所述第五部分相同。
13.根據(jù)權(quán)利要求10所述的方法，其中，確定所述一個(gè)或多個(gè)寫(xiě)入權(quán)重集合中的每一個(gè)包括：
從所述神經(jīng)網(wǎng)絡(luò)輸出的所述第二部分確定基于內(nèi)容的寫(xiě)入權(quán)重集合。
14.根據(jù)權(quán)利要求13所述的方法，其中，確定所述一個(gè)或多個(gè)寫(xiě)入權(quán)重集合中的每一個(gè)還包括：
確定基于位置的寫(xiě)入權(quán)重集合；以及
使用所述基于位置的寫(xiě)入權(quán)重來(lái)調(diào)整所述基于內(nèi)容的寫(xiě)入權(quán)重，以生成所述寫(xiě)入權(quán)重集合。
15.根據(jù)權(quán)利要求10所述的方法，其中，確定所述一個(gè)或多個(gè)讀取權(quán)重集合中的每一個(gè)包括：
從所述神經(jīng)網(wǎng)絡(luò)輸出的所述第四部分確定基于內(nèi)容的讀取權(quán)重集合。
16.根據(jù)權(quán)利要求15所述的方法，其中，確定所述一個(gè)或多個(gè)讀取權(quán)重集合中的每一個(gè)還包括：
確定基于位置的讀取權(quán)重集合；以及
使用所述基于位置的讀取權(quán)重來(lái)調(diào)整所述基于內(nèi)容的讀取權(quán)重，以生成所述讀取權(quán)重集合。
17.根據(jù)權(quán)利要求10所述的方法，其中，根據(jù)所述讀取權(quán)重集合從所述外部存儲(chǔ)器讀取數(shù)據(jù)包括，對(duì)于所述讀取權(quán)重的每一個(gè)集合：
根據(jù)所述讀取權(quán)重集合中的所述讀取權(quán)重，確定在所述外部存儲(chǔ)器中的所述多個(gè)位置中存儲(chǔ)的值的加權(quán)平均。
18.根據(jù)權(quán)利要求10所述的方法，其中，根據(jù)所述寫(xiě)入權(quán)重集合將由所述神經(jīng)網(wǎng)絡(luò)輸出的所述第三部分定義的數(shù)據(jù)寫(xiě)入到所述外部存儲(chǔ)器包括，對(duì)于所述寫(xiě)入權(quán)重集合中的每一個(gè)：
從所述神經(jīng)網(wǎng)絡(luò)輸出的所述第三部分確定所述寫(xiě)入權(quán)重集合的寫(xiě)入向量；以及
根據(jù)所述寫(xiě)入權(quán)重集合，將所述寫(xiě)入向量寫(xiě)入所述多個(gè)位置。
19.一種在一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)存儲(chǔ)介質(zhì)上編碼的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品存儲(chǔ)指令，所述指令在由一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行時(shí)使得所述一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行用于處理系統(tǒng)輸入序列以使用包括神經(jīng)網(wǎng)絡(luò)和外部存儲(chǔ)器的增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)生成系統(tǒng)輸出序列的操作，其中所述神經(jīng)網(wǎng)絡(luò)被配置為：接收神經(jīng)網(wǎng)絡(luò)輸入序列并且處理每個(gè)神經(jīng)網(wǎng)絡(luò)輸入，以從所述神經(jīng)網(wǎng)絡(luò)輸入生成神經(jīng)網(wǎng)絡(luò)輸出，并且其中所述操作包括，對(duì)于每個(gè)神經(jīng)網(wǎng)絡(luò)輸出：
提供從所述神經(jīng)網(wǎng)絡(luò)輸出的第一部分導(dǎo)出的輸出，作為所述系統(tǒng)輸出序列中的系統(tǒng)輸出；
對(duì)于所述外部存儲(chǔ)器中的多個(gè)位置中的每一個(gè)，從所述神經(jīng)網(wǎng)絡(luò)輸出的第二部分確定一個(gè)或多個(gè)寫(xiě)入權(quán)重集合；
根據(jù)所述寫(xiě)入權(quán)重集合，將由所述神經(jīng)網(wǎng)絡(luò)輸出的第三部分定義的數(shù)據(jù)寫(xiě)入所述外部存儲(chǔ)器；
對(duì)于所述外部存儲(chǔ)器中的所述多個(gè)位置中的每一個(gè)，從所述神經(jīng)網(wǎng)絡(luò)輸出的第四部分確定一個(gè)或多個(gè)讀取權(quán)重集合；
根據(jù)所述讀取權(quán)重集合，從所述外部存儲(chǔ)器讀取數(shù)據(jù)；以及
將從外部存儲(chǔ)器讀取的數(shù)據(jù)與所述系統(tǒng)輸入序列中的下一個(gè)系統(tǒng)輸入組合，以產(chǎn)生在所述神經(jīng)網(wǎng)絡(luò)輸入序列中的下一個(gè)神經(jīng)網(wǎng)絡(luò)輸入。
20.根據(jù)權(quán)利要求19所述的計(jì)算機(jī)程序產(chǎn)品，所述操作還包括：對(duì)于所述神經(jīng)網(wǎng)絡(luò)輸出中的每一個(gè)：
對(duì)于所述外部存儲(chǔ)器中的所述多個(gè)位置中的每一個(gè)，從所述神經(jīng)網(wǎng)絡(luò)輸出的第五部分確定一個(gè)或多個(gè)擦除權(quán)重集合；以及根據(jù)所述擦除權(quán)重集合從所述外部存儲(chǔ)器擦除數(shù)據(jù)。