人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的混合計算系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種神經(jīng)網(wǎng)絡(luò)計算系統(tǒng)。
【背景技術(shù)】
[0002] 神經(jīng)網(wǎng)絡(luò)是一種模仿生物大腦突觸-神經(jīng)元結(jié)構(gòu)進(jìn)行數(shù)據(jù)處理的計算系統(tǒng)，由分 為多層的計算節(jié)點和層間的連接組成。每個節(jié)點模擬一個神經(jīng)元，執(zhí)行某個特定運算，例如 激活函數(shù)，節(jié)點之間的連接模擬神經(jīng)突觸，連接對于來自上一層節(jié)點輸入的加權(quán)值代表了 突觸權(quán)重。神經(jīng)網(wǎng)絡(luò)具有強大的非線性、自適應(yīng)信息處理能力。
[0003] 人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元將來自連接輸入的累加值用激活函數(shù)處理后作為自身 的輸出。對應(yīng)于不同的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、神經(jīng)元模型和學(xué)習(xí)規(guī)則，人工神經(jīng)網(wǎng)絡(luò)又包括感知 器、Hopfield網(wǎng)絡(luò)、波耳茲曼機等數(shù)十種網(wǎng)絡(luò)模型，可以實現(xiàn)多種多樣的功能，在模式識別、 復(fù)雜控制、信號處理和最優(yōu)化等方面都有應(yīng)用。傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)可以認(rèn)為是通過 神經(jīng)元脈沖的頻率信息編碼，各層神經(jīng)元依次串行運行。人工神經(jīng)網(wǎng)絡(luò)模擬了生物的神經(jīng) 系統(tǒng)分層結(jié)構(gòu)，但是未能完全匹配皮層的信息處理結(jié)構(gòu).例如時間序列對學(xué)習(xí)的影響，而 作為真正的生物皮層在處理信息上來說，對信息數(shù)據(jù)的學(xué)習(xí)不是獨立靜態(tài)的，而是隨著時 間有著上下文的聯(lián)系的。脈沖神經(jīng)網(wǎng)絡(luò)是近十幾年來出現(xiàn)的新型神經(jīng)網(wǎng)絡(luò)，被稱為是第三 代神經(jīng)網(wǎng)絡(luò)。脈沖神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)以神經(jīng)元脈沖信號的時空信息編碼，網(wǎng)絡(luò)的輸入輸出 以及神經(jīng)元之間的信息傳遞表現(xiàn)為神經(jīng)元發(fā)送的脈沖和發(fā)送脈沖的時間信息，神經(jīng)元需要 同時并行運行。與傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)相比，脈沖神經(jīng)網(wǎng)絡(luò)在信息處理方式、神經(jīng)元模型、 并行性等方面有較大不同，運行方式更接近于真實的生物系統(tǒng)。脈沖神經(jīng)網(wǎng)絡(luò)應(yīng)用精確定 時的脈沖序列對神經(jīng)信息進(jìn)行編碼和處理，這種包含時間計算元素的計算模型更具生物解 釋性，是進(jìn)行復(fù)雜時空信息處理的有效工具，可以處理多模態(tài)的信息并且信息處理更加實 時。但脈沖神經(jīng)網(wǎng)絡(luò)的神經(jīng)元模型的不連續(xù)性、時空編碼的復(fù)雜性、網(wǎng)絡(luò)結(jié)構(gòu)的不確定性導(dǎo) 致很難在數(shù)學(xué)上完成對網(wǎng)絡(luò)整體的描述，因此難以構(gòu)建有效且通用的有監(jiān)督學(xué)習(xí)算法，限 制了其的計算規(guī)模和精確度。

【發(fā)明內(nèi)容】

[0004] 有鑒于此，確有必要提供一種能進(jìn)行實時快速、多模態(tài)或復(fù)雜時空信號計算并能 保證計算精確度的神經(jīng)網(wǎng)絡(luò)計算系統(tǒng)。
[0005] -種人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的混合計算系統(tǒng)，包括：至少兩個基本計算單 元，該至少兩個基本計算單元中，至少一個為人工神經(jīng)網(wǎng)絡(luò)計算單元，承擔(dān)人工神經(jīng)網(wǎng)絡(luò)計 算，至少一個為脈沖神經(jīng)網(wǎng)絡(luò)計算單元，承擔(dān)脈沖神經(jīng)網(wǎng)絡(luò)計算，該至少兩個基本計算單元 按照拓?fù)浣Y(jié)構(gòu)相互連接，共同實現(xiàn)神經(jīng)網(wǎng)絡(luò)計算功能。
[0006] 與現(xiàn)有技術(shù)相比，本發(fā)明提供的人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的混合計算系統(tǒng)結(jié) 合了人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)兩種神經(jīng)網(wǎng)絡(luò)的計算模式，能進(jìn)行實時快速、多模態(tài)或 復(fù)雜時空信號計算并能保證計算的精確度。
【附圖說明】
[0007] 圖1為本發(fā)明第一實施例提供的人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的混合計算系統(tǒng) 中基本計算單元結(jié)構(gòu)圖。
[0008] 圖2為本發(fā)明的串聯(lián)結(jié)構(gòu)示意圖。
[0009] 圖3為本發(fā)明的并聯(lián)結(jié)構(gòu)示意圖。
[0010] 圖4為本發(fā)明的并行結(jié)構(gòu)示意圖。
[0011] 圖5為本發(fā)明的學(xué)習(xí)結(jié)構(gòu)示意圖。
[0012] 圖6為本發(fā)明的反饋結(jié)構(gòu)示意圖。
[0013] 圖7為本發(fā)明提供的混合計算系統(tǒng)中計算單元層級結(jié)構(gòu)示意圖。
[0014] 圖8為本發(fā)明提供的人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的混合計算系統(tǒng)。
[0015] 圖9為本發(fā)明第二實施例中將人工神經(jīng)網(wǎng)絡(luò)輸出的數(shù)值量轉(zhuǎn)換為脈沖序列的示 意圖。
[0016] 圖10為本發(fā)明第二實施例中將脈沖神經(jīng)網(wǎng)絡(luò)輸出的頻率編碼脈沖序列轉(zhuǎn)換為數(shù) 值量示意圖。
[0017] 圖11為本發(fā)明第二實施例中將脈沖神經(jīng)網(wǎng)絡(luò)輸出的群體編碼脈沖序列轉(zhuǎn)換為數(shù) 值量示意圖。
[0018] 圖12為本發(fā)明第二實施例中將脈沖神經(jīng)網(wǎng)絡(luò)輸出的時間編碼脈沖序列轉(zhuǎn)換為數(shù) 值量示意圖。
[0019] 圖13為本發(fā)明第二實施例中將脈沖神經(jīng)網(wǎng)絡(luò)輸出的二值編碼脈沖序列轉(zhuǎn)換為數(shù) 值量示意圖。
[0020] 圖14為本發(fā)明第三實施例提供的多模態(tài)神經(jīng)形態(tài)網(wǎng)絡(luò)核結(jié)構(gòu)框圖。
[0021] 圖15為本發(fā)明第三實施例提供的多模態(tài)神經(jīng)形態(tài)網(wǎng)絡(luò)核運行在人工神經(jīng)網(wǎng)絡(luò)時 的結(jié)構(gòu)框圖。
[0022] 圖16為人工神經(jīng)網(wǎng)絡(luò)模式下多模態(tài)神經(jīng)形態(tài)網(wǎng)絡(luò)核一個時間步的運行流程圖。
[0023] 圖17為本發(fā)明第三實施例提供的多模態(tài)神經(jīng)形態(tài)網(wǎng)絡(luò)核運行在脈沖神經(jīng)網(wǎng)絡(luò)時 的結(jié)構(gòu)框圖。
[0024] 圖18為脈沖神經(jīng)網(wǎng)絡(luò)模式下多模態(tài)神經(jīng)形態(tài)網(wǎng)絡(luò)核一個時間步的運行流程圖。
[0025] 圖19為本發(fā)明第四實施例提供的人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的混合系統(tǒng)。
[0026] 圖20為本發(fā)明第四實施例中路由節(jié)點結(jié)構(gòu)框圖。
[0027] 圖21為本發(fā)明第四實施例中路由數(shù)據(jù)包結(jié)構(gòu)圖。
[0028] 圖22為本發(fā)明第四實施例中路由節(jié)點工作流程圖。
[0029] 主要元件符號說明
[0030]

[0031] 如下【具體實施方式】將結(jié)合上述附圖進(jìn)一步說明本發(fā)明。
【具體實施方式】
[0032] 下面將結(jié)合附圖及具體實施例對本發(fā)明提供的人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)混 合計算系統(tǒng)作進(jìn)一步的詳細(xì)說明。
[0033] 本發(fā)明第一實施例提供一種人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的混合計算系統(tǒng)100， 包括至少兩個基本計算單元110,該至少兩個基本計算單元110中，至少一個為人工神經(jīng)網(wǎng) 絡(luò)計算單元，承擔(dān)人工神經(jīng)網(wǎng)絡(luò)計算，至少一個為脈沖神經(jīng)網(wǎng)絡(luò)計算單元，承擔(dān)脈沖神經(jīng)網(wǎng) 絡(luò)計算，該至少兩個基本計算單元Iio按照拓?fù)浣Y(jié)構(gòu)相互連接，共同實現(xiàn)神經(jīng)網(wǎng)絡(luò)計算功 能。
[0034] 請參見圖1，所述至少一人工神經(jīng)網(wǎng)絡(luò)計算單元與所述至少一脈沖神經(jīng)網(wǎng)絡(luò)計算 單元分別可以看作一個獨立的神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)中包括多個神經(jīng)元115,該多個神經(jīng)元 115之間通過突觸116連接，組成單層或多層結(jié)構(gòu)。突觸權(quán)重代表突觸后神經(jīng)元接收突觸前 神經(jīng)元輸出的加權(quán)值。
[0035] 所述至少一脈沖神經(jīng)網(wǎng)絡(luò)計算單元用于對接收到的數(shù)據(jù)執(zhí)行脈沖神經(jīng)網(wǎng)絡(luò)計算。 所述至少一脈沖神經(jīng)網(wǎng)絡(luò)計算單元的輸入數(shù)據(jù)、輸出數(shù)據(jù)以及神經(jīng)元115間傳遞的數(shù)據(jù)為 尖峰脈沖序列，所述至少一脈沖神經(jīng)網(wǎng)絡(luò)計算單元中所述神經(jīng)元115的模型為基于尖峰 脈沖計算的神經(jīng)元模型，可以為但不限于泄漏-積分-點火模型、尖峰脈沖響應(yīng)模型以及 Hodgkin-Huxley模型中的至少一種。
[0036] 所述至少一人工神經(jīng)網(wǎng)絡(luò)計算單元用于對接收到的數(shù)據(jù)執(zhí)行人工神經(jīng)網(wǎng)絡(luò)計算。 所述至少一人工神經(jīng)網(wǎng)絡(luò)計算單元的輸入數(shù)據(jù)、輸出數(shù)據(jù)以及神經(jīng)元115間傳遞的數(shù)據(jù)為 數(shù)值量。所述至少一人工神經(jīng)網(wǎng)絡(luò)計算單元進(jìn)一步按照神經(jīng)元模型、網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)算法的 不同，可以為感知器神經(jīng)網(wǎng)絡(luò)計算單元、BP神經(jīng)網(wǎng)絡(luò)計算單元、Hopfield神經(jīng)網(wǎng)絡(luò)計算單 元、自適應(yīng)諧振理論神經(jīng)網(wǎng)絡(luò)計算單元、深度信念神經(jīng)網(wǎng)絡(luò)計算單元和卷積神經(jīng)網(wǎng)絡(luò)計算 單元中的至少一種。
[0037] 所述至少一人工神經(jīng)網(wǎng)絡(luò)計算單元以及至少一脈沖神經(jīng)網(wǎng)絡(luò)計算單元拓?fù)溥B接 以形成一復(fù)合神經(jīng)網(wǎng)絡(luò)計算單元。
[0038] 所述拓?fù)溥B接的拓?fù)浣Y(jié)構(gòu)包括串聯(lián)結(jié)構(gòu)、并聯(lián)結(jié)構(gòu)、并行結(jié)構(gòu)、學(xué)習(xí)結(jié)構(gòu)以及反饋 結(jié)構(gòu)中的至少一種。
[0039] 請參見圖2,所述兩個基本計算單元110串聯(lián)連接以形成一串聯(lián)復(fù)合計算單元 120a。所述兩個基本計算單元110分別為第一基本計算單元IlOa與第二基本計算單元 ll〇b，所述第一基本計算單元IlOa的輸出端連接第二基本計算單元IlOb的輸入端。所述 第一基本計算單元IlOa與第二基本計算單元IlOb中，一個為人工神經(jīng)網(wǎng)絡(luò)計算單元，另 一個為脈沖神經(jīng)網(wǎng)絡(luò)計算單元。系統(tǒng)輸入首先經(jīng)過第一基本計算單元IlOa處理，處理后的 結(jié)果作為第二基本計算單元IlOb的輸入，第二基本計算單元IlOb處理后的結(jié)果為系統(tǒng)輸 出。
[0040] 請參見圖3,所述兩個基本基本計算單元110并聯(lián)連接以形成一并聯(lián)復(fù)合單元 120b。所述兩個基本計算單元110分別為第一基本計算單元IlOa與第二基本計算單元 ll〇b，所述第一基本計算單元IlOa的輸入端連接所述第二基本計算單元IlOb的輸入端，所 述第一基本計算單元IlOa的輸出端連接所述第二基本計算單元IlOb的輸出端。所述第一 基本計算單元IlOa與第二基本計算單元IlOb中，一個為人工神經(jīng)網(wǎng)絡(luò)計算單元，另一個為 脈沖神經(jīng)網(wǎng)絡(luò)計算單元。系統(tǒng)輸入同時輸入到所述第一基本計算單元IlOa和所述第二基 本計算單元IlOb進(jìn)行并行處理，將所述第一基本計算單