尖峰神經(jīng)元網(wǎng)絡(luò)中的擁塞避免的制作方法
【專(zhuān)利說(shuō)明】尖峰神經(jīng)元網(wǎng)絡(luò)中的擁塞避免
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求于2013年10月17日^胖16門(mén)7113^等人的名義提交的，并且題為 乂0NGESTI0N AVOIDANCE IN肥TWO服S OF SPIKING肥UR0NS(尖峰神經(jīng)元網(wǎng)絡(luò)中的擁塞避 免Γ的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)No. 61/892，354的權(quán)益，其公開(kāi)內(nèi)容通過(guò)援引全部明確納入于此。 [000；3]背景
[0004] 領(lǐng)域
[0005] 本公開(kāi)的某些方面一般設(shè)及神經(jīng)系統(tǒng)工程，并且尤其設(shè)及用于尖峰神經(jīng)元網(wǎng)絡(luò)中 的擁塞避免的系統(tǒng)和方法。
[0006] 背景
[0007]可包括一群互連的人工神經(jīng)元（即神經(jīng)元模型）的人工神經(jīng)網(wǎng)絡(luò)是一種計(jì)算設(shè)備 或者表示將由計(jì)算設(shè)備執(zhí)行的方法。人工神經(jīng)網(wǎng)絡(luò)可具有生物學(xué)神經(jīng)網(wǎng)絡(luò)中的對(duì)應(yīng)的結(jié)構(gòu) 和/或功能。然而，人工神經(jīng)網(wǎng)絡(luò)可為其中傳統(tǒng)計(jì)算技術(shù)是麻煩的、不切實(shí)際的、或不勝任的 某些應(yīng)用提供創(chuàng)新且有用的計(jì)算技術(shù)。由于人工神經(jīng)網(wǎng)絡(luò)能從觀察中推斷出功能，因此運(yùn) 樣的網(wǎng)絡(luò)在因任務(wù)或數(shù)據(jù)的復(fù)雜度使得通過(guò)常規(guī)技術(shù)來(lái)設(shè)計(jì)該功能較為麻煩的應(yīng)用中是 特別有用的。
[000引神經(jīng)網(wǎng)絡(luò)的仿真是非常數(shù)據(jù)密集的。在仿真期間發(fā)生越多的尖峰，就消耗越多的 系統(tǒng)資源。處理尖峰事件的硬件資源（例如，存儲(chǔ)器帶寬）上的運(yùn)些需求可W引起顯著的網(wǎng) 絡(luò)擁塞，運(yùn)耗盡了資源并且損害了性能。由此，期望提供神經(jīng)元形態(tài)接收器W管理神經(jīng)網(wǎng) 絡(luò)，從而避免擁塞。
[0009] 概述
[0010] 在本公開(kāi)的一方面，公開(kāi)了一種用于管理神經(jīng)網(wǎng)絡(luò)的方法。該方法包括監(jiān)視神經(jīng) 網(wǎng)絡(luò)中的擁塞指示并且基于該監(jiān)視修改尖峰分布。
[0011] 在本公開(kāi)的另一方面，公開(kāi)了一種用于管理神經(jīng)網(wǎng)絡(luò)的裝置。該裝置包括存儲(chǔ)器 W及禪合至該存儲(chǔ)器的處理器。該處理器被配置成監(jiān)視神經(jīng)網(wǎng)絡(luò)中的擁塞指示。該處理器 被進(jìn)一步配置成基于該監(jiān)視修改尖峰分布。
[0012] 在還有另一方面，一種用于管理神經(jīng)網(wǎng)絡(luò)的設(shè)備具有用于監(jiān)視神經(jīng)網(wǎng)絡(luò)中的擁塞 指示的裝置。該設(shè)備還具有用于至少部分地基于該監(jiān)視來(lái)修改尖峰分布的裝置。
[0013] 在本公開(kāi)的又一方面，公開(kāi)了一種計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品包括其上 編碼有程序代碼的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)。該程序代碼包括用W監(jiān)視神經(jīng)網(wǎng)絡(luò)中的擁塞指 示的程序代碼。該程序代碼進(jìn)一步包括用W基于該監(jiān)視修改尖峰分布的程序代碼。
[0014] 附圖簡(jiǎn)述
[0015] 在結(jié)合附圖理解下面闡述的詳細(xì)描述時(shí)，本公開(kāi)的特征、本質(zhì)和優(yōu)點(diǎn)將變得更加 明顯，在附圖中，相同附圖標(biāo)記始終作相應(yīng)標(biāo)識(shí)。
[0016] 圖1解說(shuō)了根據(jù)本公開(kāi)的某些方面的示例神經(jīng)元網(wǎng)絡(luò)。
[0017] 圖2解說(shuō)了根據(jù)本公開(kāi)的某些方面的計(jì)算網(wǎng)絡(luò)(神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò)）的處理單元 (神經(jīng)元)的示例。
[0018] 圖3解說(shuō)了根據(jù)本公開(kāi)的某些方面的尖峰定時(shí)依賴(lài)可塑性(STOP)曲線(xiàn)的示例。
[0019] 圖4解說(shuō)了根據(jù)本公開(kāi)的某些方面的用于定義神經(jīng)元模型的行為的正態(tài)相和負(fù)態(tài) 相的示例。
[0020] 圖5是解說(shuō)根據(jù)本公開(kāi)的各方面的神經(jīng)網(wǎng)絡(luò)的示例性實(shí)現(xiàn)的框圖。
[0021] 圖6解說(shuō)了根據(jù)本公開(kāi)的某些方面的使用通用處理器來(lái)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的示例實(shí) 現(xiàn)。
[0022] 圖7解說(shuō)了根據(jù)本公開(kāi)的某些方面的設(shè)計(jì)其中存儲(chǔ)器可W與個(gè)體分布式處理單元 對(duì)接的神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。
[0023] 圖8解說(shuō)了根據(jù)本公開(kāi)的某些方面的基于分布式存儲(chǔ)器和分布式處理單元來(lái)設(shè)計(jì) 神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。
[0024] 圖9解說(shuō)了根據(jù)本公開(kāi)的某些方面的神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。
[0025] 圖10是解說(shuō)根據(jù)本公開(kāi)的諸方面的用于管理神經(jīng)網(wǎng)絡(luò)的方法的框圖。
[00%] 詳細(xì)描述
[0027] W下結(jié)合附圖闡述的詳細(xì)描述旨在作為各種配置的描述，而無(wú)意表示可實(shí)踐本文 中所描述的概念的僅有的配置。本詳細(xì)描述包括具體細(xì)節(jié)W便提供對(duì)各種概念的透徹理 解。然而，對(duì)于本領(lǐng)域技術(shù)人員將顯而易見(jiàn)的是，沒(méi)有運(yùn)些具體細(xì)節(jié)也可實(shí)踐運(yùn)些概念。在 一些實(shí)例中，W框圖形式示出眾所周知的結(jié)構(gòu)和組件W避免煙沒(méi)此類(lèi)概念。
[0028] 基于本教導(dǎo)，本領(lǐng)域技術(shù)人員應(yīng)領(lǐng)會(huì)，本公開(kāi)的范圍旨在覆蓋本公開(kāi)的任何方面， 不論其是與本公開(kāi)的任何其他方面相獨(dú)立地還是組合地實(shí)現(xiàn)的。例如，可W使用所闡述的 任何數(shù)目的方面來(lái)實(shí)現(xiàn)裝置或?qū)嵺`方法。另外，本公開(kāi)的范圍旨在覆蓋使用作為所闡述的 本公開(kāi)的各個(gè)方面的補(bǔ)充或者與之不同的其他結(jié)構(gòu)、功能性、或者結(jié)構(gòu)及功能性來(lái)實(shí)踐的 此類(lèi)裝置或方法。應(yīng)當(dāng)理解，所披露的本公開(kāi)的任何方面可由權(quán)利要求的一個(gè)或多個(gè)元素 來(lái)頭施。
[0029] 措辭"示例性"在本文中用于表示"用作示例、實(shí)例或解說(shuō)"。本文中描述為"示例 性"的任何方面不必被解釋為優(yōu)于或勝過(guò)其他方面。
[0030] 盡管本文描述了特定方面，但運(yùn)些方面的眾多變體和置換落在本公開(kāi)的范圍之 內(nèi)。雖然提到了優(yōu)選方面的一些益處和優(yōu)點(diǎn)，但本公開(kāi)的范圍并非旨在被限定于特定益處、 用途或目標(biāo)。相反，本公開(kāi)的各方面旨在能寬泛地應(yīng)用于不同的技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和協(xié) 議，其中一些作為示例在附圖W及W下對(duì)優(yōu)選方面的描述中解說(shuō)。詳細(xì)描述和附圖僅僅解 說(shuō)本公開(kāi)而非限定本公開(kāi)，本公開(kāi)的范圍由所附權(quán)利要求及其等效技術(shù)方案來(lái)定義。
[0031 ]示例神經(jīng)系統(tǒng)、訓(xùn)練及操作
[0032] 圖1解說(shuō)了根據(jù)本公開(kāi)的某些方面的具有多級(jí)神經(jīng)元的示例人工神經(jīng)系統(tǒng)100。神 經(jīng)系統(tǒng)100可具有神經(jīng)元級(jí)102,該神經(jīng)元級(jí)102通過(guò)突觸連接網(wǎng)絡(luò)104(即，前饋連接)來(lái)連 接到另一神經(jīng)元級(jí)106。為簡(jiǎn)單起見(jiàn)，圖1中僅解說(shuō)了兩級(jí)神經(jīng)元，盡管神經(jīng)系統(tǒng)中可存在更 少或更多級(jí)神經(jīng)元。應(yīng)注意，一些神經(jīng)元可通過(guò)側(cè)向連接來(lái)連接至同層中的其他神經(jīng)元。此 夕h-些神經(jīng)元可通過(guò)反饋連接來(lái)后向連接至先前層中的神經(jīng)元。
[0033] 如圖1所解說(shuō)的，級(jí)102中的每一個(gè)神經(jīng)元可W接收可由前級(jí)的神經(jīng)元(未在圖1中 示出）生成的輸入信號(hào)108。信號(hào)108可表示級(jí)102的神經(jīng)元的輸入電流。該電流可在神經(jīng)元 膜上累積W對(duì)膜電位進(jìn)行充電。當(dāng)膜電位達(dá)到其闊值時(shí)，該神經(jīng)元可激發(fā)并生成輸出尖峰， 該輸出尖峰將被傳遞到下一級(jí)神經(jīng)元(例如，級(jí)106)。在一些建模辦法中，神經(jīng)元可W連續(xù) 地向下一級(jí)神經(jīng)元傳遞信號(hào)。該信號(hào)通常是膜電位的函數(shù)。此類(lèi)行為可在硬件和/或軟件 (包括模擬和數(shù)字實(shí)現(xiàn)，諸如W下所述那些實(shí)現(xiàn)）中進(jìn)行仿真或模擬。
[0034] 在生物學(xué)神經(jīng)元中，在神經(jīng)元激發(fā)時(shí)生成的輸出尖峰被稱(chēng)為動(dòng)作電位。該電信號(hào) 是相對(duì)迅速、瞬態(tài)的神經(jīng)脈沖，其具有約為lOOmV的振幅和約為1ms的歷時(shí)。在具有一系列連 通的神經(jīng)元(例如，尖峰從圖1中的一級(jí)神經(jīng)元傳遞至另一級(jí)神經(jīng)元）的神經(jīng)系統(tǒng)的特定實(shí) 施例中，每個(gè)動(dòng)作電位都具有基本上相同的振幅和歷時(shí)，并且因此該信號(hào)中的信息可僅由 尖峰的頻率和數(shù)目、或尖峰的時(shí)間來(lái)表示，而不由振幅來(lái)表示。動(dòng)作電位所攜帶的信息可由 尖峰、發(fā)放了尖峰的神經(jīng)元、W及該尖峰相對(duì)于一個(gè)或數(shù)個(gè)其他尖峰的時(shí)間來(lái)確定。尖峰的 重要性可由向各神經(jīng)元之間的連接所應(yīng)用的權(quán)重來(lái)確定，如W下所解釋的。
[0035] 尖峰從一級(jí)神經(jīng)元向另一級(jí)神經(jīng)元的傳遞可通過(guò)突觸連接(或簡(jiǎn)稱(chēng)"突觸"）網(wǎng)絡(luò) 104來(lái)達(dá)成，如圖1中所解說(shuō)的。關(guān)于突觸104,級(jí)102的神經(jīng)元可被視為突觸前神經(jīng)元，而級(jí) 106的神經(jīng)元可被視為突觸后神經(jīng)元。突觸104可接收來(lái)自級(jí)102的神經(jīng)元的輸出信號(hào)（即， 尖峰），并根據(jù)可調(diào)節(jié)突觸權(quán)重來(lái)按比例縮放那些信號(hào)，其中P是級(jí)102 的神經(jīng)元與級(jí)106的神經(jīng)元之間的突觸連接的總數(shù)，并且i是神經(jīng)元級(jí)的指示符。在圖1的示 例中，i表示神經(jīng)元級(jí)102并且i+1表示神經(jīng)元級(jí)106。此外，經(jīng)按比例縮放的信號(hào)可被組合W 作為級(jí)106中每個(gè)神經(jīng)元的輸入信號(hào)。級(jí)106中的每個(gè)神經(jīng)元可基于對(duì)應(yīng)的組合輸入信號(hào)來(lái) 生成輸出尖峰110。可使用另一突觸連接網(wǎng)絡(luò)（圖1中未示出）將運(yùn)些輸出尖峰110傳遞到另 一級(jí)神經(jīng)元。
[0036] 生物學(xué)突觸可W仲裁突觸后神經(jīng)元中的興奮性或抑制性(超級(jí)化)動(dòng)作，并且還可 用于放大神經(jīng)元信號(hào)。興奮性信號(hào)使膜電位去極化(即，相對(duì)于靜息電位增大膜電位）。如果 在某個(gè)時(shí)間段內(nèi)接收到足夠的興奮性信號(hào)W使膜電位去極化到高于闊值，則在突觸后神經(jīng) 元中發(fā)生動(dòng)作電位。相反，抑制性信號(hào)一般使膜電位超極化（即，降低膜電位）。抑制性信號(hào) 如果足夠強(qiáng)則可抵消掉興奮性信號(hào)之和并阻止膜電位到達(dá)闊值。除了抵消掉突觸興奮W 夕h突觸抑制還可對(duì)自發(fā)主動(dòng)神經(jīng)元施加強(qiáng)力的控制。自發(fā)主動(dòng)神經(jīng)元是指在沒(méi)有進(jìn)一步 輸入的情況下（例如，由于其動(dòng)態(tài)或反饋而)發(fā)放尖峰的神經(jīng)元。通過(guò)壓制運(yùn)些神經(jīng)元中的 動(dòng)作電位的自發(fā)生成，突觸抑制可對(duì)神經(jīng)元中的激發(fā)模式進(jìn)行定形，運(yùn)一般被稱(chēng)為雕刻。取 決于期望的行為，各種突觸104可充當(dāng)興奮性或抑制性突觸的任何組合。
[0037] 神經(jīng)系統(tǒng)100可由通用處理器、數(shù)字信號(hào)處理器(DSP)、專(zhuān)用集成電路(ASIC)、現(xiàn)場(chǎng) 可編程口陣列(FPGA)或其他可編程邏輯器件(PLD)、分立的口或晶體管邏輯、分立的硬件組 件、由處理器執(zhí)行的軟件模塊、或其任何組合來(lái)仿真。神經(jīng)系統(tǒng)100可用在大范圍的應(yīng)用中， 諸如圖像和模式識(shí)別、機(jī)器學(xué)習(xí)、電機(jī)控制、及類(lèi)似應(yīng)用等。神經(jīng)系統(tǒng)100中的每一神經(jīng)元可 被實(shí)現(xiàn)為神經(jīng)元電路。被充電至發(fā)起輸出尖峰的闊值的神經(jīng)元膜可被實(shí)現(xiàn)為例如對(duì)流經(jīng)其 的電流進(jìn)行積分的電容器。
[0038] 在一方面，電容器作為神經(jīng)元電路的電流積分器件可被除去，并且可使用較小的 憶阻器元件來(lái)替代它。運(yùn)種辦法可應(yīng)用于神經(jīng)元電路中，W及其中大容量電容器被用作電 流積分器的各種其他應(yīng)用中。另外，每個(gè)突觸104可基于憶阻器元件來(lái)實(shí)現(xiàn)，其中突觸權(quán)重 變化可與憶阻器電阻的變化有關(guān)。使用納米特征尺寸