用于修改神經(jīng)動態(tài)的自動化方法
【專利說明】用于修改神經(jīng)動態(tài)的自動化方法
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求于2013年10月2日提交的題為"AUTOMATED METHOD FOR MODIFYING NEURAL DYNAMICS(用于修改神經(jīng)動態(tài)的自動化方法)"的美國臨時專利申請No. 61/885，950 的權(quán)益，其公開內(nèi)容通過援引全部明確納入于此。
[0003] 背景
[0004] 領(lǐng)域
[0005] 本公開的某些方面一般涉及神經(jīng)系統(tǒng)工程，并且尤其涉及用于修改神經(jīng)網(wǎng)絡(luò)模型 中的神經(jīng)動態(tài)的系統(tǒng)和方法。
【背景技術(shù)】
[0006] 可包括一群互連的人工神經(jīng)元（即神經(jīng)元模型）的人工神經(jīng)網(wǎng)絡(luò)是一種計算設(shè)備 或者表示將由計算設(shè)備執(zhí)行的方法。人工神經(jīng)網(wǎng)絡(luò)可具有生物學神經(jīng)網(wǎng)絡(luò)中的對應(yīng)的結(jié)構(gòu) 和/或功能。然而，人工神經(jīng)網(wǎng)絡(luò)可為其中傳統(tǒng)計算技術(shù)是麻煩的、不切實際的、或不勝任的 某些應(yīng)用提供創(chuàng)新且有用的計算技術(shù)。由于人工神經(jīng)網(wǎng)絡(luò)能從觀察中推斷出功能，因此這 樣的網(wǎng)絡(luò)在因任務(wù)或數(shù)據(jù)的復(fù)雜度使得通過常規(guī)技術(shù)來設(shè)計該功能較為麻煩的應(yīng)用中是 特別有用的。
[0007] 尖峰神經(jīng)網(wǎng)絡(luò)的研究者花費了相當多的時間來理解和設(shè)計尖峰神經(jīng)元的數(shù)學模 型。這些數(shù)學模型可能是任意復(fù)雜的并且需要手動調(diào)諧來產(chǎn)生某種期望行為。設(shè)計者將通 常使用一組方程式以及用于那些方程式的參數(shù)來描述神經(jīng)元。隨后，將操縱這些參數(shù)以與 現(xiàn)有或原型神經(jīng)元的一些特性相匹配。例如，神經(jīng)元模型可被設(shè)計成相對于已知存在于生 物學中的神經(jīng)元的時間來再現(xiàn)膜電壓。研究者隨后使用已知原型神經(jīng)元隨時間的電壓作為 參考并且嘗試使用他自己的模型來復(fù)制那些動態(tài)。在呈現(xiàn)給與原型神經(jīng)元相同的輸入時， 模型神經(jīng)元意圖在廣泛的調(diào)諧之后產(chǎn)生對膜電壓的準確逼近。
[0008] 概述
[0009] 在本公開的一個方面，公開了一種用于改進神經(jīng)動態(tài)的方法。該方法包括獲取原 型神經(jīng)元動態(tài)。該方法進一步包括修改神經(jīng)元模型的參數(shù)以使得神經(jīng)元模型與原型神經(jīng)元 動態(tài)相匹配。
[0010] 本公開的另一方面涉及一種設(shè)備，包括用于獲取原型神經(jīng)元動態(tài)的裝置。該設(shè)備 進一步包括用于修改神經(jīng)元模型的參數(shù)以使得神經(jīng)元模型與原型神經(jīng)元動態(tài)相匹配的裝 置。
[0011] 在本公開的另一方面，公開了一種具有非瞬態(tài)計算機可讀介質(zhì)的用于改進神經(jīng)動 態(tài)的計算機程序產(chǎn)品。該計算機可讀介質(zhì)上記錄有非瞬態(tài)程序代碼，該程序代碼在由（諸） 處理器執(zhí)行時使得(諸)處理器執(zhí)行獲取原型神經(jīng)元動態(tài)的操作。該程序代碼還使得(諸)處 理器修改神經(jīng)元模型的參數(shù)以使得神經(jīng)元模型與原型神經(jīng)元動態(tài)相匹配。
[0012] 另一方面公開了一種具有存儲器以及耦合至該存儲器的至少一個處理器的用于 改進神經(jīng)動態(tài)的裝置。該處理器被配置成獲取原型神經(jīng)元動態(tài)。該處理器被進一步配置成 修改神經(jīng)元模型的參數(shù)以使得神經(jīng)元模型與原型神經(jīng)元動態(tài)相匹配。
[0013] 公開了一種用于優(yōu)化神經(jīng)動態(tài)的自動化方法。該方法利用分段式線性神經(jīng)元模型 并且自動地確定最佳匹配原型神經(jīng)元的行為的參數(shù)。該過程獲取原型神經(jīng)動態(tài)。優(yōu)化度量 被定義并被用來對分段式線性模型與原型神經(jīng)元的膜電壓之差進行量化。最優(yōu)參數(shù)隨后基 于優(yōu)化度量來確定。
[0014] 這已較寬泛地勾勒出本公開的特征和技術(shù)優(yōu)勢以便下面的詳細描述可以被更好 地理解。本公開的附加特征和優(yōu)點將在下文描述。本領(lǐng)域技術(shù)人員應(yīng)該領(lǐng)會，本公開可容易 地被用作修改或設(shè)計用于實施與本公開相同的目的的其他結(jié)構(gòu)的基礎(chǔ)。本領(lǐng)域技術(shù)人員還 應(yīng)認識到，這樣的等效構(gòu)造并不脫離所附權(quán)利要求中所闡述的本公開的教導(dǎo)。被認為是本 公開的特性的新穎特征在其組織和操作方法兩方面連同進一步的目的和優(yōu)點在結(jié)合附圖 來考慮以下描述時將被更好地理解。然而，要清楚理解的是，提供每一幅附圖均僅用于解說 和描述目的，且無意作為對本公開的限定的定義。
[0015] 附圖簡述
[0016] 在結(jié)合附圖理解下面闡述的詳細描述時，本公開的特征、本質(zhì)和優(yōu)點將變得更加 明顯，在附圖中，相同附圖標記始終作相應(yīng)標識。
[0017] 圖1解說了根據(jù)本公開的某些方面的示例神經(jīng)元網(wǎng)絡(luò)。
[0018] 圖2解說了根據(jù)本公開的某些方面的計算網(wǎng)絡(luò)(神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò)）的處理單元 (神經(jīng)元)的示例。
[0019] 圖3解說了根據(jù)本公開的某些方面的尖峰定時依賴可塑性(STDP)曲線的示例。
[0020] 圖4解說了根據(jù)本公開的某些方面的用于定義神經(jīng)元模型的行為的正態(tài)相和負態(tài) 相的示例。
[0021] 圖5是根據(jù)本公開的一方面的用于將神經(jīng)元模型的非線性函數(shù)的部分逼近為分段 式線性函數(shù)的示例操作的流程圖。
[0022] 圖6解說根據(jù)本公開的一方面的支配神經(jīng)動態(tài)的分段式線性函數(shù)的示圖的示例。
[0023] 圖7解說了根據(jù)本公開的某些方面的使用通用處理器來設(shè)計神經(jīng)網(wǎng)絡(luò)的示例實 現(xiàn)。
[0024] 圖8解說了根據(jù)本公開的某些方面的設(shè)計其中存儲器可以與個體分布式處理單元 對接的神經(jīng)網(wǎng)絡(luò)的示例實現(xiàn)。
[0025] 圖9解說了根據(jù)本公開的某些方面的基于分布式存儲器和分布式處理單元來設(shè)計 神經(jīng)網(wǎng)絡(luò)的示例實現(xiàn)。
[0026] 圖10解說了根據(jù)本公開的某些方面的神經(jīng)網(wǎng)絡(luò)的示例實現(xiàn)。
[0027] 圖11是解說根據(jù)本公開的一方面的解說用于修改神經(jīng)動態(tài)的方法的框圖。
[0028] 詳細描述
[0029] 以下結(jié)合附圖闡述的詳細描述旨在作為各種配置的描述，而無意表示可實踐本文 中所描述的概念的僅有的配置。本詳細描述包括具體細節(jié)以便提供對各種概念的透徹理 解。然而，對于本領(lǐng)域技術(shù)人員將顯而易見的是，沒有這些具體細節(jié)也可實踐這些概念。在 一些實例中，以框圖形式示出眾所周知的結(jié)構(gòu)和組件以避免湮沒此類概念。
[0030] 基于本教導(dǎo)，本領(lǐng)域技術(shù)人員應(yīng)領(lǐng)會，本公開的范圍旨在覆蓋本公開的任何方面， 不論其是與本公開的任何其他方面相獨立地還是組合地實現(xiàn)的。例如，可以使用所闡述的 任何數(shù)目的方面來實現(xiàn)裝置或?qū)嵺`方法。另外，本公開的范圍旨在覆蓋使用作為所闡述的 本公開的各個方面的補充或者與之不同的其他結(jié)構(gòu)、功能性、或者結(jié)構(gòu)及功能性來實踐的 此類裝置或方法。應(yīng)當理解，所披露的本公開的任何方面可由權(quán)利要求的一個或多個元素 來實施。
[0031] 措辭"示例性"在本文中用于表示"用作示例、實例或解說"。本文中描述為"示例 性"的任何方面不必被解釋為優(yōu)于或勝過其他方面。
[0032] 盡管本文描述了特定方面，但這些方面的眾多變體和置換落在本公開的范圍之 內(nèi)。雖然提到了優(yōu)選方面的一些益處和優(yōu)點，但本公開的范圍并非旨在被限定于特定益處、 用途或目標。相反，本公開的各方面旨在能寬泛地應(yīng)用于不同的技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和協(xié) 議，其中一些作為示例在附圖以及以下對優(yōu)選方面的描述中解說。詳細描述和附圖僅僅解 說本公開而非限定本公開，本公開的范圍由所附權(quán)利要求及其等效技術(shù)方案來定義。
[0033]示例神經(jīng)系統(tǒng)、訓(xùn)練及操作
[0034] 圖1解說了根據(jù)本公開的某些方面的具有多級神經(jīng)元的示例人工神經(jīng)系統(tǒng)100。神 經(jīng)系統(tǒng)100可具有神經(jīng)元級102,該神經(jīng)元級102通過突觸連接網(wǎng)絡(luò)104(即，前饋連接)來連 接到另一神經(jīng)元級106。為簡單起見，圖1中僅解說了兩級神經(jīng)元，盡管神經(jīng)系統(tǒng)中可存在更 少或更多級神經(jīng)元。應(yīng)注意，一些神經(jīng)元可通過側(cè)向連接來連接至同層中的其他神經(jīng)元。此 外，一些神經(jīng)元可通過反饋連接來后向連接至先前層中的神經(jīng)元。
[0035] 如圖1所解說的，級102中的每一個神經(jīng)元可以接收可由前級的神經(jīng)元(未在圖1中 示出）生成的輸入信號108。信號108可表示級102的神經(jīng)元的輸入電流。該電流可在神經(jīng)元 膜上累積以對膜電位進行充電。當膜電位達到其閾值時，該神經(jīng)元可激發(fā)并生成輸出尖峰， 該輸出尖峰將被傳遞到下一級神經(jīng)元(例如，級106)。此類行為可在硬件和/或軟件(包括模 擬和數(shù)字實現(xiàn)，諸如以下所述那些實現(xiàn)）中進行仿真或模擬。
[0036] 在生物學神經(jīng)元中，在神經(jīng)元激發(fā)時生成的輸出尖峰被稱為動作電位。該電信號 是相對迅速、瞬態(tài)的神經(jīng)沖激，其具有約為IOOmV的振幅和約為Ims的歷時。在具有一系列連 通的神經(jīng)元(例如，尖峰從圖1中的一級神經(jīng)元傳遞至另一級神經(jīng)元）的神經(jīng)系統(tǒng)的特定實 施例中，每個動作電位都具有基本上相同的振幅和歷時，并且因此該信號中的信息可僅由 尖峰的頻率和數(shù)目、或尖峰的時間來表示，而不由振幅來表示。動作電位所攜帶的信息可由 尖峰、發(fā)放了尖峰的神經(jīng)元、以及該尖峰相對于一個或數(shù)個其他尖峰的時間來確定。尖峰的 重要性可由向各神經(jīng)元之間的連接所應(yīng)用的權(quán)重來確定，如以下所解釋的。
[0037] 尖峰從一級神經(jīng)元向另一級神經(jīng)元的傳遞可通過突觸連接(或簡稱"突觸"）網(wǎng)絡(luò) 104來達成，如圖1中所解說的。關(guān)于突觸104,級102的神經(jīng)元可被視為突觸前神經(jīng)元，而級 106的神經(jīng)元可被視為突觸后神經(jīng)元。突觸104可接收來自級102的神經(jīng)元的輸出信號（即， 尖峰），并根據(jù)可調(diào)節(jié)突觸權(quán)重wf+1)來按比例縮放那些信號，其中P是級102的 神經(jīng)元與級106的神經(jīng)元之間的突觸連接的總數(shù)，并且i是神經(jīng)元級的指示符。例如，在圖1 的示例中，i表示神經(jīng)元級102并且i+Ι表示神經(jīng)元級106。此外，經(jīng)按比例縮放的信號可被組 合以作為級106中每個神經(jīng)元的輸入信號。級106中的每個神經(jīng)元可基于對應(yīng)的組合輸入信 號來生成輸出尖峰11 〇?？墒褂昧硪煌挥|連接網(wǎng)絡(luò)（圖1中未示出）將這些輸出尖峰11 〇傳遞 到另一級神經(jīng)元。
[0038]生物學突觸可被分類為電的或化學的。電突觸主要用于發(fā)送興奮性信號，而化學 突觸可調(diào)停突觸后神經(jīng)元中的興奮性或抑制性(超極化)動作，并且還可用于放大神經(jīng)元信 號。興奮性信號使膜電位去極化(即，相對于靜息電位增大膜電位）。如果在某個時間段內(nèi)接 收到足夠的興奮性信號以使膜電位去極化到高于閾值，則在突觸后神經(jīng)元中發(fā)生動作電 位。相反，抑制性信號一般使膜電位超極化（即，降低膜電位）。抑制性信號如果足夠強則可 抵消掉興奮性信號之和并阻止膜電位到達閾值。除了抵消掉突觸興奮以外，突觸抑制還可 對自發(fā)活躍神經(jīng)元施加強力的控制。自發(fā)活躍神經(jīng)元是指在沒有進一步輸入的情況下（例 如，由于其動態(tài)或反饋而)發(fā)放尖峰的神經(jīng)元。通過壓制這些神經(jīng)元中的動作電位的自發(fā)生 成，突觸抑制可對神經(jīng)元中的激發(fā)模式進行定形，這一般被稱為雕刻。取決于期望的行為， 各種突觸104可充當興奮性或抑制性突觸的任何組合。
[0039] 神經(jīng)系統(tǒng)100可由通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場 可編程門陣列(FPGA)或其他可編程邏輯器件(PLD)、分立的門或晶體管邏輯、分立的硬件組 件、由處理器執(zhí)行的軟件模塊、或其