專利名稱：小型認知突觸運算電路的制作方法
小型認知突觸運算電路
背景技術(shù)：
本發(fā)明一般涉及神經(jīng)形態(tài)(neuromorphie)及突觸器(synaptronic)系統(tǒng),特別是涉及基于脈沖時序相依可塑性的神經(jīng)形態(tài)及突觸器系統(tǒng)。生物系統(tǒng)關(guān)于其感知輸入所提供信息施加順序。此信息一般為包含具有獨特空間及時間結(jié)構(gòu)的局部化事件的時空(spatiotemporal)模式。這些事件發(fā)生于廣泛空間及時間尺度，而這些生物系統(tǒng)(例如腦部)仍能將其整合并提取相關(guān)的信息片段。此類生物系統(tǒng)可快速自充滿噪聲的時空輸入提取信號。在生物系統(tǒng)中，突觸指一神經(jīng)元的軸突與另一神經(jīng)元的樹突間的觸點，對突觸而言，二個神經(jīng)元分別稱為前突觸(pre-synaptic)及后突觸(post-synaptic)。我們個人經(jīng)驗的本質(zhì)存儲于突觸的傳導(dǎo)中。突觸傳導(dǎo)隨著時間以每個脈沖時序相依可塑性(spike-timing dependent plasticity, STDP)的前突觸及后突觸神經(jīng)元的相對脈沖時間的函數(shù)而改變。若后突觸神經(jīng)元在前突觸神經(jīng)元發(fā)射后才發(fā)射，則STDP規(guī)則增加此突觸的傳導(dǎo)，若二個神經(jīng)元發(fā)射的順序顛倒，則STDP規(guī)則降低突觸的傳導(dǎo)。神經(jīng)形態(tài)及突觸器系統(tǒng)，也稱作人造神經(jīng)網(wǎng)絡(luò)，是允許電子系統(tǒng)以實質(zhì)類似于生物腦部的方式運作的運算系統(tǒng)。神經(jīng)形態(tài)及突觸器系統(tǒng)一般不利用以連續(xù)方式控制O與I的傳統(tǒng)數(shù)字模型，而是使用平行及分布式處理。反之，神經(jīng)形態(tài)及突觸器系統(tǒng)產(chǎn)生仿真生物腦部神經(jīng)元及突觸的處理組件間的連接。神經(jīng)形態(tài)及突觸器系統(tǒng)可包含以生物神經(jīng)元及突觸作模型的許多電子電路。

發(fā)明內(nèi)容
本發(fā)明具體實施例使用互連在交叉式陣列網(wǎng)絡(luò)中的電子神經(jīng)元而提供脈沖時序相依可塑性。在一具體實施例中，交叉式陣列網(wǎng)絡(luò)包含多個交叉式陣列。每一交叉式陣列包含多個軸突及多個樹突，使得軸突與樹突彼此橫貫，以及包含多個突觸裝置，其中每一突觸裝置位于耦合在樹突及軸突間的交叉式陣列的交叉點。交叉式陣列在空間上位于提供突觸裝置的交錯交叉式布局的交錯圖案中。在本發(fā)明的一具體實施例中，一種方法包括從電子神經(jīng)元傳送脈沖信號至與電子神經(jīng)元網(wǎng)絡(luò)中的脈沖電子神經(jīng)元連接的每一軸突及每一樹突。在本發(fā)明的一具體實施例中，多個電子神經(jīng)元的每一個對應(yīng)至多個交叉式陣列的其中之一。在本發(fā)明的一具體實施例中，產(chǎn)生一計時信號，用于同時激活在網(wǎng)絡(luò)中的多個交叉式陣列。針對多個交叉式陣列的每一個及對應(yīng)的電子神經(jīng)元，基于計時信號，此方法還包括:當(dāng)電子神經(jīng)元發(fā)射時，傳送一信號至對應(yīng)的軸突及樹突。軸突傳送一讀取信號，其也作為STDP下壓部分的警示。軸突傳送一重設(shè)信號，且某些樹突可能會響應(yīng)。樹突傳送一設(shè)定信號，且某些軸突可能會響應(yīng)。讀取在一軸突上ON位的數(shù)量，以及讀取在一樹突上ON位的數(shù)量。本發(fā)明的這些及其它特征、方面及優(yōu)點可參考以下的詳細說明、后附的權(quán)利要求范圍、以及所附隨的附圖而了解。


圖1A根據(jù)本發(fā)明一具體實施例顯示用于脈沖運算的突觸交叉式陣列的示意圖；圖1B根據(jù)本發(fā)明一具體實施例顯示圖1A的突觸交叉式陣列的一實施的示意圖；圖2A根據(jù)本發(fā)明一具體實施例顯示實施為一電路磚的圖1A的突觸交叉式陣列的一實施的示意圖；圖2B根據(jù)本發(fā)明一具體實施例顯示多個互相鏈接的突觸交叉式陣列磚的網(wǎng)絡(luò)的透視圖；圖2C根據(jù)本發(fā)明一具體實施例顯示圖2B的網(wǎng)絡(luò)的俯視圖；圖2D根據(jù)本發(fā)明一具體實施例顯示具有在網(wǎng)格中的交叉式磚群組的圖2B網(wǎng)絡(luò)的透視圖；圖3根據(jù)本發(fā)明一具體實施例顯示鏈接由圖2B網(wǎng)絡(luò)所互連的神經(jīng)元的連續(xù)通信路徑的一范例；圖4根據(jù)本發(fā)明一具體實施例顯示一交叉式陣列的合成物，其分解成四個組成部分；圖5根據(jù)本發(fā)明一具體實施例，基于圖4的概念性分解，顯示具有已分解交叉式陣列的圖2B中網(wǎng)絡(luò)的一部分；圖6根據(jù)本發(fā)明一具體實施例顯示一程序流程圖，其針對利用通用計時信號的電子神經(jīng)元的交叉式陣列網(wǎng)絡(luò)的同步操作階段；圖7A根據(jù)本發(fā)明一具體實施例顯示在圖2B網(wǎng)絡(luò)中的具有第一組已激活軸突的已激活交叉式磚；圖7B根據(jù)本發(fā)明一具體實施例顯示在圖7A網(wǎng)絡(luò)中的具有第二組已激活軸突的已激活交叉式磚；圖7C根據(jù)本發(fā)明一具體實施例顯示在圖7A網(wǎng)絡(luò)中的具有第三組已激活軸突的已激活交叉式磚；圖7D根據(jù)本發(fā)明一具體實施例顯示在圖2B網(wǎng)絡(luò)中的具有第一組已激活樹突的已激活交叉式磚；圖7E根據(jù)本發(fā)明一具體實施例顯示在圖7D網(wǎng)絡(luò)中的具有第二組已激活樹突的已激活交叉式磚；圖7F根據(jù)本發(fā)明一具體實施例顯示在圖7D網(wǎng)絡(luò)中的具有第三組已激活樹突的已激活交叉式磚；以及圖8顯示適用于實施本發(fā)明的一具體實施例的信息處理系統(tǒng)的高階方塊圖。
具體實施例方式本發(fā)明具體實施例提供神經(jīng)形態(tài)及突觸器系統(tǒng)，其包括運算芯片，特征為與多個電子神經(jīng)元互連的突觸裝置(突觸)的交叉絎縫交叉式布局(cross-quilted crossbarlayout)、根據(jù)脈沖時序相依可塑性(STDP)提供突觸的讀取及編程、以及并行地協(xié)調(diào)操作多個交叉式?，F(xiàn)在參考圖1A，顯示神經(jīng)形態(tài)及突觸器系統(tǒng)100的代表圖，其包含具有多個神經(jīng)元14的交叉式陣列12。神經(jīng)元也可稱作“電子神經(jīng)元”。系統(tǒng)100還包含多個突觸裝置22，其包括位于交叉式陣列12的交叉點的可變電阻23，其中突觸裝置22連接于軸突24與樹突26之間。軸突24與樹突26在交叉點彼此橫貫。圖1A所示的具體實施例為軸突24與樹突26在交叉點為正交配置的特別情況(“Ne”包含興奮神經(jīng)元而“Ni”包含抑制神經(jīng)元)。應(yīng)注意，雖然圖1A顯示神經(jīng)元形成一反復(fù)循環(huán)，但一般來說不同的神經(jīng)元會將其輸出伸出至在不同交叉式上的其它神經(jīng)元。圖1B顯示交叉式陣列12的范例實施，其中每一突觸裝置22包含一可變電阻23作為可編程電阻。交叉式陣列12包含具有該電阻23于交叉點的納米等級交叉式陣列，其用以實現(xiàn)電子神經(jīng)元之間任意且彈性的連接。存取或控制裝置25 (例如PN 二極管或接線成為二極管的PET (或具有非線性電壓-電流響應(yīng)的某些其它組件))可在每一交叉點與電阻23串聯(lián)連接，以避免信號通信期間的串?dāng)_(神經(jīng)元發(fā)射事件)且最小化漏電及功耗；然而這并非達到突觸功能所需的必要條件。突觸裝置不需為一可變電阻，在另一具體實施例中，其可包含存儲器組件，如SRAM、DRAM、EDRAM等等。在本發(fā)明一具體實施例中，每一電子神經(jīng)元包含一對RC電路15。一般而言，根據(jù)本發(fā)明一具體實施例，當(dāng)從樹突輸入連接26所接收的整合輸入超過一閾值時，神經(jīng)元“發(fā)射”(傳輸一脈沖)。當(dāng)神經(jīng)元發(fā)射，其維持一反STDP (A-STDP)變量，此變量隨著在其中一RC電路中的電阻及電容值所決定的相對長且預(yù)定的時間常數(shù)而衰減。舉例來說，在一具體實施例中，此時間常數(shù)可為約50ms。A-STDP變量可經(jīng)過使用電流鏡或等效電路決定橫跨電容的電壓而取樣。此變量用以達成軸突STDP，其經(jīng)過對自相關(guān)神經(jīng)元最后一次發(fā)射起的時間進行編碼。軸突STDP用以控制“增效(potentiation) ”，其在本文定義為增加的突觸傳導(dǎo)率。當(dāng)神經(jīng)元發(fā)射，其也維持D-STDP變量，此變量隨著在其中一 RC電路15中的電阻及電容值所決定的相對長且預(yù)定的時間常數(shù)衰減。在此使用的“當(dāng)(when)” 一詞可表示信號在神經(jīng)元發(fā)射后立即送出、或是在神經(jīng)元發(fā)射后過一段時間才送出。如圖1A所示，電子神經(jīng)元14配置為在交叉式陣列12周邊的電路。除了可簡單設(shè)計及制造，交叉式架構(gòu)提供可用空間的有效使用。交叉式陣列12可配置為定制神經(jīng)元間的通信。可經(jīng)過在制造階段阻擋某些突觸而獲得任意連接。因此，此處的建構(gòu)原則可模擬在生物神經(jīng)形態(tài)及突觸器網(wǎng)絡(luò)中所觀察到所有直接連線組合。交叉式陣列12還包括驅(qū)動器(路由器)裝置X2、X3及X4,如圖1A所示(為清楚顯示，驅(qū)動器裝置并未顯示于圖1B中)。裝置X2、X3&X4包含接口驅(qū)動器裝置。特別地，樹突26在交叉式陣列12的一側(cè)具有驅(qū)動器裝置X2以及在交叉式陣列的另一側(cè)具有感測放大器X4。軸突24在交叉式陣列的一側(cè)具有驅(qū)動器裝置X3。在一具體實施例中，驅(qū)動器裝置包含執(zhí)行此處所描述功能的互補金屬氧化物半導(dǎo)體(complementary metal oxide semiconductor,CMOS)邏輯電路。圖2A顯示交叉式陣列12的透視圖，其中在一般情況下，在每一交叉式陣列中的軸突24及樹突26在交叉點處為小于90°的配置。每一交叉式陣列包含電路磚(circuittile) 12T，其包含位于N個軸突24及N個樹突26的交叉點的NxN個突觸22的群組。在此范例中，N=3，其中每一磚12T包含3x3交叉式陣列，其具有3個軸突24與3個樹突26呈橫貫配置。N為大于O的整數(shù)。圖2B根據(jù)本發(fā)明一具體實施例顯示網(wǎng)絡(luò)101的透視圖，其包含具有在二維平面中的多個空間交錯交叉式陣列12的電路。在網(wǎng)絡(luò)101中，在一般情況下，在每一交叉式陣列中的軸突24及樹突26在交叉點處為小于90°的配置。每一交叉式陣列12包含位于N個軸突24及N個樹突26的交叉點的NxN個突觸22群組(例如，N=3)。磚12T偏置(offset)，以提供磚12T的交錯圖案。磚12T群組經(jīng)由共同的軸突24及樹突26而互連，以提供突觸22的交叉絎縫交叉式布局。圖2B中的網(wǎng)絡(luò)101允許使用每一交叉式或磚互連電子神經(jīng)元(圖未示)。以此而言，交叉式陣列12在交錯圖案中，其提供網(wǎng)絡(luò)101中突觸22的交叉絎縫交叉式布局，其中突觸22為NxN群組。圖2C顯示圖2B的網(wǎng)絡(luò)101的一部分的俯視圖，其描述在網(wǎng)格12G的NxN個磚12T群組(例如，N=3)。在每一網(wǎng)格12G中的NxN個磚12T群組經(jīng)由共同的軸突24及樹突26而互連，以提供位于磚12T中交叉點的突觸的交叉絎縫交叉式布局。圖2D顯示網(wǎng)絡(luò)101的另一透視圖，其中，在每一網(wǎng)格12G中的磚12T也經(jīng)由共同的軸突24及樹突26而互連至在鄰近網(wǎng)格12G中的鄰近磚12T。每一磚12T經(jīng)由N-1樹突26而連接至左側(cè)或右側(cè)的鄰近磚。每一磚12T經(jīng)由N-1軸突24而連接至上側(cè)或下側(cè)的鄰近磚。在每一網(wǎng)格12G中，軸突24橫貫跨越N個磚12T，且每一樹突橫越N個磚12T。在網(wǎng)格12G中的交叉式磚12T的數(shù)量為磚12T中突觸數(shù)量的函數(shù)。交叉式磚12T在Cartesian (笛卡兒)(X，Y)平面中彼此偏置，以提供樹突與軸突間的連接。偏置允許生物腦中連接的近似(approximation of the connections)更加可靠。交錯允許連接至一交叉式12的電子神經(jīng)元使用在交叉點的軸突、樹突、及突觸，與連接至另一交叉式的神經(jīng)元通信。每一神經(jīng)元對應(yīng)一磚12T。由于在網(wǎng)絡(luò)101中的磚12T (及其對應(yīng)的神經(jīng)元)組織化在網(wǎng)格12G中，若有需要是有可能以一空間填充曲線將其連接，類似一總線。由交叉式網(wǎng)絡(luò)101所互連的神經(jīng)元安排于一規(guī)則晶格中，其經(jīng)由鏈接每一神經(jīng)元的連續(xù)通信路徑13而連接。路徑13定義連接所有神經(jīng)元的總線，如圖3的范例所示，其中路徑13上的實心圓代表每一神經(jīng)元的位置。圖3提供基于二維坐標系統(tǒng)的一范例連接。圖4顯示一范例交叉式陣列12的合成物，其分解成四個組成部分。在此范例中，磚對應(yīng)一 8x8交叉式，其包含8個軸突24、8個樹突26、及64個突觸。軸突接口模塊24A包括驅(qū)動器X3,而樹突接口模塊26A包括X2及X4驅(qū)動器。神經(jīng)元(例如神經(jīng)元14)對應(yīng)交叉式12。圖5根據(jù)圖4的概念性分解顯示具有已分解交叉式12的網(wǎng)絡(luò)101的一部分。在一具體實施例中，根據(jù)本發(fā)明的神經(jīng)網(wǎng)絡(luò)包含網(wǎng)絡(luò)電路101，其在一交錯交叉式陣列12具有多個軸突及多個樹突。每一突觸裝置包含二元狀態(tài)存儲器裝置，其表示位于耦合于一樹突與一軸突間的互連電路的交錯點的一位。全部交錯的交叉式相互鏈接。在NxN交叉式12中，在電流限制保護下，所有行(row)可并行地讀取，即使所有N位為0N，其中預(yù)期的ON位數(shù)量為N/2。在電流限制保護下，可嘗試重設(shè)(設(shè)定)所有行(列)，若多于2個位正在重設(shè)(設(shè)定)則可能不會成功?？勺x取在一行(列)中的ON位的數(shù)量。在電流限制保護下，所有列可并行地讀取，即使所有N位為0N。預(yù)期的ON位數(shù)量為N/2。關(guān)鍵事件為神經(jīng)元的發(fā)射。這會造成兩種操作:讀取與編程。針對讀取操作，神經(jīng)元的發(fā)射導(dǎo)致對此發(fā)射神經(jīng)元所連接的所有神經(jīng)元的警告、傳送一發(fā)送信號至所有軸突路由器或驅(qū)動器X3。每一軸突路由器X3支持多個樹突讀取(并行或部分并行)。針對編程操作，神經(jīng)元的發(fā)射可能造成突觸改變、傳送信號至所有軸突-路由器X3、及至所有樹突-路由器x2、x4。在一具體實施例中，在交叉式陣列12中，西南-東北(SW-NE)向代表軸突，而東南-西北(SE-NW)向代表樹突。在軸突接觸的電路標示為X3，而在樹突接觸的電路標示為X2及X4。每一 X4包括1-位ADC (感測放大器)，每一 X2包括重設(shè)及設(shè)定電路，且每一 X3包括讀取電路。本發(fā)明降低了 χ2、χ3、χ4電路及用以將其驅(qū)動的邏輯的功率與空間需求。并行地讀取多于一個軸突，需要多于一個1-位ADC。感測放大器裝置X4饋入興奮脈沖電子神經(jīng)元(N6)，其依序連接至軸突驅(qū)動器裝置X3及樹突驅(qū)動器裝置x2。一般而言，興奮脈沖電子神經(jīng)元使其目標神經(jīng)元更可能發(fā)射。此夕卜，抑制脈沖電子神經(jīng)元(Ni)使其目標更不可能發(fā)射。脈沖電子神經(jīng)元有多種實施可使用。一般來說，此類神經(jīng)元包含一計數(shù)器，其當(dāng)接收到來自來源興奮神經(jīng)元的輸入將增加，而當(dāng)接收到來自來源抑制神經(jīng)元的輸入將減少。增加或減少的量取決于來源神經(jīng)元至目標神經(jīng)元間連接的強度。與輸入無關(guān)，計數(shù)器可周期性地降低以模擬“漏電(leak)”。若計數(shù)器達到某一閾值，神經(jīng)元將產(chǎn)生其本身的脈沖(即，發(fā)射)，且計數(shù)器將進行一重設(shè)而回到一基值。此處的脈沖電子神經(jīng)元一詞指“電子神經(jīng)元”。在此范例中，每一興奮神經(jīng)元(N6)配置為提供整合與發(fā)射。每一抑制神經(jīng)元(Ni)配置為根據(jù)整體網(wǎng)絡(luò)活動調(diào)整興奮神經(jīng)元的活動。本領(lǐng)域技術(shù)人員將了解到，興奮神經(jīng)元與抑制神經(jīng)元的準確數(shù)量可隨著使用在此所揭露架構(gòu)所要解決的問題的本質(zhì)而改變。本發(fā)明具體實施例提供包含神經(jīng)形態(tài)及突觸器網(wǎng)絡(luò)的神經(jīng)系統(tǒng)，其包含基于STDP的脈沖神經(jīng)元網(wǎng)絡(luò)，學(xué)習(xí)神經(jīng)形態(tài)集成電路的規(guī)則。本發(fā)明一具體實施例提供基于脈沖的運算，其使用CMOS電子神經(jīng)元,通過納米等級的存儲器突觸(例如相位改變存儲器(PhaseChange Memory, PCM)電路)彼此相互作用。在一具體實施例中，軸突驅(qū)動器裝置X3提供長編程脈沖(long programmingpulse)及通信脈沖。樹突驅(qū)動器裝置X2提供含一延遲的編程脈沖。在一具體實施例中，神經(jīng)元電路使用模擬邏輯電路而實施，對應(yīng)感測放大器X4轉(zhuǎn)換PCM (PCM無任何介紹)電流級為神經(jīng)元電流級以供整合。在本發(fā)明另一具體實施例中，神經(jīng)元電路使用數(shù)字邏輯電路而實施，對應(yīng)感測放大器X4轉(zhuǎn)換PCM電流級為二元數(shù)字信號以供整合。舉例來說，可施加短期間(例如約0.05ms至0.15ms,優(yōu)選為約0.1ms)的讀取脈沖至軸突驅(qū)動器裝置X3以供通信?？墒┘友娱L的脈沖(例如約150ms至250ms，優(yōu)選為約200ms)至軸突驅(qū)動器裝置X3,以及通過軸突驅(qū)動器脈沖(例如約45ns至55ns,優(yōu)選為約45ns)在中途施加短的負脈沖至樹突驅(qū)動器裝置X2以供編程。網(wǎng)絡(luò)101根據(jù)數(shù)字、同步方式而運作。在一具體實施例中，計時模塊19 (圖1B)用以提供事件驅(qū)動架構(gòu)，其利用分時多重存取方式(time-division multiple accessscheme,TDMA)。TDMA允許讀取、設(shè)定、重設(shè)、或其它通信橫跨不同神經(jīng)元發(fā)生在相同的交叉式，而不會產(chǎn)生沖突或抵觸。在一范例中，對一 NxN交叉式陣列，使M代表N的因子，如此任何軸突或列的M個組件可被讀取/寫入。舉例而言，N可為100，而M可為1、2、5、10、20、25、或50。在此陣列上支持TDMA所需的頻率速率系隨N及M的函數(shù)而變化?；旧?，任何神經(jīng)元的狀態(tài)在T毫秒時距必須更新，其對應(yīng)1/T kHz的頻率速率。在每一時距，每一軸突將被處理且每一樹突將被處理，其中需要2N/T kHz的頻率速率。
處理每一軸突或樹突牽涉階段，需要6N/T kHz的頻率速率。針對每一階段，需要N/M次階段來處理所有的突觸組件，其中需要(6N2)/(M*T)kHz的頻率速率。當(dāng)T=0.1、N=100、M=10，將產(chǎn)生60MHz頻率速率。不同的存儲器技術(shù)支持不同的N及M值。在一范例中，可變電阻(例如PCM)可支持M=I至10的值。其它存儲器(靜態(tài)隨機存取存儲器(staticrandom access memory, SRAM))可支持較大的數(shù)值，例如M=IOO或256。根據(jù)本發(fā)明具體實施例，T、N、M的值被選擇以達成低頻率速率，其相比于可能使用若干GHz頻率速率的傳統(tǒng)計算機系統(tǒng)，將可達到實質(zhì)的功率節(jié)省。經(jīng)過降低更新神經(jīng)元狀態(tài)的時距T的分辨率，可降低所需的頻率速率。舉例來說，當(dāng) T=0.6，N=100，M=10，頻率速率為 IOMHz。在一具體實施例中，每一神經(jīng)元有S個突觸。假設(shè)S為N的整數(shù)倍數(shù)，則每一神經(jīng)元需要從交叉式的比率S/N數(shù)值接收樹突輸入，并傳送其軸突輸出至S/N交叉式。每一神經(jīng)元具有S/N樹突部及S/N軸突軸心。當(dāng)每一樹突組成產(chǎn)生脈沖，其傳送一脈沖至神經(jīng)元細胞本體組成的細胞本體。樹突組成傳送脈沖至細胞本體，而不是電流或計數(shù)。神經(jīng)元整合來自所有樹突部的輸入，以決定何時發(fā)射。當(dāng)一神經(jīng)元發(fā)射，信號被通信至其所有軸突及樹突。自樹突部分至一神經(jīng)元的此信號以地址事件表示(address-event representation, AER)的形式實施。神經(jīng)元及交叉式操作可同步，而AER為異步。在一交錯交叉式陣列網(wǎng)絡(luò)101中，根據(jù)本發(fā)明一具體實施例，在每一交叉式內(nèi)，每一軸突具有唯一的識別碼(unique_id),且每一樹突具有一 unique_id。當(dāng)N=IOO,在磚12T中，每一軸突及樹突將具有一相對識別碼:relative_id= (unique_id)mod (100)。relative_id的范圍從O至99。沒有屬于不同交叉式但具有相同relative_id的兩個軸突具有重疊的連接，且沒有屬于不同交叉式但具有相同relativejd的兩個樹突具有重疊的連接。如此，具有相同relativejd的所有軸突及樹突可在一特定時間安全地作用。因此，TDMA機制可同時地作用于系統(tǒng)中具有相同relative_id的所有軸突上，且其可同時地作用于系統(tǒng)中具有相同relative_id的所有樹突上。如此，要作用在一軸突上，并不需要封鎖全部互連、交叉絎縫的交叉式陣列?？墒褂蒙鲜?6N2)/(M*T)kHz的頻率速率，而與交叉式陣列網(wǎng)絡(luò)中的交叉式的數(shù)量無關(guān)。使用基于事件的機率STDP方式，其中突觸傳導(dǎo)性可隨時間以每個STDP的前突觸及后突觸神經(jīng)元的相對脈沖時間為函數(shù)而改變。若后突觸神經(jīng)元在前突觸神經(jīng)元發(fā)射后才發(fā)射，則STDP規(guī)則增加突觸的傳導(dǎo)性，而若兩個神經(jīng)元發(fā)射的順序顛倒，則降低突觸的傳導(dǎo)性。STDP設(shè)定通過樹突與在交叉式陣列中的交叉點處與其相交的所有軸突之間的合作來執(zhí)行。當(dāng)樹突傳送一設(shè)定信號，某些或全部的相交軸突有可能會響應(yīng)一相對的信號。只有當(dāng)信號從軸突及樹突兩者同時抵達交叉點，交叉點才會被設(shè)定。類似地，STDP重設(shè)通過軸突及在交叉式陣列中的交叉點處與其相交的所有樹突來執(zhí)行。在本發(fā)明一具體實施例中，根據(jù)圖6所繪示的程序50的程序方塊，交叉式陣列12中的操作步驟包括基于計時信號(例如來自圖1B的通用計時模塊19)的6個不同階段，其中:方塊51:(階段I)更新神經(jīng)元，使得當(dāng)神經(jīng)元發(fā)射以傳送一信號至對應(yīng)的軸突及樹突時(此可能為異步通信)，此通信信號經(jīng)過AER。軸突/樹突在之后的評估階段接收此傳送信號。每個神經(jīng)元可實施軸突延遲。方塊52:(階段2):軸突傳送一讀取信號，其也作為STDP下壓部分的警示。方塊53:(階段3):軸突傳送一重設(shè)信號，且某些樹突可能做出響應(yīng)。方塊54:(階段4):樹突傳送一設(shè)定信號，且某些軸突可能做出響應(yīng)。方塊55:(階段5):讀取在一軸突上基于一個或多個組件22的ON位的數(shù)量。方塊56:(階段6):讀取在一樹突上基于一個或多個組件22的ON位的數(shù)量。圖7A至圖7F顯示根據(jù)本發(fā)明一具體實施例在NxN個磚12T群組(例如N=3)的網(wǎng)絡(luò)101中的操作順序，用以使用分時多任務(wù)的方式實施上述6個階段，其中若干個磚12T同時激活(以粗體表示)，而不是一次掃描一個軸突及樹突。特別地，圖7A顯示具有第一組已激活軸突24al的已激活磚12Ta(例如,如圖中所示，每一已激活軸突橫越3個鄰近的磚12T)。圖7B顯示圖7A中的已激活磚12Ta，其具有第二組已激活軸突24a2。圖7C顯示圖7A中的已激活磚12Ta，其具有第三組已激活軸突24a3。類似地，圖7D顯示具有第一組已激活樹突26al的已激活磚12Ta(例如,如圖中所示，每一已激活樹突橫越3個磚12T)。圖7E顯示圖7D中的已激活磚12Ta，其具有第二組已激活樹突26a2。圖7F顯示圖7D中的已激活磚12Ta，其具有第三組已激活樹突26a3。所有6個階段并不需要使用相同的時間，而可針對其操作而最佳化。在一具體實施例中，N=IOO且M=10，因此每一階段包含N2/M=l，000次階段。一軸突通信可讀取100個突觸的一讀取信號。這經(jīng)過以下實施:讀取在M=IO批中的突觸，其中第一批包含具有relative_idO 到 relative_id9 的樹突、第 二批包含具有 relative_idlO 到 relative—idl9的樹突，以此類推。類似地，每一軸突也依序接替，包含讀取在10批中的突觸，其中第一批包含具有relative_idO到relative_id9的軸突、第二批包含具有relative_idlO到relative_idl9的軸突，以此類推。在此范例中，對參數(shù)100有100個軸突。根據(jù)本發(fā)明一具體實施例，頻率方案設(shè)定了在交叉式網(wǎng)絡(luò)/電路中操作及階段的限制條件。除非有需要，否則沒有操作發(fā)生，且電路會在需要時啟動。在一范例中，神經(jīng)元分辨率為0.6ms,其表示每秒有1666.66個步驟。每一步驟6個階段(如前述)，一共會有10，000個階段。每一階段包括100x10個次階段，每秒一共會有I千萬個次階段，其需要IOMHz的頻率速率。在一具體實施例中，每一樹突及每一軸突局部地適應(yīng)其STDP，以確保約50%的突觸為0N。此為優(yōu)選的關(guān)鍵狀態(tài)。此外，軸突路由器具有彈性，且可重建路徑。在一具體實施例中，可利用一抑制樹突。交叉式架構(gòu)與突觸的特定裝置選擇無關(guān)。舉例來說，可利用具有10χ、100χ、或IOOOx更高阻值(電流阻值為IOk奧姆)的PCM裝置作為突觸。也可使用其它存儲器技術(shù)來表示突觸?？勺冸娮枰辉~指電脈沖(電壓或電流)的應(yīng)用將改變裝置的電傳導(dǎo)特性的一類裝置。針對交叉式陣列神經(jīng)形態(tài)及突觸器系統(tǒng)、以及在此交叉式陣列中所使用的可變電阻的一般討論可參考 K.Likharev 于 J.Nanoelectronics and Optoelectronics, 2008，Vol.3，p.203-230中所發(fā)表的“混合CMOS/納米電子電路:機會與挑戰(zhàn)(Hybrid CMOS/Nanoelectronic Circuits:Opportunities and Challenges) ”,其內(nèi)容將并入此處供參考。在本發(fā)明一具體實施例中，可變電阻可包含PCM突觸裝置。除了 PCM裝置，可用于本發(fā)明具體實施例的其它可變電阻裝置包括使用金屬氧化物、硫化物、氧化硅、非晶硅、磁性隧道接面、浮接閘極FET晶體管、及有機薄膜層裝置所制成的裝置，其于上述由K.Likharev所發(fā)表的文章中有更詳細的描述?？勺冸娮枰部墒褂渺o態(tài)隨機存取存儲器裝置、動態(tài)隨機存取存儲器、或嵌入式動態(tài)隨機存取存儲器來建構(gòu)。在一具體實施例中，通用位指示交叉式是否在“布署(deploy)”模式或是否在“訓(xùn)練(train)”模式。若在布署模式，則只利用上述階段1，且相關(guān)于訓(xùn)練的階段保持不使用，以節(jié)省功耗。在訓(xùn)練模式，則使用所有階段。在本發(fā)明一具體實施例中，網(wǎng)絡(luò)包含磚12T的NxN(例如N=IO)個陣列做為基本原子單元，由N交錯。交叉式陣列在磚12T之間提供空間使電路(例如圖4中的24A、26A、14)可設(shè)置于其間。在一范例中，一個空間中只設(shè)置一個電路。每一軸突路由器X3由O數(shù)到N-1，而每一樹突路由器X2、X4由O數(shù)到N-1。每一神經(jīng)元具有一(X，y) id。每一軸突路由器X3具有一(x，y)id。樹突路由器&、\具有與其相關(guān)的神經(jīng)元相同的id。從神經(jīng)元到突觸的通信是邏輯性的。從突觸到神經(jīng)元的通信是物理性的。因此，軸突為分布式，而樹突為局部性。在本發(fā)明一具體實施例中，在具有多個交叉式陣列12的電路101中，每一 NxN交叉式陣列12具有一 id，其在一范例中包含二元組(X，y)，其中X由O至N-1且y由O至N-1。在每一時距，具有相同id的所有交叉式陣列可為0N。針對ON交叉式陣列，程序步驟從軸突O至N-1、或從樹突O至N-1。當(dāng)只有一交錯交叉式陣列時，頻率速率維持相同。一范例頻率速率為IOMHz。在一具體實施例中，在交叉式陣列中可使用二極管產(chǎn)生“警示”脈沖。在另一具體實施例中，針對NxN交叉式陣列12，可使用側(cè)端通信機制來產(chǎn)生“警示”脈沖，而不需使用二極管?？衫枚O管以得知裝置為ON的總數(shù)。這牽涉啟動所有神經(jīng)元薄膜、施加電壓于個別的樹突、以及決定電流量。在一具體實施例中，神經(jīng)元每0.1ms只更新一次，也即，T=0.1。如此，在一事件驅(qū)動方式中，神經(jīng)元鎖的功耗可表示為:C*V2*F=10fF/latch* (IO6Iatches) * (IVolt)2* (l*104Hz) =0.1mff其中C為鎖電容、V為操作電壓、而F為操作頻率。在一具體實施例中，在交叉式陣列12中的每一神經(jīng)元互連至1000個突觸。在IOHz的發(fā)射速率下，每一突觸每秒只接收一個消息，其中突觸鎖消耗的功率為:C*V2*F=10fF/latch* (IO6^lO3Iatches) * (IVolt)2* (l*10Hz) =0.1mff這提供了神經(jīng)元與突觸功耗間的一平衡設(shè)計。在一具體實施例中，使用一閘控頻率，電路實質(zhì)上沒有消耗功率。神經(jīng)元在有特定理由要作用下才會作用，否則神經(jīng)元消耗很少或是沒有消耗功率。在一范例中，突觸讀取事件包含以下功耗:
IO6*IO3*IO*IOpJ (for PCM+access device)=0.1J/sec其表示所有的讀取事件消耗0.1W。在一具體實施例中，突觸寫入事件包括以下功耗:106*103*10*100pJ/10=0.lj/sec
其表示每一寫入事件消耗0.1ff (由于概率性的STDP，10個事件中只有I個會編程° )就此而言，在一具體實施例中，針對10，000芯片(其每一包含I百萬個神經(jīng)元以及10億個突觸)的功耗為lkW。此消耗并沒有包括系統(tǒng)漏電。在一具體實施例中，數(shù)字-模擬混合設(shè)計神經(jīng)元包括數(shù)字累加計數(shù)器以及模擬RC電路針對漏電。在另一具體實施例中，使用模擬神經(jīng)元，其可自然地實施于真實事件驅(qū)動方式(true event-driven fashion)。在一具體實施例中，交錯交叉式陣列網(wǎng)絡(luò)101對每一神經(jīng)元提供接收域及突出域，使得鄰近的神經(jīng)元有重疊域。神經(jīng)元的接收域包含一組神經(jīng)元，其中神經(jīng)元從該組神經(jīng)元接收輸入(例如，神經(jīng)元的接收域包含NxN個互連交叉式電路磚于一交錯圖案中)。神經(jīng)元的突出域包含一組神經(jīng)元，其中神經(jīng)元傳送輸出至該組神經(jīng)元(例如，神經(jīng)元的突出域包含NxN個互連交叉式電路磚于一交錯圖案中)。交錯的連接性允許設(shè)計接收域及突出域為神經(jīng)元的空間位置的函數(shù)。每一神經(jīng)元包含一(x，y)坐標。由在(x，y)的第一神經(jīng)元移動至在(x+l，y+l)的第二神經(jīng)元，突出/接收域具有某些重疊，其類似生物神經(jīng)元突出/接收域。在一具體實施例中，可利用不規(guī)則交叉式陣列網(wǎng)絡(luò)101。舉例來說，當(dāng)參數(shù)M大于N，例如M=15且N=10，可改變?nèi)舾奢S突或樹突為小于10，且可改變?nèi)舾奢S突或樹突為大于10 (但小于16)，由此提供不規(guī)則接收及突出域。在一具體實施例中，對相互鏈接的交叉式陣列12的通用網(wǎng)絡(luò)101采用同步化。在一范例中，通用網(wǎng)絡(luò)101可劃分為大小為N2XN2的區(qū)塊。異步存取個別地提供給每一陣列12，而不再需要跨過不需作用的軸突與樹突的TDMA。每一交叉式陣列12的處理類似于至神經(jīng)元的AER映像。在一具體實施例中，交叉式尺寸可加倍，但約75%的突觸則使用屏蔽步驟系統(tǒng)性地消除(使其永久開啟)。這提供了接收域中的不規(guī)則性。在一具體實施例中，當(dāng)需要同步化時使用一時鐘，其中神經(jīng)元的泄漏(衰減)不需要同步化。電子神經(jīng)元一詞在此用以表示一架構(gòu)，其配置為模擬一生物神經(jīng)元。電子神經(jīng)元產(chǎn)生處理組件間的連接，其在功能上粗略的等效于生物腦部的神經(jīng)元。如此，根據(jù)本發(fā)明具體實施例的包含電子神經(jīng)元的神經(jīng)形態(tài)及突觸器系統(tǒng)可包括仿真生物神經(jīng)元的各種電子電路。此外，根據(jù)本發(fā)明具體實施例的包含電子神經(jīng)元的神經(jīng)形態(tài)及突觸器系統(tǒng)可包括仿真生物神經(jīng)元的各種處理組件(包括計算機仿真)。雖然在此所描述的本發(fā)明某些例示具體實施例使用包含電子電路的電子神經(jīng)元，但本發(fā)明并不限于電子電路。根據(jù)本發(fā)明具體實施例的神經(jīng)形態(tài)及突觸器系統(tǒng)可實施為包含模擬或數(shù)字電路的神經(jīng)形態(tài)及突觸器架構(gòu)，此外也實施為計算機仿真。事實上，本發(fā)明具體實施例可采用完全硬件具體實施例、完全軟件具體實施例、或包含硬件及軟件組件兩者的具體實施例的形式。本發(fā)明具體實施例可采用可從計算機可用或計算機可讀取媒體存取的計算機仿真或程序產(chǎn)品的形式，此計算機可用或計算機可讀取媒體提供程序代碼供計算機、處理裝置或任何指令執(zhí)行系統(tǒng)使用或與其結(jié)合。如本領(lǐng)域技術(shù)人員所知，本發(fā)明的各方面可以系統(tǒng)、方法、或計算機程序產(chǎn)品具體實施。因此，本發(fā)明的各態(tài)樣可采用完全硬件具體實施例、完全軟件具體實施例(包括固件、常駐軟件、微碼等)、或結(jié)合軟件及硬體態(tài)樣的具體實施例(在此一般指“電路”、“模塊”或“系統(tǒng)”)的形式。再者，本發(fā)明各態(tài)樣可采用具體實施于一個或多個計算機可讀取媒體中的計算機程序產(chǎn)品的形式，其中計算機可讀取媒體具有計算機可讀取程序代碼具體實施于其中。本發(fā)明可使用一個或多個計算機可讀取媒體的任何結(jié)合。計算機可讀取媒體可為一計算機可讀取信號媒體或計算機可讀取存儲媒體。計算機可讀取存儲媒體可例如包含但不限于電子、磁性、光學(xué)、電磁、紅外線、或半導(dǎo)體系統(tǒng)、設(shè)備、裝置、或前述任何適當(dāng)?shù)慕M合。計算機可讀取存儲媒體的更具體范例(非詳盡的列舉)可包括下列:具有一個或多個接線的電子連接、可攜式計算機磁盤、硬盤、隨機存取存儲器(random access memory, RAM)、只讀存儲器(read-only memory, ROM)、可擦除可編程只讀存儲器(erasable programmableread-only memory, EPROM或閃存)、光纖、可攜式壓縮光盤只讀存儲器(compact discread-only memory,⑶-ROM)、光學(xué)存儲裝置、磁性存儲裝置、或上述任何適當(dāng)?shù)慕M合。在本文件中，計算機可讀取存儲媒體可為任何有形媒體，其可包含或存儲程序，供指令執(zhí)行系統(tǒng)、設(shè)備或裝置使用或與其結(jié)合。計算機可讀取信號媒體可包括具有計算機可讀取程序代碼具體實施于其中的傳播數(shù)據(jù)信號，其例如在基頻或作為載波的一部份。此傳播信號可采取各種形式，其包括但不限于電磁、光學(xué)、或其任何適當(dāng)?shù)慕M合。計算機可讀取信號媒體可為任何計算機可讀取媒體，其并非計算機可讀取存儲媒體且其可通信、傳播、或傳輸程序，供指令執(zhí)行系統(tǒng)、設(shè)備或裝置使用或與其結(jié)合。具體實施于計算機可讀取媒體中的程序代碼可使用任何適當(dāng)媒體傳輸，其包括但不限于無線、有線、光纖、射頻(RF)等、或前述任何適合的組合。實施本發(fā)明各態(tài)樣操作的計算機程序碼可以一或多種程序語言的任何結(jié)合編寫，其包括對象導(dǎo)向程序語言(例如Java、Smalltalk、C++、或其類似者)及習(xí)知程序性程序語言(例如“C”程序語言或類似程序語言)。程序代碼可完全執(zhí)行于使用者的計算機、部分執(zhí)行于使用者的計算機、以獨立軟件套件的方式執(zhí)行、部分執(zhí)行于使用者的計算機及部分執(zhí)行于遠程計算機、或完全執(zhí)行于遠程計算機或服務(wù)器。在后者的情況，遠程計算機可通過任何類型的網(wǎng)絡(luò)連接到使用者的計算機，包括局域網(wǎng)絡(luò)(local area network, LAN)或廣域網(wǎng)絡(luò)(wide area network, WAN)、或者可與外部計算機相連(例如利用因特網(wǎng)服務(wù)供貨商通過因特網(wǎng))。本發(fā)明的各形態(tài)參照本發(fā)明具體實施例的方法、設(shè)備(系統(tǒng))及計算機程序產(chǎn)品的流程圖及/或方塊圖而作描述。需要知道的是，流程圖及/或方塊圖中的每個方塊、以及流程圖及/或方塊圖中方塊的結(jié)合，可經(jīng)過計算機程序指令而實施。這些計算機程序指令可提供給通用計算機、特殊目的計算機、或其它可編程數(shù)據(jù)處理設(shè)備的處理器，以產(chǎn)生一機器，使各指令經(jīng)由計算機或其它可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行，而產(chǎn)生用以實施流程圖及/或方塊圖所指定的功能/行為的手段。這樣計算機程序指令也可存儲于計算機可讀取媒體，其可指引計算機、其它可編程數(shù)據(jù)處理設(shè)備、或其它裝置以特定方式運作，使得存儲于計算機可讀取媒體的指令產(chǎn)生包括指令的制成品，此指令實施流程圖及/或方塊圖所指定的功能/行為。計算機程序指令也可加載計算機、其它可編程數(shù)據(jù)處理設(shè)備、或其它裝置，以造成一系列的作業(yè)步驟執(zhí)行于計算機、其它可編程設(shè)備、或其它裝置，以產(chǎn)生計算機可實施程序，使執(zhí)行于計算機或其它可編程設(shè)備上的指令提供用以實施流程圖及/或方塊圖所指定的功能/行為的程序。圖8為適用于實施本發(fā)明的一具體實施例的信息處理系統(tǒng)的高階方塊圖。計算機系統(tǒng)包括一個或多個處理器，例如處理器102。處理器102連接至通信架構(gòu)104 (例如通信總線、交叉條、或網(wǎng)絡(luò))。計算機系統(tǒng)可包括顯示接口 106，其自通信架構(gòu)104(或自框緩沖器，圖未示)轉(zhuǎn)送圖像、文字、及其它數(shù)據(jù)，供顯示于顯示單元108。計算機系統(tǒng)也包括主存儲器110，優(yōu)選為隨機存取存儲器(RAM)，且也可包括次存儲器112。次存儲器112可包括例如硬盤驅(qū)動器114及/或可移動存儲驅(qū)動器116，代表例如軟式磁盤驅(qū)動器、磁帶機、或光學(xué)機。可移動存儲驅(qū)動器116按以本領(lǐng)域技術(shù)人員已知的方式，自可移動存儲單元118讀取及/或?qū)ζ鋵懭?。舉例而言，可移動存儲單元118代表軟盤、光盤、磁帶、或光學(xué)片等，其由可移動存儲驅(qū)動器116作讀取及寫入。將了解到，可移動存儲單元118包括具有計算機軟件及/或數(shù)據(jù)存儲于其中的計算機可讀取媒體。在替代具體實施例中，次存儲器112可包括其它類似手段，允許計算機程序或其它指令加載計算機系統(tǒng)。這樣的手段可包括例如可移動存儲單元120與接口 122。這樣的手段的范例可包括程序包及封包接口(例如在視頻游戲裝置中可找到的)、可移動存儲器芯片(例如EPROM或PR0M)及相關(guān)插槽、及允許軟件及數(shù)據(jù)自可移動存儲單元120移至計算機系統(tǒng)的其它可移動存儲單元120與接口 122。計算機系統(tǒng)也可包括通信接口 124。通信接口 124允許軟件及數(shù)據(jù)在計算機系統(tǒng)及外部裝置之間轉(zhuǎn)移。通信接口 124的范例可包括調(diào)制解調(diào)器、網(wǎng)絡(luò)接口(例如以太網(wǎng)絡(luò)卡)、通信端口、或PCMCIA插槽及插卡等。通過通信接口 124進行轉(zhuǎn)移的軟件與數(shù)據(jù)可為信號的形式，此信號可例如為電子、電磁、光學(xué)、或可由通信接口 124接收的其它信號。這樣的信號通過通信路徑(即信道)126提供給通信接口 124。此通信路徑126負載信號，且可利用電線、纜線、光纖、電話線、手機電話聯(lián)機、射頻鏈接、及/或其它通信信道而實施。在此文件中，“計算機程序媒體”及“計算機可用媒體”及“計算機可讀取媒體”等詞一般指如主存儲器110與次存儲器112、可移動存儲驅(qū)動器116、及安裝于硬盤驅(qū)動器114的硬盤等媒體。計算機程序(也稱為計算機控制邏輯)存儲于主存儲器110及/或次存儲器112。計算機程序也可經(jīng)由通信接口 124而接收。當(dāng)執(zhí)行這樣的計算機程序時，將致能計算機系統(tǒng)以執(zhí)行在此所述的本發(fā)明各特征。特別是，當(dāng)執(zhí)行計算機程序時，將致能處理器102執(zhí)行計算機系統(tǒng)的各特征。因此，這樣的計算機程序代表計算機系統(tǒng)的控制器。附圖中的流程圖與方塊圖根據(jù)本發(fā)明許多具體實施例繪示系統(tǒng)、方法、及計算機程序產(chǎn)品的可能實施的架構(gòu)、功能、及操作。在這方面，流程圖或方塊圖中的每個方塊可代表程序代碼的一模塊、片段、或部分，其包含一個或多個可執(zhí)行指令，供實施特定邏輯功能。需注意，在某些替代實施中，方塊中所附注的功能可能以不同于附圖中的順序發(fā)生。舉例而言，二個顯示為連續(xù)的方塊，可能實際上是實質(zhì)同時執(zhí)行，或者方塊有時可根據(jù)所涉及的功能而以相反的順序執(zhí)行。也應(yīng)注意，方塊圖及/或流程圖中的每個方塊、及方塊圖及/或流程圖中的方塊的結(jié)合可由執(zhí)行特定功能或行為的特定目的硬件為主的系統(tǒng)、或由特定目的硬件及計算機指令的組合而實施。
權(quán)利要求
1.一種神經(jīng)形態(tài)及突觸器系統(tǒng)，包含: 多個電子神經(jīng)元；以及 交叉式陣列網(wǎng)絡(luò)，配置為互連所述多個電子神經(jīng)元，該交叉式陣列網(wǎng)絡(luò)包含: 多個交叉式陣列，每一交叉式陣列包含: 多個軸突及多個樹突，使得所述多個軸突與所述多個樹突彼此橫貫；以及 多個突觸裝置，其中每一突觸裝置位于耦合于樹突及軸突間的該交叉式陣列的交叉占.其中所述多個交叉式陣列空間上在交錯圖案中，該交錯圖案提供該突觸裝置的交錯交叉式布局。
2.如權(quán)利要求1所述的系統(tǒng)，其中: 該交叉式陣列空間上在交錯圖案中，該交錯圖案提供在二維平面中的該突觸裝置的交錯交叉式布局，使得每一交叉式陣列的所述多個突觸裝置相對鄰近交叉式陣列的所述多個突觸裝置偏離。
3.如權(quán)利要求2所述的系統(tǒng)，其中: 每一交叉式陣列包含交叉式電路磚，該交叉式電路磚包括對應(yīng)的多個軸突、多個樹突、多個突觸裝置、及一個或多個電子神經(jīng)元。
4.如權(quán)利要求3所述的系統(tǒng)，其中: 每一交叉式電路磚在空間上相對鄰近交叉式電路磚偏離。
5.如權(quán)利要求4所述的系統(tǒng)，其中: 每一交叉式電路磚包含N個軸突、N個樹突、NxN個突觸裝置的一群組、及一個或多個電子神經(jīng)元； 每一電子神經(jīng)元的接收域包含在交錯圖案中的NxN個互連交叉式電路磚；以及 每一電子神經(jīng)元的突出域包含在交錯圖案中的NxN個互連交叉式電路磚； 其中該交叉式陣列網(wǎng)絡(luò)包含多個NxN個交叉式電路磚。
6.如權(quán)利要求4所述的系統(tǒng)，其中: 每一交叉式電路磚經(jīng)由在第一空間方向的N-1個樹突而互連至鄰近交叉式電路磚。
7.如權(quán)利要求6所述的系統(tǒng)，其中: 每一交叉式電路磚經(jīng)由在第二空間方向的N-1個軸突而互連至鄰近交叉式電路磚，該第二空間方向橫貫于該第一空間方向。
8.如權(quán)利要求7所述的系統(tǒng)，其中: 每一樹突在該第一空間方向使N個鄰近交叉式電路磚互連；以及 每一軸突在該第二空間方向使N個鄰近交叉式電路磚互連。
9.如權(quán)利要求8所述的系統(tǒng)，其中: 每一交叉式陣列包含對應(yīng)所述多個樹突的多個樹突驅(qū)動器，其中每一樹突驅(qū)動器耦合至在該交叉式陣列的第一側(cè)的樹突；以及 對應(yīng)所述多個軸突的多個軸突驅(qū)動器，其中每一軸突驅(qū)動器耦合至在該交叉式陣列的第二側(cè)的軸突； 其中軸突驅(qū)動器及樹突驅(qū)動器經(jīng)過在交叉點的突觸裝置而耦合，且聯(lián)合產(chǎn)生能夠改變該突觸裝置的狀態(tài)的信號，該狀態(tài)以從電子神經(jīng)元的最后突跳發(fā)射脈沖信號進入該軸突驅(qū)動器及該樹突驅(qū)動器的時間的函數(shù)而改變，產(chǎn)生脈沖時序相依可塑性(STDP)。
10.如權(quán)利要求1所述的系統(tǒng)，其中: 所述多個電子神經(jīng)元的每一個對應(yīng)所述多個交叉式陣列的其中之一；以及 該系統(tǒng)還包含信號產(chǎn)生器，用以同時計時該網(wǎng)絡(luò)中多個交叉式陣列的激活。
11.如權(quán)利要求10所述的系統(tǒng)，其中在該網(wǎng)絡(luò)中的多個交叉式陣列以時鐘速率的同時激活無關(guān)于在該交叉式陣列網(wǎng)絡(luò)中的交叉式陣列的數(shù)量。
12.如權(quán)利要求10所述的系統(tǒng)，其中: 該信號產(chǎn)生器的計時提供多個時距，且在每一時距內(nèi)提供六個操作階段，包含: 針對所述多個交叉式陣列的每一個及對應(yīng)的電子神經(jīng)元: 當(dāng)一電子神經(jīng)元發(fā)射時，傳送一信號至對應(yīng)的軸突及樹突； 該對應(yīng)的軸突傳送一讀取信號，其也作為STDP的下壓部分的警示； 該對應(yīng)的軸突傳送一重設(shè)信號，且某些樹突可能會響應(yīng)； 該對應(yīng)的樹突傳送一設(shè)定信號，且某些軸突可能會響應(yīng)； 讀取在軸突上ON位的數(shù)量；以及 讀取在樹突上ON位的數(shù)量。
13.如權(quán)利要求11所述的系統(tǒng)，其中: 軸突傳送步驟包含子步驟，其中在每一子步驟內(nèi)，多個突觸接收讀取信號； 軸突重設(shè)步驟包含子步驟，其中在每一子步驟內(nèi)，多個軸突傳送重設(shè)信號，且某些樹突可能會響應(yīng)； 樹突傳送步驟包含子步驟，其中在每一子步驟中，多個樹突傳送設(shè)定信號，且某些軸突可能會響應(yīng)； 軸突讀取步驟包含子步驟，其中每一子步驟包含讀取在多個軸突上的ON位的數(shù)量；以及 樹突讀取步驟包含子步驟，其中每一子步驟包含讀取在多個樹突上的ON位的數(shù)量。
14.一種方法，包含: 當(dāng)電子神經(jīng)元突跳時，從該電子神經(jīng)元傳送脈沖信號至在電子神經(jīng)元網(wǎng)絡(luò)中連接至脈沖電子神經(jīng)元的每一軸突及每一樹突，產(chǎn)生脈沖時序相依可塑性(STDP)； 其中該電子神經(jīng)元網(wǎng)絡(luò)包含: 多個電子神經(jīng)元；以及 交叉式陣列網(wǎng)絡(luò)，配置為互連所述多個電子神經(jīng)元，該交叉式陣列網(wǎng)絡(luò)包含: 多個交叉式陣列，每一交叉式陣列包含: 多個軸突及多個樹突，使得所述多個軸突與所述多個樹突彼此橫貫；以及 多個突觸裝置，其中每一突觸裝置位于耦合于樹突及軸突間的該交叉式陣列的交叉占.其中該交叉式陣列空間上在交錯圖案中，該交錯圖案提供該突觸裝置的交錯交叉式布局。
15.如權(quán)利要求14所述的方法，其中: 所述多個電子神經(jīng)元的每一個對應(yīng)所述多個交叉式陣列的其中之一；以及 該方法還包含產(chǎn)生計時信號，用于同時激活該網(wǎng)絡(luò)中的多個交叉式陣列。
16.如權(quán)利要求15所述的方法,還包括: 基于該計時信號，針對所述多個交叉式陣列的每一個及對應(yīng)的電子神經(jīng)元: 當(dāng)一電子神經(jīng)元發(fā)射時，傳送一信號至對應(yīng)的軸突及樹突； 該對應(yīng)的軸突傳送一讀取信號，其也作為STDP下壓部分的警示； 該對應(yīng)的軸突傳送一重設(shè)信號，且某些樹突可能會響應(yīng)； 該對應(yīng)的樹突傳送一設(shè)定信號，且某些軸突可能會響應(yīng)； 讀取在軸突上ON位的數(shù)量；以及 讀取在樹突上ON位的數(shù)量。
17.如權(quán)利要求16所述的方法，其中: 該交叉式陣列空間上在交錯圖案中，該交錯圖案提供在二維平面中的該突觸裝置的交錯交叉式布局，使得每一交叉式陣列的所述多個突觸裝置相對鄰近交叉式陣列的所述多個突觸裝置偏離。
18.如權(quán)利要求17所述的方法，其中: 每一交叉式陣列包含交叉式電路磚,該交叉式電路磚包括對應(yīng)的多個軸突、多個樹突、多個突觸裝置、及一個或多個電子神經(jīng)元。
19.如權(quán)利要求18所述的方法，其中: 每一交叉式電路磚在 空間上相對鄰近交叉式電路磚偏離，提供相對于在鄰近交叉式電路磚中的所述多個突觸裝置的在每一交叉式電路磚中的所述多個突觸裝置的交錯交叉式布局。
20.如權(quán)利要求19所述的方法，其中: 每一交叉式電路磚包含N個軸突、N個樹突、以及NxN個突觸裝置的一群組；以及 該網(wǎng)絡(luò)在交錯圖案中包含NxN個互連交叉式電路磚。
21.如權(quán)利要求19所述的方法，其中: 每一交叉式電路磚經(jīng)由在第一空間方向的N-1個樹突而互連至鄰近交叉式電路磚。
22.如權(quán)利要求21所述的方法，其中: 每一交叉式電路磚經(jīng)由在第二空間方向的N-1個軸突而互連至鄰近交叉式電路磚，該第二空間方向橫貫于該第一空間方向。
23.如權(quán)利要求22所述的方法，其中: 每一樹突在該第一空間方向使N個鄰近交叉式電路磚互連；以及 每一軸突在該第二空間方向使N個鄰近交叉式電路磚互連。
24.如權(quán)利要求23所述的方法，其中: 每一交叉式陣列包含對應(yīng)所述多個樹突的多個樹突驅(qū)動器，其中每一樹突驅(qū)動器耦合至在該交叉式陣列的第一側(cè)的樹突；以及 對應(yīng)所述多個軸突的多個軸突驅(qū)動器，其中每一軸突驅(qū)動器耦合至在該交叉式陣列的第二側(cè)的軸突； 其中軸突驅(qū)動器及樹突驅(qū)動器經(jīng)過在交叉點的突觸裝置而耦合，且聯(lián)合產(chǎn)生能夠改變該突觸裝置的該狀態(tài)的信號，該狀態(tài)以從電子神經(jīng)元的最后突跳發(fā)射脈沖信號進入該軸突驅(qū)動器及該樹突驅(qū)動器的時間的函數(shù)而改變，產(chǎn)生脈沖時序相依可塑性(STDP)。
25.一種如權(quán)利要求1所述的神經(jīng)形態(tài)及突觸器系統(tǒng)，其中該交叉式陣列空間上在交錯圖案中，該交錯圖案提供在二維平面中的該突觸裝置的交錯交叉式布局，使得每一交叉式陣列的所述多個突觸裝置相對鄰近交叉式陣列的所述多個突觸裝置偏離； 其中所述多個電子神經(jīng)元的每一個對應(yīng)所述多個交叉式陣列的其中之一；該系統(tǒng)包括: 信號產(chǎn)生器，用以同時計時該網(wǎng)絡(luò)中多個交叉式陣列的激活。
26.如權(quán)利要求25所述的系統(tǒng)，其中: 每一交叉式陣列包含交叉式電路磚，該交叉式電路磚包括對應(yīng)的多個軸突、多個樹突、以及多個突觸裝置； 每一交叉式電路磚在空間上相對鄰近交叉式電路磚偏離，提供相對于在鄰近交叉式電路磚中的所述多個突觸裝置的在每一交叉式電路磚中的所述多個突觸裝置的交錯交叉式布局; 每一交叉式電路磚包含N個軸突、N個樹突、以及NxN個突觸裝置的群組； 該網(wǎng)絡(luò)在交錯圖案中包含NxN個互連交叉式電路磚； 每一交叉式電路磚經(jīng)由在第一空間方向的N-1個樹突而互連至鄰近交叉式電路磚；每一交叉式電路磚經(jīng)由在第二空間方向的N-1個軸突而互連至鄰近交叉式電路磚，該第二空間方向橫貫于該第一空間方向； 每一樹突在該第一空間方向使N個鄰近交叉式電路磚互連； 每一軸突在該第二空間方向使N個鄰近交叉式電路磚互連； 每一交叉式陣列還包含對應(yīng)所述多個樹突的多個樹突驅(qū)動器，其中每一樹突驅(qū)動器耦合至在該交叉式陣列的第一側(cè)的樹突；以及 每一交叉式陣列還包含對應(yīng)所述多個軸突的多個軸突驅(qū)動器，其中每一軸突驅(qū)動器耦合至在該交叉式陣列的第二側(cè)的軸突； 其中軸突驅(qū)動器及樹突驅(qū)動器經(jīng)過在交叉點的突觸裝置而耦合，且聯(lián)合產(chǎn)生能夠改變該突觸裝置的該狀態(tài)的信號，該狀態(tài)以從電子神經(jīng)元的最后突跳發(fā)射脈沖信號進入該軸突驅(qū)動器及該樹突驅(qū)動器的時間的函數(shù)而改變，產(chǎn)生脈沖時序相依可塑性(STDP)。
27.如權(quán)利要求25所述的系統(tǒng)，其中該信號產(chǎn)生器計時提供六個操作階段，包含: 針對所述多個交叉式陣列的每一個及對應(yīng)的電子神經(jīng)元: 當(dāng)一電子神經(jīng)元發(fā)射時，傳送一信號至對應(yīng)的軸突及樹突； 該對應(yīng)的軸突傳送一讀取信號，其也作為STDP下壓部分的警示； 該對應(yīng)的軸突傳送一重設(shè)信號，且某些樹突可能會響應(yīng)； 該對應(yīng)的樹突傳送一設(shè)定信號，且某些軸突可能會響應(yīng)； 讀取在一軸突上ON位的數(shù)量；以及 讀取在一樹突上ON位的數(shù)量。
全文摘要
本發(fā)明具體實施例涉及使用在交叉式(crossbar)陣列網(wǎng)絡(luò)中互連的電子神經(jīng)元以產(chǎn)生脈沖時序相依可塑性。交叉式陣列網(wǎng)絡(luò)包含多個交叉式陣列。每一交叉式陣列包含多個軸突(axons)及多個樹突(dendrites)，使得軸突與樹突彼此橫貫，以及包含多個突觸(synapse)裝置，其中每一突觸裝置位于耦合在樹突及軸突間的交叉式陣列的交叉點。交叉式陣列在空間上位于交錯(staggered)圖案中，其提供突觸裝置的交錯交叉式布局。
文檔編號G06N3/10GK103189880SQ201180052460
公開日2013年7月3日 申請日期2011年8月3日 優(yōu)先權(quán)日2010年10月29日
發(fā)明者D·S·莫德哈 申請人:國際商業(yè)機器公司