本發(fā)明一般而言涉及神經(jīng)形態(tài)突觸(neuromorphic synapse)。提供了基于電阻性記憶單元的神經(jīng)形態(tài)突觸，連同結(jié)合這種突觸的突觸陣列和系統(tǒng)。

背景技術(shù)：

神經(jīng)形態(tài)(neuromorphic)技術(shù)涉及受神經(jīng)系統(tǒng)的生物體系架構(gòu)啟發(fā)的計算系統(tǒng)。傳統(tǒng)的計算體系架構(gòu)正變得越來越不能滿足對現(xiàn)代計算機系統(tǒng)的不斷擴大的處理需求。與人腦相比，經(jīng)典的馮諾依曼(von Neumann)計算機體系架構(gòu)在功耗和空間要求方面效率非常低下。人腦占用不到2升并且消耗大約20W的功率。利用最先進的超級計算機模擬5秒的大腦活動需要大約500秒并且需要1.4MW的功率。這些問題已推動重要的研究努力，以了解人腦的高效計算范例并創(chuàng)造具有前所未有的計算能力的人工認知系統(tǒng)。

神經(jīng)元和突觸是大腦中的兩個基本計算單位。神經(jīng)元可以集成來自其它神經(jīng)元的輸入，在一些情況下與進一步的輸入(例如來自感覺受體的輸入)集成，并且生成被稱為“動作電位”或“尖峰”的輸出信號。作為神經(jīng)元活動的結(jié)果，突觸改變它們的連接強度。附圖中的圖1示出了位于兩個神經(jīng)元2之間的突觸1的示意性表示。突觸1接收由前突觸神經(jīng)元(“前神經(jīng)元”)N1生成的動作電位并且向后突觸神經(jīng)元(“后神經(jīng)元”)N2提供輸出信號。前神經(jīng)元動作電位經(jīng)由神經(jīng)元N1的軸突3傳送到突觸1。結(jié)果所得的突觸輸出信號是依賴于突觸的電導的分級突觸電位(也稱為“突觸權(quán)重”或“強度”)。突觸權(quán)重可以通過神經(jīng)元活性增強或減少，并且突觸的這種“可塑性”對記憶和其它大腦功能是至關(guān)重要的。這種效應(yīng)在圖1中通過后神經(jīng)元動作電位(即，由神經(jīng)元N2生成的尖峰)經(jīng)由神經(jīng)元N2的樹突4向后傳播到突觸1來指示。

生物系統(tǒng)中的動作電位在神經(jīng)元激發(fā)(尖峰生成)的所有情況下都具有相同的形狀。在尖峰形狀中沒有信息，而是僅在激發(fā)時間中有信息。特別地，可以依賴前神經(jīng)元和后神經(jīng)元動作電位的相對定時來修改突觸權(quán)重。在這里的簡單模型中，如果前和后神經(jīng)元一起激發(fā)，則突觸變得越來越強(更具導電性)。突觸權(quán)重的變化還可以依賴于前和后神經(jīng)元尖峰的定時的輕微差異。例如，如果后神經(jīng)元在前神經(jīng)元之后緊接著激發(fā)，則突觸權(quán)重可以增加，并且如果后神經(jīng)元趨向于在前神經(jīng)元之前激發(fā)，則突觸權(quán)重可以減小。這些相對定時效應(yīng)一般被稱為依賴尖峰定時的可塑性(STDP)。

突觸通常數(shù)目超過神經(jīng)元顯著的因子(在人腦的情況下大約10000)。神經(jīng)形態(tài)計算技術(shù)中的一個關(guān)鍵挑戰(zhàn)是開發(fā)模仿生物突觸的可塑性的緊湊的納米電子設(shè)備。

電阻性記憶單元已被認為是用于實現(xiàn)神經(jīng)形態(tài)突觸的候選。諸如相變記憶(PCM)單元的電阻性記憶單元是可編程電阻設(shè)備，其依賴部署在一對電極之間的一定體積的電阻性材料的可變電阻特性。單元電阻可以通過向電極施加控制信號來控制。這些單元表現(xiàn)出閾值開關(guān)效應(yīng)，借此可以通過施加高于閾值電平的控制信號而在高和低電阻狀態(tài)之間切換單元。通過適當?shù)卣{(diào)整控制信號，可以將單元編程到一定范圍的中間電阻值。在PCM單元中，例如，通過加熱一定體積的硫族化物(chalcogenide)材料以便改變硫族化物體積中的(高電阻)非晶相與(低電阻)結(jié)晶相的相對比例來實現(xiàn)可編程電阻。為了改變單元電阻，將高于相變所需的閾值電壓的編程(或“寫”)信號經(jīng)由電極施加到單元?？梢酝ㄟ^向電極施加低電壓讀信號并測量流經(jīng)單元的結(jié)果所得的電流來測量(或“讀”)單元電阻。讀電壓電平足夠低，以確保讀電壓不干擾經(jīng)編程的單元狀態(tài)。

已經(jīng)示出，電阻性記憶單元可以模仿突觸以及某些學習規(guī)則，諸如依賴尖峰定時的可塑性。已經(jīng)在交叉陣列配置中證明了當前基于PCM的突觸實現(xiàn)，其中陣列的行和列分別對應(yīng)于軸突和樹突。這種系統(tǒng)的實例在以下文獻中描述：美國專利8,589,320B2；美國專利申請公開No.2014/0172762A1；“Nanoelectronic Programmable Synapses Based on Phase Change Materials for Brain-Inspired Computing”，Kuzum等人，Nanoletters，12，2199頁，2011；“Nanoscale Electronic Synapses Using Phase Change Devices”，Jackson等人，ACM Journal on Emerging Technologies in Computing Systems，9(2)，2013；“Visual Pattern Extraction Using Energy-Efficient“2-PCM Synapse”Neuromorphic Architecture”，Bichler等人，IEEE Transactions on Electron Devices，卷59(8)，2012；以及“Experimental Demonstration of Array-level Learning with Phase Change Synaptic Devices”，Eryilmaz等人，IEDM，2013。

利用這些交叉記憶單元陣列，表示突觸的每個單獨的單元連接在陣列芯片的行和列線的相應(yīng)對之間。突觸分別在行和列線上接收表示由其前神經(jīng)元和后神經(jīng)元電路的激發(fā)產(chǎn)生的尖峰的動作信號。利用用于前神經(jīng)元和后神經(jīng)元動作信號的不同脈沖形狀和定時配置，一次一行地尋址突觸以供編程。所有神經(jīng)元間的通信都利用片外地址事件來實現(xiàn)。例如，學習應(yīng)用可以通過在芯片外運行訓練算法來實現(xiàn)，以在學習后確定適當?shù)耐挥|權(quán)重。然后記憶芯片被尋址，以相應(yīng)地編程單個單元的電阻。與生物系統(tǒng)的實時操作相比，這是一個緩慢、低效的過程。在這些系統(tǒng)的操作中前和后神經(jīng)元動作信號不同也是固有的。這與其中動作電位在所有激發(fā)情況都完全相同的生物系統(tǒng)直接對立。

利用電阻性記憶單元的神經(jīng)形態(tài)系統(tǒng)的改進將是非常期望的。

技術(shù)實現(xiàn)要素：

本發(fā)明第一方面的實施例提供了一種神經(jīng)形態(tài)突觸，其包括連接在電路系統(tǒng)中的電阻性記憶單元，該電路系統(tǒng)具有：

第一輸入端和第二輸入端，用于分別接收各自具有讀部分和寫部分的前神經(jīng)元動作信號和后神經(jīng)元動作信號；以及

輸出端，用于提供依賴于所述記憶單元的電阻的突觸輸出信號；

所述電路系統(tǒng)可操作為使得響應(yīng)于在第一輸入端處施加前神經(jīng)元動作信號的讀部分而在輸出端處提供所述突觸輸出信號，并且使得響應(yīng)于分別在第一輸入端和第二輸入端處同時施加前神經(jīng)元動作信號和后神經(jīng)元動作信號的寫部分而將用于編程記憶單元的電阻的編程信號施加到單元。

因此，體現(xiàn)本發(fā)明的神經(jīng)形態(tài)突觸包括適于與具有兩部分(讀部分和寫部分)的動作信號操作的三端單元電路。通過在電路的輸出端產(chǎn)生依賴于單元電阻的突觸輸出信號來模仿突觸輸出的傳播。這發(fā)生在當前神經(jīng)元動作信號的讀部分被施加到兩個輸入端之一時。可以通過向單元施加編程信號以編程單元電阻來修改突觸權(quán)重。這發(fā)生在當前和后神經(jīng)元動作信號的寫部分在兩個輸入端同時施加時。因此經(jīng)編程的突觸權(quán)重依賴于前和后神經(jīng)元動作信號的相對定時，從而允許STDP效應(yīng)的模仿在生物系統(tǒng)中發(fā)生。但是，與先前的記憶單元突觸不同，體現(xiàn)本發(fā)明的突觸電路允許在陣列配置中對各個突觸的并行尋址。因此，陣列的行和列中的突觸可以在單個步驟中編程。這允許體現(xiàn)本發(fā)明的突觸陣列的實時編程，從而提供高效的操作并且啟用片上學習，借此突觸權(quán)重響應(yīng)于神經(jīng)元電路的實時激發(fā)而動態(tài)地演變。這是對現(xiàn)有系統(tǒng)中需要的片外尋址的主要進步，從而使得能夠高效地實現(xiàn)學習應(yīng)用，諸如關(guān)聯(lián)記憶。而且，與現(xiàn)有設(shè)備不同，本發(fā)明的實施例中的突觸電路系統(tǒng)可以適于與完全相同的前神經(jīng)元和后神經(jīng)元動作信號一起操作?；谶@些突觸的神經(jīng)形態(tài)系統(tǒng)可以在神經(jīng)元激發(fā)的所有實例使用完全相同的動作信號，從而簡化神經(jīng)元間的通信并提供與真正生物系統(tǒng)的直接類比。

響應(yīng)于在輸入端處同時施加前神經(jīng)元動作信號和后神經(jīng)元動作信號的寫部分，即，當兩個寫部分同時在輸入端處存在時，產(chǎn)生編程信號。因此，如果在其相應(yīng)的輸入端處施加寫部分的時間段中存在至少部分重疊，則可以產(chǎn)生編程信號。在下面描述的優(yōu)選實施例中，突觸電路系統(tǒng)適于使得在輸入端處同時施加寫部分的時段期間將編程信號施加到單元，并且編程信號依賴于寫部分中的至少一個的形狀。這些特征允許方便地實現(xiàn)下面討論的各種STDP效應(yīng)。例如，動作信號中的至少一個的寫部分可以被成形為使得編程信號依賴于前神經(jīng)元動作信號和后神經(jīng)元動作信號在輸入端處的相對定時而變化。寫部分可以例如具有不同振幅和/或持續(xù)時間的區(qū)域，并且本身可以包括脈沖序列。

可以設(shè)想許多電路實現(xiàn)，以實現(xiàn)對突觸電路描述的功能。但是，在優(yōu)選實現(xiàn)中，電路系統(tǒng)包括開關(guān)組，其依賴于動作信號中的至少一個是可配置的，使得電路系統(tǒng)選擇性地實現(xiàn)將所述編程信號施加到記憶單元以及在輸出端處提供所述突觸輸出信號。實際上，這種電路可以通過開關(guān)組的適當配置選擇性地采取不同的布置。在一種電路布置中，如果在第一輸入端處存在前神經(jīng)元動作信號的讀部分，則單元將以讀模式操作。這在輸出端產(chǎn)生突觸輸出信號。在另一種電路布置中，如果在兩個輸入端處存在前神經(jīng)元動作信號和后神經(jīng)元動作信號的寫部分，則單元將以編程模式操作。因此，電路的操作依賴于開關(guān)組的狀態(tài)，其中開關(guān)組的狀態(tài)依賴于在輸入端處的動作信號受到控制。在下面的優(yōu)選實施例中，開關(guān)組可以通過前神經(jīng)元動作信號或者前神經(jīng)元動作信號和后神經(jīng)元動作信號的組合來配置。開關(guān)組一般而言可以包括一個或多個開關(guān)，優(yōu)選實施例僅采用兩個開關(guān)。

在特別緊湊的設(shè)計中，電路系統(tǒng)包括連接在第一輸入端和記憶單元的第一電極之間的第一電阻，以及連接在記憶單元的第二電極和參考端之間的第二電阻。輸出端連接到記憶單元的第二電極。第一開關(guān)與第二電阻并聯(lián)地連接在第二電極和參考端之間，并且第二開關(guān)連接在第二輸入端和記憶單元的第一電極之間。該電路系統(tǒng)優(yōu)選地還適于使得第一開關(guān)在前神經(jīng)元動作信號的寫部分期間閉合，并且第二開關(guān)在前神經(jīng)元動作信號和后神經(jīng)元動作信號之一的寫部分期間閉合。

本發(fā)明第二方面的實施例提供了包含多個根據(jù)本發(fā)明第一方面的神經(jīng)形態(tài)突觸的神經(jīng)形態(tài)突觸陣列。突觸被指派給陣列的邏輯行和列。每列中的突觸的第一輸入端連接到相應(yīng)的前神經(jīng)元線，用于在使用中從對應(yīng)的前神經(jīng)元電路供給前神經(jīng)元動作信號。每行中的突觸的第二輸入端連接到相應(yīng)的后神經(jīng)元線，用于在使用中從對應(yīng)的后神經(jīng)元電路供給后神經(jīng)元動作信號。每行中的突觸的輸出端被布置成用于連接到所述對應(yīng)的后神經(jīng)元電路，用于在使用中向電路提供突觸輸出信號。

本發(fā)明第三方面的實施例提供了包括前神經(jīng)元電路、后神經(jīng)元電路和根據(jù)本發(fā)明第一方面的神經(jīng)形態(tài)突觸的神經(jīng)形態(tài)系統(tǒng)。前神經(jīng)元電路連接到突觸的第一輸入端并適于生成所述前神經(jīng)元動作信號以供給第一端。后神經(jīng)元電路連接到突觸的第二輸入端并適于生成所述后神經(jīng)元動作信號以供給第二端。后神經(jīng)元電路還連接到突觸的輸出端，用于接收所述突觸輸出信號。

本發(fā)明第四方面的實施例提供了包括根據(jù)本發(fā)明第二方面的神經(jīng)形態(tài)突觸陣列以及多個神經(jīng)元電路的神經(jīng)形態(tài)系統(tǒng)。每個神經(jīng)元電路連接到用于陣列的相應(yīng)列的前神經(jīng)元線，并且適于為那一列中的突觸生成所述前神經(jīng)元動作信號，借此神經(jīng)元電路充當用于那一列中的突觸的所述前神經(jīng)元電路。每個神經(jīng)元電路還連接到用于陣列的相應(yīng)行的后神經(jīng)元線，并且適于為那一行中的突觸生成所述后神經(jīng)元動作信號，借此神經(jīng)元電路充當用于那一行中的突觸的所述后神經(jīng)元電路。每個神經(jīng)元電路還連接到所述相應(yīng)行中的突觸的輸出端，用于從那一行中的突觸接收突觸輸出信號。利用這種布置，當給定的神經(jīng)元電路激發(fā)時生成的單個動作信號可以充當用于給定列中的突觸的前神經(jīng)元動作信號，并且也可以充當用于給定行中的突觸的后神經(jīng)元動作信號。出于先前討論的原因，神經(jīng)元電路優(yōu)選地適于使得前神經(jīng)元動作信號和后神經(jīng)元動作信號完全相同(當然，服從固有的電路容限和諸如噪聲的可變效應(yīng))。

在本文中參考本發(fā)明一方面的實施例描述特征的情況下，適當?shù)卦诒景l(fā)明另一方面的實施例中可以提供對應(yīng)的特征。

附圖說明

現(xiàn)在將參考附圖通過示例描述本發(fā)明的優(yōu)選實施例，其中：

圖1是生物突觸系統(tǒng)的示意圖；

圖2是包括體現(xiàn)本發(fā)明的突觸的神經(jīng)形態(tài)系統(tǒng)的示意圖；

圖3a至3c指示圖2的突觸響應(yīng)于前和后神經(jīng)元動作信號的操作；

圖4是基于體現(xiàn)本發(fā)明的突觸陣列的神經(jīng)形態(tài)系統(tǒng)的示意圖；

圖5指示用于模擬圖2突觸系統(tǒng)的操作的模擬模型的結(jié)構(gòu)；

圖6指示圖5模型中的神經(jīng)元電路的輸入和輸出；

圖7a和7b指示模型中突觸的結(jié)果所得的操作；

圖8是體現(xiàn)本發(fā)明的突觸系統(tǒng)的示意圖，用于測試關(guān)聯(lián)記憶功能；

圖9示出了用于圖8系統(tǒng)的模擬模型的操作中的神經(jīng)元輸入和輸出；

圖10是指示PCM單元狀態(tài)響應(yīng)于編程脈沖的不同區(qū)域的變化的示意圖；

圖11指示具有第一寫部分形狀的前和后神經(jīng)元動作信號的不同相對定時；

圖12指示圖2電路中單元電導率如何隨圖11的動作信號定時而變化；

圖13指示具有第二寫部分形狀的前和后神經(jīng)元動作信號的不同相對定時；

圖14指示圖2系統(tǒng)中單元電導率如何隨圖13的動作信號定時而變化；

圖15指示圖2系統(tǒng)中單元電導率如何利用具有另一個寫部分形狀的動作信號而變化；以及

圖16和17示出了用于圖2系統(tǒng)中的動作信號的替代形狀。

具體實施方式

圖2示出了體現(xiàn)本發(fā)明的神經(jīng)形態(tài)系統(tǒng)10的示意性電路圖。系統(tǒng)10包括連接在前神經(jīng)元電路12和后神經(jīng)元電路13之間的突觸，總體上用11指示。突觸11包括電阻性記憶單元，在這里是PCM單元15，其在電路中表示為可變電阻R_PCM。如圖中通過放大示意性指示的，PCM單元15包括部署在第一(“上”)電極17和第二(“下”)電極18之間的一定體積的硫族化物化合物16。在這個特定的“蘑菇形單元”結(jié)構(gòu)中，下電極18比上電極17具有與硫族化物16更小的接觸面積。PCM單元15的可變電阻特性由于改變硫族化物材料16的高電阻非晶相19和低電阻結(jié)晶相20的相對比例而產(chǎn)生。在要描述的實施例中，假設(shè)單元15在操作之前處于完全非晶、高電阻(“RESET”)狀態(tài)。

突觸11的PCM單元15連接在具有用于從前神經(jīng)元電路12接收前神經(jīng)元動作信號V1的第一輸入端21的電路系統(tǒng)中。該電路系統(tǒng)還具有用于從后神經(jīng)元電路13接收后神經(jīng)元動作信號V2的第二輸入端22。該電路系統(tǒng)具有輸出端23，在該輸出端23處，在操作中提供依賴于PCM單元15的電阻的突觸輸出信號。突觸電路系統(tǒng)還包括開關(guān)組，包括第一開關(guān)S1和第二開關(guān)S2，以及由電阻器R1和R2表示的第一和第二電阻。第一電阻器R1連接在第一輸入端21和PCM單元15的上電極17之間。第二電阻器R2連接在單元的下電極18和提供用于電路操作的參考電平的參考端25(在這里是信號地)之間。輸出端23還連接到PCM單元15的下電極18。第一開關(guān)S1與第二電阻器R2并聯(lián)地連接在下電極18和參考端25之間。第二開關(guān)S2連接在第二輸入端22和PCM單元的上電極17之間。開關(guān)S1和S2可以由例如晶體管或二極管實現(xiàn)，并且電路系統(tǒng)11可以利用眾所周知的材料處理技術(shù)制造為集成的納米電子電路。

由神經(jīng)元電路12、13生成的動作信號V1和V2各自具有階梯形狀，其具有初始讀部分V1_R、V2_R和隨后的寫部分V1_W、V2_W。開關(guān)S1和S2的狀態(tài)依賴于動作信號V1和V2中的至少一個可配置。在圖2的實施例中，動作信號的寫部分V1_W、V2_W提供用于開關(guān)的控制信號，如圖中的虛線箭頭所指示的。第一開關(guān)S1在前神經(jīng)元動作信號V1的寫部分V1_W期間閉合。第二開關(guān)S2在后神經(jīng)元動作信號V2的寫部分V2_W期間閉合。依賴于開關(guān)配置，突觸電路系統(tǒng)可以選擇性地實現(xiàn)(a)向PCM單元15施加用于編程單元的電阻的編程信號，以及(b)向單元施加在輸出端處產(chǎn)生突觸輸出信號的讀信號。更特別地，通過在所示的電路布置中對開關(guān)S1、S2的控制信號的操作，突觸電路系統(tǒng)可操作為使得：(a)響應(yīng)于在第一輸入端21處施加前神經(jīng)元動作信號V1的讀部分V1_R而在輸出端23處提供突觸輸出信號；以及(b)響應(yīng)于分別在第一和第二輸入端處同時施加前和后神經(jīng)元動作信號的寫部分V1_W、V2_W而將編程信號施加到單元。

突觸電路系統(tǒng)適于與完全相同的前和后神經(jīng)元動作信號V1和V2一起操作(服從固有的電路容限和諸如噪聲的可變效應(yīng))，每個信號具有與圖2中所指示的相同的階梯形狀。動作信號的讀部分V1_R、V2_R具有比寫部分V1_W、V2_W低的振幅。這促進突觸電路利用PCM單元15的閾值開關(guān)特性，借此，如果小于某個閾值開關(guān)電壓的電壓被施加到單元，則電流將如此之小，以至于將存在非常小的焦耳熱并且單元體積基本上沒有相變。高于該閾值開關(guān)電壓，單元電阻降至非常低的值，使得能夠進行相變。施加具有某個輸入功率和持續(xù)時間的編程脈沖可以導致非晶區(qū)域的部分結(jié)晶，從而導致單元電阻的降低。

圖3a至3c指示突觸11在不同神經(jīng)元激發(fā)場景中的操作。圖3a示出了當僅前神經(jīng)元電路12激發(fā)時的電路配置。這個圖的上部示出了在輸入端21處施加動作信號V1的讀部分V1_R的配置。S1和S2都打開，并且端子21處的V1_R實現(xiàn)操作的讀模式，其中讀電壓跨單元15降低。由于讀部分V1_R的低振幅，這個讀電壓足夠低，使得不會發(fā)生單元電阻的變化。結(jié)果所得的流經(jīng)單元的電流I由下式給出：

這產(chǎn)生依賴于單元電阻R_PCM并由下式給出的突觸輸出信號V_out：

這個輸出信號V_out表示傳播到后神經(jīng)元電路13上的分級突觸電位。

圖3a的下部示出了在輸入端21處施加動作信號V1的寫部分V1_W的配置。S2打開，但S1閉合，從而使電阻R2短路。因此到輸出端23的電壓為0V，并且沒有突觸電位到后神經(jīng)元13的傳播。單元電流由下式給出：

但是，選擇電阻R1，使得這個單元電流不足以改變單元電阻。因此，不存在由于單獨前神經(jīng)元12的激發(fā)引起的突觸強度的修改。

圖3b示出了僅僅后神經(jīng)元電路13激發(fā)時的電路配置。這個圖的上部示出了在輸入端22處施加動作信號V2的讀部分V2_R的配置。S1和S2都打開，借此沒有電流在電路中流動，并且在輸出端23處的電壓為0V。這個圖的下部示出了在輸入端22處施加動作信號V2的寫部分V2_W的配置。S1打開并且S2閉合。結(jié)果所得的單元電流由下式給出：

選擇電阻R2，使得這個單元電流不足以改變單元電阻。因此，不存在由于單獨后神經(jīng)元13的激發(fā)而引起的突觸強度的修改。在輸出端23處的電壓V由下式給出：

在這個實施例中，后神經(jīng)元電路13適于在寫部分V2_W期間禁用其來自突觸11的輸入。這防止由于這里的輸出電壓V而引起的任何突觸輸出的傳播。

圖3c示出了當前神經(jīng)元和后神經(jīng)元電路一起激發(fā)使得動作信號V1和V2被同時施加到突觸輸入端時的電路配置。這個圖的上部示出了分別在端子21和22處施加讀部分V1_R和V2_R的配置。S1和S2都打開，并且結(jié)果所得的操作與圖3a的相同。因此，單元15以讀模式操作并且突觸輸出信號

被傳播到后神經(jīng)元電路13。該圖的下部示出了在輸入端21、22處同時施加寫部分V1_W和V2_W的配置。開關(guān)S1閉合，從而使電阻R2短路。因此輸出端23處的電壓為0V，并且沒有突觸電位傳播到后神經(jīng)元13。但是，在這里，開關(guān)S2也閉合，從而隔離電阻R1。這實現(xiàn)了編程操作模式，其中V2_W作為編程信號被施加到單元，從而導致單元電流：

寫部分V2_W的振幅高于閾值切換所需的電平，借此單元電流實現(xiàn)單元電阻的重新編程。在這個實施例中的操作參數(shù)被設(shè)置為使得施加編程信號V2_W產(chǎn)生單元電阻的遞增減小。特別地，通過單元15在突觸操作之前處于高電阻RESET狀態(tài)，單元的累積特性意味著，隨著編程信號V2_W的連續(xù)施加，單元電阻將朝全結(jié)晶、低電阻“SET”狀態(tài)逐漸減小。因此，突觸權(quán)重將隨著前和后神經(jīng)元電路的連續(xù)同時激發(fā)而逐漸增加。

從上面可以看出，動作信號格式的寫部分被用來通過編程單元電阻來實現(xiàn)突觸學習功能。讀部分被用來在讀模式下將突觸電位傳播到后神經(jīng)元。開關(guān)S1和S2被用來區(qū)分讀和寫(編程)事件。選擇電阻R1和R2，使得如果在輸入端處僅存在前和后神經(jīng)元動作信號中的一個時，則由于單元的重新編程而抑制突觸改變。

突觸11提供緊湊的神經(jīng)形態(tài)突觸配置，從而使得神經(jīng)形態(tài)系統(tǒng)在神經(jīng)元激發(fā)的所有實例中使用完全相同的動作信號。這顯著簡化了神經(jīng)元間的通信。而且，如果在陣列配置中使用突觸11，則行和列中的突觸可以被同時尋址。圖4示出了包括經(jīng)由突觸陣列31互連的三個神經(jīng)元電路N1、N2和N3的神經(jīng)形態(tài)系統(tǒng)30的簡單示例。陣列31包括以三行和三列布置的六個突觸11，每個突觸連接在前和后神經(jīng)元電路的相應(yīng)對之間。(當然應(yīng)當認識到，陣列31不必被配置為突觸的行和列的規(guī)則布置。突觸可以如所描述的那樣連接，它們向邏輯行和列的指派由它們連接在之間的神經(jīng)元對來確定。因此術(shù)語“行”和“列”僅是邏輯指定并且有效地可互換)。在所示的布置中，每列中的突觸的第一輸入端21連接到相應(yīng)的前神經(jīng)元線，用于在操作中從對應(yīng)的前神經(jīng)元電路提供前神經(jīng)元動作信號。在圖4中垂直布置的前神經(jīng)元線對應(yīng)于神經(jīng)元N1到N3的軸突，并且在圖中被這樣標記。每行中的突觸的第二輸入端連接到相應(yīng)的后神經(jīng)元線，用于在使用中從對應(yīng)的后神經(jīng)元電路提供后神經(jīng)元動作信號。后神經(jīng)元線在圖中被示為實水平線。這些對應(yīng)于后神經(jīng)元輸出樹突，用于向后傳播來自后神經(jīng)元的動作信號。每行中的突觸的輸出端23連接到其對應(yīng)的后神經(jīng)元電路，用于在操作中向這些電路提供突觸輸出信號。對應(yīng)于后神經(jīng)元輸入樹突以用于接收突觸輸出的這些連接由圖中的水平虛線表示。因此每個神經(jīng)元電路N1到N3經(jīng)由其軸突線連接到陣列的相應(yīng)列，并且為那一列中的突觸生成前神經(jīng)元動作信號。每個電路N1到N3還經(jīng)由其輸出樹狀線連接到陣列的相應(yīng)行，并且為那一行中的突觸生成后神經(jīng)元動作信號。每個電路N1至N3還連接到其對應(yīng)行中的突觸的輸出端，用于從那一行中的突觸接收突觸輸出信號。

在圖4的系統(tǒng)中，當給定的神經(jīng)元電路N1至N3激發(fā)時生成的單個動作信號可以充當用于給定列中的突觸的前神經(jīng)元動作信號和用于給定行中的突觸的后神經(jīng)元動作信號。行和列中的突觸可以在單個循環(huán)中被尋址，借此陣列中的突觸的全部(或任何子集)可以被并行地尋址。這允許實時地執(zhí)行突觸更新，突觸權(quán)重隨著神經(jīng)元電路的激發(fā)動態(tài)地演變。因此，體現(xiàn)本發(fā)明的突觸陣列提供了片上學習應(yīng)用的高效實現(xiàn)。

基于突觸11的神經(jīng)形態(tài)系統(tǒng)的成功操作通過圖5至9中所示的模擬來清楚地證明。圖5示出了對應(yīng)于圖2的系統(tǒng)10的模擬模型的基本結(jié)構(gòu)。突觸11連接在前神經(jīng)元電路N1和后神經(jīng)元電路N2之間。每個神經(jīng)元N1、N2接收刺激輸入(被指示為“N1輸入(N1input)”和“N2輸入(N2input)”)，并且通過放大指示的簡單電路系統(tǒng)來建模。這包括用于對樹突輸入求和的求和電路以及用于將和與預(yù)設(shè)閾值T進行比較的閾值電路。當閾值被超過時，神經(jīng)元電路輸出一系列動作信號脈沖，否則不產(chǎn)生輸出。每個神經(jīng)元的輸入和輸出被供給，用于如所指示的那樣顯示，并且結(jié)果在圖6中示出。這示出了每個神經(jīng)元在不同的時段集合期間激發(fā)一系列輸出脈沖，對于這些時段，其總和輸入超過閾值。圖7a指示在模擬中施加在突觸11的PCM單元15的上電極17和下電極18之間的結(jié)果所得的電壓信號。圖7b指示PCM單元15的電阻如何隨這些輸入信號而變化。在輸出端23處生成的突觸輸出信號根據(jù)PCM單元電阻而變化?？梢钥闯觯斎我簧窠?jīng)元單獨激發(fā)時，電阻不變。但是，在兩個神經(jīng)元一起激發(fā)的時段期間，相繼的脈沖在最大值和最小值之間產(chǎn)生單元電阻的逐漸降低(對應(yīng)于增加的突觸權(quán)重)。突觸輸出僅在前神經(jīng)元N1激發(fā)時傳播。

圖8示出了具有體現(xiàn)本發(fā)明的突觸的用于測試關(guān)聯(lián)記憶功能的簡單系統(tǒng)。該圖表示具有三個神經(jīng)元N1至N3的簡單關(guān)聯(lián)記憶系統(tǒng)。每個神經(jīng)元向所有其它神經(jīng)元提供輸出，其中突觸Sxy將輸出從前神經(jīng)元Ny傳播到后神經(jīng)元Nx。圖9示出了在用于具有體現(xiàn)本發(fā)明的突觸11的圖8系統(tǒng)的模擬模型中神經(jīng)元電路N1至N3的刺激輸入和結(jié)果所得的輸出的屏幕截圖。對應(yīng)于學習之前、期間和之后的信號的每個顯示的區(qū)域由標記的列指示?？梢钥闯?，在學習之前，只有其輸入超過閾值的神經(jīng)元激發(fā)。在學習期間，一起激發(fā)的神經(jīng)元修改它們之間的突觸強度。在學習之后，神經(jīng)元N2和N3的突觸強度已經(jīng)由于并發(fā)地激發(fā)而增加。然后每個神經(jīng)元在其輸入超過閾值或相關(guān)聯(lián)的神經(jīng)元激發(fā)時激發(fā)。這示出了用于實現(xiàn)關(guān)聯(lián)記憶的有效學習。

利用上述突觸11，在輸入端處同時施加寫部分V1_W和V2_W的時段期間，編程信號被施加到單元15。因此，如果在施加V1_W和V2_W的時段中存在至少部分重疊，則生成編程信號。此外，編程信號在這里依賴于寫部分V2_W的形狀。這些特征可以在體現(xiàn)本發(fā)明的神經(jīng)形態(tài)系統(tǒng)中利用，以模擬后STDP效應(yīng)，其中可以依賴于動作信號的相對定時誘導突觸增強/抑制。特別地，已知在后突觸激發(fā)之前的前突觸活動會誘導長期增強(LTP)，而逆轉(zhuǎn)這種時間次序?qū)е麻L期抑制(LTD)。在實驗上，作為這個相對定時的函數(shù)的長期突觸修改的類型和量在不同制備中有所不同。需要具有作為激發(fā)定時的函數(shù)的增強和抑制特性的神經(jīng)形態(tài)突觸體系架構(gòu)來模仿這些現(xiàn)象。這可以利用突觸11通過利用動作信號來實現(xiàn)，其中寫部分被成形為使得編程信號依賴于在輸入端處前和后神經(jīng)元動作信號的相對定時而變化。這在下面參考圖10至17進行解釋。

圖10示出了PCM單元狀態(tài)如何可以被成形的編程脈沖的不同區(qū)域修改。在圖的頂部示出的脈沖40具有短的高振幅熔融部分41和下降振幅的后沿42。該圖的下部分指示PCM單元15中的硫族化物體積16的相組成如何隨著施加這種脈沖而變化。左手側(cè)的圖示出在施加脈沖之前的全結(jié)晶單元狀態(tài)。熔融部分41的施加形成如中心圖中所示的熔融區(qū)域45。在脈沖的后沿、晶體生長部分42期間，結(jié)晶從這個熔融區(qū)域的外部發(fā)生。結(jié)果所得的非晶體積19的厚度隨著后沿持續(xù)時間的增加而減小。

圖11指示在突觸11的輸入端處前和后神經(jīng)元動作信號的不同相對定時。這些動作信號的寫部分具有圖10中所示的脈沖形狀。頂行中的圖(a)指示完全相同定時的信號(t_pre＝t_post)；中間行中的圖(b)和(c)示出了具有(t_post-t_pre)>0的信號；并且在底行中的圖(d)和(e)示出了具有(t_post-t_pre)<0的信號。在每種情況下，如由圖中的虛線矩形的重疊區(qū)域指示的，動作信號的寫部分之間的重疊確定施加到突觸11中的PCM單元15的編程信號。該編程信號對應(yīng)于包含在這個重疊區(qū)域中的后神經(jīng)元動作信號V2的部分。

圖12指示圖2電路中單元電導率如何隨圖11的動作信號定時變化。在這個示例中，單元15最初處于高電阻非晶狀態(tài)。對應(yīng)于圖11時序圖的編程信號在曲線的適當部分指示。最大導電點對應(yīng)于圖(a)的完全相同的脈沖定時。在這里，具有完整后沿持續(xù)時間的熔融然后結(jié)晶導致最大結(jié)晶。對應(yīng)于圖(b)和(c)的編程信號根據(jù)部分后沿持續(xù)時間導致熔化然后相繼地較少結(jié)晶。因此，電導率隨著(t_post-t_pre)的增加而逐漸降低，直到編程信號僅對應(yīng)于熔融部分，不給出結(jié)晶。超過這個點(無信號重疊)，不施加編程信號，并且單元保持在其初始非晶狀態(tài)。對于(t_post-t_pre)<0，時序圖(d)對應(yīng)于基本沒有熔融和部分結(jié)晶。超過這個點(圖(e))，后沿振幅不足以改變單元狀態(tài)。

可以看出，由于用于這個動作信號的寫部分形狀的初始熔融部分，材料獨立于初始單元狀態(tài)進入熔融狀態(tài)。因此，曲線右側(cè)(Δt>0)的形狀無論初始單元狀態(tài)如何都是相似的。突觸增強或抑制可以依賴于相對脈沖定時被誘導。除了在開始處的小的時間間隔之外，曲線的左側(cè)(Δt<0)主要由單元的初始狀態(tài)限定。單元狀態(tài)保持不變，在這里是處于初始非晶狀態(tài)。

圖13示出了類似于圖11的時序圖，但是針對其中寫部分在后沿的末端處具有附加熔融部分的動作信號。圖14指示對應(yīng)的電導率曲線。這個脈沖形狀與圖11的脈沖形狀的使用之間的差異主要在于曲線的左側(cè)(Δt<0)。在這里，由于在寫部分的末端處的熔融部分，單元獨立于初始單元狀態(tài)進入非晶狀態(tài)。這個特征是有益的，因為當t_post在t_pre之前到達時，突觸將被抑制，獨立于當前突觸權(quán)重。

圖15指示利用在圖的頂部示出的替代動作信號形狀獲得的電導率曲線。在這里，寫部分具有恒定振幅結(jié)晶部分50，隨后是熔融部分51。對應(yīng)于曲線上不同點的編程信號如前面那樣指示。當編程信號對應(yīng)于結(jié)晶部分50時，獲得最大導電率的點，從而給出用于結(jié)晶的最大時間。當(t_post-t_pre)增加時，減小編程脈沖的持續(xù)時間減少結(jié)晶的量。這個動作信號形狀與圖13的動作信號形狀的使用之間的差異主要在于曲線的右側(cè)(Δt>0)。由于在寫部分中沒有初始熔融部分，因此施加在曲線右側(cè)的脈沖主要是結(jié)晶脈沖。因此，在曲線右側(cè)獲得的電導率值依賴于單元的初始狀態(tài)。(這里所示出的曲線對應(yīng)于初始非晶狀態(tài)單元狀態(tài))。這個特征是有用的，因為突觸將具有累積特性，借此相繼的相似事件將逐漸修改突觸強度。

上面示出了可以通過適當整形寫部分使編程信號以各種方式依賴于動作信號的相對定時。寫部分可以通過組合具有不同延遲和振幅分布的不同部分而具有各種形狀。作為進一步的示例，圖16和17示出了圖11和13的脈沖形狀的替代方案，在圖11和13中，結(jié)晶部分具有恒定的振幅。一般而言，不同的結(jié)晶和熔融部分的組合可以用于獲得不同形狀的STDP曲線。結(jié)晶部分還可以包括更短脈沖的序列，以使得能夠用生物時間標度進行操作。

雖然上面已經(jīng)描述了優(yōu)選實施例，但是當然可以設(shè)想許多改變和修改。作為示例，圖2電路中的開關(guān)S2可以被前神經(jīng)元動作信號的寫部分V1_W而不是后神經(jīng)元動作信號驅(qū)動閉合。在其它方面電路操作將如之前那樣，但是后神經(jīng)元將不需要在V2_W期間禁用其輸入。

在本文中將部件描述為連接到另一個部件的情況下，除非另有說明，否則一般而言這種部件可以直接或間接連接，例如，經(jīng)由中間部件連接。

除PCM單元之外的電阻性記憶單元當然可以在體現(xiàn)本發(fā)明的突觸中采用。另外，雖然非常期望突觸利用完全相同的前和后神經(jīng)元動作信號進行操作，但是突觸電路系統(tǒng)當然可以通過適當選擇部件和電路布置來適應(yīng)，以響應(yīng)于不完全相同的前和后神經(jīng)元動作信號而根據(jù)需要操作。

應(yīng)當認識到，在不背離本發(fā)明的范圍的情況下，可以對所描述的示例性實施例進行許多其它改變和修改。