突觸陣列、脈沖整形電路和神經(jīng)形態(tài)系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種突觸陣列、脈沖整形電路和神經(jīng)形態(tài)系統(tǒng)。所述突觸陣列包括多個突觸電路。所述多個突觸電路中的至少一個突觸電路包括至少一個偏壓晶體管和至少兩個截止晶體管，并且所述至少一個突觸電路被構(gòu)造為使用通過所述至少一個偏壓晶體管的亞閾值泄漏電流來給與所述至少一個突觸電路連接的神經(jīng)元電路的膜節(jié)點充電。
【專利說明】突觸陣列、脈沖整形電路和神經(jīng)形態(tài)系統(tǒng)
[0001]本申請要求于2013年6月10日在韓國知識產(chǎn)權(quán)局提交的第10-2013-0065669號韓國專利申請和于2014年2月13日在韓國知識產(chǎn)權(quán)局提交的第10-2014-0016336號韓國專利申請的權(quán)益，所述專利申請的整個公開內(nèi)容出于所有目的通過引用合并于此。

【技術(shù)領(lǐng)域】
[0002]以下描述涉及一種突觸(synarpse)陣列、脈沖整形電路、以及包括突觸陣列和/或脈沖整形電路的神經(jīng)形態(tài)系統(tǒng)。

【背景技術(shù)】
[0003]生理大腦包括在復(fù)雜神經(jīng)網(wǎng)絡(luò)中彼此互連的數(shù)千億個神經(jīng)元。神經(jīng)元被認為負責(zé)用于學(xué)習(xí)和記憶的智能能力。在細胞級上，神經(jīng)元使用它們的突觸來與數(shù)千個其他神經(jīng)元交換信號。因此，神經(jīng)元可被認為是用于數(shù)據(jù)傳輸?shù)慕Y(jié)構(gòu)和功能基本單元。突觸是指兩個神經(jīng)元之間的接頭(junct1n),在所述接頭處,第一神經(jīng)元的軸突和第二神經(jīng)元的樹突位于彼此相鄰以用于傳輸數(shù)據(jù)。單個神經(jīng)元通常經(jīng)由突觸與數(shù)千個其他神經(jīng)元連接。
[0004]通過制造在神經(jīng)元級上模擬生物神經(jīng)系統(tǒng)的人工神經(jīng)系統(tǒng)，可模仿大腦的數(shù)據(jù)處理方法來實現(xiàn)新的數(shù)據(jù)處理和存儲方法。
[0005]神經(jīng)形態(tài)系統(tǒng)是指被設(shè)計為模仿生物神經(jīng)系統(tǒng)的操作的半導(dǎo)體電路。神經(jīng)形態(tài)系統(tǒng)可用在各種應(yīng)用中，包括用在能夠使自己適應(yīng)未指明環(huán)境的智能系統(tǒng)的實現(xiàn)中。


【發(fā)明內(nèi)容】

[0006]提供本
【發(fā)明內(nèi)容】
來以簡化的形式引入下面在【具體實施方式】中進一步描述的構(gòu)思的選擇。本
【發(fā)明內(nèi)容】
并非意圖識別要求保護的主題的關(guān)鍵特征或基本特征，也非意圖用作確定要求保護的主題的范圍的幫助。
[0007]在一個總的方面，提供一種基于靜態(tài)隨機存取存儲器(SRAM)的突觸陣列，所述突觸陣列包括多個突觸電路，其中，所述多個突觸電路中的至少一個突觸電路包括至少一個偏壓晶體管和至少兩個截止晶體管，并且所述至少一個突觸電路被構(gòu)造為使用通過所述至少一個偏壓晶體管的亞閾值泄漏電流來給與所述至少一個突觸電路連接的神經(jīng)元電路的膜節(jié)點充電。
[0008]所述至少一個突觸電路可被構(gòu)造為使用通過所述至少兩個截止晶體管的泄漏電流來改變SRAM的值。
[0009]神經(jīng)元電路可被構(gòu)造為基于將根據(jù)膜節(jié)點的電壓所產(chǎn)生的振蕩脈沖的出現(xiàn)次數(shù)與預(yù)定參考數(shù)量進行比較的結(jié)果來激勵尖峰。
[0010]神經(jīng)元電路可包括:脈沖產(chǎn)生器，被構(gòu)造為基于膜節(jié)點的電壓來產(chǎn)生振蕩脈沖；計數(shù)器，被構(gòu)造為對振蕩脈沖的出現(xiàn)次數(shù)進行計數(shù)；比較器，被構(gòu)造為將所述出現(xiàn)次數(shù)與預(yù)定參考數(shù)量進行比較。
[0011]比較器可被構(gòu)造為與周期性輸入的時鐘信號同步地將所述預(yù)定參考數(shù)量與所述出現(xiàn)次數(shù)進行比較。
[0012]神經(jīng)元電路還包括連接到地的晶體管。振蕩脈沖可用于通過激活所述晶體管來重置膜節(jié)點。
[0013]所述至少兩個截止晶體管可包括第一截止晶體管和第二截止晶體管。第一截止晶體管可連接到電源電壓以用于上拉。第二截止晶體管可連接到地以用于下拉。所述至少一個偏壓晶體管可連接到與所述至少一個突觸電路連接的神經(jīng)元電路的膜節(jié)點。
[0014]在另一總的方面，提供一種脈沖整形電路，所述脈沖整形電路被構(gòu)造為產(chǎn)生數(shù)字脈沖，其中，所述數(shù)字脈沖指示與由神經(jīng)元電路激勵的尖峰相應(yīng)的脈沖是增強、還是抑制(depress)突觸電路的突觸權(quán)重。
[0015]脈沖整形電路的總的方面還可包括:有限脈沖響應(yīng)(FIR)濾波器，包括被構(gòu)造為存儲脈沖的I比特D觸發(fā)器鏈；第一 OR計算器，被構(gòu)造為通過針對存儲的脈沖之中的與突觸權(quán)重的增強相應(yīng)的至少一個脈沖執(zhí)行OR計算來產(chǎn)生數(shù)字脈沖；第二 OR計算器，被構(gòu)造為通過對存儲的脈沖之中的與突觸權(quán)重的抑制相應(yīng)的至少一個脈沖執(zhí)行OR計算來產(chǎn)生數(shù)字脈沖。
[0016]脈沖整形電路可被構(gòu)造為基于第一 OR計算器的值和第二 OR計算器的值來產(chǎn)生用于保持突觸權(quán)重的數(shù)字脈沖。
[0017]在另一總的方面，提供一種神經(jīng)形態(tài)系統(tǒng)，所述神經(jīng)形態(tài)系統(tǒng)包括:基于SRAM的突觸陣列，其中，所述突觸陣列包括至少一個突觸電路；與突觸電路連接的神經(jīng)元電路，其中，所述突觸電路被構(gòu)造為使用通過突觸陣列的至少一個偏壓晶體管的亞閾值泄漏電流來給神經(jīng)元電路的膜節(jié)點充電，并且所述神經(jīng)元電路被構(gòu)造為基于膜節(jié)點的電壓來激勵尖峰；脈沖整形電路，被構(gòu)造為產(chǎn)生與激勵的尖峰相應(yīng)的數(shù)字脈沖。
[0018]突觸陣列可包括多個突觸電路，所述多個突觸電路包括所述至少一個突觸電路。神經(jīng)形態(tài)系統(tǒng)可包括多個神經(jīng)元電路和多個脈沖整形電路。神經(jīng)形態(tài)系統(tǒng)還可包括:尖峰時序依賴可塑性(STDP)邏輯電路，被構(gòu)造為基于所述數(shù)字脈沖來確定所述多個突觸電路中的突觸電路的更新狀態(tài)以及所述突觸電路的更新值；編碼器，被構(gòu)造為根據(jù)所述數(shù)字脈沖來訪問將更新的突觸電路。
[0019]神經(jīng)元電路可被構(gòu)造為基于將通過膜節(jié)點的電壓所產(chǎn)生的振蕩脈沖的出現(xiàn)次數(shù)與預(yù)定參考數(shù)量進行比較的結(jié)果來激勵尖峰。
[0020]突觸陣列還可包括至少兩個截止晶體管，并且可被構(gòu)造為使用通過所述至少兩個截止晶體管的泄漏電流來改變SRAM的值。
[0021]神經(jīng)元電路可包括:脈沖發(fā)生器，被構(gòu)造為基于膜節(jié)點的電壓來產(chǎn)生振蕩脈沖；計數(shù)器，被構(gòu)造為對振蕩脈沖的出現(xiàn)次數(shù)進行計數(shù)；以及比較器，被構(gòu)造為將出現(xiàn)次數(shù)與預(yù)定參考數(shù)量進行比較。
[0022]神經(jīng)元電路還可包括連接到地的晶體管。振蕩脈沖可用于通過激活所述晶體管來重置膜節(jié)點。
[0023]所述至少兩個截止晶體管可包括第一截止晶體管和第二截止晶體管。第一截止晶體管可連接到電源電壓以用于上拉。第二截止晶體管可連接到地以用于下拉。所述至少一個偏壓晶體管可連接到與所述至少一個突觸電路連接的神經(jīng)元電路的膜節(jié)點。
[0024]脈沖整形電路可被構(gòu)造為產(chǎn)生數(shù)字脈沖，所述數(shù)字脈沖指示與由神經(jīng)元電路激勵的尖峰相應(yīng)的脈沖是增強、還是抑制突觸電路的突觸權(quán)重。
[0025]STDP邏輯電路可被構(gòu)造為基于所述數(shù)字脈沖是增強、還是抑制突觸權(quán)重來確定所述多個突觸電路的更新狀態(tài)以及所述多個突觸電路的更新值。
[0026]STDP邏輯電路可被構(gòu)造為根據(jù)與由所述多個神經(jīng)元電路激勵的尖峰相應(yīng)的數(shù)字脈沖之間的尖峰時間來確定突觸電路的更新狀態(tài)和更新值。
[0027]神經(jīng)形態(tài)系統(tǒng)可被構(gòu)造為響應(yīng)于所述多個神經(jīng)元電路中的第一神經(jīng)元電路激勵尖峰，在與由第一神經(jīng)元電路激勵的尖峰相應(yīng)的第一數(shù)字脈沖的下降沿處，啟用與第一神經(jīng)元電路相應(yīng)的突觸電路的寫入線(WL)。
[0028]STDP邏輯電路可被構(gòu)造為基于從第一數(shù)字脈沖的下降沿看到的第二神經(jīng)元電路的第二數(shù)字脈沖的值來確定與第一神經(jīng)元電路相應(yīng)的突觸電路的更新值。
[0029]STDP邏輯電路可被構(gòu)造為響應(yīng)于第一數(shù)字脈沖先于第二數(shù)字脈沖發(fā)生來將用于增強突觸權(quán)重的值更新為所述更新值。
[0030]STDP邏輯電路可被構(gòu)造為響應(yīng)于第二數(shù)字脈沖先于第一數(shù)字脈沖發(fā)生來將用于抑制突觸權(quán)重的值更新為所述更新值。
[0031]STDP邏輯電路可被構(gòu)造為響應(yīng)于在第一數(shù)字脈沖的下降沿處檢測到“O”來保持與第一神經(jīng)元電路相應(yīng)的突觸電路的值。
[0032]編碼器可被構(gòu)造為根據(jù)所述數(shù)字脈沖來將更新值發(fā)送到突觸電路。
[0033]從以下詳細描述、附圖和權(quán)利要求書，其他特征和方面將是清楚的。

【專利附圖】

【附圖說明】
[0034]圖1是示出神經(jīng)形態(tài)系統(tǒng)的示例的總體結(jié)構(gòu)的示圖。
[0035]圖2是示出在神經(jīng)形態(tài)系統(tǒng)中包括的突觸電路的示例的示圖。
[0036]圖3是示出在神經(jīng)形態(tài)系統(tǒng)中包括的神經(jīng)元電路的示例的示圖。
[0037]圖4是示出在神經(jīng)形態(tài)系統(tǒng)中包括的脈沖整形電路的示例的示圖。
[0038]圖5是示出神經(jīng)形態(tài)系統(tǒng)的尖峰時序依賴可塑性(STDP)操作方法的示例的示圖。
[0039]在整個附圖和詳細描述中，除非另有描述或規(guī)定，否則相同的附圖標號將被理解為表示相同的元件、特征和結(jié)構(gòu)。附圖可以不按比例繪制，并且為了清楚、說明和方便起見，可夸大附圖中的元件的相對大小、比例和描繪。

【具體實施方式】
[0040]提供以下詳細描述來幫助讀者獲得在此描述的方法、設(shè)備和/或系統(tǒng)的全面理解。然而，在此描述的系統(tǒng)、設(shè)備和/或方法的各種改變、修改和等同物對于本領(lǐng)域的普通技術(shù)人員將是顯而易見的。所描述的處理步驟和/或操作的進展是示例；然而，步驟和/或操作順序不限于在此闡述的順序，而是可以如本領(lǐng)域已知的那樣進行改變，除了必須按特定順序發(fā)生的步驟和/或操作之外。此外，為了提高清楚性和簡潔性，可以省略公知功能和構(gòu)造的描述。
[0041]在此描述的特征可以以不同的形式實施，而不被解釋為限于在此描述的示例。相反，在此描述的示例被提供來使得本公開將是透徹且完整的，并且將把本公開的整個范圍傳達給本領(lǐng)域的普通技術(shù)人員。
[0042]圖1示出神經(jīng)形態(tài)系統(tǒng)100的示例的總體結(jié)構(gòu)。
[0043]參照圖1，神經(jīng)形態(tài)系統(tǒng)100包括基于靜態(tài)隨機存取存儲器(SRAM)的突觸陣列110、多個神經(jīng)元電路130、多個脈沖整形電路150、尖峰時序依賴可塑性(STDP)邏輯電路170以及編碼器190。然而，在其他示例中，神經(jīng)形態(tài)系統(tǒng)可包括基于SRAM的突觸陣列、神經(jīng)元電路、脈沖整形電路、STDP邏輯電路以及編碼器中的一個或更多個，而不包括所有這些結(jié)構(gòu)。
[0044]參照圖1，基于SRAM的突觸陣列110包括基于SRAM結(jié)構(gòu)的多個突觸電路。每個突觸電路可包括至少一個偏壓晶體管和至少兩個截止晶體管。
[0045]突觸電路可使用通過所述至少一個偏壓晶體管的亞閾值泄漏電流來給與所述突觸電路連接的神經(jīng)元電路130的膜節(jié)點充電。另外，突觸電路可通過使用通過所述至少兩個截止晶體管的泄漏電流來改變SRAM的值。
[0046]突觸電路可包括所述至少兩個截止晶體管，例如，第一截止晶體管和第二截止晶體管。第一截止晶體管可連接到電源電壓(VDD)以用于上拉。第二截止晶體管可連接到地(GND)以用于下拉。所述至少一個偏壓晶體管可連接到與突觸電路連接的神經(jīng)元電路130的膜節(jié)點。
[0047]在突觸陣列110處指示的WLx/WLxB是指字線，即，用于選擇軸突的地址的線。在WLx/WLxB中，X是指每根線的順序。在此示例中，X可以是范圍為O至3的自然數(shù)。突觸陣列110的WLx的邏輯值是I。當相應(yīng)的線被選擇時，可通過C1CtlX將STDP結(jié)果(即，通過STDP邏輯電路傳輸?shù)拿總€神經(jīng)元的STDP信息)用于SRAM。STDP是指假設(shè)存在于生物神經(jīng)網(wǎng)絡(luò)的突觸中的學(xué)習(xí)機制。基于STDP，突觸效能或權(quán)重基于諸如突觸前神經(jīng)元中的突觸前尖峰和突觸后神經(jīng)元中的突觸后尖峰的時序的信息而在兩個神經(jīng)元之間略有變化。也就是說，可增強或抑制突觸電路以改變兩個神經(jīng)元之間的數(shù)據(jù)傳輸?shù)男?。下面參照圖2進一步描述突觸電路的示例的操作和構(gòu)造。
[0048]多個神經(jīng)元電路130可基于將根據(jù)從膜節(jié)點輸入的輸入電壓而產(chǎn)生的振蕩脈沖的出現(xiàn)次數(shù)與預(yù)定參考數(shù)量進行比較的結(jié)果來激勵尖峰。下面參照圖3進一步描述神經(jīng)元電路130的示例。
[0049]多個脈沖整形電路150可接收從神經(jīng)元電路130發(fā)送的信號，并且可基于所述信號來產(chǎn)生用于STDP操作的脈沖。脈沖整形電路150可產(chǎn)生與在神經(jīng)元電路130處激勵的尖峰相應(yīng)的數(shù)字脈沖。脈沖整形電路150可產(chǎn)生指示與激勵的尖峰相應(yīng)的脈沖是增強(加強)、還是抑制(減弱)突觸電路的突觸權(quán)重的數(shù)字脈沖。下面參照圖4進一步描述脈沖整形電路150的示例。
[0050]STDP邏輯電路170可接收由脈沖整形電路150產(chǎn)生的信號，并且可基于所述信號來執(zhí)行STDP操作。也就是說，STDP邏輯電路170可基于由脈沖整形電路150產(chǎn)生的數(shù)字脈沖來確定所述多個突觸電路的更新狀態(tài)以及這些突觸電路的更新值。另外，STDP邏輯電路170可包括地址事件表示(AER)功能，其中，STDP邏輯電路170可通過AER功能將與神經(jīng)元電路130相關(guān)的測試結(jié)果以及與在任意的神經(jīng)元電路130中產(chǎn)生的激勵有關(guān)的信息發(fā)送到其他神經(jīng)元電路130?？赏ㄟ^WBLx線將由STDP邏輯電路170確定的更新值可發(fā)送到突觸陣列110。
[0051]STDP邏輯電路170可基于與由多個神經(jīng)元電路130激勵的尖峰相應(yīng)的數(shù)字脈沖之間的尖峰時間來確定突觸電路的更新事件的存在或不存在(更新狀態(tài))以及更新值。
[0052]下面參照圖5進一步描述STDP邏輯電路170的操作。
[0053]編碼器190可根據(jù)由脈沖整形器150產(chǎn)生的數(shù)字脈沖來訪問突觸陣列110。編碼器190可根據(jù)這些數(shù)字脈沖來訪問將更新的突觸陣列，或者根據(jù)這些數(shù)字脈沖來將更新值發(fā)送到突觸電路。例如，在神經(jīng)元電路130中發(fā)生激勵的情況下，可將在脈沖整形電路150處產(chǎn)生的脈沖(例如，“I”)發(fā)送到編碼器190。作為響應(yīng)，編碼器190可將邏輯值“I”發(fā)送到WL0，以更新與所述神經(jīng)元電路130相應(yīng)的突觸電路的突觸權(quán)重。在此示例中，WLO線(或其他WLx線)是指用于選擇字線的地址的線。也就是說，WLO線(或其他WLx線)可相應(yīng)于寫入使能狀態(tài)。在WLO等于“I”的情況下，與第一字線相應(yīng)的(例如，與圖5中的神經(jīng)元電路A的軸突相應(yīng)的)突觸電路的狀態(tài)可以是寫入使能狀態(tài)。然而，在神經(jīng)元電路130不激勵的情況下，編碼器190不發(fā)送脈沖，并且在這種狀態(tài)下，可將邏輯值“O”施加于WL2。因此，與第三字線相應(yīng)的突觸電路可處于寫入禁用狀態(tài)，并且數(shù)據(jù)可以不被寫入。
[0054]例如，在多個神經(jīng)元電路130中的第一神經(jīng)元電路激勵尖峰的情況下，神經(jīng)形態(tài)系統(tǒng)可在與激勵的尖峰相應(yīng)的第一數(shù)字脈沖的下降沿中啟用與第一神經(jīng)元電路相應(yīng)的突觸電路的寫入線(例如，WLX線)。
[0055]通常，神經(jīng)形態(tài)系統(tǒng)可極大地受到裝置的泄漏電流、裝置之間的不匹配、以及工藝電壓溫度(PVT)變化的影響。此外，隨著在神經(jīng)形態(tài)系統(tǒng)中包括的神經(jīng)元電路和突觸電路的數(shù)量增加，為了高度集成，可使用按比例縮小得更多的互補金屬氧化物半導(dǎo)體(CMOS)工藝。然而，隨著所述工藝變得按比例縮小更多，來自半導(dǎo)體組件的泄漏電流會進一步增加。即使當沒有外部刺激施加于神經(jīng)元電路時，泄漏電流的增加也可能在神經(jīng)元電路內(nèi)部引起連續(xù)激勵。
[0056]通常，認為泄漏電流是設(shè)計神經(jīng)形態(tài)系統(tǒng)時的不利的副作用。然而，根據(jù)一個示例，可通過使用與泄漏電流的量相等的少量電流，以神經(jīng)形態(tài)系統(tǒng)滿足對于高度集成和低功率的需求的這樣的方式來實現(xiàn)神經(jīng)形態(tài)系統(tǒng)。
[0057]圖2示出在神經(jīng)形態(tài)系統(tǒng)中包括的突觸電路200的示例。所述神經(jīng)形態(tài)系統(tǒng)可與圖1中所示的神經(jīng)形態(tài)系統(tǒng)相應(yīng)。此外，根據(jù)另一示例，突觸電路可僅包括圖2中所示的結(jié)構(gòu)的一部分。
[0058]參照圖2，突觸電路200包括至少兩個截止晶體管210和230、以及至少一個偏壓晶體管260。
[0059]突觸電路200被構(gòu)造為使用通過所述至少一個偏壓晶體管260的亞閾值泄漏電流來給與突觸電路200連接的神經(jīng)元電路的膜節(jié)點充電。
[0060]所述至少兩個截止晶體管210和230包括第一截止晶體管210和第二截止晶體管230。
[0061]在此示例中，第一截止晶體管210是P金屬氧化物半導(dǎo)體(P-MOS)晶體管。第一截止晶體管210連接到電源電壓VDD以用于上拉。第二截止晶體管230是N-MOS晶體管，并且連接到地GND以用于下拉。
[0062]偏壓晶體管260是位于第三裝置250的最后位置處的晶體管，其中，在第三裝置250中，三個P-MOS晶體管串聯(lián)連接。偏壓晶體管260可連接到與突觸電路200連接的神經(jīng)元電路的膜節(jié)點。三個P-MOS晶體管串聯(lián)連接的第三裝置250可連接到RWLBx線和Cmemx線。在執(zhí)行讀取操作時可使用第三裝置250。在與RWLBx線相應(yīng)的神經(jīng)元電路處發(fā)生激勵的情況下，連接到所述神經(jīng)元電路的所有神經(jīng)元電路都可具有邏輯值“ I ”。
[0063]在突觸電路200的寫入線WLx被啟用時，在此示例中，突觸電路200可將交叉耦合反相器240的值變?yōu)橛蓪懭腚娐?20提供的值。在大多數(shù)時間，寫入線WLx處于禁用狀態(tài)。
[0064]使用一般的SRAM結(jié)構(gòu)的神經(jīng)形態(tài)系統(tǒng)可僅用交叉耦合反相器240構(gòu)造來實現(xiàn)。在這樣的情況下，因為電源電壓VDD與地GND之間的、流過交叉耦合反相器240的泄漏電流可能有很大量，所以泄漏功耗會增加。
[0065]然而，根據(jù)本公開的神經(jīng)形態(tài)系統(tǒng)可顯著地減少由第一截止晶體管210和第二截止晶體管230引起的泄漏功耗。例如，當?shù)谝唤刂咕w管210和第二截止晶體管230處于截止狀態(tài)時，可基本上抑制電源電壓VDD與地GND之間的泄漏電流，從而減少泄漏功耗。
[0066]在交叉耦合反相器240中節(jié)點nl的值為“O”的情況下，SRAM可具有大約為“O”的值。在節(jié)點nl的值為“I”的情況下，SRAM可具有大約為“I”的值，并且節(jié)點n2的值可以約為“O”。因此，節(jié)點n2可使得操作所必需的電流可流向膜節(jié)點。這里，可通過外部偏壓電路將稍低于電源電壓VDD的電壓施加于位于第三裝置250的第三位置處的偏壓晶體管260。因此，僅與亞閾值泄漏電流相等的微量電流可在偏壓晶體管260內(nèi)部流動。
[0067]在寫入操作期間在神經(jīng)元電路處發(fā)生激勵的情況下，可根據(jù)突觸電路的突觸權(quán)重是相應(yīng)于增強、還是抑制來使得電流在神經(jīng)元電路之間沿不同方向流動。
[0068]在突觸權(quán)重為“I”的情況下，電流可從突觸前神經(jīng)元電路流到突觸后神經(jīng)元電路。相反，在突觸權(quán)重為“-1”的情況下，電流可從突觸后神經(jīng)元電路流到突觸前神經(jīng)元電路。
[0069]另外，作為STDP的結(jié)果，第一裝置(即，包括兩個串聯(lián)連接的N-MOS晶體管和兩個串聯(lián)連接的P-MOS晶體管的寫入電路220)可連接到WLx字線，因此，可執(zhí)行寫入操作。
[0070]返回參照圖2的突觸電路，在晶體管導(dǎo)通的情況下，幾納米安(Ixl(T9A)的電流可流過所述晶體管。在晶體管處于截止狀態(tài)的情況下，幾皮安(IxlO-12A)的電流可流過所述晶體管。電流的振幅可被認為是一般突觸電路的泄漏電流電平。根據(jù)一個示例，可以以這樣的少量電流來操作神經(jīng)元電路，從而實現(xiàn)神經(jīng)形態(tài)系統(tǒng)中的高度集成和功耗減少。
[0071]因為根據(jù)實施例的突觸電路使用基于SRAM結(jié)構(gòu)的突觸電路，所以在實現(xiàn)高集成度時，突觸電路占用相對小的區(qū)域并且是高效率的。而且，突觸電路可使用截止晶體管來以少量電流給神經(jīng)元電路的膜節(jié)點充電。因此，即使利用高度集成的電路，也可使神經(jīng)元電路的激勵速率保持在與實際生物神經(jīng)元類似的水平上。
[0072]此外，由于截止晶體管通過上拉和下拉而連接到電源電壓VDD和地GND，因此即使在記住突觸權(quán)重的靜態(tài)狀態(tài)下，也可以不產(chǎn)生泄漏電流。因此，可實現(xiàn)以低功耗進行操作的神經(jīng)形態(tài)系統(tǒng)。
[0073]圖3示出在神經(jīng)形態(tài)系統(tǒng)中包括的神經(jīng)元電路300的示例。所述神經(jīng)形態(tài)系統(tǒng)可與圖1中所示的神經(jīng)形態(tài)系統(tǒng)相應(yīng)。此外，根據(jù)另一示例，神經(jīng)元電路可僅包括圖3中所示的結(jié)構(gòu)的一部分。
[0074]參照圖3，根據(jù)一個示例的神經(jīng)元電路300包括脈沖產(chǎn)生器310、計數(shù)器330和比較器350。
[0075]在通過膜節(jié)點施加電壓的情況下，脈沖產(chǎn)生器310可基于所述電壓來產(chǎn)生振蕩脈沖。例如，施加到脈沖產(chǎn)生器310的電壓可具有與圖3中所示的波形301類似的波形。由脈沖產(chǎn)生器310產(chǎn)生的振蕩脈沖可以是與圖3中所示的波形303類似的數(shù)字脈沖。
[0076]脈沖產(chǎn)生器310包括晶體管320。晶體管320通過其源極端子連接到地GND，并且通過其漏極端子連接到膜節(jié)點。由脈沖產(chǎn)生器310產(chǎn)生的振蕩脈沖可激活晶體管320，從而重置膜節(jié)點。通過重置膜節(jié)點，晶體管320可參與振蕩脈沖的產(chǎn)生。
[0077]計數(shù)器330可對振蕩脈沖的出現(xiàn)次數(shù)或在脈沖產(chǎn)生器350中產(chǎn)生的振蕩脈沖的數(shù)量進行計數(shù)。
[0078]比較器350可將預(yù)定參考數(shù)量與由計數(shù)器330計數(shù)的振蕩脈沖的出現(xiàn)次數(shù)進行比較。比較器350可與周期性輸入的時鐘信號同步地將參考數(shù)量與所述出現(xiàn)次數(shù)進行比較。
[0079]比較器350可基于比較結(jié)果來激勵尖峰。在比較器350中產(chǎn)生的脈沖可連接到計數(shù)器330的重置端子，并且可被發(fā)送到脈沖整形電路。這里，發(fā)送的脈沖可以通過有限脈沖響應(yīng)(FIR)濾波器，并且通過STDP邏輯電路被覆寫到突觸電路的突觸權(quán)重。
[0080]圖4是示出在神經(jīng)形態(tài)系統(tǒng)中包括的脈沖整形電路的示例的示圖。所述神經(jīng)形態(tài)系統(tǒng)可與圖1中所示的神經(jīng)形態(tài)系統(tǒng)相應(yīng)。此外，根據(jù)另一實施例，脈沖整形電路可僅包括圖4中所示的結(jié)構(gòu)的一部分。
[0081]參照圖4，根據(jù)一個示例的脈沖整形電路可形成STDP操作所必需的神經(jīng)元尖峰的形狀。也就是說，脈沖整形電路可產(chǎn)生數(shù)字脈沖，所述數(shù)字脈沖指示與由神經(jīng)元電路激勵的尖峰相應(yīng)的脈沖是增強、還是抑制突觸電路的突觸權(quán)重。
[0082]脈沖整形電路400包括FIR濾波器410、第一 OR計算器430和第二 OR計算器450。
[0083]FIR濾波器410可以是I比特D觸發(fā)器鏈的形式，并且可被構(gòu)造為存儲從神經(jīng)元電路發(fā)送的脈沖。
[0084]第一 OR計算器430可通過針對存儲在FIR濾波器410中的脈沖之中的與突觸權(quán)重的增強相應(yīng)的至少一個脈沖執(zhí)行OR計算來產(chǎn)生數(shù)字脈沖。
[0085]第二 OR計算器450可通過針對存儲在FIR濾波器410中的脈沖之中的與突觸權(quán)重的抑制相應(yīng)的至少一個脈沖執(zhí)行OR計算來產(chǎn)生數(shù)字脈沖。
[0086]第一 OR計算器430和第二 OR計算器的輸出值可通過簡單的計算來表達+1、0和-1的突觸權(quán)重。例如，第一 OR計算器430的輸出值“1(+1)”可以是指突觸權(quán)重的增強，第二OR計算器450的輸出值“I (-1)”可以是指突觸權(quán)重的抑制。此外，在第一 OR計算器430和第二 OR計算器450的輸出值為“O”的情況下，它可指示對于突觸網(wǎng)絡(luò)沒有改變。
[0087]圖5示出神經(jīng)形態(tài)系統(tǒng)的尖峰時序依賴可塑性(STDP)操作方法的示例。所述神經(jīng)形態(tài)系統(tǒng)可與圖1中所示的神經(jīng)形態(tài)系統(tǒng)相應(yīng)。
[0088]參照圖5，描述所述神經(jīng)形態(tài)系統(tǒng)的STDP操作。
[0089]假定在多個神經(jīng)元電路之中的神經(jīng)元電路A509中發(fā)生了激勵，在脈沖整形信號的下降沿處啟用與神經(jīng)元電路A509的軸突相應(yīng)的WLx字線。此外，可通過脈沖整形電路將其他神經(jīng)元電路的脈沖值更新到突觸電路。
[0090]例如，當IF表示通知神經(jīng)元電路的激勵的信號并且PS表示由脈沖整形電路產(chǎn)生的數(shù)字脈沖形狀時，IF可具有作為在圖3的脈沖產(chǎn)生器310中產(chǎn)生的脈沖值的“I”或“O”。PS可具有1、-1或O的值。所有神經(jīng)元電路均可具有其IF值和其PS值。
[0091]假定在神經(jīng)元電路A509中發(fā)生了激勵，當脈沖整形信號的下降沿開始時，可針對其他神經(jīng)元電路的PS值和神經(jīng)元電路A509的IF值執(zhí)行簡單的邏輯計算。基于所述邏輯計算的結(jié)果，可更新突觸電路。
[0092]前述操作可在STDP邏輯電路507中執(zhí)行?？苫谠诿}沖整形電路中產(chǎn)生的數(shù)字脈沖是增強、還是抑制突觸權(quán)重來確定在多個突觸電路之中是否發(fā)生更新以及這些突觸電路的更新值。
[0093]另外，STDP邏輯電路507可根據(jù)與由多個神經(jīng)元電路激勵的尖峰相應(yīng)的數(shù)字脈沖之間的尖峰時間來確定突觸電路的更新和更新值。
[0094]STDP邏輯電路507可基于從第一數(shù)字脈沖的下降沿看到的第二神經(jīng)元電路的第二數(shù)字脈沖值來確定與第一神經(jīng)元電路相應(yīng)的突觸電路的更新值。
[0095]在第一數(shù)字脈沖先于第二數(shù)字脈沖發(fā)生的情況下，STDP邏輯電路507可將更新值確定為用于增強突觸權(quán)重的值。在第二數(shù)字脈沖先于第一數(shù)字脈沖發(fā)生的情況下，STDP邏輯電路507可將更新值確定為用于抑制突觸權(quán)重的值。
[0096]在第一數(shù)字脈沖的下降沿處檢測到值“O”的情況下，STDP邏輯電路507可確定保持與第一神經(jīng)元電路相應(yīng)的突觸電路的值。
[0097]以下，進一步描述神經(jīng)元電路A509與“其他”神經(jīng)元電路之間的關(guān)系，以基于第一數(shù)字脈沖與第二數(shù)字脈沖之間的順序來說明STDP邏輯電路507的操作。
[0098]例如，假定在圖5的神經(jīng)元電路A509中發(fā)生了激勵，從與神經(jīng)元電路A509的尖峰相應(yīng)的第一數(shù)字脈沖的下降沿看到的“其他”神經(jīng)元電路的第二數(shù)字脈沖的值可晚于神經(jīng)元電路A509的數(shù)字脈沖的值出現(xiàn)。在圖5中所示的情況I下，在增強510的情況下，當從第一數(shù)字脈沖的下降沿看到“其他”神經(jīng)元電路第二數(shù)字脈沖的值時，可獲得值“+I”。值“+I”是指突觸權(quán)重的增強。STDP邏輯電路507可產(chǎn)生用于突觸權(quán)重的增強更新的脈沖(C1Ctl =00)。在此示例中，可將與神經(jīng)元電路A的軸突線之中的501相應(yīng)的神經(jīng)元電路更新為“其他”神經(jīng)元電路的脈沖值“+I”。也就是說，在神經(jīng)元電路A509的下降沿處，C1C0 = 00。
[0099]如抑制530所示的情況2下那樣，從與神經(jīng)元電路A509的尖峰相應(yīng)的第一數(shù)字脈沖的下降沿看到的“其他”神經(jīng)元電路的第二數(shù)字脈沖的值可早于神經(jīng)元電路A509的數(shù)字脈沖的值。在圖5中所示的情況2下，當從第一數(shù)字脈沖的下降沿看到“其他”神經(jīng)元電路的第二數(shù)字脈沖的值時，可獲得值“-1”。值“-1”是指突觸權(quán)重的抑制。STDP邏輯電路507可產(chǎn)生用于突觸權(quán)重的抑制更新的脈沖(C1Ctl= 11)。在此示例中，可將與神經(jīng)元電路A509的軸突線之中的503相應(yīng)的神經(jīng)元電路更新為“其他”神經(jīng)元電路的脈沖值“-1”。也就是說，在神經(jīng)元電路A509的下降沿，C1C0 =11。
[0100]另外，如沒有改變550的情況3下所示那樣，可獲得“O”作為從與神經(jīng)元電路A509的尖峰相應(yīng)的第一數(shù)字脈沖的下降沿看到的“其他”神經(jīng)元電路的第二數(shù)字脈沖的值。在這種情況下，第一數(shù)字脈沖與第二數(shù)字脈沖之間的時間差如此大以至于突觸權(quán)重根本不受影響。也就是說，在這種情況下，可保持突觸權(quán)重的之前的值。因此，因為STDP邏輯電路507不需要更新突觸權(quán)重，所以控制所述值以滿足C1Ctl = 01，以使得晶體管處于其截止狀態(tài)。因此，SRAM值沒有改變。這里，在神經(jīng)元電路A509的下降沿，不改變與神經(jīng)元電路A509的軸突線之中的505相應(yīng)的神經(jīng)元電路。
[0101]當在多個神經(jīng)元電路之中的第一神經(jīng)元電路處激勵尖峰時，在與激勵的尖峰相應(yīng)的第一數(shù)字脈沖的下降沿處，神經(jīng)形態(tài)系統(tǒng)可訪問與第一神經(jīng)元電路相應(yīng)的突觸電路的WLx線(是指圖1的WLx字線)。
[0102]如上所述，STDP邏輯電路507可確定突觸陣列的更新是否發(fā)生以及更新值，并可通過編碼器來訪問將被更新的突觸電路的WLx線(是指圖1的WLx字線)。這里，可通過從STDP邏輯電路輸出的C1Ctl來確定相應(yīng)突觸的更新值。
[0103]利用上述各種示例，可通過僅使與泄漏電流相等的微小電流流到構(gòu)成神經(jīng)形態(tài)系統(tǒng)的神經(jīng)元電路和突觸電路來實現(xiàn)高度集成和低功率的神經(jīng)形態(tài)系統(tǒng)。
[0104]盡管本公開包括特定示例，但是本領(lǐng)域的普通技術(shù)人員將明白，在不脫離權(quán)利要求書及其等同物的精神和范圍的情況下，可以在這些示例中做出形式和細節(jié)上的各種改變。要僅從描述的意義上，而非限制的目的來考慮在此描述的示例。每個示例中的特征或方面的描述將被認為是可適用于其他示例中的類似的特征或方面。如果按不同順序執(zhí)行所描述的技術(shù)，和/或如果按不同方式組合所描述的系統(tǒng)、架構(gòu)、裝置或電路中的組件、和/或用其他組件或其等同物取代或補充這些組件，則可實現(xiàn)合適的結(jié)果。因此，本公開的范圍不是由詳細描述來限定，而是由權(quán)利要求書及其等同物來限定，并且權(quán)利要求書及其等同物的范圍內(nèi)的所有變化都將被解釋為包括在本公開中。
【權(quán)利要求】
1.一種基于靜態(tài)隨機存取存儲器(SRAM)的突觸陣列，所述突觸陣列包括多個突觸電路， 其中，所述多個突觸電路中的至少一個突觸電路包括至少一個偏壓晶體管和至少兩個截止晶體管，并且所述至少一個突觸電路被構(gòu)造為使用通過所述至少一個偏壓晶體管的亞閾值泄漏電流來給與所述至少一個突觸電路連接的神經(jīng)元電路的膜節(jié)點充電。
2.根據(jù)權(quán)利要求1所述的突觸陣列，其中，所述至少一個突觸電路被構(gòu)造為使用通過所述至少兩個截止晶體管的泄漏電流來改變SRAM的值。
3.根據(jù)權(quán)利要求1所述的突觸陣列，其中，所述神經(jīng)元電路被構(gòu)造為基于將根據(jù)膜節(jié)點的電壓所產(chǎn)生的振蕩脈沖的出現(xiàn)次數(shù)與預(yù)定參考數(shù)量進行比較的結(jié)果來激勵尖峰。
4.根據(jù)權(quán)利要求1所述的突觸陣列，其中，神經(jīng)元電路包括: 脈沖產(chǎn)生器，被構(gòu)造為基于膜節(jié)點的電壓來產(chǎn)生振蕩脈沖； 計數(shù)器，被構(gòu)造為對振蕩脈沖的出現(xiàn)次數(shù)進行計數(shù)；和 比較器，被構(gòu)造為將所述出現(xiàn)次數(shù)與預(yù)定參考數(shù)量進行比較。
5.根據(jù)權(quán)利要求4所述的突觸陣列，其中，比較器被構(gòu)造為與周期性輸入的時鐘信號同步地將所述預(yù)定參考數(shù)量與所述出現(xiàn)次數(shù)進行比較。
6.根據(jù)權(quán)利要求4所述的突觸陣列，其中， 神經(jīng)元電路還包括連接到地的晶體管,并且 振蕩脈沖用于通過激活所述晶體管來重置膜節(jié)點。
7.根據(jù)權(quán)利要求1所述的突觸陣列，其中， 所述至少兩個截止晶體管可包括第一截止晶體管和第二截止晶體管，其中， 第一截止晶體管連接到電源電壓以用于上拉， 第二截止晶體管連接到地以用于下拉，并且 所述至少一個偏壓晶體管連接到與所述至少一個突觸電路連接的神經(jīng)元電路的膜節(jié)點。
8.—種脈沖整形電路，被構(gòu)造為產(chǎn)生數(shù)字脈沖，其中，所述數(shù)字脈沖指示與由神經(jīng)元電路激勵的尖峰相應(yīng)的脈沖是增強、還是抑制突觸電路的突觸權(quán)重。
9.根據(jù)權(quán)利要求8所述的脈沖整形電路，包括: 有限脈沖響應(yīng)(FIR)濾波器，包括被構(gòu)造為存儲脈沖的I比特D觸發(fā)器鏈； 第一 OR計算器，被構(gòu)造為通過針對存儲的脈沖之中的與突觸權(quán)重的增強相應(yīng)的至少一個脈沖執(zhí)行OR計算來產(chǎn)生數(shù)字脈沖；和 第二 OR計算器，被構(gòu)造為通過針對存儲的脈沖之中的與突觸權(quán)重的抑制相應(yīng)的至少一個脈沖執(zhí)行OR計算來產(chǎn)生數(shù)字脈沖。
10.根據(jù)權(quán)利要求9所述的脈沖整形電路，其中，脈沖整形電路被構(gòu)造為基于第一OR計算器的值和第二 OR計算器的值來產(chǎn)生用于保持突觸權(quán)重的數(shù)字脈沖。
11.一種神經(jīng)形態(tài)系統(tǒng)，包括: 基于靜態(tài)隨機存取存儲器(SRAM)的突觸陣列，其中，所述突觸陣列包括至少一個突觸電路； 與突觸電路連接的神經(jīng)元電路，其中，所述突觸電路被構(gòu)造為使用通過突觸陣列的至少一個偏壓晶體管的亞閾值泄漏電流來給神經(jīng)元電路的膜節(jié)點充電，并且神經(jīng)元電路被構(gòu)造為基于膜節(jié)點的電壓來激勵尖峰；和 脈沖整形電路，被構(gòu)造為產(chǎn)生與激勵的尖峰相應(yīng)的數(shù)字脈沖。
12.根據(jù)權(quán)利要求11所述的神經(jīng)形態(tài)系統(tǒng)，其中，突觸陣列包括多個突觸電路，所述多個突觸電路包括所述至少一個突觸電路； 神經(jīng)形態(tài)系統(tǒng)包括多個神經(jīng)元電路和多個脈沖整形電路；并且 神經(jīng)形態(tài)系統(tǒng)還包括: 尖峰時序依賴可塑性(STDP)邏輯電路，被構(gòu)造為基于數(shù)字脈沖來確定所述多個突觸電路中的突觸電路的更新狀態(tài)以及所述突觸電路的更新值；和編碼器，被構(gòu)造為根據(jù)所述數(shù)字脈沖來訪問將更新的突觸電路。
13.根據(jù)權(quán)利要求11所述的神經(jīng)形態(tài)系統(tǒng)，其中，神經(jīng)元電路被構(gòu)造為基于將根據(jù)膜節(jié)點的電壓所產(chǎn)生的振蕩脈沖的出現(xiàn)次數(shù)與預(yù)定參考數(shù)量進行比較的結(jié)果來激勵尖峰。
14.根據(jù)權(quán)利要求11所述的神經(jīng)形態(tài)系統(tǒng)，其中， 突觸陣列還包括至少兩個截止晶體管，并且被構(gòu)造為使用通過所述至少兩個截止晶體管的泄漏電流來改變SRAM的值。
15.根據(jù)權(quán)利要求11所述的神經(jīng)形態(tài)系統(tǒng)，其中，神經(jīng)元電路包括: 脈沖產(chǎn)生單元，被構(gòu)造為基于膜節(jié)點的電壓來產(chǎn)生振蕩脈沖； 計數(shù)器，被構(gòu)造為對振蕩脈沖的出現(xiàn)次數(shù)進行計數(shù)；和 比較器，被構(gòu)造為將所述出現(xiàn)次數(shù)與預(yù)定參考數(shù)量進行比較。
16.根據(jù)權(quán)利要求15所述的神經(jīng)形態(tài)系統(tǒng)，其中， 神經(jīng)元電路還包括連接到地的晶體管,并且 振蕩脈沖用于通過激活所述晶體管來重置膜節(jié)點。
17.根據(jù)權(quán)利要求14所述的神經(jīng)形態(tài)系統(tǒng)，其中， 所述至少兩個截止晶體管包括第一截止晶體管和第二截止晶體管，其中， 第一截止晶體管連接到電源電壓以用于上拉， 第二截止晶體管連接到地以用于下拉，并且 所述至少一個偏壓晶體管連接到與突觸電路連接的神經(jīng)元電路的膜節(jié)點。
18.根據(jù)權(quán)利要求12所述的神經(jīng)形態(tài)系統(tǒng)，其中，所述多個脈沖整形電路被構(gòu)造為產(chǎn)生數(shù)字脈沖，其中，所述數(shù)字脈沖指示與由神經(jīng)元電路激勵的尖峰相應(yīng)的脈沖是增強、還是抑制突觸電路的突觸權(quán)重。
19.根據(jù)權(quán)利要求18所述的神經(jīng)形態(tài)系統(tǒng)，其中，STDP邏輯電路被構(gòu)造為基于所述數(shù)字脈沖是增強、還是抑制突觸權(quán)重來確定所述多個突觸電路的更新狀態(tài)以及所述多個突觸電路的更新值。
20.根據(jù)權(quán)利要求19所述的神經(jīng)形態(tài)系統(tǒng)，其中，STDP邏輯電路被構(gòu)造為根據(jù)與由所述多個神經(jīng)元電路激勵的尖峰相應(yīng)的數(shù)字脈沖之間的尖峰時間來確定突觸電路的更新狀態(tài)和更新值。
21.根據(jù)權(quán)利要求20所述的神經(jīng)形態(tài)系統(tǒng)，其中，神經(jīng)形態(tài)系統(tǒng)被構(gòu)造為響應(yīng)于所述多個神經(jīng)元電路中的第一神經(jīng)元電路激勵尖峰，在與由第一神經(jīng)元電路激勵的尖峰相應(yīng)的第一數(shù)字脈沖的下降沿處，啟用與第一神經(jīng)元電路相應(yīng)的突觸電路的寫入線(WL)。
22.根據(jù)權(quán)利要求21所述的神經(jīng)形態(tài)系統(tǒng)，其中，STDP邏輯電路被構(gòu)造為基于從第一數(shù)字脈沖的下降沿看到的第二神經(jīng)元電路的第二數(shù)字脈沖的值來確定與第一神經(jīng)元電路相應(yīng)的突觸電路的更新值。
23.根據(jù)權(quán)利要求22所述的神經(jīng)形態(tài)系統(tǒng)，其中，STDP邏輯電路被構(gòu)造為響應(yīng)于第一數(shù)字脈沖先于第二數(shù)字脈沖發(fā)生來將用于增強突觸權(quán)重的值更新為所述更新值。
24.根據(jù)權(quán)利要求22所述的神經(jīng)形態(tài)系統(tǒng)，其中，STDP邏輯電路被構(gòu)造為響應(yīng)于第二數(shù)字脈沖先于第一數(shù)字脈沖發(fā)生來將用于抑制突觸權(quán)重的值更新為所述更新值。
25.根據(jù)權(quán)利要求22所述的神經(jīng)形態(tài)系統(tǒng)，其中，STDP邏輯電路被構(gòu)造為響應(yīng)于在第一數(shù)字脈沖的下降沿處檢測到“O”來保持與第一神經(jīng)元電路相應(yīng)的突觸電路的值。
26.根據(jù)權(quán)利要求12所述的神經(jīng)形態(tài)系統(tǒng)，其中，編碼器被構(gòu)造為根據(jù)所述數(shù)字脈沖將更新值發(fā)送到突觸電路。
【文檔編號】G11C11/56GK104240753SQ201410185178
【公開日】2014年12月24日 申請日期:2014年5月4日 優(yōu)先權(quán)日:2013年6月10日
【發(fā)明者】金俊奭, 沈載潤, 柳賢錫, 趙化淑 申請人:三星電子株式會社, 浦項工科大學(xué)校產(chǎn)學(xué)協(xié)力團