本發(fā)明屬于模數(shù)電路領(lǐng)域，更具體地，涉及一種基于憶阻的巴普洛夫聯(lián)想記憶的人工神經(jīng)網(wǎng)絡(luò)電路。

背景技術(shù)：

1971年，美國加利福尼亞大學(xué)大學(xué)伯克利分校蔡少棠教授從對(duì)稱性角度預(yù)言提出了，除電阻、電容、電感以外電子電路還應(yīng)存在第四種基本元件—憶阻(Memristor)。蔡少棠指出，電壓v、電流i、電荷q和磁通量這四個(gè)基本電路變量之間應(yīng)該存在六種數(shù)學(xué)關(guān)系：電流定義為電荷關(guān)于時(shí)間的變化率i＝dq/dt；電壓定義為磁通量關(guān)于時(shí)間的變化率電阻定義為電壓隨著電流的變化率R＝dv/di；電容定義為電荷隨著電壓的變化率C＝dq/dv；電感定義為磁通量隨著電流的變化率缺少了一種能夠?qū)㈦姾蓂與磁通量關(guān)聯(lián)起來的電路元件，而這種元件即由電荷q與磁通量之間的關(guān)系來定義：M即是憶阻。

美國惠普實(shí)驗(yàn)室的Strukov和其同事在進(jìn)行極小型電路實(shí)驗(yàn)時(shí)制造出憶阻的實(shí)物，其成果發(fā)表在2008年5月的《自然》雜志上，憶阻的發(fā)現(xiàn)足以媲美100年前發(fā)明的三極管，其任何一項(xiàng)產(chǎn)業(yè)化應(yīng)用都可能帶來新一輪的產(chǎn)業(yè)革命。憶阻最突出的特點(diǎn)是其天然的非易失性記憶功能和良好的開關(guān)特性，在非易失性存儲(chǔ)器技術(shù)、可重構(gòu)信號(hào)處理電路、人工神經(jīng)網(wǎng)絡(luò)保密通信、模擬電路、人工智能計(jì)算機(jī)、生物行為模擬等領(lǐng)域具有巨大的應(yīng)用潛力。

人工神經(jīng)網(wǎng)絡(luò)自1943年由心理學(xué)家McCulloch和數(shù)理邏輯學(xué)家Pitts提出，國內(nèi)外學(xué)者對(duì)人工神經(jīng)網(wǎng)絡(luò)展開了廣泛的研究。到目前為止，人工神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)有四種方式：軟件實(shí)現(xiàn)、虛擬實(shí)現(xiàn)、硬件實(shí)現(xiàn)以及光器件實(shí)現(xiàn)。其中晶體管是一種實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)的電子器件，Williams和他的同事已經(jīng)證明了憶阻能比晶體管占用更小的區(qū)域，但是它的存儲(chǔ)容量更大并且速度更快。標(biāo)準(zhǔn)的人工神經(jīng)網(wǎng)絡(luò)通過乘法器實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的權(quán)值，但是乘法器不但體積大，而且當(dāng)修改神經(jīng)網(wǎng)絡(luò)時(shí)就需要更換乘法器；新型憶阻人工神經(jīng)網(wǎng)絡(luò)使用憶阻作為突觸權(quán)因子以實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的權(quán)值，當(dāng)需要修改神經(jīng)網(wǎng)絡(luò)時(shí)，只需使用外加電壓源改變憶阻的阻值即可。由于憶阻是一種具有差分電阻特性的元件，將其融入到人工神經(jīng)網(wǎng)絡(luò)電路中,就不再需要引入反饋機(jī)制,可以大大簡(jiǎn)化電路結(jié)構(gòu)。

聯(lián)想記憶是人工神經(jīng)網(wǎng)絡(luò)中模仿生物學(xué)習(xí)的一個(gè)方面，是在兩個(gè)刺激或行為和刺激之間建立聯(lián)系的學(xué)習(xí)過程。最經(jīng)典的是巴普洛夫狗的實(shí)驗(yàn)：給狗喂食物的時(shí)候狗會(huì)分泌唾液，而只打鈴不給食物狗不會(huì)分泌唾液；在給食物的同時(shí)打鈴，過一段時(shí)間之后只打鈴狗也會(huì)分泌唾液。對(duì)于狗來說，鈴聲和食物之間或者說鈴聲和分泌唾液之間建立了聯(lián)系，這是通過學(xué)習(xí)來實(shí)現(xiàn)的。學(xué)習(xí)的話就要改變突觸的權(quán)值，目前主要的突觸學(xué)習(xí)規(guī)則有Hebb、SRDP、STDP等。

聯(lián)想記憶很早之前就有研究，但是由于設(shè)計(jì)電子突觸的復(fù)雜性，電路實(shí)現(xiàn)相當(dāng)困難。憶阻的出現(xiàn)為這一研究指明了新的方向。研究者們對(duì)于類似巴普洛夫?qū)嶒?yàn)的聯(lián)想記憶做了大量研究。Y.V.Pershin等首次用微控制器的電學(xué)模型實(shí)現(xiàn)聯(lián)想記憶。K.D.Cantley等和Y.D.Zhang等分別實(shí)現(xiàn)了聯(lián)想學(xué)習(xí)。M.Ziegler等證明了用單個(gè)的Pt/Ge0.3Se0.7/SiO2/Cu憶阻設(shè)備實(shí)現(xiàn)聯(lián)想學(xué)習(xí)的可行性。Y.H.Wang等提出了一個(gè)簡(jiǎn)單的CMOS-Memristor混合電路來建模動(dòng)態(tài)條件行為。O.Bichler等用有機(jī)憶阻設(shè)備當(dāng)做突出提出了一個(gè)帶有聯(lián)想學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。L.Chen等提出了包含多層閾值神經(jīng)元的憶阻神經(jīng)網(wǎng)絡(luò)和最大輸入反饋學(xué)習(xí)(max-input-feedback learning)法則來實(shí)現(xiàn)聯(lián)想學(xué)習(xí)。S.G.Hu等設(shè)計(jì)了一個(gè)可重構(gòu)的憶阻Hopfield神經(jīng)網(wǎng)絡(luò)，L.Wang等提出了基于平均輸入反饋的學(xué)習(xí)法則，分別來實(shí)現(xiàn)聯(lián)想記憶。

但是現(xiàn)有的實(shí)現(xiàn)方法都有或多或少的不足。比較典型的是沒有“遺忘”功能，或者只有一種遺忘功能，設(shè)計(jì)復(fù)雜，在未學(xué)習(xí)的情況下鈴聲自己錯(cuò)誤學(xué)會(huì)刺激唾液分泌等，有的甚至?xí)斑z忘”食物。而本發(fā)明則解決了這些缺點(diǎn)。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的在于提供一種基于憶阻的巴普洛夫聯(lián)想記憶的人工神經(jīng)網(wǎng)絡(luò)電路，旨在解決現(xiàn)有技術(shù)中沒有遺忘功能的問題。

本發(fā)明提供了一種基于憶阻的巴普洛夫聯(lián)想記憶的人工神經(jīng)網(wǎng)絡(luò)電路，包括：突觸電路、神經(jīng)元電路和突觸權(quán)值控制電路；突觸電路包括n個(gè)輸入端、n個(gè)輸出端和(2x+1)個(gè)控制端，n個(gè)輸入端分別接收n個(gè)輸入電壓，突觸電路用于將輸入電壓乘以權(quán)值再輸出；神經(jīng)元電路包括n個(gè)輸入端和一個(gè)輸出端，n個(gè)輸入端分別與所述突觸電路的n個(gè)輸出端一一對(duì)應(yīng)連接，一個(gè)輸出端輸出激活電壓V_out；所述突觸權(quán)值控制電路包括n個(gè)輸入端、一個(gè)反饋端和2x+1個(gè)輸出控制端，n個(gè)輸入端分別與所述突觸電路的n個(gè)輸入端一一對(duì)應(yīng)連接，反饋端連接至所述神經(jīng)元電路的輸出端，2x+1個(gè)輸出端分別與所述突觸電路的2x+1個(gè)控制端一一對(duì)應(yīng)連接，所述突觸權(quán)值控制電路用于根據(jù)輸入的狀態(tài)和反饋的狀態(tài)來輸出相應(yīng)的控制信號(hào)進(jìn)而調(diào)整憶阻器阻值；其中，n為大于等于2的整數(shù)，x為需要學(xué)習(xí)更新權(quán)值即需要調(diào)整憶阻器阻值的突觸的數(shù)量，且1≤x≤n-1。

更進(jìn)一步地，所述突觸電路包括n個(gè)突觸單元，第一個(gè)突觸單元包括：第一MOS管T_a1、第二MOS管T_a2、第一憶阻器M_a和第一二極管D_a，所述第一MOS管T_a1的控制端作為所述第一個(gè)突觸單元的輸入端，所述第一MOS管T_a1的一端連接至電源V₁，所述第一MOS管T_a1的另一端連接至所述第一憶阻器M_a的正極，所述第一憶阻器M_a的負(fù)極連接至所述第一二極管D_a的陽極，所述第一二極管D_a的陰極作為所述第一個(gè)突觸單元的輸出端，所述第二MOS管T_a2的一端連接至所述第一MOS管T_a1的另一端，所述第二MOS管T_a2的另一端接地，所述第二MOS管T_a2的控制端作為所述第一個(gè)突觸單元的控制端；第二個(gè)突觸單元，第三個(gè)突觸單元……和第x+1個(gè)突觸單元的結(jié)構(gòu)相同，其余n-x-1個(gè)單元和第一個(gè)突觸單元相同；所述第二個(gè)突觸單元包括：第三MOS管T_b1、第四MOS管T_b2、第二憶阻器M_b和第二二極管D_b，所述第三MOS管T_b1的控制端作為所述第二個(gè)突觸單元的輸入端，所述第三MOS管T_b1的一端連接至電源V₂，所述第三MOS管T_b1的另一端連接至所述第二憶阻器M_b的正極，所述第二憶阻器M_b的負(fù)極連接至所述第二二極管D_b的陽極，所述第二二極管D_b的陰極作為所述第二個(gè)突觸單元的輸出端，所述第四MOS管T_b2的一端連接至所述第三MOS管T_b1的另一端，所述第四MOS管T_b2的另一端接地，所述第四MOS管T_b2的控制端作為所述第二個(gè)突觸單元的控制端。

更進(jìn)一步地，神經(jīng)元電路包括：電阻R、電容C、二極管D_o1、PMOS管T_o1和比較器P；所述PMOS管T_o1的一端作為所述神經(jīng)元電路的輸入端，所述PMOS管T_o1的另一端連接至所述二極管D_o1的陽極，所述二極管的陰極連接至所述比較器P的同相輸入端，所述PMOS管T_o1的控制端連接至所述比較器P的輸出端；所述比較器P的反相輸入端用于連接參考電壓V_mem，所述比較器P的輸出端作為所述神經(jīng)元電路的輸出端；所述電阻R和所述電容C依次串聯(lián)連接在地與所述比較器P的輸出端之間，且所述電阻R和所述電容C的串聯(lián)連接端連接至所述比較器P的同相輸入端。

更進(jìn)一步地，當(dāng)n為2時(shí)，所述突觸權(quán)值控制電路包括：NMOS管T₁、NMOS管T₂、NMOS管T₃、NMOS管T₅、NMOS管T₇、PMOS管T₄和PMOS管T₆；NMOS管T₁的控制端作為所述突觸權(quán)值控制電路的第一輸入端，所述NMOS管T₁的一端作為所述突觸權(quán)值控制電路的第一輸出控制端a，所述NMOS管T₂的控制端作為所述突觸權(quán)值控制電路的第二輸入端，所述NMOS管T₂的一端連接至所述NMOS管T₁的另一端，所述NMOS管T₃的一端連接至所述NMOS管T₂的另一端，所述NMOS管T₃的另一端接地，所述PMOS管T₄的控制端連接至所述NMOS管T₁的控制端，所述PMOS管T₆的控制端連接至所述NMOS管T₂的控制端，所述PMOS管T₄的一端與所述PMOS管T₆的一端連接后再與所述NMOS管T₁的一端連接，所述PMOS管T₄的另一端與所述PMOS管T₆的另一端連接后再與所述NMOS管T₅的一端連接，所述NMOS管T₅的另一端連接控制電源V_fg，所述NMOS管T₅的控制端連接至所述NMOS管T₃的控制端；所述NMOS管T₇的一端作為所述突觸權(quán)值控制電路的第一輸出控制端b，所述NMOS管T₇的另一端連接控制電源V_ln，所述NMOS管T₇的控制端與所述NMOS管T₅的控制端連接并作為所述突觸權(quán)值控制電路的第一輸出控制端c和反饋端V_b。

更進(jìn)一步地，控制電源V_fg大于所述控制電源V_ln。

更進(jìn)一步地，當(dāng)同時(shí)輸入V_ina和V_inb時(shí)，T_a1和T_b1打開，V_out為零電平，PMOS管T_o1處于打開狀態(tài)；V₁和V₂分別正向和反向流過憶阻器，憶阻器M_a阻值變小，憶阻器M_b的阻值變大且增大量為ΔR₁；由于M_a阻值小于R_th，那么V_p大于參考電壓V_mem，V_out便會(huì)輸出高電平使得神經(jīng)元被激活；同時(shí)V_p會(huì)升高并高于參考電壓V_mem，V_out控制突觸控制電路使c點(diǎn)電壓為高進(jìn)而關(guān)斷T_a2、T_b2、T_o1；V₁和V₂不會(huì)作用于V_p，同時(shí)也使突觸權(quán)值控制電路的控制輸出也不會(huì)作用于V_p，電容C則通過R開始放電；V_p會(huì)在一定時(shí)間t內(nèi)保持高于V_mem，則V_out會(huì)在時(shí)間t內(nèi)保持高電平，即神經(jīng)元會(huì)在時(shí)間t內(nèi)保持激活狀態(tài)；在時(shí)間t內(nèi)，V_out會(huì)控制c點(diǎn)電壓為高而打開T_a2和T_b2兩個(gè)NMOS管，使V₁和V₂接地而不作用于M_a、M_b和神經(jīng)元，與此同時(shí)，V_out的高電平和V_ina、V_inb的高電平共同作用于突觸控制電路，那么突觸電路會(huì)發(fā)出控制信號(hào)使b點(diǎn)電壓高于a點(diǎn)電壓，從而減小憶阻器阻值，且此減小量ΔR₂大于開始的增大量ΔR₁，即ΔR₂>ΔR₁，結(jié)果是憶阻器阻值減小，突觸權(quán)值增大；至此完成一次學(xué)習(xí)；當(dāng)電容C放電使V_p低于V_men后，V_out恢復(fù)低電平狀態(tài)并使a、b點(diǎn)為高阻態(tài)且c點(diǎn)變?yōu)榱汶妷?，突觸控制電路不再作用于M_b，T_a2、T_b2和T_o1打開，則又開始下一次學(xué)習(xí)過程。要使V_inb能激活V_out，需要多次學(xué)習(xí)，一直到M_b的阻值小于R_th，才算完成一個(gè)學(xué)習(xí)過程。

更進(jìn)一步地，當(dāng)僅輸入V_ina時(shí)，V_out變?yōu)楦唠娖?，在高電平V_ina、V_out和低電平V_inb的作用下，突觸權(quán)值控制電路發(fā)出控制信號(hào)使a點(diǎn)電壓為高于b點(diǎn)電壓，從而增大憶阻器阻值；一直重復(fù)這個(gè)過程，當(dāng)阻值增大至大于R_th時(shí)，那么V_p<V_mem，V_inb不能再激活V_out；至此完成第一種遺忘過程；當(dāng)僅輸入V_inb時(shí)，T_b2打開，則由于電壓V₂的作用，憶阻器負(fù)端的電壓高于正端的電壓，那么憶阻器的阻值就會(huì)增大，突觸權(quán)值就會(huì)減小，V_inb會(huì)逐漸失去激活V_out的能力；高電平的V_inb、V_out和低電平的V_ina可以作用于突觸取值控制電路，使得在T_b2導(dǎo)通使得V₂不能作用于M_b的時(shí)間內(nèi)，使a點(diǎn)電壓高于b點(diǎn)電壓，從而加快這第二種遺忘過程，當(dāng)在M_b大于R_th即V_inb不能激活V_out后，這一加速遺忘過程也就不存在了。

更進(jìn)一步地，當(dāng)n為3時(shí)，所述突觸權(quán)值控制電路包括：NMOS管T₁、NMOS管T₂、NMOS管T₃、NMOS管T₅、NMOS管T₇、PMOS管T₄、PMOS管T₆，以及NMOS管T’₁、NMOS管T’₂、NMOS管T’₃、NMOS管T’₅、NMOS管T’₇、NMOS管T₈、PMOS管T’₄、PMOS管T’₆和PMOS管T₉；所述NMOS管T₁的控制端作為所述突觸權(quán)值控制電路的第一輸入端，所述NMOS管T₁的一端作為所述突觸權(quán)值控制電路的第一輸出控制端a₁，所述NMOS管T₂的控制端作為所述突觸權(quán)值控制電路的第二輸入端，所述NMOS管T₂的一端連接至所述NMOS管T₁的另一端，所述NMOS管T₃的一端連接至所述NMOS管T₂的另一端，所述NMOS管T₃的另一端接地，所述PMOS管T₄的控制端連接至所述NMOS管T₁的控制端，所述PMOS管T₆的控制端連接至所述NMOS管T₂的控制端，所述PMOS管T₄的一端與所述PMOS管T₆的一端連接后再與所述NMOS管T₁的一端連接，所述PMOS管T₄的另一端與所述PMOS管T₆的另一端連接后再與所述NMOS管T₅的一端連接，所述NMOS管T₅的另一端連接控制電源V_fg，所述NMOS管T₅的控制端連接至所述NMOS管T₃的控制端；所述NMOS管T₇的一端作為所述突觸權(quán)值控制電路的第一輸出控制端b₁，所述NMOS管T₇的另一端連接控制電源V_ln，所述NMOS管T₇的控制端與所述NMOS管T₅的控制端連接并作為所述突觸權(quán)值控制電路的第一輸出控制端c和反饋端V_b；所述NMOS管T’₁的控制端連接至所述NMOS管T₁的控制端，所述NMOS管T’₁的一端作為所述突觸權(quán)值控制電路的第一輸出控制端a₂，所述NMOS管T’₂的控制端連接至所述NMOS管T₂的控制端，所述NMOS管T’₂的一端連接至所述NMOS管T’₁的另一端，所述NMOS管T₈的控制端作為所述突觸權(quán)值控制電路的第三輸入端，所述NMOS管T₈的一端連接至所述NMOS管T’₂的另一端，所述NMOS管T₈的另一端連接至所述NMOS管T’₃的一端，所述NMOS管T’₃的另一端接地，所述PMOS管T’₄的控制端連接至所述NMOS管T’₁的控制端，所述PMOS管T’₆的控制端連接至所述NMOS管T’₂的控制端，所述PMOS管T₉的控制端連接至所述NMOS管T₈的控制端，所述PMOS管T’₄的一端與所述PMOS管T’₆的一端以及PMOS管T₉的一端連接后再與所述NMOS管T’₁的一端連接，所述PMOS管T’₄的另一端與所述PMOS管T’₆的另一端以及T₉的另一端連接后再與所述NMOS管T’₅的一端連接，所述NMOS管T’₅的另一端連接控制電源V’_fg，所述NMOS管T’₅的控制端連接至所述NMOS管T’₃的控制端；所述NMOS管T’₇的一端作為所述突觸權(quán)值控制電路的第一輸出控制端b₂，所述NMOS管T’₇的另一端連接控制電源V’_ln，所述NMOS管T’₇的控制端與所述NMOS管T’₅的控制端以及所述NMOS管T₇的控制端連接。

本發(fā)明包含以下優(yōu)點(diǎn)：

(1)有兩種遺忘功能。一種是通過憶阻器負(fù)端接輸入，正端接輸出，而使輸入電流反向流經(jīng)憶阻器實(shí)現(xiàn)的；另一種是通過突觸權(quán)值控制電路對(duì)憶阻兩端電壓進(jìn)行調(diào)控實(shí)現(xiàn)的。

(2)沒有錯(cuò)誤學(xué)習(xí)。錯(cuò)誤學(xué)習(xí)是指在以往的設(shè)計(jì)中，只給一個(gè)輸入也會(huì)產(chǎn)生學(xué)習(xí)行為，而正確的學(xué)習(xí)需要至少兩個(gè)輸入才能實(shí)現(xiàn)學(xué)習(xí)行為。本發(fā)明通過突觸權(quán)值控制電路針對(duì)不同輸入下對(duì)權(quán)值進(jìn)行調(diào)控避免了這一錯(cuò)誤。

(3)在線實(shí)時(shí)調(diào)節(jié)突觸權(quán)值。輸入和輸出反通過控制突觸權(quán)值控制電路實(shí)時(shí)調(diào)節(jié)突觸權(quán)值；

(4)以相對(duì)簡(jiǎn)單的結(jié)構(gòu)實(shí)現(xiàn)了較多功能。以往的設(shè)計(jì)要么功能少，要么結(jié)構(gòu)復(fù)雜。本發(fā)明通過設(shè)計(jì)各個(gè)模塊使整體結(jié)構(gòu)清晰，以相對(duì)簡(jiǎn)單的電路實(shí)現(xiàn)了更多功能。

附圖說明

圖1是本發(fā)明所設(shè)計(jì)的一種基于憶阻的巴普洛夫聯(lián)想記憶的人工神經(jīng)網(wǎng)絡(luò)電路的整體框圖；

圖2是本發(fā)明所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)中神經(jīng)元電路的結(jié)構(gòu)圖；

圖3是本發(fā)明所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)中有兩個(gè)輸入兩個(gè)突觸且有一個(gè)突觸的權(quán)值需要學(xué)習(xí)更新的突觸電路的結(jié)構(gòu)圖；

圖4是本發(fā)明的所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)中有兩個(gè)輸入兩個(gè)突觸且有一個(gè)突觸的權(quán)值需要學(xué)習(xí)更新的情況下的突觸權(quán)值控制電路的一種實(shí)現(xiàn)方式；

圖5是本發(fā)明所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)中有兩個(gè)輸入兩個(gè)突觸且有一個(gè)突觸的權(quán)值需要學(xué)習(xí)更新情況下的整體電路的結(jié)構(gòu)圖；

圖6是本發(fā)明所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)中有三個(gè)輸入三個(gè)突觸且有兩個(gè)突觸的權(quán)值需要學(xué)習(xí)更新情況下的整體電路的結(jié)構(gòu)圖；

圖7是本發(fā)明所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)中有三個(gè)輸入三個(gè)突觸并且有兩個(gè)突觸的權(quán)值需要學(xué)習(xí)更新的情況下的突觸權(quán)值控制電路的一種實(shí)現(xiàn)方式。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明的目的是針對(duì)現(xiàn)有設(shè)計(jì)的不足，提供一種新型的基于憶阻的巴普洛夫聯(lián)想記憶的人工神經(jīng)網(wǎng)絡(luò)電路實(shí)現(xiàn)。本發(fā)明除了有“學(xué)習(xí)”功能，還有兩種“遺忘”功能，通過突觸輸入的狀態(tài)以及神經(jīng)元輸出的狀態(tài)實(shí)時(shí)調(diào)節(jié)突觸權(quán)值，以實(shí)現(xiàn)學(xué)習(xí)和遺忘功能。并且本發(fā)明可以組建大型人工神經(jīng)網(wǎng)絡(luò)電路，具有良好的應(yīng)用前景。

以上四個(gè)技術(shù)效果對(duì)基于憶阻的巴普洛夫聯(lián)想記憶的人工神經(jīng)網(wǎng)絡(luò)有著很關(guān)鍵的作用，解決了傳統(tǒng)巴普洛夫聯(lián)想記憶的人工神經(jīng)網(wǎng)絡(luò)與現(xiàn)有基于憶阻的巴普洛夫聯(lián)想記憶的人工神經(jīng)網(wǎng)絡(luò)的相關(guān)問題。

首先說明一下本發(fā)明實(shí)現(xiàn)的功能。在巴普洛夫?qū)嶒?yàn)中，給狗喂食物的時(shí)候狗會(huì)分泌唾液，這是生物本能，而只打鈴不給食物狗不會(huì)分泌唾液；在給食物的同時(shí)打鈴，過一段時(shí)間之后只打鈴狗也會(huì)分泌唾液。鈴聲和食物之間或者說鈴聲和分泌唾液之間建立了聯(lián)系，這是通過學(xué)習(xí)來實(shí)現(xiàn)的。如果在學(xué)習(xí)之后，只給食物的話，那么過一段時(shí)間之后，狗聽到鈴聲不再分泌唾液，也就是遺忘了鈴聲與食物或唾液之間的關(guān)系。如果在學(xué)習(xí)之后，只打鈴，狗開始會(huì)分泌唾液，但是當(dāng)狗意識(shí)到這次打鈴并沒有給它食物之后，逐漸就不會(huì)分泌唾液，這也是一種遺忘。本發(fā)明就實(shí)現(xiàn)了這種學(xué)習(xí)和這兩種遺忘功能。當(dāng)然除了食物和鈴聲還可以學(xué)習(xí)其他相關(guān)聯(lián)的東西，如看到香蕉和聞到香蕉味，那么可以把聞到香蕉味關(guān)聯(lián)到會(huì)有香蕉上去。在本發(fā)明中，V_ina和V_inb就相當(dāng)于食物和鈴聲，V_out相當(dāng)于唾液。這是只有兩種聯(lián)想輸入的情況，本發(fā)明可以適用于多種聯(lián)想輸入的情況。在多種聯(lián)想輸入的情況下，突觸分為不需要學(xué)習(xí)更新權(quán)值(如狗看到食物分泌唾液是生物本能，不需要學(xué)習(xí))和需要學(xué)習(xí)更新權(quán)值(如狗學(xué)習(xí)到了鈴聲和食物相關(guān)因而打鈴也會(huì)分泌唾液)兩種情況，其中能學(xué)習(xí)更新權(quán)值的突觸也會(huì)“遺忘”所更新的權(quán)值。要實(shí)現(xiàn)學(xué)習(xí)和遺忘功能，這兩種突觸至少各有一個(gè)，即至少有一個(gè)非條件反射和條件反射，學(xué)習(xí)和遺忘行為才能進(jìn)行?？梢钥闯蓹?quán)值固定的突觸是學(xué)習(xí)和遺忘行為的教授者，權(quán)值會(huì)改變的突觸是學(xué)習(xí)行為和遺忘的實(shí)施者。

圖1示出了本發(fā)明提供的一種基于憶阻的巴普洛夫聯(lián)想記憶的人工神經(jīng)網(wǎng)絡(luò)電路的結(jié)構(gòu)，具體包括：突觸電路、神經(jīng)元電路和突觸權(quán)值控制電路；突觸電路包括n個(gè)輸入端、n個(gè)輸出端和2x+1(x為需要學(xué)習(xí)更新權(quán)值即需要調(diào)整憶阻器阻值的突觸的數(shù)量，與需要構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)，因?yàn)橹辽儆幸粋€(gè)權(quán)值固定的突觸，所以1≤x≤n-1，至于為什么是2x+1將在圖3部分介紹)個(gè)控制端，n個(gè)輸入端分別接收n個(gè)輸入電壓，n為大于等于2的整數(shù)，突觸電路用于將輸入乘以權(quán)值再輸出；神經(jīng)元電路包括n個(gè)輸入端和一個(gè)輸出端，n個(gè)輸入端分別與突觸電路的n個(gè)輸出端一一對(duì)應(yīng)連接，一個(gè)輸出端輸出激活電壓V_out；突觸權(quán)值控制電路包括n個(gè)輸入端、一個(gè)反饋端和2x+1個(gè)輸出控制端，n個(gè)輸入端分別接到突觸電路的n個(gè)輸入上，反饋端連接在神經(jīng)元電路的輸出端，2x+1個(gè)輸出端分別連接至突觸電路的2x+1個(gè)控制端，突觸權(quán)值控制電路用于根據(jù)輸入的狀態(tài)和反饋的狀態(tài)來輸出相應(yīng)的控制信號(hào)進(jìn)而調(diào)整憶阻器阻值。

圖2示出了本發(fā)明提供的神經(jīng)元電路的結(jié)構(gòu)，具體包括：n個(gè)輸入端、一個(gè)電阻、一個(gè)電容、一個(gè)二極管、一個(gè)PMOS管，一個(gè)比較器P。n個(gè)輸入端接PMOS管T_o1的一端，T_o1的另一端接二極管D_o1的陽極，D_o1的陰極接電阻R的一端、電容C的一端、比較器P的正輸入端V_p，電阻R的另一端接地，電容C的另一端以及PMOS管的柵極接比較器P的輸出V_out，P的負(fù)輸入端接參考電壓V_mem。比較器P的輸出V_out即是神經(jīng)元的輸出。神經(jīng)元未激活的時(shí)候PMOS管T_o1是導(dǎo)通狀態(tài)，輸入流經(jīng)電阻R，會(huì)在比較器P的正輸入端產(chǎn)生電壓V_p，V_p≈V_in，如果V_p大于P負(fù)輸入端的參考電壓V_mem時(shí)，比較器輸出V_out為高電平，否則輸出零。電容C的作用是，在V_out變?yōu)楦唠娖降臅r(shí)候，因?yàn)殡娙輧啥说碾妷翰荒芡蛔?，所以?huì)帶動(dòng)V_p也升高，然后電容C通過電阻R開始放電，在V_p降至V_men的時(shí)間內(nèi)，V_out會(huì)一直保持高電平，即保持神經(jīng)元的激活狀態(tài)。神經(jīng)元在激活狀態(tài)下，T_o1會(huì)阻斷輸入，輸入不對(duì)神經(jīng)元起作用，這就是生物上的神經(jīng)元“不應(yīng)期”。二極管Do1的作用是防止T_o1反向?qū)ā．?dāng)神經(jīng)元恢復(fù)靜止?fàn)顟B(tài)時(shí)，V_out恢復(fù)低電平狀態(tài)，T_a2、T_b2和T_o1打開，突觸電路繼續(xù)作用于神經(jīng)元，V_out又會(huì)變?yōu)楦唠娖?，進(jìn)行下一個(gè)過程。本神經(jīng)元電路可以較好地模擬硬極限激活函數(shù)。

圖3是本發(fā)明n＝2時(shí)的突觸電路結(jié)構(gòu)圖，以n＝2為例進(jìn)行說明如下：包括(a)和(b)兩個(gè)不同的部分，其不同之處在于憶阻器的接入方向不同以及(b)部分的憶阻器阻值需要進(jìn)行調(diào)整而(a)部分憶阻器阻值不需要調(diào)整或調(diào)整很小。該突觸電路包括兩個(gè)輸入、兩個(gè)憶阻器、兩個(gè)NMOS管、兩個(gè)PMOS管，兩個(gè)二極管、兩個(gè)輸出。兩個(gè)輸入V_ina和V_inb分別接NMOS管T_a1和T_b1的柵極。T_a1和T_b1的一端分別接電源V₁和V₂，另一端分別接T_a2和T_b2的一端。T_a2和T_b2的另一端分別接憶阻器M_a的正端和M_b的負(fù)端，M_a的負(fù)端和M_b的正端分別接二極管D_a和D_b的陽極，D_a和D_b的陰極分別是兩個(gè)突觸的輸出V_o1和V_o2。同時(shí)兩個(gè)輸入V_ina和V_inb，以及激活電壓V_out接入突觸控制電路，突觸控制電路的三個(gè)輸出分別接(b)部分的a點(diǎn)、b點(diǎn)、c點(diǎn)。V_ina和V_inb分別通過控制T_a1和T_b1的通斷來控制V₁和V₂是否作用于突觸電路。V₁和V₂是負(fù)載電源，可以驅(qū)動(dòng)突觸電路使其產(chǎn)生有效輸出，并可以調(diào)整憶阻器阻值。T_a2和T_b2通過控制端c來根據(jù)神經(jīng)網(wǎng)絡(luò)的狀態(tài)來控制V₁和V₂是否繼續(xù)作用于突觸電路。憶阻器M_a和M_b是突觸的模仿者，通過其阻值的變化來模仿權(quán)值的變化，當(dāng)阻值增大時(shí)權(quán)值減小，阻值減小時(shí)權(quán)值增大。二極管D_a和D_b保證了突觸只能單向輸出。突觸控制權(quán)值電路根據(jù)神經(jīng)網(wǎng)絡(luò)的狀態(tài)在控制點(diǎn)a、b、c產(chǎn)生控制信號(hào)而調(diào)整憶阻器阻值。突觸電路的工作流程如下：當(dāng)有輸入V_ina和V_inb時(shí)，T_a1和T_b1導(dǎo)通。此時(shí)由于V_out沒有輸出，則突觸權(quán)值控制電路控制c點(diǎn)輸出零電壓，T_a2和T_b2導(dǎo)通，V₁和V₂加在M_a和M_b上。因?yàn)镸_a加的是正電壓，所以M_a的阻值減小，穩(wěn)定后保持在最低阻值的狀態(tài)；M_b加的是負(fù)電壓(V₂加在其負(fù)端)，所以其阻值增大。在激活神經(jīng)元之后，突觸權(quán)值控制電路會(huì)根據(jù)神經(jīng)網(wǎng)絡(luò)的狀態(tài)控制M_b的阻值需要增大還是減小。如果需要增大，則a點(diǎn)電壓高于b點(diǎn)電壓，反之a(chǎn)點(diǎn)電壓低于b點(diǎn)電壓。如果突觸電路包含n個(gè)突觸，因?yàn)閏點(diǎn)可以同時(shí)控制n個(gè)突觸的與T_a2相同位置的NMOS管，而更憶阻器的阻值則需要兩個(gè)控制端，所以對(duì)于n個(gè)突觸中有x個(gè)需要學(xué)習(xí)更新權(quán)值的突觸電路來說，突觸權(quán)值控制電路要輸出2x+1個(gè)控制端。

圖4所示為突觸權(quán)值控制電路的一種實(shí)現(xiàn)形式，其實(shí)現(xiàn)并不局限于這一種方式。該電路包括：兩個(gè)輸入端、一個(gè)反饋端、三個(gè)輸出端、五個(gè)NMOS管、兩個(gè)PMOS管、兩個(gè)控制電源。兩個(gè)輸入V_in1和V_in2來自突觸的兩個(gè)輸入，一個(gè)反饋V_b來自神經(jīng)元輸出。三個(gè)輸出a、b、c接入到突觸電路。T₁、T₂、T₃、T₅、T₇為NMOS管，T₄、T₆為PMOS管，V_ln和V_fg是控制電源且V_fg>V_ln。V_in1接在T₁和T₄的柵極，控制T₁和T₄的開斷；V_in2接在T₂和T₆的柵極，控制T₂和T₆的開斷；V_b接在T₃、T₅、T₇的柵極，控制T₃、T₅、T₇的開斷，c點(diǎn)直接輸出V_out。T₁的一端接a端輸出，另一端接T₂的一端，T₂的另一端接T₃的一端，T₃的另一端接地。T₄和T₆的一端接一起并從a端輸出，另一端接一起并接T₅的一端，T₅的另一端接電源V_fg。T₇的一端接b端輸出，另一端接電源V_ln。(1)當(dāng)V_in1和V_in2都輸入高電平時(shí)，T₁、T₂導(dǎo)通，T₄、T₆關(guān)斷。在神經(jīng)元輸出高電平之前，T3、T5、T7都是關(guān)斷的，a、b、c三點(diǎn)都是高阻態(tài)，對(duì)突觸電路不起作用。因?yàn)橥挥|的兩個(gè)輸入至少有一個(gè)能激活神經(jīng)元，所以在神經(jīng)元輸出高電平時(shí)，V_b也是高電平，此時(shí)T₃、T₇導(dǎo)通，則a點(diǎn)接地，b點(diǎn)輸出電壓V_ln，從而b電壓高于a電壓，進(jìn)而減小憶阻器阻值。(2)當(dāng)僅輸入V_in1時(shí)(對(duì)應(yīng)突觸電路的V_ina)，神經(jīng)元會(huì)輸出高電平即V_b為高電平，此時(shí)T₃、T₅、T₆、T₇導(dǎo)通，T₂、T₄斷開，則a點(diǎn)輸出V_fg，b點(diǎn)輸出V_ln，因?yàn)閂_fg大于V_ln，所以a點(diǎn)電壓大于b點(diǎn)電壓，從而增大憶阻器阻值。(3)在學(xué)習(xí)過程進(jìn)行完之后，如果僅輸入V_in2(對(duì)應(yīng)于突觸電路的V_inb)，開始時(shí)神經(jīng)元是輸出高電平的，即V_b為高電平，此時(shí)T₃、T₄、T₅、T₇導(dǎo)通，T₁、T₆斷開，此時(shí)a點(diǎn)輸出V_fg，b點(diǎn)輸出V_ln，所以憶阻器阻值增大，這個(gè)過程和上述第二種遺忘過程中描述的V₂直接作用于M_b增大憶阻器阻值共同構(gòu)成了第二種遺忘過程。當(dāng)M_b增大大于R_th即V_in2對(duì)應(yīng)的V_inb不能激活神經(jīng)元之后，這種過程就會(huì)消失，而突觸電路中僅剩V₂作用于M_b這一增大M_b阻值的過程。該電路可以通過增加與T₁、T₂串聯(lián)的NMOS管，與T₄、T₆并聯(lián)的PMOS管來增加突觸輸入的控制端。需要說明的是，本段描述僅用于圖4所示實(shí)現(xiàn)方式的說明，對(duì)于其他方式并不局限于本描述。

圖5是本發(fā)明n＝2時(shí)的整體電路結(jié)構(gòu)圖。以n＝2為例進(jìn)行說明：本神經(jīng)網(wǎng)絡(luò)電路包括突觸電路、神經(jīng)元電路、突觸權(quán)值控制電路。突觸電路的兩個(gè)輸入同時(shí)接到突觸權(quán)值控制電路的兩個(gè)輸入端，兩個(gè)輸出接神經(jīng)元電路的輸入。神經(jīng)元電路的輸出反饋接到控制電路的反饋端。V_ina和V_inb相當(dāng)于巴普洛夫?qū)嶒?yàn)中的食物和鈴聲。憶阻器M_a的初始阻值很小，因此只要有輸入V_ina時(shí)，V_o1可以使V_p≈V_in>V_mem，便可以激活神經(jīng)元，使V_out輸出高電平(這一過程簡(jiǎn)稱為激活V_out)。而M_b的初始阻值很大，所以單獨(dú)輸入V_inb不能激活V_out。要激活V_out，則V_p要大于V_mem，即(為便于計(jì)算忽略二極管D_a或D_b、D_o1的導(dǎo)通壓降)：

則

其中V是V₁或V₂，R_M是作為突觸的憶阻的阻值，R_s為通路上的MOS管導(dǎo)通電阻，那么V_ina和V_inb要激活V_out，M_a和M_b的阻值要滿足條件(2)。設(shè)那么就要把M_a的阻值固定在小于R_th的一個(gè)值，而M_b則要在小于R_th和大于R_th的值之間變化，以實(shí)現(xiàn)學(xué)習(xí)和遺忘。

學(xué)習(xí)過程：學(xué)習(xí)過程是V_inb從不能激活V_out到通過學(xué)習(xí)后能激活V_out的過程，通過減小憶阻器M_b的阻值即增大突觸權(quán)值來實(shí)現(xiàn)。該學(xué)習(xí)過程需要同時(shí)輸入V_ina和V_inb來完成。當(dāng)同時(shí)輸入V_ina和V_inb時(shí)，T_a1和T_b1打開，由于此時(shí)V_out為零電平，故PMOS管T_o1處于打開狀態(tài)。V₁和V₂分別正向和反向流過憶阻器，憶阻器M_a阻值變小或保持在很小的狀態(tài)，M_b的阻值變大(設(shè)增大量為ΔR₁)或保持在很大的狀態(tài)。由于M_a阻值小于R_th，那么V_p就會(huì)大于參考電壓V_mem，那么V_out便會(huì)輸出高電平，即神經(jīng)元被激活。同時(shí)由于電容C兩端的電壓不會(huì)突變，所以V_p會(huì)突然升高并高于V_mem，V_out控制突觸控制電路使c點(diǎn)電壓為高進(jìn)而關(guān)斷T_a2、T_b2、T_o1，V₁和V₂不會(huì)作用于V_p，同時(shí)也使突觸權(quán)值控制電路的控制輸出也不會(huì)作用于V_p，電容則開始放電。其中在T_o1斷開時(shí)間內(nèi)，外界的輸入都不會(huì)對(duì)神經(jīng)元產(chǎn)生影響，稱為“不應(yīng)期”。由于電容放電需要一定時(shí)間，那么V_p會(huì)在一定時(shí)間t內(nèi)保持高于V_mem，則V_out會(huì)在時(shí)間t內(nèi)保持高電平，即神經(jīng)元會(huì)在時(shí)間t內(nèi)保持激活狀態(tài)。在時(shí)間t內(nèi)，V_out會(huì)控制c點(diǎn)電壓為高而打開T_a2和T_b2兩個(gè)NMOS管，使V₁和V₂接地從而不作用于M_a、M_b和神經(jīng)元。與此同時(shí)，V_out的高電平和V_ina、V_inb的高電平共同作用于突觸控制電路，那么突觸電路會(huì)發(fā)出控制信號(hào)使b點(diǎn)電壓高于a點(diǎn)電壓，從而減小憶阻器阻值，且此減小量ΔR₂大于開始的增大量ΔR₁，即ΔR₂>ΔR₁，結(jié)果憶阻器阻值減小，突觸權(quán)值增大。至此完成一次學(xué)習(xí)。當(dāng)電容C放電使V_p低于V_men后，V_out恢復(fù)低電平狀態(tài)并使a、b點(diǎn)為高阻態(tài)且c點(diǎn)變?yōu)榱汶妷?，突觸控制電路不再作用于M_b，T_a2、T_b2和T_o1打開，則又開始下一次學(xué)習(xí)過程。要使V_inb能激活V_out，需要多次學(xué)習(xí)，一直到M_b的阻值小于R_th，才算完成一個(gè)學(xué)習(xí)過程。

遺忘過程：遺忘過程是在V_inb學(xué)習(xí)到激活V_out的能力后，通過單獨(dú)輸入V_ina或V_inb一段時(shí)間，從而失去了激活V_out的能力，這種能力的失去通過增大憶阻器M_b的阻值即減小突觸權(quán)值來實(shí)現(xiàn)。在本發(fā)明有兩種遺忘過程，分別記為第一種遺忘過程和第二種遺忘過程。

第一種遺忘過程：當(dāng)僅輸入V_ina時(shí)，與學(xué)習(xí)過程類似，V_out會(huì)變?yōu)楦唠娖剑诟唠娖絍_ina、V_out和低電平V_inb的作用下，突觸權(quán)值控制電路發(fā)出控制信號(hào)使a點(diǎn)電壓為高于b點(diǎn)電壓，從而增大憶阻器阻值。一直重復(fù)這個(gè)過程，當(dāng)阻值增大到大于R_th后，那么V_p<V_mem，V_inb不能再激活V_out。至此完成第一種遺忘過程。

第二種遺忘過程：當(dāng)僅輸入V_inb時(shí)，T_b2打開，則由于電壓V₂的作用，憶阻器負(fù)端的電壓高于正端的電壓，那么憶阻器的阻值就會(huì)增大，突觸權(quán)值就會(huì)減小，與第一種遺忘過程類似，V_inb會(huì)逐漸失去激活V_out的能力。另外，高電平的V_inb、V_out和低電平的V_ina可以作用于突觸取值控制電路，使得在T_b2打開V₂不能作用于M_b的時(shí)間內(nèi)，使a點(diǎn)電壓高于b點(diǎn)電壓，從而加快這一遺忘過程，當(dāng)然在M_b大于R_th即V_inb不能激活V_out后，這一加速遺忘過程也就不存在了。

圖6給出了一種三輸入的憶阻神經(jīng)網(wǎng)絡(luò)實(shí)施例，與兩輸入的神經(jīng)網(wǎng)絡(luò)不同的是它有三個(gè)輸入，三個(gè)突觸電路(增加了一個(gè)需要學(xué)習(xí)的突觸，即n＝3，x＝2)。其中，V_in2和V_in1有聯(lián)想，即V_in1和V_in2同時(shí)輸入時(shí)V_in2所輸入的突觸權(quán)值才能更新，V_in2才能學(xué)習(xí)到激活V_out的能力，任意一個(gè)單獨(dú)輸入就會(huì)對(duì)V_in2產(chǎn)生遺忘作用。V_in1、V_in2、V_in3同時(shí)輸入時(shí)V_in3所輸入的突觸權(quán)值才能更新，V_in3才能學(xué)習(xí)到激活V_out的能力，任意一個(gè)或兩個(gè)輸入均會(huì)對(duì)V_in3產(chǎn)生遺忘作用。其工作原理與圖5所示兩輸入的電路類似。

圖7給出了一種三個(gè)輸入端和一個(gè)反饋端的突觸權(quán)值控制電路(即圖6中的)的示例。由于圖6神經(jīng)網(wǎng)絡(luò)電路有兩個(gè)突觸權(quán)值要學(xué)習(xí)更新，所以改突觸權(quán)值控制電路有五個(gè)輸出端。該電路包括三個(gè)輸入端、一個(gè)反饋端、五個(gè)輸出端。(a)部分與圖4中的電路相同，且輸出a₁、b₁，(b)部分則在圖4電路的基礎(chǔ)上，多了一個(gè)與T₁和T₂串聯(lián)的NMOS管T₈，多了一個(gè)與T₄和T₆并聯(lián)的PMOS管T₉，輸出a₂，b₂，c。兩部分的構(gòu)造和原理與圖4所示電路相同。這樣便可以組建多輸入的突觸權(quán)值控制電路。

本發(fā)明提供了一種基于憶阻的巴普洛夫聯(lián)想記憶的人工神經(jīng)網(wǎng)絡(luò)電路，所設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)電路具有新型的突觸電路，具有模擬硬極限激活函數(shù)的神經(jīng)元電路，具有突觸權(quán)值控制電路，可組建大型人工神經(jīng)網(wǎng)絡(luò)電路。

本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。