本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域,尤其是涉及一種神經(jīng)元電路和神經(jīng)形態(tài)電路。
背景技術(shù):
隨著人工神經(jīng)網(wǎng)絡(luò)的規(guī)模越來越大,面積與功耗問題變得越來越重要。因此,如今在神經(jīng)元電路的設(shè)計(jì)中要考慮的主要問題便是如何以盡可能低的代價(jià)實(shí)現(xiàn)盡可能豐富的生物特性。
最初的神經(jīng)元電路往往采用hodgkin-huxley模型實(shí)現(xiàn),雖然此模型能夠最精確地描述生物行為,但復(fù)雜龐大的參數(shù)與公式使其在硬件實(shí)現(xiàn)過程中面臨諸多困難。為了解決這個(gè)問題,人們開始尋找其他的神經(jīng)元模型,其中包括積累釋放(integrated&fire)模型。積累釋放(integrated&fire)模型因其實(shí)現(xiàn)代價(jià)小而被廣泛應(yīng)用,但它那不夠豐富的生物特性又使其在許多場(chǎng)合捉襟見肘。直到2003年,izhikevich提出一種新的模型才使得神經(jīng)元電路能夠在性能與代價(jià)二者間實(shí)現(xiàn)較好的平衡。目前,izhikevich模型是應(yīng)用最為廣泛的神經(jīng)元模型。除此之外,基于電導(dǎo)的神經(jīng)元電路也是一種非常好的實(shí)現(xiàn)方式,它能夠以較小的代價(jià)實(shí)現(xiàn)包括rs、ib在內(nèi)的多種生物神經(jīng)元激發(fā)模式。
然而在現(xiàn)有技術(shù)中,無論采用何種方式搭建神經(jīng)元電路,往往都是通過改變自身參數(shù)或調(diào)節(jié)偏置電壓來實(shí)現(xiàn)不同的生物特性,這使得電路自身對(duì)工藝、電壓及溫度三者的波動(dòng)頗為敏感。不僅如此,在現(xiàn)有技術(shù)中,神經(jīng)元電路往往存在著常導(dǎo)通的路徑,這又會(huì)帶來額外的功耗。
技術(shù)實(shí)現(xiàn)要素:
(一)解決的技術(shù)問題
本發(fā)明提供一種神經(jīng)元電路,可以改善現(xiàn)有技術(shù)使電路自身對(duì)工藝、電壓及溫度三者的波動(dòng)比較敏感的技術(shù)問題,并擁有較小的功耗與面積。
(二)技術(shù)方案
第一方面,本發(fā)明提供的神經(jīng)元電路,包括一個(gè)脈沖產(chǎn)生電路以及與所述脈沖產(chǎn)生電路的控制端連接的一個(gè)u單元;所述脈沖產(chǎn)生電路用于將輸入電流轉(zhuǎn)化為脈沖序列,所述u單元用于控制所述脈沖產(chǎn)生電路產(chǎn)生脈沖的激發(fā)模式和脈沖間距。
可選的,所述脈沖產(chǎn)生電路具有第一輸入端、第一輸出端、反向輸出端以及第一控制端,且包括:一個(gè)第一電容、四個(gè)反相器、兩個(gè)n型晶體管,其中:
所述第一電容連接在所述第一輸入端和接地端之間;
所述四個(gè)反相器中的三個(gè)串聯(lián)在所述第一輸入端和所述反向輸出端之間;剩余一個(gè)反相器連接在所述反向輸出端和所述第一輸出端之間;
所述兩個(gè)n型晶體管的一個(gè)n型晶體管的柵極連接所述第一輸出端,該n型晶體管的源極和漏極中的一個(gè)電極連接所述第一輸入端,另一個(gè)電極連接另一個(gè)n型晶體管的源極和漏極中的一個(gè)電極;該另一個(gè)n型晶體管的源極和漏極中的另一個(gè)電極連接接地端,且該另一個(gè)n型晶體管的柵極連接所述u單元的輸出端。
可選的,所述脈沖產(chǎn)生電路中與u單元連接的n型晶體管的長(zhǎng)為60nm,寬為720nm;和/或,所述脈沖產(chǎn)生電路中的另一個(gè)n型晶體管的長(zhǎng)為60nm,寬為360nm;和/或,所述第一電容的尺寸為1ff。
可選的,所述u單元具有兩個(gè)第二控制端和一個(gè)第二輸出端,且包括五個(gè)n型晶體管、兩個(gè)p型晶體管和一個(gè)第二電容,所述五個(gè)n型晶體管包括第一n型晶體管、第二n型晶體管、第三n型晶體管、第四n型晶體管和第五n型晶體管;所述兩個(gè)p型晶體管包括第一p型晶體管和第二p型晶體管;
所述第一n型晶體管的柵極連接兩個(gè)第二控制端中的一個(gè),漏極和源極中的一個(gè)電極連接接地端,另一個(gè)電極連接第三n型晶體管的漏極和源極中的一個(gè)電極;所述第三n型晶體管的漏極和源極中的另一個(gè)電極以及柵極連接所述第二輸出端;
所述第二n型晶體管的柵極連接兩個(gè)第二控制端中的另一個(gè),漏極和源極中的一個(gè)電極連接接地端,另一個(gè)電極連接第四n型晶體管的漏極和源極中的一個(gè)電極;所述第四n型晶體管的漏極和源極中的另一個(gè)電極連接所述第二輸出端;
所述第五n型晶體管的柵極連接所述第二輸出端,漏極和源極中的一個(gè)電極連接接地端,另一個(gè)電極連接第四n型晶體管的柵極;
所述第一p型晶體管的柵極連接所述反向輸出端,漏極和源極中的一個(gè)電極連接工作電壓端,另一個(gè)電極所述第二輸出端;
所述第二p型晶體管的柵極連接工作電壓端,漏極和源極中的一個(gè)電極連接工作電壓端,另一個(gè)電極連接所述第四n型晶體管的柵極;
所述第二電容的一端連接接地端,另一端連接所述第二輸出端;
所述兩個(gè)第二控制端輸入不同的控制信號(hào)對(duì)應(yīng)不同的激發(fā)模式。
可選的,所述第一p型晶體管的長(zhǎng)為400nm,寬為120nm;和/或,所述第二p型晶體管的長(zhǎng)為60nm,寬為360nm;和/或,所述第五n型晶體管的長(zhǎng)為100nm,寬為120nm;和/或,所述第一n型晶體管、所述第二n型晶體管、所述第三n型晶體管或所述第四n型晶體管的長(zhǎng)為60nm,寬為120nm;和/或,所述第二電容的尺寸為8ff。
可選的,所述激發(fā)模式包括rs模式、ib模式和fs模式。
第二方面,本發(fā)明提供一種神經(jīng)形態(tài)電路,包括至少一個(gè)電路單元,每一個(gè)電路單元包括多個(gè)一級(jí)神經(jīng)元電路、與所述多個(gè)一級(jí)神經(jīng)元電路一一對(duì)應(yīng)連接的多個(gè)突觸電路以及與所述多個(gè)突觸電路均連接的二級(jí)神經(jīng)元電路;其中:
所述一級(jí)神經(jīng)元電路和/或所述二級(jí)神經(jīng)元電路為權(quán)利要求1~6任一所述的神經(jīng)元電路;
所述多個(gè)突觸電路包括興奮型突觸電路和抑制型突觸電路;
每一突觸電路用于根據(jù)各自的預(yù)設(shè)權(quán)值將所連接的一級(jí)神經(jīng)元電路產(chǎn)生的脈沖序列轉(zhuǎn)化為突觸后電流并將所述突觸后電流傳輸至所述二級(jí)神經(jīng)元電路。
可選的,所述興奮型突觸電路具有第三控制端、第三輸入端和第三輸出端,包括:第三p型晶體管、第四p型晶體管、第五p型晶體管、第六n型晶體管和第七n型晶體管,其中:
所述第三p型晶體管的柵極連接所述第三輸入端,漏極和源極中的一個(gè)電極連接工作電壓端,另一個(gè)電極連接所述第四p型晶體管的柵極;
所述第七n型晶體管的柵極連接所述第三控制端,漏極和源極中的一個(gè)電極連接接地端,另一個(gè)電極連接所述第六n型晶體管的漏極和源極中的一個(gè)電極;
所述第六n型晶體管的漏極和源極中的另一個(gè)電極連接所述第四p型晶體管的柵極,所述第六n型晶體管的柵極連接所述第三輸入端;
所述第五p型晶體管的柵極連接工作電壓端,漏極和源極中的一個(gè)電極連接所述第三輸出端,另一個(gè)電極連接所述第四p型晶體管的源極和漏極中的一個(gè)電極;所述第四p型晶體管的源極和漏極中的另一個(gè)電極連接工作電壓端。
可選的,所述抑制型突觸電路具有第四輸入端、第四輸出端和第四控制端,且包括第八n型晶體管和第九n型晶體管,其中:
所述第八n型晶體管的柵極連接所述第四輸入端,柵極和漏極中的一個(gè)電極連接所述第四輸出端,另一個(gè)電極連接所述第九n型晶體管的源極和漏極中的一個(gè)電極;所述第九n型晶體管的源極和漏極中的另一個(gè)電極連接接地端,柵極連接所述第四控制端。
可選的,還包括:基于生物算法的控制電路,用于向第三控制端或第四控制端輸入控制信號(hào)。
(三)有益效果
本發(fā)明提供的神經(jīng)元電路和神經(jīng)形態(tài)電路,脈沖產(chǎn)生電路用以產(chǎn)生脈沖序列,而u單元用以對(duì)脈沖序列的激發(fā)模式和脈沖間距進(jìn)行調(diào)整,以實(shí)現(xiàn)模擬不同類型的生物神經(jīng)元可見,本發(fā)明提供的神經(jīng)元電路利用u單元對(duì)脈沖產(chǎn)生電路進(jìn)行控制,以實(shí)現(xiàn)不同的生物特性,而并沒有采用任何的偏置電壓,相對(duì)于現(xiàn)有技術(shù)中采用改變偏置電壓的方式實(shí)現(xiàn)不同生物特性,避免了電路自身對(duì)工藝、電壓及溫度三者的波動(dòng)的敏感性,且使得電路更易實(shí)現(xiàn);同時(shí)電路中不存在常開的通路,使得電路功耗較低。
附圖說明
為了更清楚地說明本公開實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見地,下面描述中的附圖僅僅是本公開的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些圖獲得其他的附圖。
圖1示出了本發(fā)明一實(shí)施例中神經(jīng)元電路的結(jié)構(gòu)示意圖;
圖2示出了rs模式下脈沖序列的示意圖;
圖3示出了ib模式下脈沖序列的示意圖;
圖4示出了fs模式下脈沖序列的示意圖;
圖5示出了本發(fā)明一實(shí)施例中神經(jīng)形態(tài)電路的一個(gè)電路單元的結(jié)構(gòu)示意圖;
圖6示出了本發(fā)明一實(shí)施例中興奮型突觸電路的結(jié)構(gòu)示意圖;
圖7示出了本發(fā)明一實(shí)施例中抑制型突觸電路的結(jié)構(gòu)示意圖;
圖8示出了rs工作模式下的神經(jīng)元電路在興奮型突觸電路驅(qū)動(dòng)下,當(dāng)w_exc電壓值為400mv時(shí)的仿真結(jié)果;
圖9示出了rs工作模式下的神經(jīng)元電路在興奮型突觸電路驅(qū)動(dòng)下,當(dāng)w_exc電壓值為650mv時(shí)的仿真結(jié)果;
圖10示出了rs工作模式下的神經(jīng)元電路在興奮型突觸電路驅(qū)動(dòng)下,當(dāng)w_exc電壓值為900mv時(shí)的仿真結(jié)果;
圖11示出了spike_pree端輸入的興奮型脈沖示意圖;
圖12示出了rs工作模式下的神經(jīng)元電路在興奮型突觸和抑制型突觸共同驅(qū)動(dòng)下,當(dāng)w_exc電壓值為900mv,w_inh電壓值為300mv時(shí)的仿真結(jié)果;
圖13示出了spike_pree端輸入興奮型脈沖示意圖;
圖14示出了spike_prei端輸入抑制型脈沖示意圖;
附圖標(biāo)記說明:
psc-脈沖產(chǎn)生電路的輸入電流;output-第一輸出端;
p1-第一p型晶體管;p2-第二p型晶體管;n1-第一n型晶體管;n2-第二n型晶體管;n3-第三n型晶體管;n4-第四n型晶體管;n5-第五n型晶體管;ctr1、ctr2-第二控制端;cu-第二電容;u-u單元的第二輸出端即脈沖產(chǎn)生電路的第一控制端;ip1、ictr1、ictr2-u單元的分支電流;
psc1、psc2、psc3-相應(yīng)神經(jīng)元電路的輸入電流;neuron1、neuron2-一級(jí)神經(jīng)元電路;neuron3-二級(jí)神經(jīng)元電路;spike_pree-一級(jí)神經(jīng)元電路neuron1生成的脈沖序列;spike_prei-一級(jí)神經(jīng)元電路neuron2生成的脈沖序列;e-synapse-興奮型突觸電路;i-synapse-抑制型突觸電路;
p3-第三p型晶體管;p4-第四p型晶體管;p5-第五p型晶體管;n6-第六n型晶體管;n7-第七n型晶體管;spike_pree-第三輸入端;w_exc-第三控制端;epsc-第三輸出端;
n8-第八n型晶體管;n9-第九n型晶體管;ipsc-第四輸出端;w_inh-第四控制端;spike_prei-第四輸入端。
具體實(shí)施方式
下面將結(jié)合本公開實(shí)施例中的附圖,對(duì)本公開實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒竟_中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本公開保護(hù)的范圍。
首先,介紹生物神經(jīng)元的激發(fā)模式,生物神經(jīng)元可以分為興奮型與抑制型兩種,根據(jù)在階躍電流輸入下輸出的不同,又可進(jìn)一步細(xì)分為多種類型,其中:
興奮型神經(jīng)元能夠通過興奮型突觸使后級(jí)神經(jīng)元膜電位上升,興奮型神經(jīng)元最主要的兩種類型是rs和ib。rs型神經(jīng)元能夠在激發(fā)脈沖時(shí)伴有adaptation現(xiàn)象,即脈沖間距逐漸擴(kuò)大,直至達(dá)到一個(gè)穩(wěn)定值。而ib型神經(jīng)元在階躍電流激勵(lì)下會(huì)瞬間激發(fā)三到五個(gè)高頻脈沖,而之后的脈沖序列則基本保持正常間距。
與興奮型神經(jīng)元相反,抑制型神經(jīng)元產(chǎn)生的脈沖通過抑制型突觸將使后級(jí)神經(jīng)元膜電位下降。最基本的抑制型腦皮層細(xì)胞是fs型中間神經(jīng)元,其在階躍電流激勵(lì)下的輸出是一列高頻脈沖,并且?guī)缀醪淮嬖赼daptation現(xiàn)象。
其次,基于以上幾種生物特征,本發(fā)明提供一種神經(jīng)元電路,該神經(jīng)元電路包括一個(gè)脈沖產(chǎn)生電路以及與所述脈沖產(chǎn)生電路的控制端連接的一個(gè)u單元;所述脈沖產(chǎn)生電路用于將輸入電流轉(zhuǎn)化為脈沖序列,所述u單元用于控制所述脈沖產(chǎn)生電路產(chǎn)生脈沖的激發(fā)模式和脈沖間距。
舉例來說,如圖1所示,神經(jīng)元電路中包含一個(gè)脈沖產(chǎn)生電路以及與所述脈沖產(chǎn)生電路的控制端連接的一個(gè)u單元。其中,脈沖產(chǎn)生電路用以產(chǎn)生脈沖序列,而u單元用以對(duì)脈沖序列的激發(fā)模式和脈沖間距進(jìn)行調(diào)整,以實(shí)現(xiàn)模擬不同類型的生物神經(jīng)元可見,本發(fā)明提供的神經(jīng)元電路利用u單元對(duì)脈沖產(chǎn)生電路進(jìn)行控制,以實(shí)現(xiàn)不同的生物特性,而并沒有采用任何的偏置電壓,相對(duì)于現(xiàn)有技術(shù)中采用改變偏置電壓的方式實(shí)現(xiàn)不同生物特性,避免了電路自身對(duì)工藝、電壓及溫度三者的波動(dòng)的敏感性,且使得電路更易實(shí)現(xiàn);同時(shí)電路中不存在常開的通路,使得電路功耗較低。
在具體實(shí)施時(shí),脈沖產(chǎn)生電路可以采用多種結(jié)構(gòu)形式,如圖1所示,其中一種可選的結(jié)構(gòu)為:所述脈沖產(chǎn)生電路具有第一輸入端、第一輸出端output、反向輸出端
所述第一電容cmem連接在所述第一輸入端和接地端之間;
所述四個(gè)反相器中的三個(gè)串聯(lián)在所述第一輸入端和所述反向輸出端
所述兩個(gè)n型晶體管的一個(gè)n型晶體管nd的柵極連接所述第一輸出端,該n型晶體管nd的源極和漏極中的一個(gè)電極連接所述第一輸入端,另一個(gè)電極連接另一個(gè)n型晶體管nu的源極和漏極中的一個(gè)電極;該另一個(gè)n型晶體管nu的源極和漏極中的另一個(gè)電極連接接地端,且該另一個(gè)n型晶體管nu的柵極連接所述u單元的輸出端u。
基于神經(jīng)元電路的核心思想:生物神經(jīng)元的輸出類似于占空比極低且脈沖間距可調(diào)的方波,因此可以使用上述基于環(huán)形振蕩器的脈沖產(chǎn)生電路和一個(gè)u單元實(shí)現(xiàn)。其中第一電容cmem為一個(gè)帶放電通路的電容,假設(shè)第一輸入端的電位即膜電位為vmem,當(dāng)?shù)谝浑娙輈mem在輸入電流psc的作用下充電到反相器的閾值電壓附近時(shí),整個(gè)電路將像環(huán)形振蕩器一樣工作:一旦vmem超過閾值電壓,反相器鏈的輸出電壓將為高電平,使得放電通路打開,vmem將被電流id拉低。之后,只要psc一直給第一電容cmem充電,電路將重復(fù)以上過程。而輸出方波的占空比極低是因?yàn)関mem的最大值也僅僅略高于反相器的閾值電壓,且電流id足夠大,從而使輸出高電平瞬間便會(huì)被拉回低電平。而u點(diǎn)的電位也就是u單元的輸出端將會(huì)影響電路的振蕩頻率:當(dāng)u上升時(shí),id也會(huì)上升,使得vmem復(fù)位電壓變低,這意味著它需要更多的時(shí)間來達(dá)到反相器閾值電壓,從而使脈沖間隔變大。反之亦然。
在具體實(shí)施時(shí),上述脈沖產(chǎn)生電路中各個(gè)器件的尺寸可以根據(jù)需要設(shè)置,例如與u單元連接的n型晶體管的長(zhǎng)為60nm,寬為720nm;再例如,所述脈沖產(chǎn)生電路中的另一個(gè)n型晶體管的長(zhǎng)為60nm,寬為360nm;再例如,所述第一電容的尺寸為1ff即250nm*250nm。
在具體實(shí)施時(shí),u單元可以采用多種結(jié)構(gòu)形式實(shí)現(xiàn),如圖1所示,其中一種可選的結(jié)構(gòu)為:所述u單元具有兩個(gè)第二控制端ctr1、ctr2和一個(gè)第二輸出端u,且包括五個(gè)n型晶體管、兩個(gè)p型晶體管和一個(gè)第二電容cu,所述五個(gè)n型晶體管包括第一n型晶體管n1、第二n型晶體管n2、第三n型晶體管n3、第四n型晶體管n4和第五n型晶體管n5;所述兩個(gè)p型晶體管包括第一p型晶體管p1和第二p型晶體管p2;
所述第一n型晶體管n1的柵極連接兩個(gè)第二控制端中的一個(gè),漏極和源極中的一個(gè)電極連接接地端,另一個(gè)電極連接第三n型晶體管n3的漏極和源極中的一個(gè)電極;所述第三n型晶體管n3的漏極和源極中的另一個(gè)電極以及柵極連接所述第二輸出端u;
所述第二n型晶體管n2的柵極連接兩個(gè)第二控制端中的另一個(gè),漏極和源極中的一個(gè)電極連接接地端,另一個(gè)電極連接第四n型晶體管n4的漏極和源極中的一個(gè)電極;所述第四n型晶體管n4的漏極和源極中的另一個(gè)電極連接所述第二輸出端;
所述第五n型晶體管n5的柵極連接所述第二輸出端,漏極和源極中的一個(gè)電極連接接地端,另一個(gè)電極連接第四n型晶體管的柵極;
所述第一p型晶體管p1的柵極連接所述反向輸出端,漏極和源極中的一個(gè)電極連接工作電壓端,另一個(gè)電極所述第二輸出端;
所述第二p型晶體管p2的柵極連接工作電壓端,漏極和源極中的一個(gè)電極連接工作電壓端,另一個(gè)電極連接所述第四n型晶體管的柵極;
所述第二電容cu的一端連接接地端,另一端連接所述第二輸出端;
所述兩個(gè)第二控制端ctr1、ctr2輸入不同的控制信號(hào)對(duì)應(yīng)不同的激發(fā)模式。
當(dāng)脈沖產(chǎn)生電路每產(chǎn)生一個(gè)脈沖,第二電容cu將會(huì)被ip1充電。當(dāng)兩個(gè)第二控制端ctr1、ctr2均為低電平時(shí),ictr1和ictr2均為漏電流,即是說充電電流將遠(yuǎn)遠(yuǎn)大于放電電流,第二輸出端u將會(huì)隨著脈沖的產(chǎn)生不斷上升直到達(dá)到極限值。而脈沖間距也將有類似變化,因?yàn)槊}沖產(chǎn)生電路的輸出將接近于rs,仿真結(jié)果如圖2所示。當(dāng)?shù)诙刂贫薱tr1是低電平而第二控制端ctr2是高電平時(shí),放電電流主要由ictr2決定。起初,第二輸出端u是低電平第二p型晶體管p2和第五n型晶體管n5都將關(guān)斷。當(dāng)?shù)诙型晶體管p2和第五n型晶體管n5的尺寸有一個(gè)合適的比例時(shí),第四n型晶體管n4將微導(dǎo)通。這時(shí)的第二輸出端u將會(huì)在一個(gè)較低的電壓范圍內(nèi)震蕩。一旦第二輸出端u增大到使第五n型晶體管n5導(dǎo)通,第四n型晶體管n4將關(guān)斷,之后第二輸出端u將很快充電到極限值。這種情況下,脈沖產(chǎn)生電路的輸出將先是一簇高頻脈沖,之后的脈沖序列將保持正常間距,即具有ib特性,仿真結(jié)果如圖3所示。當(dāng)?shù)诙刂贫薱tr1是高電平而第二控制端ctr2是低電平時(shí),放電電流主要由ictr1決定。第三n型晶體管n3的柵極連接到第二輸出端u點(diǎn),這一負(fù)反饋使得第二輸出端u的極限值較低,脈沖產(chǎn)生電路輸出將是一列高頻脈沖且?guī)缀鯖]有adaptation現(xiàn)象,神經(jīng)元電路在這種情況下的激發(fā)模式類似于fs,仿真結(jié)果如圖4所示??梢?,通過兩個(gè)第二控制端不同控制信號(hào)的組合,可以實(shí)現(xiàn)不同的激發(fā)模式。
在具體實(shí)施時(shí),u單元中各個(gè)器件的尺寸可以根據(jù)需要設(shè)置,例如,所述第一p型晶體管的長(zhǎng)為400nm,寬為120nm;再例如,所述第二p型晶體管的長(zhǎng)為60nm,寬為360nm;再例如,所述第五n型晶體管的長(zhǎng)為100nm,寬為120nm;再例如,所述第一n型晶體管、所述第二n型晶體管、所述第三n型晶體管或所述第四n型晶體管的長(zhǎng)為60nm,寬為120nm;再例如,所述第二電容的尺寸為8ff。
如上所述,本發(fā)明提出了一種神經(jīng)元電路,在65nm工藝下,電路的面積非常小(20.8μm2)且功耗非常低(約418nw),如此小的面積及功耗對(duì)規(guī)模日益龐大的神經(jīng)網(wǎng)絡(luò)來說具有重要意義。非常有利于人工神經(jīng)網(wǎng)絡(luò)的大規(guī)模實(shí)現(xiàn)。更重要的是,電路依然擁有豐富的生物特性。在數(shù)字信號(hào)控制下,神經(jīng)元電路可配置為rs、ib及fs等多種模式。
基于上述神經(jīng)元電路,本發(fā)明還提供一種神經(jīng)形態(tài)電路,如圖5所示,該神經(jīng)形態(tài)電路包括至少一個(gè)電路單元;每一個(gè)電路單元包括多個(gè)一級(jí)神經(jīng)元電路、與所述多個(gè)一級(jí)神經(jīng)元電路一一對(duì)應(yīng)連接的多個(gè)突觸電路以及與所述多個(gè)突觸電路均連接的二級(jí)神經(jīng)元電路;其中:
一級(jí)神經(jīng)元電路和/或二級(jí)神經(jīng)元電路包括脈沖產(chǎn)生電路以及u單元;所述脈沖產(chǎn)生電路用于將輸入電流轉(zhuǎn)化為脈沖序列,所述u單元用于控制所述脈沖產(chǎn)生電路產(chǎn)生脈沖的激發(fā)模式和脈沖間距;
所述多個(gè)突觸電路包括興奮型突觸電路和抑制型突觸電路;
每一突觸電路用于根據(jù)各自的預(yù)設(shè)權(quán)值將所連接的一級(jí)神經(jīng)元電路產(chǎn)生的脈沖序列轉(zhuǎn)化為突觸后電流并將所述突觸后電流傳輸至所述二級(jí)神經(jīng)元電路。
舉例來說,如圖5所示,電路單元中包含兩個(gè)一級(jí)神經(jīng)元電路neuron1、neuron2,一個(gè)二級(jí)神經(jīng)元電路neuron3,psc1、psc2、psc3為相應(yīng)神經(jīng)元電路的輸入電流,spike_pree為一級(jí)神經(jīng)元電路neuron1生成的脈沖序列,spike_prei為一級(jí)神經(jīng)元電路neuron2生成的脈沖序列;e-synapse-興奮型突觸電路;i-synapse-抑制型突觸電路,w_exc、w_inh為控制權(quán)值的控制端。
可理解的是,上述突觸電路的預(yù)設(shè)權(quán)值是表征所連接的一級(jí)神經(jīng)元電路與二級(jí)神經(jīng)元電路之間的相關(guān)度。假設(shè)在相同脈沖序列的情況下,不同權(quán)值的突觸電路會(huì)產(chǎn)生不同的突觸后電流。
可理解的是,所謂的激發(fā)模式一般有rs模式、ib模式和fs模式;其中rs模式是指regularspiking模式,如圖2所示,該模式下的脈沖序列的脈沖間距逐漸擴(kuò)大,直至達(dá)到一個(gè)穩(wěn)定值,這與興奮型的生物神經(jīng)元中的rs神經(jīng)元相同。其中的ib模式是指intrinsicallybursting模式,如圖3所示,該模式下的脈沖序列在開始會(huì)激發(fā)三到五個(gè)高頻脈沖,而之后的脈沖序列的間距基本保持征程,這與興奮型的生物神經(jīng)元中的ib神經(jīng)元相同。其中的fs模式是指fastspiking模式,如圖4所示,該模式下的脈沖序列是一列的高頻脈沖,這與抑制型的生物神經(jīng)元中的fs神經(jīng)元相同。
可理解的是,神經(jīng)形態(tài)電路包括至少一個(gè)電路單元,各電路單元之間可以依次連接,上一個(gè)電路單元的二級(jí)神經(jīng)元電路相當(dāng)于后一個(gè)電路單元的一級(jí)神經(jīng)元電路,即,上一個(gè)電路單元的輸出電路相當(dāng)于后一個(gè)電路單元的輸出。當(dāng)然,各個(gè)電路單元也可以有其他的連接方式,不僅限于依次連接。
可理解的是,上述的興奮型突觸電路的個(gè)數(shù)和抑制型突觸電路的個(gè)數(shù)可以根據(jù)需要設(shè)定。例如,如圖5所示,在包含兩個(gè)一級(jí)神經(jīng)元電路的電路單元里,興奮型突觸電路和抑制型突觸電路的個(gè)數(shù)均為1。
本發(fā)明提供的神經(jīng)形態(tài)電路,一級(jí)神經(jīng)元電路中的脈沖產(chǎn)生電路用以產(chǎn)生脈沖序列,而u單元用以對(duì)脈沖序列的激發(fā)模式和脈沖間距進(jìn)行調(diào)整,以實(shí)現(xiàn)模擬不同類型的生物神經(jīng)元,而后,一級(jí)神經(jīng)元電路通過各自的突觸電路后轉(zhuǎn)換為突觸后電路傳輸給二級(jí)神經(jīng)元。可見,本發(fā)明提供的神經(jīng)形態(tài)電路利用u單元對(duì)脈沖產(chǎn)生電路進(jìn)行控制,以實(shí)現(xiàn)不同的生物特性,而并沒有采用任何的偏置電壓,相對(duì)于現(xiàn)有技術(shù)中采用改變偏置電壓的方式實(shí)現(xiàn)不同生物特性,避免了電路自身對(duì)工藝、電壓及溫度三者的波動(dòng)的敏感性,且使得電路更易實(shí)現(xiàn)。同時(shí),電路中不存在常開的通路,使得電路功耗較低。
在具體實(shí)施時(shí),上述興奮型突觸電路可以采用不同的結(jié)構(gòu)形式實(shí)現(xiàn),如圖6所示,興奮型突觸電路具有第三控制端w_exc、第三輸入端spike_pree和第三輸出端epsc,包括:第三p型晶體管p3、第四p型晶體管p4、第五p型晶體管p5、第六n型晶體管n6和第七n型晶體管n7,其中:
所述第三p型晶體管p3的柵極連接所述第三輸入端spike_pree,漏極和源極中的一個(gè)電極連接工作電壓端,另一個(gè)電極連接所述第四p型晶體管的柵極;
所述第七n型晶體管n7-的柵極連接所述第三控制端,漏極和源極中的一個(gè)電極連接接地端,另一個(gè)電極連接所述第六n型晶體管的漏極和源極中的一個(gè)電極;
所述第六n型晶體管n6的漏極和源極中的另一個(gè)電極連接所述第四p型晶體管的柵極,所述第六n型晶體管n6的柵極連接所述第三輸入端;
所述第五p型晶體管p5的柵極連接工作電壓端,漏極和源極中的一個(gè)電極連接所述第三輸出端epsc,另一個(gè)電極連接所述第四p型晶體管p4的源極和漏極中的一個(gè)電極;所述第四p型晶體管p4的源極和漏極中的另一個(gè)電極連接工作電壓端。
突觸電路能夠?qū)⑸窠?jīng)元產(chǎn)生的脈沖轉(zhuǎn)化為突觸后電流,興奮型突觸電路會(huì)產(chǎn)生興奮型突觸后電流給二級(jí)神經(jīng)元電路中的第一電容cmem充電,當(dāng)脈沖來臨時(shí)(spike_pree為高電平,spike_pree為興奮型突觸電路所連接的一級(jí)神經(jīng)元電路的輸出電流),第六n型晶體管n6打開而第三p型晶體管p3關(guān)斷,電路根據(jù)第三控制端w_exc的端電壓的大小產(chǎn)生不同大小的興奮型突觸后電流;沒有脈沖時(shí)不產(chǎn)生電流。而第五p型晶體管p5的作用是興奮型突觸后電流不至于過大且不會(huì)產(chǎn)生過沖現(xiàn)象。
在具體實(shí)施時(shí),興奮型突觸電路中的各個(gè)器件的尺寸可以根據(jù)需要設(shè)置,例如,所述第四p型晶體管的長(zhǎng)為350nm,寬為120nm;再例如,所述第三p型晶體管、所述第五p型晶體管、所述第六n型晶體管或所述第七n型晶體管的長(zhǎng)為60nm,寬為120nm。
在具體實(shí)施時(shí),抑制型突觸電路可以采用多種結(jié)構(gòu)形式實(shí)現(xiàn),如圖7所示,一種可選的結(jié)構(gòu)為:所述抑制型突觸電路具有第四輸入端spike_prei、第四輸出端ipsc和第四控制端w_inh,且包括第八n型晶體管n8和第九n型晶體管n9,其中:所述第八n型晶體管n8的柵極連接所述第四輸入端spike_prei,柵極和漏極中的一個(gè)電極連接所述第四輸出端ipsc,另一個(gè)電極連接所述第九n型晶體管n9的源極和漏極中的一個(gè)電極;所述第九n型晶體管n9的源極和漏極中的另一個(gè)電極連接接地端,柵極連接所述第四控制端w_inh。
與興奮型突觸電路相似,抑制型突觸電路在脈沖來臨時(shí)(spike_prei為高電平,spike_prei為抑制型突觸電路所連接的一級(jí)神經(jīng)元電路的輸出電流)產(chǎn)生抑制型突觸后電流,沒有脈沖時(shí)不產(chǎn)生電流,抑制型突觸后電流的大小與第四控制端w_inh的端電壓呈正相關(guān)。
在上述圖6和7提供的突觸電路中,第三控制端和第四控制端的控制信號(hào)可以由一個(gè)外部的電路實(shí)現(xiàn),該電路可以采用一個(gè)基于生物算法的控制電路,可以通過學(xué)習(xí)訓(xùn)練的方式為兩個(gè)控制端提供適配的控制信號(hào),從而改變突觸電路的權(quán)值。
對(duì)圖5的電路進(jìn)行仿真,圖8~10為興奮型突觸電路的w_exc端的電壓值分別為400mv/650mv和900mv,且沒有任何抑制型輸入(spike_prei端的電壓值恒為零)的仿真示意圖。圖12~14示出了抑制型突觸的作用,此時(shí)w_exc端的電壓值為900mv,w_inh端的電壓值為300mv??梢钥闯鲆种菩屯挥|電路能夠?qū)mem放電。spike_pree和spike_prei分別由工作在rs模式和fs模式下的神經(jīng)元電路產(chǎn)生。由于本發(fā)明的電路中沒有常開的通路,所以總功耗很低,約418nw。
如上所述,本發(fā)明提出了一種包含神經(jīng)元與突觸兩部分的神經(jīng)形態(tài)電路。在65nm工藝下,電路的面積非常小(神經(jīng)元20.8μm2,興奮型突觸6.8μm2,抑制型突觸1.4μm2)且功耗非常低(約418nw),如此小的面積及功耗對(duì)規(guī)模日益龐大的神經(jīng)網(wǎng)絡(luò)來說具有重要意義。非常有利于人工神經(jīng)網(wǎng)絡(luò)的大規(guī)模實(shí)現(xiàn)。更重要的是,電路依然擁有豐富的生物特性。在數(shù)字信號(hào)控制下,神經(jīng)元電路可配置為rs、ib及fs等多種模式。
最后應(yīng)說明的是:以上各實(shí)施例僅用以說明本發(fā)明的實(shí)施例的技術(shù)方案,而非對(duì)其限制;盡管參照前述各實(shí)施例對(duì)本發(fā)明的實(shí)施例進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明的實(shí)施例各實(shí)施例技術(shù)方案的范圍。