專利名稱：用于時(shí)空聯(lián)合存儲(chǔ)器的標(biāo)準(zhǔn)尖峰神經(jīng)網(wǎng)絡(luò)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及神經(jīng)系統(tǒng)，并且更為具體地涉及時(shí)空聯(lián)合存儲(chǔ)器(spatiotemporalassociative memory)。
背景技術(shù)：
生物系統(tǒng)對(duì)通過它們的感觸輸入提供的信息施加順序。該信息通常以時(shí)空模式(spatiotemporal pattern)的形式出現(xiàn),該時(shí)空模式包括具有區(qū)別性的空間和時(shí)間結(jié)構(gòu)的 本地化的事件。這些事件在寬廣的各種空間和時(shí)間尺度上出現(xiàn)，并且諸如大腦之類的生物系統(tǒng)仍能夠集成它們，并提取相關(guān)的各條信息。這樣的生物系統(tǒng)能夠快速地從嘈雜的時(shí)空輸入提取信號(hào)。在生物系統(tǒng)中，神經(jīng)元的軸突和另一神經(jīng)元上的樹突之間的接觸點(diǎn)被稱為突觸(synapse),并且相對(duì)于突觸,這兩個(gè)神經(jīng)元分別被稱為前突觸(pre_synaptic)和后突觸(post-synaptic)。我們個(gè)體經(jīng)歷的精髓被存儲(chǔ)在突觸的電導(dǎo)中。突觸電導(dǎo)可以每尖峰定時(shí)依賴可塑性(STDP)地作為前突觸和后突觸神經(jīng)元的相對(duì)尖峰次數(shù)的函數(shù)而隨時(shí)間改變。如果在其前突觸神經(jīng)元激勵(lì)(fire)之后其后突觸神經(jīng)元激勵(lì)，STDP規(guī)則增加突觸的電導(dǎo)，而如果兩個(gè)激勵(lì)的順序顛倒，則降低突觸的電導(dǎo)。神經(jīng)形態(tài)系統(tǒng)(也被稱為人工神經(jīng)網(wǎng)絡(luò))是這樣的計(jì)算系統(tǒng)，其允許電子系統(tǒng)在實(shí)質(zhì)上以與生物腦的方式類似的方式工作。神經(jīng)形態(tài)系統(tǒng)創(chuàng)建大致在功能上等同于生物腦的神經(jīng)元的處理元件之間的連接。神經(jīng)形態(tài)系統(tǒng)可以包括在生物神經(jīng)元上建模的各種電子電路。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施例提供了用于時(shí)空聯(lián)合存儲(chǔ)器的標(biāo)準(zhǔn)尖峰神經(jīng)元。本發(fā)明的一個(gè)方面包括了如下方法和系統(tǒng)，其用于包括多個(gè)電子神經(jīng)元的時(shí)空聯(lián)合存儲(chǔ)器，所述多個(gè)電子神經(jīng)元具有利用直接突觸連接性的分層的神經(jīng)網(wǎng)。多個(gè)電子神經(jīng)元被配置為檢測數(shù)據(jù)流中存在時(shí)空模式,并提取時(shí)空模式。基于學(xué)習(xí)規(guī)則，多個(gè)電子神經(jīng)兀存儲(chǔ)時(shí)空模式，并且在被呈現(xiàn)有時(shí)空模式的版本時(shí)，獲取所存儲(chǔ)的時(shí)空模式。本發(fā)明的另一方面包括如下方法，其檢測實(shí)時(shí)數(shù)據(jù)流中存在時(shí)空模式，提取時(shí)空模式，并基于學(xué)習(xí)規(guī)則，將時(shí)空模式存儲(chǔ)在聯(lián)合存儲(chǔ)器中，所述聯(lián)合存儲(chǔ)器包括多個(gè)電子神經(jīng)元，所述多個(gè)電子神經(jīng)元具有帶有直接突觸連接性的分層的關(guān)系。在被呈現(xiàn)有時(shí)空模式的版本時(shí)，本發(fā)明包括了從聯(lián)合存儲(chǔ)器獲取存儲(chǔ)的時(shí)空模式的方法。參考以下說明書、所附權(quán)利要求和附圖，來理解本發(fā)明的這些和其他特征、方面和優(yōu)勢。


圖I示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的用于時(shí)空聯(lián)合存儲(chǔ)器的系統(tǒng)的圖示；圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的圖I中所示的系統(tǒng)的更加詳細(xì)的圖示；圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的用于時(shí)空聯(lián)合存儲(chǔ)器的系統(tǒng)的操作的流程圖； 圖4示出了根據(jù)本發(fā)明另一實(shí)施例的實(shí)現(xiàn)用于時(shí)空聯(lián)合存儲(chǔ)器的標(biāo)準(zhǔn)尖峰神經(jīng)元方法的神經(jīng)形態(tài)系統(tǒng)的圖示；圖5示出了根據(jù)本發(fā)明另一實(shí)施例的圖4中所示的系統(tǒng)的分層架構(gòu)的圖示；圖6示出了根據(jù)本發(fā)明另一實(shí)施例的圖5中所示的系統(tǒng)中的層之間的連接的圖示；圖7示出了根據(jù)本發(fā)明另一實(shí)施例的圖6中所示的系統(tǒng)中的兩個(gè)層中的神經(jīng)元之間的連接的圖示；圖8示出了根據(jù)本發(fā)明實(shí)施例的在圖6的系統(tǒng)中采用的尖峰定時(shí)依賴可塑性學(xué)習(xí)規(guī)則的曲線；圖9示出了用于實(shí)現(xiàn)本發(fā)明一個(gè)實(shí)施例的提供尖峰定時(shí)依賴可塑性的超密集突觸交錯(cuò)式(cross-bar)陣列；以及圖10示出了用于實(shí)現(xiàn)本發(fā)明一個(gè)實(shí)施例的信息處理系統(tǒng)的高級(jí)別框圖。
具體實(shí)施例方式本發(fā)明的實(shí)施例提供了這樣的神經(jīng)系統(tǒng)，其包括用于被配置為存儲(chǔ)或獲取時(shí)空模式的聯(lián)合存儲(chǔ)器的標(biāo)準(zhǔn)尖峰電路。在本文中使用的術(shù)語“電子神經(jīng)元”表示被配置為仿真生物神經(jīng)元的架構(gòu)。電子神經(jīng)元在功能上大致等同于生物腦的處理元件之間創(chuàng)建連接。這樣，包括根據(jù)本發(fā)明實(shí)施例的電子神經(jīng)元的神經(jīng)系統(tǒng)可以包括在生物神經(jīng)元上建模的各種電子電路。此外，包括根據(jù)本發(fā)明實(shí)施例的電子神經(jīng)元的神經(jīng)系統(tǒng)可以包括在生物神經(jīng)元上建模的各種處理元件(包括計(jì)算機(jī)仿真)。盡管在下文中使用包括電子電路的電子神經(jīng)元描述了本發(fā)明的特定示例性實(shí)施例，但本發(fā)明并不限于電子電路。根據(jù)本發(fā)明實(shí)施例的神經(jīng)系統(tǒng)可以被實(shí)現(xiàn)為包括模擬電路或數(shù)字電路的神經(jīng)形態(tài)架構(gòu)，并且還被實(shí)現(xiàn)為計(jì)算機(jī)仿真。實(shí)際上，本發(fā)明的實(shí)施例可以采取完全硬件的實(shí)施例、完全軟件的實(shí)施例或包含硬件和軟件元件的實(shí)施例的形式。根據(jù)本發(fā)明的標(biāo)準(zhǔn)尖峰神經(jīng)系統(tǒng)的示例架構(gòu)包括分層的神經(jīng)元、以及它們的突觸連接和在它們之間的學(xué)習(xí)規(guī)則?？梢砸圆煌姆绞綄?shí)現(xiàn)這樣的系統(tǒng)，例如在傳統(tǒng)計(jì)算機(jī)系統(tǒng)上通過仿真實(shí)現(xiàn)，或通過各種不同的硬件方案實(shí)現(xiàn)，其中之一包括提供尖峰定時(shí)依賴可塑性的突觸交錯(cuò)式陣列(如以下的示例所進(jìn)一步描述的)。本發(fā)明的一個(gè)實(shí)施例包括尖峰電子神經(jīng)元微電路，其實(shí)現(xiàn)聯(lián)合存儲(chǔ)器類型的未監(jiān)督模式識(shí)別系統(tǒng)。聯(lián)合存儲(chǔ)器表示數(shù)據(jù)存儲(chǔ)設(shè)備，其中基于其信息內(nèi)容而非明確的地址來識(shí)別存儲(chǔ)的存儲(chǔ)器?？梢酝ㄟ^順序地或并行地訪問存儲(chǔ)器內(nèi)容(與明確的地址相對(duì))從聯(lián)合存儲(chǔ)器獲取數(shù)據(jù)，其中將參考與存儲(chǔ)器的信息內(nèi)容進(jìn)行比較，直到找到期望的一組的一個(gè)或多個(gè)匹配為止。根據(jù)本發(fā)明的一個(gè)實(shí)施例，模式識(shí)別系統(tǒng)包括存儲(chǔ)器微電路中的相互作用的尖峰電子神經(jīng)元的組合，所述存儲(chǔ)器微電路被配置為存儲(chǔ)和聯(lián)合地召回(recall)時(shí)空模式。學(xué)習(xí)規(guī)則提供(描述)了作為要被存儲(chǔ)的模式的函數(shù)的電子神經(jīng)元之間的突觸互連的強(qiáng)度。例如，學(xué)習(xí)規(guī)則提供了作為要被存儲(chǔ)的模式的函數(shù)的電子神經(jīng)元之間的突觸互連的電導(dǎo)的級(jí)別。根據(jù)本發(fā)明的一個(gè)實(shí)施例，未監(jiān)督的模式識(shí)別系統(tǒng)在無需任何明確的外部指示機(jī)構(gòu)的情況下執(zhí)行模式識(shí)別任務(wù)。系統(tǒng)并不需要對(duì)模式的任何明確的描述。這樣，只要模式良好地定義了時(shí)空結(jié)構(gòu)和統(tǒng)計(jì)，模式的語義內(nèi)容是不重要的。給定包含時(shí)空模式的輸入數(shù)據(jù)流，系統(tǒng)學(xué)習(xí)檢測模式的存在，并在無需提前提供與要被檢測的圖像相關(guān)的任何信息的情況下提取和存儲(chǔ)模式。系統(tǒng)以這樣的方式存儲(chǔ)模式，即，使得當(dāng)被呈現(xiàn)有存儲(chǔ)的模式的片段和/或噪聲的版本時(shí)，系統(tǒng)能夠從存儲(chǔ)器獲取適當(dāng)?shù)钠ヅ淠Ｊ?。除了時(shí)空模式之外，輸入數(shù)據(jù)流可以在整體上包含噪聲級(jí)別。模式識(shí)別系統(tǒng)以實(shí)時(shí)或在線方式執(zhí)行模式識(shí)別，并無需用于處理到來的信息的單獨(dú)階段。在數(shù)據(jù)流被饋入系·統(tǒng)中時(shí)，系統(tǒng)實(shí)時(shí)處理到來的信息。在本發(fā)明的一個(gè)實(shí)施例中，系統(tǒng)架構(gòu)是模量的和可伸縮的，適合于在使用單個(gè)流線型的架構(gòu)的同時(shí)解決多個(gè)空間和時(shí)間尺度上的組合特性的問題。參見圖1，示出了根據(jù)本發(fā)明實(shí)施例的神經(jīng)系統(tǒng)10的網(wǎng)絡(luò)架構(gòu)的圖示。系統(tǒng)10包括激發(fā)的尖峰電子神經(jīng)元的兩個(gè)層El和E2、以及抑制的尖峰電子神經(jīng)元的層12。El層用作輸入層，而E2層用作處理層。層12實(shí)現(xiàn)了如在下文中相關(guān)于圖3描述的贏家通吃(winner-take-all, WTA)機(jī)制。通常而言，激發(fā)的尖峰電子神經(jīng)元使得其目標(biāo)神經(jīng)元更有可能激勵(lì)，而抑制尖峰電子神經(jīng)元使得其目標(biāo)為有較小的可能激勵(lì)?？梢允褂眉夥咫娮由窠?jīng)元的各種實(shí)現(xiàn)。通常而言，這樣的神經(jīng)元包括計(jì)數(shù)器，所述計(jì)數(shù)器在接收到來自源激發(fā)神經(jīng)元的輸入時(shí)增加，并且在接收到來自源抑制神經(jīng)元的輸入時(shí)減小。增加或減小的量取決于從源神經(jīng)元到目標(biāo)神經(jīng)元的連接(例如通過可變電阻器建模的突觸連接)的強(qiáng)度。如果計(jì)數(shù)器到達(dá)特定閾值，神經(jīng)元隨后生成其自身的尖峰(即激勵(lì))，并且計(jì)數(shù)器被重置到基線值。術(shù)語尖峰電子神經(jīng)元在下文中被稱作為“電子神經(jīng)元”。電子神經(jīng)元以如下方式互連。圖2示出了神經(jīng)系統(tǒng)10的更詳細(xì)的圖示，說明了層El中的電子神經(jīng)元12 (即Nei)的群(population)連接到層E2中的電子神經(jīng)元14 (即Ne2)，并且電子神經(jīng)元14連接到電子神經(jīng)元12。此外，層E2中的電子神經(jīng)元14還連接到層12中的電子神經(jīng)元16 (即N12)的群，并且電子神經(jīng)元16連接到電子神經(jīng)元14。神經(jīng)元連接模型是一般性的，并且可以根據(jù)期望的聯(lián)合數(shù)據(jù)存儲(chǔ)/獲取功能而被定制。通常，針對(duì)多個(gè)神經(jīng)元進(jìn)行連接，并且El和E2層包括多個(gè)神經(jīng)元。包括時(shí)空模式和噪聲輸入的輸入流被饋入到El層，在此處觸發(fā)El層中的電子神經(jīng)元12的尖峰活動(dòng)。該尖峰活動(dòng)向前傳播到E2層的電子神經(jīng)元14。這樣,輸入數(shù)據(jù)流中的時(shí)空模式的存在產(chǎn)生了層El中的電子神經(jīng)元12中的活動(dòng)的對(duì)應(yīng)時(shí)空尖峰圖像。印記的時(shí)空尖峰圖像的影響的范圍內(nèi)的E2層的任何電子神經(jīng)元14將通過來自El層的連接接收特定的激發(fā)信號(hào)電平。
圖3是示出了根據(jù)本發(fā)明的該實(shí)施例的圖I和2中所示的神經(jīng)系統(tǒng)10的操作的方法20的流程圖。圖3中的過程步驟并非單純線性的，而是El層電子神經(jīng)元持續(xù)接收輸入，并且E2和12層電子神經(jīng)元可以取決于它們的輸入而在任何時(shí)間激勵(lì)。參見圖3，在步驟21中，通過輸入流來激活一個(gè)或多個(gè)El層電子神經(jīng)元12。在步驟22中，這樣的活動(dòng)能夠觸發(fā)E2層電子神經(jīng)元14。如果E2層中的神經(jīng)元活動(dòng)在短時(shí)間段(例如大約50ms)內(nèi)跟隨El層內(nèi)的神經(jīng)元活動(dòng)，則在步驟23，自動(dòng)增強(qiáng)這樣的電子神經(jīng)元12和14之間的連接(SP，增加神經(jīng)元12和14之間的突觸連接的電導(dǎo))。一旦(由一個(gè)或多個(gè)El層電子神經(jīng)元12)已經(jīng)觸發(fā)了 E2層電子神經(jīng)元14，在步驟24，觸發(fā)的E2層電子神經(jīng)元14觸發(fā)一個(gè)或多個(gè)12層電子神經(jīng)元16的活動(dòng)。在步驟25中，這繼而將強(qiáng)壯的抑制信號(hào)發(fā)送回E2層，從而在步驟26中，在短暫的時(shí)間間隔(例如大約IOms)內(nèi)抑制進(jìn)一步的E2層活動(dòng)。當(dāng)通過電子神經(jīng)元14連接到的El層電子神經(jīng)元12的活動(dòng)在短暫的時(shí)間間隔(例如大約50ms)內(nèi)跟隨新近觸發(fā)的E2層電子神經(jīng)元14的活動(dòng)時(shí)，自動(dòng)減弱電子神經(jīng)元12和·14之間的連接(即，減小神經(jīng)元12和14之間的突觸連接的電導(dǎo))。然而，在電子神經(jīng)元14所連接到的El層電子神經(jīng)元12之后短時(shí)內(nèi)(例如在大約50ms內(nèi))，如果E2層電子神經(jīng)元14激勵(lì)(即觸發(fā)或成尖峰)，則系統(tǒng)10增強(qiáng)電子神經(jīng)元12和14之間的連接。因此，一旦電子神經(jīng)元12有可能涉及到觸發(fā)第一位置中的電子神經(jīng)元14，從給定的E2層電子神經(jīng)元到給定的El層電子神經(jīng)元12的連接被增強(qiáng)。剛剛描述的構(gòu)造的結(jié)果為，系統(tǒng)10發(fā)展出了這樣的設(shè)施，其增強(qiáng)了有因果關(guān)系的事件之間的聯(lián)合性，并抑制了無因果關(guān)系的事件。在本發(fā)明的一個(gè)實(shí)施例中，通過實(shí)現(xiàn)強(qiáng)度的規(guī)格化來促進(jìn)系統(tǒng)10的整體穩(wěn)定性和噪聲魯棒性。通過調(diào)整電子神經(jīng)元連接之間的強(qiáng)度來實(shí)現(xiàn)強(qiáng)度規(guī)格化。系統(tǒng)10被配置為使得一旦增加了連接強(qiáng)度，則代價(jià)為系統(tǒng)內(nèi)的其他連接的減弱。這使得電子神經(jīng)元能夠?qū)⑺鼈兊挠绊懥性谄渥钣行У牡胤?，并確保由于噪聲產(chǎn)生的效果及時(shí)變?nèi)?。通過調(diào)整由神經(jīng)元接收的所有激發(fā)突觸(連接)的強(qiáng)度使得它們保持在恒定值，來實(shí)現(xiàn)連接的規(guī)格化。因此，如果到神經(jīng)元的一個(gè)連接的強(qiáng)度增加，則到該神經(jīng)元的所有其他連接的強(qiáng)度應(yīng)當(dāng)成比例地減小，以保持到該神經(jīng)元的恒定總輸入強(qiáng)度。通過在下文中進(jìn)一步描述的關(guān)系(6)來對(duì)此進(jìn)行描述。圖4示出了根據(jù)本發(fā)明另一實(shí)施例的神經(jīng)系統(tǒng)30的圖示。系統(tǒng)30包括激發(fā)電子神經(jīng)元的兩個(gè)層El和E2。系統(tǒng)10還包括抑制電子神經(jīng)元的兩個(gè)層Il和12。參見圖5，在本發(fā)明的一個(gè)實(shí)施例中，系統(tǒng)30包括帶有有向連接性(前饋和后饋)的分層的架構(gòu)35，實(shí)現(xiàn)了通過用于選擇事件之間的有因果關(guān)系的聯(lián)合性的尖峰驅(qū)動(dòng)學(xué)習(xí)規(guī)則和側(cè)抑制，來實(shí)現(xiàn)贏家通吃(WTA)過程的相互作用。在一個(gè)示例中，WTA過程總體上對(duì)激發(fā)神經(jīng)元和抑制神經(jīng)元的神經(jīng)網(wǎng)絡(luò)進(jìn)行建模?；顒?dòng)的激發(fā)神經(jīng)元激發(fā)抑制的神經(jīng)元。抑制神經(jīng)元抑制激發(fā)的神經(jīng)元。抑制神經(jīng)元的活動(dòng)增加，直到大部分激發(fā)的神經(jīng)元被抑制為止。架構(gòu)35包括激發(fā)的電子神經(jīng)元的所述兩個(gè)層El和E2，抑制的電子神經(jīng)元的所述兩個(gè)層Il和12，提供了帶有STDP和突觸可塑性(軸突/樹突)的前饋(FF)路徑和帶有反-STDP和突觸可塑性(軸突/樹突)的后饋路徑(FB)。具體而言，架構(gòu)35提供了神經(jīng)元之間的有向連接(前饋和后饋)，通過用于選擇事件之間的有因果關(guān)系的聯(lián)合性的尖峰驅(qū)動(dòng)學(xué)習(xí)規(guī)則和側(cè)抑制來實(shí)現(xiàn)WTA。El層接收時(shí)空輸入(例如，顯現(xiàn)為帶有空間變量的圓圈或方塊的圖像)，其中向El層呈現(xiàn)的輸入模式導(dǎo)致E2層上的壓縮的表示。先前遇到模式的部分或損壞的版本導(dǎo)致完成版本的無錯(cuò)獲取。后饋路徑(FB)連接顯現(xiàn)出反-STDP(anti-STDP)(即，aSTDP)。如果毀壞或不完整的輸出在El層出現(xiàn)，正確的E2層神經(jīng)元應(yīng)當(dāng)激勵(lì)?；贓2神經(jīng)元激勵(lì)，能夠重新構(gòu)造完整的El輸入。如果El層神經(jīng)元在E2層神經(jīng)元之前激勵(lì)，則突觸被減弱以移除假的活動(dòng)。如果E2層神經(jīng)元在El層神經(jīng)元之前激勵(lì)，通過增強(qiáng)來自先前看到的輸入的連接，來增強(qiáng)突觸用于模式完成。尖峰信號(hào)創(chuàng)建了跨突觸連接(元件)的電壓偏置，導(dǎo)致電流流入到下游神經(jīng)元中，從而通過對(duì)應(yīng)的突觸連接的電導(dǎo)來加權(quán)電流的幅度。在一個(gè)示例中，使用權(quán)重的隨機(jī)分布，使得每個(gè)E2神經(jīng)元需要來自10%的El神經(jīng)元的輸入，以便成尖峰。前饋(FF)連接顯現(xiàn)STDP，其中導(dǎo)致El層神經(jīng)活動(dòng)中的重要的時(shí)空關(guān)聯(lián)性的輸入使得特定的E2層神經(jīng)元激勵(lì)。12層確保E2層中的活動(dòng)被限制為非常小的數(shù)量。如果El層神經(jīng)元在E2層神經(jīng)元之前激 勵(lì)，這導(dǎo)致增強(qiáng)突觸來形成聯(lián)合性。如果E2層神經(jīng)元在El層神經(jīng)元之前激勵(lì)，這導(dǎo)致突觸減弱，以導(dǎo)致清除噪聲。圖6示出了神經(jīng)系統(tǒng)30的更為詳細(xì)的圖示，說明了 El和E3層分別包括激發(fā)的電子神經(jīng)元12和14 (即NEl和NE2)的群。此外，Il和12層分別包括抑制的神經(jīng)元16和18(即NIl和NI2)的群(網(wǎng)格)。El層電子神經(jīng)元用作輸入神經(jīng)元，而E2層電子神經(jīng)元支持更高級(jí)別的處理。在圖7中更為詳細(xì)地示出了不同層中的神經(jīng)元之間的連接11。從源層S中的每個(gè)神經(jīng)元(An)向與源層中的源An的位置在地形上對(duì)應(yīng)的目標(biāo)層T中的點(diǎn)、目標(biāo)神經(jīng)元Bn進(jìn)行層之間的連接。源神經(jīng)元An連接到目標(biāo)神經(jīng)元Bn中的特定半徑(從O到內(nèi)的目標(biāo)層中的所有神經(jīng)元。圖8 不出了在 S. Song, K. D. Miller, and L. F. Abbott 的文章 “CompetitiveHebbian learning through spike-timing-dependentsynaptic plasticity,，，NatureNeuroscience, vol. 3，Sep. 2000, pp. 919-926”中描述的系統(tǒng)30中采用的尖峰定時(shí)依賴可塑性學(xué)習(xí)規(guī)則。水平軸(X-軸)表示后突觸神經(jīng)尖峰的時(shí)間減去前突觸神經(jīng)元尖峰的時(shí)間。垂直軸(y_軸)表示根據(jù)具有不同定時(shí)的前-后對(duì)得到的突觸權(quán)重AW中的變化。根據(jù)如下公式獲得曲線13:
權(quán)利要求
1.一種存儲(chǔ)時(shí)空模式的方法，包括 檢測輸入數(shù)據(jù)流中的時(shí)空模式的存在； 提取所述時(shí)空模式； 基于學(xué)習(xí)規(guī)則，在包括具有分層的神經(jīng)網(wǎng)關(guān)系的多個(gè)電子神經(jīng)元的聯(lián)合存儲(chǔ)器中存儲(chǔ)所述時(shí)空模式，所述分層的神經(jīng)網(wǎng)關(guān)系具有有向突觸連接性，其中所述學(xué)習(xí)規(guī)則作為所述時(shí)空模式的函數(shù)提供在所述電子神經(jīng)元之間的突觸互連的電導(dǎo)的級(jí)別；以及 當(dāng)被呈現(xiàn)有所述時(shí)空模式的版本時(shí)，從所述聯(lián)合存儲(chǔ)器獲取所存儲(chǔ)的時(shí)空模式。
2.如權(quán)利要求I所述的方法，其中具有分層的關(guān)系的所述多個(gè)電子神經(jīng)元包括 第一激發(fā)尖峰電子神經(jīng)元層，包括一個(gè)或多個(gè)第一激發(fā)尖峰電子神經(jīng)元； 第二激發(fā)尖峰電子神經(jīng)元層，包括一個(gè)或多個(gè)第二激發(fā)尖峰電子神經(jīng)元； 第一抑制尖峰電子神經(jīng)元層，包括一個(gè)或多個(gè)第一抑制尖峰電子神經(jīng)元； 其中，每個(gè)第一激發(fā)尖峰電子神經(jīng)元連接到第二激發(fā)尖峰電子神經(jīng)元，每個(gè)第二激發(fā)尖峰電子神經(jīng)元連接到第一激發(fā)尖峰電子神經(jīng)元和第一抑制尖峰電子神經(jīng)元，以及每個(gè)第一抑制尖峰電子神經(jīng)元連接到第二激發(fā)尖峰電子神經(jīng)元。
3.如權(quán)利要求2所述的方法，還包括 在所述第一激發(fā)尖峰電子神經(jīng)元層處接收所述輸入數(shù)據(jù)流；以及經(jīng)由所述第一激發(fā)尖峰電子神經(jīng)元層、所述第二激發(fā)尖峰電子神經(jīng)元層和所述第一抑制尖峰電子神經(jīng)元層組合地處理所接收到的輸入。
4.如權(quán)利要求3所述的方法，還包括 所述第二激發(fā)尖峰電子神經(jīng)元和所述第一抑制尖峰電子神經(jīng)元經(jīng)由側(cè)抑制和尖峰驅(qū)動(dòng)的學(xué)習(xí)規(guī)則來執(zhí)行贏家通吃過程，用于檢測事件之間的有因果關(guān)系的關(guān)聯(lián)來獲取所存儲(chǔ)的時(shí)空模式。
5.如權(quán)利要求4所述的方法，還包括 基于所述學(xué)習(xí)規(guī)則，當(dāng)通過所述輸入數(shù)據(jù)流激活第一激發(fā)尖峰電子神經(jīng)元時(shí)，觸發(fā)連接的第二激發(fā)尖峰電子神經(jīng)元，并增強(qiáng)所述第一激發(fā)尖峰電子神經(jīng)元和所述第二激發(fā)尖峰電子神經(jīng)元之間的連接的電導(dǎo)。
6.如權(quán)利要求5所述的方法，還包括 基于所述學(xué)習(xí)規(guī)則，當(dāng)通過一個(gè)或多個(gè)第一激發(fā)尖峰電子神經(jīng)元觸發(fā)第二激發(fā)尖峰電子神經(jīng)元時(shí)，觸發(fā)連接的第一抑制尖峰電子神經(jīng)元，使得強(qiáng)抑制信號(hào)返回到所述第二激發(fā)尖峰電子神經(jīng)元，并在一時(shí)間間隔內(nèi)抑制所述第二激發(fā)尖峰電子神經(jīng)元的進(jìn)一步的活動(dòng)。
7.如權(quán)利要求6所述的方法，還包括 基于所述學(xué)習(xí)規(guī)則，當(dāng)新近觸發(fā)的第二激發(fā)尖峰電子神經(jīng)元的活動(dòng)跟隨有連接的第一激發(fā)尖峰電子神經(jīng)元的活動(dòng)時(shí)，減弱連接的所述第一激發(fā)尖峰電子神經(jīng)元和所述第二激發(fā)尖峰電子神經(jīng)元之間的連接的電導(dǎo)。
8.如權(quán)利要求5所述的方法，還包括 基于所述學(xué)習(xí)規(guī)則，當(dāng)?shù)诙ぐl(fā)尖峰電子神經(jīng)元在連接的第一激發(fā)尖峰電子神經(jīng)元之后短暫的間隔內(nèi)激勵(lì)時(shí)，增強(qiáng)連接的所述第一激發(fā)尖峰電子神經(jīng)元和第二激發(fā)尖峰電子神經(jīng)元之間的連接的電導(dǎo)。
9.一種系統(tǒng)，包括用于執(zhí)行如上述任一方法權(quán)利要求所述的方法中的所有步驟的裝置。
10.一種包括指令的計(jì)算機(jī)程序，當(dāng)在計(jì)算機(jī)系統(tǒng)上執(zhí)行所述計(jì)算機(jī)程序時(shí)，所述指令用于執(zhí)行如上述任一方法權(quán)利要求所述的方法中的所有步驟。
全文摘要
本發(fā)明的實(shí)施例涉及用于時(shí)空聯(lián)合存儲(chǔ)器的標(biāo)準(zhǔn)尖峰神經(jīng)元。本發(fā)明的一個(gè)方面提供了包括具有分層的神經(jīng)網(wǎng)關(guān)系的多個(gè)電子神經(jīng)元的時(shí)空聯(lián)合存儲(chǔ)器，所述分層的神經(jīng)網(wǎng)關(guān)系具有有向突觸連接性。所述多個(gè)電子神經(jīng)元被配置為檢測實(shí)時(shí)數(shù)據(jù)流中的時(shí)空模式的存在，并提取所述時(shí)空模式。所述多個(gè)電子神經(jīng)元還被配置為，基于學(xué)習(xí)規(guī)則，在所述多個(gè)電子神經(jīng)元中存儲(chǔ)時(shí)空模式，并且在被呈現(xiàn)有時(shí)空模式的版本時(shí)，獲取所存儲(chǔ)的時(shí)空模式。
文檔編號(hào)G06N3/04GK102906767SQ201180025614
公開日2013年1月30日 申請(qǐng)日期2011年4月28日 優(yōu)先權(quán)日2010年6月30日
發(fā)明者A·恩迪蘭戈, D·S·莫德哈, S·K·埃瑟 申請(qǐng)人:國際商業(yè)機(jī)器公司