本申請依據(jù)35U.S.C.§119(e)要求于2014年2月21日提交的題為“DYNAMIC SPATIAL TARGET SELECTION(動態(tài)空間目標(biāo)選擇)”的美國臨時(shí)專利申請No.61/943,227、以及于2014年2月21日提交的題為“IMBALANCED CROSS-INHIBITORY MECHANISM FOR SPATIAL TARGET SELECTION(用于空間目標(biāo)選擇的失衡式交叉抑制性機(jī)制)”的美國臨時(shí)專利申請No.61/943,231的權(quán)益，其公開內(nèi)容通過援引整體明確納入于此。

背景

領(lǐng)域

本公開的某些方面一般涉及神經(jīng)系統(tǒng)工程，尤其涉及用于動態(tài)空間目標(biāo)選擇的系統(tǒng)和方法。

背景

可包括一群互連的人工神經(jīng)元(即神經(jīng)元模型)的人工神經(jīng)網(wǎng)絡(luò)是一種計(jì)算設(shè)備或者表示將由計(jì)算設(shè)備執(zhí)行的方法。人工神經(jīng)網(wǎng)絡(luò)可具有生物學(xué)神經(jīng)網(wǎng)絡(luò)中的對應(yīng)的結(jié)構(gòu)和/或功能。然而，人工神經(jīng)網(wǎng)絡(luò)可為其中傳統(tǒng)計(jì)算技術(shù)是麻煩的、不切實(shí)際的、或不勝任的某些應(yīng)用提供創(chuàng)新且有用的計(jì)算技術(shù)。由于人工神經(jīng)網(wǎng)絡(luò)能從觀察中推斷出功能，因此這樣的網(wǎng)絡(luò)在因任務(wù)或數(shù)據(jù)的復(fù)雜度使得通過常規(guī)技術(shù)來設(shè)計(jì)該功能較為麻煩的應(yīng)用中是特別有用的。從而，期望提供一種用于基于使用失衡式交叉抑制性機(jī)制的選擇方案來動態(tài)地選擇目標(biāo)的神經(jīng)元形態(tài)接收器。

概述

根據(jù)本公開的一方面，公開了一種用神經(jīng)網(wǎng)絡(luò)來動態(tài)地修改目標(biāo)選擇的方法。該方法包括通過控制該神經(jīng)網(wǎng)絡(luò)中的連接的失衡量來動態(tài)地修改選擇函數(shù)。所選神經(jīng)元代表多個(gè)候選目標(biāo)之一。

根據(jù)本公開的另一方面，公開了一種設(shè)備。該設(shè)備包括用于確定神經(jīng)網(wǎng)絡(luò)中的連接的失衡量的裝置。該設(shè)備還包括用于通過控制該神經(jīng)網(wǎng)絡(luò)中的連接的失衡量來動態(tài)地修改選擇函數(shù)的裝置。所選神經(jīng)元代表多個(gè)候選目標(biāo)之一。

本公開的另一方面涉及一種具有存儲器以及耦合到該存儲器的至少一個(gè)處理器的裝置。該(諸)處理器被配置成通過控制神經(jīng)網(wǎng)絡(luò)中的連接的失衡量來動態(tài)地修改選擇函數(shù)。所選神經(jīng)元代表多個(gè)候選目標(biāo)之一。

在又一方面，一種計(jì)算機(jī)程序產(chǎn)品用神經(jīng)網(wǎng)絡(luò)來動態(tài)地修改目標(biāo)選擇。該計(jì)算機(jī)可讀介質(zhì)上記錄有非瞬態(tài)程序代碼，該程序代碼在由(諸)處理器執(zhí)行時(shí)使(諸)處理器執(zhí)行通過控制該神經(jīng)網(wǎng)絡(luò)中的連接的失衡量來動態(tài)地修改選擇函數(shù)的操作。所選神經(jīng)元代表多個(gè)候選目標(biāo)之一。

本公開的其他特征和優(yōu)點(diǎn)將在下文描述。本領(lǐng)域技術(shù)人員應(yīng)該領(lǐng)會，本公開可容易地被用作改動或設(shè)計(jì)用于實(shí)施與本公開相同的目的的其他結(jié)構(gòu)的基礎(chǔ)。本領(lǐng)域技術(shù)人員還應(yīng)認(rèn)識到，這樣的等效構(gòu)造并不脫離如所附權(quán)利要求中所闡述的本公開的教導(dǎo)。被認(rèn)為是本公開的特性的新穎特征在其組織和操作方法兩方面連同進(jìn)一步的目的和優(yōu)點(diǎn)在結(jié)合附圖來考慮以下描述時(shí)將被更好地理解。然而，要清楚理解的是，提供每一幅附圖均僅用于解說和描述目的，且無意作為對本公開的限定的定義。

附圖簡述

在結(jié)合附圖理解下面闡述的詳細(xì)描述時(shí)，本發(fā)明的特征、本質(zhì)和優(yōu)點(diǎn)將變得更加明顯，在附圖中，相同附圖標(biāo)記始終作相應(yīng)標(biāo)識。

圖1解說根據(jù)本公開的某些方面的示例神經(jīng)元網(wǎng)絡(luò)。

圖2解說根據(jù)本公開的某些方面的計(jì)算網(wǎng)絡(luò)(神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò))的處理單元(神經(jīng)元)的示例。

圖3解說根據(jù)本公開的某些方面的尖峰定時(shí)依賴可塑性(STDP)曲線的示例。

圖4解說根據(jù)本公開的某些方面的用于定義神經(jīng)元模型的行為的正態(tài)相和負(fù)態(tài)相的示例。

圖5和6解說了根據(jù)本公開各方面的目標(biāo)選擇。

圖7和8解說了根據(jù)本公開各方面的交叉抑制。

圖9-11解說了根據(jù)本公開各方面的目標(biāo)選擇。

圖12解說根據(jù)本公開的某些方面的使用通用處理器來設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。

圖13解說根據(jù)本公開的某些方面的設(shè)計(jì)其中存儲器可以與個(gè)體的分布式處理單元對接的神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。

圖14解說根據(jù)本公開的某些方面的基于分布式存儲器和分布式處理單元來設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。

圖15解說根據(jù)本公開的某些方面的神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。

圖16是解說根據(jù)本公開的一方面的在神經(jīng)網(wǎng)絡(luò)中選擇目標(biāo)的框圖。

詳細(xì)描述

以下結(jié)合附圖闡述的詳細(xì)描述旨在作為各種配置的描述，而無意表示可實(shí)踐本文中所描述的概念的僅有的配置。本詳細(xì)描述包括具體細(xì)節(jié)以便提供對各種概念的透徹理解。然而，對于本領(lǐng)域技術(shù)人員將顯而易見的是，沒有這些具體細(xì)節(jié)也可實(shí)踐這些概念。在一些實(shí)例中，以框圖形式示出眾所周知的結(jié)構(gòu)和組件以避免湮沒此類概念。

基于本教導(dǎo)，本領(lǐng)域技術(shù)人員應(yīng)領(lǐng)會，本公開的范圍旨在覆蓋本公開的任何方面，不論其是與本公開的任何其他方面相獨(dú)立地還是組合地實(shí)現(xiàn)的。例如，可以使用所闡述的任何數(shù)目的方面來實(shí)現(xiàn)裝置或?qū)嵺`方法。另外，本公開的范圍旨在覆蓋使用作為所闡述的本公開的各個(gè)方面的補(bǔ)充或者與之不同的其他結(jié)構(gòu)、功能性、或者結(jié)構(gòu)及功能性來實(shí)踐的此類裝置或方法。應(yīng)當(dāng)理解，所披露的本公開的任何方面可由權(quán)利要求的一個(gè)或多個(gè)元素來實(shí)施。

措辭“示例性”在本文中用于表示“用作示例、實(shí)例或解說”。本文中描述為“示例性”的任何方面不必被解釋為優(yōu)于或勝過其他方面。

盡管本文描述了特定方面，但這些方面的眾多變體和置換落在本公開的范圍之內(nèi)。雖然提到了優(yōu)選方面的一些益處和優(yōu)點(diǎn)，但本公開的范圍并非旨在被限定于特定益處、用途或目標(biāo)。相反，本公開的各方面旨在能寬泛地應(yīng)用于不同的技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和協(xié)議，其中一些作為示例在附圖以及以下對優(yōu)選方面的描述中解說。詳細(xì)描述和附圖僅僅解說本公開而非限定本公開，本公開的范圍由所附權(quán)利要求及其等效技術(shù)方案來定義。

示例神經(jīng)系統(tǒng)、訓(xùn)練及操作

圖1解說根據(jù)本公開的某些方面的具有多級神經(jīng)元的示例人工神經(jīng)系統(tǒng)100。神經(jīng)系統(tǒng)100可具有神經(jīng)元級102，該神經(jīng)元級102通過突觸連接網(wǎng)絡(luò)104(即，前饋連接)來連接到另一神經(jīng)元級106。為簡單起見，圖1中僅解說了兩級神經(jīng)元，盡管神經(jīng)系統(tǒng)中可存在更少或更多級神經(jīng)元。應(yīng)注意，一些神經(jīng)元可通過側(cè)向連接來連接至同層中的其他神經(jīng)元。此外，一些神經(jīng)元可通過反饋連接來后向連接至先前層中的神經(jīng)元。

如圖1所解說的，級102中的每一個(gè)神經(jīng)元可以接收可由前級的神經(jīng)元(未在圖1中示出)生成的輸入信號108。信號108可表示級102的神經(jīng)元的輸入電流。該電流可在神經(jīng)元膜上累積以對膜電位進(jìn)行充電。當(dāng)膜電位達(dá)到其閾值時(shí)，該神經(jīng)元可激發(fā)并生成輸出尖峰，該輸出尖峰將被傳遞到下一級神經(jīng)元(例如，級106)。在某些建模辦法中，神經(jīng)元可以連續(xù)地向下一級神經(jīng)元傳遞信號。該信號通常是膜電位的函數(shù)。此類行為可在硬件和/或軟件(包括模擬和數(shù)字實(shí)現(xiàn)，諸如以下所述那些實(shí)現(xiàn))中進(jìn)行仿真或模擬。

在生物學(xué)神經(jīng)元中，在神經(jīng)元激發(fā)時(shí)生成的輸出尖峰被稱為動作電位。該電信號是相對迅速、瞬態(tài)的神經(jīng)沖激，其具有約為100mV的振幅和約為1ms的歷時(shí)。在具有一系列連通的神經(jīng)元(例如，尖峰從圖1中的一級神經(jīng)元傳遞至另一級神經(jīng)元)的神經(jīng)系統(tǒng)的特定實(shí)施例中，每個(gè)動作電位都具有基本上相同的振幅和歷時(shí)，并且因此該信號中的信息可僅由尖峰的頻率和數(shù)目、或尖峰的時(shí)間來表示，而不由振幅來表示。動作電位所攜帶的信息可由尖峰、發(fā)放了尖峰的神經(jīng)元、以及該尖峰相對于一個(gè)或數(shù)個(gè)其他尖峰的時(shí)間來確定。尖峰的重要性可由向各神經(jīng)元之間的連接所應(yīng)用的權(quán)重來確定，如以下所解釋的。

尖峰從一級神經(jīng)元向另一級神經(jīng)元的傳遞可通過突觸連接(或簡稱“突觸”)網(wǎng)絡(luò)104來達(dá)成，如圖1中所解說的。相對于突觸104，級102的神經(jīng)元可被視為突觸前神經(jīng)元，而級106的神經(jīng)元可被視為突觸后神經(jīng)元。突觸104可接收來自級102的神經(jīng)元的輸出信號(即，尖峰)，并根據(jù)可調(diào)節(jié)突觸權(quán)重來按比例縮放那些信號，其中P是級102的神經(jīng)元與級106的神經(jīng)元之間的突觸連接的總數(shù)，并且i是神經(jīng)元級的指示符。在圖1的示例中，i表示神經(jīng)元級102并且i+1表示神經(jīng)元級106。此外，經(jīng)按比例縮放的信號可被組合以作為級106中每個(gè)神經(jīng)元的輸入信號。級106中的每個(gè)神經(jīng)元可基于對應(yīng)的組合輸入信號來生成輸出尖峰110。可使用另一突觸連接網(wǎng)絡(luò)(圖1中未示出)將這些輸出尖峰110傳遞到另一級神經(jīng)元。

生物學(xué)突觸可以仲裁突觸后神經(jīng)元中的興奮性或抑制性(超級化)動作，并且還可用于放大神經(jīng)元信號。興奮性信號使膜電位去極化(即，相對于靜息電位增大膜電位)。如果在某個(gè)時(shí)間段內(nèi)接收到足夠的興奮性信號以使膜電位去極化到高于閾值，則在突觸后神經(jīng)元中發(fā)生動作電位。相反，抑制性信號一般使膜電位超極化(即，降低膜電位)。抑制性信號如果足夠強(qiáng)則可抵消掉興奮性信號之和并阻止膜電位到達(dá)閾值。除了抵消掉突觸興奮以外，突觸抑制還可對自發(fā)活躍神經(jīng)元施加強(qiáng)力的控制。自發(fā)活躍神經(jīng)元是指在沒有進(jìn)一步輸入的情況下(例如，由于其動態(tài)或反饋而)發(fā)放尖峰的神經(jīng)元。通過壓制這些神經(jīng)元中的動作電位的自發(fā)生成，突觸抑制可對神經(jīng)元中的激發(fā)模式進(jìn)行定形，這一般被稱為雕刻。取決于期望的行為，各種突觸104可充當(dāng)興奮性或抑制性突觸的任何組合。

神經(jīng)系統(tǒng)100可由通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或其他可編程邏輯器件(PLD)、分立的門或晶體管邏輯、分立的硬件組件、由處理器執(zhí)行的軟件模塊、或其任何組合來仿真。神經(jīng)系統(tǒng)100可用在大范圍的應(yīng)用中，諸如圖像和模式識別、機(jī)器學(xué)習(xí)、電機(jī)控制、及類似應(yīng)用等。神經(jīng)系統(tǒng)100中的每一神經(jīng)元可被實(shí)現(xiàn)為神經(jīng)元電路。被充電至發(fā)起輸出尖峰的閾值的神經(jīng)元膜可被實(shí)現(xiàn)為例如對流經(jīng)其的電流進(jìn)行積分的電容器。

在一方面，電容器作為神經(jīng)元電路的電流積分器件可被除去，并且可使用較小的憶阻器元件來替代它。這種辦法可應(yīng)用于神經(jīng)元電路中，以及其中大容量電容器被用作電流積分器的各種其他應(yīng)用中。另外，每個(gè)突觸104可基于憶阻器元件來實(shí)現(xiàn)，其中突觸權(quán)重改變可與憶阻器電阻的變化有關(guān)。使用納米特征尺寸的憶阻器，可顯著地減小神經(jīng)元電路和突觸的面積，這可使得實(shí)現(xiàn)大規(guī)模神經(jīng)系統(tǒng)硬件實(shí)現(xiàn)更為切實(shí)可行。

對神經(jīng)系統(tǒng)100進(jìn)行仿真的神經(jīng)處理器的功能性可取決于突觸連接的權(quán)重，這些權(quán)重可控制神經(jīng)元之間的連接的強(qiáng)度。突觸權(quán)重可存儲在非易失性存儲器中以在掉電之后保留該處理器的功能性。在一方面，突觸權(quán)重存儲器可實(shí)現(xiàn)在與主神經(jīng)處理器芯片分開的外部芯片上。突觸權(quán)重存儲器可與神經(jīng)處理器芯片分開地封裝成可更換的存儲卡。這可向神經(jīng)處理器提供多種多樣的功能性，其中特定功能性可基于當(dāng)前附連至神經(jīng)處理器的存儲卡中所存儲的突觸權(quán)重。

圖2解說根據(jù)本公開的某些方面的計(jì)算網(wǎng)絡(luò)(例如，神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò))的處理單元(例如，神經(jīng)元或神經(jīng)元電路)202的示例性示圖200。例如，神經(jīng)元202可對應(yīng)于來自圖1的級102和106的任何神經(jīng)元。神經(jīng)元202可接收多個(gè)輸入信號204₁-204_N，這些輸入信號可以是該神經(jīng)系統(tǒng)外部的信號、或是由同一神經(jīng)系統(tǒng)的其他神經(jīng)元所生成的信號、或這兩者。輸入信號可以是電流、電導(dǎo)、電壓、實(shí)數(shù)值的和/或復(fù)數(shù)值的。輸入信號可包括具有定點(diǎn)或浮點(diǎn)表示的數(shù)值?？赏ㄟ^突觸連接將這些輸入信號遞送到神經(jīng)元202，突觸連接根據(jù)可調(diào)節(jié)突觸權(quán)重206₁-206_N(W₁-W_N)對這些信號進(jìn)行按比例縮放，其中N可以是神經(jīng)元202的輸入連接總數(shù)。

神經(jīng)元202可組合這些經(jīng)按比例縮放的輸入信號，并且使用組合的經(jīng)按比例縮放的輸入來生成輸出信號208(即，信號Y)。輸出信號208可以是電流、電導(dǎo)、電壓、實(shí)數(shù)值的和/或復(fù)數(shù)值的。輸出信號可以是具有定點(diǎn)或浮點(diǎn)表示的數(shù)值。隨后該輸出信號208可作為輸入信號傳遞至同一神經(jīng)系統(tǒng)的其他神經(jīng)元、或作為輸入信號傳遞至同一神經(jīng)元202、或作為該神經(jīng)系統(tǒng)的輸出來傳遞。

處理單元(神經(jīng)元)202可由電路來仿真，并且其輸入和輸出連接可由具有突觸電路的電連接來仿真。處理單元202及其輸入和輸出連接也可由軟件代碼來仿真。處理單元202還可由電路來仿真，而其輸入和輸出連接可由軟件代碼來仿真。在一方面，計(jì)算網(wǎng)絡(luò)中的處理單元202可以是模擬電路。在另一方面，處理單元202可以是數(shù)字電路。在又一方面，處理單元202可以是具有模擬和數(shù)字組件兩者的混合信號電路。計(jì)算網(wǎng)絡(luò)可包括任何前述形式的處理單元。使用這樣的處理單元的計(jì)算網(wǎng)絡(luò)(神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò))可用在大范圍的應(yīng)用中，諸如圖像和模式識別、機(jī)器學(xué)習(xí)、電機(jī)控制、及類似應(yīng)用等。

在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程期間，突觸權(quán)重(例如，來自圖1的權(quán)重和/或來自圖2的權(quán)重206₁-206_N)可用隨機(jī)值來初始化并根據(jù)學(xué)習(xí)規(guī)則而被增大或減小。本領(lǐng)域技術(shù)人員將領(lǐng)會，學(xué)習(xí)規(guī)則的示例包括但不限于尖峰定時(shí)依賴可塑性(STDP)學(xué)習(xí)規(guī)則、Hebb規(guī)則、Oja規(guī)則、Bienenstock-Copper-Munro(BCM)規(guī)則等。在某些方面，這些權(quán)重可穩(wěn)定或收斂至兩個(gè)值(即，權(quán)重的雙峰分布)之一。該效應(yīng)可被用于減少每個(gè)突觸權(quán)重的位數(shù)、提高從/向存儲突觸權(quán)重的存儲器讀取和寫入的速度、以及降低突觸存儲器的功率和/或處理器消耗。

突觸類型

在神經(jīng)網(wǎng)絡(luò)的硬件和軟件模型中，突觸相關(guān)功能的處理可基于突觸類型。突觸類型可以是非可塑突觸(權(quán)重和延遲沒有改變)、可塑突觸(權(quán)重可改變)、結(jié)構(gòu)化延遲可塑突觸(權(quán)重和延遲可改變)、全可塑突觸(權(quán)重、延遲和連通性可改變)、以及基于此的變型(例如，延遲可改變，但在權(quán)重或連通性方面沒有改變)。多種類型的優(yōu)點(diǎn)在于處理可以被細(xì)分。例如，非可塑突觸不會要求執(zhí)行可塑性功能(或等待此類功能完成)。類似地，延遲和權(quán)重可塑性可被細(xì)分成可一起或分開地、順序地或并行地運(yùn)作的操作。不同類型的突觸對于適用的每一種不同的可塑性類型可具有不同的查找表或公式以及參數(shù)。因此，這些方法將針對該突觸的類型來訪問相關(guān)的表、公式或參數(shù)。

還進(jìn)一步牽涉到以下事實(shí)：尖峰定時(shí)依賴型結(jié)構(gòu)化可塑性可獨(dú)立于突觸可塑性地來執(zhí)行。結(jié)構(gòu)化可塑性即使在權(quán)重幅值沒有改變的情況下(例如，如果權(quán)重已達(dá)最小或最大值、或者其由于某種其他原因而不被改變)也可被執(zhí)行，因?yàn)榻Y(jié)構(gòu)化可塑性(即，延遲改變的量)可以是前-后尖峰時(shí)間差的直接函數(shù)。替換地，結(jié)構(gòu)化可塑性可被設(shè)為權(quán)重改變量的函數(shù)或者可基于與權(quán)重或權(quán)重改變的界限有關(guān)的條件來設(shè)置。例如，突觸延遲可僅在權(quán)重改變發(fā)生時(shí)或者在權(quán)重到達(dá)0的情況下才改變，但在這些權(quán)重為最大值時(shí)則不改變。然而，具有獨(dú)立函數(shù)以使得這些過程能被并行化從而減少存儲器訪問的次數(shù)和交疊可能是有利的。

突觸可塑性的確定

神經(jīng)元可塑性(或簡稱“可塑性”)是大腦中的神經(jīng)元和神經(jīng)網(wǎng)絡(luò)響應(yīng)于新的信息、感官刺激、發(fā)展、損壞、或機(jī)能障礙而改變其突觸連接和行為的能力?？伤苄詫τ谏飳W(xué)中的學(xué)習(xí)和記憶、以及對于計(jì)算神經(jīng)元科學(xué)和神經(jīng)網(wǎng)絡(luò)是重要的。已經(jīng)研究了各種形式的可塑性，諸如突觸可塑性(例如，根據(jù)Hebbian理論)、尖峰定時(shí)依賴可塑性(STDP)、非突觸可塑性、活躍性依賴可塑性、結(jié)構(gòu)化可塑性和自穩(wěn)態(tài)可塑性。

STDP是調(diào)節(jié)神經(jīng)元之間的突觸連接的強(qiáng)度的學(xué)習(xí)過程。連接強(qiáng)度是基于特定神經(jīng)元的輸出與收到輸入尖峰(即，動作電位)的相對定時(shí)來調(diào)節(jié)的。在STDP過程下，如果至某個(gè)神經(jīng)元的輸入尖峰平均而言傾向于緊挨在該神經(jīng)元的輸出尖峰之前發(fā)生，則可發(fā)生長期增強(qiáng)(LTP)。于是使得該特定輸入在一定程度上更強(qiáng)。另一方面，如果輸入尖峰平均而言傾向于緊接在輸出尖峰之后發(fā)生，則可發(fā)生長期抑壓(LTD)。于是使得該特定輸入在一定程度上更弱，并由此得名“尖峰定時(shí)依賴可塑性”。因此，使得可能是突觸后神經(jīng)元興奮原因的輸入甚至在將來作出貢獻(xiàn)的可能性更大，而使得不是突觸后尖峰的原因的輸入在將來作出貢獻(xiàn)的可能性更小。該過程繼續(xù)，直至初始連接集合的子集保留，而所有其他連接的影響減小至無關(guān)緊要的水平。

由于神經(jīng)元一般在其許多輸入都在一短時(shí)段內(nèi)發(fā)生(即，累積性足以引起輸出)時(shí)產(chǎn)生輸出尖峰，因此通常保留下來的輸入子集包括傾向于在時(shí)間上相關(guān)的那些輸入。另外，由于在輸出尖峰之前發(fā)生的輸入被加強(qiáng)，因此提供對相關(guān)性的最早充分累積性指示的那些輸入將最終變成至該神經(jīng)元的最后輸入。

STDP學(xué)習(xí)規(guī)則可因變于突觸前神經(jīng)元的尖峰時(shí)間t_pre與突觸后神經(jīng)元的尖峰時(shí)間t_post之間的時(shí)間差(即，t＝t_post-t_pre)來有效地適配將該突觸前神經(jīng)元連接到該突觸后神經(jīng)元的突觸的突觸權(quán)重。STDP的典型公式化是若該時(shí)間差為正(突觸前神經(jīng)元在突觸后神經(jīng)元之前激發(fā))則增大突觸權(quán)重(即，增強(qiáng)該突觸)，以及若該時(shí)間差為負(fù)(突觸后神經(jīng)元在突觸前神經(jīng)元之前激發(fā))則減小突觸權(quán)重(即，抑壓該突觸)。

在STDP過程中，突觸權(quán)重隨時(shí)間推移的改變可通常使用指數(shù)式衰退來達(dá)成，如由下式給出的：

其中k₊和k_-τ_sign(Δt)分別是針對正和負(fù)時(shí)間差的時(shí)間常數(shù)，a₊和a_-是對應(yīng)的比例縮放幅值，并且μ是可應(yīng)用于正時(shí)間差和/或負(fù)時(shí)間差的偏移。

圖3解說根據(jù)STDP，因變于突觸前(pre)和突觸后(post)尖峰的相對定時(shí)的突觸權(quán)重改變的示例性示圖300。如果突觸前神經(jīng)元在突觸后神經(jīng)元之前激發(fā)，則對應(yīng)的突觸權(quán)重可被增大，如曲線圖300的部分302中所解說的。該權(quán)重增大可被稱為該突觸的LTP。從曲線圖部分302可觀察到，LTP的量可因變于突觸前和突觸后尖峰時(shí)間之差而大致呈指數(shù)式地下降。相反的激發(fā)次序可減小突觸權(quán)重，如曲線圖300的部分304中所解說的，從而導(dǎo)致該突觸的LTD。

如圖3中的曲線圖300中所解說的，可向STDP曲線圖的LTP(因果性)部分302應(yīng)用負(fù)偏移μ。x軸的交越點(diǎn)306(y＝0)可被配置成與最大時(shí)間滯后重合以考慮到來自層i-1的各因果性輸入的相關(guān)性。在基于幀的輸入(即，呈特定歷時(shí)的包括尖峰或脈沖的幀的形式的輸入)的情形中，可計(jì)算偏移值μ以反映幀邊界。該幀中的第一輸入尖峰(脈沖)可被視為要么如直接由突觸后電位所建模地隨時(shí)間衰退，要么在對神經(jīng)狀態(tài)的影響的意義上隨時(shí)間衰退。如果該幀中的第二輸入尖峰(脈沖)被視為與特定時(shí)間幀相關(guān)或有關(guān)，則該幀之前和之后的有關(guān)時(shí)間可通過使STDP曲線的一個(gè)或多個(gè)部分偏移以使得這些有關(guān)時(shí)間中的值可以不同(例如，對于大于一個(gè)幀為負(fù)，而對于小于一個(gè)幀為正)來在該時(shí)間幀邊界處被分開并在可塑性意義上被不同地對待。例如，負(fù)偏移μ可被設(shè)為偏移LTP以使得曲線實(shí)際上在大于幀時(shí)間的pre-post時(shí)間處變得低于零并且它由此為LTD而非LTP的一部分。

神經(jīng)元模型及操作

存在一些用于設(shè)計(jì)有用的尖峰發(fā)放神經(jīng)元模型的一般原理。良好的神經(jīng)元模型在以下兩個(gè)計(jì)算態(tài)相(regime)方面可具有豐富的潛在行為：重合性檢測和功能性計(jì)算。此外，良好的神經(jīng)元模型應(yīng)當(dāng)具有允許時(shí)間編碼的兩個(gè)要素：輸入的抵達(dá)時(shí)間影響輸出時(shí)間，以及重合性檢測能具有窄時(shí)間窗。最后，為了在計(jì)算上是有吸引力的，良好的神經(jīng)元模型在連續(xù)時(shí)間上可具有閉合形式解，并且具有穩(wěn)定的行為，包括在靠近吸引子和鞍點(diǎn)之處。換言之，有用的神經(jīng)元模型是可實(shí)踐且可被用于建模豐富的、現(xiàn)實(shí)的且生物學(xué)一致的行為并且可被用于對神經(jīng)電路進(jìn)行工程設(shè)計(jì)和反向工程設(shè)計(jì)兩者的神經(jīng)元模型。

神經(jīng)元模型可取決于事件，諸如輸入抵達(dá)、輸出尖峰或其他事件，無論這些事件是內(nèi)部的還是外部的。為了達(dá)成豐富的行為庫，能展現(xiàn)復(fù)雜行為的狀態(tài)機(jī)可能是期望的。如果事件本身的發(fā)生在撇開輸入貢獻(xiàn)(若有)的情況下能影響狀態(tài)機(jī)并約束該事件之后的動態(tài)，則該系統(tǒng)的將來狀態(tài)并非僅是狀態(tài)和輸入的函數(shù)，而是狀態(tài)、事件和輸入的函數(shù)。

在一方面，神經(jīng)元n可被建模為尖峰帶漏泄積分激發(fā)神經(jīng)元，其膜電壓v_n(t)由以下動態(tài)來支配：

其中α和β是參數(shù)，w_m,n是將突觸前神經(jīng)元m連接至突觸后神經(jīng)元n的突觸的突觸權(quán)重，以及y_m(t)是神經(jīng)元m的尖峰發(fā)放輸出，其可根據(jù)Δt_m,n被延遲達(dá)樹突或軸突延遲才抵達(dá)神經(jīng)元n的胞體。

應(yīng)注意，從建立了對突觸后神經(jīng)元的充分輸入的時(shí)間直至該突觸后神經(jīng)元實(shí)際上激發(fā)的時(shí)間存在延遲。在動態(tài)尖峰神經(jīng)元模型(諸如Izhikevich簡單模型)中，如果在去極化閾值v_t與峰值尖峰電壓v_peak之間有差量，則可引發(fā)時(shí)間延遲。例如，在該簡單模型中，神經(jīng)元胞體動態(tài)可由關(guān)于電壓和恢復(fù)的微分方程對來支配，即：

其中v是膜電位，u是膜恢復(fù)變量，k是描述膜電位v的時(shí)間尺度的參數(shù)，a是描述恢復(fù)變量u的時(shí)間尺度的參數(shù)，b是描述恢復(fù)變量u對膜電位v的閾下波動的敏感度的參數(shù)，v_r是膜靜息電位，I是突觸電流，以及C是膜的電容。根據(jù)該模型，神經(jīng)元被定義為在v＞v_peak時(shí)發(fā)放尖峰。

Hunzinger Cold模型

Hunzinger Cold神經(jīng)元模型是能再現(xiàn)豐富多樣的各種神經(jīng)行為的最小雙態(tài)相尖峰發(fā)放線性動態(tài)模型。該模型的一維或二維線性動態(tài)可具有兩個(gè)態(tài)相，其中時(shí)間常數(shù)(以及耦合)可取決于態(tài)相。在閾下態(tài)相中，時(shí)間常數(shù)(按照慣例為負(fù))表示漏泄通道動態(tài)，其一般作用于以生物學(xué)一致的線性方式使細(xì)胞返回到靜息。閾上態(tài)相中的時(shí)間常數(shù)(按照慣例為正)反映抗漏泄通道動態(tài)，其一般驅(qū)動細(xì)胞發(fā)放尖峰，而同時(shí)在尖峰生成中引發(fā)等待時(shí)間。

如圖4中所解說的，該模型400的動態(tài)可被劃分成兩個(gè)(或更多個(gè))態(tài)相。這些態(tài)相可被稱為負(fù)態(tài)相402(也可互換地稱為帶漏泄積分激發(fā)(LIF)態(tài)相，勿與LIF神經(jīng)元模型混淆)以及正態(tài)相404(也可互換地稱為抗漏泄積分激發(fā)(ALIF)態(tài)相，勿與ALIF神經(jīng)元模型混淆)。在負(fù)態(tài)相402中，狀態(tài)在將來事件的時(shí)間趨向于靜息(v_-)。在該負(fù)態(tài)相中，該模型一般展現(xiàn)出時(shí)間輸入檢測性質(zhì)及其他閾下行為。在正態(tài)相404中，狀態(tài)趨向于尖峰發(fā)放事件(v_s)。在該正態(tài)相中，該模型展現(xiàn)出計(jì)算性質(zhì)，諸如取決于后續(xù)輸入事件而引發(fā)發(fā)放尖峰的等待時(shí)間。在事件方面對動態(tài)進(jìn)行公式化以及將動態(tài)分成這兩個(gè)態(tài)相是該模型的基礎(chǔ)特性。

線性雙態(tài)相二維動態(tài)(對于狀態(tài)v和u)可按照慣例定義為：

其中q_ρ和r是用于耦合的線性變換變量。

符號ρ在本文中用于標(biāo)示動態(tài)態(tài)相，在討論或表達(dá)具體態(tài)相的關(guān)系時(shí)，按照慣例對于負(fù)態(tài)相和正態(tài)相分別用符號“-”或“+”來替換符號ρ。

模型狀態(tài)通過膜電位(電壓)v和恢復(fù)電流u來定義。在基本形式中，態(tài)相在本質(zhì)上是由模型狀態(tài)來決定的。該精確和通用的定義存在一些細(xì)微卻重要的方面，但目前考慮該模型在電壓v高于閾值(v₊)的情況下處于正態(tài)相404中，否則處于負(fù)態(tài)相402中。

態(tài)相依賴型時(shí)間常數(shù)包括負(fù)態(tài)相時(shí)間常數(shù)τ_-和正態(tài)相時(shí)間常數(shù)τ₊?；謴?fù)電流時(shí)間常數(shù)τ_u通常是獨(dú)立于態(tài)相的。出于方便起見，負(fù)態(tài)相時(shí)間常數(shù)τ_-通常被指定為反映衰退的負(fù)量，從而用于電壓演變的相同表達(dá)式可用于正態(tài)相，在正態(tài)相中指數(shù)和τ₊將一般為正，正如τ_u那樣。

這兩個(gè)狀態(tài)元素的動態(tài)可在發(fā)生事件之際通過使?fàn)顟B(tài)偏離其零傾線(null-cline)的變換來耦合，其中變換變量為：

q_ρ＝-τ_ρβu-v_ρ (7)

r＝δ(v+ε) (8)

其中δ、ε、β和v_-、v₊是參數(shù)。v_ρ的兩個(gè)值是這兩個(gè)態(tài)相的參考電壓的基數(shù)。參數(shù)v_-是負(fù)態(tài)相的基電壓，并且膜電位在負(fù)態(tài)相中一般將朝向v_-衰退。參數(shù)v₊是正態(tài)相的基電壓，并且膜電位在正態(tài)相中一般將趨向于背離v₊。

v和u的零傾線分別由變換變量q_ρ和r的負(fù)數(shù)給出。參數(shù)δ是控制u零傾線的斜率的縮放因子。參數(shù)ε通常被設(shè)為等于-v_-。參數(shù)β是控制這兩個(gè)態(tài)相中的v零傾線的斜率的電阻值。τ_ρ時(shí)間常數(shù)參數(shù)不僅控制指數(shù)式衰退，還單獨(dú)地控制每個(gè)態(tài)相中的零傾線斜率。

該模型可被定義為在電壓v達(dá)到值v_S時(shí)發(fā)放尖峰。隨后，狀態(tài)可在發(fā)生復(fù)位事件(其可以與尖峰事件完全相同)之際被復(fù)位：

u＝u+Δu (10)

其中和Δu是參數(shù)。復(fù)位電壓通常被設(shè)為v_-。

依照瞬時(shí)耦合的原理，閉合形式解不僅對于狀態(tài)是可能的(且具有單個(gè)指數(shù)項(xiàng))，而且對于到達(dá)特定狀態(tài)所需的時(shí)間也是可能的。閉合形式狀態(tài)解為：

因此，模型狀態(tài)可僅在發(fā)生事件之際被更新，諸如在輸入(突觸前尖峰)或輸出(突觸后尖峰)之際被更新。還可在任何特定時(shí)間(無論是否有輸入或輸出)執(zhí)行操作。

此外，依照瞬時(shí)耦合原理，突觸后尖峰的時(shí)間可被預(yù)計(jì)，因此到達(dá)特定狀態(tài)的時(shí)間可提前被確定而無需迭代技術(shù)或數(shù)值方法(例如，歐拉數(shù)值方法)。給定了先前電壓狀態(tài)v₀，直至到達(dá)電壓狀態(tài)v_f之前的時(shí)間延遲由下式給出：

如果尖峰被定義為發(fā)生在電壓狀態(tài)v到達(dá)v_S的時(shí)間，則從電壓處于給定狀態(tài)v的時(shí)間起測量的直至發(fā)生尖峰前的時(shí)間量或即相對延遲的閉合形式解為：

其中通常被設(shè)為參數(shù)v₊，但其他變型可以是可能的。

模型動態(tài)的以上定義取決于該模型是在正態(tài)相還是負(fù)態(tài)相中。如所提及的，耦合和態(tài)相ρ可基于事件來計(jì)算。出于狀態(tài)傳播的目的，態(tài)相和耦合(變換)變量可基于在上一(先前)事件的時(shí)間的狀態(tài)來定義。出于隨后預(yù)計(jì)尖峰輸出時(shí)間的目的，態(tài)相和耦合變量可基于在下一(當(dāng)前)事件的時(shí)間的狀態(tài)來定義。

存在對該Cold模型、以及在時(shí)間上執(zhí)行模擬、仿真、或建模的若干可能實(shí)現(xiàn)。這包括例如事件-更新、步點(diǎn)-事件更新、以及步點(diǎn)-更新模式。事件更新是其中基于事件或“事件更新”(在特定時(shí)刻)來更新狀態(tài)的更新。步點(diǎn)更新是以間隔(例如，1ms)來更新模型的更新。這不一定要求迭代方法或數(shù)值方法。通過僅在事件發(fā)生于步點(diǎn)處或步點(diǎn)間的情況下才更新模型或即通過“步點(diǎn)-事件”更新，基于事件的實(shí)現(xiàn)以有限的時(shí)間分辨率在基于步點(diǎn)的模擬器中實(shí)現(xiàn)也是可能的。

動態(tài)空間目標(biāo)選擇

專用于對多個(gè)目標(biāo)(諸如空間目標(biāo))采取動作的系統(tǒng)使用各種準(zhǔn)則來選擇一個(gè)或多個(gè)目標(biāo)。目標(biāo)的選擇可取決于正在解決的問題。例如，一種選擇準(zhǔn)則使用各目標(biāo)與對象當(dāng)前位置之間的空間關(guān)系。函數(shù)定義開始于對問題空間的定義。決策函數(shù)可持續(xù)地執(zhí)行或者可以通過對象實(shí)例的在場來選通。

在常規(guī)的基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)選擇中，目標(biāo)可能占用的每個(gè)區(qū)域可與神經(jīng)網(wǎng)絡(luò)的一節(jié)點(diǎn)(例如神經(jīng)元)相關(guān)聯(lián)。神經(jīng)元將經(jīng)由一組權(quán)重被連接至該網(wǎng)絡(luò)中的其他神經(jīng)元，該組權(quán)重指定在該區(qū)域被目標(biāo)占用的情況下選擇該區(qū)域的可能性。即，權(quán)重可連同其他準(zhǔn)則(諸如對象的當(dāng)前位置)一起確定要選取的目標(biāo)。在一個(gè)示例中，選擇準(zhǔn)則選擇最靠近對象當(dāng)前位置的目標(biāo)。神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)可被抽象地認(rèn)為是存儲器中的位置，這些位置在目標(biāo)占用空間中的相關(guān)聯(lián)位置的情況下被寫成高值，而在沒有目標(biāo)占用空間中的相關(guān)聯(lián)位置的情況下被寫成低值。

在一些情形中，可能期望動態(tài)地使選擇偏向或偏離具體目標(biāo)和/或區(qū)域。例如，在一對象(諸如機(jī)器人)訪問特定區(qū)域和/或目標(biāo)之后，該區(qū)域和/或目標(biāo)被偏置為在特定時(shí)間段里被選擇的可能性較小。在另一示例中，對象、用戶、和/或網(wǎng)絡(luò)學(xué)習(xí)到高值目標(biāo)趨向于出現(xiàn)在特定區(qū)劃中，諸如空間的左上象限。從而，在此示例中，可使目標(biāo)選擇偏向該特定區(qū)劃。

空間位置可用尖峰發(fā)放單元的二維(2D)網(wǎng)格來表示。該網(wǎng)格中的每個(gè)單元的位置可被映射到物理空間中的位置。單元的屬性可由該單元的活躍性(諸如尖峰發(fā)放速率)來指示。在一種配置中，活躍單元指示該位置是感興趣的目標(biāo)。如果對象包括相對于該對象的當(dāng)前位置的目標(biāo)地圖，則可基于交叉抑制來選擇一個(gè)或多個(gè)目標(biāo)?；诮徊嬉种苼磉x擇目標(biāo)可被稱為勝者全得。即，對象選擇具有比其他目標(biāo)的活躍率更大的活躍率的一個(gè)或多個(gè)目標(biāo)。在本申請中，目標(biāo)單元和/或空間區(qū)劃可被稱為目標(biāo)。

在常規(guī)的目標(biāo)選擇準(zhǔn)則中，交叉抑制性連接的權(quán)重在偏置對位置的選擇時(shí)是不對稱的。例如，在常規(guī)系統(tǒng)中，一位置抑制與本位置相比距對象更遠(yuǎn)的所有位置。與之形成對比的是，根據(jù)本公開的一方面，選擇過程被動態(tài)地偏置。該偏置可被稱為聚焦注意力。

即，在一種配置中，選擇準(zhǔn)則指定勝者全得網(wǎng)絡(luò)，該網(wǎng)絡(luò)包括被疊加以使選擇偏向特定區(qū)劃的空間注意力地圖。該偏置可使用交叉抑制性連接，這些交叉抑制性連接使用居間的中間神經(jīng)元。在非偏置狀況下(即，未疊加有聚焦地圖)，該中間神經(jīng)元在各單元之間中繼抑制。盡管如此，該聚焦地圖可修改中間神經(jīng)元的可興奮性以使得這些中間神經(jīng)元傳送抑制性沖激的可能性更大或更小。修改中間神經(jīng)元的可興奮性偏置勝者全得計(jì)算。

圖5解說了根據(jù)本公開的一方面的目標(biāo)選擇的示例。如圖5中所示，目標(biāo)504、506、508、510圍繞對象502。在常規(guī)系統(tǒng)中，對象502可被指定為選擇第二目標(biāo)506，因?yàn)榈诙繕?biāo)506是最靠近對象502的目標(biāo)。根據(jù)本公開的一方面，與其他目標(biāo)504、506、508和/或其他空間區(qū)域(未示出)相比，在第四目標(biāo)510附近的區(qū)域512和/或第四目標(biāo)510本身被指定為是更期望的目標(biāo)。在一個(gè)示例中，在第四目標(biāo)510附近的區(qū)域512和/或第四目標(biāo)510是更期望的，因?yàn)榈谒哪繕?biāo)510是高值目標(biāo)。在另一示例中，在第四目標(biāo)510附近的區(qū)域512和/或第四目標(biāo)510是更期望的，因?yàn)槟繕?biāo)502先前已選擇了其他目標(biāo)504、506、508中的一者并且被指定為在預(yù)定義時(shí)間段里訪問新區(qū)域。盡管如此，本公開的各方面不限于前述的關(guān)于指定區(qū)域和/或目標(biāo)的期望性的原因，當(dāng)然，構(gòu)想了將特定目標(biāo)和/或區(qū)劃指定為是期望的其他原因。

如圖6中所示，目標(biāo)地圖600可由地點(diǎn)單元602的2D網(wǎng)格來表示。目標(biāo)在一位置處的在場由單元的活躍性(諸如尖峰發(fā)放間隔)來指定。在一種配置中，假定了(諸)目標(biāo)在目標(biāo)地圖600中的坐標(biāo)已被變換為相對于對象的位置而言。

坐標(biāo)變換是指將相對于第一參考系的空間表示轉(zhuǎn)換為相對于第二參考系的實(shí)質(zhì)上類似的表示。例如，可向?qū)ο?諸如機(jī)器人)給予目標(biāo)相對于房間西北角的坐標(biāo)集。在此示例中，該目標(biāo)的坐標(biāo)基于世界中心參考系(即，非自我中心式坐標(biāo)表示)。盡管如此，對于計(jì)劃朝該目標(biāo)移動的對象而言，期望將非自我中心式坐標(biāo)轉(zhuǎn)換為相對于該對象的當(dāng)前位置和方向的表示(即，自我中心式參考系)。即，非自我中心式坐標(biāo)應(yīng)當(dāng)被轉(zhuǎn)換為自我中心式坐標(biāo)。該目標(biāo)的自我中心式坐標(biāo)將隨著該對象在房間內(nèi)四處移動而改變，盡管如此，非自我中心式坐標(biāo)將在該對象在房間內(nèi)四處移動時(shí)保持不變。將期望維持基于對象的固定位置(諸如地圖中心)的自我中心式坐標(biāo)。

如圖6中所示，對象604的位置處于目標(biāo)地圖600的中心。即，與非自我中心式地圖(未示出)形成對比的是，圖6的目標(biāo)地圖600中的對象604和目標(biāo)606、608、610的坐標(biāo)基于來自該對象的位置的參考系。

在常規(guī)網(wǎng)絡(luò)中，交叉抑制被指定以允許一個(gè)單元按照大于另一個(gè)單元的速率發(fā)放尖峰。即，當(dāng)期望這些單元之一更有可能勝利時(shí)，抑制性權(quán)重可使用于選擇的偏置失衡。例如，如果一個(gè)單元更靠近對象，則抑制性權(quán)重可偏置其他目標(biāo)的尖峰發(fā)放。

圖7解說了交叉抑制的示例。如圖7中所示，第一單元702抑制第二單元704，從而使得第一單元702更有可能勝利。即，可經(jīng)由第一連接706輸出抑制性權(quán)重。第一連接706被連接至第一單元702的輸出710。第二連接708也被連接至第二單元704的輸出712。第二連接708也可向第一單元702輸出抑制性權(quán)重。盡管如此，在此配置中，第一連接706的抑制性權(quán)重大于第二連接708的抑制性權(quán)重。因此，第一單元702抑制第二單元704，從而使得第一單元702更有可能勝利。此外，第一單元702經(jīng)由第一輸入714來接收信號(例如，尖峰)，而第二單元704經(jīng)由第二輸入716來接收信號(例如，尖峰)。在一種配置中，該交叉抑制僅允許一個(gè)單元比其他單元更活躍。

圖8解說了根據(jù)本公開的一方面的交叉抑制的示例。作為一示例，在圖8中，第一單元802抑制第二單元804，從而使得第一單元802更有可能勝利。即，可經(jīng)由第一連接806輸出抑制性權(quán)重。第一連接806被連接至第一單元802的輸出810和第一中間神經(jīng)元816，第一中間神經(jīng)元816經(jīng)由第一中間神經(jīng)元連接820來抑制第二單元804。第二連接808也被連接至第二單元804的輸出812和第二中間神經(jīng)元818，第二中間神經(jīng)元818經(jīng)由第二中間神經(jīng)元連接822來抑制第一單元802。第二連接808還可向第一單元802輸出抑制性權(quán)重。第一單元802經(jīng)由第一輸入814來接收輸入，而第二單元804經(jīng)由第二輸入824來接收輸入。

盡管如此，在本配置中，中間神經(jīng)元816、818仲裁抑制。即，中間神經(jīng)元816、818可進(jìn)一步控制施加于神經(jīng)元(諸如第一單元802或第二單元804)的交叉抑制量。具體而言，中間神經(jīng)元816、818可動態(tài)地修改連接的抑制性權(quán)重和/或興奮性權(quán)重。

作為一示例，基于經(jīng)由第一連接806接收的輸入來激活第一中間神經(jīng)元816。在此示例中，第一中間神經(jīng)元816可基于選擇函數(shù)來增大或減小抑制的權(quán)重。相應(yīng)地，經(jīng)動態(tài)修改的權(quán)重經(jīng)由第三連接820被輸出至第二神經(jīng)元804。而且，第二神經(jīng)元804的活躍性基于經(jīng)由第三連接820接收的輸入被動態(tài)地修改。類似地，第一神經(jīng)元802的活躍性可以基于經(jīng)由第四連接822接收的經(jīng)動態(tài)修改的權(quán)重來被動態(tài)地修改。

應(yīng)當(dāng)注意，前述連接不限于提供抑制性權(quán)重。還構(gòu)想了本公開的各方面用于經(jīng)由連接來提供興奮性權(quán)重。

如前面討論的，前述交叉抑制可被應(yīng)用于二維單元網(wǎng)格。圖9解說了用于目標(biāo)地圖900中的目標(biāo)選擇的交叉抑制的示例。如前面討論的，在一種配置中，經(jīng)由權(quán)重的相對比例縮放來指定選擇函數(shù)。即，該二維網(wǎng)格中的特定單元對第二單元所具有的抑制性作用可大于第二單元對第一單元的抑制性作用。

在一種配置中，特定目標(biāo)是基于選擇函數(shù)來選擇的。選擇函數(shù)可通過控制神經(jīng)網(wǎng)絡(luò)中的各目標(biāo)之間的連接的失衡來動態(tài)地修改。每個(gè)目標(biāo)可與一個(gè)或多個(gè)神經(jīng)元相關(guān)聯(lián)。而且，在一種配置中，選擇函數(shù)基于回報(bào)的抑制、選擇了該目標(biāo)的對象的行為狀態(tài)、時(shí)間段、所指派的任務(wù)、時(shí)間復(fù)用函數(shù)、和/或從與神經(jīng)網(wǎng)絡(luò)集合相對應(yīng)的任務(wù)集合中選擇任務(wù)的事件。每個(gè)任務(wù)可對應(yīng)于一神經(jīng)網(wǎng)絡(luò)并且每個(gè)神經(jīng)網(wǎng)絡(luò)可以是靜態(tài)網(wǎng)絡(luò)或動態(tài)網(wǎng)絡(luò)。

作為示例，如圖9中所示，基于選擇函數(shù)來選擇目標(biāo)909。例如，所選目標(biāo)909是因?yàn)樗x目標(biāo)909的區(qū)劃是高值區(qū)劃而被選擇的。當(dāng)從這多個(gè)目標(biāo)中選擇目標(biāo)時(shí)，在所選目標(biāo)909附近的單元(諸如非目標(biāo)單元912)抑制距離所選目標(biāo)909較遠(yuǎn)的其他單元(諸如未選擇的目標(biāo)單元902、904、906和/或非目標(biāo)單元912)。而且，對象910以及在所選目標(biāo)909附近的單元(諸如非目標(biāo)單元912)可激勵所選目標(biāo)909。即，未被選擇的目標(biāo)單元902、904、906的活躍性被抑制，從而使得對象910選擇所選目標(biāo)單元909。在一種配置中，多個(gè)目標(biāo)可以是候選目標(biāo)，然而，基于交叉抑制，只有一個(gè)目標(biāo)是活躍目標(biāo)。

如上面討論的，目標(biāo)的尖峰發(fā)放被修改，以使得對象選擇指定目標(biāo)。在一種配置中，連接包括定義在每對輸入和輸出神經(jīng)元之間的連接上的中間神經(jīng)元。而且，在本配置中，通過修改中間神經(jīng)元的可興奮性和/或修改中間神經(jīng)元與輸入和輸出神經(jīng)元之間的突觸權(quán)重的功效來動態(tài)地修改選擇函數(shù)。替代地或附加地，經(jīng)由外部輸入來動態(tài)地修改選擇函數(shù)。

如先前討論的，在一種配置中，通過修改神經(jīng)元的可興奮性和/或修改突觸權(quán)重的功效來動態(tài)地修改選擇函數(shù)。突觸權(quán)重可以是針對輸入突觸和/或神經(jīng)元之間的連接的權(quán)重。而且，在一種配置中，神經(jīng)網(wǎng)絡(luò)中的連接的失衡量基于對該神經(jīng)網(wǎng)絡(luò)的輸入和/或來自該神經(jīng)網(wǎng)絡(luò)的輸出。

如圖9中所示，單元909、912、910可彼此抑制。例如，所選目標(biāo)單元909抑制周圍的單元912。而且，周圍的單元912還可抑制或激勵所選目標(biāo)單元909。盡管如此，從目標(biāo)單元909輸出的抑制大于在目標(biāo)單元909處從周圍單元912接收到的抑制。單元909、910、912經(jīng)由連接916提供抑制性和/或興奮性輸出。

圖9還示出了毗鄰于目標(biāo)單元909的具有抑制性連接的單元。盡管如此，本公開的各方面不限于僅在各單元之間指定抑制性連接，而是可在任何距離的單元之間指定抑制性連接。

如上面討論的，在一種配置中，在神經(jīng)網(wǎng)絡(luò)中的連接之間設(shè)置失衡。失衡可以是抑制性權(quán)重或興奮性權(quán)重。抑制性權(quán)重減小神經(jīng)元的尖峰發(fā)放速率，而興奮性權(quán)重增加神經(jīng)元的尖峰發(fā)放?？山?jīng)由前饋抑制性連接和/或反饋抑制性連接來提供抑制性權(quán)重。替代地或附加地，可經(jīng)由前饋抑制性連接和/或反饋興奮性連接來提供興奮性權(quán)重。連接可以是一個(gè)或多個(gè)第一輸入層連接、神經(jīng)元輸入、側(cè)向連接、和/或其他類型的連接。即，在一種配置中，連接是對神經(jīng)元的輸入。替代地或附加地，連接是神經(jīng)元之間的側(cè)向連接。

此外，基于選擇函數(shù)(諸如目標(biāo)單元與對象的距離)來設(shè)置失衡。盡管如此，選擇函數(shù)不限于目標(biāo)離對象的距離，而是可基于其他準(zhǔn)則。例如，在另一配置中，基于目標(biāo)的概率來選擇一個(gè)或多個(gè)目標(biāo)。每個(gè)目標(biāo)可對應(yīng)于多個(gè)活躍神經(jīng)元或一個(gè)活躍神經(jīng)元。概率可以是指尖峰發(fā)放概率。

此外，在一種配置中，與候選目標(biāo)單元相對應(yīng)的神經(jīng)元之間的相對激活被修改。相對激活對應(yīng)于一個(gè)或多個(gè)目標(biāo)單元并且基于目標(biāo)之間的失衡量。相對激活被指定以使得一個(gè)或多個(gè)目標(biāo)(例如神經(jīng)元)相比于其他目標(biāo)具有更大的活躍量。

在一種配置中，目標(biāo)是空間目標(biāo)。如之前討論的，基于經(jīng)由神經(jīng)元之間的連接所提供的失衡量來選擇一個(gè)或多個(gè)目標(biāo)。即，對象選擇具有最高活躍性(諸如尖峰發(fā)放速率)的目標(biāo)。目標(biāo)可以是一個(gè)或多個(gè)活躍神經(jīng)元。

圖10解說了根據(jù)本公開的一方面的交叉抑制的示例。如圖10中所示，多個(gè)神經(jīng)元1002被指定，且一組神經(jīng)元被選擇為目標(biāo)1004、1006、1008。基于所接收的輸入1010、1012、1014，目標(biāo)1004、1006、1008可以是活躍的(例如，發(fā)放尖峰)。作為一示例，基于選擇準(zhǔn)則，第一目標(biāo)1004比其他目標(biāo)1006、1008更活躍。因而，在此示例中，對象(未示出)將選擇第一目標(biāo)。盡管如此，作為另一示例，第一目標(biāo)1004可經(jīng)由抑制連接1016來抑制其他目標(biāo)1006、1008的活躍性。抑制可降低或終止其他目標(biāo)1006、1008的活躍性。

圖11解說了根據(jù)本公開的另一方面的交叉抑制的示例。如圖11中所示，多個(gè)神經(jīng)元1102被指定，且一組神經(jīng)元被選擇為目標(biāo)1104、1106、1108?；谒邮盏妮斎?110、1112、1114，目標(biāo)1104、1106、1108可以是活躍的(例如，發(fā)放尖峰)。作為一示例，基于選擇準(zhǔn)則，第一目標(biāo)1104比其他目標(biāo)1106、1108更活躍。從而，在此示例中，對象(未示出)將選擇第一目標(biāo)。盡管如此，在一種配置中，為第一輸入層指定了諸神經(jīng)元1102且其被連接至第二層的神經(jīng)元1118。相應(yīng)地，基于從第一層神經(jīng)元1102接收的輸入，第二層神經(jīng)元1118是活躍的。在此配置中，對象選擇與第二層的(諸)活躍神經(jīng)元相關(guān)聯(lián)的目標(biāo)。

在一種配置中，第二層神經(jīng)元1118包括交叉抑制連接以防止其他神經(jīng)元活躍。即，如圖11中所示，基于所接收的輸入1110、1112、1114，目標(biāo)1104、1106、1108全部活躍。作為一示例，基于選擇準(zhǔn)則，第一目標(biāo)1104比其他目標(biāo)1106、1108更活躍。盡管如此，與第一層目標(biāo)神經(jīng)元1104、1106、1108相對應(yīng)的第二層目標(biāo)神經(jīng)元1122、1124、1126并非全部活躍，因?yàn)榈诙拥牡谝荒繕?biāo)神經(jīng)元1122經(jīng)由抑制性連接1128來抑制其他第二層目標(biāo)神經(jīng)元1124、1126以使得這些其他第二層目標(biāo)神經(jīng)元1124、1126不變得活躍。即，即便第一層目標(biāo)神經(jīng)元全部活躍，然而由于抑制性連接，僅一個(gè)第二層神經(jīng)元活躍。更具體而言，基于抑制，在第一層接收到的輸入不被表示，而僅選擇準(zhǔn)則的輸出被表示。第一層神經(jīng)元可經(jīng)由突觸1130、1132、1134被連接至第二層神經(jīng)元。

在一種配置中，在第一層神經(jīng)元1102與第二層神經(jīng)元1118之間的突觸上指定前饋抑制。前饋抑制性連接可被連接至相鄰神經(jīng)元，并且在接收到針對一特定神經(jīng)元的尖峰時(shí)抑制相鄰神經(jīng)元。例如，在圖11中，可以在第一層目標(biāo)神經(jīng)元1104、1106、1108與第二層目標(biāo)神經(jīng)元1122、1124、1126之間的每個(gè)突觸1130、1132、1134上提供抑制性連接(未示出)。從而，作為一示例，當(dāng)?shù)谝煌挥|1130接收來自第一層的第一目標(biāo)神經(jīng)元1104的尖峰時(shí)，該前饋抑制性連接抑制第二層的第一神經(jīng)元1122的相鄰神經(jīng)元。

在另一配置中，為第二層神經(jīng)元之間的抑制性連接指定中間神經(jīng)元。為抑制性連接所指定的中間神經(jīng)元可被稱為側(cè)向抑制。作為示例，在圖11中，可為第二層的第一目標(biāo)神經(jīng)元1122與其他第二層目標(biāo)神經(jīng)元1124、1126之間的每個(gè)抑制性連接1128指定中間神經(jīng)元(未示出)。

連接(諸如抑制性連接)不限于第一層目標(biāo)神經(jīng)元和第二層目標(biāo)神經(jīng)元，還在第一層和第二層中的所有神經(jīng)元之間指定連接。此外，前述連接不限于抑制性連接，并且還被構(gòu)想為興奮性連接。而且，構(gòu)想了本公開的各方面用于動態(tài)地修改任何前述連接以及未明確指定的其他連接的失衡。本公開的各方面可減少或消除要指定對神經(jīng)元的輸入使用以標(biāo)稱頻率隨機(jī)間隔開的尖峰(即，泊松激發(fā))來達(dá)成中間神經(jīng)元中的可興奮性的分級等級的需要。而且，在一種配置中，目標(biāo)可與一個(gè)或多個(gè)神經(jīng)元相關(guān)聯(lián)。例如，一個(gè)神經(jīng)元可表示一個(gè)目標(biāo)。替代地，多個(gè)神經(jīng)元可表示一個(gè)目標(biāo)。

在一種配置中，可指定用于通過控制神經(jīng)網(wǎng)絡(luò)中的連接的失衡量來動態(tài)地修改選擇函數(shù)的多個(gè)靜態(tài)和/或動態(tài)網(wǎng)絡(luò)。即，第一網(wǎng)絡(luò)可被指定成聚焦于一特定任務(wù)，且第一網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)中的連接的失衡量以動態(tài)地修改針對該特定任務(wù)的選擇函數(shù)。而且，可指定使用第一網(wǎng)絡(luò)中的部分或全部神經(jīng)元的第二網(wǎng)絡(luò)。第二網(wǎng)絡(luò)的任務(wù)可以不同于第一網(wǎng)絡(luò)的任務(wù)。因此，第二網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)中的連接的失衡量以動態(tài)地修改針對第二網(wǎng)絡(luò)的特定任務(wù)的選擇函數(shù)。即，針對目標(biāo)選擇所指定的硬件可被重用于基于不同網(wǎng)絡(luò)的不同任務(wù)?？稍谶B接(諸如輸入、輸出或神經(jīng)間連接)上指定任務(wù)選擇器以在各特定任務(wù)(例如，網(wǎng)絡(luò))間切換。

在另一配置中，向數(shù)據(jù)應(yīng)用邏輯函數(shù)的循環(huán)。邏輯函數(shù)循環(huán)的一個(gè)示例如下：

當(dāng)存在數(shù)據(jù)時(shí)

如果新數(shù)據(jù)(newdata)比當(dāng)前勝者(currentWinner)更靠近對象，

則用新數(shù)據(jù)取代當(dāng)前勝者

在本配置中，該循環(huán)的運(yùn)行時(shí)間取決于所考慮的數(shù)據(jù)量。而且，在本配置中，所有數(shù)據(jù)均被指派給存儲器元素。在將數(shù)據(jù)指派給存儲器元素之后，通過在各存儲器元素之間傳遞消息(例如，抑制)來執(zhí)行選擇函數(shù)。本配置對于運(yùn)行時(shí)間具有增大的可預(yù)測性，而不管考慮了多少數(shù)據(jù)。而且，本配置減少被計(jì)算引擎處理的數(shù)據(jù)量。

作為示例，對于本配置，一組對象被提交給選擇函數(shù)。每個(gè)對象可被表示為被傳送至與該對象相關(guān)聯(lián)的一個(gè)或多個(gè)存儲器元素的信號。在一種配置中，一個(gè)存儲器位置被指定為標(biāo)識一對象。盡管如此，多個(gè)存儲器位置可以被同時(shí)組合以定義對象的身份。例如，位置(4,5.5)處的目標(biāo)可由與(4,5)和(4,6)相對應(yīng)的存儲器位置來表示。

每個(gè)對象實(shí)例的表示可影響存儲器陣列中的其他對象實(shí)例的表示。在各對象實(shí)例的表示之間施加的影響可經(jīng)由各對象實(shí)例之間的連接來傳送。與一個(gè)對象實(shí)例相關(guān)聯(lián)的信號可影響與其他對象實(shí)例相關(guān)聯(lián)的信號的目標(biāo)(即，前饋抑制)。而且，該信號的目標(biāo)的值也可直接影響其他信號的目標(biāo)(即，側(cè)向抑制)。此外，信號的目標(biāo)的值可修改單獨(dú)的存儲器元素，而該單獨(dú)的存儲器元素進(jìn)一步影響其他輸入信號的目標(biāo)(即，帶中間神經(jīng)元的側(cè)向抑制)。最終，與一個(gè)對象實(shí)例相關(guān)聯(lián)的信號可修改單獨(dú)的存儲器元素，而該單獨(dú)的存儲器元素影響其他輸入信號的目標(biāo)(即，帶中間神經(jīng)元的前饋抑制)。

在一種配置中，存儲器元素可以是神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元。此外，在尖峰神經(jīng)網(wǎng)絡(luò)中，存儲器元素是處于活躍狀態(tài)的按相比于基線而言增大的速率發(fā)放尖峰的神經(jīng)元。而且，在基于速率的神經(jīng)網(wǎng)絡(luò)中，存儲器元素是具有基于該存儲器元素的輸入的持續(xù)活躍水平的神經(jīng)元。

在一種配置中，選擇函數(shù)是基于存儲器元素之間的權(quán)重指定來定義的，藉此一個(gè)元素中的活躍水平影響其他元素中的活躍水平。當(dāng)每個(gè)存儲器元素的影響范圍在空間上被約束時(shí)，整體計(jì)算可被并行化且可具有與串行化計(jì)算相比而言提升的性能。

圖12解說了根據(jù)本公開的某些方面的使用通用處理器1202進(jìn)行前述目標(biāo)選擇的示例實(shí)現(xiàn)1200。與計(jì)算網(wǎng)絡(luò)(神經(jīng)網(wǎng)絡(luò))相關(guān)聯(lián)的變量(神經(jīng)信號)、突觸權(quán)重、系統(tǒng)參數(shù)，延遲，和頻率槽信息可被存儲在存儲器塊1204中，而在通用處理器1202處執(zhí)行的指令可從程序存儲器1206中加載。在本公開的一方面中，加載到通用處理器1202中的指令可包括用于通過控制神經(jīng)網(wǎng)絡(luò)中的連接的失衡量來動態(tài)地修改選擇函數(shù)的代碼。

圖13解說了根據(jù)本公開的某些方面的前述目標(biāo)選擇的示例實(shí)現(xiàn)1300，其中存儲器1302可以經(jīng)由互連網(wǎng)絡(luò)1304與計(jì)算網(wǎng)絡(luò)(神經(jīng)網(wǎng)絡(luò))的個(gè)體(分布式)處理單元(神經(jīng)處理器)1306對接。與計(jì)算網(wǎng)絡(luò)(神經(jīng)網(wǎng)絡(luò))相關(guān)聯(lián)的變量(神經(jīng)信號)、突觸權(quán)重、系統(tǒng)參數(shù)，延遲，頻率槽信息，連接失衡可被存儲在存儲器1302中，并且可從存儲器1302經(jīng)由互連網(wǎng)絡(luò)1304的連接被加載到每個(gè)處理單元(神經(jīng)處理器)1306中。在本公開的一方面中，處理單元1306可被配置成通過控制神經(jīng)網(wǎng)絡(luò)中的連接的失衡量來動態(tài)地修改選擇函數(shù)。

圖14解說前述目標(biāo)選擇的示例實(shí)現(xiàn)1400。如圖14中所解說的，一個(gè)存儲器組1402可與計(jì)算網(wǎng)絡(luò)(神經(jīng)網(wǎng)絡(luò))的一個(gè)處理單元1404直接對接。每一個(gè)存儲器組1402可存儲與對應(yīng)的處理單元(神經(jīng)處理器)1404相關(guān)聯(lián)的變量(神經(jīng)信號)、突觸權(quán)重、和/或系統(tǒng)參數(shù)，延遲，頻率槽信息，以及連接失衡。在本公開的一方面中，處理單元1404可被配置成通過控制神經(jīng)網(wǎng)絡(luò)中的連接的失衡量來動態(tài)地修改選擇函數(shù)。

圖15解說根據(jù)本公開的某些方面的神經(jīng)網(wǎng)絡(luò)1500的示例實(shí)現(xiàn)。如圖15中所解說的，神經(jīng)網(wǎng)絡(luò)1500可具有多個(gè)局部處理單元1502，它們可執(zhí)行上述方法的各種操作。每個(gè)局部處理單元1502可包括存儲該神經(jīng)網(wǎng)絡(luò)的參數(shù)的局部狀態(tài)存儲器1504和局部參數(shù)存儲器1506。另外，局部處理單元1502可具有用于存儲局部模型程序的局部(神經(jīng)元)模型程序(LMP)存儲器1508、用于存儲局部學(xué)習(xí)程序的局部學(xué)習(xí)程序(LLP)存儲器1510、以及局部連接存儲器1512。此外，如圖15中所解說的，每個(gè)局部處理單元1502可與用于提供對局部處理單元的局部存儲器的配置的配置處理單元1514對接，并且與提供各局部處理單元1502之間的路由的路由連接處理元件1516對接。

在一個(gè)配置中，神經(jīng)元模型被配置成用于通過控制神經(jīng)網(wǎng)絡(luò)中的連接的失衡量來動態(tài)地修改選擇函數(shù)。該神經(jīng)元模型包括修改裝置。在一種配置中，該修改裝置是被配置成執(zhí)行所述功能的通用處理器1202、程序存儲器1206、存儲器塊1204、存儲器1302、互連網(wǎng)絡(luò)1304、處理單元1306、處理單元1404、局部處理單元1502、和/或路由連接處理單元1516。此外，該神經(jīng)元模型可包括用于確定的裝置。在一種配置中，該確定裝置是被配置成執(zhí)行所述功能的通用處理器1202、程序存儲器1206、存儲器塊1204、存儲器1302、互連網(wǎng)絡(luò)1304、處理單元1306、處理單元1404、局部處理單元1502、和/或路由連接處理單元1516。在另一配置中，前述各裝置可以是被配置成執(zhí)行前述裝置所敘述的功能的任何模塊或任何設(shè)備。

根據(jù)本公開的某些方面，每一個(gè)局部處理單元1502可被配置成基于神經(jīng)網(wǎng)絡(luò)的期望的一個(gè)或多個(gè)功能性特征來確定神經(jīng)網(wǎng)絡(luò)的參數(shù)，以及隨著所確定的參數(shù)被進(jìn)一步適配、調(diào)諧和更新來使這一個(gè)或多個(gè)功能性特征朝著期望的功能性特征發(fā)展。

圖16解說了用于在神經(jīng)網(wǎng)絡(luò)中選擇目標(biāo)的方法1600。在框1602，該神經(jīng)網(wǎng)絡(luò)確定用于神經(jīng)網(wǎng)絡(luò)中的候選目標(biāo)的選擇函數(shù)。更具體而言，該確定可由該神經(jīng)網(wǎng)絡(luò)中的連接來執(zhí)行。此外，在框1604，該神經(jīng)網(wǎng)絡(luò)通過控制神經(jīng)網(wǎng)絡(luò)中的連接的失衡量來動態(tài)地修改該選擇函數(shù)。所選神經(jīng)元代表每個(gè)候選目標(biāo)。在一種配置中，聚焦地圖和/或外部輸入被指定以動態(tài)地修改該選擇函數(shù)。

以上所描述的方法的各種操作可由能夠執(zhí)行相應(yīng)功能的任何合適的裝置來執(zhí)行。這些裝置可包括各種硬件和/或軟件組件和/或模塊，包括但不限于電路、專用集成電路(ASIC)、或處理器。一般而言，在附圖中有解說的操作的場合，那些操作可具有帶相似編號的相應(yīng)配對裝置加功能組件。

如本文所使用的，術(shù)語“確定”涵蓋各種各樣的動作。例如，“確定”可包括演算、計(jì)算、處理、推導(dǎo)、研究、查找(例如，在表、數(shù)據(jù)庫或其他數(shù)據(jù)結(jié)構(gòu)中查找)、探知及諸如此類。另外，“確定”可包括接收(例如接收信息)、訪問(例如訪問存儲器中的數(shù)據(jù))、及類似動作。而且，“確定”可包括解析、選擇、選取、確立及類似動作。

如本文中所使用的，引述一列項(xiàng)目中的“至少一個(gè)”的短語是指這些項(xiàng)目的任何組合，包括單個(gè)成員。作為示例，“a、b或c中的至少一個(gè)”旨在涵蓋：a、b、c、a-b、a-c、b-c和a-b-c。

結(jié)合本公開所描述的各種解說性邏輯框、模塊、以及電路可用設(shè)計(jì)成執(zhí)行本文所描述功能的通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列信號(FPGA)或其他可編程邏輯器件(PLD)、分立的門或晶體管邏輯、分立的硬件組件或其任何組合來實(shí)現(xiàn)或執(zhí)行。通用處理器可以是微處理器，但在替換方案中，該處理器可以是任何市售的處理器、控制器、微控制器、或狀態(tài)機(jī)。處理器還可以被實(shí)現(xiàn)為計(jì)算設(shè)備的組合，例如DSP與微處理器的組合、多個(gè)微處理器、與DSP核心協(xié)同的一個(gè)或多個(gè)微處理器、或任何其它此類配置。

結(jié)合本公開所描述的方法或算法的步驟可直接在硬件中、在由處理器執(zhí)行的軟件模塊中、或在這兩者的組合中體現(xiàn)。軟件模塊可駐留在本領(lǐng)域所知的任何形式的存儲介質(zhì)中?？墒褂玫拇鎯橘|(zhì)的一些示例包括隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、閃存、可擦除可編程只讀存儲器(EPROM)、電可擦除可編程只讀存儲器(EEPROM)、寄存器、硬盤、可移動盤、CD-ROM，等等。軟件模塊可包括單條指令、或許多條指令，且可分布在若干不同的代碼段上，分布在不同的程序間以及跨多個(gè)存儲介質(zhì)分布。存儲介質(zhì)可被耦合到處理器以使得該處理器能從/向該存儲介質(zhì)讀寫信息。替換地，存儲介質(zhì)可以被整合到處理器。

本文所公開的方法包括用于實(shí)現(xiàn)所描述的方法的一個(gè)或多個(gè)步驟或動作。這些方法步驟和/或動作可以彼此互換而不會脫離權(quán)利要求的范圍。換言之，除非指定了步驟或動作的特定次序，否則具體步驟和/或動作的次序和/或使用可以改動而不會脫離權(quán)利要求的范圍。

所描述的功能可在硬件、軟件、固件、或其任何組合中實(shí)現(xiàn)。如果以硬件實(shí)現(xiàn)，則示例硬件配置可包括設(shè)備中的處理系統(tǒng)。處理系統(tǒng)可以用總線架構(gòu)來實(shí)現(xiàn)。取決于處理系統(tǒng)的具體應(yīng)用和整體設(shè)計(jì)約束，總線可包括任何數(shù)目的互連總線和橋接器?？偩€可將包括處理器、機(jī)器可讀介質(zhì)、以及總線接口的各種電路鏈接在一起?？偩€接口可用于尤其將網(wǎng)絡(luò)適配器等經(jīng)由總線連接至處理系統(tǒng)。網(wǎng)絡(luò)適配器可用于實(shí)現(xiàn)信號處理功能。對于某些方面，用戶接口(例如，按鍵板、顯示器、鼠標(biāo)、操縱桿，等等)也可以被連接到總線?？偩€還可以鏈接各種其他電路，諸如定時(shí)源、外圍設(shè)備、穩(wěn)壓器、功率管理電路以及類似電路，它們在本領(lǐng)域中是眾所周知的，因此將不再進(jìn)一步描述。

處理器可負(fù)責(zé)管理總線和一般處理，包括執(zhí)行存儲在機(jī)器可讀介質(zhì)上的軟件。處理器可用一個(gè)或多個(gè)通用和/或?qū)Ｓ锰幚砥鱽韺?shí)現(xiàn)。示例包括微處理器、微控制器、DSP處理器、以及其他能執(zhí)行軟件的電路系統(tǒng)。軟件應(yīng)當(dāng)被寬泛地解釋成意指指令、數(shù)據(jù)、或其任何組合，無論是被稱作軟件、固件、中間件、微代碼、硬件描述語言、或其他。作為示例，機(jī)器可讀介質(zhì)可包括隨機(jī)存取存儲器(RAM)、閃存、只讀存儲器(ROM)、可編程只讀存儲器(PROM)、可擦式可編程只讀存儲器(EPROM)、電可擦式可編程只讀存儲器(EEPROM)、寄存器、磁盤、光盤、硬驅(qū)動器、或者任何其他合適的存儲介質(zhì)、或其任何組合。機(jī)器可讀介質(zhì)可被實(shí)施在計(jì)算機(jī)程序產(chǎn)品中。該計(jì)算機(jī)程序產(chǎn)品可以包括包裝材料。

在硬件實(shí)現(xiàn)中，機(jī)器可讀介質(zhì)可以是處理系統(tǒng)中與處理器分開的一部分。然而，如本領(lǐng)域技術(shù)人員將容易領(lǐng)會的，機(jī)器可讀介質(zhì)、或其任何部分可在處理系統(tǒng)外部。作為示例，機(jī)器可讀介質(zhì)可包括傳輸線、由數(shù)據(jù)調(diào)制的載波、和/或與設(shè)備分開的計(jì)算機(jī)產(chǎn)品，所有這些都可由處理器通過總線接口來訪問。替換地或補(bǔ)充地，機(jī)器可讀介質(zhì)、或其任何部分可被集成到處理器中，諸如高速緩存和/或通用寄存器文件可能就是這種情形。雖然所討論的各種組件可被描述為具有特定位置，諸如局部組件，但它們也可按各種方式來配置，諸如某些組件被配置成分布式計(jì)算系統(tǒng)的一部分。

處理系統(tǒng)可以被配置為通用處理系統(tǒng)，該通用處理系統(tǒng)具有一個(gè)或多個(gè)提供處理器功能性的微處理器、和提供機(jī)器可讀介質(zhì)中的至少一部分的外部存儲器，它們都通過外部總線架構(gòu)與其他支持電路系統(tǒng)鏈接在一起。替換地，該處理系統(tǒng)可以包括一個(gè)或多個(gè)神經(jīng)元形態(tài)處理器以用于實(shí)現(xiàn)本文所述的神經(jīng)元模型和神經(jīng)系統(tǒng)模型。作為另一替代方案，處理系統(tǒng)可以用帶有集成在單塊芯片中的處理器、總線接口、用戶接口、支持電路系統(tǒng)、和至少一部分機(jī)器可讀介質(zhì)的專用集成電路(ASIC)來實(shí)現(xiàn)，或者用一個(gè)或多個(gè)現(xiàn)場可編程門陣列(FPGA)、可編程邏輯器件(PLD)、控制器、狀態(tài)機(jī)、門控邏輯、分立硬件組件、或者任何其他合適的電路系統(tǒng)、或者能執(zhí)行本公開通篇所描述的各種功能性的電路的任何組合來實(shí)現(xiàn)。取決于具體應(yīng)用和加諸于整體系統(tǒng)上的總設(shè)計(jì)約束，本領(lǐng)域技術(shù)人員將認(rèn)識到如何最佳地實(shí)現(xiàn)關(guān)于處理系統(tǒng)所描述的功能性。

機(jī)器可讀介質(zhì)可包括數(shù)個(gè)軟件模塊。這些軟件模塊包括當(dāng)由處理器執(zhí)行時(shí)使處理系統(tǒng)執(zhí)行各種功能的指令。這些軟件模塊可包括傳輸模塊和接收模塊。每個(gè)軟件模塊可以駐留在單個(gè)存儲設(shè)備中或者跨多個(gè)存儲設(shè)備分布。作為示例，當(dāng)觸發(fā)事件發(fā)生時(shí)，可以從硬驅(qū)動器中將軟件模塊加載到RAM中。在軟件模塊執(zhí)行期間，處理器可以將一些指令加載到高速緩存中以提高訪問速度。隨后可將一個(gè)或多個(gè)高速緩存行加載到通用寄存器文件中以供由處理器執(zhí)行。在以下談及軟件模塊的功能性時(shí)，將理解此類功能性是在處理器執(zhí)行來自該軟件模塊的指令時(shí)由該處理器來實(shí)現(xiàn)的。

如果以軟件實(shí)現(xiàn)，則各功能可作為一條或多條指令或代碼存儲在計(jì)算機(jī)可讀介質(zhì)上或藉其進(jìn)行傳送。計(jì)算機(jī)可讀介質(zhì)包括計(jì)算機(jī)存儲介質(zhì)和通信介質(zhì)兩者，這些介質(zhì)包括促成計(jì)算機(jī)程序從一地向另一地轉(zhuǎn)移的任何介質(zhì)。存儲介質(zhì)可以是能被計(jì)算機(jī)訪問的任何可用介質(zhì)。作為示例而非限定，這樣的計(jì)算機(jī)可讀介質(zhì)可包括RAM、ROM、EEPROM、CD-ROM或其它光盤存儲、磁盤存儲或其它磁存儲設(shè)備、或能被用來攜帶或存儲指令或數(shù)據(jù)結(jié)構(gòu)形式的期望程序代碼且能被計(jì)算機(jī)訪問的任何其它介質(zhì)。另外，任何連接也被正當(dāng)?shù)胤Q為計(jì)算機(jī)可讀介質(zhì)。例如，如果軟件是使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線(DSL)、或無線技術(shù)(諸如紅外(IR)、無線電、以及微波)從web網(wǎng)站、服務(wù)器、或其他遠(yuǎn)程源傳送而來，則該同軸電纜、光纖電纜、雙絞線、DSL或無線技術(shù)(諸如紅外、無線電、以及微波)就被包括在介質(zhì)的定義之中。如本文中所使用的盤(disk)和碟(disc)包括壓縮碟(CD)、激光碟、光碟、數(shù)字多用碟(DVD)、軟盤、和碟，其中盤(disk)常常磁性地再現(xiàn)數(shù)據(jù)，而碟(disc)用激光來光學(xué)地再現(xiàn)數(shù)據(jù)。因此，在一些方面，計(jì)算機(jī)可讀介質(zhì)可包括非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)(例如，有形介質(zhì))。另外，對于其他方面，計(jì)算機(jī)可讀介質(zhì)可包括瞬態(tài)計(jì)算機(jī)可讀介質(zhì)(例如，信號)。上述的組合也應(yīng)被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。

因此，某些方面可包括用于執(zhí)行本文中給出的操作的計(jì)算機(jī)程序產(chǎn)品。例如，此類計(jì)算機(jī)程序產(chǎn)品可包括其上存儲(和/或編碼)有指令的計(jì)算機(jī)可讀介質(zhì)，這些指令能由一個(gè)或多個(gè)處理器執(zhí)行以執(zhí)行本文中所描述的操作。對于某些方面，計(jì)算機(jī)程序產(chǎn)品可包括包裝材料。

此外，應(yīng)當(dāng)領(lǐng)會，用于執(zhí)行本文中所描述的方法和技術(shù)的模塊和/或其它恰適裝置能由用戶終端和/或基站在適用的場合下載和/或以其他方式獲得。例如，此類設(shè)備能被耦合至服務(wù)器以促成用于執(zhí)行本文中所描述的方法的裝置的轉(zhuǎn)移。替換地，本文所述的各種方法能經(jīng)由存儲裝置(例如，RAM、ROM、諸如壓縮碟(CD)或軟盤等物理存儲介質(zhì)等)來提供，以使得一旦將該存儲裝置耦合至或提供給用戶終端和/或基站，該設(shè)備就能獲得各種方法。此外，能利用適于向設(shè)備提供本文描述的方法和技術(shù)的任何其他合適的技術(shù)。

應(yīng)該理解的是，權(quán)利要求并不被限定于以上所解說的精確配置和組件?？稍谝陨纤枋龅姆椒ê驮O(shè)備的布局、操作和細(xì)節(jié)上作出各種改動、更換和變形而不會脫離權(quán)利要求的范圍。