用于神經時間編碼、學習和識別的方法和裝置制造方法
【專利摘要】本發(fā)明的特定實施例支持用于神經時間編碼、學習和識別的技術。還提出了一種用于大或長的空間-時間模式的神經編碼的方法。此外，本發(fā)明中公開了使用時間和速率編碼的通用化的神經編碼和學習。
【專利說明】用于神經時間編碼、學習和識別的方法和裝置
【技術領域】
[0001]本發(fā)明的特定實施例總體上涉及神經系統(tǒng)工程，且更具體地，涉及一種神經時間編碼(neural temporal coding)、學習和識別的方法和裝置。
【背景技術】
[0002]神經系統(tǒng)(neural system)中的神經元(neuron)可以使用時控鋒電位(timedspike)形式的所謂的時間碼來在時間上傳送信息。因此，編碼和解碼的方法及學習這種時間信息的方法是主要關注的。
[0003]具體地，希望與其它時間模式方法形成對比地辨別時間模式，而不僅僅是輸入或輸入的順序相一致。本發(fā)明所提供的方法是仿生性的/ 一致性的，但降低了復雜性，并能夠編碼、解碼、識別和學習時間鋒電位信號模式。

【發(fā)明內容】

[0004]本發(fā)明的特定實施例提供了一種用于神經時間編碼的方法。所述方法總體上包括使用相對延遲線提取(relative delay line abstraction),其以時間延遲來對到神經元電路中的一個或多個突觸(synaptic)輸入進行延遲；基于所述神經元電路的經加權和延遲的突觸輸入，應用動態(tài)鋒電位形成模型來確定所述神經元電路的鋒電位形成行為；及按照無監(jiān)督學習規(guī)則，根據所述神經元電路的鋒電位形成與經延遲的突觸輸入的時序關系，來調整與所述突觸輸入相關聯的權重。
[0005]本發(fā)明的特定實施例提供了一種用于神經時間編碼的裝置。所述裝置總體上包括:第一電路，被配置為使用相對延遲線提取，其以時間延遲來對到神經元電路中的一個或多個突觸輸入進行延遲；第二電路，被配置為基于所述神經元電路的經加權和延遲的突觸輸入，應用動態(tài)鋒電位形成模型來確定所述神經元電路的鋒電位形成行為；及第三電路，被配置為按照無監(jiān)督學習規(guī)則，根據所述神經元電路的鋒電位形成與經延遲的突觸輸入的時序關系，來調整與所述突觸輸入相關聯的權重。
[0006]本發(fā)明的特定實施例提供了一種用于神經時間編碼的裝置。所述裝置總體上包括:用于使用相對延遲線提取的模塊，所述相對延遲線提取以時間延遲來對到神經元電路中的一個或多個突觸輸入進行延遲；用于基于所述神經元電路的經加權和延遲的突觸輸入，應用動態(tài)鋒電位形成模型來確定所述神經元電路的鋒電位形成行為的模塊；及用于按照無監(jiān)督學習規(guī)則，根據所述神經元電路的鋒電位形成與經延遲的突觸輸入的時序關系，來調整與所述突觸輸入相關聯的權重的模塊。
[0007]本發(fā)明的特定實施例提供了一種用于神經時間編碼的計算機程序產品。所述計算機程序產品總體上包括計算機可讀介質，所述計算機可讀介質包括代碼，用于使用相對延遲線提取，其以時間延遲來對到神經元電路中的一個或多個突觸輸入進行延遲；基于所述神經元電路的經加權和延遲的突觸輸入，應用動態(tài)鋒電位形成模型來確定所述神經元電路的鋒電位形成行為；及按照無監(jiān)督學習規(guī)則，根據所述神經元電路的鋒電位形成與經延遲的突觸輸入的時序關系，來調整與所述突觸輸入相關聯的權重。
[0008]本發(fā)明的特定實施例提供了一種用于長且大的空間-時間模式的神經時間編碼的方法。所述方法總體上包括:將分級的多層神經網絡中的每一層神經元電路連接到輸入并且連接到所述多層神經網絡中的另一層神經元電路；及將所述多層神經網絡中的第一層神經兀電路與輸入模式的第一分部進行匹配，其中，作為對所述輸入模式的一個分部和所述輸入模式的另一個分部進行匹配的結果，所連接的層對所述另一層的神經元電路的發(fā)放(firing)的組合進行匹配。
[0009]本發(fā)明的特定實施例提供了一種用于長且大的空間-時間模式的神經時間編碼的裝置。所述裝置總體上包括:第一電路，被配置為將分級的多層神經網絡中的每一層神經元電路連接到輸入并且連接到所述多層神經網絡中的另一層神經元電路；及第二電路，被配置為將所述多層神經網絡中的第一層神經元電路與輸入模式的第一分部進行匹配，其中，作為對所述輸入模式的一個分部和所述輸入模式的另一個分部進行匹配的結果，所連接的層對所述另一層的神經元電路的發(fā)放的組合進行匹配。
[0010]本發(fā)明的特定實施例提供了一種用于長且大的空間-時間模式的神經時間編碼的裝置。所述裝置總體上包括:用于將分級的多層神經網絡中的每一層神經元電路連接到輸入并且連接到所述多層神經網絡中的另一層神經元電路的模塊；及用于將所述多層神經網絡中的第一層神經元電路與輸入模式的第一分部進行匹配的模塊，其中，作為對所述輸入模式的一個分部和所述輸入模式的另一個分部進行匹配的結果，所連接的層對所述另一層的神經元電路的發(fā)放的組合進行匹配。
[0011]本發(fā)明的特定實施例提供了一種用于長且大的空間-時間模式的神經時間編碼的計算機程序產品。所述計算機程序產品總體上包括計算機可讀介質，所述計算機可讀介質包括代碼，用于將分級的多層神經網絡中的每一層神經元電路連接到輸入并且連接到所述多層神經網絡中的另一層神經元電路；及將所述多層神經網絡中的第一層神經元電路和輸入模式的第一分部進行匹配，其中，作為對所述輸入模式的一個分部和所述輸入模式的另一個分部進行匹配的結果，所連接的層對所述另一層的神經元電路的發(fā)放的組合進行匹配。
[0012]本發(fā)明的特定實施例提供了一種用于長且大的空間-時間模式的神經時間編碼的方法。所述方法總體上包括:通過具有相關延遲的突觸，將突觸輸入提供到神經元電路中，其中，所述突觸輸入中的至少一個與所述突觸中自連接的至少一個突觸相關聯，所述突觸屬于多個集合，及所述多個集合中的至少一個集合包括延遲組合，用以匹配不包含遞歸型自連接的所述突觸輸入的模式的第一部分。
[0013]本發(fā)明的特定實施例提供了一種用于長且大的空間-時間模式的神經時間編碼的裝置。所述裝置總體上包括:第一電路，被配置為通過具有相關延遲的突觸，將突觸輸入提供到神經元電路中，其中，所述突觸輸入中的至少一個與所述突觸中自連接的至少一個突觸相關聯，所述突觸屬于多個集合，及所述多個集合中的至少一個集合包括延遲組合，用以匹配不包含遞歸型自連接的所述突觸輸入的模式的第一部分。
[0014]本發(fā)明的特定實施例提供了一種用于長且大的空間-時間模式的神經時間編碼的裝置。所述裝置總體上包括:用于通過具有相關延遲的突觸，將突觸輸入提供到神經元電路中的模塊，其中，所述突觸輸入中的至少一個與所述突觸中自連接的至少一個突觸相關聯，所述突觸屬于多個集合，及所述多個集合中的至少一個集合包括延遲組合，用以匹配不包含遞歸型自連接的所述突觸輸入的模式的第一部分。
[0015]本發(fā)明的特定實施例提供了一種用于長且大的空間-時間模式的神經時間編碼的計算機程序產品。所述計算機程序產品總體上包括計算機可讀介質，所述計算機可讀介質包括代碼，用于通過具有相關延遲的突觸，將突觸輸入提供到神經元電路中，其中，所述突觸輸入中的至少一個與所述突觸中自連接的至少一個突觸相關聯，所述突觸屬于多個集合，及所述多個集合中的至少一個集合包括延遲組合，用以匹配不包含遞歸型自連接的所述突觸輸入的模式的第一部分。
[0016]本發(fā)明的特定實施例提供了一種用于總輸入模式(general input pattern)的神經編碼的方法。所述方法總體上包括:將一個或多個突觸連接到具有細胞體(soma)的神經元電路，所述一個或多個突觸中的每一個突觸對應于所述神經元電路的一個輸入傳入，并具有權重和相對延遲；及由每一個所述相對延遲引發(fā)在相應的輸入傳入和所述細胞體之間的延遲，其中，所述一個或多個突觸的一個或多個集合具有與共同構成所述總輸入模式之一的多個子模式相對應的延遲和輸入傳入，及所述子模式包括一致性(coincidence)、發(fā)放速率或者時間模式中的至少一個。
[0017]本發(fā)明的特定實施例提供了一種用于總輸入模式的神經編碼的裝置。所述裝置總體上包括:第一電路，被配置為將一個或多個突觸連接到具有細胞體的神經元電路，所述一個或多個突觸中的每一個突觸對應于所述神經元電路的一個輸入傳入，并具有權重和相對延遲；及第二電路，被配置為由每一個所述相對延遲引發(fā)在相應的輸入傳入和所述細胞體之間的延遲，其中，所述一個或多個突觸的一個或多個集合具有與共同構成所述總輸入模式之一的多個子模式相對應的延遲和輸入傳入，及所述子模式包括一致性、發(fā)放速率或者時間模式中的至少一個。
[0018]本發(fā)明的特定實施例提供了一種用于總輸入模式的神經編碼的裝置。所述裝置總體上包括:用于將一個或多個突觸連接到具有細胞體的神經元電路的模塊,所述一個或多個突觸中的每一個突觸對應于所述神經元電路的一個輸入傳入，并具有權重和相對延遲；及用于由每一個所述相對延遲引發(fā)在相應的輸入傳入和所述細胞體之間的延遲的模塊，其中，所述一個或多個突觸的一個或多個集合具有與共同構成所述總輸入模式之一的多個子模式相對應的延遲和輸入傳入，及所述子模式包括一致性、發(fā)放速率或者時間模式中的至少一個。
[0019]本發(fā)明的特定實施例提供了一種用于總輸入模式的神經編碼的計算機程序產品。所述計算機程序產品總體上包括計算機可讀介質，所述計算機可讀介質包括代碼，用于將一個或多個突觸連接到具有細胞體的神經元電路，所述一個或多個突觸中的每一個突觸對應于所述神經元電路的一個輸入傳入，并具有權重和相對延遲；及由每一個所述相對延遲引發(fā)在相應的輸入傳入和所述細胞體之間的延遲，其中，所述一個或多個突觸的一個或多個集合具有與共同構成所述總輸入模式之一的多個子模式相對應的延遲和輸入傳入，及所述子模式包括一致性、發(fā)放速率或者時間模式中的至少一個。
【專利附圖】

【附圖說明】
[0020]作為可以詳細理解本發(fā)明的上述特征的方式，參考實施例可以獲得在上面簡要概述的更具體的說明，在附圖中示出了其中一些實施例。然而，應注意，附圖僅僅示出了本發(fā)明的特定典型的實施例，從而不應被認為是限制其范圍，因為本說明書允許其他等效的實施例。
[0021]圖1示出了根據本發(fā)明的特定實施例的示例性神經元網絡。
[0022]圖2示出了根據本發(fā)明的特定實施例的方法組成部分和特征的實例。
[0023]圖3示出了根據本發(fā)明的特定實施例的示例性相對延遲神經元模型。
[0024]圖4示出了根據本發(fā)明的特定實施例的依據樹突(dendritic)模型的相對延遲輸入的示例性重對齊。
[0025]圖5示出了根據本發(fā)明的特定實施例的典型的鋒電位時序依賴型可塑性(spike-timing-dependent plasticity, STDP)學習曲線的實例。
[0026]圖6示出了根據本發(fā)明的特定實施例的STDP學習曲線的時間敏感性上的變化的實例。
[0027]圖7示出了根據本發(fā)明的特定實施例的STDP學習曲線的增強(re-enforcement)/去加重(de-emphsis)平衡上的示例性變化。
[0028]圖8示出了根據本發(fā)明的特定實施例的對時間輸入模型的神經元響應的準確度和魯棒性的實例。
[0029]圖9示出了根據本發(fā)明的特定實施例的示例性突觸(synaptic)周轉(turnover)。
[0030]圖10示出了根據本發(fā)明的特定實施例的時間模式學習時的發(fā)放(firing)速率的示例性效果。
[0031]圖11示出了根據本發(fā)明的特定實施例的、由神經網絡的神經元電路執(zhí)行的用于神經時間編碼的示例性操作。
[0032]圖1lA示出了能夠執(zhí)行圖11中所示操作的示例性組件。
[0033]圖12示出了根據本發(fā)明的特定實施例的長且大的空間-時間模式的實例。
[0034]圖13示出了根據本發(fā)明的特定實施例的用于更長和/或更大的空間-時間模式編碼的多層網絡的實例。
[0035]圖14示出了根據本發(fā)明的特定實施例的用于采用軸突延遲的更長的空間-時間模式編碼的多層網絡的實例。
[0036]圖15示出了根據本發(fā)明的特定實施例的用于更長和/或更大的空間-時間模式編碼的示例性可縮放網絡。
[0037]圖16示出了根據本發(fā)明的特定實施例的示例性的遞歸型可縮放空間-時間模式編碼。
[0038]圖17示出了根據本發(fā)明的特定實施例的在每一個神經元處的權重的適應調整的示例性曲線圖。
[0039]圖18示出了根據本發(fā)明的特定實施例的、可以在多層神經網絡中執(zhí)行的用于長且大的空間-時間模式的神經時間編碼的示例性操作。
[0040]圖18A示出了能夠執(zhí)行圖18中所示操作的示例性組件。
[0041]圖19示出了根據本發(fā)明的特定實施例的、可以在神經網絡的神經元電路中執(zhí)行的用于長且大的空間-時間模式的神經時間編碼的其他示例性操作。
[0042]圖19A示出了能夠執(zhí)行圖19所示操作的示例性組件。[0043]圖20示出了根據本發(fā)明的特定實施例的、通過對齊鋒電位時序來對不同神經編碼方案進行解碼的實例。
[0044]圖21示出了根據本發(fā)明的特定實施例的具有對相對延遲的依賴性的一致性解碼的實例。
[0045]圖22示出了根據本發(fā)明的特定實施例的具有對相對延遲的依賴性的時間模式解碼的實例。
[0046]圖23示出了根據本發(fā)明的特定實施例的邏輯“或(0R)”型時間模式匹配的實例。
[0047]圖24示出了根據本發(fā)明的特定實施例的具有對相對延遲的依賴性的發(fā)放速率解碼的實例。
[0048]圖25示出了根據本發(fā)明的特定實施例的發(fā)放速率解碼的實例，其中，發(fā)放速率是解碼的目標速率。
[0049]圖26示出了根據本發(fā)明的特定實施例的在將速率轉換為一致性的情況下發(fā)放速率解碼的實例。
[0050]圖27示出了根據本發(fā)明的特定實施例的具有輸出發(fā)放速率的不變性的發(fā)放速率解碼的實例。
[0051]圖28示出了根據本發(fā)明的特定實施例的、受到不同輸入時序的簡單鋒電位形成模型的時間相位圖的實例。
[0052]圖29示出了根據本發(fā)明的特定實施例的、受到不同額定時間常數的簡單鋒電位形成模型的時間相位圖的實例。
[0053]圖30示出了根據本發(fā)明的特定實施例的示例性STDP實現方式。
[0054]圖31示出了根據本發(fā)明的特定實施例的用于總輸入模式(general inputpattern)的神經編碼的示例性操作。
[0055]圖31A示出了能夠執(zhí)行圖31中所示操作的示例性組件。
[0056]圖32示出了根據本發(fā)明的特定實施例的使用通用處理器的神經編碼的示例性軟件實現方式。
[0057]圖33示出了根據本發(fā)明的特定實施例的神經編碼的示例性實現方式，其中，可以用獨立的分布式處理單元來與存儲器對接。
[0058]圖34示出了根據本發(fā)明的特定實施例的基于分布式存儲器和分布式處理單元的神經編碼的示例性實現方式。
【具體實施方式】
[0059]以下參考附圖更充分地說明本發(fā)明的多個實施例。然而，本發(fā)明可以以許多不同形式來體現，并且不應理解為局限于本發(fā)明通篇中提出的任何特定結構或功能。相反，提供這些實施例以使得本發(fā)明全面完整，并且將向本領域技術人員充分地傳達本發(fā)明的范圍。基于本文的教導，本領域技術人員應意識到本發(fā)明的范圍旨在覆蓋本文公開的發(fā)明的任何實施例，不論是該實施例是獨立于本發(fā)明中任何其它實施例而實現的還是與之相結合而實現的。例如，可以使用本文闡述的任意數量的實施例來實現裝置或實施方法。另外，本發(fā)明的范圍旨在覆蓋使用作為本文闡述的本發(fā)明的多個實施例的補充或替代的其它結構、功能或結構與功能實現的此類裝置或方法。應理解，本文公開的發(fā)明的任何實施例都可以由權利要求的一個或多個要素來體現。
[0060]本文使用詞語“示例性的”表示“充當實例、例子或舉例說明”。本文中被描述為“示例性的”任何實施例都并非必然解釋為對于其它實施例而言是優(yōu)選的或有優(yōu)勢的。
[0061]盡管本文描述了特定實施例，但這些實施例的許多變體和置換形式也屬于本發(fā)明的范圍內。盡管提及了優(yōu)選實施例的一些益處和優(yōu)點，但本發(fā)明的范圍并非旨在局限于特定益處、使用或目的。相反，本發(fā)明的實施例旨在廣泛應用于不同技術、系統(tǒng)配置、網絡和協議，其中一些借助于實例而在附圖和針對優(yōu)選實施例的以下描述中進行說明。該詳細描述和附圖對本發(fā)明僅僅是說明性的而非限制性的，本發(fā)明的范圍由所附權利要求及其等價物來定義。
[0062]示例性神經系統(tǒng)
[0063]圖1示出了根據本發(fā)明的特定實施例的具有多級神經元的示例性神經系統(tǒng)100。神經系統(tǒng)100可以包括一級神經元102，其通過突觸連接網絡104連接至另一級神經元106。為了簡明，圖1中僅示出了兩級神經元，盡管在典型神經系統(tǒng)中可以存在更少或更多級的神經元。
[0064]如圖1所示，級102中的每一個神經元都可以接收輸入信號108，其可以由前一級的多個神經元(圖1中未示出)產生。信號108可以表示級102的神經元的輸入電流。可以在神經元膜上積蓄這個電流以對膜電位進行充電。當膜電位達到其閾值時，神經元可以發(fā)放(fire)并產生要傳遞到下一級神經元(例如，級106)的輸出鋒電位。
[0065]如圖1所示，可以通過突觸連接網絡(或者簡稱為“突觸”)104來實現鋒電位從一級神經元到另一級神經元的傳遞。突觸104可以從級102的神經元接收輸出信號(即，鋒電
位),根據可調節(jié)的突觸權重W^+1)、......、w{p+1)(其中P是在級102與106的神經元之間
的突觸連接的總數)來對那些信號進行縮放，并將縮放后的信號組合為級106中每一個神經兀的輸入信號。級106中的每一個神經兀都可以根據相應的組合輸入信號產生輸出鋒電位110。隨后可以使用另一突觸連接網絡(圖1中未示出)將輸出鋒電位110傳遞到另一級神經元。
[0066]神經系統(tǒng)100可以由電路來模擬并可以用于大范圍的應用中，諸如圖像和模式識另IJ、機器學習和電機控制之類。神經系統(tǒng)100中的每一個神經元都可以實現為神經元電路。例如，被充電至閾值從而發(fā)起輸出鋒電位的神經元膜可以實現為電容器，其對流過它的電流進行積分。
[0067]在一個實施例中，可以去掉作為神經元電路的電流積分器件的電容器，并可以在其位置處使用較小的憶阻器元件。這個方案可以應用于神經元電路中以及將大體積電容器用作電流積分器的各種其他應用中。另外，可以基于憶阻器元件來實現每一個突觸104，其中，突觸權重的改變可以與憶阻器的電阻的改變相關。使用納米特征尺寸的憶阻器，可以充分減小神經元電路和突觸的面積，這可以使得超大規(guī)模神經系統(tǒng)硬件實現的實施切實可行。
[0068]神經時間模式`編碼、學習和識別的方法
[0069]由于神經系統(tǒng)100的神經元電路可以使用時控鋒電位形式的所謂的時間編碼來在時間上傳送信息，因此編碼和解碼的方法及學習這種時間信息的方法是主要關注的。本發(fā)明的特定實施例公開了用于辨別時間模式的方法，并且與其它“時間模式”方法形成對比的是，不僅僅是輸入或輸入順序的一致性。此外，本發(fā)明提出了切實可行的方法，其是仿生的/ 一致的，但降低了復雜性，并能夠編碼、解碼、識別和學習時間鋒電位信號模式。
[0070]本發(fā)明中提出的系統(tǒng)可以包括圖2中所示的彼此依賴的特征的組合。通常，系統(tǒng)200可以圍繞學習方面(例如,赫布型學習(Hebbian learning))和執(zhí)行方面(動態(tài)鋒電位形成模型)?？梢杂蓸渫谎舆t線方面來確定鋒電位形成模型的相關輸入時序，所述樹突延遲線方面會受突觸周轉及其他方面的影響。所述學習可以確定突觸權重以及對其他方面的影響，并且其會受到調節(jié)(標準化)、對齊、退火以及其他方面的影響。在本發(fā)明中解釋了這些方面中的每一個，連同與其他方面的關系及其重要性、參數及優(yōu)點。
[0071]相對延遲和樹突延遲線
[0072]本發(fā)明中提出了一種方法，其中，可以根據在突觸的輸入之間的相對延遲、在突觸的輸入與參考輸入之間的相對延遲或者二者來確定神經元的行為。圖3中示出了時間編碼模型的基本實施例。來自神經元302、304、306、308 (即，輸入神經元)的鋒電位輸出的空間-時間模式可以組成神經元310 (即，輸出神經元)的鋒電位輸入。每一個輸入神經元都可以經由神經元310的一個或多個樹突上的一個或多個突觸連接到神經元310。每一個突觸都可以具有相關的延遲，其表征來自輸入神經元的鋒電位在到達神經元310的細胞體(soma)之前所經歷的時間延遲，如圖3針對用于連接神經元304與神經元310的突觸312所示的。如圖3中所示,所述輸入在延遲與合并(integration)之前可以經歷縮放。可替換地，所述輸入在為了減少大規(guī)模神經網絡中的處理而進行的縮放之前可以經歷延遲。
[0073]使用這個方法，神經元可以識別輸入神經元的輸出中的空間-時間模式(在輸入神經元意義上是空間、在鋒電位之間的相對鋒電位時序或者時間差意義上是時間)。此如圖4中所示，其中，輸入神經元402、404、406、408可以在不同時間形成鋒電位。然而，因為在樹突中的延遲，來自輸入神經 元的信號可以以在時間上對齊的方式到達輸出神經元X的細胞體。從而，輸出神經元X在時間t的輸入可以被表示為輸入神經元的經延遲的輸出的函數，即:
[0074]
【權利要求】
1.一種神經時間編碼的方法,包括: 使用相對延遲線提取，其以時間延遲來對到神經元電路中的一個或多個突觸輸入進行延遲; 基于所述神經元電路的經加權和延遲的突觸輸入，應用動態(tài)鋒電位形成模型來確定所述神經元電路的鋒電位形成行為；及 按照無監(jiān)督學習規(guī)則，根據所述神經元電路的鋒電位形成與經延遲的突觸輸入的時序關系，來調整與所述突觸輸入相關聯的權重。
2.根據權利要求1所述的方法，進一步包括: 控制所述權重、與所述神經元電路相關聯的突觸的數量、所述突觸的時間常數、所述神經元電路的發(fā)放閾值、所述神經元電路的抑制程度、或者與所述神經元電路相關聯的噪聲中的至少一個，以導致所述神經元電路的初始發(fā)放速率。
3.根據權利要求1所述的方法，進一步包括: 由所述無監(jiān)督學習規(guī)則應用模擬退火來進行權重的所述調整。
4.根據權利要求1所述的方法，進一步包括: 選擇與所述神經元電路相關聯的可重用突觸；及 修改所述可重用突觸的權重、延遲或傳入中的至少一個。
5.根據權利要求4所述的方法，其中，選擇所述可重用突觸是基于:所述無監(jiān)督學習規(guī)則將所述可重用突觸的權重減小到低于閾值的值。
6.根據權利要求4所述的方法，其中，選擇所述可重用突觸是以所述突觸被重用后所經過的時間為條件的。
7.一種用于神經時間編碼的裝置，包括: 第一電路，被配置為使用相對延遲線提取，其以時間延遲來對到神經元電路中的一個或多個突觸輸入進行延遲； 第二電路，被配置為基于所述神經元電路的經加權和延遲的突觸輸入，應用動態(tài)鋒電位形成模型來確定所述神經元電路的鋒電位形成行為；及 第三電路，被配置為按照無監(jiān)督學習規(guī)則，根據所述神經元電路的鋒電位形成與經延遲的突觸輸入的時序關系，來調整與所述突觸輸入相關聯的權重。
8.根據權利要求7所述的裝置，進一步包括: 第四電路，被配置為控制所述權重、與所述神經元電路相關聯的突觸的數量、所述突觸的時間常數、所述神經元電路的發(fā)放閾值、所述神經元電路的抑制程度、或者與所述神經元電路相關聯的噪聲中的至少一個，以導致所述神經元電路的初始發(fā)放速率。
9.根據權利要求7所述的裝置，進一步包括: 第四電路，被配置為由所述無監(jiān)督學習規(guī)則應用模擬退火來進行權重的所述調整。
10.根據權利要求7所述的裝置，進一步包括: 第四電路，被配置為選擇與所述神經元電路相關聯的可重用突觸；及 第五電路，被配置為修改所述可重用突觸的權重、延遲或傳入中的至少一個。
11.根據權利要求10所述的裝置，其中，選擇所述可重用突觸是基于:所述無監(jiān)督學習規(guī)則將所述可重用突觸的權重減小到低于閾值的值。
12.根據權利要求10所述的裝置，其中，選擇所述可重用突觸是以所述突觸被重用后所經過的時間為條件的。
13.一種用于神經時間編碼的裝置，包括: 用于使用相對延遲線提取的模塊，所述相對延遲線提取以時間延遲來對到神經元電路中的一個或多個突觸輸入進行延遲； 用于基于所述神經元電路的經加權和延遲的突觸輸入，應用動態(tài)鋒電位形成模型來確定所述神經元電路的鋒電位形成行為的模塊；及 用于按照無監(jiān)督學習規(guī)則，根據所述神經元電路的鋒電位形成與經延遲的突觸輸入的時序關系，來調整與所述突觸輸入相關聯的權重的模塊。
14.根據權利要求13所述的裝置，進一步包括: 用于控制所述權重、與所述神經元電路相關聯的突觸的數量、所述突觸的時間常數、所述神經元電路的發(fā)放閾值、所述神經元電路的抑制程度、或者與所述神經元電路相關聯的噪聲中的至少一個，以導致所述神經元電路的初始發(fā)放速率的模塊。
15.根據權利要求13所述的裝置，進一步包括: 用于由所述無監(jiān)督學習規(guī)則應用模擬退火來進行權重的所述調整的模塊。
16.根據權利要求13所述的裝置，進一步包括: 用于選擇與所述神經元電路相關聯的可重用突觸的模塊；及 用于修改所述可重用突觸的權重、延遲或傳入中的至少一個的模塊。`
17.根據權利要求16所述的裝置，其中，選擇所述可重用突觸是基于:所述無監(jiān)督學習規(guī)則將所述可重用突觸的權重減小到低于閾值的值。
18.根據權利要求16所述的裝置，其中，選擇所述可重用突觸是以所述突觸被重用后所經過的時間為條件的。
19.一種用于神經時間編碼的計算機程序產品，包括計算機可讀介質，所述計算機可讀介質包括代碼，用于: 使用相對延遲線提取，其以時間延遲來對到神經元電路中的一個或多個突觸輸入進行延遲； 基于所述神經元電路的經加權和延遲的突觸輸入，應用動態(tài)鋒電位形成模型來確定所述神經元電路的鋒電位形成行為；及 按照無監(jiān)督學習規(guī)則，根據所述神經元電路的鋒電位形成與經延遲的突觸輸入的時序關系，來調整與所述突觸輸入相關聯的權重。
20.一種用于長且大的空間-時間模式的神經時間編碼的方法，包括: 將分級的多層神經網絡中的每一層神經元電路連接到輸入并且連接到所述多層神經網絡中的另一層神經元電路；及 將所述多層神經網絡中的第一層神經元電路與輸入模式的第一分部進行匹配，其中， 作為對所述輸入模式的一個分部和所述輸入模式的另一個分部進行匹配的結果，所連接的層對所述另一層的神經元電路的發(fā)放的組合進行匹配。
21.根據權利要求20所述的方法,其中，輸入模式的所述另一個分部與輸入模式的所述一個分部相連續(xù)。
22.根據權利要求20所述的方法，其中: 所述第一層包括遞歸型神經元電路的網絡，其由在時間編碼中保持記憶的輸入模式的所述第一分部通過重放同多步發(fā)放波而激發(fā)，并且所述方法進一步包括 由所述輸入模式的第二分部與所述同多步發(fā)放波的組合來激發(fā)所述多層神經網絡的遞歸型神經元電路的另一個網絡。
23.根據權利要求20所述的方法，其中，在所述分級的多層神經網絡的層之間的軸突延遲對針對匹配所述輸入模式的第一部分的響應進行延遲，以使得所述響應落入與所述輸入模式的第二部分相對應的時間窗口內。
24.一種用于長且大的空間-時間模式的神經時間編碼的裝置，包括: 第一電路，被配置為將分級的多層神經網絡中的每一層神經元電路連接到輸入并且連接到所述多層神經網絡中的另一層神經元電路；及 第二電路，被配置為將所述多層神經網絡中的第一層神經元電路與輸入模式的第一分部進行匹配，其中， 作為對所述輸入模式的一個分部和所述輸入模式的另一個分部進行匹配的結果，所連接的層對所述另一層的神經元電路的發(fā)放的組合進行匹配。
25.根據權利要求24所述的裝置，其中，輸入模式的所述另一個分部與輸入模式的所述一個分部相連續(xù)。
26.根據權利要求24所述的裝置，其中: 所述第一層包括遞歸型神經元電路的網絡，其由在時間編碼中保持記憶的輸入模式的所述第一分部通過重放同多步發(fā)放波而激發(fā)，并且所述裝置進一步包括 第三電路，被配置為由所述輸入模式的第二分部與所述同多步發(fā)放波的組合來激發(fā)所述多層神經網絡的遞歸型神經元電路的另一個網絡。`
27.根據權利要求24所述的裝置，其中，在所述分級的多層神經網絡的層之間的軸突延遲對針對匹配所述輸入模式的第一部分的響應進行延遲，以使得所述響應落入與所述輸入模式的第二部分相對應的時間窗口內。
28.一種用于長且大的空間-時間模式的神經時間編碼的裝置，包括: 用于將分級的多層神經網絡中的每一層神經元電路連接到輸入并且連接到所述多層神經網絡中的另一層神經元電路的模塊；及 用于將所述多層神經網絡中的第一層神經元電路與輸入模式的第一分部進行匹配的模塊，其中， 作為對所述輸入模式的一個分部和所述輸入模式的另一個分部進行匹配的結果，所連接的層對所述另一層的神經元電路的發(fā)放的組合進行匹配。
29.根據權利要求28所述的裝置，其中，輸入模式的所述另一個分部與輸入模式的所述一個分部相連續(xù)。
30.根據權利要求28所述的裝置，其中: 所述第一層包括遞歸型神經元電路的網絡，其由在時間編碼中保持記憶的輸入模式的所述第一分部通過重放同多步發(fā)放波而激發(fā)，及所述裝置進一步包括 用于由所述輸入模式的第二分部與所述同多步發(fā)放波的組合來激發(fā)所述多層神經網絡的遞歸型神經元電路的另一個網絡的模塊。
31.根據權利要求28所述的裝置，其中，在所述分級的多層神經網絡的層之間的軸突延遲對針對匹配所述輸入模式的第一部分的響應進行延遲，以使得所述響應落入與所述輸入模式的第二部分相對應的時間窗口內。
32.一種用于長且大的空間-時間模式的神經時間編碼的計算機程序產品，包括計算機可讀介質，所述計算機可讀介質包括代碼，用于: 將分級的多層神經網絡中的每一層神經元電路連接到輸入并且連接到所述多層神經網絡中的另一層神經元電路；及 將所述多層神經網絡中的第一層神經元電路與輸入模式的第一分部進行匹配，其中， 作為對所述輸入模式的一個分部和所述輸入模式的另一個分部進行匹配的結果，所連接的層對所述另一層的神經元電路的發(fā)放的組合進行匹配。
33.一種用于長且大的空間-時間模式的神經時間編碼的方法，包括: 通過具有相關延遲的突觸，將突觸輸入提供到神經元電路中，其中， 所述突觸輸入中的至少一個與所述突觸中自連接的至少一個突觸相關聯， 所述突觸屬于多個集合，及 所述多個集合中的至少一個集合包括延遲組合，用以匹配不包含遞歸型自連接的所述突觸輸入的模式的第一部分。
34.根據權利要求33所述的方法，其中: 所述多個集合中的至少另一個集合包括另一個延遲組合，用以匹配所述模式的第二部分，并且所述自連接的至少一個突觸具有延遲，以將模式的所述第一部分與匹配所述另一個延遲組合的模式的所述第二部分相關聯。
35.根據權利要求33所述的方法，其中，與所述自連接的至少一個突觸相關聯的軸突延遲對針對匹配模式的所述第一部分的響應進行延遲，以使得所述響應落入與模式的所述第二部分相對應的時間窗口內。
36.一種用于長且大的空間-時間模式的神經時間編碼的裝置，包括: 第一電路，被配置為通過具有相關延遲的突觸，將突觸輸入提供到神經元電路中，其中， 所述突觸輸入中的至少一個與所述突觸中自連接的至少一個突觸相關聯， 所述突觸屬于多個集合，及 所述多個集合中的至少一個集合包括延遲組合，用以匹配不包含遞歸型自連接的所述突觸輸入的模式的第一部分。
37.根據權利要求36所述的裝置，其中: 所述多個集合中的至少另一個集合包括另一個延遲組合，用以匹配所述模式的第二部分，并且所述自連接的至少一個突觸具有延遲，以將模式的所述第一部分與匹配所述另一個延遲組合的模式的所述第二部分相關聯。
38.根據權利要求36所述的裝置，其中，與所述自連接的至少一個突觸相關聯的軸突延遲對針對匹配模式的所述第一部分的響應進行延遲，以使得所述響應落入與模式的所述第二部分相對應的時間窗口內。
39.一種用于長且大的空間-時間模式的神經時間編碼的裝置，包括: 用于通過具有相關延遲的突觸，將突觸輸入提供到神經元電路中的模塊，其中， 所述突觸輸入中的至少一個與所述突觸中自連接的至少一個突觸相關聯， 所述突觸屬于多個集合，及所述多個集合中的至少一個集合包括延遲組合，用以匹配不包含遞歸型自連接的所述突觸輸入的模式的第一部分。
40.根據權利要求39所述的裝置，其中: 所述多個集合中的至少另一個集合包括另一個延遲組合，用以匹配所述模式的第二部分，并且所述自連接的至少一個突觸具有延遲，以將模式的所述第一部分與匹配所述另一個延遲組合的模式的所述第二部分相關聯。
41.根據權利要求39所述的裝置，其中，與所述自連接的至少一個突觸相關聯的軸突延遲對針對匹配模式的所述第一部分的響應進行延遲，以使得所述響應落入與模式的所述第二部分相對應的時間窗口內。
42.一種用于長且大的空間-時間模式的神經時間編碼的計算機程序產品，包括計算機可讀介質，所述計算機可讀介質包括代碼，用于: 通過具有相關延遲的突觸，將突觸輸入提供到神經元電路中，其中， 所述突觸輸入中的至少一個與所述突觸中自連接的至少一個突觸相關聯， 所述突觸屬于多個集合，及 所述多個集合中的至少一個集合包括延遲組合，以匹配不包含遞歸型自連接的所述突觸輸入的模式的第一部分。
43.—種用于總輸入模式的神經編碼的方法,包括: 將一個或多個突觸連接到具有細胞體的神經元電路，所述一個或多個突觸中的每一個突觸對應于所述神經元電路的一個輸入傳入，并具有權重和相對延遲；及 由每一個所述相對延遲引發(fā)在相應的輸入傳入和所述細胞體之間的延遲，其中，所述一個或多個突觸的一個或多個集合具有與共同構成所述總輸入模式之一的多個子模式相對應的延遲和輸入傳入，及 所述子模式包括一致性、發(fā)放速率或者時間模式中的至少一個。
44.根據權利要求43所述的方法，其中: 對應于所述一致性子模式的突觸的集合對于不同的輸入傳入具有相同延遲， 對應于所述發(fā)放模式子模式的突觸的集合對于同一輸入傳入具有不同延遲，及 對應于所述時間模式子模式的突觸的集合對于不同輸入傳入具有不同延遲。
45.根據權利要求44所述的方法，進一步包括: 使得用于所述神經元電路的延遲最小，以通過使得對應于所述發(fā)放模式的所述突觸的兩個或更多個集合具有彼此偏移的延遲來響應所學習的發(fā)放速率。
46.根據權利要求45所述的方法，進一步包括: 穿孔來自所述兩個或更多個集合的一些突觸，以忽略由于一個或多個非預期速率的混疊所造成的、導致所述神經元電路的發(fā)放的時間偏移。
47.根據權利要求43所述的方法，進一步包括: 根據所述神經元電路對于每個連接所具有的多個延遲或者用于不同連接的延遲的程度來改變所述神經元電路的發(fā)放的合并窗口，其中與具有不等于其他連接的延遲的單個連接輸入相反，所述用于不同連接的延遲是相同的。
48.根據權利要求47所述的方法，進一步包括: 將由于學習而減弱的連接再分配給同一輸入，且該連接所具有的延遲不同于由對該同一輸入的現有連接所使用的任何延遲。
49.根據權利要求47所述的方法，進一步包括: 將由于學習而減弱的連接再分配給不同的輸入。
50.根據權利要求43所述的方法，其中: 在用于所述神經元電路的一個輸入傳入的延遲集合中的延遲之間的時間差對應于與所述一個輸入傳入相關聯的發(fā)放速率的倒數的倍數。
51.根據權利要求43所述的方法，其中: 未對齊的輸入傳入的一個或多個多余的補充的經延遲的鋒電位低于一個或多個閾值，并且 所述一個或多個低于閾值的多余的補充的經延遲的鋒電位不會破壞所述神經元電路的模式匹配性能。
52.一種用于總輸入模式的神經編碼的裝置，包括: 第一電路，被 配置為將一個或多個突觸連接到具有細胞體的神經元電路，所述一個或多個突觸中的每一個突觸對應于所述神經元電路的一個輸入傳入，并具有權重和相對延遲；及 第二電路，被配置為由每一個所述相對延遲引發(fā)在相應的輸入傳入和所述細胞體之間的延遲，其中， 所述一個或多個突觸的一個或多個集合具有與共同構成所述總輸入模式之一的多個子模式相對應的延遲和輸入傳入，及 所述子模式包括一致性、發(fā)放速率或者時間模式中的至少一個。
53.根據權利要求52所述的裝置，其中: 對應于所述一致性子模式的突觸的集合對于不同的輸入傳入具有相同延遲， 對應于所述發(fā)放模式子模式的突觸的集合對于同一輸入傳入具有不同延遲，及 對應于所述時間模式子模式的突觸的集合對于不同輸入傳入具有不同延遲。
54.根據權利要求53所述的裝置，進一步包括: 第三電路，被配置為使得用于所述神經元電路的延遲最小，以通過使得對應于所述發(fā)放模式的所述突觸的兩個或更多個集合具有彼此偏移的延遲來響應所學習的發(fā)放速率。
55.根據權利要求54所述的裝置，進一步包括: 第四電路，被配置為穿孔來自所述兩個或更多個集合的一些突觸，以忽略由于一個或多個非預期速率的混疊所造成的、導致所述神經元電路的發(fā)放的時間偏移。
56.根據權利要求52所述的裝置，進一步包括: 第三電路，被配置為根據所述神經元電路對于每個連接所具有的多個延遲或者用于不同連接的延遲的程度來改變所述神經元電路的發(fā)放的合并窗口，其中與具有不等于其他連接的延遲的單個連接輸入相反，所述用于不同連接的延遲是相同的。
57.根據權利要求56所述的裝置，進一步包括: 第四電路，被配置為將由于學習而減弱的連接再分配給同一輸入，且該連接所具有的延遲不同于由對該同一輸入的現有連接所使用的任何延遲。
58.根據權利要求56所述的裝置，進一步包括: 第四電路，被配置為將由于學習而減弱的連接再分配給不同的輸入。
59.根據權利要求52所述的裝置，其中: 在用于所述神經元電路的一個輸入傳入的延遲集合中的延遲之間的時間差對應于與所述一個輸入傳入相關聯的發(fā)放速率的倒數的倍數。
60.根據權利要求52所述的裝置，其中: 未對齊的輸入傳入的一個或多個多余的補充的經延遲的鋒電位低于一個或多個閾值，并且 所述一個或多個低于閾值的多余的補充的經延遲的鋒電位不會破壞所述神經元電路的模式匹配性能。
61.一種用于總輸入模式的神經編碼的裝置，包括: 用于將一個或多個突觸連接到具有細胞體的神經元電路的模塊，所述一個或多個突觸中的每一個突觸對應于所述神經元電路的一個輸入傳入，并具有權重和相對延遲；及 用于由每一個所述相對延遲引發(fā)在相應的輸入傳入和所述細胞體之間的延遲的模塊，其中， 所述一個或多個突觸的一個或多個集合具有與共同構成所述總輸入模式之一的多個子模式相對應的延遲和輸入傳入，及 所述子模式包括一致性、發(fā)放速率或者時間模式中的至少一個。
62.根據權利要求61所述的裝置，其中: 對應于所述一致性子模式的突觸的集合對于不同的輸入傳入具有相同延遲， 對應于所述發(fā)放模式子模式的突觸的集合對于同一輸入傳入具有不同延遲，及 對應于所述時間模式子模式的突觸的集合對于不同輸入傳入具有不同延遲。
63.根據權利要求62所述的裝置，進一步包括: 用于使得用于所述神經元電路的延遲最小，以通過使得對應于所述發(fā)放模式的所述突觸的兩個或更多個集合具有彼此偏移的延遲來響應所學習的發(fā)放速率的模塊。
64.根據權利要求63所述的裝置，進一步包括: 用于穿孔來自所述兩個或更多個集合的一些突觸，以忽略由于一個或多個非預期速率的混疊所造成的、導致所述神經元電路的發(fā)放的時間偏移的模塊。
65.根據權利要求61所述的裝置，進一步包括: 用于根據所述神經元電路對于每個連接所具有的多個延遲或者用于不同連接的延遲的程度來改變所述神經元電路的發(fā)放的合并窗口的模塊，其中與具有不等于其他連接的延遲的單個連接輸入相反，所述用于不同連接的延遲是相同的。
66.根據權利要求65所述的裝置，進一步包括: 用于將由于學習而減弱的連接再分配給同一輸入的模塊，且該連接所具有的延遲不同于由對該同一輸入的現有連接所使用的任何延遲。
67.根據權利要求65所述的裝置，進一步包括: 用于將由于學習而減弱的連接再分配給不同的輸入的模塊。
68.根據權利要求61所述的裝置，其中: 在用于所述神經元電路的一個輸入傳入的延遲集合中的延遲之間的時間差對應于與所述一個輸入傳入相關聯的發(fā)放速率的倒數的倍數。
69.根據權利要求61所述的裝置，其中:未對齊的輸入傳入的一個或多個多余的補充的經延遲的鋒電位低于一個或多個閾值，并且 所述一個或多個低于閾值的多余的補充的經延遲的鋒電位不會破壞所述神經元電路的模式匹配性能。
70.一種用于總輸入模式的神經編碼的計算機程序產品，包括計算機可讀介質，所述計算機可讀介質包括代碼，用于: 將一個或多個突觸連接到具有細胞體的神經元電路，所述一個或多個突觸中的每一個突觸對應于所述神經元電路的一個輸入傳入，并具有權重和相對延遲；及 由每一個所述相對延遲引發(fā)在相應的輸入傳入和所述細胞體之間的延遲，其中，所述一個或多個突觸的一個或多個集合具有與共同構成所述總輸入模式之一的多個子模式相對應的延遲和輸入傳入，及 所述子模式包括一致性、發(fā)放速率`或者時間模式中的至少一個。
【文檔編號】G06N3/04GK103733209SQ201280039570
【公開日】2014年4月16日 申請日期:2012年8月14日 優(yōu)先權日:2011年8月16日
【發(fā)明者】V·H·陳, J·F·安齊熱, B·F·貝哈巴迪 申請人:高通股份有限公司