本申請對2014年4月15日提交的并且題為“Methods, Systems And Computer Program Products For Neuromorphic Graph Compression Using Associative Memories”的號為61/979,601的美國臨時申請要求優(yōu)先權(quán)，所述申請的公開內(nèi)容由此通過引用被并入本文中，如同在本文中全面闡明。

技術(shù)領(lǐng)域

本發(fā)明涉及知識管理系統(tǒng)、方法和計算機(jī)程序產(chǎn)品，并且更特別地涉及關(guān)聯(lián)存儲器系統(tǒng)、方法和計算機(jī)程序產(chǎn)品。

背景技術(shù)：

關(guān)聯(lián)存儲器，也稱為內(nèi)容可尋址存儲器，廣泛地使用在模式匹配和識別、專家系統(tǒng)和人工智能的領(lǐng)域中。廣泛使用的關(guān)聯(lián)存儲器是Hopfield人工神經(jīng)網(wǎng)絡(luò)。Hopfield人工神經(jīng)網(wǎng)絡(luò)例如在授予Hopfield的題為“Electronic Network for Collective Decision Based on Large Number of Connections Between Signals”的美國專利4,660,166中被描述。

盡管關(guān)聯(lián)存儲器可以避免在先前的后向傳播網(wǎng)絡(luò)中的問題，但是關(guān)聯(lián)存儲器可能呈現(xiàn)縮放和亂真存儲器的問題。在關(guān)聯(lián)存儲器方面的新近的改進(jìn)已經(jīng)嘗試解決這些和其它問題。例如，授予共同發(fā)明人Aparicio, IV等人的題為“Artificial Neural Networks Including Boolean-Complete Compartments”的美國專利6,052,679提供了多個人工神經(jīng)元和多個布爾完備隔室（compartment），所述隔室中相應(yīng)的一個耦合相應(yīng)的人工神經(jīng)元對。

超越傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的單點神經(jīng)元模型，真實的神經(jīng)元展現(xiàn)復(fù)雜、非線性的行為，其等同于它們自身內(nèi)的網(wǎng)絡(luò)。特別地，新近的計算神經(jīng)科學(xué)已經(jīng)聚焦于理解神經(jīng)元的布線效率以及計算能力，特別地是樹突（結(jié)構(gòu)上線性的）如何計算重合（功能上非線性的）。然而，為了更好地理解神經(jīng)元樹突以及開發(fā)神經(jīng)形態(tài)設(shè)備的計算水平的分析仍是難以捉摸的。答案通過以下而找到：假設(shè)重合矩陣（圖）作為每個神經(jīng)元的存儲器的基本對象，但是并不像許多當(dāng)前的神經(jīng)形態(tài)努力中典型的那樣要求顯式縱橫制（crossbar）。每個矩陣的層析X射線攝影術(shù)投影被示出為表示無損的壓縮，其通過在樹突隔室的接收性陣列上的突觸激活的級聯(lián)波而可表達(dá)。這種簡單的激活傳遞算法能夠讀取和寫入圖結(jié)構(gòu)。這樣的布線效率解釋了每個神經(jīng)元如何表示非線性的關(guān)聯(lián)存儲器并且啟發(fā)了新興的神經(jīng)形態(tài)設(shè)備來存儲和計算這樣的存儲器而沒有幾何縱橫制的成本。矩陣帶寬縮減增添甚至更大的處理速度，并且邏輯可逆性允諾絕熱的能量效率。隨著認(rèn)知計算繼續(xù)顯現(xiàn)為用于機(jī)器智能的基礎(chǔ)，更像腦的方法將被移到操作系統(tǒng)中，并且將最終要求布線和能量效率通過認(rèn)知硬件而支持認(rèn)知。

技術(shù)實現(xiàn)要素：

本發(fā)明的一些實施例目的在于用于使用關(guān)聯(lián)存儲器的神經(jīng)形態(tài)圖壓縮的方法、系統(tǒng)和計算機(jī)程序產(chǎn)品。一些實施例目的在于一種人工神經(jīng)元，其包括多個樹突，所述多個樹突中的樹突包括多個樹突隔室，其中樹突隔室中的相應(yīng)的一個與多個輸入中的相應(yīng)一個唯一地相關(guān)聯(lián)。每個樹突隔室包括與突觸激活強(qiáng)度對應(yīng)的第一權(quán)重值以及與相應(yīng)樹突隔室對其它激活的接收性值對應(yīng)的第二權(quán)重值。

在一些實施例中，樹突隔室從作為樹突的遠(yuǎn)端梢的頂點到作為人工神經(jīng)元求和點的胞體（soma）線性布置。

一些實施例提供了：樹突中的每一個是被配置成從相應(yīng)的其它人工神經(jīng)元接收輸入的樹突隔室的線性陣列。

在一些實施例中，多個輸入中的輸入經(jīng)由通過所述多個樹突隔室的級聯(lián)突觸激活而被接收。一些實施例提供：具有為零的接收性值的樹突隔室被配置成將激活輸入從樹突隔室中更遠(yuǎn)端的一個作為激活輸出而傳輸?shù)綐渫桓羰抑懈说囊粋€。

一些實施例提供了：響應(yīng)于輸入在多個樹突隔室中的樹突隔室之間生成了交叉交換（crossed-switch），樹突中對應(yīng)的一個在樹突頂點處包括經(jīng)添加的樹突隔室。

在一些實施例中，響應(yīng)于樹突隔室中的一個樹突隔室中的第一權(quán)重值大于零并且樹突隔室中該個樹突隔室中的第二權(quán)重值大于零，樹突隔室中的該個樹突隔室發(fā)送重合尖峰信號到作為人工神經(jīng)元求和點的胞體。

一些實施例提供：響應(yīng)于樹突隔室中的一個樹突隔室中的第一權(quán)重值為零，激活傳播針對樹突隔室中的該個樹突隔室而停止。

本發(fā)明的一些實施例包括將多個輸入存儲到包括各自具有多個樹突隔室的多個樹突的人工神經(jīng)元中。所述方法可以包括如從樹突隔室中更近端的樹突隔室流到作為人工神經(jīng)元的人工神經(jīng)元求和點的人工神經(jīng)元胞體的遠(yuǎn)端突觸激活那樣計算重合檢測。

一些實施例包括響應(yīng)于根據(jù)在樹突隔室中包括非零接收性值的對應(yīng)一個樹突隔室處所接收的非零激活值輸入的重合檢測而生成樹突動作電位。一些實施例提供：響應(yīng)于生成樹突動作電位，激活值和接收性值被遞減并且遞減的激活值被傳遞到樹突隔室中的下一個。

本發(fā)明的一些實施例包括將多個輸入存儲到包括各自具有多個樹突隔室的多個樹突的人工神經(jīng)元中的方法。這樣的方法可以包括通過使用級聯(lián)激活來計算重合檢測，所述級聯(lián)激活從樹突隔室中的遠(yuǎn)端樹突隔室、樹突隔室中的更近端的樹突隔室級聯(lián)到人工神經(jīng)元胞體，并且檢測和避免交叉配置4-交換。

本發(fā)明的一些實施例包括一種人工神經(jīng)元，所述人工神經(jīng)元包括多個樹突，所述多個樹突中的樹突包括多個樹突隔室。一些實施例提供：樹突隔室中相應(yīng)的一個與多個輸入中相應(yīng)的一個唯一地相關(guān)聯(lián)，多個樹突隔室中的樹突隔室被配置成接收級聯(lián)激活并且如果樹突隔室中對應(yīng)的一個包括第一接收性值則以未經(jīng)修改的狀態(tài)傳輸級聯(lián)激活并且如果樹突隔室中對應(yīng)的一個包括不同于第一接收性的第二接收性則以不同于未經(jīng)修改狀態(tài)的經(jīng)修改狀態(tài)來傳輸級聯(lián)激活。

本發(fā)明的一些實施例目的在于一種用于將多個輸入存儲到包括各自具有多個樹突隔室的多個樹突的人工神經(jīng)元中的計算機(jī)程序產(chǎn)品。所述計算機(jī)程序產(chǎn)品包括存儲了計算機(jī)可讀程序代碼的非暫時性計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀程序代碼在被電子設(shè)備的處理器執(zhí)行時使得處理器執(zhí)行操作，包括：如從樹突隔室中更近端的樹突隔室流到人工神經(jīng)元胞體的遠(yuǎn)端突觸激活那樣計算重合檢測，響應(yīng)于根據(jù)在樹突隔室中包括非零接收性的對應(yīng)一個樹突隔室處所接收的非零激活值輸入的重合檢測而生成樹突動作電位，并且響應(yīng)于生成樹突動作電位，使激活值和接收性遞減并且將經(jīng)遞減的激活值傳遞到樹突隔室中的下一個。

本發(fā)明的一些實施例目的在于將多個輸入存儲到包括各自具有多個樹突隔室的多個樹突的人工神經(jīng)元中的方法。這樣的方法可以包括通過使用級聯(lián)激活來計算重合檢測，所述級聯(lián)激活從樹突隔室中的遠(yuǎn)端樹突隔室、樹突隔室中更近端的樹突隔室級聯(lián)到人工神經(jīng)元的胞體，并且檢測和避免交叉配置4-交換。

在一些實施例中，樹突隔室從作為樹突中對應(yīng)一個樹突的遠(yuǎn)端梢的頂點到作為樹突中該對應(yīng)一個樹突的人工神經(jīng)元求和點的胞體而線性地布置。

一些實施例包括往多個樹突隔室中的樹突隔室中接收來自相應(yīng)其它人工神經(jīng)元的輸入。在一些實施例中，樹突中的每一個包括樹突隔室的線性陣列，所述樹突隔室被配置成從相應(yīng)的其它人工神經(jīng)元接收輸入。一些實施例提供：往多個樹突隔室中的樹突隔室中接收來自相應(yīng)其它人工神經(jīng)元的輸入包括經(jīng)由通過樹突隔室的級聯(lián)突觸激活而接收輸入。

一些實施例包括將來自樹突隔室中更遠(yuǎn)端的一個樹突隔室的激活輸入作為激活輸出傳輸?shù)綐渫桓羰抑懈说囊粋€。

在一些實施例中，響應(yīng)于輸入在多個樹突隔室中的樹突隔室之間生成交叉交換，所述方法可以包括在樹突頂點處向樹突提供另一樹突隔室。

本發(fā)明的一些實施例目的在于包括處理器和存儲器的系統(tǒng)，所述存儲器包括存儲在其中的指令，所述指令在被執(zhí)行時使得處理器執(zhí)行本文中描述的操作。

注意到，關(guān)于一個實施例所描述的本發(fā)明的方面可以結(jié)合到不同實施例中，盡管沒有相對于其進(jìn)行特別描述。也就是說，所有實施例和/或任何實施例的特征可以以任何方式和/或組合來被組合。在以下闡明的說明書中詳細(xì)解釋本發(fā)明的這些和其它目的和/或方面。

附圖說明

圖1是根據(jù)本發(fā)明的一些實施例的圖示了使用最大矩陣投影的圖。

圖2是根據(jù)本發(fā)明的一些實施例的圖示了使用矩陣投影的4-交換問題的圖。

圖3是根據(jù)本發(fā)明的一些實施例的樹突的示意圖。

圖4A和4B是表示矩陣城市中的所有重合對的圖：當(dāng)行和列分別處于任意次序和經(jīng)排序的次序時來自非結(jié)構(gòu)化的新源的“Tampa”的上下文中的Tampa。

圖5是根據(jù)本發(fā)明的一些實施例的樹突的級聯(lián)激活的示意圖。

圖6是根據(jù)本發(fā)明的一些實施例的圖示了每當(dāng)突觸被開啟時的突觸去極化的流程圖，包括到下一個隔室的激活信號。

圖7是根據(jù)本發(fā)明的一些實施例的圖示了級聯(lián)突觸激活的流程圖。

圖8是根據(jù)本發(fā)明的一些實施例的圖示了用于處理級聯(lián)隔室激活的邏輯的流程圖。

圖9A是根據(jù)本發(fā)明的一些實施例的樹突的級聯(lián)激活的示意圖。

圖9B是根據(jù)本發(fā)明的一些實施例的樹突的級聯(lián)激活的示意圖。

圖10是根據(jù)本發(fā)明的一些實施例的樹突的級聯(lián)激活的示意圖。

圖11是根據(jù)本發(fā)明的一些實施例的樹突的邏輯反向級聯(lián)激活的示意圖。

圖12是根據(jù)本發(fā)明的一些實施例的當(dāng)在樹突中抑制神經(jīng)元的抑制突觸開啟時交叉配置的檢測和表示的示意圖。

具體實施方式

現(xiàn)在將參考附圖來在下文中更全面地描述本發(fā)明，在所述附圖中示出本發(fā)明的說明性實施例。然而，本發(fā)明可以以許多不同的形式來體現(xiàn)并且不應(yīng)當(dāng)被解釋為受限于本文中闡明的實施例。相反，提供這些實施例以便本公開內(nèi)容將是透徹和完整的，并且將全面地向本領(lǐng)域技術(shù)人員傳達(dá)本發(fā)明的范圍。

將理解到，當(dāng)元件被稱為“耦合”、“連接”或“響應(yīng)于”另一元件時，它可以直接耦合、連接或響應(yīng)于所述另一元件或者還可以存在居間元件。相反，當(dāng)元件被稱為“直接耦合”、“直接連接”、或“直接響應(yīng)于”另一元件時，沒有居間元件存在。同樣的標(biāo)號貫穿全文指代同樣的元件。如在本文中所使用的，術(shù)語“和/或”包括一個或多個相關(guān)聯(lián)的列表項目的任何和全部組合，并且可以通過“/”來簡寫。

還將理解到，盡管術(shù)語第一、第二等等可以在本文中用于描述各種元件，但是這些元件不應(yīng)當(dāng)被這些術(shù)語限制。這些術(shù)語僅僅用于區(qū)分一個元件與另一元件。

本文中所使用的術(shù)語是僅僅用于描述特定實施例的目的并且不意圖限制本發(fā)明。如本文中所使用的，單數(shù)形式“一”、“一個”和“該”意圖同樣包括復(fù)數(shù)形式，除非上下文清楚地另行指示。還將理解到，術(shù)語“包括”、“包括了”、“包含”和/或“包含了”當(dāng)在本文中使用時，指定所述特征、步驟、操作、元件和/或組件的存在，但是不排除一個或多個其它特征、步驟、操作、元件、組件和/或其分組的存在或添加。

除非另行定義，否則本文中所使用的所有術(shù)語（包括技術(shù)和科學(xué)術(shù)語）具有與本發(fā)明所屬于的領(lǐng)域中的普通技術(shù)人員所通常理解的相同的含義。還將理解到，諸如在通常使用的詞典中所定義的那些之類的術(shù)語應(yīng)當(dāng)被解釋為具有與其在相關(guān)領(lǐng)域的上下文中的含義一致的含義，并且將不在理想化或過度形式的意義上被解釋，除非在本文中明確地這樣定義。

以下參照根據(jù)本發(fā)明的實施例的方法、系統(tǒng)和計算機(jī)程序產(chǎn)品的框圖和流程圖來部分地描述本發(fā)明。將理解到，框圖或流程圖的框，以及框圖或流程圖中的框的組合可以至少部分地通過計算機(jī)程序指令來實現(xiàn)。這些計算機(jī)程序指令可以被提供給一個或多個企業(yè)、應(yīng)用、個人、普適和/或嵌入式計算機(jī)系統(tǒng)，使得經(jīng)由（一個或多個）計算機(jī)系統(tǒng)而執(zhí)行的指令創(chuàng)建用于實現(xiàn)在框圖的一個或多個框中所指定的功能/動作的構(gòu)件、模塊、設(shè)備或方法。在其它實施例中還可以使用通用計算機(jī)系統(tǒng)和/或?qū)Ｓ糜布慕M合。

這些計算機(jī)程序指令還可以存儲在（一個或多個）計算機(jī)系統(tǒng)的存儲器中，其可以指引（一個或多個）計算機(jī)系統(tǒng)以特定的方式運(yùn)轉(zhuǎn)，使得存儲器中所存儲的指令產(chǎn)生包括計算機(jī)可讀程序代碼的制品，所述計算機(jī)可讀程序代碼實現(xiàn)在一個或多個框中所指定的功能/動作。計算機(jī)程序指令還可以加載到（一個或多個）計算機(jī)系統(tǒng)中以使得一系列操作步驟被（一個或多個）計算機(jī)系統(tǒng)執(zhí)行以產(chǎn)生計算機(jī)實現(xiàn)的過程，使得在處理器上執(zhí)行的指令提供用于實現(xiàn)在一個或多個框中所指定的功能/動作的步驟。因此，框圖和/或流程圖的給定的一個或多個框提供用于方法、計算機(jī)程序產(chǎn)品和/或系統(tǒng)（結(jié)構(gòu)的和/或裝置加功能）的支持。

在一些實施例中，計算機(jī)程序指令可以由本文中所討論的被配置成提供同時級聯(lián)的細(xì)粒度并行性的特定硬件來執(zhí)行。例如，一些實施例提供：特定硬件基底作為其固有屬性的部分而直接實現(xiàn)在本文中被描述的一個或多個計算操作。非限制性的示例包括憶阻器并且其與Hodgkin-Huxley膜方程的類似性可以是用于實現(xiàn)的基礎(chǔ)。

還應(yīng)當(dāng)指出的是，在一些可替換的實現(xiàn)中，流程圖中所指出的功能/動作可以不按流程圖中所指出的次序來發(fā)生。例如，接連示出的兩個框可以事實上基本上并發(fā)地執(zhí)行或者框有時可以以相反的次序來被執(zhí)行，這取決于所涉及的功能性/動作。最后，一個或多個框的功能性可以與其它框的功能性分離和/或組合。

在一些實施例中，更好地理解神經(jīng)元樹突以及開發(fā)神經(jīng)形態(tài)設(shè)備的計算水平的分析可以通過以下來發(fā)現(xiàn)：假設(shè)重合矩陣（圖）作為每個神經(jīng)元的存儲器的基本對象，但是并不像許多當(dāng)前的神經(jīng)形態(tài)努力中典型的那樣要求顯式縱橫制。每個矩陣的層析X射線攝影術(shù)投影被示出為表示無損的壓縮，其通過在樹突隔室的接收性陣列上的突觸激活的級聯(lián)波而可表達(dá)。這種激活傳遞算法能夠讀取和寫入圖結(jié)構(gòu)。這樣的布線效率可以解釋每個神經(jīng)元如何表示非線性的關(guān)聯(lián)存儲器并且啟發(fā)了新興的神經(jīng)形態(tài)設(shè)備來存儲和計算這樣的存儲器而沒有幾何縱橫制的成本。矩陣帶寬縮減可以增添甚至更大的處理速度，并且邏輯可逆性可以提供絕熱的能量效率。隨著認(rèn)知計算繼續(xù)顯現(xiàn)為用于機(jī)器智能的基礎(chǔ)，更像腦的方法將移到操作系統(tǒng)中，并且將最終要求布線和能量效率支持通過認(rèn)知硬件的認(rèn)知。

認(rèn)知計算可以表示對于機(jī)器智能的新興方法。不同于歷史上的人工智能（AI），“認(rèn)知”可以被定義為在其表示和推理上更像腦并且更像人類。不像歷史上的AI，來自自然系統(tǒng)的啟發(fā)考慮我們的腦多么好地適于在真實世界中實時地幸存和繁盛。此外，計算機(jī)被鑄造為幫助人類的工具，并且認(rèn)知計算尋求移除在當(dāng)前計算和人類計算系統(tǒng)之間的“阻抗失配”。兩個認(rèn)知系統(tǒng)將一起通信并且工作。

如果認(rèn)知計算確實是對機(jī)器智能的答案，那么它將成為計算的基本部分。“認(rèn)知即服務(wù)”（CaaS）現(xiàn)在正被開發(fā)，并且該趨勢可能繼續(xù)提供認(rèn)知服務(wù)作為計算的關(guān)鍵部分，無論是放大到大數(shù)據(jù)服務(wù)或縮小到“萬物聯(lián)網(wǎng)”中的嵌入式智能。認(rèn)知計算的像腦的方面可以朝向神經(jīng)形態(tài)硬件作為其將來的部分而驅(qū)動。

若干提案已經(jīng)在構(gòu)建這樣的像腦的架構(gòu)。若干示例包括歐洲委員會的人腦項目和神經(jīng)形態(tài)自適應(yīng)可塑可縮放電子器件（SyNAPSE）項目的DARPA系統(tǒng)。他們的方法范圍從超級計算機(jī)上的非?，F(xiàn)實的神經(jīng)元建模到專門化芯片的開發(fā)。人腦項目的目標(biāo)包括理解腦本身以及根據(jù)這樣的理解來開發(fā)新計算方法。DARPA SyNAPSE的目標(biāo)聚焦于神經(jīng)形態(tài)硬件，所述神經(jīng)形態(tài)硬件縮放到生物水平，諸如到哺乳動物的腦的大量神經(jīng)元和突觸。

許多不同的基底正用于實現(xiàn)這些神經(jīng)形態(tài)方法，但是憶阻器作為電子器件的“缺失元件”的理論發(fā)現(xiàn)可以希望成為用于神經(jīng)形態(tài)計算的主要基底。這部分地因為憶阻器與Hodgkin和Huxley方程的類似性，所述方程描述了神經(jīng)膜活動及其傳播的生理學(xué)。超越馮諾依曼對計算與存儲的分離以及晶體管的二進(jìn)制邏輯，憶阻器可以表示突觸連接的非易失性模擬權(quán)重以及邏輯操作和尖峰行為二者。如同真實神經(jīng)元那樣，憶阻器可以能夠既存儲又計算。此外，憶阻器可以提供一種基底，所述基底在活動可以修改所存儲的權(quán)重的意義上可以通過經(jīng)驗而學(xué)習(xí)。

神經(jīng)形態(tài)計算正在學(xué)術(shù)上和工業(yè)上繼續(xù)進(jìn)行。惠普（HP）被認(rèn)為首先實現(xiàn)了“缺失元件”憶阻器。密歇根大學(xué)和Hughes研究實驗室（HRL）在針對DARPA SyNAPSE的工作中報告了基于CMOS的神經(jīng)形態(tài)憶阻器。Purdue大學(xué)與因特爾公司聯(lián)合地展示了在細(xì)胞自動機(jī)設(shè)計內(nèi)的自旋電子/憶阻電路。HP還報告了是布爾完備的憶阻器通用細(xì)胞自動機(jī)。盡管不是將其硬件基于憶阻器，但是IBM是用于開發(fā)其中每個神經(jīng)元被稱作“核心程序（corelet）”的認(rèn)知硬件的SyNAPSE中的參與者。

諸如用于SyNAPSE的較大的硬件架構(gòu)包括多神經(jīng)元芯片以及交叉芯片通信，在所述情況中，在神經(jīng)元之間的信號必須跨這些芯片被路由。這些方法是“神經(jīng)性的”因為它們包括尖峰信號和基于尖峰的時間復(fù)用以將一個神經(jīng)元連接到另一個。所有這些方法在具有突觸連接和權(quán)重作為基本要素方面基本上是“神經(jīng)性的”。大多數(shù)這些方法另外是“神經(jīng)性的”因為它們傾向于包括尖峰信號來反映尖峰時間相關(guān)的可塑性（STDP），如在神經(jīng)科學(xué)中眾所周知的那樣，這是因為Donald Hebb在1949年的Hebbian學(xué)習(xí)規(guī)則：“一起激勵（fire）的神經(jīng)元，布線在一起”。然而，這些方法傾向于對神經(jīng)元到神經(jīng)元連接性的較大規(guī)模的問題進(jìn)行建模，通常包括用于神經(jīng)元芯片之間的時間復(fù)用的地址事件表現(xiàn)（AER）協(xié)議。然而，它們遺漏了神經(jīng)性的點，即每個神經(jīng)元本身就是關(guān)聯(lián)網(wǎng)絡(luò)。

然而，無論神經(jīng)元或硬件基底的數(shù)目，神經(jīng)計算的最基本的問題可能是所有這樣的嘗試都必須最終解決任何突觸輸入如何能夠潛在地連接到任何其它輸入，而沒有表示完備矩陣的顯式縱橫制的成本和拙劣縮放。

縱橫制問題

縱橫制可以表示關(guān)聯(lián)矩陣的每一個可能的輸入-輸出連接。在小規(guī)模上，輸入和輸出可以在完備矩陣中硬布線到彼此。例如，用于使用憶阻器的早期專利申請通過縱橫制來定義。另外，在IBM的方法以及密歇根/HRL方法中的每個神經(jīng)元“核心程序”被表示為縱橫制。

IBM的“核心程序”架構(gòu)嘗試?yán)没诩夥宓膹?fù)用來解決縱橫制問題。然而，要區(qū)分網(wǎng)絡(luò)組織的兩個層級，即在神經(jīng)元之間和在神經(jīng)元內(nèi)。關(guān)于神經(jīng)元之間的網(wǎng)絡(luò)組織，每個神經(jīng)元的軸突輸出可以伸出到1000個其它的神經(jīng)元。在成百萬上十億的神經(jīng)元的網(wǎng)絡(luò)中，神經(jīng)元如何高效地與彼此連接并且通信？關(guān)于神經(jīng)元內(nèi)的網(wǎng)絡(luò)組織，每個神經(jīng)元的輸入可以包括來自其它神經(jīng)元的10,000或甚至100,000個突觸。這些輸入如何高效地在神經(jīng)元內(nèi)計算中與彼此交互？

對于數(shù)字計算，分子縱橫制的納米縮放已經(jīng)被從事了數(shù)十年，并且事實上，當(dāng)1和0傾向于被均勻分布時，線和連接的納米縮放將超越摩爾定律的逼近的限制而使數(shù)字計算小型化。然而，縱橫制隨著輸入的數(shù)目而幾何縮放，并且當(dāng)被應(yīng)用到認(rèn)知計算時跨增長數(shù)目的輸入而變得物理上低效。第一個問題針對大規(guī)模系統(tǒng)也必須被解決（實際上），但是后一個問題仍然是開放的并且更基本。添加納米分子線并不將解決這個神經(jīng)元內(nèi)的縱橫制問題。納米尺度的分子縱橫制已經(jīng)在過去十年中被尋求著（Chen等人，2003年），并且事實上對于數(shù)字計算，當(dāng)1和0傾向于在二進(jìn)制數(shù)據(jù)碼中均勻分布時，線和連接的納米縮放將排除晶體管超越摩爾定律的逼近的限制。然而，當(dāng)被應(yīng)用到認(rèn)知計算時，幾何縱橫制跨增長數(shù)目的稀疏互連的三元組交互變得在物理上低效。如果每個后神經(jīng)元接收成千上萬的前輸入并且這些前輸入相交互（超越過分簡單化的求和），那么在這些輸入之間的重合矩陣可能變得超稀疏，意味著縱橫制中非常小的分?jǐn)?shù)將包含1而數(shù)以億計的縱橫制連接將在包含0時被大大地浪費(fèi)。

神經(jīng)元內(nèi)的縱橫制存儲器繼續(xù)是理解神經(jīng)元計算并且在硬件中仿真神經(jīng)元的挑戰(zhàn)。給定一個神經(jīng)元，仿真可以解決神經(jīng)元如何學(xué)習(xí)其輸入跨非常大的輸入場而與彼此的關(guān)聯(lián)。換言之，如果神經(jīng)元表示重合矩陣，則仿真可以解決重合矩陣的線性結(jié)構(gòu)不是所有其與彼此的連接的縱橫制有多占主導(dǎo)。

細(xì)胞神經(jīng)網(wǎng)絡(luò)（CNN）類似于神經(jīng)網(wǎng)絡(luò)連接機(jī)制，但是可以通過僅僅局部的鄰域連接而被區(qū)分。更新近地，方法可以包括設(shè)計這樣的CNN自動機(jī)，其中交互是局部的并且傳播。超越初始的憶阻器縱橫制設(shè)計，HP也更新近地報告了在線性陣列而不是縱橫制內(nèi)的神經(jīng)形態(tài)設(shè)備。盡管HP報告展示了僅僅6個單元并且不重視所應(yīng)用的特定自動機(jī)規(guī)則的通用計算性質(zhì)，但是該“原理上的證明”展示了一維陣列中的非平凡計算。已經(jīng)開發(fā)了更多維的CNN，但是一維CNN更好地將神經(jīng)樹突表示為瘦的線性結(jié)構(gòu)。

STDP的神經(jīng)科學(xué)和計算研究可以是信息性的。在前突觸（前）和后突觸（后）尖峰之間的延遲線可能是針對STDP表示前-后偶然性的中心要求。已知為“接觸（contiguity）”，刺激必須發(fā)生在響應(yīng)之前以確保刺激可以預(yù)測響應(yīng)。盡管已經(jīng)發(fā)現(xiàn)了許多其它形式的STDP包括反向接觸，但是某種形式的“時間相關(guān)性”可能對于STDP而言是基本的。然而，軸突尖峰從一個神經(jīng)元傳輸?shù)搅硪粋€神經(jīng)元在神經(jīng)元內(nèi)并不是這么簡單。盡管樹突尖峰也是已知的，但是突觸強(qiáng)化被發(fā)現(xiàn)而沒有尖峰行為。更有意思地，體內(nèi)研究示出成對的前和后尖峰并不可靠地引起突觸強(qiáng)化、關(guān)聯(lián)的突觸權(quán)重的增加。超越作為成對的重合而將前輸入關(guān)聯(lián)到后輸出，三元組或聚突觸STDP正被更成功地探索作為神經(jīng)學(xué)習(xí)的實際機(jī)制。信號的三元組在神經(jīng)元內(nèi)——跨瘦的樹突而交互。存在許多形式的三元組信令，但是此處，假設(shè)表現(xiàn)至少兩個前突觸輸入如何在后突觸神經(jīng)元的上下文內(nèi)交互，利用顯式縱橫制來計算縱橫制的確切關(guān)聯(lián)。

對于神經(jīng)元內(nèi)的縱橫制問題的解決方案可以在真實神經(jīng)元的計算以及對于它們?nèi)绾卧谑輼渫簧蠙z測重合的神經(jīng)科學(xué)研究中找到。許多神經(jīng)元可以被布線在一起，但是如果計算單元——神經(jīng)元本身——是錯誤且低效的，那么較大的架構(gòu)缺失了神經(jīng)元的點。

重合檢測

自從“神經(jīng)網(wǎng)絡(luò)”在1980年代的重生以來，神經(jīng)科學(xué)已經(jīng)將大多數(shù)計算算法批判為與真實神經(jīng)元有很少的關(guān)系或沒有關(guān)系。例如，并行分布處理（PDP）方法假定神經(jīng)元是弱且緩慢的，僅僅通過其并行性和大量數(shù)目而被省去。相反，神經(jīng)科學(xué)已經(jīng)越來越多地發(fā)現(xiàn)了單獨(dú)神經(jīng)元的高度非線性行為。除了神經(jīng)元與彼此形成網(wǎng)絡(luò)之外，每個單個的神經(jīng)元可以本身就表示網(wǎng)絡(luò)。對神經(jīng)計算的這種更深的接近在1990年代最強(qiáng)烈地出現(xiàn)，通過McKenna和Davis在1992年的Single Neuron Computation而被明確表達(dá)并且在Christof Koch在1998年的Biophysics of Computation: Information Processing in Single Neurons中被概括。此后多年的神經(jīng)研究已經(jīng)包括了在該計算單元上的聚焦，特別是為了理解神經(jīng)元對布線和能量的小型化。如果神經(jīng)元是強(qiáng)大的非線性設(shè)備，那么它們的樹突，在該處突觸連接到神經(jīng)元并且看似與彼此交互，必定是對其計算的關(guān)鍵。

對縱橫制布線問題的神經(jīng)元解決方案已經(jīng)被投射為對于什么被定義為瘦樹突上的“重合檢測”的查究，作為關(guān)于單個神經(jīng)元計算的中心問題。換言之，可能合期望的是知道突觸輸入如何檢測樹突內(nèi)的其它突觸輸入。然而，許多模型存在用于對“重合檢測”的更加過分簡單化的定義。除了此處意圖解決縱橫制問題的一個含義之外，該短語可以具有各種含義。

一個示例是雙耳聲音定位。給定兩只耳朵，聲音稍微更晚地到達(dá)一只耳朵。兩個輸入的兩個激活被認(rèn)為是重合的，并且它們重合的神經(jīng)點標(biāo)記了聲音的方向。一些模型在指示聲音的位置時包括延遲線來檢測兩個信號何時與彼此會合。因而，聲音定位不是學(xué)習(xí)的問題。

另一示例是前和后突觸激勵。對于學(xué)習(xí)的最簡單的定義涉及由一個突觸連接的兩個神經(jīng)元的重合激勵。重合激活被認(rèn)為是對于突觸權(quán)重中改變的基礎(chǔ)。這將學(xué)習(xí)表示為“一起激勵的單元，一起布線”。一個突觸、一個權(quán)重方案僅僅表示成對的關(guān)聯(lián)，這與本發(fā)明形成對照，本發(fā)明允許三重關(guān)聯(lián)，其中兩個輸入與給定輸出交互。

又一示例包括單個向量匹配。一些分布式的表示將一個原型向量指派給每個神經(jīng)元。類似于稀疏分布的存儲器，節(jié)點檢測最接近的匹配，如果其輸入與向量匹配的話。例如，一些理論預(yù)測錐體神經(jīng)元是重合檢測器。然而，這樣的模型可能限定了重合檢測受固定稀疏性分布式表示所限制，在所述分布式表示中每個樹突存儲僅一個向量點而不是全關(guān)聯(lián)矩陣。

第一定義可以表示僅僅兩個輸入來計算位置而不是經(jīng)學(xué)習(xí)的關(guān)聯(lián)。第二定義可以表示對在一個輸入和另一神經(jīng)元之間的單個關(guān)聯(lián)的學(xué)習(xí)。第三定義可以意圖支持輸入向量的更強(qiáng)大的關(guān)聯(lián)存儲器，但是每個神經(jīng)元表示僅一個向量，而不是許多向量的任意重合矩陣。

為了避免混淆，所假設(shè)的計算應(yīng)當(dāng)被更清楚地定義。在每個神經(jīng)元內(nèi)的重合檢測被假設(shè)成表示其本身內(nèi)的整個矩陣、整個圖。在該定義中，神經(jīng)樹突表示在其輸入之間的許多任意關(guān)聯(lián)。如何表示主要是線性的“瘦樹突”內(nèi)的任意非線性的網(wǎng)絡(luò)結(jié)構(gòu)變成合期望的。朝著理解神經(jīng)元以及用于高效的神經(jīng)形態(tài)設(shè)備，一種算法可能是有益的。對于這樣的算法的啟發(fā)可以從真實神經(jīng)元中探尋。

作為CNN，算法應(yīng)當(dāng)是硬件算法。神經(jīng)元是設(shè)備，即使是以“濕件”而不是硬件，其利用跨其物理結(jié)構(gòu)的非常細(xì)粒度的并行性。這樣的設(shè)備水平的并行性可以盡軟件可以模擬任何電子電路那樣多地在軟件中被模擬，但是通過關(guān)于神經(jīng)元本身作為設(shè)備的推理而有效地找到計算?？赡苡袔椭氖强紤]如何區(qū)分用于神經(jīng)計算的分析的不同水平。

分析的計算理論水平可以確定計算的目標(biāo)、為什么該目標(biāo)是適當(dāng)?shù)?，以及用于實現(xiàn)目標(biāo)的策略的邏輯。分析的表示和算法水平可以確定可以如何實現(xiàn)計算理論，并且特別地什么表示用于輸入和輸出，以及什么算法用于變換。分析的硬件實現(xiàn)水平可以確定如何能夠可以在物理上實現(xiàn)所述表示和算法。

獨(dú)立于物理基底（憶阻器或否），可能首先需要計算和特定的算法。給定計算性假設(shè)，即每個神經(jīng)元可以學(xué)習(xí)和調(diào)回關(guān)聯(lián)矩陣（本身是圖或網(wǎng)絡(luò)），確定用于學(xué)習(xí)和重收集的變換的算法是合期望的。

計算分析

如本文中所公開的，主要是線性的樹突過程可以跨其分布式突觸輸入而學(xué)習(xí)任何任意的重合結(jié)構(gòu)并且樹突可以在其本身中存儲圖以及存儲其本身的圖。在分析的計算水平上，圖可以被投射為布爾函數(shù)。例如，線性結(jié)構(gòu)可以以聯(lián)合或分離的正常形式來計算布爾函數(shù)，這取決于用于神經(jīng)算法的兩種不同策略。在兩種情況下，每個突觸輸入可以沿著樹突陣列被指派2個分離的權(quán)重，而不是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型的通常的單個權(quán)重。這些計算通過Hodgkin-Huxley方程的模擬來表示這些權(quán)重及其算法傳播而看似是生物學(xué)上似乎合理的。兩個算法策略的報告包括針對完備計算的不確定性。一個不確定性對應(yīng)于較大尺度上的布爾不完備性。對于3和4個輸入變量，算法可以表示所有布爾函數(shù)，但是隨著輸入的數(shù)目增加，布爾函數(shù)的數(shù)目指數(shù)增長并且方法對這些函數(shù)的覆蓋指數(shù)下降。另一方面，已經(jīng)在理論上證明了任何布爾網(wǎng)絡(luò)函數(shù)利用足夠的樹突隔室是可計算的。另一不確定性是對以下存在的證實：布爾函數(shù)可以被計算但是不標(biāo)識學(xué)習(xí)權(quán)重的方法。例如，給定每輸入兩個權(quán)重的設(shè)計，布爾函數(shù)被生成并且通過對權(quán)重空間的窮舉搜索而被測試。該結(jié)果證明了對于每個輸入的一對權(quán)重可以計算布爾函數(shù)，但是不存在經(jīng)報告的學(xué)習(xí)這些權(quán)重的方法。

每輸入兩個權(quán)重的方案計算令人感興趣的函數(shù)而同樣通過Hodgkin-Huxley方程而被神經(jīng)真實地計算。然而，對于在瘦樹突上檢測重合的特定算法，附加的理解可以是合期望的。這樣的理解可以確定關(guān)于每輸入兩個權(quán)重而言什么是基本的，什么條件引起其表示的不完美，什么是用于樹突傳播的細(xì)胞規(guī)則，什么是用于權(quán)重調(diào)整的學(xué)習(xí)規(guī)則，以及什么是規(guī)則的能量高效（邏輯可逆性）。

在先前的發(fā)明中已經(jīng)部分地標(biāo)識和解決了一些問題，諸如在使用在先和在后權(quán)重的發(fā)明中。例如，授予Aparicio等人的題為“Artificial Neurons Including Power Series Of Weights And Counts That Represent Prior And Next Associations”的號為6,581,049的美國專利（其通過引用以其全部被并入本文中）包括了這樣的理解：可能需要每突觸多于一個權(quán)重。如在授予Cabana等人的題為“Artificial Neurons Including Weights That Define Maximal Projections”的號為7,016,886的美國專利（其通過引用以其全部被并入本文中）進(jìn)一步發(fā)展的，該在先-在后表示進(jìn)一步被理解為等同于如通過數(shù)字層析X射線攝影術(shù)所定義的矩陣投影。在授予Aparicio的題為“Nonlinear Associative Memories Using Linear Arrays Of Associative Memory Cells, And Methods Of Operating Same”（“Aparicio 2010”）的號為7,657,496的美國專利（其通過引用以其全部并入本文中）中進(jìn)一步發(fā)展了另外的傳播和壓縮方法。

被啟發(fā)以解決瘦樹突的重合檢測，發(fā)明已經(jīng)逼近了線性結(jié)構(gòu)內(nèi)的非線性矩陣的表示。隨著近年來對于認(rèn)知硬件方面的現(xiàn)在新興的興趣的另外的探索，對于關(guān)聯(lián)存儲器的樹突存儲的完備回答現(xiàn)在在手中。

數(shù)字層析X射線攝影術(shù)

層析X射線攝影術(shù)是通過利用穿透波來以區(qū)段觀察對象而重構(gòu)對象的圖像的過程。例如，計算層析X射線攝影術(shù)（CT）使用X射線并且磁共振成像（MRI）使用無線電波來對身體的內(nèi)部進(jìn)行成像。并不是對活體進(jìn)行切片來看其結(jié)構(gòu)內(nèi)部，而是來自不同角度的不同投影可以用于重構(gòu)其內(nèi)部圖像。

數(shù)字層析X射線攝影術(shù)對于二進(jìn)制對象、諸如對于二進(jìn)制矩陣做相同的事。通過使用兩個投影，一個跨矩陣的行看并且另一個跨矩陣的列看，目的是要“看到”矩陣內(nèi)部的各個位。這兩個投影，行和列，可以是計數(shù)的向量。每個計數(shù)表示行與所有其列的相交位或者列與所有其行的相交的數(shù)目。通過使用這樣的對于關(guān)聯(lián)矩陣的投影，這兩個投影可以被視為兩個權(quán)重集，一個權(quán)重用于每行并且一個權(quán)重用于每列。在其中行標(biāo)簽與列標(biāo)簽相同以便表示輸入-輸入自動關(guān)聯(lián)的情況下，每個輸入標(biāo)簽可以具有兩個權(quán)重，一個在行投影中并且一個在列投影中。

然而，這些投影不能完美地表示每個矩陣的狀態(tài)。為了是完美的，投影將會需要是不變的，表示一個并且僅一個矩陣配置。如在數(shù)字層析X射線攝影術(shù)中眾所周知的，僅僅一些投影是不變的，僅僅對于“最大”的矩陣，其被定義為當(dāng)行和列被排序時位的完美裝填。

確定最大性可以包括以投影次序來對行和列進(jìn)行排序。如果在裝填中沒有留下空洞，則矩陣是最大的。如果并且僅僅如果矩陣是最大的，那么投影是不變的。也就是說，兩個線性投影完美地表示最大矩陣并且可以用于通過比較一個投影與另一個投影的索引排序次序而讀取其位中的任一個。

現(xiàn)在參考圖1，其是根據(jù)本發(fā)明的一些實施例的圖示了使用最大矩陣投影的圖。例如，假定輸入C（3002）具有為1（3003）的行投影，并且H（3004）被排序為第三大的列投影，如索引3（3006）。從這兩個投影中，我們知道CH關(guān)聯(lián)不在矩陣中，因為C的投影“達(dá)不到”H。相反，想象A（3008）具有為4（3009）的行投影并且F（3010）以列索引次序1（3012）。在該情況中，A的投影長度清楚地到達(dá)F，以及隨后的三個其它的列索引。

在一些實施例中，投影是以壓縮形式的，但是它們是有損的壓縮，因為非常少的矩陣是最大的?，F(xiàn)在簡要地參考圖2，其是根據(jù)本發(fā)明的一些實施例的圖示了使用矩陣投影的4-交換問題的圖。兩個投影可以用于對矩陣進(jìn)行近似，但是作為一些方法的很可能的問題，在表示更復(fù)雜的圖配置方面的有損性將在較大的維度中指數(shù)增長。再次轉(zhuǎn)到數(shù)字層析X射線攝影術(shù)，問題已知為“4-交換”問題。最基本的交換涉及矩陣中的4個單元。甚至具有僅僅2行（A和B）和兩列（C和D），想象其中所有4個投影權(quán)重等于1的情況。每行關(guān)聯(lián)于一列（并且反之亦然），但是對于投影而言不可能區(qū)分AC和BD配置與代替地表示AD和BC的那個。

數(shù)字層析X射線攝影術(shù)的4-交換問題是信息性的，但是機(jī)器學(xué)習(xí)可以提供允許有解決方案的奉送問題。在數(shù)字層析X射線攝影術(shù)的上下文中，給定矩陣的投影，并且任務(wù)是想象矩陣，而無論它如何被構(gòu)造。在機(jī)器學(xué)習(xí)的上下文中，每個關(guān)聯(lián)可以在訓(xùn)練中被觀察，有構(gòu)造具有可讀投影的矩陣的機(jī)會。

如果交換的問題可以被檢測和避免，那么對于矩陣投影而言存在潛能來完美地學(xué)習(xí)和表示關(guān)聯(lián)矩陣。為了解決該問題，4-交換的兩個變體被稱為“交叉的”和“帶狀的”。使用兩個權(quán)重投影并且在樹突內(nèi)傳播權(quán)重的方法此處被擴(kuò)展到完美的存儲——當(dāng)在交叉的和帶狀的交換之間的該區(qū)別可以被做出和檢測時。特別地，4-交換的交叉形式是問題。在這方面，答案在于起初就避免交叉并且然后將激活規(guī)則擴(kuò)展為包括較高帶的、“較長距離”的關(guān)聯(lián)。

簡單激活

樹突是具有來自其它神經(jīng)元的突觸連接的隔室的線性陣列。每個突觸包含突觸權(quán)重，其被定義為在前突觸和后突觸神經(jīng)元之間的連接的強(qiáng)度。突觸權(quán)重通過經(jīng)驗而增長。再次被描述為一起激勵的單元一起布線，突觸活動的重合在該連接權(quán)重的大小中被反映。

為了將兩個投影表示為每輸入兩個權(quán)重，第一權(quán)重表示典型的突觸激活強(qiáng)度，而第二權(quán)重表示每個樹突隔室對其它激活的接收性。在該理想化的樹突結(jié)構(gòu)中，一個突觸和一個隔室被指派給每個輸入。

通過Hodgkin-Huxley方程的神經(jīng)信令的生理學(xué)描述了在細(xì)胞內(nèi)和細(xì)胞外離子濃度之間的電壓差以及離子進(jìn)和出細(xì)胞的移動以計及神經(jīng)元的膜電位。信號傳播是通過該膜電位的去極化。靜息的突觸和接收性權(quán)重被理想化為細(xì)胞內(nèi)電位，這遵循將膜的外側(cè)設(shè)定為靜息電壓零點的慣例。當(dāng)被激活時，這些權(quán)重去極化以變成在每個突觸和隔室外部作為細(xì)胞外權(quán)重。

參考圖3，其是根據(jù)本發(fā)明的一些實施例的樹突的示意圖。樹突有向地從頂點、從樹突的遠(yuǎn)端梢向下至胞體而被激活，所述胞體是神經(jīng)元的主體。胞體被理解為是用于神經(jīng)元活動的求和點，軸突可以將神經(jīng)元活動傳輸?shù)狡渌窠?jīng)元。盡管后向傳播信號也存在于真實的神經(jīng)元中并且可以被包括在本文中，但是通過遠(yuǎn)端突觸激活來計算重合檢測，所述遠(yuǎn)端突觸激活通過在其去往胞體的途中的每個更近端的隔室而流動。如將定義的，重合檢測生成樹突動作電位、尖峰，其行進(jìn)朝向胞體以用于其對跨整個神經(jīng)元的這樣的重合的求和。

突觸和隔室可以是活動的或鈍態(tài)的，正的開啟或負(fù)的關(guān)斷，這取決于前突觸輸入信號是開啟（ON）還是關(guān)斷（OFF）。每個活動突觸的突觸激活跨接收性梯度而沿樹突往下行進(jìn)。當(dāng)正激活遇到正接收性時，兩個非零權(quán)重彼此匹配，生成尖峰。如果匹配，則激活波和接收性梯度二者都遞減以計及所找到的關(guān)聯(lián)，并且遞減的激活繼續(xù)進(jìn)行到下一個隔室。

這種簡單的傳播規(guī)則可以檢測激活的突觸的鄰域內(nèi)的關(guān)聯(lián)的鄰接運(yùn)行以及到離得更遠(yuǎn)的關(guān)聯(lián)的非零鄰接傳播。例如，上方的示意圖示出EB關(guān)聯(lián)。想象EB關(guān)聯(lián)，當(dāng)它是樹突中的唯一關(guān)聯(lián)并且所有其它突觸和隔室權(quán)重被設(shè)置為0時。當(dāng)E和B二者都是活動的時，為1的突觸權(quán)重將不受妨礙地（無遞減）傳播直到它達(dá)到另一個的隔室并且接收性為1。激活和接收性匹配并且將二者都遞減為零。沒有將找到的其它關(guān)聯(lián)。該示例是平凡的，但是方法擴(kuò)展到更大的關(guān)聯(lián)塊——除了4-交換的問題之外。

帶寬縮減

類似于在數(shù)字層析X射線攝影術(shù)中檢測和開拓最大矩陣的投影排序，該激活規(guī)則通過對矩陣輸入進(jìn)行排序使得每個輸入與其相關(guān)聯(lián)的其它輸入盡可能近而受益。這樣的排序可以等同于矩陣帶寬縮減。低帶寬矩陣是稀疏矩陣，其使其位朝向?qū)蔷€而裝填。高帶寬在位保持遠(yuǎn)離對角線的程度上被定義。

簡要地參考圖4A和4B，其是表示矩陣城市中的所有重合對的圖：當(dāng)行和列分別是以任意次序和經(jīng)排序的次序時來自非結(jié)構(gòu)化新源的“Tampa”上下文中的Tampa。如在圖4A中所圖示的，當(dāng)行和列是以任意次序時，關(guān)聯(lián)單元廣泛地分布。相反，如在圖4B中所圖示的，當(dāng)行和列被排序以最小化矩陣帶寬時，相關(guān)聯(lián)的輸入移動得更靠近彼此，也將它們的關(guān)聯(lián)放置地更靠近對角線。

對于跨樹突的激活規(guī)則，帶寬縮減傾向于將關(guān)聯(lián)裝填到鄰接的局部塊中。類似于在數(shù)字層析X射線攝影術(shù)中通過查看矩陣的一個輸入的投影長度是否“到達(dá)”另一輸入的索引來讀取矩陣，激活波檢測其關(guān)聯(lián)、使其自身遞減、并且繼續(xù)沿著線往下尋找關(guān)聯(lián)。排序通過創(chuàng)建更多局部的輸入-輸入關(guān)聯(lián)而有益于該局部傳播技術(shù)。

應(yīng)當(dāng)清楚的是，該樹突傳播技術(shù)可以讀取關(guān)聯(lián)，而在每一個輸入對之間沒有顯式的線?！熬€”在任何兩個輸入隔室之間是虛擬的并且僅僅通過激活傳播來表述。由于在輸入之間傳播到另一個的時間與它們之間的距離成比例，所以矩陣帶寬最小化允許虛擬線還變得“更短”以及虛擬。

級聯(lián)激活

可能有用的是表示任何圖的完美存儲器，包括甚至在帶寬縮減之后可能以其它方式被4-交換混淆的兩個突觸之間的關(guān)聯(lián)。僅僅離得更遠(yuǎn)不是問題。一般而言，剛剛描述的簡單激活規(guī)則可以檢測不一定連續(xù)的某些重合。然而，更高的帶關(guān)聯(lián)還傾向于存活在4-交換內(nèi)。例如，在更復(fù)雜和有趣的圖中可能出現(xiàn)在E和B之間的其它關(guān)聯(lián)可能“有妨礙”。

參考圖5，其是根據(jù)本發(fā)明的一些實施例的樹突的級聯(lián)激活的示意圖?？梢栽谠S多波的并行、級聯(lián)的傳播中找到解決方案。除了由活動的輸入所生成的激活之外，非激活的權(quán)重還在正激活之前傳播以“掃清道路”。該級聯(lián)可以完美地表示跨樹突的近和遠(yuǎn)關(guān)聯(lián)的任何圖——只要不存在以交叉配置的4-交換。否則，只要所有4-交換是“帶狀的”，跨級聯(lián)的帶就可以檢測高和低帶關(guān)聯(lián)二者。

對于帶狀4-交換的示例，再次假設(shè)E和B相關(guān)聯(lián)于彼此，還具有D和C關(guān)聯(lián)在E到B之間。通過僅僅使用如上所述的單個傳播波，如果E和C是開啟的，則E的正激活將會在到達(dá)其在B處的真實關(guān)聯(lián)的接收性之前遇到C的正接收性。這是4-交換的問題，無論是在交叉的還是帶狀的配置中。然而，如果D在E之前以較低帶寬級聯(lián)而傳播，那么D激活波將正確地匹配C的接收性，在較高的帶上為E波掃清道路以繼續(xù)進(jìn)行到其與B的真實連接。

該中心思想可以被不同地陳述，即，該級聯(lián)傳播可以被視為在行進(jìn)到較高帶之前處理較低的帶。所有突觸權(quán)重的級聯(lián)傳播可以被要求“清除”較低帶關(guān)聯(lián)以使得較高帶激活可以“跟”到其更遠(yuǎn)程的目標(biāo)關(guān)聯(lián)。

為了無損地呈現(xiàn)任何圖，非活動的突觸也必須傳播其突觸權(quán)重以用于全面的考慮。為了區(qū)分正輸入激活波與這些附加的波，每個激活必須承載其正或負(fù)號。換言之，激活的水平基于突觸權(quán)重，而激活的符號基于源發(fā)突觸是開還是關(guān)的?，F(xiàn)在參考圖6，其是根據(jù)本發(fā)明的一些實施例的圖示了每當(dāng)突觸開啟時的突觸去極化的流程圖，包括到下一個隔室的激活信號。當(dāng)突觸輸入被開啟時（框3102），于是關(guān)于權(quán)重是否大于0而做出確定（框3014）。如果權(quán)重大于0，則去極化突觸值被設(shè)置成權(quán)重值（框3106）。然后激活輸出被設(shè)置成權(quán)重值（框3108）并且然后權(quán)重值被設(shè)置成0（框3110）。然后激活輸出被發(fā)送（框3112）。

為了關(guān)斷的突觸也傳播，來自更遠(yuǎn)端的隔室的任何激活強(qiáng)制附加的突觸去極化和激活波。這每隔室發(fā)生一次，如果沒有已經(jīng)去極化的話（細(xì)胞內(nèi)電位不是0）。當(dāng)這些關(guān)斷的突觸被激活時，傳播還等于突觸權(quán)重，如同開啟的突觸那樣，但是符號是負(fù)的。

現(xiàn)在參考圖7，其是根據(jù)本發(fā)明的一些實施例的圖示了級聯(lián)突觸激活的流程圖。當(dāng)突觸輸入被關(guān)斷（框3120）并且權(quán)重不等于0（框3122）時，于是去極化突觸值被設(shè)置成權(quán)重值（框3124）。然后激活輸出被設(shè)置成權(quán)重值（框3126）并且權(quán)重值被設(shè)置成0（框3128）。然后激活輸出被發(fā)送（框3130）。在所有輸入激活被發(fā)起并且開始級聯(lián)時，隔室響應(yīng)于一系列激活，所述一系列激活在它們沿著樹突往下移動時流過所述隔室。

如果每一個隔室（開或關(guān)）都傳播其信號，那么這對于關(guān)斷的輸入是恰當(dāng)?shù)?。然而，在一些實施例中，關(guān)斷的輸入僅僅在開啟信號在其上阻礙時可以被觸發(fā)。換言之，不是所有關(guān)的隔室都激活，而僅僅是將參與其它開啟傳播的那些需要首先將它們本身清除出去。

現(xiàn)在參考圖8，其是根據(jù)本發(fā)明的一些實施例的圖示了用于處理級聯(lián)隔室激活的邏輯的流程圖。激活僅僅在它們持續(xù)是非零時才傳播。因而，如果激活輸入是零，那么沒有激活傳播發(fā)生（框3140）。當(dāng)接收性遞減到零時，隔室變成非響應(yīng)性的，除了要將來自一個隔室的激活作為其自己的激活傳遞到下一個隔室之外。如果激活輸入大于零（框3149），但是接收性是零（框3142），那么激活被發(fā)送到下一個隔室（框3152）。

為了附加的效率，當(dāng)接收性降至零時，隔室之間的閂鎖可以變得透明。沒有進(jìn)一步接收性的隔室剩下沒什么要做，并且可以電緊張地將輸入激活作為其輸出激活進(jìn)行傳輸，而沒有順序閂鎖。換言之，它們不需要將傳遞的激活保持在桶隊中。例如，想象1000個連接的隔室，其已經(jīng)將其接收性耗盡至0。到第一隔室的任何輸入激活可以立即變成第1000隔室的確切相同的輸出激活。這些繞過的隔室可以變成透明的，同時在一個操作中跨長距離而傳遞非零激活值。結(jié)果，對于計算圖而言所要求的時間步的數(shù)目不是隔室距離和用于傳播的時間步的函數(shù)。效果是：較低帶、更靠近的關(guān)聯(lián)將快速地清除接收性并且將接收性驅(qū)動至零。越來越長的零接收性鏈將形成以在更短的時間內(nèi)在更長的距離上電緊張地傳輸較高帶關(guān)聯(lián)。作為結(jié)果，檢測關(guān)聯(lián)的時間僅僅是矩陣帶寬而不是樹突長度的函數(shù)。

滿足非零接收性的非零激活計及關(guān)聯(lián)。但是為了檢測僅僅在開啟的輸入之間的重合，正激活波必須滿足到當(dāng)前隔室的正輸入。當(dāng)二者都為正時，匹配被檢測到并且作為重合尖峰而發(fā)信號通知到胞體。因而，如果激活輸入（框3140）和接收性（框3142）二者都大于零，那么重合尖峰信號被發(fā)送到胞體（框3144）。

另外，當(dāng)每個隔室接收到非零激活信號（框3140）并且接收性也非零（框3142）時，于是隔室還去極化（框3146）。隔室去極化（框3146）可以包括使隔室接收性遞減（框3147）并且使隔室激活值遞減（框3149）。如果激活保持非零（框3150），則隔室將剩余的激活發(fā)送到下一個隔室（框3152）。一些實施例提供了隔室在以下意義上與彼此閂鎖：每個隔室可以在接受和處理更遠(yuǎn)端的激活并且然后順序的下一個遠(yuǎn)端激活之前傳播其自己的突觸激活。

矩陣關(guān)聯(lián)作為投影的該表示允許縱橫制線是虛擬的?？梢酝ㄟ^矩陣帶寬縮減而使得這些虛擬線更短，如以上所述的那樣。并且無論經(jīng)排序或否，長距離的“線”仍通過在傳播期間的隔室的增長的透明性而變得更短。

級聯(lián)激活規(guī)則可以用于計算任何關(guān)聯(lián)矩陣，只要它不包含以交叉配置的任何4-交換即可。因而，學(xué)習(xí)規(guī)則必須首先避免向矩陣添加任何交叉。

現(xiàn)在簡要地參考圖9A，其是根據(jù)本發(fā)明的一些實施例的樹突的級聯(lián)激活的示意圖。用于關(guān)聯(lián)矩陣的基本“存儲規(guī)定規(guī)則”可以規(guī)定：如果兩個輸入重合，則其關(guān)聯(lián)權(quán)重遞增。例如，如果E和C也將存儲在給定的矩陣圖中，則E和C權(quán)重遞增。由于每個輸入具有兩個權(quán)重，因此規(guī)則變成有向的，這取決于E與C相比是遠(yuǎn)端（更遠(yuǎn)離胞體）還是近端（更靠近胞體）。為了學(xué)習(xí)跨樹突的兩個輸入之間的關(guān)聯(lián)，遠(yuǎn)端輸入增加其突觸權(quán)重，其將沿樹突往下傳播，而近端輸入增加其接收性權(quán)重，其將匹配其它的傳播。為了加載這樣的新關(guān)聯(lián)，可以“想象”新的權(quán)重遞增，用以查看輸入是否“找到”彼此。如果附加的關(guān)聯(lián)（或在向量輸入模式中多于一個）不創(chuàng)建交叉4-交換，則遞增的權(quán)重將恰當(dāng)?shù)乇煌教摂M圖中。

學(xué)習(xí)規(guī)則表示三元組相關(guān)性。首先，目標(biāo)神經(jīng)元被假設(shè)為開啟，以便在其上下文內(nèi)加載新的關(guān)聯(lián)。其次，遠(yuǎn)端激活傳播開啟的輸入信號。第三，該遠(yuǎn)端信號與另一輸入信號的更近端的激活相交互。雖然存在對于三元組STDP的增長的證據(jù)，但是并不總是需要尖峰并且成對的STDP在導(dǎo)致強(qiáng)化方面是可變的。生理學(xué)證據(jù)朝向更一般的激活方法而學(xué)習(xí)，尖峰或否，以用于三重激活的更強(qiáng)的要求。

然而，如果任何關(guān)聯(lián)創(chuàng)建了交叉配置，那么隨后的傳播將不恰當(dāng)?shù)乇硎鲂碌年P(guān)聯(lián)?，F(xiàn)在簡要參考圖9B，其是根據(jù)本發(fā)明的一些實施例的樹突的級聯(lián)激活的示意圖。如所圖示的，如果D是遠(yuǎn)端的并且A是近端的并且連接它們創(chuàng)建如4-交換，則D的傳播將在到達(dá)A之前被不恰當(dāng)?shù)亟邮?。?dāng)A被留下“站在圣壇上”（打個比方說），等待D到達(dá)，則該問題是明顯的。任何這樣的誤差都是由于4-交換的創(chuàng)建。

新的DA關(guān)聯(lián)不能被直接加載到給定的投影權(quán)重中，但是若干方法可以以其它方式添加關(guān)聯(lián)?，F(xiàn)在簡要參考圖10，其是根據(jù)本發(fā)明的一些實施例的樹突的級聯(lián)激活的示意圖。作為一種方法，樹突可以在其頂點處生長，所述頂點包括在真實神經(jīng)元中的“生長錐”。對于硬件而言更一般地，隔室的較長陣列被假設(shè)成包括未經(jīng)使用的自由空間。添加另一突觸并且測試其與其它突觸的關(guān)聯(lián)可能更有可能向新的突觸添加新的關(guān)聯(lián)。更一般地，交叉關(guān)聯(lián)可以通過將它們置于另一樹突（或擴(kuò)展的自由空間）上而被避免；如果關(guān)聯(lián)可以被存儲在別處，則將它存儲在別處。

為了清楚，并沒有聲稱O(N^2)對象總是可以被表示在兩個O(N)投影中。對于更復(fù)雜的圖結(jié)構(gòu)，可以要求復(fù)制的突觸輸入。例如，較高維的Peterson圖（有時稱為“snark（妖怪）”）可以包括不能被縮減到兩個投影的O（N）配置的交叉配置。但是在一個較長的線性樹突陣列中或如樹突樹中這樣的陣列的平行集中，所有關(guān)聯(lián)可以被加載在表示中的一個地方或另一個地方處。一般假定，輸入軸突可以在后突觸神經(jīng)樹的場上做出比一連接更多的。

真實的突觸還已知在數(shù)分鐘至數(shù)小時內(nèi)連接、斷開、以及在樹突上移動。只要關(guān)聯(lián)可以在它們丟失之前被加載，則重組織就可以跟上以減少突觸復(fù)制和復(fù)得更多的布線效率。

真實的神經(jīng)系統(tǒng)還極端地能量高效。整個腦已知為消耗僅僅10-20W的能量，等同于實用燈泡，來跨人腦中的萬億神經(jīng)元而發(fā)散。投影表示可以提供對“瘦”樹突空間內(nèi)的關(guān)聯(lián)的令人驚異的壓縮。盡管級聯(lián)傳播是順序的，但計算速度當(dāng)通過用于遠(yuǎn)場連接的電緊張“跳躍”而被加速時是矩陣帶寬的函數(shù)。更基本的能量效率也看似可能。

絕熱過程被定義為最小化物理能量的損耗。在電子器件中，絕熱電路被開發(fā)來最小化計算機(jī)的能量成本，這是對于移動和嵌入式計算設(shè)備而言特別重要的問題。電路是否是絕熱的非常取決于其特定的設(shè)計（諸如從不傳遞通過二極管的反向電流）。該性質(zhì)還可以取決于操作是否是邏輯上可逆的。非門是可逆的，因為輸入也可以從其輸出端被計算。異或（XOR）門不是可逆的，因為兩個不同的輸入狀態(tài)導(dǎo)致相同的輸出。僅僅給定輸出，到異或門的輸入信息丟失。當(dāng)信息丟失時，能量也丟失。

現(xiàn)在簡要參考圖11，其是根據(jù)本發(fā)明的一些實施例的樹突的邏輯反向級聯(lián)激活的示意圖。瘦樹突上的重合檢測的實施例在此處以計算和算法水平的分析來被描述，而不是以其在任何特定電子電路設(shè)計中的實現(xiàn)來被描述。但是作為計算，實施例的絕熱效率可以在其邏輯可逆性方面被探究。邏輯可逆性的一個測試是級聯(lián)傳播的結(jié)束狀態(tài)是否可以被反向以復(fù)得起始狀態(tài)。

這通過反向傳播而看似為真，在所述反向傳播中，去極化的突觸和接收性權(quán)重繼續(xù)表示原始的兩個投影向量。結(jié)束狀態(tài)與起始狀態(tài)完美地同構(gòu)。可逆電路在與輸出線相同數(shù)目的輸入方面必須具有輸入-輸出對稱性。考慮到極化的權(quán)重向量等同于去極化的版本，邏輯可逆性由于非變異性而是真的。例如，在投影狀態(tài)和自身（極化的和去極化的身份）之間存在一對一的對應(yīng)性。

如果計算可以反向運(yùn)行使得輸出總是產(chǎn)生原始輸入，則也可以證明可逆性。如果去極化的接收權(quán)重將重極化并且生成向后傳播以匹配去極化的突觸權(quán)重的反向波，則傳播算法可以反向運(yùn)行。瘦樹突上的重合檢測是一維細(xì)胞自動機(jī)，因為每個隔室具有不多于兩個近鄰。

雖然邏輯可逆性是這些方法的更深處的性質(zhì)，但是反向的“后向傳播”信號完成用于三元組相關(guān)性的學(xué)習(xí)規(guī)則。對于要關(guān)聯(lián)的兩個輸入，其隔室這二者都必須更新它們的權(quán)重。如以上所述，權(quán)重更新是非對稱的：關(guān)聯(lián)更新遠(yuǎn)端突觸權(quán)重和近端接收性權(quán)重。給定后突觸神經(jīng)元的激活，順行傳播（朝向胞體）將遠(yuǎn)端激活匹配到近端激活。這足以更新近端隔室的接收性權(quán)重。可逆性不僅是絕熱的；它還提供逆行的傳播（遠(yuǎn)離胞體）以將近端激活匹配到遠(yuǎn)端激活。在反向情況中，更新被記錄在近端隔室的突觸權(quán)重中。學(xué)習(xí)規(guī)則的邏輯也被反向，但是它再次可能需要三重相關(guān)性。

在一些實施例中，重合學(xué)習(xí)和檢測算法可以基于以下理解而被改進(jìn)：單個神經(jīng)元是非線性的單元并且本身是網(wǎng)絡(luò)。新皮質(zhì)的錐體神經(jīng)元可以被假定成在其瘦樹突內(nèi)實現(xiàn)這樣的方法。雖然錐體神經(jīng)元可能是皮質(zhì)微柱的核心部分，但是其它神經(jīng)類型可以圍繞錐體細(xì)胞以形成更大的電路。電路可以包含許多不同的細(xì)胞類型，包括許多類型的抑制神經(jīng)元。

功能上，存在許多類型的抑制。例如，在胞體的基底、來自樹突的活動求和以及到軸突的輸出的點處的抑制，可以充當(dāng)“否決”控制器。因而，無論神經(jīng)元自己的“表決”，在該輸出點處的強(qiáng)抑制可以限制任何輸出。另一類型的抑制稱為“造型抑制”。并不是總體否決權(quán)，造型抑制可以被認(rèn)為更多地在外科上修改另一神經(jīng)元的活動。

抑制可以演進(jìn)給定的算法，以相同的方式，抑制神經(jīng)元在發(fā)展期間可以是對皮質(zhì)電路的“晚期侵入者”。在一些實施例中，抑制可以“覆蓋”錐體神經(jīng)元以便對它造型。皮質(zhì)電路的一個抑制神經(jīng)元被稱為“雙束”神經(jīng)元并且潛在地由于其位置、形狀和連接性而最相關(guān)。雙束神經(jīng)元位于錐體神經(jīng)元近旁，被成形為可以平行于錐體細(xì)胞的樹突的瘦柱，并且可以跨錐體細(xì)胞的范圍而刺激自身。

在計算上，這樣的抑制可以在進(jìn)一步解決4-交換問題中起作用。例如，現(xiàn)在參考圖12，其是根據(jù)本發(fā)明的一些實施例的當(dāng)在樹突中抑制神經(jīng)元的抑制突觸開啟時對交叉配置的檢測和表示的示意圖。如所圖示的，DA關(guān)聯(lián)可以如之前所討論的那樣被加載并且其被禁止與BE關(guān)聯(lián)形成交叉的4-交換。DA關(guān)聯(lián)可以被加載在樹突上的別處或樹突樹的另一分支上。突觸的重組織也可以移除交換，但是這可能花費(fèi)更多時間。作為用于解決交叉配置的附加技術(shù)，突觸輸入B處的抑制連接（來自紅色抑制神經(jīng)元）可以檢測到B將錯誤地關(guān)聯(lián)到D并且形成抑制信號。通過抑制B匹配D的激活，來自D的活動的傳播將會通過B而正確地與A匹配。

用于這樣的檢測以及抑制信號如何“跳過”激活-接收性匹配的算法是基本級聯(lián)算法的擴(kuò)展并且不被要求來用于樹突表示和表達(dá)任何圖。然而，它確實示出較大的電路計算是可能的，諸如表示比單獨(dú)的樹突更復(fù)雜的圖配置。

本文中的技術(shù)的其它擴(kuò)展包括加權(quán)圖的表示。換言之，突觸和接收性權(quán)重當(dāng)前表示從一個輸入到其它輸入的關(guān)聯(lián)的數(shù)目。擴(kuò)展的設(shè)計還可以表示每個關(guān)聯(lián)的強(qiáng)度，這通過用于每個輸入的權(quán)重的冪級數(shù)以計及連接強(qiáng)度，使用用于每個冪級的分離的突觸和隔室權(quán)重。冪權(quán)重可以跨不同的樹突而被分離，每個冪一個樹突。還可以使得突觸的冪級數(shù)共同局部化（co-local）在一個樹突上，每個冪權(quán)重一個突觸，共同局部化到它們的公共輸入。在生理學(xué)上，突觸被理解為不僅在強(qiáng)度上而且還在形態(tài)結(jié)構(gòu)上生長，以包括多突觸小結(jié)內(nèi)的分離的傳輸場所。

將存儲器理解為腦的基本認(rèn)知表示進(jìn)一步需要理解計算的基本單元、神經(jīng)元，以及它如何支持認(rèn)知表示的組件，即連接、連接強(qiáng)度和連接上下文。

一些實施例提供了連接可以被認(rèn)為是神經(jīng)表示的基本要素，其通過從一個到另一個的突觸鏈接來實現(xiàn)。在一些實施例中，連接強(qiáng)度在表示這些連接的統(tǒng)計量值方面也可以是基本的。一些實施例提供了連接的上下文和強(qiáng)度還被表示為三重存儲，其是連接及其強(qiáng)度的3空間呈現(xiàn)。

為了表示語義認(rèn)知，諸如在所有人類語言的主動賓結(jié)構(gòu)中，在“三重”水平上提供連接，而不是僅僅成對的圖。同樣用于統(tǒng)計認(rèn)知，條件信息“存活”在對每個因變量輸出的自變量輸入的假設(shè)之外。因為每個神經(jīng)元表示被映射到輸出的輸入-輸入關(guān)聯(lián)，所以每個神經(jīng)元可以表示這樣的上下文和條件三元組，集中形成更大的網(wǎng)絡(luò)。

腦可以被認(rèn)為是關(guān)聯(lián)存儲器網(wǎng)絡(luò)的多個網(wǎng)絡(luò)中的網(wǎng)絡(luò)。腦組織水平可以被認(rèn)為是腦總體、區(qū)域微電路和單獨(dú)的神經(jīng)元。關(guān)于腦總體組織，腦不是絕緣套管的混雜物。代替地，它由許多子區(qū)域組成，所述子區(qū)域是分離的但是作為一個延及全部的網(wǎng)絡(luò)而彼此通信。

在區(qū)域微電路組織水平上，在腦的每個區(qū)域內(nèi)，連接可以被設(shè)計成尋址較大網(wǎng)絡(luò)內(nèi)的特定功能。最基本的網(wǎng)絡(luò)是在神經(jīng)元水平上，在每個神經(jīng)元內(nèi)。因而，與過分簡單化的線性求和與閾值模型形成對照，每個神經(jīng)元可以表示非線性的關(guān)聯(lián)矩陣，將輸入連接到彼此。

所有這三個性質(zhì)已經(jīng)在授予Fleming等人的共同擁有的美國專利8,352,488、Hofmann等人在2013年10月28日提交的號為61/896,258的美國臨時專利申請、以及Hofmann等人在2013年11月15日提交的號為61/904,835的美國臨時專利申請（其中的所有通過引用被并入，如同在本文中完整地被闡明）中被描述。他們描述了大量的矩陣如何可以在當(dāng)今通用的計算集群上被分布、并行化、壓縮和重收集。壓縮這樣的矩陣和跨矩陣和子矩陣而聚集結(jié)果已經(jīng)通過使用軟件算法、以及特殊形式的分布式哈希編碼、可變長度整數(shù)以及零運(yùn)行長度編碼而被解決。

然而，當(dāng)前馮諾依曼瓶頸的約束，諸如計算和存儲的分離，遠(yuǎn)離神經(jīng)效率的理想。例如，“語義擴(kuò)展率”、圖存儲的縮放成本可能眾所周知地大于數(shù)據(jù)本身。當(dāng)前可用的軟件在用神經(jīng)器件計算時不能相比于我們的腦如何一定具有更好的表示。因此，以晶體管/面積為越來越小的微電子器件限定戰(zhàn)場的相同方式，三元組/面積可能變成越來越智能的神經(jīng)形態(tài)計算的標(biāo)志。為此，本文中描述的實施例對神經(jīng)元中發(fā)現(xiàn)的更高效的算法進(jìn)行仿真。

在認(rèn)知計算和神經(jīng)形態(tài)硬件方面的增長的興趣一般被定義為“像腦”和“像神經(jīng)元”的。從我們自己的智力和腦中汲取啟發(fā)正變成用于更智能的機(jī)器的基礎(chǔ)。腦演進(jìn)以實時地應(yīng)對真實世界，也隨著世界改變而實時地學(xué)習(xí)。雖然這些能力對于智能而言可能是基本的，但是它們在基本上不同于常規(guī)的人工智能系統(tǒng)，對于所述人工智能系統(tǒng)，認(rèn)知工程師必須創(chuàng)建事實，并且根據(jù)傳統(tǒng)的統(tǒng)計學(xué)，對此數(shù)據(jù)科學(xué)家必須構(gòu)建數(shù)據(jù)模型。相反，本文中描述的實施例已經(jīng)聚焦于關(guān)聯(lián)存儲器作為認(rèn)知的真實基礎(chǔ)。當(dāng)心理學(xué)家說到語義存儲器、過程存儲器、插片式存儲器以及機(jī)動（motor）存儲器時，“存儲器”的功能對于所有自然推理而言被視為是共同的。關(guān)聯(lián)存儲器滿足“單個算法假說”，所述假說成為我們?nèi)绾嗡伎己托袨橐约坝嬎銠C(jī)如何能夠做到相同的基礎(chǔ)。

如在本文中所描述的，我們自己的智力和腦的自然智能通過使用關(guān)聯(lián)存儲器表示和推理來被表現(xiàn)，并且無論是在軟件還是硬件中，都假設(shè)矩陣定向。然而，硬件算法已經(jīng)被尋求以在線性結(jié)構(gòu)內(nèi)表示矩陣，這被理解“瘦樹突的重合檢測”以用于終極效率的目標(biāo)所啟發(fā)?？紤]級聯(lián)傳播和避免關(guān)聯(lián)交叉現(xiàn)在已經(jīng)實現(xiàn)了改進(jìn)的存儲器表示。因而，現(xiàn)在可以實現(xiàn)計算機(jī)效率中的顯著增加。

認(rèn)知計算將繼續(xù)需要對真實智能的理解。盡管不是所有定義都包括“像腦”的愿望，但是大多數(shù)承認(rèn)我們的腦代表了在動態(tài)的真實世界中實時幸存的最佳已知方式。圖表示日益被接受作為對認(rèn)知的通用表示用以連接人、地方、和事物、情形、動作和結(jié)果。因此，圖表示和推理對于一般計算而言將變得越來越核心，并且因而將移到不遠(yuǎn)將來的認(rèn)知操作系統(tǒng)和認(rèn)知硬件結(jié)構(gòu)中。神經(jīng)元提供了對于圖如何可以被終極壓縮、快速表達(dá)、并且利用神經(jīng)形態(tài)計算機(jī)中的低能量而操作的啟發(fā)。

以1和0是數(shù)字計算的基本要素的相同方式，突觸的計數(shù)和連接將限定認(rèn)知計算，這在該新形式的計算將支持的所用應(yīng)用中等同地寬泛。

一些實施例目的在于包括計算機(jī)可用存儲介質(zhì)的計算機(jī)程序產(chǎn)品，所述計算機(jī)可用存儲介質(zhì)具有體現(xiàn)在介質(zhì)中的計算機(jī)可讀程序代碼，所述計算機(jī)可讀程序代碼包括被配置成執(zhí)行本文中的方法和系統(tǒng)的操作的計算機(jī)可讀程序代碼。

在附圖和說明書中，已經(jīng)公開了本發(fā)明的實施例，并且盡管采用了特定的術(shù)語，但是它們僅僅在一般且描述性的意義上被使用且不用于限制的目的，本發(fā)明的范圍在以下權(quán)利要求中被闡明。