專利名稱：具有學(xué)習(xí)和表達(dá)能力的神經(jīng)網(wǎng)絡(luò)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)，具體且不排他地說，本發(fā)明涉及基于一個或多個下述特性的神經(jīng)網(wǎng)絡(luò)，所述特性包括時間、空間、強(qiáng)度、數(shù)量，以及相對位置；并且可用于學(xué)習(xí)、知識獲取、發(fā)現(xiàn)、數(shù)據(jù)挖掘和表達(dá)中的一種或多種。
背景技術(shù)：
現(xiàn)有的神經(jīng)網(wǎng)絡(luò)通?；诤２紝W(xué)習(xí)法(Hebbian learning)的單個解釋。海布概念這一基礎(chǔ)常常被表述為“連在一起的神經(jīng)元一起觸發(fā)(fire)”。實際的解釋是“連在一起”是由將兩神經(jīng)元連接在一起的突觸實現(xiàn)的。起連接作用的突觸的強(qiáng)度被修改或加權(quán)，以反映突觸前神經(jīng)元與突觸后神經(jīng)元(或反之亦然)同時觸發(fā)的重要性/概率。
使用該概念，已發(fā)展出了將若干輸入神經(jīng)元通過突觸關(guān)聯(lián)到若干輸出神經(jīng)元的神經(jīng)網(wǎng)絡(luò)。輸入神經(jīng)元限定輸入狀態(tài)；而輸出神經(jīng)元限定期望輸出。
因此幾乎全部現(xiàn)有的神經(jīng)網(wǎng)絡(luò)都基于三層的概念輸入神經(jīng)元層、隱藏神經(jīng)元層，以及輸出神經(jīng)元層。圖1和圖2是現(xiàn)有神經(jīng)網(wǎng)絡(luò)的圖示。
對這類神經(jīng)網(wǎng)絡(luò)的訓(xùn)練在其最基本形式中是通過施加特定輸入狀態(tài)到所有輸入神經(jīng)元、選擇特定輸出神經(jīng)元來表示特定輸入狀態(tài)，并調(diào)整隱藏層中突觸強(qiáng)度或權(quán)重。就是說，訓(xùn)練是在假定已知期望輸出的知識下進(jìn)行的。在訓(xùn)練完成之后，施加不同輸入狀態(tài)將引起不同的輸出神經(jīng)元以不同水平的置信度被激活。因此輸入事件的識別取決于原始訓(xùn)練狀態(tài)與當(dāng)前輸入狀態(tài)的匹配有多接近。
取決于期望輸出神經(jīng)元的數(shù)目和期望結(jié)果的準(zhǔn)確度，這類神經(jīng)網(wǎng)絡(luò)通常需要數(shù)以百千計的不同輸入狀態(tài)來進(jìn)行廣泛、重復(fù)的訓(xùn)練。這產(chǎn)生僅有10,000個輸入和輸出神經(jīng)元數(shù)量級的實用網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有多達(dá)一千萬個互聯(lián)的突觸或表示突觸的權(quán)重(當(dāng)前存在的神經(jīng)網(wǎng)絡(luò)較之具有1012個神經(jīng)元和1016個突觸連接的人腦在大小上還是很小的)。
此外，現(xiàn)有網(wǎng)絡(luò)是基于生成預(yù)定義輸出神經(jīng)元來訓(xùn)練的，并且以后可以識別與用于輸入的訓(xùn)練集非常類似的輸入?，F(xiàn)有的神經(jīng)網(wǎng)絡(luò)不能夠獨立學(xué)習(xí)，因為訓(xùn)練它們使用了在先假定一期望目標(biāo)是由輸出神經(jīng)元表示的?，F(xiàn)有神經(jīng)網(wǎng)絡(luò)不能夠根據(jù)輸出層中的任何輸出神經(jīng)元的激勵來表達(dá)和回憶輸入狀態(tài)。
現(xiàn)有的神經(jīng)網(wǎng)絡(luò)是基于施加獨立輸入狀態(tài)到網(wǎng)絡(luò)來訓(xùn)練的，其中訓(xùn)練的順序通常不重要。當(dāng)廣泛、深入的訓(xùn)練完成后，輸出神經(jīng)元不再顯著依賴輸入狀態(tài)被施加到網(wǎng)絡(luò)的順序?，F(xiàn)有的神經(jīng)網(wǎng)絡(luò)提供的是完全基于當(dāng)前輸入狀態(tài)的輸出。輸入狀態(tài)施加的順序與網(wǎng)絡(luò)識別它們的能力無關(guān)。
現(xiàn)有神經(jīng)網(wǎng)絡(luò)可能具有下列缺點的一些或全部1.它們需要基于預(yù)定或期望的輸出目標(biāo)先訓(xùn)練，一它們不學(xué)習(xí)；2.它們僅能識別與所受訓(xùn)練的輸入狀態(tài)相似的輸入狀態(tài)(對象)；3.它們計算量非常大，因此很慢；4.它們在計算上受限于表示僅僅相當(dāng)小數(shù)目的神經(jīng)元；5.如果要它們識別不同的對象，則它們需要重新訓(xùn)練；6.它們不能通過施加激勵到輸出神經(jīng)元來表達(dá)或回憶輸入對象；7.它們基于全部輸入神經(jīng)元的并發(fā)激勵；8.它們不具創(chuàng)造性，并且不能表達(dá)或回憶事件；9.它們僅能標(biāo)識/識別它們所針對訓(xùn)練的事件；10.它們假定并發(fā)或快速連續(xù)觸發(fā)的神經(jīng)元被突觸鏈接，但是不區(qū)分彼此或神經(jīng)元觸發(fā)的順序；以及11.每個隱藏層神經(jīng)元可并發(fā)接收來自多個輸入神經(jīng)元的輸入。

發(fā)明內(nèi)容
根據(jù)一個方面，提供了包括多個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，其中，所述多個神經(jīng)元中的任何一個神經(jīng)元都能夠通過到所述多個神經(jīng)元中的又一個神經(jīng)元的活動連接來關(guān)聯(lián)、或者與自身關(guān)聯(lián)、或者與所述多個神經(jīng)元中的任何其他神經(jīng)元關(guān)聯(lián)。這個過程被稱作學(xué)習(xí)。
根據(jù)第二方面，提供了包括多個基本神經(jīng)元(elemental neuron)和多個結(jié)構(gòu)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，所述多個結(jié)構(gòu)神經(jīng)元表示任意神經(jīng)元對之間的關(guān)聯(lián)，所述神經(jīng)元對是從下述組中選擇的，所述組包括兩個基本神經(jīng)元、兩個結(jié)構(gòu)神經(jīng)元、一個結(jié)構(gòu)神經(jīng)元和一個基本神經(jīng)元、以及一個基本神經(jīng)元和一個結(jié)構(gòu)神經(jīng)元。
每個結(jié)構(gòu)神經(jīng)元可表示由一對神經(jīng)元表示的組合信息或記憶。使被組合來形成結(jié)構(gòu)神經(jīng)元的那對神經(jīng)元回憶的過程被稱作表達(dá)。每個結(jié)構(gòu)神經(jīng)元僅可從兩個神經(jīng)元接收輸入。
多個基本神經(jīng)元可在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的根層中表示；并且每個基本神經(jīng)元可表示下述至少一個基本激勵、定義的基本模式、和定義的基本數(shù)據(jù)元素。每個基本神經(jīng)元可表示下述一個或兩個基本輸入激勵和正被處理的信息的輸出激勵。每個基本神經(jīng)元可以是大腦中神經(jīng)元的等同物，大腦中的神經(jīng)元是從由下述神經(jīng)元組成的組中選擇出的感應(yīng)神經(jīng)元、運動神經(jīng)元、皮質(zhì)內(nèi)神經(jīng)元以及皮質(zhì)間神經(jīng)元。由神經(jīng)元表示的信息可能是記憶，而處理可能是學(xué)習(xí)或表達(dá)。
所述多個神經(jīng)元關(guān)聯(lián)可在多個更深的神經(jīng)元層中表示。所述多個更深的層中的層的數(shù)目可由待處理或表達(dá)的記憶或模式的范圍決定，其中記憶表示多個基本神經(jīng)元。表示所述記憶所需的基本神經(jīng)元和結(jié)構(gòu)神經(jīng)元的數(shù)目可由待處理記憶的性質(zhì)決定。
根據(jù)第三方面，提供了包括由關(guān)聯(lián)鏈接的多個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，相同或更深神經(jīng)網(wǎng)絡(luò)層中的神經(jīng)元的所有關(guān)聯(lián)都能夠被表達(dá)。
第四方面提供了包括多個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，每個神經(jīng)元由陣列中的唯一可尋址的節(jié)點表示。
第五方面提供了包括多個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，每個神經(jīng)元整體上由陣列中的單個節(jié)點表示。
第六方面是包括陣列中的多個節(jié)點的神經(jīng)網(wǎng)絡(luò)，所述陣列中的每個節(jié)點包括指針。每個指針是節(jié)點的這樣的數(shù)據(jù)元素，該數(shù)據(jù)元素表示陣列中的特定節(jié)點的唯一的地址，每個地址表示多個神經(jīng)元中的神經(jīng)元。每個指針表示突觸連接。
第七方面提供了包括陣列中的多個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，所述陣列的每個節(jié)點中存在用于提供表達(dá)和用于記憶的學(xué)習(xí)的指針倒數(shù)第二個方面提供了包括多個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，每個神經(jīng)元由陣列中的節(jié)點表示，每個節(jié)點具有多個指針，每個節(jié)點中的每個指針具有特定和唯一的功能。除了指針可表示基本或根層神經(jīng)元中的基本激勵的值情形之外，每個指針包含另一個神經(jīng)元的地址。所需指針的數(shù)目可取決于所述神經(jīng)網(wǎng)絡(luò)所執(zhí)行的功能。對于執(zhí)行學(xué)習(xí)和表達(dá)功能的神經(jīng)網(wǎng)絡(luò)，所需指針的數(shù)目至少是四個。
這樣，所述多個神經(jīng)元中的每個神經(jīng)元可由表示所述多個神經(jīng)元的所述陣列中的相同大小的節(jié)點表示，每個節(jié)點包含固定數(shù)目的指針。
除了和每個神經(jīng)元的特性有關(guān)的指針之外，用于表示神經(jīng)元的陣列中的節(jié)點還可維護(hù)的額外的數(shù)據(jù)元素。數(shù)據(jù)元素可被定義為表示每個神經(jīng)元激活的頻率，它的關(guān)聯(lián)的強(qiáng)度等。
本發(fā)明還擴(kuò)展為包括計算機(jī)程序代碼的計算機(jī)可用介質(zhì)，計算機(jī)程序代碼被配置為使一個或多個處理器執(zhí)行一個或多個函數(shù)，以執(zhí)行上述方法。
最后一個方面提供了神經(jīng)網(wǎng)絡(luò)，其中該神經(jīng)網(wǎng)絡(luò)是雙向的，從而使得能夠正向工作和反向工作，正向時從輸入得到節(jié)點或創(chuàng)建節(jié)點，而反向時從節(jié)點得到輸入。正向是學(xué)習(xí)，反向是表達(dá)。
所述神經(jīng)網(wǎng)絡(luò)可被用于下述一個或多個方面監(jiān)控和預(yù)測股票價格運動、互聯(lián)網(wǎng)監(jiān)測、互聯(lián)網(wǎng)安全、計算機(jī)病毒和蠕蟲檢測、數(shù)據(jù)壓縮、語音和文本中的短語識別、語音和文本中的從句、剽竊檢測、生物信息學(xué)、視覺識別、語義分析和本體表示，以及機(jī)器人學(xué)。


為了容易理解本發(fā)明并將其投入實用，現(xiàn)在參考說明性附圖對僅本發(fā)明優(yōu)選實施方式的非限定性示例進(jìn)行描述，在附圖中
圖1圖示了現(xiàn)有的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；圖2進(jìn)一步圖示了現(xiàn)有的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；圖3圖示了兩個神經(jīng)元和一個突觸之間的現(xiàn)有關(guān)系；圖4圖示了根據(jù)本發(fā)明的三個神經(jīng)元之間的關(guān)系；圖5是本發(fā)明的處理流程的流程圖；圖6圖示了神經(jīng)元和指針/鏈接之間的關(guān)系；圖7(a)到圖7(n)圖示了說明關(guān)聯(lián)的事件序列；圖8是學(xué)習(xí)過程的流程圖；圖9是匹配過程的流程圖；圖10是在學(xué)習(xí)過程期間創(chuàng)建神經(jīng)元的流程圖；以及圖11是神經(jīng)元的表達(dá)的過程的流程圖。
具體實施例方式
根據(jù)本發(fā)明的優(yōu)選方面本質(zhì)上提供了神經(jīng)網(wǎng)絡(luò)和用于利用神經(jīng)元關(guān)聯(lián)構(gòu)造這種神經(jīng)網(wǎng)絡(luò)的方法，神經(jīng)元關(guān)聯(lián)是基于包括時間、空間、強(qiáng)度、大小和相對位置中的至少一個特性的，并且用于形成記憶，記憶包括輸入激勵(由基本神經(jīng)元表示)或輸出動作(由基本神經(jīng)元表示)中的一個或兩者。
還提供了由表示多個基本激勵的結(jié)構(gòu)神經(jīng)元表示的一個或多個記憶的記憶回憶和記憶表達(dá)的任意一個或兩者。除了其已經(jīng)學(xué)習(xí)的事物之外，神經(jīng)網(wǎng)絡(luò)還允許新的行為或思想的可能表達(dá)，從而可表現(xiàn)出創(chuàng)造性。輸入激勵可包括聽覺、視覺、觸覺等中的一個或多個。
輸出激勵可包括運動、動作、講話等中的一個或多個，每個都由適當(dāng)?shù)幕旧窠?jīng)元定義。
現(xiàn)有的神經(jīng)網(wǎng)絡(luò)是基于這樣的假定并發(fā)激活兩個神經(jīng)元(神經(jīng)元B和C)在它們之間創(chuàng)建了活動的突觸連接，或增強(qiáng)已有的突觸連接。這在有兩個神經(jīng)元和一個突觸的圖3中作出了圖示。
根據(jù)本發(fā)明的一個方面，激勵或激活兩個神經(jīng)元創(chuàng)建了經(jīng)由另外的第三神經(jīng)元(關(guān)聯(lián)神經(jīng)元)的在這兩個神經(jīng)元之間的關(guān)聯(lián)。這在有三個神經(jīng)元41、42和43與兩個突觸44和45的圖4中作出了圖示。為方便起見，這個基本的神經(jīng)結(jié)構(gòu)在整個說明書中將被稱作“神經(jīng)元組件”。神經(jīng)元41、42和43可基于鄰近特性而關(guān)聯(lián)在一起，所述特性包括時間、空間、強(qiáng)度、大小和相對位置中的至少一個。神經(jīng)元43處于神經(jīng)結(jié)構(gòu)中比神經(jīng)元41、42兩者更深的層中。神經(jīng)元41、42可處于神經(jīng)結(jié)構(gòu)的相同或不同的層中。神經(jīng)元在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的深度或?qū)邮腔谝磉_(dá)其表示的基本神經(jīng)元所需的步驟數(shù)。
神經(jīng)結(jié)構(gòu)包括神經(jīng)元，其中每個神經(jīng)元表示數(shù)據(jù)、事件、對象、概念或行為的記憶。每個神經(jīng)元所表示的信息的類型可變化，并取決于構(gòu)成神經(jīng)網(wǎng)絡(luò)的基本神經(jīng)元(表示感覺和/或運動神經(jīng)元激勵)?；炯顑H在每個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的根層處所維護(hù)的基本神經(jīng)元中表示。更深層或后續(xù)層的神經(jīng)元(結(jié)構(gòu)神經(jīng)元)僅表示其他神經(jīng)元的關(guān)聯(lián)，并不在它們本身之中存儲感覺、運動或基本激勵值。
神經(jīng)結(jié)構(gòu)中的每個神經(jīng)元可表示僅兩個神經(jīng)元的關(guān)聯(lián)，這兩個神經(jīng)元一個是起始神經(jīng)元(initiating neuron)，另一個是被關(guān)聯(lián)神經(jīng)元(associated neuron)，雖然通過關(guān)聯(lián)關(guān)聯(lián)神經(jīng)元(associating neuron)每個神經(jīng)元可作為起始神經(jīng)元和/或作為被關(guān)聯(lián)神經(jīng)元參與無限數(shù)目的關(guān)聯(lián)。起始神經(jīng)元41可具有任何數(shù)目的后繼神經(jīng)元，例如神經(jīng)元43，其中神經(jīng)元41的后繼神經(jīng)元是將神經(jīng)元41作為其起始神經(jīng)元的關(guān)聯(lián)神經(jīng)元(43)。另一個神經(jīng)元42可具有任何數(shù)目的前驅(qū)神經(jīng)元(precessorneuron)，其中神經(jīng)元42的前驅(qū)神經(jīng)元是將神經(jīng)元42作為其被關(guān)聯(lián)神經(jīng)元的關(guān)聯(lián)神經(jīng)元(43)。因此，神經(jīng)元43可被稱作關(guān)聯(lián)神經(jīng)元、神經(jīng)元41的后繼神經(jīng)元，或神經(jīng)元42的前驅(qū)神經(jīng)元。
關(guān)聯(lián)是基本神經(jīng)元41、42中的一個作為起始神經(jīng)元，而一個是被關(guān)聯(lián)神經(jīng)元。假定神經(jīng)元41是起始神經(jīng)元，那么神經(jīng)元42是被關(guān)聯(lián)神經(jīng)元，當(dāng)神經(jīng)元41觸發(fā)或被激活時，關(guān)聯(lián)神經(jīng)元43被加強(qiáng)。在神經(jīng)元41觸發(fā)的同時或隨后，神經(jīng)元42觸發(fā)或被激活，從而也加強(qiáng)了關(guān)聯(lián)神經(jīng)元43。神經(jīng)元43然后被認(rèn)為已激活。如果關(guān)聯(lián)神經(jīng)元43原先不存在(即不存在關(guān)聯(lián)起始神經(jīng)元41和被關(guān)聯(lián)神經(jīng)元42的神經(jīng)元)，那么其被創(chuàng)建并可隨后被激活，否則其僅被激活。神經(jīng)元41和42的鄰近激活或觸發(fā)引起關(guān)聯(lián)神經(jīng)元43的激活，以及神經(jīng)元41與43之間和神經(jīng)元42與43之間的活動連接的創(chuàng)建，或現(xiàn)有突觸連接的增強(qiáng)。關(guān)聯(lián)神經(jīng)元43表示從另外兩個神經(jīng)元41、42所學(xué)習(xí)的事物總和。該總和可包括下列一個或多個記憶痕跡(memory trace)、兩個神經(jīng)元的經(jīng)歷的組合、事件序列、事件的鄰近度等。一旦關(guān)聯(lián)神經(jīng)元被激活或創(chuàng)建以表示期望的記憶或事件，期望的記憶或事件就不需要在另一個神經(jīng)元中重新創(chuàng)建。
鄰近度或鄰近激活或觸發(fā)的定義將由每個神經(jīng)網(wǎng)絡(luò)的操作規(guī)則來定義。鄰近度(″ΔP″)可在一個層中變化，可在多個多個層間變化，并可根據(jù)正表示的基本神經(jīng)元的類型而變化。處于神經(jīng)網(wǎng)絡(luò)中更深層的神經(jīng)元很少可能會緊密鄰近，因此可能ΔP將增加。如果ΔP表示時間或時間的事件，ΔP可能短至零、毫秒或秒，或長達(dá)分鐘、小時、天或周。真實世界中同時發(fā)生的事件仍可基于突觸激活或觸發(fā)的次數(shù)或樹狀觸發(fā)路徑的長度的差異來在時間上表示。ΔP還可根據(jù)正由神經(jīng)結(jié)構(gòu)所表示的記憶或事件的處理需求而變化。ΔP還可表示對象或事件之間的空間關(guān)系，并還可表示大腦中神經(jīng)元的空間拓?fù)潢P(guān)系。
根據(jù)本發(fā)明的神經(jīng)網(wǎng)絡(luò)包括兩個基本要素1.基本神經(jīng)元，其可表示基本激勵、感覺或運動神經(jīng)元、或者所要求或期望的這類基本數(shù)據(jù)。這些是構(gòu)成神經(jīng)網(wǎng)絡(luò)的基本神經(jīng)元或根神經(jīng)元。不同類型的基本神經(jīng)元可取決于其所表示的經(jīng)歷或事件或信息的類型而被定義。例如，如果表示聽覺皮層，基本神經(jīng)元將是表示明晰的聲音的?；旧窠?jīng)元可結(jié)合許多不同類型的基本神經(jīng)元，例如一組是表示聲能或聲音的強(qiáng)度(音量)的，而另一組是表示聲音的頻率的。
如果表示嗅覺和味覺，可能有一組味覺的神經(jīng)元和另一組嗅覺感覺的神經(jīng)元。
在視覺上，可能有表示彩色的圓錐、棒、邊緣、對比度、運動等的多組基本神經(jīng)元，如神經(jīng)節(jié)細(xì)胞所表示的，或?qū)ｉT表示感光神經(jīng)元。
對皮膚感受器，可能有基本神經(jīng)元對應(yīng)于觸覺-機(jī)械性激勵感受器神經(jīng)元；溫度-熱感受器神經(jīng)元；疼痛-傷害感受器神經(jīng)元等。運動可由導(dǎo)致運動的各種類型的運動神經(jīng)元來表示。
當(dāng)感覺神經(jīng)元觸發(fā)或被激活時，其將已從特定位置處的特定細(xì)胞或感覺器官接收到的某形式的能量經(jīng)突觸或神經(jīng)細(xì)胞傳輸?shù)酱竽X的不同區(qū)域。所有感覺神經(jīng)元具有類似的中央處理機(jī)制。當(dāng)在大腦中運動神經(jīng)元觸發(fā)或被激活時，其引起身體中特定位置處的肌肉收縮，從而產(chǎn)生運動。當(dāng)感覺神經(jīng)元檢測到事件時，其將數(shù)據(jù)傳遞到大腦中，在大腦中，該數(shù)據(jù)在大腦的神經(jīng)結(jié)構(gòu)中被處理。
還可定義人工基本神經(jīng)元。例如，如果使用神經(jīng)網(wǎng)絡(luò)來處理英文文本，可定義一組基本神經(jīng)元來表示字母字符和標(biāo)點字符。對于中文，可為每個中文字符或其子集定義基本神經(jīng)元。如果使用神經(jīng)結(jié)構(gòu)來處理蛋白質(zhì)序列，可定義基本神經(jīng)元來表示二十個氨基酸或其子集。對于語音，可定義不同的運動神經(jīng)元來產(chǎn)生不同的肌肉收縮，從而產(chǎn)生對應(yīng)于音素聲音，等等。
基本神經(jīng)元可以是起始神經(jīng)元和被關(guān)聯(lián)神經(jīng)元，但不可以是關(guān)聯(lián)神經(jīng)元。
2.結(jié)構(gòu)神經(jīng)元表示神經(jīng)結(jié)構(gòu)。如圖4所示的神經(jīng)結(jié)構(gòu)包括表示其他神經(jīng)元的關(guān)聯(lián)的神經(jīng)元，不管它們是感覺神經(jīng)元、運動神經(jīng)元，還是其他結(jié)構(gòu)神經(jīng)元。這樣，神經(jīng)結(jié)構(gòu)可以增長，表示越來越多的信息。結(jié)構(gòu)神經(jīng)元還可被用于形成表示多組不同的基本神經(jīng)元的結(jié)構(gòu)神經(jīng)元之間的關(guān)聯(lián)。例如，可在由字母基本神經(jīng)元的關(guān)聯(lián)所表示的英文單詞“ball”和由視覺基本神經(jīng)元的關(guān)聯(lián)所表示的形狀“ball”之間形成關(guān)聯(lián)。這樣可以建立神經(jīng)網(wǎng)絡(luò)，其允許跨越不同皮層或跨越不同神經(jīng)網(wǎng)絡(luò)的信息的關(guān)聯(lián)。在形狀“ball”和由運動神經(jīng)元的關(guān)聯(lián)所表示的口語單詞“ball”之間可存在關(guān)聯(lián)，以使音素神經(jīng)元能夠產(chǎn)生聲音“ball”。
結(jié)構(gòu)神經(jīng)元是基于包括時間、空間、強(qiáng)度、大小和相對位置的特性而彼此關(guān)聯(lián)的。如果用神經(jīng)結(jié)構(gòu)來表示語音，關(guān)聯(lián)將是時間性質(zhì)，表示在表達(dá)語音中使用的音素、詞、短語、從句等的順序。同樣，如果處理文本或讀書，單獨字符的處理將是時間性質(zhì)的，逐步形成詞、短語、從句等。大腦中的許多神經(jīng)元也是空間或地形組織的，例如用于視覺、聽力、觸覺、疼痛等的那些。象這樣可以構(gòu)造表示空間特性的神經(jīng)結(jié)構(gòu)。例如，在表示視覺場景的神經(jīng)結(jié)構(gòu)的形成中，表示邊緣或直線或曲線或物體或圖案的神經(jīng)元可被關(guān)聯(lián)到神經(jīng)結(jié)構(gòu)中，該神經(jīng)結(jié)構(gòu)基于鄰近關(guān)系(近的物體和遠(yuǎn)的物體，或高的物體與低的物體)將表示點的基本神經(jīng)元關(guān)聯(lián)為線或曲線，從而建立環(huán)境的三維地圖?？梢允褂孟嗤纳窠?jīng)結(jié)構(gòu)來表示由空間和時間定義的四維中任意維里的信息。
如上所述，由空間神經(jīng)結(jié)構(gòu)表示的形狀“ball”可與由時間神經(jīng)結(jié)構(gòu)表示的口語單詞“ball”相關(guān)聯(lián)。
結(jié)構(gòu)神經(jīng)元是關(guān)聯(lián)神經(jīng)元。結(jié)構(gòu)神經(jīng)元還可以是起始神經(jīng)元和被關(guān)聯(lián)神經(jīng)元中的一種或兩種。
神經(jīng)結(jié)構(gòu)中的關(guān)聯(lián)的根層處基本神經(jīng)元的組合允許創(chuàng)建表示皮層(神經(jīng)集合)中特定基本特性或特征的結(jié)構(gòu)神經(jīng)元。神經(jīng)結(jié)構(gòu)允許用神經(jīng)結(jié)構(gòu)中的動態(tài)關(guān)聯(lián)來表示特性組合。新皮層中由感覺神經(jīng)元引起的神經(jīng)活動總是被分布到大腦中不同區(qū)域。在感覺系統(tǒng)中，大腦的不同區(qū)域可以處理同一輸入激勵的不同方面(空間/時間/強(qiáng)度/大小/相對位置)。為了表示一致的概念/認(rèn)知和行為，所提議的神經(jīng)結(jié)構(gòu)允許同一區(qū)域內(nèi)的神經(jīng)關(guān)聯(lián)。神經(jīng)結(jié)構(gòu)中更深層的關(guān)聯(lián)(皮層內(nèi)關(guān)聯(lián))允許表示愈加復(fù)雜的信息或行為。
神經(jīng)元可根據(jù)其功能、特性、層級、性質(zhì)等來組織、分類或命名。也可為針對特定緯度來定義神經(jīng)元。該緯度可以是時間、距離、空間、長度、高度、斜度、廣度，或任何其他可定義的特性。
在其特定緯度中，任何兩個神經(jīng)元可根據(jù)它們相對的或相關(guān)的發(fā)生、位置、比例或大小而被區(qū)分。該相對定位由ΔP表示。
構(gòu)造神經(jīng)網(wǎng)絡(luò)的基本參數(shù)是對于任何兩個通過相對位置相聯(lián)系的活動神經(jīng)元A和B，存在第三神經(jīng)元C，其具有經(jīng)由突觸到神經(jīng)元A和B兩者的連接。如果這樣的神經(jīng)元不存在，那么可以創(chuàng)建這樣的神經(jīng)元和其連接。因此神經(jīng)元C將神經(jīng)元A和B關(guān)聯(lián)在一起，從而維持A和B的相對位置。A和B可能但不一定在它們的相對位置中是連續(xù)或連貫的。因此神經(jīng)元C可以關(guān)聯(lián)表示事件的任何兩個神經(jīng)元A和B，無論該事件是并發(fā)的、連續(xù)的、連貫的、非連續(xù)的、非連貫的或重疊的。
關(guān)聯(lián)的邏輯是對于任何兩個觸發(fā)或被激活的活動神經(jīng)元A和B，其中的一個將是起始神經(jīng)元。第三神經(jīng)元C將關(guān)聯(lián)起始神經(jīng)元與第二神經(jīng)元，并保留它們激活或觸發(fā)的順序。這樣，神經(jīng)元C表示由第二神經(jīng)事件跟隨的起始神經(jīng)事件的組合事件。這個新神經(jīng)元C可以隨后參與與其他神經(jīng)元的結(jié)合(從而創(chuàng)建新的關(guān)聯(lián))，等等。
創(chuàng)建新的神經(jīng)元的基本規(guī)則是如果神經(jīng)元A觸發(fā)或被激活，神經(jīng)元B與之并發(fā)或隨后觸發(fā)或被激活，那么新的神經(jīng)元C可被構(gòu)造并可能觸發(fā)或被激活，從而表示神經(jīng)元A和B的關(guān)聯(lián)(即事件AB在時間或空間上的關(guān)聯(lián))。如果神經(jīng)元C因為在前的事件或關(guān)聯(lián)而已經(jīng)存在，那么神經(jīng)元C也可以類似地被重新激活或觸發(fā)，并允許其參與隨后現(xiàn)有的或新的激活，從而允許其形成新的關(guān)聯(lián)。這允許構(gòu)造具有無限數(shù)目的關(guān)聯(lián)和/或關(guān)系的神經(jīng)網(wǎng)絡(luò)。
圖5中示出了表示創(chuàng)建新的神經(jīng)網(wǎng)絡(luò)的基本流程的流程圖。這個優(yōu)選實施示例示出了用于處理基本事件的簡單順序的處理步驟和模型應(yīng)用。
圖5中，在50中神經(jīng)網(wǎng)絡(luò)或表示神經(jīng)網(wǎng)絡(luò)的陣列被初始化。在51中每個基本神經(jīng)元的類型或種類被定義，并可被相關(guān)到例如文本、視覺斜度、顏色、邊緣、聲音、音量、味覺、嗅覺感受、色錐、色棒、疼痛、對比度、運動、肌肉運動、神經(jīng)節(jié)細(xì)胞、受光體、觸覺、機(jī)械性激勵感受器、溫度、熱感受器、傷害感受器、運動、語言、符號、字母、詞等等。
在52中基本神經(jīng)元然后被定義/編程/輸入。然后考慮的問題是基本神經(jīng)元已經(jīng)存在？(53)。對于要由已定義類型的已定義基本神經(jīng)元所表示的每個唯一值，全部基本神經(jīng)元必須被創(chuàng)建，并作為一列后繼神經(jīng)元被附接到根神經(jīng)元，從而由表示該神經(jīng)元網(wǎng)絡(luò)的陣列中的節(jié)點零表示的根神經(jīng)元。如果詢問的答案是“否”，新的基本神經(jīng)元被創(chuàng)建(54)，然后處理回到(52)。如果詢問的答案是“是”，處理繼續(xù)前進(jìn)到55。這里，關(guān)聯(lián)神經(jīng)元的規(guī)則被定義?？商鎿Q地，當(dāng)新的基本神經(jīng)元在學(xué)習(xí)過程中出現(xiàn)時，其可被定義。
第一神經(jīng)元或下一個起始神經(jīng)元被找到(56)。這個是指定的神經(jīng)元A。隨后的神經(jīng)元(神經(jīng)元B)然后被找到(57)。如果神經(jīng)元A和神經(jīng)元B的關(guān)聯(lián)已經(jīng)存在(58)，處理回到56。如果不存在，神經(jīng)元C被創(chuàng)建，以表示神經(jīng)元A和神經(jīng)元B的關(guān)聯(lián)或組合(59)，然后處理回到56。在這個過程中神經(jīng)元C可被稱為關(guān)聯(lián)神經(jīng)元。
圖8的流程圖提供了圖5的步驟56到59的更多細(xì)節(jié)。這里，神經(jīng)處理或?qū)W習(xí)屬于由基本神經(jīng)元事件的模式或序列表示的經(jīng)歷。
在步驟81中，事件指針被指向事件模式或序列中的第一個基本事件。在步驟82中，匹配的神經(jīng)元被找到。匹配神經(jīng)元是神經(jīng)網(wǎng)絡(luò)中與事件指針?biāo)赶虻氖录哪Ｊ交蛐蛄兄械闹饕录蚨鄠€主要事件相匹配的神經(jīng)元(記憶)。這個匹配神經(jīng)元被定義為起始神經(jīng)元(神經(jīng)元A)。然后根據(jù)神經(jīng)網(wǎng)絡(luò)的已定義規(guī)則，事件指針被更新以指向下一個事件。
然后在步驟83中，另一個匹配神經(jīng)元被找到。再一次，這個神經(jīng)元(記憶)是針對由事件指針指向的事件的模式或順序中的事件或多個事件。這另一個匹配神經(jīng)元被定義為被關(guān)聯(lián)神經(jīng)元(神經(jīng)元B)。然后，根據(jù)神經(jīng)網(wǎng)絡(luò)的已定義規(guī)則，事件指針被更新以指向下一個事件。如此，新的關(guān)聯(lián)神經(jīng)元或關(guān)聯(lián)總是被創(chuàng)建，盡管要符合一定規(guī)則。通常神經(jīng)元C先前并不存在，否則在步驟82處其已被匹配。
已完成單遍的處理后，相同的數(shù)據(jù)或事件序列可被重新處理(如果期望這樣的話)，從而相應(yīng)擴(kuò)充神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。
在步驟84中，另一個未被使用過的神經(jīng)元被找到。在步驟85中，創(chuàng)建關(guān)聯(lián)神經(jīng)元(神經(jīng)元C)。在86中，步驟82到85的過程被重復(fù)，直到事件模式或序列中不再有事件被處理為止。
圖9提供了圖8的處理步驟82和83(尋找匹配神經(jīng)元)的更多細(xì)節(jié)。
在步驟91中，匹配神經(jīng)元指針通過指向根神經(jīng)元而被置零。對于匹配神經(jīng)元的每個后繼神經(jīng)元(步驟91)，檢查被執(zhí)行以確定后繼神經(jīng)元的完整表達(dá)是否與正被處理的事件模式或序列中的隨后的事件或多個事件或序列相匹配。如果的確匹配，處理前進(jìn)到步驟93，其中匹配神經(jīng)元的指針被設(shè)為指向匹配事件模式或順序的后繼神經(jīng)元。另外，事件指針可被調(diào)節(jié)指向事件模式或序列的剩余事件，即到那時為止還未被匹配的事件。處理然后回到步驟92并繼續(xù)。如果步驟92的結(jié)果是不匹配，在步驟94中，匹配神經(jīng)元指針被返回指向最后匹配神經(jīng)元，然后處理在步驟95中結(jié)束。
圖10更詳細(xì)地圖示了圖8中步驟85的過程一關(guān)聯(lián)神經(jīng)元的創(chuàng)建。在步驟101中，關(guān)聯(lián)神經(jīng)元的起始指針被設(shè)為指向起始神經(jīng)元，在步驟102中，關(guān)聯(lián)神經(jīng)元的被關(guān)聯(lián)神經(jīng)元指針被設(shè)為指向被關(guān)聯(lián)神經(jīng)元。因為關(guān)聯(lián)神經(jīng)元沒有后繼神經(jīng)元(剛被激活或創(chuàng)建)，其后繼神經(jīng)元指針被置零(步驟103)。關(guān)聯(lián)神經(jīng)元的下一個神經(jīng)元指針然后被設(shè)為等于起始神經(jīng)元的后繼神經(jīng)元指針。最后，在步驟105中，起始神經(jīng)元的后繼指針被設(shè)為指向關(guān)聯(lián)神經(jīng)元，從而關(guān)聯(lián)神經(jīng)元成為起始神經(jīng)元的后繼神經(jīng)元列表中的第一個條目。
表示一個共同特性的一組基本神經(jīng)元可被組織成一個皮層。因此，可以具有視皮層，其包含涉及第一視覺特性(例如用于顏色的一組神經(jīng)元)的多組神經(jīng)元；用于第二視覺特性(例如形狀)的第二組；用于第三視覺特性(例如大小)的第三組，等等。來自一個神經(jīng)網(wǎng)絡(luò)的表示獨特模式或事件的結(jié)構(gòu)神經(jīng)元可以是另一個神經(jīng)網(wǎng)絡(luò)中的基本神經(jīng)元?？赡苡啥鄠€神經(jīng)網(wǎng)絡(luò)(以及其中的神經(jīng)元)表示的多個皮層可被互鏈或相關(guān)，以形成不但可以提供完整的學(xué)習(xí)環(huán)境而且可以提供智能行為潛能的完整的“大腦”。
傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)通常是單向的。這意味著給出一定輸入可得到輸出。然而，它們不能反向工作。就是說，給出輸出不可以得到輸入。
本發(fā)明提供了“表達(dá)”的能力，由此可以表達(dá)導(dǎo)致任意神經(jīng)元的構(gòu)造的事件序列。表達(dá)的重要性在于其允許事件的完整序列由單個神經(jīng)元來表示，并且可通過激活那個單個神經(jīng)元、然后按照與創(chuàng)建它們時相同的相對位置或順序激活表示起始神經(jīng)元和被關(guān)聯(lián)神經(jīng)元的關(guān)聯(lián)的多個神經(jīng)元，從而再現(xiàn)該序列。如此，可以表達(dá)表示完整的經(jīng)歷或記憶(事件序列)的單個神經(jīng)元，從而回憶該經(jīng)歷。
表達(dá)能力是經(jīng)由神經(jīng)結(jié)構(gòu)中每個神經(jīng)元的起始指針和被關(guān)聯(lián)指針實現(xiàn)的。
在圖11中圖示了表達(dá)。當(dāng)需要表達(dá)時，在步驟111中第一檢查確定要被表達(dá)的神經(jīng)元的起始指針是否等于零。如果“是”，其一定是基本神經(jīng)元且處理過程回到步驟114，其中，表達(dá)是存儲在被關(guān)聯(lián)神經(jīng)元之中的基本事件或值的激活，以表示該基本神經(jīng)元。如果該值不是零，開始步驟112。步驟112中是要表達(dá)由神經(jīng)元的起始神經(jīng)元指針?biāo)赶虻纳窠?jīng)元的表達(dá)。步驟113中是要表達(dá)由神經(jīng)元的被關(guān)聯(lián)神經(jīng)元指針?biāo)赶虻纳窠?jīng)元的表達(dá)。這繼續(xù)到所有表示記憶的基本神經(jīng)元都已經(jīng)被表達(dá)為止。
網(wǎng)絡(luò)中的每個神經(jīng)元都具有地址來標(biāo)識其在可尋址節(jié)點陣列中的位置，其中每個節(jié)點表示單個神經(jīng)元。所有的神經(jīng)元指針指向表示神經(jīng)元陣列中單個神經(jīng)元的節(jié)點的地址。地址或指針的位大小(bit size)將影響表示神經(jīng)網(wǎng)絡(luò)的陣列中可以表示的神經(jīng)元的最大數(shù)目。例如使用32位的指針地址大小將允許建立包括232或者說4,294,967,296個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)。
每個神經(jīng)元是由傳統(tǒng)陣列或結(jié)構(gòu)中的單個的固定長度的節(jié)點表示的。可在陣列中存儲的神經(jīng)元的數(shù)目將依賴于總的可用記憶存儲(內(nèi)部的和/或外部的)，并依賴于指針地址結(jié)構(gòu)(a)16位指針地址結(jié)構(gòu)將允許多達(dá)216個神經(jīng)元。
即6.4×103個神經(jīng)元；(b)32位指針地址結(jié)構(gòu)將允許多達(dá)232個神經(jīng)元。
即4.1×109個神經(jīng)元；(c)48位指針地址結(jié)構(gòu)將允許多達(dá)248個神經(jīng)元。
即2.7×1014個神經(jīng)元；(d)64位指針地址結(jié)構(gòu)將允許多達(dá)264個神經(jīng)元。
即1.8×1019個神經(jīng)元；因為人腦具有大約1012個神經(jīng)元，使用48位指針地址結(jié)構(gòu)可以匹配一百個人腦的容量。根據(jù)最新的支持64位尋址的計算機(jī)，可以具有能力表示包括1019個神經(jīng)元的神經(jīng)結(jié)構(gòu)，大小等同于一千萬個人腦連在一起。
要表示神經(jīng)網(wǎng)絡(luò)，節(jié)點要包括最少4個指針。每個指針包括到另一個神經(jīng)元的地址。如以上說明的，使用32位的地址大小將允許構(gòu)造包括高達(dá)232或40億個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)。
如圖6所示，在最基本的實現(xiàn)中，每個神經(jīng)元可由四個指針/鏈接(P1、P2、P3、P4)表示。每個指針是到另一個神經(jīng)元的地址或位置的鏈接。神經(jīng)元通常要具有四個指針，這是要創(chuàng)建帶表達(dá)能力的智能神經(jīng)網(wǎng)絡(luò)所需的最小值。然而，神經(jīng)元可具有多于四個指針，以提供額外的功能。例如在創(chuàng)建表示起始神經(jīng)元A和被關(guān)聯(lián)神經(jīng)元B的關(guān)聯(lián)的神經(jīng)元C的過程中，神經(jīng)元C需要下列指針P1-到起始神經(jīng)元(即神經(jīng)元A)的指針；P2-到參與形成關(guān)聯(lián)的另一個神經(jīng)元(即神經(jīng)元B)的指針；P3-到以神經(jīng)元C作為起始神經(jīng)元的一列(LsC)更深層的神經(jīng)元的指針(神經(jīng)元C的后繼指針)；以及P4-到將神經(jīng)元A作為其起始神經(jīng)元的下一個神經(jīng)元的指針(LA)(神經(jīng)元A的“下個后繼者”指針)。
還可以為神經(jīng)元C定義額外的指針，如果有必要向被關(guān)聯(lián)神經(jīng)元提供關(guān)于前驅(qū)者的信息的話。例如P5-到將神經(jīng)元C作為被關(guān)聯(lián)神經(jīng)元的一列(LpC)更深層的神經(jīng)元的指針(前驅(qū)者指針)；以及P6-到將神經(jīng)元B作為其被關(guān)聯(lián)神經(jīng)元的一列中的下一個神經(jīng)元的指針(“下個前驅(qū)者”指針)。
更深層的神經(jīng)元可表示復(fù)雜的事件序列。因為每個結(jié)構(gòu)神經(jīng)元具有至少一個起始神經(jīng)元和一個被關(guān)聯(lián)神經(jīng)元，處于第十層的單個神經(jīng)元可表示多達(dá)210或1,024個基本事件的序列。神經(jīng)元僅可以與相同層的神經(jīng)元關(guān)聯(lián)不是必要條件。
因此，在存儲新的事件序列的過程中，僅僅需要識別表示事件流中的現(xiàn)有事件序列的那些現(xiàn)有神經(jīng)元，然后通過構(gòu)造新的神經(jīng)元來將這些關(guān)聯(lián)在一起，例如，如果有分別為1,024個事件和512個事件的兩個事件序列，則可以構(gòu)造單個新的神經(jīng)元來表示1,536個事件的事件序列。從而可以在神經(jīng)網(wǎng)絡(luò)中節(jié)省地表示新的序列/事件信息。
這在圖7(a)到圖7(n)中得到圖示。圖7(a)到圖7(n)圖示了從對句子“The cat sat on the mat”的處理文本和學(xué)習(xí)得到的可能神經(jīng)網(wǎng)絡(luò)。標(biāo)有箭頭的直線指示出起始神經(jīng)元和關(guān)聯(lián)神經(jīng)元之間的連接，而標(biāo)有圓圈的直線指示出被關(guān)聯(lián)神經(jīng)元和關(guān)聯(lián)神經(jīng)元之間的連接。
在圖7(a)中，零層中的第一基本神經(jīng)元701和第二基本神經(jīng)元702識別或表示字母“T”和“H”，并關(guān)聯(lián)以形成由第一層中的關(guān)聯(lián)神經(jīng)元711表示的字母組合“TH”。
圖7(b)示出了識別字母“E”的第三基本神經(jīng)元703和識別空格“＾”的第四基本神經(jīng)元704。這兩個關(guān)聯(lián)在一起而形成由第一層中的關(guān)聯(lián)神經(jīng)元712表示的組合“E＾”。第一層中的結(jié)構(gòu)神經(jīng)元711和712關(guān)聯(lián)以形成由關(guān)聯(lián)神經(jīng)元721表示的單字(distinct word)“THE＾”。
在圖7(c)、(d)和(e)中，零層中的接下去的兩個基本神經(jīng)元705和706分別識別字母“C”和“A”，并關(guān)聯(lián)以形成由第一層中的關(guān)聯(lián)神經(jīng)元713表示的字母組合“CA”。
對字母“T”和“＾”，神經(jīng)元701與神經(jīng)元704相關(guān)聯(lián)以創(chuàng)建第一層中的表示組合“T＾”的關(guān)聯(lián)神經(jīng)元714。神經(jīng)元714和713然后關(guān)聯(lián)以創(chuàng)建第二層中的關(guān)聯(lián)神經(jīng)元722，從而形成單字“CAT＾”(圖7(e))。神經(jīng)元721和722然后可以關(guān)聯(lián)，以在第三層中的關(guān)聯(lián)神經(jīng)元731處給出形成短語“THE＾CAT＾”的結(jié)果(圖7(f)和7(g))。
對于對圖7(h)所示的單字“SAT＾”，神經(jīng)元707識別字母“S”，并與神經(jīng)元706相關(guān)聯(lián)以在第一層中的關(guān)聯(lián)神經(jīng)元715處給出結(jié)果，即字母組合“SA”。第一層中的神經(jīng)元715與神經(jīng)元714(″T＾″)相關(guān)聯(lián)，以在第二層中的關(guān)聯(lián)神經(jīng)元723處給出結(jié)果，即單字“SAT＾”。
在圖7(i)和7(j)中，神經(jīng)元708和709分別識別字母“O”和“N”，然后關(guān)聯(lián)以形成由第一層中的關(guān)聯(lián)神經(jīng)元716表示的字母組合(和單詞)“ON”。神經(jīng)元716與神經(jīng)元704相關(guān)聯(lián)，以在第二層中的關(guān)聯(lián)神經(jīng)元724處給出結(jié)果，即單字“ON＾”。第二層中的神經(jīng)元723與神經(jīng)元724相關(guān)聯(lián)，以在第三層中的關(guān)聯(lián)神經(jīng)元732處給出結(jié)果，即從句“SAT＾ON”。第三層中的神經(jīng)元731和神經(jīng)元732可關(guān)聯(lián)以在第四層中的神經(jīng)元741處給出結(jié)果，即從句“THE＾CAT＾SAT＾ON＾”。
圖7(k)和(1)圖示了神經(jīng)元7010識別字母“M”并與神經(jīng)元706相關(guān)聯(lián)以在第一層中的神經(jīng)元717處給出結(jié)果，即字母組合“MA”。神經(jīng)元717與神經(jīng)元712(“T＾”)相關(guān)聯(lián)，以在神經(jīng)元725處給出結(jié)果，即單字“MAT＾”。神經(jīng)元721與神經(jīng)元725(“THE＾”)相關(guān)聯(lián)，以在神經(jīng)元733處給出結(jié)果，即短語“THE＾MAT”。
神經(jīng)元741和733可以相關(guān)聯(lián)，以在第五層中的神經(jīng)元751處給出結(jié)果，即句子“THE＾CAT＾SAT＾ON＾THE＾MAT”。很明顯每個關(guān)聯(lián)神經(jīng)元具有至多一個起始神經(jīng)元和一個被關(guān)聯(lián)神經(jīng)元。然而，神經(jīng)元可以具有多個后繼和前驅(qū)神經(jīng)元。例如基本神經(jīng)元701(“T”)具有表示“TH”(711)和表示“T＾”(714)的后繼神經(jīng)元?；旧窠?jīng)元706(“A”)具有表示“CA”(713)、“SA”(715)和“MA”(717)的三個前驅(qū)神經(jīng)元。
要擴(kuò)展其中零層中的神經(jīng)元7011識別字母“D”的圖7(m)中圖示句子。神經(jīng)元7011與神經(jīng)元704相關(guān)聯(lián)，以在神經(jīng)元719處給出結(jié)果(組合“D＾”)。神經(jīng)元706與神經(jīng)元709組合以在神經(jīng)元720處給出結(jié)果(組合“AN”)。神經(jīng)元720與神經(jīng)元719相關(guān)聯(lián)，以在神經(jīng)元726處給出結(jié)果(組合“AND＾”)。神經(jīng)元733與神經(jīng)元726相關(guān)聯(lián)，以在神經(jīng)元742處給出結(jié)果(組合“THE＾MAT＾AND＾”)。神經(jīng)元741與742可以相關(guān)聯(lián)，以在神經(jīng)元752處給出結(jié)果(表示短語“THE＾CAT＾SAT＾ON＾THE＾MAT＾AND＾的組合”)。
圖7(n)中示出了零層中每個基本神經(jīng)元僅表示一個字母/字符。第一層中的每個神經(jīng)元表示兩個字母/字符的關(guān)聯(lián)；第二層中的每個神經(jīng)元可表示多達(dá)4個字母/字符的關(guān)聯(lián)；第三層中多達(dá)8個字母/字符；第四層中多達(dá)16個字母/字符；第五層中多達(dá)32個字母/字符；以2的倍數(shù)繼續(xù)，第十層中每個神經(jīng)元可表示多達(dá)1,024個字母/字符的關(guān)聯(lián)；而第二十層中的每個神經(jīng)元可表示多達(dá)1,048,576個基本事件的關(guān)聯(lián)。
可見，對于文本識別，所需的基本神經(jīng)元的數(shù)目是相當(dāng)有限的。下列每個都需要一個基本神經(jīng)元1.大寫字母表的26個字母；2.小寫字母表的26個字母；3.10個數(shù)字；4.標(biāo)準(zhǔn)字母數(shù)字鍵盤上的32個標(biāo)點符號和類似的字符；5.可能需要的任何其他特殊字符(例如來自希臘字母表)。
在學(xué)習(xí)過程期間，所需的結(jié)構(gòu)神經(jīng)元的數(shù)目和所需的結(jié)構(gòu)化神經(jīng)元的層數(shù)可能由于使用神經(jīng)網(wǎng)絡(luò)的緣故而增長。使用文本識別的示例，有關(guān)檔案的數(shù)目，有關(guān)(一個或多個)學(xué)習(xí)事件的大小，檔案中使用的語言，以及單詞、短語、從句、句子、段落、章節(jié)、書等等的最大可能數(shù)目將影響結(jié)果神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的大小。作為示例，如果威廉莎士比亞的全部劇本使用本發(fā)明以文本識別來記錄，在第一劇本被記錄之后，將會有某一數(shù)目的結(jié)構(gòu)神經(jīng)元“N1”。當(dāng)?shù)诙”颈挥涗洉r，在相同的神經(jīng)網(wǎng)絡(luò)中，總計所需的神經(jīng)元將不會是每個劇本獨立處理過程所需的那些(神經(jīng)元)的簡單的算術(shù)總和。只有超出為第一劇本創(chuàng)建的那些(神經(jīng)元)的處理第二劇本所需的額外的神經(jīng)元將被加到N1，以給出增大后的總的N2。用于任何先前存在的字母、單詞、短語、從句、句子(等等)的神經(jīng)元將不會被增加，但它們新的關(guān)聯(lián)將被增加。當(dāng)?shù)谌齽”颈挥涗洉r，所需的額外的神經(jīng)元將被同樣地增加以給出N3。
在最后的劇本被輸入之前，所需神經(jīng)元的數(shù)目上的增長將不會很大。主要的增長將在于神經(jīng)結(jié)構(gòu)中的更深的層，其中新的關(guān)聯(lián)將被增加。最深的層可以是單個神經(jīng)元，其具有要表示全部劇本所需的所有的關(guān)聯(lián)。
因為每層中的每個神經(jīng)元可以與任意層中的任何其他神經(jīng)元相關(guān)聯(lián)以在第三神經(jīng)元處給出結(jié)果，可得到的可能的排列組合的數(shù)目是很大的。
考慮圖7(a)到圖7(n)，存在可能被用于在神經(jīng)元751處提供結(jié)果(“THE＾CAT＾SAT＾ON＾THE＾MAT”)的不同的組合。例如，在圖示出的第一層中下列組合被記錄“TH”、“E＾”、“CA”、“T＾”、“SA”、“ON”，以及“MA”。
其他組合是可能的。例如“TH”、“HE”、“E＾”、“CA”、“AT”、“T＾”、“ON”、“N＾”、以及“MA”。
在第二層中可能跟隨更大范圍的可能的組合。通過采用適于使用神經(jīng)網(wǎng)絡(luò)的期望目標(biāo)的規(guī)則，從而減少或消除組合，效率也可得到提高。
如果考慮十層的神經(jīng)元，其能夠表示多達(dá)1,024個基本事件的序列?？赏ㄟ^沿著指針一直到基本或根層來表達(dá)第一元素。這樣允許相對迅速的表達(dá)。
對于學(xué)習(xí)和在表達(dá)期間兩者而言，基本神經(jīng)元可被頻繁地激活。在純粹二進(jìn)制實現(xiàn)中，可以通過單個第一層神經(jīng)元來表達(dá)或關(guān)聯(lián)兩個基本神經(jīng)元或根層神經(jīng)元?？赏ㄟ^一個第二層神經(jīng)元來表達(dá)或關(guān)聯(lián)兩個第一層神經(jīng)元，依次類推。如果1,024個基本事件的序列被激活且通過網(wǎng)絡(luò)被學(xué)習(xí)/表達(dá)，那么在每層中可以處理下列數(shù)目的神經(jīng)元1,024 第零層512第一層256第二層128第三層64 第四層32 第五層16 第六層8 第七層4 第八層2 第九層1 第十層從而表示基本事件的整個序列。
如果在根層處的神經(jīng)元觸發(fā)之間的基本時間是1毫秒，那么第十層神經(jīng)元將是每1024毫秒或每秒才觸發(fā)或被激活一次。因此如果表示神經(jīng)結(jié)構(gòu)的陣列是作為不同的存儲塊/區(qū)域的組合而被表示的，那么更深層的神經(jīng)元可以被存儲在較慢的存儲/記憶區(qū)域中不影響學(xué)習(xí)和表達(dá)的性能。
在優(yōu)選的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，基本神經(jīng)元將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的根神經(jīng)元作為其起始神經(jīng)元。這樣就允許不限數(shù)目的基本神經(jīng)元被即時創(chuàng)建，而不是必須預(yù)定義基本神經(jīng)元?？商鎿Q地，可以將結(jié)構(gòu)中的預(yù)定神經(jīng)存儲/記憶區(qū)域分配給基本神經(jīng)元，然后每個基本神經(jīng)元就可被直接地定址(例如對ASCII文本字符是8位)，256個神經(jīng)元的地址可以預(yù)先分配(0到255)而第一結(jié)構(gòu)神經(jīng)元的地址將處于地址256。
在優(yōu)選的模式中，新的基本神經(jīng)元可以在任何時候、任何位置被添加到神經(jīng)元結(jié)構(gòu)，從而提供了完全的靈活性。當(dāng)使用用于基本神經(jīng)元的預(yù)定義區(qū)域時，因為無需搜索附于根神經(jīng)元的后繼者的列表，處理過程可能會更快。
基本神經(jīng)元可能這樣表示它們的起始神經(jīng)元指針被設(shè)置為零-指向根神經(jīng)元(無論其是否存在)，而它們的被關(guān)聯(lián)神經(jīng)元指針被設(shè)為要由那個基本神經(jīng)元表示的基本事件的值?；旧窠?jīng)元總是可以容易地確定或識別，因為其起始神經(jīng)元值總是零。因此，當(dāng)表達(dá)神經(jīng)元時，要判定我們什么時候已達(dá)到基本神經(jīng)元是容易的，因為起始神經(jīng)元值為零，指向根神經(jīng)元。替換方法可被用來定義基本神經(jīng)元，不影響所表示的神經(jīng)網(wǎng)絡(luò)的實質(zhì)。
在優(yōu)選的模式中，起始神經(jīng)元的新的后繼神經(jīng)元被簡單地添加到列表的開頭。因此，它們被直接地附接到起始神經(jīng)元。這樣最近的記憶痕跡被容易地表達(dá)。
然而，許多的選擇可以用于維持后繼神經(jīng)元的列表。神經(jīng)結(jié)構(gòu)允許以用戶選擇的任何方式使用這項特性，來向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提供額外的功能。例如，新的關(guān)聯(lián)神經(jīng)元可以被添加到列表的結(jié)尾，或者列表可以用數(shù)字順序、字母順序等等來維護(hù)。同樣地，可以將頻繁訪問的神經(jīng)元向列表的開頭移動，或移動到列表的開頭，使得越是最近激活的記憶總是更容易訪問。這還意味著越久的記憶處于列表的結(jié)尾，并更少可能會經(jīng)歷表達(dá)。
這樣，列表的順序可以被用來表示起始神經(jīng)元的后繼神經(jīng)元的相對突觸強(qiáng)度或激活層級，而非必須使用權(quán)重來表示突觸連接的強(qiáng)度，如果期望這樣的話。
可以通過簡單表達(dá)由起始神經(jīng)元指針表示的神經(jīng)元，然后表達(dá)由被關(guān)聯(lián)神經(jīng)元指針表示的神經(jīng)元，來表達(dá)由任意神經(jīng)元表示的記憶。如果起始指針是零，可以表達(dá)基本神經(jīng)元的基本值。否則，可以針對起始指針重復(fù)處理-表達(dá)其起始神經(jīng)元指針和其被關(guān)聯(lián)神經(jīng)元指針，依次類推。因此，任意神經(jīng)元可以通過按順序表達(dá)其多個部分來完全表達(dá)。
可以創(chuàng)建表示學(xué)到的知識的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。例如，如果下列文本的句子是輸入LUCY＾IS＾CRYING＾UNDER＾THE＾TABLE＾.
JOHN＾IS＾PLAYING＾IN＾THE＾PARK＾.
PETER＾IS＾READING＾IN＾THE＾CHAIR＾.
MARY＾IS＾SLEEPING＾UNDER＾THE＾TREE＾.
JOHN＾IS＾RUNNING＾IN＾THE＾RACE＾.
PETER＾IS＾PLAYING＾ON＾THE＾SWING＾.
MARY＾IS＾TALKING＾ON＾THE＾PHONE＾，可以創(chuàng)建表示下列短語或記憶的神經(jīng)元IS CRYINGIS RUNNINGIS READINGIS SLEEPINGIS PLAYINGIS TALKING在這個例子中“IS＾”具有六個后繼神經(jīng)元。
同樣地可以創(chuàng)建下列短語或記憶UNDER THE TABLEUNDER THE TREEIN THE PARKIN THE CHAIRIN THE RACEON THE SWING
ON THE PHONE因此LUCY與IS CRYING相關(guān)聯(lián)，而IS與六個不同的動作相關(guān)聯(lián)。通過改變IS的替換后繼神經(jīng)元的表達(dá)，可以表達(dá)多達(dá)六個不同的短語/從句LUCY IS CRYINGLUCY IS RUNNINGLUCY IS READINGLUCY IS SLEEPINGLUCY IS PLAYINGLUCY IS TALKING雖然只是第一短語曾經(jīng)被學(xué)習(xí)，或被輸入到神經(jīng)網(wǎng)絡(luò)，但是可以對JOHN、PETER和MARY作同樣的事情。
可以根據(jù)結(jié)構(gòu)**IS和IS**來有效地生成新的表達(dá)。即LUCY IS IS CRYINGJOHN IS IS RUNNINGMARY IS IS READINGLUCY IS IS SLEEPINGPETER IS IS PLAYINGIS TALKING因此，可以創(chuàng)建或表達(dá)30(5×6)個短語/從句，它們在句法和語義上都是正確的。同樣地ON THE THE TABLEIN THE THE PARKUNDER THETHE CHAIRTHE TREETHE RACETHE SWINGTHE PHONE提供了生成21(3×7)個這樣性質(zhì)的短語/從句的可能性，所述短語/從句都是句法上正確的，但不都是語義上正確的。
將這兩組組合在一起給出結(jié)構(gòu){*}IS{*}(*)THE{*}這樣提供了{(lán)5}IS{6}*{3}THE{7}個表達(dá)，或5×6×3×7＝630個可能的表達(dá)，雖然只學(xué)習(xí)了七個輸入的句子。因此神經(jīng)模型允許學(xué)習(xí)和建立記憶的神經(jīng)結(jié)構(gòu)，并還允許根據(jù)用戶定義的過程將這些神經(jīng)元或記憶組合成新的表達(dá)或行為。用先前已學(xué)習(xí)到的，大腦可以探索句法上行得通的概念或建議。用數(shù)百萬的神經(jīng)元，可以表達(dá)數(shù)十億的句法上正確的句子。就是說，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為創(chuàng)造性表達(dá)提供了理想的方法。
通過使用上述的神經(jīng)網(wǎng)絡(luò)，可以具有這樣的系統(tǒng)·能夠?qū)W習(xí)；·具有表達(dá)能力；·存儲關(guān)聯(lián)而不是數(shù)據(jù)；·能夠有效使用計算機(jī)的內(nèi)存和存儲空間；·計算上有效率。
因此網(wǎng)絡(luò)能夠識別關(guān)聯(lián)模式中的模式。這樣其可用于各種工業(yè)，例如監(jiān)控和預(yù)測股票價格運動、因特網(wǎng)監(jiān)測、安全、計算機(jī)病毒檢測、言語和文本中的短語、言語和文本中的從句、剽竊檢測、數(shù)據(jù)壓縮，等等。
上述神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和處理過程可以實現(xiàn)在軟件或硬件中。如果在硬件中，它們可能是芯片的一部分、專用芯片的全部，或者芯片陣列，都可作為基本或結(jié)構(gòu)神經(jīng)元。基本和結(jié)構(gòu)神經(jīng)可在芯片的一部分中，或在專用神經(jīng)元的存儲陣列中。當(dāng)所有的神經(jīng)元都存在時，在第一遍數(shù)據(jù)后，第一基本神經(jīng)元將學(xué)習(xí)到數(shù)據(jù)的第一元素。例如，圖7(a)到圖7(n)中使用的示例中的大寫字母“T”。下個基本神經(jīng)元將學(xué)習(xí)數(shù)據(jù)的下個元素。還是使用圖7(a)到圖7(n)的示例，即小寫字母“h”。依次類推。因為基本神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的更低層中的那些神經(jīng)元將被更頻繁地激活以創(chuàng)建更深層中的關(guān)聯(lián)，為了最佳性能它們需要更快的處理器速度。更深層的神經(jīng)元將被更不頻繁的激活，因此可被存儲在具有更慢的處理器速度的存儲器中。
因此，提供了這樣的神經(jīng)網(wǎng)絡(luò)，其基于包括感覺神經(jīng)元、運動神經(jīng)元的神經(jīng)元以及突觸連接的概念。大腦中的每個神經(jīng)元可以以簡單的方式由陣列或存儲器中的單個節(jié)點來表示。神經(jīng)元是陣列或存儲器中的固定長度的節(jié)點。每個突觸連接可以由每個節(jié)點中的指向其他神經(jīng)元的指針來表示。陣列中的神經(jīng)節(jié)點可單獨排他地包括指向數(shù)據(jù)陣列中其他神經(jīng)元的指針。然而，運動或感覺神經(jīng)元包括用于與外部環(huán)境相互作用的感覺值或運動值。每個神經(jīng)元包含到其他神經(jīng)元的連接。如果期望的話，神經(jīng)元還可維持其他信息，例如學(xué)習(xí)期間激活的頻率、后繼神經(jīng)元的數(shù)目、前驅(qū)神經(jīng)元的數(shù)目等等，以協(xié)助處理和用作用于創(chuàng)建關(guān)聯(lián)和用于表達(dá)的規(guī)則中。
為了用接口連接到并與外部輸入設(shè)備或外部輸出設(shè)備裝置交互，可定義相應(yīng)于感覺神經(jīng)元或運動神經(jīng)元的基本神經(jīng)元。
使用用于創(chuàng)建神經(jīng)結(jié)構(gòu)和經(jīng)過神經(jīng)連接的合適的規(guī)則，可以根據(jù)神經(jīng)元和突觸關(guān)聯(lián)來表示和建立/構(gòu)造神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)通過在神經(jīng)元之間創(chuàng)建關(guān)聯(lián)來學(xué)習(xí)。對于任意神經(jīng)元，其表示可以被回憶或表達(dá)，并且多個關(guān)聯(lián)的探查以及它的到其他神經(jīng)元的關(guān)聯(lián)的排列可以被回憶或表達(dá)。神經(jīng)元可以表示記憶，其中記憶被定義為神經(jīng)元的表達(dá)。
用接口連接或?qū)W習(xí)或處理外部感覺神經(jīng)元事件的經(jīng)歷和創(chuàng)建輸入經(jīng)歷的記憶是由神經(jīng)元和神經(jīng)元之間新的連接來表示的。
用接口連接或?qū)W習(xí)或表示外部運動神經(jīng)元事件的活動和創(chuàng)建輸出動作的記憶是由新的神經(jīng)元和神經(jīng)元之間新的連接來表示的。
神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)，它可以表達(dá)或回憶或記起記憶，它可以與外部環(huán)境相互作用或表達(dá)自己，并有能力思考(被定義為探索如上所述的可替換的神經(jīng)元關(guān)聯(lián)的過程)和創(chuàng)造性地表達(dá)自己。
本發(fā)明還擴(kuò)展到包括計算機(jī)程序代碼的計算機(jī)可用介質(zhì)或?qū)ｉT制造的數(shù)字處理器芯片，它們被定制以使一個或多個處理器執(zhí)行一個或多個功能以執(zhí)行上述的方法。
雖然已經(jīng)在前面的描述中描述了本發(fā)明的優(yōu)選實施例，但是本領(lǐng)域的技術(shù)人員將明白，可在設(shè)計、構(gòu)造或操作的細(xì)節(jié)中作出許多變化或修改而不脫離本發(fā)明。
權(quán)利要求
1.一種包括多個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，其中，所述多個神經(jīng)元中的任何一個能夠通過到所述多個神經(jīng)元中的又一個神經(jīng)元的活動連接來與自身或與所述多個神經(jīng)元中的另一個神經(jīng)元關(guān)聯(lián)或鏈接。
2.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)，其中，所述又一個神經(jīng)元在比所述神經(jīng)元和所述另一個神經(jīng)元都深的層級中。
3.如權(quán)利要求1或2所述的神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)元和所述另一個神經(jīng)元在從包括相同和不同層級的組中選出的層級中。
4.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個神經(jīng)元包括多個基本神經(jīng)元和多個結(jié)構(gòu)神經(jīng)元；所有基本神經(jīng)元和結(jié)構(gòu)神經(jīng)元都能夠被關(guān)聯(lián)；所有基本神經(jīng)元都能夠表達(dá)它們的基本值，并且所有結(jié)構(gòu)神經(jīng)元都能夠表達(dá)它們關(guān)聯(lián)到的一對神經(jīng)元。
5.如權(quán)利要求4所述的神經(jīng)網(wǎng)絡(luò)，其中，每個結(jié)構(gòu)神經(jīng)元表示由一對神經(jīng)元表示的組合信息或記憶，所述結(jié)構(gòu)神經(jīng)元自所述神經(jīng)元對接收輸入；并且每個基本神經(jīng)元表示從下述組中選出的至少一個，所述組包括正被處理的信息的輸出激勵、基本激勵、定義的基本模式、定義的基本數(shù)據(jù)元素、以及基本輸入激勵。
6.如權(quán)利要求4或5所述的神經(jīng)網(wǎng)絡(luò)，其中，關(guān)聯(lián)是從下述組中選出的至少一個，所述組包括基本神經(jīng)元與基本神經(jīng)元、基本神經(jīng)元與結(jié)構(gòu)神經(jīng)元、結(jié)構(gòu)神經(jīng)元與基本神經(jīng)元、結(jié)構(gòu)神經(jīng)元與結(jié)構(gòu)神經(jīng)元。
7.如權(quán)利要求1到6中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個神經(jīng)元中的每個是從下述組中選出的一個或多個，所述組包括起始神經(jīng)元、被關(guān)聯(lián)神經(jīng)元、以及關(guān)聯(lián)神經(jīng)元。
8.如權(quán)利要求7所述的神經(jīng)網(wǎng)絡(luò)，其中，起始神經(jīng)元經(jīng)由到所述關(guān)聯(lián)神經(jīng)元的活動連接與被關(guān)聯(lián)神經(jīng)元關(guān)聯(lián)。
9.如權(quán)利要求8所述的神經(jīng)網(wǎng)絡(luò)，其中，所述起始神經(jīng)元、所述被關(guān)聯(lián)神經(jīng)元和所述關(guān)聯(lián)神經(jīng)元是基于鄰近特性連接的，所述鄰近特性是下述至少一個時間、空間、強(qiáng)度、大小和相對位置。
10.如權(quán)利要求1到9中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，由神經(jīng)元表示的信息是記憶，并且處理是學(xué)習(xí)和表達(dá)中的至少一種學(xué)習(xí)和表達(dá)。
11.如權(quán)利要求4到10中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，如果在表達(dá)期間需要更多步驟來表達(dá)其表示的基本神經(jīng)元，則所述神經(jīng)網(wǎng)絡(luò)的層級是所述神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中更深的層級。
12.如權(quán)利要求1到6中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個神經(jīng)元中的一個是起始神經(jīng)元、所述多個神經(jīng)元中的另一個是被關(guān)聯(lián)神經(jīng)元，并且所述又一個神經(jīng)元是關(guān)聯(lián)神經(jīng)元；所述結(jié)構(gòu)使得當(dāng)所述起始神經(jīng)元觸發(fā)或被激活時，所述關(guān)聯(lián)神經(jīng)元被加強(qiáng)；并且當(dāng)被關(guān)聯(lián)神經(jīng)元觸發(fā)或被激活時，所述關(guān)聯(lián)神經(jīng)元進(jìn)一步被加強(qiáng)，從而被激活并且能夠觸發(fā)。
13.如權(quán)利要求12所述的神經(jīng)網(wǎng)絡(luò)，其中，所述被關(guān)聯(lián)神經(jīng)元與所述起始神經(jīng)元同時觸發(fā)或被激活。
14.如權(quán)利要求12所述的神經(jīng)網(wǎng)絡(luò)，其中，相對于所述關(guān)聯(lián)神經(jīng)元，所述被關(guān)聯(lián)神經(jīng)元在所述起始神經(jīng)元之后觸發(fā)或被激活。
15.如權(quán)利要求12到14中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的激活或觸發(fā)基于鄰近特性。
16.如權(quán)利要求15所述的神經(jīng)網(wǎng)絡(luò)，其中，所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的所述鄰近激活或觸發(fā)引起所述起始神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間、以及所述被關(guān)聯(lián)神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間新突觸連接的創(chuàng)建或現(xiàn)有突觸連接的增強(qiáng)。
17.如權(quán)利要求12到16中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，所述關(guān)聯(lián)神經(jīng)元表示從所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元學(xué)到的總和；所述總和包括從下述組中選出的一個或多個，所述組包括記憶痕跡、所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的經(jīng)歷的組合、記憶、以及事件序列。
18.如權(quán)利要求4到17中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，所有基本神經(jīng)元表示在所述神經(jīng)網(wǎng)絡(luò)的根層中。
19.如權(quán)利要求12到18中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，一旦所述關(guān)聯(lián)神經(jīng)元被激活以表示期望的結(jié)果，就不需要在另一個神經(jīng)元中重新創(chuàng)建所述期望的結(jié)果。
20.一種包括多個基本神經(jīng)元和多個結(jié)構(gòu)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，所述多個結(jié)構(gòu)神經(jīng)元表示任意神經(jīng)元對之間的關(guān)聯(lián)，所述神經(jīng)元對是從下述組中選出的，所述組包括兩個基本神經(jīng)元、兩個結(jié)構(gòu)神經(jīng)元、一個結(jié)構(gòu)神經(jīng)元和一個基本神經(jīng)元、以及一個基本神經(jīng)元和一個結(jié)構(gòu)神經(jīng)元。
21.如權(quán)利要求20所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個基本神經(jīng)元表示在所述神經(jīng)網(wǎng)絡(luò)的根層中，并且每個基本神經(jīng)元表示下述至少一個基本激勵、定義的模式和定義的數(shù)據(jù)元素；每個基本激勵用于表示正被處理的信息的輸出激勵和基本輸入激勵中的至少一個。
22.如權(quán)利要求20或21所述的神經(jīng)網(wǎng)絡(luò)，其中，每個基本神經(jīng)元是從包括感覺神經(jīng)元和運動神經(jīng)元的組中選出的。
23.如權(quán)利要求21所述的神經(jīng)網(wǎng)絡(luò)，其中，所述信息是記憶。
24.如權(quán)利要求20到23中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，所述處理是學(xué)習(xí)和表達(dá)中的至少一個。
25.如權(quán)利要求20到24中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個神經(jīng)關(guān)聯(lián)表示在多個更深的神經(jīng)層級中。
26.如權(quán)利要求25所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個更深層級中的層數(shù)由待處理或表達(dá)的記憶或模式的范圍確定，其中記憶表示多個基本神經(jīng)元。
27.如權(quán)利要求26所述的神經(jīng)網(wǎng)絡(luò)，其中，表示所述記憶所需的基本神經(jīng)元和結(jié)構(gòu)神經(jīng)元的數(shù)目由所述待處理的記憶的性質(zhì)確定。
28.如權(quán)利要求20到27中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個結(jié)構(gòu)神經(jīng)元中的任何一個都能夠通過到所述多個結(jié)構(gòu)神經(jīng)元中的又一個結(jié)構(gòu)神經(jīng)元的活動連接來與所述多個神經(jīng)元中的另一個結(jié)構(gòu)神經(jīng)元關(guān)聯(lián)。
29.如權(quán)利要求28所述的神經(jīng)網(wǎng)絡(luò)，其中，所述又一個結(jié)構(gòu)神經(jīng)元在比所述結(jié)構(gòu)神經(jīng)元和所述另一個結(jié)構(gòu)神經(jīng)元都深的層級中。
30.一種包括由關(guān)聯(lián)鏈接的多個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，所有神經(jīng)元都能夠被表達(dá)。
31.如權(quán)利要求30所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個神經(jīng)元包括多個基本神經(jīng)元和多個結(jié)構(gòu)神經(jīng)元；所有基本神經(jīng)元都能夠表達(dá)它們的基本值，并且所有結(jié)構(gòu)神經(jīng)元都能夠表達(dá)它們關(guān)聯(lián)到的一對神經(jīng)元。
32.一種包括多個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，每個神經(jīng)元都由陣列中唯一可尋址的節(jié)點表示。
33.如權(quán)利要求32所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個神經(jīng)元的每個都由關(guān)聯(lián)連接，所有的神經(jīng)元都能夠被表達(dá)。
34.如權(quán)利要求33所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個神經(jīng)元包括多個基本神經(jīng)元和多個結(jié)構(gòu)神經(jīng)元；所有基本神經(jīng)元都能夠表達(dá)它們的基本值，并且所有結(jié)構(gòu)神經(jīng)元都能夠表達(dá)它們關(guān)聯(lián)到的一對神經(jīng)元。
35.如權(quán)利要求32到34中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，每個神經(jīng)元由所述陣列中的單個節(jié)點整體表示。
36.一種包括陣列中的多個節(jié)點的神經(jīng)網(wǎng)絡(luò)，每個節(jié)點包括至少一個指針，每個指針是所述節(jié)點的數(shù)據(jù)元素；每個數(shù)據(jù)元素表示所述陣列中特定節(jié)點的唯一地址，每個地址表示多個神經(jīng)元中的神經(jīng)元。
37.如權(quán)利要求36所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個神經(jīng)元中的每個都由關(guān)聯(lián)鏈接，所有的神經(jīng)元都能夠被表達(dá)。
38.如權(quán)利要求36或37所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個神經(jīng)元包括多個基本神經(jīng)元和多個結(jié)構(gòu)神經(jīng)元；所有基本神經(jīng)元都能夠表達(dá)它們的基本值，并且所有結(jié)構(gòu)神經(jīng)元都能夠表達(dá)它們關(guān)聯(lián)到的一對神經(jīng)元。
39.如權(quán)利要求36到38中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個神經(jīng)元中的每個都由陣列中的可尋址節(jié)點表示。
40.一種包括陣列中的多個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，所述陣列具有用于提供表達(dá)的指針。
41.如權(quán)利要求40所述的神經(jīng)網(wǎng)絡(luò)，其中，每個神經(jīng)元由陣列中的節(jié)點表示，每個節(jié)點具有多個指針。
42.如權(quán)利要求41所述的神經(jīng)網(wǎng)絡(luò)，其中，每個節(jié)點中的每個指針包含下述至少一個另一個神經(jīng)元的獨有地址，以及基本神經(jīng)元的基本值。
43.如權(quán)利要求41或42所述的神經(jīng)網(wǎng)絡(luò)，其中，每個指針具有特定并唯一的功能，并且表示突觸連接。
44.如權(quán)利要求42或當(dāng)附加于權(quán)利要求42時43所述的神經(jīng)網(wǎng)絡(luò)，其中，所述多個神經(jīng)元包括多個基本神經(jīng)元和多個結(jié)構(gòu)神經(jīng)元；所有基本神經(jīng)元都能夠表達(dá)它們的基本值，并且所有結(jié)構(gòu)神經(jīng)元都能夠表達(dá)它們關(guān)聯(lián)到的一對神經(jīng)元。
45.如權(quán)利要求44所述的神經(jīng)網(wǎng)絡(luò)，其中，所述指針除了表示所述基本神經(jīng)元中的基本激勵的值之外，每個指針還包含另一個神經(jīng)元的地址。
46.如權(quán)利要求41到45中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，指針的數(shù)目取決于所述神經(jīng)網(wǎng)絡(luò)所執(zhí)行的功能。
47.如權(quán)利要求41到46中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，每個神經(jīng)元的指針的數(shù)目至少為二。
48.如權(quán)利要求41到47中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，指向神經(jīng)元的每個指針的功能是從下述組中選出的，所述組包括起始、關(guān)聯(lián)、后繼、所述起始神經(jīng)元的下個后繼、前驅(qū)、以及所述關(guān)聯(lián)神經(jīng)元的下個前驅(qū)。
49.如權(quán)利要求1到48中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，所有的神經(jīng)元都是固定長度的。
50.一種在神經(jīng)網(wǎng)絡(luò)中使用的神經(jīng)組件，所述神經(jīng)組件包括起始神經(jīng)元、被關(guān)聯(lián)神經(jīng)元、以及操作連接到所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的關(guān)聯(lián)神經(jīng)元。
51.如權(quán)利要求50所述的神經(jīng)組件，其中，當(dāng)所述起始神經(jīng)元觸發(fā)或被激活時，所述關(guān)聯(lián)神經(jīng)元被加強(qiáng)；且當(dāng)所述被關(guān)聯(lián)神經(jīng)元觸發(fā)或被激活時，所述關(guān)聯(lián)神經(jīng)元被加強(qiáng)和激活，并且能夠觸發(fā)。
52.如權(quán)利要求51所述的神經(jīng)組件，其中，所述被關(guān)聯(lián)神經(jīng)元與所述起始神經(jīng)元同時觸發(fā)。
53.如權(quán)利要求51所述的神經(jīng)組件，其中，所述被關(guān)聯(lián)神經(jīng)元在所述起始神經(jīng)元之后觸發(fā)。
54.如權(quán)利要求50到53中的任何一個所述的神經(jīng)組件，其中，所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的所述激活或觸發(fā)基于鄰近特性。
55.如權(quán)利要求54所述的神經(jīng)組件，其中，所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的鄰近激活或觸發(fā)引起所述起始神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間、以及所述被關(guān)聯(lián)神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間新突觸連接的創(chuàng)建或現(xiàn)有突觸連接的增強(qiáng)。
56.如權(quán)利要求50到55中的任何一個所述的神經(jīng)組件，其中，所述關(guān)聯(lián)神經(jīng)元表示從起始神經(jīng)元和被關(guān)聯(lián)神經(jīng)元學(xué)到的總和。
57.如權(quán)利要求56所述的神經(jīng)組件，其中，所述總和包括從下述組中選出的一個或多個，所述組包括記憶痕跡、所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的經(jīng)歷的組合、記憶、以及事件序列。
58.如權(quán)利要求50到57中的任何一個所述的神經(jīng)組件，其中，一旦所述關(guān)聯(lián)神經(jīng)元被激活以表示期望的結(jié)果，就不需要在另一個神經(jīng)元中重新創(chuàng)建所述期望的結(jié)果。
59.一種用于創(chuàng)建神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元的關(guān)聯(lián)的方法，所述神經(jīng)網(wǎng)絡(luò)具有多個神經(jīng)元，所述多個神經(jīng)元中的一個是起始神經(jīng)元，所述多個神經(jīng)元中的另一個是被關(guān)聯(lián)神經(jīng)元，并且所述多個神經(jīng)元中的又一個是關(guān)聯(lián)神經(jīng)元；所述方法包括(a)激活或觸發(fā)所述起始神經(jīng)元以加強(qiáng)所述關(guān)聯(lián)神經(jīng)元；以及(b)激活或觸發(fā)所述被關(guān)聯(lián)神經(jīng)元以加強(qiáng)和激活所述關(guān)聯(lián)神經(jīng)元，所述關(guān)聯(lián)神經(jīng)元被激活，并且能夠觸發(fā)。
60.如權(quán)利要求59所述的方法，其中，所述被關(guān)聯(lián)神經(jīng)元與所述起始神經(jīng)元同時觸發(fā)或被激活。
61.如權(quán)利要求59所述的方法，其中，所述被關(guān)聯(lián)神經(jīng)元在所述起始神經(jīng)元之后觸發(fā)或被激活。
62.如權(quán)利要求59到61中的任何一個所述的方法，其中，所述起始神經(jīng)元的激活或觸發(fā)和所述被關(guān)聯(lián)神經(jīng)元的激活或觸發(fā)基于鄰近特性。
63.如權(quán)利要求62所述的方法，其中，所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的鄰近激活或觸發(fā)引起所述起始神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間、以及所述被關(guān)聯(lián)神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間新突觸連接的創(chuàng)建或現(xiàn)有突觸連接的增強(qiáng)。
64.如權(quán)利要求59到63中的任何一個所述的方法，其中，所述關(guān)聯(lián)神經(jīng)元表示從起始神經(jīng)元和被關(guān)聯(lián)神經(jīng)元學(xué)到的總和。
65.如權(quán)利要求64所述的方法，其中，所述總和包括從下述組中選出的一個或多個，所述組包括記憶痕跡、所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的經(jīng)歷的組合、記憶、以及事件序列。
66.如權(quán)利要求59到65中的任何一個所述的方法，其中，一旦所述關(guān)聯(lián)神經(jīng)元被激活以表示期望的結(jié)果，就不需要在另一個神經(jīng)元中重新創(chuàng)建所述期望的結(jié)果。
67.一種操作神經(jīng)網(wǎng)絡(luò)的方法，所述神經(jīng)網(wǎng)絡(luò)具有包括多個基本神經(jīng)元和多個結(jié)構(gòu)神經(jīng)元的多個神經(jīng)元，所述方法包括(a)定義所述基本神經(jīng)元和結(jié)構(gòu)神經(jīng)元將表示的事件；(b)針對所有已定義事件的待表示唯一值的總數(shù)創(chuàng)建所需數(shù)目的基本神經(jīng)元；以及(c)為所述多個神經(jīng)元的關(guān)聯(lián)創(chuàng)建一組規(guī)則。
68.如權(quán)利要求67所述的方法，其中，所述多個神經(jīng)元的任何一個都能夠經(jīng)由到所述多個神經(jīng)元中的又一個神經(jīng)元的活躍連接來與所述多個神經(jīng)元中的另一個神經(jīng)元關(guān)聯(lián)。
69.如權(quán)利要求68所述的方法，其中，所述又一個神經(jīng)元在比所述神經(jīng)元和所述另一個神經(jīng)元都深的層級。
70.如權(quán)利要求68或69所述的方法，其中，所述神經(jīng)元和所述另一個神經(jīng)元在相同的層級中。
71.如權(quán)利要求68或69所述的方法，其中，所述神經(jīng)元和所述另一個神經(jīng)元在不同的層級上。
72.如權(quán)利要求67到71中的任何一個所述的方法，其中，所有基本神經(jīng)元都能夠表達(dá)它們的基本值，并且所有結(jié)構(gòu)神經(jīng)元都能夠表達(dá)它們關(guān)聯(lián)到的一對神經(jīng)元。
73.如權(quán)利要求72所述的方法，其中，關(guān)聯(lián)是從下述組中選出的一個或多個，所述組包括基本神經(jīng)元與基本神經(jīng)元、基本神經(jīng)元與結(jié)構(gòu)神經(jīng)元、結(jié)構(gòu)神經(jīng)元與基本神經(jīng)元、結(jié)構(gòu)神經(jīng)元與結(jié)構(gòu)神經(jīng)元。
74.如權(quán)利要求67到73中的任何一個所述的方法，其中，所述多個神經(jīng)元的每個是從下述組中選出的一個或多個，所述組包括起始神經(jīng)元、被關(guān)聯(lián)神經(jīng)元、以及關(guān)聯(lián)神經(jīng)元。
75.如權(quán)利要求74所述的方法，其中，起始神經(jīng)元通過到所述關(guān)聯(lián)神經(jīng)元的活躍連接來與被關(guān)聯(lián)神經(jīng)元關(guān)聯(lián)。
76.如權(quán)利要求75所述的方法，其中，所述起始神經(jīng)元、所述被關(guān)聯(lián)神經(jīng)元和所述關(guān)聯(lián)神經(jīng)元基于鄰近特性被連接。
77.如權(quán)利要求76所述的方法，其中，所述鄰近特性是下述至少一個時間、空間、強(qiáng)度、大小和相對位置。
78.如權(quán)利要求69到77中的任何一個所述的方法，其中，如果在回憶期間需要更多的步驟來表達(dá)所述基本神經(jīng)元，則所述神經(jīng)網(wǎng)絡(luò)的層級是所述神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中更深的層級。
79.如權(quán)利要求74到77中的任何一個所述的方法，還包括(a)激活或觸發(fā)所述起始神經(jīng)元加強(qiáng)所述關(guān)聯(lián)神經(jīng)元；以及(b)激活或觸發(fā)所述被關(guān)聯(lián)神經(jīng)元加強(qiáng)并激活所述關(guān)聯(lián)神經(jīng)元，所述關(guān)聯(lián)神經(jīng)元然后被激活，并且能夠觸發(fā)。
80.如權(quán)利要求79所述的方法，其中，所述被關(guān)聯(lián)神經(jīng)元與所述起始神經(jīng)元同時觸發(fā)或被激活。
81.如權(quán)利要求79所述的方法，其中，所述被關(guān)聯(lián)神經(jīng)元在所述起始神經(jīng)元之后觸發(fā)或被激活。
82.如權(quán)利要求79到81中的任何一個所述的方法，所述起始神經(jīng)元的激活或觸發(fā)和所述被關(guān)聯(lián)神經(jīng)元的激活或觸發(fā)基于鄰近特性。
83.如權(quán)利要求82所述的方法，其中，所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的鄰近激活或觸發(fā)引起所述起始神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間、以及所述被關(guān)聯(lián)神經(jīng)元與所述關(guān)聯(lián)神經(jīng)元之間新突觸連接的創(chuàng)建或現(xiàn)有突觸連接的增強(qiáng)。
84.如權(quán)利要求79到83中的任何一個所述的方法，其中，所述關(guān)聯(lián)神經(jīng)元表示從所述起始神經(jīng)元和被關(guān)聯(lián)神經(jīng)元學(xué)到的總和。
85.如權(quán)利要求84所述的方法，其中，所述總和包括從下述組中選出的一個或多個，所述組包括記憶痕跡、所述起始神經(jīng)元和所述被關(guān)聯(lián)神經(jīng)元的經(jīng)歷的組合、記憶、以及事件序列。
86.如權(quán)利要求69到85中的任何一個所述的方法，其中，所述多個基本神經(jīng)元表示在所述神經(jīng)網(wǎng)絡(luò)的根層級中，并且每個基本神經(jīng)元對應(yīng)于基本激勵或模式，每個基本激勵是用于表示正被處理的信息的輸出激勵和基本輸入激勵中的一個。
87.如權(quán)利要求86所述的方法，其中，所述信息是記憶。
88.如權(quán)利要求86或87所述的方法，其中，所述處理是表達(dá)。
89.如權(quán)利要求86到88中的任何一個所述的方法，其中，所述多個結(jié)構(gòu)神經(jīng)元表示在多個更深的神經(jīng)元層級中。
90.如權(quán)利要求89所述的方法，其中，所述多個更深層級中的層數(shù)由待處理或表達(dá)的所述記憶或模式的范圍確定，其中記憶表示多個基本激勵，并且每個基本激勵由基本神經(jīng)元直接表示。
91.如權(quán)利要求90所述的方法，其中，表示所述記憶所需的基本神經(jīng)元的數(shù)目由待處理的所述記憶的性質(zhì)確定。
92.如權(quán)利要求67到91中的任何一個所述的方法，其中，每個神經(jīng)元由陣列中的單個固定長度的節(jié)點整體表示。
93.如權(quán)利要求67到91中的任何一個所述的方法，其中，所述多個神經(jīng)元的每個都在陣列中，所述陣列具有用于提供表達(dá)的指針。
94.如權(quán)利要求93所述的方法，其中每個神經(jīng)元由所述陣列中的節(jié)點表示，每個節(jié)點具有多個指針，每個節(jié)點中的每個指針包含另一個神經(jīng)元獨有的地址。
95.如權(quán)利要求67到94中的任何一個所述的方法，其中，所有的神經(jīng)元都是固定長度的。
96.一種包括計算機(jī)程序代碼的計算機(jī)可用介質(zhì)，所述計算機(jī)程序代碼配置為使一個或多個處理器執(zhí)行一個或多個功能以執(zhí)行如權(quán)利要求67到95中任何一個所述的方法。
97.如權(quán)利要求1到49中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)網(wǎng)絡(luò)是雙向的。
98.一種神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)網(wǎng)絡(luò)是雙向的，并被使得能夠正向工作和反向工作，在正向中從事件得到輸出，而在反向中從輸出得到事件。
99.如權(quán)利要求98所述的神經(jīng)網(wǎng)絡(luò)，其中，所述正向是學(xué)習(xí)，所述反向是表達(dá)。
100.如權(quán)利要求1到49、97到99中的任何一個所述的神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)網(wǎng)絡(luò)存儲關(guān)聯(lián)而不是數(shù)據(jù)。
101.如權(quán)利要求100所述的神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)網(wǎng)絡(luò)識別關(guān)聯(lián)的模式中的模式。
102.如權(quán)利要求100或101中所述的神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)網(wǎng)絡(luò)被用于下述一個或多個監(jiān)控和預(yù)測股票價格運動、互聯(lián)網(wǎng)監(jiān)測、互聯(lián)網(wǎng)安全、計算機(jī)病毒檢測、計算機(jī)蠕蟲檢測、語音和文本中的短語、語音和文本中的從句、剽竊檢測、生物信息學(xué)、視覺識別、語義分析、數(shù)據(jù)本體的表示、機(jī)器人學(xué)、以及數(shù)據(jù)壓縮。
全文摘要
一種包括多個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，其中所述多個神經(jīng)元中的任何一個都能夠通過到所述多個神經(jīng)元中的又一個神經(jīng)元的活動連接來與自身或所述多個神經(jīng)元中的另一個神經(jīng)元關(guān)聯(lián)。
文檔編號G06F15/18GK1826594SQ200480017847
公開日2006年8月30日 申請日期2004年6月21日 優(yōu)先權(quán)日2003年6月26日
發(fā)明者羅伯特·喬治·赫克斯 申請人:紐諾麥蒂克斯私人有限公司