專利名稱：用于實(shí)施機(jī)器智能和分級(jí)存儲(chǔ)器系統(tǒng)的方法、架構(gòu)和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及存儲(chǔ)器系統(tǒng)和機(jī)器智能的領(lǐng)域。特定來說，本發(fā)明揭示用于實(shí)施展現(xiàn)出 機(jī)器智能的存儲(chǔ)器系統(tǒng)的方法、設(shè)備和架構(gòu)。
背景技術(shù)：
人工智能(AI)領(lǐng)域已經(jīng)存在超過五十年。從人工智能研究中已經(jīng)產(chǎn)生許多有用的 程序，例如專家系統(tǒng)、熟練的游戲程序和基于神經(jīng)網(wǎng)絡(luò)的圖案匹配系統(tǒng)。由于現(xiàn)代計(jì)算 機(jī)系統(tǒng)的顯著的計(jì)算能力，所述程序中的許多程序可實(shí)現(xiàn)人類不可能相比的技能。然而， 任何計(jì)算機(jī)程序都從未展示出甚至小孩的大腦所展現(xiàn)出的那種類型的理解。
有兩種主要的人工智能研究流派經(jīng)典人工智能研究和神經(jīng)網(wǎng)絡(luò)研究。這兩種主要
的人工智能研究流派在如何解決嘗試產(chǎn)生機(jī)器智能的問題上有所不同。兩種流派的主要 差別是這兩種人工智能研究流派如何涉及關(guān)于人腦的己知信息。
經(jīng)典人工智能支持者沒有嘗試考查或復(fù)制人腦運(yùn)作的方式。經(jīng)典人工智能的支持者 嘗試以不并入對(duì)人腦如何實(shí)際工作的任何基礎(chǔ)理解的方式創(chuàng)建模仿基本人類行為或問題 解決的程序。追隨經(jīng)典人工智能研究思想流派的人感到他們不應(yīng)當(dāng)受到自然界所發(fā)現(xiàn)的 特定解決方案的限制。由于我們制造了并非以鳥類飛行的方式運(yùn)作的飛行器而且我們制 造了并非以獵豹奔跑的方式運(yùn)作的快速的陸地行進(jìn)器，因此這種思想流派得到一些共鳴。
為產(chǎn)生經(jīng)典人工智能，程序員考查待解決的問題或待模仿的人類行為，并接著確定 對(duì)于所述問題的算法解決方案。程序員接著在計(jì)算機(jī)軟件中編碼算法解決方案。經(jīng)典人 工智能程序的實(shí)例包含國(guó)際象棋程序和專家系統(tǒng)程序。這些程序分別使用由人類專家創(chuàng) 建的算法解決方案和一組規(guī)則來解決復(fù)雜問題。然而，這些程序通常沒有學(xué)習(xí)能力。這 些程序只能處理已處理的單個(gè)問題。而且這些人工智能程序也不能基于并入此類程序的 知識(shí)進(jìn)行歸納，以便處理全新的輸入數(shù)據(jù)。
神經(jīng)網(wǎng)絡(luò)支持者已嘗試通過復(fù)制互連神經(jīng)單元的運(yùn)作來創(chuàng)建有限的智能系統(tǒng)。有一 個(gè)大的知識(shí)主體，其描述個(gè)別的神經(jīng)單元(神經(jīng)元)如何操作和連接的神經(jīng)元如何相互
作用。神經(jīng)網(wǎng)絡(luò)支持者已基于此種關(guān)于神經(jīng)元運(yùn)作的知識(shí)建立稱為"神經(jīng)網(wǎng)絡(luò)"的系統(tǒng)。 因此，神經(jīng)網(wǎng)絡(luò)系統(tǒng)以類似于一組互連神經(jīng)元的方式運(yùn)作。神經(jīng)網(wǎng)絡(luò)研究者因此常稱為 "連接主義者"。神經(jīng)元間連接強(qiáng)度稱為突觸權(quán)重，且用于存儲(chǔ)學(xué)習(xí)到的知識(shí)。
在使用神經(jīng)網(wǎng)絡(luò)之前，必須首先用一組訓(xùn)練信息來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。訓(xùn)練信息由具有 相關(guān)輸出向量的輸入向量組成，所述輸出向量被視為針對(duì)相關(guān)輸入向量的正確輸出。在 訓(xùn)練期間，對(duì)神經(jīng)網(wǎng)絡(luò)中各種模擬神經(jīng)元之間的連接進(jìn)行調(diào)節(jié)，使得輸入向量產(chǎn)生相關(guān) 的輸出向量(或緊密的近似)。
一旦訓(xùn)練完畢，便通過向神經(jīng)網(wǎng)絡(luò)提供一個(gè)新輸入向量以產(chǎn)生輸出向量來使用神經(jīng) 網(wǎng)絡(luò)。通過適當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)設(shè)計(jì)和充足的訓(xùn)練數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)應(yīng)該能針對(duì)給定輸入向量 產(chǎn)生適當(dāng)?shù)妮敵鱿蛄?。己證實(shí)神經(jīng)網(wǎng)絡(luò)在某些有限的應(yīng)用中是有用的。
盡管關(guān)于神經(jīng)網(wǎng)絡(luò)己獲得一些有限的成功，但多數(shù)神經(jīng)網(wǎng)絡(luò)系統(tǒng)是相對(duì)原始的。多 數(shù)神經(jīng)網(wǎng)絡(luò)系統(tǒng)只是具有一組輸入節(jié)點(diǎn)、 一組中間節(jié)點(diǎn)(也稱為"隱藏節(jié)點(diǎn)")和一組輸 出節(jié)點(diǎn)的三層結(jié)構(gòu)。盡管神經(jīng)網(wǎng)絡(luò)系統(tǒng)能夠在很簡(jiǎn)單的意義上進(jìn)行"學(xué)習(xí)"，并展現(xiàn)出有 限的概括能力，但明顯沒有對(duì)現(xiàn)實(shí)的真正理解。神經(jīng)網(wǎng)絡(luò)系統(tǒng)僅僅產(chǎn)生將訓(xùn)練輸入向量 最佳映射到相關(guān)訓(xùn)練輸出向量的內(nèi)部函數(shù)。因此，神經(jīng)網(wǎng)絡(luò)僅能夠通過將內(nèi)部函數(shù)應(yīng)用 于新輸入向量而以有限意義來進(jìn)行歸納。
為了真正推動(dòng)人工智能領(lǐng)域，將期望用于人工智能的新的范例。由于我們沒有完全 理解智能的本質(zhì)，因此經(jīng)典人工智能方法很可能己經(jīng)失敗。而且如果不理解智能的本質(zhì)， 如何期望在計(jì)算機(jī)程序中對(duì)智能進(jìn)行編碼？由于神經(jīng)網(wǎng)絡(luò)通常僅仿效相對(duì)少量的互連神 經(jīng)元且以忽略大腦的多數(shù)復(fù)雜解剖學(xué)的方式來進(jìn)行，因此神經(jīng)網(wǎng)絡(luò)方法提供的結(jié)果非常 有限。由于當(dāng)前估計(jì)假定人腦的大腦皮層含有大約三百億神經(jīng)元，因此此類簡(jiǎn)單的神經(jīng) 網(wǎng)絡(luò)將永遠(yuǎn)無法提供人腦展現(xiàn)出的真正智能。因此，為推進(jìn)人工智能的技術(shù)現(xiàn)狀，將期 望從事一種可避免當(dāng)前主要方法的問題的新方法。

發(fā)明內(nèi)容
本發(fā)明提議通過構(gòu)造具有分級(jí)架構(gòu)的存儲(chǔ)器系統(tǒng)來創(chuàng)建復(fù)雜的存儲(chǔ)器系統(tǒng)和智能機(jī) 器。具體來說， 一種系統(tǒng)可包括布置成分級(jí)結(jié)構(gòu)的多個(gè)個(gè)別皮層處理單元。每一個(gè)別皮 層處理單元接收?qǐng)D案序列作為輸入。每一皮層處理單元處理所述接收的輸入圖案序列， 并輸出另一圖案。在皮層處理單元處理若干輸入序列時(shí)，其將因此在其輸出上產(chǎn)生圖案 序列。其輸出上的所述圖案序列可作為輸入傳遞到所述分級(jí)的下一較高層中的一個(gè)或一
個(gè)以上皮層處理單元。皮層處理單元的最低層可從外部世界接收感覺輸入。所述感覺輸 入也包括圖案序列。
每一個(gè)別皮層處理單元包含用于幫助處理輸入上接收到的圖案序列的存儲(chǔ)器。所述 存儲(chǔ)器可包括先前遇到的含有結(jié)構(gòu)的圖案序列。如果遇到所述圖案序列一次以上，那么 將輸入圖案序列視為含有結(jié)構(gòu)。個(gè)別皮層處理單元可使用存儲(chǔ)的含有結(jié)構(gòu)的圖案序列， 以便稍后"辨識(shí)"輸入流中的這種具有結(jié)構(gòu)的序列。
當(dāng)皮層處理單元辨識(shí)出先前遇到的圖案序列時(shí)，皮層處理單元可將此辨識(shí)報(bào)告給較 高層皮層處理單元。對(duì)較高層皮層處理單元的輸出可包括所辨識(shí)的圖案序列的識(shí)別符。 隨著時(shí)間，含有所辨識(shí)序列的識(shí)別符的輸出流本身包括圖案序列。所述輸出圖案流可包 括將由下一較高皮層處理單元層中的皮層處理單元以類似方式處理的輸入?？蓪⒁粋€(gè)以 上較低層皮層處理單元的輸出連結(jié)在一起，使得連結(jié)的輸出形成可處理的圖案序列。
皮層處理單元也可使用記憶的圖案序列，以便做出關(guān)于傳入序列的預(yù)測(cè)，以便解決 不明確的信息。具體來說，當(dāng)皮層處理單元確定其當(dāng)前正接收已知序列時(shí)，那么皮層處 理單元可預(yù)測(cè)序列中將接收的下一圖案。處理單元可使用預(yù)測(cè)來解釋接收到的下一圖案。
舉例來說，如果進(jìn)入皮層處理單元的輸入流是不明確的，那么所述皮層處理單元可使用 預(yù)測(cè)圖案來幫助識(shí)別下一輸入圖案。
皮層處理單元可進(jìn)一步將預(yù)測(cè)的下一圖案向下提供到下一較低皮層處理單元。較低 皮層處理單元可將此解釋為所述較低單元將遇到(且因此輸出到較高層)的下一序列的 預(yù)測(cè)。此預(yù)測(cè)信息可包括幫助較低皮層處理單元層正確識(shí)別下一序列的信息。
也可將預(yù)測(cè)信息視為對(duì)外部世界中將發(fā)生事情的有用預(yù)測(cè)。而且如果傳入的圖案明 顯不同于預(yù)測(cè)圖案或者傳入的圖案序列明顯不同于預(yù)測(cè)的圖案序列，那么就存在預(yù)測(cè)失 敗。預(yù)測(cè)失敗的發(fā)生可傳輸?shù)捷^高層中的皮層處理單元。較高層中的皮層處理單元可能 能夠解決錯(cuò)誤。可以用許多不同方法解決檢測(cè)到的錯(cuò)誤。解決錯(cuò)誤的一種方法是通過存 儲(chǔ)新的圖案序列來調(diào)整皮層分級(jí)的世界模型。
通過附圖且通過以下詳細(xì)描述中將明了本發(fā)明的其它目的、特征和優(yōu)點(diǎn)。


所屬領(lǐng)域的技術(shù)人員根據(jù)以下詳細(xì)描述將明了本發(fā)明的目的、特征和優(yōu)點(diǎn)，其中 圖1說明大腦的與辨識(shí)形式和識(shí)別物體有關(guān)的視覺處理部分的概念圖。 圖2A說明用于圖1的人類視覺處理系統(tǒng)的修正分級(jí)圖。
圖2B說明用于圖1的人類視覺處理系統(tǒng)的替代分級(jí)圖。
圖2C說明具有局部預(yù)測(cè)反饋的圖2A的替代分級(jí)圖。
圖2D說明具有從較高層傳遞到較低層的預(yù)測(cè)的圖2A的替代分級(jí)圖。
圖3A說明由原型程序機(jī)器智能程序考慮的有限視覺世界中的像素柵格。
圖3B說明圖3A的像素柵格，其中像素柵格已被劃分為每一者將被個(gè)別處理單元考
査的一組64個(gè)4乘4像素的像素片。
圖3C說明圖3B的像素柵格，其中64個(gè)像素片被組成為四個(gè)的群組，以形成由第
二處理單元層的16個(gè)處理單元考査的16個(gè)元片。
圖4說明用于圖3A到3C說明的32乘32像素柵格的皮層處理單元分級(jí)的一種可能實(shí)例。
圖5A說明在原型程序中用以處理來自圖3A說明的32乘32像素柵格的信息的皮層 處理單元的分級(jí)。
圖5B說明具有提供上下文的反饋信息的圖5A的分級(jí)。
圖6說明圖5A的皮層處理單元分級(jí)的替代視圖，其中使用參看圖3B和3C陳述的 定址系統(tǒng)來標(biāo)記皮層處理單元中的每一者。
圖7說明用于圖5A的皮層處理單元分級(jí)的貝葉斯(Bayes)可信度網(wǎng)。
圖8說明用于訓(xùn)練原型程序的90個(gè)訓(xùn)練形狀。
圖9說明四個(gè)連續(xù)圖案的八種不同的可能序列。
圖IO說明來自使用原型程序的三個(gè)不同線圖測(cè)試的某種結(jié)果數(shù)據(jù)。
具體實(shí)施例方式
本發(fā)明揭示用于實(shí)施機(jī)器智能的方法、架構(gòu)和設(shè)備。在以下描述中，出于解釋目的， 陳述特定術(shù)語以提供對(duì)本發(fā)明的詳盡理解。然而，所屬領(lǐng)域的技術(shù)人員將明了，實(shí)踐本 發(fā)明并非必需這些特定細(xì)節(jié)。舉例來說，參看用于產(chǎn)生預(yù)測(cè)的貝葉斯網(wǎng)絡(luò)描述本發(fā)明。
然而，可使用其它類型的系統(tǒng)來分析學(xué)習(xí)到的信息，以便產(chǎn)生預(yù)測(cè)。參看使用圖像信息 作為感覺輸入的簡(jiǎn)單圖像辨識(shí)系統(tǒng)來陳述本發(fā)明的許多教示。然而，本發(fā)明的原理可應(yīng) 用于具有任何類型感覺輸入的任何類型的環(huán)境，只要環(huán)境內(nèi)存在可檢測(cè)的一致性即可。 人腦運(yùn)作的理論
人腦由數(shù)十億互連神經(jīng)單元(神經(jīng)元)組成。類似于計(jì)算機(jī)系統(tǒng)，人腦的神經(jīng)元連 接到輸入單元和輸出單元。輸入單元由連接到我們的大腦的感覺組成，例如聽覺、視覺、
嗅覺、觸覺和味覺。輸出單元由受控的肌肉組成，其允許我們用我們的身體進(jìn)行復(fù)雜的 動(dòng)作且允許我們通過說話進(jìn)行交流。
但除了這一種相似性之外，計(jì)算機(jī)和人腦是極為不同的。計(jì)算機(jī)具有中央處理器， 其按順序執(zhí)行從平坦定址的存儲(chǔ)器系統(tǒng)中檢索的一組指令(具有相關(guān)的參數(shù)信息)。在人 腦中，沒有中央處理器。而是存在以所有神經(jīng)元同時(shí)操作的某種并行方式互連的數(shù)十億 神經(jīng)元。在人腦中也沒有具有完美回想功能的較大平坦定址存儲(chǔ)器系統(tǒng)。而是，人腦具 有數(shù)十億在神經(jīng)元之間形成連接的突觸。突觸網(wǎng)絡(luò)中的每一突觸可被加強(qiáng)或減弱，因此 充當(dāng)具有所述突觸的經(jīng)修改運(yùn)作形式的"存儲(chǔ)器"。
如背景技術(shù)中所陳述，創(chuàng)建智能機(jī)器的獨(dú)立努力已產(chǎn)生許多有用的計(jì)算機(jī)程序。然 而，從沒有創(chuàng)建接近于真正人腦(或其它哺乳動(dòng)物)的東西。尚沒有人想出如何獨(dú)立地 編程真正的智能機(jī)器。因此，為了建立智能機(jī)器，可能明智的是確定人腦工作的方式， 以便利用通過自然選擇的數(shù)百萬年進(jìn)化的這一驚人產(chǎn)物中所含有的運(yùn)作方法。
科學(xué)家已經(jīng)對(duì)人腦進(jìn)行了超過一百年的研究。這種廣泛的研究已導(dǎo)致許多獨(dú)立的發(fā) 現(xiàn)，其已揭示對(duì)人腦運(yùn)作的大量見解。然而，人腦的總體運(yùn)作在很大程度上仍然還是個(gè) 謎。本發(fā)明的教示組合了關(guān)于人腦的許多發(fā)現(xiàn)，以便創(chuàng)建關(guān)于人腦如何運(yùn)作的總體理論。 運(yùn)作理論主要集中于大腦的大腦皮層，因?yàn)橹挥胁溉閯?dòng)物(通常被視為智力水平最高的 動(dòng)物類型)具有大腦皮層。在Times Books中Jeff Hawkins的"On Intelligence" —書中 可找到對(duì)大腦的大腦皮層運(yùn)作的總體理論的完全描述，所述書的全文以引用的方式并入 本文。
通過關(guān)于大腦皮層如何運(yùn)作的總體理論，接著可用機(jī)器實(shí)施這些教示，以便產(chǎn)生人 工智能。舉例來說，可用計(jì)算機(jī)系統(tǒng)上的軟件實(shí)施本發(fā)明的方法。然而，可以許多其它 形式(例如直接在集成電路中)實(shí)施所述教示。
感覺輸入包括圖案序列
人腦被保護(hù)在由人頭骨組成的堅(jiān)固骨頭的范圍內(nèi)。人腦與外部世界之間沒有直接接 觸。為了了解外部世界，人腦具有與位于人體全身的感覺神經(jīng)單元的數(shù)百萬連接。人體 表面上的數(shù)百萬神經(jīng)單元提供觸覺輸入。人眼視網(wǎng)膜上的數(shù)百萬桿狀細(xì)胞和錐狀細(xì)胞檢 測(cè)光并沿著視覺神經(jīng)將關(guān)于檢測(cè)到的光的信息傳輸?shù)酱竽X。人耳中的數(shù)千傳感細(xì)胞檢測(cè) 不同的聲音頻率并沿著聽覺神經(jīng)將檢測(cè)到的聲音信息傳輸?shù)酱竽X。所有此類感覺信息都 沿著不同的神經(jīng)路徑接收到大腦。大腦接著必須解譯所有此類信息以形成對(duì)外部世界的 理解。
傳輸?shù)酱竽X的所有不同感覺輸入信號(hào)都具有至少兩個(gè)維度空間維度和時(shí)間維度。 空間維度構(gòu)成同時(shí)到達(dá)大腦的相關(guān)感覺信號(hào)的集合。對(duì)大腦同時(shí)接收到的相關(guān)神經(jīng)纖維 的收集性動(dòng)作被視為空間維度中信息的"圖案"。隨著時(shí)間，大腦從相關(guān)神經(jīng)纖維的每一 集合接收到不同的圖案。大腦沿著相關(guān)神經(jīng)纖維接收到的連續(xù)圖案構(gòu)成"圖案序列"，其 中連續(xù)圖案在時(shí)間上緊密相關(guān)。
參照人類視覺可容易提供實(shí)例。大腦在特定時(shí)間瞬間從視覺神經(jīng)接收到的所有輸入 信號(hào)在空間維度上呈現(xiàn)視覺信息的圖案。隨著時(shí)間，在我們移動(dòng)眼睛(以稱為"掃視" 的運(yùn)動(dòng)形式)、移動(dòng)頭部或移動(dòng)整個(gè)身體時(shí)，不同的視覺信息進(jìn)入我們的眼睛。我們的眼 睛接收到的不斷改變的視覺信息沿著視覺神經(jīng)連續(xù)傳輸?shù)酱竽X。不斷改變的視覺信息在 視覺神經(jīng)上產(chǎn)生不同的圖案。因此，在視覺神經(jīng)上傳輸?shù)倪B續(xù)圖案流是視覺信息的圖案 序列。
空間維度中的圖案和時(shí)間維度中的圖案序列的模型適用于我們所有不同的感覺。關(guān) 于聽覺，我們耳朵中不同的毛發(fā)由不同頻率的聲音激活。沿著聽覺神經(jīng)從耳朵傳輸?shù)酱?腦的所有不同頻率信號(hào)的集合呈現(xiàn)聽覺信息的圖案。隨著時(shí)間，我們聽到不同的聲音， 使得聽覺圖案序列沿著聽覺神經(jīng)傳輸?shù)酱竽X。我們的觸覺感覺實(shí)際上比簡(jiǎn)單的觸摸壓力 詳細(xì)得多。觸覺信息具有各種各樣的空間維度方面，包含壓力、溫度、疼痛和位置。大 腦同時(shí)接收到的所有此類觸覺信息是空間維度中的觸覺信息的圖案。隨著時(shí)間，身體接 收到觸覺信息的圖案序列。
許多使用神經(jīng)網(wǎng)絡(luò)的人工智能研究涉及到使用神經(jīng)網(wǎng)絡(luò)嘗試學(xué)習(xí)圖案信息，使得神 經(jīng)網(wǎng)絡(luò)稍后可辨識(shí)新輸入數(shù)據(jù)內(nèi)的類似圖案。然而，多數(shù)基于神經(jīng)網(wǎng)絡(luò)的圖案辨識(shí)研究 是不考慮時(shí)間而i用空間圖案執(zhí)行的。舉例來說，在學(xué)習(xí)階段期間，可每次一個(gè)地向神 經(jīng)網(wǎng)絡(luò)呈現(xiàn)靜態(tài)圖像的集合，例如蘋果、船、樹、香蕉等。"教會(huì)"神經(jīng)網(wǎng)絡(luò)每個(gè)呈現(xiàn)的 圖案表示什么，以便就不同物體圖案對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以進(jìn)行物體辨識(shí)。稍后，將新 圖像圖案呈現(xiàn)給神經(jīng)網(wǎng)絡(luò)，使得神經(jīng)網(wǎng)絡(luò)嘗試識(shí)別新圖像中的物體。在此類圖像辨識(shí)神 經(jīng)網(wǎng)絡(luò)方面己經(jīng)獲得了一定程度的成功，但成功是有限的。
人腦并不是以與時(shí)間無關(guān)而呈現(xiàn)一組完全不同圖像的靜態(tài)方式接收信息。而是，人 腦從不同的感覺器官接收作為連續(xù)圖案序列的信息。舉例來說，我們的眼睛接收作為視 覺神經(jīng)上的圖案序列傳輸?shù)酱竽X的一直改變的圖像序列。我們的大腦學(xué)習(xí)通過觀察這個(gè) 世界中的連續(xù)運(yùn)動(dòng)將同一物體的不同的順序圖像分組在一起。
圖案序列中的感覺信息通常隨著時(shí)間而高度相關(guān)。舉例來說，當(dāng)人朝窗外看時(shí)，許
多視覺信息(例如，建筑物、樹干、地面等)保持靜止。某些視覺信息(例如，風(fēng)中吹 動(dòng)的樹葉、空中飛行的鳥、跑過草地的松鼠等)隨著時(shí)間改變。但即使是改變的信息在 時(shí)間上也是高度相關(guān)的，因?yàn)轱L(fēng)中吹動(dòng)的樹葉沒有明顯移動(dòng)，鳥以直線飛行，而松鼠僅 在同一區(qū)域中的地面上移動(dòng)。
視覺流中信息的相關(guān)對(duì)于學(xué)習(xí)來說非常重要。舉例來說，前一實(shí)例的朝窗外看的嬰 兒將隨著時(shí)間而學(xué)習(xí)到樹木和建筑物不會(huì)移動(dòng)而鳥和松鼠會(huì)移動(dòng)。因此，接收連續(xù)的視 覺圖案序列會(huì)提供大量用于學(xué)習(xí)的有用信息。因此，本發(fā)明的系統(tǒng)提出將時(shí)間考慮在內(nèi)， 使得將圖案序列考查為學(xué)習(xí)能力中的重要方面。因此，在許多實(shí)施例中，本發(fā)明的系統(tǒng) 使用隨時(shí)間產(chǎn)生的圖案序列作為進(jìn)行學(xué)習(xí)的源信息流。
大腦中的大腦皮層使用單一 "皮層算法"
人腦由許多不同的部分組成，其中包含小腦、基底神經(jīng)節(jié)、下丘腦、腦干和大腦皮 層。然而，通常認(rèn)為人腦中負(fù)責(zé)抽象思維和實(shí)質(zhì)學(xué)習(xí)能力的主要區(qū)域是大腦皮層。僅有 展現(xiàn)出最佳學(xué)習(xí)能力的動(dòng)物(哺乳動(dòng)物)才在大腦中具有大腦皮層結(jié)構(gòu)。
大腦皮層的不同區(qū)域通常用于處理呈現(xiàn)給大腦皮層的不同問題。大腦皮層的一個(gè)區(qū) 域用于處理語法；其它區(qū)域用于處理聲音；多個(gè)區(qū)域?qū)Ｓ糜谔幚硪曈X信息；等等。隨著 時(shí)間，科學(xué)家已嘗試映射出大腦皮層的不同區(qū)域所執(zhí)行的不同功能。當(dāng)前對(duì)大腦皮層功 能的大腦功能映射相對(duì)復(fù)雜。且已經(jīng)發(fā)現(xiàn)，大腦皮層的功能映射在人與人之間僅趨于變 化有限的量。
大腦皮層功能的相對(duì)一致映射已導(dǎo)致許多大腦研究者假定大腦的每一區(qū)域以不同方 式處理其接收到的信息和解決問題。然而在1978年，神經(jīng)學(xué)家Vernon Mountcastle做出 新的推斷。他指出，整個(gè)大腦皮層具有非常統(tǒng)一的外觀和結(jié)構(gòu)。大腦皮層中處理聽覺輸 入的區(qū)域看上去和處理觸覺的區(qū)域相同，處理觸覺的區(qū)域看上去和控制肌肉的區(qū)域相同， 控制肌肉的區(qū)域看上去和處理視覺的區(qū)域相同，處理視覺的區(qū)域看上去和產(chǎn)生語言的區(qū) 域相同，等等。Mountcastle推斷，既然大腦皮層的所有這些不同區(qū)域看上去是統(tǒng)一的， 那么也許大腦皮層的所有這些不同區(qū)域都執(zhí)行相同的基本操作。他推斷可能存在單一的 "皮層算法"，其在整個(gè)大腦皮層中用于處理所有不同的感覺信息。假如這是真的，那么 皮層中執(zhí)行特定功能的不同區(qū)域之所以變?yōu)閷Ｓ玫模饕且驗(yàn)槠訁^(qū)域接收到了特定 的圖案信息而不是因?yàn)樗銎訁^(qū)域中有任何明顯不同的神經(jīng)結(jié)構(gòu)。
許多后續(xù)的科學(xué)研究支持Momitcastle的推斷。最強(qiáng)的證據(jù)之一是大腦的"可塑性"。 如上文陳述，大腦中存在許多似乎專用于執(zhí)行非常特定的功能的不同區(qū)域。然而，已認(rèn)
識(shí)到，大腦的不同部分可容易適合于處理通常由大腦皮層的另一區(qū)域處理的不同功能。 對(duì)運(yùn)作進(jìn)行調(diào)整以便處理不同環(huán)境的能力稱為大腦的可塑性。
在支持Mountcastle的統(tǒng)一皮層算法推斷的一組實(shí)驗(yàn)中，科學(xué)家將來自動(dòng)物幼兒的一 個(gè)感覺器官的輸出"重新連線"以連接到所述動(dòng)物的大腦皮層的不同區(qū)域。舉例來說， 將雪貂幼兒的視覺神經(jīng)重新連線以使得來自視覺神經(jīng)的信息流入雪貂大腦皮層的通常用 于處理聲音信息的區(qū)域中。當(dāng)具有重新連線的大腦的雪貂長(zhǎng)大時(shí)，雪貂能夠看得見。雪 貂大腦中通常用于處理聲音信息的區(qū)域能夠適合于處理視覺信息。這些實(shí)驗(yàn)展示，在哺 乳動(dòng)物大腦皮層中的幾乎任何區(qū)域都可對(duì)其本身進(jìn)行調(diào)節(jié)以處理流入所述區(qū)域的任何類 型的輸入信息的意義上，哺乳動(dòng)物大腦皮層具有非常大的"可塑性"。
已展示出，人腦中存在相同的可塑性。舉例來說，如果在尚未學(xué)會(huì)說話的小孩的大 腦中大腦皮層的通常專用于處理語法的區(qū)域(稱為布洛卡區(qū)，Broca's area)受到損傷， 那么孩子受到損傷的大腦將相應(yīng)調(diào)節(jié)其本身以便進(jìn)行適應(yīng)。具體來說，孩子大腦將趨于 使用大腦的不同區(qū)域來處理語法(例如，另一側(cè)上的相同區(qū)域)，使得具有損傷大腦的孩 子將容易學(xué)習(xí)說話?？膳e出此類人腦可塑性的許多其它實(shí)例。天生為聾的成年人將使用 通常用于處理聲音的區(qū)域來處理視覺信息。盲人將常常使用大腦后部區(qū)域的通常用于處 理視覺的區(qū)域以便學(xué)習(xí)閱讀盲文。
由于大腦皮層的不同區(qū)域可用于處理任何不同的問題，因此一定存在用于處理呈現(xiàn) 給大腦的每個(gè)不同問題的單一 "皮層算法"。這就是Momitcastle提出的見解。盡管 Mountcastle的提議可能看上去相對(duì)簡(jiǎn)單，但其發(fā)現(xiàn)實(shí)際上具有相當(dāng)深遠(yuǎn)的含義。具體來 說，如果可對(duì)在整個(gè)人類大腦皮層中使用的單一皮層算法進(jìn)行適當(dāng)譯碼，那么便可在機(jī) 器中再現(xiàn)所述皮層算法以產(chǎn)生機(jī)器智能。在機(jī)器的情形中，可使用皮層算法來處理許多 不同類型的信息流，只要每一信息流作為圖案序列呈現(xiàn)即可。因此，可使用單個(gè)類型的 機(jī)器來解決視覺、語言、聽力和機(jī)器人技術(shù)中的問題。
人類大腦皮層是分級(jí)組織的
在一百年的人腦研究中，已經(jīng)仔細(xì)考査了人腦皮層的許多不同方面。然而，研究得 最細(xì)致的人腦皮層的方面之一是視覺信息的處理。圖1說明簡(jiǎn)化的概念圖，其通常由大 腦研究者用來描述人腦皮層中與辨識(shí)形式和識(shí)別視覺信息流中物體有關(guān)的視覺處理部 分。
在圖1的底部，原始視覺信息(視覺圖案序列)進(jìn)入VI區(qū)域110。 VI區(qū)域110執(zhí) 行從視覺神經(jīng)接收到的視覺圖案信息的初始處理。將VI區(qū)域110中的細(xì)胞劃分為細(xì)胞群
組，其中每一細(xì)胞群組分析來自視網(wǎng)膜的小區(qū)域的信息。在此文檔中，細(xì)胞群組中處理 同一輸入圖案序列的所有神經(jīng)細(xì)胞或仿效處理同一圖案序列的細(xì)胞群組的人造裝置將稱 為"皮層處理單元"或"處理單元"。舉例來說，處理直接來自視網(wǎng)膜小區(qū)域的輸入圖案 序列中含有的信息的細(xì)胞群組可稱為皮層處理單元。
由VI區(qū)域110中的處理單元產(chǎn)生的信息接著傳遞到V2區(qū)域120。 V2區(qū)域120對(duì)從 Vl區(qū)域110接收到的信息執(zhí)行處理，且接著產(chǎn)生經(jīng)處理的輸出信息，所述輸出信息傳遞 到V4區(qū)域130。類似地，V4區(qū)域130處理從V2區(qū)域120接收到的信息并將經(jīng)處理的信 息傳遞到IT區(qū)域140。最后，IT區(qū)域140接收由V4區(qū)域130產(chǎn)生的信息。在IT區(qū)域 140中，己知大腦能夠辨別人的視場(chǎng)中的物體。舉例來說，如果在人的視場(chǎng)中的任一位 置可見到特定面部，那么某些細(xì)胞將被激活。
如圖1所示，在底部接收原始視覺感覺信息，且接著通過一系列視覺處理區(qū)域逐漸 處理。在頂部區(qū)域，已知視覺處理系統(tǒng)會(huì)辨識(shí)和識(shí)別物體。因此，圖1中說明的與辨識(shí) 形式相關(guān)的大腦的視覺處理部分具有連續(xù)處理直到在頂部實(shí)現(xiàn)復(fù)雜結(jié)果(識(shí)別出的物體) 的垂直分級(jí)。
實(shí)驗(yàn)室試驗(yàn)表明分級(jí)的下層(例如VI區(qū)域110)中的細(xì)胞非常快速地切換(激活和 不活動(dòng))。這是可以理解的，因?yàn)槲覀兊难劬υ诓煌５匾苿?dòng)，使得不同的視覺信息一直呈 現(xiàn)到皮層的VI區(qū)域110。 VI區(qū)域110也是圖1概念性說明的四個(gè)皮層區(qū)域中最大的皮 層區(qū)域。此外，實(shí)驗(yàn)展示VI區(qū)域110中的每一細(xì)胞群組僅可從視網(wǎng)膜的非常小的區(qū)域接 收信息。因此，在V1區(qū)域110中有許多個(gè)別較小細(xì)胞群組，其負(fù)責(zé)處理來自視網(wǎng)膜每一 區(qū)域的信息。
隨著圖1說明的分級(jí)的層的上升，每一較高分級(jí)層的細(xì)胞的活動(dòng)變得比較低分級(jí)層 更穩(wěn)定。因此，隨著在分級(jí)中向上前進(jìn)，細(xì)胞越來越多地響應(yīng)于現(xiàn)實(shí)中的物體，而不是 簡(jiǎn)單的視覺構(gòu)造物。此外，隨著在分級(jí)中上升，每一層中細(xì)胞群組的接收視場(chǎng)變大。也 就是說，下部V1區(qū)域110中的細(xì)胞群組僅處理來自視網(wǎng)膜的小區(qū)域的信息，而IT區(qū)域 140處理來自整個(gè)視場(chǎng)的信息。因此，第一層(VI區(qū)域110)上方的層中的每一細(xì)胞群 組處理來自下方層的一個(gè)以上細(xì)胞群組的信息。這是可理解的，因?yàn)橐粋€(gè)面部可能出現(xiàn) 在人視場(chǎng)的任何區(qū)域中且人仍可將其辨識(shí)為面部，使得IT區(qū)域140必須處理整個(gè)視場(chǎng)。
隨著分級(jí)中上升，每一上升層中的細(xì)胞群組處理越來越大的視場(chǎng)，使得第一層(VI 區(qū)域110)上方的區(qū)域中的每一細(xì)胞群組處理來自下方層中的區(qū)域的許多細(xì)胞群組的輸 出。在圖1的視覺形式辨識(shí)分級(jí)的頂部，IT區(qū)域140處理整個(gè)視場(chǎng)，因?yàn)榭稍谝晥?chǎng)的任
何部分中辨識(shí)物體。
此信息導(dǎo)致將圖1的簡(jiǎn)單方框圖修正為具有上升分級(jí)的方框圖，其通常在底部具有 大量皮層較小處理單元且通常在每一后續(xù)分級(jí)層上具有較少但較大的皮層處理單元。此 架構(gòu)允許在底部進(jìn)行分布且相對(duì)簡(jiǎn)單的處理并在頂部進(jìn)行集中但更復(fù)雜的處理。
如前一部分中所述，存在在人腦整個(gè)大腦皮層中使用的單一皮層算法。此外，使用 第一部分中關(guān)于輸入的教示，每一皮層處理單元接收必須處理的圖案序列。通過組合這 些教示，可以推斷出分級(jí)的每一層必須包括接收?qǐng)D案序列形式的輸入但輸出圖案序列的 皮層處理單元，因?yàn)槟切┹敵鰣D案將成為對(duì)下一較高層中皮層處理單元的輸入。
組合先前段落中的信息導(dǎo)致將圖1的簡(jiǎn)單分級(jí)修正為皮層處理單元的上升分級(jí)，其 中每一皮層處理單元輸入和輸出圖案序列。圖2A說明用于人類視覺處理系統(tǒng)的修正分級(jí) 圖的一個(gè)實(shí)施例的方框圖，其中每一矩形塊表示一個(gè)皮層處理單元。如上文所述，分級(jí) 組織可能不是總是由每一上升層上逐漸變少的皮層處理單元組成。舉例來說，圖2B說明 皮層處理單元分級(jí)的實(shí)施例，其中從下數(shù)第三層比從下數(shù)第二層具有更多的皮層處理單 元。
圖2A說明所提出的人類大腦皮層中與辨識(shí)形式和識(shí)別物體相關(guān)的視覺處理部分的 分級(jí)架構(gòu)的非常簡(jiǎn)化的型式。在圖2A的說明中，分級(jí)的每一層包括一個(gè)或一個(gè)以上皮層 處理單元，其中每一皮層處理單元由矩形框表示。應(yīng)注意，僅出于概念解釋目的而提供 圖2A。實(shí)際上，當(dāng)然存在遠(yuǎn)遠(yuǎn)更多的層，且每一層上當(dāng)然存在遠(yuǎn)遠(yuǎn)更多的處理單元。通 過適當(dāng)確定驅(qū)動(dòng)每一處理單元的單一皮層算法，可使用圖2A說明的分級(jí)架構(gòu)來構(gòu)造智能 機(jī)器，以便執(zhí)行視覺物體辨識(shí)。
皮層算法將結(jié)構(gòu)存儲(chǔ)在記憶體中以供以后辨識(shí)
參看圖2A，我們知道在分級(jí)的底部接收的感覺輸入信息由來自感覺器官的圖案序列 組成。根據(jù)存在在整個(gè)大腦中使用的單一 "皮層算法"的假設(shè)，那么每一皮層算法處理 單元將也可能輸出圖案(隨著時(shí)間，為圖案序列)，使得所述圖案可用作分級(jí)中下一較高 層的皮層處理單元的輸入。因此，難點(diǎn)在于確定在每一皮層處理單元中內(nèi)部地使用何種 算法來處理傳入的圖案序列并產(chǎn)生傳出的圖案序列。
眾所周知，大腦具有較大的分布記憶系統(tǒng)。根據(jù)單一皮層算法模型，那么每一皮層 處理必須包含用于存儲(chǔ)信息的記憶體。由于每一皮層處理單元接收輸入圖案序列、具有 記憶體且輸出信息，因此皮層處理單元必須使用所述記憶體來幫助處理輸入圖案序列， 以便產(chǎn)生輸出圖案序列。
人類大腦的最大神秘之處之一是其如何產(chǎn)生現(xiàn)實(shí)中物體的不變表示。不變表示是大 腦中對(duì)物體(實(shí)體物體、字、歌曲等)的內(nèi)部表示，其允許大腦以后在幾乎任何不同外 部條件中辨識(shí)同一物體。舉例來說，大腦的對(duì)某個(gè)人的不變表示使得大腦以后能在任何 照明條件下、從任何觀看角度和從任何距離來識(shí)別這個(gè)人，只要感覺輸入流中存在足夠 的信息來識(shí)別這個(gè)人即可。
本發(fā)明的系統(tǒng)提出，可通過使用皮層處理單元的分級(jí)來構(gòu)造物體的不變表示。通過 識(shí)別持續(xù)改變的圖案序列內(nèi)的不變結(jié)構(gòu)并存儲(chǔ)所述不變結(jié)構(gòu)以使其以后可被辨識(shí)，來形 成不變表示。在分級(jí)中的每一級(jí)別處，每個(gè)皮層處理單元執(zhí)行此識(shí)別、存儲(chǔ)和以后辨識(shí) 不變結(jié)構(gòu)的過程。因此，物體的總體不變表示包括與所述物體相關(guān)聯(lián)的己經(jīng)存儲(chǔ)在一組 分級(jí)布置的皮層處理單元中的所有不變結(jié)構(gòu)。應(yīng)注意，不變表示包含處在許多不同級(jí)別 處的不變結(jié)構(gòu)。所有這些不同級(jí)別不變結(jié)構(gòu)(包含整個(gè)不變表示結(jié)構(gòu))可在其它物體的 不變表示內(nèi)使用。
大腦皮層必須使用大腦皮層的僅有的外部信息來源——來自各個(gè)感覺器官的不斷改 變的圖案序列一一來產(chǎn)生這些物體的不變表示。因此，大腦皮層必須通過識(shí)別不斷改變 的圖案序列內(nèi)的不變結(jié)構(gòu)來產(chǎn)生物體的不變表示。必須使用每一皮層處理單元中的記憶 體來存儲(chǔ)已位于傳入的圖案序列中的不變結(jié)構(gòu)。以此方式，以后可在傳入的圖案序列中 辨識(shí)所存儲(chǔ)的不變結(jié)構(gòu)，以便辨識(shí)包含所述不變結(jié)構(gòu)的物體。
但圖案序列中的不變結(jié)構(gòu)究竟是什么？無結(jié)構(gòu)的圖案序列通常表示為完全隨機(jī)的圖 案流。因此有結(jié)構(gòu)的圖案流不是隨機(jī)的圖案流。但是沒有經(jīng)過任何學(xué)習(xí)的皮層處理單元 如何能識(shí)別并非隨機(jī)的圖案序列？ 一種可能的方式是使皮層處理單元尋找重復(fù)的圖案或 重復(fù)的圖案序列。重復(fù)的圖案和重復(fù)的圖案序列不太可能是隨機(jī)噪聲。此外，圖案或圖 案序列重復(fù)的次數(shù)越多，重復(fù)的圖案或重復(fù)的圖案序列是隨機(jī)的可能性越低。因此，重 復(fù)的圖案和重復(fù)的圖案序列可能是不變結(jié)構(gòu)的一部分。以可使用許多其它方法來識(shí)別圖 案流內(nèi)的不變結(jié)構(gòu)。舉例來說，有序的逐漸的圖案改變(例如，1、 2、 3、 4等)也最可 能是不變結(jié)構(gòu)。
在一個(gè)實(shí)施例中，每一皮層處理單元可在輸入流中搜索重復(fù)的圖案或重復(fù)的圖案序 列，以便識(shí)別輸入流內(nèi)含有的不變結(jié)構(gòu)。皮層處理單元接著可將所述重復(fù)的圖案和重復(fù) 的圖案序列存儲(chǔ)在記憶體中以便以后辨識(shí)。
為了限制使用的記憶體的量，皮層處理單元可僅記憶最頻繁重復(fù)的圖案或圖案序列。 可將存儲(chǔ)在記憶體中的此有限數(shù)目的重復(fù)的圖案或圖案序列視為一組"門類"，其用于對(duì)
傳入的圖案或圖案序列進(jìn)行分類。以后，當(dāng)再次遇到先前看見并記憶的圖案或圖案序列 (已學(xué)習(xí)的不變結(jié)構(gòu))時(shí)，皮層處理單元可通知下一較高皮層層關(guān)于在輸入流中發(fā)現(xiàn)的 所識(shí)別的不變結(jié)構(gòu)。
一旦辨識(shí)出，皮層處理單元就可將用于所辨識(shí)的圖案序列的序列識(shí)別符(或名稱) 傳遞到分級(jí)中的下一較高層。只要傳入的圖案序列繼續(xù)匹配于記憶的圖案序列，皮層處 理單元就將繼續(xù)輸出用于所述所辨識(shí)的圖案序列的同一序列識(shí)別符。由于在整個(gè)圖案序 列期間輸出同一序列識(shí)別符，因此可發(fā)現(xiàn)較高層所具有的處理單元的切換頻率將低于較 低處理單元。
應(yīng)注意，如果皮層處理單元不能辨識(shí)圖案或圖案序列，那么皮層處理單元可向下一 較高層中的皮層處理單元輸出一識(shí)別符，其指示在當(dāng)前輸入流中沒有辨識(shí)出任何事物。 或者，皮層處理單元可輸出一識(shí)別符，其指示在預(yù)測(cè)圖案與接收到的實(shí)際圖案之間存在 誤差。
序列識(shí)別符本身是關(guān)于皮層處理單元的輸出的圖案。且輸出圖案(序列識(shí)別符)變 為對(duì)下一較高皮層處理單元的輸入。隨著時(shí)間，皮層處理單元在辨識(shí)不同序列時(shí)將輸出 不同的序列識(shí)別符，使得從皮層處理單元輸出圖案序列(序列識(shí)別符的序列)。
所述下一較高層中的皮層處理單元接著可將相同的皮層算法應(yīng)用于其來自分級(jí)的較 低層中一個(gè)或一個(gè)以上處理單元的輸入流。具體來說，所述下一較高層中的皮層處理單 元可從輸入流中檢査出重復(fù)圖案或圖案序列，并存儲(chǔ)所述重復(fù)的圖案和/或重復(fù)的圖案序 列。當(dāng)皮層處理單元識(shí)別出輸入流中的所存儲(chǔ)的圖案序列時(shí)，所述皮層處理單元可用用 于所辨識(shí)序列的序列識(shí)別符通知下一較高層中的皮層處理單元。以此方式，皮層處理單 元的分級(jí)(如圖2A所說明)能夠在結(jié)構(gòu)內(nèi)識(shí)別出結(jié)構(gòu)。
通過以分級(jí)方式組織大量個(gè)別皮層處理單元，可記憶并在以后辨識(shí)非常復(fù)雜的不變 結(jié)構(gòu)。皮層處理單元的分級(jí)所學(xué)習(xí)到的對(duì)不變結(jié)構(gòu)的集體記憶包括周圍世界的模型。
由于可以許多方式組合較低分級(jí)層中的簡(jiǎn)單結(jié)構(gòu)來產(chǎn)生較高層中的較復(fù)雜結(jié)構(gòu)，因 此分級(jí)結(jié)構(gòu)促進(jìn)了對(duì)記憶體的有效使用。舉例來說，低級(jí)別皮層處理單元可辨識(shí)簡(jiǎn)單的 不變結(jié)構(gòu)，例如不同方位的直線(垂直、水平、45度等)。接著，較高級(jí)別皮層處理單 元可通過將較低級(jí)別結(jié)構(gòu)中直線方位的不同排列組合在一起來辨識(shí)較復(fù)雜的結(jié)構(gòu)。舉例 來說，較高級(jí)別皮層處理單元可將矩形辨識(shí)為第一對(duì)平行線在每一末端處由具有與第一 對(duì)線正交的方位的第二對(duì)平行線耦合。可將正方形辨識(shí)為第一對(duì)平行線在每一末端處由 具有與第一對(duì)線正交的方位和與第一對(duì)平行線相等的長(zhǎng)度的第二對(duì)平行線耦合。應(yīng)注意，
在兩個(gè)較高級(jí)別物體定義中均使用相同的低級(jí)別結(jié)構(gòu)。矩形結(jié)構(gòu)本身可為用于識(shí)別較復(fù) 雜物體(例如，房屋、公告牌、電視等)的原始結(jié)構(gòu)。
隨著在圖2A說明的皮層處理單元的分級(jí)中向上前進(jìn)，由于識(shí)別的圖案序列的改變頻 率將較低，因此每一后續(xù)層中的皮層處理單元變得較穩(wěn)定。最終，在高級(jí)別處，信息變 得非常穩(wěn)定。舉例來說，在用于識(shí)別視覺物體的人類大腦皮層系統(tǒng)中的高層(例如IT區(qū) 域)中，可始終辨識(shí)一致的視覺圖案(例如，人類面部)，即使其在人的視場(chǎng)各處移動(dòng)因 而產(chǎn)生導(dǎo)致較低區(qū)域(例如VI區(qū)域)中有快速切換的極為不同的視覺輸入信息也是如此。 具體來說，研究表明，只要視場(chǎng)內(nèi)存在人類面部，高級(jí)別(例如IT區(qū)域)中的某些細(xì)胞 就保持激活，即使所述面部在視場(chǎng)各處移動(dòng)也是如此。
皮層算法使用其存儲(chǔ)的記憶進(jìn)行預(yù)測(cè)
此文檔陳述的關(guān)于智能本質(zhì)的核心理論在于，通過進(jìn)行有用預(yù)測(cè)的能力來測(cè)量智能。 智能允許人類(和其它哺乳動(dòng)物)使用累積的關(guān)于世界的知識(shí)以便進(jìn)行關(guān)于世界的預(yù)測(cè)。 僅識(shí)別周圍世界中的不變結(jié)構(gòu)不是非常有用。然而，對(duì)于為了在世界上生存而斗爭(zhēng)的動(dòng) 物來說，使用所述累積的關(guān)于世界的知識(shí)來進(jìn)行關(guān)于所述世界的準(zhǔn)確預(yù)測(cè)是非常有用的 適應(yīng)。當(dāng)實(shí)體可進(jìn)行關(guān)于物體或情形的準(zhǔn)確預(yù)測(cè)時(shí)，那么所述實(shí)體就具有智能，使得所 述實(shí)體可稱為"理解"所述物體或情形。
能夠識(shí)別先前遇到的情形并接著進(jìn)行關(guān)于所述情形的準(zhǔn)確預(yù)測(cè)的動(dòng)物將能較好地生 存和繁衍。舉例來說，先前遇到獅子捕捉并吃掉其它瞪羚的瞪羚可從所述遭遇進(jìn)行學(xué)習(xí)， 使得其可預(yù)測(cè)在獅子周圍徘徊可能會(huì)讓自己?jiǎn)拭?。基于所述預(yù)測(cè)，瞪羚可選擇以防止不
期望的預(yù)測(cè)變?yōu)楝F(xiàn)實(shí)的方式來行動(dòng)一一跑！類似地，具有預(yù)測(cè)能力的動(dòng)物可調(diào)整其行為 以促使有利的預(yù)測(cè)變?yōu)楝F(xiàn)實(shí)。如果動(dòng)物先前在五棵樹一帶遇到過出水的洞，那么這個(gè)動(dòng) 物便可預(yù)測(cè)到這五棵樹的位置還會(huì)找到出水的洞。因此，自然選擇更青睞于具有良好適 合于進(jìn)行準(zhǔn)確預(yù)測(cè)的大腦皮層的動(dòng)物。
如前面部分所述，大腦皮層可能在以分級(jí)形式布置的所有皮層處理單元中使用單一 皮層算法來處理許多不同問題。因此，高級(jí)別皮層處理單元與低級(jí)別皮層處理單元均會(huì) 進(jìn)行預(yù)測(cè)。非常高級(jí)別的皮層處理單元可進(jìn)行復(fù)雜的決定，例如前一段落中呈現(xiàn)的幫助 動(dòng)物生存的決定。然而，即使非常低級(jí)別的皮層處理單元也會(huì)持續(xù)進(jìn)行非常簡(jiǎn)單的預(yù)測(cè)。 人的大腦皮層持續(xù)進(jìn)行許多這種低級(jí)別預(yù)測(cè)，而這個(gè)人并未意識(shí)到所述預(yù)測(cè)。那些低級(jí) 別預(yù)測(cè)通常僅涉及到周圍的低級(jí)別皮層處理單元。(但如果預(yù)測(cè)并不匹配于感覺到的現(xiàn) 實(shí)，那么即使低級(jí)別的預(yù)測(cè)也可能在分級(jí)中上升。)
舉例來說，如果你坐在椅子上，那么耦合到你的觸覺感覺的低級(jí)別皮層處理單元預(yù) 測(cè)只要你一直坐在椅子上，你與椅子接觸的身體將持續(xù)感覺到壓力。此預(yù)測(cè)持續(xù)進(jìn)行， 但通常僅涉及到其它低級(jí)別皮層處理單元，以至于你甚至意識(shí)不到對(duì)你身體的壓力，除 非你進(jìn)行有意識(shí)的努力來檢測(cè)壓力。只要傳入的現(xiàn)實(shí)匹配于預(yù)測(cè)，那么就存在對(duì)情形的 理解。(在此情況下，理解處于非常低的級(jí)別。)
當(dāng)預(yù)測(cè)不能匹配于感覺到的輸入時(shí)，就會(huì)存在混亂，使得關(guān)于失敗預(yù)測(cè)的信息在分 級(jí)中向上移動(dòng)以進(jìn)行額外考慮。因此，如果你坐的椅子突然破裂，導(dǎo)致你掉下來，那么 正在預(yù)測(cè)來自身體接觸的持續(xù)壓力的低級(jí)別皮層處理單元現(xiàn)在將發(fā)信號(hào)通知失敗預(yù)測(cè)。 附近的較高皮層處理單元將不能解決這些失敗預(yù)測(cè)，使得失敗預(yù)測(cè)在皮層處理單元分級(jí) 中快速上升得較高，使得你意識(shí)到你正在跌落。因此，在我們意識(shí)之外，在各個(gè)低級(jí)別 處持續(xù)進(jìn)行許多預(yù)測(cè)。然而，如果分級(jí)中沒有皮層處理單元能夠解決失敗預(yù)測(cè)，那么即 使失敗的低級(jí)別預(yù)測(cè)也可能在分級(jí)中上升，使得我們意識(shí)到問題。
幾乎每個(gè)人都經(jīng)歷過的上升到我們意識(shí)中的失敗低級(jí)別預(yù)測(cè)的最常見實(shí)例之一是-
當(dāng)你正在上樓梯，你的腳在你預(yù)測(cè)本應(yīng)是下一個(gè)臺(tái)階的地方經(jīng)過的卻是平面，此時(shí)你會(huì) 感受到突然的恐慌感覺。你的大腦注意到現(xiàn)實(shí)與預(yù)測(cè)并不匹配，這使得問題在皮層分級(jí) 中快速上升。由于沒有中間皮層處理單元能夠解決此失敗預(yù)測(cè)，因此失敗預(yù)測(cè)一直上升 到你的意識(shí)中，以便使你注意到問題。
我們的大腦可以許多不同方式來適應(yīng)感覺輸入與預(yù)測(cè)現(xiàn)實(shí)之間的失配。如果感官知 覺被認(rèn)為是準(zhǔn)確的但預(yù)測(cè)并不準(zhǔn)確，那么錯(cuò)誤指示大腦的世界模型不準(zhǔn)確。大腦可通過 學(xué)習(xí)來調(diào)節(jié)其現(xiàn)實(shí)模型。因此，在先前實(shí)例中，你可以學(xué)習(xí)到所述組樓梯的臺(tái)階比你先 前預(yù)期的少。
假定皮層處理單元做出預(yù)測(cè)，那么必須確定大腦皮層中的這些皮層處理單元如何能 做出這些預(yù)測(cè)。如先前部分中所述，每一皮層處理單元將圖案序列存儲(chǔ)在記憶體(理論 上為表現(xiàn)世界中結(jié)構(gòu)的圖案序列)中以便以后辨識(shí)。如果傳入的圖案匹配于特定記憶的 序列，那么皮層處理單元會(huì)"辨識(shí)"所述特定序列，并通知較高層中的耦合的處理單元 正觀察到己知的序列。然而，此序列辨識(shí)也可用于做出預(yù)測(cè)。具體來說，如果皮層處理 單元辨識(shí)出其當(dāng)前處于已知的圖案序列中，那么所述皮層處理單元可通過識(shí)別所辨識(shí)圖 案序列中的下一圖案來確定所述處理單元預(yù)期接收的下一圖案。此預(yù)期的下一圖案構(gòu)成 皮層處理單元的預(yù)測(cè)。所述預(yù)測(cè)在我們的大腦中在皮層處理單元分級(jí)的每一級(jí)別處一直 發(fā)生。
皮層處理單元做出的下一圖案預(yù)測(cè)可用作對(duì)所述處理單元的待處理的輸入。舉例來 說，圖2C說明圖2A的皮層分級(jí)，其中皮層處理單元231已做出下一預(yù)期圖案(由虛線 表示)的預(yù)測(cè)，且所述預(yù)測(cè)被傳遞回到皮層處理單元231中作為輸入信息。存在實(shí)現(xiàn)此 結(jié)果的各種不同方式。在一個(gè)實(shí)施例中，預(yù)測(cè)圖案值在被引入輸入流中之前可被延遲。 在"On Intelligence" —書中提出，在人類大腦中丘腦可用于執(zhí)行此種功能。
對(duì)于此種預(yù)測(cè)存在許多用途。 一個(gè)簡(jiǎn)單實(shí)例是皮層處理單元可將其對(duì)將從較低處理 單元接收的下一圖案的預(yù)測(cè)與接收到的實(shí)際圖案進(jìn)行比較。以此方式，皮層處理單元可 能能夠使用圖案預(yù)測(cè)來解決不明確的信息。舉例來說，如果下一圖案非常接近于預(yù)期圖 案，那么皮層處理單元可認(rèn)為下一圖案本來確實(shí)是預(yù)測(cè)圖案，但其可能己經(jīng)被噪聲扭曲。 如果皮層單元假定預(yù)測(cè)圖案確實(shí)是本來要體現(xiàn)的內(nèi)容，那么皮層處理單元將認(rèn)為其仍然 在所辨識(shí)的序列內(nèi)。因此，可將非常類似于預(yù)測(cè)圖案序列的圖案序列有效改變?yōu)樗鲱A(yù) 測(cè)序列。因此，皮層處理單元可通過將實(shí)際上真實(shí)但不明確的輸入(緊密匹配圖案)與 己知的現(xiàn)實(shí)模型(預(yù)期圖案)組合以產(chǎn)生對(duì)現(xiàn)實(shí)的知覺來產(chǎn)生感覺到的現(xiàn)實(shí)。如果預(yù)期 圖案顯著不同于預(yù)期圖案，那么皮層單元可嘗試辨識(shí)不同的已知圖案序列，向較高單元 發(fā)信號(hào)通知所述錯(cuò)誤，向較低單元發(fā)信號(hào)通知所述錯(cuò)誤，或以另一種方式行動(dòng)。
應(yīng)注意到此種使用預(yù)測(cè)信息來解決不明確的輸入信息類似于現(xiàn)有的自聯(lián)想存儲(chǔ)器的 操作。自聯(lián)想存儲(chǔ)器是當(dāng)給出己知圖案或圖案序列的含噪聲或部分型式時(shí)產(chǎn)生已知圖案 或圖案序列的完全清楚型式的存儲(chǔ)器。因此，在自聯(lián)想存儲(chǔ)器中， 一組類似的輸入圖案 或圖案序列將全部檢索和輸出相同的輸出圖案或圖案序列。這是人類可不費(fèi)力地完成的 一種形式的普遍化。然而，如果輸入圖案被以明顯方式移位、旋轉(zhuǎn)、縮放或以其它方式 扭曲，那么多數(shù)自聯(lián)想存儲(chǔ)器系統(tǒng)將失效。
人類記憶常常與自聯(lián)想存儲(chǔ)器一樣通過其本身內(nèi)容而聯(lián)系在一起。舉例來說，如果 你希望回想關(guān)于你很久以前居住的房屋的信息，你可能希望觀看所述房屋的照片來"準(zhǔn) 備好"你的記憶(照片是整個(gè)房屋記憶的部分輸入)。 一旦看見房屋的照片，可產(chǎn)生大量 關(guān)于所述房屋的記憶(房屋記憶的完全清楚的型式)。因此，使用房屋本身來處理對(duì)房屋 的記憶，這就是自聯(lián)想存儲(chǔ)器這一術(shù)語的來歷。
自聯(lián)想存儲(chǔ)器可用于存儲(chǔ)圖案序列。為將圖案序列存儲(chǔ)在自聯(lián)想存儲(chǔ)器中，可使當(dāng) 前輸入圖案與前一輸入圖案相關(guān)聯(lián)，接著使下一輸入圖案與當(dāng)前輸入圖案相關(guān)聯(lián)，等等。 接著，將自聯(lián)想存儲(chǔ)器的輸出耦合到自聯(lián)想存儲(chǔ)器的輸入。以此方式，當(dāng)用與序列中第 一圖案相關(guān)聯(lián)的空間圖案準(zhǔn)備好自聯(lián)想存儲(chǔ)器時(shí)，將回想出整個(gè)序列。
自聯(lián)想存儲(chǔ)器可用于構(gòu)造本發(fā)明的皮層分級(jí)的原始型式。舉例來說，自聯(lián)想存儲(chǔ)器 裝置可布置成分級(jí)布置，其中來自低級(jí)別自聯(lián)想存儲(chǔ)器的輸出耦合到具有某種額外電路 的較高自聯(lián)想存儲(chǔ)器的輸入。在此類系統(tǒng)中，自聯(lián)想存儲(chǔ)器存儲(chǔ)、辨識(shí)和回想早先提到 的圖案序列。需要額外電路來將輸出序列轉(zhuǎn)變?yōu)閷⒈惶峁┑较乱惠^高層自聯(lián)想存儲(chǔ)器的 輸出序列的名稱。
回到由皮層處理單元做出的下一圖案預(yù)測(cè)，下一圖案預(yù)測(cè)也可在不同的皮層處理單 元之間傳遞。圖2A說明不同的分級(jí)層，其中有信息向上流動(dòng)且也有信息向下流動(dòng)。如早 先陳述，每一個(gè)別皮層處理單元嘗試識(shí)別其輸入流中的不變結(jié)構(gòu)。當(dāng)處理單元辨識(shí)出記 憶的圖案序列時(shí)，關(guān)于所述辨識(shí)的信息(用于所辨識(shí)序列的識(shí)別符)向上傳遞到下一較 高皮層單元層。此外，關(guān)于失敗預(yù)測(cè)的信息可向上流動(dòng)。向下信息流可包含由分級(jí)中較 高皮層處理單元做出的到達(dá)較低的較高皮層處理單元的下一圖案預(yù)測(cè)。
圖2D清楚說明此預(yù)測(cè)信息向下流動(dòng)的概念實(shí)例。具體來說，皮層處理單元231做出 預(yù)測(cè)(由虛線表示)，所述預(yù)測(cè)傳遞到耦合到皮層處理單元231的較低皮層層中的兩個(gè)皮 層處理單元(221和222)。
每一皮層處理單元記憶所述皮層處理單元在其輸入上接收的圖案序列。所述輸入實(shí) 際上是來自較低層中皮層處理單元的所辨識(shí)序列的識(shí)別符。當(dāng)上部皮層處理單元辨識(shí)出 其當(dāng)前處在所記憶的圖案序列內(nèi)時(shí)，那么皮層處理單元可預(yù)測(cè)其當(dāng)前接收的序列中的下 一圖案。如果所述預(yù)測(cè)圖案?jìng)鬟f到下方分級(jí)層中的皮層處理單元，那么所述預(yù)測(cè)圖案表 示預(yù)期來自較低皮層處理單元的下一圖案序列。因此，較低皮層處理單元接收關(guān)于其將 可能遇到的下一預(yù)測(cè)圖案序列的預(yù)測(cè)。
此類關(guān)于下一預(yù)期序列的預(yù)測(cè)可幫助皮層處理單元解決圖案序列級(jí)別上的不明確 性。皮層處理單元可能不能將新傳入的圖案序列匹配于任何存儲(chǔ)的圖案序列。或更糟的 是，傳入的圖案序列可能緊密類似于兩個(gè)不同的存儲(chǔ)的圖案序列。為確定如何適當(dāng)?shù)貙?duì) 此不明確的當(dāng)前傳入圖案序列進(jìn)行分類，皮層處理單元可考慮從較高皮層處理單元接收 的預(yù)測(cè)信息。因此，如果皮層處理單元不能確定當(dāng)前圖案序列是匹配于記憶的序列A還 是記憶的序列B一，且較高級(jí)別皮層處理單元預(yù)測(cè)其將接收序列B，那么皮層處理單元可 使用來自較高皮層處理單元的預(yù)測(cè)來解決這種不明確的情況且因此選擇序列B。
此種既在個(gè)別皮層處理單元內(nèi)又在耦合的皮層處理單元之間產(chǎn)生預(yù)測(cè)的復(fù)雜預(yù)測(cè)系 統(tǒng)產(chǎn)生以協(xié)調(diào)方式在整個(gè)分級(jí)中操作的復(fù)雜的預(yù)測(cè)系統(tǒng)。具體來說，分級(jí)中的每個(gè)皮層 處理單元可使用其本身的記憶體來預(yù)測(cè)當(dāng)前辨識(shí)的圖案序列中將接收的下一圖案。且分
級(jí)中的每個(gè)皮層處理單元可將所述預(yù)測(cè)的下一圖案向下傳遞到較低的連接的皮層處理單 元。皮層處理單元可使用從較高皮層處理單元接收的預(yù)測(cè)來預(yù)測(cè)將接收的下一圖案序列。
只要每一圖案或圖案序列預(yù)測(cè)匹配于接收的輸入，事情就會(huì)順利進(jìn)行。且可使用預(yù) 測(cè)來解決不明確的圖案或圖案序列。但當(dāng)預(yù)測(cè)明顯錯(cuò)誤時(shí)，錯(cuò)誤信號(hào)或預(yù)期外的輸入在 皮層分級(jí)中向上傳播。如果分級(jí)中上方較高的皮層處理單元能夠解決問題，那么正確信 息將從所述皮層處理單元向下流回分級(jí)。如果問題一直傳播到分級(jí)的"頂部"，那么可能 需要發(fā)生某種新的學(xué)習(xí)，以便將來處理新情形。
如本文檔的早先部分中所述，皮層處理單元的分級(jí)學(xué)習(xí)到的不變結(jié)構(gòu)的集體記憶包 括周圍世界的不變表示模型。通過使用存儲(chǔ)在記憶體中的周圍世界的不變表示模型組合 來自感覺器官的傳入圖案序列和所有皮層處理單元持續(xù)做出的序列和圖案預(yù)測(cè)，我們的 大腦皮層產(chǎn)生對(duì)現(xiàn)實(shí)的完全知覺。因此，我們對(duì)"現(xiàn)實(shí)"的理解不僅是我們可用我們的 感覺在任何特定時(shí)刻檢測(cè)到的東西。而是，用感覺到的信息(來自我們的感覺器官)和 從記憶中回想的信息(我們的世界模型)兩者來產(chǎn)生我們對(duì)現(xiàn)實(shí)的知覺。(實(shí)際上，我們 對(duì)現(xiàn)實(shí)的知覺的大部分可能來自記憶。)
此種感覺到的信息與記憶的信息的組合是非常有用的，因?yàn)閱螒{我們的個(gè)別感覺器 官不會(huì)提供足夠的信息來完全理解周圍世界。只有感覺信息與從記憶中回想的信息組合 從而可做出準(zhǔn)確預(yù)測(cè)，才會(huì)導(dǎo)致對(duì)周圍世界的真實(shí)理解。從周圍世界推斷并存儲(chǔ)在記憶 體中的結(jié)構(gòu)越不變，關(guān)于所述周圍世界可做出的預(yù)測(cè)就越準(zhǔn)確。且因此，關(guān)于所述周圍 世界可做出的預(yù)測(cè)越準(zhǔn)確，就越了解外部世界。
有許多實(shí)例可以說明我們的大腦皮層如何組合感覺輸入與我們?cè)谟洃浿械氖澜缒Ｐ?來產(chǎn)生對(duì)現(xiàn)實(shí)的完全知覺。舉例來說，眾所周知，人們?cè)诘湫偷膶?duì)話中并非總能聽見另 一個(gè)人說的每個(gè)字。然而，我們?cè)跊]聽見一個(gè)字時(shí)可預(yù)測(cè)出合理的正確的字的能力使得 我們能夠在沒有聽到所有字的情況下理解另一個(gè)人說的話。這僅在一個(gè)人語言十分流利 時(shí)才會(huì)發(fā)生。在變得流利之前，學(xué)習(xí)語言的人將常常需要說話者放慢他的說話速度并明 示每個(gè)字。當(dāng)閱讀難以閱讀的筆跡時(shí)會(huì)發(fā)生類似類型的預(yù)測(cè)。具體來說，我們學(xué)習(xí)到的 句子結(jié)構(gòu)、語法、正在討論的素材和其它記憶的信息的知識(shí)使得我們能夠解譯單獨(dú)呈現(xiàn) 的情況下無法解譯的手寫字。
組合感覺信息與記憶的信息的一個(gè)非常有意思的實(shí)例是與我們眼睛中的盲點(diǎn)一起發(fā) 生的。我們的眼睛有"盲點(diǎn)"，在此處，視覺神經(jīng)與眼球的后部耦合。因?yàn)樵谝曈X神經(jīng)耦 合到眼球的視網(wǎng)膜位置上沒有光檢測(cè)細(xì)胞，所以存在盲點(diǎn)。僅當(dāng)一只眼睛閉上時(shí)此盲點(diǎn)
才會(huì)完全存在，因?yàn)橥ǔＡ硪恢谎劬?huì)覆蓋含有眼睛盲點(diǎn)的視場(chǎng)。但即使當(dāng)人僅睜開一 只眼睛時(shí)，這個(gè)人也不會(huì)注意到其視場(chǎng)中的張口狀孔。實(shí)際上，人們必須做出協(xié)同的努 力以便甚至在僅用一只眼睛觀看時(shí)也能意識(shí)到盲點(diǎn)。這如何才變?yōu)榭赡苣兀?br> 盲點(diǎn)不容易檢測(cè)的原因在于我們的大腦組合感覺的視覺信息與預(yù)測(cè)的視覺信息，使 得來自盲點(diǎn)的孔被"填充"以產(chǎn)生完全的視覺知覺。具體來說，大腦用來自周圍視覺場(chǎng) 景的信息填充孔，并做出智能預(yù)測(cè)來填充孔。如果盲點(diǎn)孔在地毯的圖案內(nèi)，那么將使用 所述地毯圖案來填充孔。如果直線通過盲點(diǎn)，那么直線段將被填入盲點(diǎn)，以便使直線完 整。由于我們的大腦因長(zhǎng)年的學(xué)習(xí)而非常善于做出關(guān)于我們周圍的預(yù)測(cè)，因此預(yù)測(cè)信息 表現(xiàn)為與實(shí)際感覺的信息一樣真實(shí)。因此，你真的不能總是相信你所"看見"的。
皮層算法根據(jù)不變表示和輸入數(shù)據(jù)做出預(yù)測(cè)
沿皮層分級(jí)向下流動(dòng)的反饋或信息提供許多功能。如早先所述，反饋信息可用于解 決不明確的輸入數(shù)據(jù)。但反饋數(shù)據(jù)也用于其它非常重要的功能。
可能需要反饋信息來進(jìn)行學(xué)習(xí)。在大腦皮層的每個(gè)皮層處理單元和區(qū)域?qū)W習(xí)圖案序 列時(shí)，所述大腦皮層的皮層處理單元或區(qū)域在由大腦皮層的下一較高的皮層處理單元或 區(qū)域提供的特定上下文中學(xué)習(xí)序列。所述上下文指定大腦皮層的較高皮層處理單元或區(qū) 域的狀態(tài)?？蓪⑺錾舷挛闹付橛伤龃竽X皮層的較高皮層處理單元或區(qū)域正經(jīng)歷的 序列的當(dāng)前元素。此上下文反饋信息提供用于大腦皮層的皮層處理單元或區(qū)域?qū)⑵漭斎?圖案適當(dāng)組合在一起的方式。
來自較高層的反饋信息的另一個(gè)非常重要的用途是提供使用不變表示來執(zhí)行特定預(yù) 測(cè)的能力。當(dāng)高級(jí)別圖案在分級(jí)中朝向輸入向下移動(dòng)時(shí)，發(fā)生基于不變表示的預(yù)測(cè)。此 種預(yù)測(cè)以兩種不同的方式發(fā)生。當(dāng)系統(tǒng)預(yù)測(cè)仍未發(fā)生的事時(shí)發(fā)生第一種方式。舉例來說， 我們的大腦皮層允許我們?cè)谝皇赘璧南乱灰舴l(fā)生之前預(yù)測(cè)(和聽見)這個(gè)音符。當(dāng)系 統(tǒng)在正在發(fā)生的事中填充失去的信息時(shí)發(fā)生另一種不變表示類型的預(yù)測(cè)。舉例來說，我 們的大腦皮層填充視覺圖像中失去的或被遮蔽的部分，如先前參考盲點(diǎn)所描述。
在這兩種情境中，系統(tǒng)在做出期望的特定預(yù)測(cè)時(shí)存在挑戰(zhàn)。所呈現(xiàn)的挑戰(zhàn)在于在皮 層分級(jí)中較高位置的圖案具有不變的形式。所述不變的形式缺少細(xì)節(jié)來產(chǎn)生精確且與當(dāng) 前情形相關(guān)的預(yù)測(cè)。但理想上，系統(tǒng)應(yīng)該產(chǎn)生盡可能精確的預(yù)測(cè)。因此，不變表示必須 與某種特定的前饋信息組合以做出特定預(yù)測(cè)。
一對(duì)實(shí)例將說明此概念。想象一下你預(yù)計(jì)會(huì)看見一只狗(也許你聽到狗叫聲)。在大 腦皮層的視覺處理區(qū)域中的高級(jí)別IT區(qū)域中，大腦皮層知道其應(yīng)該表示"狗"。然而，
沒有任何額外的當(dāng)前信息，大腦皮層的IT區(qū)域不能預(yù)測(cè)你將看見什么類型的狗、狗將在 哪里以及將在什么位置看見狗。然而，如果你已經(jīng)看見狗的一部分(例如，腳或尾巴)， 那么大腦皮層可使用此部分前饋信息來幫助預(yù)測(cè)狗的其余部分將在哪里以及狗看上去什 么樣。類似地，如果你預(yù)計(jì)會(huì)聽見一首歌中的特定音符間隔，例如升高的八度音階，那 么在沒有額外信息的情況下沒有方法來確定精確的下一音符是什么。然而，如果你的大 腦皮層能夠?qū)⒋?不變的"上升八度音階預(yù)測(cè)與聽見的最后一個(gè)音符組合在一起，那么 大腦皮層將能夠精確預(yù)測(cè)將聽見的下一音符。
如上文陳述，不變表示必須與某種前饋信息組合以便產(chǎn)生特定預(yù)測(cè)。進(jìn)行此種做法 的一般方法如下。在前饋輸入從下方單元到達(dá)記憶體分級(jí)中的一皮層處理單元或區(qū)域時(shí)， 可組合所述前饋輸入以形成空間圖案。作為學(xué)習(xí)過程的一部分，此空間圖案必須被存儲(chǔ) 為正向下饋送到此皮層處理單元或區(qū)域的任何較高級(jí)別上下文信息的一種類型的實(shí)例。 在不同的前饋輸入(組合為空間圖案)到達(dá)時(shí)，將前饋輸入(空間圖案)存儲(chǔ)為在該時(shí) 刻提供的不同較高級(jí)別上下文的一部分。舉例來說，皮層單元或大腦皮層區(qū)域可經(jīng)歷以 下學(xué)習(xí)圖案A(前饋輸入圖案)是狗(上下文)，圖案B是狗，圖案C是貓且圖案D 是貓。這些A、 B、 C和D圖案是為未來參考而學(xué)習(xí)的不變表示的組成部分。
以后在辨識(shí)期間使用存儲(chǔ)的圖案。舉例來說，當(dāng)?shù)竭_(dá)皮層單元或大腦皮層區(qū)域的反 饋信息指定看見狗的預(yù)期，那么皮層單元或大腦皮層區(qū)域部分地調(diào)用存儲(chǔ)在"狗"的上 下文中的所有存儲(chǔ)的圖案。在前一段落的實(shí)例中，皮層單元或大腦皮層區(qū)域?qū)⒉糠值卣{(diào) 用圖案A和B，因?yàn)檫@些圖案存儲(chǔ)在"狗"的上下文中。為完成預(yù)測(cè)過程，部分調(diào)用的 不變表示必須與當(dāng)前信息組合。因此，到達(dá)皮層單元或大腦皮層區(qū)域的部分前饋輸入將 首選匹配于圖案A或圖案B，使得前饋輸入與其匹配圖案的組合導(dǎo)致精確的預(yù)測(cè)。所述 預(yù)測(cè)是通過將前饋輸入與已知的"狗"上下文的實(shí)例組合而產(chǎn)生的特定預(yù)測(cè)(圖案A或 圖案B)。
"On Intelligence" —書陳述可在人類大腦皮層內(nèi)使用的一種機(jī)制的細(xì)節(jié)。此機(jī)制使 用稀疏分布的空間圖案。在所描述的機(jī)制中，在六層大腦皮層列中的第2層細(xì)胞是所有 相關(guān)不變表示圖案的超集。來自上方的反饋信息激活第2層中的不變表示，且激活的第 2層細(xì)胞發(fā)信號(hào)到同一列中的第6層細(xì)胞。來自下方的表示當(dāng)前情形的前饋輸入信息提 供到與前饋信息相關(guān)的列的第6層。發(fā)信號(hào)到第6層的反饋產(chǎn)生的第2層細(xì)胞活動(dòng)與第 6層中的前饋活動(dòng)的交叉點(diǎn)確定特定預(yù)測(cè)。
在其它系統(tǒng)中存在許多執(zhí)行相同功能的其它方法。構(gòu)造系統(tǒng)的要求是相對(duì)簡(jiǎn)單的。
首先，系統(tǒng)必須具有對(duì)多個(gè)不同物體(不同的上下文)的多個(gè)不同表示。多個(gè)不同表示 中的每一者必須與特定類型的前饋(或輸入)信息相關(guān)聯(lián)，使得前饋信息將部分地激活 表示。指定特定上下文(物體)的前饋信息必須能夠部分激活與所述上下文(物體)相 關(guān)聯(lián)的不同表示。部分地由反饋信息激活且部分地由前饋信息激活的任何表示被視為完 全激活。在此系統(tǒng)中，可通過用反饋信息指定特定上下文(以部分激活相關(guān)的一組表示) 并指定當(dāng)前前饋輸入信息(以部分激活與前饋信息有關(guān)的表示)使得完全激活的表示作 為預(yù)測(cè)而產(chǎn)生，來做出特定預(yù)測(cè)。預(yù)測(cè)接著可在分級(jí)中向下流動(dòng)。
最初，這可能看起來是非常不切實(shí)際的操作方法，因?yàn)榇嬖谖矬w可表現(xiàn)的接近無限 數(shù)目的可能方式(不同表示)。如果嘗試存儲(chǔ)表示每一可能輸入的不同圖案，那么這將需 要無法想象的大量記憶體。但如先前部分中陳述，分級(jí)記憶體組織在表示非常大量的不 同事物方面是非常有效的，使得此明顯的限制可被克服。本質(zhì)上，記憶體分級(jí)的較低區(qū) 域形成在許多較高級(jí)別物體表示之間共享的較低級(jí)別基元的表示。這急劇減少了表示非 常大量的不同物件所需的記憶體量。
智能機(jī)器架構(gòu)
為構(gòu)造復(fù)雜的存儲(chǔ)器系統(tǒng)或智能機(jī)器，本發(fā)明提出使用先前部分中陳述的人類大腦 的架構(gòu)和運(yùn)作理論的各方面作為藍(lán)本，以便創(chuàng)建復(fù)雜的存儲(chǔ)器系統(tǒng)和智能機(jī)器。通過嘗 試仿效從通過進(jìn)化而磨礪出的復(fù)雜智能系統(tǒng)(人類大腦皮層)推斷的重要方面，可實(shí)現(xiàn) 人工智能領(lǐng)域中的顯著進(jìn)步。此方法避免了當(dāng)前主要兩種人工智能方法的缺陷。
前一部分的分段陳述了已從哺乳動(dòng)物大腦皮層推導(dǎo)出的主要原理。具體來說
1. 感覺輸入包括圖案序列
2. 大腦皮層對(duì)于許多不同問題使用單一 "皮層算法"
3. 大腦皮層是以分級(jí)方式組織的
4. 皮層算法將結(jié)構(gòu)存儲(chǔ)在記憶體中以便以后辨識(shí)
5. 皮層算法使用其存儲(chǔ)的記憶做出預(yù)測(cè)
6. 皮層算法根據(jù)不變表示和輸入數(shù)據(jù)做出預(yù)測(cè)
通過使用這六個(gè)原理，可構(gòu)造各種不同的復(fù)雜存儲(chǔ)器系統(tǒng)并最終構(gòu)造出智能機(jī)器。 并非所有這些不同原理都必須在使用本發(fā)明教示的每個(gè)實(shí)施例中使用?？赏ㄟ^將這些教
示中的僅幾個(gè)教示組合在一起來產(chǎn)生許多有用系統(tǒng)。
智能系統(tǒng)可包括布置成分級(jí)結(jié)構(gòu)的多個(gè)個(gè)別皮層處理單元。每一個(gè)別皮層處理單元 接收?qǐng)D案序列作為輸入。每一皮層處理單元處理接收的輸入圖案序列并輸出另一圖案。
在皮層處理單元處理處理若干輸入序列時(shí)，其將在其將傳遞到較高層中的皮層處理單元 的輸出上產(chǎn)生經(jīng)處理的圖案序列。
每一個(gè)別皮層處理單元包含用于幫助處理輸入圖案序列的存儲(chǔ)器。所述存儲(chǔ)器可包 括先前遇到的含有不變結(jié)構(gòu)的圖案序列。如果輸入圖案序列是重復(fù)的，那么可認(rèn)為所述 圖案序列含有結(jié)構(gòu)。個(gè)別皮層處理單元可使用存儲(chǔ)的圖案序列，以便"辨識(shí)"輸入流中 的這種序列。
當(dāng)皮層處理單元辨識(shí)出先前遇到的圖案序列時(shí)，皮層處理單元可將此辨識(shí)報(bào)告給較 高層皮層處理單元。對(duì)較高層的輸出可包括傳入圖案序列中所辨識(shí)圖案序列的識(shí)別符。 含有所辨識(shí)序列的識(shí)別符的輸出流本身包括圖案序列。所述輸出圖案流可包括對(duì)下一較 高皮層處理單元層中皮層處理單元的輸入。
皮層處理單元也可使用記憶的圖案序列，以便做出關(guān)于傳入序列的預(yù)測(cè)，以便解決 不明確的信息。具體來說，當(dāng)皮層處理單元確定其當(dāng)前正接收已知序列，那么皮層處理 單元可預(yù)測(cè)序列中將接收的下一圖案。處理單元可使用預(yù)測(cè)來解釋接收到的下一圖案。 舉例來說，如果進(jìn)入皮層處理單元的輸入流是不明確的，那么所述皮層處理單元可使用 預(yù)測(cè)圖案來幫助識(shí)別下一輸入圖案。
皮層處理單元可進(jìn)一步將預(yù)測(cè)的下一圖案向下提供到接下來的較低皮層處理單元。 較低皮層處理單元可將此解釋為其將輸出的下一序列的預(yù)測(cè)。此預(yù)測(cè)信息可包括幫助較 低皮層處理單元層正確識(shí)別下一序列的信息。
也可將預(yù)測(cè)信息視為對(duì)外部世界中將發(fā)生事情的有用預(yù)測(cè)。而且如果傳入的圖案明 顯不同于預(yù)測(cè)圖案或者傳入的圖案序列明顯不同于預(yù)測(cè)的圖案序列，那么就存在預(yù)測(cè)失 敗。預(yù)測(cè)失敗的發(fā)生可傳輸?shù)捷^高層中的皮層處理單元。較高層中的皮層處理單元可能 能夠解決錯(cuò)誤。可以用許多不同方法解決檢測(cè)到的錯(cuò)誤。解決錯(cuò)誤的一種方法是通過存 儲(chǔ)新的圖案序列來調(diào)整皮層分級(jí)的世界模型。
一種視覺圖案辨識(shí)實(shí)施方案
先前部分已經(jīng)描述一種具有存儲(chǔ)序列并對(duì)未來事件做出預(yù)測(cè)的分級(jí)的系統(tǒng)。然而， 類似于人類視覺系統(tǒng)，所述系統(tǒng)可用于解決空間辨識(shí)問題。此部分提出原型程序的一個(gè) 示范性實(shí)施例，其使用先前部分的教示來通過首先學(xué)習(xí)物體圖案來辨識(shí)視覺物體圖案。 如計(jì)算機(jī)領(lǐng)域的技術(shù)人員所知，存在許多方法來實(shí)施本文檔的先前部分中提出的方法和 架構(gòu)。然而，用充足的細(xì)節(jié)陳述操作的原理和架構(gòu)，使得可創(chuàng)建并入本文檔教示的許多 不同系統(tǒng)。
原型圖案辨識(shí)程序構(gòu)造為皮層處理單元的分級(jí)，其分析由線圖組成的輸入訓(xùn)練信息 以便識(shí)別所述訓(xùn)練信息內(nèi)的結(jié)構(gòu)。還向原型程序告知訓(xùn)練信息中某些信息中的物體名稱, 使得原型程序可使特定學(xué)習(xí)的結(jié)構(gòu)與特定物體名稱相關(guān)聯(lián)。在原型程序完成其學(xué)習(xí)階段 之后，原型程序接著可使用學(xué)習(xí)的信息準(zhǔn)確辨識(shí)新輸入數(shù)據(jù)中的物體。
在此示范性原型圖案辨識(shí)程序中，原型程序的分級(jí)處理單元接收作為動(dòng)畫形式的連 續(xù)流呈現(xiàn)的圖案信息。因此，圖案序列被呈現(xiàn)到原型程序并由其學(xué)習(xí)。原型程序接著使 用學(xué)習(xí)的信息來產(chǎn)生關(guān)于外部世界的概率模型。接著使用概率模型來使用此項(xiàng)技術(shù)中眾 所周知的貝葉斯可信度傳播來辨識(shí)新圖案數(shù)據(jù)中的物體。關(guān)于貝葉斯可信度傳播的清楚 細(xì)節(jié)可在Morgan Kaufman Publishers, Inc的Judea Pearl的"Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference"—書中找到。然而，并入本發(fā)明教示 的其它實(shí)施方案可以不同方式處理學(xué)習(xí)的信息，且可使用其它推斷最終結(jié)果的方法。
所處理的視覺圖案辨識(shí)問題
原型程序所處理的視覺圖案辨識(shí)問題用計(jì)算機(jī)軟件實(shí)施本發(fā)明的分級(jí)架構(gòu)。為了使 得軟件的大小、所需存儲(chǔ)器的量和原型程序的處理要求一直受到控制以及為了快速產(chǎn)生 起作用的原型，根據(jù)本發(fā)明的理想實(shí)施方案進(jìn)行一些簡(jiǎn)化。
此外，將原型程序的視覺圖案世界限制于小的像素柵格。具體來說，圖3A說明構(gòu)成 原型程序的有限視覺世界的黑或白像素的32乘32柵格。然而，32乘32黑或白像素柵 格呈現(xiàn)充足的空間來產(chǎn)生多個(gè)線圖和所述線圖的應(yīng)被識(shí)別為屬于同一群組的緊密相關(guān)的 型式。在圖8中呈現(xiàn)在32乘32黑和白像素柵格中產(chǎn)生的某些線圖的實(shí)例。
用于視覺圖案辨識(shí)問題的感覺輸入
原型程序中的皮層處理單元的分級(jí)布置首先在學(xué)習(xí)階段期間且接著在圖案辨識(shí)階段 期間分析整個(gè)32乘32像素柵格。在原型程序的示范性實(shí)施例中，最低級(jí)別的皮層處理 單元各處理來自4乘4像素片的輸入圖案序列。圖3B說明被劃分為一組4乘4像素片的 32乘32像素柵格。每一個(gè)別的4乘4像素片通過其本身的第一級(jí)別皮層處理單元來分 析。圖3B中說明有64個(gè)個(gè)別的4乘4像素片，使得分級(jí)的第一皮層處理單元層將具有 64個(gè)皮層處理單元。
片310說明從完整的32乘32像素柵格中取出的示范性4乘4像素片?？墒褂脠D3B 的柵格上說明的行和列的編號(hào)來為每一像素片定址。完整的地址還應(yīng)包含皮層處理單元 分級(jí)層中的層的識(shí)別符。在此實(shí)例中，最低的分級(jí)層將被認(rèn)為是層"X"。因此，示范性 片的地址可給定為X17,其中第一個(gè)字符指定皮層單元層，第二字符指定行，且第三字
符指定列。
皮層處理單元分級(jí)
在下一較高皮層單元層中，分配每一皮層處理單元以考査由四個(gè)相鄰皮層處理單元 產(chǎn)生的圖案序列。具體來說，圖3C說明柵格上由第二皮層層的16個(gè)皮層處理單元考查 的16個(gè)4乘4像素片的群組。關(guān)于較低層X，可使用行和列指數(shù)來為圖3C的16個(gè)片(及 其各自的皮層處理單元)定址。因此，如果將第二層指定為層Y，那么角落片320可被 定址為Y03,其中Y是層，0是行，且3是列。
將以類似方式實(shí)施連續(xù)的皮層處理單元層。圖4說明用于圖3A到3C說明的32乘 32像素柵格的皮層處理單元分級(jí)的一種可能實(shí)例。在圖4的分級(jí)實(shí)例中，第三層具有四 個(gè)皮層處理單元，其中每一處理單元處理來自第二層中四個(gè)皮層處理單元的數(shù)據(jù)。第四 皮層處理單元層由兩個(gè)皮層處理單元組成，其中每一者考慮來自第三層中兩個(gè)皮層處理 單元的輸出。最后，第五(頂部)皮層處理單元層處理來自第四層的兩個(gè)皮層處理單元 的輸出。
應(yīng)注意，圖4中分級(jí)的連續(xù)較高層中的皮層處理單元處理來自下方層中一個(gè)以上皮 層處理單元的信息。因此，隨著在皮層處理單元的分級(jí)中上升，連續(xù)較高皮層處理單元 的接納場(chǎng)變大。將此設(shè)計(jì)為類似于以類似方式運(yùn)作的人類大腦皮層的視覺系統(tǒng)。
應(yīng)注意，圖4僅呈現(xiàn)針對(duì)圖案辨識(shí)問題的一種任意選擇的分級(jí)布置。可產(chǎn)生許多其 它分級(jí)布置。舉例來說，圖4的分級(jí)的最低層中的處理單元每一者考慮由4乘4像素片 中的16個(gè)像素組成的輸入。但可使用許多其它的感覺輸入劃分，例如使最低層上的皮層 單元僅考慮來自2乘2像素片中四個(gè)像素的輸入。相同的原理適用于分級(jí)中所有不同的 皮層處理單元層。舉例來說，第三層430上的皮層處理單元可考慮來自第二層中五個(gè)或 六個(gè)皮層處理單元的輸出。在另一實(shí)施例中，第三層430上的皮層處理單元每一者可僅 考慮來自較低第二層中四個(gè)處理單元的輸出。
在原型程序中，構(gòu)造較小的皮層處理單元分級(jí)。圖5A說明用于構(gòu)造原型程序的皮層 分級(jí)架構(gòu)。如圖5A所說明，最低皮層處理單元層(X層510)具有64個(gè)皮層處理單元， 用于處理來自如圖3B陳述的個(gè)別4乘4像素片中的32乘32像素柵格的感覺輸入。第二 皮層處理單元層(Y層520)具有16個(gè)皮層處理單元，其中每一皮層處理單元處理來自 如圖3C陳述的X層510中的四個(gè)皮層處理單元的輸出。最后，在圖5A的原型程序分級(jí) 中，單個(gè)皮層處理單元構(gòu)成頂部層，即Z層530。 Z層530上的單個(gè)處理單元處理來自Y 層520上所有16個(gè)皮層處理單元的輸出。
圖6說明圖5A的皮層處理單元分級(jí)的替代視圖。在圖6的替代視圖中，使用參看圖 3B和3C陳述的定址系統(tǒng)，用地址來標(biāo)記皮層處理單元中的每一者。 用于訓(xùn)練的視覺圖案
為訓(xùn)練原型程序，向原型程序呈現(xiàn)一組線圖形狀。圖8說明用于訓(xùn)練原型程序的示 范性的一組90個(gè)訓(xùn)練形狀。圖8的線圖形狀以動(dòng)畫的形式呈現(xiàn)到原型程序，所述動(dòng)畫形 式使線圖訓(xùn)練形狀在32乘32像素世界中各處移動(dòng)。此訓(xùn)練允許原型程序?qū)W習(xí)圖8中構(gòu) 成原型程序的世界的各種幾何形狀，和所述幾何形狀在其有限的視覺世界中的移動(dòng)。
無監(jiān)督訓(xùn)練
在初始訓(xùn)練期間，原型程序的皮層處理單元每一者記憶遇到的最頻繁發(fā)生的圖案序 列。舉例來說，原型程序的最低X層510中的皮層處理單元記憶在其局部的4乘4像素 片上遇到的最頻繁發(fā)生的圖案序列。在原型程序的一個(gè)實(shí)施例中，最低X層510中的皮 層處理單元記憶四個(gè)連續(xù)圖案的序列。在Y層和Z層也發(fā)生類似的圖案序列學(xué)習(xí)。此無 監(jiān)督的學(xué)習(xí)允許原型程序?qū)W習(xí)構(gòu)成其世界的各種原始結(jié)構(gòu)。
起初用以后將辨識(shí)的特定物體的動(dòng)畫來執(zhí)行無監(jiān)督的訓(xùn)練。舉例來說，無監(jiān)督的訓(xùn) 練可能已經(jīng)使用圖8中的字母線圖。然而，另一無監(jiān)督訓(xùn)練會(huì)話使用不包含系統(tǒng)以后將 嘗試辨識(shí)的任何形狀的一組形狀。發(fā)現(xiàn)只要訓(xùn)練中使用的線圖包含存在于將辨識(shí)的線圖 (例如字母)中的相同低級(jí)別原始結(jié)構(gòu)，那么此沒有字母的無監(jiān)督的訓(xùn)練良好地起作用。 字母形式的低級(jí)別原始結(jié)構(gòu)包含例如垂直線、水平線、角、框和平行線的結(jié)構(gòu)。因此， 立即可見，分級(jí)布置學(xué)習(xí)了始終存在于其世界中的低級(jí)別原始結(jié)構(gòu)。原型程序接著以各 種方式組合低級(jí)別結(jié)構(gòu)以產(chǎn)生許多不同較高級(jí)別物體的表示。
圖9說明皮層處理單元分級(jí)的最低層(X層510)的皮層處理單元可見的四個(gè)連續(xù)4 乘4像素圖案的八種不同的可能序列。四個(gè)水平的圖案序列S^ S2、 S3和S4表示在無監(jiān) 督訓(xùn)練的動(dòng)畫期間通常遇到的四個(gè)圖案序列。S,和S2分別描繪向右移動(dòng)的垂直線和向上 移動(dòng)的水平線。S3和S4分別描繪左下角和右上角的運(yùn)動(dòng)。四個(gè)垂直圖案序列S5、 S6、 S7
和Ss描繪從不(或者幾乎從不)發(fā)生的非常隨機(jī)的圖案序列。因此，頻繁發(fā)生的(重復(fù) 的)圖案序列(例如，S" S2、 Ss和S4的圖案序列)和其它頻繁發(fā)生的序列由最低X層 510皮層處理單元記憶為含有不變結(jié)構(gòu)的序列。
在一個(gè)實(shí)施例中，僅將13個(gè)最頻繁發(fā)生的圖案序列存儲(chǔ)在X層510中的皮層處理單 元的存儲(chǔ)器中。對(duì)記憶的頻繁發(fā)生的圖案序列的每一者給定唯一的識(shí)別符。在一個(gè)實(shí)施 例中，不同的記憶的序列中的每一者是非常不同的，使得X層510皮層處理單元可立即
辨識(shí)出正經(jīng)歷哪個(gè)記憶的序列。(序列沒有或幾乎沒有共享的圖案。)
將所辨識(shí)的圖案序列的識(shí)別符向上傳遞到下一皮層處理單元的層，圖5A的Y層520。 如圖5A的特定分級(jí)布置所說明，Y層520中的每一皮層處理單元接收來自較低X層510 中的四個(gè)皮層處理單元的信息。將來自四個(gè)X層單元的四個(gè)序列識(shí)別符組合以形成由Y 層520中的皮層處理單元接收的空間圖案。在一個(gè)實(shí)施例中，簡(jiǎn)單地將來自四個(gè)X層處 理單元的序列識(shí)別符連接在一起以形成呈現(xiàn)到Y(jié)層520中的皮層處理單元的唯一圖案。 應(yīng)注意，Y層皮層處理單元理解較高級(jí)別概念，因?yàn)閅層處理單元將來自四個(gè)個(gè)別X層 處理單元的序列信息組合在一起。
如先前陳述， 一個(gè)實(shí)施例記憶X層510中的13個(gè)不同的通常遇到的序列。通過來自 四個(gè)不同X層皮層處理單元的序列識(shí)別符信息(其中每一層可在13個(gè)不同序列之一中)， Y層520處理單元可能會(huì)經(jīng)歷134 = 28561個(gè)可能的不同輸入圖案。然而，實(shí)際上僅經(jīng)歷 七百四十四(744)個(gè)不同的輸入圖案。因此，如所預(yù)測(cè)，皮層處理單元僅經(jīng)歷進(jìn)入皮層 處理的較小百分比的可能輸入圖案。
Y層520中的皮層處理單元可執(zhí)行與上文陳述的X層510中的皮層處理單元相同的 學(xué)習(xí)操作。具體來說，Y層520中的每一皮層處理單元識(shí)別并接著記憶在其輸入流上通 常經(jīng)歷的圖案序列。Y層處理單元以后將嘗試辨識(shí)其輸入流中的那些記憶的序列。Y層 處理單元接著可將所辨識(shí)的圖案序列報(bào)告給下一較高皮層處理單元層，Z層530。Z層530 接收來自Y層520中所有16個(gè)不同處理單元的序列識(shí)別符?？山M合來自Y層520的16 個(gè)序列識(shí)別符以形成由Z層530接收的空間圖案。
在一個(gè)特定實(shí)施例中，原型程序還收集關(guān)于在無監(jiān)督學(xué)習(xí)階段期間檢測(cè)到的圖案和 圖案序列的一組統(tǒng)計(jì)數(shù)據(jù)。所收集的統(tǒng)計(jì)數(shù)據(jù)可包含遇到特定圖案或序列多少次以及遇 到特定輸入值多少次。如關(guān)于根據(jù)不變表示做出特定預(yù)測(cè)的早先部分中所陳述，將跟蹤 的一個(gè)非常重要的統(tǒng)計(jì)數(shù)據(jù)是當(dāng)遇到特定圖案或序列時(shí)的特定上下文。在一個(gè)實(shí)施例中， 特定較高層圖案可為針對(duì)較低層圖案和序列的上下文。就是在此訓(xùn)練階段期間，系統(tǒng)構(gòu) 造貝葉斯網(wǎng)絡(luò)，使得使用貝葉斯可信度傳播的貝葉斯推論可用于執(zhí)行圖案辨識(shí)。在稍后 部分中將更詳細(xì)陳述關(guān)于貝葉斯推論的細(xì)節(jié)。
有監(jiān)督訓(xùn)練
在無監(jiān)督訓(xùn)練之后，原型程序已收集圖案序列并根據(jù)較低層序列形成較高層物體概 念。由于原型程序已經(jīng)在頂部級(jí)別理解物體概念，因此從Y層到Z層的訓(xùn)練可以有監(jiān)督 方式進(jìn)行。有監(jiān)督訓(xùn)練將特定物體名稱聯(lián)系到高Z層處學(xué)習(xí)的物體概念。以此方式，以
后原型程序可在給出新輸入數(shù)據(jù)時(shí)推斷特定物體名稱。
可通過將物體名稱呈現(xiàn)給頂部Z層530，同時(shí)呈現(xiàn)特定物體形狀的動(dòng)畫，來執(zhí)行有 監(jiān)督訓(xùn)練。原型程序因此將Z層處的高級(jí)別概念(當(dāng)前序列)與當(dāng)前正呈現(xiàn)的物體名稱 相聯(lián)系。
舉例來說，在用來自圖8的頂部行左邊的第三幾何形狀進(jìn)行有監(jiān)督訓(xùn)練時(shí)，在Z層 處辨識(shí)出的所記憶序列與名稱"貓"相關(guān)聯(lián)。類似地，在用來自頂部行左邊的第六幾何 形狀進(jìn)行訓(xùn)練期間，在Z層處辨識(shí)出的所記憶序列與名稱"狗"相關(guān)聯(lián)。關(guān)于訓(xùn)練期間 所有不同的幾何形狀以此類推。
與無監(jiān)督訓(xùn)練階段一樣，原型程序還收集關(guān)于在有監(jiān)督學(xué)習(xí)階段檢測(cè)到的圖案和圖 案序列的一組統(tǒng)計(jì)數(shù)據(jù)。將使用這些統(tǒng)計(jì)數(shù)據(jù)來建立概率表，以便執(zhí)行如稍后部分中將 描述的貝葉斯推論。
使用貝葉斯推論的圖案辨識(shí)
學(xué)習(xí)圖案辨識(shí)原型程序使用貝葉斯推論技術(shù)以便使用圖案辨識(shí)來產(chǎn)生非常準(zhǔn)確的物 體名稱。在原型程序中，目標(biāo)是在頂部Z層530處具有與正確的物體名稱相關(guān)聯(lián)的所辨 識(shí)序列信息。理想上，由于通過原型程序獲取的知識(shí)的普遍化，因此甚至新的輸入圖案 也應(yīng)當(dāng)輸出辨識(shí)的Z層序列(和與辨識(shí)的Z層序列相關(guān)聯(lián)的物體名稱)。
貝葉斯法則允許系統(tǒng)基于可用證據(jù)E確定得出特定結(jié)果R的概率。為計(jì)算此概率， 需要觀察關(guān)于不同可能結(jié)果R和不同可能證據(jù)E的中等量的信息。貝葉斯學(xué)習(xí)的基本法 則是
P(R舊)=P(EIR)P(R)/P(E)
這規(guī)定了給定某個(gè)證據(jù)E時(shí)特定結(jié)果R的概率等于給定結(jié)果R時(shí)特定證據(jù)E的概率 乘以遇到結(jié)果R的先驗(yàn)概率再除以遇到證據(jù)E的概率。
為了用原型程序執(zhí)行期望的圖案辨識(shí)，原型程序必須嘗試在分級(jí)的底部(X層510) 處給定特定輸入信息時(shí)確定分級(jí)的頂部處的輸出序列Z(且因此確定相關(guān)聯(lián)的物體名稱)。 由于這是底部到頂部的確定，因此其在技術(shù)上稱為推論。以提供到最低層(X層510)中 的靜態(tài)32乘32像素圖的形式供應(yīng)輸入信息。最低X層510處理32乘32像素圖以確定 X層處最可能的序列。如果給定時(shí)間，X層也可接收并考慮真實(shí)的圖案序列信息以產(chǎn)生 更準(zhǔn)確的結(jié)果。
為做出期望的Z序列的確定，將需要知道當(dāng)給定特定輸入序列Xi時(shí)不同可能輸出 Zj序列的概率。將此概率表達(dá)為P(ZIX)。通過使用貝葉斯法則，我們知道 P(Zj IXi) = P(XjlZj)P(Zj)/P(Xi)
因此，為確定當(dāng)給定輸入信息X時(shí)特定Z序列的概率，原型程序必須知道 P(XilZj)，其為特定Xi輸入導(dǎo)致序列Zj的概率； P(Zj)，其為遇到特定Zj序列的概率；和 P(Xi)，其為遇到特定輸入序列Xi的概率。
在學(xué)習(xí)階段期間收集用以確定所有這三個(gè)需要的概率值的信息。
應(yīng)注意，給定特定Z序列時(shí)特定X序列輸入值的概率P(XIZ)不是直接學(xué)習(xí)并放置到 概率表中。而是，將問題分解為貝葉斯可信度網(wǎng)。因此，在學(xué)習(xí)期間產(chǎn)生不同的概率表， 使得接著可將所述概率表與貝葉斯法則網(wǎng)絡(luò)組合，以獲得期望的概率值。圖7說明用于 原型程序的圖案辨識(shí)系統(tǒng)的貝葉斯可信度網(wǎng)。
如圖7的貝葉斯可信度網(wǎng)絡(luò)所說明，可使用給定特定X序列輸入時(shí)Y序列值的概率 [P(YIX)]來選擇Y序列值。隨后，可使用給定選定Y序列輸入時(shí)Z值的概率[P(ZIY)]來選-擇Z序列值。 可使用貝葉斯法則來計(jì)算這些概率。為了執(zhí)行此計(jì)算，所有個(gè)別Y層處理 單元可觀察給定特定Z序列值時(shí)特定Y序列值的概率P(YIZ)。類似地，所有個(gè)別X層處 理單元可觀察給定特定Y序列值時(shí)特定X序列值的概率P(XIY)。
為存儲(chǔ)需要的概率值，必須具有在訓(xùn)練期間從較高皮層層呈現(xiàn)到較低皮層層的上下 文反饋。圖5B說明上下文反饋的實(shí)例，其可從較高皮層層呈現(xiàn)到較低皮層層以便允許產(chǎn) 生需要的概率表。對(duì)于Y層中的每一皮層處理單元，提供當(dāng)前Z序列上下文信息。在圖 5B中將此說明為反饋到Y(jié)層處理單元的當(dāng)前Z序列值。(應(yīng)注意，僅針對(duì)兩個(gè)最左邊的 Y層處理單元說明上下文反饋，但將當(dāng)前Z序列提供到所有16個(gè)Y層處理單元。)此Z 序列上下文反饋允許Y層中的每一皮層處理單元產(chǎn)生概率表，所述概率表指定當(dāng)給定特 定Z序列時(shí)所有不同Y序列的概率P(YIZ)。 Y層中16個(gè)處理單元中的16個(gè)概率表可表 現(xiàn)為如下
<formula>formula see original document page 31</formula>
還將相同類型的反饋提供到下一較低層。具體來說，對(duì)于x層中的每一皮層處理單
元，從其關(guān)聯(lián)的Y層處理單元提供當(dāng)前Y序列上下文信息。在圖5B中將此說明為被反 饋到兩個(gè)相關(guān)聯(lián)較低X層處理單元的來自Y層處理單元Y00的當(dāng)前Y序列值。(應(yīng)注意， 僅說明從Y層處理單元到兩個(gè)X層處理單元的兩條反饋路徑。然而所有16個(gè)個(gè)別Y層 處理單元會(huì)將其當(dāng)前Y序列反饋到其四個(gè)相關(guān)聯(lián)的X層單元。)此Y序列上下文反饋允 許X層中的每一皮層處理單元產(chǎn)生概率表，所述概率表指定當(dāng)給定特定Y序列時(shí)所有不 同X序列的概率P(XIY)。各個(gè)X層處理單元中的這64個(gè)概率表可表現(xiàn)為如下
<image>image see original document page 32</image>
/K義il;vn) pC^k)
原型程序的總體操作
首先在訓(xùn)練階段期間使用例如圖8說明形狀的形狀來訓(xùn)練原型程序。在此訓(xùn)練時(shí)期 期間，皮層處理單元的每一者將提取在其世界中觀察到的具有通常重復(fù)圖案序列形式的 結(jié)構(gòu)。此訓(xùn)練可以無監(jiān)督方式發(fā)生。此外，此訓(xùn)練甚至不需要以后將需要辨識(shí)的特定物 體。訓(xùn)練可以具有存在于待辨識(shí)物體中的相同類型的原始結(jié)構(gòu)的任何形狀而發(fā)生。在無 監(jiān)督訓(xùn)練期間，原型程序中皮層處理單元的每一者產(chǎn)生對(duì)其在探索其世界期間檢測(cè)到的 不變結(jié)構(gòu)的記憶。
稍后，執(zhí)行有監(jiān)督的訓(xùn)練。在有監(jiān)督訓(xùn)練期間，除了正用于訓(xùn)練的物體的動(dòng)畫之外， 還將與特定物體相關(guān)聯(lián)的物體名稱呈現(xiàn)給原型程序。在此有監(jiān)督訓(xùn)練期間，原型程序?qū)W 習(xí)使物體名稱與Z層上的序列相關(guān)聯(lián)。
在操作階段中，將具有物體圖像的新數(shù)據(jù)呈現(xiàn)給原型程序。當(dāng)呈現(xiàn)新物體數(shù)據(jù)時(shí)， 原型程序從物體圖像中提取具有存儲(chǔ)的在X、 Y和Z層中辨識(shí)出的結(jié)構(gòu)形式的結(jié)構(gòu)。所 辨識(shí)的結(jié)構(gòu)用于識(shí)別相關(guān)聯(lián)組的概率表。所識(shí)別的概率表接著用于計(jì)算每一物體名稱作 為所觀看物體的正確名稱的概率。最后，將具有最高概率的物體名稱推斷為新圖像中物 體的名稱。
原型圖案辨識(shí)程序提供了高度準(zhǔn)確的結(jié)果。此外，原型程序展現(xiàn)出較強(qiáng)的普遍化能 力。圖10說明來自三個(gè)不同線圖測(cè)試的某種結(jié)果數(shù)據(jù)。列A表示原始訓(xùn)練線圖。列B
32
和C說明成功識(shí)別為與列A中物體屬于同一類別的人為形成的線圖。列B和C說明成功 識(shí)別為與列A中物體屬于同一類別的人為形成的線圖。列D含有未成功識(shí)別為與列A中 物體屬于同一類別的人為形成的線圖。列E含有程序相信列D的線圖所屬的線圖類別。
上述內(nèi)容已描述了所揭示的用于實(shí)施機(jī)器智能的方法、架構(gòu)和設(shè)備。預(yù)期所屬領(lǐng)域 的技術(shù)人員在不脫離本發(fā)明范圍的情況下，可對(duì)本發(fā)明的材料和元件的布置做出改變和 修改。
權(quán)利要求
1.一種存儲(chǔ)器系統(tǒng)，所述存儲(chǔ)器系統(tǒng)包括分級(jí)，其包括多個(gè)皮層處理單元，每一所述皮層處理單元包括第一輸出，所述第一輸出用于輸出第一組圖案信息；第一輸入，其用于接收第二組圖案信息，所述第一輸入耦合到感覺單元或來自另一皮層處理單元的第一輸出；存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)關(guān)于可能在所述第一輸入上的所述第二組圖案信息中出現(xiàn)的圖案的信息；和處理方法，所述處理方法將所述第一輸入上的所述第二組圖案信息與關(guān)于存儲(chǔ)在所述存儲(chǔ)器中的圖案的所述信息進(jìn)行比較。
2. 根據(jù)權(quán)利要求1所述的存儲(chǔ)器系統(tǒng)感覺單元，所述感覺單元產(chǎn)生第
3. 根據(jù)權(quán)利要求2所述的存儲(chǔ)器系統(tǒng)， 述感覺單元。
4. 根據(jù)權(quán)利要求1所述的存儲(chǔ)器系統(tǒng)，其中最低層的所述皮層處理單元分級(jí)耦合到所其中所述圖案信息包括圖案序列。
5. 根據(jù)權(quán)利要求l所述的存儲(chǔ)器系統(tǒng)，其中含有關(guān)于所辨識(shí)圖案的信息的所述存儲(chǔ)器 包括已經(jīng)在所述輸入上重復(fù)的一組圖案序列。
6. 根據(jù)權(quán)利要求1所述的存儲(chǔ)器系統(tǒng)，所述存儲(chǔ)器系統(tǒng)進(jìn)一步包括第二輸入，所述第二輸入用于接收來自所述分級(jí)的較高層中的皮層處理單元的預(yù) 測(cè)。
7. 根據(jù)權(quán)利要求6所述的存儲(chǔ)器系統(tǒng)，其中所述預(yù)測(cè)包括關(guān)于所述存儲(chǔ)器中的圖案的{曰息。
8. 根據(jù)權(quán)利要求6所述的存儲(chǔ)器系統(tǒng)，其中所述預(yù)測(cè)包括所預(yù)期的下一序列圖案的識(shí) 別符。
9. 根據(jù)權(quán)利要求l所述的存儲(chǔ)器系統(tǒng)，所述存儲(chǔ)器系統(tǒng)進(jìn)一步包括第二輸出，所述第二輸出包括預(yù)測(cè)信息。
10. 根據(jù)權(quán)利要求9所述的存儲(chǔ)器系統(tǒng)，其中所述第二輸出耦合到所述分級(jí)的較低層中 的皮層處理單元。
11. 根據(jù)權(quán)利要求9所述的存儲(chǔ)器系統(tǒng)，其中所述第二輸出耦合到所述分級(jí)的較低層中 的皮層處理單元。
12. —種系統(tǒng)，其包括模塊的第一級(jí)別，所述模塊每一者經(jīng)布置以存儲(chǔ)圖案序列；和 至少一個(gè)模塊的第二級(jí)別，所述至少一個(gè)模塊經(jīng)布置以存儲(chǔ)圖案序列，其中所述模塊的第一級(jí)別和所述至少一個(gè)模塊的第二級(jí)別形成貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的至少一部分，其中，至少部分取決于存儲(chǔ)在所述模塊的第一級(jí)別中和所述至少一個(gè)模塊的第二 級(jí)別中的圖案序列，可通過穿過所述貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的可信度傳播來確定促成至少 一個(gè)圖案的物體。
13. 根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述第一級(jí)別中的每一模塊進(jìn)一步經(jīng)布置以隨 著時(shí)間學(xué)習(xí)所述序列，且其中所述第二級(jí)別中的所述至少一個(gè)模塊進(jìn)一步經(jīng)布置以 隨著時(shí)間學(xué)習(xí)所述序列。
14. 根據(jù)權(quán)利要求12所述的系統(tǒng)，其中可至少部分地取決于從所述第一級(jí)別中的模塊 傳遞到所述第二級(jí)別中的所述至少一個(gè)模塊的推論來確定所述物體。
15. 根據(jù)權(quán)利要求14所述的系統(tǒng)，其中所述推論傳遞至少部分地取決于存儲(chǔ)在所述第 一級(jí)別中的所述模塊中的概率分布。
16. 根據(jù)權(quán)利要求12所述的系統(tǒng)，其中可至少部分地取決于從所述第二級(jí)別中的所述 至少一個(gè)模塊傳遞到所述第一級(jí)別中的模塊的預(yù)測(cè)來確定所述物體。
17. 根據(jù)權(quán)利要求12所述的系統(tǒng)，其中存儲(chǔ)在所述第一級(jí)別中的所述模塊中和所述第 二級(jí)別中的所述至少一個(gè)模塊中的序列每一者形成所述物體的不變表示的至少一 部分。
18. 根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述第一級(jí)別中的所述模塊和所述第二級(jí)別中 的所述至少一個(gè)模塊形成模塊分級(jí)。
19. 根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述模塊中的任一者以軟件和硬件中的至少一 者來表示。
20. —種方法，其包括-存取具有存儲(chǔ)的圖案序列的第一模塊；存取具有存儲(chǔ)的圖案序列的第二模塊，其中所述第一模塊和所述第二模塊形成貝 葉斯網(wǎng)絡(luò)的至少一部分；和確定促成圖案的物體，所述確定包括以下至少一者-取決于存儲(chǔ)在所述第一模塊中的所述序列，將推論從所述第一模塊傳遞到所述第 二模塊，和取決于存儲(chǔ)在所述第二模塊中的所述序列，將預(yù)測(cè)從所述第二模塊傳遞到所述第 一模塊。
21. 根據(jù)權(quán)利要求20所述的方法，其進(jìn)一步包括學(xué)習(xí)所述圖案序列并將其存儲(chǔ)所述第一模塊中；和 學(xué)習(xí)所述圖案序列并將其存儲(chǔ)所述第二模塊中。
22. 根據(jù)權(quán)利要求21所述的方法，其中所述學(xué)習(xí)中的任一者隨著時(shí)間而發(fā)生。
23. 根據(jù)權(quán)利要求20所述的方法，其中所述第一模塊中的所述存儲(chǔ)的圖案序列和所述 第二模塊中的所述存儲(chǔ)的圖案序列每一者形成所述物體的不變表示的至少一部分。
24. 根據(jù)權(quán)利要求20所述的方法，其中所述第一模塊和所述第二模塊形成模塊的分級(jí) 的一部分，其中所述模塊的每一者均具有實(shí)質(zhì)上與所述第一模塊和所述第二模塊相同的功能。
全文摘要
可通過創(chuàng)建具有分級(jí)架構(gòu)的有效存儲(chǔ)器系統(tǒng)來構(gòu)造復(fù)雜的存儲(chǔ)器系統(tǒng)和智能機(jī)器。具體來說，一種系統(tǒng)可包括布置成分級(jí)結(jié)構(gòu)的多個(gè)個(gè)別皮層處理單元。每一個(gè)別皮層處理單元接收?qǐng)D案序列作為輸入。每一皮層處理單元使用含有先前遇到的具有結(jié)構(gòu)的序列的存儲(chǔ)器來處理所述接收的輸入圖案序列，并輸出另一圖案。因?yàn)槠犹幚韱卧幚砣舾奢斎胄蛄?，其將因此在其輸出上產(chǎn)生圖案序列。其輸出上的所述圖案序列可作為輸入傳遞到所述分級(jí)的下一較高層中的一個(gè)或一個(gè)以上皮層處理單元。最低層的皮層處理單元可從外部世界接收感覺輸入。所述感覺輸入也包括圖案序列。
文檔編號(hào)G06N7/00GK101107618SQ200580042258
公開日2008年1月16日 申請(qǐng)日期2005年12月9日 優(yōu)先權(quán)日2004年12月10日
發(fā)明者杰弗里·霍金斯, 迪利普·喬治 申請(qǐng)人:努門塔公司