專利名稱：認(rèn)知聯(lián)想記憶模型的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于人工智能領(lǐng)域，涉及一類人工神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶模型。本發(fā)明給出一種 新的聯(lián)想記憶模型——基于認(rèn)知理論的聯(lián)想記憶模型。
背景技術(shù)：
聯(lián)想記憶是神經(jīng)網(wǎng)絡(luò)的重要應(yīng)用之一。聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)具有良好的對含噪聲樣本 的信息處理能力，因此在優(yōu)化計(jì)算、糾錯編碼、數(shù)據(jù)壓縮、模式識別以及智能控制等方 面得到廣泛的應(yīng)用。
目前的聯(lián)想記憶網(wǎng)絡(luò)主要是基于Hebb規(guī)則的Hopfidd聯(lián)想記憶網(wǎng)絡(luò)。但目前基于 Hebb規(guī)則的聯(lián)想記憶網(wǎng)絡(luò)具有一些不足，如對于關(guān)聯(lián)信息較強(qiáng)的相似模式的記憶效果不 理想；并且該方法僅能對二值模式實(shí)現(xiàn)聯(lián)想記憶，而對于多值模式無法實(shí)現(xiàn)聯(lián)想記憶， 這些缺點(diǎn)限制了該方法的應(yīng)用。
認(rèn)知心理學(xué)是以信息加工觀點(diǎn)為核心的心理學(xué)。所謂信息加工觀點(diǎn)就是將人腦與計(jì) 算機(jī)進(jìn)行類比，將人腦看作類似于計(jì)算機(jī)的信息加工系統(tǒng)。人工智能是在大量心理學(xué)家 研究成果的基礎(chǔ)上誕生的。人工智能要研究如何利用機(jī)器來模擬人的思維，從根本上講 離不開認(rèn)知心理學(xué)的模型支持。例如，王守覺院士所提出的仿生模式識別方法的性能就 優(yōu)于傳統(tǒng)模式識別方法。其原因在于該方法中融入了人類的認(rèn)知功能。因此基于認(rèn)知理 論建立新型的聯(lián)想記憶網(wǎng)絡(luò)是目前人工智能領(lǐng)域研究的熱點(diǎn)之一。
對于聯(lián)想記憶這樣簡單的問題，人類自身的認(rèn)知處理能力顯然比傳統(tǒng)的Hopfield神 經(jīng)網(wǎng)絡(luò)強(qiáng)得多。其原因在于人類的認(rèn)知過程與傳統(tǒng)Hopfidd網(wǎng)絡(luò)不同。
第一，記憶內(nèi)容不同。對于給定的樣本模式，人只能記住每個模式的大致信息，而 不是每個細(xì)節(jié)，而H叩fidd網(wǎng)絡(luò)則試圖記住每一個細(xì)節(jié)。例如，如果將樣本模式看作是 圖片，則樣本模式的每一個分量可對應(yīng)一個像素的灰度值。如果利用Hopfield網(wǎng)絡(luò)實(shí)現(xiàn) 圖像的聯(lián)想記憶，則網(wǎng)絡(luò)輸出的是每一個像素點(diǎn)的灰度值。而當(dāng)人看到幾幅不同的樣本 模式圖像時，通?？梢院芸齑笾碌赜涀∵@幾幅圖像的內(nèi)容和區(qū)別，但并不能很準(zhǔn)確地記 住每一個像素的灰度和細(xì)節(jié)，當(dāng)再現(xiàn)其中一幅圖像(或者含噪聲的圖像)時，可以迅速 地完成辨識任務(wù)，但很難說清所有像素的具體灰度值。
第二，聯(lián)想過程不同。利用神經(jīng)網(wǎng)絡(luò)進(jìn)行聯(lián)想記憶時，網(wǎng)絡(luò)通常不能一次得到最終 的聯(lián)想結(jié)果，而是經(jīng)過幾次迭代計(jì)算，逐漸去掉噪聲污染，當(dāng)網(wǎng)絡(luò)穩(wěn)定時，才能得出聯(lián) 想結(jié)果。而人只要看到一幅圖像，就可以立刻完成聯(lián)想，馬上得出結(jié)果，并不存在逐步 去除噪聲的量變過程。
第三，存儲能力不同。神經(jīng)網(wǎng)絡(luò)僅能存儲很少的樣本模式，并且對于相似模式很難存儲，或者需要專門設(shè)計(jì)特殊的學(xué)習(xí)方法。而一個人通常可以同時記住很多個模式，并 且對于相似模式，人可以很快找到關(guān)鍵的區(qū)別點(diǎn)，并加以記憶。
第四，結(jié)果表達(dá)不同。由于噪聲會使得樣本模式產(chǎn)生畸變，因此神經(jīng)網(wǎng)絡(luò)可能產(chǎn)生 介于兩種樣本模式之間的非存儲的錯誤模式。而人可以給出具有模糊表達(dá)的認(rèn)知結(jié)果， 而不是非存儲的樣本模式。
因此基于認(rèn)知特點(diǎn)設(shè)計(jì)一種聯(lián)想記憶網(wǎng)絡(luò)將會大大改善現(xiàn)有聯(lián)想記憶網(wǎng)絡(luò)的性能。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是，設(shè)計(jì)一種基于認(rèn)知理論的聯(lián)想記憶網(wǎng)絡(luò)模型，能夠 實(shí)現(xiàn)對相似模式和多值模式的存儲記憶。
本發(fā)明所采用的技術(shù)方案是 一種認(rèn)知聯(lián)想記憶模型，網(wǎng)絡(luò)存儲M個存儲模式，每 個存儲模式有"個分量，包括兩層神經(jīng)元。第一層為輸入層，取輸入元W個，對應(yīng)輸入 模式的"個分量，記為X,，X2， ...，X ;第二層為輸出層，取M個神經(jīng)元，記為力，》，...， yw，輸出層第7'個神經(jīng)元的輸出范圍為
，表示輸入待聯(lián)想模式向量的聯(lián)想結(jié)果隸屬于
第y'個存儲模式的程度。
輸入層與輸出層之間的連接權(quán)值根據(jù)待聯(lián)想模式的不同設(shè)計(jì)為動態(tài)權(quán)值,輸出層單元 采用線性輸出的方式。
本發(fā)明的目的在于提出一種基于認(rèn)知理論的聯(lián)想記憶模型，該模型克服已有基于
Hebb規(guī)則的聯(lián)想記憶模型的缺點(diǎn)?？梢詫?shí)現(xiàn)對相似模式和多值模式的聯(lián)想記憶。


圖1為聯(lián)想記憶網(wǎng)絡(luò)結(jié)構(gòu)示意圖。
圖2為三值相似模式聯(lián)想記憶實(shí)例的存儲模式和待聯(lián)想模式示意圖，其中前三個圖為存 儲模式，第四個圖為待聯(lián)想輸入模式。
具體實(shí)施例方式
下面結(jié)合實(shí)施例和附圖對本發(fā)明作進(jìn)一歩詳細(xì)說明。 本發(fā)明是如圖1所示的兩層聯(lián)想記憶網(wǎng)絡(luò)。
記憶網(wǎng)絡(luò)的樣本模式集為{^,產(chǎn)1,2,…，M)，第/個存儲模式^的第/個分量用"/表 示，即力廣[o/，a/,……，a/]。輸入模式為X-[x'/，…y]，輸出為^bi,力,…J^]，第/
個輸入單元與第/個輸出單元之間的連接權(quán)值為Wy，表示輸入向量的第/個分量對聯(lián)想
結(jié)果為第y個存儲模式的貢獻(xiàn)值。當(dāng)輸入向量的第/個分量與第y個存儲模式的第/個分 量相同時，則表示該分量對聯(lián)想結(jié)果為第y個存儲模式有i/n的貢獻(xiàn)，否則無貢獻(xiàn)，權(quán)值 按下式設(shè)計(jì)<formula>formula see original document page 5</formula>與Hebb規(guī)則相比，上式定義的權(quán)值矩陣不但考慮到存儲模式的信息，而且利用了輸 入模式的信息，權(quán)值矩陣根據(jù)輸入模式的變化而變化，也就是說，當(dāng)網(wǎng)絡(luò)的輸入模式X 不同時，所得到的權(quán)值矩陣也不相同。輸出層單元采用線性輸出的方式，即(2)乃的結(jié)果表示輸入向量各分量對聯(lián)想結(jié)果為第y'個存儲模式的總貢獻(xiàn)值，即聯(lián)想結(jié)果 為第y個存儲模式的隸屬度。當(dāng)力-max(乂,",...，;^}，結(jié)合模糊理論解模糊的最大隸屬 度法，則最終的聯(lián)想結(jié)果為第々個存儲模式。與Hebb規(guī)則相比，上述聯(lián)想記憶過程又利用了輸入模式的信息，且網(wǎng)絡(luò)權(quán)值不是固 定不變的，當(dāng)輸入模式不同時，網(wǎng)絡(luò)權(quán)值可自適應(yīng)地進(jìn)行調(diào)整，從而可大大增強(qiáng)網(wǎng)絡(luò)的 適應(yīng)性，提高聯(lián)想效率。輸出結(jié)果結(jié)合模糊推理方法給出了一種新的表示方法，即不再 直接輸出存儲的模式向量，而是給出屬于不同存儲模式的隸屬度，這更符合人類的認(rèn)知 特點(diǎn)。另外，利用Hebb規(guī)則設(shè)計(jì)的網(wǎng)絡(luò)只能處理二值模式的聯(lián)想記憶，而采用本文方法所 設(shè)計(jì)的網(wǎng)絡(luò)可以完成任意多值模式的聯(lián)想記憶，同時對相似模式也可得到較好的聯(lián)想結(jié) 果。同時，該聯(lián)想記憶網(wǎng)絡(luò)具有如下性質(zhì)性質(zhì)l:網(wǎng)絡(luò)可以存儲任意多的兩兩互不相同的模式。證明己知樣本集為W，戶1,2,…，M)，若對于任意的的'，則當(dāng)輸入模式％=4時， 權(quán)值w『l/"，其中/=1,2,...，"。所以網(wǎng)絡(luò)輸出單元"=1。而因?yàn)锳^4"所以乂<1，利用最大隸屬度法進(jìn)行解模糊，則網(wǎng)絡(luò)聯(lián)想結(jié)果為第./個模式。性質(zhì)2:網(wǎng)絡(luò)的聯(lián)想結(jié)果是與輸入模式海明距離最小的樣本集中的模式。證明設(shè)H,(Z，^;)=min{ HXI，，戶1,2,...,M) ， H為海明距離。則輸出單元乂>乃，/= 1,2，…,M， 且y弁。利用最大隸屬度法進(jìn)行解模糊，則網(wǎng)絡(luò)聯(lián)想結(jié)果為第/個模式。性質(zhì)3:網(wǎng)絡(luò)不存在偽模式，但可出現(xiàn)聯(lián)想結(jié)果不唯一而導(dǎo)致聯(lián)想失敗。證明由于聯(lián)想結(jié)果利用網(wǎng)絡(luò)輸出的隸屬程度進(jìn)行表示，因此不存在偽模式。如果H,(義，A)=H4(X, J4)=min{ H乂X， <)， y'=l，2,...，7l^。貝廿乂=》>乃，/=1，2，...,M，且_/#/， 乂>^。 利用最大隸屬度法進(jìn)行解模糊，無法得到唯一確定的聯(lián)想結(jié)果，因此聯(lián)想失敗。由此可見，本發(fā)明提出的聯(lián)想記憶網(wǎng)絡(luò)模型更符合認(rèn)知特點(diǎn)，即網(wǎng)絡(luò)的聯(lián)想記憶過 程可一次完成；網(wǎng)絡(luò)具有較大的存儲能力，并且能夠根據(jù)關(guān)鍵特征進(jìn)行相似模式的區(qū)分； 網(wǎng)絡(luò)的輸出為模糊量，且能夠?qū)崿F(xiàn)多值模式和相似模式的聯(lián)想記憶。實(shí)施例5如圖2所示，其中前三個圖為三個相似的三值(白、黑、灰)模式("己，己，巳")， 每個模式由10x10點(diǎn)陣組成，采用三個分別含有100個元素的存儲模式向量A， ^， & 表示該三個模式，第/'個存儲模式4的第/個分量用o/表示，其中戶1,2，3; /=1，2，....，100, 則"2 =黑，/ = 12,13,14，15,16，17，18，28，38，52，62,72，78，82，83,84，85，86,87,88 灰，/ = 42,43,44,45,46,47,48白，其他黑，i = 12,13,14,15,16,17,18，28,32,38，52，62,72,78，82,83,84，85,86,87,88 灰，/ = 42，43,44，45,46,47,48白，其他(3)(4)'黑,/ = 12，13,14,15,16,17,18，22，28,32，38，52,62,72,78,82，83,84，85,86，87，88 a;一灰，,'=42，43,44，45,46,47，48 (5)白，其他圖2中的第4個圖為一含噪聲的待聯(lián)想輸入模式，用輸入向量J^[x^L.乂加]表示，其中x =.黑，/ =-灰，/ = 42,43，44,45'46,47,48,66白，其他根據(jù)此時輸入向量，可得連接權(quán)值為 f0， ，/ = 32,65,66 ^1/w ，其他j0, "' = 65,66 丄l/"，其他「0， ，/ = 22,65,66(6)W,2W,3 =1/",其他(7)(8)(9)網(wǎng)絡(luò)輸出為97/100，./ = 1 98/100,/= 2 '='[97/〗00，./= 3力=max{>^,y = l，2，3}該輸入模式與第二個存儲模式最相似，聯(lián)想結(jié)果為第:(10)(11)'水存儲模式。權(quán)利要求
1、一種認(rèn)知聯(lián)想記憶模型，其特征在于，包括2層神經(jīng)元；第一層為輸入層，取輸入元n個，對應(yīng)輸入模式的n個分量，記為x1，x2，...，xn；第二層為輸出層，由M個神經(jīng)元組成，記為y1，y2，...，yM，輸出層第j個神經(jīng)元yj的輸出范圍為
，表示輸入待聯(lián)想模式向量的聯(lián)想結(jié)果隸屬于第j個存儲模式的程度；
2、 根據(jù)權(quán)利要求1所述的認(rèn)知聯(lián)想記憶模型，其特征在于，輸入層與輸出層之間的連接權(quán)值根據(jù)待聯(lián)想模式的不同設(shè)計(jì)為動態(tài)權(quán)值，設(shè)輸入模式為X呵xW.j"]，輸出為!^[vb》，…,j^]，第y個存儲模式4的第/個分量用"/表示，則第/個輸入單元與第_/個輸出單元之間的連接權(quán)值W"為
3、根據(jù)權(quán)利要求1所述的認(rèn)知聯(lián)想記憶模型，其特征在于，輸出層單元采用線性輸出的方式，即當(dāng)h =111狀化，",...,>^}，則最終的聯(lián)想結(jié)果為第A個存儲模式。
全文摘要
本發(fā)明屬于人工智能領(lǐng)域，具體為一種認(rèn)知聯(lián)想記憶網(wǎng)絡(luò)，網(wǎng)絡(luò)包含輸入層和輸出層兩層神經(jīng)元，樣本模式信息存儲在動態(tài)權(quán)值矩陣中，網(wǎng)絡(luò)根據(jù)不同的輸入向量可自適應(yīng)地調(diào)節(jié)當(dāng)前權(quán)值矩陣。輸入向量的信息不僅提供了聯(lián)想記憶的初值，而且在聯(lián)想記憶過程中起到了啟發(fā)式搜索的作用，因此網(wǎng)絡(luò)的存儲能力和聯(lián)想成功率得到較好的改善。尤其可以有效地實(shí)現(xiàn)相似模式以及多值模式的聯(lián)想記憶功能。本發(fā)明主要用于基于聯(lián)想記憶的模式識別領(lǐng)域中。
文檔編號G06N3/00GK101673355SQ20091007075
公開日2010年3月17日 申請日期2009年10月10日 優(yōu)先權(quán)日2009年10月10日
發(fā)明者修春波 申請人:天津工業(yè)大學(xué)