專利名稱：參考數(shù)據(jù)優(yōu)化學習方法及模式識別系統(tǒng)的制作方法
參考數(shù)據(jù)優(yōu)化學習方法及模式識別系統(tǒng)
本申請是中國專利申請200580005836.X的分案申請。 發(fā)明領(lǐng)域
本發(fā)明涉及用于為將要識別的模式匹配過程添加參考數(shù)據(jù)的參 考數(shù)據(jù)優(yōu)化學習方法，以及采用該方法識別/學習參考數(shù)據(jù)的模式識 別系統(tǒng)。
背景技術(shù)：
在模式識別系統(tǒng)中，模式匹配過程是識別過程的重要因素。根據(jù) 常規(guī)系統(tǒng)，基于處理器實現(xiàn)的模型是最普遍的。該模型采用的方法是 依次地將輸入模式的數(shù)據(jù)與存儲器中的多個參考數(shù)據(jù)進行比較以檢 測表示最相似模式的數(shù)據(jù)。然而，該模型的方法存在一個問題，艮P, 依次比較必然需要大量處理時間，并且用于處理的時間的增加與比較 數(shù)據(jù)的數(shù)目的增加成比例。就參考數(shù)據(jù)而言，由于依次比較，在比較 順序的改變上或者新參考數(shù)據(jù)的注冊上沒有學習的概念，使得不可能 通過學習來獲得處理時間降低的效果。
模式識別和學習是構(gòu)建人工智能系統(tǒng)所必需的功能，該人工智能 系統(tǒng)具有與人腦功能相類似的能力。因此，從技術(shù)上講，在集成電路 中實現(xiàn)這些功能是非常重要的。迄今所提出的實現(xiàn)模式識別和學習功 能的大多數(shù)方法都采用神經(jīng)網(wǎng)絡(luò)。在以下的文獻1中描述了一個示 例。 Yoshihito Amamiya， "Neural Network LSI", Institute of Electronics, Information and Communication Engineers ， 1.995 。
然而，采用神經(jīng)網(wǎng)絡(luò)的方法存在一個問題，S卩，每個神經(jīng)元的閾 值和每個網(wǎng)絡(luò)的負荷必須更新，這必然需要大量的處理時間。由于沒 有可行的方法來有效地在網(wǎng)絡(luò)中存儲模式，因此模式的信息必須包含在網(wǎng)絡(luò)結(jié)構(gòu)自身中。此外，為了在完成網(wǎng)絡(luò)學習之后再進行學習以識 別新的模式，就必須對整個網(wǎng)絡(luò)進行重新學習，并且通過學習同時執(zhí) 行識別過程難以更新網(wǎng)絡(luò)負荷。
目前，在使用采用神經(jīng)網(wǎng)絡(luò)的硬件實現(xiàn)方法上的進展沒有最初設(shè)
想的那么快，并且現(xiàn)在難于在集成度和功耗方面實現(xiàn)LSI。在這些情 況下，就需要采用新的硬件的更好的實現(xiàn)方法，所述新硬件能夠通過 結(jié)合存儲器元件來有效地存儲模式。
考慮到以上所述，最近已經(jīng)提出了基于完全并行架構(gòu)的小面積/ 高速度的相聯(lián)存儲器的開發(fā)。在以下的文獻2到8中詳細描述了示例。 [文獻2] H. J, Mattausch， N. Omori， s. Fukae， T. Koide和T. Gyoten ， " Fully-parallel pattern-matching engine with dynamic adaptability to Haming or Manhattan distance", 2002 Symposium on VLSI Circcuit Dig. Of Tech. Papers, pp. 252-255， 2002。 T. Koide， Y. Yano， H. J. Mattausch， "An associative memory for real-time applications requiring fUlly parallel nearest Manhattan-distance-search", Proc. Of the Workshop on Synthesis And System Integration of Mixed Technologies ， pp. 200-205, 2003 。 Y Yano， T. Koide, H. J. Mattausch, "Fully parallel nearest Manhattan-distance search memory with large reference-pattern number", Extend. Abst. Of the International Conf. On Solid-State Devices肌d Materials, pp. 254-255， 2002日本專利申請?zhí)卦S公開No. 2001-011760 [文獻7]日本專利申請?zhí)卦S公開No. 2002-159436 [文獻8]日本專利申請?zhí)卦S公開No. 2002-165759 相聯(lián)存儲器具有最小距離搜索功能，該功能是實現(xiàn)識別功能的重 要元素，并且相聯(lián)存儲器能夠通過基于數(shù)字比較運算和模擬最小值運算將搜索數(shù)據(jù)與每個參考數(shù)據(jù)進行比較，從而在所有的數(shù)據(jù)之間進行 并行比較。因此，由于相聯(lián)存儲器能夠?qū)崿F(xiàn)高速模式匹配過程，所以 相聯(lián)存儲器引人關(guān)注。
然而，即使是在基于相聯(lián)存儲器的模式識別系統(tǒng)的情況中，仍然 需要確立能夠有效學習以識別新參考數(shù)據(jù)的特定方法，并且添加或者 替換參考數(shù)據(jù)的過程需要大量時間。

發(fā)明內(nèi)容
如上所述，在人工智能系統(tǒng)中，執(zhí)行與輸入環(huán)境中的變化對應的 模式識別的功能是必需的，并且通過學習執(zhí)行廣范圍的識別也是重要 的。根據(jù)常規(guī)系統(tǒng)，采用基于處理器或者神經(jīng)網(wǎng)絡(luò)的方法進行學習。 為了實現(xiàn)學習，在基于處理器的系統(tǒng)中，必須采用一種方法或者其他 方法更新參考數(shù)據(jù)，并且在基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)中，整個網(wǎng)絡(luò)的每個 網(wǎng)絡(luò)負荷都必須更新。因此，在共同執(zhí)行模式識別和學習的情況中， 上述常規(guī)系統(tǒng)存在一個問題，即，在功耗和電路尺寸方面難以集成。 基于用于實現(xiàn)高速匹配過程的相聯(lián)存儲器的模式識別系統(tǒng)已經(jīng)提出。 然而，仍然需要建立特別的方法來執(zhí)行有效學習以識別將要添加的新 參考數(shù)據(jù)，對于參考數(shù)據(jù)的識別/學習過程而言，大量的時間是必需 的。
本發(fā)明的一個目的是提供一種參考數(shù)據(jù)優(yōu)化學習方法，其能夠在 相對短的時間內(nèi)，實現(xiàn)對模式匹配過程所必需的新參考數(shù)據(jù)的識別的 自動學習，并且提供了模式識別系統(tǒng)，其通過使用所述方法能夠縮短 模式識別所必需的時間。
本發(fā)明的參考數(shù)據(jù)優(yōu)化學習方法具有以下特征 (1)提供了一種參考數(shù)據(jù)優(yōu)化學習方法，其執(zhí)行對與模式搜索 目標的輸入數(shù)據(jù)和多個參考數(shù)據(jù)之間的相似性等同的距離的計算，并 且所述方法用于模式識別，以選擇在由閾值判定的識別區(qū)域中存在的 具有最小距離的參考數(shù)據(jù)作為識別數(shù)據(jù)，并且所述方法通過學習所述 識別數(shù)據(jù)來優(yōu)化用于所述模式識別的所述參考數(shù)據(jù)。所述方法的特征 在于其包括對與要被選擇作為所述識別數(shù)據(jù)的所述參考數(shù)據(jù)相對應的輸入數(shù)據(jù)進行固定次數(shù)的讀?。猾@得所述輸入數(shù)據(jù)和所述參考數(shù)據(jù) 之間的距離分布的重心點；以及優(yōu)化所述參考數(shù)據(jù)的位置，以將其置 于所述重心點上。
(2) 在段落(1)中所描述的方法中，在對所述參考數(shù)據(jù)的位置 進行優(yōu)化時，限制移動以防止在所述參考數(shù)據(jù)的識別區(qū)域與相鄰參考 數(shù)據(jù)的識別區(qū)域之間出現(xiàn)重疊。
(3) 在段落(1)中所描述的方法中，在對所述參考數(shù)據(jù)進行優(yōu) 化時，通過改變閾值來擴大/縮小識別區(qū)域，以防止在相互鄰接的參 考數(shù)據(jù)中設(shè)定的識別區(qū)域之間出現(xiàn)重疊。
(4) 所述參考數(shù)據(jù)優(yōu)化學習方法可以執(zhí)行對與模式搜索目標的 輸入數(shù)據(jù)和多個參考數(shù)據(jù)之間的相似性等同的距離的運算，并且所述 方法可以用于模式識別，所述模式識別選擇在由閾值判定的識別區(qū)域 中存在的具有最小距離的參考數(shù)據(jù)作為識別數(shù)據(jù)，并且所述方法通過 學習所述識別數(shù)據(jù)來優(yōu)化用于所述模式識別的所述參考數(shù)據(jù)。所述方 法可以包括對在識別區(qū)域內(nèi)部和外部存在的輸入數(shù)據(jù)的數(shù)量進行計 數(shù)；以及確定所述識別區(qū)域內(nèi)部和外部的輸入數(shù)據(jù)的數(shù)量中哪一側(cè)的 數(shù)量首先達到固定次數(shù)；通過改變達到所述固定次數(shù)的所述側(cè)的閾 值，優(yōu)化所述參考數(shù)據(jù)的位置，以擴大/縮小所述識別區(qū)域。
(5) 在段落(3)或(4)中所描述的方法中，在對所述參考數(shù) 據(jù)進行優(yōu)化時，從預先設(shè)定的概率分布中選擇所述閾值的改變量。
(6) 在段落(3)或(4)中所描述的方法中，僅僅在表示一組 所述輸入數(shù)據(jù)的中心和當前參考數(shù)據(jù)之間的距離的值大于參考值時， 才改變所述閾值。
(7) 在段落(1)中所描述的方法中，歐幾里得距離、曼哈頓距 離、漢明距離和馬哈拉諾比斯距離中的一個被用作距離索引，以用于 所述距離計算。
根據(jù)本發(fā)明的模式識別系統(tǒng)具有以下特征
(8) 所述系統(tǒng)包括相聯(lián)存儲器，其至少配備有用于存儲用于 識別輸入模式的搜索數(shù)據(jù)的多個參考數(shù)據(jù)的參考數(shù)據(jù)存儲裝置，用于 獲得所述搜索數(shù)據(jù)和最小距離內(nèi)存在的參考數(shù)據(jù)的最小距離搜索裝置；以及用于根據(jù)所述最小距離是否等于或者大于閾值來確定所述搜 索數(shù)據(jù)與所述最小距離的參考數(shù)據(jù)之間的相同性的確定裝置；以及優(yōu) 化裝置，其用于對與要被選擇作為識別數(shù)據(jù)的所述參考數(shù)據(jù)相對應的 輸入數(shù)據(jù)進行固定次數(shù)的讀取，獲得所述輸入數(shù)據(jù)和所述參考數(shù)據(jù)之 間的距離分布的重心點，以及優(yōu)化所述參考數(shù)據(jù)的位置，以將其置于 所述重心點上。所述系統(tǒng)的特征在于，基于所述被優(yōu)化的參考數(shù)據(jù)， 對在所述參考數(shù)據(jù)存儲裝置中存儲的參考數(shù)據(jù)進行更新。
(9) 在段落(8)中所描述的系統(tǒng)中，所述優(yōu)化裝置限制移動， 以防止在由所述參考數(shù)據(jù)的閾值決定的識別區(qū)域與相鄰參考數(shù)據(jù)的 識別區(qū)域之間出現(xiàn)重疊。
(10) 在段落(8)中所描述的系統(tǒng)中，所述優(yōu)化裝置通過改變 所述閾值來擴大/縮小識別區(qū)域，以防止在由閾值所決定的相互鄰接 的參考數(shù)據(jù)的識別區(qū)域之間出現(xiàn)重疊。
(11) 所述系統(tǒng)包括相聯(lián)存儲器，其至少配備有用于存儲用于 識別輸入模式的搜索數(shù)據(jù)的多個參考數(shù)據(jù)的參考數(shù)據(jù)存儲裝置，用于 獲得所述搜索數(shù)據(jù)和最小距離內(nèi)存在的參考數(shù)據(jù)的最小距離搜索裝 置；以及用于根據(jù)所述最小距離是否等于或者大于閾值來確定所述搜 索數(shù)據(jù)與所述最小距離的參考數(shù)據(jù)之間的相同性的確定裝置；以及優(yōu) 化裝置，其用于對在由所述閾值所決定的識別區(qū)域內(nèi)部和外部存在的 輸入數(shù)據(jù)的數(shù)量進行計數(shù)，并改變首先達到固定次數(shù)的一側(cè)的所述閾 值，以擴大/縮小所述識別區(qū)域。所述系統(tǒng)的特征可以在于，基于所 述被優(yōu)化的參考數(shù)據(jù)，對在所述參考數(shù)據(jù)存儲裝置中存儲的參考數(shù)據(jù) 進行更新。
(12) 在段落(10)或(11)中所描述的系統(tǒng)中，所述優(yōu)化裝置 從預先設(shè)定的概率分布中選擇所述閾值的改變量。
(13) 在段落(10)或(11)中所描述的系統(tǒng)中，所述優(yōu)化裝置 將表示一組所述輸入數(shù)據(jù)的中心與當前參考數(shù)據(jù)之間的距離的值與 參考值進行比較，并僅僅在大于所述參考值時改變所述閾值。
(14) 在段落(8)或(11)中所描述的系統(tǒng)中，使用歐幾里得 距離、曼哈頓距離、漢明距離和馬哈拉諾比斯距離中的一個作為距離索引，以用于所述距離計算。
(15) 在段落(8)或(11)中所描述的系統(tǒng)中，所述相聯(lián)存儲 器和所述優(yōu)化裝置結(jié)合在一個單片集成電路中。
(16) 模式識別系統(tǒng)可以包括算術(shù)處理設(shè)備，其配備有處理器
和存儲裝置，所述處理器用于根據(jù)程序執(zhí)行算術(shù)處理，所述存儲裝置 用于至少存儲多個用于識別輸入模式的搜索數(shù)據(jù)的參考數(shù)據(jù)、所述處 理器的算術(shù)處理結(jié)果、以及用于所述算術(shù)處理的參數(shù)，所述處理器基 于所述程序獲得所述搜索數(shù)據(jù)和最小距離內(nèi)存在的參考數(shù)據(jù)，并根據(jù) 所述最小距離是否等于或者大于閾值，來確定所述搜索數(shù)據(jù)與所述最
小距離的參考數(shù)據(jù)之間的相同性；以及優(yōu)化裝置，其用于對與要被選 擇作為識別數(shù)據(jù)的所述參考數(shù)據(jù)相對應的輸入數(shù)據(jù)進行固定次數(shù)的 讀取，獲得所述輸入數(shù)據(jù)和所述參考數(shù)據(jù)之間的距離分布的重心點， 以及優(yōu)化所述參考數(shù)據(jù)的位置，以將其置于所述重心點上。所述系統(tǒng) 的特征可以在于，基于所述被優(yōu)化的參考數(shù)據(jù)，對在所述參考數(shù)據(jù)存 儲裝置中存儲的參考數(shù)據(jù)進行更新。
(17) 在段落(16)中所描述的系統(tǒng)中，所述優(yōu)化裝置限制移動， 以防止在由所述參考數(shù)據(jù)的閾值所決定的識別區(qū)域與相鄰參考數(shù)據(jù) 的識別區(qū)域之間出現(xiàn)重疊。
(18) 在段落(16)中所描述的系統(tǒng)中，所述優(yōu)化裝置通過改變 所述閾值來擴大/縮小識別區(qū)域，以防止在由閾值所決定的相互鄰接 的參考數(shù)據(jù)的識別區(qū)域之間出現(xiàn)重疊。
(19) 所述系統(tǒng)可以包括算術(shù)處理設(shè)備，其配備有處理器和存 儲裝置，所述處理器用于根據(jù)程序執(zhí)行算術(shù)處理，所述存儲裝置用于 至少存儲多個用于識別輸入模式的搜索數(shù)據(jù)的參考數(shù)據(jù)、所述處理器 的算術(shù)處理結(jié)果、以及用于所述算術(shù)處理的參數(shù)，所述處理器基于所 述程序獲得所述搜索數(shù)據(jù)和最小距離內(nèi)存在的參考數(shù)據(jù)，并根據(jù)所述 最小距離是否等于或者大于閾值，來確定所述搜索數(shù)據(jù)與所述最小距 離上的參考數(shù)據(jù)之間的相同性；以及優(yōu)化裝置，其用于對在由所述閾 值所決定的識別區(qū)域內(nèi)部和外部存在的輸入數(shù)據(jù)的數(shù)量進行計數(shù)，并 改變首先達到固定次數(shù)的一側(cè)的所述閾值，以擴大/縮小所述識別區(qū)域。所述系統(tǒng)的特征可以在于，基于所述被優(yōu)化的參考數(shù)據(jù)，對在所 述參考數(shù)據(jù)存儲裝置中存儲的參考數(shù)據(jù)進行更新。
(20) 在段落(18)或(19)中所描述的系統(tǒng)中，所述優(yōu)化裝置 從預先設(shè)定的概率分布中選擇所述閾值的改變量。
(21) 在段落(18)或(19)中所描述的系統(tǒng)中，所述優(yōu)化裝置 將表示一組所述輸入數(shù)據(jù)的中心與當前參考數(shù)據(jù)之間的距離的值與 參考值進行比較，并僅僅在大于所述參考值時改變所述閾值。
(22) 在段落(16)或(19)中所描述的系統(tǒng)中，使用歐幾里得 距離、曼哈頓距離、漢明距離和馬哈拉諾比斯距離中的一個作為距離 索引，以用于所述距離的計算。
(23) 在段落(16)或(19)中所描述的系統(tǒng)中，所述算術(shù)處理 設(shè)備和所述優(yōu)化裝置結(jié)合在一個單片集成電路中。
附圖簡述


圖1是本發(fā)明的方法所采用的相聯(lián)存儲器的概念圖2是示出圖1的相聯(lián)存儲器的示例性的完全并行的相聯(lián)存儲器 配置示例的方框圖3是根據(jù)本發(fā)明的優(yōu)化學習方法的概念圖4是根據(jù)本發(fā)明的優(yōu)化學習方法的概念圖5是根據(jù)本發(fā)明的優(yōu)化學習方法的概念圖6是示出本發(fā)明所采用的相聯(lián)存儲器的參考數(shù)據(jù)與輸入數(shù)據(jù) 之間的相關(guān)性的示圖7是示出根據(jù)本發(fā)明的參考數(shù)據(jù)和識別區(qū)域的優(yōu)化學習算法 的流程圖8是示出縮小/放大識別區(qū)域的情況的概念圖，以用于解釋圖7
的閾值優(yōu)化學習算法；
圖9是示出根據(jù)本發(fā)明選擇閾值更新量的概率分布的特征圖； 圖10是示出根據(jù)本發(fā)明的被添加了學習功能的相聯(lián)存儲器的結(jié)
構(gòu)的方框圖11是圖10所示的學習電路的特定配置的方框圖；圖12是示出當圖11所示的概率分布儲存存儲器為Dg = 3時， 對所生成的隨機數(shù)進行選擇的示例的概念圖13是示出根據(jù)本發(fā)明的參考數(shù)據(jù)優(yōu)化學習的仿真結(jié)果的圖
形；
圖14是示出根據(jù)本發(fā)明的閾值優(yōu)化學習(識別區(qū)域優(yōu)化)的仿 真結(jié)果的圖形；
圖15A是示出圖13的仿真中所使用的輸入數(shù)據(jù)的變化情況的正 態(tài)分布的波形圖15B是示出圖14的仿真中所使用的輸入數(shù)據(jù)的變化情況的均 勻分布的波形圖；以及
圖6是示出采用根據(jù)本發(fā)明的優(yōu)化學習方法的處理器模式識別 系統(tǒng)的配置的方框圖。
具體實施例方式
以下將參考附圖詳細描述實現(xiàn)本發(fā)明的最優(yōu)方式。
如圖1所示，釆用本發(fā)明的方法的相聯(lián)存儲器是功能性存儲器， 其基于預先指定的距離索引，利用相似性來比較在存儲器中預先存儲 的多個參考數(shù)據(jù)(或者模板)和輸入數(shù)據(jù)(或搜索數(shù)據(jù))，并檢測與 所述輸入數(shù)據(jù)最相似(最近距離)的參考數(shù)據(jù)(以下稱為優(yōu)勝者)， 以執(zhí)行模式匹配。
圖2是示出作為相聯(lián)存儲器示例的，執(zhí)行完全并行的最小距離搜 索的一種類型(完全并行的相聯(lián)存儲器)的配置示例的方框圖，其研 發(fā)意在追求實現(xiàn)高速處理、小面積和低功耗。在圖中，存儲器內(nèi)核部 分包括存儲器區(qū)域100，優(yōu)勝者排隊放大電路(以下稱為WLA電路) 200，優(yōu)勝者取得電路(以下稱為WTA電路)300,并具有作為外圍 電路的列解碼器和R/W電路(M X W列)110，行解碼器(R行) 120以及搜索數(shù)據(jù)存儲電路(M比特XW) 130。
存儲器區(qū)域100包括WXR個由SRAM存儲單元構(gòu)成的單元存 儲電路(US)，其用于依照單位(M比特)來存儲參考數(shù)據(jù)，WXR 個單元比較電路(UC)，其用于為每個單元計算參考數(shù)據(jù)與搜索數(shù)據(jù)之間的差的絕對值(以下所稱的曼哈頓距離)，R個字權(quán)重比較電路 (WC)，用于將所計算的距離轉(zhuǎn)換為模擬電壓(或電流)。
由字權(quán)重比較電路WC所生成的比較結(jié)果信號Ci進入WLA電路 200。 WIA電路200基于自己的均衡性來控制該信號Cj，并在初始階 段將行間電壓的差放大到最大。WLA電路200和WTA電路300的 特征在于，相對于行數(shù)R，能夠利用小線性O(shè)(R)面積實現(xiàn)面積增加 比率。
WTA電路300具有對由WLA電路200所放大的行間電壓輸出 LAj的差進行進一步放大的功能。在WTA電路300的輸出Mi中，生 成數(shù)字信號，其中優(yōu)勝者行為"1"，其他失敗者行為"0"。 WLA電 路200采用內(nèi)部反饋信號F，以使放大點的優(yōu)勝者行能夠獲得最大程 度的放大。當返回到字權(quán)重比較電路WC時，WLA電路200中所包 含的電壓跟隨器電路用于實現(xiàn)高反饋速度。
當存在向量a-(a，， a2，…，a"…，aN)， b-(b!,b2,…，bi,…，bN)時， 曼哈頓距離D用以下公式表示。
<formula>formula see original document page 13</formula>
圖3是根據(jù)本發(fā)明的優(yōu)化學習算法的概念圖。將通過顏色色調(diào)和 形狀對模式進行二維分類的情況作為示例。在圖3的左上方(a)，在 輸入數(shù)據(jù)(八角形標記)和四個預先存儲的參考數(shù)據(jù)A、 B、 C和D 之間，將具有最小曼哈頓距離1的最類似模式選作優(yōu)勝者。在該情況 中的優(yōu)勝者是八角形標記A。最小曼哈頓距離被設(shè)定為"優(yōu)勝者距離 Dwi"。
如果優(yōu)勝者距離Dwj等于或者小于用于決定與參考數(shù)據(jù)i對應的 預先指定的識別區(qū)域的閾值距離Dthi (DWj《Dthi)，則將優(yōu)勝者看作 已識別的優(yōu)勝者。這個內(nèi)部距離Dwi稱為"已識別的優(yōu)勝者距離 Drwi"。因此，當在預先指定的閾值中存在最相似模式時，由相聯(lián)存 儲器識別出所述模式。另一方面，如果Dwi大于Dthj (Dwi>Dthi)， 則認為它的輸入數(shù)據(jù)與相關(guān)的參考數(shù)據(jù)不相似，被認為與任何參考數(shù)據(jù)不相似，并且沒有識別出來。然而，相聯(lián)存儲器將參考數(shù)據(jù)與輸入
數(shù)據(jù)進行比較以搜索優(yōu)勝者，從而獲得優(yōu)勝者距離DWi。因此，重要 的是為有效識別準備最優(yōu)參考數(shù)據(jù)。例如，在圖3的中心(b)，當輸 入數(shù)據(jù)分布如圖所示時，由參考數(shù)據(jù)B所指示的一組輸入數(shù)據(jù)的中 心優(yōu)選地是最優(yōu)參考數(shù)據(jù)B'。
由于"已識別的優(yōu)勝者距離Drwj"是通過將優(yōu)勝者距離Dwj與 閾值Dthi進行比較而確定的，因此最優(yōu)閾值Dthj的設(shè)定對于改善識 別來說是重要的。例如，對于閾值Dthi,假設(shè)使得與特定參考數(shù)據(jù)對 應的所有(相似)輸入數(shù)據(jù)都能夠被識別出來(100%)的閾值為 Dmaxi，當Dthi與DmaXi相比太小時，識別率下降，或者相反地，當 它太大并且與其他參考數(shù)據(jù)(圖3中的[c]和[d])相匹配時，會發(fā)生 錯誤識別。因而，由于當閾值Dthi的區(qū)域(識別區(qū)域)重疊參考數(shù)據(jù) 時存在取決于重疊度的錯誤識別的可能性，因此必須消除識別區(qū)域的 重疊。
可以通過如圖4的下面部分(c)所示偏移參考數(shù)據(jù)(C—C'， D —D')，或者通過如圖5的下面部分(c)所示減小參考數(shù)據(jù)i的閾值 Dthi，來實現(xiàn)重疊的消除。明顯的是，在基于相聯(lián)存儲器的系統(tǒng)中， 必須基于對于每個參考數(shù)據(jù)i的閥值Dthi的優(yōu)化來優(yōu)化識別區(qū)域，以 執(zhí)行正確的識別。
因此，本發(fā)明的最優(yōu)學習有兩個含義，即，更新參考數(shù)據(jù)以使其 為最優(yōu)的"參考數(shù)據(jù)最優(yōu)學習"，和更新每個參考數(shù)據(jù)的閾值以使其 為最優(yōu)的"識別區(qū)域最優(yōu)學習"。以下將參考圖6到9詳細描述學習 算法。
在以下的描述中，US、 SB和G分布表示參考數(shù)據(jù)、輸入數(shù)據(jù)和 參考數(shù)據(jù)與輸入數(shù)據(jù)之間的差的向量。如圖6所示，在相聯(lián)存儲器中 所存儲的參考數(shù)據(jù)的集合為US = {USh US2，USi,...， USR} (R是 相聯(lián)存儲器的數(shù)據(jù)的數(shù)量(行數(shù)))。每個參考數(shù)據(jù)都由M比特的W 個字構(gòu)成。因此，它能夠用USi = {Xil, xi2，…，Xij,…，xiw} (W是相聯(lián) 存儲器的向量的數(shù)量(列數(shù)))表示。對于參考數(shù)據(jù)USi (1《i《R)， 被識別為已識別優(yōu)勝者的N個輸入數(shù)據(jù)的集合被定義為SBi = {SBi， l5SBi，2,…，SBi,k，…，SBi,N} (1《K《N)，并且輸入數(shù)據(jù)定義為SBi,K =
(y",k, yi2,k，…，yij,k，…，yiw,k) (Kj《w)。
圖7是示出根據(jù)本發(fā)明的參考數(shù)據(jù)與識別區(qū)域的優(yōu)化學習算法 的流程圖。
首先，將要描述參考數(shù)據(jù)的優(yōu)化學習算法。根據(jù)該算法，假設(shè)最 優(yōu)參考數(shù)據(jù)是所有輸入數(shù)據(jù)的重心(中心)，以將特定參考數(shù)據(jù)作設(shè)
定為已識別的優(yōu)勝者(圖3中[a])。然而，由于在其中輸入數(shù)據(jù)隨著 時間而連續(xù)輸入的在線識別中開始不會馬上知道所有輸入數(shù)據(jù)，因此 通常難以獲得最佳參考數(shù)據(jù)。因此，根據(jù)本發(fā)明，基于與被設(shè)定為已 識別的優(yōu)勝者的參考數(shù)據(jù)相對應的固定次數(shù)的輸入數(shù)據(jù)，計算其重心 以優(yōu)化參考數(shù)據(jù)。通過這種過程，即使是當輸入數(shù)據(jù)分布由于這樣或 那樣的原因而改變時，也可以令人滿意地應對分布的變化。
將要參考圖7的流程圖描述用于更新參考數(shù)據(jù)以使其為最優(yōu)的 學習算法。首先，當將輸入數(shù)據(jù)SBi,k輸入到US (步驟S1)以執(zhí)行 優(yōu)勝者檢測時(步驟S2)， USi成為優(yōu)勝者。然后，計算優(yōu)勝者距離 Dwi，k以與閾值Dthj進行比較(步驟S3)。當比較結(jié)果為Dwi,K《Dthi 時，識別為DrWi-Dwi，k，并且由以下等式(1)計算將被存儲的輸入 數(shù)據(jù)SBi,k與參考數(shù)據(jù)USi之間的向量差Gu (步驟S4)。
Gi，^SBi，k—USi (1) 基于與已經(jīng)N次變?yōu)閮?yōu)勝者(步驟S6， S7)的參考數(shù)據(jù)相對應 的輸入數(shù)據(jù)，通過以下等式(2)更新參考數(shù)據(jù)USi (步驟S8)。 [公式3]
<formula>formula see original document page 15</formula>(2)
對于輸入數(shù)據(jù)的每次輸入都執(zhí)行識別，為已經(jīng)N次成為已識別 優(yōu)勝者的參考數(shù)據(jù)計算N次Gi,k (步驟S6， S7)。 Gi,k是表示輸入數(shù) 據(jù)與已經(jīng)成為已識別的優(yōu)勝者的參考數(shù)據(jù)之間的差的程度的向量。等 式(2)的第二項是根據(jù)N次的Gi，k計算出的，并且確定參考數(shù)據(jù)與 輸入數(shù)據(jù)之間的差的重心的程度。如果所述差大，則按照等式(2)更新參考數(shù)據(jù)以使其最優(yōu)，以減小該差(步驟S8)。差的程度的標準 是從N次的輸入數(shù)據(jù)與具有閾值(例如曼哈頓距離)的參考數(shù)據(jù)之 間的差中獲得的距離(例如曼哈頓距離)的比。由等式(2)的第二 項所表示的差的標準與用于以下所述的更新過程的等式(7)類似。 參考數(shù)據(jù)的更新程序與閾值更新程序類似，并且當輸入數(shù)據(jù)的重心與 參考數(shù)據(jù)之間的差大時，更新參考數(shù)據(jù)和閾值。
接下來，描述用于優(yōu)化每個參考數(shù)據(jù)USi的閾值Dthi的學習算法。
首先，閾值的改變意味著識別區(qū)域的縮小或擴大。為了該目的， 必須確定將輸入數(shù)據(jù)輸入到識別區(qū)域的內(nèi)部/外部的比率。根據(jù)本發(fā) 明，對圖8中虛線所示的識別區(qū)域的內(nèi)部(《Dthi)或者外部(〉Dthi) 中存在的輸入數(shù)據(jù)的數(shù)量進行計數(shù)(步驟S6， SIO)，并且當固定次 數(shù)的預先指定的輸入數(shù)據(jù)被生成N次時，就縮小/擴大識別區(qū)域。
當特定參考數(shù)據(jù)USi成為優(yōu)勝者(步驟S2)時，即，如果優(yōu)勝 者距離小于閾值時，則將優(yōu)勝者距離設(shè)定為已識別的優(yōu)勝者距離 Drw^lA.^k,...,:^ (步驟S3)，并且將這些輸入數(shù)據(jù)的集合設(shè)定 為SB「(SBu，SBj，2, ...，SBu，...，SBi,N}。另一方面，如果優(yōu)勝者距 離大于閾值，則將優(yōu)勝者距離設(shè)定為已識別的優(yōu)勝者距離Dwj,k (1， 2,…，k，…，N)，并且將這些輸入數(shù)據(jù)的集合設(shè)定為SBei = {SBei,,, SBei，2， ...， SBei，k， ...， SBei,^。這些是用于獲得閾值更新量Dc的參數(shù)。 通過以下等式(3), (4)獲得Dthi與Dwj之間的差Dgi (步驟Sll)。 Dgj表示N次的輸入數(shù)據(jù)偏離閾值的程度，并且閾值更新意味著該偏 移的減小。<formula>formula see original document page 16</formula>
化,=丄￡| ^決,-I扭首先在識別區(qū)域內(nèi)部N次識別的情況} (3) =丄|]|￡^-￡、* 1(在首先在識別區(qū)域外部N次識別的情況！ (4)
如圖9所示，閾值的更新量Dci是從預先設(shè)定的概率分布中選擇 的，例如，從具有三角分布的概率分布中。圖9示出了選擇閾值更新 量DCi的概率分布P (Dci)， A指示Dgi = 4的情況，B指示Dgi = 3的情況<
/7(do =—
2
2
(5)
因此，按如下對閾值進行學習 [公式6]
j" ￡>化=+ D。(當閾值增加時) "[d^ = D/A,—Dc,(當閾值減小時)
(6)
(7)
在對參考數(shù)據(jù)的學習和閾值的學習中執(zhí)行更新過程。如果從由以 下等式(8)和(9)所表示的Gmi的每個維度的均值中獲得曼哈頓距 離Gti，由以下等式(10)所表示的曼哈頓距離Gtj小于閾值(例如， 大約為閾值的20%)，則參考數(shù)據(jù)和閾值都不更新。這是因為Gtj表 示一組輸入數(shù)據(jù)的中心與當前參考數(shù)據(jù)之間的曼哈頓距離，即，新參 考數(shù)據(jù)從當前參考數(shù)據(jù)USi移動的程度，并且由于小的Gti意味著小 更新量，因此即使是執(zhí)行更新，也不期望識別率增加很多。因此，在 小更新量的情況下，防止更新以抑制更新次數(shù)，并且執(zhí)行參考數(shù)據(jù)的 有效優(yōu)化。
4=1
=(Zil, Zj2，…，Zjj，…，ZiW)
"=》
(8)
(9)
(10)
接下來，將要描述基于參考數(shù)據(jù)和識別區(qū)域的優(yōu)化算法的基于相聯(lián)存儲器的體系結(jié)構(gòu)。
圖10是示出基于相聯(lián)存儲器的優(yōu)化學習系統(tǒng)的體系結(jié)構(gòu)的方框 圖。所述體系結(jié)構(gòu)包括控制電路500、學習電路600、比較電路700、 數(shù)據(jù)存儲電路800、以及相對于相聯(lián)存儲器設(shè)備400的存儲目的地選 擇電路900。
相聯(lián)存儲器設(shè)備400包括用作執(zhí)行最小距離搜索的相聯(lián)存儲器 410，用于臨時存儲輸入數(shù)據(jù)的輸入緩存器420,以及將相聯(lián)存儲器 410所提取的二進制數(shù)字(僅僅對優(yōu)勝者輸出為"1"，對其他地址行 輸出為"0")轉(zhuǎn)換為行地址的編碼器430。
控制電路500控制整個系統(tǒng)的過程。學習電路600學習并更新用 于決定相聯(lián)存儲器設(shè)備400的參考數(shù)據(jù)和識別區(qū)域的閾值，以使其為 最優(yōu)值。比較電路700包括分別為閾值比較和更新控制而準備的比較 器710， 720。數(shù)據(jù)存儲電路800包括第一到第四存儲器810到840， 分別用于存儲閾值學習、參考數(shù)據(jù)學習、閾值減小以及閾值放大的計 算結(jié)果。存儲目的地選擇電路900包括第一和第二計數(shù)器910， 920， 用于選擇分別通過控制電路500和學習電路600的過程而獲得的數(shù)據(jù) 的存儲目的地。
圖11是示出學習電路600的特定配置的方框圖。該學習電路600 包括減法器601、加法器602、除法器603、隨機數(shù)產(chǎn)生器604、概率 分布儲存存儲器605、用于塊601到605的數(shù)據(jù)輸入/輸出的寄存器 (REG) 611到615、輸入選擇開關(guān)621以及輸出選擇開關(guān)622，輸 入選擇開關(guān)621用于選擇性地讀取來自輸入緩存器420的輸入數(shù)據(jù)、 來自編碼器430的優(yōu)勝者行地址、以及來自數(shù)據(jù)存儲電路800的存儲 器810到840的數(shù)據(jù)(以下稱為存儲器l、存儲器2、存儲器3和存 儲器4)，并將這些數(shù)據(jù)傳遞到減法器601、加法器602、除法器603， 輸出選擇開關(guān)622用于將讀入寄存器611到615中的數(shù)據(jù)傳遞到相聯(lián) 存儲器設(shè)備400、數(shù)據(jù)存儲電路800。
以下將描述圖IO和ll所示的配置的結(jié)構(gòu)中的特定操作。 為了簡化解釋，假設(shè)將US產(chǎn)(80, IIO)預先存儲在處于W = 2的參 考數(shù)據(jù)的第i行上的相聯(lián)存儲器410中。首先，假設(shè)閾值Dthi-10存儲在用于閾值存儲的存儲器1中，當將輸入數(shù)據(jù)SBi」-(75， 112)輸入 到相聯(lián)存儲器410時，如果第i行變?yōu)閮?yōu)勝者，則從相聯(lián)存儲器410 單獨地將"l"輸出到第i行，而將"O"輸出到其他行。將(O,...,l，..., Of (T表示轉(zhuǎn)置)從相聯(lián)存儲器410輸入到編碼器430，并從編碼器 430輸出行地址i。
在已經(jīng)將i行輸入到學習電路600之后，基于距離索引(曼哈頓 距離)計算參考數(shù)據(jù)第i行USi = (80， IIO)與輸入數(shù)據(jù)SBi,產(chǎn)(75, 112) 之間的距離。采用減法器601執(zhí)行每個維度的減法。從等式(1)獲 得以下。
在基于該計算結(jié)果進行的補數(shù)的轉(zhuǎn)換之后，采用加法器602計算 優(yōu)勝者距離Dwi,, = 7。由于采用用于閾值比較的第一比較器710將閾 值與優(yōu)勝者距離進行比較得到Dthi〉Dwi, p因此該優(yōu)勝者是己識別 的優(yōu)勝者，將Gi, i存儲在用于參考數(shù)據(jù)學習的存儲器2中。設(shè)定Z^，,= Drwi，產(chǎn)7，并將Drwi，,存儲在用于閾值減小的存儲器3中。
當(SBi，2， SB" SBi>4} = {(86， 112)， (81， 114)， (77， 105)}和成為優(yōu) 勝者的輸入數(shù)據(jù)被輸入預定的固定次數(shù)(N = 4)時，獲得(Gi，2, G^， Gi， 4} = {(6, 2), (1， 4)， (一3， 5))和(Drwi，2， Drwi,3， Drwi，4} = {8， 5， 8}。將 Gmi={-1, 13}存儲在用于參考數(shù)據(jù)學習的存儲器2中，并且將以下的 等式存儲在用于閾值減小的存儲器2中。 [公式10]
由于N-4的輸入，通過采用減法器601從等式(10)獲得Gt^ 3。當Gti-3被確定為作為更新量太小時，不執(zhí)行學習。假設(shè)在更新 之前，更新量等于或者小于閾值的20%就認為更新量太小，則Gt廣3<formula>formula see original document page 21</formula>
在該仿真中，設(shè)定^=3。在仿真中，輸入數(shù)據(jù)不改變。
作為表示優(yōu)化程度的索引，在圖13中采用了錯誤率，在圖14中 釆用了距離錯誤率。在該情況下，采用以下等式表示錯誤率《,。 [公式13]
<formula>formula see original document page 21</formula>
MSEj是相對于第i行參考數(shù)據(jù)的輸入數(shù)據(jù)的均方誤差(為每個 固定次數(shù)進行計算)。MSE0i是對于理想?yún)⒖紨?shù)據(jù)的所有輸入數(shù)據(jù)的 估計的均方誤差，當無限地將輸入數(shù)據(jù)輸入時，可以采用均方誤差 MSEi生成錯誤。換句話說，錯誤率A是表示當前均方誤差MSEj與要 生成的誤差MSE0j之間的偏差程度的比例。該錯誤率a,表示當其接近 "0"時，參考數(shù)據(jù)更接近最優(yōu)。 距離錯誤率由以下等式表示 [公式14]
<formula>formula see original document page 21</formula>
Z)max,.是識別率為100%時的閾值。因此，該距離錯誤率表示當 其接近"0"時，識別區(qū)域更接近最優(yōu)。從圖13的結(jié)果中，能夠理解， 通過增加學習次數(shù)來優(yōu)化參考數(shù)據(jù)。還能夠理解，參考數(shù)據(jù)跟隨著輸 入數(shù)據(jù)分布的變化，根據(jù)輸入數(shù)據(jù)的所述變化而變?yōu)樽顑?yōu)參考數(shù)據(jù)。 在圖14中，采用了兩種輸入數(shù)據(jù)的分布，即正態(tài)分布和均勻分布， 并且兩者都變?yōu)槠渲性趯W習之后的識別率變?yōu)榈扔诨蛘叽笥?5%的 閾值。其可能的原因是在正態(tài)分布的輸入情況下，輸入數(shù)據(jù)不均勻地圍繞著最優(yōu)參考數(shù)據(jù)的中心，難以增加閾值，導致距離錯誤率的增加。 已經(jīng)通過使用曼哈頓距離作為距離索引的示例描述了實施例。然 而，也能夠使用其他索引，例如歐幾里得距離，漢明距離和馬哈拉諾 比斯距離。
已經(jīng)采用基于相聯(lián)存儲器的模式識別系統(tǒng)的方式描述了實施例。 然而，本發(fā)明并不局限于此。例如，本發(fā)明能采用基于處理器的模式
識別系統(tǒng)。以下將參考圖16描述基于處理器的系統(tǒng)的實施例。
圖16是示出采用本發(fā)明的優(yōu)化學習方法的基于處理器的模式識 別系統(tǒng)的配置的方框圖。在圖16中，1000是中央處理器(CPU)， 1100 是存儲器，1300是用于在CPU 1000與存儲器1100之間傳輸寫入數(shù) 據(jù)、讀取數(shù)據(jù)的數(shù)據(jù)總線。
CPU 1000包括算術(shù)和邏輯單元(ALU) 1010,寄存器1011到 1013，和控制器1020。控制器1020控制存儲器l 100的讀取/寫入， 它還根據(jù)預先錄入的程序命令ALU 1010選擇性地執(zhí)行加法/減法、比 較、除法等等。在ALU 1010的輸入/輸出部分，寄存器1011到1013 設(shè)置為緩存器。
存儲器1100包括用于臨時存儲輸入數(shù)據(jù)SB,到SBR的區(qū)域1110， 用于存儲參考數(shù)據(jù)US 到USRW以能夠進行更新的區(qū)域1120，用于 存儲閾值數(shù)據(jù)Dth,到DthR的區(qū)域113 0，用于存儲CPU 1000的距離 計算結(jié)果到DR的區(qū)域1140，用于存儲優(yōu)勝者距離DWl,,到DWRf N 的區(qū)域1150,用于存儲優(yōu)勝者距離與閾值之間的差D&到DgR的區(qū) 域1160，用于存儲搜索數(shù)據(jù)和參考數(shù)據(jù)之間的差G^到Gr^的區(qū)域 1170，用于存儲輸入到閾值的內(nèi)部的次數(shù)的1到N的值(第一計數(shù) 器值)的區(qū)域1180，用于存儲輸入到閾值外部的次數(shù)的1到N的值 (第一計數(shù)器值)的區(qū)域1190，以及用于存儲可能的閾值更新量數(shù) 據(jù)Dc的區(qū)域1200，并且讀K/寫入是通過CPU 1000端的控制器1020 進行控制的。
根據(jù)以上配置，對于控制器1020的執(zhí)行程序來說，通過軟件執(zhí) 行與相聯(lián)存儲器的過程相類似的過程。即，在CPU 1000中，通過與 存儲器1100的數(shù)據(jù)轉(zhuǎn)送，計算與模式搜索目標與多個參考數(shù)據(jù)之間相似性等同的距離，并且將在由閾值決定的識別區(qū)域中最小距離內(nèi)所 存在的參考數(shù)據(jù)選擇作為已識別的數(shù)據(jù)。
在該情況下，基于圖7的流程圖的參考數(shù)據(jù)的優(yōu)化學習過程就包 含在控制器1020的執(zhí)行程序中。因此，在存儲器1100中的參考數(shù)據(jù) 始終更新為最優(yōu)，從而能夠縮短模式識別所必需的時間。如上所述， 在基于處理器的常規(guī)系統(tǒng)中，由于不包含采用參考數(shù)據(jù)的優(yōu)化學習的 更新過程，因此難以縮短模式識別的時間以及提高識別率。然而，通 過包含本發(fā)明的優(yōu)化過程解決了該問題，并且實現(xiàn)了模式識別時間的 縮短以及識別率的提高。
在基于處理器的系統(tǒng)中，作為距離索引的示例，也能夠使用除了 曼哈頓距離以外的其他索引，例如歐幾里得距離、漢明距離和馬哈拉 諾比斯距離。
工業(yè)應用
本發(fā)明能夠用于人工智能、自動機器人、驗證系統(tǒng)、非法進入檢 測系統(tǒng)(IDS)、數(shù)據(jù)銀行系統(tǒng)、因特網(wǎng)路由器、對象識別、電子武器、 家用輔助機器人等等的模式匹配過程中。
權(quán)利要求
1、一種參考數(shù)據(jù)優(yōu)化學習方法，其執(zhí)行對與模式搜索目標的輸入數(shù)據(jù)與多個參考數(shù)據(jù)之間的相似性等同的距離的計算，并且所述方法用于模式識別，以選擇在由閾值所決定的識別區(qū)域中存在的具有最小距離的作為已識別的優(yōu)勝者的參考數(shù)據(jù)作為識別數(shù)據(jù)，并且所述方法通過學習所述識別數(shù)據(jù)來優(yōu)化用于所述模式識別的所述參考數(shù)據(jù)，所述方法的特征在于包括對在所述識別區(qū)域內(nèi)部和外部存在的輸入數(shù)據(jù)的數(shù)量進行計數(shù)的步驟；確定所述識別區(qū)域內(nèi)部的輸入數(shù)據(jù)的數(shù)量和外部的輸入數(shù)據(jù)的數(shù)量中哪一側(cè)的數(shù)量首先達到固定次數(shù)的步驟；以及通過改變首先達到所述固定次數(shù)的所述側(cè)的閾值，對所述參考數(shù)據(jù)的位置進行優(yōu)化，以擴大/縮小所述識別區(qū)域的步驟。
2、 如權(quán)利要求1所述的參考數(shù)據(jù)優(yōu)化學習方法，其特征在于， 優(yōu)化所述參考數(shù)據(jù)的位置的步驟從預先設(shè)定的概率分布中選擇所述 閾值的改變量。
3、 如權(quán)利要求2所述的參考數(shù)據(jù)優(yōu)化學習方法，其特征在于， 優(yōu)化所述參考數(shù)據(jù)的位置的步驟將表示一組所述輸入數(shù)據(jù)的中心與 當前參考數(shù)據(jù)之間的距離的值與參考值進行比較，并且只有在大于所 述參考偟時，才改變所述閾值。
4、 如權(quán)利要求1所述的參考數(shù)據(jù)優(yōu)化學習方法，其特征在于， 使用歐幾里得距離、曼哈頓距離、漢明距離和馬哈拉諾比斯距離中的 一個作為距離索引，以用于所述距離計算。
5、 一種模式識別系統(tǒng)，其特征在于包括相聯(lián)存儲器，其至少配備有用于存儲用來識別輸入模式的搜索數(shù)據(jù)的多個參考數(shù)據(jù)的參考數(shù)據(jù)存儲裝置，用于獲得所述搜索數(shù)據(jù)和最 小距離內(nèi)存在的作為已識別的優(yōu)勝者的參考數(shù)據(jù)的最小距離搜索裝 置，以及用于根據(jù)所述最小距離是否等于或者大于閾值來確定所述搜索數(shù)據(jù)與所述最小距離的參考數(shù)據(jù)之間的相同性的確定裝置；以及 優(yōu)化裝置，其用于對在由所述閾值所決定的識別區(qū)域內(nèi)部和外部存在的輸入數(shù)據(jù)的數(shù)量進行計數(shù)，并改變首先達到固定次數(shù)的一側(cè)的所述閾值，以擴大/縮小所述識別區(qū)域，其特征在于，基于所述被優(yōu)化的參考數(shù)據(jù)，對在所述參考數(shù)據(jù)存儲裝置中存儲的參考數(shù)據(jù)進行更新。
6、 如權(quán)利要求5所述的模式識別系統(tǒng)，其特征在于，所述優(yōu)化 裝置從預先設(shè)定的概率分布中選擇所述閾值的改變量。
7、 如權(quán)利要求5所述的模式識別系統(tǒng)，其特征在于，所述優(yōu)化 裝置將表示一組所述輸入數(shù)據(jù)的中心與當前參考數(shù)據(jù)之間的距離的 值與參考值進行比較，并且只有在大于所述參考值時，才改變所述閾 值。
8、 如權(quán)利要求5所述的模式識別系統(tǒng)，其特征在于，使用歐幾 里得距離、曼哈頓距離、漢明距離和馬哈拉諾比斯距離中的一個作為 距離索引，以用于所述距離計算。
9、 如權(quán)利要求5所述的模式識別系統(tǒng)，其特征在于，所述相聯(lián) 存儲器和所述優(yōu)化裝置結(jié)合在單片集成電路中。
10、 一種模式識別系統(tǒng)，其特征在于包括算術(shù)處理設(shè)備，其配備有處理器和存儲裝置，所述處理器用于根 據(jù)程序執(zhí)行算術(shù)處理，所述存儲裝置用于至少存儲用于識別輸入模式 的搜索數(shù)據(jù)的多個參考數(shù)據(jù)、所述處理器的算術(shù)處理結(jié)果、以及用于 所述算術(shù)處理的參數(shù)，所述處理器基于所述程序獲得所述搜索數(shù)據(jù)和最小距離內(nèi)存在的作為已識別的優(yōu)勝者的參考數(shù)據(jù)，并根據(jù)所述最小 距離是否等于或者大于閾值，來確定所述搜索數(shù)據(jù)與所述最小距離的參考數(shù)據(jù)之間的相同性；以及優(yōu)化裝置，其用于對在由所述閾值決定的識別區(qū)域內(nèi)部和外部存 在的輸入數(shù)據(jù)的數(shù)量進行計數(shù)，并改變首先達到固定次數(shù)的一側(cè)的所 述閾值，以擴大/縮小所述識別區(qū)域；其特征在于，基于所述被優(yōu)化的參考數(shù)據(jù)，對在所述參考數(shù)據(jù)存 儲裝置中存儲的參考數(shù)據(jù)進行更新。
11、 如權(quán)利要求10所述的模式識別系統(tǒng)，其特征在于，所述優(yōu) 化裝置從預先設(shè)定的概率分布中選擇所述閾值的改變量。
12、 如權(quán)利要求10所述的模式識別系統(tǒng)，其特征在于，所述優(yōu) 化裝置將表示一組所述輸入數(shù)據(jù)的中心與當前參考數(shù)據(jù)之間的距離 的值與參考值進行比較，并且只有在大于所述參考值時，才改變所述 閾值。
13、 如權(quán)利要求10所述的模式識別系統(tǒng)，其特征在于，使用歐 幾里得距離、曼哈頓距離、漢明距離和馬哈拉諾比斯距離中的一個作 為距離索引，以用于所述距離計算。
14、 如權(quán)利要求10所述的模式識別系統(tǒng)，其特征在于，所述算 術(shù)處理器設(shè)備和所述優(yōu)化裝置結(jié)合在單片集成電路中。
全文摘要
本發(fā)明旨在能夠?qū)σ砑拥男聟⒖紨?shù)據(jù)有效地進行學習的模式識別系統(tǒng)。在所述模式識別系統(tǒng)中，計算與模式搜索目標的輸入數(shù)據(jù)與多個參考數(shù)據(jù)之間的相似性等同的距離，并基于與作為已識別的優(yōu)勝者的參考數(shù)據(jù)集合相對應的固定次數(shù)的輸入數(shù)據(jù)，計算其重心以優(yōu)化參考數(shù)據(jù)。此外，改變閾值以擴大/縮小識別區(qū)域，從而防止錯誤識別并提高識別率。
文檔編號G06T7/00GK101546382SQ20091013806
公開日2009年9月30日 申請日期2005年2月24日 優(yōu)先權(quán)日2004年2月27日
發(fā)明者小出哲士, 漢斯·于爾根·馬陶施, 白川佳則 申請人:廣島大學