專利名稱：模式的特征選擇方法、分類方法、判定方法、程序及單元的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及到一種用于圖像識(shí)別的模式的特征選擇方法、分類方法、判定方法、程序及單元。
背景技術(shù)：
作為從學(xué)習(xí)用的模式的集合中，決定用于模式識(shí)別的特征的方法，基于判別分析法的方法、基于主成分分析法的方法等被熟知，并已經(jīng)被廣泛利用(例如，參照特開平9-288492，特開平4-256087，特開平1-32159)。然而，由于上述各方法決定的特征只限定于線性特征，其性能是有限的。
另一方面，作為處理非線性特征的方法，使用神經(jīng)網(wǎng)絡(luò)的方法，特別是誤差逆?zhèn)鞑W(xué)習(xí)法和神經(jīng)網(wǎng)絡(luò)相配合的方法是公知的，(比如，參照，中野馨監(jiān)修，“ニユ一ロコンピユ一タ”，技術(shù)評(píng)論社1989，或者，D.E Rumelhart，“Parallel Distributed Processing”，MIT Press，1986年)。根據(jù)這些方法，可以使中間層的神經(jīng)元學(xué)習(xí)適合模式識(shí)別的非線性的特征。然而，這些方法中存在以下問題點(diǎn)，尤其在大規(guī)模的問題上學(xué)習(xí)花費(fèi)巨大的時(shí)間，中間層的神經(jīng)元的數(shù)量很大的影響神經(jīng)網(wǎng)絡(luò)的性能，沒有用于事先決定此中間層的最適合的神經(jīng)元數(shù)目的一般的方法等。
另外，作為使用決策樹進(jìn)行模式(分類)識(shí)別的方法，在相互信息量最大化的基準(zhǔn)上，決定決策樹的各節(jié)點(diǎn)的分類規(guī)則的ID3、C4.5等方法已被公知(參照特開2000-122690、特開昭61-75486、J.R.Quinlan，“C4.5Programs for Machine Learning”，1993年)。這些方法，和上述適用神經(jīng)網(wǎng)絡(luò)的方法比較，具有學(xué)習(xí)早些完了的優(yōu)點(diǎn)。在另一方面，這些方法，對(duì)學(xué)習(xí)模式以外的模式的識(shí)別性能(通用性能)不夠等，一般被認(rèn)為比上述使用神經(jīng)網(wǎng)絡(luò)的方法在性能方面差。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于，提供用于不需要大量學(xué)習(xí)就能實(shí)現(xiàn)高性能的模式識(shí)別的模式判定方法和作為上述模式判定方法的前提的特征選擇方法及模式分類方法。
根據(jù)本發(fā)明的第1觀點(diǎn)，提供了一種系統(tǒng)的特征選擇方法，該系統(tǒng)具有存儲(chǔ)保持帶有等級(jí)信息的學(xué)習(xí)模式的學(xué)習(xí)模式存儲(chǔ)單元；生成多個(gè)候選特征的候選特征生成單元；和從根據(jù)所述候選特征生成單元生成的候選特征中，決定適合模式識(shí)別的特征的組的特征決定單元，該特征選擇方法的特征在于，所述特征決定單元，計(jì)算對(duì)應(yīng)所述各候選特征的各學(xué)習(xí)模式的特征值，將其和所述學(xué)習(xí)模式集合的等級(jí)信息的相互信息量為最大的候選特征作為特征的組的最初的特征而決定，在決定的特征為已知的條件下，將對(duì)應(yīng)各候選特征的各學(xué)習(xí)模式的特征值和所述各學(xué)習(xí)模式的等級(jí)信息的相互信息量為最大的候選特征，作為特征的組的下一特征，順次決定。
根據(jù)本發(fā)明的第1觀點(diǎn)的變形，提供了一種系統(tǒng)的特征選擇方法，該系統(tǒng)具有存儲(chǔ)保持帶有等級(jí)信息的學(xué)習(xí)模式的學(xué)習(xí)模式存儲(chǔ)單元；生成多個(gè)候選特征的候選特征生成單元；從根據(jù)所述候選特征生成單元生成的候選特征中，決定適合模式識(shí)別的特征的組的特征決定單元，該特征選擇方法的特征在于，所述特征決定單元，為使所述學(xué)習(xí)模式對(duì)應(yīng)特征的值進(jìn)行遷移，準(zhǔn)備預(yù)定個(gè)數(shù)的集合，計(jì)算對(duì)應(yīng)所述各候選特征的各學(xué)習(xí)模式的特征值，將其和所述學(xué)習(xí)模式集合的等級(jí)信息的相互信息量為最大的候選特征作為特征的組的最初的特征而決定，在附加對(duì)應(yīng)決定了的特征的權(quán)重，分配所述各學(xué)習(xí)模式的同時(shí)，使其順次遷移至對(duì)應(yīng)決定了的特征的集合，在包含所述各學(xué)習(xí)模式的集合中的信息和決定了的特征為已知的條件下，將對(duì)應(yīng)各候選特征的各學(xué)習(xí)模式的特征值和所述各學(xué)習(xí)模式的等級(jí)信息的相互信息量為最大的候選特征作為特征的組的下一特征，順次決定。
根據(jù)本發(fā)明的第2觀點(diǎn)，提供一種系統(tǒng)的學(xué)習(xí)模式的分類方法，所述系統(tǒng)具有存儲(chǔ)保持用于學(xué)習(xí)的學(xué)習(xí)模式的學(xué)習(xí)模式存儲(chǔ)單元；生成多個(gè)候選特征的候選特征生成單元；從通過(guò)所述候選特征生成單元生成的候選特征中，決定適于模式識(shí)別的特征的組的特征決定單元；存儲(chǔ)保持通過(guò)所述特征決定單元決定的特征的組的特征存儲(chǔ)單元；和制作分類表的分類表制作單元，該學(xué)習(xí)模式的分類方法的特征在于，所述分類表制作單元，使用如上述的特征選擇方法而決定的特征的組，計(jì)算所述各學(xué)習(xí)模式的各特征值，通過(guò)配置所述各學(xué)習(xí)模式的各特征值和等級(jí)信息而成的分類表，對(duì)學(xué)習(xí)模式進(jìn)行分類。
根據(jù)本發(fā)明的第3觀點(diǎn)，提供了一種系統(tǒng)的模式判定方法，該系統(tǒng)具有輸入模式的模式輸入單元；從所述模式中抽取特征的特征抽取單元；基于所述特征判定模式的模式判定單元；和存儲(chǔ)保持決定了的特征的組的特征存儲(chǔ)單元，該模式判定方法的特征在于，所述特征抽取單元，使用如上述的特征選擇方法決定的特征的組，算出輸入的模式的各特征值，基于所述算出結(jié)果，進(jìn)行模式判定。
根據(jù)本發(fā)明第3觀點(diǎn)的變形，提供了一種系統(tǒng)的模式判定方法，所述系統(tǒng)具有輸入模式的模式輸入單元；從所述模式中抽取特征的特征抽取單元；基于所述特征判定模式的模式判定單元；和存儲(chǔ)保持被決定的特征的組的特征存儲(chǔ)單元，該模式判定方法的特征在于，所述特征抽取單元，使用如上述各特征選擇方法決定的特征的組，算出表示該順序的特征為預(yù)定值的概率的、輸入的模式的各特征概率，所述模式判定單元，根據(jù)所述輸入的模式的各特征概率，和逐次記錄在根據(jù)上述的特征選擇方法決定各特征時(shí)，學(xué)習(xí)模式所屬的集合而成的遷移表，進(jìn)行輸入模式的遷移，根據(jù)所述遷移的路徑，算出所述輸入的模式具有預(yù)定的等級(jí)信息的概率，進(jìn)行模式判定。
根據(jù)本發(fā)明的第4觀點(diǎn)，提供一種使構(gòu)成系統(tǒng)的計(jì)算機(jī)執(zhí)行處理的程序，所述系統(tǒng)具有存儲(chǔ)保持附有等級(jí)信息的學(xué)習(xí)模式的學(xué)習(xí)模式存儲(chǔ)單元；生成多個(gè)候選特征的候選特征生成單元；和從由所述候選特征生成單元生成的候選特征中，決定適合模式識(shí)別的特征的組的特征決定單元，該程序的特征在于使計(jì)算機(jī)執(zhí)行以下處理，計(jì)算對(duì)應(yīng)所述各候選特征的各學(xué)習(xí)模式的特征值，將其和所述學(xué)習(xí)模式集合的等級(jí)信息的相互信息量為最大的候選特征作為特征的組的最初的特征而決定的處理，和在決定的特征為已知的條件下，將對(duì)應(yīng)各候選特征的各學(xué)習(xí)模式的特征值和所述各學(xué)習(xí)模式的等級(jí)信息的相互信息量為最大的候選特征，作為特征的組的下一特征，順次決定的處理，并進(jìn)行特征的選擇。
根據(jù)本發(fā)明的第4觀點(diǎn)的變形，提供一種使構(gòu)成系統(tǒng)的計(jì)算機(jī)執(zhí)行處理的程序，所述系統(tǒng)具有存儲(chǔ)保持附有等級(jí)信息的學(xué)習(xí)模式的學(xué)習(xí)模式存儲(chǔ)單元；生成多個(gè)候選特征的候選特征生成單元；和從由所述候選特征生成單元生成的候選特征中，決定適合模式識(shí)別的特征的組的特征決定單元，該程序的特征在于使計(jì)算機(jī)執(zhí)行以下處理，為使所述學(xué)習(xí)模式對(duì)應(yīng)特征的值進(jìn)行遷移，準(zhǔn)備預(yù)定個(gè)數(shù)的集合的處理，計(jì)算對(duì)應(yīng)所述個(gè)候選特征的各學(xué)習(xí)模式的特征值，將其和所述學(xué)習(xí)模式集合的等級(jí)信息的相互信息量為最大的候選特征作為特征的組的最初的特征而決定的處理，在附加對(duì)應(yīng)決定了的特征的權(quán)重，分配所述各學(xué)習(xí)模式的同時(shí)，使其順次遷移至對(duì)應(yīng)決定了的特征的集合的處理，和在包含所述各學(xué)習(xí)模式的集合中的信息和決定了的特征為已知的條件下，將對(duì)應(yīng)各候選特征的各學(xué)習(xí)模式的特征值和所述各學(xué)習(xí)模式的等級(jí)信息的相互信息量為最大的候選特征作為特征的組的下一特征，順次決定的處理，并進(jìn)行特征的選擇。
根據(jù)本發(fā)明的第4觀點(diǎn)的其他變形，提供一種使構(gòu)成系統(tǒng)的計(jì)算機(jī)執(zhí)行處理的程序，所述系統(tǒng)具有存儲(chǔ)保持用于學(xué)習(xí)的學(xué)習(xí)模式的學(xué)習(xí)模式存儲(chǔ)單元；生成多個(gè)候選特征的候選特征生成單元；從通過(guò)所述候選特征生成單元生成的候選特征中，決定適于模式識(shí)別的特征的組的特征決定單元；存儲(chǔ)保持通過(guò)所述特征決定單元決定的特征的組的特征存儲(chǔ)單元；和制作分類表的分類表制作單元，該程序的特征在于使計(jì)算機(jī)執(zhí)行以下處理，使用通過(guò)上述程序的實(shí)行而決定的特征的組，計(jì)算所述各學(xué)習(xí)模式的各特征的處理，和通過(guò)配置所述各學(xué)習(xí)模式的各特征值和等級(jí)信息而成的分類表，對(duì)學(xué)習(xí)模式進(jìn)行分類的處理，并進(jìn)行學(xué)習(xí)模式的分類。
根據(jù)本發(fā)明的第4觀點(diǎn)此外的其他變形，提供一種使構(gòu)成系統(tǒng)的計(jì)算機(jī)執(zhí)行處理的程序，所述系統(tǒng)具有輸入模式的模式輸入單元；從所述模式中抽取特征的特征抽取單元；基于所述特征判定模式的模式判定單元；和存儲(chǔ)保持決定了的特征的組的特征存儲(chǔ)單元，該程序的特征在于使計(jì)算機(jī)執(zhí)行以下處理，至少使用通過(guò)如上述程序的實(shí)行而決定的特征的組，算出輸入的模式的各特征值的處理，并基于該執(zhí)行結(jié)果進(jìn)行模式的判定。
根據(jù)本發(fā)明的第4觀點(diǎn)此外的其他變形，提供一種使構(gòu)成系統(tǒng)的計(jì)算機(jī)執(zhí)行處理的程序，所述系統(tǒng)具有輸入模式的模式輸入單元；從所述模式中抽取特征的特征抽取單元；基于所述特征判定模式的模式判定單元；和存儲(chǔ)保持決定了的特征的組的特征存儲(chǔ)單元，該程序的特征在于使計(jì)算機(jī)執(zhí)行以下處理，使用通過(guò)如上述程序的實(shí)行而決定的特征的組，算出輸入的模式的各特征值的處理，和基于所述輸入模式的各特征值和逐次記錄利用如第4觀點(diǎn)所述程序的實(shí)行而決定各特征時(shí)學(xué)習(xí)模式所屬的集合而成的遷移表，進(jìn)行輸入模式的遷移的處理，并基于所述輸入的模式所屬的集合進(jìn)行輸入的模式的判定。
根據(jù)本發(fā)明的第4觀點(diǎn)此外的其他變形，提供一種使構(gòu)成系統(tǒng)的計(jì)算機(jī)執(zhí)行處理的程序，所述系統(tǒng)具有輸入模式的模式輸入單元；從所述模式中抽取特征的特征抽取單元；基于所述特征判定模式的模式判定單元；和存儲(chǔ)保持決定了的特征的組的特征存儲(chǔ)單元，該程序的特征在于使計(jì)算機(jī)執(zhí)行以下處理，使用通過(guò)如上述程序的實(shí)行而決定的特征的組，算出表示該順序的特征為預(yù)定值的概率的、輸入的模式的各特征值的處理，基于所述輸入的模式的各特征概率和逐次記錄在通過(guò)第4觀點(diǎn)變形所述的程序的實(shí)行決定各特征時(shí)學(xué)習(xí)模式所屬的集合而成的遷移表，進(jìn)行輸入模式的遷移的處理，和根據(jù)所述遷移的路徑，算出所述輸入的模式具有預(yù)定等級(jí)信息的概率的處理，并根據(jù)所述計(jì)算結(jié)果，進(jìn)行輸入模式的判定。
根據(jù)本發(fā)明的第5觀點(diǎn)，提供一種模式學(xué)習(xí)系統(tǒng)，保持上述各程序?yàn)榭梢詫?shí)行，進(jìn)行學(xué)習(xí)模式的特征的選擇。
根據(jù)本發(fā)明的第6觀點(diǎn)，提供一種模式分類系統(tǒng)，保持上述各程序?yàn)榭梢詫?shí)行，進(jìn)行學(xué)習(xí)模式的分類。
根據(jù)本發(fā)明的第7觀點(diǎn)，提供一種模式判定系統(tǒng)，保持上述各程序?yàn)榭梢詫?shí)行，進(jìn)行輸入的模式的判定。


圖1是表示進(jìn)行本發(fā)明第1實(shí)施例的特征選擇方法的系統(tǒng)構(gòu)成的框圖。
圖2是用于說(shuō)明本發(fā)明第1實(shí)施例的特征選擇方法的流程圖。
圖3是表示根據(jù)本發(fā)明的分類表的制作處理的一例的流程圖。
圖4是根據(jù)本發(fā)明作的分類表的一例。
圖5是表示進(jìn)行本發(fā)明第1實(shí)施例的模式判定方法的系統(tǒng)構(gòu)成的框圖。
圖6是表示根據(jù)本發(fā)明的分類表的制作處理的另一例的流程圖。
圖7是表示進(jìn)行本發(fā)明第3實(shí)施例的特征選擇方法的系統(tǒng)構(gòu)成的流程圖。
圖8是用于說(shuō)明本發(fā)明第3實(shí)施例的特征選擇方法的流程圖。
圖9是用于說(shuō)明本發(fā)明第3實(shí)施例的特征選擇方法的流程圖。
圖10是用于說(shuō)明本發(fā)明第3實(shí)施例的特征選擇方法的流程圖。
圖11是根據(jù)本發(fā)明作的遷移表的一例。
圖12是根據(jù)本發(fā)明作的遷移表的另一例。
圖13是簡(jiǎn)要表示在本發(fā)明第3實(shí)施例中進(jìn)行的集合間的遷移的圖。
圖14表示進(jìn)行本發(fā)明第3實(shí)施例的模式判定方法的系統(tǒng)的構(gòu)成的框圖。
具體實(shí)施例方式
參照附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行說(shuō)明。
圖1是表示根據(jù)本發(fā)明的特征選擇方法的第1實(shí)施例的系統(tǒng)構(gòu)成的框圖。參照?qǐng)D1，表示了學(xué)習(xí)模式存儲(chǔ)單元101、候選特征生成單元102、特征決定單元103、特征存儲(chǔ)單元104、分類表制作單元105、和分類表106。
學(xué)習(xí)模式存儲(chǔ)單元101，是用于存儲(chǔ)保持在期望個(gè)數(shù)的學(xué)習(xí)中使用的學(xué)習(xí)模式的單元。候選特征生成單元102是從預(yù)定個(gè)數(shù)的特征參數(shù)組中順次生成候選特征的單元。特征決定單元103從由候選特征生成單元生成的候選特征中決定最適合模式識(shí)別的特征的組。
特征存儲(chǔ)單元104，是存儲(chǔ)保持由特征決定單元103決定的特征的組的單元。分類表制作單元105，是用于制作分類表106的單元，該分類表106是用于使用由特征決定單元103決定的特征的組來(lái)進(jìn)行模式判定。
接著，參照附圖對(duì)本發(fā)明的特征選擇方法的順序進(jìn)行說(shuō)明。圖2，是用于說(shuō)明本發(fā)明的特征選擇方法的處理流程的流程圖。
參照?qǐng)D1和圖2，首先，候選特征生成單元102生成候選特征(步驟S001)。具體的，候選特征生成單元102，從預(yù)先設(shè)定的大量的(設(shè)N個(gè))特征參數(shù)組中，將第s(s＝1～N，從s＝1開始)的特征參數(shù)組(k_s，r0_s，б_s，th_s)代入(k，r0，б，th)中，生成在以參數(shù)k，r0，б規(guī)定的下式中例示的復(fù)變加博函數(shù)(複素ガボ一ル関數(shù))Gab，以及高斯函數(shù)G。
Gab(r;k,r0,σ)=exp(ik(r-r0)-|r-r0|2/(2σ2))G(r;r0,σ)=exp(-|r-r0|2/(2σ2)/(2πσ2))----(1)]]>在這里，r＝(x，y)表示位置矢量，i2＝-1。而且，候選特征生成單元102，將(1)式的復(fù)變加博函數(shù)Gab、高斯函數(shù)G、閾值參數(shù)th，以及候選特征的識(shí)別號(hào)碼s一起送給特征決定單元103(步驟S002)。
學(xué)習(xí)模式存儲(chǔ)單元101，將預(yù)定的M的學(xué)習(xí)模式(圖像)ft(r)(t＝1～m)和各學(xué)習(xí)模式所屬的等級(jí)qt(t＝1～M)的組送給特征決定單元103(步驟S003)。對(duì)于本實(shí)施例，為使說(shuō)明簡(jiǎn)單，等級(jí)以2等級(jí)(q＝0或1)進(jìn)行說(shuō)明。當(dāng)然，本發(fā)明的方法也適用于3等級(jí)以上的情況。
特征決定單元103，對(duì)從學(xué)習(xí)模式存儲(chǔ)單元101順次接受的學(xué)習(xí)模式，使用候選特征((1)式中所示的復(fù)變加博函數(shù)以及高斯函數(shù)及其他參數(shù))，按照下式計(jì)算特征c(步驟S004)。在這里，設(shè)第t的學(xué)習(xí)模式為ft(r)，對(duì)所有的學(xué)習(xí)模式(M個(gè))重復(fù)上述的計(jì)算。

(2)式上段的式子的分母是用于抑制根據(jù)模式大小(圖像的亮度)的a的值的變動(dòng)的規(guī)格化(標(biāo)準(zhǔn)化)因子。該分母式也可以置換成別的形式的規(guī)格化因子。此外，根據(jù)所處理的模式，也可以省略這樣的規(guī)格化因子。
像以上那樣，如果使用第s個(gè)候選特征(特征參數(shù)組)，對(duì)各學(xué)習(xí)模式計(jì)算特征c，接下來(lái)特征決定單元103按照下式算出從第s的候選特征中得到的相互信息量MI，將其和候選特征的識(shí)別號(hào)碼s一起存儲(chǔ)。
MI[Q；C]＝H[Q]-<H[Q|c]>c但是H[Q|c]=-ΣqP(q)logP(q)]]>,P(q)=M(q)/M----(3)]]>H[Q|c]=-ΣqP(q|c)logP(q|c)]]>,P(q|c)=M(q,c)/M(c)]]>在這里，Q是等級(jí)的集合{q＝0，q＝1}，M是學(xué)習(xí)模式的總數(shù)。另外，M(q)是屬于等級(jí)q的學(xué)習(xí)模式的總數(shù)，M(c)是特征為c的學(xué)習(xí)模式的總數(shù)，M(q，c)是特征為c，并屬于等級(jí)q的學(xué)習(xí)模式的總數(shù)。
此外，(3)式中的<>c是涉及c的平均化操作，即<H[Q|c]>c=-ΣcP(c)H[Q|c]]]>,P(c)=M(c)M]]>通過(guò)以上的操作，從候選特征生成單元送出后面的第(s+1)個(gè)候選特征，重復(fù)同樣的操作(步驟S002～S005)，這樣，對(duì)應(yīng)所有的(N個(gè))的候選特征的相互信息量的計(jì)算結(jié)束的時(shí)候，特征決定單元103比較從各候選特征得到的相互信息量，將得到最大的相互信息量MaxMI[Q；C]的候選特征作為應(yīng)決定的特征組的第1個(gè)特征而決定(步驟S006)。
如果這樣決定了第1個(gè)特征，特征決定單元103決定第2個(gè)特征。和上述完全一樣，特征決定單元103從候選特征生成單元102順次接受候選特征(步驟S002)，對(duì)各學(xué)習(xí)模式算出特征c(步驟S003、S004)，此外，根據(jù)可以使用的存儲(chǔ)容量，存儲(chǔ)保持決定上述第1特征時(shí)的步驟S004的特征c的計(jì)算結(jié)果，特征決定單元103也可以代替讀出該存儲(chǔ)保持內(nèi)容的操作。使用第s的特征參數(shù)組，對(duì)各學(xué)習(xí)模式計(jì)算特征c的時(shí)候，特征決定單元，在已經(jīng)決定的第1個(gè)特征c1已知的條件下，按照下式算出從第s的候選特征得到的信息量MI2，將其和候選特征的識(shí)別號(hào)碼s一起存儲(chǔ)(步驟S005)。
MI2[Q；C|C1]＝<H[Q|c1]>c1-<H[Q|(c，c1)]>C1，C(4)但是H[Q|c1]=-ΣqP(q|c1)logP(q|c1)]]>,P(q|c1)=M(q,c1)/M(c1)]]>H[Q|c,c1]=-ΣqP(q|c,c1)logP(q|c,c1)]]>,P(q|c,c1)=M(q,c,c1)/M(c,c1)]]>而且，在這里，M(c1)是第1個(gè)特征為c1的學(xué)習(xí)模式的總數(shù)，M(q，c1)是第1個(gè)特征為c1并且屬于等級(jí)q的學(xué)習(xí)模式的總數(shù)，另外，M(c，c1)是特征為c，并且第1個(gè)特征為c1的學(xué)習(xí)模式的總數(shù)。M(q，c，c1)是特征為c，第1個(gè)特征為c1，并且屬于等級(jí)q的學(xué)習(xí)模式的總數(shù)。
通過(guò)以上的操作，從候選特征生成單元送出下面的第(s+1)的候選特征，重復(fù)同樣的操作(步驟S002～S005)。這樣，對(duì)應(yīng)所有的(N個(gè))候選特征的相互信息量的計(jì)算結(jié)束的時(shí)候，特征決定單元103比較從各候選特征得到的附加條件的信息量MI2，將可得到最大的相互信息量的候選特征作為應(yīng)決定的特征的組的第2個(gè)特征而決定(步驟S006)。
以下同樣的，如果決定到第m特征，第(m+1)個(gè)特征c，采用使下式的評(píng)價(jià)函數(shù)MIm+1為最大的候選特征。
MIm+1[Q；C|C1，C2，...Cm]＝<H[Q|c1，c2，...cm]>(c1，c2，...cm)-<H[Q|(c，c1，c2，...cm]>(c1，c2，...cm)(5)上述的MIm+1表示在至第m的特征(c1，c2，……cm)已知的條件下從特征c得到的信息量。以上的過(guò)程一直持續(xù)到即使選擇了新的特征，得到的信息量(追加的信息量)也變得比預(yù)先設(shè)定的閾值MI-th小。例如，上述的閾值被設(shè)定成0的情況下，直到得到的信息量(追加的信息量)變成0，即，直到滿足結(jié)束條件，為決定下一特征，重復(fù)上述的程序。
另一方面，在滿足此結(jié)束條件時(shí)結(jié)束特征決定程序。而且，被決定的特征的組的各參數(shù)被記錄在特征存儲(chǔ)單元104中(步驟S007)。
此外，作為上述的特征選擇方法的一個(gè)變形，考慮設(shè)法減少候選特征生成單元生成的候選特征的數(shù)目的如下構(gòu)成。例如，對(duì)各復(fù)變加博函數(shù)，分別對(duì)q＝0的等級(jí)、q＝1的等級(jí)，預(yù)先調(diào)查(2)式算出的a的值的等級(jí)內(nèi)平均值，將閾值(th_s)的值固定為該2個(gè)等級(jí)內(nèi)平均值的中間值的構(gòu)成。此外，例如，決定第一特征的時(shí)候，在(3)式中對(duì)各復(fù)變加博函數(shù)計(jì)算相互信息量MI，但是此時(shí)，記錄對(duì)各候選特征給予各自最大的MI的閾值(th_s)，決定第2個(gè)以后的特征時(shí)，原樣固定上述閾值(th_s)的值的構(gòu)成。
此外，在上述的實(shí)施例中，使用復(fù)變加博函數(shù)作為構(gòu)成候選特征的特征抽取函數(shù)，但是即使加上其它的特征抽取函數(shù)，根據(jù)情況也可以只由其他的特征抽取函數(shù)構(gòu)成候選特征。
此外，例如，也優(yōu)選構(gòu)成各等級(jí)部分空間，向候選特征加入表示距該部分空間的距離的指標(biāo)的變形。此外，考慮把，將使用高斯函數(shù)計(jì)算的某點(diǎn)附近的加權(quán)平均亮度，或者使用高斯函數(shù)計(jì)算的某點(diǎn)附近的加權(quán)平均亮度，通過(guò)利用更廣的大的高斯函數(shù)計(jì)算的平均亮度而規(guī)格化的值(即，表示某點(diǎn)附近比其周邊更亮或暗的指標(biāo))，加入候選特征中。其他，也可以將用于模式判定的標(biāo)準(zhǔn)的特征加入候選特征中。
特征的決定程序結(jié)束，決定的特征的組被記錄到特征存儲(chǔ)單元104中的時(shí)候，可以制作用于模式識(shí)別的分類表106(參照?qǐng)D4)。以下，說(shuō)明通過(guò)期望的單元起動(dòng)的分類表制作單元105，制作分類表106的程序。
首先，分類表制作單元105，從學(xué)習(xí)模式存儲(chǔ)單元101接受各學(xué)習(xí)模式，從特征存儲(chǔ)單元104接受在上述步驟S007記錄的特征的組的各參數(shù)(以下，設(shè)定為全部n個(gè)的特征被決定)，按照上述(2)式對(duì)各學(xué)習(xí)模式分別算出各特征的值(c1，c2，…cn)。在此基礎(chǔ)上，學(xué)習(xí)模式如果屬于q＝1的等級(jí)，就附加1的標(biāo)識(shí)，如果屬于q＝0的等級(jí)，就附加0的標(biāo)識(shí)，和對(duì)應(yīng)該學(xué)習(xí)模式的特征向量(c1，c2，…cn)一起，記錄在分類表中。
根據(jù)上述的程序，可以制作將各學(xué)習(xí)模式單一分類的分類表，更優(yōu)選的是，優(yōu)選使用冗長(zhǎng)項(xiàng)(不必在意的項(xiàng)，don’t care項(xiàng))。例如，在只由從頭開始到第i個(gè)特征的值(c1，c2，…ci)，就可以完成某學(xué)習(xí)模式的分類時(shí)，第i+1以后的特征向量的值就置換成表示don’t care的記號(hào)而記錄。
參照附圖，說(shuō)明使用上述的冗長(zhǎng)項(xiàng)(don’t care項(xiàng))，制作分類表的步驟。圖3是表示本實(shí)施例的分類表的制作處理的一個(gè)例子的流程圖。
參照?qǐng)D3，首先，分類表制作單元105對(duì)輸入的學(xué)習(xí)模式，使用決定的特征的組的各參數(shù)，計(jì)算特征向量(c1，c2，……cn)的值(步驟S101，S102)。
核對(duì)在分類表中是否存在具有與上述特征向量一致的特征向量(步驟S103)。但是，在分類表中記有表示don’t care的記號(hào)的情況下，與此對(duì)應(yīng)的特征的值不論是任何值，都看作一致的值進(jìn)行判定。
前述核對(duì)的結(jié)果，在分類表中存在具有和計(jì)算的特征向量一致的特征向量的學(xué)習(xí)模式的情況下，不記錄該學(xué)習(xí)模式，返回步驟S101，進(jìn)行下面的學(xué)習(xí)模式的輸入。
另一方面，當(dāng)沒有一致的模式時(shí)，設(shè)定增量變量i＝1(步驟S104)，進(jìn)行以下的處理。首先，調(diào)查從第1個(gè)開始至第i個(gè)特征(c1，c2，……ci)的全部與該學(xué)習(xí)模式一致的學(xué)習(xí)模式，是否存在于屬于此學(xué)習(xí)模式所屬等級(jí)(例如q＝0)以外的等級(jí)(例如q＝1)的學(xué)習(xí)模式中(步驟S105)。
其結(jié)果，在沒有一致的學(xué)習(xí)模式時(shí)，將從第1個(gè)開始至第i個(gè)的特征的值(c1，c2，…ci)和此學(xué)習(xí)模式所屬的等級(jí)的標(biāo)識(shí)(例如q＝0)一起，記錄在分類表中，第i+1以后的特征向量的值，記錄表示don’t care的記號(hào)(步驟S106)。然后，回到步驟S101進(jìn)行下面的學(xué)習(xí)模式的輸入。
相反的，和此學(xué)習(xí)模式一致的學(xué)習(xí)模式即使只有一個(gè)時(shí)，增量變量I增加1，回到步驟S105，即，直到輸入的特征模式的至第i個(gè)的特征的值可以識(shí)別自己和其他為止，繼續(xù)增加i的處理。
重復(fù)以上的處理，直至輸入所有的學(xué)習(xí)模式。
然而，出現(xiàn)只利用以上的過(guò)程不能將學(xué)習(xí)模式的全部進(jìn)行分類的情況。例如，出現(xiàn)屬于不同等級(jí)的學(xué)習(xí)模式具有相同特征向量的情況。在這種情況下，應(yīng)該數(shù)清屬于各等級(jí)的學(xué)習(xí)模式的數(shù)目，決定很多的等級(jí)為此特征向量表示的等級(jí)等。
當(dāng)然，隨著i的增加，將特征c1～ci一致的模式分組(細(xì)分)，當(dāng)一個(gè)組中只存在一個(gè)模式時(shí)，采用將此模式的i+1以后的特征設(shè)成don’tcare項(xiàng)的方法。
圖4是根據(jù)本發(fā)明制作的分類表的例子。參照?qǐng)D4，表示容納各學(xué)習(xí)模式的等級(jí)的識(shí)別標(biāo)志(q)和特征向量(c1，c2，……cn)的表。此外，圖4的記號(hào)“*”是表示don’t care的記號(hào)。
下面參照附圖對(duì)使用上述模式判定表進(jìn)行的模式判定方法進(jìn)行說(shuō)明。
圖5是表示本發(fā)明的模式判定方法的處理的流程的框圖。參照?qǐng)D5，表示了模式輸入單元201和特征抽取單元202和模式判定單元203。此外，表示了用于特征抽取單元202的特征抽取的、存儲(chǔ)保持已決定了的特征的組的特征存儲(chǔ)單元104，和模式判定單元203模式判定用的、已制作的分類表106。
模式輸出單元201，是用于輸入來(lái)自預(yù)定的媒體的模式的單元。例如，輸入模式為文字、圖形、聲音等，不是特別限定的，例如，輸入人的臉、指紋、視網(wǎng)膜的圖像、聲音等，可以使之成為用于識(shí)別人的信息。
特征抽取單元202，是使用被決定的組，從來(lái)自模式輸入單元201送入的輸入模式中抽取其特征的單元。
模式判定單元203，基于從特征抽取單元202中得到的特征，對(duì)輸入模式表示的信息進(jìn)行判定。
其作用，首先，模式輸入單元201從期望的媒體取入輸入模式，送給特征抽取單元202。
接著，特征抽取單元202對(duì)此輸入模式，使用存儲(chǔ)在特征存儲(chǔ)單元104中的特征的組(根據(jù)上述的特征決定方法決定的)，按照(2)式算出特征向量(c1，c2，…cn)，然后，將上述計(jì)算結(jié)果送入模式判定單元203。
模式判定單元203，一邊參照分類表106，一邊檢索和此特征向量一致的特征向量，讀出在那里記錄的等級(jí)的標(biāo)記，將其作為判定結(jié)果輸出。這時(shí)，在分類表上記錄有表示don’t care的記號(hào)的情況下，模式判定單元203，不論對(duì)應(yīng)其的特征的值是什么，對(duì)此部分，都作為一致的特征向量進(jìn)行判定。
在這里，為了使根據(jù)上述各步驟進(jìn)行模式的特征的決定及模式的判定的本發(fā)明的優(yōu)點(diǎn)更加明確，對(duì)本發(fā)明和應(yīng)用決策樹的現(xiàn)有方法(ID3、C4.5等)的不同點(diǎn)進(jìn)行說(shuō)明。
ID3等，在根據(jù)信息量最大化的基準(zhǔn)，決定決策樹的各節(jié)點(diǎn)的分類規(guī)則這一點(diǎn)上，和本發(fā)明是相同的。然而，在ID3、C4.5中，將分類規(guī)則(如果換成本發(fā)明的說(shuō)法為“特征”)決定于每節(jié)點(diǎn)，例如，考慮決定第1個(gè)特征c1后決定第2個(gè)特征的情況，在第1個(gè)特征的c1為1的情況、為0的情況下，分別決定各自的情況下不同的分類規(guī)則。對(duì)此，在本發(fā)明，當(dāng)節(jié)點(diǎn)的深度相同時(shí)，即，對(duì)任意的第n個(gè)特征，決定相同的特征。此點(diǎn)是兩者很大的不同點(diǎn)。
當(dāng)然，不論采用任何方法，都能將學(xué)習(xí)模式完全的分類。然而，在通用功能，即，在對(duì)沒有學(xué)習(xí)的模式的識(shí)別功能上，表現(xiàn)很大的不同。為了簡(jiǎn)單，考慮兩者的樹的深度相同的情況(設(shè)為n)，與ID3或C4.5中決定2n個(gè)特征相對(duì)，在本發(fā)明中只決定n個(gè)特征。因此，本發(fā)明有更簡(jiǎn)單的結(jié)構(gòu)。該決定的特征的個(gè)數(shù)的差，伴隨問題變得更困難，需要更深的樹，成指數(shù)函數(shù)關(guān)系擴(kuò)大。
然而，在對(duì)學(xué)習(xí)模式的性能相同的情況下，更簡(jiǎn)單結(jié)構(gòu)的分類器的通用性能優(yōu)越是公知的(奧卡姆剃刀，Occam’s razor)。這一點(diǎn)是根據(jù)本發(fā)明的特征選擇方法及使用其的模式判定方法與現(xiàn)有方法相比，大幅提高性能、尤其是通用性能的理由。
接著，對(duì)向?qū)W習(xí)模式中加入有效的噪聲的本發(fā)明的第2實(shí)施例進(jìn)行說(shuō)明。
第2實(shí)施例的系統(tǒng)的構(gòu)成和上述第1實(shí)施例的構(gòu)成(參照?qǐng)D1)大略相同，其處理的流程也和上述第1實(shí)施例(參照?qǐng)D2～圖5)大略相同。以下，僅對(duì)第2實(shí)施例和上述第1實(shí)施例的不同點(diǎn)，進(jìn)行說(shuō)明。
在本實(shí)施例中，在(k_s，r0_ s，σ_s，th_s)作為候選特征生成單元102使用的、大量的(設(shè)為N個(gè))特征參數(shù)組的基礎(chǔ)上，噪聲參數(shù)σn_s被預(yù)先設(shè)定(s＝1～N)。另外，和第1實(shí)施例的步驟S001同樣，候選特征生成單元102將第s(從s＝1開始)個(gè)特征參數(shù)組(k_s，r0_s，σ_s，th_s，σn_s)代入(k，r0，σ，th，σn)中，按照上述(1)式，生成復(fù)變加博函數(shù)、高斯函數(shù)。此外，候選特征生成單元102，將這些復(fù)變加博函數(shù)、高斯函數(shù)、閾值參數(shù)th、噪聲參數(shù)σn以及候選特征的識(shí)別號(hào)碼s送到特征決定單元103(圖2的步驟S002)。
特征決定單元103，從學(xué)習(xí)模式存儲(chǔ)單元101順次接收學(xué)習(xí)模式(圖2的步驟S003)。使用上述的復(fù)變加博函數(shù)以及高斯函數(shù)，按照下式，對(duì)各學(xué)習(xí)模式計(jì)算特征b(圖2的特征S004)。在這里，設(shè)第t的學(xué)習(xí)模式為ft(r)(t＝1～M)。
α=|Σrft(r)Gab(r;k,r0,σ)|2/Σrft(r)2G(r;r0,σ)b=Erf((a-th)/σn)----(6)]]>(6)式的Erf(x)是誤差函數(shù)，并且，這是取0以上1以下的值的別的非線性函數(shù)，比如，可以置換為S型函數(shù)(シグモイド関數(shù))。
如上使用第s個(gè)特征參數(shù)組，對(duì)各學(xué)習(xí)模式計(jì)算特征b，接著特征決定單元103將從第s個(gè)候選特征中得來(lái)的相互信息量MI，以上述(3)式為基準(zhǔn)，基于以下的要點(diǎn)算出(圖2的步驟S005)。
首先，對(duì)某學(xué)習(xí)模式，通過(guò)上述(6)式計(jì)算的特征的值如果是b(0≤b≤1)，對(duì)此學(xué)習(xí)模式，特征c定為，概率為b，取1，概率為(1-b)，取0。另外，分別將(3)式中的M(c)置換成特征為c的學(xué)習(xí)模式的總數(shù)的期待值，同樣將M(q，c)置換成特征為c并且屬于等級(jí)q的學(xué)習(xí)模式的總數(shù)的期待值，算出相互信息量MI。
在對(duì)所有的候選特征，相互信息量的計(jì)算結(jié)束的時(shí)刻，與第1實(shí)施例完全相同，特征決定單元103比較從個(gè)候選特征得到的相互信息量，將可得到最大的信息量的候選特征作為應(yīng)決定特征的組的第1個(gè)特征，而決定。(圖2的步驟S006)。
以下同樣的，如果決定到第m個(gè)特征，第m+1個(gè)特征的cm+1，在至第m個(gè)特征(c1，c2，……cm)已知的條件下，決定以使得從特征c得到的信息量MIm+1為最大。但是，和上述的第1個(gè)特征的決定時(shí)同樣，計(jì)算相互信息量時(shí)，學(xué)習(xí)模式的各種總數(shù)全部置換成對(duì)應(yīng)的學(xué)習(xí)模式的各種總數(shù)的期待值，進(jìn)行計(jì)算。例如，計(jì)算MI2時(shí)，在(4)式中，M(c，c1)置換成“特征為c并且第1個(gè)特征的為c1的學(xué)習(xí)模式的總數(shù)的期待值”，M(q，c，c1)置換成“特征為c且第一個(gè)特征為c1，并且屬于等級(jí)q的學(xué)習(xí)模式的總數(shù)的期待值”，而計(jì)算。
和第一實(shí)施例相同，以上的步驟，即使是選擇新的特征，也要繼續(xù)直到得到的信息量(追加的信息量)比預(yù)先設(shè)定的閾值還小。并且，如果滿足了上述的結(jié)束條件，被決定的特征的組的各參數(shù)，被記錄在特征存儲(chǔ)單元104(圖2的步驟S007)。
接著，對(duì)本實(shí)施例的別的分類表的制作的步驟，參照附圖進(jìn)行說(shuō)明。圖6是表示本實(shí)施例的分類表的制作處理的一例的流程圖。此外，根據(jù)特征決定單元決定n個(gè)特征，分類表被初始化(clear)。
參照?qǐng)D6，首先，分類表制作單元105對(duì)各學(xué)習(xí)模式，使用被決定的特征的組的各參數(shù)，按照(6)式計(jì)算各特征bs(b1，b2，…bn)(步驟S201，S202)。如果關(guān)于全部學(xué)習(xí)模式的各特征bs的計(jì)算結(jié)束，分類表制作單元105將第s個(gè)的特征cs為1的概率定為bs，為0的概率定為(1-bs)，并且，初始化j＝1，開始應(yīng)記錄在分類表106中的模式的選定處理(步驟S203)。
首先，分類表制作單元105生成從第1個(gè)至第j個(gè)的特征(c1，c2，…cj)的所有的組合(步驟S204)。接著，將上述從第1個(gè)至第j個(gè)的特征的全部組合和分類表106中已經(jīng)登記的特征向量順次對(duì)照(步驟S205)，在上述從第1個(gè)至第j個(gè)特征的全部組合中，消去與分類表106中已經(jīng)記錄的特征向量一致的組合(步驟S205-1)。在這種情況下，在分類表106中被記錄有表示don’t care的標(biāo)記的特征，不論為何值，都作為一致而處理。
此外，關(guān)于剩下的特征模式(c1，c2，…cj)，在步驟S202，使用對(duì)每個(gè)學(xué)習(xí)模式計(jì)算出的特征bs，進(jìn)行期待值的計(jì)算，進(jìn)行符合應(yīng)記錄在分類表106中的條件的特征模式的檢索(步驟S206)。更具體地，從剩下的特征模式中，順次選擇適當(dāng)?shù)奶卣髂Ｊ?c1，c2，……cj)，在(1)是上述特征模式，屬于某等級(jí)q的學(xué)習(xí)模式的總數(shù)的期待值在預(yù)定閾值以上，(2)是上述特征模式，屬于其以外的等級(jí)的學(xué)習(xí)模式的總數(shù)的期待值都在預(yù)定的其他的閾值以下的情況下，使該特征模式成為表示等級(jí)q的模式，和標(biāo)志q一起記錄在分類表106中。這時(shí)，在從第j+1個(gè)至第n個(gè)特征的欄中記錄表示“don’t care”的記號(hào)(步驟S207)。
上述檢索的結(jié)果，當(dāng)?shù)貌坏椒蠗l件的特征模式時(shí)，使j＝j(luò)+1，返回步驟S204，重新生成從第1個(gè)至第j個(gè)特征(c1，c2，…cj)的所有的組合。另一方面，直到至第n個(gè)的特征的全部組合檢索結(jié)束時(shí)(j＝n)，終止。
接著，關(guān)于本實(shí)施例的其他的模式判定的步驟，再參照?qǐng)D5進(jìn)行說(shuō)明。
首先，對(duì)從模式輸入單元201輸入的輸入模式，特征抽取單元202，使用存儲(chǔ)在特征存儲(chǔ)單元104中的特征的組，按照(6)式，算出特征向量(b1，b2，…bn)，將其送入模式判定單元203。這時(shí)，將第s個(gè)特征cs(s＝1～n)為1的概率定為bs，為0的概率定為(1-bs)。
模式判定單元203，一邊參照分類表106，一邊算出輸入模式屬于各等級(jí)的概率。更加具體地，通過(guò)以下的步驟進(jìn)行。
例如，如果說(shuō)明計(jì)算輸入模式屬于等級(jí)q＝0的概率的情況，首先，模式判定單元203從分類表106中，全部讀出標(biāo)記有q＝0的特征模式(c1，c2，…cn)。在這里，考慮其中最初的特征模式，例如是(c1，c2，…cn)＝(1，0，*，*，…，*)的情況(記號(hào)“*”表示don’t care)。對(duì)輸入模式，由于特征c1、c2成為c1＝1，c2＝0的概率為b1·(1-b2)，輸入模式的特征向量與此特征模式一致的概率也被算出為b1·(1-b2)。此外，由于此特征模式的第3個(gè)以后的特征成為don’t care，第3個(gè)以后的特征的值對(duì)作為全體的概率不給予影響。
通過(guò)以上的要點(diǎn)，模式判定單元203使用從輸入模式計(jì)算的概率bs、(1-bs)，算出輸入模式的特征向量與對(duì)應(yīng)q＝0的各特征模式一致的概率，求其總計(jì)。上述各概率的總計(jì)，表示輸入模式屬于等級(jí)q＝0的概率。模式判定單元203將這樣算出的、比較輸入模式屬于各等級(jí)的概率，將給予最大概率的等級(jí)作為判定結(jié)果輸出。
根據(jù)情況，此外，當(dāng)然也可能是下面的構(gòu)成，即，和預(yù)定的閾值比較，根據(jù)和該閾值的比較輸出放棄判定(不可判定)。
并且，此外，為了縮短處理時(shí)間，通過(guò)在本實(shí)施例說(shuō)明的方法只制作分類表，模式判定處理也可以通過(guò)在第1實(shí)施例說(shuō)明的方法進(jìn)行。這時(shí)，應(yīng)該按照(2)式算出對(duì)輸入模式的特征向量。
根據(jù)以上說(shuō)明的本發(fā)明的第2實(shí)施例，由于具有實(shí)效地向?qū)W習(xí)模式加以噪聲的效果，能夠選擇裕量更大的特征的組。因此，比第1實(shí)施例的情況，具有更加極高了通用性能(對(duì)學(xué)習(xí)模式以外的模式的識(shí)別性能)的優(yōu)點(diǎn)。
接著，關(guān)于本發(fā)明的第3實(shí)施例，參照附圖進(jìn)行說(shuō)明。本實(shí)施例和上述第1、第2實(shí)施例相同，容易向3等級(jí)以上的狀態(tài)擴(kuò)張，為了說(shuō)明方便，對(duì)2等級(jí)的情況(q＝0或者1)進(jìn)行說(shuō)明。
圖7是表示根據(jù)本發(fā)明的特征選擇方法的第3實(shí)施例的系統(tǒng)構(gòu)成的流程圖。參照?qǐng)D7，表示了學(xué)習(xí)模式存儲(chǔ)單元301、候選特征生成單元302、特征決定單元303、特征存儲(chǔ)單元304和遷移表305。以下，與上述各實(shí)施例同樣的部分，省略其說(shuō)明。
特征決定單元303是從由候選特征生成單元生成的候選特征中決定最適于模式識(shí)別的特征的組的單元。此外，本實(shí)施例的特征決定單元303制作記錄本實(shí)施例的特征決定步驟的過(guò)程中得到的參數(shù)而形成的遷移表305。
遷移表305是記錄用于下述的模式判定處理的參數(shù)而形成的表。
接著，在步驟的說(shuō)明之前，對(duì)各參數(shù)等進(jìn)行說(shuō)明。
學(xué)習(xí)模式，設(shè)為準(zhǔn)備M個(gè)。此外，準(zhǔn)備L個(gè)的集合群Di(i＝1～L)和與此相對(duì)的集合群Di’(i＝1～L)。在這里，L是預(yù)定的自然數(shù)，在本實(shí)施例中，采用L＝64進(jìn)行說(shuō)明。
接著，參照附圖，對(duì)根據(jù)本實(shí)施例的特征選擇方法的步驟進(jìn)行說(shuō)明，本實(shí)施例的直至決定第1個(gè)特征的步驟，和上述第2實(shí)施例的情況完全相同。
圖8、圖9、圖10是用于說(shuō)明本發(fā)明的特征選擇方法的處理流程的流程圖。參照?qǐng)D8，如果決定了第一個(gè)特征(步驟S301)，特征決定單元303將集合Di及Di’(各i＝1～L)分別初始化(步驟S302)。在這里，由于使L＝64，所以對(duì)D1～D64及D1’～D64’的集合進(jìn)行初始化(清空成為空集合)的處理。
特征順序參數(shù)m，設(shè)m＝2。這是為了從第2個(gè)特征開始本過(guò)程。
接著，特征決定單元303使用已經(jīng)決定的第1個(gè)特征的參數(shù)，按照(6)式對(duì)各學(xué)習(xí)模式算出特征b(步驟S303～S305)。
接著，特征決定單元303將各學(xué)習(xí)模式，通過(guò)權(quán)重b分配給集合E1，通過(guò)權(quán)重(1-b)分配給集合E0(步驟S306)。
接著，特征決定單元303，按照下式計(jì)算P(q＝1|E1)及P(q＝1|E0)。
P(q=1|E1)=M(q=1,E1)/M(E1)P(q-1|E0)=M(q=1,E0)/M(E0)----(7)]]>并且，M(E0)、M(E1)是分別屬于集合E0、E1的學(xué)習(xí)模式的權(quán)重的總計(jì)。M(q＝1|E0)、M(q＝1|E1)屬于等級(jí)q＝1，并且是分別屬于集合E0、E1的學(xué)習(xí)模式的權(quán)重的總計(jì)。
接著，特征決定單元303將按上述進(jìn)行分配的集合E0、E1的內(nèi)容，分別復(fù)制到從上述預(yù)先準(zhǔn)備的集合群(Di)通過(guò)下式?jīng)Q定的集合Dj、Dj’(步驟S307)。
d_(j-1)<P(q=1|E0)≤d_jd_(j′-1)<P(q=1|E1)≤d_j′----(8)]]>然而，在這里，d_j是按照下式預(yù)定的常數(shù)(j＝1～L-1)。根據(jù)下式，常數(shù)d_j取0以上1以下之間的值，對(duì)應(yīng)j的值，成大致S狀增加。例如，如果P(q＝1|E0)＝0.15，由于d_29＝0.111……，d_30＝0.2，則決定滿足(8)式上段的式的j＝30，復(fù)制E0至D30。同樣，如果P(q＝1|E1)＝0.7，由于d_33＝0.666……，d_34＝0.8，則決定滿足(8)式下段的式j(luò)’＝34，復(fù)制E1至D34。
0＝d_0＜d_1＜d_2＜...d_L＝1d_j＝2j-32/(1+2j-32)當(dāng)然，上式對(duì)應(yīng)集合Di及Di’的個(gè)數(shù)，并且在本實(shí)施例中是定為容易處理的，不是特別限定的。
在這里，特征決定單元303，將(1，j，j’)記錄于遷移表305(步驟S307)。例如，如果j＝30，j＝34，記錄(1，30，34)于遷移表(參照?qǐng)D11)。這是以后的模式判定處理時(shí)使用的，意味著如果第1個(gè)特征c1＝1，則應(yīng)該向集合Dj，如果第1個(gè)特征c1＝0，則應(yīng)該向集合Dj’分別遷移。
接著，參照?qǐng)D9，首先，特征決定單元303使用第s個(gè)(s＝1～N，從s＝1開始)候選特征，對(duì)各學(xué)習(xí)模式，按照(6)式計(jì)算特征b(步驟S309～S312)。這時(shí)，和上述第2實(shí)施例的情況相同，對(duì)各學(xué)習(xí)模式特征c定為，概率為b取1，概率為(1-b)取0。
接著，特征決定單元303按照下式計(jì)算從第s個(gè)候選特征得來(lái)的信息量MI’(步驟S313)。
MI′＝H1-<H2>c(9)但是H1=-Σq,iP(q|Di)logP(q|Di)]]>,P(q|Di)=M(q,Di)/M(Di)]]>H2=-Σq,iP(q|c,Di)logP(q|c,Di)]]>,P(q|c,Di)=M(q,c,Di)/M(c,Di)]]>此外，在這里，M(Dj)是進(jìn)入集合Dj的學(xué)習(xí)模式的權(quán)重的總計(jì)，M(q，Di)是進(jìn)入集合Di并且屬于等級(jí)q的學(xué)習(xí)模式的權(quán)重的總計(jì)。但是，關(guān)于I的和，只在M(Di)不為0的情況時(shí)取值。另外，M(c，Di)是特征為c，并且進(jìn)入集合Di的學(xué)習(xí)模式的權(quán)重的總計(jì)的期待值，M(q，c，Di)是特征為c，進(jìn)入集合Di，并且屬于等級(jí)q的學(xué)習(xí)模式的權(quán)重的總計(jì)的期待值。
這樣，直到取s＝N，對(duì)各學(xué)習(xí)模式進(jìn)行特征b的計(jì)算處理，對(duì)所有的候選特征，結(jié)束信息量MI’的計(jì)算的時(shí)候，特征決定單元303計(jì)較這些，將可得到最大的信息量的候選特征作為應(yīng)決定特征的組的第m個(gè)特征而決定(步驟S314)。
如上述，可得到最大的信息量的第m個(gè)特征決定后，特征決定單元303對(duì)所有的集合Di(D1～D64)進(jìn)行以下的操作。
參照?qǐng)D10，特征決定單元303使用上述決定的第m個(gè)特征參數(shù)，對(duì)各學(xué)習(xí)模式按照(6)式算出特征b，將屬于Di的個(gè)學(xué)習(xí)模式，按照權(quán)重b∶(1-b)的比率，分配給集合E1以及集合E0(步驟S315～S318，參照?qǐng)D13)。
接著，特征決定單元303按照(7)式計(jì)算P(q＝1|E1)及P(q＝1|E0)。
接著，特征決定單元303將按上述分配的集合E0、E1的內(nèi)容，分別加入從上述預(yù)先準(zhǔn)備的集合群(Di’)通過(guò)(8)式?jīng)Q定的Dj、Dj’中(步驟S319)。例如，如圖13所示，如果P(q＝1|E0)＝0.05，決定滿足(8)式上段的式的j＝28，向D28’加入E0。同樣的，如果P(q＝1|E1)＝0.3，決定滿足(8)式下段的式的j’＝31，向D31’加入E1(參照?qǐng)D13)。
在這里，特征決定單元303將(m，i，j，j’)記錄于遷移表(步驟S320)。例如，假如m＝2，i＝30，j＝28，j’＝31，如圖11的遷移表所示那樣，將(j＝28，j’＝31)記錄于對(duì)應(yīng)的位置(m＝2，i＝30)。上述記錄內(nèi)容，意味著第m個(gè)特征如果是cm＝1，就應(yīng)該向集合Dj，如果是cm＝0，就應(yīng)該向集合Dj’分別遷移，在下述的模式判定時(shí)使用。
對(duì)所有的集合Di(i＝1～L)結(jié)束以上的操作時(shí)，特征決定單元303將集合Di’(i＝1～L)復(fù)制到集合Di(i＝1～L)，初始化應(yīng)該決定后續(xù)的第m+1個(gè)特征的集合Di’(i＝1～L)(步驟S321，參照?qǐng)D13)。
以上的步驟，即使選擇新的特征，也要繼續(xù)進(jìn)行，直到在步驟S314得到的信息量(追加信息量)比預(yù)定的閾值MI_th還小。因此，只有不滿足上述終止條件，特征決定單元303才作為應(yīng)該決定第m+1個(gè)特征的m＝m+1，返回步驟S309的程序(步驟S322)。
另一方面，如果滿足上述終止條件，決定的特征的組的各參數(shù)被記錄在特征存儲(chǔ)單元304(步驟S322)。
在這里，上述本發(fā)明的第3實(shí)施例中，對(duì)可用于生成的判定處理的遷移表進(jìn)行說(shuō)明。圖11是這樣做的遷移表的一例。參照?qǐng)D11，是由表示對(duì)第1特征的遷移地址的集合的第1部分，和通過(guò)特征順序參數(shù)m、集合號(hào)碼參數(shù)i、和各特征的值cm，表示對(duì)第2個(gè)特征以后的各特征的遷移地址的集合的第2部分構(gòu)成。
此外，參照?qǐng)D11的遷移表的第1部分，在對(duì)應(yīng)c1＝1的欄記錄“30”，在對(duì)應(yīng)c1＝0的欄記錄“34”。這表示“第1個(gè)特征如果是c1＝1，就應(yīng)該向集合D30，如果是c1＝0，就應(yīng)該向集合D34分別遷移”。并且，參照?qǐng)D11的遷移表的第2部分的m＝2、i＝30的欄，在對(duì)應(yīng)c1＝1的欄中記錄“28”，在對(duì)應(yīng)c1＝0的欄中記錄“31”。這表示“屬于集合D30的模式，如果第2個(gè)特征是c2＝1，就向集合D28，如果是c2＝0，就向集合D31分別遷移”。
并且，圖11的第2部分的各欄中的標(biāo)記“-”表示是空欄。例如，在記有基于第2個(gè)特征c2的值的遷移地址的行(m＝2)中，對(duì)應(yīng)集合D30及D34的列(i＝30，34)以外的欄成為空欄“-”。這是對(duì)應(yīng)和上述第1個(gè)特征相對(duì)應(yīng)的遷移地址的集合為“30”或者“34”的情況的。即，如果根據(jù)圖11的遷移表，輸入模式根據(jù)上述第1個(gè)特征，一定被遷移至D30或D34的集合中，因?yàn)闆]有參照其他欄的必要。
并且，根據(jù)圖11的遷移表，分開記錄對(duì)第1個(gè)特征和第2個(gè)特征以后的特征的遷移地址的集合的部分，如果是通過(guò)特征順序參數(shù)m、集合號(hào)碼參數(shù)i、各特征的值Cm，表示得到遷移地址的集合的，當(dāng)然不是特別限定的。例如，如圖12所示，也可以是合并圖11的第1部分和第2部分的。
接著，關(guān)于本實(shí)施例的模式判定的程序步驟，參照附圖進(jìn)行說(shuō)明。圖14，是表示使用這樣決定的特征的組進(jìn)行模式判定的模式判定方法的框圖。參照?qǐng)D14，表示了模式輸入單元401、特征抽取單元402、模式判定單元403被表示。此外，特征抽取單元402表示了用于為了特征抽取而使用的特征存儲(chǔ)單元304，模式判定單元403表示為了用于模式判定的遷移表305。
其作用，首先，模式輸入單元401從期望的媒體取出輸入模式，對(duì)送給特征抽取單元402。
接著，特征抽取單元402對(duì)該輸入模式，使用存儲(chǔ)在特征存儲(chǔ)單元304中的特征的組(通過(guò)上述的特征決定方法決定的)，按照(6)式算出特征向量(b1，b2，……bn)，此外，將上述計(jì)算結(jié)果送至模式判定單元403。
這時(shí)，設(shè)定特征cs(s＝1～n)為1的概率是bs，為0的概率是(1-bs)。模式判定單元403參照順序遷移表305，算出輸入模式屬于各等級(jí)的概率。此過(guò)程如下進(jìn)行。
首先，模式判定單元403讀出基于第1個(gè)特征的遷移規(guī)則(1，j，j’)，使?fàn)顟B(tài)j以概率b1，狀態(tài)j’以概率(1-b1)遷移。接著，模式判定單元403設(shè)第2個(gè)特征c2為1的概率是b2，為0的概率是(1-b2)，讀出基于第2個(gè)特征的遷移規(guī)則，再遷移狀態(tài)。例如，如果將(2，j，k，k’)、(2，j’，k”，k)記入基于第2個(gè)特征的遷移規(guī)則，則分別從狀態(tài)j以概率b2遷移至狀態(tài)k，以概率(1-b2)遷移至狀態(tài)k’，從狀態(tài)j’以概率b2遷移至狀態(tài)k”，以概率(1-b2)遷移至狀態(tài)k。因此，在這種情況下，處于狀態(tài)k中的概率，處于狀態(tài)k’中的概率，處在狀態(tài)k”中的概率，處在狀態(tài)k中的概率，而分別被給以b1·b2，b1·(1-b2)，(1-b1)·b2，(1-b1)·(1-b2)。以下同樣的，模式判定單元403使用直至第n個(gè)的特征，一邊參照遷移表，一邊使?fàn)顟B(tài)遷移。
這樣，使使用直至第n個(gè)特征的狀態(tài)遷移的結(jié)果，使處于各狀態(tài)j中的概率為算出的P(j)(j＝1～L)。這時(shí)，可以根據(jù)下式求出輸入模式屬于等級(jí)q＝1的概率p(q＝1)。
P=(q=1)=Σj=1,LP(j)P(q=1|j)----(10)]]>但是P(q＝1|j)＝(d_j+d_(j-1))/2 (11)模式判定單元403，如果此概率p(q＝1)比預(yù)定的閾值還大，則判定其為“輸入屬于等級(jí)q＝1”，并輸出其結(jié)果。另外，此概率P(q＝1)如果比上述閾值還小，廢棄并判定為無(wú)法判定，并輸出其結(jié)果。當(dāng)然，作為上述閾值，設(shè)置采用閾值和廢棄閾值兩個(gè)，處于臨界領(lǐng)域的情況，可能有無(wú)法判定等種種的變形實(shí)施。
此外，在本實(shí)施例，根據(jù)(11)式?jīng)Q定P(q＝1|j)的值，但是也可以使用學(xué)習(xí)模式如下決定。即，在使各學(xué)習(xí)模式fi(r)(i＝1～M)根據(jù)遷移表遷移的同時(shí)，基于各學(xué)習(xí)模式的特征向量(b1，b2，……bn)，分別算出最終的處于狀態(tài)j中的概率P(i，j)。接著，設(shè)只對(duì)屬于等級(jí)q＝1的學(xué)習(xí)模式，總計(jì)此P(i，j)的值為P1(j)，設(shè)對(duì)所有的學(xué)習(xí)模式，總計(jì)P(i，j)的值為Ptotal(j)，根據(jù)P(q＝1|j)＝P1(j)/Ptotal(j)，決定P(q＝1|j)的值。
作為為了用于縮短本實(shí)施例的模式判定用的處理時(shí)間的變形，以本實(shí)施例的方法只制作遷移表305，對(duì)于面向輸入模式的特征向量，可以采用通過(guò)(2)式算出的方法。在這種情況下，在判定處理上中不進(jìn)行概率性的操作，按照在(2)式得到的特征向量，實(shí)現(xiàn)使?fàn)顟B(tài)確定的遷移，進(jìn)行模式的判定的構(gòu)成。而且，這時(shí)，按照遷移表，使?fàn)顟B(tài)遷移的時(shí)候，由于在各階段能使?fàn)顟B(tài)確定地遷移，如果使用直至第n個(gè)特征使?fàn)顟B(tài)遷移，最終狀態(tài)確定于1～L中的某一個(gè)特定的狀態(tài)j。而且，調(diào)查對(duì)應(yīng)此狀態(tài)的(11)式的P(q＝1|j)的值，如果其比預(yù)定的閾值還大則判定為“輸入屬于等級(jí)q＝1”，輸出此結(jié)果。
由于以上說(shuō)明的本發(fā)明的第3實(shí)施例和第2實(shí)施例相同，在學(xué)習(xí)模式中具有有效地加入噪聲的效果，顯現(xiàn)可以選擇裕量更大的特征的組的優(yōu)點(diǎn)。
此外，本發(fā)明的第3實(shí)施例中，顯現(xiàn)特征選擇用的計(jì)算和上述第2實(shí)施例的情況相比較可以大幅削減的優(yōu)點(diǎn)。其理由在于被選擇的特征的數(shù)目n即使變大，特征選擇必要的計(jì)算，可以根據(jù)對(duì)應(yīng)特征分割高L個(gè)集合時(shí)得到的信息量的計(jì)算((9)式)實(shí)現(xiàn)。
而且，此外，在本發(fā)明的第3實(shí)施例中，因?yàn)闀簳r(shí)被分類的學(xué)習(xí)模式在集合D1一邊被適時(shí)合并，一邊進(jìn)行信息量的計(jì)算，避免了屬于各級(jí)和Di的學(xué)習(xí)模式的數(shù)目變得非常少。其結(jié)果，顯現(xiàn)了依存學(xué)習(xí)模式而選擇特征的現(xiàn)象減少，可以更為提高通用性能的優(yōu)點(diǎn)。
如以上的說(shuō)明，根據(jù)本發(fā)明，可以不需要龐大的學(xué)習(xí)而實(shí)現(xiàn)高性能的模式識(shí)別。其理由在于，提供了不依存已經(jīng)決定的特征的值的本身，而唯一選擇后續(xù)特征的方法。
另外，根據(jù)本發(fā)明，實(shí)現(xiàn)了識(shí)別性能(通用性能)的大幅的提高，其理由在于，提供了大幅的使作為分類器的構(gòu)造簡(jiǎn)單化的構(gòu)成。
本發(fā)明，適用于進(jìn)行用于圖像識(shí)別等的模式的特征選擇、分類、判定。
權(quán)利要求
1.一種系統(tǒng)的特征選擇方法，該系統(tǒng)具有存儲(chǔ)保持帶有等級(jí)信息的學(xué)習(xí)模式的學(xué)習(xí)模式存儲(chǔ)單元；生成多個(gè)候選特征的候選特征生成單元；和從根據(jù)所述候選特征生成單元生成的候選特征中，決定適合模式識(shí)別的特征的組的特征決定單元，該特征選擇方法的特征在于，所述特征決定單元，計(jì)算對(duì)應(yīng)所述各候選特征的各學(xué)習(xí)模式的特征值，將其和所述學(xué)習(xí)模式集合的等級(jí)信息的相互信息量為最大的候選特征作為特征的組的最初的特征而決定，在決定的特征為已知的條件下，將對(duì)應(yīng)各候選特征的各學(xué)習(xí)模式的特征值和所述各學(xué)習(xí)模式的等級(jí)信息的相互信息量為最大的候選特征，作為特征的組的下一特征，順次決定。
2.一種系統(tǒng)的特征選擇方法，該系統(tǒng)具有存儲(chǔ)保持帶有等級(jí)信息的學(xué)習(xí)模式的學(xué)習(xí)模式存儲(chǔ)單元；生成多個(gè)候選特征的候選特征生成單元；從根據(jù)所述候選特征生成單元生成的候選特征中，決定適合模式識(shí)別的特征的組的特征決定單元，該特征選擇方法的特征在于，所述特征決定單元，為使所述學(xué)習(xí)模式對(duì)應(yīng)特征的值進(jìn)行遷移，準(zhǔn)備預(yù)定個(gè)數(shù)的集合，計(jì)算對(duì)應(yīng)所述各候選特征的各學(xué)習(xí)模式的特征值，將其和所述學(xué)習(xí)模式集合的等級(jí)信息的相互信息量為最大的候選特征作為特征的組的最初的特征而決定，在附加對(duì)應(yīng)決定了的特征的權(quán)重，分配所述各學(xué)習(xí)模式的同時(shí)，使其順次遷移至對(duì)應(yīng)決定了的特征的集合，在包含所述各學(xué)習(xí)模式的集合中的信息和決定了的特征為已知的條件下，將對(duì)應(yīng)各候選特征的各學(xué)習(xí)模式的特征值和所述各學(xué)習(xí)模式的等級(jí)信息的相互信息量為最大的候選特征作為特征的組的下一特征，順次決定。
3.如權(quán)利要求1或2的所述的特征選擇方法，其特征在于，在所述候選特征生成單元生成的候選特征中，包含將復(fù)變加博函數(shù)作為特征抽取函數(shù)的候選特征。
4.如權(quán)利要求1或2所述的特征選擇方法，其特征在于，在所述的候選特征生成單元生成的候選特征中，包含從由規(guī)格化了復(fù)變加博函數(shù)的特征抽取函數(shù)得到的候選特征。
5.如權(quán)利要求1至4中任一項(xiàng)所述的特征選擇方法，其特征在于，所述特征決定單元，對(duì)所述各學(xué)習(xí)模式，對(duì)每個(gè)所述候選特征加以基于預(yù)定的噪聲參數(shù)的操作。
6.如權(quán)利要求1至5中任一項(xiàng)所述的特征選擇方法，其特征在于，所述特征決定單元計(jì)算作為對(duì)應(yīng)所屬各候選特征的所述各學(xué)習(xí)模式的特征值，所述各學(xué)習(xí)模式的特征取預(yù)定值的概率。
7.一種系統(tǒng)的學(xué)習(xí)模式的分類方法，所述系統(tǒng)具有存儲(chǔ)保持用于學(xué)習(xí)的學(xué)習(xí)模式的學(xué)習(xí)模式存儲(chǔ)單元；生成多個(gè)候選特征的候選特征生成單元；從通過(guò)所述候選特征生成單元生成的候選特征中，決定適于模式識(shí)別的特征的組的特征決定單元；存儲(chǔ)保持通過(guò)所述特征決定單元決定的特征的組的特征存儲(chǔ)單元；和制作分類表的分類表制作單元，該學(xué)習(xí)模式的分類方法的特征在于，所述分類表制作單元，使用如權(quán)利要求1至6中任一項(xiàng)所述的特征選擇方法而決定的特征的組，計(jì)算所述各學(xué)習(xí)模式的各特征值，通過(guò)配置所述各學(xué)習(xí)模式的各特征值和等級(jí)信息而成的分類表，對(duì)學(xué)習(xí)模式進(jìn)行分類。
8.如權(quán)利要求7所述的模式分類方法，其特征在于，當(dāng)與所述特征的值無(wú)關(guān)，可以對(duì)學(xué)習(xí)模式分類時(shí)，所述分類表制作單元在所述分類表的對(duì)應(yīng)位置上，代替所述特征值，置以冗長(zhǎng)項(xiàng)。
9.一種系統(tǒng)的模式判定方法，該系統(tǒng)具有輸入模式的模式輸入單元；從所述模式中抽取特征的特征抽取單元；基于所述特征判定模式的模式判定單元；和存儲(chǔ)保持決定了的特征的組的特征存儲(chǔ)單元，該模式判定方法的特征在于，所述特征抽取單元，使用如權(quán)利要求1至6的任一項(xiàng)所述的特征選擇方法決定的特征的組，算出輸入的模式的各特征值，基于所述算出結(jié)果，進(jìn)行模式判定。
10.如權(quán)利要求9所述的模式判定方法，其特征在于，所述模式判定單元，使用如權(quán)利要求7或8所述的模式分類方法得到的分類表，進(jìn)行模式判定。
11.如權(quán)利要求10所述的模式判定方法，其特征在于，所述輸入模式的各特征值，是該順序的特征為預(yù)定值的概率的值，所述模式判定單元，使用所述各特征值，計(jì)算所述分類表中包含的各特征模式為預(yù)定的等級(jí)信息的值的概率，進(jìn)行判定。
12.一種系統(tǒng)的學(xué)習(xí)模式的判定方法，所述系統(tǒng)具有輸入模式的模式輸入單元；從所述模式中抽取特征的特征抽取單元；基于所述特征判定模式的模式判定單元；和存儲(chǔ)保持決定了的特征的組的特征存儲(chǔ)單元，該模式判定方法的特征在于，所述特征抽取單元，使用根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的特征選擇方法決定的特征的組，算出輸入的模式的各特征值，所述模式判定單元，根據(jù)所述輸入的模式的各特征值，和逐次記錄在利用如權(quán)利要求2所述的特征選擇方法決定特征的組的各特征時(shí)，學(xué)習(xí)模式所屬的集合而成的遷移表，進(jìn)行輸入模式的遷移，所述遷移的結(jié)果基于所述輸入的模式所述的集合，進(jìn)行模式判定。
13.一種系統(tǒng)的模式判定方法，所述系統(tǒng)具有輸入模式的模式輸入單元；從所述模式中抽取特征的特征抽取單元；基于所述特征判定模式的模式判定單元；和存儲(chǔ)保持被決定的特征的組的特征存儲(chǔ)單元，該模式判定方法的特征在于，所述特征抽取單元，使用根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的特征選擇方法決定的特征的組，算出表示該順序的特征為預(yù)定值的概率的、輸入的模式的各特征概率，所述模式判定單元，根據(jù)所述輸入的模式的各特征概率，和逐次記錄在根據(jù)權(quán)利要求2所述的特征選擇方法決定各特征時(shí)，學(xué)習(xí)模式所屬的集合而成的遷移表，進(jìn)行輸入模式的遷移，根據(jù)所述遷移的路徑，算出所述輸入的模式具有預(yù)定的等級(jí)信息的概率，進(jìn)行模式判定。
14.一種使構(gòu)成系統(tǒng)的計(jì)算機(jī)執(zhí)行處理的程序，所述系統(tǒng)具有存儲(chǔ)保持附有等級(jí)信息的學(xué)習(xí)模式的學(xué)習(xí)模式存儲(chǔ)單元；生成多個(gè)候選特征的候選特征生成單元；和從由所述候選特征生成單元生成的候選特征中，決定適合模式識(shí)別的特征的組的特征決定單元，該程序的特征在于使計(jì)算機(jī)執(zhí)行以下處理，計(jì)算對(duì)應(yīng)所述各候選特征的各學(xué)習(xí)模式的特征值，將其和所述學(xué)習(xí)模式集合的等級(jí)信息的相互信息量為最大的候選特征作為特征的組的最初的特征而決定的處理，和在決定的特征為已知的條件下，將對(duì)應(yīng)各候選特征的各學(xué)習(xí)模式的特征值和所述各學(xué)習(xí)模式的等級(jí)信息的相互信息量為最大的候選特征，作為特征的組的下一特征，順次決定的處理，并進(jìn)行特征的選擇。
15.一種使構(gòu)成系統(tǒng)的計(jì)算機(jī)執(zhí)行處理的程序，所述系統(tǒng)具有存儲(chǔ)保持附有等級(jí)信息的學(xué)習(xí)模式的學(xué)習(xí)模式存儲(chǔ)單元；生成多個(gè)候選特征的候選特征生成單元；和從由所述候選特征生成單元生成的候選特征中，決定適合模式識(shí)別的特征的組的特征決定單元，該程序的特征在于使計(jì)算機(jī)執(zhí)行以下處理，為使所述學(xué)習(xí)模式對(duì)應(yīng)特征的值進(jìn)行遷移，準(zhǔn)備預(yù)定個(gè)數(shù)的集合的處理，計(jì)算對(duì)應(yīng)所述個(gè)候選特征的各學(xué)習(xí)模式的特征值，將其和所述學(xué)習(xí)模式集合的等級(jí)信息的相互信息量為最大的候選特征作為特征的組的最初的特征而決定的處理，在附加對(duì)應(yīng)決定了的特征的權(quán)重，分配所述各學(xué)習(xí)模式的同時(shí)，使其順次遷移至對(duì)應(yīng)決定了的特征的集合的處理，和在包含所述各學(xué)習(xí)模式的集合中的信息和決定了的特征為已知的條件下，將對(duì)應(yīng)各候選特征的各學(xué)習(xí)模式的特征值和所述各學(xué)習(xí)模式的等級(jí)信息的相互信息量為最大的候選特征作為特征的組的下一特征，順次決定的處理，并進(jìn)行特征的選擇。
16.如權(quán)利要求14或15所述的程序，其特征在于，在所述候選特征中，包含將復(fù)變加博函數(shù)作為特征抽取函數(shù)的候選特征。
17.如權(quán)利要求14或15所述的程序，其特征在于，在所述候選特征生成單元生成的候選特征中，包含從規(guī)格化了復(fù)變加博函數(shù)的特征抽取函數(shù)得到的候選特征。
18.如權(quán)利要求14至17中任一項(xiàng)所述的程序，使所述計(jì)算機(jī)進(jìn)一步執(zhí)行以下處理，對(duì)于所述的各學(xué)習(xí)模式，向各所述候選特征加以基于預(yù)定的噪聲參數(shù)的操作的處理。
19.如權(quán)利要求14至18中任一項(xiàng)所述的程序，其特征在于，所述電腦計(jì)算作為對(duì)應(yīng)所述各候選特征的所述各學(xué)習(xí)模式的特征值，所述各學(xué)習(xí)模式的特征取預(yù)定值的概率。
20.一種使構(gòu)成系統(tǒng)的計(jì)算機(jī)執(zhí)行處理的程序，所述系統(tǒng)具有存儲(chǔ)保持用于學(xué)習(xí)的學(xué)習(xí)模式的學(xué)習(xí)模式存儲(chǔ)單元；生成多個(gè)候選特征的候選特征生成單元；從通過(guò)所述候選特征生成單元生成的候選特征中，決定適于模式識(shí)別的特征的組的特征決定單元；存儲(chǔ)保持通過(guò)所述特征決定單元決定的特征的組的特征存儲(chǔ)單元；和制作分類表的分類表制作單元，該程序的特征在于使計(jì)算機(jī)執(zhí)行以下處理，使用通過(guò)如權(quán)利要求14至19中任一項(xiàng)所述的程序的實(shí)行而決定的特征的組，計(jì)算所述各學(xué)習(xí)模式的各特征的處理，和通過(guò)配置所述各學(xué)習(xí)模式的各特征值和等級(jí)信息而成的分類表，對(duì)學(xué)習(xí)模式進(jìn)行分類的處理，并進(jìn)行學(xué)習(xí)模式的分類。
21.如權(quán)利要求20所述的程序，其特征在于，當(dāng)與所述特征的值無(wú)關(guān)，可以對(duì)學(xué)習(xí)模式分類時(shí)，在所述分類表的對(duì)應(yīng)位置上，代替所述特征值，置以冗長(zhǎng)項(xiàng)。
22.一種使構(gòu)成系統(tǒng)的計(jì)算機(jī)執(zhí)行處理的程序，所述系統(tǒng)具有輸入模式的模式輸入單元；從所述模式中抽取特征的特征抽取單元；基于所述特征判定模式的模式判定單元；和存儲(chǔ)保持決定了的特征的組的特征存儲(chǔ)單元，該程序的特征在于使計(jì)算機(jī)執(zhí)行以下處理，至少使用通過(guò)如權(quán)利要求14至19中任一項(xiàng)所述的程序的實(shí)行而決定的特征的組，算出輸入的模式的各特征值的處理，并基于該執(zhí)行結(jié)果進(jìn)行模式的判定。
23.如權(quán)利要求22所述的程序，其特征在于，所述計(jì)算機(jī)使用通過(guò)如權(quán)利要求20或21所述的程序的實(shí)行而得到的分類表，進(jìn)行模式判定。
24.如權(quán)利要求23所述的程序，其特征在于，所述計(jì)算機(jī)算出的所述輸入模式的各特征值是該順序的特征為預(yù)定值的概率的值，所述計(jì)算機(jī)使用所述各特征值，計(jì)算包含在所述分類表中的各特征模式為預(yù)定等級(jí)信息的值的概率，進(jìn)行判定。
25.一種使構(gòu)成系統(tǒng)的計(jì)算機(jī)執(zhí)行處理的程序，所述系統(tǒng)具有輸入模式的模式輸入單元；從所述模式中抽取特征的特征抽取單元；基于所述特征判定模式的模式判定單元；和存儲(chǔ)保持決定了的特征的組的特征存儲(chǔ)單元，該程序的特征在于使計(jì)算機(jī)執(zhí)行以下處理，使用通過(guò)如權(quán)利要求14至19中任一項(xiàng)所述的程序的實(shí)行而決定的特征的組，算出輸入的模式的各特征值的處理，和基于所述輸入模式的各特征值和逐次記錄利用如權(quán)利要求15所述程序的實(shí)行而決定各特征時(shí)學(xué)習(xí)模式所屬的集合而成的遷移表，進(jìn)行輸入模式的遷移的處理，并基于所述輸入的模式所屬的集合進(jìn)行輸入的模式的判定。
26.一種使構(gòu)成系統(tǒng)的計(jì)算機(jī)執(zhí)行處理的程序，所述系統(tǒng)具有輸入模式的模式輸入單元；從所述模式中抽取特征的特征抽取單元；基于所述特征判定模式的模式判定單元；和存儲(chǔ)保持決定了的特征的組的特征存儲(chǔ)單元，該程序的特征在于使計(jì)算機(jī)執(zhí)行以下處理，使用通過(guò)如權(quán)利要求14至19中任一項(xiàng)所述的程序的實(shí)行而決定的特征的組，算出表示該順序的特征為預(yù)定值的概率的、輸入的模式的各特征值的處理，基于所述輸入的模式的各特征概率和逐次記錄在通過(guò)權(quán)利要求15所述的程序的實(shí)行決定各特征時(shí)學(xué)習(xí)模式所屬的集合而成的遷移表，進(jìn)行輸入模式的遷移的處理，和根據(jù)所述遷移的路徑，算出所述輸入的模式具有預(yù)定等級(jí)信息的概率的處理，并根據(jù)所述計(jì)算結(jié)果，進(jìn)行輸入模式的判定。
27.一種模式學(xué)習(xí)系統(tǒng)，保持如權(quán)利要求14至19中任一項(xiàng)所述的程序?yàn)榭梢詫?shí)行，并進(jìn)行學(xué)習(xí)模式的特征的選擇。
28.一種模式學(xué)習(xí)系統(tǒng)，保持如權(quán)利要求20或21所述的程序?yàn)榭梢詫?shí)行，并進(jìn)行學(xué)習(xí)模式的分類。
29.一種模式判定系統(tǒng)，保持如權(quán)利要求22至26所述的程序?yàn)榭梢詫?shí)行，并進(jìn)行輸入的模式的判定。
全文摘要
特征決定單元(303)使用學(xué)習(xí)模式存儲(chǔ)單元(301)中存儲(chǔ)的各學(xué)習(xí)模式，從特征生成單元(302)生成的大量的候選特征中，決定適合模式識(shí)別的特征的組。這時(shí)，特征決定單元(303)，一邊向?qū)W習(xí)模式中加入有效的噪聲，一邊在已決定的特征為已知的條件下，按照信息量最大化的基準(zhǔn)，決定順次特征，一邊將學(xué)習(xí)模式在N個(gè)集合中適時(shí)結(jié)合，一邊近似地，高速地進(jìn)行信息量的計(jì)算。其結(jié)果，可以不需要龐大的學(xué)習(xí)，而自動(dòng)生成適合高性能的模式識(shí)別的特征組。另外，通過(guò)記錄集合間的遷移的遷移表(305)，高效地進(jìn)行模式的判定。
文檔編號(hào)G06T7/00GK1653486SQ03804780
公開日2005年8月10日 申請(qǐng)日期2003年2月27日 優(yōu)先權(quán)日2002年2月27日
發(fā)明者岡島健治, 今岡仁, 宮下真信 申請(qǐng)人:日本電氣株式會(huì)社