多分類識(shí)別器、數(shù)據(jù)識(shí)別裝置、多分類識(shí)別方法及數(shù)據(jù)識(shí)別方法
【專利摘要】多分類識(shí)別器識(shí)別數(shù)據(jù)所表征的特征是屬于多個(gè)分類中的哪個(gè)分類，具備：第1階層識(shí)別器生成單元，其生成進(jìn)行1對(duì)N的識(shí)別的多個(gè)第1階層識(shí)別器；和第2階層識(shí)別器生成單元，其通過(guò)將多個(gè)第1階層識(shí)別器分別輸出的各計(jì)分值進(jìn)行連結(jié)來(lái)生成第2階層特征向量，輸入該第2階層特征向量來(lái)生成進(jìn)行1對(duì)N的識(shí)別的多個(gè)第2階層識(shí)別器，多分類識(shí)別器將通過(guò)使數(shù)據(jù)輸入到多個(gè)第1階層識(shí)別器而由該多個(gè)第1階層識(shí)別器輸出的各計(jì)分值進(jìn)行連結(jié)來(lái)生成第2階層特征向量，將與通過(guò)使該第2階層特征向量輸入到多個(gè)第2階層識(shí)別器而輸出了最大的計(jì)分值的第2階層識(shí)別器相對(duì)應(yīng)的分類，識(shí)別為所輸入的數(shù)據(jù)所表征的特征所屬的分類。
【專利說(shuō)明】多分類識(shí)別器、數(shù)據(jù)識(shí)別裝置、多分類識(shí)別方法及數(shù)據(jù)識(shí)別方法
[0001]本申請(qǐng)主張以2012年10月26日提出申請(qǐng)的日本國(guó)專利申請(qǐng)第2012 — 236440號(hào)為基礎(chǔ)申請(qǐng)的優(yōu)先權(quán)，將該基礎(chǔ)申請(qǐng)的內(nèi)容全部引入到本申請(qǐng)中。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及多分類識(shí)別器、數(shù)據(jù)識(shí)別裝置、多分類識(shí)別方法以及數(shù)據(jù)識(shí)別方法。
【背景技術(shù)】
[0003]有想要知道在山野或路邊發(fā)現(xiàn)的花的名稱的情況。為此，提出如下技術(shù)(例如，參照特開(kāi)2002 - 203242號(hào)公報(bào)):通過(guò)以攝影等而得到的花和葉的數(shù)字圖像，使用聚類法大量提取作為對(duì)象物的花和葉的局部特征，進(jìn)而求取以將該提取特征群進(jìn)行直方圖化的信息為特征量的單個(gè)或多個(gè)特征量，使用統(tǒng)計(jì)手法來(lái)解析該求得的特征量、和預(yù)先登錄于數(shù)據(jù)庫(kù)的各種植物的特征量來(lái)判別野花草的種類。
[0004]在此，在對(duì)輸入的花等的圖像數(shù)據(jù)進(jìn)行圖像分類時(shí)，在機(jī)器學(xué)習(xí)中，能容易地實(shí)現(xiàn)所謂的2分類識(shí)別器，其進(jìn)行是某種類的圖像自身還是此外圖像這2種圖像分類。另一方面，在進(jìn)行從多個(gè)種類的圖像中識(shí)別各種類的圖像的多分類的圖像分類時(shí)，一般組合2分類識(shí)別器來(lái)構(gòu)成所謂的多分類識(shí)別器。例如，在將花的圖像分類為6種類的情況下，生成6個(gè)2分類識(shí)別器。各識(shí)別器按照在分別輸入了所分配的種類的圖像時(shí)分別輸出最大的識(shí)別計(jì)分值的方式進(jìn)行生成。然后，在將圖像輸入到各識(shí)別器時(shí)，將與輸出最高識(shí)別計(jì)分值的識(shí)別器對(duì)應(yīng)的種類設(shè)為識(shí)別結(jié)果。
[0005]但是，例如在花的種類的分類中，在組合2分類識(shí)別器來(lái)構(gòu)成多分類識(shí)別器的情況下，存在各2分類識(shí)別器輸出的計(jì)分值未被歸一化的問(wèn)題點(diǎn)。具體地，2分類識(shí)別器以計(jì)分值零為邊界，用正負(fù)號(hào)來(lái)判定是否屬于與該2分類識(shí)別器對(duì)應(yīng)的分類。表示此時(shí)的識(shí)別的似然的計(jì)分值的絕對(duì)值將根據(jù)生成該2分類識(shí)別器的學(xué)習(xí)用數(shù)據(jù)與其他分類的學(xué)習(xí)用數(shù)據(jù)分離何種程度(分離度)而改變。若組合這樣的2分類識(shí)別器來(lái)構(gòu)成多分類識(shí)別器，根據(jù)對(duì)識(shí)別的難易度為各種各樣的多分類的數(shù)據(jù)進(jìn)行識(shí)別的各計(jì)分值的絕對(duì)值而決定的識(shí)別性能，將對(duì)應(yīng)于賦予各2分類識(shí)別器的學(xué)習(xí)用數(shù)據(jù)的質(zhì)量而改變。如此，在組合2分類識(shí)別器來(lái)構(gòu)成多分類識(shí)別器的情況下，存在各分類的識(shí)別性能變得不均勻，即未歸一化這樣的問(wèn)題點(diǎn)。
[0006]進(jìn)而，在組合2分類識(shí)別器來(lái)構(gòu)成多分類識(shí)別器的情況下，若未對(duì)各2分類識(shí)別器賦予充分?jǐn)?shù)量的學(xué)習(xí)用數(shù)據(jù)，則各分類的識(shí)別性能會(huì)變得不均勻。但是，例如在花的種類的分類中，存在難以對(duì)全部分類賦予充分?jǐn)?shù)量的學(xué)習(xí)用數(shù)據(jù)這樣的問(wèn)題點(diǎn)。

【發(fā)明內(nèi)容】

[0007]本發(fā)明目的在于，能通過(guò)總括評(píng)價(jià)各2分類識(shí)別器輸出的計(jì)分值來(lái)抑制識(shí)別率的降低，實(shí)現(xiàn)能使各2分類識(shí)別器的計(jì)分值歸一化的多分類識(shí)別器。[0008]本發(fā)明的多分類識(shí)別器識(shí)別數(shù)據(jù)所表征的特征是屬于多個(gè)分類中的哪個(gè)分類，所述多分類識(shí)別器的特征在于，具備:第I階層識(shí)別器生成單元，其生成進(jìn)行I對(duì)N的識(shí)別的多個(gè)第I階層識(shí)別器；和第2階層識(shí)別器生成單元，其通過(guò)將所述多個(gè)第I階層識(shí)別器分別輸出的各計(jì)分值進(jìn)行連結(jié)來(lái)生成第2階層特征向量，輸入該第2階層特征向量來(lái)生成進(jìn)行I對(duì)N的識(shí)別的多個(gè)第2階層識(shí)別器，所述多分類識(shí)別器將通過(guò)使數(shù)據(jù)輸入到所述多個(gè)第I階層識(shí)別器而由該多個(gè)第I階層識(shí)別器輸出的所述各計(jì)分值進(jìn)行連結(jié)來(lái)生成所述第2階層特征向量，將與通過(guò)使該第2階層特征向量輸入到所述多個(gè)第2階層識(shí)別器而輸出了最大的計(jì)分值的所述第2階層識(shí)別器相對(duì)應(yīng)的分類，識(shí)別為所輸入的所述數(shù)據(jù)所表征的特征所屬的分類。
【專利附圖】

【附圖說(shuō)明】
[0009]圖1是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的多分類識(shí)別器的硬件構(gòu)成例的框圖。
[0010]圖2是表示本實(shí)施方式的多分類識(shí)別器生成處理的整體動(dòng)作的流程圖。
[0011]圖3是2階層多分類識(shí)別器的構(gòu)成圖。
[0012]圖4是表示第I階層特征向量在特征空間上的分布例的示意圖。
[0013]圖5是表示第I階層識(shí)別器輸出的計(jì)分值的示例的圖。
[0014]圖6是表示第2階層特征向量的數(shù)據(jù)構(gòu)成例的圖。
[0015]圖7是表示圖2的第I階層識(shí)別器生成處理的詳細(xì)的流程圖。
[0016]圖8是表示圖7的特征提取處理的流程圖。
[0017]圖9是表示圖7的向量量化處理的流程圖。
[0018]圖10是表示圖7的第I階層特征向量生成處理(直方圖生成處理)的流程圖。
[0019]圖11是表示圖7或圖12的識(shí)別器生成處理的流程圖。
[0020]圖12是表示圖2的第2階層識(shí)別器生成處理的詳細(xì)的流程圖。
【具體實(shí)施方式】
[0021]下面，參照附圖來(lái)詳細(xì)說(shuō)明用于實(shí)施本發(fā)明的形態(tài)。
[0022]圖1是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的多分類識(shí)別器101的硬件構(gòu)成例的框圖。
[0023]該多分類識(shí)別器101例如在檢索系統(tǒng)的計(jì)算機(jī)上實(shí)現(xiàn)，該檢索系統(tǒng)從所謂的智能手機(jī)等的便攜式信息終端接收花等的攝影圖像數(shù)據(jù)，并通過(guò)識(shí)別器檢索該花等的種類來(lái)進(jìn)行識(shí)別，并將該識(shí)別結(jié)果返回便攜式信息終端。
[0024]多分類識(shí)別器101具備:CPlXCentral Processing Unit:中央運(yùn)算處理裝置)102、ROM (Read Only Memory:只讀存儲(chǔ)器)103、和 RAM (Random Access Memory:隨機(jī)存取存儲(chǔ)器)104。另外，多分類識(shí)別器101具備:硬盤存儲(chǔ)裝置或固態(tài)驅(qū)動(dòng)器存儲(chǔ)裝置等的外部存儲(chǔ)裝置105、通信接口 106、鍵盤裝置或鼠標(biāo)裝置等的輸入裝置107、和顯示器裝置等的輸出裝置108。進(jìn)而，多分類識(shí)別器101具備能設(shè)置SD存儲(chǔ)卡、USB (Universal Serial Bus,通用串行總線)存儲(chǔ)卡、CD (Compact Disk:光盤)、DVD (Digital Versatile Disk,數(shù)字通用光盤)等的可移動(dòng)存儲(chǔ)介質(zhì)110的可移動(dòng)存儲(chǔ)介質(zhì)驅(qū)動(dòng)裝置109。上述各設(shè)備102?109通過(guò)總線111而相互連接。[0025]在R0M103中存儲(chǔ)有后述的圖2以及圖7到圖12的流程圖表示的多分類識(shí)別器生成處理的控制程序。CPU102從R0M103讀出該控制程序，以RAM104為工作內(nèi)存來(lái)執(zhí)行。基于該硬件構(gòu)成而進(jìn)行動(dòng)作的多分類識(shí)別器例如是軟件，存儲(chǔ)在R0M103、RAM104、或外部存儲(chǔ)裝置105。另外，在多分類識(shí)別器生成處理中輸入的學(xué)習(xí)用數(shù)據(jù)例如從外部存儲(chǔ)裝置105、或能設(shè)置在可移動(dòng)存儲(chǔ)介質(zhì)驅(qū)動(dòng)裝置109的可移動(dòng)存儲(chǔ)介質(zhì)110所提供。
[0026]在生成多分類識(shí)別器后，CPU102通過(guò)讀出并執(zhí)行被存儲(chǔ)在R0M103、RAM104、或外部存儲(chǔ)裝置105的多分類識(shí)別器的軟件，從而作為多分類識(shí)別器進(jìn)行動(dòng)作?；蛘?，多分類識(shí)別器也可以由其它的計(jì)算機(jī)系統(tǒng)執(zhí)行。該多分類識(shí)別器例如經(jīng)由因特網(wǎng)用通信接口 106從所謂的智能手機(jī)等的便攜式信息終端中接收花的攝影圖像數(shù)據(jù)。然后，多分類識(shí)別器檢索該花的種類來(lái)識(shí)別，將該識(shí)別結(jié)果從通信接口 106介由因特網(wǎng)返回便攜式信息終端。另外，多分類識(shí)別器例如也可以作為智能手機(jī)的搭載應(yīng)用而直接提供給智能手機(jī)。
[0027]圖2是表示由圖1的硬件構(gòu)成所示的多分類識(shí)別器101執(zhí)行的本實(shí)施方式的多分類識(shí)別器生成處理的整體動(dòng)作的流程圖。
[0028]在該流程圖所示的處理與表示其詳細(xì)的圖7到圖12的流程圖所示的處理一起，作為圖1中CPU102執(zhí)行存儲(chǔ)在R0M103的控制程序的處理來(lái)實(shí)現(xiàn)。
[0029]首先，執(zhí)行學(xué)習(xí)用數(shù)據(jù)收集用處理(圖2的步驟S201)。在此，例如在圖1的外部存儲(chǔ)裝置105中準(zhǔn)備學(xué)習(xí)用數(shù)據(jù)。學(xué)習(xí)用數(shù)據(jù)按每個(gè)進(jìn)行識(shí)別的分類，例如若是花的圖像則按每種花的類別而準(zhǔn)備。然后，對(duì)各學(xué)習(xí)用數(shù)據(jù)賦予表示該學(xué)習(xí)用數(shù)據(jù)所表征的特征的分類(例如花的圖像的類別)的標(biāo)簽。作為整體，準(zhǔn)備多個(gè)分類X多張學(xué)習(xí)用數(shù)據(jù)。更具體地，例如，對(duì)牽?；?、旋花、鴨跖草、向日葵這4種花圖像分別收集各50張圖像數(shù)據(jù)作為學(xué)習(xí)用數(shù)據(jù)。分別對(duì)收集到的圖像數(shù)據(jù)制作與花的名稱建立關(guān)聯(lián)的標(biāo)簽數(shù)據(jù)庫(kù)。
[0030]接下來(lái)，執(zhí)行第I階層識(shí)別器生成處理(實(shí)現(xiàn)第I階層識(shí)別器生成單元的功能)(圖2的步驟S202)。在該步驟S202中，按多個(gè)分類執(zhí)行用于生成第I階層識(shí)別器的處理，該第I階層識(shí)別器輸入從多個(gè)學(xué)習(xí)用數(shù)據(jù)分別提取的各第I階層特征向量來(lái)識(shí)別該各學(xué)習(xí)用數(shù)據(jù)所表征的特征是否屬于多個(gè)分類中的I個(gè)分類。其結(jié)果，生成了個(gè)別識(shí)別各學(xué)習(xí)用數(shù)據(jù)所表征的特征是否分別屬于多個(gè)分類的多個(gè)第I階層識(shí)別器。
[0031]接下來(lái)，執(zhí)行第2階層識(shí)別器生成處理(實(shí)現(xiàn)第2階層識(shí)別器生成單元的功能)(圖2的步驟S203)。在該步驟S203中，按每多個(gè)學(xué)習(xí)用數(shù)據(jù)，將學(xué)習(xí)用數(shù)據(jù)輸入到在步驟S202生成的各分類的第I階層識(shí)別器。其結(jié)果，通過(guò)將各分類的第I階層識(shí)別器輸出的各計(jì)分值連結(jié)起來(lái)，生成與輸入的學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的第2階層特征向量。每當(dāng)輸入學(xué)習(xí)用數(shù)據(jù)就生成第2階層特征向量。接著，按多個(gè)分類執(zhí)行用于生成第2階層識(shí)別器的處理，該第2階層識(shí)別器輸入各第2階層特征向量來(lái)識(shí)別與該各第2階層特征向量對(duì)應(yīng)的各學(xué)習(xí)用數(shù)據(jù)所表征的特征是否屬于多個(gè)分類中的I個(gè)分類。其結(jié)果，生成個(gè)別識(shí)別各學(xué)習(xí)用數(shù)據(jù)所表征的特征是否分別屬于多個(gè)分類的多個(gè)第2階層識(shí)別器。
[0032]圖3是通過(guò)圖2的流程圖的控制處理所生成的2階層多分類識(shí)別器的構(gòu)成圖。
[0033]在圖2的步驟S202，例如分別形成用于識(shí)別“旋花vs其余”的# I的第I階層識(shí)別器302、識(shí)別“牽牛花vs其余”的# 2的第I階層識(shí)別器302、識(shí)別“鴨跖草vs其余”的# 3的第I階層識(shí)別器302、以及識(shí)別“向日葵vs其余”的# 4的第I階層識(shí)別器302。這些第I階層識(shí)別器302，輸入基于圖像性的特征信息(顏色、紋理等)從賦予了與旋花、牽?；?、鴨跖草、或向日葵的任意種類對(duì)應(yīng)的分類的標(biāo)簽的多個(gè)學(xué)習(xí)用數(shù)據(jù)中分別提取出的各第I階層特征向量301而進(jìn)行生成。
[0034]這種情況下，# I到# 4的各第I階層識(shí)別器302輸出的計(jì)分值將根據(jù)生成各分類的第I階層識(shí)別器302的學(xué)習(xí)用數(shù)據(jù)與其它分類的學(xué)習(xí)用數(shù)據(jù)分離何種程度(分離度)而改變。由此，# I到# 4的各第I階層識(shí)別器302的識(shí)別性能變得不均勻，未歸一化。
[0035]使用圖4所示的表示第I階層特征向量在特征空間上的分布例的示意圖來(lái)說(shuō)明該問(wèn)題。圖4是為了使說(shuō)明易于理解而假定第I階層特征向量301為(xl，x2)這樣的由2個(gè)要素值構(gòu)成的二維向量的說(shuō)明圖。另外，省略了向日葵的分布。
[0036]在圖4所示的第I階層特征向量301在特征空間上的分布例中，例如，牽?；ǖ姆植?01與旋花的分布402在特征空間上的兩分布間的距離小，這2種花的圖像性的特征非常相似。因此，預(yù)想基于第I階層特征向量301生成的識(shí)別“旋花vs其余”的# I的第I階層識(shí)別器302以及識(shí)別“牽?；╲s其余”的# 2的第I階層識(shí)別器302都輸出接近的計(jì)分值。
[0037]圖5是表示圖3的# I到# 4的各第I階層識(shí)別器302所輸出的計(jì)分值的示例的圖。在該示例中，示出了輸入牽?；颖?學(xué)習(xí)用數(shù)據(jù))時(shí)的各第I階層識(shí)別器302所輸出的計(jì)分值的示例、和輸入旋花樣本(學(xué)習(xí)用數(shù)據(jù))時(shí)的各第I階層識(shí)別器302所輸出的計(jì)分值的示例。在該示例的情況下，輸入牽?；颖緯r(shí)圖3的識(shí)別“旋花vs其余”的# I的第I階層識(shí)別器302以及識(shí)別“牽牛花vs其余”的# 2的第I階層識(shí)別器302的各計(jì)分值如“0.8±0.5”以及“0.9±0.5”那樣，是非常接近的值。另外，輸入旋花樣本時(shí)圖3的識(shí)別“旋花vs其余”的# I的第I階層識(shí)別器302以及識(shí)別“牽?；╲s其余”的# 2的第I階層識(shí)別器302的各計(jì)分值也如“0.9±0.5”以及“0.8±0.5”那樣，是非常接近的值。
[0038]因此，在輸入旋花的圖像數(shù)據(jù)或牽牛花的圖像數(shù)據(jù)作為輸入數(shù)據(jù)時(shí)，預(yù)想易于相互出現(xiàn)識(shí)別錯(cuò)誤。
[0039]另一方面，在圖4所示的第I階層特征向量301的特征空間上的分布例中，例如，旋花的分布402與鴨跖草的分布403在特征空間上的兩分布間的距離大，這2種花的圖像性的特征不相似。因此，基于第I階層特征向量301生成的識(shí)別“旋花vs其余”的# I的第I階層識(shí)別器302以及識(shí)別“鴨跖草vs其余”的# 3的第I階層識(shí)別器302預(yù)想輸出相互不接近的計(jì)分值。
[0040]在圖5的示例中，輸入旋花樣本時(shí)圖3的識(shí)別“旋花vs其余”的# I的第I階層識(shí)別器302以及識(shí)別“鴨跖草vs其余”的# 3的第I階層識(shí)別器302的各計(jì)分值如“0.9±0.5”以及“一0.5±0.5”那樣，是不接近的值。
[0041]因此，在輸入旋花的圖像數(shù)據(jù)和鴨跖草的圖像數(shù)據(jù)作為輸入數(shù)據(jù)時(shí)，識(shí)別“旋花vs其余”的# I的第I階層識(shí)別器302以及識(shí)別“鴨跖草VS其余”的# 3的第I階層識(shí)別器302預(yù)想難以相互出現(xiàn)識(shí)別錯(cuò)誤。
[0042]另外，在圖4所示的第I階層特征向量301的特征空間上的分布例中，例如，牽?；ǖ姆植?01與鴨跖草的分布403在特征空間上的兩分布間的距離為中等程度，這種花的圖像性的特征既不能說(shuō)相似，也不能說(shuō)不相似。這種情況下，在圖5的示例中，輸入牽?；颖緯r(shí)，圖3的識(shí)別“牽?；╲s其余”的# 2的第I階層識(shí)別器302以及識(shí)別“鴨跖草vs其余”的# 3的第I階層識(shí)別器302的各計(jì)分值如“0.9±0.5”以及“0.5±0.5”那樣，成為稍微接近的值。
[0043]如此，若各第I階層識(shí)別器302的性能不成為均勻，則因輸入的花的圖像的種類不同，會(huì)發(fā)生易于出現(xiàn)識(shí)別錯(cuò)誤或難以出現(xiàn)識(shí)別錯(cuò)誤的狀況，識(shí)別的可靠性降低。
[0044]另外，生成# I到# 4的各第I階層識(shí)別器302而使用的學(xué)習(xí)用數(shù)據(jù)的數(shù)量并不限于相同，由于也有不能給予充分的樣本數(shù)的情況，因此# I到# 4的各第I階層識(shí)別器302的識(shí)別性能不均勻而終究無(wú)法歸一化，從而識(shí)別的可靠性降低。
[0045]為此，在本實(shí)施方式中，進(jìn)一步地，在圖2的步驟S203中，通過(guò)針對(duì)輸入的學(xué)習(xí)用數(shù)據(jù)將# I到# 4的各第I階層識(shí)別器302所輸出的各計(jì)分值連結(jié)起來(lái)，來(lái)生成與該學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的第2階層特征向量303。圖6是表示第2階層特征向量的數(shù)據(jù)構(gòu)成例的圖。將#【到# 4的各第【階層識(shí)別器302所輸出的各計(jì)分值設(shè)為\、Χ2、Χ3以及X4。在本實(shí)施方式中，作為第2階層特征向量303，生成將這4個(gè)計(jì)分值作為各要素值的四維的特征向量(X1>X2>X3>X4)o
[0046]然后，在本實(shí)施方式中，以具有上述構(gòu)成的第2階層特征向量303為輸入，分別生成用于識(shí)別“旋花vs其余”的# I的第2階層識(shí)別器304、識(shí)別“牽?；╲s其余”的# 2的第2階層識(shí)別器304、識(shí)別“鴨跖草vs其余”的# 3的第2階層識(shí)別器304、以及識(shí)別“向日葵vs其余”的# 4的第2階層識(shí)別器304。
[0047]這種情況下，例如在生成# I的第2階層識(shí)別器304的情況下，評(píng)價(jià)# I到#4的各第I階層識(shí)別器302所輸出的各計(jì)分值。由此，例如，在輸入的第2階層特征向量303中，在識(shí)別“旋花vs其余”的# I的第I階層識(shí)別器302所輸出的計(jì)分值X1大、識(shí)別“鴨跖草vs其余”的# 3的第I階層識(shí)別器302所輸出的計(jì)分值X3小的情況下，能在最大計(jì)分判定305中生成給出最大的計(jì)分值的識(shí)別“旋花vs其余”的# I的第2階層識(shí)別器304。另外，在輸入的第2階層特征向量303中，在識(shí)別“牽?；╲s其余”的# 2的第I階層識(shí)別器302所輸出的計(jì)分值X2大、識(shí)別`“鴨跖草vs其余”的# 3的第I階層識(shí)別器302所輸出的計(jì)分值X3也稍大的情況下，能在最大計(jì)分判定305生成給出最大的計(jì)分值的識(shí)別“牽?；╲s其余”的# 2的第2階層識(shí)別器304。
[0048]在這樣的第2階層識(shí)別器304中，例如，在輸入與牽牛花樣本對(duì)應(yīng)的第2階層特征向量303時(shí)，由于該向量?jī)?nèi)的計(jì)分值X3比較大，因此識(shí)別“旋花vs其余”的# I的第2階層識(shí)別器304所輸出的計(jì)分值不會(huì)變大。另外例如，在輸入與旋花樣本對(duì)應(yīng)的第2階層特征向量303時(shí)，由于該向量?jī)?nèi)的計(jì)分值X3小，因此識(shí)別“牽牛花vs其余”的# 2的第2階層識(shí)別器304所輸出的計(jì)分值不會(huì)變大。
[0049]如此地，在本實(shí)施方式中，通過(guò)圖3所示的# I到# 4的第I階層識(shí)別器302和# I到# 4的第2階層識(shí)別器304的2個(gè)階層構(gòu)成的多分類識(shí)別器，能使# I到# 4的各分類的識(shí)別性能均等，從而能歸一化。
[0050]圖7是表示圖2的第I階層識(shí)別器生成處理的詳細(xì)的流程圖。該流程圖中，輸入的數(shù)據(jù)中的特征是圖像的特征，例如示出制作進(jìn)行牽?；?、旋花、鴨跖草、向日葵這4分類的花圖像的特征的識(shí)別的第I階層識(shí)別器的處理。另外，在圖像的特征提取中，通過(guò)在被稱作B0F(Bag Of Features，特征袋)的圖像分類中執(zhí)行一般的方式，從各圖像進(jìn)行特征提取。
[0051]首先，執(zhí)行特征提取處理(圖7的步驟S701)。在該處理中，在各個(gè)學(xué)習(xí)用數(shù)據(jù)中，與學(xué)習(xí)用數(shù)據(jù)所示的圖像內(nèi)的各網(wǎng)格對(duì)應(yīng)來(lái)執(zhí)行提取特征信息的處理，將該特征信息存儲(chǔ)在圖1的RAM104中。作為特征信息，例如與圖像內(nèi)的網(wǎng)格對(duì)應(yīng)來(lái)提取顏色以及紋理。
[0052]接下來(lái)，執(zhí)行聚類(clustering)處理(圖7的步驟S702)。在該處理中，在步驟S701中提取的、全部的學(xué)習(xí)用數(shù)據(jù)所示的與例如4種花的各50張的圖像內(nèi)的全部的網(wǎng)格對(duì)應(yīng)的全部的顏色的特征信息被聚類成多個(gè)(例如500個(gè))群集。作為聚類算法，例如使用k -means法。關(guān)于紋理的特征信息也相同地被聚類成多個(gè)(例如500個(gè))群集。
[0053]接下來(lái)，執(zhí)行向量量化處理(圖7的步驟S703)。在該處理中，在各個(gè)學(xué)習(xí)用數(shù)據(jù)中，執(zhí)行接下來(lái)的處理。按每個(gè)在步驟S701中與學(xué)習(xí)用數(shù)據(jù)所示的圖像內(nèi)的各網(wǎng)格對(duì)應(yīng)而提取并保存在圖1的RAM104中的特征信息，分別算出該特征信息與步驟S702中算出的各群集的重心的RGB數(shù)據(jù)之間的距離。然后，將該算出的距離中的與最小的距離對(duì)應(yīng)的群集作為最附近群集來(lái)提取，將該提取的最附近群集的重心數(shù)據(jù)設(shè)為該特征信息的向量量化值。該向量量化處理例如按每個(gè)顏色以及紋理的特征信息來(lái)執(zhí)行，使用分別通過(guò)步驟S702中的聚類而得到的顏色的群集以及紋理的群集來(lái)個(gè)別提取向量量化值。將按每個(gè)學(xué)習(xí)用數(shù)據(jù)內(nèi)的各網(wǎng)格的顏色以及紋理的特征信息而提取出的顏色以及紋理的各向量量化值存儲(chǔ)在圖1的RAMlO中。
[0054]接下來(lái)，執(zhí)行第I階層特征向量生成處理(直方圖生成處理)(圖7的步驟S704)。在該處理中，在各個(gè)多個(gè)學(xué)習(xí)用數(shù)據(jù)中，按每個(gè)與學(xué)習(xí)用數(shù)據(jù)所示的圖像內(nèi)的各網(wǎng)格對(duì)應(yīng)而在步驟S703中在RAM104得到的向量量化值，反復(fù)執(zhí)行將與該向量量化值對(duì)應(yīng)的最附近群集的直方圖頻數(shù)(frequency polygon)進(jìn)行累積的處理。由此,生成與該學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的直方圖，生成將直方圖的每個(gè)單元條(bin)的各頻數(shù)值作為各要素值的第I階層特征向量(與圖3的301對(duì)應(yīng))，并與表示對(duì)該學(xué)習(xí)用數(shù)據(jù)賦予的分類的標(biāo)簽一起存儲(chǔ)在圖1的RAM104中。在直方圖的生成中，例如使用按每個(gè)顏色以及紋理在步驟S703中提取出的向量量化值來(lái)個(gè)別生成顏色的直方圖以及紋理的直方圖。然后，將顏色的直方圖的每個(gè)單元條的各頻數(shù)值和紋理的直方圖的每個(gè)單元條的各頻數(shù)值連結(jié)起來(lái)作為各要素值，來(lái)生成第I階層特征向量。
[0055]最后，執(zhí)行識(shí)別器生成處理(圖7的步驟S705)。在此，對(duì)多個(gè)分類的每個(gè)執(zhí)行以下的處理。首先，從RAM104讀出在步驟S704中在RAM104得到的第I階層特征向量中的賦予了表示I個(gè)分類的標(biāo)簽的第一第I階層特征向量的分組。另外，從RAM104讀出賦予了表示該I個(gè)分類以外的分類的標(biāo)簽的第二第I階層特征向量的分組。然后，基于這些第I階層特征向量的2個(gè)分組來(lái)生成與在輸入屬于該I個(gè)分類的數(shù)據(jù)時(shí)輸出最大的計(jì)分值的該I個(gè)分類對(duì)應(yīng)的第I階層識(shí)別器。通過(guò)按多個(gè)分類執(zhí)行該處理，生成個(gè)別識(shí)別各學(xué)習(xí)用數(shù)據(jù)所表征的特征是否分別屬于所述多個(gè)分類的多個(gè)第I階層識(shí)別器(與圖3的302 (# I)?302 (# 4)對(duì)應(yīng))。
[0056]在以上的識(shí)別器的生成處理中，圖7的步驟S701到S704的一系列處理，對(duì)各學(xué)習(xí)用數(shù)據(jù)僅執(zhí)行I次，將其結(jié)果保持在圖1的RAM104中即可。然后，在步驟S705的識(shí)別器生成處理中，通過(guò)反復(fù)讀取保持在RAM104的步驟S701到S704的執(zhí)行結(jié)果并予以執(zhí)行，能高速地執(zhí)行處理。
[0057]圖8是表示圖7的步驟S701的特征提取處理的流程圖。
[0058]在該流程圖中，在步驟S801中，一邊I張份I張份地從圖1的RAM104輸入學(xué)習(xí)用數(shù)據(jù)，一邊執(zhí)行步驟S802和S803的一系列處理步驟，直到在S804判定為沒(méi)有了要處理的下一學(xué)習(xí)用數(shù)據(jù)為止。
[0059]首先，在步驟S801輸入了 I張份的學(xué)習(xí)用數(shù)據(jù)后，提取該學(xué)習(xí)用數(shù)據(jù)所示的圖像內(nèi)的與最初的網(wǎng)格對(duì)應(yīng)的顏色以及紋理的特征信息，并存儲(chǔ)在RAM104中(圖8的步驟S802)。
[0060]接下來(lái)，直到在步驟S803判定為沒(méi)有了未處理的下一網(wǎng)格為止，都從學(xué)習(xí)用數(shù)據(jù)按每個(gè)網(wǎng)格執(zhí)行步驟S802的特征信息的提取處理(圖8的步驟S802 — S803 — S802的反
復(fù)處理)。
[0061]在完成了學(xué)習(xí)用數(shù)據(jù)上的每個(gè)網(wǎng)格的全部的特征信息的提取處理時(shí)，判定是否有下一學(xué)習(xí)用數(shù)據(jù)(圖8的步驟S804)。
[0062]若步驟S804的判定為“是”，則返回步驟S801的處理，并反復(fù)步驟S801到S804的一系列處理。
[0063]在完成對(duì)全部的學(xué)習(xí)用數(shù)據(jù)的處理而步驟S804的判定成為“否”時(shí)，結(jié)束圖8的流程圖所示的圖7的步驟S701的特征提取處理。
[0064]圖9是表示圖7的步驟S703的向量量化處理的流程圖。
[0065]在該流程圖中，在步驟S901中，一邊在圖1的RAM104上I張份I張份地指定學(xué)習(xí)用數(shù)據(jù)，一邊執(zhí)行步驟S902到S904的一系列處理，直到在步驟S905中判定為沒(méi)有了要指定的下一學(xué)習(xí)用數(shù)據(jù)。
[0066]在步驟S901中指定了 RAM104上的學(xué)習(xí)用數(shù)據(jù)后，反復(fù)執(zhí)行步驟S902和S903的處理步驟，直到在S904中判定為不再?gòu)腞AM104取得與該學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的特征信息為止。
[0067]首先，從RAMl04讀出與當(dāng)前的學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的每個(gè)網(wǎng)格的顏色以及紋理的特征信息(圖9的步驟S902)。
[0068]接下來(lái)，分別算出在步驟S902讀出的顏色的特征信息與在圖7的步驟S702算出的顏色的各群集的重心的RGB數(shù)據(jù)之間的距離。然后，將該算出的距離中的與最小的距離對(duì)應(yīng)的顏色的群集作為最附近群集進(jìn)行提取，將該提取的最附近群集的重心數(shù)據(jù)設(shè)為該色的特征信息的向量量化值。關(guān)于紋理也相同地分別算出在步驟S902中讀出的紋理的特征信息與在圖7的步驟S702算出的紋理的各群集的重心的RGB數(shù)據(jù)之間的距離。然后，將該算出的距離中的與最小的距離對(duì)應(yīng)的紋理的群集作為最附近群集來(lái)提取，將該提取的最附近群集的重心數(shù)據(jù)設(shè)為該紋理的特征信息的向量量化值。如此，將關(guān)于一組顏色以及紋理的各特征信息而提取的各向量量化值存儲(chǔ)在RAM104 (以上的圖9的步驟S903)。
[0069]接下來(lái)，判定RAM104上是否還有與當(dāng)前的學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的每個(gè)網(wǎng)格的下一特征信息(圖9的步驟S904)。
[0070]若步驟S904的判定為“是”，則返回步驟S902的處理，對(duì)下一特征信息執(zhí)行步驟S902和S903的處理。
[0071]在完成對(duì)全部特征信息的向量量化、步驟S904的判定成為“否”時(shí)，判定是否有下一學(xué)習(xí)用數(shù)據(jù)(圖9的步驟S905)。
[0072]若步驟S905的判定成為“是”，則返回步驟S901的處理，反復(fù)步驟S901到S904的一系列處理。
[0073]在完成對(duì)全部學(xué)習(xí)用數(shù)據(jù)的向量量化處理而步驟S905的判定成為“否”時(shí)，結(jié)束圖9的流程圖所示的圖7的步驟S703的向量量化處理。[0074]圖10是表示圖7的步驟S704的第I階層特征向量生成處理(直方圖生成處理)的流程圖。
[0075]在該流程圖中，在步驟S1001中，一邊在圖1的RAM104上I張份I張份地指定學(xué)習(xí)用數(shù)據(jù)，一邊執(zhí)行步驟S1002到S1005的一系列處理，直到步驟S1006中判定為沒(méi)有了要指定的下一學(xué)習(xí)用數(shù)據(jù)為止。
[0076]在步驟S1001指定了 RAM104上的學(xué)習(xí)用數(shù)據(jù)后，反復(fù)執(zhí)行步驟S1002和S1003的處理，直到在步驟S1004判定為不再?gòu)腞AM104取得與該學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的向量量化值為止。
[0077]首先，從RAM104讀出與當(dāng)前的學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的每個(gè)網(wǎng)格的向量量化值，更具體是顏色以及紋理的各向量量化值(圖10的步驟S1002)。
[0078]接下來(lái)，使與該讀出的該向量量化值對(duì)應(yīng)的最附近群集的存儲(chǔ)在RAM104上的直方圖頻數(shù)加I。更具體地，使與顏色的向量量化值對(duì)應(yīng)的顏色的最附近群集的存儲(chǔ)在RAM104上的顏色的直方圖頻數(shù)加I。同樣地，使與紋理的向量量化值對(duì)應(yīng)的紋理的最附近群集的存儲(chǔ)在RAM104上的紋理的直方圖頻數(shù)加I (以上、圖10的步驟S1003)。
[0079]接著，判定在RAM104上是否還有與當(dāng)前的學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的每個(gè)網(wǎng)格的向量量化值(圖10的步驟S1004)。
[0080]若步驟S1004的判定為“是”，則返回步驟S1002的處理，對(duì)下一向量量化值反復(fù)執(zhí)行步驟S1002和S1003的處理。
[0081]在完成對(duì)全部的向量量化值的直方圖計(jì)數(shù)、步驟S1004的判定成為“否”時(shí)，執(zhí)行下一處理。算出存儲(chǔ)在RAM104中的將全部群集的直方圖頻數(shù)值作為要素值的第I階層特征向量。更具體地，將顏色的直方圖的每個(gè)單元條(顏色的全部群集)的各頻數(shù)值和紋理的直方圖的每個(gè)單元條(紋理的全部群集)的各頻數(shù)值連結(jié)起來(lái)作為各要素值，來(lái)生成第I階層特征向量。將如此生成的與當(dāng)前的學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的第I階層特征向量存儲(chǔ)在RAM104中(以上為圖10的步驟S1005)。
[0082]之后，判定是否有下一學(xué)習(xí)用數(shù)據(jù)(圖10的步驟S1006)。
[0083]若步驟S1006的判定成為“是”，則返回步驟S1001的處理，并反復(fù)步驟S1001到S1005的一系列處理。
[0084]在完成對(duì)全部學(xué)習(xí)用數(shù)據(jù)的直方圖生成處理而步驟S1006的判定成為“否”時(shí)，結(jié)束圖10的流程圖所示的圖7的步驟S704的第I階層特征向量生成處理(直方圖生成處理)。
[0085]圖11是表示圖7的步驟S705的識(shí)別器生成處理的流程圖。
[0086]首先，指定表示多個(gè)分類中的要識(shí)別的I個(gè)分類的范疇(圖11的步驟SI 101)。
[0087]接下來(lái),輸入與當(dāng)前的范疇對(duì)應(yīng)的“ Ivs其余”識(shí)別用的正數(shù)據(jù)(positive data)和負(fù)數(shù)據(jù)(negative data)。例如,在范疇為花的種類的情況下,將與該種類對(duì)應(yīng)而賦予了步驟SllOl指定的I個(gè)分類的標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)設(shè)為正數(shù)據(jù)。另外，將賦予了該I個(gè)分類以外的分類的標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)設(shè)為負(fù)數(shù)據(jù)。然后，從圖1的RAM104讀入與設(shè)為正數(shù)據(jù)的各學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的各第I階層特征向量，并將它們?cè)O(shè)為第I分組。另外，從RAM104讀入與設(shè)為負(fù)數(shù)據(jù)的各學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的各第I階層特征向量，并將它們?cè)O(shè)為第2分組(以上為圖11的步驟SI 102)。
[0088]然后，基于在步驟S1102得到的第I階層特征向量的第I以及第2分組，對(duì)步驟SllOl中指定的要識(shí)別的范疇的I個(gè)分類，運(yùn)算第I階層識(shí)別器中的“l(fā)vs其余”識(shí)別用參數(shù)，以使得與輸入屬于上述I個(gè)分類的數(shù)據(jù)時(shí)輸出最大的所述計(jì)分值的所述I個(gè)分類對(duì)應(yīng)(以上為圖11的步驟S1103)。
[0089]具體地，例如在這樣的第I階層識(shí)別器中，例如輸入下述(I)式所示那樣的第I階層特征向量。在此，N是第I階層特征向量的要素?cái)?shù)，例如是顏色的直方圖的單元條數(shù)與紋理的直方圖的單元條數(shù)之和的數(shù)。另外，Xi (I ^ i ^ N)例如是依次排列顏色的直方圖的單元條編號(hào)和紋理的直方圖的單元條編號(hào)時(shí)的第i個(gè)單元條編號(hào)的直方圖頻數(shù)。
[0090]第I階層特征向量=(Xp x2、X3、…、Xn)…(I)
[0091 ] 如下述(2 )式那樣，將(I)式的向量的各要素X1、X2、X3、…、xN分別與個(gè)別的權(quán)重值Cl、C2, C3、…、Cn相乘，輸出與該第I階層識(shí)別器對(duì)應(yīng)的計(jì)分值f (X)，作為該各相乘結(jié)果的總和。
[0092]f (X) = C1X1 + C2X2 + C3X3 H-----l.cNxN...(2)
[0093]這種情況下，在步驟S1103中，算出上述各權(quán)重值c1、c2、c3、…、cN，以使得在將上述第I分組的第I階層特征向量輸入到上述第I階層識(shí)別器時(shí)輸出最大的計(jì)分值，在將上述第2分組的第I階層特征向量輸入到上述第I階層識(shí)別器時(shí)輸出盡可能小的計(jì)分值。
[0094]作為該權(quán)重值CpCyCy…、Cn的算出方法，例如能采用在機(jī)器學(xué)習(xí)中的線性分類器中使用的被稱作線性判別分析的公知的手法。
[0095]第I階層識(shí)別器通過(guò)使用如此決定的權(quán)重值C1、C2、C3、…、cN來(lái)計(jì)算上述(2)式，輸出計(jì)分值。
`[0096]之后，判定是否指定了與下一分類對(duì)應(yīng)的范疇(圖11的步驟S1104)。
[0097]若步驟S1104的判定為“是”，則返回步驟SllOl的處理，并執(zhí)行與新的分類的范疇對(duì)應(yīng)的第I階層識(shí)別器的生成處理。
[0098]在沒(méi)有了與未處理的分類對(duì)應(yīng)的范疇而步驟S1104的判定成為“否”時(shí)，結(jié)束在圖11的流程圖所示的圖7的步驟S705的識(shí)別器生成處理。
[0099]圖12是表示圖2的步驟S203的第2階層識(shí)別器生成處理的詳細(xì)的流程圖。
[0100]在該流程圖中，首先，在圖12的步驟S1201中，一邊在圖1的RAM104上I張份I張份地指定學(xué)習(xí)用數(shù)據(jù)，一邊執(zhí)行步驟S1202的處理，直到步驟S1203中判定為沒(méi)有了要指定的下一學(xué)習(xí)用數(shù)據(jù)為止。
[0101]在圖12的步驟S1202中，將指定的學(xué)習(xí)用數(shù)據(jù)輸入到在圖2的步驟S202生成的各分類的第I階層識(shí)別器。然后，生成將從各第I階層識(shí)別器輸出的各計(jì)分值設(shè)為各要素的第2階層特征向量(與圖3的303對(duì)應(yīng))，并與在步驟S1201指定的學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)地存儲(chǔ)在RAM104中。
[0102]通過(guò)以上的步驟S1201到S1203的反復(fù)處理，對(duì)于存儲(chǔ)在RAM104的多個(gè)學(xué)習(xí)用數(shù)據(jù)的每個(gè)，在RAM104得到各第2階層特征向量。之后，在圖12的步驟S1204中，從RAM104讀出在RAM104得到的第2階層特征向量中的與賦予了表示I個(gè)分類的標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的第I的第2階層特征向量的分組。另外，從RAM104讀出與賦予了表示該I個(gè)分類以外的分類的標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的第2的第2階層特征向量的分組。然后，基于這些第2階層特征向量的2個(gè)分組來(lái)生成與輸入屬于該I個(gè)分類的數(shù)據(jù)時(shí)輸出最大的計(jì)分值的該I個(gè)分類對(duì)應(yīng)的第2階層識(shí)別器。通過(guò)按多個(gè)分類執(zhí)行該處理，生成了個(gè)別識(shí)別各學(xué)習(xí)用數(shù)據(jù)所表征的特征是否分別屬于所述多個(gè)分類的多個(gè)第2階層識(shí)別器(與圖3的304 (# I)到304 (# 4)對(duì)應(yīng))。
[0103]上述步驟S1204的識(shí)別器生成處理的詳細(xì)與表示前述的圖7的步驟S705的識(shí)別器生成處理的詳細(xì)的圖11相同。這種情況下，在前述的圖11的說(shuō)明中，將第2階層特征向量替換讀作第I階層特征向量，將第2階層識(shí)別器替換讀作第I階層識(shí)別器即可。
[0104]即，指定表示多個(gè)分類中的要識(shí)別的I個(gè)分類的范疇(圖11的步驟S1101)。 [0105]接下來(lái)，輸入與當(dāng)前的范疇對(duì)應(yīng)的“l(fā)vs其余”識(shí)別用的正數(shù)據(jù)和負(fù)數(shù)據(jù)。例如，在范疇為花的種類的情況下，將賦予了與該種類對(duì)應(yīng)而在步驟SllOl指定的I個(gè)分類的標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)設(shè)為正數(shù)據(jù)。另外，將賦予了該I個(gè)分類以外的分類的標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)設(shè)為負(fù)數(shù)據(jù)。然后，從圖1的RAM104讀入與設(shè)為正數(shù)據(jù)的各學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)而在圖12的步驟S1201~S1203得到的各第2階層特征向量，將它們?cè)O(shè)為第I分組。另外，從RAM104讀入與設(shè)為負(fù)數(shù)據(jù)的各學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)而在圖12的步驟S1201~S1203得到的各第2階層特征向量，并將它們?cè)O(shè)為第2分組(以上為圖11的步驟S1102)。
[0106]然后，基于在步驟S1102得到的第2階層特征向量的第I以及第2分組，對(duì)在步驟SllOl指定的要識(shí)別的范疇的I個(gè)分類，運(yùn)算第2階層識(shí)別器中的“l(fā)vs其余”識(shí)別用參數(shù)，以使得與在屬于上述I個(gè)分類的數(shù)據(jù)被輸入時(shí)輸出了最大的所述計(jì)分值的所述I個(gè)分類對(duì)應(yīng)(以上為圖11的步驟S1103)。
[0107]具體地，例如，在這樣的第2階層識(shí)別器中，例如輸入下述(3)式所示那樣的第2階層特征向量。在此，X1、X2、X3以及X4分別是# I到# 4的各第I階層識(shí)別器(與圖3的# I到# 4的302對(duì)應(yīng))所輸出的各計(jì)分值。
[0108]第2 階層特征向量=(X1, X2，X3，X4)...(3)
[0109]如下述(4)式所示那樣，將(3)式的向量的各要素ΧρΧ2、Χ3、Χ4分別與個(gè)別的權(quán)重值Cp C2, C3、C4相乘，輸出與該第I階層識(shí)別器對(duì)應(yīng)的計(jì)分值F (X)，作為該各相乘結(jié)果的總和。
[0110]F (X) = C1X1 + C2X2 + C3X3 + C4X4…(4)
[0111]這種情況下，在步驟S1103中，算出上述各權(quán)重值Cp C2、C3、C4，以使得在將上述第I分組的第2階層特征向量輸入到上述第2階層識(shí)別器時(shí)輸出最大的計(jì)分值，將上述第2分組的第2階層特征向量輸入到上述第2階層識(shí)別器時(shí)輸出盡可能小的計(jì)分值。
[0112]作為該權(quán)重值C1X2X3X4的算出方法，例如能采用在機(jī)器學(xué)習(xí)中的線性分類器中使用的被稱作線性判別分析的公知的手法。
[0113]第2階層識(shí)別器通過(guò)使用如此決定的權(quán)重值CpC2ApC4來(lái)計(jì)算上述(4)式，來(lái)輸出計(jì)分值。
[0114]之后，判定是否指定了與下一分類對(duì)應(yīng)的范疇(圖11的步驟S1104)。
[0115]若步驟S1104的判定成為“是”，則返回步驟SllOl的處理，執(zhí)行與新的分類的范疇對(duì)應(yīng)的第2階層識(shí)別器的生成處理。
[0116]在沒(méi)有了與未處理的分類對(duì)應(yīng)的范疇而步驟S1104的判定成為“否”時(shí)，結(jié)束圖11的流程圖所示的圖7的步驟S705的識(shí)別器生成處理。
[0117]下述(5)式表示例如前述的圖5所示的、針對(duì)圖3的# I到# 4的各第I階層識(shí)別器302所輸出的計(jì)分值的示例，基于前述的(4)式而生成的識(shí)別“牽牛花vs其余”的# 2的第2階層識(shí)別器304 (參照?qǐng)D3)的示例。
[0118]F (X) = 0.SX1 + 0.9X2 + 0.5X3 — 0.5X4…(5)
[0119]另外，下述(6)式表示相對(duì)于相同的圖5的示例，基于前述的(4)式而生成的識(shí)別“旋花vs其余”的# I的第2階層識(shí)別器304 (圖3參照)的示例。
[0120]F (X) = 0.9Xi + 0.8X2 — 0.5X3 — 0.5X4— (6)
[0121]如根據(jù)上述(5)式以及(6)式所理解那樣，在通過(guò)識(shí)別“旋花vs其余”的# I的第2階層識(shí)別器304和識(shí)別“牽牛花vs其余”的# 2的第2階層識(shí)別器304來(lái)構(gòu)成識(shí)別器的成本函數(shù)F (X)中，能使與識(shí)別“鴨跖草vs其余”的# 3的第I階層識(shí)別器302所輸出的計(jì)分值X3相乘的權(quán)重值C3 (參照(4)式)較大地不同。由此，能使用用于識(shí)別“鴨跖草vs其余”的# 3的第I階層識(shí)別器302所輸出的計(jì)分值，在識(shí)別“旋花vs其余”的# I的第2階層識(shí)別器304和識(shí)別“牽牛花vs其余”的# 2的第2階層識(shí)別器304之間使識(shí)別精度均勻化。
[0122]如以上說(shuō)明那樣，根據(jù)本實(shí)施方式，如圖3所示那樣，使多分類識(shí)別器為2階層構(gòu)成，并在第2階層識(shí)別器304中將第I階層識(shí)別器302的全計(jì)分值輸出作為第2階層特征向量303進(jìn)行參照，由此進(jìn)行識(shí)別。由此，即使第I階層識(shí)別器302的一部分的識(shí)別器的質(zhì)量低，也能參照其它的第I階層識(shí)別器302所輸出的計(jì)分值，由第2階層識(shí)別器304補(bǔ)正誤差。由此，即使各分類的學(xué)習(xí)用數(shù)據(jù)數(shù)少，也能通過(guò)總括評(píng)價(jià)各個(gè)分類的第I階層識(shí)別器302所輸出的計(jì)分值來(lái)抑制識(shí)別率的降低，在第2階層識(shí)別器304中，各分類的識(shí)別率的值能歸一化。
[0123]在以上說(shuō)明的實(shí)施`方式中，將識(shí)別的對(duì)象作為花的圖像來(lái)進(jìn)行了說(shuō)明，但本發(fā)明并不限于此。另外，從圖像數(shù)據(jù)中提取特征信息的處理除了 BOF (Bag Of Features，特征袋)的手法以外，例如也可以是通過(guò)圖割(Graph Cuts)法切出花的區(qū)域后再提取特征信息的方式。此外，還能應(yīng)用各種特征信息提取方式。
[0124]進(jìn)而，在本實(shí)施方式中，用以花為代表的圖像的識(shí)別為例進(jìn)行了說(shuō)明，但并不限定于圖像，還能應(yīng)用在音聲數(shù)據(jù)、表征規(guī)定特征的數(shù)據(jù)群的識(shí)別中。即，在機(jī)器學(xué)習(xí)中要進(jìn)行多分類分類的情況下，能應(yīng)對(duì)使分類間的識(shí)別性能歸一化這樣的要求。
【權(quán)利要求】
1.一種多分類識(shí)別器，識(shí)別數(shù)據(jù)所表征的特征是屬于多個(gè)分類中的哪個(gè)分類，所述多分類識(shí)別器的特征在于，具備: 第I階層識(shí)別器生成單元，其生成進(jìn)行I對(duì)N的識(shí)別的多個(gè)第I階層識(shí)別器；和 第2階層識(shí)別器生成單元，其通過(guò)將所述多個(gè)第I階層識(shí)別器分別輸出的各計(jì)分值進(jìn)行連結(jié)來(lái)生成第2階層特征向量，輸入該第2階層特征向量來(lái)生成進(jìn)行I對(duì)N的識(shí)別的多個(gè)第2階層識(shí)別器， 其中，將通過(guò)使數(shù)據(jù)輸入到所述多個(gè)第I階層識(shí)別器而由該多個(gè)第I階層識(shí)別器輸出的所述各計(jì)分值進(jìn)行連結(jié)來(lái)生成所述第2階層特征向量，將與通過(guò)使該第2階層特征向量輸入到所述多個(gè)第2階層識(shí)別器而輸出了最大的計(jì)分值的所述第2階層識(shí)別器相對(duì)應(yīng)的分類，識(shí)別為所輸入的所述數(shù)據(jù)所表征的特征所屬的分類。
2.根據(jù)權(quán)利要求1所述的多分類識(shí)別器，其特征在于， 所述第I階層識(shí)別器生成單元按所述多個(gè)分類的每一個(gè)來(lái)執(zhí)行輸入從多個(gè)學(xué)習(xí)用數(shù)據(jù)中分別提取出的各第I階層特征向量來(lái)生成用于識(shí)別該各學(xué)習(xí)用數(shù)據(jù)所表征的特征是否屬于多個(gè)分類中的I個(gè)分類的第I階層識(shí)別器的處理，由此生成用于個(gè)別識(shí)別所述各學(xué)習(xí)用數(shù)據(jù)所表征的特征是否分別屬于所述多個(gè)分類的多個(gè)第I階層識(shí)別器， 所述第2階層識(shí)別器生成單元按每個(gè)所述學(xué)習(xí)用數(shù)據(jù)，將通過(guò)使所述多個(gè)學(xué)習(xí)用數(shù)據(jù)輸入到所述各分類的第I階層識(shí)別器而由所述各分類的第I階層識(shí)別器輸出的各計(jì)分值進(jìn)行連結(jié)來(lái)生成第2階層特征向量，按所述多個(gè)分類的每一個(gè)，來(lái)執(zhí)行輸入該各第2階層特征向量來(lái)生成用于識(shí)別與該各第2階層特征向量對(duì)應(yīng)的所述各學(xué)習(xí)用數(shù)據(jù)所表征的特征是否屬于所述多個(gè)分類中的I個(gè)分類的第2階層識(shí)別器的處理，由此，生成用于個(gè)別識(shí)別所述各學(xué)習(xí)用數(shù)據(jù)所表征的特征是否分別屬于所述多個(gè)分類的多個(gè)第2階層識(shí)別器。
3.根據(jù)權(quán)利要求2所述的多分類識(shí)別器，其特征在于， 所述特征是圖像的特征， 所述第I階層識(shí)別器生成單元執(zhí)行如下處理: 特征提取處理，對(duì)所述多個(gè)學(xué)習(xí)用數(shù)據(jù)的每一個(gè)，執(zhí)行與所述學(xué)習(xí)用數(shù)據(jù)所示的圖像內(nèi)的各網(wǎng)格對(duì)應(yīng)來(lái)提取特征信息的處理； 聚類處理，將與全部的所述學(xué)習(xí)用數(shù)據(jù)所示的圖像內(nèi)的全部的所述網(wǎng)格對(duì)應(yīng)而提取出的全部的所述特征信息聚類成多個(gè)群集； 向量量化處理，對(duì)所述多個(gè)學(xué)習(xí)用數(shù)據(jù)的每一個(gè)，按與該學(xué)習(xí)用數(shù)據(jù)所示的圖像內(nèi)的所述各網(wǎng)格對(duì)應(yīng)而提取出的所述特征信息來(lái)分別算出該特征信息與所述各群集的重心數(shù)據(jù)的距離，將與該算出的距離中的最小的距離對(duì)應(yīng)的群集作為最附近群集進(jìn)行提取，將該提取的最附近群集的重心數(shù)據(jù)設(shè)為該特征信息的向量量化值； 第I階層特征向量生成處理，對(duì)所述多個(gè)學(xué)習(xí)用數(shù)據(jù)的每一個(gè)，通過(guò)按與該學(xué)習(xí)用數(shù)據(jù)所示的圖像內(nèi)的所述各網(wǎng)格對(duì)應(yīng)而提取出的所述向量量化值來(lái)反復(fù)執(zhí)行將與該向量量化值對(duì)應(yīng)的所述最附近群集的直方圖頻數(shù)進(jìn)行累計(jì)的處理，來(lái)生成與該學(xué)習(xí)用數(shù)據(jù)對(duì)應(yīng)的直方圖，生成將該直方圖的每個(gè)單元條的各頻數(shù)值作為各要素值的所述第I階層特征向量，并將其與對(duì)該學(xué)習(xí)用數(shù)據(jù)賦予的表示該學(xué)習(xí)用數(shù)據(jù)所表征的特征的分類的標(biāo)簽一起存儲(chǔ)； 識(shí)別器生成處理，基于所述第I階層特征向量中的賦予了表示所述I個(gè)分類的標(biāo)簽的第一第I階層特征向量的分組、和賦予了表示所述I個(gè)分類以外的分類的標(biāo)簽的第二第I階層特征向量的分組，通過(guò)按所述多個(gè)分類的每一個(gè)，執(zhí)行用于生成與在輸入了屬于所述I個(gè)分類的數(shù)據(jù)時(shí)輸出最大的所述計(jì)分值的所述I個(gè)分類對(duì)應(yīng)的第I階層識(shí)別器的處理，由此來(lái)生成用于個(gè)別識(shí)別所述各學(xué)習(xí)用數(shù)據(jù)所表征的特征是否分別屬于所述多個(gè)分類的多個(gè)第I階層識(shí)別器。
4.根據(jù)權(quán)利要求3所述的多分類識(shí)別器，其特征在于， 所述特征信息是顏色以及紋理， 在所述聚類處理中，按每個(gè)所述顏色以及所述紋理進(jìn)行個(gè)別聚類， 在所述向量量化處理中，按每個(gè)所述顏色以及所述紋理，使用分別通過(guò)所述聚類而得到的顏色的群集以及紋理的群集來(lái)個(gè)別提取向量量化值； 在所述第I階層特征向量生成處理中，按每個(gè)所述顏色以及所述紋理，使用分別按每個(gè)所述顏色以及所述紋理而提取出的所述向量量化值，個(gè)別生成每個(gè)所述學(xué)習(xí)用數(shù)據(jù)的顏色的直方圖以及紋理的直方圖，將該顏色的直方圖的每個(gè)單元條的各頻數(shù)值與該紋理的直方圖的每個(gè)單元條的各頻數(shù)值連結(jié)起來(lái)作為各要素值，由此生成所述第I階層特征向量。
5.根據(jù)權(quán)利要求2所述的多分類識(shí)別器，其特征在于， 所述第2階層識(shí)別器生成單元在生成與所述I個(gè)分類對(duì)應(yīng)的第2階層識(shí)別器的處理中，基于從賦予了表示所述I個(gè)分類的標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)中提取出的第一所述第2階層特征向量的分組、和從賦予了表示所述I個(gè)分類以外的分類的標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)中提取出的第二所述第2階層特征向量的分組，生成與在輸入了屬于所述I個(gè)分類的數(shù)據(jù)時(shí)輸出最大的所述計(jì)分值的所述I個(gè)分類對(duì)應(yīng)的第2階層識(shí)別器。
6.一種數(shù)據(jù)識(shí)別裝置，識(shí)別數(shù)據(jù)所表征的特征是屬于多個(gè)分類中的哪個(gè)分類，所述數(shù)據(jù)識(shí)別裝置的特征在于，具備: 進(jìn)行I對(duì)N的識(shí)別的多個(gè)第I階層識(shí)別器； 通過(guò)將所述多個(gè)第I階層識(shí)別器分別輸出的各計(jì)分值進(jìn)行連結(jié)來(lái)生成第2階層特征向量的第2階層特征向量生成單元；和 輸入所述第2階層特征向量來(lái)進(jìn)行I對(duì)N的識(shí)別的多個(gè)第2階層識(shí)別器， 其中，由所述第2階層特征向量生成單元將通過(guò)使數(shù)據(jù)輸入到所述多個(gè)第I階層識(shí)別器而由該多個(gè)第I階層識(shí)別器輸出的所述各計(jì)分值進(jìn)行連結(jié)，來(lái)生成所述第2階層特征向量，將與通過(guò)使該第2階層特征向量輸入到所述多個(gè)第2階層識(shí)別器而輸出了最大的計(jì)分值的所述第2階層識(shí)別器對(duì)應(yīng)的分類，識(shí)別為所輸入的所述數(shù)據(jù)所表征的特征所屬的分類。
7.一種多分類識(shí)別方法，識(shí)別數(shù)據(jù)所表征的特征是屬于多個(gè)分類中的哪個(gè)分類，所述多分類識(shí)別方法的特征在于，具備: 第I階層識(shí)別器生成步驟，生成進(jìn)行I對(duì)N的識(shí)別的多個(gè)第I階層識(shí)別器；和 第2階層識(shí)別器生成步驟，通過(guò)將所述多個(gè)第I階層識(shí)別器分別輸出的各計(jì)分值進(jìn)行連結(jié)來(lái)生成第2階層特征向量，輸入該第2階層特征向量來(lái)生成進(jìn)行I對(duì)N的識(shí)別的多個(gè)第2階層識(shí)別器， 將通過(guò)使數(shù)據(jù)輸入到所述多個(gè)第I階層識(shí)別器而由該多個(gè)第I階層識(shí)別器輸出的所述各計(jì)分值進(jìn)行連結(jié)來(lái)生成所述第2階層特征向量，將與通過(guò)使該第2階層特征向量輸入到所述多個(gè)第2階層識(shí)別器而輸出了最大的計(jì)分值的所述第2階層識(shí)別器對(duì)應(yīng)的分類，識(shí)別為所輸入的所述數(shù)據(jù)所表征的特征所屬的分類。
8.一種數(shù)據(jù)識(shí)別方法，識(shí)別數(shù)據(jù)所表征的特征是屬于多個(gè)分類中的哪個(gè)分類，所述數(shù)據(jù)識(shí)別方法的特征在于，具備: 多個(gè)第I階層識(shí)別步驟，進(jìn)行I對(duì)N的識(shí)別； 第2階層特征向量生成步驟，通過(guò)將所述多個(gè)第I階層識(shí)別步驟分別輸出的各計(jì)分值進(jìn)行連結(jié)來(lái)生成第2階層特征向量；和 多個(gè)第2階層識(shí)別步驟，輸入所述第2階層特征向量來(lái)進(jìn)行I對(duì)N的識(shí)別， 由所述第2階層特征向量生成步驟將通過(guò)使數(shù)據(jù)輸入到所述多個(gè)第I階層識(shí)別步驟而由該多個(gè)第I階層識(shí)別步驟輸出的所述各計(jì)分值進(jìn)行連結(jié)來(lái)生成所述第2階層特征向量，將與通過(guò)使該第2階層特征向量輸入到所述多個(gè)第2階層識(shí)別步驟而輸出了最大的計(jì)分值的所述 第2階層識(shí)別步驟對(duì)應(yīng)的分類，識(shí)別為所輸入的所述數(shù)據(jù)所表征的特征所屬的分類。
【文檔編號(hào)】G06K9/62GK103793714SQ201310491528
【公開(kāi)日】2014年5月14日 申請(qǐng)日期:2013年10月18日 優(yōu)先權(quán)日:2012年10月26日
【發(fā)明者】松永和久, 中込浩一, 二瓶道大, 廣浜雅行 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社