多類識別器以及多類識別方法
【專利摘要】本發(fā)明提供一種多類識別器及多類識別方法。由第1層級識別器來識別圖像的種類，特定種類的小組由第2層級識別器識別，多類識別器具備：第1學(xué)習(xí)單元，接收學(xué)習(xí)用圖像并基于所接收到的圖像生成種類識別器；識別錯誤總計單元，將試驗用的圖像輸入至種類識別器并個別地識別所輸入的該圖像的種類，針對多個種類中的任意數(shù)量的種類的組合總計在屬于該組合的任意數(shù)量的種類之間進行了錯誤識別的次數(shù)；分組處理單元，針對總計的結(jié)果成為規(guī)定的閾值以上的組合的小組而對學(xué)習(xí)用圖像賦予小組標(biāo)簽；和第2學(xué)習(xí)單元，接收學(xué)習(xí)用圖像并基于所接收到的圖像來生成小組識別器，與種類識別器合起來構(gòu)成第1層級識別器，并且生成小組內(nèi)識別器來構(gòu)成第2層級識別器。
【專利說明】多類識別器以及多類識別方法
[0001]關(guān)于本申請，主張以于2012年5月31日提出申請的日本專利申請?zhí)卦?012-125408號為基礎(chǔ)的優(yōu)先權(quán)，并將該基礎(chǔ)申請的全部內(nèi)容援引于此。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及多類識別器以及多類識別方法。
【背景技術(shù)】
[0003]有時會想要知道在山野或路邊看到的花的名稱。因此，根據(jù)由數(shù)碼相機等獲得到的花和葉的數(shù)字圖像，使用聚類法來抽出作為對象物的花和葉的多個局部特征，將進一步使其抽出特征群直方圖化后的信息作為特征量。提出了一種求出單個或多個特征量，并使用統(tǒng)計方法對所求出的特征量和預(yù)先注冊到數(shù)據(jù)庫中的各種植物的特征量進行解析來判別野草的種類的技術(shù)(例如，參照日本特開2002-203242號公報)。
[0004]此外，公知一種使用Gr aph Cuts法將包括花等主要被攝體在內(nèi)的圖像分割成作為主要被攝體的花的區(qū)域和背景圖像的區(qū)域的技術(shù)(例如，參照日本特開2011-35636號公報)。
[0005]當(dāng)對在此輸入的花等圖像進行圖像分類時，在機器學(xué)習(xí)之中，進行是某種類的圖像自身還是除此之外的圖像這兩種圖像分類的2類識別器是能夠容易實現(xiàn)的。另一方面，當(dāng)進行從多個種類的圖像之中識別各種類的圖像的多類的圖像分類時，一般執(zhí)行如下動作，即:組合2類識別器來構(gòu)成多類的識別器。例如，在花的圖像被分類成6種類的情況下將2類識別器生成6個。關(guān)于各識別器，當(dāng)輸入了被分配給各個識別器的種類的圖像時生成以分別輸出最大的識別得分值。而且，當(dāng)圖像被輸入至各識別器時，與輸出了最高識別得分值的識別器對應(yīng)的種類被作為識別結(jié)果。作為聚類法的在先技術(shù)文獻，例如已經(jīng)在日本特開2003-16448號公報、日本特開2007-26098號公報、日本特開2005-267607號公報中示出。
[0006]日本特開2003-16448號公報所記載的技術(shù)其目的在于提供一種將圖像分段化成前景以及背景等粗略區(qū)域，并根據(jù)前景區(qū)域與背景區(qū)域之間的類似性導(dǎo)出整體的類似性程度的系統(tǒng)，本技術(shù)的事件?聚類方法使用前景以及背景分段化而將圖像從一個小組(group)聚類成類似的事件。最初，各圖像被分割成多個塊，由此提供以塊為基礎(chǔ)的圖像。通過每個塊的比較，以各塊為基礎(chǔ)的圖像至少被分段化成具有前景以及背景的多個區(qū)域。從上述區(qū)域之中抽出I個以上的光度、顏色、位置、以及尺寸特征，該抽出的區(qū)域被利用于評價/比較小組內(nèi)的連續(xù)圖像中的具有前景以及背景的區(qū)域的類似性。其次，通過計算連續(xù)圖像之間的整體的類似性程度，來提供連續(xù)圖像之間的圖像差異程度(image distance),并根據(jù)該圖像差異程度來決定事件?群組(cluster)的范圍。
[0007]日本特開2007-26098號公報所記載的技術(shù)公開了一種附加信息決定方法，即:基于圖案的圖案辨別結(jié)果和與各圖案已對應(yīng)關(guān)聯(lián)的附加信息從多個類別之中決定各圖案所屬的類別的辨別方法所涉及的附加信息的決定方法，其特征在于使計算機執(zhí)行如下步驟:獲取混淆行列的步驟，所述混淆行列以當(dāng)對各圖案進行了圖案辨別時被判定出屬于包括真正的類別在內(nèi)的各類別的各個概率作為要素；接收目標(biāo)的辨別性能的步驟；代碼定義步驟，參照混淆行列來決定代碼定義，以滿足針對各圖案的真正的類別而使應(yīng)附加給該圖案的附加信息的代碼對應(yīng)關(guān)聯(lián)所輸入的目標(biāo)性能；和將代碼定義作為附加信息進行輸出的步驟。
[0008]日本特開2005-267607號公報所記載的技術(shù)提供一種數(shù)字圖鑒系統(tǒng)，即:對由攝像單元所攝像到的被攝體的說明進行檢索以提供給利用者的數(shù)字圖鑒系統(tǒng)，具備:攝像單元，攝像圖像；主要被攝體選擇單元，從圖像之中選擇主要被攝體；特征抽出單元，抽出主要被攝體的特征；圖像數(shù)據(jù)庫選擇單元，從與被攝體所具有的相互不同的多個種類的特征對應(yīng)關(guān)聯(lián)保存該被攝體的說明的多個圖像數(shù)據(jù)庫之中，選擇保存所抽出的種類的特征的圖像數(shù)據(jù)庫；和說明檢索單元，從所選擇的圖像數(shù)據(jù)庫之中檢索主要被攝體的說明。
[0009]例如在花的物種的分類中，在構(gòu)成多類的識別器的情況下，當(dāng)進入了某種類的花的圖像自身和除此之外的非常相似的花的圖像時，機器學(xué)習(xí)器無法識別。相反地，即便在相同種類的花的圖像彼此之中學(xué)習(xí)數(shù)據(jù)中也存在微妙的差異的情況下，在以往的機器學(xué)習(xí)中會發(fā)生過學(xué)習(xí)，從而發(fā)生無法識別這些圖像的問題。
[0010]圖13示出過學(xué)習(xí)的例子。該圖示出對關(guān)東蒲公英(Taraxacum platycarpumDahlst)和西洋蒲公英(Taraxacum officinale)進行識別的識別邊界1303,為了簡化說明，示出在由特征信息I和特征信息2構(gòu)成的二維特征信息空間上進行識別的情況。
[0011]關(guān)東蒲公英和西洋蒲公英原本就是僅僅根據(jù)花整體的形狀或朝向難以區(qū)分，如果沒有看到花萼的細(xì)致部分是無法辨別的非常相似物種。在這種狀況下考慮如下的方法，即:使用包括多個種類的學(xué)習(xí)用數(shù)據(jù)來分類作為正解數(shù)據(jù)的正類(positive)數(shù)據(jù)群1301和作為不正解數(shù)據(jù)的負(fù)類(negative)數(shù)據(jù)群1302，來進行機器學(xué)習(xí)。
[0012]在該情況下，在以往的機器學(xué)習(xí)器之中，大多數(shù)會發(fā)生如下情況，S卩:僅使劃分正類數(shù)據(jù)群1301和負(fù)類數(shù)據(jù)群1302優(yōu)先發(fā)揮功能，從而會關(guān)注于不是花的物種的分類本質(zhì)的圖像的差異而強行地探索差異。
[0013]例如，在學(xué)習(xí)圖像的正類數(shù)據(jù)群1301如1305所示那樣偶爾朝右、且負(fù)類數(shù)據(jù)群1302如1306所示那樣偶爾朝左的情況下，與針對識別器所設(shè)定的特征信息I和特征信息2相關(guān)的識別邊界1303的部分1304會以花的朝向為朝右或朝左為基準(zhǔn)來進行設(shè)定。
[0014]其結(jié)果，在識別邊界1303上的邊界部分1304，基于正確的識別基準(zhǔn)(花萼的差異)是不會決定出關(guān)東蒲公英和西洋蒲公英的，從而具有識別性能會下降這一問題點。在上述的在先技術(shù)文獻所記載的技術(shù)中，并沒有解決這些問題點。

【發(fā)明內(nèi)容】

[0015]本發(fā)明的目的在于，在包含非常相似物種的多類的圖像識別中避免過學(xué)習(xí)。
[0016]本發(fā)明提供一種多類識別器，由第I層級識別器來識別圖像的種類，特定的種類的小組由第2層級識別器進一步詳細(xì)地識別，所述多類識別器的特征在于具備:
[0017]第I學(xué)習(xí)單元，接收包括與多個種類中的任一個種類對應(yīng)的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用的圖像，并基于所接收到的圖像來生成對該圖像的種類進行個別地識別的種類識別器；
[0018]識別錯誤總計單元，將包括任一個所述種類標(biāo)簽在內(nèi)的試驗用的圖像輸入至所述種類識別器，并個別地識別所輸入的該圖像的種類，針對所述多個種類中的任意數(shù)量的種類的組合，總計在屬于該組合的所述任意數(shù)量的種類之間進行了錯誤識別的次數(shù)；
[0019]分組處理單元，針對所述總計的結(jié)果成為規(guī)定的閾值以上的組合的小組，而對具有與屬于該小組的所述任意數(shù)量的種類的任一個對應(yīng)的種類標(biāo)簽的所述學(xué)習(xí)用的圖像賦予與該小組對應(yīng)的小組標(biāo)簽；和
[0020]第2學(xué)習(xí)單元，接收包括所述小組標(biāo)簽在內(nèi)的所述學(xué)習(xí)用的圖像，并基于所接收到的圖像來生成對圖像的小組進行識別的小組識別器，與對不屬于所述小組的種類進行個別地識別的所述種類識別器合起來構(gòu)成所述第I層級識別器，并且生成對屬于所述小組的所述任意數(shù)量的圖像的種類進行識別的小組內(nèi)識別器來構(gòu)成所述第2層級識別器。
[0021]根據(jù)本發(fā)明，可以在包含非常相似物種的多類的圖像識別中避免過學(xué)習(xí)。
【專利附圖】

【附圖說明】
[0022]圖1是表示本發(fā)明的一實施方式涉及的多類識別器的硬件構(gòu)成例的框圖。
[0023]圖2是表示圖1的多類識別器的功能性構(gòu)成的功能框圖。
[0024]圖3是表示本實施方式的圖像識別器生成處理的整體動作的流程圖。
[0025]圖4是表示混合行列數(shù)據(jù)的構(gòu)成例的圖。
[0026]圖5是表示來自混合行列數(shù)據(jù)的總計處理的說明圖。
[0027]圖6是表示第2次機器學(xué)習(xí)處理的詳細(xì)控制處理的流程圖。
[0028]圖7是由本實施方式構(gòu)成的識別器的說明圖。
[0029]圖8是表示用于生成識別器的詳細(xì)控制處理的流程圖。
[0030]圖9是表示特征抽出處理的流程圖。
[0031]圖10是表示矢量量化處理的流程圖。
[0032]圖11是表示直方圖生成處理的流程圖。
[0033]圖12是表示識別器生成處理的流程圖。
[0034]圖13是現(xiàn)有技術(shù)的問題點(過學(xué)習(xí))的說明圖。
【具體實施方式】
[0035]以下，參照附圖，對用于實施本發(fā)明的方式進行詳細(xì)地說明。
[0036]圖1是表示本發(fā)明的一實施方式涉及的多類識別器101的硬件構(gòu)成例的框圖。
[0037]該多類識別器101例如在從所謂的智能手機等便攜信息終端接收花等攝影圖像數(shù)據(jù)，由識別器對該花等種類進行檢索并識別，將該識別結(jié)果返回至便攜信息終端的檢索系統(tǒng)的計算機上實現(xiàn)。
[0038]多類識別器101具備:CPU (Central Processing Unit:中央運算處理裝置)102、ROM (Read Only Memory) 103、和 RAM (Random Access Memory) 104。此外，多類識別器101具備:硬盤存儲裝置等外部存儲裝置105、通信接口 106、鍵盤裝置或鼠標(biāo)裝置等輸入裝置107、和顯示器裝置等輸出裝置108。多類識別器101還具備:可安裝SD存儲卡、USB (Universal Serial Bus)存儲卡、CD (Conpact Disk)、DVD (Digital Versatile Disk)等便攜式記錄介質(zhì)110的便攜式記錄介質(zhì)驅(qū)動裝置109。上述的各設(shè)備102?109經(jīng)由總線111相互連接。[0039]在R0M103中存儲有由后述的圖3至圖9的流程圖所示的多類識別器生成處理的控制程序。CPU102從R0M103讀出該控制程序，并將RAM104作為工作存儲器來執(zhí)行。由此，實現(xiàn)了由后述的圖2的功能塊所示的多類識別器生成功能，其結(jié)果生成了例如識別花的種類的多類識別器。該多類識別器例如為軟件，被存儲到R0M103、RAM104、或外部存儲裝置105中。另外，在多類識別器生成處理中所輸入的學(xué)習(xí)用數(shù)據(jù)或試驗用數(shù)據(jù)例如從被安裝于便攜式記錄介質(zhì)驅(qū)動裝置109的便攜式記錄介質(zhì)110、或者外部存儲裝置105供給。
[0040]在生成了多類識別器之后，CPU102讀出并執(zhí)行在R0M103、RAM104、或外部存儲裝置105中存儲的多類識別器的軟件，由此作為多類識別器進行動作?；蛘?，也可由其他計算機系統(tǒng)來執(zhí)行多類識別器。該多類識別器例如從所謂的智能手機等便攜信息終端經(jīng)由因特網(wǎng)而在通信接口 106接收花的攝影圖像數(shù)據(jù)。然后，多類識別器對該花的種類進行檢索并識別，將該識別結(jié)果從通信接口 106經(jīng)由因特網(wǎng)而返回至便攜信息終端。另外，圖像識別器也可作為例如智能手機的搭載應(yīng)用直接提供給智能手機。
[0041]圖2是表示圖1的多類識別器101的功能性構(gòu)成的功能框圖。
[0042]本實施方式中的多類識別器101被實現(xiàn)為由多層級構(gòu)成的圖像的識別器，其中由第I層級識別器208識別花等的圖像的種類，特定的種類的小組中的圖像的種類由第2層級識別器209進一步詳細(xì)地識別。
[0043]第I學(xué)習(xí)單元201輸入包括與多個種類(例如設(shè)為K個種類)中的任一個種類對應(yīng)的種類標(biāo)簽在內(nèi)的例如與花相關(guān)的學(xué)習(xí)用數(shù)據(jù)203，生成對其數(shù)據(jù)203的圖像的種類進行個別地識別的種類識別器202。學(xué)習(xí)用數(shù)據(jù)203包括:圖像數(shù)據(jù)、和與該圖像數(shù)據(jù)的圖像的種類對應(yīng)的種類標(biāo)簽。該種類識別器202根據(jù)應(yīng)識別的例如花的種類而生成#1?#K的K個種類識別器。各種類識別器202例如被實現(xiàn)為進行所輸入的圖像數(shù)據(jù)是與其種類識別器202對應(yīng)的種類自身還是除此之外的種類這2個種類的分類的2類識別器。關(guān)于學(xué)習(xí)用數(shù)據(jù)203，例如如果應(yīng)識別的例如花的種類為6個種類,則按每個種類例如輸入各50枚，合計輸入50枚X6種類=300枚，來進行學(xué)習(xí)。
[0044]識別錯誤總計單元204將包括上述的任一個種類標(biāo)簽在內(nèi)的試驗用數(shù)據(jù)205輸入至#1?#K的種類識別器202。#1?#K的種類識別器202個別地識別其數(shù)據(jù)205的圖像的種類。試驗用數(shù)據(jù)205包括:圖像數(shù)據(jù)、和與該圖像數(shù)據(jù)的圖像的種類對應(yīng)的種類標(biāo)簽。然而，識別錯誤總計單元204按多個種類(K個種類)中的任意的規(guī)定數(shù)量的種類、例如2個種類的每個組合，由種類識別器202總計在屬于其組合的規(guī)定數(shù)量的種類之間相互錯誤識別的次數(shù)。例如，在花的例子中，總計在西洋蒲公英與關(guān)東蒲公英之間相互錯誤識別的次數(shù)。具體而言，總計:關(guān)東蒲公英的種類識別器202將包括西洋蒲公英的種類標(biāo)簽在內(nèi)的試驗用數(shù)據(jù)205錯誤地識別為關(guān)東蒲公英的次數(shù)、和西洋蒲公英的種類識別器202將包括關(guān)東蒲公英的種類標(biāo)簽在內(nèi)的試驗用數(shù)據(jù)205錯誤地識別為西洋蒲公英的次數(shù)的合計。在此，雖然試驗用數(shù)據(jù)205是與學(xué)習(xí)用數(shù)據(jù)203不同的圖像數(shù)據(jù)，但是與學(xué)習(xí)用數(shù)據(jù)203同樣地，例如如果應(yīng)識別的花的種類為6個種類，則按每個種類例如輸入各50枚，合計輸入50枚X 6種類=300枚，來進行識別。
[0045]分組(grouping)處理單元206針對識別錯誤總計單元204中的總計的結(jié)果成為規(guī)定的閾值以上(例如25次以上、或50%以上)的組合的每個小組，對具有與屬于該小組的規(guī)定數(shù)量的種類的任一個對應(yīng)的種類標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)賦予與該小組對應(yīng)的小組標(biāo)簽。將這樣賦予了小組標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)設(shè)為203'。例如，在花的例子中，如果在西洋蒲公英與關(guān)東蒲公英之間相互錯誤識別的次數(shù)例如為30次從而超過閾值的25次，則對包括西洋蒲公英的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用數(shù)據(jù)203和包括關(guān)東蒲公英的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用數(shù)據(jù)203進一步賦予例如蒲公英小組的小組標(biāo)簽，并設(shè)為學(xué)習(xí)用數(shù)據(jù)203'?；蛘撸缛绻谛ㄅc腎葉打碗花之間相互錯誤識別的次數(shù)例如為40次從而超過閾值的25次，則對包括旋花的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用數(shù)據(jù)203和包括腎葉打碗花的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用數(shù)據(jù)203進一步賦予例如旋花小組的小組標(biāo)簽，設(shè)為學(xué)習(xí)用數(shù)據(jù)203'。
[0046]第2學(xué)習(xí)單元207輸入包括上述的小組標(biāo)簽在內(nèi)的學(xué)習(xí)用數(shù)據(jù)203'，并生成對該數(shù)據(jù)203'的圖像的小組進行識別的小組識別器209。該小組識別器209根據(jù)應(yīng)識別的例如花的被分組化的種類而生成#1?#L的L個小組識別器。在上述的例子中，由于生成了蒲公英小組和旋花小組這兩個小組，因此L = 2，并生成2個小組識別器209。各小組識別器209例如被實現(xiàn)為進行所輸入的數(shù)據(jù)是屬于與其小組識別器209對應(yīng)的小組的種類自身還是除此之外的種類這2個種類的圖像分類的2類識別器。關(guān)于學(xué)習(xí)用數(shù)據(jù)203'，例如與學(xué)習(xí)用數(shù)據(jù)203同樣地，如果應(yīng)識別的例如花的種類為6個種類，則按每個種類輸入各50枚，合計輸入50枚X6種類= 300枚，來進行學(xué)習(xí)。在該學(xué)習(xí)用數(shù)據(jù)203'中，包括關(guān)東蒲公英的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用數(shù)據(jù)203'、和包括西洋蒲公英的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用數(shù)據(jù)203'包含蒲公英小組的小組標(biāo)簽。此外，包括旋花的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用數(shù)據(jù)203'、和包含腎葉打碗花的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用數(shù)據(jù)203'包含旋花小組的小組標(biāo)簽。第2學(xué)習(xí)單元207使如上所述那樣生成的#1?#L的L個小組識別器209與對不屬于上述各小組的種類進行個別地識別的種類識別器202 (將其設(shè)為#M?棚)合起來構(gòu)成第I層級識別器208。
[0047]其次，在第2學(xué)習(xí)單元207中，按上述的每個小組(例如蒲公英小組、旋花小組)輸入學(xué)習(xí)用數(shù)據(jù)203。而且，第2學(xué)習(xí)單元207生成對屬于該小組的規(guī)定數(shù)量的種類(例如2個種類)的圖像進行個別地識別的#1?#L的L個小組內(nèi)識別器211，來構(gòu)成第2層級識別器210。例如在花的例子中，關(guān)于蒲公英小組而生成對關(guān)東蒲公英和西洋蒲公英這2個種類進行個別地識別的#1的小組內(nèi)識別器211。此外，例如關(guān)于旋花小組而生成對旋花和腎葉打碗花這2個種類進行個別地識別的#2的小組內(nèi)識別器211。
[0048]進而，第2學(xué)習(xí)單元207能夠生成如下那樣的層級間綜合處理部212。該層級間綜合處理部212針對各小組的圖像，通過將與該小組對應(yīng)的第I層級識別器208的識別得分值和對第2層級識別器210的識別得分值相乘規(guī)定的倍率后所得到的值相加而獲得的識別得分值來進行識別判定。此外，層級間綜合處理部212針對不屬于上述的任何小組的種類的圖像，由與其種類對應(yīng)的第I層級識別器208的識別得分值來進行識別判定。
[0049]根據(jù)以上的圖2所示的功能塊構(gòu)成，在本實施方式中，為了在包含非常相似物種的多類的圖像的分類中避免過學(xué)習(xí)，實現(xiàn)進行小組單位的識別的第I層級識別器208、和進行小組內(nèi)的識別的第2層級識別器210這2個層級的識別器。在該情況下，在本實施方式中，在決定小組之際，由第I學(xué)習(xí)單元201事前生成在沒有分組化的狀態(tài)下進行基于機器學(xué)習(xí)的識別的種類識別器202。其次，由識別錯誤總計單元204使用該種類識別器202來進行識別試驗，總計在類別之間發(fā)生識別錯誤的次數(shù)。而且，由分組處理單元206對機器學(xué)習(xí)易于弄錯的類別彼此進行小組化。[0050]這樣一來，在本實施方式中，根據(jù)事前的識別錯誤的總計，可以自動地判定非常相似物種來進行區(qū)分，并使用其結(jié)果來執(zhí)行小組間識別、小組內(nèi)識別這2個層級的識別。其結(jié)果，在多類識別器中，可以抑制在圖13中所說明過那樣的過學(xué)習(xí)，使識別性能提高。
[0051]圖3是表示為了實現(xiàn)由圖2的功能框圖所示的功能，而在由圖1的硬件構(gòu)成所示的多類識別器101例如作為圖像識別器進行動作的情況下被執(zhí)行的、本實施方式的圖像識別器生成處理的全體動作的流程圖。
[0052]由該流程圖所示的處理與由表示其詳細(xì)內(nèi)容的圖4至圖9的流程圖所示的處理一起，在圖1中被實現(xiàn)為CPU102執(zhí)行在R0M103中存儲的控制程序的處理。
[0053]首先，執(zhí)行第I次機器學(xué)習(xí)處理(圖3的步驟S301)。在該處理中，執(zhí)行前述的圖2的第I學(xué)習(xí)單元201的功能。其結(jié)果，如圖2所示那樣，生成#1?#K的K個種類識別器202。
[0054]其次，執(zhí)行混合行列生成處理(圖3的步驟S302)，然后執(zhí)行總計處理(圖3的步驟S303)。這些步驟S302和S303的處理實現(xiàn)圖2的識別錯誤總計單元204的功能。
[0055]在步驟S302的混合行列生成處理中，包括K種類中的任一個種類標(biāo)簽在內(nèi)的試驗用數(shù)據(jù)205分別被輸入至在步驟S301中生成的#1?#K的K個種類識別器202，個別地識別其數(shù)據(jù)205的圖像的種類。而且，如圖2所說明過的那樣，當(dāng)針對K個種類中的例如2個種類的每個組合而總計在屬于其組合的例如2個種類之間相互錯誤識別的次數(shù)之時，使用以下的混合行列數(shù)據(jù)。
[0056]圖4是表示混合行列數(shù)據(jù)的構(gòu)成例的圖。該混合行列數(shù)據(jù)為將圖2的試驗用數(shù)據(jù)205的圖像的種類的識別結(jié)果按該數(shù)據(jù)205的每個種類標(biāo)簽進行累計(積算)的行列數(shù)據(jù)，并被存儲至圖1的RAM104。在該混合行列數(shù)據(jù)中，給各行分配所輸入的試驗用數(shù)據(jù)205的種類標(biāo)簽。在圖4的數(shù)據(jù)構(gòu)成例中，分配西洋蒲公英、關(guān)東蒲公英、向日葵、郁金香、旋花、腎葉打碗花這K = 6種類的種類標(biāo)簽。此外，在混合行列數(shù)據(jù)中，給各列分配了被識別的試驗用數(shù)據(jù)205的種類標(biāo)簽。在圖4的數(shù)據(jù)構(gòu)成例中，與各行相同的種類標(biāo)簽被分配給各列。而且，在混合行列數(shù)據(jù)中，在各行與各列交叉的各要素位置，累計將被分配給與其要素位置對應(yīng)的行的輸入的種類標(biāo)簽識別為被分配給與其要素位置對應(yīng)的列的輸出的種類標(biāo)簽的次數(shù)。
[0057]在混合行列數(shù)據(jù)中，關(guān)于在主對角線上的要素位置被累計的次數(shù)，圖2的各種類識別器202累計進行了正確識別的次數(shù)。例如，在分配了西洋蒲公英的行和分配了西洋蒲公英的列交叉的要素位置，累計了對西洋蒲公英進行識別的種類識別器202的識別結(jié)果成為正解的識別數(shù)=15次。同樣地，在行和列中，在分別分配了關(guān)東蒲公英、向日葵、郁金香、旋花、以及腎葉打碗花的各行以及各列的各交叉位置，分別累計了對這些各種類進行識別的各種類識別器202的識別結(jié)果成為正確的識別數(shù)=15、50、50、20以及20次。
[0058]另一方面，在分配了西洋蒲公英的行和分配了關(guān)東蒲公英的列交叉的要素位置，累計了對關(guān)東蒲公英進行識別的種類識別器202將輸入至其中的包括西洋蒲公英的種類標(biāo)簽在內(nèi)的試驗用數(shù)據(jù)205錯誤識別為關(guān)東蒲公英的識別數(shù)=15次。同樣地，在分配了西洋蒲公英的行中，在分別分配了向日葵、郁金香、旋花、以及腎葉打碗花的列交叉的要素位置，分別累計了對這些各種類進行識別的各種類識別器202將輸入至其中的包括西洋蒲公英的種類標(biāo)簽在內(nèi)的試驗用數(shù)據(jù)205錯誤識別為上述各種類的圖像的識別數(shù)=5、5、5、5次。
[0059]同樣地，在分配了關(guān)東蒲公英的行中，在分別分配了西洋蒲公英、向日葵、郁金香、旋花、以及腎葉打碗花的列交叉的要素位置，分別累計了對這些各種類進行識別的各種類識別器202將輸入至其中的包括關(guān)東蒲公英的種類標(biāo)簽在內(nèi)的試驗用數(shù)據(jù)205錯誤識別為上述各種類的圖像的識別數(shù)=15、5、5、5、5次。
[0060]同樣地，在分配了旋花的行中，在分別分配了西洋蒲公英、關(guān)東蒲公英、向日葵、郁金香、以及腎葉打碗花的列交叉的要素位置，分別累計了對這些各種類進行識別的各種類識別器202將輸入至其中的包括旋花的種類標(biāo)簽在內(nèi)的試驗用數(shù)據(jù)205錯誤識別為上述各種類的圖像的識別數(shù)=5、5、0 (沒有累計且空白)、0 (沒有累計且空白)、20次。
[0061]同樣地，在分配了腎葉打碗花的行中，在分別分配了西洋蒲公英、關(guān)東蒲公英、向日葵、郁金香、以及旋花的列交叉的要素位置，分別累計了對這些各種類進行識別的各種類識別器202將輸入至其中的包括腎葉打碗花的種類標(biāo)簽在內(nèi)的試驗用數(shù)據(jù)205錯誤地識別為上述各種類的圖像的識別數(shù)=5、5、0(沒有累計且空白)、0(沒有累計且空白)、20次。
[0062]向日葵以及郁金香的種類識別器202沒有發(fā)生錯誤。因而，在分配了向日葵的行中，除分配了向日葵的列交叉的要素位置以外的要素位置的累計值為0(沒有累計且空白)。同樣地，在分配了郁金香的行中，除分配了郁金香的列交叉的要素位置以外的要素位置的累計值為0 (沒有累計且空白)。
[0063]其次，在圖3的步驟S303的總計處理中，在步驟S302中在圖1的RAM104上所生成的混合行列數(shù)據(jù)之中，作為分別相加除主對角線上的要素位置以外的要素位置的各對角成分彼此的數(shù)據(jù)所得到的各相加結(jié)果,例如按K個種類中的任意2個種類的每個組合而總計在屬于其組合的2個種類之間相互進行了錯誤識別的次數(shù)。圖5為來自混合行列數(shù)據(jù)的總計處理的說明圖。
[0064]例如，關(guān)注圖4的混合行列數(shù)據(jù)、且分配了西洋蒲公英的行和分配了關(guān)東蒲公英的列交叉的要素位置的累計值=15次。其次，關(guān)注作為其對角成分的、分配了關(guān)東蒲公英的行和分配了西洋蒲公英的列交叉的要素位置的累計值=15次。而且，相加這些對角成分彼此的數(shù)據(jù)后的結(jié)果的累計值=30次，如圖5所示那樣被覆寫在分配了關(guān)東蒲公英的行和分配了西洋蒲公英的列交叉的要素位置。此外，分配了西洋蒲公英的行和分配了關(guān)東蒲公英的列交叉的要素位置的累計值被清除。
[0065]同樣地，關(guān)于圖4的混合行列數(shù)據(jù)中的行和列，相加向日葵和西洋蒲公英的對角成分彼此、西洋蒲公英和向日葵的對角成分彼此后的結(jié)果的累計值=5，如圖5所示那樣被覆寫在行=向日葵、列=西洋蒲公英的交叉要素位置。此外，行=西洋蒲公英、列=向日葵的交叉要素位置的累計值被清除。
[0066]關(guān)于其他的向日葵和關(guān)東蒲公英、郁金香和西洋蒲公英、郁金香和關(guān)東蒲公英、旋花和西洋蒲公英、旋花和關(guān)東蒲公英、腎葉打碗花和西洋蒲公英、腎葉打碗花和關(guān)東蒲公英的各對角成分彼此的組合，也同樣地進行總計。從而得到圖5所示的混合行列數(shù)據(jù)。
[0067]根據(jù)以上的圖3的步驟S303的處理，作為圖1的RAM104上的圖5所示的混合行列數(shù)據(jù)的下三角行列區(qū)域的各要素位置的總計值，例如按K個種類中的任意的2個種類的每個組合而總計了在屬于該組合的2個種類之間相互錯誤識別的次數(shù)。
[0068]返回到圖3的流程圖的處理，在步驟S303的處理之后執(zhí)行分組處理(圖3的步驟S304)。在該處理中，執(zhí)行圖2的分組處理單元206的功能。具體而言，根據(jù)步驟S303的總計而在圖1的RAM104上獲得的混合行列數(shù)據(jù)的下三角行列區(qū)域之中，抽出總計結(jié)果例如成為全部識別正解數(shù)=50次的一半的25次以上的組合的小組。在圖5的例子中，如501所示那樣抽出關(guān)東蒲公英和西洋蒲公英的2個種類的組合的小組(總計值=30次)、以及腎葉打碗花和旋花的2個種類的組合的小組(總計值=40次)。
[0069]其次，在步驟S304中，對具有與分別屬于這些例如2個小組的2個種類的任一個對應(yīng)的種類標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)203賦予與各小組對應(yīng)的小組標(biāo)簽。例如，對具有關(guān)東蒲公英或西洋蒲公英的種類標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)203追加賦予與這些所屬的小組對應(yīng)的小組標(biāo)簽、例如“蒲公英小組”。此外，對具有腎葉打碗花或旋花的種類標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)203追加賦予與這些所屬的小組對應(yīng)的小組標(biāo)簽、例如“旋花小組”。
[0070]在步驟S304的分組處理之后，執(zhí)行第2次機器學(xué)習(xí)處理(圖3的步驟S305)。在該處理中，執(zhí)行圖2的第2學(xué)習(xí)單元207的功能。
[0071]圖6是表示圖3的步驟S305的第2次機器學(xué)習(xí)處理的流程圖，圖7是第2次機器學(xué)習(xí)處理的結(jié)果，由本實施方式構(gòu)成的識別器的說明圖。
[0072]首先，執(zhí)行第I層級識別器生成處理(圖6的步驟S601)。該處理如在圖2的第2學(xué)習(xí)單元207的說明中所述。其結(jié)果，如圖7所示，生成分別與蒲公英小組和旋花小組對應(yīng)的#1和#2這2個小組識別器209。在圖7的例子中，#1的小組識別器209被實現(xiàn)為進行從輸入圖像數(shù)據(jù)中抽出的特征信息701是屬于蒲公英小組的種類的圖像自身的特征信息還是除此之外的其余信息這2個種類的圖像分類的2類識別器。同樣地，#2的小組識別器209被實現(xiàn)為進行從輸入圖像數(shù)據(jù)中抽出的特征信息701是屬于旋花小組的種類的圖像自身的特征信息還是除此之外的其余信息這2個種類的圖像分類的2類識別器。
[0073]其次，在步驟S601中，上述的小組識別器209與在圖3的步驟S301中生成的種類識別器202當(dāng)中的對不屬于上述各小組的種類進行個別地識別的種類識別器202合起來，構(gòu)成第I層級識別器208。在圖7的例子中，#1以及#2的小組識別器209與對既不屬于蒲公英小組也不屬于旋花小組的向日葵以及郁金香進行個別地識別的#1以及#2的種類識別器202合起來，構(gòu)成第I層級識別器208。
[0074]其次，執(zhí)行第2層級識別器生成處理(圖6的步驟S602)。該處理也如在圖2的第2學(xué)習(xí)單元207的說明中所述。其結(jié)果，如圖7所示，例如關(guān)于蒲公英小組，生成對蒲公英小組內(nèi)的關(guān)東蒲公英和西洋蒲公英這2個種類進行個別地識別的#1的小組內(nèi)識別器211。此外，例如關(guān)于旋花小組，生成對旋花小組內(nèi)的旋花和腎葉打碗花這2個種類進行個別地識別的#2的小組內(nèi)識別器211。在該處理中，也可使用僅具有與屬于小組的種類對應(yīng)的種類標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)203來構(gòu)成小組內(nèi)識別器211?；蛘?，也可使用具有所有種類標(biāo)簽的學(xué)習(xí)用數(shù)據(jù)203來構(gòu)成進行小組內(nèi)的各種類的I種與(vs)其他種識別的每個種類的小組內(nèi)識別器211。
[0075]其次，執(zhí)行層級間綜合處理部生成處理(圖6的步驟S603)。在該處理中，生成圖2的層級間綜合處理部212的功能處理。
[0076]該層級間綜合處理部212針對各小組的圖像，通過將與其小組對應(yīng)的第I層級識別器208的識別得分值和對第2層級識別器210的識別得分值相乘規(guī)定的倍率后的值相加而獲得的識別得分值來進行識別判定。即、[0077][總識別得分值]=[第I層級識別器208的識別得分值]+ a X [第2層級識別器210的識別得分值]。
[0078]例如，
[0079][關(guān)東蒲公英的總識別得分值]=[蒲公英小組的識別得分值]+ a X[關(guān)東蒲公英vs西洋蒲公英的識別得分值]。
[0080]此外，層級間綜合處理部212關(guān)于不屬于上述的任何小組的種類的圖像，由與其種類對應(yīng)的第I層級識別器208的識別得分值來進行識別判定。即、
[0081][總識別得分值]=[第I層級識別器208的識別得分值]。例如，
[0082][向日葵的總識別得分值]=[向日葵的識別得分值]。
[0083]根據(jù)以上的圖2所示的功能塊構(gòu)成，在本實施方式中，為了在包含非常相似物種的多類的圖像分類中避免過學(xué)習(xí)，實現(xiàn)了進行小組單位的識別的第I層級識別器208、和進行小組內(nèi)的圖像的識別的第2層級識別器210這2個層級的識別器。在該情況下，在本實施方式中，在決定小組之際，由第I學(xué)習(xí)單元201事前生成在沒有小組化的狀態(tài)下進行基于機器學(xué)習(xí)的識別的種類識別器202。其次，由識別錯誤總計單元204使用該種類識別器202來進行識別試驗，總計在類別之間發(fā)生識別錯誤的次數(shù)。而且，由分組處理單元206對機器學(xué)習(xí)易于弄錯的類別彼此進行小組化。
[0084]這樣一來，在本實施方式中，根據(jù)事前的識別錯誤的總計，可以自動地判定非常相似物種來進行區(qū)分，并使用其結(jié)果來執(zhí)行小組間識別、小組內(nèi)識別這2個層級的識別。其結(jié)果，在圖像識別器中，可以抑制在圖13中所說明過那樣的過學(xué)習(xí)，使識別性能提高。
[0085]圖8是表示由圖3的步驟S301、圖6的步驟S601、或圖6的步驟S602生成種類識別器202、小組識別器209、或小組內(nèi)識別器211等識別器的生成處理的流程圖。
[0086]首先，執(zhí)行標(biāo)簽生成處理(步驟S801)。在此，對所輸入的多個種類X多枚的學(xué)習(xí)用數(shù)據(jù)203的每一個賦予表示其數(shù)據(jù)所示的圖像的種類的種類標(biāo)簽。
[0087]其次，執(zhí)行特征抽出處理(步驟S802)。在該處理中，在學(xué)習(xí)用數(shù)據(jù)203的每一個中，在表示作為其學(xué)習(xí)用數(shù)據(jù)203203所包含的識別對象的目標(biāo)的主要被攝體區(qū)域上每隔指定像素抽出各RGB數(shù)據(jù)來作為特征信息，該特征信息被存儲至圖1的RAM104。
[0088]其次，執(zhí)行聚類處理(步驟S803)。在該處理中，在步驟S802中抽出的特征信息例如使用k-means法的聚類算法而被聚類成多個(例如500個)群組(cluster)。
[0089]其次，執(zhí)行矢量量化處理(步驟S804)。在該處理中，在學(xué)習(xí)用數(shù)據(jù)203的每一個中執(zhí)行以下的處理。按在步驟S802中在主要被攝體區(qū)域上每隔指定像素進行獲取并保存至圖1的RAM104中的每個特征信息，分別算出該特征信息和在步驟S803中算出的各群組的重心的RGB數(shù)據(jù)之間的距離。而且，與所算出的距離當(dāng)中的最小距離對應(yīng)的群組被抽出為最近群組，所抽出的最近群組的重心數(shù)據(jù)被作為其特征信息的矢量量化值。該矢量量化值被存儲至圖1的RAM104。
[0090]其次，執(zhí)行直方圖處理(步驟S805)。在該處理中，在學(xué)習(xí)用數(shù)據(jù)203的每一個中，按在步驟S804中被作為矢量量化值并保存至圖1的RAM104中的每個矢量量化值，反復(fù)執(zhí)行與其矢量量化值對應(yīng)的最近群組的直方圖度數(shù)被加I的處理。由此，生成與其學(xué)習(xí)用數(shù)據(jù)203對應(yīng)的直方圖。
[0091]最后，執(zhí)行識別器生成處理(步驟S806)。在該處理中，基于各學(xué)習(xí)用數(shù)據(jù)203或203'的種類標(biāo)簽或小組標(biāo)簽和按每個學(xué)習(xí)用數(shù)據(jù)203所生成的直方圖，生成在輸入了應(yīng)識別的個別的種類的圖像或構(gòu)成應(yīng)識別的小組的種類的圖像時輸出最大的識別得分值的種類識別器202、小組識別器209、或小組內(nèi)識別器211。
[0092]在以上的識別器的生成處理中，圖8的步驟S801至S805的ー連串處理在種類識別器202的生成處理之中對各學(xué)習(xí)用數(shù)據(jù)203只執(zhí)行I次，并將其結(jié)果保持在圖1的RAM104中即可。而且，在小組識別器209或小組內(nèi)識別器211的生成處理之中，讀出在RAM104中保持的步驟S801至S805的執(zhí)行結(jié)果，如果執(zhí)行圖8的步驟S806，則能夠高速地執(zhí)行處理。
[0093]圖9是表示圖8的步驟S802的特征抽出處理的流程圖。
[0094]關(guān)于該處理，執(zhí)行步驟S901至S904的一連串處理直到在步驟S905中判定出應(yīng)處理的學(xué)習(xí)用數(shù)據(jù)203變無為止。在各步驟S901中，輸入I枚(I圖像)份的學(xué)習(xí)用數(shù)據(jù)203。
[0095]在步驟S901中輸入了 I枚份的學(xué)習(xí)用數(shù)據(jù)203之后，首先通過使用了 Graph Cuts法的處理，從學(xué)習(xí)用數(shù)據(jù)203之中抽出主要被攝體區(qū)域(圖9的步驟S902)。例如，在花的圖像的情況下，抽出花的部分的區(qū)域。具體而言，主要被攝體區(qū)域是對所輸入的學(xué)習(xí)用數(shù)據(jù)203按照使用表示主要被攝體似然性的能量函數(shù)的Graph Cuts法的算法而在與背景區(qū)域之間進行分割所獲取到的。作為Graph Cuts法的具體算法，例如能夠適用日本特開2011-35636號公報所記載的技術(shù)。
[0096]其次，執(zhí)行如下處理直到在步驟S904中判定出未獲取到RGB數(shù)據(jù)為止，即:姆隔指定像素從學(xué)習(xí)用數(shù)據(jù)203之中取得RGB數(shù)據(jù)，并將其作為特征信息存儲至圖1的RAM104中(圖9的步驟S903 — S904 — S903的重復(fù)處理)。
[0097]如果針對學(xué)習(xí)用數(shù)據(jù)203上的每隔指定像素的所有RGB數(shù)據(jù)的處理完成，則判定是否存在下一個學(xué)習(xí)用數(shù)據(jù)203(圖9的步驟S905)。
[0098]如果步驟S905的判定為“是”，則返回到步驟S901的處理，重復(fù)進行步驟S901至S904的ー連串處理。
[0099]如果對所有學(xué)習(xí)用數(shù)據(jù)203的特征抽出處理完成從而步驟S905的判定變?yōu)椤胺瘛?，則結(jié)束由圖9的流程圖所示的圖8的步驟S802的特征抽出處理。
[0100]圖10是表示圖8的步驟S804的矢量量化處理的流程圖。
[0101]關(guān)于該處理，執(zhí)行步驟S1001至S1004的一連串處理直到在步驟S1005中判定出應(yīng)指定的學(xué)習(xí)用數(shù)據(jù)203變無為止。在各步驟S1001中，指定I枚(I圖像)份學(xué)習(xí)用數(shù)據(jù)203。
[0102]在步驟S1001中指定了學(xué)習(xí)用數(shù)據(jù)203之后，反復(fù)執(zhí)行步驟S1002和S1003的處理，直到在步驟S1004中判定出從圖1的RAM104之中未獲取到與該學(xué)習(xí)用數(shù)據(jù)203對應(yīng)的特征信息為止。
[0103]首先，從圖1的RAM104之中讀出與當(dāng)前的學(xué)習(xí)用數(shù)據(jù)203對應(yīng)的每隔指定像素的特征信息(圖10的步驟S1002)。
[0104]其次，分別算出所讀出的特征信息與在步驟S803中算出的各群組的重心的RGB數(shù)據(jù)之間的距離。然后，與所算出的距離當(dāng)中的最小距離對應(yīng)的群組抽出為最近群組，所抽出的最近群組的重心數(shù)據(jù)被作為其特征信息的矢量量化值，并被存儲至圖1的RAM104中(圖10的步驟S1003)。[0105]其次，判定與當(dāng)前的學(xué)習(xí)用數(shù)據(jù)203對應(yīng)的每隔指定像素的特征信息是否仍然存在于RAM104上(圖10的步驟S1004)。
[0106]如果步驟S1004的判定為“是”，則返回到步驟S1002的處理，對下一個特征信息反復(fù)執(zhí)行步驟S1002和S1003的處理。
[0107]如果對所有特征信息的矢量量化完成從而步驟S1004的判定變?yōu)椤胺瘛?，則判定是否存在下一個學(xué)習(xí)用數(shù)據(jù)203 (圖10的步驟S1005)。
[0108]如果步驟S1005的判定為“是”，則返回到步驟S1001的處理，反復(fù)執(zhí)行步驟S1001至S1004的ー連串處理。
[0109]如果對所有學(xué)習(xí)用數(shù)據(jù)203的矢量量化處理完成從而步驟S1005的判定變?yōu)椤胺瘛?，則結(jié)束由圖10的流程圖所示的圖8的步驟S804的矢量量化處理。
[0110]圖11是表示圖8的步驟S805的直方圖生成處理的流程圖。
[0111]關(guān)于該處理，執(zhí)行步驟SllOl至S1105的一連串處理直到在步驟S1106中判定出應(yīng)指定的學(xué)習(xí)用數(shù)據(jù)203變無為止。在各步驟SllOl中，指定I枚(I圖像)份學(xué)習(xí)用數(shù)據(jù)203。
[0112]在步驟SllOl中指定了學(xué)習(xí)用數(shù)據(jù)203之后，反復(fù)執(zhí)行步驟S1102和S1103的處理，直到在步驟S1104中判定出從圖1的RAM104之中未獲取到與該學(xué)習(xí)用數(shù)據(jù)203對應(yīng)的
矢量量化值為止。
[0113]首先，從圖1的RAM104之中讀出與當(dāng)前的學(xué)習(xí)用數(shù)據(jù)203對應(yīng)的每隔指定像素的矢量量化值(圖11的步驟SI 102)。
[0114]接著，與所讀出的該矢量量化值對應(yīng)的最近群組的RAM104上存儲的直方圖度數(shù)被加1(圖11的步驟SI 103)。
[0115]接著，判定與當(dāng)前的學(xué)習(xí)用數(shù)據(jù)203對應(yīng)的每隔指定像素的矢量量化值是否仍然存在于RAM104上(圖11的步驟SI 104)。
[0116]如果步驟S1104的判定為“是”，則返回到步驟S1102的處理，對下一個矢量量化值反復(fù)執(zhí)行步驟SI 102和SI 103的處理。
[0117]如果對所有矢量量化值的直方圖計數(shù)完成從而步驟S1104的判定變?yōu)椤胺瘛?，則執(zhí)行以下的處理。在圖1的RAM104中存儲的全部群組的直方圖度數(shù)值被作為與當(dāng)前的學(xué)習(xí)用數(shù)據(jù)203對應(yīng)的直方圖組(set)而存儲至RAM104(圖11的步驟S1104)。
[0118]然后，判定是否存在下一個學(xué)習(xí)用數(shù)據(jù)203 (圖11的步驟S1106)。
[0119]如果步驟S1106的判定為“是”，返回到步驟S1101的處理，反復(fù)進行步驟S1101至S1105的ー連串處理。
[0120]如果對所有學(xué)習(xí)用數(shù)據(jù)203的直方圖生成處理完成從而步驟S1106的判定變?yōu)椤胺瘛保瑒t結(jié)束由圖11的流程圖所示的圖8的步驟S805的直方圖生成處理。
[0121]圖12是表示圖8的步驟S806的識別器生成處理的流程圖。
[0122]首先，指定表示應(yīng)識別的個別的種類或應(yīng)識別的小組的類別(圖12的步驟S1201)。
[0123]其次，輸入與當(dāng)前的類別對應(yīng)的I種與(vs)其他種識別用的正類數(shù)據(jù)和負(fù)類數(shù)據(jù)(圖12的步驟S1202)。例如，在類別為花的種類的情況下，包括與該種類對應(yīng)的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用數(shù)據(jù)203或203'(圖2)被作為正類數(shù)據(jù)。此外，包括除該種類以外的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用數(shù)據(jù)203或203'被作為負(fù)類數(shù)據(jù)。此外例如，在類別為花的種類的小組的情況下，包括與該小組對應(yīng)的小組標(biāo)簽在內(nèi)的學(xué)習(xí)用數(shù)據(jù)203'被作為正類數(shù)據(jù)。此外，包括與除該小組包含的種類以外的種類對應(yīng)的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用數(shù)據(jù)203'被作為負(fù)類數(shù)據(jù)。
[0124]而且，基于各學(xué)習(xí)用數(shù)據(jù)203或203'的種類標(biāo)簽或小組標(biāo)簽和按各學(xué)習(xí)用數(shù)據(jù)203的每ー個由圖8的步驟S805生成的直方圖，執(zhí)行以下的處理。運算種類識別器202、小組識別器209、或小組內(nèi)識別器211中的I與(vs)其他識別用參數(shù)，以使在輸入應(yīng)識別的個別的種類的圖像或構(gòu)成應(yīng)識別的小組的種類的圖像時輸出最大的識別得分值(圖12的步驟 SI203)。
[0125]然后，判定是否指定了下一個類別(種類或小組)(圖12的步驟S1204)。
[0126]如果步驟S1204的判定為“是”，則返回到步驟S1201的處理，執(zhí)行與新的類別對應(yīng)的識別器的生成處理。
[0127]如果類別變無從而步驟S1204的判定變?yōu)椤胺瘛?，則結(jié)束由圖12的流程圖所示的圖8的步驟S806的識別器生成處理。
[0128]在以上說明過的實施方式中，將識別的對象作為花的圖像進行了說明，但是本發(fā)明并不限定于此。此外，從圖像數(shù)據(jù)之中抽出主要被攝體區(qū)域的處理并不限于Graph Cuts法的處理，且主要被攝體區(qū)域的抽出并不一定必要。
[0129]而且，在本實施方式中以花為代表的圖像的識別作為例子進行了說明，但是并不限定于圖像，也能適用于聲音數(shù)據(jù)、表示規(guī)定的特征的數(shù)據(jù)群組的識別。即、在要以機器學(xué)習(xí)進行多類分類的情況下，可應(yīng)用于類間的分類性差(存在重疊的)部分中的分類。例如，即便在聲音的情況下，也能分兩次來識別分離性良好的地方和酷似的地方由此提高識別精度。
[0130]如以上，根據(jù)本實施方式，通過事前的識別錯誤的總計，可以自動地判定非常相似物種來進行區(qū)分，并使用其結(jié)果來執(zhí)行小組間識別、小組內(nèi)識別這2個層級的識別。其結(jié)果，在圖像識別器中，可以抑制過學(xué)習(xí)，使識別性能提高。
[0131]此外，根據(jù)本實施方式，通過識別第I候補為關(guān)東蒲公英、第2候補為向日葵、第3候選為西洋蒲公英的形式，可避免給人類帶來不舒適感的不自然的識別。
【權(quán)利要求】
1.一種多類識別器，由第I層級識別器識別對規(guī)定的特征進行表現(xiàn)的特征數(shù)據(jù)的種類，特定的種類的小組由第2層級識別器進一步詳細(xì)地識別，所述多類識別器的特征在于具備: 第I學(xué)習(xí)單元，接收包括與多個種類中的任一個種類對應(yīng)的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用的特征數(shù)據(jù)，并基于所接收到的特征數(shù)據(jù)來生成對所述特征數(shù)據(jù)的種類個別地進行識別的種類識別器； 識別錯誤總計單元，將包括任一個所述種類標(biāo)簽在內(nèi)的試驗用的特征數(shù)據(jù)輸入至所述種類識別器，并個別地識別所輸入的該特征數(shù)據(jù)的種類，針對所述多個種類中的任意數(shù)量的種類的組合，總計在屬于該組合的所述任意數(shù)量的種類之間進行了錯誤識別的次數(shù)；分組處理單元，針對所述總計的結(jié)果成為規(guī)定的閾值以上的組合的小組，對具有與屬于該小組的所述任意數(shù)量的種類的任一個種類對應(yīng)的種類標(biāo)簽的所述學(xué)習(xí)用的特征數(shù)據(jù)賦予與該小組對應(yīng)的小組標(biāo)簽；和 第2學(xué)習(xí)單元，接收包括所述小組標(biāo)簽在內(nèi)的所述學(xué)習(xí)用的特征數(shù)據(jù)，并基于所接收到的特征數(shù)據(jù)來生成對特征數(shù)據(jù)的小組進行識別的小組識別器，與對不屬于所述小組的種類進行個別地識別的所述種類識別器合起來構(gòu)成所述第I層級識別器，并且生成對屬于所述小組的所述任意數(shù)量的特征數(shù)據(jù)的種類進行識別的小組內(nèi)識別器來構(gòu)成所述第2層級識別器。
2.一種多類識別器，由第I層級識別器來識別圖像的種類，特定的種類的小組由第2層級識別器進一步詳細(xì)地識別，所述多類識別器的特征在于具備: 第I學(xué)習(xí)單元，接收包括與多個種類中的任一個種類對應(yīng)的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用的圖像，并基于所接收到的 圖像來生成對該圖像的種類進行個別地識別的種類識別器； 識別錯誤總計單元，將包括任一個所述種類標(biāo)簽在內(nèi)的試驗用的圖像輸入至所述種類識別器，并個別地識別所輸入的該圖像的種類，針對所述多個種類中的任意數(shù)量的種類的組合，總計在屬于該組合的所述任意數(shù)量的種類之間進行了錯誤識別的次數(shù)； 分組處理單元，針對所述總計的結(jié)果成為規(guī)定的閾值以上的組合的小組，而對具有與屬于該小組的所述任意數(shù)量的種類的任一個對應(yīng)的種類標(biāo)簽的所述學(xué)習(xí)用的圖像賦予與該小組對應(yīng)的小組標(biāo)簽；和 第2學(xué)習(xí)單元，接收包括所述小組標(biāo)簽在內(nèi)的所述學(xué)習(xí)用的圖像，并基于所接收到的圖像來生成對圖像的小組進行識別的小組識別器，與對不屬于所述小組的種類進行個別地識別的所述種類識別器合起來構(gòu)成所述第I層級識別器，并且生成對屬于所述小組的所述任意數(shù)量的圖像的種類進行識別的小組內(nèi)識別器來構(gòu)成所述第2層級識別器。
3.根據(jù)權(quán)利要求2所述的多類識別器，其中， 在所述識別錯誤總計單元中，執(zhí)行如下處理: 混合行列生成處理，生成混合行列數(shù)據(jù)，所述混合行列數(shù)據(jù)是將所述試驗用的圖像的種類的識別結(jié)果按該圖像的每個種類標(biāo)簽累計的行列數(shù)據(jù)，所述混合行列數(shù)據(jù)通過以下方式而獲得，對各行分配所述試驗用的圖像的種類標(biāo)簽、對各列分配所識別出的所述試驗用的圖像的種類的種類標(biāo)簽、在所述各行和所述各列交叉的每個要素位置處累計將分配給與該要素位置對應(yīng)的行的種類標(biāo)簽識別為分配給與該要素位置對應(yīng)的列的種類標(biāo)簽的次數(shù)；和總計處理，在所述混合行列數(shù)據(jù)中，總計在屬于所述多個種類中的任意2個種類的組合的2個種類之間相互進行了錯誤識別的次數(shù)，作為分別相加除主對角線上的要素位置以外的要素位置的每個對角成分彼此的次數(shù)所得到的每個相加結(jié)果。
4.根據(jù)權(quán)利要求2所述的多類識別器，其特征在于， 在所述種類識別器、所述小組識別器、或所述小組內(nèi)識別器的生成中執(zhí)行如下處理: 特征抽出處理，在所述學(xué)習(xí)用的圖像的每一個圖像中，在表示作為該學(xué)習(xí)用的圖像所包含的識別對象即目標(biāo)的主要被攝體區(qū)域上每隔指定像素獲取RGB數(shù)據(jù)并分別作為特征信息進行抽出； 聚類處理，將每個所述特征信息聚類成多個群組； 矢量量化處理，在所述學(xué)習(xí)用的圖像的每一個圖像中，按在所述主要被攝體區(qū)域上每隔指定像素所獲取到的每個所述特征信息，分別算出該特征信息與每個所述群組的重心的RGB數(shù)據(jù)之間的距離，將與該算出的距離當(dāng)中的最小距離對應(yīng)的群組作為最近群組進行抽出，并將該抽出的最近群組的重心數(shù)據(jù)作為該特征信息的矢量量化值； 直方圖生成處理，在所述學(xué)習(xí)用的圖像的每一個圖像中，按在所述主要被攝體區(qū)域上每隔指定像素所獲取到的每個所述矢量量化值，反復(fù)執(zhí)行將與該矢量量化值對應(yīng)的所述最近群組的直方圖度數(shù)加I的處理，來生成與該學(xué)習(xí)用的圖像對應(yīng)的直方圖；和 識別器生成處理，基于每個所述學(xué)習(xí)用的圖像的種類標(biāo)簽或小組標(biāo)簽、和按每個所述學(xué)習(xí)用數(shù)據(jù)所生成的直方圖，來生成在輸入應(yīng)識別的種類的圖像或構(gòu)成應(yīng)識別的小組的種類的圖像時輸出最大的識別得分值 的所述種類識別器、所述小組識別器、或所述小組內(nèi)識別器。
5.根據(jù)權(quán)利要求4所述的多類識別器，其特征在于， 所述主要被攝體區(qū)域是針對圖像按照使用表示主要被攝體似然度的能量函數(shù)的GraphCuts法的算法而在與背景區(qū)域之間進行分割所獲取到的。
6.根據(jù)權(quán)利要求2所述的多類識別器，其特征在于， 所述第2學(xué)習(xí)單元還生成層級間綜合處理部，該層級間綜合處理部由相加與所述小組對應(yīng)的所述第I層級識別器的識別得分值和對所述第2層級識別器的識別得分值相乘規(guī)定的倍率后的值而獲得的識別得分值來對所述小組進行識別判定，使不屬于任何所述小組的種類由與該種類對應(yīng)的所述第I層級識別器的識別得分值進行識別判定。
7.一種多類識別方法，由第I層級識別器識別對規(guī)定的特征進行表現(xiàn)的特征數(shù)據(jù)的種類，特定的種類的小組由第2層級識別器進一步詳細(xì)地識別，所述多類識別方法的特征在于具備: 第I學(xué)習(xí)步驟，接收包括與多個種類中的任一個種類對應(yīng)的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用的特征數(shù)據(jù)，并基于所接收到的特征數(shù)據(jù)來生成對所述特征數(shù)據(jù)的種類個別地進行識別的種類識別器； 識別錯誤總計步驟，將包括任一個所述種類標(biāo)簽在內(nèi)的試驗用的特征數(shù)據(jù)輸入至所述種類識別器，并個別地識別所輸入的該特征數(shù)據(jù)的種類，針對所述多個種類中的任意數(shù)量的種類的組合，總計在屬于該組合的所述任意數(shù)量的種類之間進行了錯誤識別的次數(shù)； 分組處理步驟，針對所述總計的結(jié)果成為規(guī)定的閾值以上的組合的小組，對具有與屬于該小組的所述任意數(shù)量的種類的任一個種類對應(yīng)的種類標(biāo)簽的所述學(xué)習(xí)用的特征數(shù)據(jù)賦予與該小組對應(yīng)的小組標(biāo)簽；和 第2學(xué)習(xí)步驟，接收包括所述小組標(biāo)簽在內(nèi)的所述學(xué)習(xí)用的特征數(shù)據(jù)，并基于所接收到的特征數(shù)據(jù)來生成對特征數(shù)據(jù)的小組進行識別的小組識別器，與對不屬于所述小組的種類個別地進行識別的所述種類識別器合起來構(gòu)成所述第I層級識別器，并且生成對屬于所述小組的所述任意數(shù)量的特征數(shù)據(jù)的種類進行識別的小組內(nèi)識別器來構(gòu)成所述第2層級識別器。
8.一種多類識別方法，由第I層級識別器來識別圖像的種類，特定的種類的小組由第2層級識別器進一步詳細(xì)地識別，所述多類識別方法的特征在于包括: 第I學(xué)習(xí)步驟，接收包括與多個種類中的任一個種類對應(yīng)的種類標(biāo)簽在內(nèi)的學(xué)習(xí)用的圖像，并基于所接收到的圖像來生成對該圖像的種類個別地進行識別的種類識別器； 識別錯誤總計步驟，將包括任一個所述種類標(biāo)簽在內(nèi)的試驗用的圖像輸入至所述種類識別器，并個別地識別所輸入的該圖像的種類，針對所述多個種類中的任意數(shù)量的種類的組合，總計在屬于該組合的所述任意數(shù)量的種類之間進行了錯誤識別的次數(shù)； 分組處理步驟，針對所述總計的結(jié)果成為規(guī)定的閾值以上的組合的小組，對具有與屬于該小組的所述任意數(shù)量的種類的任一個種類對應(yīng)的種類標(biāo)簽的所述學(xué)習(xí)用的圖像賦予與該小組對應(yīng)的小組標(biāo)簽；和 第2學(xué)習(xí)步驟，接收包括所述小組標(biāo)簽在內(nèi)的所述學(xué)習(xí)用的圖像，并基于所接收到的圖像來生成對圖像的小組進行識別的小組識別器，與對不屬于所述小組的種類個別地進行識別的所述種類識別器合起來構(gòu)成所述第I層級識別器，并且生成對屬于所述小組的所述任意數(shù)量的圖像的種類進行識別 的小組內(nèi)識別器來構(gòu)成所述第2層級識別器。
【文檔編號】G06F17/30GK103455542SQ201310213817
【公開日】2013年12月18日 申請日期:2013年5月31日 優(yōu)先權(quán)日:2012年5月31日
【發(fā)明者】松永和久, 廣浜雅行, 中込浩一, 二瓶道大 申請人:卡西歐計算機株式會社