專(zhuān)利名稱(chēng)：學(xué)習(xí)設(shè)備、學(xué)習(xí)方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種學(xué)習(xí)設(shè)備，學(xué)習(xí)方法和程序，更具體地說(shuō)，涉及一種適合于在訓(xùn)練 鑒別器的情況下使用的學(xué)習(xí)設(shè)備、學(xué)習(xí)方法和程序，所述鑒別器用于根據(jù)少量的學(xué)習(xí)圖像， 鑒別在圖像中是否存在預(yù)定的鑒別目標(biāo)。
背景技術(shù)：
在現(xiàn)有技術(shù)中，提出了一種圖像分類(lèi)方法，用于把多個(gè)圖像分成與圖像的被攝主 題對(duì)應(yīng)的類(lèi)別，并生成包括每個(gè)類(lèi)別的分類(lèi)圖像的圖像聚類(lèi)。例如，在這種圖像分類(lèi)方法中，利用鑒別在圖像中是否存在預(yù)定鑒別目標(biāo)(例如， 人臉)的鑒別器，鑒別在多個(gè)圖像中的每個(gè)圖像中是否存在預(yù)定鑒別目標(biāo)。此外，根據(jù)鑒別結(jié)果，多個(gè)圖像分別被分類(lèi)到其中在圖像中存在預(yù)定鑒別目標(biāo)的 類(lèi)別中，或者被分類(lèi)到其中在圖像中不存在預(yù)定鑒別目標(biāo)的類(lèi)別中，隨后對(duì)于每個(gè)分類(lèi)類(lèi) 別生成圖像聚類(lèi)。這里，在產(chǎn)生(訓(xùn)練)鑒別器，以供現(xiàn)有技術(shù)中的圖像分類(lèi)方法之用的情況下，需 要附加有指示在圖像中是否存在預(yù)定鑒別目標(biāo)的正解標(biāo)簽的大量學(xué)習(xí)圖像，和根據(jù)所述大 量學(xué)習(xí)圖像，生成鑒別器的極大運(yùn)算。從而，盡管對(duì)企業(yè)和研究機(jī)構(gòu)來(lái)說(shuō)，準(zhǔn)備能夠處理大量學(xué)習(xí)圖像，并且執(zhí)行生成上 述鑒別器所必需的極大運(yùn)算的計(jì)算機(jī)是相對(duì)容易的，不過(guò)對(duì)個(gè)人來(lái)說(shuō)，準(zhǔn)備這樣的計(jì)算機(jī) 是非常困難的。因此，個(gè)人很難生成用于生成每個(gè)個(gè)人的所需圖像聚類(lèi)的鑒別器。此外，提出一種搜索方法，用于利用鑒別存在于圖像中的預(yù)定鑒別目標(biāo)的鑒別器， 在多個(gè)圖像之中搜索圖像中存在預(yù)定鑒別目標(biāo)的圖像(例如，參見(jiàn)未經(jīng)審查的日本專(zhuān)利申 請(qǐng)公開(kāi) No. 2008-276775)。在這種搜索方法中，用戶在多個(gè)圖像之中，指定圖像中存在預(yù)定鑒別目標(biāo)的正圖 像，和圖像中不存在預(yù)定鑒別目標(biāo)的負(fù)圖像。此外，通過(guò)利用用戶指定的正圖像和負(fù)圖像作 為學(xué)習(xí)圖像，生成鑒別器。此外，在這種搜索方法中，利用生成的鑒別器，從多個(gè)圖像中搜索圖像中存在預(yù)定 鑒別目標(biāo)的圖像。在這種搜索方法中，通過(guò)快速縮小解空間，快速生成鑒別器，從而能夠更快速地搜 索希望的圖像。這里，為了生成高精度地鑒別預(yù)定鑒別目標(biāo)的鑒別器，應(yīng)提供大量的各種正圖像 (例如，其中以各種角度拍攝預(yù)定鑒別目標(biāo)的正圖像)。不過(guò)，在上述搜索方法中，由于用戶逐張指定學(xué)習(xí)圖像，因此與用于生成現(xiàn)有技術(shù) 中的圖像分類(lèi)方法中的鑒別器的學(xué)習(xí)圖像的數(shù)目相比，學(xué)習(xí)圖像的數(shù)目很小。結(jié)果，在學(xué)習(xí) 圖像之中，正圖像的數(shù)目也很小。利用數(shù)目很小的正圖像的鑒別器的學(xué)習(xí)容易引起過(guò)度學(xué)習(xí)(過(guò)度擬合)，從而降低鑒別器的鑒別精度。此外，盡管學(xué)習(xí)圖像的數(shù)目較小，不過(guò)在通過(guò)詞袋(bag-of-words)，學(xué)習(xí)圖像中 的多個(gè)特征的組合等，把指示學(xué)習(xí)圖像的特征的圖像特征量表示成具有數(shù)百維到數(shù)千維的 向量，并且通過(guò)利用所述向量作為學(xué)習(xí)圖像，生成鑒別器的情況下，預(yù)期由于高維向量的緣 故，易于發(fā)生過(guò)度學(xué)習(xí)。另外，提出一種在生成鑒別器的情況下，利用裝袋來(lái)增強(qiáng)鑒別器的泛化的方法 (例如，參見(jiàn) Leo Breiman, Bagging Predictors，MachineLearning, 1996，123-140)。然而，即使在利用裝袋的方法中，盡管學(xué)習(xí)圖像的數(shù)目較小，不過(guò)在使用表示成具 有數(shù)百維到數(shù)千維的向量的學(xué)習(xí)圖像的圖像特征量的情況下，預(yù)期也會(huì)發(fā)生過(guò)度學(xué)習(xí)。

發(fā)明內(nèi)容
如上所述，在利用少量的學(xué)習(xí)圖像生成鑒別器的情況下，當(dāng)使用表示成具有數(shù)百 維到數(shù)千維的向量的圖像特征量作為學(xué)習(xí)圖像的圖像特征量時(shí)，會(huì)發(fā)生過(guò)度學(xué)習(xí)，從而使 得難以生成具有高鑒別精度的鑒別器。因此，理想的是提供一種在利用少量的學(xué)習(xí)圖像進(jìn)行學(xué)習(xí)時(shí)，能夠抑制過(guò)度學(xué)習(xí)， 從而訓(xùn)練具有高鑒別精度的鑒別器的技術(shù)。按照本發(fā)明的一個(gè)實(shí)施例，提供一種學(xué)習(xí)設(shè)備，所述學(xué)習(xí)設(shè)備包括學(xué)習(xí)裝置，所述 學(xué)習(xí)裝置按照由用戶從多個(gè)樣本圖像中指定的，用于訓(xùn)練鑒別在圖像中是否存在預(yù)定鑒別 目標(biāo)的鑒別器的學(xué)習(xí)圖像，利用包括從包含在指示學(xué)習(xí)圖像的特征的圖像特征量中的多個(gè) 維特征量中，隨機(jī)選擇的維特征量的隨機(jī)特征量，訓(xùn)練所述鑒別器，和使計(jì)算機(jī)起所述學(xué)習(xí) 裝置作用的程序。學(xué)習(xí)裝置可通過(guò)間隔最大化學(xué)習(xí)，訓(xùn)練所述鑒別器，所述間隔最大化學(xué)習(xí)使隨機(jī) 特征量所存在的特征空間中的間隔達(dá)到最大，所述間隔表示用于鑒別在圖像中是否存在預(yù) 定鑒別目標(biāo)的分離超平面和包括在隨機(jī)特征量中的維特征量之中的，存在于分離超平面附 近的維特征量之間的距離。學(xué)習(xí)裝置可包括圖像特征量提取裝置，用于從學(xué)習(xí)圖像中提取表示學(xué)習(xí)圖像的 特征，并被表示成具有多維的向量的圖像特征量；隨機(jī)特征量生成裝置，用于隨機(jī)選擇作為 圖像特征量的相應(yīng)維的元素的所述多個(gè)維特征量中的一些維特征量，并生成包括所選維特 征量的隨機(jī)特征量；和鑒別器生成裝置，用于利用隨機(jī)特征量，通過(guò)間隔最大化學(xué)習(xí)，生成 鑒別器。鑒別器可根據(jù)用于確定在鑒別目標(biāo)圖像中是否存在預(yù)定鑒別目標(biāo)的多個(gè)弱鑒別 器的確定結(jié)果，輸出最終的確定結(jié)果，隨機(jī)特征量生成裝置可關(guān)于所述多個(gè)弱鑒別器中的 每個(gè)弱鑒別器，生成用于生成該弱鑒別器的隨機(jī)特征量，鑒別器生成裝置可根據(jù)關(guān)于所述 多個(gè)弱鑒別器中的每個(gè)弱鑒別器生成的隨機(jī)特征量，生成所述多個(gè)弱鑒別器。鑒別器生成裝置還可根據(jù)隨機(jī)特征量，生成指示弱鑒別器的判定的可靠性程度的 置信度。鑒別器生成裝置可根據(jù)所述多個(gè)弱鑒別器和置信度，生成輸出鑒別確定值的鑒別 器，所述鑒別確定值表示作為從所述多個(gè)弱鑒別器中的每個(gè)弱鑒別器輸出的確定結(jié)果的確 定值，和所述置信度之間的乘積和運(yùn)算結(jié)果，鑒別裝置可根據(jù)從鑒別器輸出的鑒別確定值，鑒別在鑒別目標(biāo)圖像中是否存在預(yù)定鑒別目標(biāo)。每當(dāng)用戶指定學(xué)習(xí)圖像時(shí)，隨機(jī)特征量生成裝置可生成不同的隨機(jī)特征量。學(xué)習(xí)圖像可包括在圖像中存在預(yù)定鑒別目標(biāo)的正圖像，和在圖像中不存在預(yù)定鑒 別目標(biāo)的負(fù)圖像，學(xué)習(xí)裝置還可包括增加偽負(fù)圖像作為學(xué)習(xí)圖像的負(fù)圖像增加裝置。學(xué)習(xí)裝置還可包括當(dāng)在鑒別器生成裝置生成鑒別器之后，預(yù)定條件被滿足時(shí)，增 加偽正圖像作為學(xué)習(xí)圖像的正圖像增加裝置，鑒別器生成裝置可根據(jù)被增加偽正圖像的學(xué) 習(xí)圖像的隨機(jī)特征量，生成鑒別器。在正圖像和偽正圖像的總數(shù)小于負(fù)圖像和偽負(fù)圖像的總數(shù)的條件被滿足的情況 下，正圖像增加裝置增加偽正圖像作為學(xué)習(xí)圖像。學(xué)習(xí)裝置可利用SVM(支持向量機(jī))作為間隔最大化學(xué)習(xí)，進(jìn)行學(xué)習(xí)。學(xué)習(xí)設(shè)備還可包括鑒別在鑒別目標(biāo)圖像中是否存在預(yù)定鑒別目標(biāo)的鑒別裝置，在 用戶按照鑒別裝置的鑒別處理，重新指定學(xué)習(xí)圖像的情況下，學(xué)習(xí)裝置可以利用指定的學(xué) 習(xí)圖像，重復(fù)進(jìn)行鑒別器的學(xué)習(xí)。在用戶按照鑒別裝置的鑒別處理，指令生成包括在圖像中存在預(yù)定鑒別目標(biāo)的鑒 別目標(biāo)圖像的圖像聚類(lèi)的情況下，鑒別裝置可根據(jù)由學(xué)習(xí)裝置生成的最新鑒別器，用多個(gè) 鑒別目標(biāo)圖像生成圖像聚類(lèi)。按照本發(fā)明的一個(gè)實(shí)施例，提供一種學(xué)習(xí)設(shè)備中的學(xué)習(xí)方法，所述學(xué)習(xí)方法訓(xùn)練 用于鑒別在圖像中是否存在預(yù)定鑒別目標(biāo)的鑒別器。這里，所述學(xué)習(xí)設(shè)備包括學(xué)習(xí)裝置，所 述方法包括下述步驟按照由用戶從多個(gè)樣本圖像中指定的，用于訓(xùn)練鑒別在圖像中是否 存在預(yù)定鑒別目標(biāo)的鑒別器的學(xué)習(xí)圖像，用學(xué)習(xí)裝置利用包括從包含在指示學(xué)習(xí)圖像的特 征的圖像特征量中的多個(gè)維特征量中，隨機(jī)選擇的維特征量的隨機(jī)特征量，訓(xùn)練所述鑒別
ο按照本發(fā)明的實(shí)施例，按照由用戶從多個(gè)樣本圖像中指定的，用于訓(xùn)練鑒別在圖 像中是否存在預(yù)定鑒別目標(biāo)的鑒別器的學(xué)習(xí)圖像，利用包括從包含在指示學(xué)習(xí)圖像的特征 的圖像特征量中的多個(gè)維特征量中，隨機(jī)選擇的維特征量的隨機(jī)特征量，訓(xùn)練所述鑒別器。按照本發(fā)明的實(shí)施例，在利用數(shù)目較少的學(xué)習(xí)圖像進(jìn)行學(xué)習(xí)時(shí)，能夠抑制過(guò)度學(xué) 習(xí)，從而訓(xùn)練具有高鑒別精度的鑒別器。


圖1是圖解說(shuō)明按照本發(fā)明的一個(gè)實(shí)施例的圖像分類(lèi)設(shè)備的結(jié)構(gòu)例子的方框圖；圖2是圖解說(shuō)明由圖像分類(lèi)設(shè)備執(zhí)行的圖像分類(lèi)處理的概況的示圖；圖3是圖解說(shuō)明隨機(jī)標(biāo)弓丨的示圖；圖4是圖解說(shuō)明弱鑒別器的生成的示圖；圖5是圖解說(shuō)明交叉驗(yàn)證的示圖；圖6是圖解說(shuō)明由圖像分類(lèi)設(shè)備執(zhí)行的圖像分類(lèi)處理的流程圖；圖7是圖解說(shuō)明由學(xué)習(xí)部分執(zhí)行的學(xué)習(xí)處理的流程圖；圖8是圖解說(shuō)明由鑒別部分執(zhí)行的鑒別處理的流程圖；圖9是圖解說(shuō)明由學(xué)習(xí)部分執(zhí)行的反饋學(xué)習(xí)處理的流程圖；圖10是圖解說(shuō)明計(jì)算機(jī)的結(jié)構(gòu)例子的方框圖。
具體實(shí)施例方式下面，說(shuō)明實(shí)現(xiàn)本發(fā)明的優(yōu)選例證實(shí)施例。將按照下述順序進(jìn)行說(shuō)明1.實(shí)施例(在利用學(xué)習(xí)圖像的隨機(jī)特征量，生成鑒別器的情況下的例子)2.改進(jìn)例1.實(shí)施例[圖像分類(lèi)設(shè)備1的結(jié)構(gòu)例子]圖1是圖解說(shuō)明按照本發(fā)明的一個(gè)實(shí)施例的圖像分類(lèi)設(shè)備1的結(jié)構(gòu)例子的示圖。圖像分類(lèi)設(shè)備1鑒別在保存(保留)在圖像分類(lèi)設(shè)備1中的多個(gè)圖像之中的每個(gè) 圖像中，是否存在預(yù)定鑒別目標(biāo)(例如，圖2中所示的手表等)。此外，圖像分類(lèi)設(shè)備1根據(jù)鑒別結(jié)果，把多個(gè)圖像分成其中存在預(yù)定鑒別目標(biāo)的 類(lèi)別，和其中不存在預(yù)定鑒別目標(biāo)的類(lèi)別，并生成和保存包括分類(lèi)到其中存在預(yù)定鑒別目 標(biāo)的類(lèi)別中的圖像的圖像聚類(lèi)。圖像分類(lèi)設(shè)備1包括操作部分21，控制部分22，圖像存儲(chǔ)部分23，顯示控制部分 對(duì)，顯示部分25，學(xué)習(xí)部分沈和鑒別部分27。例如，操作部分21包括由用戶操作的操作按鈕等，隨后把與用戶的操作相應(yīng)的操 作信號(hào)提供給控制部分22?？刂撇糠?2按照來(lái)自操作部分21的操作信號(hào)，控制顯示控制部分24，學(xué)習(xí)部分 26，鑒別部分27等。圖像存儲(chǔ)部分23包括保存圖像的多個(gè)圖像數(shù)據(jù)庫(kù)。顯示控制部分M在控制部分22的控制下，從在構(gòu)成圖像存儲(chǔ)部分23的多個(gè)圖像 數(shù)據(jù)庫(kù)之中，按照用戶的選擇操作選擇的圖像數(shù)據(jù)庫(kù)中，讀取多個(gè)樣本圖像，隨后把讀出的 樣本圖像提供給顯示部分25，以便顯示。這里，樣本圖像是為允許用戶指定正圖像和負(fù)圖像而顯示的圖像，所述正圖像指 示在圖像中存在預(yù)定鑒別目標(biāo)的圖像(例如，在圖像上存在作為被攝主題的手表的圖像)， 所述負(fù)圖像指示在圖像中不存在預(yù)定鑒別目標(biāo)的圖像(例如，在圖像上不存在作為被攝主 題的手表的圖像)。顯示控制部分M把與用戶的指定操作對(duì)應(yīng)的正解標(biāo)簽附加到顯示在顯示部分25 上的多個(gè)樣本圖像之中，按照用戶的指定操作指定的樣本圖像上。此外，顯示控制部分M 把附加有正解標(biāo)簽的樣本圖像作為學(xué)習(xí)圖像提供給學(xué)習(xí)部分26。這里，正解標(biāo)簽指示樣本圖像是正圖像還是負(fù)圖像，包括指示樣本圖像是正圖像 的正標(biāo)簽，和指示樣本圖像是負(fù)圖像的負(fù)標(biāo)簽。S卩，顯示控制部分M把正標(biāo)簽附加到由用戶的指定操作指定為正圖像的樣本圖 像上，和把負(fù)標(biāo)簽附加到由用戶的指定操作指定為負(fù)圖像的樣本圖像上。此外，顯示控制部 分M把附加有正標(biāo)簽或負(fù)標(biāo)簽的樣本圖像作為學(xué)習(xí)圖像提供給學(xué)習(xí)部分26。此外，顯示控制部分M把作為來(lái)自鑒別部分27的鑒別結(jié)果，鑒別的其中存在預(yù)定 鑒別目標(biāo)的圖像提供給顯示部分25，以便顯示。顯示部分25顯示來(lái)自顯示控制部分M的樣本圖像，鑒別結(jié)果等等。學(xué)習(xí)部分沈根據(jù)來(lái)自顯示控制部分M的學(xué)習(xí)圖像，執(zhí)行生成用于鑒別在圖像中是否存在預(yù)定鑒別目標(biāo)(例如，圖2中所示的手表)的鑒別器的學(xué)習(xí)處理，并把作為結(jié)果獲 得的鑒別器提供給鑒別部分27。學(xué)習(xí)部分沈執(zhí)行的學(xué)習(xí)處理的細(xì)節(jié)將在后面參考圖3-5，及圖7中的流程圖進(jìn)行 說(shuō)明。鑒別部分27利用來(lái)自學(xué)習(xí)部分沈的鑒別器，執(zhí)行鑒別處理，所述鑒別處理鑒別在 保存在圖像存儲(chǔ)部分23據(jù)有的，依據(jù)用戶的選擇操作選擇的圖像數(shù)據(jù)庫(kù)中的圖像(這里， 把學(xué)習(xí)圖像排除在外)中，是否存在預(yù)定鑒別目標(biāo)。此外，鑒別部分27把在鑒別處理中鑒別的，在圖像中存在預(yù)定鑒別目標(biāo)的圖像作 為鑒別結(jié)果提供給顯示控制部分對(duì)。由鑒別部分27執(zhí)行的鑒別處理的細(xì)節(jié)將在后面參考 圖8中的流程圖進(jìn)行說(shuō)明。[圖像分類(lèi)設(shè)備1執(zhí)行的圖像分類(lèi)處理的概況]圖2圖解說(shuō)明由圖像分類(lèi)設(shè)備1執(zhí)行的圖像分類(lèi)處理的概況。在步驟Si，顯示控制部分對(duì)從在構(gòu)成圖像存儲(chǔ)部分23的多個(gè)圖像數(shù)據(jù)庫(kù)之中，依 據(jù)用戶的選擇操作選擇的圖像數(shù)據(jù)庫(kù)(下面稱(chēng)為“所選圖像數(shù)據(jù)庫(kù)”)中，讀取多個(gè)樣本圖 像，隨后把讀出的樣本圖像提供給顯示部分25，以便顯示。這種情況下，用戶利用操作部分21，執(zhí)行從顯示在顯示部分25上的多個(gè)樣本圖 像中，指定正圖像或負(fù)圖像的指定操作。即，例如，用戶執(zhí)行把圖像中存在手表的樣本圖像 指定為正圖像，或者把圖像中存在除手表外的被攝主題的樣本圖像指定為負(fù)圖像的指定操 作。在步驟S2，顯示控制部分M把正標(biāo)簽附加到被指定為正圖像的樣本圖像上。相 反，顯示控制部分M把負(fù)標(biāo)簽附加到被指定為負(fù)圖像的樣本圖像上。此外，顯示控制部分 M把附加了正標(biāo)簽或負(fù)標(biāo)簽的樣本圖像，作為學(xué)習(xí)圖像提供給學(xué)習(xí)部分26。在步驟S3，學(xué)習(xí)部分沈利用來(lái)自顯示控制部分M的學(xué)習(xí)圖像，執(zhí)行生成用于鑒別 在圖像中是否存在預(yù)定鑒別目標(biāo)(圖2中所示例子中的手表)的鑒別器的學(xué)習(xí)處理，隨后 把作為結(jié)果獲得的鑒別器提供給鑒別部分27。鑒別部分27從圖像存儲(chǔ)部分23中，讀出保存在圖像存儲(chǔ)部分23的所選圖像數(shù)據(jù) 庫(kù)中的多個(gè)圖像之中，除學(xué)習(xí)圖像之外的一些圖像(未附加正標(biāo)簽或負(fù)標(biāo)簽的圖像)，作為 鑒別目標(biāo)圖像，所述鑒別目標(biāo)圖像是鑒別處理的目標(biāo)。此外，通過(guò)利用讀出的一些鑒別目標(biāo)圖像作為各個(gè)目標(biāo)，鑒別部分27利用來(lái)自學(xué) 習(xí)部分沈的鑒別器，執(zhí)行鑒別在圖像中是否存在預(yù)定鑒別目標(biāo)的鑒別處理。鑒別部分27把在鑒別處理中鑒別的，在圖像中存在預(yù)定鑒別目標(biāo)的鑒別目標(biāo)圖 像作為鑒別結(jié)果提供給顯示控制部分對(duì)。在步驟S4，顯示控制部分M把作為鑒別結(jié)果，來(lái)自鑒別部分27的鑒別目標(biāo)圖像提 供給顯示部分25，以便顯示。在參考顯示在顯示部分25上的鑒別結(jié)果，用戶不滿意借助于鑒別器的圖像分類(lèi) 的精度的情況下(例如，如圖2中所示，在包含作為被攝主題的熊貓的圖像被包括在鑒別結(jié) 果中的情況下)，用戶通過(guò)操作部分21執(zhí)行指令生成新的鑒別器的指令操作。當(dāng)執(zhí)行指令 操作時(shí)，程序從步驟S4進(jìn)入步驟S5。在步驟S5，顯示控制部分M按照用戶的指令操作，從圖像數(shù)據(jù)庫(kù)中讀出多個(gè)新的樣本圖像，所述多個(gè)新的樣本圖像不同于在先前的步驟S2的處理中顯示的多個(gè)樣本圖像， 隨后把讀取的新的樣本圖像提供給顯示部分25，以便顯示。隨后，程序返回步驟S2，之后執(zhí) 行相同的處理。此外，在參考顯示在顯示部分25上的鑒別結(jié)果，用戶滿意借助于鑒別器的圖像分 類(lèi)的精度的情況下(例如，在只有包含作為被攝主題的手表的圖像被包括在鑒別結(jié)果中的 情況下)，用戶利用操作部分21，執(zhí)行指令借助于鑒別器生成圖像聚類(lèi)的指令操作。按照該指令操作，程序從步驟S4進(jìn)入步驟S6。在步驟S6，鑒別部分27利用在先 前的步驟S3的處理中生成的鑒別器，鑒別在保存在所選圖像數(shù)據(jù)庫(kù)中的多個(gè)圖像中，是否 存在預(yù)定鑒別目標(biāo)。此外，鑒別部分27根據(jù)鑒別結(jié)果，生成由在圖像中存在預(yù)定鑒別目標(biāo)的多個(gè)圖像 形成的圖像聚類(lèi)，并把圖像聚類(lèi)提供給圖像存儲(chǔ)部分23，以便保存。隨后，結(jié)束圖像分類(lèi)處理。[學(xué)習(xí)部分沈執(zhí)行的學(xué)習(xí)處理]下面參考圖3-5，說(shuō)明由學(xué)習(xí)部分沈執(zhí)行的學(xué)習(xí)處理。學(xué)習(xí)部分沈執(zhí)行根據(jù)來(lái)自顯示控制部分M的學(xué)習(xí)圖像，生成鑒別器的學(xué)習(xí)處理。鑒別器包括鑒別在圖像中是否存在預(yù)定鑒別目標(biāo)的多個(gè)弱鑒別器，并根據(jù)借助于 所述多個(gè)弱鑒別器的鑒別結(jié)果，確定最終鑒別結(jié)果。因此，由于在學(xué)習(xí)處理中，鑒別器的生成和多個(gè)弱鑒別器的生成是等價(jià)的，因此下 面將說(shuō)明多個(gè)弱鑒別器的生成。學(xué)習(xí)部分沈從由顯示控制部分M供給的學(xué)習(xí)圖像中，提取表示學(xué)習(xí)圖像的特征 并被表示成多維向量的圖像特征量。此外，學(xué)習(xí)部分沈根據(jù)提取的圖像特征量，生成多個(gè)弱鑒別器。不過(guò)，在用數(shù)量較 少的學(xué)習(xí)圖像進(jìn)行鑒別器的生成的情況下，學(xué)習(xí)圖像的圖像特征量的維數(shù)較大(構(gòu)成作為 圖像特征量的向量的元素的數(shù)目較大)，從而引起過(guò)度學(xué)習(xí)(過(guò)度擬合)。從而，為了抑制過(guò)度學(xué)習(xí)，學(xué)習(xí)部分沈按照學(xué)習(xí)圖像的數(shù)目，執(zhí)行限制用于學(xué)習(xí) 的圖像特征量的維數(shù)的隨機(jī)標(biāo)引(randomindexing)。[隨機(jī)標(biāo)引]下面，圖3是圖解說(shuō)明由學(xué)習(xí)部分沈執(zhí)行的隨機(jī)標(biāo)引的示圖。圖3圖解說(shuō)明用于生成多個(gè)弱鑒別器41-1 41-M的隨機(jī)特征量的例子。在圖3中，作為用于多個(gè)弱鑒別器41-1 41-M中的每個(gè)弱鑒別器的圖像特征量， 顯示了用M維向量表示的圖像特征量。因此，在圖3中，圖像特征量是用M個(gè)維特征量(元素)構(gòu)成的。學(xué)習(xí)部分沈生成指示構(gòu)成圖像特征量的多個(gè)維特征量之中，用于生成每個(gè)弱鑒 別器41-1 41-M的維特征量的隨機(jī)索引。即，例如，對(duì)于多個(gè)弱鑒別器41-1 41-M中的每個(gè)弱鑒別器，學(xué)習(xí)部分沈隨機(jī)確 定構(gòu)成學(xué)習(xí)圖像的圖像特征量的多個(gè)維特征量之中的，用于每個(gè)弱鑒別器41-1 41-M的 學(xué)習(xí)的預(yù)定數(shù)目的維特征量。依據(jù)按照學(xué)習(xí)圖像的數(shù)目，構(gòu)成學(xué)習(xí)圖像的圖像特征量的維特征量的數(shù)目等，預(yù) 先進(jìn)行的實(shí)驗(yàn)結(jié)果等，用于每個(gè)弱鑒別器41-1 41-M的學(xué)習(xí)的維特征量的數(shù)目較小，以致不會(huì)發(fā)生過(guò)度學(xué)習(xí)。此外，學(xué)習(xí)部分沈執(zhí)行隨機(jī)標(biāo)引，所述隨機(jī)標(biāo)引生成指示隨機(jī)確定的維特征量的 隨機(jī)索引，即，指示隨機(jī)確定的維特征量在構(gòu)成向量(它是圖像特征量)的元素之中的順序 的隨機(jī)索引。具體地說(shuō)，例如，學(xué)習(xí)部分沈生成把構(gòu)成作為圖像特征量的向量的M個(gè)元素之中 的，存在于第一、第三、第四、第六、第九到第十一、第十五到第十七、第二十、第二十一和第 二十四位置(圖3中用斜線表示)的13個(gè)維特征量表示為用于弱鑒別器41-1的學(xué)習(xí)的維 特征量的隨機(jī)索引。此外，例如，學(xué)習(xí)部分沈類(lèi)似地分別生成指示用于弱鑒別器41-2 41-M的學(xué)習(xí) 的維特征量的隨機(jī)索引。學(xué)習(xí)部分沈根據(jù)關(guān)于要生成的每個(gè)弱鑒別器41-1 41-M生成的隨機(jī)索引，提取 在構(gòu)成學(xué)習(xí)圖像的圖像特征量的多個(gè)維特征量之中，用隨機(jī)標(biāo)引指示的維特征量。此外，學(xué)習(xí)部分沈根據(jù)由提取的維特征量構(gòu)成的隨機(jī)特征量，生成弱鑒別器 41-1 41-M。[弱鑒別器的生成]下面，圖4圖解說(shuō)明學(xué)習(xí)部分沈利用根據(jù)隨機(jī)索引提取的隨機(jī)特征量，生成弱鑒 別器41-1 41-M的例子。在圖4的左側(cè)，表示從顯示控制部分M提供給學(xué)習(xí)部分沈的學(xué)習(xí)圖像61-1 61-N。學(xué)習(xí)部分沈根據(jù)關(guān)于弱鑒別器41-1生成的隨機(jī)索引，提取由來(lái)自顯示控制部 分24的學(xué)習(xí)圖像61-n(n = 1，2，...N)的圖像特征量提取的維特征量構(gòu)成的隨機(jī)特征量 81-n。此外，學(xué)習(xí)部分沈分別根據(jù)從學(xué)習(xí)圖像61-1 61-N的圖像特征量中提取的N個(gè) 隨機(jī)特征量81-1 81-N，利用SVM(支持向量機(jī))，生成弱鑒別器41-1。這里，SVM指的是在構(gòu)成每個(gè)給定的隨機(jī)特征量81-1 81-N的維特征量之中，建 立稱(chēng)為支持向量的分離超平面(供圖像鑒別之用的邊界面，和特征空間上的構(gòu)成隨機(jī)特征 量的維特征量存在于的邊界面)，以使置于分離超平面附近并且作為置于分離超平面周?chē)?的維特征量和分離超平面之間的距離的間隔(margin)最大化，隨后利用建立的分離超平 面，生成用于鑒別圖像的弱鑒別器的處理。學(xué)習(xí)部分沈還進(jìn)行除了弱鑒別器41-1之外的弱鑒別器41-2 41-M的生成。這 里，由于生成方法與弱鑒別器41-1的生成方法相同，因此其說(shuō)明將被省略。這同樣適用于 下面的說(shuō)明。此外，當(dāng)在利用SVM的弱鑒別器41-1的生成中，應(yīng)用SVM時(shí)，在SVM中使用出現(xiàn)在 核函數(shù)中的參數(shù)、由于軟間隔的緩和而出現(xiàn)的用于補(bǔ)償控制(penalty control)的參數(shù)，等等。因此，在進(jìn)行利用SVM的弱鑒別器41-1的生成之前，學(xué)習(xí)部分沈必須利用如圖5 中所示的確定方法，確定用于SVM的參數(shù)。[利用交叉驗(yàn)證的參數(shù)的確定方法]下面參考圖5，說(shuō)明由學(xué)習(xí)部分沈執(zhí)行的確定方法，所述確定方法利用交叉驗(yàn)證，確定用于SVM的參數(shù)。在圖5的上部，學(xué)習(xí)圖像Ll L4被表示成從顯示控制部分M提供給學(xué)習(xí)部分沈 的學(xué)習(xí)圖像。在學(xué)習(xí)圖像Ll L4之中，學(xué)習(xí)圖像Ll和L2代表正圖像，學(xué)習(xí)圖像L3和L4 代表負(fù)圖像。學(xué)習(xí)部分沈執(zhí)行順序把作為在SVM中使用的參數(shù)的候選者的多個(gè)候選參數(shù)設(shè)定 為關(guān)注參數(shù)，并計(jì)算指示關(guān)于關(guān)注參數(shù)的評(píng)價(jià)的評(píng)價(jià)值的交叉驗(yàn)證。S卩，例如，學(xué)習(xí)部分沈順序把四個(gè)學(xué)習(xí)圖像Ll L4設(shè)定為關(guān)注學(xué)習(xí)圖像(例如， 學(xué)習(xí)圖像Li)。此外，通過(guò)把利用關(guān)注參數(shù)的SVM應(yīng)用于四個(gè)學(xué)習(xí)圖像Ll L4之中的不 同于關(guān)注學(xué)習(xí)圖像的剩余學(xué)習(xí)圖像(例如，學(xué)習(xí)圖像L2 L4)，學(xué)習(xí)部分沈生成弱鑒別器 41-1。此外，學(xué)習(xí)部分沈通過(guò)利用生成的弱鑒別器41-1，使用關(guān)注學(xué)習(xí)圖像作為目標(biāo)，鑒別 在圖像中是否存在預(yù)定鑒別目標(biāo)。學(xué)習(xí)部分沈根據(jù)弱鑒別器41-1的鑒別結(jié)果，和附加在關(guān)注學(xué)習(xí)圖像上的正解標(biāo) 簽，鑒別弱鑒別器41-1是否正確地鑒別了關(guān)注學(xué)習(xí)圖像。如圖5中所示，通過(guò)順序把所有四個(gè)學(xué)習(xí)圖像Ll L4用作關(guān)注學(xué)習(xí)圖像，學(xué)習(xí)部 分26確定四個(gè)學(xué)習(xí)圖像Ll L4是否都被正確鑒別。此外，例如，學(xué)習(xí)部分沈根據(jù)作為關(guān) 注參數(shù)的評(píng)價(jià)值的確定結(jié)果，產(chǎn)生四個(gè)學(xué)習(xí)圖像Ll L4中的每個(gè)學(xué)習(xí)圖像能夠被精確鑒 別的概率。學(xué)習(xí)部分沈把與關(guān)于作為關(guān)注參數(shù)的相應(yīng)候選參數(shù)計(jì)算的多個(gè)評(píng)價(jià)值中的最大 評(píng)價(jià)值(最高評(píng)價(jià)值)對(duì)應(yīng)的候選參數(shù)，確定為用于SVM的最終參數(shù)。此外，學(xué)習(xí)部分沈根據(jù)四個(gè)學(xué)習(xí)圖像Ll L4，用被應(yīng)用所確定參數(shù)的SVMdAR 生成弱鑒別器41-m(m= 1，2，...，M)的學(xué)習(xí)處理。此外，學(xué)習(xí)部分沈按照下述公式1，計(jì)算指示用生成的弱鑒別器41-m執(zhí)行的鑒別 的置信程度的置信度。[公式1]
權(quán)利要求
1.一種學(xué)習(xí)設(shè)備，包括學(xué)習(xí)裝置，所述學(xué)習(xí)裝置隨著用戶從多個(gè)樣本圖像中指定了用 于使鑒別在圖像中是否存在預(yù)定鑒別目標(biāo)的鑒別器進(jìn)行學(xué)習(xí)的學(xué)習(xí)圖像，利用包括維特征 量的隨機(jī)特征量來(lái)使得所述鑒別器進(jìn)行學(xué)習(xí)，所述維特征量是從包含在指示學(xué)習(xí)圖像的特 征的圖像特征量中的多個(gè)維特征量中隨機(jī)選擇的。
2.按照權(quán)利要求1所述的學(xué)習(xí)設(shè)備，其中學(xué)習(xí)裝置通過(guò)間隔最大化學(xué)習(xí)來(lái)訓(xùn)練所述鑒別器，所述間隔最大化學(xué)習(xí)使所述隨 機(jī)特征量所存在的特征空間中的間隔最大化，所述間隔表示用于鑒別在圖像中是否存在預(yù) 定鑒別目標(biāo)的分離超平面與包括在所述隨機(jī)特征量中的維特征量之中的、位于所述分離超 平面附近的維特征量之間的距離。
3.按照權(quán)利要求2所述的學(xué)習(xí)設(shè)備，其中學(xué)習(xí)裝置包括圖像特征量提取裝置，用于從學(xué)習(xí)圖像中提取表示學(xué)習(xí)圖像的特征并被表示成具有多 維的向量的圖像特征量；隨機(jī)特征量生成裝置，用于隨機(jī)選擇作為圖像特征量的各維的元素的所述多個(gè)維特征 量中的一些維特征量，并生成包括所選擇的維特征量的隨機(jī)特征量；以及鑒別器生成裝置，用于利用所述隨機(jī)特征量，通過(guò)間隔最大化學(xué)習(xí)，生成鑒別器。
4.按照權(quán)利要求3所述的學(xué)習(xí)設(shè)備，其中鑒別器根據(jù)用于確定在鑒別目標(biāo)圖像中是否存在預(yù)定鑒別目標(biāo)的多個(gè)弱鑒別器 的確定結(jié)果，輸出最終的確定結(jié)果，其中隨機(jī)特征量生成裝置針對(duì)所述多個(gè)弱鑒別器中的每個(gè)弱鑒別器，生成用于生成弱 鑒別器的隨機(jī)特征量，和其中鑒別器生成裝置根據(jù)針對(duì)所述多個(gè)弱鑒別器中的每個(gè)弱鑒別器生成的隨機(jī)特征 量，生成所述多個(gè)弱鑒別器。
5.按照權(quán)利要求4所述的學(xué)習(xí)設(shè)備，其中鑒別器生成裝置還根據(jù)所述隨機(jī)特征量，生成指示弱鑒別器的確定結(jié)果的可靠性 程度的置信度。
6.按照權(quán)利要求5所述的學(xué)習(xí)設(shè)備，其中鑒別器生成裝置根據(jù)所述多個(gè)弱鑒別器和置信度，生成輸出鑒別確定值的鑒別 器，所述鑒別確定值表示作為從所述多個(gè)弱鑒別器中的每個(gè)弱鑒別器輸出的確定結(jié)果的確 定值與所述置信度之間的乘積和運(yùn)算結(jié)果，其中鑒別裝置根據(jù)從鑒別器輸出的鑒別確定值，鑒別在鑒別目標(biāo)圖像中是否存在預(yù)定 鑒別目標(biāo)。
7.按照權(quán)利要求3所述的學(xué)習(xí)設(shè)備，其中每當(dāng)用戶指定學(xué)習(xí)圖像時(shí)，隨機(jī)特征量生成裝置生成不同的隨機(jī)特征量。
8.按照權(quán)利要求7所述的學(xué)習(xí)設(shè)備，其中學(xué)習(xí)圖像包括在圖像中存在預(yù)定鑒別目標(biāo)的正圖像和在圖像中不存在預(yù)定鑒別 目標(biāo)的負(fù)圖像，其中學(xué)習(xí)裝置還包括增加偽負(fù)圖像作為學(xué)習(xí)圖像的負(fù)圖像增加裝置。
9.按照權(quán)利要求8所述的學(xué)習(xí)設(shè)備，其中學(xué)習(xí)裝置還包括正圖像增加裝置，該正圖像增加裝置用于在鑒別器生成裝置生成 鑒別器之后預(yù)定條件被滿足時(shí)，增加偽正圖像作為學(xué)習(xí)圖像，和其中鑒別器生成裝置根據(jù)被增加了偽正圖像的學(xué)習(xí)圖像的隨機(jī)特征量，生成鑒別器。
10.按照權(quán)利要求9所述的學(xué)習(xí)設(shè)備，其中在正圖像和偽正圖像的總數(shù)小于負(fù)圖像和偽負(fù)圖像的總數(shù)的條件被滿足的情況 下，正圖像增加裝置增加偽正圖像作為學(xué)習(xí)圖像。
11.按照權(quán)利要求2所述的學(xué)習(xí)設(shè)備，其中學(xué)習(xí)裝置進(jìn)行利用支持向量機(jī)的學(xué)習(xí)作為間隔最大化學(xué)習(xí)。
12.按照權(quán)利要求1所述的學(xué)習(xí)設(shè)備，還包括利用鑒別器鑒別在鑒別目標(biāo)圖像中是否存在預(yù)定鑒別目標(biāo)的鑒別裝置，其中在用戶按照鑒別裝置的鑒別處理重新指定了學(xué)習(xí)圖像的情況下，學(xué)習(xí)裝置利用所 指定的學(xué)習(xí)圖像，重復(fù)進(jìn)行鑒別器的學(xué)習(xí)。
13.按照權(quán)利要求12所述的學(xué)習(xí)設(shè)備，其中在用戶按照鑒別裝置的鑒別處理，指示生成包括在圖像中存在預(yù)定鑒別目標(biāo)的鑒 別目標(biāo)圖像的圖像聚類(lèi)的情況下，鑒別裝置根據(jù)由學(xué)習(xí)裝置生成的最新鑒別器，從所述多 個(gè)鑒別目標(biāo)圖像生成圖像聚類(lèi)。
14.一種學(xué)習(xí)設(shè)備中的學(xué)習(xí)方法，所述學(xué)習(xí)設(shè)備使用于鑒別在圖像中是否存在預(yù)定鑒 別目標(biāo)的鑒別器進(jìn)行學(xué)習(xí)，所述學(xué)習(xí)設(shè)備包括學(xué)習(xí)裝置，所述方法包括下述步驟隨著用戶從多個(gè)樣本圖像中指定了用于使鑒別在圖像中是否 存在預(yù)定鑒別目標(biāo)的鑒別器進(jìn)行學(xué)習(xí)的學(xué)習(xí)圖像，由學(xué)習(xí)裝置利用包括維特征量的隨機(jī)特 征量來(lái)使得所述鑒別器進(jìn)行學(xué)習(xí)，所述維特征量是從包含在指示學(xué)習(xí)圖像的特征的圖像特 征量中的多個(gè)維特征量中隨機(jī)選擇的。
15.一種使計(jì)算機(jī)起學(xué)習(xí)裝置作用的程序，所述學(xué)習(xí)裝置按照由用戶從多個(gè)樣本圖像 中指定的，用于訓(xùn)練鑒別在圖像中是否存在預(yù)定鑒別目標(biāo)的鑒別器的學(xué)習(xí)圖像，利用包括 從包含在指示學(xué)習(xí)圖像的特征的圖像特征量中的多個(gè)維特征量中，隨機(jī)選擇的維特征量的 隨機(jī)特征量，訓(xùn)練所述鑒別器。
16.一種學(xué)習(xí)設(shè)備，包括學(xué)習(xí)部分，所述學(xué)習(xí)部分隨著用戶從多個(gè)樣本圖像中指定了用 于使得鑒別在圖像中是否存在預(yù)定鑒別目標(biāo)的鑒別器進(jìn)行學(xué)習(xí)的學(xué)習(xí)圖像，利用包括維特 征量的隨機(jī)特征量來(lái)使得所述鑒別器進(jìn)行學(xué)習(xí)，所述維特征量是從包含在指示學(xué)習(xí)圖像的 特征的圖像特征量中的多個(gè)維特征量中隨機(jī)選擇的。
全文摘要
本發(fā)明涉及學(xué)習(xí)設(shè)備、學(xué)習(xí)方法和程序。一種學(xué)習(xí)設(shè)備，包括學(xué)習(xí)部分，所述學(xué)習(xí)部分按照由用戶從多個(gè)樣本圖像中指定的，用于訓(xùn)練鑒別在圖像中是否存在預(yù)定鑒別目標(biāo)的鑒別器的學(xué)習(xí)圖像，利用包括從包含在指示學(xué)習(xí)圖像的特征的圖像特征量中的多個(gè)維特征量中，隨機(jī)選擇的維特征量的隨機(jī)特征量，訓(xùn)練所述鑒別器。
文檔編號(hào)G06K9/66GK102136072SQ201010610590
公開(kāi)日2011年7月27日 申請(qǐng)日期2010年12月29日 優(yōu)先權(quán)日2010年1月21日
發(fā)明者巖井嘉昭, 本間俊一, 蘆原隆之 申請(qǐng)人:索尼公司