本發(fā)明涉及圖像分類、自步學(xué)習(xí)和增強學(xué)習(xí)領(lǐng)域，具體涉及一種基于自步增強學(xué)習(xí)的圖像分類方法及系統(tǒng)。

背景技術(shù)：

隨著網(wǎng)絡(luò)和攝像機的普及，各種形式的圖像數(shù)據(jù)呈爆炸性增長，從海量的圖像數(shù)據(jù)中理解圖像內(nèi)容、挖掘有意義的模式并做出準(zhǔn)確的類別預(yù)測的分類機器學(xué)習(xí)技術(shù)顯得尤為重要。一般地，機器學(xué)習(xí)的兩個基本原則是學(xué)習(xí)的有效性和學(xué)習(xí)的魯棒性(穩(wěn)健性)。一方面，圖像數(shù)據(jù)特征的分布具有較高的復(fù)雜性和非線性；對此，有效學(xué)習(xí)要求所學(xué)的模型應(yīng)能精確地反映數(shù)據(jù)的內(nèi)在分布模式以實現(xiàn)準(zhǔn)確的預(yù)測。另一方面，圖像數(shù)據(jù)及其類別標(biāo)注的來源廣泛而多樣，其中難免會包含帶有標(biāo)簽噪聲的樣本和模式復(fù)雜、模糊的樣本；對此，魯棒學(xué)習(xí)要求模型能對噪聲樣本和模式復(fù)雜的樣本不敏感，從而使學(xué)習(xí)側(cè)重于可靠的樣本，少受噪聲樣本和復(fù)雜樣本的影響。具體地，噪聲樣本是類別標(biāo)注錯誤的不該被學(xué)習(xí)的離群點，復(fù)雜樣本對應(yīng)著難以被當(dāng)前模型空間學(xué)習(xí)的復(fù)雜分布模式。

有效學(xué)習(xí)的難點來自于圖像特征分布的復(fù)雜性和非線性，增強學(xué)習(xí)方法基于此被提出。增強學(xué)習(xí)的基本思想在于將多個弱模型/弱學(xué)習(xí)器(僅比隨機猜測稍好的學(xué)習(xí)器)整合成強模型/強學(xué)習(xí)器(準(zhǔn)確率較高的學(xué)習(xí)器)，這些弱模型依次序列產(chǎn)生，且每個弱模型都側(cè)重于擬合被前面的弱模型預(yù)測錯誤的樣本。增強學(xué)習(xí)的優(yōu)勢在于它通過一個逐段的近似過程來逼近數(shù)據(jù)的復(fù)雜分布，從而充分?jǐn)M合每個訓(xùn)練樣本。然而，由于增強學(xué)習(xí)的每一步都針對當(dāng)前被預(yù)測錯誤的樣本，其會對有噪聲的樣本和模式復(fù)雜的樣本很敏感，使模型擬合這些樣本的優(yōu)化過程會降低模型的泛化能力從而降低預(yù)測性能。因此，增強學(xué)習(xí)模型具有較高的判別力和有效性，但缺乏學(xué)習(xí)的魯棒性。

魯棒學(xué)習(xí)的目標(biāo)是減小數(shù)據(jù)中的噪聲樣本和復(fù)雜樣本對模型學(xué)習(xí)的影響。一般地，實現(xiàn)魯棒學(xué)習(xí)依賴一個能區(qū)分可靠樣本和噪聲/復(fù)雜樣本的樣本選擇機制，自步學(xué)習(xí)便是其中的代表。自步學(xué)習(xí)的思想在于使模型逐步地從易樣本學(xué)習(xí)到難樣本，即模仿人類的學(xué)習(xí)過程，從易到難地逐步將訓(xùn)練樣本引入模型學(xué)習(xí)中。自步學(xué)習(xí)通過一個嵌入的自適應(yīng)樣本選取機制，平滑了模型學(xué)習(xí)的過程，使模型被引導(dǎo)至集中于可靠的判別性強的樣本的模式，而不是噪聲和復(fù)雜樣本的模式，從而增強了學(xué)習(xí)的魯棒性。

綜上所述，增強學(xué)習(xí)和自步學(xué)習(xí)在具有思想上的一致性和方法上的互補性。對于一致性，兩種方法都基于漸近式學(xué)習(xí)的思想，從一個弱的/簡單的狀態(tài)逐步學(xué)習(xí)到強的/復(fù)雜的狀態(tài)。對于互補性，兩種方法分別針對了機器學(xué)習(xí)的兩個方面，即學(xué)習(xí)的有效性和魯棒性。此外，兩種學(xué)習(xí)方法致力于不同的方向，增強學(xué)習(xí)著重于負向抑制當(dāng)前學(xué)習(xí)不充分的樣本，而自步學(xué)習(xí)則以一個自適應(yīng)的步調(diào)正向鼓勵容易學(xué)的樣本。因此，對于圖像分類任務(wù)，增強學(xué)習(xí)和自步學(xué)習(xí)傾向于從彼此的思想中受益。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種有效和魯棒的圖像分類方法，結(jié)合增強學(xué)習(xí)和自步學(xué)習(xí)的優(yōu)點，以同時實現(xiàn)學(xué)習(xí)的有效性和魯棒性。該方法能夠提高圖像分類的準(zhǔn)確率，同時能對訓(xùn)練數(shù)據(jù)中的標(biāo)簽噪聲有較好的魯棒性和容錯能力。

為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案為：

一種自步增強圖像分類方法，包括如下步驟：

S10：輸入用于分類學(xué)習(xí)的圖像數(shù)據(jù)及其類別標(biāo)簽，對數(shù)據(jù)進行特征提取，得到可用于機器學(xué)習(xí)的圖像樣本特征；

S20：基于增強學(xué)習(xí)框架和自步學(xué)習(xí)框架，建立數(shù)學(xué)模型；

S30：根據(jù)所建立的數(shù)學(xué)模型，推導(dǎo)各參數(shù)的更新公式，迭代地更新模型的參數(shù)和模型的弱分類器集合，直至收斂，得到分類模型；

S40：根據(jù)所學(xué)習(xí)到的分類模型，對新輸入的測試圖像樣本進行分類，輸出預(yù)測的類別標(biāo)簽。

進一步的，步驟S20包括：

S201：基于增強學(xué)習(xí)框架構(gòu)建模型的分類函數(shù)，基于自步學(xué)習(xí)框架構(gòu)建模型的目標(biāo)函數(shù)，并添加正則項作規(guī)范化。

進一步的，步驟S30包括：

S301：通過交替優(yōu)化方法對模型的各參數(shù)迭代優(yōu)化；

S302：每次迭代中，利用列生成法學(xué)習(xí)新的弱分類器以更新分類模型的弱分類器集合。

進一步的，所述的對圖像數(shù)據(jù)進行特征提取所提取的特征為空間金字塔特征。

進一步的，當(dāng)提取的特征為空間金字塔特征時，上述方法具體包括：

輸入用于分類學(xué)習(xí)的圖像數(shù)據(jù)及其類別標(biāo)簽，對已標(biāo)注了類別標(biāo)簽的圖像數(shù)據(jù)提取空間金字塔特征，得到訓(xùn)練數(shù)據(jù)集D＝{(x₁，y₁)，...，(x_n，y_n)}，其中，是第i個圖像的空間金字塔特征，y_i∈{1，...，C}是第i個圖像的類別(i＝1，...，n)，n是圖像樣本的個數(shù)，d是特征維度，C是類別的總數(shù)；

對訓(xùn)練數(shù)據(jù)集D，基于增強學(xué)習(xí)框架，構(gòu)建分類函數(shù)：

其中，是一個二分類弱分類器；k是弱分類器的個數(shù)；w_rj≥0是待學(xué)習(xí)的參數(shù)；矩陣其中每一列w_r＝[w_r1，...，w_rk]^T；

基于自步學(xué)習(xí)框架，構(gòu)建目標(biāo)函數(shù)，并添加正則化項：

其中，L(·)是損失函數(shù)；v_i是樣本i的自步學(xué)習(xí)權(quán)重；是自步學(xué)習(xí)函數(shù)，λ＞0為其參數(shù)；矩陣包含各弱分類器對各樣本的輸出，[H_ij]＝[h_j(x_i)]，H_i：表示H的第i行；R(W)是正則項；β＞0是預(yù)設(shè)定的權(quán)衡參數(shù)；

根據(jù)上述模型，推導(dǎo)各參數(shù)的更新公式，迭代地更新模型的參數(shù)和模型的弱分類器集合，直至收斂；

對新輸入的測試圖像，提取其空間金字塔特征x，其預(yù)測類別為：

y(x)＝argmax_{r∈{1，...，C}}F_r(x；W)。

本發(fā)明還包括上述的自步增強圖像分類方法在圖像分類問題中的應(yīng)用。

另一方面，本發(fā)明提供了一種自步增強圖像分類系統(tǒng)，包括如下模塊：

數(shù)據(jù)預(yù)處理模塊：用于輸入用于分類學(xué)習(xí)的圖像數(shù)據(jù)及其類別標(biāo)簽，對數(shù)據(jù)進行特征提取，輸出可用于機器學(xué)習(xí)的圖像樣本特征；

建模模塊：用于根據(jù)數(shù)據(jù)預(yù)處理模塊輸出的圖像樣本特征，基于增強學(xué)習(xí)框架和自步學(xué)習(xí)框架，建立分類數(shù)學(xué)模型；

參數(shù)更新模塊：用于根據(jù)建模模塊建立的數(shù)學(xué)模型，推導(dǎo)各參數(shù)的更新公式，迭代地更新模型的參數(shù)和模型的弱分類器集合，直至收斂，得到分類模型；

分類預(yù)測模塊：用于根據(jù)參數(shù)更新模塊輸出的分類模型，對新輸入的測試圖像樣本進行分類，輸出預(yù)測的類別標(biāo)簽。

優(yōu)選的，所述建模模塊以增強學(xué)習(xí)為框架構(gòu)建模型的分類函數(shù)，以自步學(xué)習(xí)為框架構(gòu)建模型的目標(biāo)函數(shù)，并添加正則項作規(guī)范化。

優(yōu)選的，所述參數(shù)更新模塊通過交替優(yōu)化方法對模型的各參數(shù)迭代優(yōu)化，并于每次迭代中利用列生成法學(xué)習(xí)新的弱分類器以更新分類模型的弱分類器集合。

本發(fā)明還包括上述的自步增強圖像分類系統(tǒng)在圖像分類問題中的應(yīng)用。

本發(fā)明的圖像分類方法及系統(tǒng)針對解決圖像分類問題。一方面，圖像數(shù)據(jù)特征的分布具有較高的復(fù)雜性和非線性；另一方面，圖像數(shù)據(jù)及其類別標(biāo)注的來源廣泛而多樣，使得圖像數(shù)據(jù)難免具有噪聲標(biāo)簽樣本和模式復(fù)雜、模糊的樣本。因此，圖像分類問題對分類模型有較高的有效性和魯棒性要求?；诖?，本發(fā)明結(jié)合了具有很高有效性的增強學(xué)習(xí)和具有很高魯棒性的自步學(xué)習(xí)的優(yōu)點，充分利用了增強學(xué)習(xí)和自步學(xué)習(xí)的一致性和互補性，使學(xué)習(xí)的分類模型同時注重了對樣本的區(qū)分能力和參與學(xué)習(xí)的樣本的可靠性，同時增強了分類模型的有效性和魯棒性。本發(fā)明克服了傳統(tǒng)的分類方法單一注重有效學(xué)習(xí)或魯棒學(xué)習(xí)的局限。相比于傳統(tǒng)的圖像分類方法，本發(fā)明具有更高的分類準(zhǔn)確率和對標(biāo)簽噪聲的魯棒性。

附圖說明

圖1為本發(fā)明的自步增強圖像分類方法的流程示意圖。

圖2為本發(fā)明的建模參數(shù)更新流程示意圖。

圖3為本發(fā)明的自步增強圖像分類系統(tǒng)的模塊結(jié)構(gòu)框圖。

具體實施方式

為使得本發(fā)明的發(fā)明目的、特征、優(yōu)點能夠更加的明顯和易懂，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，下面所描述的實施例僅僅是本發(fā)明一部分實施例，而非全部實施例。基于本發(fā)明中的實施例，本領(lǐng)域的技術(shù)人員所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的術(shù)語在適當(dāng)情況下可以互換，這僅僅是描述本發(fā)明的實施例中對相同屬性的對象在描述時所采用的區(qū)分方式。此外，術(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，以便包含一系列單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于那些單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它單元。

以下分別進行詳細說明。

本發(fā)明的一個實施示例提供了一種自步增強圖像分類方法。

參照圖1所示，本發(fā)明的一種自步增強圖像分類方法，基于增強學(xué)習(xí)和自步學(xué)習(xí)框架構(gòu)建和學(xué)習(xí)一個分類模型，據(jù)此可對新的測試樣本輸出其類別標(biāo)簽。具體包括如下步驟：

S10：輸入用于分類學(xué)習(xí)的圖像數(shù)據(jù)及其類別標(biāo)簽，對數(shù)據(jù)進行特征提取，得到可用于機器學(xué)習(xí)的圖像樣本特征；

S20：基于增強學(xué)習(xí)框架和自步學(xué)習(xí)框架建立數(shù)學(xué)模型；具體地，基于增強學(xué)習(xí)框架構(gòu)建模型的分類函數(shù)，基于自步學(xué)習(xí)框架構(gòu)建模型的目標(biāo)函數(shù)，并添加正則項作規(guī)范化；

S30：根據(jù)所建立的數(shù)學(xué)模型，推導(dǎo)各參數(shù)的更新公式，迭代地更新模型的參數(shù)和模型的弱分類器集合，直至收斂，得到分類模型；

具體包括：S301：通過交替優(yōu)化方法對模型的各參數(shù)迭代優(yōu)化；

S302：每次迭代中，利用列生成法學(xué)習(xí)新的弱分類器以更新分類模型的弱分類器集合。

S40：根據(jù)所學(xué)習(xí)到的分類模型，對新輸入的測試圖像樣本進行分類，輸出預(yù)測的類別標(biāo)簽。

下面以圖像的空間金字塔特征為例，對本發(fā)明的圖像分類方法進行說明。其中，包括如下步驟：

S100：輸入用于分類的圖像數(shù)據(jù)及其類別標(biāo)簽，對其提取空間金字塔特征，記為訓(xùn)練數(shù)據(jù)集D＝{(x₁，y₁)，...，(x_n，y_n)}，其中，是第i個圖像的空間金字塔特征，y_i∈{1，...，C}是第i個圖像的類別(i＝1，...，n)，n是圖像樣本的個數(shù)，d是特征維度，C是類別的總數(shù)。

S200：對步驟S100所的得到的由圖像特征和標(biāo)簽組成的訓(xùn)練集D，基于增強模型框架和自步學(xué)習(xí)框架，建立數(shù)學(xué)模型。具體地，建立數(shù)學(xué)模型如下：

首先，基于增強學(xué)習(xí)框架構(gòu)建分類函數(shù)。將每個類別的分類函數(shù)F_r(·)(r＝1，...，C)形式化為弱分類器集合的線性組合：

其中，是一個二分類弱分類器；w_rj≥0是待學(xué)習(xí)的參數(shù)。矩陣其中每一列w_r＝[w_r1，...，w_rk]^T。

基于自步學(xué)習(xí)框架，建立數(shù)學(xué)模型的目標(biāo)函數(shù)如下：

其中，L(·)是損失函數(shù)；v_i是樣本i的自步學(xué)習(xí)權(quán)重；是自步學(xué)習(xí)函數(shù)，λ＞0為其參數(shù)；矩陣包含各弱分類器對各樣本的輸出，[H_ij]＝[h_j(x_i)]，H_i：表示H的第i行；R(W)是正則項；β＞0是預(yù)設(shè)定的權(quán)衡參數(shù)；W≥0表示W(wǎng)的每個元素都不小于0。

一般地，損失函數(shù)L(·)應(yīng)為單調(diào)遞減的凸函數(shù)；自步學(xué)習(xí)函數(shù)g(·；λ)應(yīng)滿足以下3個條件：(1)g(v_i；λ)關(guān)于v_i∈[0，1]是凸函數(shù)；(2)記其中則關(guān)于l_i單調(diào)遞減；(3)關(guān)于λ單調(diào)遞增。

以邏輯斯蒂損失函數(shù)、硬權(quán)重自步學(xué)習(xí)函數(shù)和l₁范數(shù)正則化為例，上述數(shù)學(xué)模型具體化如下：

其中，||W||₁＝∑_i，rw_ir；增強學(xué)習(xí)參數(shù)W和自步學(xué)習(xí)權(quán)重v是優(yōu)化變量。

S300：對步驟S200建立的數(shù)學(xué)模型，利用交替優(yōu)化方法對模型的參數(shù)迭代優(yōu)化。算法的流程如圖2所示，具體分為以下6步：

(1)初始化參數(shù)v，λ，初始化輔助變量矩陣初始化弱分類器集合B為空集：

(2)學(xué)習(xí)新的弱分類器以更新弱分類器集合B：

其中，在r＝y(tǒng)_i時取值1，在r≠y_i時取值0。

(3)通過凸優(yōu)化方法更新增強學(xué)習(xí)參數(shù)W：

(4)更新輔助變量矩陣U：

(5)更新自步學(xué)習(xí)權(quán)重v：

其中

(6)若λ小于一個預(yù)設(shè)定上限λ_max，則增加λ：λ＝μλ(μ＞1)；否則，λ保持不變。μ＞1是預(yù)設(shè)定的遞增倍數(shù)。

迭代進行(2)至(6)步，直至滿足以下收斂條件：

其中，∈＞0是預(yù)設(shè)定的容忍門限。

S400：根據(jù)S300輸出的參數(shù)W和弱分類器集合對新輸入的圖像樣本，提取其空間金字塔特征x，輸出其最大的分類函數(shù)值對應(yīng)的類別，作為x的預(yù)測類別：

本發(fā)明的另一實施例為一種自步增強圖像分類系統(tǒng)，如圖3所示，包括數(shù)據(jù)預(yù)處理模塊、建模模塊、參數(shù)更新模塊和分類預(yù)測模塊。

其中，數(shù)據(jù)預(yù)處理模塊輸入用于分類學(xué)習(xí)的圖像數(shù)據(jù)及其類別標(biāo)簽，對數(shù)據(jù)進行特征提取，輸出可用于機器學(xué)習(xí)的圖像樣本特征；建模模塊根據(jù)數(shù)據(jù)預(yù)處理模塊輸出的圖像樣本特征，基于增強學(xué)習(xí)框架和自步學(xué)習(xí)框架，建立數(shù)學(xué)模型；具體地，建模模塊以增強學(xué)習(xí)為框架構(gòu)建模型的分類函數(shù)，以自步學(xué)習(xí)為框架構(gòu)建模型的目標(biāo)函數(shù)，并添加正則項作規(guī)范化；參數(shù)更新模塊根據(jù)建模模塊建立的數(shù)學(xué)模型，推導(dǎo)各參數(shù)的更新公式，迭代地更新模型的參數(shù)和模型的弱分類器集合，直至收斂，輸出分類模型；分類預(yù)測模塊根據(jù)參數(shù)更新模塊輸出的分類模型，對新輸入的測試圖像樣本進行分類，輸出預(yù)測的類別標(biāo)簽。

作為進一步的優(yōu)選方案，參數(shù)更新模塊通過交替優(yōu)化方法對模型的各參數(shù)迭代優(yōu)化，并于每次迭代中利用列生成法學(xué)習(xí)新的弱分類器以更新分類模型的弱分類器集合。

本發(fā)明針對圖像數(shù)據(jù)分布的復(fù)雜性以及含有復(fù)雜樣本和標(biāo)簽噪聲的問題，基于增強學(xué)習(xí)和自步學(xué)習(xí)框架構(gòu)建圖像分類數(shù)學(xué)模型，使分類模型同時注重了對樣本的區(qū)分能力和參與學(xué)習(xí)的樣本的可靠性，同時增強了模型的有效性和魯棒性。本發(fā)明克服了傳統(tǒng)的分類方法單一注重有效學(xué)習(xí)或魯棒學(xué)習(xí)的局限，相比于傳統(tǒng)的圖像分類方法具有更高的分類準(zhǔn)確率和對標(biāo)簽噪聲的魯棒性。

綜上所述，以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照上述實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對上述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。