專利名稱：基于全變差和歐拉彈性桿的有監(jiān)督模式識別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識別技術(shù)領(lǐng)域，具體涉及將圖像處理中基于全變差和歐拉彈性桿的模型應(yīng)用于能量最小化的最小二乘正則化(RLS)框架，用于有監(jiān)督的模式識別。
背景技術(shù)：
有監(jiān)督學(xué)習(xí)技術(shù)是模式識別領(lǐng)域中的一大熱門問題，在計算機視覺等多個領(lǐng)域有著廣泛的應(yīng)用。模式識別究其本質(zhì)研究的是分類技術(shù)，在不產(chǎn)生歧義的情況下 ，本說明書中用分類這個術(shù)語來指代模式識別。有監(jiān)督分類指的是利用有標(biāo)簽的訓(xùn)練樣本集訓(xùn)練出一種規(guī)則(分類器)來對新的樣本進行預(yù)測，其一般形式描述為給定訓(xùn)練集{(Xl，yi)，...(xn，yn)}，其中Xi G Rd，Rd為d維實向量空間，對于二類分類問題yie {+1，-1}。其實質(zhì)是要學(xué)習(xí)一個從向量X到標(biāo)簽y的映射，因此可以把分類問題歸到一個函數(shù)學(xué)習(xí)的框架下來考慮。一般的有監(jiān)督分類的正則化框架可以表示為min其中U(X)是要學(xué)習(xí)的映射函數(shù)，n是訓(xùn)練樣本個數(shù)，L代表損失函數(shù)，S (U)是正則項用來刻畫映射U(X)的某些性質(zhì)，X是參數(shù)，用來調(diào)節(jié)損失項和正則項的比重。當(dāng)L取預(yù)測值u(X)和真實值y之差的平方時，就是最小二乘正則化框架，本發(fā)明就是基于這個最小二乘正則化的連續(xù)情況下的框架?，F(xiàn)有的一些方法如SVM，采用的hinge損失函數(shù)，正則項懲罰的是分界面的間隙寬度，但其仍是基于統(tǒng)計學(xué)習(xí)理論。常用的貝葉斯推理等統(tǒng)計學(xué)方法雖然取得了豐碩的成果，但也逐漸暴露出某些缺點，比如參數(shù)過多從而導(dǎo)致維數(shù)災(zāi)難，經(jīng)典的統(tǒng)計分布函數(shù)與真實數(shù)據(jù)的實際分布不一致，難以有效估計數(shù)據(jù)的概率密度函數(shù)等。目前基于泛函能量極小化的函數(shù)學(xué)習(xí)方法越來越受到重視，R. M. Rifkin在2003年提出基于Tikhonov正則化的最小二乘分類(RLSC) ;2010年Kush R等利用水平集的方法做有監(jiān)督分類的研究，借鑒圖像分割中的水平集方法，將決策邊界(水平集函數(shù)的零水平集)的表面積作為正則化能量泛函，都取得了不錯的效果。本發(fā)明從基礎(chǔ)數(shù)學(xué)的角度出發(fā)，在一個連續(xù)的框架下建立能量泛函正則化模型，并利用泛函分析變分法等工具，采用合理的求解方法來實現(xiàn)有監(jiān)督分類。在圖像處理中，全變差圖像去噪模型和歐拉彈性桿圖像修補模型都取得了很大的成功，均是通過建立泛函模型，利用變分法等數(shù)學(xué)手段來求解。可以把圖像去噪、圖像修補理解為在已知的數(shù)據(jù)點上已有標(biāo)簽值(像素值)，要求得一個函數(shù)(要求的圖像)來預(yù)測未知的點或有污染的點上的值，將這種二維的情形上升到高維，就類似于分類問題。本發(fā)明將這兩種模型結(jié)合正則化的能量最小化框架來做有監(jiān)督分類，這兩種模型給出的正則項在不同程度上刻畫了所求函數(shù)的幾何性質(zhì)，使得從另一種全新的角度來解決分類問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種新的基于正則化框架的有監(jiān)督模式識別方法。
本發(fā)明的技術(shù)方案如下一種基于全變差和歐拉彈性桿的有監(jiān)督模式識別方法，該方法基于連續(xù)的最小二
乘正則化框架mjn \a(u(iL)-yfdiL + XS(U)，其中x是用于模式識別的一個樣本的特征向量
表示，u(x)為要求的函數(shù)，y為訓(xùn)練數(shù)據(jù)集中樣本X的類標(biāo)簽值，Q為訓(xùn)練樣本所處的定義域，、是參數(shù)，S(U)為正則項，所述正則項S(U)采用全變差和歐拉彈性桿的形式，從而得到新的有監(jiān)督模式識別方法。所述的有監(jiān)督模式識別方法，包括如下步驟(參圖I):
I)首先在所述最小二乘正則化框架下構(gòu)造出基于全變差和歐拉彈性桿的能量泛函；2)然后利用變分法將該能量泛函最小化問題轉(zhuǎn)換為求解對應(yīng)的歐拉-拉格朗日偏微分方程；3)對所述偏微分方程求解，進而得到最終的分類器；4)運用該分類器對數(shù)據(jù)進行模式識別。所述的有監(jiān)督模式識別方法，步驟3)中，采用梯度下降的時間搜索算法對所述偏微分方程進行求解，即增加一個虛擬的時間變量，采用梯度下降法對所述偏微分方程進行迭代求解。所述的有監(jiān)督模式識別方法，步驟3)中，采用滯后的線性方程組迭代法對所述偏微分方程進行求解，即固定住優(yōu)化代價函數(shù)中的非線性部分，使其變成一個線性方程組，對線性方程組求解后再更新之前滯后的非線性部分，進行反復(fù)迭代求解。所述的有監(jiān)督模式識別方法，步驟I)中所述全變差能量泛函為
權(quán)利要求
1.一種基于全變差和歐拉彈性桿的有監(jiān)督模式識別方法，該方法基于連續(xù)的最小二乘正則化框架mjnyfdiL + XS(u)，其中x是用于模式識別的一個樣本的特征向量表示，u(x)為要求的函數(shù)，y為訓(xùn)練數(shù)據(jù)集中樣本X的類標(biāo)簽值，Ω為訓(xùn)練樣本所處的定義域，λ是參數(shù)，S(u)為正則項， 其特征是， 所述正則項S(U)采用全變差和歐拉彈性桿的形式，從而得到新的有監(jiān)督模式識別方法。
2.如權(quán)利要求I所述的有監(jiān)督模式識別方法，其特征是，包括如下步驟 1)首先在所述最小二乘正則化框架下構(gòu)造出基于全變差和歐拉彈性桿的能量泛函； 2)然后利用變分法將該能量泛函最小化問題轉(zhuǎn)換為求解對應(yīng)的歐拉-拉格朗日偏微分方程； 3)對所述偏微分方程求解，進而得到最終的分類器； 4)運用該分類器對數(shù)據(jù)進行模式識別。
3.如權(quán)利要求2所述的有監(jiān)督模式識別方法，其特征是，步驟3)中，采用梯度下降的時間搜索算法對所述偏微分方程進行求解，即增加一個虛擬的時間變量，采用梯度下降法對所述偏微分方程進行迭代求解。
4.如權(quán)利要求2所述的有監(jiān)督模式識別方法，其特征是，步驟3)中，采用滯后的線性方程組迭代法對所述偏微分方程進行求解，即固定住優(yōu)化代價函數(shù)中的非線性部分，使其變成一個線性方程組，對線性方程組求解后再更新之前滯后的非線性部分，進行反復(fù)迭代求解。
5.如權(quán)利要求2所述的有監(jiān)督模式識別方法，其特征是，步驟I)中所述全變差能量泛函為jtv[u] = [Ω (u ~ y)2 c^l+^{ΩI I 如 其中，X是用于模式識別的一個樣本的特征向量表示，u(x)為要求的函數(shù)，y為訓(xùn)練數(shù)據(jù)集中一個樣本的類標(biāo)簽值，Jtv[u]表示關(guān)于U(X)的基于全變差的能量泛函，第二項fQ| Vw I A為在u(x)連續(xù)的情況下的全變差，Ω是自變量所在的定義域，V是梯度算子，|Vw|代表了函數(shù)U(X)的梯度向量的模范數(shù)，λ是可預(yù)先設(shè)定的一個正則化參數(shù)。
6.如權(quán)利要求2所述的有監(jiān)督模式識別方法，其特征是，步驟I)中所述歐拉彈性桿的能量泛函為 ；_ν/ V"、 JEE[u]=\Q{u-y)2dx + A\a{a + bK2)\Vu\dx,K~ v |y 其中，X是用于模式識別的一個樣本的特征向量表示，u(x)為要求的函數(shù)，Y為訓(xùn)練數(shù)據(jù)集中一個樣本的類標(biāo)簽值，JEE[u]代表關(guān)于U(X)的基于歐拉彈性能量的能量泛函，K為函數(shù)u的等值超曲面的平均曲率，Ω是自變量所在的定義域，Vw是函數(shù)U的梯度，I Vw I代表了函數(shù)U(X)的梯度向量的模范數(shù)，V·是散度算子的形式表達，λ是可預(yù)先設(shè)定的一個正則化參數(shù)，a與b是控制全變差與歐拉彈性能量貢獻度的兩個參數(shù)。
全文摘要
本發(fā)明公布了一種基于全變差和歐拉彈性桿的有監(jiān)督模式識別方法，首先在所述最小二乘正則化框架下構(gòu)造出基于全變差和歐拉彈性桿的能量泛函；然后利用變分法將該能量泛函最小化問題轉(zhuǎn)換為求解對應(yīng)的歐拉-拉格朗日偏微分方程；對所述偏微分方程求解，進而得到最終的分類器；運用該分類器對數(shù)據(jù)進行模式識別。本發(fā)明對有監(jiān)督模式識別問題提出了新的方法，可以應(yīng)用于一般情況下的分類問題，例如手寫體數(shù)字識別；在絕大多數(shù)數(shù)據(jù)集上，本發(fā)明提出的方法能達到與現(xiàn)有的流行方法相媲美的效果。
文檔編號G06K9/62GK102663424SQ201210086508
公開日2012年9月12日 申請日期2012年3月28日 優(yōu)先權(quán)日2012年3月28日
發(fā)明者林通, 查紅彬, 薛涵凜 申請人:北京大學(xué)