本發(fā)明涉及模式識(shí)別領(lǐng)域，尤其涉及一種基于局部敏感判別的矩陣學(xué)習(xí)機(jī)模型的方法。

背景技術(shù)：

與傳統(tǒng)的面向向量化分類(lèi)器設(shè)計(jì)方法不同，面向矩陣模式分類(lèi)器設(shè)計(jì)方法是一種可以直接對(duì)矩陣化的樣本進(jìn)行分類(lèi)的方法。在實(shí)際的實(shí)驗(yàn)中，面向矩陣模式分類(lèi)器設(shè)計(jì)方法可以有效的提升面向向量化分類(lèi)器設(shè)計(jì)方法的性能。原因主要表現(xiàn)在三個(gè)方面：第一點(diǎn)，面向矩陣模式分類(lèi)器設(shè)計(jì)方法可以抓取更多的單個(gè)樣本內(nèi)的結(jié)構(gòu)信息，并且在一個(gè)模式的存儲(chǔ)空間上矩陣化方法需要相對(duì)較小的存儲(chǔ)空間；第二點(diǎn)，面向矩陣模式分類(lèi)器設(shè)計(jì)方法避免把單個(gè)樣本轉(zhuǎn)化為向量形式的樣本的操作在一定程度上避免了由于維數(shù)過(guò)高而引起的高計(jì)算復(fù)雜度；第三點(diǎn)，實(shí)驗(yàn)及理論表明面向向量化分類(lèi)器設(shè)計(jì)方法可以看作為面向矩陣模式分類(lèi)器設(shè)計(jì)方法的一個(gè)特殊情況，即用于解決面向矩陣模式分類(lèi)器設(shè)計(jì)方法的方法同樣適用于向量化方法。

矩陣模式分類(lèi)器設(shè)計(jì)方法僅考慮到了最小化經(jīng)驗(yàn)誤差和降低模型的推廣性誤差，忽略了模式之間的局部敏感的判別信息，其中比較典型的線(xiàn)性算法是MatMHKS（Matrix-pattern-oriented Ho-Kashyap Classifier）。目前在矩陣模式分類(lèi)器設(shè)計(jì)方法中還沒(méi)有人提到相關(guān)方法來(lái)解決這一不足。為了解決這一不足，我們提出了一個(gè)新的正則化項(xiàng)為矩陣模式分類(lèi)器設(shè)計(jì)加入局部敏感判別信息。此項(xiàng)新的正則化項(xiàng)的設(shè)計(jì)方法來(lái)自局部敏感判別分析（Locality Sensitive Discriminant Analysis）。局部敏感判別分析可以抓取局部判別信息和局部幾何結(jié)構(gòu)。我們利用局部敏感判別分析的這一優(yōu)點(diǎn)來(lái)設(shè)計(jì)一個(gè)新的正則化項(xiàng)為矩陣化分類(lèi)設(shè)計(jì)引入局部敏感判別信息，從而產(chǎn)生了一個(gè)新的面向矩陣模式的分類(lèi)器設(shè)計(jì)的模型。根據(jù)局部敏感判別分析的思想，我們構(gòu)建兩個(gè)互不重疊的帶權(quán)的近鄰子圖和。其中是來(lái)同一類(lèi)矩陣模式之間的局部連接關(guān)系，是來(lái)反映不同類(lèi)矩陣模式之間的局部連接關(guān)系。我們?cè)诰仃嚹Ｊ较露x類(lèi)內(nèi)子圖為和類(lèi)間子圖為來(lái)表征類(lèi)內(nèi)模式盡量靠近和類(lèi)間模式盡遠(yuǎn)離。

把引入到雙邊矩陣型分類(lèi)器MatMHKS上，從而產(chǎn)生了一個(gè)新的分類(lèi)算法LSDMatMHKS。LSDMatMHKS可以很好的抓取局部敏感判別信息，不僅提高了MatMHKS的分類(lèi)精確度而且還提高了其學(xué)習(xí)的穩(wěn)定性。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有的面向矩陣模式分類(lèi)器設(shè)計(jì)方法沒(méi)有考慮到矩陣模式之間的局部敏感判別信息的問(wèn)題，本發(fā)明的解決方案是在原有的面向矩陣模式分類(lèi)器設(shè)計(jì)的框架上設(shè)計(jì)一個(gè)新的正則化項(xiàng)來(lái)考慮局部敏感的判別信息，此項(xiàng)正則化項(xiàng)是基于局部敏感判別分析的優(yōu)勢(shì)將其改造為適用于矩陣模式的正則化項(xiàng)，從而產(chǎn)生局部敏感判別矩陣學(xué)習(xí)模型。我們將此框架應(yīng)用到我們以前的工作MatMHKS上，并命名為 LSDMatMHKS。并用梯度下降法對(duì)LSDMatMHKS求解，該算法能夠有效的引入局部敏感判別信息，提高模式分類(lèi)的正確率和學(xué)習(xí)的穩(wěn)定性。由于該模型采用的是二分類(lèi)的技術(shù)，所以對(duì)于類(lèi)別數(shù)為N的數(shù)據(jù)集，可以將其轉(zhuǎn)化為N(N-1)/2個(gè)二分類(lèi)問(wèn)題，可知一共需要訓(xùn)練N(N-1)/2個(gè)該模型。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案：首先采集數(shù)據(jù)集，將采集到的樣本轉(zhuǎn)化成矩陣模式以便后面的算法可以處理，其中對(duì)于不是數(shù)值型的數(shù)據(jù)集進(jìn)行數(shù)值化，其中圖片數(shù)據(jù)集還需要用傳統(tǒng)降維算法進(jìn)行降維處理以便出去噪聲。其次使用訓(xùn)練集構(gòu)造局部類(lèi)內(nèi)和局部類(lèi)間子圖和，使用和構(gòu)造正則化項(xiàng)。之后將正則化項(xiàng)引入面向矩陣模式分類(lèi)器MatMHKS中產(chǎn)生新的面向矩陣模式分類(lèi)模型LSDMatMHKS，并用訓(xùn)練集訓(xùn)練LSDMatMHKS，使用梯度下降法對(duì)模型LADMatMHKS求最優(yōu)解。然后使用測(cè)試集測(cè)試最優(yōu)解，并得出最優(yōu)的決策函數(shù)。最后使用得出的最優(yōu)的決策函數(shù)對(duì)輸入的未知類(lèi)別的矩陣模式進(jìn)行計(jì)算，根據(jù)輸出的結(jié)果對(duì)未知的矩陣模式進(jìn)行分類(lèi)。

本發(fā)明所采用的技術(shù)方案還可以進(jìn)一步完善。在所述的構(gòu)造局部類(lèi)內(nèi)和局部類(lèi)間子圖和的方法，是先構(gòu)造局部敏感權(quán)重矩陣和，然后再利用和來(lái)構(gòu)造出局部矩陣模式的判別關(guān)系，其中和是利用近鄰的方法求出。在所述的訓(xùn)練模塊中構(gòu)造正則化項(xiàng)，使局部類(lèi)內(nèi)盡量靠近和局部類(lèi)間類(lèi)間盡量遠(yuǎn)離表達(dá)形式的方法，即最小化局部類(lèi)類(lèi)內(nèi)模式之間的距離和最大化局部類(lèi)間模式的距離。該方法是矩陣模式的分類(lèi)模型，即對(duì)于向量模式的方法同樣可以處理。

本發(fā)明有益的效果是：通過(guò)定義矩陣模式的局部敏感判別關(guān)系的權(quán)重矩陣，找出了矩陣模式之間的局部敏感的判別關(guān)系；通過(guò)引入局部敏感判別信息，讓局部的同類(lèi)別的模式盡量靠近、不同類(lèi)別的模式盡量遠(yuǎn)離，把局部敏感信息引入到傳統(tǒng)面向矩陣模式分類(lèi)模型中，提高了分類(lèi)正確率；同時(shí)不僅對(duì)小樣本的過(guò)擬合問(wèn)題有一定得改善，而且提高了分類(lèi)的穩(wěn)定性和模型的學(xué)習(xí)能力；同時(shí)不論是圖像數(shù)據(jù)集還是向量數(shù)據(jù)集，該方法都可以直接進(jìn)行處理。

附圖說(shuō)明

圖1 是本發(fā)明的基于局部敏感判別矩陣學(xué)習(xí)機(jī)模型的系統(tǒng)框架。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步介紹：本發(fā)明的方法共分為四大步驟。

第一步：數(shù)據(jù)集采集變換。

首先對(duì)采集到的數(shù)據(jù)集進(jìn)行處理，如果數(shù)據(jù)集不是數(shù)值化的則將其數(shù)值化，對(duì)于圖片數(shù)據(jù)集將其數(shù)值化以后再用經(jīng)典的將為算法將其降維以便后續(xù)的處理；其次把采集到的數(shù)據(jù)集轉(zhuǎn)換為矩陣模式，例如將其轉(zhuǎn)化為矩陣模式即為，其中。

第二步：模型訓(xùn)練。

1）首先構(gòu)造正則化項(xiàng)

假設(shè)二分類(lèi)的矩陣模式為。利用其訓(xùn)練集定義局部敏感權(quán)重矩陣如下：

(1)

(2)

構(gòu)造類(lèi)內(nèi)和類(lèi)間子圖和，我們定義和如下所示：

(3)

(4)

所以在矩陣模式下定義的正則化項(xiàng)如下所示：

(5)

其中來(lái)控制和之間的關(guān)系，可知和包含著局部敏感判別信息。

2）傳統(tǒng)的矩陣化方法有一個(gè)共同的最小結(jié)構(gòu)風(fēng)險(xiǎn)框架，這個(gè)最小結(jié)構(gòu)分線(xiàn)框架如下所示：

(6)

其中是經(jīng)驗(yàn)風(fēng)險(xiǎn)項(xiàng),是正則化項(xiàng)，目的是控制整個(gè)框架的光滑度和計(jì)算復(fù)雜度。正則化參數(shù)是平衡和的關(guān)系。我們把正則化項(xiàng)引入到（6）中可以得到一個(gè)新的矩陣化方法框架，如公式（7）所示：

(7)

其中前面兩項(xiàng)和與公式（1）相同，同公式（5）。

3）將新的框架引入到面向矩陣分類(lèi)器MatMHKS后，我們可以得到LSDMatMHKS，其目標(biāo)函數(shù)如公式（8）所示：

（8）

其,,,,為偏移量，為矩陣模式，為每個(gè)矩陣模式的類(lèi)標(biāo)號(hào)，N為模式總數(shù)。

4）先對(duì)公式（8）矩陣化，再利用梯度下降法對(duì)LSDMatMHKS模型求解最優(yōu)的權(quán)重向量和，分別對(duì)公式（8）對(duì)和求偏導(dǎo)，即和，然后分別令和，求出權(quán)重向量和。所求出的權(quán)重向量和如公式（9）和（10）所示：

（9）

（10）

其中，，,，

而迭代終止條件的計(jì)算公式如下所示：

（11）

其中，。

第三步，模型測(cè)試

通過(guò)第二步對(duì)模型進(jìn)行優(yōu)化得到權(quán)重向量以后，利用測(cè)試集對(duì)求得的權(quán)重向量進(jìn)行測(cè)試，選出最優(yōu)的決策函數(shù)。

第四步，預(yù)測(cè)

通過(guò)第三步選出最優(yōu)的決策函數(shù)對(duì)未知模式進(jìn)行識(shí)別。假設(shè)未知類(lèi)別的模式為，則其決策函數(shù)如下所示：

（12）

其中為類(lèi)別。

上文中，參照附圖描述了本發(fā)明的具體實(shí)施方式。但是本領(lǐng)域的普通技術(shù)人員能夠理解，在不偏離本發(fā)明的精神和范圍的情況下，還可以對(duì)本發(fā)明的具體實(shí)施方式作各種變更和替換。這些變更和替換都落在本發(fā)明權(quán)利要求書(shū)所限定的范圍內(nèi)。

實(shí)驗(yàn)結(jié)果

為了驗(yàn)證我們所提方法的有效性和可行性，我們從UCI，KEEL中采集了4個(gè)向量數(shù)據(jù)集，同時(shí)還采集了圖像數(shù)據(jù)集Coil-20和Yale，一共6個(gè)數(shù)據(jù)集來(lái)對(duì)我們的算法進(jìn)行驗(yàn)證。選取的數(shù)據(jù)集如表格1所示，表1中給出了數(shù)據(jù)集的維度、類(lèi)別數(shù)、訓(xùn)練集規(guī)模和測(cè)試集規(guī)模。這些數(shù)據(jù)集被分為訓(xùn)練集和測(cè)試集兩個(gè)部分，其中訓(xùn)練集和測(cè)試集在每個(gè)數(shù)據(jù)集中的比例都是0.5，采用5輪的蒙特卡洛交叉驗(yàn)證來(lái)獲取分類(lèi)正確率。對(duì)模型參數(shù)的設(shè)置是通過(guò)實(shí)驗(yàn)和人工經(jīng)驗(yàn)來(lái)設(shè)定的，其中局部敏感的參數(shù)值、正則化項(xiàng)參數(shù)值和、初始化邊界向量、權(quán)重向量、最大迭代次數(shù)、最小停止誤差、迭代步長(zhǎng)。

表1 數(shù)據(jù)集

對(duì)比算法的參數(shù)設(shè)置如下：

所涉及到的原始算法MatMHKS和改進(jìn)的算法LSDMatMHKS采用相同的參數(shù)設(shè)置以方便比較。MatMHKS的參數(shù)設(shè)置為：正則化項(xiàng)參數(shù)值、初始化邊界向量、權(quán)重向量、最大迭代次數(shù)、最小停止誤差、迭代步長(zhǎng)。

實(shí)驗(yàn)結(jié)果如表2所示。從實(shí)驗(yàn)的結(jié)果來(lái)看，LSDMatMHKS的正確率和正確率的標(biāo)準(zhǔn)差都優(yōu)于MatMHKS。這就驗(yàn)證了我們所提方法的有效性和可行性。

表2 數(shù)據(jù)集正確率（%）

備注：以上實(shí)驗(yàn)數(shù)據(jù)均來(lái)源于Inter Xeon CPU E5-2407 2.20GHZ, 16G RAM DDR3, Windows Server 2012 和Matlab 環(huán)境。