本發(fā)明涉及模式識(shí)別的技術(shù)領(lǐng)域，尤其是一種基于分?jǐn)?shù)階微積分與廣義逆神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別方法。

背景技術(shù)：

隨著人工智能、信息檢索和海量數(shù)據(jù)處理等技術(shù)的發(fā)展，模式識(shí)別成為了研究熱點(diǎn)。在模式識(shí)別中，手寫(xiě)數(shù)字的識(shí)別因其計(jì)算復(fù)雜，識(shí)別率成為亟待解決的問(wèn)題。在手寫(xiě)數(shù)字的識(shí)別中知識(shí)和經(jīng)驗(yàn)的利用是必不可少的，然而知識(shí)的獲取確是當(dāng)前面臨的瓶頸問(wèn)題，特別是人腦的知識(shí)獲取過(guò)程幾乎是一種潛在的過(guò)程，神經(jīng)網(wǎng)絡(luò)作為一種抽取不易明確表達(dá)的知識(shí)和經(jīng)驗(yàn)的方法在模式識(shí)別領(lǐng)域發(fā)揮著越來(lái)越重要的作用。

目前，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法---單隱藏層前饋神經(jīng)網(wǎng)絡(luò)(Single-hidden Layer Feed-forward Neural Network，SLFN)已經(jīng)在模式識(shí)別領(lǐng)域取得了廣泛的應(yīng)用，但傳統(tǒng)學(xué)習(xí)方法的訓(xùn)練速度遠(yuǎn)遠(yuǎn)不能滿(mǎn)足實(shí)際模式識(shí)別的需要，成為制約其發(fā)展的主要瓶頸。產(chǎn)生這種情況的主要原因是：傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法中的誤差反向傳播方法(Back Propagation，BP)主要基于梯度下降的思想，需要多次迭代，網(wǎng)絡(luò)的所有參數(shù)都需要在訓(xùn)練過(guò)程中迭代確定，因此該算法應(yīng)用于模式識(shí)別領(lǐng)域所產(chǎn)生的計(jì)算量和搜索空間很大。

針對(duì)傳統(tǒng)的神經(jīng)學(xué)習(xí)方法的不足，黃廣斌提出來(lái)了超限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)理論，ELM是的一種新型的、快速有效的單隱層前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，只需要設(shè)置合適的網(wǎng)絡(luò)隱層節(jié)點(diǎn)個(gè)數(shù)，在執(zhí)行過(guò)程中只需要為網(wǎng)絡(luò)的輸入權(quán)值和隱藏層偏差進(jìn)行隨機(jī)賦值，不需要再進(jìn)行調(diào)整，然后輸出層權(quán)值的最優(yōu)解通過(guò)最小二乘法得到。整個(gè)過(guò)程一次完成，無(wú)需迭代，因此具有參數(shù)選擇容易、因此具有學(xué)習(xí)速度極快(是BP算法的100倍以上)且泛化性能好的優(yōu)點(diǎn)。但是，傳統(tǒng)ELM算法為了彌補(bǔ)隨機(jī)選取的隱層節(jié)點(diǎn)參數(shù)，往往需要較多的隱層節(jié)點(diǎn)個(gè)數(shù)。

俞棟等人發(fā)表的《Efficient and effective algorithms for training single-hidden-layer neural networks》將BP算法和ELM算法相結(jié)合，提出了一種用梯度下降法來(lái)選擇合適的隱層節(jié)點(diǎn)輸入?yún)?shù)的方法。這種算法使用最速下降法來(lái)更新從輸入層到隱層之間的權(quán)值，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，在達(dá)到好的精度前提下，減少了隱層節(jié)點(diǎn)個(gè)數(shù)。然而，將BP算法和ELM算法相結(jié)合，提出了一種用梯度下降法來(lái)選擇合適的隱層節(jié)點(diǎn)輸入?yún)?shù)的方法。這種算法使用最速下降法來(lái)更新從輸入層到隱層之間的權(quán)值，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，在達(dá)到好的精度前提下，減少了隱層節(jié)點(diǎn)個(gè)數(shù)。

因此，在現(xiàn)有的手寫(xiě)數(shù)字的識(shí)別中，傳統(tǒng)的基于整數(shù)階梯度下降法的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)速度緩慢，精度較低；ELM算法雖然速度快，但所需要的網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)過(guò)多；而基于最速下降法的ELM算法雖然已經(jīng)得到改進(jìn)，但由于用的是整數(shù)階導(dǎo)數(shù)，精度有待提高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是為克服上述現(xiàn)有技術(shù)的不足，提供一種基于分?jǐn)?shù)階微積分與廣義逆神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別方法。

為實(shí)現(xiàn)上述目的，本發(fā)明采用下述技術(shù)方案：

基于分?jǐn)?shù)階微積分與廣義逆神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別方法，包括以下步驟：

步驟一：獲取手寫(xiě)數(shù)字圖像集合，所述手寫(xiě)數(shù)字圖像集合包括訓(xùn)練集合與待識(shí)別集合；

步驟二，根據(jù)所述手寫(xiě)數(shù)字圖像集合，選擇單隱層神經(jīng)網(wǎng)絡(luò)模型；

步驟三，利用分?jǐn)?shù)階微積分和廣義逆計(jì)算單隱層神經(jīng)網(wǎng)絡(luò)中的權(quán)值矩陣和權(quán)值向量；

步驟四：根據(jù)所述權(quán)值矩陣和所述權(quán)值向量，獲取神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)參數(shù)，進(jìn)行樣本精度的計(jì)算。

優(yōu)選的，所述步驟三包括以下子步驟：

步驟S31：初始化輸入層到隱層的權(quán)值矩陣，獲取初始權(quán)值矩陣V⁰；

步驟S32：對(duì)初始權(quán)值矩陣V⁰進(jìn)行優(yōu)化。

進(jìn)一步優(yōu)選的，所述步驟S32優(yōu)化步驟如下：

步驟S321：設(shè)置最大迭代次數(shù)K并初始迭代次數(shù)k＝0；

步驟S322：利用最小化誤差函數(shù)方法求解隱層到輸出層的網(wǎng)絡(luò)權(quán)值U；

式中，C表示正則化系數(shù)，G表示隱層輸出矩陣，O表示訓(xùn)練集的理想輸出矩陣；

步驟S323：若k＜K，則執(zhí)行步驟四，否則順序執(zhí)行步驟S324；

步驟S324：計(jì)算誤差函數(shù)關(guān)于連接輸入層和隱層的權(quán)值矩陣V的分?jǐn)?shù)階梯度，分?jǐn)?shù)階梯度導(dǎo)數(shù)公式為：

式中，α表示分?jǐn)?shù)階數(shù)；c表示連接輸入層和隱層的權(quán)值矩陣V中元素的最小值；Γ(·)表示Gamma函數(shù)；

步驟S325：利用更新函數(shù)對(duì)步驟S324中的權(quán)值矩陣進(jìn)行更新，更新函數(shù)表達(dá)式為：

式中，學(xué)習(xí)率η_k為常數(shù)；

步驟S326：迭代次數(shù)加一，返回執(zhí)行步驟S322。

進(jìn)一步優(yōu)選的，所述步驟S325中，學(xué)習(xí)率η_k通過(guò)線(xiàn)搜索的方式獲得。

求解從隱層到輸出層旳權(quán)值時(shí)，采用了廣義逆的方法，無(wú)需迭代，一步求輸出權(quán)值的最小范數(shù)最小二乘解，相比于基于梯度下降法的相關(guān)算法(如BP算法)訓(xùn)練速度要快；

本發(fā)明的有益效果是：

1.本發(fā)明在進(jìn)行模式識(shí)別中的手寫(xiě)數(shù)字圖像的識(shí)別精度高：因?yàn)楸景l(fā)明在優(yōu)化輸入權(quán)值矩陣時(shí)運(yùn)用了分?jǐn)?shù)階導(dǎo)數(shù)，由于分?jǐn)?shù)階導(dǎo)數(shù)與整數(shù)階相比，優(yōu)點(diǎn)是具有記憶性和遺傳性，且對(duì)于一些復(fù)雜的系統(tǒng)，采用整數(shù)階系統(tǒng)來(lái)描述其描述精度相對(duì)較低，并不能準(zhǔn)確反映系統(tǒng)性能，因此本發(fā)明比基于整數(shù)階求導(dǎo)的梯度下降算法精度高，能夠較為準(zhǔn)確地反應(yīng)神經(jīng)網(wǎng)絡(luò)模型的性能；

2.本發(fā)明在進(jìn)行模式識(shí)別中的手寫(xiě)數(shù)字圖像識(shí)別時(shí)樣本訓(xùn)練速度快且隱層節(jié)點(diǎn)數(shù)少：因?yàn)楸景l(fā)明對(duì)權(quán)值的迭代優(yōu)化，在達(dá)到相同訓(xùn)練精度的前提下，本發(fā)明所需要的隱層節(jié)點(diǎn)數(shù)大大少于超限學(xué)習(xí)機(jī)算法所需要的隱層節(jié)點(diǎn)數(shù)；

在求解從隱層到輸出層旳權(quán)值時(shí)，采用了廣義逆的方法，無(wú)需迭代，一步求輸出權(quán)值的最小范數(shù)最小二乘解，因此本發(fā)明比基于梯度下降法的相關(guān)算法(如BP算法)訓(xùn)練速度要快；

3.本發(fā)明在進(jìn)行模式識(shí)別中的手寫(xiě)數(shù)字圖像識(shí)別時(shí)有效降低訓(xùn)練樣本中存在的噪聲：本發(fā)明引入?yún)?shù)C，使得神經(jīng)網(wǎng)絡(luò)模型可以根據(jù)數(shù)據(jù)集的特點(diǎn)進(jìn)行微調(diào)，從而得到更好的泛化性能，增強(qiáng)了系統(tǒng)的可控性，同時(shí)，正則化項(xiàng)可以降低數(shù)據(jù)集中存在的噪聲，達(dá)到降噪的目的。

附圖說(shuō)明

圖1是本發(fā)明結(jié)構(gòu)示意圖；

圖2是本發(fā)明與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)建模方法的曲線(xiàn)圖；

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說(shuō)明。

本實(shí)施例利用本發(fā)明中的基于分?jǐn)?shù)階微積分與廣義逆神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別方法對(duì)手寫(xiě)數(shù)字進(jìn)行模式識(shí)別，并且將其訓(xùn)練精度與LM算法、USA算法進(jìn)行比較。USA算法是文獻(xiàn)《Efficient and effective algorithms for training single-hidden-layer neural networks》中的提出的算法，該算法是結(jié)合了整數(shù)階最速下降法和廣義逆的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。

分?jǐn)?shù)階微積分(Fractional Derivatives and Integrals，或Fraction Calculus，簡(jiǎn)寫(xiě)為FC)即指函數(shù)對(duì)變量非整數(shù)階求導(dǎo)或積分，是古典微積分理論的自然推廣，也是數(shù)學(xué)分析的一個(gè)重要的分支。一直以來(lái)，它在數(shù)學(xué)領(lǐng)域得到很大的發(fā)展。近年來(lái)，分?jǐn)?shù)階理論逐步應(yīng)用于在電磁、信號(hào)處理、量子演變等實(shí)際復(fù)雜系統(tǒng)方面。許多研究者指出，分?jǐn)?shù)階具有能夠很好地描述實(shí)際處理過(guò)程的記憶性和遺傳性，分?jǐn)?shù)階系統(tǒng)甚至具有無(wú)限的記憶?？紤]到這些方面，將分?jǐn)?shù)階理論引入到模式識(shí)別中，與神經(jīng)網(wǎng)絡(luò)理論相結(jié)合，即在神經(jīng)網(wǎng)絡(luò)模型中植入記憶模塊，是值得研究的課題。神經(jīng)網(wǎng)絡(luò)本身的自學(xué)習(xí)性、自適應(yīng)性、容錯(cuò)性、魯棒性等性質(zhì)也使得其在實(shí)際應(yīng)用中具有很大的優(yōu)勢(shì)。綜上而言，不管是在算法還是應(yīng)用方面，將神經(jīng)網(wǎng)絡(luò)與分?jǐn)?shù)階理論結(jié)合使用都具有研究?jī)r(jià)值。

MNIST數(shù)據(jù)集是Google實(shí)驗(yàn)室的Corinna Cortes和紐約大學(xué)柯朗研究所的Yann LeCun建立的一個(gè)手寫(xiě)數(shù)字模式識(shí)別數(shù)據(jù)庫(kù)，訓(xùn)練樣本有60,000張手寫(xiě)0-9的數(shù)字圖像，測(cè)試樣本有10,000張。每張圖片灰度級(jí)都是8，且每張圖片可以使用一個(gè)784大小的向量表征。

利用本發(fā)明中的基于分?jǐn)?shù)階微積分與廣義逆神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別方法對(duì)MNIST數(shù)據(jù)集進(jìn)行建模，本算法采用了2/3分?jǐn)?shù)階為例，也可選用其他階數(shù)。

如圖1所示，基于分?jǐn)?shù)階微積分與廣義逆神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別方法，包括以下步驟：

步驟一：從MNIST數(shù)據(jù)集中獲取手寫(xiě)數(shù)字圖像集合，所述手寫(xiě)數(shù)字圖像集合包括訓(xùn)練集合與待識(shí)別集合；

步驟二，根據(jù)所述手寫(xiě)數(shù)字圖像集合，選擇單隱層神經(jīng)網(wǎng)絡(luò)模型；

步驟三，利用分?jǐn)?shù)階微積分和廣義逆計(jì)算單隱層神經(jīng)網(wǎng)絡(luò)中的權(quán)值矩陣和權(quán)值向量；

步驟四：根據(jù)權(quán)值矩陣和權(quán)值向量，獲取神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)參數(shù)，進(jìn)行樣本精度的計(jì)算。

優(yōu)選的，所述步驟二中單隱層神經(jīng)網(wǎng)絡(luò)模型為：

單隱層神經(jīng)網(wǎng)絡(luò)中輸入層，隱層和輸出層神經(jīng)元個(gè)數(shù)分別為p,n,m，從獲取手寫(xiě)數(shù)字圖像集合中給定j個(gè)輸入樣本x^j∈R^p，相應(yīng)的理想輸出樣本為O^j∈R，j＝1,2,…,J；

設(shè)g:和f:R→R分別為隱層單元和輸出層的激活函數(shù)，連接輸入層和隱層的權(quán)值矩陣為V＝(v_ij)_n×p,記V_i＝(v_i1,v_i2,…,v_ip)^T∈R^p,i＝1,2,…,n，連接隱層和輸出層的權(quán)值向量為U＝(u_ij)_n×m，記U_i＝(u_i1,u_i2,…,u_ip)^T∈R^m,i＝1,2,…,n，網(wǎng)絡(luò)的最終輸出即實(shí)際輸出為Y＝f(U^TG(Vx))，神經(jīng)網(wǎng)絡(luò)模型誤差函數(shù)為

優(yōu)選的，所述步驟三包括以下子步驟：

步驟S31：初始化輸入層到隱層的權(quán)值矩陣，獲取初始權(quán)值矩陣V⁰；

步驟S32：對(duì)初始權(quán)值矩陣V⁰進(jìn)行優(yōu)化。

進(jìn)一步優(yōu)選的，所述步驟S32優(yōu)化步驟如下：

步驟S321：設(shè)置最大迭代次數(shù)K并初始迭代次數(shù)k＝0；

步驟S322：利用最小化誤差函數(shù)方法求解隱層到輸出層的網(wǎng)絡(luò)權(quán)值U；

式中，C表示正則化系數(shù)，G表示隱層輸出矩陣，O表示訓(xùn)練集的理想輸出矩陣；

加入上述正則化項(xiàng)后，神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型可表示為：

上式是條件極值問(wèn)題，通過(guò)拉格朗日方程轉(zhuǎn)換為無(wú)條件極值問(wèn)題進(jìn)行求解：

其中α＝[α₁,α₂,…,α_n],α_j∈R^m(j＝1,2,…,n)代表拉格朗日乘子。

求拉格朗日方程的梯度并令其為0：

解上述方程組，得到：

本發(fā)明引入?yún)?shù)C，使得神經(jīng)網(wǎng)絡(luò)模型可以根據(jù)數(shù)據(jù)集的特點(diǎn)進(jìn)行微調(diào)，從而得到更好的泛化性能，增強(qiáng)了系統(tǒng)的可控性，同時(shí)，正則化項(xiàng)可以降低數(shù)據(jù)集中存在的噪聲，達(dá)到降噪的目的。

步驟S323：若k＜K，則執(zhí)行步驟四，否則順序執(zhí)行步驟S324；

步驟S324：計(jì)算誤差函數(shù)關(guān)于連接輸入層和隱層的權(quán)值矩陣V的分?jǐn)?shù)階梯度，分?jǐn)?shù)階梯度導(dǎo)數(shù)公式為：

式中，α表示分?jǐn)?shù)階數(shù)；本實(shí)施例中的c表示連接輸入層和隱層的權(quán)值矩陣V中元素的最小值；Γ(·)表示Gamma函數(shù)；

權(quán)值u_i的修正量可寫(xiě)為如下形式：

根據(jù)Caputo分?jǐn)?shù)階定義，得到：

因此，分?jǐn)?shù)階梯度導(dǎo)數(shù)公式為：

步驟S325：利用更新函數(shù)對(duì)步驟S324中的權(quán)值矩陣進(jìn)行更新，更新函數(shù)表達(dá)式為：

式中，學(xué)習(xí)率η_k為常數(shù)；

步驟S326：k＝k+1，返回執(zhí)行步驟S322。

通過(guò)本發(fā)明中步驟四計(jì)算出測(cè)試樣本的精度，并且與USA算法和ELM算法對(duì)測(cè)試樣本的精度值進(jìn)行比較，實(shí)驗(yàn)結(jié)果如圖2所示。

從圖2中可以看出，對(duì)于相同的隱層節(jié)點(diǎn)個(gè)數(shù)，本發(fā)明算法的測(cè)試精度高于USA算法和ELM算法。實(shí)驗(yàn)結(jié)果說(shuō)明本發(fā)明算法有效的優(yōu)化了初始權(quán)值，使網(wǎng)絡(luò)在相同的隱層節(jié)點(diǎn)個(gè)數(shù)下，得到更高的訓(xùn)練精度。

本發(fā)明在優(yōu)化輸入權(quán)值矩陣時(shí)運(yùn)用了分?jǐn)?shù)階導(dǎo)數(shù)，由于分?jǐn)?shù)階導(dǎo)數(shù)與整數(shù)階相比，優(yōu)點(diǎn)是具有記憶性和遺傳性，且對(duì)于一些復(fù)雜的系統(tǒng)，采用整數(shù)階系統(tǒng)來(lái)描述其描述精度相對(duì)較低，并不能準(zhǔn)確反映系統(tǒng)性能。而大量的研究表明對(duì)于各種實(shí)際系統(tǒng)，分?jǐn)?shù)階模型的描述往往比整數(shù)階模型更加準(zhǔn)確。因此本發(fā)明比基于整數(shù)階求導(dǎo)的梯度下降算法精度高。

本發(fā)明對(duì)權(quán)值通過(guò)迭代方式進(jìn)行優(yōu)化，因此在達(dá)到相同訓(xùn)練精度的前提下，本發(fā)明所需要的隱層節(jié)點(diǎn)數(shù)大大少于超限學(xué)習(xí)機(jī)算法所需要的隱層節(jié)點(diǎn)數(shù)。

本發(fā)明在求解從隱層到輸出層旳權(quán)值時(shí)，采用了廣義逆的方法，無(wú)需迭代，一步求輸出權(quán)值的最小范數(shù)最小二乘解。因此本發(fā)明比基于梯度下降法的相關(guān)算法(例如BP算法)訓(xùn)練速度要快。

上述雖然結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行了描述，但并非對(duì)本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以?xún)?nèi)。