本發(fā)明涉及深度學(xué)習(xí)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的多層自動(dòng)編碼方法及系統(tǒng)。

背景技術(shù)：

深度學(xué)習(xí)(deeplearning)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其目的在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，建立多層架構(gòu)對(duì)于特征進(jìn)行逐層抽象。常規(guī)的流程有預(yù)處理，特征提取，特征選擇，識(shí)別與預(yù)測(cè)等等。目前應(yīng)用于圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言理解、天氣預(yù)測(cè)、基因表達(dá)等領(lǐng)域。

自動(dòng)編碼器(autoencoder)是深度學(xué)習(xí)領(lǐng)域中一種壓縮編碼器，自動(dòng)編碼機(jī)將xo(取值范圍為[0，1])為原始數(shù)據(jù)，首先將原始數(shù)據(jù)映射到一個(gè)隱層表示為x，此表示為維度壓縮后的對(duì)于原始數(shù)據(jù)重構(gòu)的結(jié)果，然后利用相似的變換重新映射回與x0同樣規(guī)模的重建x’，利用重建結(jié)果與原始數(shù)據(jù)的差值更新權(quán)值參數(shù)，從而得到更新后原始數(shù)據(jù)重新編碼的網(wǎng)絡(luò)輸出x^1，再通過(guò)多次迭代獲得x^n模式識(shí)別。

目前，自動(dòng)編碼器對(duì)于原始數(shù)據(jù)的表達(dá)主要采取向量形式，而采用向量表達(dá)具有很大的局限性，不能較大程度上保留原始數(shù)據(jù)的空間信息，不利于對(duì)原始數(shù)據(jù)本質(zhì)的體現(xiàn)，不能充分挖掘原始數(shù)據(jù)的原有信息。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，有必要針對(duì)上述自動(dòng)編碼器對(duì)于原始數(shù)據(jù)的表達(dá)主要采取向量形式存在很大局限性的問(wèn)題，提供一種基于深度學(xué)習(xí)的多層自動(dòng)編碼方法。并且還提供一種基于深度學(xué)習(xí)的多層自動(dòng)編碼系統(tǒng)。

本發(fā)明提供的一種基于深度學(xué)習(xí)的多層自動(dòng)編碼方法，包括如下步驟：

s10：設(shè)定自動(dòng)編碼器的個(gè)數(shù)及每一個(gè)自動(dòng)編碼器的神經(jīng)節(jié)點(diǎn)數(shù)；

s20：初始化權(quán)值矩陣和閾值；

s30：對(duì)輸入的原始數(shù)據(jù)進(jìn)行編碼，采用權(quán)值矩陣對(duì)原始數(shù)據(jù)進(jìn)行變換，將原始數(shù)據(jù)采用張量形式進(jìn)行表達(dá)并根據(jù)設(shè)定的神經(jīng)節(jié)點(diǎn)數(shù)進(jìn)行壓縮編碼；

s40：對(duì)編碼后的原始數(shù)據(jù)進(jìn)行解碼重構(gòu)，獲取重構(gòu)的原始數(shù)據(jù)；

s50：根據(jù)重構(gòu)的原始數(shù)據(jù)與原始數(shù)據(jù)之間定義的最小平方誤差函數(shù)，更新權(quán)值矩陣；

s60：利用更新后的權(quán)值矩陣對(duì)原始數(shù)據(jù)再次進(jìn)行編碼獲得壓縮化的特征；

s70：利用壓縮化的特征通過(guò)迭代運(yùn)算獲得最終輸出。

可選的，所述步驟s10具體為：

由用戶根據(jù)需要，人工設(shè)置自動(dòng)編碼器的個(gè)數(shù)及每一個(gè)自動(dòng)編碼器的神經(jīng)節(jié)點(diǎn)數(shù)。

可選的，所述步驟s40具體為：

在將原始數(shù)據(jù)采用張量形式表達(dá)進(jìn)行編碼后，通過(guò)學(xué)習(xí)原始數(shù)據(jù)的編碼方式進(jìn)行對(duì)應(yīng)的轉(zhuǎn)置運(yùn)算，對(duì)編碼后的原始數(shù)據(jù)進(jìn)行解碼重構(gòu)，獲取重構(gòu)的原始數(shù)據(jù)。

可選的，所述步驟s50具體為：采用bp算法更新權(quán)值矩陣。

可選的，所述步驟s50具體為：引入稀疏性限制和kl散度更新權(quán)值矩陣。

本發(fā)明提供的一種基于深度學(xué)習(xí)的多層自動(dòng)編碼系統(tǒng)，包括：

設(shè)定模塊，設(shè)定自動(dòng)編碼器的個(gè)數(shù)及每一個(gè)自動(dòng)編碼器的神經(jīng)節(jié)點(diǎn)數(shù)；

初始化模塊，初始化權(quán)值矩陣和閾值；

編碼模塊，對(duì)輸入的原始數(shù)據(jù)進(jìn)行編碼，采用權(quán)值矩陣對(duì)原始數(shù)據(jù)進(jìn)行變換，將原始數(shù)據(jù)采用張量形式進(jìn)行表達(dá)并根據(jù)設(shè)定的神經(jīng)節(jié)點(diǎn)數(shù)進(jìn)行壓縮編碼；

解碼模塊，對(duì)編碼后的原始數(shù)據(jù)進(jìn)行解碼重構(gòu)，獲取重構(gòu)的原始數(shù)據(jù)；

有監(jiān)督學(xué)習(xí)更新模塊，根據(jù)重構(gòu)的原始數(shù)據(jù)與原始數(shù)據(jù)之間定義的最小平方誤差函數(shù)，更新權(quán)值矩陣；

特征提取模塊，利用更新后的權(quán)值矩陣對(duì)原始數(shù)據(jù)再次進(jìn)行編碼獲得壓縮化的特征；

輸出模塊，利用壓縮化的特征通過(guò)迭代運(yùn)算獲得最終輸出。

可選的，所述設(shè)定模塊由用戶根據(jù)需要，人工設(shè)置自動(dòng)編碼器的個(gè)數(shù)及每一個(gè)自動(dòng)編碼器的神經(jīng)節(jié)點(diǎn)數(shù)。

可選的，所述解碼模塊在將原始數(shù)據(jù)采用張量形式表達(dá)進(jìn)行編碼后，通過(guò)學(xué)習(xí)原始數(shù)據(jù)的編碼方式進(jìn)行對(duì)應(yīng)的轉(zhuǎn)置運(yùn)算，對(duì)編碼后的原始數(shù)據(jù)進(jìn)行解碼重構(gòu)，獲取重構(gòu)的原始數(shù)據(jù)。

可選的，所述有監(jiān)督學(xué)習(xí)更新模塊采用bp算法更新權(quán)值矩陣。

可選的，所述有監(jiān)督學(xué)習(xí)更新模塊引入稀疏性限制和kl散度更新權(quán)值矩陣。

本發(fā)明基于深度學(xué)習(xí)的多層自動(dòng)編碼方法及系統(tǒng)，結(jié)合深度學(xué)習(xí)原理與張量算法，采用張量的形式對(duì)原始數(shù)據(jù)進(jìn)行表達(dá)，能夠在不破壞原始數(shù)據(jù)結(jié)構(gòu)的前提下，充分挖掘原有信息，并通過(guò)多層學(xué)習(xí)，獲得更本質(zhì)的抽象特征，從而克服采用向量表達(dá)的局限性，能較大程度上保留原始數(shù)據(jù)的結(jié)構(gòu)信息，并且獲得更為魯棒的特征提取與模式學(xué)習(xí)，利于對(duì)原始數(shù)據(jù)本質(zhì)的體現(xiàn)，有利于進(jìn)行后續(xù)的模式分類。

附圖說(shuō)明

圖1是一個(gè)實(shí)施例中基于深度學(xué)習(xí)的多層自動(dòng)編碼方法的流程圖；

圖2是一個(gè)實(shí)施例中基于深度學(xué)習(xí)的多層自動(dòng)編碼系統(tǒng)的結(jié)構(gòu)圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

張量(tensor)理論是數(shù)學(xué)的一個(gè)分支學(xué)科，它可以滿足一切物理定律必須 與坐標(biāo)系的選擇無(wú)關(guān)的特性。張量概念是矢量概念的推廣，張量是一個(gè)可用來(lái)表示在一些矢量、標(biāo)量和其他張量之間的線性關(guān)系的多線性函數(shù)，用于張量形式表達(dá)的樣本可最大程度上保留原始結(jié)構(gòu)，進(jìn)而在特征提取階段提取到更魯棒的特征，故本發(fā)明自動(dòng)編碼方法基于深度學(xué)習(xí)，進(jìn)行多層編碼，采用張量的形式對(duì)原始數(shù)據(jù)進(jìn)行表達(dá)，來(lái)克服矢量表達(dá)的局限性。

具體的，如圖1所示，是一個(gè)實(shí)施例中基于深度學(xué)習(xí)的多層自動(dòng)編碼方法的流程圖，該方法包括如下步驟：

s10：設(shè)定自動(dòng)編碼器的個(gè)數(shù)及每一個(gè)自動(dòng)編碼器的神經(jīng)節(jié)點(diǎn)數(shù)。

該步驟，由用戶根據(jù)需要，人工設(shè)置自動(dòng)編碼器的個(gè)數(shù)及每一個(gè)自動(dòng)編碼器的神經(jīng)節(jié)點(diǎn)數(shù)。

s20：初始化權(quán)值矩陣和閾值。

由于該方法對(duì)原始數(shù)據(jù)進(jìn)行張量化處理，將原始數(shù)據(jù)以張量形式進(jìn)行表達(dá)，為能夠?qū)崿F(xiàn)，設(shè)置權(quán)值矩陣并進(jìn)行初始化，同時(shí)對(duì)閾值也進(jìn)行初始化。

s30：對(duì)輸入的原始數(shù)據(jù)進(jìn)行編碼，采用權(quán)值矩陣對(duì)原始數(shù)據(jù)進(jìn)行變換，將原始數(shù)據(jù)采用張量形式進(jìn)行表達(dá)并根據(jù)設(shè)定的神經(jīng)節(jié)點(diǎn)數(shù)進(jìn)行壓縮編碼。

在初始化權(quán)值矩陣后，采用初始化的權(quán)值矩陣能夠?qū)⒃紨?shù)據(jù)變換成張量形式，使得能夠在編碼階段將原始數(shù)據(jù)變換成張量形式，能夠最大程度上保留原始數(shù)據(jù)的原有信息。

s40：對(duì)編碼后的原始數(shù)據(jù)進(jìn)行解碼重構(gòu)，獲取重構(gòu)的原始數(shù)據(jù)。

該步驟在將原始數(shù)據(jù)采用張量形式表達(dá)進(jìn)行編碼后，通過(guò)學(xué)習(xí)原始數(shù)據(jù)的編碼方式進(jìn)行對(duì)應(yīng)的轉(zhuǎn)置運(yùn)算，對(duì)編碼后的原始數(shù)據(jù)進(jìn)行解碼重構(gòu)，獲取重構(gòu)的原始數(shù)據(jù)。

s50：根據(jù)重構(gòu)的原始數(shù)據(jù)與原始數(shù)據(jù)之間定義的最小平方誤差函數(shù)，更新權(quán)值矩陣。

在對(duì)原始數(shù)據(jù)重構(gòu)后，根據(jù)定義的最小平方誤差函數(shù)來(lái)更新權(quán)值矩陣，進(jìn)行優(yōu)化。該步驟中，采用bp算法(bp，errorbackpropagation,誤差反向傳播算法)更新權(quán)值矩陣。更進(jìn)一步的，為減少不必要的參數(shù)，引入稀疏性限制和 kl散度更新權(quán)值矩陣。

s60：利用更新后的權(quán)值矩陣對(duì)原始數(shù)據(jù)再次進(jìn)行編碼獲得壓縮化的特征。

在更新優(yōu)化了權(quán)值矩陣之后，采用優(yōu)化了的權(quán)值矩陣對(duì)原始數(shù)據(jù)再進(jìn)行編碼，獲取壓縮化的特征。

s70：利用壓縮化的特征通過(guò)迭代運(yùn)算獲得最終輸出。

利用壓縮化的特征采用迭代運(yùn)算，從而能夠獲取最終輸出。

為更好的對(duì)本發(fā)明方法進(jìn)行理解，下面以二階張量為例對(duì)本發(fā)明方法進(jìn)行闡述，但是本發(fā)明方法并不限于二階張量，可以擴(kuò)展到高階張量，具體如下：

第一步：人工設(shè)置自動(dòng)編碼器的個(gè)數(shù)為n個(gè)，每一個(gè)自動(dòng)編碼器的神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)為l個(gè)。

第二步：初始化權(quán)值矩陣p和q以及閾值b。樣本(原始數(shù)據(jù))為矩陣{x1，x2…xm}，其中，xi∈d1*d2的矩陣，p∈l*d1，q∈l*d2。

第三步：樣本進(jìn)入編碼階段進(jìn)行編碼。輸入的為二階張量形式的樣本矩陣x，利用(p^txq+b)改進(jìn)傳統(tǒng)的對(duì)于向量輸入的wx+b操作，保留了樣本x的內(nèi)在信息和結(jié)構(gòu)相關(guān)性，輸出為x^{^}＝f(p^txq+b)，其中f(x)為sigmoid函數(shù)，f(x)＝1/1+exp(-x)，此時(shí)樣本維數(shù)從d1*d2變?yōu)閞1*r2，其中r1<d1，r2<d2。對(duì)于m個(gè)樣本的編碼矩陣為：

第四步：解碼階段重構(gòu)輸出。通過(guò)轉(zhuǎn)置后的權(quán)值矩陣p與q與x做運(yùn)算，獲得向量化的結(jié)果并構(gòu)造與輸入樣本維度一樣的x^·，x^·＝f(px^{^}q^t+b)。

對(duì)于m個(gè)樣本的解碼矩陣為：

第五步:定義平方誤差函數(shù)j(p,q,b)＝∑(x^·-x)²。令aj(x)表示隱藏神經(jīng)元激活度，定義為隱藏神經(jīng)元平均激活度，令進(jìn)而引入稀疏性限制，將一定輸入?yún)?shù)設(shè)為0，從而減少參數(shù)運(yùn)算，增加特征魯棒性(p取接近0的較小值)。對(duì)目標(biāo)函數(shù)加入懲罰因子則總的最小平方誤差函數(shù)可表示為

其中：s為隱藏層數(shù)目。

第六步：利用梯度下降法(bp算法)更新權(quán)值矩陣p和q，從而使其最大程度刻畫(huà)原始數(shù)據(jù)的特征。其中，第i個(gè)自動(dòng)編碼器的權(quán)值更新為：

α為學(xué)習(xí)率。

第七步：獲得自動(dòng)編碼器的輸出，即壓縮化并最大程度保留樣本結(jié)構(gòu)信息與內(nèi)在相關(guān)性的特征矩陣x^{^}i，利用上述方法，n-i個(gè)自動(dòng)編碼器訓(xùn)練，獲得最終網(wǎng)絡(luò)輸出：

該方法，結(jié)合深度學(xué)習(xí)原理與張量算法，采用張量的形式對(duì)原始數(shù)據(jù)進(jìn)行表達(dá)，能夠在不破壞原始數(shù)據(jù)結(jié)構(gòu)的前提下，充分挖掘原有信息，并通過(guò)多層學(xué)習(xí)，獲得更本質(zhì)的抽象特征，從而克服采用向量表達(dá)的局限性，能較大程度 上保留原始數(shù)據(jù)的結(jié)構(gòu)信息，并且獲得更為魯棒的特征提取與模式學(xué)習(xí)，利于對(duì)原始數(shù)據(jù)本質(zhì)的體現(xiàn)，有利于進(jìn)行后續(xù)的模式分類。

同時(shí)，本發(fā)明還提供一種基于深度學(xué)習(xí)的多層自動(dòng)編碼系統(tǒng)，如圖2所示，該系統(tǒng)包括：

設(shè)定模塊100，設(shè)定自動(dòng)編碼器的個(gè)數(shù)及每一個(gè)自動(dòng)編碼器的神經(jīng)節(jié)點(diǎn)數(shù)。

設(shè)定模塊100由用戶根據(jù)需要，人工設(shè)置自動(dòng)編碼器的個(gè)數(shù)及每一個(gè)自動(dòng)編碼器的神經(jīng)節(jié)點(diǎn)數(shù)。

初始化模塊200，初始化權(quán)值矩陣和閾值。

由于該系統(tǒng)對(duì)原始數(shù)據(jù)進(jìn)行張量化處理，將原始數(shù)據(jù)以張量形式進(jìn)行表達(dá)，為能夠?qū)崿F(xiàn)，初始化模塊200設(shè)置權(quán)值矩陣并進(jìn)行初始化，同時(shí)對(duì)閾值也進(jìn)行初始化。

編碼模塊300，基于張量形式對(duì)輸入的原始數(shù)據(jù)進(jìn)行編碼，采用權(quán)值矩陣對(duì)原始數(shù)據(jù)進(jìn)行變換，將原始數(shù)據(jù)采用張量形式進(jìn)行表達(dá)并根據(jù)設(shè)定的神經(jīng)節(jié)點(diǎn)數(shù)進(jìn)行壓縮編碼。

在初始化權(quán)值矩陣后，編碼模塊300采用初始化的權(quán)值矩陣能夠?qū)⒃紨?shù)據(jù)變換成張量形式，使得能夠在編碼階段將原始數(shù)據(jù)變換成張量形式，能夠最大程度上保留原始數(shù)據(jù)的原有信息。

解碼模塊400，對(duì)編碼后的原始數(shù)據(jù)進(jìn)行解碼重構(gòu)，獲取重構(gòu)的原始數(shù)據(jù)。

在將原始數(shù)據(jù)采用張量形式表達(dá)進(jìn)行編碼后，解碼模塊400通過(guò)學(xué)習(xí)原始數(shù)據(jù)的編碼方式進(jìn)行對(duì)應(yīng)的轉(zhuǎn)置運(yùn)算，對(duì)編碼后的原始數(shù)據(jù)進(jìn)行解碼重構(gòu)，獲取重構(gòu)的原始數(shù)據(jù)。

有監(jiān)督學(xué)習(xí)更新模塊500，根據(jù)重構(gòu)的原始數(shù)據(jù)與原始數(shù)據(jù)之間定義的最小平方誤差函數(shù)，更新權(quán)值矩陣。

在對(duì)原始數(shù)據(jù)重構(gòu)后，有監(jiān)督學(xué)習(xí)更新模塊500根據(jù)定義的最小平方誤差函數(shù)來(lái)更新權(quán)值矩陣，進(jìn)行優(yōu)化。進(jìn)一步的，有監(jiān)督學(xué)習(xí)更新模塊500采用bp算法(bp，errorbackpropagation,誤差反向傳播算法)更新權(quán)值矩陣。更進(jìn)一步的，為減少不必要的參數(shù)，有監(jiān)督學(xué)習(xí)更新模塊500引入稀疏性限制和kl 散度更新權(quán)值矩陣。

特征提取模塊600，利用更新后的權(quán)值矩陣對(duì)原始數(shù)據(jù)再次進(jìn)行編碼獲得壓縮化的特征。

在更新優(yōu)化了權(quán)值矩陣之后，特征提取模塊600采用優(yōu)化了的權(quán)值矩陣對(duì)原始數(shù)據(jù)再進(jìn)行編碼，獲取壓縮化的特征。

輸出模塊700，利用壓縮化的特征通過(guò)迭代運(yùn)算獲得最終輸出。

該系統(tǒng)，結(jié)合深度學(xué)習(xí)原理與張量算法，采用張量的形式對(duì)原始數(shù)據(jù)進(jìn)行表達(dá)，能夠在不破壞原始數(shù)據(jù)結(jié)構(gòu)的前提下，充分挖掘原有信息，并通過(guò)多層學(xué)習(xí)，獲得更本質(zhì)的抽象特征，從而克服采用向量表達(dá)的局限性，能較大程度上保留原始數(shù)據(jù)的結(jié)構(gòu)信息，并且獲得更為魯棒的特征提取與模式學(xué)習(xí)，利于對(duì)原始數(shù)據(jù)本質(zhì)的體現(xiàn)，有利于進(jìn)行后續(xù)的模式分類。

本發(fā)明基于深度學(xué)習(xí)的多層自動(dòng)編碼方法及系統(tǒng)，結(jié)合深度學(xué)習(xí)原理與張量算法，采用張量的形式對(duì)原始數(shù)據(jù)進(jìn)行表達(dá)，能夠在不破壞原始數(shù)據(jù)結(jié)構(gòu)的前提下，充分挖掘原有信息，并通過(guò)多層學(xué)習(xí)，獲得更本質(zhì)的抽象特征，從而克服采用向量表達(dá)的局限性，能較大程度上保留原始數(shù)據(jù)的結(jié)構(gòu)信息，并且獲得更為魯棒的特征提取與模式學(xué)習(xí)，利于對(duì)原始數(shù)據(jù)本質(zhì)的體現(xiàn)，有利于進(jìn)行后續(xù)的模式分類。

以上僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。