亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

基于節(jié)點輸入約束的全連接深度學習模型快速訓練方法與流程

文檔序號:12306171閱讀:931來源:國知局
基于節(jié)點輸入約束的全連接深度學習模型快速訓練方法與流程

本發(fā)明屬深度學習技術(shù)領(lǐng)域,涉及一種在全連接深度學習模型中的快速訓練算法,具體涉及一種基于節(jié)點輸入約束的全連接深度學習模型快速訓練方法。



背景技術(shù):

目前存在的深度學習模型快速訓練方法主要有兩類:一類是基于節(jié)點函數(shù)改進的,通過改進節(jié)點函數(shù)形式,減少訓練次數(shù),使得網(wǎng)絡(luò)快速收斂;另一類是基于訓練算法策略改進,通過各種改進的訓練算法策略,減少訓練次數(shù),使得網(wǎng)絡(luò)快速收斂。文獻“胡潔,曾祥金等.一種快速且全局收斂的bp神經(jīng)網(wǎng)絡(luò)學習算法[j].系統(tǒng)科學與數(shù)學,2010,30(5):604-610.”公開了一種快速且全局收斂的bp神經(jīng)網(wǎng)絡(luò)學習算法。該算法通過定義一個適當?shù)膭恿宽棧苊庥柧氝^程中陷入局部極小并且提高收斂速度。文獻所用動量項,雖簡單,但設(shè)置需人為經(jīng)驗。



技術(shù)實現(xiàn)要素:

為了克服現(xiàn)有的基于動量項提高bp神經(jīng)網(wǎng)絡(luò)算法收斂速度的問題,本發(fā)明提供了一種基于網(wǎng)絡(luò)節(jié)點輸入約束的全連接深度學習模型快速訓練算法。該方法將節(jié)點輸入約束,引入到全連接深度學習模型訓練中。首先,對網(wǎng)絡(luò)節(jié)點輸入約束值進行研究,依據(jù)激勵函數(shù)特性對其進行原始函數(shù)曲線、一階導數(shù)曲線進行節(jié)點約束值分析,得到節(jié)點輸入約束值;然后,在網(wǎng)絡(luò)正向計算時節(jié)點輸入中加入節(jié)點輸入限制條件,通過限制網(wǎng)絡(luò)節(jié)點輸入來控制一階梯度大小,從而優(yōu)化梯度,使得網(wǎng)絡(luò)快速達到收斂;最后,網(wǎng)絡(luò)誤差反向傳播更新網(wǎng)絡(luò)參數(shù),直到網(wǎng)絡(luò)收斂。

一種基于節(jié)點輸入約束的全連接深度學習模型快速訓練方法,其特征在于步驟如下:

步驟1:基于激勵函數(shù)確定節(jié)點輸入約束值:根據(jù)激勵函數(shù)曲線和激勵函數(shù)一階導數(shù)函數(shù)曲線,確定使兩條曲線同時開始收斂的初始因變量,以該因變量值的絕對值作為節(jié)點輸入約束值mr;

步驟2:在全連接網(wǎng)絡(luò)正向計算中加入節(jié)點約束環(huán)節(jié):在網(wǎng)絡(luò)正向傳播中,對于每個隱層、輸出層中的每個節(jié)點,以步驟1得到的約束值mr作為門限閾值,對節(jié)點原始輸入值進行輸入限制,具體為:

對于隱層節(jié)點:

對于輸出層節(jié)點:

其中,為隱層輸入節(jié)點輸入值,為輸出層節(jié)點輸入值,i=1,2,…,m,j=1,2,…,m,m表示隱層節(jié)點個數(shù),m表示輸出層節(jié)點個數(shù);

步驟3:神經(jīng)網(wǎng)絡(luò)訓練:先進行網(wǎng)絡(luò)正向傳播,再進行誤差反向傳導,更新網(wǎng)絡(luò)參數(shù),直到網(wǎng)絡(luò)收斂。

本發(fā)明的有益效果是:由于把節(jié)點輸入限制環(huán)節(jié)加入到了神經(jīng)網(wǎng)絡(luò)正向傳播環(huán)節(jié),有效的實現(xiàn)了網(wǎng)絡(luò)訓練的快速收斂。相對于其他方法,思路簡單,參數(shù)易于設(shè)置。

附圖說明

圖1是本發(fā)明的全連接深度學習網(wǎng)絡(luò)模型示意圖

圖2是本發(fā)明的一種基于節(jié)點輸入約束的全連接深度學習模型快速訓練方法流程圖

圖3是sigmoid函數(shù)曲線

圖4是sigmoid函數(shù)一階導數(shù)曲線

具體實施方式

下面結(jié)合附圖和實施例對本發(fā)明進一步說明,本發(fā)明包括但不僅限于下述實施例。

傳統(tǒng)全連接深度學習網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,其前向傳導過程如下:

為隱層輸入節(jié)點輸入值,是隱層節(jié)點輸出值,是輸出層節(jié)點輸入值,是輸出節(jié)點輸出值,分別表示輸入層與隱層、隱層與輸出層之間的權(quán)值。xk(k=1,…,n)表示各個輸入節(jié)點的輸入值,hi(i=1,2,…,m)表示各個隱層節(jié)點,m為隱層節(jié)點個數(shù),n為輸入節(jié)點個數(shù),m為輸出層節(jié)點個數(shù)。在該網(wǎng)絡(luò)中選擇sigmoid函數(shù)作為節(jié)點激勵函數(shù)。

本發(fā)明的一種基于節(jié)點輸入約束的全連接深度學習模型快速訓練方法,其基本過程如圖2所示,具體包括以下步驟:

1、基于sigmoid激勵函數(shù)確定節(jié)點輸入約束值

sigmoid函數(shù)如下:

f(x)=1/(1+e-x)(1)

該函數(shù)曲線如圖3所示,其一階導數(shù)曲線如圖4所示,由兩個曲線可以得到:

f'(x)=0當x>6或x<-6(3)

也就是說,使sigmoid函數(shù)曲線和其一階導數(shù)函數(shù)曲線同時趨于收斂的初始因變量為±6,因此,令節(jié)點輸入約束值mr=6。

2、在全連接網(wǎng)絡(luò)正向計算中加入節(jié)點約束環(huán)節(jié)

在全連接網(wǎng)絡(luò)正向傳播中,對于每個隱層、輸出層中的每個節(jié)點,以步驟1得到的節(jié)點輸入約束值作為門限閾值,對節(jié)點原始輸入值進行輸入限制,即在計算隱層輸入節(jié)點的輸入值與輸出層節(jié)點的輸入值中加入節(jié)點輸入限制環(huán)節(jié),具體為:

對于隱層節(jié)點:

對于輸出層節(jié)點:

3、神經(jīng)網(wǎng)絡(luò)訓練

先進行網(wǎng)絡(luò)正向傳播,再進行誤差反向傳導,更新網(wǎng)絡(luò)參數(shù),直到網(wǎng)絡(luò)收斂(即訓練誤差在一定范圍內(nèi))。

(1)網(wǎng)絡(luò)正向傳播

隱層輸入節(jié)點輸入值:

隱層節(jié)點輸出值:

輸出層節(jié)點輸入值:

輸出層節(jié)點輸出值:

(2)dj為輸出節(jié)點期望輸出,反向傳導過程如下:

對輸出層節(jié)點,計算:

對于隱層節(jié)點,計算:

計算最終的權(quán)值偏導數(shù):

這里,η為學習率,為誤差。

(3)權(quán)值更新

對于輸出層:

對于隱層:

其中,α是沖量,p表示迭代次數(shù)。

p加1,重復(1)-(3),直到時,訓練結(jié)束,e表示殘差,本實施例中,ε取0.05。

當前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1