本申請涉及計算機技術領域，尤其涉及一種優(yōu)化用戶信用模型建模過程的方法及裝置。

背景技術：

目前，個人征信系統(tǒng)幫助消費貸款等機構對用戶的個人信用進行分析，同時，用戶也可以根據(jù)個人信用進行相關消費或貸款。通常個人的征信系統(tǒng)的建立需要用戶不斷的對用戶信用模型進行訓練，獲得正確的個人征信系統(tǒng)模型，這里正確的模型是指：根據(jù)輸入的用戶的相關特征值，正確的輸出該用戶對應的信用度等。

訓練用戶信用模型通常會采用深度算法，該算法基于建立模擬人腦分析學習的神經(jīng)網(wǎng)絡(這里簡稱為深度網(wǎng)絡)，從而達到分析數(shù)據(jù)的目的，這里的數(shù)據(jù)可以是圖片數(shù)據(jù)、聲音數(shù)據(jù)或文本數(shù)據(jù)等。在訓練該深度網(wǎng)絡時，首先采用正向傳播的方法在該深度網(wǎng)絡的輸入層中輸入相應的值，然后通過隨機的方式分配深度網(wǎng)絡中各層之間的權值，從而獲得最終的輸出數(shù)據(jù)，這時獲得的輸出數(shù)據(jù)可能不是用戶想要得到的期望輸出數(shù)據(jù)，在這種情況下，需要對深度網(wǎng)絡中各層之間的權值進行調(diào)整，使得最終獲得的輸出數(shù)據(jù)與期望輸出數(shù)據(jù)之間的誤差值小于預設的誤差閾值。

通常現(xiàn)有技術在調(diào)整模型中各層之間權值的步驟是：首先算出深度網(wǎng)絡中的實際輸出數(shù)據(jù)與期望輸出數(shù)據(jù)之間的誤差值，然后將該誤差值分攤給該深度網(wǎng)絡中各層中各個單元，并根據(jù)梯度下降法對深度網(wǎng)絡中各層之間的權值進行調(diào)整，當模型中實際輸出數(shù)據(jù)與期望輸出數(shù)據(jù)之間的誤差值小于預設的誤差閾值時，則完成了權值的調(diào)整過程，即完成了該深度網(wǎng)絡的訓練。

上述調(diào)整模型權值的方法是比較有效的方法，但是在建立征信系統(tǒng)模型時是采用隨機的方法分配深度網(wǎng)絡中的各層之間的權值，這樣可能導致建立的模型與正確的模型之間的差距增大，具體是指建立的模型中各層之間的權值與正確模型中的權值差距較大；且隨著征信系統(tǒng)模型中的數(shù)據(jù)逐漸增大以及神經(jīng)網(wǎng)絡的結構不斷復雜化，采用上述調(diào)整權值的方法直接對整個網(wǎng)絡進行訓練時，由于網(wǎng)絡中隱藏層可能有很多層，因此可能導致輸出層的梯度傳遞到網(wǎng)絡前層時會變得非常小，產(chǎn)生一種梯度彌散的現(xiàn)象，即使得網(wǎng)絡前層的權值不再發(fā)生變化，造成在訓練模型時過早的出現(xiàn)局部最優(yōu)值。

技術實現(xiàn)要素：

鑒于此問題，本申請實施例提供一種優(yōu)化用戶信用模型建模過程的方法，用于解決現(xiàn)有技術在調(diào)整用戶信用模型中各層權值時使得模型過早陷于局部最優(yōu)值的問題。

本申請實施例提供了一種優(yōu)化用戶信用模型建模過程的方法，所述方法應用于深度網(wǎng)絡，所述深度網(wǎng)絡包括n層，該方法包括：獲取用于建立用戶信用模型的樣本數(shù)據(jù)；將所述樣本數(shù)據(jù)作為輸入數(shù)據(jù)輸入到所述深度網(wǎng)絡，對所述深度網(wǎng)絡的第i-1層、第i層以及第i+1層進行如下操作：將第i-1層的輸出數(shù)據(jù)作為第i層的輸入數(shù)據(jù)，利用所述第i層的輸入數(shù)據(jù)對第i層與第i+1層之間的權值矩陣進行訓練，得到第i層與第i+1層之間的權值矩陣，所述i大于等于2，小于n；用所述權值矩陣初始化所述深度網(wǎng)絡的相應層，以實現(xiàn)對用戶信用模型建模過程的優(yōu)化。

有選地，所述利用所述第i層的輸入數(shù)據(jù)對第i層與第i+1層之間的權值矩陣進行訓練具體包括：

根據(jù)所述第i層的輸入數(shù)據(jù)，計算獲得第i+1層的輸出數(shù)據(jù)；

將所述第i+1層的輸出數(shù)據(jù)作為輸入數(shù)據(jù)，計算獲得第i層的輸出數(shù)據(jù)；

將所述第i層的輸出數(shù)據(jù)作為輸入數(shù)據(jù)，計算獲得第i+1層中輸出數(shù)據(jù)為預設數(shù)據(jù)的概率；

根據(jù)所述第i層的輸入數(shù)據(jù)、第i+1層的輸出數(shù)據(jù)、第i層的輸出數(shù)據(jù)和第i+1層中輸出數(shù)據(jù)為預設數(shù)據(jù)的概率，對第i層與第i+1層之間的權值矩陣進行訓練。

優(yōu)選地，所述根據(jù)所述第i層的輸入數(shù)據(jù)獲取第i+1層的輸出數(shù)據(jù)具體包括：

根據(jù)所述第i層的輸入數(shù)據(jù)，計算獲得第i+1層的輸出數(shù)據(jù)為預設數(shù)據(jù)的概率，并將所述概率與預設的概率閾值比較，如果所述概率小于所述預設的概率閾值，則第i+1層的輸出數(shù)據(jù)為所述預設數(shù)據(jù)。

優(yōu)選地，所述方法還包括：

根據(jù)所述第i層的輸入數(shù)據(jù)和第i層的輸出數(shù)據(jù)，對第i層的偏置項進行訓練，并根據(jù)所述第i+1層的輸出數(shù)據(jù)和第i+1層中輸出數(shù)據(jù)為預設數(shù)據(jù)的概率，對第i+1層的偏置項進行訓練，所述對第i層的偏置項和第i+1層的偏置項進行訓練用以實現(xiàn)對用戶信用模型建模過程的優(yōu)化。

有選地，將所述深度網(wǎng)絡的第i-1層、第i層以及第i+1層作為受限玻爾茲曼機進行訓練。

優(yōu)選地，在所述用訓練得到的相應層的權值矩陣初始化所述深度網(wǎng)絡的相應層之后，該方法還包括：

在所述深度網(wǎng)絡中輸入所述建立用戶信用模型的樣本數(shù)據(jù)，并根據(jù)所述相應層的權值矩陣獲取所述深度網(wǎng)絡中的第n層的輸出數(shù)據(jù)；

計算所述第n層的輸出數(shù)據(jù)和期望輸出數(shù)據(jù)之間的誤差值，如果所述誤差值小于預設的誤差閾值時，則所述相應層的權值矩陣為所述深度網(wǎng)絡的最終權值矩陣；如果所述誤差值大于所述預設的誤差閾值時，則對所述相應層的權值矩陣進行調(diào)整，直到調(diào)整后的權值使得所述深度網(wǎng)絡中的第n層的輸出數(shù)據(jù)與期望輸出數(shù)據(jù)之間的誤差值小于所述預設的誤差閾值時，則所述調(diào)整后的權值為所述深度網(wǎng)絡的最終權值。

優(yōu)選地，對所述相應層的權值矩陣進行調(diào)整具體包括：

根據(jù)所述第n層輸出與期望輸出之間的誤差函數(shù)，獲取所述相應層的權值矩陣的修正值；

根據(jù)所述權值矩陣的修正值對所述相應層的權值矩陣進行調(diào)整。

本申請實施例還提供了一種優(yōu)化用戶信用模型建模過程的裝置，該裝置包括獲取單元、處理單元、優(yōu)化單元，其中：

所述獲取單元，用于獲取用于建立用戶信用模型的樣本數(shù)據(jù)；

所述處理單元，用于將所述樣本數(shù)據(jù)作為輸入數(shù)據(jù)輸入到所述深度網(wǎng)絡，并對所述深度網(wǎng)絡的第i-1層、第i層以及第i+1層進行如下操作：

將第i-1層的輸出數(shù)據(jù)作為第i層的輸入數(shù)據(jù)，利用所述第i層的輸入數(shù)據(jù)對第i層與第i+1層之間的權值矩陣進行訓練，得到第i層與第i+1層之間的權重矩陣權值矩陣，所述i大于等于2，小于n；

所述優(yōu)化單元，用于用所述權值矩陣初始化所述深度網(wǎng)絡的相應層，以實現(xiàn)對用戶信用模型建模過程的優(yōu)化。

優(yōu)選地，所述處理單元具體包括輸入子單元、第一計算子單元、第二計算子單元、第三計算子單元和訓練子單元，其中：

所述輸入子單元，用于在所述第i層中輸入數(shù)據(jù)；

所述第一計算子單元，用于根據(jù)所述第i層的輸入數(shù)據(jù)，計算獲得第i+1層的輸出數(shù)據(jù)；

所述第二計算子單元，用于將所述第i+1層的輸出數(shù)據(jù)作為輸入數(shù)據(jù)，計算獲得第i層的輸出數(shù)據(jù)；

所述第三計算子單元，用于將所述第i層的輸出數(shù)據(jù)作為輸入數(shù)據(jù)，計算獲得第i+1層中輸出數(shù)據(jù)為預設數(shù)據(jù)的概率；

所述訓練子單元，用于根據(jù)所述第i層的輸入數(shù)據(jù)、第i+1層的輸出數(shù)據(jù)、第i層的輸出數(shù)據(jù)和第i+1層中輸出數(shù)據(jù)為預設數(shù)據(jù)的概率，對第i層與第i+1層之間的權值矩陣進行訓練。

優(yōu)選地，所述優(yōu)化單元還包括獲取子單元和第四計算子單元，其中：

所述獲取子單元，用于在用所述權值矩陣初始化所述深度網(wǎng)絡的相應層之后，在所述深度網(wǎng)絡中的輸入所述建立用戶信用模型的樣本數(shù)據(jù)，并根據(jù)所述相應層的權值矩陣獲取所述深度網(wǎng)絡中的第n層的輸出數(shù)據(jù)；

所述計算子單元，用于計算所述第n層的輸出數(shù)據(jù)和期望輸出數(shù)據(jù)之間的誤差值，如果所述誤差值小于預設的誤差閾值時，則所述相應層的權值矩陣為所述深度網(wǎng)絡的最終權值矩陣；如果所述誤差值大于所述預設的誤差閾值時，則對所述相應層的權值矩陣進行調(diào)整，直到調(diào)整后的權值使得所述深度網(wǎng)絡中的第n層的輸出數(shù)據(jù)與期望輸出數(shù)據(jù)之間的誤差值小于所述預設的誤差閾值時，則所述調(diào)整后的權值為所述深度網(wǎng)絡的最終權值。

應用本申請實施例提供的優(yōu)化用戶信用模型建模過程的方法，在對網(wǎng)絡模型各層中的權值進行調(diào)控之前，先將網(wǎng)絡模型中的各層當做玻爾茲曼機進行預訓練，即將模型中前一層網(wǎng)絡的輸出作為后一層的輸入，然后再逐層的對模型中的每一層進行訓練，獲得各層訓練好的權值，最后使用訓練好的權值去初始化整個網(wǎng)絡模型。相比于現(xiàn)有技術中訓練用戶信用模型的方法，在訓練用戶信用模型之前，對該模型進行預訓練，使得該模型各層的權值在訓練前已經(jīng)處于良好的狀態(tài)，這樣可以避免在訓練模型時過早的獲得局部最優(yōu)值。

附圖說明

此處所說明的附圖用來提供對本申請的進一步理解，構成本申請的一部分，本申請的示意性實施例及其說明用于解釋本申請，并不構成對本申請的不當限定。在附圖中：

圖1為本申請實施例提供的一種優(yōu)化用戶信用模型建模過程的方法的具體流程示意圖；

圖2為本申請實施例提供的現(xiàn)有技術中一種神經(jīng)網(wǎng)絡的基本模型示意圖；

圖3為本申請實施例提供的現(xiàn)有技術中一種對用戶信用模型進行訓練的方法的具體流程示意圖；

圖4為本申請實施例提供的一種受限玻爾茲曼機的示意圖；

圖5為本申請實施例提供的對用戶信用模型進行預訓練的示意圖；

圖6為本申請實施例提供的對用戶信用模型進行訓練的示意圖；

圖7為本申請實施例提供的對用戶信用模型進行訓練后獲得用戶信用模型中各層權值的示意圖；

圖8為本申請實施例提供的一種優(yōu)化用戶信用模型建模過程的裝置的具體結構示意圖。

具體實施方式

為使本申請的目的、技術方案和優(yōu)點更加清楚，下面將結合本申請具體實施例及相應的附圖對本申請技術方案進行清楚、完整地描述。顯然，所描述的實施例僅是本申請一部分實施例，而不是全部的實施例?；诒旧暾堉械膶嵤├绢I域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護的范圍。

以下結合附圖，詳細說明本申請各實施例提供的技術方案。

本申請實施例提供了一種優(yōu)化用戶信用模型建模過程的方法，用于在訓練用戶信用模型之前對該模型進行預訓練，使得該用戶信用模型在訓練之前模型中各層的權值處于良好的狀態(tài)。該方法的具體流程示意圖如圖1所示，包括下述步驟：

步驟11:獲取用于建立用戶信用模型的樣本數(shù)據(jù)。

在建立用戶信用模型時需要對模型進行訓練，常用的訓練模型的算法有多種，例如多元線性回歸、決策樹、神經(jīng)網(wǎng)絡以及遺傳算法等，本申請實施例主要是基于神經(jīng)網(wǎng)絡來建立用戶信用模型。通常神經(jīng)網(wǎng)絡中有一層輸入層、一層輸出層和一層或多層的隱藏層，其中，多層的隱藏層合起來組成網(wǎng)絡模型中的中間層；網(wǎng)絡模型中的每一層中有多個神經(jīng)元節(jié)點，如圖2為神經(jīng)網(wǎng)絡的基本模型：可見層中的vj表示樣本輸入數(shù)據(jù)，hi表示隱藏層的數(shù)據(jù)，o1、o2、o3為輸出層中的輸出數(shù)據(jù)，其中，v1～vm是輸入層的各神經(jīng)元節(jié)點，h1～hn是隱藏層的各神經(jīng)元節(jié)點，wij為隱藏層和輸入層之間的權值矩陣，例如，w12是可見層中的v2節(jié)點和隱藏層中的h1節(jié)點之間的權值。

為了更加清楚的說明本申請實施例，有必要對現(xiàn)有技術中訓練神經(jīng)網(wǎng)絡的方法進行說明，在神經(jīng)網(wǎng)絡中，對于模型的訓練方法有很多種，這里重點對其中一種訓練模型的方法進行詳細說明，具體訓練的步驟如圖3所示：

步驟s301：獲取訓練的樣本數(shù)據(jù)，這里的樣本數(shù)據(jù)可以是用戶的身份信息、消費信息、貸款信息等。

步驟s302：將獲取的樣本數(shù)據(jù)進行歸一化。

步驟s303：根據(jù)歸一化后的樣本數(shù)據(jù)，并隨機的分配模型中各層之間的權值，獲得網(wǎng)絡模型結構和初始參數(shù)，這里的初始參數(shù)包括網(wǎng)絡模型中各層的權值；

步驟s304：在獲得的模型中輸入樣本數(shù)據(jù)，獲得輸出數(shù)據(jù)，在用戶信用模型中的輸出數(shù)據(jù)可以是用戶逾期或者不逾期的概率值，或者是根據(jù)該概率獲得的用戶的信用度等，并計算獲得的輸出數(shù)據(jù)與期望輸出數(shù)據(jù)之間的誤差值。

步驟s305：判斷計算的得到的誤差值是否大于預設的誤差閾值，如果計算獲得的誤差值比設定的誤差閾值大(即誤差值>δ)，則執(zhí)行步驟s306：調(diào)整網(wǎng)絡模型各層的參數(shù)，這里的參數(shù)包括各層之間的權值等；如果計算獲得的誤差值比設定的誤差閾值小，則執(zhí)行步驟s307：將步驟s303獲得的網(wǎng)絡模型應用于計算用戶的信用度。

在步驟s302中，將樣本數(shù)據(jù)歸一化通常采用的方式有兩種，其中一種方法是是：其中，min是樣本的最小值，max是樣本的最大值，x是原來的樣本值，x′是歸一化的樣本值，這個公式是對原始的輸入樣本數(shù)據(jù)進行線性變化，可以將計算得到x′的結果映射到[0,1]之間。另一種方式是利用樣本數(shù)據(jù)間隔相等的分位點對樣本數(shù)據(jù)進行歸一化，具體的步驟是：首先將樣本數(shù)據(jù)的某一特征按數(shù)值大小進行排序，然后統(tǒng)計出排序后該樣本數(shù)據(jù)的分位點，例如，有100個樣本數(shù)據(jù)，則可以將該樣本數(shù)據(jù)分成5份，這時該樣本數(shù)據(jù)的分位點分別為20、40、60、80，再根據(jù)各分位點的信息將樣本數(shù)據(jù)劃分為不同的區(qū)間，例如，每個樣本數(shù)據(jù)落在哪個區(qū)間，就將該區(qū)間的特征值設置為1，否則，設置為0，最后對該樣本數(shù)據(jù)進行分位點階梯型連續(xù)歸一化處理，例如，某樣本數(shù)據(jù)有10個分位點，如果有樣本落在第一個區(qū)間，則將該樣本值設置為0.1，如果有樣本數(shù)據(jù)落在第二個區(qū)間，則將該樣本值設置為0.2，以此類推，如果有樣本落在第十個區(qū)間，則將該樣本值設置為1。

在步驟s304中，計算輸出數(shù)據(jù)與期望輸出數(shù)據(jù)之間的誤差值的方法是：第j個單元節(jié)點輸出數(shù)據(jù)的誤差值為總誤差值為其中，tij是j節(jié)點的輸出期望輸出數(shù)據(jù)，yij是j節(jié)點的實際輸出數(shù)據(jù)；假設oij表示中間層中輸入第i個樣本且第j個節(jié)點的輸出數(shù)據(jù)，具體為：oij＝f(∑wijvj+bj)，這里f(x)表示下層輸入對上層節(jié)點刺激脈沖強度的函數(shù)，通常取x在區(qū)間(0,1)的sigmoid函數(shù)，即bj是第j個節(jié)點的偏置項，且vj是第j個的節(jié)點的樣本輸入數(shù)據(jù)，wij表示為輸出層到中間層的權值矩陣。

現(xiàn)有技術在計算模型中各層的權值時，通常使用梯度下降法進行迭代計算每一層的權值，即迭代公式為：其中，ε是學習率，即權值變化率,通常取0～1之間的數(shù)值，表示網(wǎng)絡模型中第l層中輸入單元i和輸出單元j之間的權值矩陣。

上述為現(xiàn)有技術對網(wǎng)絡模型進行訓練的詳細步驟，本步驟中獲取用于建立用戶信用模型的樣本數(shù)據(jù)同樣可以包括用戶的身份信息、消費信息或者貸款的信息等。

步驟12:將所述樣本數(shù)據(jù)作為輸入數(shù)據(jù)輸入到所述深度網(wǎng)絡，對所述深度網(wǎng)絡的第i-1層、第i層以及第i+1層進行如下操作：將第i-1層的輸出數(shù)據(jù)作為第i層的輸入數(shù)據(jù)，利用所述第i層的輸入數(shù)據(jù)對第i層與第i+1層之間的權值矩陣進行訓練，得到第i層與第i+1層之間的權值矩陣，所述i大于等于2，小于n。

步驟11中提到現(xiàn)有技術對于訓練用戶信用模型的方法，其中，網(wǎng)絡模型中各層的權值的迭代公式采用如圖2中的神經(jīng)網(wǎng)絡模型是比較簡單的模型，而在實際應用中，通常中間層的隱藏層會有很多層，因此在求各層中的權值時，當權值的迭代公式計算到模型中的前層時，權值將變得非常小，即此時該迭代公式對于模型中的權值的影響變得很小，從而導致模型中的前層中權值不再發(fā)生變化，使得整個網(wǎng)絡模型陷入局部最優(yōu)的情況。

本申請實施例針對上述情況，將網(wǎng)絡模型中的各層當作一個受限玻爾茲曼機，在對模型進行訓練之前對整個模型進行預訓練，即將網(wǎng)絡模型中前一層網(wǎng)絡中的輸出作為下一層網(wǎng)絡的輸入，具體的，將網(wǎng)絡模型中的第i-1層的輸出數(shù)據(jù)，作為第i層中的輸入數(shù)據(jù)，然后使用第i層的輸入數(shù)據(jù)對第i層與第i+1層之間的權值矩陣進行訓練，獲得第i層與第i+1層之間的權值矩陣。

如圖2所示為簡單的受限玻爾茲曼機的結構，其中，可見層中的vj表示樣本輸入數(shù)據(jù)，則該樣本輸入數(shù)據(jù)是在步驟11中獲得的樣本輸入數(shù)據(jù)，hi表示隱藏層的數(shù)據(jù)，v1～vm是輸入層的各個節(jié)點，h1～hn是隱藏層的各個節(jié)點，wm×n為隱藏層和輸入層之間的權值,可見層中的偏置變量為b＝(b1,b2…bm)，隱藏層中的偏置變量為c＝(c1,c2…cn)。

受限玻爾茲曼模型具有特殊的結構，具體是指：可見層中的變量與隱藏層中的變量之間是條件獨立的，因此可以將相應的條件概率分解，具體如下：

在玻爾茲曼機中，每個神經(jīng)元中對應的vj和hi通常的取值集合均為{0,1}，對隱藏層中的第i個特征取值為1的概率為即根據(jù)v的值計算hi＝1的概率；然后根據(jù)設定的概率閾值和計算獲得的p(hi＝1|v)，確定hi取值，該概率閾值的取值范圍通常為[0,1]。具體確定hi方法是通過比較p(hi＝1|v)和概率閾值的大小來進行確定，即：當p(hi＝1|v)大于該概率閾值時，hi的取值為1，反之為0，例如，設定的概率閾值為0.5，如果計算獲得的p(hi＝1|v)為0.6時，這時hi的取值為1，如果計算獲得的p(hi＝1|v)為0.4時，這時的hi的取值為0。又因為這里的hi通常為1或者0，即在計算出p(hi＝1|v)后，根據(jù)可以獲得當v一定時hi為0的概率；或者用上述同樣的方法先根據(jù)v的值計算hi＝0的概率，再根據(jù)獲得當v一定時hi為1的概率。

同理，根據(jù)公式可以根據(jù)h的值獲取vj為1的概率；然后設定一個概率閾值，且該概率閾值的范圍也為[0,1]，如果該p(vj＝1|h)大于所述概率閾值，則hi的取值為1，否則為0，且

在深度網(wǎng)絡中，針對上述玻爾茲曼機的訓練算法有很多種，這里主要對其中的一種訓練方法進行詳細說明：假設輸入樣本數(shù)據(jù)為x0，隱藏層中的節(jié)點個數(shù)為n，ε為學習率，bj為可見層的偏置向量，ci為隱藏層中的偏置向量，wij為連接可見層與隱藏層之間的權值矩陣，最大的訓練周期為t，具體的訓練過程如下：

令可見層的初始狀態(tài)v1＝x0，wij、bj、ci的初始值為隨機的較小的數(shù)值，例如，這里的bj和ci的初始值可以設定為0；當t＝1、2、3…t時，對于隱藏層中的所有節(jié)點(即i＝1、2、3…n)，計算p(h1i＝1|v1)，即p(h1i＝1|v1)＝sigmoid(ci+∑iwijv1i)，其中，h1i表示h1中任意的一維的向量值，且p(h1i＝1|v1)表示的是當可見層中的輸入值為v1時輸出值h1i為1的概率；當獲得輸入值為v1時h1中的每一維向量為1的概率后，同理，根據(jù)上述方法獲取h1i的值，即：通過將h1i為1的概率與預設的閾值比較，從而確定h1i的取值為1或0。

通過上述方法分別獲得h11～h1n的取值，從而獲得h1的值，且這里h1i的取值為1或0是用戶經(jīng)常設定的兩個取值，在實際應用中，用戶可以根據(jù)需要進行自行設定。

另外，通過上述方法分別計算獲得當輸入值為v1時h11～h1n為1的概率，這里可以根據(jù)h11～h1n為1的概率獲得當輸入值為v1時h1為1的概率，具體的，因為本申請實施例是針對玻爾茲曼機進行訓練，所以根據(jù)p(h|v)＝∏ip(hi|v)可得：p(h1＝1|v1)＝p(h11＝1|v1)p(h12＝1|v1)…p(h1n＝1|v1)。

對于可見層中的所有節(jié)點(即j＝1、2、3…m),計算p(v2j＝1|h1)，即p(v2j＝1|h1)＝sigmoid(bj+∑iwijh1i)，根據(jù)上述獲得的h1的值獲取v2j的取值，確定v2j取值的方法與上述根據(jù)v1確定h1i的取值的方法相同，為避免重復，這里不再贅述。同理，用相同的方法根據(jù)v2獲取隱藏層中的h2的值，即：對于隱藏層中的所有節(jié)點(即i＝1、2、3…n)，計算p(h2i＝1|v2)，即p(h2i＝1|v2)＝sigmoid(ci+∑jwijv2j)。

通過上述方法分別計算獲得當輸入值為v2時h21～h2n為1的概率，這里可以根據(jù)h21～h2n為1的概率獲得當輸入值為v2時h2為1的概率，即p(h2＝1|v2)＝p(h21＝1|v2)p(h22＝1|v2)…p(h2n＝1|v2)。

在獲取h1、v2、h2、p(h2＝1|v2)的取值后，按照下式更新參數(shù)：

bj＝bj+ε(v1-v2)；

cj＝cj+ε(h1-p(h2＝1|v2))。

通過上述方法對玻爾茲曼機進行預訓練，逐層的獲得整個網(wǎng)絡模型的權值，具體的，當獲得網(wǎng)絡模型中的某一層的權值后，固定該層的權值不變，再通過計算獲得下一層的權值，從而獲得整個模型的權值。這樣通過對網(wǎng)絡模型的預訓練，獲得整個網(wǎng)絡模型的結構和初始參數(shù)值，這里的初始參數(shù)值是指模型中各層的權值，且該權值不是隨機分配的，而是采用上述訓練方法對模型中的各層權值進行預訓練，最終獲得與目標權值接近的權值，即使得網(wǎng)絡模型中各層的權值在進行訓練之前就處于良好的狀態(tài)，這里的目標權值是指最終獲得的正確網(wǎng)絡模型中各層的權值。

另外，為了使得訓練前的模型更加的精確，在對模型進行預訓練時，不僅對模型各層的權值進行訓練，還要對可見層和隱藏層的偏置項進行訓練，例如，上述更新參數(shù)時，除了對wij更新以外，還對可見層中的偏置項bj和隱藏層的cj進行更新，使得訓練前的模型更加接近正確模型。

需要說明的是，上述對用戶信用模型預訓練的方法只是示例性的說明，在實際操作中，還可以采用其他算法對網(wǎng)絡模型進行預訓練，這里不作具體限定。

步驟13:用所述權值矩陣初始化所述深度網(wǎng)絡的相應層，以實現(xiàn)對用戶信用模型建模過程的優(yōu)化。

步驟12中，通過對整個網(wǎng)絡模型進行預訓練獲得網(wǎng)絡模型各層的權值矩陣，本步驟中，根據(jù)步驟12中獲得的權值對整個網(wǎng)絡進行初始化，初始化后需要對該網(wǎng)絡模型進行訓練，具體的訓練方法有很多種，可以采用前述提到的現(xiàn)有技術訓練模型的方法，具體的步驟已經(jīng)在步驟11中詳細說明，為避免重復，這里不再贅述。

下面再完整的對用戶信用模型優(yōu)化的過程進行說明：首先，對用戶信用模型進行預訓練，如圖5所示為對網(wǎng)絡模型進行預訓練的示意圖：在“輸入數(shù)據(jù)”模塊中輸入樣本數(shù)據(jù)，根據(jù)輸入的樣本數(shù)據(jù)，通過步驟12提到的訓練的方法獲得權值w1和該樣本數(shù)據(jù)對應的輸出數(shù)據(jù)，即該輸出數(shù)據(jù)作為下一層中的輸入數(shù)據(jù)；同理，再根據(jù)該輸入數(shù)據(jù)運用步驟12提到的訓練的方法，獲得權值w2和相應的輸出數(shù)據(jù)，再將該輸出數(shù)據(jù)作為下一層的輸入數(shù)據(jù)，通過步驟12提到的訓練的方法，獲得權值w3和最終的輸出數(shù)據(jù)；以上就完成了用戶信用模型的預訓練，即通過對模型進行預訓練獲得模型的結構和模型中各層的權值，則該權值已經(jīng)接近模型的目標權值。

接下來，在對信用模型預訓練后，需要再對信用模型進行訓練，如圖6所示為對模型進行訓練的示意圖：首先，通過正向傳播獲得實際輸出數(shù)據(jù)，再計算出實際輸出數(shù)據(jù)和期望輸出數(shù)據(jù)之間的誤差值，然后再根據(jù)該誤差值，并采用梯度下降法對信用模型中各層的權值矩陣進行調(diào)控，因為在對模型進行預訓練后，模型中各層的權值已經(jīng)處于較好的狀態(tài)，即該權值與目標權值接近，因此這里的對權值矩陣進行調(diào)控只是微調(diào)，并最終獲得目標權值w1、w2和w3。

最后根據(jù)訓練后得到的w1、w2和w3，對這三個權值矩陣進行轉置變化，獲得相應的轉置矩陣，即w1^t、w2^t和w3^t(如圖7所示)，當在該模型中輸入樣本數(shù)據(jù)后，通過w1^t、w2^t和w3^t權值矩陣的作用后，最終獲得輸出值，這里的輸出值可以是用戶逾期或者不逾期的概率值，這時還要將計算得到的輸出值通過分類器，最終獲得用戶的信用度，具體如圖7所示：通過w4矩陣對計算得到輸出值進行作用后，得到最終結果，這里的最終結果可以是判斷用戶的信用度好或壞。

上述內(nèi)容是本申請實施例提供的一種優(yōu)化用戶信用模型建模過程的方法，相應的，本申請實施例還提供了一種優(yōu)化用戶信用模型建模過程的裝置，用于在訓練用戶信用模型之前對該模型進行預訓練，使得該用戶信用模型在訓練之前模型中各層的權值處于良好的狀態(tài)。該裝置的具體流程示意圖如圖8所示，該裝置具體包括：

獲取單元81、處理單元82、優(yōu)化單元83；其中，

所述獲取單元81，可以用于獲取用于建立用戶信用模型的樣本數(shù)據(jù)；

所述處理單元82，可以用于將所述樣本數(shù)據(jù)作為輸入數(shù)據(jù)輸入到所述深度網(wǎng)絡，并對所述深度網(wǎng)絡的第i-1層、第i層以及第i+1層進行如下操作：

將第i-1層的輸出數(shù)據(jù)作為第i層的輸入數(shù)據(jù)，利用所述第i層的輸入數(shù)據(jù)對第i層與第i+1層之間的權值矩陣進行訓練，得到第i層與第i+1層之間的權值矩陣，所述i大于等于2，小于n；

所述優(yōu)化單元83，可以用所述權值矩陣初始化所述深度網(wǎng)絡的相應層，以實現(xiàn)對用戶信用模型建模過程的優(yōu)化。

上述裝置實施例子的具體工作流程是：首先獲取單元81獲取用于建立用戶信用模型的樣本數(shù)據(jù)，然后處理單元82將該樣本數(shù)據(jù)作為輸入數(shù)據(jù)輸入到該深度網(wǎng)絡，具體的，針對該深度網(wǎng)絡的第i-1層、第i層以及第i+1層進行如下操作：將第i-1層的輸出數(shù)據(jù)作為第i層的輸入數(shù)據(jù)，利用該第i層的輸入數(shù)據(jù)對第i層與第i+1層之間的權值矩陣進行訓練，得到第i層與第i+1層之間的權值矩陣，最后優(yōu)化單元83用該權值矩陣初始化該深度網(wǎng)絡的相應層，以實現(xiàn)對用戶信用模型建模過程的優(yōu)化。

對于上述裝置實施例對用戶信用模型的優(yōu)化方式有很多種，例如，在一種實施方式中，所述處理單元82具體包括：

輸入子單元、第一計算子單元、第二計算子單元、第三計算子單元和訓練子單元；其中，

所述輸入子單元，可以用于在所述第i層中輸入數(shù)據(jù)；

所述第一計算子單元，可以用于根據(jù)所述第i層的輸入數(shù)據(jù)，計算獲得第i+1層的輸出數(shù)據(jù)；

所述第二計算子單元，可以用于將所述第i+1層的輸出數(shù)據(jù)作為輸入數(shù)據(jù)，計算獲得第i層的輸出數(shù)據(jù)；

所述第三計算子單元，可以用于將所述第i層的輸出數(shù)據(jù)作為輸入數(shù)據(jù)，計算獲得第i+1層中輸出數(shù)據(jù)為預設數(shù)據(jù)的概率；

所述訓練子單元，可以用于根據(jù)所述第i層的輸入數(shù)據(jù)、第i+1層的輸出數(shù)據(jù)、第i層的輸出數(shù)據(jù)和第i+1層中輸出數(shù)據(jù)為預設數(shù)據(jù)的概率，對第i層與第i+1層之間的權值矩陣進行訓練。

上述處理單元82的訓練模型的方法獲得該深度網(wǎng)絡中各層的權值矩陣，相比于現(xiàn)有技術中不通過對用戶信用模型進行預訓練，而是通過隨機的方式分配模型各層的權值矩陣，本申請實施例獲得的權值矩陣與目標模型中各層的權值矩陣更為接近。

在另一種實施方式中，所述優(yōu)化單元83還包括：

獲取子單元和第四計算子單元；其中，

所述獲取子單元，可以用于在用所述權值矩陣初始化所述深度網(wǎng)絡的相應層之后，在所述深度網(wǎng)絡中輸入所述建立用戶信用模型的樣本數(shù)據(jù)，并根據(jù)所述相應層的權值矩陣獲取所述深度網(wǎng)絡中的第n層的輸出數(shù)據(jù)；

所述第四計算子單元，用于計算所述第n層的輸出數(shù)據(jù)和期望輸出數(shù)據(jù)之間的誤差值，如果所述誤差值小于預設的誤差閾值時，則所述相應層的權值矩陣為所述深度網(wǎng)絡的最終權值矩陣；如果所述誤差值大于所述預設的誤差閾值時，則對所述相應層的權值矩陣進行調(diào)整，直到調(diào)整后的權值使得所述深度網(wǎng)絡中的第n層的輸出數(shù)據(jù)與期望輸出數(shù)據(jù)之間的誤差值小于所述預設的誤差閾值時，則所述調(diào)整后的權值為所述深度網(wǎng)絡的最終權值。

應用本申請實施例提供的優(yōu)化用戶信用模型建模過程的方法及裝置，在對網(wǎng)絡模型各層中的權值進行調(diào)控之前，先將網(wǎng)絡模型中的各層當做玻爾茲曼機進行預訓練，即將模型中前一層網(wǎng)絡的輸出作為后一層的輸入，然后再逐層的對模型中的每一層進行預訓練，獲得各層訓練好的權值，最后使用訓練好的權值去初始化整個網(wǎng)絡模型；相比于現(xiàn)有技術中訓練用戶信用模型的方法，在訓練模型之前，對網(wǎng)絡模型進行預訓練，使的網(wǎng)絡模型各層在訓練前已經(jīng)處于良好的狀態(tài)，這樣可以避免在訓練模型時網(wǎng)絡模型過早的獲得局部最優(yōu)值。

本領域內(nèi)的技術人員應明白，本申請的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此，本申請可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、cd-rom、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。

本申請是參照根據(jù)本申請實施例的方法、設備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上，使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

在一個典型的配置中，計算設備包括一個或多個處理器(cpu)、輸入/輸出接口、網(wǎng)絡接口和內(nèi)存。

內(nèi)存可能包括計算機可讀介質(zhì)中的非永久性存儲器，隨機存取存儲器(ram)和/或非易失性內(nèi)存等形式，如只讀存儲器(rom)或閃存(flashram)。內(nèi)存是計算機可讀介質(zhì)的示例。

計算機可讀介質(zhì)包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現(xiàn)信息存儲。信息可以是計算機可讀指令、數(shù)據(jù)結構、程序的模塊或其他數(shù)據(jù)。計算機的存儲介質(zhì)的例子包括，但不限于相變內(nèi)存(pram)、靜態(tài)隨機存取存儲器(sram)、動態(tài)隨機存取存儲器(dram)、其他類型的隨機存取存儲器(ram)、只讀存儲器(rom)、電可擦除可編程只讀存儲器(eeprom)、快閃記憶體或其他內(nèi)存技術、只讀光盤只讀存儲器(cd-rom)、數(shù)字多功能光盤(dvd)或其他光學存儲、磁盒式磁帶，磁帶磁磁盤存儲或其他磁性存儲設備或任何其他非傳輸介質(zhì)，可用于存儲可以被計算設備訪問的信息。按照本文中的界定，計算機可讀介質(zhì)不包括暫存電腦可讀媒體(transitorymedia)，如調(diào)制的數(shù)據(jù)信號和載波。

還需要說明的是，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括要素的過程、方法、商品或者設備中還存在另外的相同要素。

本領域技術人員應明白，本申請的實施例可提供為方法、系統(tǒng)或計算機程序產(chǎn)品。因此，本申請可采用完全硬件實施例、完全軟件實施例或結合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、cd-rom、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。

以上僅為本申請的實施例而已，并不用于限制本申請。對于本領域技術人員來說，本申請可以有各種更改和變化。凡在本申請的精神和原理之內(nèi)所作的任何修改、等同替換、改進等，均應包含在本申請的權利要求范圍之內(nèi)。