規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)建模方法
【專利摘要】本發(fā)明涉及一種規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)建模方法，通過(guò)收集、整理專家知識(shí)得到IF…THEN…規(guī)則，根據(jù)IF…THEN…規(guī)則將采集的原始數(shù)據(jù)轉(zhuǎn)化為規(guī)則數(shù)據(jù)，利用多核學(xué)習(xí)算法整合多個(gè)專家知識(shí)得到基于規(guī)則的規(guī)則預(yù)測(cè)模型，并建立數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型，通過(guò)Sigmoid函數(shù)將規(guī)則預(yù)測(cè)模型和數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型的輸出決策值轉(zhuǎn)換為后驗(yàn)概率，并對(duì)數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型進(jìn)行集成，獲得規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)模型。由于將專家知識(shí)、模糊規(guī)則等異質(zhì)信息與數(shù)據(jù)驅(qū)動(dòng)模型進(jìn)行集成，與現(xiàn)有技術(shù)相比，本發(fā)明建模方法可以顯著提高數(shù)據(jù)驅(qū)動(dòng)模型的預(yù)測(cè)精度和可解釋性，建立的模型可以是神經(jīng)網(wǎng)絡(luò)、SVMs等一般非線性模型。
【專利說(shuō)明】
規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)建模方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，涉及數(shù)據(jù)挖掘與數(shù)據(jù)處理方法，具體 地說(shuō)，涉及一種規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)建模方法。
【背景技術(shù)】
[0002] 數(shù)據(jù)驅(qū)動(dòng)建模方法是當(dāng)前的一個(gè)研究熱點(diǎn)，學(xué)者們提出了大量數(shù)據(jù)驅(qū)動(dòng)模型。數(shù) 據(jù)驅(qū)動(dòng)模型的應(yīng)用范圍非常廣泛，涉及回歸分析、聚類分析、分類問(wèn)題、密度估計(jì)等諸多領(lǐng) 域。其中，非線性模型憑借其強(qiáng)大的非線性逼近能力通常表現(xiàn)出較高的預(yù)測(cè)精度。然而，當(dāng) 前的非線性數(shù)據(jù)驅(qū)動(dòng)模型仍存在以下兩個(gè)亟待解決的主要問(wèn)題：（1)無(wú)法有效整合專家知 識(shí)、模糊規(guī)則等異質(zhì)信息，導(dǎo)致無(wú)法進(jìn)一步提升模型的精度；（2)缺乏可解釋性，導(dǎo)致非線性 數(shù)據(jù)驅(qū)動(dòng)模型在許多對(duì)模型透明度較高的應(yīng)用領(lǐng)域內(nèi)使用受限。
[0003] 近年來(lái)學(xué)者們針對(duì)非線性數(shù)據(jù)驅(qū)動(dòng)模型存在的上述問(wèn)題，開(kāi)展了一系列試探性研 究并取得初步研究成果。Jan與Jacek提出了一種從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則的方法，該方法抽 取的規(guī)則通過(guò)模擬網(wǎng)絡(luò)背后的邏輯關(guān)系改進(jìn)神經(jīng)網(wǎng)絡(luò)模型的推廣能力。將先驗(yàn)知識(shí)融入非 線性數(shù)據(jù)驅(qū)動(dòng)模型則是另外一條有效途徑。Maclin等人通過(guò)向SVMs優(yōu)化問(wèn)題加入不等式約 束的方式合并先驗(yàn)知識(shí)到SVMs模型。更進(jìn)一步，為了將非線性知識(shí)融入到非線性數(shù)據(jù)驅(qū)動(dòng) 模型中，Mangasarian等人借助理論分析將非線性先驗(yàn)知識(shí)轉(zhuǎn)化為線性不等式約束。然而， 上述方法都是針對(duì)具體算法設(shè)計(jì)的，無(wú)法實(shí)現(xiàn)規(guī)則知識(shí)與一般數(shù)據(jù)驅(qū)動(dòng)模型的融合，數(shù)據(jù) 驅(qū)動(dòng)模型的精度低，可解釋性差。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于針對(duì)LS-SVMs等現(xiàn)有數(shù)據(jù)驅(qū)動(dòng)模型無(wú)法有效整合專家知識(shí)、模 糊規(guī)則等多源異質(zhì)數(shù)據(jù)導(dǎo)致精度無(wú)法進(jìn)一步提高、數(shù)據(jù)驅(qū)動(dòng)模型可解釋性差等上述不足， 提供了一種規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)建模方法，該方法通過(guò)實(shí)現(xiàn)專家知識(shí)、模糊規(guī)則等信息與 數(shù)據(jù)驅(qū)動(dòng)模型的高效集成，進(jìn)而提高數(shù)據(jù)驅(qū)動(dòng)模型的精度和可解釋性。
[0005] 根據(jù)本發(fā)明一實(shí)施例，提供了一種規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)建模方法，含有以下步驟：
[0006] ( - )選擇待處理數(shù)據(jù)，將待處理數(shù)據(jù)轉(zhuǎn)換為規(guī)則數(shù)據(jù)，其具體步驟為：
[0007] (1)收集并整理專家知識(shí)，利用決策樹(shù)算法生成IF…THEN···規(guī)則：
[0010] (2)定義第k個(gè)樣本點(diǎn)^的第iP個(gè)特征Α?ρ關(guān)于基本規(guī)則區(qū)間#的隸屬度為：
[0008] (1)
[0009] (2).
[0011]
[0012]
[0013]
[0014] (3)定義合取算子Λ及析取算子V計(jì)算and-型規(guī)則及or-型規(guī)則對(duì)樣本Xk的規(guī)則 支持度為：
[0015] <4)
[0016] (5).
[0017] (4)利用規(guī)則支持度產(chǎn)生規(guī)則數(shù)據(jù)，規(guī)則數(shù)據(jù)表示為：
[0018] rk= (ri(xk), ··· ,rm(xk)) e [0 l]m (6);
[0019]
[0020] (二)采用多核學(xué)習(xí)算法融合多源規(guī)則數(shù)據(jù)，其具體步驟為：
[0021] (1)選擇高斯RBF函數(shù)作為核函數(shù)，利用步驟（一）產(chǎn)生的p組規(guī)則數(shù)據(jù) A 分別產(chǎn)生核矩陣 κι，···，κΡ;
[0022] (2)利用面向LS-SVMs的12多核學(xué)習(xí)算法對(duì)ρ組規(guī)則數(shù)據(jù)進(jìn)行融合：
[0023]
[0024] s.t. I |μ| |^Ξ1,
[0025] ，i = 1，···，ρ+1，
[0026]
[0027]
[0028] 其中fi(a) =aTKia，i = 1，···，ρ+1，
[0029] 求解上述融合的優(yōu)化問(wèn)題，得到LS-SVMs模型正則化參數(shù)ν = μΡ+1及最優(yōu)核矩陣系 數(shù)i = 1，…，Ρ)，進(jìn)而獲得進(jìn)行數(shù)據(jù)融合的規(guī)則核矩陣心=:ΣΓ=1 μ,Α
[0030] (三)建立數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型，其具體步驟為：
[0031] 利用LS-SVMs建立數(shù)據(jù)驅(qū)動(dòng)模型為：
[0032] (?)
[0033] (8)
[0034]其中，w為分類超平面的法向量，b為分類超平面的截距項(xiàng)，ei為誤差項(xiàng)，v>0為模 型正則化參數(shù)，<Kx)表示特征映射，通過(guò)指定核函數(shù)的方式隱式確定；
[0035]通過(guò)求解上述數(shù)據(jù)驅(qū)動(dòng)模型的KKT系統(tǒng)
[0036]
(9)
[0037] 得到數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型為：
[0038]
' 10 }.
[0039](四）建立規(guī)則預(yù)測(cè)模型，其具體步驟為:將步驟(二）中的得到LS-SVMs模型正則化 參數(shù)v以及規(guī)則矩陣KR代入LS-SVMs模型的KKT系統(tǒng)
[0040]
U 1 )
[0041] 求解公式(11)表示的KKT系統(tǒng)得到規(guī)則預(yù)測(cè)器：
[0042]
1 ! 2 }.
[0043](五)采用Sigmoid函數(shù)擬合將步驟（四）中規(guī)則預(yù)測(cè)模型的輸出轉(zhuǎn)換為后驗(yàn)概率， 其具體步驟為:通過(guò)擬牛頓算法求解優(yōu)化問(wèn)題：
[0046] 得到Sigmoid函數(shù)的最優(yōu)擬合參數(shù)A和B，進(jìn)而將規(guī)則預(yù)測(cè)模型的輸出決策值轉(zhuǎn)化 為后驗(yàn)概率進(jìn)行輸出，后驗(yàn)概率表示為：
[0044]
[0045]
[0047]
(丨4);
[0048] (六)通過(guò)后驗(yàn)概率集成數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型，建立規(guī)則輔助的數(shù)據(jù) 驅(qū)動(dòng)模型，其具體步驟為:通過(guò)步驟(五)分別擬合出數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型的 Sigmoid函數(shù)的最優(yōu)擬合參數(shù)，將數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型的決策值轉(zhuǎn)換為后驗(yàn) 概率P#PPR，并對(duì)數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型進(jìn)行集成，獲得規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)模 型為：
[0049]
[0050] 本發(fā)明提出的規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)建模方法，通過(guò)收集、整理專家知識(shí)得到IF… THEN···規(guī)則，根據(jù)IF"_THEN···規(guī)則將采集的原始采集數(shù)據(jù)轉(zhuǎn)化為規(guī)則數(shù)據(jù)，利用多核學(xué)習(xí) 算法整合多個(gè)專家知識(shí)得到基于規(guī)則的規(guī)則預(yù)測(cè)模型，并建立數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型，通過(guò) Sigmoid函數(shù)將規(guī)則預(yù)測(cè)模型和數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型的輸出決策值轉(zhuǎn)換為后驗(yàn)概率，并對(duì)數(shù) 據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型進(jìn)行集成，獲得規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)模型。通過(guò)根據(jù)本發(fā) 明實(shí)施例的規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)建模方法建立的數(shù)據(jù)驅(qū)動(dòng)模型，由于將專家知識(shí)、模糊規(guī) 則等異質(zhì)信息與數(shù)據(jù)驅(qū)動(dòng)模型進(jìn)行集成，與現(xiàn)有技術(shù)相比，本發(fā)明建模方法建立的數(shù)據(jù)驅(qū) 動(dòng)模型的預(yù)測(cè)精度和可解釋性得到顯著提高，所提出的建?？蚣芸梢酝茝V應(yīng)用于一般非線 性模型如神經(jīng)網(wǎng)絡(luò)、SVMs等。
【附圖說(shuō)明】
[0051] 附圖1為本發(fā)明具體實(shí)施例規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)建模的流程框圖。
[0052] 附圖2a_d分別為本發(fā)明實(shí)施例CART算法產(chǎn)生的，T2，T3，T4四種決策規(guī)則圖。
[0053]附圖3為本發(fā)明實(shí)施例三種模型在基準(zhǔn)數(shù)據(jù)集German上的預(yù)測(cè)效果圖。
[0054]附圖4為本發(fā)明實(shí)施例三種模型在國(guó)內(nèi)某高爐冶煉過(guò)程數(shù)據(jù)上的預(yù)測(cè)效果圖。
【具體實(shí)施方式】
[0055] 以下結(jié)合附圖對(duì)本發(fā)明實(shí)施例作進(jìn)一步說(shuō)明。
[0056] 實(shí)施例一：以基準(zhǔn)數(shù)據(jù)集German為例進(jìn)行闡述。參見(jiàn)圖1，一種規(guī)則輔助的數(shù)據(jù)驅(qū) 動(dòng)建模方法，含有以下步驟：
[0057](一)選擇待處理數(shù)據(jù)，將待處理數(shù)據(jù)轉(zhuǎn)換為規(guī)則數(shù)據(jù)，其具體步驟為：
[0058] (1)選擇待處理數(shù)據(jù)集合German，從German中選取200個(gè)樣本點(diǎn)構(gòu)造集合Dr，用于 產(chǎn)生決策樹(shù)規(guī)則；其余樣本點(diǎn)構(gòu)造集合Dv，用于驗(yàn)證模型。使用bootstrap方式對(duì)Dr抽樣，然 后應(yīng)用決策樹(shù)算法在抽樣上廣生決策樹(shù)。本實(shí)施例中，決策樹(shù)算法米用CART算法。上述步驟 執(zhí)行多次，直到產(chǎn)生4個(gè)不同的決策樹(shù)Ti，T 2，T3，T4，參見(jiàn)圖2a-d。
[0059] (2)將驗(yàn)證集合Dr分成學(xué)習(xí)集和測(cè)試集，從Dv中隨機(jī)選取P%的樣本構(gòu)造測(cè)試集，其 余樣本構(gòu)造學(xué)習(xí)集，其中PG {10,15,…，85,90}，設(shè)學(xué)習(xí)集為{(xi，yi)，…，（xk，yk)，…，（XI， y 1)}，定義第k個(gè)樣本點(diǎn)xk的第iP個(gè)特征xhp關(guān)于基本規(guī)則區(qū)間g的隸屬度為：
[0060]
[0061]
[0062]
[0063] (3)定義合取算子Λ及析取算子V計(jì)算and-型規(guī)則及or-型規(guī)則對(duì)樣本Xk的規(guī)則 支持度為：
[0066] (4)利用規(guī)則支持度產(chǎn)生規(guī)則數(shù)據(jù)，規(guī)則數(shù)據(jù)表示為：[0067] rk= (ri(xk), ··· ,rm(xk)) e [0 l]m (6)；[0068] [0069]由此產(chǎn)生對(duì)應(yīng)于決策樹(shù)規(guī)則?\，T2，T3，T4的規(guī)則數(shù)據(jù)Ri，R2，R 3，R4。
[0064]
[0065]
[0070] (二)采用多核學(xué)習(xí)算法融合多源規(guī)則數(shù)據(jù)，其具體步驟為：
[0071] (1)選擇高斯RBF函· .作為核函數(shù)，核寬參數(shù)σ取默認(rèn) 值，即輸入數(shù)據(jù)的維數(shù)，利用規(guī)如」數(shù)做Κι，Κ2，Κ3，Κ4廣王忮圯陣1(1，Κ2，Κ3，Κ4 ;
[0072] (2)利用面向LS-SVMs的12多核學(xué)習(xí)算法對(duì)4組規(guī)則數(shù)據(jù)進(jìn)行融合：
[0073]
[0074] s.t. I |μ| |^Ξ1,
[0075] ，i = 1，···，ρ+1，
[0076]
[0077]
[0078] 其中fi(a) =aTKia，i = 1，···，ρ+1，
[0079] 求解上述融合的優(yōu)化問(wèn)題，得到LS-SVMs模型正則化參數(shù)ν = μΡ+1及最優(yōu)核矩陣系 數(shù)yi(i = l，…，ρ)，進(jìn)而獲得進(jìn)行數(shù)據(jù)融合的規(guī)則核矩陣馬？
[0080] (三)建立數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型，其具體步驟為：
[0081 ]利用LS-SVMs建立數(shù)據(jù)驅(qū)動(dòng)模型為：
[0082]
[0083]
[0084]其中，w為分類超平面的法向量，b為分類超平面的截距項(xiàng)，ei為誤差項(xiàng)，v>0為模 型正則化參數(shù)，)表示特征映射，通過(guò)指定核函數(shù)的方式隱式確定；
[0085]通過(guò)求解上述數(shù)據(jù)驅(qū)動(dòng)模型的KKT系統(tǒng)
[0086]
(9)
[0087]得到數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型為：
[0088]
('丨()'
[0089](四）建立規(guī)則預(yù)測(cè)模型，其具體步驟為:將步驟(二）中的得到LS-SVMs模型正則化 參數(shù)v以及規(guī)則矩陣KR代入LS-SVMs模型的KKT系統(tǒng)
[0090]
(11)
[0091] 求解公式(11)表示的KKT系統(tǒng)得到規(guī)則預(yù)測(cè)器：
[0092]
(12
[0093](五)采用Sigmoid函數(shù)擬合將步驟（四）中規(guī)則預(yù)測(cè)模型的輸出轉(zhuǎn)換為后驗(yàn)概率， 其具體步驟為:通過(guò)擬牛頓算法求解優(yōu)化問(wèn)題：
[0094]
(13)
[0095] 其中
N+/N-分別為正/負(fù)類樣本點(diǎn)個(gè)數(shù)；
[0096] 得到Sigmoid函數(shù)的最優(yōu)擬合參數(shù)A和B，進(jìn)而將規(guī)則預(yù)測(cè)模型的輸出決策值轉(zhuǎn)化 為后驗(yàn)概率進(jìn)行輸出，后驗(yàn)概率表示為：
[0097] (14) ?
[0098] (六)通過(guò)后驗(yàn)概率集成數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型，建立規(guī)則輔助的數(shù)據(jù) 驅(qū)動(dòng)模型，其具體步驟為:通過(guò)步驟(五)分別擬合出數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型的 Sigmoid函數(shù)的最優(yōu)擬合參數(shù)，將數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型的決策值轉(zhuǎn)換為后驗(yàn) 概率P#PPR，并對(duì)數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型進(jìn)行集成，獲得規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)模 型為：
[0099] Π 5) Ο
[0100] 分別應(yīng)用本發(fā)明具體實(shí)施例上述規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)建模方法、數(shù)據(jù)驅(qū)動(dòng)建模方 法LS-SVMs以及決策樹(shù)集成方法bagging進(jìn)行建模，檢驗(yàn)上述三種方法建模的有效性。數(shù)值 實(shí)驗(yàn)結(jié)果參見(jiàn)圖3,由圖3可以看出，本發(fā)明具體實(shí)施例上述規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)建模方法 (圖3中的Ensemble)在基準(zhǔn)數(shù)據(jù)集合German上的測(cè)試精度一致優(yōu)于其它兩種建模方法（圖3 中的Data和Rule)。
[0101] 實(shí)施例二：以國(guó)內(nèi)某2000m3高爐冶煉過(guò)程實(shí)際采集數(shù)據(jù)為例。與實(shí)施例一不同之 處在于：1.實(shí)際工業(yè)采集數(shù)據(jù)具有時(shí)序特征，故在數(shù)據(jù)處理過(guò)程中保持?jǐn)?shù)據(jù)先后順序不變； 2.采用如下數(shù)據(jù)標(biāo)準(zhǔn)化處理方法
? = 1，…，η; j = 1，…，d對(duì)樣本數(shù)據(jù)進(jìn)行預(yù) 處理，其中V表示原始采集數(shù)據(jù)，m( X」)表不苐j個(gè)特征的平均值，σ (xj)表示第j個(gè)采集變量 的標(biāo)準(zhǔn)差，將采集數(shù)據(jù)轉(zhuǎn)換為無(wú)量綱數(shù)據(jù)，消除數(shù)據(jù)的數(shù)量級(jí)差異，降低各輸入變量在數(shù)量 級(jí)上的差異對(duì)趨勢(shì)預(yù)報(bào)器的性能所產(chǎn)生的影響。數(shù)值實(shí)驗(yàn)結(jié)果參見(jiàn)圖4,由圖4可以看出，本 發(fā)明實(shí)施例所提規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)建模方法（圖4中的Ensemble)在國(guó)內(nèi)某高爐冶煉過(guò)程 采集數(shù)據(jù)BF(a)上的測(cè)試精度優(yōu)于其它兩種建模方法（圖4中的Data和Rule)。
[0102] 上述實(shí)施例用來(lái)解釋本發(fā)明，而不是對(duì)本發(fā)明進(jìn)行限制，在本發(fā)明的精神和權(quán)利 要求的保護(hù)范圍內(nèi)，對(duì)本發(fā)明做出的任何修改和改變，都落入本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)建模方法，其特征在于:含有W下步驟： (一) 選擇待處理數(shù)據(jù)，將待處理數(shù)據(jù)轉(zhuǎn)換為規(guī)則數(shù)據(jù)，其具體步驟為： (1) 收集并整理專家知識(shí)，利用決策樹(shù)算法生成IF…??ΕΝ···規(guī)則：(2) 定義第k個(gè)樣本點(diǎn)xk的第ip個(gè)特征關(guān)于基本規(guī)則區(qū)間時(shí):的隸屬度為：(3) 定義合取算子Λ及析取算子V計(jì)算and-型規(guī)則及or-型規(guī)則對(duì)樣本xk的規(guī)則支持度 為：(4) 利用規(guī)則支持度產(chǎn)生規(guī)則數(shù)據(jù)，規(guī)則數(shù)據(jù)表示為： rk=(ri(xk) ,··· ,rm(xk)) e [0 1]? (6)； (二) 采用多核學(xué)習(xí)算法融合多源規(guī)則數(shù)據(jù)，其具體步驟為： (1 )選擇高斯RBF函數(shù)作為核函數(shù)，利用步驟（一）產(chǎn)生的P組規(guī)則數(shù)據(jù) &二扣，化}i=i，【'二1，…，P，分別產(chǎn)生核矩陣Ki，…，Κρ; (2)利用面向1^5-5￥13的拉多核學(xué)習(xí)算法對(duì)Ρ組規(guī)則數(shù)據(jù)進(jìn)行融合：其中 fi(a)=aTKia，i = l，…，Ρ+1， 求解上述融合的優(yōu)化問(wèn)題，得到LS-SVMs模型正則化參數(shù)ν = μρ+ι及最優(yōu)核矩陣系數(shù)化。 =1，…，Ρ)，進(jìn)而獲得進(jìn)行數(shù)據(jù)融合的規(guī)則核矩聞(Ξ)建立數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型，其具體步驟為： 利用LS-SVMs建立數(shù)據(jù)驅(qū)動(dòng)模型為：其中，W為分類超平面的法向量，b為分類超平面的截距項(xiàng)，ei為誤差項(xiàng)，v>0為模型正則 化參數(shù)，挪>)表示特征映射，通過(guò)指定核函數(shù)的方式隱式確定； 通過(guò)求解上述數(shù)據(jù)驅(qū)動(dòng)模型的KKT系統(tǒng)(9) 得到數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型為：(10) ? (四） 建立規(guī)則預(yù)測(cè)模型，其具體步驟為:將步驟(二）中的得到LS-SVMs模型正則化參數(shù) vW及規(guī)則矩陣Kr代入LS-SVMs模型的邸T系統(tǒng)IIJ 求解公式(11)表示的KKT系統(tǒng)得到規(guī)則預(yù)測(cè)器：(12：) ? (五) 采用Sigmoid函數(shù)擬合將步驟（四）中規(guī)則預(yù)測(cè)模型的輸出轉(zhuǎn)換為后驗(yàn)概率，其具 體步驟為:通過(guò)擬牛頓算法求解優(yōu)化問(wèn)題：(13) 其4N+/N-分別為正/負(fù)類樣本點(diǎn)個(gè)數(shù)； 得到Sigmoid函數(shù)的最優(yōu)擬合參數(shù)A和B，進(jìn)而將規(guī)則預(yù)測(cè)模型的輸出決策值轉(zhuǎn)化為后 驗(yàn)概率進(jìn)行輸出，后驗(yàn)概率表示為：(14) ? (六) 通過(guò)后驗(yàn)概率集成數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型，建立規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng) 模型，其具體步驟為：通過(guò)步驟（五）分別擬合出數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型的 Sigmoid函數(shù)的最優(yōu)擬合參數(shù)，將數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型的決策值轉(zhuǎn)換為后驗(yàn) 概率時(shí)和扣，并對(duì)數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型和規(guī)則預(yù)測(cè)模型進(jìn)行集成，獲得規(guī)則輔助的數(shù)據(jù)驅(qū)動(dòng)模 型為：(15) 〇
【文檔編號(hào)】G06K9/62GK105975977SQ201610236242
【公開(kāi)日】2016年9月28日
【申請(qǐng)日】2016年5月5日
【發(fā)明人】漸令, 宋曉欣, 高富豪, 宋允全, 梁錫軍
【申請(qǐng)人】中國(guó)石油大學(xué)(華東)