一種基于降維超平面的多元線性回歸方法
【專利摘要】本發(fā)明涉及概率論與數(shù)理統(tǒng)計(jì)領(lǐng)域，特別是涉及一種基于降維超平面的多元線性回歸方法。設(shè)具有線性相關(guān)關(guān)系的變量x1，x2，...，xn，y的觀測(cè)值矩陣為(X，Y)，將(X，Y)或其歸一化矩陣(X1，Y1)進(jìn)行主成分分析，求取與第n+1個(gè)主成分垂直且通過(guò)數(shù)據(jù)重心的超平面方程，將超平面方程整理為的形式，則為基于觀測(cè)數(shù)據(jù)(X，Y)的估計(jì)的多元線性回歸方程。
【專利說(shuō)明】-種基于降維超平面的多元線性回歸方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及概率論與數(shù)理統(tǒng)計(jì)領(lǐng)域，特別是涉及一種基于降維超平面的多元線性 回歸方法。

【背景技術(shù)】
[0002] 線性回歸分析是數(shù)理統(tǒng)計(jì)中最基本的研究方法之一，用以研究變量間的相關(guān)關(guān) 系。在社會(huì)經(jīng)濟(jì)領(lǐng)域，很多變量間的關(guān)系即使在宏觀上不是線性的，在微觀上仍可近似做線 性化處理。另外，有的時(shí)候通過(guò)對(duì)變量進(jìn)行取對(duì)數(shù)等預(yù)處理，可以將變量間的非線性關(guān)系變 換為線性關(guān)系。目前主流的統(tǒng)計(jì)分析、數(shù)值計(jì)算軟件都以矩陣運(yùn)算為基礎(chǔ)。因此，對(duì)變量進(jìn) 行高精度的線性回歸具有重要的基礎(chǔ)作用。
[0003] 線性回歸根據(jù)自變量及因變量的數(shù)量可分為一重一元、一重多元、多重多元等幾 種情況，其中，一重多元線性回歸是其中基本的問(wèn)題之一，簡(jiǎn)述如下：
[0004] 設(shè)有變量 Xp x2, . . .，xn，y 滿足線性關(guān)系式 y = β。+ β A+. . . + β ηχη+ ε，其 中Mi = 0，1，...，η)是常數(shù)，ε是隨機(jī)誤差。對(duì)各變量進(jìn)行Ν次觀測(cè)，觀測(cè)值為：

【權(quán)利要求】
1. 一種基于降維超平面的多元線性回歸方法，其特征在于，步驟如下： (1) 設(shè)有變量χρ χ2, ...，χη，y滿足線性關(guān)系式y(tǒng) = β〇+β ιΧι+... +βηχη+ ε，其中 Mi = 0,1，. . .，η)是常數(shù)，ε是隨機(jī)誤差，η > 2,對(duì)各變量進(jìn)行Ν次觀測(cè)，觀測(cè)值為
，其中表示變量\的第i次觀測(cè)值，以 上數(shù)據(jù)與散點(diǎn)集
等價(jià)，基于以上觀測(cè)數(shù)據(jù)的估計(jì) 的多元線性回歸方程為_
(2) 對(duì)（X，Y)進(jìn)行主成分分析，設(shè)主成分依次為匕，...，Gn+1，對(duì)應(yīng)于以上主成分的單 位向量分別表示為5,...,5，（X，Y)在n+1維空間（ gl，. . .，gn)中的對(duì)應(yīng)矩陣為G = (gij) (n+1) XN ; (3) 在n+1維空間（gl，...，gn)內(nèi)，計(jì)算與Fn+1垂直且經(jīng)過(guò)各樣本點(diǎn)的幾何中心
4勺超平面方程為
⑷將式
中g(shù)n+1用X。χ2,…，x n，y表示，整理為
的 形式，則
為基于觀測(cè)數(shù)據(jù)（X，Y)的估計(jì)的多元線性回歸方程。
2. -種基于降維超平面的多元線性回歸方法，其特征在于，步驟如下： (1) 設(shè)有變量χρ χ2, ...，χη，y滿足線性關(guān)系式y(tǒng) = β〇+β ιΧι+... +βηχη+ ε，其中 Mi = 0,1，. . .，η)是常數(shù)，ε是隨機(jī)誤差，η > 2,對(duì)各變量進(jìn)行Ν次觀測(cè)，觀測(cè)值為
，其中表示變量\的第i次觀測(cè)值，以 上數(shù)據(jù)與散點(diǎn)集S= {(Xil，...，Xin，yi)|i e (1，...，N)}等價(jià)，基于以上觀測(cè)數(shù)據(jù)的估計(jì) 的多元線性回歸方程為
(2) 將Y與X中列向量分別進(jìn)行歸一化處理，處理結(jié)果合并為矩陣（XSY1)，（Χ^Υ1)中 各列向量對(duì)應(yīng)的變量為χ?，. . . d^y1，歸一化處理的方法為：設(shè)Z為列向量，mean(Z)為 Z的各分量的均值，std⑵為Z的各分量的標(biāo)準(zhǔn)差，則Z的歸一化向量為
設(shè)Z與Z1對(duì)應(yīng)的變量分別為z和z1，其關(guān)系式為
(3) 對(duì)（XSY1)進(jìn)行主成分分析，設(shè)主成分依次為，對(duì)應(yīng)于以上主成分的單位 向量分別表示為
（X1，Y1)在n+1維空間（f\，. . .，fn)中的對(duì)應(yīng)矩陣為F = (t) (n+1) XN ? (4) 在n+1維空間（f\，...，fn)內(nèi)，計(jì)算與Fn+1垂直且經(jīng)過(guò)各樣本點(diǎn)的幾何中心 的超平面方程為 (5) 將式/"+1 -1 = 0中fn+1用，x、，…，x^，y1表示，整理為
的形式； (6) 將式
中各變量用Xl，x2, ...，xn，y表示，整理為
的形式，則
為基于觀測(cè)數(shù)據(jù)（X，Y)的估計(jì)的多 元線性回歸方程。
【文檔編號(hào)】G06F19/00GK104063617SQ201410318782
【公開日】2014年9月24日 申請(qǐng)日期:2014年7月7日 優(yōu)先權(quán)日:2014年7月7日
【發(fā)明者】許蔚蔚 申請(qǐng)人:許蔚蔚