1.一種提高大數(shù)據(jù)處理質(zhì)量的方法,其特征在于,包括如下步驟:
(1)根據(jù)收集到的數(shù)據(jù)特性,對(duì)要優(yōu)化數(shù)據(jù)進(jìn)行分析:如果數(shù)據(jù)處理問題是否是求解函數(shù)的最小值優(yōu)化問題:是則轉(zhuǎn)步驟(2);否則,通過對(duì)數(shù)據(jù)的正則化處理,轉(zhuǎn)化為求解最小值優(yōu)化問題,轉(zhuǎn)步驟(2);
(2)建立最小值優(yōu)化模型其中Rn為實(shí)數(shù)域的n維向量,f(X)為目標(biāo)函數(shù),是一個(gè)二次連續(xù)可微的非線性函數(shù),X為n維向量;
(3)選取梯度類優(yōu)化方法,所述方法包括梯度下降法、牛頓法和L-BFGS方法;具體根據(jù)選取的優(yōu)化方法,引入Powerball函數(shù),建立Powerball迭代公式,進(jìn)行迭代;所述Powerball函數(shù)表達(dá)式σγ(z)=sign(z)|z|γ,γ∈(0,1)為Power系數(shù),z∈R;
對(duì)于梯度下降法,對(duì)應(yīng)的Powerball迭代公式為:
對(duì)于牛頓法,對(duì)應(yīng)的Powerball迭代公式為:
X(k+1)=X(k)-(▽2f(X(k)))-1σγ(▽f(X(k)));
對(duì)于L-BFGS方法,對(duì)應(yīng)的Powerball迭代公式為:
其中,是目標(biāo)函數(shù)的Hesse矩陣的逼近矩陣,與Hesse矩陣有相同的維數(shù);Sk=X(k+1)-X(k),是與X(k)有相同的維數(shù)的向量;X(k+1)=X(k)+αkdk,Yk=▽f(X(k+1))-▽f(X(k)),即
式中,▽f(X)為目標(biāo)函數(shù)f(X)的梯度;▽2f(X)為目標(biāo)函數(shù)f(X)的Hesse矩陣;k是迭代次數(shù),取值為0,1,2,……,αk為第k次迭代時(shí)的步長(zhǎng),X(k) 為第k次迭代得到的逼近值;當(dāng)k=0時(shí),Bk初值取為單位矩陣,X(k)的初值X(0)可任意選??;σγ(·):R→R為Powerball函數(shù)σγ對(duì)目標(biāo)函數(shù)梯度的非線性變換即Powerball變換;
(4)判斷收斂性,具體判斷方法如下:
當(dāng)目標(biāo)函數(shù)是強(qiáng)凸函數(shù),且其梯度滿足L-Lipschitz條件時(shí),則判別迭代次數(shù)是否大于N;是則迭代結(jié)束,輸出最優(yōu)值X(k+1);否則繼續(xù)迭代;
當(dāng)目標(biāo)函數(shù)不是強(qiáng)凸函數(shù),或其梯度不滿足L-Lipschitz條件時(shí),則判斷||X(k+1)-X(k)||<ε是否成立,是則迭代結(jié)束,輸出最優(yōu)值X(k+1);否則繼續(xù)迭代;ε為誤差精度,根據(jù)精度要求和計(jì)算量權(quán)衡;
其中,N為預(yù)設(shè)的迭代次數(shù)上限。
2.根據(jù)權(quán)利要求1所述提高大數(shù)據(jù)處理質(zhì)量的方法,其特征在于,所述步驟(4)中的L-Lipschitz條件為:
對(duì)任意X,Y∈Rn,函數(shù)f(X)滿足下式:
||▽f(Y)-▽f(X)||≤L||Y-X||;||·||表示向量的任意范數(shù),L>0為L(zhǎng)ipschitz常數(shù),選取為目標(biāo)函數(shù)梯度的范數(shù)的一個(gè)上界;
所述強(qiáng)凸函數(shù)是指函數(shù)f(X)對(duì)任意X∈Rn,
是凸函數(shù);
上式中,||·||2則表示取2-范數(shù);為向量X二范數(shù)的平方,m為大于零的常數(shù)。
3.根據(jù)權(quán)利要求2所述提高大數(shù)據(jù)處理質(zhì)量的方法,其特征在于,所述步驟(4)中,可以最少的迭代次數(shù)得到最優(yōu)值X(k);其中為L(zhǎng)yapunov函數(shù)。
4.根據(jù)權(quán)利要求1所述提高大數(shù)據(jù)處理質(zhì)量的方法,其特征在于,所述步驟(3)中,所述Power系數(shù)γ∈(0,1)取值大小,根據(jù)誤差精度ε確定;誤差精度ε越大,γ的取值越小,算法的收斂速度越快。
5.根據(jù)權(quán)利要求1所述提高大數(shù)據(jù)處理質(zhì)量的方法,其特征在于,所述γ根據(jù)迭代次數(shù)自適應(yīng)方式選擇:
其中γ0,γ1分別為γ的初值和終值,優(yōu)化值取γ0=0.1,γ1=0.9,N為迭代次數(shù)上限。
6.根據(jù)權(quán)利要求1所述提高大數(shù)據(jù)處理質(zhì)量的方法,其特征在于,步驟(3)迭代方法如下:
(1)對(duì)于One-bit梯度下降法,令Powerball函數(shù)σγ(z)=sign(z)|z|γ中取γ=0;此時(shí)σγ(z)=sign(z),z∈R,迭代公式為:
(2)對(duì)于隨機(jī)變量的Powerball方法,建立Powerball迭代公式如下;
式中,其中fj(X),j=1,2,...,l為滿足L-Lipschitz梯度的、二階連續(xù)可微的強(qiáng)凸函數(shù),其中是每一次迭代時(shí)隨機(jī)選取的。
7.根據(jù)權(quán)利要求2或3所述提高大數(shù)據(jù)處理質(zhì)量的方法,其特征在于,所述步驟(4)中,m選為目標(biāo)函數(shù)的Hesse矩陣的最小特征值的絕對(duì)值。