本發(fā)明涉及一種軟測(cè)量方法，尤其涉及一種基于多近鄰保持嵌入回歸模型的工業(yè)軟測(cè)量方法。

背景技術(shù)：

穩(wěn)定而持續(xù)地生產(chǎn)質(zhì)量合格的產(chǎn)品是保證企業(yè)盈利的基本途徑，實(shí)時(shí)地監(jiān)控產(chǎn)品質(zhì)量指標(biāo)因此在整個(gè)過(guò)程控制系統(tǒng)中必不可少。在生產(chǎn)過(guò)程中，通常希望能實(shí)時(shí)地測(cè)量產(chǎn)品質(zhì)量的有效信息。若某些質(zhì)量指標(biāo)信息無(wú)法直接測(cè)得，也會(huì)間接的測(cè)量能直接反應(yīng)產(chǎn)品質(zhì)量信息的其他指標(biāo)。一般來(lái)講，在線實(shí)時(shí)測(cè)量質(zhì)量指標(biāo)的儀器設(shè)備相比于測(cè)量壓力、溫度、流量的儀表而言，價(jià)格高昂且后期維護(hù)成本較高。若是采用離線分析儀器設(shè)備，無(wú)法做到及時(shí)地測(cè)量產(chǎn)品質(zhì)量的相關(guān)信息。為此，軟測(cè)量方法技術(shù)應(yīng)運(yùn)而生，其基本思想是利用生產(chǎn)過(guò)程歷史數(shù)據(jù)庫(kù)，建立容易測(cè)量變量與產(chǎn)品質(zhì)量指標(biāo)間的回歸模型，實(shí)現(xiàn)對(duì)產(chǎn)品質(zhì)量的軟測(cè)量從而取代產(chǎn)品質(zhì)量分析儀。在歷史采樣數(shù)據(jù)庫(kù)中，容易測(cè)量變量通常指溫度、壓力、流量等等。在現(xiàn)有的方法技術(shù)中，神經(jīng)網(wǎng)絡(luò)、支持向量回歸、多變量統(tǒng)計(jì)回歸法等現(xiàn)都已經(jīng)成功應(yīng)用于工業(yè)過(guò)程軟測(cè)量。相比于多變量統(tǒng)計(jì)回歸法，神經(jīng)網(wǎng)絡(luò)與支持向量回歸方法需要更為龐大的訓(xùn)練數(shù)據(jù)量，而且訓(xùn)練時(shí)間相對(duì)較長(zhǎng)不利于軟測(cè)量模型的在線更新。因此，多變量統(tǒng)計(jì)回歸法在某些領(lǐng)域具備較大的優(yōu)勢(shì)。目前，廣泛研究與應(yīng)用的多變量統(tǒng)計(jì)回歸方法主要有偏最小二乘與主元回歸法等。值得強(qiáng)調(diào)的是，這些方法都是通過(guò)挖掘容易測(cè)量變量數(shù)據(jù)中的潛藏信息來(lái)建立其與質(zhì)量指標(biāo)數(shù)據(jù)的回歸模型。以主元回歸法為例，挖掘出的潛藏信息通常是數(shù)據(jù)的方差信息。在流形學(xué)習(xí)領(lǐng)域看來(lái)，方差信息體現(xiàn)的是數(shù)據(jù)的全局結(jié)構(gòu)特征。從數(shù)據(jù)空間分布的幾何結(jié)構(gòu)來(lái)看，數(shù)據(jù)間的局部近鄰關(guān)系體現(xiàn)了數(shù)據(jù)局部分布結(jié)構(gòu)情況，在潛藏信息挖掘中同樣重要。

近年來(lái)，挖掘數(shù)據(jù)局部近鄰結(jié)構(gòu)的算法也有很多，主要包括局部線性嵌入、局部保持投影、以及近鄰保持嵌入。這類算法挖掘的是數(shù)據(jù)的局部結(jié)構(gòu)特征，雖已在故障檢測(cè)、模式識(shí)別等領(lǐng)域得到了廣泛應(yīng)用，但還未充分應(yīng)用于軟測(cè)量建模。在已有的科研文獻(xiàn)中，有科研人員將近鄰保持嵌入(neighborhoodpreservingembedding，npe)用于軟測(cè)量，驗(yàn)證了這類算法用于軟測(cè)量的可實(shí)施性。另一方面，還有專利文獻(xiàn)指出，數(shù)據(jù)的局部近鄰結(jié)構(gòu)不僅限于空間距離上的近鄰關(guān)系，還可以包括體現(xiàn)在采樣時(shí)間與空間角度上的近鄰關(guān)系。因此，npe方法用于軟測(cè)量雖已經(jīng)起步，但是在數(shù)據(jù)局部近鄰關(guān)系的挖掘上還有待進(jìn)一步的研究拓展。簡(jiǎn)單來(lái)講，npe單純考慮的是空間距離相近的局部結(jié)構(gòu)特征，在建立軟測(cè)量模型時(shí)未曾考慮采樣時(shí)間近鄰局部特征與空間角度近鄰局部特征。此外，單個(gè)npe軟測(cè)量模型可以達(dá)到的軟測(cè)量精度是有限的，而且不具備多個(gè)軟測(cè)量模型較強(qiáng)的泛化能方。因此，利用npe建立回歸模型實(shí)施軟測(cè)量還有待深入研究。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的主要技術(shù)問(wèn)題是：如何全面挖掘數(shù)據(jù)的局部近鄰特征關(guān)系，并同時(shí)建立多個(gè)回歸模型以實(shí)現(xiàn)對(duì)產(chǎn)品質(zhì)量的在線軟測(cè)量目的。為此，本發(fā)明公開一種基于多近鄰保持嵌入回歸模型的工業(yè)軟測(cè)量方法。該發(fā)明方法首先為輸入數(shù)據(jù)的每個(gè)樣本點(diǎn)搜尋距離近鄰、時(shí)間近鄰、和角度近鄰，然后對(duì)應(yīng)建立距離npe回歸模型、時(shí)間npe回歸模型，和角度npe回歸模型。其次，將各個(gè)npe回歸模型對(duì)輸出的估計(jì)值重新作為輸入，利用偏最小二乘算法再次建立其與輸出之間的回歸模型。最后，將建立起來(lái)的多npe回歸模型用于在線軟測(cè)量。

本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為：一種基于多近鄰保持嵌入回歸模型的工業(yè)軟測(cè)量方法，包括以下步驟：

(1)從生產(chǎn)過(guò)程的歷史數(shù)據(jù)庫(kù)中找出容易測(cè)量變量所對(duì)應(yīng)的采樣數(shù)據(jù)組成輸入數(shù)據(jù)矩陣x∈r^n×m，能直接或間接反映產(chǎn)品質(zhì)量的指標(biāo)所對(duì)應(yīng)的數(shù)據(jù)組成輸出向量y∈r^n×1。其中，n為訓(xùn)練樣本數(shù)，m為過(guò)程測(cè)量變量數(shù)，r為實(shí)數(shù)集，r^n×m表示n×m維的實(shí)數(shù)矩陣。

(2)將向量y與矩陣x中的每一列進(jìn)行標(biāo)準(zhǔn)化處理，得到均值為0，標(biāo)準(zhǔn)差為1的新輸出向量與新輸入數(shù)據(jù)矩陣記錄向量y的均值μ與標(biāo)準(zhǔn)差δ，上標(biāo)號(hào)t表示矩陣或向量的轉(zhuǎn)置。

(3)設(shè)置距離近鄰個(gè)數(shù)k、時(shí)間近鄰個(gè)數(shù)t、和角度近鄰閥值δ，分別為數(shù)據(jù)矩陣中的每個(gè)樣本點(diǎn)搜尋與之相近的距離近鄰、時(shí)間近鄰、和角度近鄰，其中各參數(shù)的取值范圍分別為k∈[6，12]、t∈[1，4]、和δ∈[0.6，0.7]。

(4)根據(jù)距離近鄰、時(shí)間近鄰、和角度近鄰構(gòu)造對(duì)應(yīng)的系數(shù)矩陣w1∈r^n×n、w2∈r^n×n、以及w3∈r^n×n。

(5)求解廣義特征值問(wèn)題：得到前d個(gè)最小特征值所對(duì)應(yīng)的特征向量α1，α2，…，αd，以組成投影變換矩陣ag＝[α1，α2，…，αd]∈r^m×d。其中，λ表示特征值，α為特征向量，mg＝(i-wg)^t(i-wg)，i為n×n維的單位矩陣，下標(biāo)號(hào)g＝1，2，3。

(6)根據(jù)計(jì)算對(duì)應(yīng)的得分矩陣s1，s2，s3，并計(jì)算sg與輸出之間的回歸系數(shù)向量

(7)計(jì)算輸出估計(jì)值yg＝sgbg，并組建新輸入數(shù)據(jù)矩陣y＝[y1，y2，y3]。

(8)利用偏最小二乘算法建立y與輸出之間的回歸模型其中c∈r^3×1為回歸系數(shù)向量，e∈r^n×1表示模型誤差。

(9)利用各回歸系數(shù)向量b1，b2，b3與c實(shí)施在線軟測(cè)量。

與現(xiàn)有方法相比，本發(fā)明方法的優(yōu)勢(shì)在于：

首先，本發(fā)明方法在挖掘輸入訓(xùn)練數(shù)據(jù)局部近鄰結(jié)構(gòu)特征方面，較全面地考慮了距離近鄰、時(shí)間近鄰、以及角度近鄰特征。相比于傳統(tǒng)的npe回歸方法，本發(fā)明方法能挖掘出更多的潛藏有用信息。而且本發(fā)明方法實(shí)施軟測(cè)量時(shí)，使用了多個(gè)npe回歸模型保證了軟測(cè)量模型的泛化能力。此外，本發(fā)明方法還將多個(gè)npe回歸模型的輸出估計(jì)值再次作為新輸入，利用偏最小二乘算法再次建立回歸模型，這可以進(jìn)一步地縮小最終輸出估計(jì)值與實(shí)際測(cè)量值之間測(cè)誤差。因此，從這兩個(gè)方面來(lái)看，本發(fā)明方法能夠較好的保證軟測(cè)量模型的精度，是一種更為優(yōu)選的軟測(cè)量實(shí)施方案。

附圖說(shuō)明

圖1為本發(fā)明方法的實(shí)施流程圖。

圖2為構(gòu)造系數(shù)矩陣w1第i行的實(shí)施流程圖。

圖3為利用偏最小二乘算法建立y與輸出之間的回歸模型的實(shí)施流程圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明方法進(jìn)行詳細(xì)的說(shuō)明。

如圖1所示，本發(fā)明提供了一種基于多近鄰保持嵌入回歸模型的工業(yè)軟測(cè)量方法，該方法的具體實(shí)施步驟如下所示：

步驟1：從生產(chǎn)過(guò)程的歷史數(shù)據(jù)庫(kù)中找出容易測(cè)量變量所對(duì)應(yīng)的采樣數(shù)據(jù)組成輸入數(shù)據(jù)矩陣x∈r^n×m，能直接或間接反映產(chǎn)品質(zhì)量的指標(biāo)所對(duì)應(yīng)的數(shù)據(jù)組成輸出向量y∈r^n×1。其中，n為訓(xùn)練樣本數(shù)，m為過(guò)程測(cè)量變量數(shù)，r為實(shí)數(shù)集，r^n×m表示n×m維的實(shí)數(shù)矩陣。

步驟2：將向量y與矩陣x中的每一列進(jìn)行標(biāo)準(zhǔn)化處理，得到均值為0，標(biāo)準(zhǔn)差為1的新輸出向量與新輸入數(shù)據(jù)矩陣記錄向量y的均值μ與標(biāo)準(zhǔn)差δ，上標(biāo)號(hào)t表示矩陣或向量的轉(zhuǎn)置。

步驟3：設(shè)置距離近鄰個(gè)數(shù)k、時(shí)間近鄰個(gè)數(shù)t、和角度近鄰閥值γ，分別為數(shù)據(jù)矩陣中的每個(gè)樣本點(diǎn)搜尋與之相近的距離近鄰、時(shí)間近鄰、和角度近鄰，其中各參數(shù)的取值范圍分別為k∈[6，12]、t∈[1，4]、和δ∈[0.6，0.7]。搜尋近鄰樣本點(diǎn)的具體操作過(guò)程如下所示：

①初始化i＝1；

②按照如下所示公式計(jì)算第i個(gè)樣本xi與矩陣中除xi以外的其他樣本之間的距離di，j：

di，j＝||xi-xj||(1)

其中，j＝1，2，…，n且j≠i，||||表示計(jì)算向量的長(zhǎng)度；

③對(duì)這些計(jì)算出來(lái)的距離di，1，di，2，…，di，n按大小進(jìn)行升序排列，并記錄前k個(gè)最小距離所對(duì)應(yīng)的樣本，從而得到樣本xi的距離近鄰集n¹(xi)；

④根據(jù)采樣時(shí)間的先后次序，從數(shù)據(jù)矩陣中找出位于第i個(gè)數(shù)據(jù)樣本xi采樣時(shí)間的前后各t個(gè)數(shù)據(jù)樣本，從而得到樣本xi的時(shí)間近鄰集n²(xi)；

值得注意的是，對(duì)于第一個(gè)采樣時(shí)刻的樣本x1，只能搜尋得到采樣時(shí)間位于x1之后的t個(gè)數(shù)據(jù)樣本；而對(duì)于最后一個(gè)采樣時(shí)刻的樣本xn，只能搜尋得到采樣時(shí)間位于xn之前的t個(gè)數(shù)據(jù)樣本；

⑤按照如下所示公式計(jì)算第i個(gè)樣本xi與矩陣中除xi以外的其他樣本之間的角度余弦值cosθi，j：

⑥根據(jù)角度近鄰閥值γ，選擇滿足甄別條件|cosθi，j|＞γ所對(duì)應(yīng)的樣本，從而得到樣本xi的角度近鄰集n³(xi)；

⑦判斷是否滿足i＜n？若是，置i＝i+1后，返回②；若否，執(zhí)行步驟4。

步驟4：根據(jù)距離近鄰、時(shí)間近鄰、和角度近鄰構(gòu)造對(duì)應(yīng)的系數(shù)矩陣w1∈r^n×n、w2∈r^n×n、以及w3∈r^n×n，具體的實(shí)施過(guò)程如下所示：

①初始化i＝1；

②根據(jù)第i個(gè)樣本xi的距離近鄰集n¹(xi)，構(gòu)造系數(shù)矩陣w1中的第i行ui∈r^1×n，相應(yīng)的實(shí)施流程如圖2所示，具體的操作過(guò)程如下所示：

(a).初始化系數(shù)向量ui＝0∈r^1×n(1×n維的零向量)；

(b).將距離近鄰集n¹(xi)中的k個(gè)樣本組成一個(gè)矩陣后，再將矩陣中的每一列減去向量xi，以得到新矩陣

(c).判斷是否滿足k＞m？若是，則置中間參數(shù)若否，置

(d).計(jì)算矩陣后，求出矩陣c中對(duì)角線元素之和ξ，并按照下式更新矩陣c：

上式中，ik表示k×k的單位矩陣；

(e).計(jì)算向量w＝(c^tc)^-1c^tf∈r^k×1，并進(jìn)行單位化處理w＝w/||w||，其中，向量f∈r^k×1中各元素都為1；

(f).根據(jù)距離近鄰集n¹(xi)中各樣本的下標(biāo)號(hào)，將向量w中各元素對(duì)應(yīng)賦予系數(shù)向量ui中相對(duì)應(yīng)的元素，那么更新后的向量ui即為系數(shù)矩陣w1中第i行；

③根據(jù)第i個(gè)樣本xi的時(shí)間近鄰集n²(xi)，構(gòu)造系數(shù)矩陣w2中的第i行，相應(yīng)的實(shí)施流程與構(gòu)造矩陣w1中第i行類似，這里不再贅述；

④根據(jù)第i個(gè)樣本xi的角度近鄰集n³(xi)，構(gòu)造系數(shù)矩陣w3中的第i行，相應(yīng)的實(shí)施流程與構(gòu)造矩陣w1中第i行類似，這里不再贅述；

⑤判斷是否滿足i＜n？若是，置i＝i+1后返回步驟②；若否，則系數(shù)矩陣w1、w2、和w3都構(gòu)造完成。

步驟5：求解廣義特征值問(wèn)題：得到前d個(gè)最小特征值所對(duì)應(yīng)的特征向量α1，α2，…，αd，以組成投影變換矩陣ag＝[α1，α2，…，αd]∈r^m×d。其中，λ表示特征值，α為特征向量，mg＝(i-wg)^t(i-wg)，i為n×n維的單位矩陣，下標(biāo)號(hào)g＝1，2，3。

步驟6：根據(jù)計(jì)算對(duì)應(yīng)的得分矩陣s1，s2，s3，并計(jì)算sg與輸出之間的回歸系數(shù)向量

步驟7：計(jì)算輸出估計(jì)值yg＝sgbg，并組建新輸入數(shù)據(jù)矩陣y＝[y1，y2，y3]。

步驟8：利用偏最小二乘算法建立y與輸出之間的回歸模型其中c∈r^3×1為回歸系數(shù)向量，e∈r^n×1表示模型誤差。實(shí)施偏最小二乘算法的基本流程如圖3所示，具體的實(shí)施步驟如下所示：

①初始化h＝1，并設(shè)置向量與向量

②依據(jù)公式ψh＝y(tǒng)^tv/(v^tv)計(jì)算輸入權(quán)值向量ψh，并用公式ψh＝ψh/||ψh||單位化向量ψh；

③依據(jù)公式sh＝y(tǒng)ψh/(ψh^tψh)計(jì)算得分向量sh；

④依據(jù)公式qh＝y(tǒng)0^tsh/(sh^tsh)計(jì)算輸出權(quán)值qh；

⑤依據(jù)公式v＝y(tǒng)0qh更新向量v；

⑥重復(fù)②～⑤直至v收斂(即向量v中各元素不再變化)；

⑦保留輸入權(quán)值向量ψh與輸出權(quán)值qh，并依據(jù)公式ph＝y(tǒng)^tsh/(sh^tsh)計(jì)算投影向量ph；

⑧依據(jù)公式y(tǒng)＝y(tǒng)-shph^t更新輸入矩陣y；

⑨令h＝h+1后，若h≤3，重復(fù)②～⑧求解下一個(gè)ψh、qh、和ph；若h＞3，則執(zhí)行⑩；

⑩將得到的所有輸入權(quán)值向量組成矩陣φ＝[ψ1，ψ2，ψ3]、所有輸出權(quán)值組成行向量q＝[q1，q2，q3]、以及所有投影向量組成矩陣p＝[p1，p2，p3]，那么plsr模型的回歸系數(shù)向量c＝φ(p^tφ)^-1q^t。

步驟9：利用各回歸系數(shù)向量b1，b2，b3與c實(shí)施在線軟測(cè)量，具體的實(shí)施過(guò)程如下所示：

①采集新時(shí)刻易測(cè)量變量的樣本數(shù)據(jù)z∈r^1×m，并對(duì)其實(shí)施與矩陣x相同的標(biāo)準(zhǔn)化處理得到

②調(diào)用回歸系數(shù)向量b1，b2，b3，并根據(jù)公式計(jì)算各個(gè)npe回歸模型對(duì)輸出的估計(jì)值和

③根據(jù)公式計(jì)算最終輸出估計(jì)值其中行向量

④計(jì)算對(duì)應(yīng)于樣本z采樣時(shí)刻的產(chǎn)品質(zhì)量指標(biāo)數(shù)據(jù)

上述實(shí)施例僅是對(duì)本發(fā)明的優(yōu)選實(shí)施方式，在本發(fā)明的精神和權(quán)利要求的保護(hù)范圍內(nèi)，對(duì)本發(fā)明做出的任何修改和改變，不應(yīng)排除在本發(fā)明的保護(hù)范圍之外。