本發(fā)明涉及機器學(xué)習(xí)和模式識別技術(shù)領(lǐng)域，特別是一種基于特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)的多標(biāo)記數(shù)據(jù)分類方法。

背景技術(shù)：

在真實世界中，用一個標(biāo)記難以確切地描述一些復(fù)雜的對象，學(xué)習(xí)對象可能與多個標(biāo)記有關(guān)，如，在文本分類中，一則關(guān)于上海踩踏事件的新聞報道可能同時包含“上?！薄ⅰ巴鉃?、“陳毅廣場”、“踩踏事件”和“跨年夜活動”等多個概念類別標(biāo)記；在圖像分類中，一幅關(guān)于校園的圖像可能同時與“草地”、“操場”、“建筑物”、“藍(lán)天”和“白云”等多個語義概念標(biāo)記有關(guān)?？梢?，同時具有多個標(biāo)記的對象無處不在，而傳統(tǒng)的監(jiān)督學(xué)習(xí)方法難以很好地處理同時包含多個語義概念的對象，致使多標(biāo)記學(xué)習(xí)成為機器學(xué)習(xí)、模式識別等領(lǐng)域中一個重要的研究熱點。同時，在許多情況下，獲得一個樣本所屬的完全標(biāo)記是比較困難的，相反，獲得部分標(biāo)記卻相對來說更容易些，即有部分標(biāo)記缺失。在缺失標(biāo)記的情況下，由于有些標(biāo)記信息是缺失的，故難以通過計算標(biāo)記的共現(xiàn)性或構(gòu)建基于標(biāo)記的鄰接圖來事先獲得標(biāo)記之間的標(biāo)記性，也事先難以準(zhǔn)確的給出先驗知識來刻畫標(biāo)記之間的相關(guān)性。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是克服現(xiàn)有技術(shù)的不足，而提供一種基于特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)的多標(biāo)記數(shù)據(jù)分類方法，以此來有效地提高多標(biāo)記數(shù)據(jù)的分類精度。

本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：

根據(jù)本發(fā)明提出的一種基于特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)的多標(biāo)記數(shù)據(jù)分類方法，包括以下步驟：

步驟1、初始化標(biāo)記相關(guān)性矩陣，對多標(biāo)記數(shù)據(jù)的各個特征做歸一化處理；

步驟2、運用特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)算法學(xué)習(xí)得到標(biāo)記相關(guān)性矩陣和分類器參數(shù)：交替迭代更新標(biāo)記相關(guān)性矩陣和分類器參數(shù)，直到滿足迭代終止條件輸出學(xué)習(xí)得到的標(biāo)記相關(guān)性矩陣和分類器參數(shù)；具體如下：

首先給出基于特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)算法jlfllc的模型如下所示：

s.t.sq,q＝1,q＝1,...,q

其中，xi表示第i個樣本，xi∈r^d，q表示標(biāo)記個數(shù)，r^d為d維特征空間，d為特征個數(shù)，yiq＝+1表示第i個樣本隸屬于第q個標(biāo)記，yiq＝-1表示第i個樣本不隸屬于第q個標(biāo)記，yiq＝0表示第i個樣本關(guān)于第q個標(biāo)記的信息是缺失的，b表示偏差向量，b＝[b1,...,bq]∈r^1×q，bq為第q個偏差項，r^1×q為1×q維的實數(shù)空間，sq＝[sq,1,...,sq,q-1,1,sq,q+1,...,sq,q]^t∈r^q，r^q為q維的實數(shù)空間，sq,m為第q個標(biāo)記與第m個標(biāo)記的相關(guān)性大小，1≤m≤q、m為整數(shù)且m≠q，t為轉(zhuǎn)置，w為權(quán)重矩陣，α和β為正則化參數(shù)，λ為懲罰參數(shù)；

固定s，更新w和b，分類器參數(shù)包括w和b；將jlfllc的模型的優(yōu)化問題轉(zhuǎn)化為如下等價的約束光滑凸優(yōu)化問題，定義函數(shù)g(u,w)如下：

其中，u＝[u1,...,ud]^t，u為模型的松弛變量，uj為u第j個分量，w^j為w的第j個分量，η為折中因子，函數(shù)j(w)為光滑凸函數(shù)，為光滑凸的；

采用基于nesterov的加速梯度求解方法來求解問題(1)，從而得到分類器參數(shù)；

固定w和b，更新s；w和b固定時，將jlfllc的模型的優(yōu)化問題退化為如下問題：

s.t.sq,q＝1,q＝1,...,q

進一步，上式進一步分解成q個獨立的子優(yōu)化問題，其中，第q個子優(yōu)化問題表示為：

s.t.sq,q＝1

該問題是個光滑的凸優(yōu)化問題，利用最優(yōu)化方法直接求解得到s；

步驟3、運用學(xué)習(xí)得到的標(biāo)記相關(guān)性矩陣和分類器參數(shù)進行標(biāo)記預(yù)測，得到分類結(jié)果；根據(jù)該分類結(jié)果獲得多標(biāo)記數(shù)據(jù)的分類模型，并根據(jù)該多標(biāo)記數(shù)據(jù)的分類模型預(yù)測所有待分類的多標(biāo)記數(shù)據(jù)的標(biāo)記，輸出多標(biāo)記數(shù)據(jù)的分類結(jié)果。

作為本發(fā)明所述的一種基于特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)的多標(biāo)記數(shù)據(jù)分類方法進一步優(yōu)化方案，步驟1中初始化標(biāo)記相關(guān)性矩陣，即假設(shè)初始化時同一標(biāo)記之間是相關(guān)的，而不同標(biāo)記之間不相關(guān)。

作為本發(fā)明所述的一種基于特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)的多標(biāo)記數(shù)據(jù)分類方法進一步優(yōu)化方案，初始化標(biāo)記相關(guān)性矩陣為單位矩陣，歸一化處理是使每個特征對應(yīng)的特征向量的2范數(shù)為1。

作為本發(fā)明所述的一種基于特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)的多標(biāo)記數(shù)據(jù)分類方法進一步優(yōu)化方案，所述步驟2具體如下：

首先給出基于特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)算法的模型如下所示：

s.t.sq,q＝1,q＝1,...,q

其中，xi表示第i個訓(xùn)練集樣本，xi∈r^d，q表示標(biāo)記個數(shù)，r^d為d維特征空間，d為特征個數(shù)，yiq＝+1表示第i個樣本隸屬于第q個標(biāo)記，yiq＝-1表示第i個樣本不隸屬于第q個標(biāo)記，yiq＝0表示第i個樣本關(guān)于第q個標(biāo)記的信息是缺失的，b表示偏差向量，b＝[b1,...,bq]∈r^1×q，bq為第q個偏差項，r^1×q為1×q維的實數(shù)空間，sq＝[sq,1,...,sq,q-1,1,sq,q+1,...,sq,q]^t∈r^q，r^q為q維的實數(shù)空間，sq,m為第q個標(biāo)記與第m個標(biāo)記的相關(guān)性大小，1≤m≤q、m為整數(shù)且m≠q，t為轉(zhuǎn)置，w為權(quán)重矩陣，α和β為正則化參數(shù)，λ為懲罰參數(shù)；

固定s，更新w和b，分類器參數(shù)包括w和b；

當(dāng)標(biāo)記相關(guān)矩陣s已知時，上式的模型的優(yōu)化問題退化為：

該式為一個非光滑的凸問題，設(shè)數(shù)據(jù)矩陣x和標(biāo)記矩陣y已經(jīng)中心化，此時所有的偏差項{bq}為0，該式改寫為：

其中，η為折中因子，為光滑凸的，進一步，將其轉(zhuǎn)化為如下等價的約束光滑凸優(yōu)化問題，然后用nesterov方法進行求解，定義函數(shù)g(u,w)如下：

其中，u＝[u1,...,ud]^t，u為模型的松弛變量，uj為u第j個分量，w^j為w的第j個分量，函數(shù)j(w)為光滑凸函數(shù)，因此優(yōu)化問題(1)是封閉凸的；

采用基于nesterov的加速梯度求解方法來求解對問題(1)，具體步驟如下：

a、初始化：設(shè)初始化步長γ0＞0，初始解(u0,w0)，設(shè)置最大迭代次數(shù)；

b、令(u1,w1)＝(u0,w0)，初始迭代步數(shù)t＝1，β-1＝0以及β0＝1；

c、執(zhí)行以下步驟，直到滿足停止準(zhǔn)則，停止準(zhǔn)則為收斂或迭代次數(shù)t達(dá)到最大迭代次數(shù)；

(3.1)令其中，βt-1是第t-1次的正則化參數(shù)；

(3.2)(vt,zt)＝(ut+αt(ut-ut-1),wt+αt(wt-wt-1))，其中，ut、wt、vt、zt分別是第t次迭代的參數(shù)，αt為連接系數(shù)；

(3.3)循環(huán)執(zhí)行步驟3.3.1-3.3.2，直到其中，g(ut+1,wt+1)是g(u,w)的第t+1次迭代；

(3.3.1)

(3.3.2)

(3.4)

(3.5)若滿足停止準(zhǔn)則，則(u,w)＝(ut,wt)；

其中，γt表示第t次迭代步長，πω(v,z)表示(v,z)到凸集ω上的歐式投影，其定義為：g(vt,zt)為g(v,z)的第t+1次迭代，g(v,z)為松弛變量v和z在g(u,w)中的函數(shù)值，▽vg(v,z)表示g(v,z)關(guān)于v的偏導(dǎo)數(shù)為：▽vg(v,z)＝η1，其中，1為全1的d維列向量，而▽zg(v,z)表示g(v,z)關(guān)于z的偏導(dǎo)數(shù)：▽zg(v,z)＝x^t(xz-y)+λx^txzm，其中，m＝(iq-s)(iq-s)^t，iq表示q維的單位矩陣；

固定w和b，更新s；

w和b固定時，優(yōu)化問題退化為如下問題：

s.t.sq,q＝1,q＝1,...,q

進一步，上式進一步分解成q個獨立的子優(yōu)化問題，其中，第q個子優(yōu)化問題表示為：

s.t.sq,q＝1

該問題是個光滑的凸優(yōu)化問題，利用最優(yōu)化方法直接求解得到s。

作為本發(fā)明所述的一種基于特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)的多標(biāo)記數(shù)據(jù)分類方法進一步優(yōu)化方案，采用nesterov方法求解優(yōu)化問題(1)的時間復(fù)雜度為其中，n、d和q分別代表樣本個數(shù)、特征個數(shù)以及標(biāo)記個數(shù)，τ為容差。

作為本發(fā)明所述的一種基于特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)的多標(biāo)記數(shù)據(jù)分類方法進一步優(yōu)化方案，步驟3中所述得到分類結(jié)果是指計算出未知樣本xu的預(yù)測值q＝1,...,q；所述多標(biāo)記數(shù)據(jù)的分類結(jié)果是指計算出未知樣本xu的類別標(biāo)記向量h(xu)＝sgn(f1(xu),...,fq(xu))。

本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：

(1)設(shè)計了將多標(biāo)記數(shù)據(jù)的標(biāo)記相關(guān)性和特征選擇策略融合，構(gòu)建聯(lián)合的多標(biāo)記數(shù)據(jù)分類學(xué)習(xí)模型；對構(gòu)建的非光滑凸函數(shù)采用基于nesterov的加速梯度求解方法進行有效求解；融合標(biāo)記相關(guān)性和特征選擇策略的學(xué)習(xí)模型可有效獲得標(biāo)記相關(guān)矩陣和分類器參數(shù)，進而可有效提高多標(biāo)記數(shù)據(jù)的分類效果，本發(fā)明可直接用于多標(biāo)記數(shù)據(jù)的分類；

(2)本發(fā)明能夠通過嵌入標(biāo)記相關(guān)性和特征選擇策略可得到標(biāo)記相關(guān)性矩陣和更有判別能力的分類器，以此來提高多標(biāo)數(shù)據(jù)的分類精度，此外，本發(fā)明中通過挖掘標(biāo)記之間的相關(guān)性，進而估計出缺失標(biāo)記，適用于標(biāo)記缺失情況下的多標(biāo)記數(shù)據(jù)的分類，因此具有較高的使用價值；針對缺失標(biāo)記的情況，通過學(xué)習(xí)來獲得高階非對稱的標(biāo)記相關(guān)性，并且同時學(xué)習(xí)分類模型以及對特征空間進行降維，可有效改進有標(biāo)記缺失情況下的多標(biāo)記數(shù)據(jù)分類精度。

附圖說明

圖1是本發(fā)明流程圖。

圖2是本發(fā)明中運用jlfllc學(xué)習(xí)得到標(biāo)記相關(guān)性矩陣和分類器步驟子流程圖。

圖3是本發(fā)明中分類步驟子流程圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明的技術(shù)方案做進一步的詳細(xì)說明：

如圖1所示，本發(fā)明公開了本發(fā)明公開了基于特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)的多標(biāo)記數(shù)據(jù)分類算法，包含如下步驟：

步驟1，標(biāo)記相關(guān)性矩陣初始化為單位矩陣，即假設(shè)初始化時同一標(biāo)記之間是相關(guān)的，而不同標(biāo)記之間不相關(guān)，不同標(biāo)記之間的相關(guān)性通過步驟2的學(xué)習(xí)得到；

步驟2，運用特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)算法jlfllc學(xué)習(xí)得到標(biāo)記相關(guān)性矩陣和分類器參數(shù)：交替迭代更新標(biāo)記相關(guān)性矩陣和分類器參數(shù)，直到滿足迭代終止條件輸出學(xué)習(xí)得到的標(biāo)記相關(guān)性矩陣和分類器參數(shù)；

步驟3，模型預(yù)測：運用學(xué)習(xí)得到的標(biāo)記相關(guān)性矩陣和分類器參數(shù)進行標(biāo)記預(yù)測，得到分類結(jié)果；根據(jù)多標(biāo)記數(shù)據(jù)的分類模型預(yù)測所有待分類的多標(biāo)記數(shù)據(jù)的標(biāo)記；輸出多標(biāo)記數(shù)據(jù)的分類結(jié)果。

需要說明的是本發(fā)明的核心步驟是運用jlfllc學(xué)習(xí)得到標(biāo)記相關(guān)性矩陣和分類器，并給出各步驟的具體實施方法。

如圖2所示，標(biāo)記相關(guān)性矩陣初始化及特征并歸一化處理的具體實施步驟如下：

步驟4，標(biāo)記相關(guān)性矩陣s＝iq，其中，iq為單位矩陣；步驟5，歸一化處理，使每個特征對應(yīng)的特征向量的2范數(shù)為1。

如圖2所示，運用jlfllc學(xué)習(xí)得到標(biāo)記相關(guān)性矩陣和分類器具體實施步驟如下：

對有缺失標(biāo)記情況的多標(biāo)記數(shù)據(jù)分類，挖掘標(biāo)記之間的相關(guān)性才能有效克服標(biāo)記缺失的情況。提出的模型同時考慮多標(biāo)記分類，標(biāo)記相關(guān)性以及特征選擇，這樣可以聯(lián)合學(xué)習(xí)分類模型參數(shù)，標(biāo)記相關(guān)性矩陣，并且可以進行特征選擇。同時，為了考慮標(biāo)記之間的相關(guān)性，構(gòu)建了一個條件依賴網(wǎng)絡(luò)，將輸入向量和其他標(biāo)記變量作為每個節(jié)點的父親節(jié)點，然而其他標(biāo)記變量不是一個固定的值，而是一個變量。此外，通過引入權(quán)重矩陣的l2,1范數(shù)選擇多個兩類分類任務(wù)之間共享的稀疏特征結(jié)構(gòu)。由此，構(gòu)建了一個聯(lián)合學(xué)習(xí)模型，包括一個損失項(考慮缺失標(biāo)記)，兩個正則化項：分別控制模型復(fù)雜度和標(biāo)記相關(guān)性大小，以及權(quán)重矩陣的l2,1范數(shù)

綜上可見，提出的模型具有以下特點：(1)提出了一個新的多標(biāo)記分類算法，同時考慮了標(biāo)記之間的相關(guān)性，缺失標(biāo)記問題以及特征選擇；(2)標(biāo)記之間的相關(guān)性不是事先計算得到，而是通過學(xué)習(xí)得到，而且標(biāo)記之間的相關(guān)性可以是負(fù)的，非對稱的；(3)提出的模型不僅可以處理缺失標(biāo)記的多標(biāo)記數(shù)據(jù)集，也可以處理完全標(biāo)記的多標(biāo)記數(shù)據(jù)集。

先給出一些符號說明：

假設(shè)為包含n個樣本的訓(xùn)練集。其中，xi∈r^d表示第i個訓(xùn)練樣本,yi∈{+1,0,-1}^q表示其相應(yīng)的標(biāo)記向量，d表示特征空間的維數(shù)，q表示標(biāo)記個數(shù)。yiq＝+1表示第i個樣本隸屬于第q個標(biāo)記，yiq＝-1表示第i個樣本不隸屬于第q個標(biāo)記，yiq＝0表示第i個樣本關(guān)于第q個標(biāo)記的信息是缺失的。訓(xùn)練第q個標(biāo)記所對應(yīng)的分類器時，用其他標(biāo)記變量的值對原始特征向量進行擴展，即：將其他標(biāo)記變量的值作為額外的特征，比如：用代替x，其中表示樣本x在除了第q個標(biāo)記之外的其他標(biāo)記上的值。因此，第q個標(biāo)記所對應(yīng)的判別函數(shù)為：

其中，wq∈r^d和bq∈r分別表示第q個預(yù)測函數(shù)所對應(yīng)的權(quán)重向量和偏差，表示標(biāo)記相關(guān)性向量。已有方法采用：在每次迭代學(xué)習(xí)的過程中是固定的，學(xué)習(xí)wq時，只依賴于標(biāo)記相關(guān)性向量而沒有考慮其他的權(quán)重向量；與已有方法不同，新模型令是一個可變而非固定的值，這樣在學(xué)習(xí)某個wq時，不僅考慮了其他的權(quán)重向量，而且也考慮了標(biāo)記相關(guān)性向量這樣不僅可以使得原本各自獨立的二類分類器可以聯(lián)合學(xué)習(xí)，從而增強了各個二類分類器的學(xué)習(xí)效果，而且標(biāo)記相關(guān)性和多標(biāo)記分類也聯(lián)合學(xué)習(xí)，使得學(xué)習(xí)得到的標(biāo)記之間的相關(guān)性更加準(zhǔn)確。故提出的新算法的第q個標(biāo)記所對應(yīng)的判別函數(shù)為：

其中，sq＝[sq,1,...,sq,q-1,1,sq,q+1,...,sq,q]^t∈r^q，權(quán)重矩陣w＝[w1,...,wq]∈r^d×q，偏差向量b＝[b1,...,bq]∈r^1×q。為了便于表示，令標(biāo)記相關(guān)矩陣s＝[s1,...,sq]∈r^q×q。

首先給出jlfllc的模型如下：

s.t.sq,q＝1,q＝1,...,q

式中：第一項為損失項，當(dāng)且僅當(dāng)樣本所對應(yīng)的標(biāo)記為已知標(biāo)記時才發(fā)生，第二項控制模型的復(fù)雜度，第三項用來控制標(biāo)記相關(guān)性的大小，a和β為正則化參數(shù)，用來平衡這三項，約束項用來約束標(biāo)記自身的相關(guān)性為1。yiq＝+1表示第i個樣本隸屬于第q個標(biāo)記，yiq＝-1表示第i個樣本不隸屬于第q個標(biāo)記，yiq＝0表示第i個樣本關(guān)于第q個標(biāo)記的信息是缺失的。b表示偏差向量，b＝[b1,...,bq]∈r^1×q，bq為第q個偏差項，r^1×q為1×q維的實數(shù)空間，sq＝[sq,1,...,sq,q-1,1,sq,q+1,...,sq,q]^t∈r^q，r^q為q維的實數(shù)空間，sq,m為第q個標(biāo)記與第m個標(biāo)記的相關(guān)性大小，1≤m≤q、m為整數(shù)且m≠q，t為轉(zhuǎn)置，w為權(quán)重矩陣，α和β為正則化參數(shù)，λ為懲罰參數(shù)；

上述問題可以分解為2個子問題進行求解，固定s，更新w和b；固定w和b，更新s，jlfllc的具體求解方法如下：

步驟5，固定s，更新w和b；改寫模型，計算替代模型的優(yōu)化參數(shù)：

固定s,更新w和b。當(dāng)標(biāo)記相關(guān)矩陣s已知時，模型中的第三項為常量，可以忽略，

同時約束項也可以忽略，因此模型的優(yōu)化問題可退化為：

上式為一個非光滑的凸問題，直接求解困難。為了方便討論，假設(shè)數(shù)據(jù)矩陣x和標(biāo)記矩陣y已經(jīng)中心化，此時所有的偏差項{bq}為0。上式可改寫為：

其中，為光滑凸的。進一步，將其轉(zhuǎn)化為如下等價的約束光滑凸優(yōu)化問題，然后用nesterov方法進行求解：

其中，u＝[u1,...,ud]^t，d為松弛變量的個數(shù)，u為模型的松弛變量，uj為u第j個分量，w^j為w的第j個分量。此外，函數(shù)j(w)為光滑凸函數(shù)，因此優(yōu)化問題(1)是封閉凸的。

對問題(1)，采用基于nesterov(y.nesterov,i.u.enesterov,introductorylecturesonconvexoptimization:abasiccourse,kluweracademicpublishers,holland,2004.)的加速梯度求解方法來求解，主要步驟如下：

(1)初始化：設(shè)γ0＞0表示初始化步長，初始解(u0,w0)，最大迭代次數(shù)為max_iter；

(2)令(u1,w1)＝(u0,w0)，t＝1，β-1＝0以及β0＝1；

(3)反復(fù)執(zhí)行以下步驟，直到收斂或迭代步數(shù)t為max_iter

(3.1)令其中βt-1是第t-1次的正則化參數(shù)；

(3.2)(vt,zt)＝(ut+αt(ut-ut-1),wt+αt(wt-wt-1))，其中ut、wt、vt、zt分別是第t次迭代的參數(shù)，αt為連接系數(shù)。

(3.3)循環(huán)執(zhí)行下列步驟直到其中g(shù)(ut+1，wt+1)是g(u，w)的第t+1次迭代：

(3.3.1)

(3.3.2)

(3.4)

(3.5)若滿足停止準(zhǔn)則，則(u,w)＝(ut,wt)，轉(zhuǎn)(4)。

(4)結(jié)束.

其中，(3.3.2)中的γt表示第t次迭代步長，πω(v,z)表示(v,z)到凸集ω上的歐式投影，其定義為：g(vt,zt)為g(v，z)的第t+1次迭代，▽vg(v,z)表示g(v,z)關(guān)于v的偏導(dǎo)數(shù)為：▽vg(v,z)＝η1，其中，1為全1的d維列向量，而▽zg(v,z)表示g(v,z)關(guān)于z的偏導(dǎo)數(shù)：▽zg(v,z)＝x^t(xz-y)+λx^txzm，其中m＝(iq-s)(iq-s)^t，iq表示q維的單位矩陣。(3.3)中的gγ,v,z(u,w)如下：

步驟6，由改寫模型的解決得到原模型的解，即得到原模型中分類器參數(shù)。

步驟7，固定w和b，更新s:

w和b固定時，模型中的第四項為常數(shù)項，故可以忽略。因此，優(yōu)化問題退化為如下問題：

s.t.sq,q＝1,q＝1,...,q

進一步，上式可以進一步分解成q個獨立的子優(yōu)化問題，其中第q個子優(yōu)化問題表示為：

s.t.sq,q＝1

該問題是個光滑的凸優(yōu)化問題，利用最優(yōu)化方法可直接求解得到s。

步驟8，若不滿足終止條件，則轉(zhuǎn)步驟5；否則轉(zhuǎn)步驟9；

步驟9，得到標(biāo)記相關(guān)性矩陣和分類器。

如圖3所示，模型預(yù)測具體實施步驟如下：

步驟10，對未標(biāo)記樣本進行歸一化處理；

步驟11，計算未知樣本xu的預(yù)測值

步驟12，計算未知樣本xu的類別標(biāo)記向量h(xu)＝sgn(f1(xu),...,fq(xu))。

步驟13，輸出每個樣本對應(yīng)的標(biāo)記集。

對所有待分類的多標(biāo)記數(shù)據(jù)按上述方法進行分類，得到最終的多標(biāo)記數(shù)據(jù)的分類結(jié)果。

以上對本發(fā)明所提供的基于特征選擇和標(biāo)記相關(guān)性聯(lián)合學(xué)習(xí)的多標(biāo)記數(shù)據(jù)分類方法進行了詳細(xì)介紹。值得注意的是，具體實現(xiàn)該技術(shù)方案的方法和途徑有很多，以上所述僅是本發(fā)明的優(yōu)選實施方式，只用于幫助理解本發(fā)明的方法及核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，在本發(fā)明核心思想的基礎(chǔ)上，做出的修改和調(diào)整都將視為本發(fā)明的保護范圍。綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制，本發(fā)明的保護范圍應(yīng)由所附的權(quán)利要求來限定。