本發(fā)明涉及機(jī)器學(xué)習(xí)和模式識別領(lǐng)域，特別涉及一種基于標(biāo)記協(xié)方差和多標(biāo)記分類的聯(lián)合學(xué)習(xí)方法。

背景技術(shù)：

在實(shí)際應(yīng)用中，用一個(gè)標(biāo)記難以確切地描述一些復(fù)雜的對象，學(xué)習(xí)對象可能與多個(gè)標(biāo)記有關(guān)，如：在生物信息學(xué)中，一段基因序列可能同時(shí)具有“新陳代謝”、“轉(zhuǎn)錄”和“蛋白質(zhì)合成”等多種功能；在音樂分類中，一段音樂可能同時(shí)包含“孤獨(dú)的”和“悲傷的”等情感；在圖像分類中，一幅關(guān)于校園的圖像可能同時(shí)與“草地”、“操場”、“建筑物”、“藍(lán)天”和“白云”等多個(gè)語義概念標(biāo)記有關(guān)?？梢?，同時(shí)具有多個(gè)標(biāo)記的對象無處不在，而傳統(tǒng)的監(jiān)督學(xué)習(xí)方法難以很好地處理同時(shí)包含多個(gè)語義概念的對象，致使多標(biāo)記學(xué)習(xí)成為機(jī)器學(xué)習(xí)、模式識別等領(lǐng)域中一個(gè)重要的研究熱點(diǎn)。

如何有效利用標(biāo)記之間的相關(guān)性是多標(biāo)記學(xué)習(xí)的一個(gè)核心研究內(nèi)容。標(biāo)記相關(guān)性通?？梢酝ㄟ^事先給定和學(xué)習(xí)獲得。然而，事先獲得的標(biāo)記之間的相關(guān)性(或?qū)哟侮P(guān)系)不一定是很準(zhǔn)確。因此，有些學(xué)者提出通過學(xué)習(xí)來自動發(fā)現(xiàn)和利用標(biāo)記之間的相關(guān)性，其中，采用標(biāo)記協(xié)方差矩陣來量化標(biāo)記之間的相關(guān)性并可以通過學(xué)習(xí)來求出標(biāo)記協(xié)方差矩陣是學(xué)習(xí)獲得標(biāo)記相關(guān)性的重要方法之一。此外，在多標(biāo)記學(xué)習(xí)中，如何劃分樣本的相關(guān)標(biāo)記集和不相關(guān)標(biāo)記集也是一個(gè)重要的研究問題，即如何確定閾值函數(shù)。一種最簡單最直接的方法是設(shè)置閾值函數(shù)為常量(如0)。也有些學(xué)者提出通過學(xué)習(xí)求得閾值函數(shù)，其中，包括引入了一個(gè)虛擬標(biāo)記(avirtuallabel)或一個(gè)零標(biāo)記(azerolabel)，作為相關(guān)標(biāo)記和不相關(guān)標(biāo)記的自然劃分點(diǎn)。而通過同時(shí)學(xué)習(xí)分類模型參數(shù)、標(biāo)記相關(guān)性以及閾值函數(shù)所對應(yīng)的參數(shù)，可有效改進(jìn)多標(biāo)記數(shù)據(jù)的分類精度。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)中的問題，提出了基于標(biāo)記協(xié)方差和多標(biāo)記分類的聯(lián)合學(xué)習(xí)方法，以此來有效地提高多標(biāo)記數(shù)據(jù)的分類精度。

本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：

基于標(biāo)記協(xié)方差和多標(biāo)記分類的聯(lián)合學(xué)習(xí)方法，包括如下步驟：

步驟1)，標(biāo)記相關(guān)性矩陣初始化為單位矩陣，即假設(shè)初始化時(shí)同一標(biāo)記之間是相關(guān)的，而不同標(biāo)記之間不相關(guān)；

步驟2)，運(yùn)用標(biāo)記協(xié)方差和多標(biāo)記分類的聯(lián)合學(xué)習(xí)算法jlsml學(xué)習(xí)得到分類模型參數(shù)、標(biāo)記相關(guān)性以及閾值函數(shù)所對應(yīng)的參數(shù)：交替迭代更新標(biāo)記相關(guān)性矩陣、分類器參數(shù)和閾值函數(shù)所對應(yīng)的參數(shù)，直到滿足迭代終止條件輸出學(xué)習(xí)得到的分類模型參數(shù)、標(biāo)記相關(guān)性以及閾值函數(shù)所對應(yīng)的參數(shù)；

步驟3)，模型預(yù)測：首先運(yùn)用學(xué)習(xí)得到的分類模型參數(shù)、閾值函數(shù)所對應(yīng)的參數(shù)進(jìn)行標(biāo)記預(yù)測，得到分類結(jié)果；然后根據(jù)多標(biāo)記數(shù)據(jù)的分類模型預(yù)測所有待分類的多標(biāo)記數(shù)據(jù)的標(biāo)記；最后輸出多標(biāo)記數(shù)據(jù)的分類結(jié)果。

作為本發(fā)明一種基于標(biāo)記協(xié)方差和多標(biāo)記分類的聯(lián)合學(xué)習(xí)方法進(jìn)一步的優(yōu)化方法，步驟1)具體包括如下步驟：

步驟1.1)，標(biāo)記相關(guān)性矩陣s＝iq，其中，iq為q×q的單位矩陣；

步驟1.2)，歸一化處理，使每個(gè)特征對應(yīng)的特征向量的2范數(shù)為1。

作為本發(fā)明一種基于標(biāo)記協(xié)方差和多標(biāo)記分類的聯(lián)合學(xué)習(xí)方法進(jìn)一步的優(yōu)化方法，步驟2)具體包括以下步驟：

步驟2.1)，令為預(yù)先設(shè)定的包含n個(gè)樣本的訓(xùn)練集，其中，xi∈r^d表示第i個(gè)訓(xùn)練樣本，r^d為d維的實(shí)數(shù)空間，yi∈{+1,-1}^q表示其相應(yīng)的標(biāo)記向量，d表示特征空間的維數(shù)，q表示標(biāo)記個(gè)數(shù)；

若yiq＝+1，則表示第i個(gè)樣本隸屬于第q個(gè)標(biāo)記，否則表示第i個(gè)樣本不隸屬于第q個(gè)標(biāo)記；

步驟2.2)，令虛擬標(biāo)記v作為樣本的相關(guān)標(biāo)記和不相關(guān)標(biāo)記的自然劃分點(diǎn)，虛擬標(biāo)記v所對應(yīng)的函數(shù)參數(shù)為wv∈r^d和bv∈r，對應(yīng)的函數(shù)為其中，r為實(shí)數(shù)空間；

步驟2.3)，將多標(biāo)記分類問題轉(zhuǎn)化為q個(gè)兩類分類問題，第q個(gè)標(biāo)記所對應(yīng)的判別函數(shù)定義如下：

其中，wq∈r^d和bq∈r分別表示第q個(gè)線性分類函數(shù)所對應(yīng)的權(quán)重和偏差；

若fq(x)≥fv(x)，則認(rèn)為第q個(gè)標(biāo)記為樣本x的相關(guān)標(biāo)記，否則為樣本x的不相關(guān)標(biāo)記；

步驟2.4)，建立基于標(biāo)記協(xié)方差和多標(biāo)記分類的聯(lián)合學(xué)習(xí)算法jlsml的模型：

ξiq≥0,i＝1,...,n；q＝1,...,q

s≥0

tr(s)＝1

式中，第一項(xiàng)為損失項(xiàng)，第二項(xiàng)和第三項(xiàng)用來控制模型的復(fù)雜度，第四項(xiàng)為度量標(biāo)記之間的相關(guān)性，并且約束協(xié)方差矩陣s是半正定的，tr(·)表示矩陣的跡，λ為正則化參數(shù)，w為權(quán)重矩陣，b＝[b1,…,bq]為偏差向量，ξiq為松弛變量，xi為第i個(gè)訓(xùn)練樣本；

步驟2.5)，將聯(lián)合學(xué)習(xí)算法jlsml模型拓展到再生核希爾伯特空間中學(xué)習(xí)，即將d維空間中的樣本x轉(zhuǎn)化為希爾伯特空間中的φ(x)，其中表示由核引導(dǎo)的特征映射，則：

ξiq≥0,i＝1,...,n；q＝1,...,q

s≥0

tr(s)＝1

步驟2.6)，固定s，更新聯(lián)合學(xué)習(xí)算法jlsml模型的對偶函數(shù)解；

步驟2.6.1)，當(dāng)s固定時(shí)，優(yōu)化w,wv,b和bv，則：

ξiq≥0,q＝1,...,q；i＝1,...,n

步驟2.6.2)，令拉格朗日函數(shù)為：

其中，αiq,βiq≥0為拉格朗日乘子；

步驟2.6.3)，分別對l關(guān)于w,wv,bq,bv和ξiq求導(dǎo)，并令它們等于0：

則

0≤αiq≤c,q＝1,...,q；i＝1,...,n

其中，αq＝[α1q,...,αnq]^t，k(xj,xi)＝＜φ(xj),φ(xi)＞，k(·,·)為核函數(shù)；

步驟2.6.4)，采用基于frank-wolfe方法的有效訓(xùn)練算法來求解拉格朗日乘子步驟2.7)，由求w,wv,b和bv，并根據(jù)如下kkt條件來計(jì)算bq-bv：

即

if0≤αiq≤c,q＝1,...,q；i＝1,...,n

步驟2.8),固定w,wv,更新s：

s.t.s≥0

tr(s)＝1

其中，

則

步驟2.9)，判斷s是否收斂或達(dá)到預(yù)設(shè)的最大迭代次數(shù)，若s沒有收斂或達(dá)到預(yù)設(shè)的最大迭代次數(shù)，則跳轉(zhuǎn)執(zhí)行步驟2.6)，直至滿足終止條件；

步驟2.10)，得到標(biāo)記相關(guān)性矩陣、分類器和閾值函數(shù)對應(yīng)的參數(shù)。

作為本發(fā)明一種基于標(biāo)記協(xié)方差和多標(biāo)記分類的聯(lián)合學(xué)習(xí)方法進(jìn)一步的優(yōu)化方法，所述步驟3)具體包括如下步驟：

步驟3.1)，對未標(biāo)記樣本進(jìn)行歸一化處理；

步驟3.2)，計(jì)算未知樣本xu在第q個(gè)標(biāo)記上的判別函數(shù)值

其中，為樣本xu的特征映射；

步驟3.3)，計(jì)算未知樣本xu的類別標(biāo)記向量：

其中，sgn(·)為符號函數(shù)；

步驟3.4)，輸出每個(gè)樣本對應(yīng)的標(biāo)記集。

本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：

本發(fā)明是專門針對如何同時(shí)學(xué)習(xí)標(biāo)記相關(guān)性矩陣、分類器參數(shù)和閾值函數(shù)所對應(yīng)的參數(shù)。多標(biāo)記數(shù)據(jù)分類是給多標(biāo)記數(shù)據(jù)的每個(gè)對象賦予一個(gè)標(biāo)記集合。本發(fā)明具有以下特征：1)設(shè)計(jì)了將多標(biāo)記數(shù)據(jù)的標(biāo)記相關(guān)性和多標(biāo)記數(shù)據(jù)分類的聯(lián)合學(xué)習(xí)模型；2)對構(gòu)建的模型采用frank-wolfe方法進(jìn)行有效求解；3)基于標(biāo)記相關(guān)性和多標(biāo)記數(shù)據(jù)分類的聯(lián)合學(xué)習(xí)模型可有效獲得標(biāo)記相關(guān)性矩陣、分類器參數(shù)和閾值函數(shù)所對應(yīng)的參數(shù)，進(jìn)而可有效提高多標(biāo)記數(shù)據(jù)的分類效果。本發(fā)明可直接用于多標(biāo)記數(shù)據(jù)的分類。

本發(fā)明能夠通過嵌入標(biāo)記相關(guān)性、閾值函數(shù)策略可得到標(biāo)記相關(guān)性矩陣和更有判別能力的分類器，以此來提高多標(biāo)數(shù)據(jù)的分類精度，此外，本發(fā)明中通過挖掘相關(guān)性標(biāo)記和不相關(guān)標(biāo)記的閾值函數(shù)對應(yīng)的參數(shù)，進(jìn)而通過分類器參數(shù)和閾值函數(shù)對應(yīng)的參數(shù)估計(jì)出未知樣本的標(biāo)記，有效提高多標(biāo)記數(shù)據(jù)的分類精度，因此具有較高的使用價(jià)值。

附圖說明

圖1為本發(fā)明流程圖；

圖2為本發(fā)明中運(yùn)用jlsml學(xué)習(xí)得到標(biāo)記相關(guān)性矩陣、分類器參數(shù)和閾值函數(shù)所對應(yīng)的參數(shù)步驟子流程圖；

圖3為本發(fā)明中分類步驟子流程圖。

具體實(shí)施方式

下面結(jié)合附圖對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)說明：

如圖1所示，本發(fā)明公開了本發(fā)明公開了基于標(biāo)記協(xié)方差和多標(biāo)記分類的聯(lián)合學(xué)習(xí)算法，包含如下步驟：

步驟1，標(biāo)記相關(guān)性矩陣初始化為單位矩陣，即假設(shè)初始化時(shí)同一標(biāo)記之間是相關(guān)的，而不同標(biāo)記之間不相關(guān)，不同標(biāo)記之間的相關(guān)性通過步驟2的學(xué)習(xí)得到；

步驟2，運(yùn)用標(biāo)記協(xié)方差和多標(biāo)記分類的聯(lián)合學(xué)習(xí)算法jlsml學(xué)習(xí)得到標(biāo)記相關(guān)性矩陣、分類器參數(shù)和閾值函數(shù)所對應(yīng)的參數(shù)：交替迭代更新標(biāo)記相關(guān)性矩陣、分類器參數(shù)和閾值函數(shù)所對應(yīng)的參數(shù)，直到滿足迭代終止條件輸出學(xué)習(xí)得到的標(biāo)記相關(guān)性矩陣、分類器參數(shù)和閾值函數(shù)所對應(yīng)的參數(shù)；

步驟3，模型預(yù)測：運(yùn)用學(xué)習(xí)得到的分類模型參數(shù)、閾值函數(shù)所對應(yīng)的參數(shù)進(jìn)行標(biāo)記預(yù)測，得到分類結(jié)果；根據(jù)多標(biāo)記數(shù)據(jù)的分類模型預(yù)測所有待分類的多標(biāo)記數(shù)據(jù)的標(biāo)記；輸出多標(biāo)記數(shù)據(jù)的分類結(jié)果。

需要說明的是本發(fā)明的核心步驟是運(yùn)用jlsml學(xué)習(xí)得到標(biāo)記相關(guān)性矩陣、分類器參數(shù)和閾值函數(shù)所對應(yīng)的參數(shù)，并給出各步驟的具體實(shí)施方法。

如圖2所示，標(biāo)記相關(guān)性矩陣初始化及特征并歸一化處理的具體實(shí)施步驟如下：

步驟1.1)，標(biāo)記相關(guān)性矩陣s＝iq，其中，iq為單位矩陣；

步驟1.2)，歸一化處理，使每個(gè)特征對應(yīng)的特征向量的2范數(shù)為1。

如圖2所示，運(yùn)用jlsml學(xué)習(xí)得到標(biāo)記相關(guān)性矩陣、分類器參數(shù)和閾值函數(shù)所對應(yīng)的參數(shù)具體實(shí)施步驟如下：

提出的模型以svm(supportvectormachine)模型為基礎(chǔ)，同時(shí)考慮多標(biāo)記分類、標(biāo)記相關(guān)性以及自動劃分樣本的相關(guān)標(biāo)記和不相關(guān)標(biāo)記的虛擬標(biāo)記，這樣可以聯(lián)合學(xué)習(xí)分類模型參數(shù)、標(biāo)記相關(guān)性矩陣及劃分相關(guān)標(biāo)記和不相關(guān)標(biāo)記的閾值函數(shù)對應(yīng)的參數(shù)。同時(shí)，為了考慮標(biāo)記之間的相關(guān)性，構(gòu)建了用標(biāo)記協(xié)方差矩陣(其主要作用是用來量化標(biāo)記之間的相關(guān)性)定義的正則化項(xiàng)。而為自動劃分樣本的相關(guān)標(biāo)記和不相關(guān)標(biāo)記，加入了自動劃分樣本的相關(guān)標(biāo)記和不相關(guān)標(biāo)記的虛擬標(biāo)記，學(xué)習(xí)其對應(yīng)的閾值函數(shù)對應(yīng)的參數(shù)。

綜上可見，提出的模型具有以下特點(diǎn)：

(1)提出了一個(gè)新的多標(biāo)記分類算法，同時(shí)考慮了標(biāo)記之間的相關(guān)性，相關(guān)標(biāo)記和不相關(guān)標(biāo)記的劃分問題；

(2)標(biāo)記之間的相關(guān)性不是事先計(jì)算得到，而是通過標(biāo)記協(xié)方差矩陣的學(xué)習(xí)得到；

(3)提出的模型可挖掘出自動劃分相關(guān)標(biāo)記和不相關(guān)標(biāo)記的閾值函數(shù)對應(yīng)的參數(shù)。

先給出一些符號說明：

步驟2.1)，令訓(xùn)練數(shù)據(jù)集其中d表示特征維數(shù)，q表示標(biāo)記個(gè)數(shù)，r^d為d維的實(shí)數(shù)空間。如果yiq＝+1，則認(rèn)為第i個(gè)樣本隸屬于第q個(gè)標(biāo)記；否則，認(rèn)為第i個(gè)樣本不隸屬于第q個(gè)標(biāo)記。

步驟2.2)，引入一個(gè)虛擬標(biāo)記v作為樣本的相關(guān)標(biāo)記和不相關(guān)標(biāo)記的自然劃分點(diǎn)，虛擬標(biāo)記v所對應(yīng)的函數(shù)為:

步驟2.3)，將多標(biāo)記分類問題轉(zhuǎn)化為q個(gè)兩類分類問題，第q個(gè)標(biāo)記所對應(yīng)的判別函數(shù)定義如下：

其中，wq∈r^d和bq∈r分別表示第q個(gè)線性分類函數(shù)所對應(yīng)的權(quán)重和偏差，r為實(shí)數(shù)空間。

如果fq(x)≥fv(x)，則認(rèn)為第q個(gè)標(biāo)記為樣本x的相關(guān)標(biāo)記；否則，為樣本x的不相關(guān)標(biāo)記。

步驟2.4)，給出jlsml的模型如下：

ξiq≥0,i＝1,...,n；q＝1,...,q

s≥0

tr(s)＝1

式中，第一項(xiàng)為損失項(xiàng)，第二項(xiàng)和第三項(xiàng)用來控制模型的復(fù)雜度，第四項(xiàng)為度量標(biāo)記之間的相關(guān)性，并且約束協(xié)方差矩陣s是半正定的，tr(·)表示矩陣的跡，λ為正則化參數(shù)，w為權(quán)重矩陣，b＝[b1,…,bq]為偏差向量，ξiq為松弛變量，xi為第i個(gè)訓(xùn)練樣本；

步驟2.5)，將聯(lián)合學(xué)習(xí)算法jlsml模型拓展到再生核希爾伯特空間中學(xué)習(xí)，即將d維空間中的樣本x轉(zhuǎn)化為希爾伯特空間中的φ(x)，其中表示由核引導(dǎo)的特征映射，則：

ξiq≥0,i＝1,...,n；q＝1,...,q

s≥0

tr(s)＝1

式中：第一項(xiàng)為損失項(xiàng)，第二項(xiàng)和第三項(xiàng)用來控制模型的復(fù)雜度，第四項(xiàng)為度量標(biāo)記之間的相關(guān)性，并且約束協(xié)方差矩陣s是半正定的(s≥0表示s為半正定的)，tr(·)表示矩陣的跡，λ為正則化參數(shù)。

上述問題可以分解為2個(gè)子問題進(jìn)行求解，固定s，更新w,wv,b和bv；固定w,wv,更新s，jlsml的具體求解方法如下：

步驟2.6)，固定s，更新模型的對偶函數(shù)解：拉格朗日乘子

當(dāng)s固定時(shí)，模型退化為：

ξiq≥0,q＝1,...,q；i＝1,...,n

可以進(jìn)一步寫成：

ξiq≥0,q＝1,...,q；i＝1,...,n

其中，iq為q×q的單位矩陣。

拉格朗日函數(shù)可以表示為：

其中，αiq,βiq≥0為拉格朗日乘子。分別對l關(guān)于w,wv,bq,bv和ξiq求導(dǎo)，并令它們等于0，可得：

于是，可得到原問題對應(yīng)的對偶問題：

0≤αiq≤c,q＝1,...,q；i＝1,...,n

其中，αq＝[α1q,...,αnq]^t，k(xj,xi)＝＜φ(xj),φ(xi)＞，k(·,·)為核函數(shù)。同時(shí)，可以觀察到，可得因此，約束條件只要滿足其中之一即可。

采用論文anefficientmulti-labelsupportvectormachinewithazerolabel中提出的一種基于frank-wolfe方法的有效訓(xùn)練算法來求解該優(yōu)化問題。

步驟2.7)，由求w,wv,b和bv；

當(dāng)求出之后，對于偏差和bv，不需要計(jì)算它們的值具體為多少。實(shí)際上，只需要根據(jù)如下kkt條件來計(jì)算bq-bv：

即

if0≤αiq≤c,q＝1,...,q；i＝1,...,n

步驟2.8),固定w,wv,更新s

當(dāng)w,wv,固定時(shí)，優(yōu)化問題可以表示成：

s.t.s≥0

tr(s)＝1

其等價(jià)為如下式子：

s.t.s≥0

tr(s)＝1

其中，

故

步驟2.9)，判斷s是否收斂或達(dá)到預(yù)設(shè)的最大迭代次數(shù)，若s沒有收斂或達(dá)到預(yù)設(shè)的最大迭代次數(shù)，則跳轉(zhuǎn)執(zhí)行步驟2.6)，直至滿足終止條件；

步驟2.10)，得到標(biāo)記相關(guān)性矩陣、分類器和閾值函數(shù)對應(yīng)的參數(shù)。

如圖3所示，模型預(yù)測具體實(shí)施步驟如下：

步驟3.1)，對未標(biāo)記樣本進(jìn)行歸一化處理；

步驟3.2)，計(jì)算未知樣本xu在第q個(gè)標(biāo)記上的判別函數(shù)值

其中，為樣本xu的特征映射；

步驟3.3)，計(jì)算未知樣本xu的類別標(biāo)記向量

其中，sgn(·)為符號函數(shù)。

步驟3.4)，輸出每個(gè)樣本對應(yīng)的標(biāo)記集。

對所有待分類的多標(biāo)記數(shù)據(jù)按上述方法進(jìn)行分類，得到最終的多標(biāo)記數(shù)據(jù)的分類結(jié)果。

本技術(shù)領(lǐng)域技術(shù)人員可以理解的是，除非另外定義，這里使用的所有術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語)具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是，諸如通用字典中定義的那些術(shù)語應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義，并且除非像這里一樣定義，不會用理想化或過于正式的含義來解釋。

以上所述的具體實(shí)施方式，對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施方式而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。