專利名稱：考慮全局數(shù)據(jù)結(jié)構(gòu)的學(xué)習機的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及學(xué)習機，并且更具體地，涉及用于實現(xiàn)學(xué)習機的基于核的技術(shù)。
背景技術(shù)：
存在用于基于對訓(xùn)練數(shù)據(jù)集合的分析來使數(shù)據(jù)分類自動化的多個已知技術(shù)。這里特別有趣的是基于核的技術(shù)，比如支持向量機。該支持向量機的開發(fā)已經(jīng)具有日期回溯到1965年的歷史，當時Chervonenkis和Vapnik開發(fā)了一種稱為廣義肖像方法(GeneralizedPortrait Method)的算法，用于構(gòu)造最優(yōu)的分離超平面。使用廣義肖像方法的學(xué)習機通過解決二次最優(yōu)化問題來最優(yōu)化訓(xùn)練數(shù)據(jù)和判定界限之間的邊界，所述問題的解可通過最大化下列函數(shù)來獲得W(α)=Σi=1lαi-12Σi.j=1lαiαjyiyj(xi,xj)]]>所受的約束是Σi=1lyiαi=0]]>和αi≥0。語言乘數(shù)αi定義學(xué)習機所使用的分離超平面。假設(shè)乘數(shù)的最優(yōu)值是αoi并且閾值的對應(yīng)值是bo，該超平面的方程式是Σi=1lαioyi(xi,x)+bo=0.]]>在1992年，Boser、Guyon和Vapink設(shè)計了在希爾伯特(Hilbert)空間中構(gòu)造分離超平面的有效方法，該方法避免了顯式地將輸入向量映射到希爾伯特空間中。參看Bernard E.Boser，Isabelle M.Goyon和Vladimir N.Vapink，“A Training Algorithmfor Optimal Margin Classifier，”Proceedings of Fifth AnnualWorkshop on Computational Learning Theory(1992年7月)。替換地，分量超平面根據(jù)核函數(shù)來表示，所述核函數(shù)定義希爾伯特空間中的內(nèi)積。二次最優(yōu)化問題則可通過最大化下列函數(shù)來解決W(α)=Σi=1lαi-12Σi,j=1lαiαjyiyjK(xi,xj)]]>其所受的約束是
Σi=1lyiαi=0,αi≥0.]]>在該情況下，分離超平面的對應(yīng)方程式是Σi=1lαioyiK(xi,x)+bo=0.---(1)]]>在1995年，Cortes和Vapnik歸納了最大邊界思想，用于當訓(xùn)練數(shù)據(jù)不可分離時，在圖像空間中構(gòu)造分離超平面。參看CorinnaCortes和Vladimir N.Vapnik，“Support Vector Networks”，Machine Learning，Vol.20，pp.273-97(1995年9月)。最優(yōu)化問題的二次型根據(jù)所謂的“松弛變量”來表述，松弛變量對于位于邊界反面上的那些點是非零的，由此允許訓(xùn)練數(shù)據(jù)的不完善分離。通過轉(zhuǎn)換成對偶形式，二次優(yōu)化問題可再次按照最大化下列目標函數(shù)來表達W(α)=Σi=1lαi-12Σi,j=1lαiαjyiyjK(xi,xj)]]>所受的約束是Σi=1lyiαi=0]]>，但新的約束為0≤αi≤C并且，分離超平面的對應(yīng)方程式由以上的方程式(1)給出。所述方程式是那些αi≠0的向量的擴展，在本領(lǐng)域中這些向量被稱為“支持向量”。為了構(gòu)造支持向量學(xué)習機，人們可使用任何正定函數(shù)K(xi，xj)，其創(chuàng)建不同類型的支持向量機。支持向量機已經(jīng)證實用于廣泛的應(yīng)用，包括生物信息學(xué)或文本分類領(lǐng)域中的問題。

發(fā)明內(nèi)容
這里公開了一種新的機器學(xué)習技術(shù)，其歸納了支持向量機的架構(gòu)。來自數(shù)據(jù)集的輸入向量首先手工或通過使用自動集群技術(shù)被集群。輸入向量被映射到分離空間，并且分離空間中的分離超平面通過生成用于定義分離超平面的系數(shù)而被最優(yōu)化。但是，所述系數(shù)是根據(jù)廣義約束來生成的，所述約束取決于輸入向量在數(shù)據(jù)集中的集群。根據(jù)本發(fā)明的優(yōu)選實施例，輸入向量依照輸入向量所屬的集群而被同時映射到分離空間和校正空間。不同集群的輸入向量被映射到同一分離空間和不同的校正空間。每個校正空間為特定集群中的輸入向量定義校正函數(shù)。當生成分離超平面的系數(shù)時，它們是以為輸入向量的每個集群最優(yōu)化校正函數(shù)的方式而生成的。為了最優(yōu)化校正函數(shù)，輸入向量集群的廣義約束以取決于在校正空間上定義的核的方式而被定義，集群內(nèi)的輸入向量映射到所述校正空間。
通過改變廣義約束，學(xué)習機可利用人們可能具有的與全局數(shù)據(jù)結(jié)構(gòu)有關(guān)的任何先驗知識，包括輸入空間中的噪聲特性(如集群中所定義的)。分離仍然在分離空間中完成，但是在求解最優(yōu)化問題之前，輸入向量可被隔離并被映射到不同的校正空間。由此，廣義約束可由數(shù)據(jù)結(jié)構(gòu)來定義而不是簡單地獨立于數(shù)據(jù)。


通過參考下面的詳細描述和附圖，本發(fā)明的這些和其它優(yōu)點對于本領(lǐng)域技術(shù)人員將更加清楚。
圖1是說明所公開的機器學(xué)習技術(shù)的基礎(chǔ)原理的抽象圖。
圖2是根據(jù)優(yōu)選實施例在訓(xùn)練學(xué)習機/分類器時所執(zhí)行過程的流程圖。
圖3是根據(jù)優(yōu)選實施例在操作學(xué)習機/分類器時所執(zhí)行過程的流程圖。
具體實施例方式
圖1是說明所公開的機器學(xué)習技術(shù)的基礎(chǔ)原理的抽象圖。
用于學(xué)習機的訓(xùn)練數(shù)據(jù)被表示為在輸入空間中的輸入向量，例如在圖1中被示意描述為輸入空間100中的101，102...106。每個訓(xùn)練輸入向量101，102...106被標記有分類標記，在圖1中示意描述為用于第一標記的圓點和用于第二標記的三角。例如但不受限制地，分類標記可表示對應(yīng)于輸入向量的訓(xùn)練數(shù)據(jù)是否是規(guī)定類別的成員。目標是基于訓(xùn)練輸入向量101，102...106來構(gòu)造分離函數(shù)，其可作為對數(shù)據(jù)的分類器。
通過手工或利用多個已知自動集群技術(shù)中的任意技術(shù)來初始集群這些訓(xùn)練輸入向量101，102...106。圖1描述了兩個在訓(xùn)練向量上形成的示例集群161，162——集群161由輸入向量101，102，103形成而集群162由輸入向量104，105，106形成。應(yīng)當注意，盡管在圖1中描述了兩個集群，可根據(jù)所公開的技術(shù)形成任意數(shù)量的集群，包括在所有訓(xùn)練輸入向量上的單個集群。與現(xiàn)有技術(shù)相比，每個輸入向量同時被映射到兩個空間定義分離函數(shù)的分離空間150和定義發(fā)明人所稱的校正函數(shù)的校正空間110，120。注意，盡管輸入向量101，102...106的每一個都被映射到相同的分離空間150，輸入向量的每個集群161，162可被分配不同的校正函數(shù)，及由此不同的校正空間110，120。如圖1所示，集群161中的輸入向量被映射到校正空間110，而集群162中的輸入向量被映射到校正空間120。
如這里進一步所解釋的，在定義如上所述分離函數(shù)的分離空間150中構(gòu)造分離超平面180。分離超平面180以不僅最優(yōu)化分離空間150中的邊界171，172，而且還考慮對應(yīng)集群的輸入向量的校正函數(shù)的方式被構(gòu)造。由此，與現(xiàn)有技術(shù)相比，分離函數(shù)能以利用人們可能具有與全局訓(xùn)練數(shù)據(jù)結(jié)構(gòu)有關(guān)的任何先驗知識，包括輸入空間100中的噪聲特性的方式來被生成。如這里所進一步討論的，所公開的技術(shù)可被看作為支持向量機架構(gòu)的歸納，由此發(fā)明人稱該技術(shù)為“SVM+” 。
參考圖2進一步描述優(yōu)選實施例。
圖2是根據(jù)優(yōu)選實施例在訓(xùn)練學(xué)習機/分類器時所執(zhí)行過程的流程圖。在步驟210，收集原始標記的訓(xùn)練數(shù)據(jù){(xi0，yi)}i＝1l。該數(shù)據(jù)可依照任意格式并可來自多個源，例如已知的數(shù)據(jù)融合技術(shù)可用來將來自全異數(shù)據(jù)源的信息整合為可用作為被標記的訓(xùn)練數(shù)據(jù)的形式。在步驟220，可對原始標簽的訓(xùn)練數(shù)據(jù)執(zhí)行通用預(yù)處理，以獲得輸入訓(xùn)練數(shù)據(jù)(xi，yi)}i＝1l。本發(fā)明不限于任何特定的預(yù)處理技術(shù)。預(yù)處理的傳統(tǒng)技術(shù)的例子包括集中化、規(guī)格化、縮放、修剪等等。例如但并不受限制地，利用已知預(yù)處理技術(shù)可容易地使具有間隙或不同時間量程的數(shù)據(jù)一致。作為更復(fù)雜的例子，在某形式的對稱變換下具有恒定性的數(shù)據(jù)也可通過預(yù)處理被變換成使分類器對于所述變換也呈現(xiàn)恒定的形式。
在步驟230，輸入訓(xùn)練數(shù)據(jù)((xi，yi)}i＝1l被集群，以形成t≥1個集群。如上所述，t個集群可通過手工或利用多個已知自動集群技術(shù)的任意技術(shù)來形成。本發(fā)明不受任何特定集群技術(shù)的限制。任何集群技術(shù)，包括諸如k均值或k中值的分層方法或分區(qū)方法，可容易地被修改和利用。在以向量形式x1，...，x1表示的輸入訓(xùn)練數(shù)據(jù)的情況下，這些向量將是向量x1的t個集群的不相交并集。根據(jù)集群r，Xr={xi1,...,xinr}]]>由Tr={i1,...,inr}]]>定義輸入訓(xùn)練向量的索引集合。但應(yīng)當注意，為了下面的討論，假設(shè)集群取決于xi的值，所述集群可被容易的設(shè)置以便也取決于yi的值。
在步驟240，為學(xué)習機定義核函數(shù)。如上所討論的，輸入訓(xùn)練向量xi∈Xr同時被映射到分離空間zi∈Z和校正空間zri∈Zr。不同集群的輸入向量被映射同一分離空間Z和不同的校正空間Zr。分離空間Z定義分離函數(shù)。校正空間Zr為每個集群Xr根據(jù)來自該集群的可容許的校正函數(shù)集合中φr(xi，a)，a∈Ar，來定義校正函數(shù)
ξi＝φr(xi，α)，α∈Ar,xi∈Xr，r=1，...，t (2)假設(shè)可容許的校正函數(shù)集合ξ＝φ(x，a)，a∈Ar可描述為zr空間中的線性非負函數(shù)ξi=φr(xi,αr)=(wr,zir)+dr≥0,r=1,...,t.]]>并且，如上所說的，校正函數(shù)還可取決于yi值，盡管在這里沒有明確指出。分離空間Z和校正空間Zr優(yōu)選地被表示為希耳伯特空間。根據(jù)Mercer定理，在輸入向量空間中存在正有限函數(shù)，在本領(lǐng)域中稱為核函數(shù)，其定義分離空間Z和校正空間Zr中對應(yīng)的內(nèi)積。由此，分離空間的對應(yīng)內(nèi)積可由核函數(shù)(zi，zj)=K(xi，xj)來定義，而集群r的校正空間中的對應(yīng)內(nèi)積可由核函數(shù)(zir,zjr)=Kr(xi,xj)≥0,i,j∈Tr,r=1...t.]]>來定義。注意，盡管現(xiàn)有技術(shù)使用單核，這里所公開的技術(shù)使用達(t+1)個不同核。
對于分離空間或校正空間，本發(fā)明不限于任何特定形式的核函數(shù)。在當今的學(xué)習機中最普遍的核是d次的多項式核K(xi，xj)＝((xi，xj)+c)d和指數(shù)核K(xi,xj)=exp{-(||xi-xj||σ)d},σ>0,0≤d≤2.]]>可接著構(gòu)造最優(yōu)化的分離函數(shù)。通過最小化下面的目標函數(shù)來找到分離空間中的最優(yōu)化的分離超平面R(w,w1,...,wt)=12(w,w)+CΣr=1tΣi∈Tr((wr,zir)+dr),]]>受到約束yi[(w,zi)+b]≥1-((wr,zir)+dr),i∈Tr,r=1,...,t,]]>和(wr,zir)+dr≥0,i∈Tr,r=1,...,t.]]>對應(yīng)的拉格朗日函數(shù)是L(w,w1,...,wt;α,μ)12(w,w)+Σr=1tΣi∈Tr((wr,zir)+dr)]]>-Σi=1lαi[yi((w,zi)+b)-1+(wr,zir)+dr]-Σi=1τμi((wr,zir)+dr).]]>接著可示出，X(輸入)空間中的最優(yōu)化的分離超平面具有形式
Σi=1lαioyiK(xi,x)+bo=0---(3)]]>其中系數(shù)αoi最大化二次型W(α)=Σi=1lαi-12Σi,j=1lyiyjαiαjK(xi,xj)---(4)]]>受到約束Σi=1lyiαi=0---(5)]]>和Σi∈Trαi≤|Tr|C,r=1,...,t---(6)]]>以及Σi∈TrαiKr(xi,xj)≤CΣi∈TrKr(xi,xj),j∈Tr,r=1,...,t.---(7)]]>其中|Tr|是集群Tr中的元素數(shù)目并且其中αi≥0，對于i＝1，...，1。發(fā)明人將方程式(5)的約束稱為“平衡”約束，該約束與本領(lǐng)域中所公開的相同。本領(lǐng)域技術(shù)人員將方程式(6)中的t個約束認做為所謂的“套索”約束(參看R.Tibshirani，“Regression Shrinkageand Selection via the Lasson，”J.R.Statist.Soc.(B)，58，267-288(1996))。
方程式(7)中的約束可重新寫為以下形式Σi∈TrαiAi,j*≤C,j∈Tr,r=1,...,t---(8)]]>其中0≤A*i，j≤1是滿足下列等式的對稱矩陣A*的元素Σi=1lAi,j*=1,j=1,...,l.]]>發(fā)明人將方程式(8)中約束稱為矩陣約束。注意，上述約束矩陣形式可被考慮為本領(lǐng)域約束0≤αi≤C的廣義形式。當如果i＝j(luò)則A*i，j＝1并且如果i≠j則A*i，j＝0時，即如果矩陣A*是1×1單位矩陣，那么上述廣義約束定義獨立于數(shù)據(jù)的箱式約束，就如本領(lǐng)域中那樣。在該情況下，方程式(6)中的套索約束自動滿足。但是，所公開的技術(shù)具有使取決于全局數(shù)據(jù)結(jié)構(gòu)的約束有更寬的規(guī)定的優(yōu)點。由此，學(xué)習機可考慮全局的訓(xùn)練數(shù)據(jù)結(jié)構(gòu)——其是現(xiàn)有技術(shù)支持向量機技術(shù)所忽略的。
再次參考圖2，在步驟250規(guī)定廣義約束。這可通過定義上述的約束矩陣A*i，j來完成。接著在步驟260，在約束(5)、(6)和(8)之下，規(guī)定分離超平面的系數(shù){αio}i＝1l通過最優(yōu)化方程式(4)中的目標函數(shù)來生成。這具有允許每個集群Tr具有其自己的校正函數(shù)(wr，zi)+dr的效果。最后，在步驟270，利用訓(xùn)練數(shù)據(jù){(xi，yi)}i＝1l和乘數(shù){αio}i＝1l，閾值bo可被容易地確定。學(xué)習機的訓(xùn)練參數(shù)是Ω={α1o,...,αlo,bo}]]>。這些參數(shù)確定Z(特征)空間中的分離超平面。
圖3是在已經(jīng)訓(xùn)練了學(xué)習機分類器之后由學(xué)習機執(zhí)行的過程的流程圖。利用將多類分類問題降低為若干二元分類問題的已知技術(shù)，可將學(xué)習機分類器設(shè)置為單個二元分類器或設(shè)置為多類分類器。在步驟310，收集原始未標記的數(shù)據(jù){x^io}i=1m]]>。并且如上討論的，原始數(shù)據(jù)可以任意形式表示并實際上可從多個源融合。在步驟320，如訓(xùn)練階段那樣，對數(shù)據(jù)執(zhí)行通用預(yù)處理，以獲得{x^i}i=1m]]>。在步驟330，系數(shù){αio}i＝1l和以上生成的閾值bo用于定義分離超平面。在Z(特征)分離空間中，通過計算以下等式，學(xué)習機確定測試點位于超平面的哪側(cè)，y^j=sign(Σi=1lαioyiK(xi,x^j)+bo),j=1,...,m.]]>這些值是所給數(shù)據(jù)的所計算標記。在分類器是二元分類器的情況下，所生成的標記可被簡單地輸出或在相關(guān)應(yīng)用中使用。在分類器是多類分類器的情況下，在步驟340通過使用已知技術(shù)組合根據(jù)多個二元分類器所生成的標記。例如但并不受限制地，多類分類器可由多個如上面那樣訓(xùn)練的二元分類器組成，其中每個二元分類器可將一個類與所有其它類進行比較或者可成對地比較類。接著則在步驟350輸出最終結(jié)果。
注意，上面的訓(xùn)練和測試技術(shù)可利用硬件、軟件、或硬件和軟件的各種組合來容易地實現(xiàn)。
在廣泛的應(yīng)用中本發(fā)明可容易地被修改和利用，這些應(yīng)用包括當前利用支持向量機己解決的所有問題。例如但并不受限制地，這包括通用模式識別(包括圖像識別、對象檢測、和語音和手寫識別)，回歸分析和預(yù)測建模(包括質(zhì)量控制系統(tǒng)和推薦系統(tǒng))，數(shù)據(jù)分類(包括文本和圖像分類和歸類)，生物信息學(xué)(包括自動診斷系統(tǒng)、生物建模、和生物成像分類)，數(shù)據(jù)挖掘(包括金融預(yù)測、數(shù)據(jù)營銷)等等。
盡管已經(jīng)描述和說明了本發(fā)明的示例附圖和特定實施例，應(yīng)當理解，本發(fā)明的范圍不限于所討論的特定實施例。因此，這些實施例應(yīng)當被認為是說明性的而不是限制性的，并且應(yīng)當理解，本領(lǐng)域技術(shù)人員可對那些實施例作各種變型而不會偏離隨后的權(quán)利要求及其結(jié)構(gòu)和功能等效物中敘述的本發(fā)明的范圍。
權(quán)利要求
1.一種用于訓(xùn)練分類器的方法，包括從已經(jīng)被集群在一個或多個集群中的數(shù)據(jù)集接收輸入向量；規(guī)定取決于數(shù)據(jù)集中的輸入向量集群的廣義約束；和在受到廣義約束的分離空間中最優(yōu)化分離超平面，其中通過利用核函數(shù)將輸入向量映射到分離空間，并且其中由根據(jù)廣義約束所生成的系數(shù)集合來確定分離超平面。
2.權(quán)利要求1的方法，其中廣義約束取決于在集群內(nèi)的輸入向量所映射的校正空間上定義的核函數(shù)。
3.權(quán)利要求2的方法，其中不同集群的輸入向量被映射到相同的分離空間和不同的校正空間。
4.權(quán)利要求2的方法，其中每個校正空間為每個集群定義校正函數(shù)。
5.權(quán)利要求2的方法，其中廣義約束可表示為Σi∈TrαiKr(xi,xj)≤CΣi∈TrKr(xi,xj),j∈Tr,r=1,...,t]]>Σi∈Trαi≤|Tr|C,r=1,...,t]]>Σi=1lyiαi=0,αi≥0]]>其中存在t個集群并且其中Kr是在集群r內(nèi)的輸入向量所映射的校正空間上定義的核函數(shù)，αi是確定分離空間中分離超平面的系數(shù)，并且Tr定義集群r內(nèi)的輸入向量的索引集合。
6.權(quán)利要求5的方法，其中廣義約束可替換地表示為Σi∈TrαiAi,j*≤C,j∈Tr,r=1,...,t]]>其中A*i，j是根據(jù)權(quán)利要求5構(gòu)造的對稱矩陣。
7.權(quán)利要求6的方法，其中矩陣A*i，j是單位矩陣并定義框式約束。
8.權(quán)利要求6的方法，其中矩陣A*i，j不定義框式約束。
9.權(quán)利要求1的方法，其中預(yù)處理被應(yīng)用于數(shù)據(jù)集，以便獲得輸入向量。
10.權(quán)利要求1的方法，其中生成多個系數(shù)集合，以形成多類分類器。
11.一種利用根據(jù)權(quán)利要求1-10的方法所生成的系數(shù)的分類器。
12.一種包括計算機程序指令的計算機可讀介質(zhì)，在所述計算機程序指令由處理器執(zhí)行時定義下列步驟從已經(jīng)被集群在一個或多個集群中的數(shù)據(jù)集接收輸入向量；規(guī)定取決于數(shù)據(jù)集中的輸入向量集群的廣義約束；和在受到廣義約束的分離空間中最優(yōu)化分離超平面，其中通過利用核函數(shù)將輸入向量映射到分離空間，并且其中由根據(jù)廣義約束所生成的系數(shù)集合來確定分離超平面。
13.權(quán)利要求12的計算機可讀介質(zhì)，其中廣義約束取決于在集群內(nèi)的輸入向量所映射的校正空間上定義的核函數(shù)。
14.權(quán)利要求13的計算機可讀介質(zhì)，其中不同集群的輸入向量被映射到相同的分離空間和不同的校正空間。
15.權(quán)利要求13的計算機可讀介質(zhì)，其中每個校正空間為每個集群定義校正函數(shù)。
16.權(quán)利要求13的計算機可讀介質(zhì)，其中廣義約束可表示為Σi∈TrαiKr(xi,xj)≤CΣi∈TrKr(xi,xj),j∈Tr,r=1,...,t]]>Σi∈Trαi≤|Tr|C,r=1,...,t]]>Σi=1lyiαi=0,αi≥0]]>其中存在t個集群并且其中Kr是在集群r內(nèi)的輸入向量所映射的校正空間上定義的核函數(shù)，αi是確定分離空間中分離超平面的系數(shù)，并且Tr定義集群r內(nèi)的輸入向量的索引集合。
17.權(quán)利要求16的計算機可讀介質(zhì)，其中廣義約束可替換地表示為Σi∈TrαiAi,j*≤C,j∈Tr,r=1,...,t]]>其中A*i，j是根據(jù)權(quán)利要求16構(gòu)造的對稱矩陣。
18.權(quán)利要求17的計算機可讀介質(zhì)，其中矩陣A*i，j是單位矩陣并定義框式約束。
19.權(quán)利要求17的計算機可讀介質(zhì)，其中矩陣A*i，j不定義框式約束。
20.權(quán)利要求12的計算機可讀介質(zhì)，其中預(yù)處理被應(yīng)用于數(shù)據(jù)集，以便獲得輸入向量。
21.權(quán)利要求12的計算機可讀介質(zhì)，其中生成多個系數(shù)集合，以形成多類分類器。
22.一種用于訓(xùn)練分類器的設(shè)備，包括用于從已經(jīng)被集群在一個或多個集群中的數(shù)據(jù)集接收輸入向量的裝置；用于生成確定分離空間中分離超平面的系數(shù)的裝置，輸入向量被映射到分離空間中，并且根據(jù)取決于數(shù)據(jù)集中的輸入向量集群的廣義約束來最優(yōu)化所述系數(shù)。
全文摘要
這里公開了一種新的機器學(xué)習技術(shù)，其歸納了支持向量機的架構(gòu)。根據(jù)取決于數(shù)據(jù)集中的輸入向量集群的廣義約束來最優(yōu)化分離空間中的分離超平面。
文檔編號G06F15/18GK1952919SQ20061013189
公開日2007年4月25日 申請日期2006年10月17日 優(yōu)先權(quán)日2005年10月18日
發(fā)明者Y·N·瓦普尼克, M·R·米勒 申請人:美國日本電氣實驗室公司