專利名稱：基于高維空間分類器的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于高維空間分類器的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計方法，該方法可應(yīng)用于 模式識別、數(shù)據(jù)挖掘、圖像處理等領(lǐng)域。
背景技術(shù)：
在實際生活中，常會遇到大量的高維、非線性數(shù)據(jù)需要進行分類處理，例如人臉識 別、語音識別等，因此分類器結(jié)構(gòu)的設(shè)計是分類處理這些數(shù)據(jù)的關(guān)鍵所在。迄今為止，關(guān)于 高維空間分類器結(jié)構(gòu)設(shè)計的研究理論及研究成果很多，有的是基于線性可分原則的，如，主 成分分析、PCA等；有的是基于非線性可分原則的，如核理論，流形學(xué)習(xí)等。但是不管是哪一 種方法，都普遍認為高維空間分類器的結(jié)構(gòu)與分類數(shù)據(jù)的內(nèi)在結(jié)構(gòu)有著本質(zhì)聯(lián)系，它們總 是以一種共生的方式協(xié)同工作。如神經(jīng)網(wǎng)絡(luò)作為分類器進行設(shè)計時，預(yù)先根據(jù)樣本集的性 質(zhì)和關(guān)系，將樣本空間分為幾大類(稱為樣本子空間)，再將其直接映射到網(wǎng)絡(luò)分類器的隱 節(jié)點層設(shè)計上，可以得到緊致的網(wǎng)絡(luò)分類器結(jié)構(gòu)，并達到較好的分類效果。由于對高維及非 線性的數(shù)據(jù)集來說，神經(jīng)網(wǎng)絡(luò)分類器可以達到較好的分類效果，因此，目前關(guān)于神經(jīng)網(wǎng)絡(luò)高 維分類器結(jié)構(gòu)設(shè)計的研究較多，如Z. Uykan利用無監(jiān)督聚類對數(shù)據(jù)進行聚類分析，來確定 徑向基網(wǎng)絡(luò)的隱含層節(jié)點數(shù)目；還有W. Pedryez利用模糊均值聚類法對不完備數(shù)據(jù)進行聚 類分析，并將分析結(jié)果映射到徑向基網(wǎng)絡(luò)的隱含層節(jié)點數(shù)目上；上述研究都不僅得到了較 為緊致的網(wǎng)絡(luò)分類器結(jié)構(gòu)，并且對高維、非線性數(shù)據(jù)也獲得了較好的分類效果。上述方法都是以數(shù)據(jù)集的內(nèi)在結(jié)構(gòu)作為先驗知識，來指導(dǎo)高維空間分類器的結(jié)構(gòu) 設(shè)計。雖然對高維數(shù)據(jù)而言取得了一些較好的分類效果，但這種簡單的、通過聚類的方法來 獲取先驗知識的方法，對那些擁有不同對象的數(shù)據(jù)集來說具有一定的效用。而對于同一對 象來說，所獲得的數(shù)據(jù)集的內(nèi)在結(jié)構(gòu)是不完備的，以此來指導(dǎo)分類器結(jié)構(gòu)的設(shè)計也就缺乏 說服力。傳統(tǒng)的分類器設(shè)計方法是基于幾何學(xué)或是統(tǒng)計學(xué)的，如今一種新的、基于感知流形 的方法一流形學(xué)習(xí)法，以一種較新的途徑更加充分的挖掘數(shù)據(jù)集的本質(zhì)特征，以獲得更 加準確的數(shù)據(jù)集內(nèi)在結(jié)構(gòu)。從流形學(xué)習(xí)的角度出發(fā)，認為很多數(shù)據(jù)集是偽高維的，尤其是對同一對象數(shù)據(jù)集 而言，包含上千個特征的數(shù)據(jù)集可以描述為幾個潛在參數(shù)的函數(shù)。也就是說，同一對象的數(shù) 據(jù)集可以組成高維空間的一個流形，其本質(zhì)特征通常是由幾個少數(shù)的隱含特征所決定的， 稱為“低維本征空間”。一般情況下，這幾個少數(shù)的隱含特征，即低維本征空間是未知的，但 是在解決分類和識別這類問題時，低維本征空間可以直接對應(yīng)數(shù)據(jù)集的內(nèi)在結(jié)構(gòu)空間，將 其映射到分類器的隱含節(jié)點上，可以獲得較好的分類效果。流形學(xué)習(xí)方法就是試圖確定這 些參數(shù)，并發(fā)現(xiàn)數(shù)據(jù)集的低維空間表示。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服傳統(tǒng)分類器設(shè)計方法的不足，將流形學(xué)習(xí)方法引入到高維 空間分類器的設(shè)計當(dāng)中，以一個全新的角度分析數(shù)據(jù)集的本質(zhì)特征，充分挖掘其內(nèi)在結(jié)構(gòu)，并以此作為先驗知識，指導(dǎo)分類器的結(jié)構(gòu)設(shè)計，從而獲得更加良好的分類效果。并且，本發(fā) 明以神經(jīng)網(wǎng)絡(luò)分類器作為高維空間分類器的代表，說明流行學(xué)習(xí)方法在設(shè)計神經(jīng)網(wǎng)絡(luò)分類 器結(jié)構(gòu)過程中的應(yīng)用原理與方法。具體技術(shù)方案如下—種基于高維空間分類器的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計方法，其特征是步驟包括，先估計 出低維本征維數(shù)空間D，再根據(jù)D值進行神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計，將其隱節(jié)點按照D值大小 進行分組設(shè)計，所得出的網(wǎng)絡(luò)結(jié)構(gòu)既滿足結(jié)構(gòu)緊致的要求，并且對高維空間數(shù)據(jù)分類來說 也具有較高的分類性能；所述估算地位本征維數(shù)空間D的方法，其步驟包括1)為各個系統(tǒng)參數(shù)賦初值鄰域值k — 1，嵌入維數(shù)d — 1，Sammon系數(shù)一0 ；2)固定嵌入維數(shù)d，改變鄰接點k的大小，并執(zhí)行LLE流形學(xué)習(xí)算法，根據(jù)Sammon
I N「《-《T
系數(shù)定義公式:Ε = ^^Σ “ d* 11得到Sammon系數(shù)值；并繪制Sammon系數(shù)隨鄰域值
i<J
k改變而變化的曲線圖；3)判斷K-Sammon系數(shù)圖的曲線改變方式是否已固定，即當(dāng)d達到某一固定值D 后，其變化趨勢已與嵌入維數(shù)d的取值大小無關(guān)，無論d再如何增加，K-Sammon系數(shù)圖的曲 線變化趨勢保持恒定不變；4)如果是已經(jīng)固定，則終止并估計出低維本征維數(shù)空間D ；否則，d+Ι，并轉(zhuǎn)向步驟 2)。本發(fā)明優(yōu)點或積極的效果如下1、研究方法上的更新，將流形學(xué)習(xí)方法引入高維空間分類器的結(jié)構(gòu)設(shè)計問題，發(fā) 揮了機器學(xué)習(xí)的優(yōu)越性，有效利用了樣本集本身的內(nèi)在的知識，避免了分類器結(jié)構(gòu)設(shè)計過 程中過多依賴人為因素的問題。能夠根據(jù)要求設(shè)計出有效而緊致的網(wǎng)絡(luò)結(jié)構(gòu)。2、具有一定的通用性，采用本方法，面對不同類型的同一對象樣本分類問題，都能 迅速設(shè)計出高效的網(wǎng)絡(luò)結(jié)構(gòu)。3、應(yīng)用面較廣，可以應(yīng)用在圖像識別、語音識別、數(shù)據(jù)挖掘、機器視覺等方面。本方法從一個新的角度上分析了高維、非線性樣本集的神經(jīng)網(wǎng)絡(luò)分類器結(jié)構(gòu)設(shè)計 的問題。提出應(yīng)用機器學(xué)習(xí)的新方法——流形學(xué)習(xí)來解決該問題的新思路。充分挖掘了樣 本集本身的內(nèi)在知識，并將這些知識映射到高維空間分類器的結(jié)構(gòu)設(shè)計上，如此設(shè)計出的 分類器結(jié)構(gòu)必定優(yōu)于根據(jù)人為主觀而設(shè)計出的分類器結(jié)構(gòu)。本方法首次通過Sammon協(xié)強系數(shù)來觀察嵌入維數(shù)與鄰接點大小兩者之間的相互 關(guān)系與變化，從而進一步估計出同一對象樣本集中的低維參數(shù)空間維數(shù)，并從理論上證明 了低維本征維數(shù)空間維數(shù)在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計中的具有指導(dǎo)意義。實用新型本方法使得在神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)設(shè)計在針對高維、非線性的實際數(shù) 據(jù)分類的應(yīng)用中，沒有神經(jīng)網(wǎng)絡(luò)分類器知識和實際工作經(jīng)驗的技術(shù)人員也能夠在客觀的實 驗數(shù)據(jù)指導(dǎo)下，設(shè)計出較為緊致而準確的神經(jīng)網(wǎng)絡(luò)分類器結(jié)構(gòu)。


圖1是本發(fā)明流程示意圖。圖2是本圖1中步驟1的流程示意圖。
具體實施例方式為了更了解本發(fā)明的技術(shù)內(nèi)容，特舉具體實施例并配合所附圖式說明如下。下面從原理角度，對本方法的設(shè)計思想作進一步闡述(1)高維空間分類器的結(jié)構(gòu)設(shè)計與泛化性能提高高維空間分類器自從提出至今已有許多年的歷史，其中分類器的泛化性能的研究 一直是智能信息處理領(lǐng)域的重要研究課題。以神經(jīng)網(wǎng)絡(luò)分類器為代表的高維空間分類器最 受研究者關(guān)注，其(分類器的)泛化能力是指學(xué)習(xí)后的神經(jīng)網(wǎng)絡(luò)對測試樣本或工作樣本做 出正確反應(yīng)的能力。沒有泛化能力的分類器沒有任何使用價值，故此，泛化能力的研究已成 為近年來國際上十分關(guān)注的理論問題。許多研究者對神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)設(shè)計與樣本集之間的內(nèi)在結(jié)構(gòu)關(guān)系做了大 量有益的探索，比如有理論證明預(yù)先根據(jù)樣本的性質(zhì)和關(guān)系將樣本空間分為幾大類(樣 本子空間)，并將這幾大類的關(guān)系直接映射到網(wǎng)絡(luò)的隱節(jié)點的分組設(shè)計上，可以獲得合理而 緊致的網(wǎng)絡(luò)結(jié)構(gòu)。其中最值得一提的是M. Gori和A. Tesi將神經(jīng)網(wǎng)絡(luò)模塊化編程思想引入 到前向網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計中，提出預(yù)先根據(jù)樣本(問題)的性質(zhì)和關(guān)系將樣本空間分為幾大 類，同時將隱節(jié)點神經(jīng)元也進行分組，每一組分別對應(yīng)樣本空間中的某一類。這樣從根本上 避免了同一類樣本由于差異性不大而導(dǎo)致學(xué)習(xí)過程權(quán)值調(diào)整量過小，算法收斂變得異常困 難的問題。同時，又由于通過對隱節(jié)點層分組，最終獲得了具有緊致結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，也使 得網(wǎng)絡(luò)地學(xué)習(xí)時間變短，學(xué)習(xí)速度提高，分類結(jié)果較好。M. Gori和A. Tesi提出的確保神經(jīng)網(wǎng)絡(luò)分類器分類效果有效提高的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計 準則是假設(shè)所分模式是線性可分的，若網(wǎng)絡(luò)結(jié)構(gòu)采用單個隱節(jié)點層結(jié)構(gòu)，且網(wǎng)絡(luò)的輸入層 與隱節(jié)點層為全連接方式；進一步假設(shè)學(xué)習(xí)樣本的類別數(shù)為C，則可將隱節(jié)點層劃分為C個 子節(jié)點組，并且各個子節(jié)點組只與其相應(yīng)的輸出層節(jié)點相連接。該準則雖然被嚴格限制在 模式線性可分的前提下使用，但無論是從理論分析上，還是實際應(yīng)用中對非線性模式的分 類問題都具有十分重要的指導(dǎo)意義。M. Gori和A. Tesi提出的上述設(shè)計準則中，網(wǎng)絡(luò)結(jié)構(gòu)的隱節(jié)點子層只與相應(yīng)的輸 出層連接的設(shè)計準則，簡稱隱節(jié)點層分組設(shè)計準則。這在某種程度上體現(xiàn)了 預(yù)先根據(jù)樣本 的性質(zhì)和關(guān)系將樣本空間分為幾大類(樣本子空間)，并將這幾大類的關(guān)系直接映射到網(wǎng) 絡(luò)的隱節(jié)點層的分組設(shè)計上，可以獲得合理而緊致的網(wǎng)絡(luò)結(jié)構(gòu)。因而得到了大多數(shù)研究者 的認可，并在實際應(yīng)用中反復(fù)得到了驗證。但是，該準則在解決實際的分類問題時，仍然存 在著一定的問題。(簡述一下存在的問題是什么)(2)神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)設(shè)計的關(guān)鍵問題——隱節(jié)點層的分組隱節(jié)點層分組設(shè)計準則，其關(guān)鍵所在是預(yù)先根據(jù)樣本的性質(zhì)和關(guān)系將樣本空間 分為幾大類，并將這幾大類的關(guān)系直接映射到網(wǎng)絡(luò)的隱節(jié)點層的分組設(shè)計上。但是如何才能 預(yù)先根據(jù)樣本(問題)的性質(zhì)和關(guān)系將樣本空間分為幾大類呢？實際應(yīng)用中面臨兩種情況。情況一不同對象的樣本集，針對這類情況，傳統(tǒng)的方法大多采用對樣本進行聚類的方法，如有的利用無監(jiān)督聚類對輸入樣本進行聚類來確定徑向基網(wǎng)絡(luò)的隱含層的節(jié)點 數(shù)；有的利用模糊均值聚類來對不完備樣本進行聚類，以確定徑向基網(wǎng)絡(luò)的隱節(jié)點數(shù)。情況二 同一對象的樣本集，對這類情況，大部分的應(yīng)用結(jié)果證明，如果依然采用 這種簡單的、通過聚類的方法來對樣本空間進行劃分，并以此作為確定網(wǎng)絡(luò)結(jié)構(gòu)中分組設(shè) 計的依據(jù)是不完備的。同一對象的樣本集結(jié)構(gòu)又分為兩種情況一種是高維線性結(jié)構(gòu)，另一種是高維非 線性結(jié)構(gòu)。關(guān)于具有線性結(jié)構(gòu)的同一對象的樣本集的分類問題，對設(shè)計人員來說并不是太 難的問題。而針對具有同一對象的非線性結(jié)構(gòu)樣本集，發(fā)現(xiàn)其內(nèi)在的本質(zhì)結(jié)構(gòu)，獲取其內(nèi)含 的先驗知識，并以此作為分類器結(jié)構(gòu)設(shè)計的指導(dǎo)原則卻是一個經(jīng)典難題。但是，如果從感知角度出發(fā)，自然界中任何欲被認識的兩個同一事物之間至少存 在一個漸變過程，而在這個漸變過程中間的各事物是屬于同一類的，即在特征空間，同一對 象的樣本點之間存在著連續(xù)性規(guī)律。以同一對象的圖像信息為例，在不同距離，不同方向， 或在不同姿態(tài)和光照強度下，同一對象能夠形成多種不同的圖像，一個對象的所有圖像的 集合可以看作是以位置、尺度、姿態(tài)、光照等為參數(shù)的一個高維空間流形。流形是感知的基 礎(chǔ)，人腦能夠通過用流形的方法表示對外界對象的感知。也就是說，通過流形學(xué)習(xí)的方法對 樣本集進行一定的數(shù)據(jù)分析，從中獲得樣本集中所蘊含的先驗知識，這種手段更加接近人 類獲取知識的有效途徑。(3)低維本征維數(shù)空間與隱節(jié)點層分組一一對應(yīng)如果將具有非線性結(jié)構(gòu)的同一對象樣本集中每個樣本看成是高維空間的一個點， 則在不同方向上采樣的所有樣本集就是高維空間的一個流形。同時，又由于同一對象在 不同參數(shù)下(不同光照或姿態(tài))的數(shù)字圖像組成的流形，其本質(zhì)特征通常是由少數(shù)幾個 隱含變量點所決定的，即“低維本征維數(shù)空間”(Parameter space in the low-dimension manifold)，故分類這種群體活動實際上是被限制在低維空間的光滑流形上的?！暗途S本征維數(shù)空間維數(shù)”與“神經(jīng)網(wǎng)絡(luò)隱節(jié)點層分組數(shù)目，，表面看起來是兩個不 同的問題。但是，“低維本征維數(shù)空間維數(shù)”的定義暗示著這樣一個概念在分類過程中， 樣本集的“低維參數(shù)空間維數(shù)”與樣本子空間的劃分是一一對應(yīng)的。即樣本子空間的劃分 是以低維參數(shù)空間維數(shù)大小為依據(jù)的，同理，按照上述的M. Gori和A. Tesi的隱節(jié)點層分 組設(shè)計準則，“神經(jīng)網(wǎng)絡(luò)隱節(jié)點層分組數(shù)目”確定也是以高維樣本集的樣本子空間數(shù)目為依 據(jù)的，隱節(jié)點層的分組數(shù)目可設(shè)計為樣本集的分類數(shù)目，即樣本子空間的數(shù)目。由此可知， “低維本征維數(shù)空間維數(shù)”與“神經(jīng)網(wǎng)絡(luò)隱節(jié)點數(shù)目，，是一一對應(yīng)的。但是，一般情況下，低 維本征維數(shù)空間是不可知的。通過流形學(xué)習(xí)探索樣本集中潛在的低維本征維數(shù)空間的方法 是非常有效的方法之一，但是利用流形學(xué)習(xí)方法計算低維參數(shù)空間維數(shù)是需要滿足特定條 件的。例如，Isomap是一種有效的非線性方法，在一些實驗中利用剩余方差和維數(shù)之間的 關(guān)系可以有效發(fā)現(xiàn)潛在的低維參數(shù)空間維數(shù)大小，但是，算法的前提條件是假設(shè)光滑流形M 及其參數(shù)空間Rd的子集之間存在等距映射。而在對LLE方法的研究中人們發(fā)現(xiàn)，鄰域大小 和嵌入維數(shù)兩個參數(shù)值都扮演了非常重要的角色，兩者之間相互影響，相互制約。(4)利用低維本征維數(shù)空間設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)的原理流形學(xué)習(xí)的目的就是要發(fā)現(xiàn)高維數(shù)據(jù)集分布的內(nèi)在規(guī)律，LLE是一種依賴于局部 線性的流形學(xué)習(xí)算法，它的待定參數(shù)很少，一個是近鄰點值k。近鄰點值k的大小反映了用
6若干個近鄰點的線性組合去逼近低維流形上某個點的程度，近鄰點過少時，由于逼近程度 太低而顯得毫無意義；反之，則產(chǎn)生不必要的冗余而使得計算代價過高。因此，一個適中的 k值就顯得非常重要。在LLE流形學(xué)習(xí)算法中的另一個待定參數(shù)就是嵌入維數(shù)d，同理，如果嵌入維數(shù)d 過低，低維流形的局部結(jié)構(gòu)與高維流形的局部結(jié)構(gòu)間差異也會過大，而使得局部幾何結(jié)構(gòu) 在降維過程中不能得到很好的保護；反之，則降維的意義沒有得到很好的體現(xiàn)。因此，近鄰點值k和嵌入維數(shù)d在LLE流形學(xué)習(xí)算法中都有著舉足輕重的意義，同 時，它們之間又相互影響，相互制約。然而，在實際應(yīng)用中，這兩個參數(shù)都是人為設(shè)定的，帶 有很大程度上的主觀性，而缺乏一定的客觀性和合理性。為此，本發(fā)明引入Sammon系數(shù)作為衡量二者(近鄰點值k和嵌入維數(shù)d)取值標 準的判斷，并通過二者有機的結(jié)合，從而獲得真正意義上的低維參數(shù)空間大小。Sammon系數(shù) 是一項關(guān)于衡量N個數(shù)據(jù)點從L空間轉(zhuǎn)換到d空間過程中，點之間幾何結(jié)構(gòu)變形程度大小 的標準。Sammon系數(shù)定義如下所示
權(quán)利要求
一種基于高維空間分類器的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計方法，其特征是步驟包括，先估計出低維本征維數(shù)空間D，再根據(jù)D值進行神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計，將其隱節(jié)點按照D值大小進行分組設(shè)計，所得出的網(wǎng)絡(luò)結(jié)構(gòu)既滿足結(jié)構(gòu)緊致的要求，并且對高維空間數(shù)據(jù)分類來說也具有較高的分類性能；所述估算地位本征維數(shù)空間D的方法，其步驟包括1)為各個系統(tǒng)參數(shù)賦初值鄰域值k←1，嵌入維數(shù)d←1，Sammon系數(shù)←0；2)固定嵌入維數(shù)d，改變鄰接點k的大小，并執(zhí)行LLE流形學(xué)習(xí)算法，根據(jù)Sammon系數(shù)定義公式得到Sammon系數(shù)值E；并繪制Sammon系數(shù)隨鄰域值k改變而變化的曲線圖K Sammon系數(shù)圖；式中，表示n維空間里i點與j點之間的距離；dij表示m維空間里i點與j點之間的距離；3)判斷K Sammon系數(shù)圖的曲線改變方式是否已固定，即當(dāng)d達到某一固定值D后，其變化趨勢已與嵌入維數(shù)d的取值大小無關(guān)，無論d再如何增加，K Sammon系數(shù)圖的曲線變化趨勢保持恒定不變；4)如果是已經(jīng)固定，則終止并估計出低維本征維數(shù)空間D；否則，d+1，并轉(zhuǎn)向步驟2)。FDA0000030561230000011.tif,FDA0000030561230000012.tif
2.根據(jù)權(quán)利要求1所述的基于高維空間分類器的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計方法，其特征是對 于所述K-Sammon系數(shù)圖是，在鄰域值k和嵌入維數(shù)值d同時改變的情況下，以Sammon系數(shù) 為縱坐標，鄰域值k為橫坐標，在固定嵌入維數(shù)d的前提條件下，分析縱坐標隨著橫坐標的 從小到大改變而改變的情況；每一個對象的K-Sammon系數(shù)圖，從左到右伴隨著嵌入維數(shù)d由小到大改變，Sammon系 數(shù)隨鄰域值k的改變而改變的過程開始逐漸呈現(xiàn)出一定的規(guī)律性，反映出當(dāng)嵌入維數(shù)達 到某一固定值的時候，鄰接點的大小對Sammon系數(shù)的影響呈現(xiàn)固定趨勢，具體表現(xiàn)為1)當(dāng)鄰域值k取值較小時，Sammon系數(shù)有個陡降的過程；這表明當(dāng)鄰域點取得過少時， 對某一點的逼近程度較低，所以所產(chǎn)生的誤差較大；而隨著鄰域值k的不斷增大，逼近越來 越接近真實情況，所以Sammon系數(shù)的變化趨于減小而平緩；2)當(dāng)嵌入維數(shù)d取值較小的時候，Sammon系數(shù)隨著鄰域值k的不斷增大存在上升的趨 勢，甚至發(fā)散；這是由于當(dāng)嵌入維數(shù)過低，導(dǎo)致幾何結(jié)構(gòu)變形也過大的緣故，故Sammon系數(shù) 出現(xiàn)上升和不穩(wěn)定的趨勢；鄰域值k 一旦達到某一固定值后，Sammon系數(shù)的變化趨勢呈現(xiàn) 下降并穩(wěn)定不變的狀態(tài)，即其變化趨勢已與嵌入維數(shù)d的取值大小無關(guān)，這一固定值即為 “低維本征維數(shù)空間”，它代表了樣本空間的隱含變量大小。
全文摘要
本發(fā)明提出一種基于高維空間分類器的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計方法，步驟包括，先估計出低維本征維數(shù)空間D，再根據(jù)D值進行神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計，將其隱節(jié)點按照D值大小進行分組設(shè)計，所得出的網(wǎng)絡(luò)結(jié)構(gòu)既滿足結(jié)構(gòu)緊致的要求，并且對高維空間數(shù)據(jù)分類來說也具有較高的分類性能。本方法能夠根據(jù)要求設(shè)計出有效而緊致的網(wǎng)絡(luò)結(jié)構(gòu)、具有一定的通用性、應(yīng)用面較廣。
文檔編號G06N3/08GK101976373SQ20101052971
公開日2011年2月16日 申請日期2010年11月2日 優(yōu)先權(quán)日2010年11月2日
發(fā)明者胡靜 申請人:上海電機學(xué)院