專(zhuān)利名稱(chēng):金融風(fēng)險(xiǎn)管理輔助挖掘分析系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明是一種采用數(shù)據(jù)挖掘技術(shù),并結(jié)合數(shù)量化金融風(fēng)險(xiǎn)管理技術(shù),通過(guò)對(duì)大量歷史數(shù)據(jù)的分析,獲取金融市場(chǎng)規(guī)律特征信息,為金融機(jī)構(gòu)對(duì)其市場(chǎng)風(fēng)險(xiǎn)和信用風(fēng)險(xiǎn)進(jìn)行有效管理提供輔助決策信息的分析系統(tǒng)。
背景技術(shù):
當(dāng)今世界是一個(gè)信息化和數(shù)量化的時(shí)代,每天都有不計(jì)其數(shù)的數(shù)據(jù)在產(chǎn)生。目前金融機(jī)構(gòu)的許多業(yè)務(wù)活動(dòng)(如客戶分析、投資決策、風(fēng)險(xiǎn)管理、價(jià)格預(yù)測(cè)等)為實(shí)現(xiàn)其科學(xué)化管理決策都越來(lái)越依賴(lài)于對(duì)大量歷史數(shù)據(jù)的分析。數(shù)據(jù)挖掘則是一門(mén)能自動(dòng)從大量數(shù)據(jù)中發(fā)現(xiàn)其隱藏的、有用的、令用戶感興趣的模式和規(guī)律并以簡(jiǎn)潔、易于理解的形式為人們的決策提供信息的技術(shù)。其概念在1989國(guó)際人工智能聯(lián)合會(huì)議(IJCAI)上首次提出,立即引起國(guó)際上很多學(xué)者、機(jī)構(gòu)的重視。在90年代掀起了數(shù)據(jù)挖掘的研究熱潮,到目前,經(jīng)過(guò)十來(lái)年的努力,已取得很大進(jìn)展,并已成功應(yīng)用于許多行業(yè)。金融風(fēng)險(xiǎn)是金融活動(dòng)的內(nèi)在屬性,其廣泛存在是現(xiàn)代金融市場(chǎng)的重要特征。20世紀(jì)70年代以來(lái),由于放松管制與金融自由化、信息技術(shù)與金融創(chuàng)新活動(dòng)等因素的影響,金融市場(chǎng)的波動(dòng)性增強(qiáng),金融體系的穩(wěn)定性下降。這對(duì)風(fēng)險(xiǎn)管理的技術(shù)、方法的創(chuàng)新提出了越來(lái)越緊迫的要求?,F(xiàn)代信息技術(shù)在風(fēng)險(xiǎn)管理中扮演的角色越來(lái)越重要。國(guó)際上大的金融機(jī)構(gòu)都非常重視采用最新的信息技術(shù),建立先進(jìn)的風(fēng)險(xiǎn)管理系統(tǒng)和開(kāi)發(fā)新的風(fēng)險(xiǎn)管理方法。事實(shí)上,金融風(fēng)險(xiǎn)的本質(zhì)在于金融活動(dòng)中未來(lái)收益(損失)的不確定性,因而風(fēng)險(xiǎn)管理的目的就是要如何度量,降低甚至消除各種不確定性。這又關(guān)鍵依賴(lài)于信息和知識(shí)的獲取。而從大量紛繁復(fù)雜的數(shù)據(jù)當(dāng)中獲取有意義的信息正是數(shù)據(jù)挖掘的本質(zhì)所在。
從金融數(shù)據(jù)中獲取特征信息也是現(xiàn)代金融計(jì)量經(jīng)濟(jì)學(xué)理論中的重要內(nèi)容,傳統(tǒng)方法主要以數(shù)理統(tǒng)計(jì)模型為基礎(chǔ),通過(guò)模型假設(shè)、參數(shù)估計(jì)、模型檢驗(yàn)等手段和技術(shù)來(lái)獲得描述金融時(shí)間序列規(guī)律的數(shù)學(xué)模型。為了構(gòu)建模型,許多假設(shè)條件是必須的。比如常用的ARMA模型要求時(shí)間序列數(shù)據(jù)是平穩(wěn)的,并要求ARMA模型所產(chǎn)生的時(shí)間序列與觀察序列間的誤差相互獨(dú)立,且呈正態(tài)分布。然而,對(duì)許多現(xiàn)實(shí)情況而言,這些假設(shè)條件卻是相當(dāng)“苛刻”的。而且,這種統(tǒng)計(jì)模型分析技術(shù)總是基于一種“全局”性的觀點(diǎn),模型參數(shù)估計(jì)時(shí)常以對(duì)“所有”考察數(shù)據(jù)的最佳適應(yīng)為準(zhǔn)則。模型一旦構(gòu)建出來(lái),它將“適用”于數(shù)據(jù)的所有部分,這顯然是不現(xiàn)實(shí)的。
發(fā)明內(nèi)容
本發(fā)明的目的是提供一種采用數(shù)據(jù)挖掘技術(shù),直接以數(shù)據(jù)驅(qū)動(dòng)來(lái)獲取模式規(guī)律的分析系統(tǒng),該分析系統(tǒng)不是基于傳統(tǒng)方法所普遍采用的以“假設(shè)”為基礎(chǔ)的建模技術(shù),因而它能客觀、真實(shí)地把握市場(chǎng)規(guī)律特征。
為了實(shí)現(xiàn)上述發(fā)明目的,本發(fā)明采用以下技術(shù)方案金融風(fēng)險(xiǎn)管理輔助挖掘分析系統(tǒng)基于計(jì)算機(jī)局域網(wǎng),采用分布式結(jié)構(gòu),包括一數(shù)據(jù)管理服務(wù)器,用于實(shí)現(xiàn)數(shù)據(jù)的采集、存儲(chǔ)、預(yù)處理和檢索功能,為整個(gè)系統(tǒng)提供挖掘基礎(chǔ)數(shù)據(jù)和應(yīng)用原始數(shù)據(jù),根據(jù)具體情況需要,它與Internet和其它業(yè)務(wù)數(shù)據(jù)庫(kù)服務(wù)器相連;一管理控制器,用于向用戶提供操作平臺(tái),實(shí)現(xiàn)數(shù)據(jù)管理、挖掘、規(guī)則知識(shí)維護(hù)、應(yīng)用模型建立和模型應(yīng)用的維護(hù)控制命令的發(fā)布;一挖掘處理服務(wù)器,用于接受管理控制器的挖掘任務(wù),調(diào)用挖掘工具,在指定的挖掘數(shù)據(jù)集上進(jìn)行挖掘產(chǎn)生知識(shí)規(guī)則;一個(gè)以上模型應(yīng)用服務(wù)器,包括相應(yīng)的信息顯示終端,利用挖掘出的知識(shí)構(gòu)建應(yīng)用模型,并構(gòu)成監(jiān)控工具監(jiān)控和分析實(shí)時(shí)采集數(shù)據(jù),提供風(fēng)險(xiǎn)和決策信息;以及輸入輸出終端。
所述金融風(fēng)險(xiǎn)管理輔助挖掘分析系統(tǒng)裝置包含有相應(yīng)的軟件系統(tǒng),包括一總控子系統(tǒng)、一數(shù)據(jù)采集與轉(zhuǎn)換子系統(tǒng)、一挖掘算法管理子系統(tǒng)、一挖掘應(yīng)用模型管理子系統(tǒng)、一規(guī)則知識(shí)管理子系統(tǒng)、一風(fēng)險(xiǎn)識(shí)別與監(jiān)控子系統(tǒng)。通過(guò)各個(gè)功能子系統(tǒng)的配合實(shí)現(xiàn)對(duì)金融數(shù)據(jù)的采集、預(yù)處理、規(guī)則挖掘和規(guī)則應(yīng)用等功能。為金融風(fēng)險(xiǎn)管理提供傳統(tǒng)分析系統(tǒng)所不能提供的一些隱含信息。各子系統(tǒng)的基本功能如下總控子系統(tǒng),包括系統(tǒng)操作框架界面、系統(tǒng)參數(shù)維護(hù)等,運(yùn)行于管理控制器上,通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)實(shí)現(xiàn)同其它服務(wù)器的信息交換,發(fā)布命令,控制其它服務(wù)器功能的實(shí)現(xiàn)。
數(shù)據(jù)管理子系統(tǒng),運(yùn)行于數(shù)據(jù)管理服務(wù)器上,包括數(shù)據(jù)采集與轉(zhuǎn)換模塊、數(shù)據(jù)預(yù)處理功能模塊、數(shù)據(jù)源管理模塊,其目的在于將各種紛繁復(fù)雜的數(shù)據(jù)集成,保證數(shù)據(jù)的可用性和有效性,為數(shù)據(jù)挖掘提供清晰、規(guī)范、一致的接口。其中數(shù)據(jù)采集與轉(zhuǎn)換模塊用于從不同格式的數(shù)據(jù)源,如ORACLE/SQL SERVER/INFORMIX/DB2/SYSBASE等數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、文本文件、XML、Excel等獲取數(shù)據(jù)信息;數(shù)據(jù)預(yù)處理功能模塊用于解決數(shù)據(jù)的空缺、不完整、不一致以及噪聲平滑,其中噪聲平滑針對(duì)金融數(shù)據(jù)的實(shí)際特點(diǎn)提供了移動(dòng)平均、小波變換等多個(gè)工具模塊;數(shù)據(jù)源管理模塊,用于定義、檢索、更新挖掘數(shù)據(jù)源和監(jiān)控?cái)?shù)據(jù)源。
挖掘算法管理子系統(tǒng),運(yùn)行于挖掘處理服務(wù)器上,包括一個(gè)算法庫(kù),用于定義、檢索、更新基本數(shù)據(jù)挖掘算法,目前系統(tǒng)預(yù)置了如下基本的挖掘技術(shù),主要包括·分類(lèi)技術(shù)包括決策樹(shù)ID3算法、C4.5算法、CART算法,SLIQ算法,SVM等;·聚類(lèi)技術(shù)包括基于最短距離、最長(zhǎng)距離和中間距離的分層聚類(lèi)方法,分割聚類(lèi)算法PAM,CLARA算法,k-means,k-modes聚類(lèi)算法等;·關(guān)聯(lián)分析技術(shù)包括Apriori算法,多值屬性的MAQA算法,基于共同機(jī)制的關(guān)聯(lián)算法;·時(shí)間序列分析技術(shù)包括ARMA、ARCH、GARCH、TSEOPM算法;·神經(jīng)網(wǎng)絡(luò)技術(shù)包括BP網(wǎng)絡(luò),Elaman網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)。
挖掘應(yīng)用模型管理子系統(tǒng),運(yùn)行于管理控制器上,包含一個(gè)應(yīng)用模型庫(kù)。各挖掘應(yīng)用模型是有著具體應(yīng)用目的,指定了具體挖掘數(shù)據(jù)源、挖掘算法、挖掘參數(shù)以及步驟的處理邏輯。該子系統(tǒng)實(shí)現(xiàn)應(yīng)用模型的定義、查看、刪除和啟動(dòng)。本系統(tǒng)根據(jù)金融數(shù)據(jù)類(lèi)別不同,將應(yīng)用模型具體劃分為信用挖掘分析、利率挖掘分析、匯率挖掘分析、股價(jià)挖掘分析以及整合分析幾個(gè)部分。對(duì)于每個(gè)部分在選擇適當(dāng)數(shù)據(jù)基礎(chǔ)上、應(yīng)用挖掘基礎(chǔ)算法與技術(shù)構(gòu)建挖掘模型。例如,信用挖掘分析,系統(tǒng)根據(jù)貸款申請(qǐng)人的基本信息、信用記錄信息、人口統(tǒng)計(jì)信息等通過(guò)分類(lèi)挖掘方法,獲取信用評(píng)價(jià)規(guī)則知識(shí);又如,可根據(jù)機(jī)構(gòu)申請(qǐng)者的財(cái)務(wù)信息、行業(yè)信息、公開(kāi)市場(chǎng)交易信息等獲取機(jī)構(gòu)的信用評(píng)價(jià)規(guī)則與知識(shí);再如股價(jià)挖掘分析,可根據(jù)歷史的股價(jià)序列、交易量序列進(jìn)行挖掘,對(duì)未來(lái)某段時(shí)間范圍的股價(jià)進(jìn)行預(yù)測(cè),獲取預(yù)測(cè)規(guī)則知識(shí)。
規(guī)則知識(shí)管理子系統(tǒng),運(yùn)行于管理控制器上,用于對(duì)已挖掘出的規(guī)則知識(shí)進(jìn)行查詢、添加、刪除等維護(hù)管理,也包括根據(jù)實(shí)際應(yīng)用的效果反饋信息對(duì)規(guī)則知識(shí)進(jìn)行適當(dāng)調(diào)整。
風(fēng)險(xiǎn)識(shí)別與監(jiān)控子系統(tǒng),運(yùn)行于應(yīng)用服務(wù)器上。它利用挖掘規(guī)則知識(shí),監(jiān)控采集的實(shí)時(shí)數(shù)據(jù),提供風(fēng)險(xiǎn)管理的決策信息。主要包括監(jiān)控?cái)?shù)據(jù)采集、監(jiān)控規(guī)則維護(hù)、監(jiān)控信息發(fā)布三個(gè)功能模塊。應(yīng)用服務(wù)器的數(shù)目可根據(jù)應(yīng)用個(gè)數(shù)靈活配置。即不同應(yīng)用可服務(wù)器分別運(yùn)行不同的應(yīng)用子系統(tǒng),確保系統(tǒng)的響應(yīng)速度和處理性能。
整個(gè)系統(tǒng)按功能層次可劃分四層體系結(jié)構(gòu),即數(shù)據(jù)層、算法層、模型層和應(yīng)用層。
本系統(tǒng)融合多種數(shù)據(jù)挖掘技術(shù),可從數(shù)據(jù)中獲取隱藏的、新穎的信息,實(shí)現(xiàn)對(duì)金融數(shù)據(jù)的“深加工”。金融風(fēng)險(xiǎn)的實(shí)質(zhì)是金融變量波動(dòng)的不確定性。數(shù)據(jù)挖掘是一個(gè)包括數(shù)據(jù)選擇、預(yù)處理、模型挖掘獲取、模型評(píng)估、模型運(yùn)用和鞏固等多個(gè)步驟的過(guò)程。過(guò)程中的每個(gè)步驟對(duì)挖掘結(jié)果的成功應(yīng)用具有舉足輕重的作用,都應(yīng)當(dāng)考慮到金融數(shù)據(jù)的實(shí)際特點(diǎn)和金融風(fēng)險(xiǎn)管理的特殊需求。另外,金融風(fēng)險(xiǎn)管理的涵義是相當(dāng)廣泛的,從風(fēng)險(xiǎn)形態(tài)上說(shuō)包括信用風(fēng)險(xiǎn)、市場(chǎng)風(fēng)險(xiǎn)(利率、匯率、股票)、法律風(fēng)險(xiǎn)、操作風(fēng)險(xiǎn)、政策風(fēng)險(xiǎn)等等。從風(fēng)險(xiǎn)主體來(lái)說(shuō)包括銀行、保險(xiǎn)、證券、企業(yè)、居民、國(guó)家等。本系統(tǒng)基于數(shù)據(jù)挖掘的方法,從大量歷史數(shù)據(jù)中獲取隱含信息或知識(shí),并利用這些知識(shí)監(jiān)控?cái)?shù)據(jù)的動(dòng)態(tài)變化,識(shí)別其中隱含的風(fēng)險(xiǎn)因子,從而起到對(duì)金融機(jī)構(gòu)所面臨的市場(chǎng)風(fēng)險(xiǎn)和信用風(fēng)險(xiǎn)進(jìn)行識(shí)別與監(jiān)控,及時(shí)給出警示信息的作用。
本系統(tǒng)包括分類(lèi)分析、聚類(lèi)分析、關(guān)聯(lián)分析、時(shí)間序列分析、異常分析等多種挖掘技術(shù),可從數(shù)據(jù)中獲取各種不同類(lèi)型的信息??捎捎脩衾妙A(yù)置的工具自主分析、開(kāi)發(fā)挖掘應(yīng)用模型,多側(cè)面、多角度地識(shí)別與監(jiān)控存在的各種風(fēng)險(xiǎn)因子。這是傳統(tǒng)的風(fēng)險(xiǎn)管理技術(shù)和風(fēng)險(xiǎn)管理系統(tǒng)沒(méi)有實(shí)現(xiàn)的。
本系統(tǒng)預(yù)置的基本風(fēng)險(xiǎn)分析功能具體有利率分析包括利率走勢(shì)分析、利率波動(dòng)性分析、利率關(guān)聯(lián)性分析、期限結(jié)構(gòu)分析、利率風(fēng)險(xiǎn)因子分析等。并量化利率缺口和利率風(fēng)險(xiǎn),計(jì)算利差,提供情景模擬器,模擬多種情景假設(shè)的利率變動(dòng)與風(fēng)險(xiǎn)-回報(bào)。
匯率分析包括匯率走勢(shì)分析、匯率波動(dòng)性估計(jì)、匯率關(guān)聯(lián)性分析、異常波動(dòng)分析、政策影響分析功能。
信用分析包括信用等級(jí)評(píng)價(jià)、違約概率分析、信用關(guān)聯(lián)分析、欺詐檢測(cè)分析、異常交易行為分析、壞帳客戶特征分析;股價(jià)分析包括股價(jià)預(yù)測(cè)分析、股價(jià)波動(dòng)分析、價(jià)量關(guān)聯(lián)分析,股價(jià)局部預(yù)測(cè)模式分析,股票聚類(lèi)分析、股票交易策略分析等;整合分析包括利率與股價(jià)關(guān)系分析、利率與匯率關(guān)系分析、股價(jià)與信用狀況關(guān)聯(lián)分析。
其中各種預(yù)測(cè)分析中既有點(diǎn)值預(yù)測(cè),也有區(qū)間概率預(yù)測(cè)。點(diǎn)值預(yù)測(cè)的結(jié)果為一個(gè)具體的數(shù)值,而區(qū)間預(yù)測(cè)結(jié)果為一個(gè)附有概率的數(shù)值區(qū)間。
本系統(tǒng)與現(xiàn)有技術(shù)相比具有以下特色(1)能實(shí)現(xiàn)對(duì)金融數(shù)據(jù)的深入分析。傳統(tǒng)的金融風(fēng)險(xiǎn)分析系統(tǒng)只是對(duì)金融數(shù)據(jù)進(jìn)行簡(jiǎn)單地加工處理,提供匯總、回歸和圖表等分析功能。其對(duì)金融數(shù)據(jù)的認(rèn)識(shí)建立在人們對(duì)已有知識(shí)的把握和了解基礎(chǔ)上。知識(shí)類(lèi)型在分析之前用戶就已知,只是借助計(jì)算機(jī)進(jìn)行參數(shù)估計(jì)和結(jié)果計(jì)算。而本系統(tǒng)基于數(shù)據(jù)挖掘技術(shù),目的是從數(shù)據(jù)中獲得人們尚未知曉的信息。這些信息的知識(shí)類(lèi)型、結(jié)構(gòu)在挖掘之前,用戶是完全未知的。由于金融風(fēng)險(xiǎn)所造成的損失多數(shù)都具有出乎意料,關(guān)鍵原因就在于風(fēng)險(xiǎn)因子的隱含性和未知性,而本系統(tǒng)通過(guò)數(shù)據(jù)挖掘技術(shù)、深層次地從大量、多維、復(fù)雜的數(shù)據(jù)當(dāng)中挖掘隱藏信息,給出的信息具有新穎性、有趣性,恰恰是一類(lèi)出乎意料、讓人驚奇的信息。因而更能適合金融風(fēng)險(xiǎn)管理的需要。
(2)開(kāi)放式平臺(tái)結(jié)構(gòu)設(shè)計(jì)。隨著數(shù)據(jù)挖掘技術(shù)的不斷深入研究,新的技術(shù)不斷涌現(xiàn)。本系統(tǒng)采用開(kāi)放式結(jié)構(gòu)設(shè)計(jì),用戶可以自我管理和維護(hù)挖掘技術(shù)庫(kù),不斷擴(kuò)充新的挖掘算法。此外,根據(jù)用戶的需要和研究,可以自我管理和維護(hù)挖掘應(yīng)用模型庫(kù),擴(kuò)充新的應(yīng)用模型,從而提高系統(tǒng)的可用性與靈活性。
(3)用戶經(jīng)驗(yàn)參數(shù)的可視化獲取。數(shù)據(jù)挖掘非常重視將挖掘者的主觀經(jīng)驗(yàn)或背景知識(shí)融入挖掘過(guò)程,這對(duì)保證挖掘結(jié)果的有趣性和有用性是非常重要的。然而問(wèn)題是,挖掘者的經(jīng)驗(yàn)偏好往往表現(xiàn)為一種直覺(jué),是一種只可意會(huì),卻難以言狀的東西。如何定量化地表達(dá)這種偏好性是過(guò)去大多數(shù)系統(tǒng)的難題,一般采取基于某種假設(shè)的固定參數(shù)設(shè)置方法,甚至完全回避這個(gè)問(wèn)題。本系統(tǒng)采用了可視—應(yīng)答技術(shù)來(lái)獲取用戶經(jīng)驗(yàn)與偏好信息。既降低了參數(shù)給定的隨意性,使其更加準(zhǔn)確、符合用戶真實(shí)經(jīng)驗(yàn)要求,同時(shí)又不失操作的方便與快捷。
(4)嵌入獨(dú)有挖掘技術(shù)。系統(tǒng)除了包含許多目前比較成熟的基本數(shù)據(jù)挖掘技術(shù)外,也包括了發(fā)明人在研究中所取得的最新挖掘技術(shù)成果。如TSEOPM,即“時(shí)間序列事件征兆模式挖掘方法”(Time SeriesEvent Omen Pattern Mining)??蓮臅r(shí)間序列中尋找對(duì)所感興趣的事件具有預(yù)測(cè)作用的序列模式——征兆模式。
圖1系統(tǒng)硬件結(jié)構(gòu)2系統(tǒng)軟件功能結(jié)構(gòu)3系統(tǒng)邏輯層次結(jié)構(gòu)4系統(tǒng)應(yīng)用處理模式5挖掘算法對(duì)象組成部件圖6序列相似性偏好的可視—對(duì)話方式獲取圖7新股發(fā)行價(jià)預(yù)測(cè)數(shù)據(jù)Excel文件圖8數(shù)據(jù)源管理主操作界面圖9數(shù)據(jù)導(dǎo)入界面圖10算法庫(kù)管理主界面圖11應(yīng)用模型庫(kù)管理主界面圖12應(yīng)用模型定義界面具體實(shí)施方式
參見(jiàn)圖1,金融風(fēng)險(xiǎn)管理輔助挖掘分析系統(tǒng)基于計(jì)算機(jī)局域網(wǎng)01,采用分布式結(jié)構(gòu),包括一數(shù)據(jù)管理服務(wù)器1、一管理控制器2、一挖掘處理服務(wù)器3、一個(gè)以上模型應(yīng)用服務(wù)器4、以及輸入輸出終端5。參見(jiàn)圖2,在系統(tǒng)裝置內(nèi)包含有相應(yīng)的軟件系統(tǒng),包括運(yùn)行于管理控制器上的總控子系統(tǒng)6、運(yùn)行于數(shù)據(jù)管理服務(wù)器上的數(shù)據(jù)管理子系統(tǒng)7、運(yùn)行于挖掘處理服務(wù)器上的挖掘算法管理子系統(tǒng)8、運(yùn)行于管理控制器上的挖掘應(yīng)用模型管理子系統(tǒng)9和規(guī)則知識(shí)管理子系統(tǒng)10、運(yùn)行于應(yīng)用服務(wù)器上的風(fēng)險(xiǎn)識(shí)別與監(jiān)控子系統(tǒng)11。其中,數(shù)據(jù)管理子系統(tǒng)7,包括數(shù)據(jù)采集與轉(zhuǎn)換模塊12、數(shù)據(jù)預(yù)處理功能模塊13、數(shù)據(jù)源管理模塊14;挖掘應(yīng)用模型管理子系統(tǒng)9,包含整合分析15、利率挖掘分析16、股價(jià)挖掘分析17、匯率挖掘分析18、以及信用挖掘分析19幾個(gè)部分;風(fēng)險(xiǎn)識(shí)別與監(jiān)控子系統(tǒng)11,包括監(jiān)控?cái)?shù)據(jù)采集20、監(jiān)控規(guī)則維護(hù)21、監(jiān)控信息發(fā)布22三個(gè)功能模塊。
參見(jiàn)圖3,整個(gè)系統(tǒng)按功能層次可劃分四層體系結(jié)構(gòu),即數(shù)據(jù)層23、挖掘算法層24、挖掘應(yīng)用模型層25和應(yīng)用層26。數(shù)據(jù)層23包括各種OLE DB數(shù)據(jù)庫(kù),excel文件,文本文件,XML等;挖掘算法層24包括分類(lèi)、聚類(lèi)、關(guān)聯(lián)分析、時(shí)序分析算法、異常挖掘,神經(jīng)網(wǎng)絡(luò)、SVM、回歸等;挖掘應(yīng)用模型層25包括信用分析模型,利率分析模型、股價(jià)分析模型、整合分析模型和其它模型;應(yīng)用層26包括規(guī)則應(yīng)用,風(fēng)險(xiǎn)識(shí)別,監(jiān)控。
本發(fā)明系統(tǒng)的工作原理結(jié)合圖1,如圖4所示。首先利用管理控制器2,啟動(dòng)數(shù)據(jù)管理服務(wù)器1,利用數(shù)據(jù)采集工具28從數(shù)據(jù)來(lái)源網(wǎng)絡(luò)02采集挖掘訓(xùn)練數(shù)據(jù)27;并根據(jù)需要經(jīng)過(guò)適當(dāng)?shù)霓D(zhuǎn)換與預(yù)處理,規(guī)范、整理形成挖掘?qū)ο髷?shù)據(jù),并存入挖掘數(shù)據(jù)庫(kù)中29;通過(guò)管理控制器2,然后選擇適當(dāng)?shù)臄?shù)據(jù)挖掘工具32,定義挖掘邏輯過(guò)程模型,啟動(dòng)挖掘處理服務(wù)器3,挖掘處理服務(wù)器3的挖掘引擎根據(jù)挖掘邏輯過(guò)程模型的指令,從挖掘算法庫(kù)中調(diào)用指定算法,并從挖掘數(shù)據(jù)庫(kù)29中調(diào)用指定數(shù)據(jù),對(duì)其進(jìn)行挖掘計(jì)算,挖掘結(jié)果存入規(guī)則知識(shí)庫(kù)33;通過(guò)管理控制器2,利用規(guī)則知識(shí)庫(kù)33中的規(guī)則與模型,構(gòu)建挖掘應(yīng)用模型,將應(yīng)用模型嵌入應(yīng)用服務(wù)器中4,啟動(dòng)應(yīng)用服務(wù)器4,應(yīng)用服務(wù)器4利用數(shù)據(jù)采集工具30從數(shù)據(jù)管理服務(wù)器1中調(diào)用實(shí)時(shí)數(shù)據(jù)31,通過(guò)計(jì)算,匹配規(guī)則知識(shí),利用風(fēng)險(xiǎn)識(shí)別與監(jiān)控工具34結(jié)合其它數(shù)量化金融風(fēng)險(xiǎn)管理技術(shù)給出風(fēng)險(xiǎn)管理決策信息。
系統(tǒng)為了實(shí)現(xiàn)挖掘技術(shù)與算法的不斷擴(kuò)充,在算法管理上本系統(tǒng)采用了圖5所示開(kāi)放式結(jié)構(gòu),挖掘算法35是一由算法描述36、算法參數(shù)37和算法執(zhí)行代碼38三位一體組成的結(jié)構(gòu)。算法描述采用數(shù)據(jù)庫(kù)存儲(chǔ),算法參數(shù)采用文件方式存儲(chǔ),而算法執(zhí)行代碼以獨(dú)立動(dòng)態(tài)鏈接庫(kù)的形式存儲(chǔ)。從而充分保證輸入、輸出參數(shù)形式、個(gè)數(shù)各不相同,功能各異的挖掘算法的彼此兼容,統(tǒng)一管理,并且其維護(hù)代價(jià)較低,操作便捷。算法描述包括如下一些關(guān)鍵數(shù)據(jù)項(xiàng),保證對(duì)算法的統(tǒng)一管理·算法代號(hào)·算法名稱(chēng)·算法類(lèi)別號(hào)·算法功能描述·算法參數(shù)文件·算法DLL文件·算法建立日期·用戶·關(guān)聯(lián)應(yīng)用模型記錄數(shù)·關(guān)聯(lián)應(yīng)用模型鏈指針?biāo)惴▍?shù)文件描述了挖掘算法所需的輸入/輸出參數(shù)類(lèi)別,參數(shù)個(gè)數(shù),默認(rèn)參數(shù)。由于采用文件形式存儲(chǔ),因而其靈活性比采用數(shù)據(jù)庫(kù)形式存儲(chǔ)更強(qiáng)。
在挖掘應(yīng)用模型的管理上,通過(guò)應(yīng)用模型定義語(yǔ)言MDL實(shí)現(xiàn)對(duì)挖掘處理邏輯的定義。一個(gè)應(yīng)用模型包括數(shù)據(jù)源、數(shù)據(jù)整理邏輯、挖掘算法三大要素,共同構(gòu)成一個(gè)處理邏輯。通過(guò)MDL語(yǔ)言可以靈活的指定要挖掘的數(shù)據(jù)源、數(shù)據(jù)字段,在調(diào)用具體挖掘算法前,對(duì)某些字段要進(jìn)行的特殊處理和轉(zhuǎn)換、處理過(guò)程、臨時(shí)存儲(chǔ)位置等。MDL語(yǔ)言包含了常用挖掘處理邏輯所需要的操作要素和操作函數(shù)。
本系統(tǒng)采用可視化的方式來(lái)獲取用戶經(jīng)驗(yàn)參數(shù),其基本原理是這樣的通過(guò)可視化的方式,向用戶提出一系列問(wèn)題,用戶根據(jù)自己的偏好對(duì)給出的圖形進(jìn)行一系列的判斷選擇,最后系統(tǒng)采用評(píng)價(jià)模型計(jì)算用戶的偏好系數(shù),獲取用戶偏好。如圖6所示,是一個(gè)獲取用戶對(duì)時(shí)間序列相似性判斷偏好參數(shù)的例子。通過(guò)用戶對(duì)一系列上下兩組圖的相似性進(jìn)行判斷,給出判斷結(jié)論。系統(tǒng)這一系列判斷結(jié)果構(gòu)建如下約束方程組,擬合用戶偏好,獲取參數(shù)信息min(f(X′,Y′)-θ)2s.t.gi(ω1,ω2,ω3,ψ,φ)≥0,i=1,2,Λ,kω1+ω2+ω3=1,ω1≥0,ω2≥0,ω3≥01≥ψ>0,1≥φ>0]]>每個(gè)約束方程gi表示用戶所做的一項(xiàng)判斷選擇。例如,如果用戶判斷上面的序列更相似,則取gi≥0,而判斷下面序列更相似,則取gi≤0。最后系統(tǒng)通過(guò)遺傳算法求解該約束優(yōu)化問(wèn)題,計(jì)算出反映其偏好和經(jīng)驗(yàn)的相似度量參數(shù)。
下面通過(guò)建立一個(gè)新股發(fā)行價(jià)挖掘預(yù)測(cè)的具體實(shí)例介紹本系統(tǒng)的應(yīng)用方式。
根據(jù)有關(guān)金融理論,影響股價(jià)的因素包括政治因素,經(jīng)濟(jì)周期、通脹、利率、匯率、財(cái)政金融政策等宏觀經(jīng)濟(jì)狀況,行業(yè)的壽命周期因素,上市公司本身的財(cái)務(wù)狀況,市場(chǎng)的期望水平,一級(jí)二級(jí)市場(chǎng)資金的供求狀況,周邊市場(chǎng)的景氣狀況等。這里我們選擇前股本、新股數(shù)、發(fā)行價(jià)、凈值、股指、業(yè)績(jī)、市盈率、市凈率等指標(biāo)來(lái)預(yù)測(cè)新股發(fā)行的市價(jià)。設(shè)數(shù)據(jù)已經(jīng)整理放到EXCEL文件當(dāng)中,如圖7所示。在圖8所示數(shù)據(jù)源管理界面中點(diǎn)添加數(shù)據(jù)源按鈕,在隨后出現(xiàn)的如圖9所示導(dǎo)入界面中選擇原始EXCEL文件,導(dǎo)入數(shù)據(jù)并設(shè)置數(shù)據(jù)源的有關(guān)信息,如數(shù)據(jù)源名稱(chēng)“新股市價(jià)數(shù)據(jù)源”。在算法庫(kù)中,系統(tǒng)內(nèi)置了BP神經(jīng)網(wǎng)絡(luò)模型的一般算法,如圖10。在圖11所示模型管理視圖中通過(guò)模型維護(hù),定義新的應(yīng)用模型。在圖12所示的模型定義界面中輸入有關(guān)信息,包括模型名稱(chēng)、類(lèi)別、數(shù)據(jù)源、算法,并在處理邏輯框中通過(guò)依內(nèi)嵌的MDL語(yǔ)言給出具體的處理方法信息,比如算法所需的各參數(shù)的賦值,輸出形式、輸出位置等。“確定”后即建立了一新的應(yīng)用模型。運(yùn)行該模型,系統(tǒng)調(diào)用指定的算法,并按處理邏輯的規(guī)定讀取數(shù)據(jù)源數(shù)據(jù),并與算法參數(shù)信息文件中的參數(shù)信息對(duì)應(yīng),設(shè)置參數(shù),運(yùn)行算法結(jié)束后,根據(jù)處理邏輯的規(guī)定,結(jié)果存入指定位置。
權(quán)利要求
1.一種金融風(fēng)險(xiǎn)管理輔助挖掘分析系統(tǒng),基于計(jì)算機(jī)局域網(wǎng),采用分布式結(jié)構(gòu),其特征在于包括一數(shù)據(jù)管理服務(wù)器,用于實(shí)現(xiàn)數(shù)據(jù)的采集、存儲(chǔ)、預(yù)處理和檢索功能,為整個(gè)系統(tǒng)提供挖掘基礎(chǔ)數(shù)據(jù)和應(yīng)用原始數(shù)據(jù),根據(jù)具體情況需要,它與Internet和其它業(yè)務(wù)數(shù)據(jù)庫(kù)服務(wù)器相連;一管理控制器,用于向用戶提供操作平臺(tái),實(shí)現(xiàn)數(shù)據(jù)管理、挖掘、規(guī)則知識(shí)維護(hù)、應(yīng)用模型建立和模型應(yīng)用的維護(hù)控制命令的發(fā)布;一挖掘處理服務(wù)器,用于接受管理控制器的挖掘任務(wù),調(diào)用挖掘工具,在指定的挖掘數(shù)據(jù)集上進(jìn)行挖掘產(chǎn)生知識(shí)規(guī)則;一個(gè)以上模型應(yīng)用服務(wù)器,包括相應(yīng)的信息顯示終端,利用挖掘出的知識(shí)構(gòu)建應(yīng)用模型,并構(gòu)成監(jiān)控工具監(jiān)控和分析實(shí)時(shí)采集數(shù)據(jù),提供風(fēng)險(xiǎn)和決策信息;以及輸入輸出終端;系統(tǒng)裝置內(nèi)包含有相應(yīng)的軟件系統(tǒng)。
2.根據(jù)權(quán)利要求1所述的金融風(fēng)險(xiǎn)管理輔助挖掘分析系統(tǒng),其特征在于所述軟件系統(tǒng),包括一總控子系統(tǒng),包括系統(tǒng)操作框架界面、系統(tǒng)參數(shù)維護(hù)等,運(yùn)行于管理控制器上,通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)實(shí)現(xiàn)同其它服務(wù)器的信息交換,發(fā)布命令,控制其它服務(wù)器功能的實(shí)現(xiàn);一數(shù)據(jù)管理子系統(tǒng),運(yùn)行于數(shù)據(jù)管理服務(wù)器上,用于將各種紛繁復(fù)雜的數(shù)據(jù)集成,保證數(shù)據(jù)的可用性和有效性,為數(shù)據(jù)挖掘提供清晰、規(guī)范、一致的接口;一挖掘算法管理子系統(tǒng),運(yùn)行于挖掘處理服務(wù)器上,包括一個(gè)算法庫(kù),用于定義、檢索、更新基本數(shù)據(jù)挖掘算法;一挖掘應(yīng)用模型管理子系統(tǒng),運(yùn)行于管理控制器上,包含一個(gè)應(yīng)用模型庫(kù),用于實(shí)現(xiàn)應(yīng)用模型的定義、查看、刪除和啟動(dòng);一規(guī)則知識(shí)管理子系統(tǒng),運(yùn)行于管理控制器上,用于對(duì)已挖掘出的規(guī)則知識(shí)進(jìn)行查詢、添加、刪除等維護(hù)管理,也包括根據(jù)實(shí)際應(yīng)用的效果反饋信息對(duì)規(guī)則知識(shí)進(jìn)行適當(dāng)調(diào)整;一風(fēng)險(xiǎn)識(shí)別與監(jiān)控子系統(tǒng),運(yùn)行于應(yīng)用服務(wù)器上。它利用挖掘規(guī)則知識(shí),監(jiān)控采集的實(shí)時(shí)數(shù)據(jù),提供風(fēng)險(xiǎn)管理的決策信息。
3.根據(jù)權(quán)利要求2所述的金融風(fēng)險(xiǎn)管理輔助挖掘分析系統(tǒng),其特征在于數(shù)據(jù)管理子系統(tǒng)包括數(shù)據(jù)采集與轉(zhuǎn)換模塊、數(shù)據(jù)預(yù)處理功能模塊、數(shù)據(jù)源管理模塊,其中數(shù)據(jù)采集與轉(zhuǎn)換模塊用于從不同格式的數(shù)據(jù)源獲取數(shù)據(jù)信息;數(shù)據(jù)預(yù)處理功能模塊用于解決數(shù)據(jù)的空缺、不完整、不一致以及噪聲平滑;數(shù)據(jù)源管理模塊,用于定義、檢索、更新挖掘數(shù)據(jù)源和監(jiān)控?cái)?shù)據(jù)源。
4.根據(jù)權(quán)利要求2所述的金融風(fēng)險(xiǎn)管理輔助挖掘分析系統(tǒng),其特征在于挖掘算法管理子系統(tǒng)預(yù)置了如下基本的挖掘技術(shù),主要包括·分類(lèi)技術(shù)包括決策樹(shù)ID3算法、C4.5算法、CART算法,SLIQ算法,SVM;·聚類(lèi)技術(shù)包括基于最短距離、最長(zhǎng)距離和中間距離的分層聚類(lèi)方法,分割聚類(lèi)算法PAM,CLARA算法,k-means,k-modes聚類(lèi)算法;·關(guān)聯(lián)分析技術(shù)包括Apriori算法,多值屬性的MAQA算法,基于共同機(jī)制的關(guān)聯(lián)算法;·時(shí)間序列分析技術(shù)包括ARMA、ARCH、GARCH、TSEOPM算法;·神經(jīng)網(wǎng)絡(luò)技術(shù)包括BP網(wǎng)絡(luò),Elaman網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)。
5.根據(jù)權(quán)利要求2所述的金融風(fēng)險(xiǎn)管理輔助挖掘分析系統(tǒng),其特征在于挖掘應(yīng)用模型管理子系統(tǒng)的應(yīng)用模型庫(kù)內(nèi)的應(yīng)用模型具體劃分為信用挖掘分析、利率挖掘分析、匯率挖掘分析、股價(jià)挖掘分析以及整合分析幾個(gè)部分。
6.根據(jù)權(quán)利要求2所述的金融風(fēng)險(xiǎn)管理輔助挖掘分析系統(tǒng),其特征在于風(fēng)險(xiǎn)識(shí)別與監(jiān)控子系統(tǒng)包括監(jiān)控?cái)?shù)據(jù)采集、監(jiān)控規(guī)則維護(hù)、監(jiān)控信息發(fā)布三個(gè)功能模塊。
全文摘要
本發(fā)明公開(kāi)了一種金融風(fēng)險(xiǎn)管理輔助挖掘分析系統(tǒng),該系統(tǒng)基于計(jì)算機(jī)局域網(wǎng),采用分布式結(jié)構(gòu),包括一數(shù)據(jù)管理服務(wù)器;一管理控制器;一挖掘處理服務(wù)器;一個(gè)以上模型應(yīng)用服務(wù)器;以及輸入輸出終端;系統(tǒng)裝置包含有相應(yīng)的軟件系統(tǒng)。本發(fā)明分析系統(tǒng)采用數(shù)據(jù)挖掘技術(shù),直接以數(shù)據(jù)驅(qū)動(dòng)來(lái)獲取模式規(guī)律的分析系統(tǒng),不是基于傳統(tǒng)方法所普遍采用的以“假設(shè)”為基礎(chǔ)的建模技術(shù),因而它能客觀、真實(shí)地把握市場(chǎng)規(guī)律特征。
文檔編號(hào)G06F17/30GK1967579SQ200610031219
公開(kāi)日2007年5月23日 申請(qǐng)日期2006年2月13日 優(yōu)先權(quán)日2006年2月13日
發(fā)明者馬超群, 蘭秋軍, 陳為民, 鄒琳, 文鳳華, 張小勇, 李紅權(quán) 申請(qǐng)人:湖南大學(xué)