專利名稱：一種實時行情數(shù)據(jù)處理方法、服務(wù)器及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)據(jù)處理方法、服務(wù)器及系統(tǒng)，尤其是涉及一種實時行情數(shù)據(jù)處理方法、服務(wù)器及系統(tǒng)。
背景技術(shù)：
實時行情數(shù)據(jù)如股票，期貨，基金等是重要的信息資源，將信息準(zhǔn)確及時地顯示給用戶是現(xiàn)在各種實時行情系統(tǒng)極其重要的任務(wù)。但是，隨著實時行情數(shù)據(jù)來源的多樣化，數(shù)據(jù)量越來越大，現(xiàn)有的實時行情系統(tǒng)利用傳統(tǒng)的基于文件或者基于數(shù)據(jù)庫的存儲訪問方式由于沒有充分利用內(nèi)存的效率，因此存在著很大的數(shù)據(jù)延遲，很難滿足用戶的需求。

發(fā)明內(nèi)容
·
針對現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明要解決的技術(shù)問題是提供一種實時行情數(shù)據(jù)處理方法、服務(wù)器及系統(tǒng)，該方法、服務(wù)器及系統(tǒng)能夠很好地改善實時行情數(shù)據(jù)的訪問與存儲延遲，更好地符合當(dāng)前各種在線行情提供系統(tǒng)對數(shù)據(jù)顯示和保存速度的要求。為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案如下一種實時行情數(shù)據(jù)處理方法，包括以下步驟(I)服務(wù)器實時地抓取實時行情數(shù)據(jù)；(2)將抓取的實時行情數(shù)據(jù)按照設(shè)定的存儲結(jié)構(gòu)和排序方式緩存到服務(wù)器的內(nèi)存中；(3)根據(jù)客戶端設(shè)置的參數(shù)，服務(wù)器將內(nèi)存中符合參數(shù)條件的實時行情數(shù)據(jù)推送到客戶端。一種實時行情數(shù)據(jù)處理服務(wù)器，包括用于實時地抓取實時行情數(shù)據(jù)的抓取裝置；用于將抓取的實時行情數(shù)據(jù)按照設(shè)定的存儲結(jié)構(gòu)和排序方式緩存到內(nèi)存中的緩存裝置；用于根據(jù)客戶端設(shè)置的參數(shù)將內(nèi)存中符合參數(shù)條件的實時行情數(shù)據(jù)推送到客戶端的推送裝置。一種實時行情數(shù)據(jù)處理系統(tǒng)，包括上述服務(wù)器和通過網(wǎng)絡(luò)與所述服務(wù)器連接的若干客戶端；所述客戶端用于顯示所述服務(wù)器推送的數(shù)據(jù)。本發(fā)明所述方法、服務(wù)器及系統(tǒng)，通過將實時行情數(shù)據(jù)按照設(shè)定的存儲結(jié)構(gòu)和排序方式緩存到服務(wù)器內(nèi)存的方式，充分發(fā)揮了內(nèi)存的效率優(yōu)勢，大大提高了客戶端從服務(wù)器獲取實時行情數(shù)據(jù)的效率，很好地改善了實時行情數(shù)據(jù)的訪問與存儲延遲，滿足了當(dāng)前各種在線行情提供系統(tǒng)對數(shù)據(jù)顯示和保存的速度要求。


圖I是具體實施方式
中實時行情數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)框圖；圖2是具體實施方式
中實時行情數(shù)據(jù)處理服務(wù)器的結(jié)構(gòu)框圖；圖3是具體實施方式
中實時行情數(shù)據(jù)處理方法的流程圖4是具體實施方式
中服務(wù)器內(nèi)存清理方法的流程圖。
具體實施例方式下面結(jié)合具體實施方式
和附圖對本發(fā)明進(jìn)行詳細(xì)描述。如圖I所示，本實施方式中實時行情數(shù)據(jù)處理系統(tǒng)包括服務(wù)器I和通過網(wǎng)絡(luò)與服務(wù)器I連接的若干客戶端2，服務(wù)器I和客戶端2為B/S(瀏覽器/服務(wù)器)結(jié)構(gòu)或者C/S(客戶/服務(wù)器)結(jié)構(gòu)。如圖2所示，服務(wù)器I包括抓取裝置11、緩存裝置12、推送裝置13、清理裝置14和落盤裝置15。抓取裝置11用于實時地抓取實時行情數(shù)據(jù)。緩存裝置12用于將抓取的實時行情數(shù)據(jù)按照設(shè)定的存儲結(jié)構(gòu)和排序方式緩存到內(nèi)存中。推送裝置13用于根據(jù)客戶端2設(shè)置 的參數(shù)將內(nèi)存中符合參數(shù)條件的實時行情數(shù)據(jù)推送到客戶端2。清理裝置14用于清理服務(wù)器內(nèi)存中緩存的數(shù)據(jù)。落盤裝置15用于將服務(wù)器內(nèi)存中的實時行情數(shù)據(jù)按照預(yù)先設(shè)定的落盤時間和落盤間隔取出并存儲到文件或數(shù)據(jù)庫中?？蛻舳?用于顯示服務(wù)器I推送的數(shù)據(jù)。如圖3所示，采用圖I和圖2所示系統(tǒng)對實時行情數(shù)據(jù)進(jìn)行處理的方法包括以下步驟(I)抓取裝置11實時地抓取實時行情數(shù)據(jù)。服務(wù)器I的抓取裝置11根據(jù)需要實時的從各種交易渠道獲得正式發(fā)布的行情數(shù)據(jù)。抓取的方式可以根據(jù)配置文件進(jìn)行相應(yīng)的配置，如從交易端遠(yuǎn)程的ftp上抓取數(shù)據(jù)，從交易所對外開放的Socket服務(wù)器抓取數(shù)據(jù)，還可以從交易所提供的web網(wǎng)頁上抓取數(shù)據(jù)等。抓取數(shù)據(jù)時可以根據(jù)數(shù)據(jù)的具體格式進(jìn)行多線程抓取，并且采用事務(wù)性質(zhì)方式，即同一批數(shù)據(jù)按事務(wù)性質(zhì)由多線程順序存入相應(yīng)的存儲單元，多個線程都成功存入后才算抓取成功。采用這種方式能夠很好地協(xié)調(diào)多線程之間數(shù)據(jù)不一致的情況，克服了傳統(tǒng)的按順序抓取數(shù)據(jù)的時間延遲問題。(2)緩存裝置12將抓取的實時行情數(shù)據(jù)按照設(shè)定的存儲結(jié)構(gòu)和排序方式緩存到服務(wù)器的內(nèi)存中。定義實時行情數(shù)據(jù)在內(nèi)存中的存儲結(jié)構(gòu)以便于存儲，如二叉樹、堆棧和隊列等結(jié)構(gòu)。在數(shù)據(jù)存儲結(jié)構(gòu)的選取時，可以根據(jù)配置信息選擇數(shù)據(jù)在內(nèi)存中的存儲結(jié)構(gòu)，也可以根據(jù)時間的業(yè)務(wù)情況選擇存儲結(jié)構(gòu)。一般需要快速插入和檢索的數(shù)據(jù)選擇二叉樹的存儲結(jié)構(gòu)，需要后進(jìn)先出或有前置條件的數(shù)據(jù)選擇堆棧的存儲結(jié)構(gòu)，需要按順序獲取的數(shù)據(jù)選擇隊列的存儲結(jié)構(gòu)，這樣可以有效地加快數(shù)據(jù)的存儲、訪問和刪除的時間。定義實時行情數(shù)據(jù)的排序方式以便于數(shù)據(jù)檢索，包括單重排序和多重排序。單重排序包括按時間排序，按優(yōu)先級排序，按成交量排序，按權(quán)重排序，按市值排序等方式。一般行情數(shù)據(jù)以時間排序優(yōu)先，但是也可以根據(jù)具體應(yīng)用情況選擇適合的排序方式。多重排序可以根據(jù)多個條件進(jìn)行對等排序、主次排序和組合排序等。所述對等排序是指各個數(shù)據(jù)項按照內(nèi)存中的存儲順序排序。所述主次排序是指按照給定條件(如發(fā)布時間，數(shù)據(jù)優(yōu)先級，產(chǎn)品代碼等)設(shè)定數(shù)據(jù)的優(yōu)先級，再按照優(yōu)先級順序進(jìn)行排序。所述組合排序是指按照數(shù)據(jù)項各個字段(如產(chǎn)品代碼、成交量、成交金額等)的大小進(jìn)行“與”或“或”的組合進(jìn)行排序。(3)推送裝置13根據(jù)客戶端2配置的參數(shù)，將服務(wù)器I內(nèi)存中符合參數(shù)條件的實時行情數(shù)據(jù)推送到客戶端?？蛻舳伺渲玫膮?shù)很靈活，如可以根據(jù)時間選擇數(shù)據(jù)，也可以根據(jù)行情的產(chǎn)品代碼選擇數(shù)據(jù)，還可以根據(jù)成交量選擇行情數(shù)據(jù)，還可以根據(jù)多種情況組合選擇行情數(shù)據(jù)等
坐寸ο此外，上述還包括內(nèi)存數(shù)據(jù)的實時清理過程，清理裝置14按照條件對數(shù)據(jù)進(jìn)行定時清理以免內(nèi)存溢出。圖4為內(nèi)存中實時行情數(shù)據(jù)的定時清理過程的流程圖,如圖4所示，該過程包括以下步驟I)定時啟動內(nèi)存數(shù)據(jù)清理線程； 用戶在對實時行情數(shù)據(jù)進(jìn)行處理時，可以根據(jù)需要設(shè)定數(shù)據(jù)定時清理線程，以便清理不需要的數(shù)據(jù)，減少內(nèi)存的浪費。2)依次獲取內(nèi)存中的實時行情數(shù)據(jù)；3)對獲取的每一個實時行情數(shù)據(jù)，判斷該實時行情數(shù)據(jù)是否符合設(shè)定的清理規(guī)貝1J，如果符合，則進(jìn)行清理；否則，不進(jìn)行清理。在進(jìn)行數(shù)據(jù)清理時，用戶可以根據(jù)需要設(shè)定數(shù)據(jù)的清理規(guī)則。例如設(shè)置對成交時間超過一定時間的數(shù)據(jù)進(jìn)行清理，或者對成交量為O的數(shù)據(jù)進(jìn)行清理，或者產(chǎn)品已停止交易的數(shù)據(jù)進(jìn)行清理等。及時地按照清理條件對數(shù)據(jù)進(jìn)行定時清理，以免內(nèi)存溢出。上述方法還包括由落盤裝置15對數(shù)據(jù)進(jìn)行落盤的步驟，所述落盤是指將實時行情數(shù)據(jù)按照預(yù)先設(shè)定的落盤時間和落盤間隔從內(nèi)存中取出并存儲到文件或數(shù)據(jù)庫中做永久的保存，以便以后查看歷史數(shù)據(jù)和系統(tǒng)恢復(fù)?？梢詾榉?wù)器內(nèi)存中每個實時行情數(shù)據(jù)分別指定落盤時間和落盤間隔，或者為服務(wù)器內(nèi)存中所有實時行情數(shù)據(jù)統(tǒng)一指定集體落盤時間和落盤間隔。顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其同等技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。
權(quán)利要求
1.一種實時行情數(shù)據(jù)處理方法，包括以下步驟 (1)服務(wù)器實時地抓取實時行情數(shù)據(jù)； (2)將抓取的實時行情數(shù)據(jù)按照設(shè)定的存儲結(jié)構(gòu)和排序方式緩存到服務(wù)器的內(nèi)存中； (3)根據(jù)客戶端設(shè)置的參數(shù)，服務(wù)器將內(nèi)存中符合參數(shù)條件的實時行情數(shù)據(jù)推送到客戶端。
2.如權(quán)利要求I所述的實時行情數(shù)據(jù)處理方法，其特征在于步驟(I)中所述實時行情數(shù)據(jù)從交易端遠(yuǎn)程的FTP上抓取，或者從交易所對外開放的Socket服務(wù)器上抓取，或者從交易所提供的web網(wǎng)頁上抓取。
3.如權(quán)利要求2所述的實時行情數(shù)據(jù)處理方法，其特征在于所述實時行情數(shù)據(jù)根據(jù)數(shù)據(jù)格式采用事務(wù)性質(zhì)方式的多線程并行抓取。
4.如權(quán)利要求I所述的實時行情數(shù)據(jù)處理方法，其特征在于步驟(2)中所述存儲結(jié)構(gòu)包括二叉樹、堆棧和隊列。
5.如權(quán)利要求4所述的實時行情數(shù)據(jù)處理方法，其特征在于根據(jù)具體應(yīng)用情況選擇實時行情數(shù)據(jù)在內(nèi)存中的存儲結(jié)構(gòu)，將需要快速插入和檢索的實時行情數(shù)據(jù)采用二叉樹存儲，將需要后進(jìn)先出或有前置條件的實時行情數(shù)據(jù)采用堆棧存儲，將需要按照順序獲取的數(shù)據(jù)采用隊列存儲。
6.如權(quán)利要求I所述的實時行情數(shù)據(jù)處理方法，其特征在于步驟(2)中所述排序方式包括單重排序和多重排序，所述單重排序包括按照時間排序、按照優(yōu)先級排序、按照成交量排序，所述多重排序包括根據(jù)多個條件的對等排序、主次排序和組合排序。
7.如權(quán)利要求I所述的實時行情數(shù)據(jù)處理方法，其特征在于步驟(3)中所述客戶端是B/S結(jié)構(gòu)的客戶端或者C/S結(jié)構(gòu)的客戶端。
8.如權(quán)利要求I 7中任一項所述的實時行情數(shù)據(jù)處理方法，其特征在于所述方法還包括清理服務(wù)器內(nèi)存的步驟。
9.如權(quán)利要求8所述的實時行情數(shù)據(jù)處理方法，其特征在于所述清理服務(wù)器內(nèi)存采用的方法如下 1)定時啟動內(nèi)存數(shù)據(jù)清理線程； 2)依次獲取內(nèi)存中的實時行情數(shù)據(jù)； 3)對獲取的每一個實時行情數(shù)據(jù)，判斷該實時行情數(shù)據(jù)是否符合設(shè)定的清理規(guī)則，如果符合，則進(jìn)行清理；否則，不進(jìn)行清理。
10.如權(quán)利要求I 7中任一項所述的實時行情數(shù)據(jù)處理方法，其特征在于所述方法還包括數(shù)據(jù)落盤的步驟，將服務(wù)器內(nèi)存中的實時行情數(shù)據(jù)按照預(yù)先設(shè)定的落盤時間和落盤間隔取出并存儲到文件或數(shù)據(jù)庫中。
11.如權(quán)利要求10所述的實時行情數(shù)據(jù)處理方法，其特征在于為服務(wù)器內(nèi)存中每個實時行情數(shù)據(jù)分別指定落盤時間和落盤間隔，或者為服務(wù)器內(nèi)存中所有實時行情數(shù)據(jù)統(tǒng)一指定集體落盤時間和落盤間隔。
12.—種實時行情數(shù)據(jù)處理服務(wù)器(I)，其特征在于所述服務(wù)器(I)包括用于實時地抓取實時行情數(shù)據(jù)的抓取裝置(11);用于將抓取的實時行情數(shù)據(jù)按照設(shè)定的存儲結(jié)構(gòu)和排序方式緩存到內(nèi)存中的緩存裝置(12);用于根據(jù)客戶端設(shè)置的參數(shù)將內(nèi)存中符合參數(shù)條件的實時行情數(shù)據(jù)推送到客戶端的推送裝置(13)。
13.如權(quán)利要求12所述的實時行情數(shù)據(jù)處理服務(wù)器(I)，其特征在于所述服務(wù)器(I)還包括用于清理服務(wù)器內(nèi)存中緩存的數(shù)據(jù)的清理裝置(14)。
14.如權(quán)利要求12所述的實時行情數(shù)據(jù)處理服務(wù)器(I)，其特征在于所述服務(wù)器(I)還包括用于將服務(wù)器內(nèi)存中的實時行情數(shù)據(jù)按照預(yù)先設(shè)定的落盤時間和落盤間隔取出并存儲到文件或數(shù)據(jù)庫中的落盤裝置(15)。
15.一種實時行情數(shù)據(jù)處理系統(tǒng)，其特征在于所述系統(tǒng)包括權(quán)利要求12 14中任一項所述的服務(wù)器(I)和通過網(wǎng)絡(luò)與所述服務(wù)器(I)連接的若干客戶端(2);所述客戶端(2)用于顯示所述服務(wù)器(I)推送的數(shù)據(jù)。
全文摘要
本發(fā)明涉及一種實時行情數(shù)據(jù)處理方法、服務(wù)器及系統(tǒng)，屬于數(shù)據(jù)處理技術(shù)領(lǐng)域。本發(fā)明所述服務(wù)器實時地抓取實時行情數(shù)據(jù)；然后將抓取的實時行情數(shù)據(jù)按照設(shè)定的存儲結(jié)構(gòu)和排序方式緩存到服務(wù)器的內(nèi)存中；再根據(jù)客戶端設(shè)置的參數(shù)，服務(wù)器將內(nèi)存中符合參數(shù)條件的實時行情數(shù)據(jù)推送到客戶端。本發(fā)明很好地改善了實時行情數(shù)據(jù)的訪問與存儲延遲，更好地符合當(dāng)前各種在線行情提供系統(tǒng)對數(shù)據(jù)顯示和保存速度的要求。
文檔編號H04L29/08GK102790683SQ20111012651
公開日2012年11月21日 申請日期2011年5月16日 優(yōu)先權(quán)日2011年5月16日
發(fā)明者孫學(xué)鋒, 楊紅剛, 王元 申請人:北京北大方正電子有限公司, 北大方正集團有限公司