專利名稱：開放式網(wǎng)絡(luò)數(shù)據(jù)采集方法、裝置及基于該裝置的監(jiān)測系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種開放式網(wǎng)絡(luò)數(shù)據(jù)采集方法、裝置及基于該裝置的監(jiān)測系統(tǒng)。
背景技術(shù)：
隨著移動數(shù)據(jù)業(yè)務(wù)的不斷深入和3G移動網(wǎng)絡(luò)的逐漸部署，數(shù)據(jù)業(yè)務(wù)的寬帶瓶頸 將會被徹底打破，數(shù)據(jù)業(yè)務(wù)高速發(fā)展，更加豐富和多樣的業(yè)務(wù)應(yīng)用將被開展，用戶量劇增。 3G移動網(wǎng)絡(luò)不僅能提供傳統(tǒng)的語音業(yè)務(wù)，還能提供高速的寬帶視頻業(yè)務(wù)，支持高質(zhì)量的語 音、分組數(shù)據(jù)業(yè)務(wù)以及實時視頻傳輸和多媒體應(yīng)用的需求，導(dǎo)致數(shù)據(jù)內(nèi)容越來越多樣，復(fù)雜 度越來越高。3G移動基礎(chǔ)網(wǎng)絡(luò)提供了卓越的業(yè)務(wù)體驗環(huán)境，3G時代所帶給用戶的新體驗將 為運營商在移動數(shù)據(jù)領(lǐng)域提供差異化服務(wù)提供更多的機會，因此對數(shù)據(jù)業(yè)務(wù)體驗質(zhì)量保障 要求越來越高，網(wǎng)絡(luò)監(jiān)測系統(tǒng)也就必不可少。網(wǎng)絡(luò)監(jiān)測系統(tǒng)由于受傳統(tǒng)的移動網(wǎng)絡(luò)(2G/2. 5G)用采集前端機作為監(jiān)測系統(tǒng)思 維的影響，通常由采集前端機和運行于采集前端機中的業(yè)務(wù)分析軟件構(gòu)成，傳統(tǒng)的監(jiān)測系 統(tǒng)如圖1中所示，各公司分別擁有各自的采集前端機，并利用各自的采集單元采集網(wǎng)絡(luò)數(shù) 據(jù)，例如，A公司監(jiān)測系統(tǒng)，利用采集前端機AF中的采集單元進(jìn)行采集，并在采集前端機中 的業(yè)務(wù)分析軟件進(jìn)行業(yè)務(wù)分析；同樣，B公司監(jiān)測系統(tǒng)利用采集前端機BF中的采集單元進(jìn) 行采集，并在采集前端機中進(jìn)行業(yè)務(wù)分析；由于采集前端機輸出的數(shù)據(jù)格式不開放，缺乏統(tǒng) 一的標(biāo)準(zhǔn)，因此，用戶在建設(shè)自己的采集監(jiān)測系統(tǒng)時，往往只能被動適配各設(shè)備廠商的產(chǎn)品 而不能從整體解決方案角度去優(yōu)化融合，導(dǎo)致每個公司要開展業(yè)務(wù)分析必須重復(fù)建設(shè)采集 平臺，而且多個采集系統(tǒng)不能進(jìn)行統(tǒng)一管理，導(dǎo)致比較難維護(hù)。另一方面，由于采集前端機 缺乏電信級可靠性和高采集性能，導(dǎo)致采集的數(shù)據(jù)不準(zhǔn)確，不可靠，影響了監(jiān)測系統(tǒng)的實用 價值。

發(fā)明內(nèi)容
本發(fā)明克服了上述缺點，提供了一種開放式網(wǎng)絡(luò)數(shù)據(jù)采集方法、裝置及基于該裝 置的監(jiān)測系統(tǒng)。本發(fā)明解決其技術(shù)問題所采取的技術(shù)方案是一種開放式網(wǎng)絡(luò)數(shù)據(jù)采集方法，包 括從接收到的網(wǎng)絡(luò)信號中提取ATM信元的步驟，還包括，從ATM信元中解析和提取報文的步驟；基于協(xié)議和特定消息字段對報文進(jìn)行過濾的步驟；將過濾后的報文數(shù)據(jù)按照標(biāo)準(zhǔn)格式進(jìn)行封裝的步驟；將封裝好的數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)進(jìn)行交換的步驟。所述將封裝好的數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)進(jìn)行交換的步驟可進(jìn)一步包括，對封裝好的數(shù)據(jù)進(jìn)行復(fù)制的步驟；對復(fù)制的數(shù)據(jù)進(jìn)行流量整形的步驟；通過千兆以太網(wǎng)接口輸出的步驟。
所述從接收到的網(wǎng)絡(luò)信號中提取ATM信元的步驟前，還可包括將光纖傳輸?shù)墓庑?號轉(zhuǎn)化為電信號的步驟。一種開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置，包括用于從接收到的網(wǎng)絡(luò)信號中提取ATM信元的 信元提取單元，還包括自信元提取單元依次連接的網(wǎng)絡(luò)處理單元和用于將封裝好的數(shù)據(jù)送 出的輸出單元，所述網(wǎng)絡(luò)處理單元進(jìn)一步包括用于從ATM信元中解析和提取報文的報文提取單元；用于基于協(xié)議和特定消息字段對報文進(jìn)行過濾的過濾單元；用于將過濾后的報文數(shù)據(jù)按照標(biāo)準(zhǔn)格式進(jìn)行封裝的封裝單元。所述網(wǎng)絡(luò)處理單元可采用FPGA網(wǎng)絡(luò)處理器實現(xiàn)。所述信元提取單元可采用SDH/ATM物理層模塊。所述網(wǎng)絡(luò)處理單元和輸出單元之間還可依次連接有用于對封裝好的數(shù)據(jù)進(jìn)行復(fù) 制的數(shù)據(jù)復(fù)制單元、用于對復(fù)制的數(shù)據(jù)進(jìn)行流量整形的流量整形單元和千兆以太網(wǎng)輸出單兀。還可包括一個SFP光收發(fā)模塊，用于將光纖傳輸?shù)墓庑盘栟D(zhuǎn)化為電信號，并發(fā)送 到所述信元提取單元。一種基于開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置的監(jiān)測系統(tǒng)，包括多個業(yè)務(wù)分析服務(wù)器，開放 式網(wǎng)絡(luò)數(shù)據(jù)采集裝置的輸出端通過以太網(wǎng)經(jīng)API接口分別接入所述多個業(yè)務(wù)分析服務(wù)器。本發(fā)明在系統(tǒng)開放程度上取得突破，提供平臺級的開放接口，并完成采集數(shù)據(jù)開 放，可以充分發(fā)揮不同廠家的業(yè)務(wù)分析軟件的優(yōu)勢，而且結(jié)構(gòu)簡單，而且所有的采集平臺系 統(tǒng)可以進(jìn)行統(tǒng)一管理，簡單快捷，方便管理和維護(hù)，使得綜合成本大大降低。


圖1為傳統(tǒng)監(jiān)測系統(tǒng)的結(jié)構(gòu)圖；圖2為本發(fā)明中開放式網(wǎng)絡(luò)數(shù)據(jù)采集方法的流程圖；圖3為本發(fā)明中開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置的原理圖；圖4為本發(fā)明中基于開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置的監(jiān)測系統(tǒng)的原理圖。
具體實施例方式本發(fā)明中開放式網(wǎng)絡(luò)數(shù)據(jù)采集方法如圖2中所示，包括以下步驟步驟21 將光纖傳輸?shù)墓庑盘栟D(zhuǎn)化為電信號的步驟；步驟22 從接收到的網(wǎng)絡(luò)信號中提取ATM信元的步驟；步驟23 從ATM信元中解析和提取報文的步驟；步驟24 基于協(xié)議和特定消息字段對報文進(jìn)行過濾的步驟；步驟25 將過濾后的報文數(shù)據(jù)按照標(biāo)準(zhǔn)格式進(jìn)行封裝的步驟；步驟26 對封裝好的數(shù)據(jù)進(jìn)行復(fù)制的步驟，將數(shù)據(jù)進(jìn)行緩存；步驟27 對經(jīng)復(fù)制的等待輸出的數(shù)據(jù)進(jìn)行流量整形的步驟，整形成所需的輸出帶 寬范圍；步驟28 對整形后的數(shù)據(jù)通過千兆以太網(wǎng)接口將數(shù)據(jù)送出的步驟。本發(fā)明中開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置的一種優(yōu)選實施例如圖3中所示，是一種集數(shù)據(jù)采集、過濾、協(xié)議處理功能于一體的數(shù)據(jù)采集設(shè)備，主要由依次連接的SFP光收發(fā)模 土夬、SDH/ATM 物理層模塊(Synchronous Digital Hierarchy，同步數(shù)字體系/Asychronous TransferMode，異步轉(zhuǎn)移模式)、FPGA網(wǎng)絡(luò)處理器、數(shù)據(jù)復(fù)制單元、流量整形單元、千兆以太 網(wǎng)接口輸出單元構(gòu)成?；谶@種結(jié)構(gòu)下，TD-SCDMA網(wǎng)絡(luò)中通過光纖傳輸?shù)墓庑盘柦尤隨FP 光收發(fā)模塊，然后通過光電轉(zhuǎn)化器轉(zhuǎn)化為電信號，然后通過SDH/ATM物理層模塊把STM-1 幀結(jié)構(gòu)里邊封裝的ATM信元提取出來，送給網(wǎng)絡(luò)處理器FPGA，在所述的網(wǎng)絡(luò)處理器中，實現(xiàn) AAL2/AAL5的重組功能(ATM適配層)，并提取出協(xié)議報文，經(jīng)過協(xié)議過濾，和特定消息字段 的過濾，過濾后的報文，按照標(biāo)準(zhǔn)的格式封裝成以太網(wǎng)數(shù)據(jù)幀，通過千兆交換網(wǎng)絡(luò)交換后， 輸出給數(shù)據(jù)復(fù)制單元實現(xiàn)數(shù)據(jù)緩存，在經(jīng)過流量整形后，整形成千兆流量傳輸?shù)臄?shù)據(jù)，通過 千兆以太網(wǎng)接口送往業(yè)務(wù)分析服務(wù)器做進(jìn)一步分析。一般來說，數(shù)據(jù)采集的目的是對線路上承載的信令及其數(shù)據(jù)進(jìn)行收集、分析、處 理，而對上層協(xié)議并不關(guān)心。特別對于網(wǎng)絡(luò)數(shù)據(jù)采集裝置來說，對接近物理層一端數(shù)據(jù)往往 希望硬件進(jìn)行初步的分類和處理，以使得送入業(yè)務(wù)分析服務(wù)器中由軟件分析的數(shù)據(jù)處理相 對簡化，節(jié)省運算量。換句話說，網(wǎng)絡(luò)數(shù)據(jù)采集裝置的硬件部分處理偏底層的數(shù)據(jù)，業(yè)務(wù)分 析服務(wù)器中軟件部分處理偏上層的數(shù)據(jù)。進(jìn)而根據(jù)TD-SCDMA規(guī)范和無線接入網(wǎng)接口協(xié)議 結(jié)構(gòu)，AAL以上層次由軟件處理，在AAL及其以下層次由硬件處理是比較理想的劃分。對于 STM-1數(shù)據(jù)采集前端設(shè)備來說，應(yīng)該完成物理層、ATM層、AAL層的處理任務(wù)，然后再送給業(yè) 務(wù)分析服務(wù)器中的軟件作進(jìn)一步處理。其中，所述FPGA網(wǎng)絡(luò)處理器是網(wǎng)絡(luò)數(shù)據(jù)采集裝置的核心部分，它完成整個裝置的 控制、計算和報文過濾功能。相對于目前的GSM/CDMA網(wǎng)絡(luò)而言，3G網(wǎng)絡(luò)的信息量更多、更復(fù) 雜，常規(guī)的單片機控制技術(shù)在速度上不能滿足實時測試的需要。另外，還必須要求網(wǎng)絡(luò)數(shù)據(jù) 采集裝置內(nèi)部采用高帶寬的千兆網(wǎng)絡(luò)進(jìn)行連接，以保證數(shù)據(jù)不丟失。FPGA網(wǎng)絡(luò)處理器包括報文提取單元、過濾單元和封裝單元，所述報文提取單元首 先進(jìn)行分析操作，完成報文解析和提取，提供底層軟件進(jìn)行一些告警指示和信息統(tǒng)計處理， 所述過濾單元根據(jù)軟件配置，可以實現(xiàn)基于協(xié)議和特定消息字段的報文過濾，所述封裝單 元將處理后的數(shù)據(jù)包按照標(biāo)準(zhǔn)格式進(jìn)行封裝，打上時間戳，并進(jìn)行小包重組，減少業(yè)務(wù)分析 服務(wù)器的負(fù)擔(dān)。本發(fā)明的基于開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置的監(jiān)測系統(tǒng)如圖4中所示，開放式網(wǎng)絡(luò)數(shù) 據(jù)采集裝置F1負(fù)責(zé)采集網(wǎng)絡(luò)中STM-1幀結(jié)構(gòu)中承載的數(shù)據(jù)，其輸出通過以太網(wǎng)經(jīng)API接 口接入多個所述業(yè)務(wù)分析服務(wù)器AS、BS、CS，由于開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置都按照C++類 的概念進(jìn)行設(shè)計，通過標(biāo)準(zhǔn)格式進(jìn)行封裝，封裝的指令級別為最小完整功能級，能夠提供外 部標(biāo)準(zhǔn)的統(tǒng)一接口供使用者調(diào)用，達(dá)到可隨意接入多種業(yè)務(wù)軟件進(jìn)行分析的目的。所述開 放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置與業(yè)務(wù)分析服務(wù)器的接口可以采用抓包用的通用winpcap (windows packetcapture,windows平臺下一個免費、公共的網(wǎng)絡(luò)訪問系統(tǒng))接口，不管哪個廠家的業(yè) 務(wù)分析軟件只要按照這些通用的接口就可以開展業(yè)務(wù)分析了，因此，基于開放式網(wǎng)絡(luò)數(shù)據(jù) 采集裝置的監(jiān)測系統(tǒng)可以做到數(shù)據(jù)采集和業(yè)務(wù)分析軟件分離，提供平臺級的開放接口，可 以適配不同的業(yè)務(wù)分析軟件，充分發(fā)揮各自分析軟件的優(yōu)勢，大大降低了成本。此外，由于本發(fā)明中將開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置模塊化，并將采集到的數(shù)據(jù)標(biāo)準(zhǔn) 化，使送出的數(shù)據(jù)滿足多種應(yīng)用，例如，開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置也可以基于SNMP(簡單網(wǎng)絡(luò)管理協(xié)議)協(xié)議的通用的網(wǎng)絡(luò)API接口，與網(wǎng)管服務(wù)器相連，實現(xiàn)開放式的網(wǎng)絡(luò)管理。通過上述描述可知，本發(fā)明能夠提供平臺級的開放接口，從而達(dá)到采集數(shù)據(jù)開放， 支持二次開發(fā)，可以適配不同的業(yè)務(wù)分析軟件，可以充分發(fā)揮業(yè)務(wù)分析軟件的優(yōu)勢，而且結(jié) 構(gòu)簡單，方便管理和維護(hù)，使得綜合成本大大降低。以上對本發(fā)明所提供的開放式網(wǎng)絡(luò)數(shù)據(jù)采集方法、裝置及基于該裝置的監(jiān)測系統(tǒng) 進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個例對本發(fā)明的原理及實施方式進(jìn)行了闡述，以上實 施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式
及應(yīng)用范圍上均會有改變之處，綜上所述，本說 明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
權(quán)利要求
一種開放式網(wǎng)絡(luò)數(shù)據(jù)采集方法，包括從接收到的網(wǎng)絡(luò)信號中提取ATM信元的步驟，其特征在于還包括以下步驟，從ATM信元中解析和提取報文的步驟；基于協(xié)議和特定消息字段對報文進(jìn)行過濾的步驟；將過濾后的報文數(shù)據(jù)按照標(biāo)準(zhǔn)格式進(jìn)行封裝的步驟；將封裝好的數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)進(jìn)行交換的步驟。
2.根據(jù)權(quán)利要求1所述的開放式網(wǎng)絡(luò)數(shù)據(jù)采集方法，其特征在于所述將封裝好的數(shù) 據(jù)經(jīng)過網(wǎng)絡(luò)進(jìn)行交換的步驟進(jìn)一步包括，對封裝好的數(shù)據(jù)進(jìn)行復(fù)制的步驟； 對復(fù)制的數(shù)據(jù)進(jìn)行流量整形的步驟； 通過千兆以太網(wǎng)接口輸出的步驟。
3.根據(jù)權(quán)利要求1或2所述的開放式網(wǎng)絡(luò)數(shù)據(jù)采集方法，其特征在于所述從接收到 的網(wǎng)絡(luò)信號中提取ATM信元的步驟前，還包括將光纖傳輸?shù)墓庑盘栟D(zhuǎn)化為電信號的步驟。
4.一種開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置，包括用于從接收到的網(wǎng)絡(luò)信號中提取ATM信元的信 元提取單元，其特征在于還包括自信元提取單元依次連接的網(wǎng)絡(luò)處理單元和用于將封裝 好的數(shù)據(jù)送出的輸出單元，所述網(wǎng)絡(luò)處理單元進(jìn)一步包括，用于從ATM信元中解析和提取報文的報文提取單元； 用于基于協(xié)議和特定消息字段對報文進(jìn)行過濾的過濾單元； 用于將過濾后的報文數(shù)據(jù)按照標(biāo)準(zhǔn)格式進(jìn)行封裝的封裝單元。
5.根據(jù)權(quán)利要求4所述的開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置，其特征在于所述網(wǎng)絡(luò)處理單元 和輸出單元之間還依次連接有用于對封裝好的數(shù)據(jù)進(jìn)行復(fù)制的數(shù)據(jù)復(fù)制單元、用于對復(fù)制 的數(shù)據(jù)進(jìn)行流量整形的流量整形單元和千兆以太網(wǎng)輸出單元。
6.根據(jù)權(quán)利要求4或5所述的開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置，其特征在于所述網(wǎng)絡(luò)處理 單元采用FPGA網(wǎng)絡(luò)處理器實現(xiàn)。
7.根據(jù)權(quán)利要求4或5所述的開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置，其特征在于所述信元提取 單元采用SDH/ATM物理層模塊。
8.根據(jù)權(quán)利要求4或5所述的開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置，其特征在于還包括一個SFP 光收發(fā)模塊，用于將光纖傳輸?shù)墓庑盘栟D(zhuǎn)化為電信號，并發(fā)送到所述信元提取單元。
9.一種基于權(quán)利要求4所述的開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置的監(jiān)測系統(tǒng)，其特征在于包 括多個業(yè)務(wù)分析服務(wù)器，開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置的輸出端通過以太網(wǎng)經(jīng)API接口分別接 入所述多個業(yè)務(wù)分析服務(wù)器。
全文摘要
本發(fā)明涉及一種開放式網(wǎng)絡(luò)數(shù)據(jù)采集方法、裝置及基于該裝置的監(jiān)測系統(tǒng)。所述方法包括從接收到的網(wǎng)絡(luò)信號中提取ATM信元的步驟，從ATM信元中解析和提取報文的步驟，基于協(xié)議和特定消息字段對報文進(jìn)行過濾的步驟，將過濾后的報文數(shù)據(jù)按照標(biāo)準(zhǔn)的格式進(jìn)行封裝的步驟，和將封裝好的數(shù)據(jù)送出的步驟。所述裝置包括自信元提取單元依次連接的網(wǎng)絡(luò)處理單元和輸出單元，所述網(wǎng)絡(luò)處理單元包括報文提取單元、過濾單元和封裝單元。所述監(jiān)測系統(tǒng)中，開放式網(wǎng)絡(luò)數(shù)據(jù)采集裝置的輸出端通過以太網(wǎng)經(jīng)API接口接入業(yè)務(wù)分析服務(wù)器。本發(fā)明在系統(tǒng)開放程度上取得突破，提供平臺級的開放接口，充分發(fā)揮不同廠家業(yè)務(wù)分析軟件的優(yōu)勢，而且結(jié)構(gòu)簡單，方便管理和維護(hù)。
文檔編號H04L12/56GK101800777SQ20101011840
公開日2010年8月11日 申請日期2010年3月5日 優(yōu)先權(quán)日2010年3月5日
發(fā)明者胡鋼 申請人:胡鋼