專利名稱：面向計(jì)費(fèi)業(yè)務(wù)的數(shù)據(jù)實(shí)時(shí)抽取和關(guān)鍵性指標(biāo)實(shí)時(shí)分析方法
技術(shù)領(lǐng)域：
本發(fā)明涉及面向計(jì)費(fèi)業(yè)務(wù)的實(shí)時(shí)數(shù)據(jù)挖掘分析方法，通過對(duì)計(jì)費(fèi)原始話單的實(shí)時(shí)處理，能夠?qū)ο嚓P(guān)關(guān)鍵性指標(biāo)進(jìn)行實(shí)時(shí)的反饋和跟蹤，大大提高了計(jì)費(fèi)領(lǐng)域的數(shù)據(jù)分析效率。即運(yùn)行，即分析，借助于基于內(nèi)存的數(shù)據(jù)存儲(chǔ)和處理方式，在節(jié)省磁盤開銷的同時(shí)，又保證了數(shù)據(jù)分析的實(shí)時(shí)性，相比于傳統(tǒng)的先存儲(chǔ)，再抽取，再分析的模式有著明顯的優(yōu)勢(shì)。
背景技術(shù)：
對(duì)于計(jì)費(fèi)業(yè)務(wù)來(lái)說，特點(diǎn)是數(shù)據(jù)量巨大，數(shù)據(jù)吞吐量高，面對(duì)巨大的數(shù)據(jù)量，如何能夠通過數(shù)據(jù)分析的手段掌握關(guān)鍵性的數(shù)據(jù)指標(biāo)，就更顯得尤為重要。
傳統(tǒng)的方式一般會(huì)采用先把話單數(shù)據(jù)進(jìn)行存儲(chǔ)到數(shù)據(jù)庫(kù)，然后在定期的從數(shù)據(jù)庫(kù)中抽取數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)，最后再進(jìn)行數(shù)據(jù)分析。整個(gè)分析過程屬于后處理的方式，在計(jì)費(fèi)業(yè)務(wù)不斷增長(zhǎng)的趨勢(shì)下，這種傳統(tǒng)的數(shù)據(jù)分析方式的不足之處已經(jīng)日益凸顯1，不具備實(shí)時(shí)性，分析滯后，關(guān)鍵性指標(biāo)的分析結(jié)果不能體現(xiàn)當(dāng)前的狀態(tài)。2，由于采用先存儲(chǔ)，再分析的模式，在數(shù)據(jù)量巨大的情況下，數(shù)據(jù)準(zhǔn)確性也會(huì)降低，而且無(wú)法對(duì)相關(guān)數(shù)據(jù)進(jìn)行溯源比對(duì)。3，由于采用磁盤存儲(chǔ)的方式，大大增加了磁盤I/O的開銷，對(duì)于細(xì)粒度的分析，完全依賴于數(shù)據(jù)庫(kù)，直接的增加了數(shù)據(jù)庫(kù)的負(fù)擔(dān)，對(duì)于大數(shù)據(jù)量的即席查詢，效率也非常低。4，需要借助于第三方的數(shù)據(jù)倉(cāng)庫(kù)和挖掘工具，數(shù)據(jù)日常維護(hù)專業(yè)性要求高，成本 聞昂。顯而易見，在面對(duì)計(jì)費(fèi)業(yè)務(wù)呈幾何增長(zhǎng)的形式下，對(duì)于運(yùn)營(yíng)商來(lái)說，對(duì)經(jīng)營(yíng)數(shù)據(jù)的實(shí)時(shí)性分析的需求就顯得尤為迫切。

發(fā)明內(nèi)容
本發(fā)明的目的是針對(duì)于傳統(tǒng)計(jì)費(fèi)的數(shù)據(jù)分析中所存在的分析滯后，效率低下等問題提出的一種面向計(jì)費(fèi)數(shù)據(jù)的實(shí)時(shí)抽取和關(guān)鍵性指標(biāo)分析方法，面對(duì)電信、金融等行業(yè)計(jì)費(fèi)數(shù)據(jù)的日以快速增長(zhǎng)，能夠?qū)崿F(xiàn)對(duì)計(jì)費(fèi)數(shù)據(jù)的實(shí)時(shí)抽取和分析，徹底解決傳統(tǒng)的先存儲(chǔ)再分析的滯后的數(shù)據(jù)分析方式。借助于基于內(nèi)存的數(shù)據(jù)存儲(chǔ)和處理方式，直接對(duì)計(jì)費(fèi)原始話單進(jìn)行實(shí)時(shí)處理，即運(yùn)行，即分析，能夠?qū)ο嚓P(guān)關(guān)鍵性指標(biāo)進(jìn)行實(shí)時(shí)的反饋和跟蹤，大大提高了計(jì)費(fèi)領(lǐng)域的數(shù)據(jù)分析效率。在節(jié)省磁盤開銷的同時(shí)，又保證了數(shù)據(jù)分析的實(shí)時(shí)性，相 比于傳統(tǒng)的先存儲(chǔ)，再抽取，再分析的模式有著明顯的優(yōu)勢(shì)。本發(fā)明的技術(shù)方案是一種面向計(jì)費(fèi)數(shù)據(jù)的實(shí)時(shí)抽取和關(guān)鍵性指標(biāo)分析方法，該方法的實(shí)現(xiàn)包括以下步驟A、首先，建立面向計(jì)費(fèi)話單文件的實(shí)時(shí)數(shù)據(jù)抽取進(jìn)程和實(shí)時(shí)分析進(jìn)程，設(shè)定待分析計(jì)費(fèi)話單文件的關(guān)鍵性指標(biāo)，將計(jì)費(fèi)話單文件中的實(shí)時(shí)數(shù)據(jù)抽取到內(nèi)存中；B、將已抽取到內(nèi)存中的實(shí)時(shí)話單數(shù)據(jù)進(jìn)行并行的分流處理，然后將各路分流數(shù)據(jù)進(jìn)行匯總合并。C、通過實(shí)時(shí)分析進(jìn)程，系統(tǒng)根據(jù)預(yù)先設(shè)定好的關(guān)鍵性指標(biāo)，對(duì)合并的抽取數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，實(shí)時(shí)展現(xiàn)分析結(jié)果。本發(fā)明的步驟B中，在內(nèi)存中對(duì)抽取的實(shí)時(shí)話單數(shù)據(jù)進(jìn)行并行的分流處理的速度不小于1000條話單數(shù)據(jù)/每秒。本發(fā)明的步驟C中，直接對(duì)內(nèi)存中的匯總數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析處理，通過web端的異步通訊技術(shù)進(jìn)行數(shù)據(jù)指標(biāo)的實(shí)時(shí)展現(xiàn)。本發(fā)明的方法具體包括以下步驟A、在內(nèi)存中建立基于多線程機(jī)制的內(nèi)存存儲(chǔ) 進(jìn)程和查詢進(jìn)程；所述的內(nèi)存存儲(chǔ)進(jìn)程包含以下步驟；>內(nèi)存參數(shù)定義步驟>存儲(chǔ)主實(shí)例定義步驟>數(shù)據(jù)存儲(chǔ)步驟所述的查詢進(jìn)程包含；>數(shù)據(jù)查詢步驟>內(nèi)存回收步驟>并發(fā)內(nèi)存統(tǒng)一管理步驟，包括并發(fā)訪問下內(nèi)存的查詢、更新和存儲(chǔ)；B、建立面向原始計(jì)費(fèi)話單文件的實(shí)時(shí)數(shù)據(jù)抽取進(jìn)程，其中包括對(duì)計(jì)費(fèi)文件的智能容錯(cuò)規(guī)則庫(kù)，具體包括以下內(nèi)容>建立基于XML格式的容錯(cuò)規(guī)則庫(kù)，規(guī)則支持標(biāo)準(zhǔn)正則表達(dá)式，能夠兼容主流交換機(jī)設(shè)備的話單格式；>建立基于緩存的數(shù)據(jù)讀取進(jìn)程；C、建立實(shí)時(shí)計(jì)費(fèi)話單數(shù)據(jù)的多線程并行預(yù)處理進(jìn)程，將抽取的話單數(shù)據(jù)，進(jìn)行并行的分流處理，然后將數(shù)據(jù)進(jìn)行匯總合并。具體包括>并行任務(wù)配置步驟>存儲(chǔ)使用配置步驟>數(shù)據(jù)分流處理步驟>數(shù)據(jù)合并步驟D、建立面向內(nèi)存處理的實(shí)時(shí)分析進(jìn)程，系統(tǒng)根據(jù)預(yù)先設(shè)定好的關(guān)鍵性指標(biāo)，對(duì)合并的抽取數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，實(shí)時(shí)展現(xiàn)分析結(jié)果，具體包括>基于內(nèi)存的分組查詢步驟>特征分組查詢即根據(jù)關(guān)鍵性指標(biāo)，對(duì)應(yīng)于各指標(biāo)進(jìn)行相應(yīng)特征的分組查詢的步驟>匯總查詢即根據(jù)指標(biāo)的特征對(duì)指標(biāo)進(jìn)行分組查詢和匯總>定時(shí)查詢?nèi)蝿?wù)步驟>數(shù)據(jù)實(shí)時(shí)轉(zhuǎn)換步驟>數(shù)據(jù)實(shí)時(shí)刷新步驟。本發(fā)明中，在內(nèi)存中采用多線程技術(shù)同時(shí)開辟多個(gè)內(nèi)存塊，進(jìn)行并行的數(shù)據(jù)整理。
本發(fā)明中，建立面向原始計(jì)費(fèi)話單文件的實(shí)時(shí)數(shù)據(jù)抽取進(jìn)程，其中包括對(duì)計(jì)費(fèi)文件的智能容錯(cuò)規(guī)則庫(kù)，是在兼容主流設(shè)備廠商話單格式的前提下，對(duì)不規(guī)則話單、異常話單進(jìn)行自適應(yīng)的容錯(cuò)處理。本發(fā)明的有益效果—、能夠?qū)崿F(xiàn)對(duì)計(jì)費(fèi)數(shù)據(jù)的實(shí)時(shí)抽取和分析，徹底解決傳統(tǒng)的先存儲(chǔ)再分析的滯后的數(shù)據(jù)分析方式。二、直接對(duì)計(jì)費(fèi)原始話單進(jìn)行實(shí)時(shí)處理，即運(yùn)行，即分析，能夠?qū)ο嚓P(guān)關(guān)鍵性指標(biāo)進(jìn)行實(shí)時(shí)的反饋和跟蹤，大大提高了計(jì)費(fèi)領(lǐng)域的數(shù)據(jù)分析效率。三、數(shù)據(jù)抽取和分析過程全程在內(nèi)存中運(yùn)行，大大節(jié)省磁盤空間和I/O開銷。 四、徹底解決數(shù)據(jù)量高速增長(zhǎng)所帶來(lái)的性能問題，即運(yùn)行，即抽取，即分析，數(shù)據(jù)不斷增長(zhǎng)，不會(huì)影響當(dāng)前的分析程序的效率，達(dá)到較高的實(shí)時(shí)性。


圖I是本發(fā)明的總體構(gòu)架示意圖。圖2是本發(fā)明的數(shù)據(jù)實(shí)時(shí)讀取與分析流程圖。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的說明。如圖I所示，一種面向計(jì)費(fèi)數(shù)據(jù)的實(shí)時(shí)抽取和關(guān)鍵性指標(biāo)分析方法，該方法的實(shí)現(xiàn)包括以下步驟A、建立基于多線程機(jī)制的內(nèi)存存儲(chǔ)和查詢系統(tǒng)通過C++語(yǔ)言編寫專用的內(nèi)存存儲(chǔ)和查詢程序，程序包含以下模塊功能>內(nèi)存參數(shù)定義>存儲(chǔ)主實(shí)例定義>數(shù)據(jù)存儲(chǔ)功能>數(shù)據(jù)查詢功能>內(nèi)存回收功能>并發(fā)內(nèi)存統(tǒng)一管理模塊B、建立面向計(jì)費(fèi)原始話單文件的實(shí)時(shí)數(shù)據(jù)抽取程序，其中包括話單的智能容錯(cuò)規(guī)則庫(kù)。具體包括以下內(nèi)容>建立基于XML格式的容錯(cuò)規(guī)則庫(kù)，規(guī)則支持標(biāo)準(zhǔn)正則表達(dá)式，能夠兼容主流交換機(jī)設(shè)備的話單格式>采用C++語(yǔ)言開發(fā)基于緩存的快速讀取模塊，保證實(shí)時(shí)性和高效性C、建立話單數(shù)據(jù)的多線程并行預(yù)處理程序，將抽取的話單數(shù)據(jù)，實(shí)現(xiàn)并行的高速分流處理，然后將數(shù)據(jù)進(jìn)行匯總合并。具體包括>并行任務(wù)配置功能>存儲(chǔ)使用配置功能>數(shù)據(jù)分流處理功能
>數(shù)據(jù)合并功能D、建立面向內(nèi)存處理的實(shí)時(shí)分析程序，系統(tǒng)根據(jù)預(yù)先設(shè)定好的關(guān)鍵性指標(biāo)，對(duì)合并的抽取數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，實(shí)時(shí)展現(xiàn)分析結(jié)果。具體包括>基于內(nèi)存的分組查詢，>特征分組查詢，>匯總查詢，>定時(shí)查詢?nèi)蝿?wù) >數(shù)據(jù)實(shí)時(shí)轉(zhuǎn)換，>數(shù)據(jù)實(shí)時(shí)刷新等特征。本發(fā)明未涉及部分均與現(xiàn)有技術(shù)相同或可采用現(xiàn)有技術(shù)加以實(shí)現(xiàn)。
權(quán)利要求
1.一種面向計(jì)費(fèi)數(shù)據(jù)的實(shí)時(shí)抽取和關(guān)鍵性指標(biāo)分析方法，其特征在于，該方法的實(shí)現(xiàn)包括以下步驟 A、首先，建立面向計(jì)費(fèi)話單文件的實(shí)時(shí)數(shù)據(jù)抽取進(jìn)程和實(shí)時(shí)分析進(jìn)程，設(shè)定待分析計(jì)費(fèi)話單文件的關(guān)鍵性指標(biāo)，將計(jì)費(fèi)話單文件中的實(shí)時(shí)數(shù)據(jù)抽取到內(nèi)存中； B、將已抽取到內(nèi)存中的實(shí)時(shí)話單數(shù)據(jù)進(jìn)行并行的分流處理，然后將各路分流數(shù)據(jù)進(jìn)行匯總合并； C、通過實(shí)時(shí)分析進(jìn)程，系統(tǒng)根據(jù)預(yù)先設(shè)定好的關(guān)鍵性指標(biāo)，對(duì)合并的抽取數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，實(shí)時(shí)展現(xiàn)分析結(jié)果。
2.根據(jù)權(quán)利要求I所述的面向計(jì)費(fèi)數(shù)據(jù)的實(shí)時(shí)抽取和關(guān)鍵性指標(biāo)分析方法，其特征在于步驟B中，在內(nèi)存中對(duì)抽取的實(shí)時(shí)話單數(shù)據(jù)進(jìn)行并行的分流處理的速度不小于1000條話單數(shù)據(jù)/每秒。
3.根據(jù)權(quán)利要求I所述的面向計(jì)費(fèi)數(shù)據(jù)的實(shí)時(shí)抽取和關(guān)鍵性指標(biāo)分析方法，其特征在于步驟C中，直接對(duì)內(nèi)存中的匯總數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析處理，通過web端的異步通訊技術(shù)進(jìn)行數(shù)據(jù)指標(biāo)的實(shí)時(shí)展現(xiàn)。
4.根據(jù)權(quán)利要求I所述的面向計(jì)費(fèi)數(shù)據(jù)的實(shí)時(shí)抽取和關(guān)鍵性指標(biāo)分析方法，其特征在于，該方法具體包括以下步驟 A、在內(nèi)存中建立基于多線程機(jī)制的內(nèi)存存儲(chǔ)進(jìn)程和查詢進(jìn)程； 所述的內(nèi)存存儲(chǔ)進(jìn)程包含以下步驟； >內(nèi)存參數(shù)定義步驟 >存儲(chǔ)主實(shí)例定義步驟 >數(shù)據(jù)存儲(chǔ)步驟 所述的查詢進(jìn)程包含； >數(shù)據(jù)查詢步驟 >內(nèi)存回收步驟 >并發(fā)內(nèi)存統(tǒng)一管理步驟，包括并發(fā)訪問下內(nèi)存的查詢、更新和存儲(chǔ)； B、建立面向原始計(jì)費(fèi)話單文件的實(shí)時(shí)數(shù)據(jù)抽取進(jìn)程，其中包括對(duì)計(jì)費(fèi)文件的智能容錯(cuò)規(guī)則庫(kù)，具體包括以下內(nèi)容 >建立基于XML格式的容錯(cuò)規(guī)則庫(kù)，規(guī)則支持標(biāo)準(zhǔn)正則表達(dá)式，能夠兼容主流交換機(jī)設(shè)備的話單格式； >建立基于緩存的數(shù)據(jù)讀取進(jìn)程； C、建立實(shí)時(shí)計(jì)費(fèi)話單數(shù)據(jù)的多線程并行預(yù)處理進(jìn)程，將抽取的話單數(shù)據(jù)，進(jìn)行并行的分流處理，然后將數(shù)據(jù)進(jìn)行匯總合并； 具體包括 >并行任務(wù)配置步驟 >存儲(chǔ)使用配置步驟 >數(shù)據(jù)分流處理步驟 >數(shù)據(jù)合并步驟 D、建立面向內(nèi)存處理的實(shí)時(shí)分析進(jìn)程，系統(tǒng)根據(jù)預(yù)先設(shè)定好的關(guān)鍵性指標(biāo)，對(duì)合并的抽取數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，實(shí)時(shí)展現(xiàn)分析結(jié)果，具體包括>基于內(nèi)存的分組查詢步驟 >特征分組查詢即根據(jù)關(guān)鍵性指標(biāo)，對(duì)應(yīng)于各指標(biāo)進(jìn)行相應(yīng)特征的分組查詢的步驟 >匯總查詢即根據(jù)指標(biāo)的特征對(duì)指標(biāo)進(jìn)行分組查詢和匯總 >定時(shí)查詢?nèi)蝿?wù)步驟 >數(shù)據(jù)實(shí)時(shí)轉(zhuǎn)換步驟 >數(shù)據(jù)實(shí)時(shí)刷新步驟。
5.根據(jù)權(quán)利要求I所述的面向計(jì)費(fèi)數(shù)據(jù)的實(shí)時(shí)抽取和關(guān)鍵性指標(biāo)分析方法，其特征在于在內(nèi)存中采用多線程技術(shù)同時(shí)開辟多個(gè)內(nèi)存塊，進(jìn)行并行的數(shù)據(jù)整理。
6.根據(jù)權(quán)利要求I所述的面向計(jì)費(fèi)數(shù)據(jù)的實(shí)時(shí)抽取和關(guān)鍵性指標(biāo)分析方法，其特征在于建立面向原始計(jì)費(fèi)話單文件的實(shí)時(shí)數(shù)據(jù)抽取進(jìn)程，其中包括對(duì)計(jì)費(fèi)文件的智能容錯(cuò)規(guī)則庫(kù)，是在兼容主流設(shè)備廠商話單格式的前提下，對(duì)不規(guī)則話單、異常話單進(jìn)行自適應(yīng)的容錯(cuò)處理。
全文摘要
一種面向計(jì)費(fèi)業(yè)務(wù)的數(shù)據(jù)實(shí)時(shí)抽取和關(guān)鍵性指標(biāo)實(shí)時(shí)分析方法，本發(fā)明面對(duì)電信、金融等行業(yè)計(jì)費(fèi)數(shù)據(jù)的日以快速增長(zhǎng)，能夠?qū)崿F(xiàn)對(duì)計(jì)費(fèi)數(shù)據(jù)的實(shí)時(shí)抽取和分析，徹底解決傳統(tǒng)的先存儲(chǔ)再分析的滯后的數(shù)據(jù)分析方式。借助于基于內(nèi)存的數(shù)據(jù)存儲(chǔ)和處理方式，直接對(duì)計(jì)費(fèi)原始話單進(jìn)行實(shí)時(shí)處理，即運(yùn)行，即分析，能夠?qū)ο嚓P(guān)關(guān)鍵性指標(biāo)進(jìn)行實(shí)時(shí)的反饋和跟蹤，大大提高了計(jì)費(fèi)領(lǐng)域的數(shù)據(jù)分析效率。在節(jié)省磁盤開銷的同時(shí)，又保證了數(shù)據(jù)分析的實(shí)時(shí)性，相比于傳統(tǒng)的先存儲(chǔ)，再抽取，再分析的模式有著明顯的優(yōu)勢(shì)。
文檔編號(hào)H04L12/14GK102722354SQ20121018171
公開日2012年10月10日 申請(qǐng)日期2012年6月4日 優(yōu)先權(quán)日2012年6月4日
發(fā)明者王淵 申請(qǐng)人:南京中興軟創(chuàng)科技股份有限公司