亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種通信大數(shù)據(jù)的處理系統(tǒng)及方法與流程

文檔序號(hào):11524014閱讀:313來源:國知局
一種通信大數(shù)據(jù)的處理系統(tǒng)及方法與流程

本發(fā)明涉及通信大數(shù)據(jù)領(lǐng)域,具體涉及一種通信大數(shù)據(jù)的處理系統(tǒng)及方法。



背景技術(shù):

近年來,大數(shù)據(jù)成為通信領(lǐng)域廣泛探究的話題,因?yàn)楫?dāng)前的移動(dòng)通信系統(tǒng)正處于大數(shù)據(jù)環(huán)境背景下,大數(shù)據(jù)極具資源價(jià)值、信息商業(yè)價(jià)值,已經(jīng)成為通信企業(yè)一項(xiàng)有價(jià)值的資產(chǎn),成為移動(dòng)通信行業(yè)實(shí)力與競(jìng)爭(zhēng)力的體現(xiàn),具有一定的經(jīng)濟(jì)價(jià)值和作用。但是現(xiàn)有通信數(shù)據(jù)處理往往要對(duì)海量數(shù)據(jù)進(jìn)行處理,存在效率低、運(yùn)算量低的問題。



技術(shù)實(shí)現(xiàn)要素:

本發(fā)明所要解決的技術(shù)問題是提供一種通信大數(shù)據(jù)的處理系統(tǒng)及方法,可以對(duì)海量的通信大數(shù)據(jù)進(jìn)行高效快速的處理。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下:一種通信大數(shù)據(jù)的處理系統(tǒng),包括采集模塊、過濾模塊、分類模塊、存儲(chǔ)模塊、解析模塊和分發(fā)模塊,

所述采集模塊,其用于以隊(duì)列持久化的方式采集通信大數(shù)據(jù);

所述過濾模塊,其用于對(duì)采集的通信大數(shù)據(jù)進(jìn)行過濾,去除重復(fù)、無效的通信大數(shù)據(jù);

所述分類模塊,其用于根據(jù)數(shù)據(jù)結(jié)構(gòu)對(duì)過濾后的通信大數(shù)據(jù)進(jìn)行分類;

所述存儲(chǔ)模塊,其用于分類存儲(chǔ)通信大數(shù)據(jù);

所述解析模塊,其用于采用異步抓取的方式從所述存儲(chǔ)模塊中獲取通信大數(shù)據(jù),并采用對(duì)應(yīng)的解析方式解析通信大數(shù)據(jù);

所述分發(fā)模塊,其用于對(duì)解析后的通信大數(shù)據(jù)按照對(duì)應(yīng)的協(xié)議鏈路進(jìn)行分發(fā)傳輸。

本發(fā)明的有益效果是:本發(fā)明一種通信大數(shù)據(jù)的處理系統(tǒng)采用分類的方式對(duì)通信大數(shù)據(jù)進(jìn)行處理,同時(shí)在處理前,去掉重復(fù)、無效的數(shù)據(jù),可以提高對(duì)通信大數(shù)據(jù)處理的效率。

在上述技術(shù)方案的基礎(chǔ)上,本發(fā)明還可以做如下改進(jìn)。

進(jìn)一步,所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹形結(jié)構(gòu)。

進(jìn)一步,所述存儲(chǔ)模塊包括網(wǎng)格存儲(chǔ)單元、線性存儲(chǔ)單元和樹形存儲(chǔ)單元,所述網(wǎng)格存儲(chǔ)單元、線性存儲(chǔ)單元和樹形存儲(chǔ)單元分別對(duì)應(yīng)存儲(chǔ)網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹形結(jié)構(gòu)的通信大數(shù)據(jù)。

進(jìn)一步,網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進(jìn)行解析。

進(jìn)一步,線性結(jié)構(gòu)的通信大數(shù)據(jù)采用線性的方式進(jìn)行解析。

進(jìn)一步,樹形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹形的方式進(jìn)行解析。

基于上述一種通信大數(shù)據(jù)的處理系統(tǒng),本發(fā)明還提供一種通信大數(shù)據(jù)的處理方法。

一種通信大數(shù)據(jù)的處理方法,包括以下步驟,

s1,以隊(duì)列持久化的方式采集通信大數(shù)據(jù);

s2,對(duì)采集的通信大數(shù)據(jù)進(jìn)行過濾,去除重復(fù)、無效的通信大數(shù)據(jù);

s3,根據(jù)數(shù)據(jù)結(jié)構(gòu)對(duì)過濾后的通信大數(shù)據(jù)進(jìn)行分類;

s4,分類存儲(chǔ)通信大數(shù)據(jù);

s5,采用異步抓取的方式從所述存儲(chǔ)模塊中獲取通信大數(shù)據(jù),并采用對(duì)應(yīng)的解析方式解析通信大數(shù)據(jù);

s6,對(duì)解析后的通信大數(shù)據(jù)按照對(duì)應(yīng)的協(xié)議鏈路進(jìn)行分發(fā)傳輸。

本發(fā)明的有益效果是:本發(fā)明一種通信大數(shù)據(jù)的處理方法采用分類的方式對(duì)通信大數(shù)據(jù)進(jìn)行處理,同時(shí)在處理前,去掉重復(fù)、無效的數(shù)據(jù),可以提高對(duì)通信大數(shù)據(jù)處理的效率。

在上述技術(shù)方案的基礎(chǔ)上,本發(fā)明還可以做如下改進(jìn)。

進(jìn)一步,所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹形結(jié)構(gòu)。

進(jìn)一步,網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)、線性結(jié)構(gòu)的通信大數(shù)據(jù)和樹形結(jié)構(gòu)的通信大數(shù)據(jù)分別以網(wǎng)格、線性和樹形的形式進(jìn)行存儲(chǔ)。

進(jìn)一步,網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進(jìn)行解析,線性結(jié)構(gòu)的通信大數(shù)據(jù)采用線性的方式進(jìn)行解析,樹形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹形的方式進(jìn)行解析。

附圖說明

圖1為本發(fā)明一種通信大數(shù)據(jù)的處理系統(tǒng)的結(jié)構(gòu)框圖;

圖2為本發(fā)明一種通信大數(shù)據(jù)的處理方法的流程圖。

具體實(shí)施方式

以下結(jié)合附圖對(duì)本發(fā)明的原理和特征進(jìn)行描述,所舉實(shí)例只用于解釋本發(fā)明,并非用于限定本發(fā)明的范圍。

如圖1所示,一種通信大數(shù)據(jù)的處理系統(tǒng),包括采集模塊、過濾模塊、分類模塊、存儲(chǔ)模塊、解析模塊和分發(fā)模塊,所述采集模塊,其用于以隊(duì)列持久化的方式采集通信大數(shù)據(jù);所述過濾模塊,其用于對(duì)采集的通信大數(shù)據(jù)進(jìn)行過濾,去除重復(fù)、無效的通信大數(shù)據(jù);所述分類模塊,其用于根據(jù)數(shù)據(jù)結(jié)構(gòu)對(duì)過濾后的通信大數(shù)據(jù)進(jìn)行分類;所述存儲(chǔ)模塊,其用于分類存儲(chǔ)通信大數(shù)據(jù);所述解析模塊,其用于采用異步抓取的方式從所述存儲(chǔ)模塊中獲取通信大數(shù)據(jù),并采用對(duì)應(yīng)的解析方式解析通信大數(shù)據(jù);所述分發(fā)模塊,其用于對(duì)解析后的通信大數(shù)據(jù)按照對(duì)應(yīng)的協(xié)議鏈路進(jìn)行分發(fā)傳輸。

在本具體實(shí)施例中,所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹形結(jié)構(gòu)。所述存儲(chǔ)模塊包括網(wǎng)格存儲(chǔ)單元、線性存儲(chǔ)單元和樹形存儲(chǔ)單元,所述網(wǎng)格存儲(chǔ)單元、線性存儲(chǔ)單元和樹形存儲(chǔ)單元分別對(duì)應(yīng)存儲(chǔ)網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹形結(jié)構(gòu)的通信大數(shù)據(jù)。網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進(jìn)行解析。線性結(jié)構(gòu)的通信大數(shù)據(jù)采用線性的方式進(jìn)行解析。樹形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹形的方式進(jìn)行解析。

本發(fā)明一種通信大數(shù)據(jù)的處理系統(tǒng)采用分類的方式對(duì)通信大數(shù)據(jù)進(jìn)行處理,同時(shí)在處理前,去掉重復(fù)、無效的數(shù)據(jù),可以提高對(duì)通信大數(shù)據(jù)處理的效率。

基于上述一種通信大數(shù)據(jù)的處理系統(tǒng),本發(fā)明還提供一種通信大數(shù)據(jù)的處理方法。

一種通信大數(shù)據(jù)的處理方法,包括以下步驟,

s1,以隊(duì)列持久化的方式采集通信大數(shù)據(jù);

s2,對(duì)采集的通信大數(shù)據(jù)進(jìn)行過濾,去除重復(fù)、無效的通信大數(shù)據(jù);

s3,根據(jù)數(shù)據(jù)結(jié)構(gòu)對(duì)過濾后的通信大數(shù)據(jù)進(jìn)行分類;

s4,分類存儲(chǔ)通信大數(shù)據(jù);

s5,采用異步抓取的方式從所述存儲(chǔ)模塊中獲取通信大數(shù)據(jù),并采用對(duì)應(yīng)的解析方式解析通信大數(shù)據(jù);

s6,對(duì)解析后的通信大數(shù)據(jù)按照對(duì)應(yīng)的協(xié)議鏈路進(jìn)行分發(fā)傳輸。

具體的,所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹形結(jié)構(gòu)。網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)、線性結(jié)構(gòu)的通信大數(shù)據(jù)和樹形結(jié)構(gòu)的通信大數(shù)據(jù)分別以網(wǎng)格、線性和樹形的形式進(jìn)行存儲(chǔ)。網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進(jìn)行解析,線性結(jié)構(gòu)的通信大數(shù)據(jù)采用線性的方式進(jìn)行解析,樹形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹形的方式進(jìn)行解析。

本發(fā)明一種通信大數(shù)據(jù)的處理方法采用分類的方式對(duì)通信大數(shù)據(jù)進(jìn)行處理,同時(shí)在處理前,去掉重復(fù)、無效的數(shù)據(jù),可以提高對(duì)通信大數(shù)據(jù)處理的效率。

以上所述僅為本發(fā)明的較佳實(shí)施例,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。



技術(shù)特征:

技術(shù)總結(jié)
本發(fā)明涉及一種通信大數(shù)據(jù)的處理系統(tǒng)及方法,其系統(tǒng)包括采集模塊、過濾模塊、分類模塊、存儲(chǔ)模塊、解析模塊和分發(fā)模塊,采集模塊用于以隊(duì)列持久化的方式采集通信大數(shù)據(jù);過濾模塊用于對(duì)采集的通信大數(shù)據(jù)進(jìn)行過濾,去除重復(fù)、無效的通信大數(shù)據(jù);分類模用于根據(jù)數(shù)據(jù)結(jié)構(gòu)對(duì)過濾后的通信大數(shù)據(jù)進(jìn)行分類;存儲(chǔ)模塊用于分類存儲(chǔ)通信大數(shù)據(jù);解析模塊用于采用異步抓取的方式從所述存儲(chǔ)模塊中獲取通信大數(shù)據(jù),并采用對(duì)應(yīng)的解析方式解析通信大數(shù)據(jù);分發(fā)模塊用于對(duì)解析后的通信大數(shù)據(jù)按照對(duì)應(yīng)的協(xié)議鏈路進(jìn)行分發(fā)傳輸。本發(fā)明系統(tǒng)采用分類的方式對(duì)通信大數(shù)據(jù)進(jìn)行處理,同時(shí)在處理前,去掉重復(fù)、無效的數(shù)據(jù),可以提高對(duì)通信大數(shù)據(jù)處理的效率。

技術(shù)研發(fā)人員:周發(fā)輝;李衛(wèi)群;張佳杰;文川;蘭海翔;陳軍
受保護(hù)的技術(shù)使用者:周發(fā)輝
技術(shù)研發(fā)日:2017.04.13
技術(shù)公布日:2017.08.18
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1