一種大數(shù)據(jù)中心網(wǎng)關(guān)的制作方法
【技術(shù)領(lǐng)域】
[0001]本實(shí)用新型涉及一種大數(shù)據(jù)中心網(wǎng)關(guān)，屬于網(wǎng)絡(luò)傳輸處理技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]近幾年來(lái)，隨著計(jì)算機(jī)和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴(kuò)大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長(zhǎng)。動(dòng)輒達(dá)到數(shù)百TB甚至數(shù)十至數(shù)百PB規(guī)模的行業(yè)/企業(yè)大數(shù)據(jù)已遠(yuǎn)遠(yuǎn)超出了現(xiàn)有傳統(tǒng)的計(jì)算技術(shù)和信息系統(tǒng)的處理能力，因此，尋求有效的大數(shù)據(jù)處理技術(shù)、方法和手段已經(jīng)成為現(xiàn)實(shí)世界的迫切需求。百度目前的總數(shù)據(jù)量已超過(guò)1000PB，每天需要處理的網(wǎng)頁(yè)數(shù)據(jù)達(dá)到1PB?100PB;淘寶累計(jì)的交易數(shù)據(jù)量高達(dá)100PB; Twitter每天發(fā)布超過(guò)2億條消息;新浪微博每天發(fā)帖量達(dá)到8000萬(wàn)條；中國(guó)移動(dòng)一個(gè)省的電話通聯(lián)記錄數(shù)據(jù)每月可達(dá)0.5PB?1PB;—個(gè)省會(huì)城市公安局道路車輛監(jiān)控?cái)?shù)據(jù)三年可達(dá)200億條、總量120TB。據(jù)世界權(quán)威IT信息咨詢分析公司IDC研究報(bào)告預(yù)測(cè):全世界數(shù)據(jù)量未來(lái)10年將從2009年的0.8ZB增長(zhǎng)到2020年的35ZB( IZB= 100EB= 1000000PB)，10年將增長(zhǎng)44倍，年均增長(zhǎng)40%。而傳統(tǒng)的交互式數(shù)據(jù)庫(kù)，對(duì)如此龐大的數(shù)據(jù)處理顯得力不從心。

【發(fā)明內(nèi)容】

[0003]針對(duì)現(xiàn)有技術(shù)的不足，本實(shí)用新型提供了一種大數(shù)據(jù)中心網(wǎng)關(guān)；
[0004]本實(shí)用新型實(shí)現(xiàn)了可靠傳輸、網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換、數(shù)據(jù)快速處理。
[0005]本實(shí)用新型的技術(shù)方案為:
[0006]—種大數(shù)據(jù)中心網(wǎng)關(guān)，包括網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊、加解密模塊、數(shù)據(jù)清洗模塊、數(shù)據(jù)分發(fā)模塊、監(jiān)控模塊，大數(shù)據(jù)中心接口模塊、數(shù)據(jù)備份接口模塊，所述網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊、所述加解密模塊、所述數(shù)據(jù)清洗模塊、所述數(shù)據(jù)分發(fā)模塊依次相連，所述監(jiān)控模塊與所述數(shù)據(jù)分發(fā)模塊相連，所述大數(shù)據(jù)中心接口模塊、所述數(shù)據(jù)備份接口模塊分別連接所述數(shù)據(jù)分發(fā)模塊。
[0007]根據(jù)本實(shí)用新型優(yōu)選的，所述網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊的型號(hào)為AM3358，所述加解密模塊的型號(hào)為ARMl 176，所述數(shù)據(jù)清洗模塊的型號(hào)為ARM8，所述數(shù)據(jù)分發(fā)模塊的型號(hào)為ARM720T，所述監(jiān)控模塊的型號(hào)為STM32，所述大數(shù)據(jù)中心接口模塊的型號(hào)為ARM946T，所述數(shù)據(jù)備份接口模塊的型號(hào)為ARM7TDMI。
[0008]此處設(shè)計(jì)的優(yōu)勢(shì)在于，所述數(shù)據(jù)清洗模塊能夠在不影響傳輸速率的情況下對(duì)有用數(shù)據(jù)進(jìn)行提取，錯(cuò)誤率降低至0.03 監(jiān)控模塊能夠?qū)崟r(shí)的對(duì)數(shù)據(jù)分發(fā)情況進(jìn)行校對(duì)，對(duì)存在異常的數(shù)據(jù)記錄日志。
[0009]根據(jù)本實(shí)用新型優(yōu)選的，所述數(shù)據(jù)分發(fā)模塊采用異步傳輸方式。
[0010]此處設(shè)計(jì)的優(yōu)勢(shì)在于，所述數(shù)據(jù)分發(fā)模塊采用異步傳輸方式，有效降低了數(shù)據(jù)清洗模塊概率性出錯(cuò)對(duì)數(shù)據(jù)分發(fā)模塊的影響；
[0011]根據(jù)本實(shí)用新型優(yōu)選的，所述大數(shù)據(jù)中心接口模塊采用多線程、批量插入方式。
[0012]此處設(shè)計(jì)的優(yōu)勢(shì)在于，所述大數(shù)據(jù)中心接口模塊采用多線程、批量插入方式，對(duì)大數(shù)據(jù)中心數(shù)據(jù)表進(jìn)行預(yù)分區(qū)，降低大數(shù)據(jù)中心數(shù)據(jù)存儲(chǔ)壓力，提高數(shù)據(jù)split條件，減少sp I i t所使用的時(shí)間。
[0013]本實(shí)用新型的工作流程為:
[0014](I)所述網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊接收TCP數(shù)據(jù)包，對(duì)TCP數(shù)據(jù)包進(jìn)行解包，通過(guò)數(shù)據(jù)包協(xié)議轉(zhuǎn)換，將解包后的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，得到轉(zhuǎn)換完成的數(shù)據(jù)，并發(fā)送至所述加解密模塊；
[0015](2)所述加解密模塊接收到轉(zhuǎn)換完成的數(shù)據(jù)，對(duì)其進(jìn)行數(shù)據(jù)解密，得到解密的數(shù)據(jù)，并發(fā)送至所述數(shù)據(jù)清洗模塊；
[0016](3)所述數(shù)據(jù)清洗模塊將解密的進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換，數(shù)據(jù)類型轉(zhuǎn)換后，對(duì)其進(jìn)行數(shù)據(jù)分割，提取到有效數(shù)據(jù)，并將其發(fā)送至所述數(shù)據(jù)分發(fā)模塊；
[0017](4)所述數(shù)據(jù)分發(fā)模塊對(duì)接收到的有效數(shù)據(jù)進(jìn)行拼接，將拼接后的數(shù)據(jù)存入FIFO，調(diào)取相關(guān)指令將拼接的數(shù)據(jù)分別通過(guò)所述大數(shù)據(jù)接口模塊和所述數(shù)據(jù)備份模塊導(dǎo)入模塊，所述監(jiān)控模塊負(fù)責(zé)對(duì)所述數(shù)據(jù)分發(fā)模塊進(jìn)行實(shí)時(shí)校驗(yàn)。
[0018]本實(shí)用新型的有益效果為:
[0019]1、本實(shí)用新型所述數(shù)據(jù)清洗模塊能夠在不影響傳輸速率的情況下對(duì)有用數(shù)據(jù)進(jìn)行提取，錯(cuò)誤率降低至0.03%；監(jiān)控模塊能夠?qū)崟r(shí)的對(duì)數(shù)據(jù)分發(fā)情況進(jìn)行校對(duì)，對(duì)存在異常的數(shù)據(jù)記錄日志。
[0020]2、本實(shí)用新型所述數(shù)據(jù)分發(fā)模塊采用異步傳輸方式，有效降低了數(shù)據(jù)清洗模塊概率性出錯(cuò)對(duì)數(shù)據(jù)分發(fā)模塊的影響；
[0021]3、本實(shí)用新型所述大數(shù)據(jù)中心接口模塊采用多線程、批量插入方式，對(duì)大數(shù)據(jù)中心數(shù)據(jù)表進(jìn)行預(yù)分區(qū)，降低大數(shù)據(jù)中心數(shù)據(jù)存儲(chǔ)壓力，提高數(shù)據(jù)split條件，減少split所使用的時(shí)間。
[0022]4、本實(shí)用新型實(shí)現(xiàn)了可靠傳輸、網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換、數(shù)據(jù)快速處理。
【附圖說(shuō)明】
[0023]圖1為本實(shí)用新型的結(jié)構(gòu)框圖；
[0024]圖2為本實(shí)用新型所述網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊的工作流程圖；
[0025]圖3為本實(shí)用新型所述加解密模塊的工作流程圖；
[0026]圖4為本實(shí)用新型所述數(shù)據(jù)清洗模塊的工作流程圖；
[0027]圖5為本實(shí)用新型所述數(shù)據(jù)分發(fā)模塊、所述大數(shù)據(jù)中心接口模塊、所述數(shù)據(jù)備份接口模塊的工作流程圖；
【具體實(shí)施方式】
[0028]下面結(jié)合說(shuō)明書附圖和實(shí)施例對(duì)本實(shí)用新型作進(jìn)一步限定，但不限于此。
[0029]實(shí)施例
[0030]—種大數(shù)據(jù)中心網(wǎng)關(guān)，包括網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊、加解密模塊、數(shù)據(jù)清洗模塊、數(shù)據(jù)分發(fā)模塊、監(jiān)控模塊，大數(shù)據(jù)中心接口模塊、數(shù)據(jù)備份接口模塊，所述網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊、所述加解密模塊、所述數(shù)據(jù)清洗模塊、所述數(shù)據(jù)分發(fā)模塊依次相連，所述監(jiān)控模塊與所述數(shù)據(jù)分發(fā)模塊相連，所述大數(shù)據(jù)中心接口模塊、所述數(shù)據(jù)備份接口模塊分別連接所述數(shù)據(jù)分發(fā)模塊。如圖1所示。
[0031]所述網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊的型號(hào)為AM3358，所述加解密模塊的型號(hào)為ARMl176，所述數(shù)據(jù)清洗模塊的型號(hào)為ARM8，所述數(shù)據(jù)分發(fā)模塊的型號(hào)為ARM720T，所述監(jiān)控模塊的型號(hào)為STM32，所述大數(shù)據(jù)中心接口模塊的型號(hào)為ARM946T，所述數(shù)據(jù)備份接口模塊的型號(hào)為ARM7TDMI。
[0032]此處設(shè)計(jì)的優(yōu)勢(shì)在于，所述數(shù)據(jù)清洗模塊能夠在不影響傳輸速率的情況下對(duì)有用數(shù)據(jù)進(jìn)行提取，錯(cuò)誤率降低至0.03 監(jiān)控模塊能夠?qū)崟r(shí)的對(duì)數(shù)據(jù)分發(fā)情況進(jìn)行校對(duì)，對(duì)存在異常的數(shù)據(jù)記錄日志。
[0033]所述數(shù)據(jù)分發(fā)模塊采用異步傳輸方式。
[0034]此處設(shè)計(jì)的優(yōu)勢(shì)在于，所述數(shù)據(jù)分發(fā)模塊采用異步傳輸方式，有效降低了數(shù)據(jù)清洗模塊概率性出錯(cuò)對(duì)數(shù)據(jù)分發(fā)模塊的影響；
[0035]所述大數(shù)據(jù)中心接口模塊采用多線程、批量插入方式。
[0036]此處設(shè)計(jì)的優(yōu)勢(shì)在于，所述大數(shù)據(jù)中心接口模塊采用多線程、批量插入方式，對(duì)大數(shù)據(jù)中心數(shù)據(jù)表進(jìn)行預(yù)分區(qū)，降低大數(shù)據(jù)中心數(shù)據(jù)存儲(chǔ)壓力，提高數(shù)據(jù)split條件，減少sp I i t所使用的時(shí)間。
[0037 ]本實(shí)施例所述大數(shù)據(jù)中心網(wǎng)關(guān)的工作流程為:
[0038](I)所述網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊接收TCP數(shù)據(jù)包，對(duì)TCP數(shù)據(jù)包進(jìn)行解包，通過(guò)數(shù)據(jù)包協(xié)議轉(zhuǎn)換，將解包后的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，得到轉(zhuǎn)換完成的數(shù)據(jù)，并發(fā)送至所述加解密模塊;如圖2所示；
[0039](2)所述加解密模塊接收到轉(zhuǎn)換完成的數(shù)據(jù)，對(duì)其進(jìn)行數(shù)據(jù)解密，得到解密的數(shù)據(jù)，并發(fā)送至所述數(shù)據(jù)清洗模塊;如圖3所示。
[0040](3)所述數(shù)據(jù)清洗模塊將解密的進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換，數(shù)據(jù)類型轉(zhuǎn)換后，對(duì)其進(jìn)行數(shù)據(jù)分割，提取到有效數(shù)據(jù)，并將其發(fā)送至所述數(shù)據(jù)分發(fā)模塊;如圖4所示；
[0041](4)所述數(shù)據(jù)分發(fā)模塊對(duì)接收到的有效數(shù)據(jù)進(jìn)行拼接，將拼接后的數(shù)據(jù)存入FIFO，調(diào)取相關(guān)指令將拼接的數(shù)據(jù)分別通過(guò)所述大數(shù)據(jù)接口模塊和所述數(shù)據(jù)備份模塊導(dǎo)入模塊，所述監(jiān)控模塊負(fù)責(zé)對(duì)所述數(shù)據(jù)分發(fā)模塊進(jìn)行實(shí)時(shí)校驗(yàn)。如圖5所示。
【主權(quán)項(xiàng)】
1.一種大數(shù)據(jù)中心網(wǎng)關(guān)，其特征在于，包括網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊、加解密模塊、數(shù)據(jù)清洗模塊、數(shù)據(jù)分發(fā)模塊、監(jiān)控模塊，大數(shù)據(jù)中心接口模塊、數(shù)據(jù)備份接口模塊，所述網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊、所述加解密模塊、所述數(shù)據(jù)清洗模塊、所述數(shù)據(jù)分發(fā)模塊依次相連，所述監(jiān)控模塊與所述數(shù)據(jù)分發(fā)模塊相連，所述大數(shù)據(jù)中心接口模塊、所述數(shù)據(jù)備份接口模塊分別連接所述數(shù)據(jù)分發(fā)模塊。2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)中心網(wǎng)關(guān)，其特征在于，所述網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊的型號(hào)為AM3358，所述加解密模塊的型號(hào)為ARM1176，所述數(shù)據(jù)清洗模塊的型號(hào)為ARM8，所述數(shù)據(jù)分發(fā)模塊的型號(hào)為ARM720T，所述監(jiān)控模塊的型號(hào)為STM32，所述大數(shù)據(jù)中心接口模塊的型號(hào)為ARM946T，所述數(shù)據(jù)備份接口模塊的型號(hào)為ARM7TDMI。3.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)中心網(wǎng)關(guān)，其特征在于，所述數(shù)據(jù)分發(fā)模塊采用異步傳輸方式。4.根據(jù)權(quán)利要求1-3任一所述的一種大數(shù)據(jù)中心網(wǎng)關(guān)，其特征在于，所述大數(shù)據(jù)中心接口模塊采用多線程、批量插入方式。
【專利摘要】本實(shí)用新型涉及一種大數(shù)據(jù)中心網(wǎng)關(guān)，包括網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊、加解密模塊、數(shù)據(jù)清洗模塊、數(shù)據(jù)分發(fā)模塊、監(jiān)控模塊，大數(shù)據(jù)中心接口模塊、數(shù)據(jù)備份接口模塊，網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換模塊、加解密模塊、數(shù)據(jù)清洗模塊、數(shù)據(jù)分發(fā)模塊依次相連，監(jiān)控模塊與數(shù)據(jù)分發(fā)模塊相連，大數(shù)據(jù)中心接口模塊、數(shù)據(jù)備份接口模塊分別連接數(shù)據(jù)分發(fā)模塊。數(shù)據(jù)清洗模塊能夠在不影響傳輸速率的情況下對(duì)有用數(shù)據(jù)進(jìn)行提取，錯(cuò)誤率降低至0.03％；實(shí)時(shí)對(duì)數(shù)據(jù)分發(fā)情況進(jìn)行校對(duì)，對(duì)存在異常的數(shù)據(jù)記錄日志。有效降低了數(shù)據(jù)清洗模塊概率性出錯(cuò)對(duì)數(shù)據(jù)分發(fā)模塊的影響；對(duì)大數(shù)據(jù)中心數(shù)據(jù)表進(jìn)行預(yù)分區(qū)，降低大數(shù)據(jù)中心數(shù)據(jù)存儲(chǔ)壓力，提高數(shù)據(jù)split條件，減少split使用的時(shí)間。
【IPC分類】H04L12/66, H04L29/06
【公開(kāi)號(hào)】CN205356378
【申請(qǐng)?zhí)枴緾N201521096185
【發(fā)明人】崔冰, 孟令國(guó), 邢建平, 吳川, 楊光景
【申請(qǐng)人】濟(jì)南市城市公共客運(yùn)管理服務(wù)中心
【公開(kāi)日】2016年6月29日
【申請(qǐng)日】2015年12月24日