本發(fā)明涉及一種數(shù)據(jù)接收及分析方法，尤其是一種數(shù)據(jù)分布式接收及分析方法及系統(tǒng)。

背景技術(shù)：

隨著計(jì)算機(jī)的出現(xiàn)和普及，海量的信息以數(shù)字化形式存在于網(wǎng)絡(luò)各處，科學(xué)數(shù)據(jù)、醫(yī)療數(shù)據(jù)、人口統(tǒng)計(jì)數(shù)據(jù)、金融數(shù)據(jù)等等，這些數(shù)據(jù)也吸引了大量的網(wǎng)絡(luò)攻擊。并且隨著網(wǎng)絡(luò)攻擊越來(lái)越多，越來(lái)越復(fù)雜，相關(guān)的安全事件數(shù)據(jù)種類繁多，數(shù)據(jù)結(jié)構(gòu)也是及其復(fù)雜的。

目前，對(duì)于數(shù)據(jù)的接收通常都是拷貝到一個(gè)系統(tǒng)，再對(duì)數(shù)據(jù)進(jìn)行分析，沒(méi)有利用大數(shù)據(jù)存儲(chǔ)的便利，如果日志服務(wù)器很多，將會(huì)增加很多工作量，也會(huì)花費(fèi)很多時(shí)間。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明目的在于提供了一種減少工作量提高工作效率的數(shù)據(jù)分布式接收及分析方法及系統(tǒng)。

為解決上述技術(shù)問(wèn)題，本發(fā)明數(shù)據(jù)分布式接收及分析方法，包括：步驟1，分布式收集數(shù)據(jù)；步驟2，下載收集的數(shù)據(jù)，并對(duì)下載的數(shù)據(jù)進(jìn)行分布式分析；步驟3，儲(chǔ)存經(jīng)過(guò)分布式分析的數(shù)據(jù)。

優(yōu)選地，步驟1包括如下步驟：步驟1.1，分布式收集數(shù)據(jù)以形成日志文件；步驟1.2，將日志文件上傳。

優(yōu)選地，步驟1.1中，通過(guò)開(kāi)源軟件RTKLIB分布式收集數(shù)據(jù)以形成日志文件。

優(yōu)選地，步驟2包括如下步驟：步驟2.1，定時(shí)查詢上傳的日志文件，當(dāng)查詢到與預(yù)設(shè)條件相吻合的日志文件時(shí)，下載該日志文件；步驟2.2，對(duì)下載的日志文件進(jìn)行分布式處理。

優(yōu)選地，步驟2.1中，預(yù)設(shè)條件包括時(shí)間和類型。

優(yōu)選地，步驟2.2中，分布式處理包括對(duì)時(shí)間、固定率或精度進(jìn)行解算。

優(yōu)選地，日志文件包括時(shí)間、狀態(tài)、經(jīng)緯度、高度及精度。

優(yōu)選地，還包括步驟4，顯示經(jīng)過(guò)分布式分析的數(shù)據(jù)。

數(shù)據(jù)系統(tǒng)，包括：云存儲(chǔ)服務(wù)模塊，云存儲(chǔ)服務(wù)模塊從多個(gè)日志服務(wù)器中分布式收集數(shù)據(jù)；分布式分析模塊，分布式分析模塊從云存儲(chǔ)服務(wù)模塊中下載數(shù)據(jù)，并對(duì)下載的數(shù)據(jù)進(jìn)行分布式分析；存儲(chǔ)模塊，存儲(chǔ)模塊接收從分布式分析模塊上傳的經(jīng)過(guò)分布式分析的數(shù)據(jù)；顯示模塊，顯示模塊顯示經(jīng)過(guò)分布式分析的數(shù)據(jù)。

優(yōu)選地，云存儲(chǔ)服務(wù)模塊為運(yùn)營(yíng)支撐系統(tǒng)；存儲(chǔ)模塊為云數(shù)據(jù)庫(kù)。

本發(fā)明數(shù)據(jù)分布式接收及分析方法及系統(tǒng)提供多點(diǎn)收集數(shù)據(jù)并上傳到云存儲(chǔ)，收集數(shù)據(jù)的端可以海量部署，這樣提高了數(shù)據(jù)的存儲(chǔ)與分析速度，對(duì)于相對(duì)復(fù)雜的數(shù)據(jù)的存儲(chǔ)與分析變得簡(jiǎn)單、容易，并且存儲(chǔ)與分析可以根據(jù)需要各自進(jìn)行線性擴(kuò)展與改進(jìn)，使得分析系統(tǒng)性能達(dá)到最優(yōu)。

附圖說(shuō)明

通過(guò)閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征目的和優(yōu)點(diǎn)將會(huì)變得更明顯。

圖1為本發(fā)明數(shù)據(jù)分布式接收及分析方法流程圖；

圖2為本發(fā)明數(shù)據(jù)系統(tǒng)原理圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變化和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。

本發(fā)明提供多點(diǎn)收集數(shù)據(jù)并上傳到云存儲(chǔ)，收集數(shù)據(jù)的端可以海量部署，分析數(shù)據(jù)時(shí)，從云存儲(chǔ)下載數(shù)據(jù)并進(jìn)行分析，分析匯總的數(shù)據(jù)存儲(chǔ)到分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)。

如圖1、圖2所示，本發(fā)明數(shù)據(jù)分布式接收及分析方法，包括：步驟1，分布式收集數(shù)據(jù)；步驟2，下載收集的數(shù)據(jù)，并對(duì)下載的數(shù)據(jù)進(jìn)行分布式分析；步驟3，儲(chǔ)存經(jīng)過(guò)分布式分析的數(shù)據(jù)。

步驟1包括如下步驟：步驟1.1，分布式收集數(shù)據(jù)并將收集的數(shù)據(jù)匯總形成日志文件；步驟1.2，將日志文件上傳。

步驟1.1中，通過(guò)開(kāi)源軟件RTKLIB分布式收集數(shù)據(jù)并將收集的數(shù)據(jù)匯總形成日志文件。

步驟2包括如下步驟：步驟2.1，定時(shí)查詢上傳的日志文件，當(dāng)查詢到與預(yù)設(shè)條件相吻合的日志文件時(shí)，下載該日志文件；步驟2.2，對(duì)下載的日志文件進(jìn)行分布式處理。

步驟2.1中，預(yù)設(shè)條件包括時(shí)間和類型。

步驟2.2中，分布式處理包括對(duì)時(shí)間、固定率或精度進(jìn)行解算。

日志文件包括時(shí)間、狀態(tài)、經(jīng)緯度、高度及精度。

還包括步驟4，顯示經(jīng)過(guò)分布式分析的數(shù)據(jù)。

數(shù)據(jù)系統(tǒng)，包括：云存儲(chǔ)服務(wù)模塊，云存儲(chǔ)服務(wù)模塊從多個(gè)日志服務(wù)器中分布式收集數(shù)據(jù)；分布式分析模塊，分布式分析模塊從云存儲(chǔ)服務(wù)模塊中下載數(shù)據(jù)，并對(duì)下載的數(shù)據(jù)進(jìn)行分布式分析；存儲(chǔ)模塊，存儲(chǔ)模塊接收從分布式分析模塊上傳的經(jīng)過(guò)分布式分析的數(shù)據(jù)；顯示模塊，顯示模塊顯示經(jīng)過(guò)分布式分析的數(shù)據(jù)。

云存儲(chǔ)服務(wù)模塊為運(yùn)營(yíng)支撐系統(tǒng)；存儲(chǔ)模塊為云數(shù)據(jù)庫(kù)。

本發(fā)明利用云存儲(chǔ)和大數(shù)據(jù)存儲(chǔ)平臺(tái)的優(yōu)勢(shì)，在數(shù)據(jù)的收集方面，每個(gè)日志服務(wù)器作為一個(gè)點(diǎn)，自動(dòng)上傳日志文件系統(tǒng)作為輔助定時(shí)上傳到云存儲(chǔ)。分析系統(tǒng)定時(shí)到云存儲(chǔ)查詢指定日期和類型的文件，下載到本地并進(jìn)行分析解算。根據(jù)需要和數(shù)據(jù)的類型收集匯總的數(shù)據(jù)保存到大數(shù)據(jù)存儲(chǔ)平臺(tái)。前端展現(xiàn)系統(tǒng)再到大數(shù)據(jù)存儲(chǔ)平臺(tái)讀取并展現(xiàn)數(shù)據(jù)。

以上已對(duì)本發(fā)明創(chuàng)造的較佳實(shí)施例進(jìn)行了具體說(shuō)明，但本發(fā)明創(chuàng)造并不限于所述實(shí)施例，熟悉本領(lǐng)域的技術(shù)人員在不違背本發(fā)明創(chuàng)造精神的前提下還可作出種種的等同的變型或替換，這些等同的變型或替換均包含在本申請(qǐng)權(quán)利要求所限定的范圍內(nèi)。