本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，具體為一種大數(shù)據(jù)管理系統(tǒng)。

背景技術(shù)：

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，各行各領(lǐng)域數(shù)據(jù)呈幾何級(jí)快速增長(zhǎng)。這些數(shù)據(jù)來(lái)自各個(gè)方面，從搜集天氣情況的感測(cè)器、數(shù)碼圖片、在線的視頻資料，到網(wǎng)絡(luò)購(gòu)物的交易記錄，手機(jī)的全球定位系統(tǒng)信號(hào)等，伴隨著數(shù)據(jù)規(guī)模的急劇膨脹，各行業(yè)累計(jì)的數(shù)據(jù)量越來(lái)越大，數(shù)據(jù)類型也越來(lái)越多，數(shù)據(jù)結(jié)構(gòu)越來(lái)越復(fù)雜，已經(jīng)超越了傳統(tǒng)數(shù)據(jù)管理系統(tǒng)、處理模式的能力范圍，傳統(tǒng)的串行數(shù)據(jù)庫(kù)系統(tǒng)已經(jīng)難以適應(yīng)這種飛速增長(zhǎng)的應(yīng)用需求，在生產(chǎn)實(shí)踐中表現(xiàn)出的能力明顯不足，無(wú)法滿足大數(shù)據(jù)時(shí)代的管理要求，為此，我們提出了一種大數(shù)據(jù)管理系統(tǒng)投入使用，以解決上述問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種大數(shù)據(jù)管理系統(tǒng)，以解決上述背景技術(shù)中提出的傳統(tǒng)串行數(shù)據(jù)處理方式不能滿足大數(shù)據(jù)管理要求的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種大數(shù)據(jù)管理系統(tǒng)，包括數(shù)據(jù)采集模塊，所述數(shù)據(jù)采集模塊電性輸出連接數(shù)據(jù)預(yù)處理單元，所述數(shù)據(jù)預(yù)處理單元電性輸出連接數(shù)據(jù)存儲(chǔ)系統(tǒng)，所述數(shù)據(jù)存儲(chǔ)系統(tǒng)分別電性輸出連接數(shù)據(jù)分類模塊和數(shù)據(jù)索引單元，所述數(shù)據(jù)分類模塊和數(shù)據(jù)索引單元均電性輸出連接數(shù)據(jù)整合單元，所述數(shù)據(jù)整合單元分別電性輸出連接查詢?cè)L問(wèn)端口和數(shù)據(jù)分析系統(tǒng)，所述數(shù)據(jù)分析系統(tǒng)電性輸出連接數(shù)據(jù)建模單元，所述數(shù)據(jù)建模單元電性輸出連接數(shù)據(jù)服務(wù)系統(tǒng)，所述數(shù)據(jù)服務(wù)系統(tǒng)電性輸出連接數(shù)據(jù)結(jié)果展示單元，所述數(shù)據(jù)服務(wù)系統(tǒng)電性雙向連接運(yùn)維管理單元。

優(yōu)選的，所述數(shù)據(jù)存儲(chǔ)系統(tǒng)包括綜合數(shù)據(jù)管理系統(tǒng)，所述綜合數(shù)據(jù)管理系統(tǒng)分別電性雙向連接綜合數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)，所述綜合數(shù)據(jù)庫(kù)電性輸出連接數(shù)據(jù)庫(kù)同步發(fā)布單元。

優(yōu)選的，所述實(shí)時(shí)數(shù)據(jù)庫(kù)內(nèi)部包括數(shù)據(jù)庫(kù)管理單元、內(nèi)存數(shù)據(jù)庫(kù)和硬盤數(shù)據(jù)庫(kù)，所述分布式文件系統(tǒng)包括源數(shù)據(jù)管理、訪問(wèn)控制和冗余文件解析模塊。

優(yōu)選的，所述數(shù)據(jù)分析系統(tǒng)包括分布式調(diào)度單元，所述分布式調(diào)度單元電性輸入連接分布式計(jì)算模型，所述分布式計(jì)算模型分別電性雙向連接數(shù)據(jù)轉(zhuǎn)換模塊、數(shù)據(jù)聚合單元、數(shù)據(jù)關(guān)聯(lián)單元和數(shù)據(jù)挖掘單元。

優(yōu)選的，所述數(shù)據(jù)服務(wù)系統(tǒng)包括分布式數(shù)據(jù)總線，所述分布式數(shù)據(jù)總線分別電性雙向連接服務(wù)管理系統(tǒng)、數(shù)據(jù)訪問(wèn)服務(wù)和業(yè)務(wù)邏輯服務(wù)，所述數(shù)據(jù)訪問(wèn)服務(wù)和業(yè)務(wù)邏輯服務(wù)均電性輸出連接數(shù)據(jù)緩存模塊。

優(yōu)選的，所述數(shù)據(jù)訪問(wèn)服務(wù)內(nèi)部包括數(shù)據(jù)庫(kù)訪問(wèn)單元、實(shí)時(shí)數(shù)據(jù)訪問(wèn)單元和文件系統(tǒng)訪問(wèn)單元，所述業(yè)務(wù)邏輯服務(wù)包括推薦系統(tǒng)、智能解析模塊和統(tǒng)計(jì)報(bào)表單元。

優(yōu)選的，所述運(yùn)維管理單元包括監(jiān)測(cè)傳感器單元、數(shù)據(jù)源和儀表組件，所述監(jiān)測(cè)傳感器單元、數(shù)據(jù)源和儀表組件均電性輸出連接采集配置單元，所述采集配置單元電性輸出連接中繼節(jié)點(diǎn)，所述中繼節(jié)點(diǎn)電性輸出連接信號(hào)放大單元，所述信號(hào)放大單元電性輸出連接控制終端。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：該系統(tǒng)支持?jǐn)?shù)據(jù)采集點(diǎn)的地理分布和網(wǎng)絡(luò)跨域，支持不同業(yè)務(wù)系統(tǒng)的不同數(shù)據(jù)類型的采集，能夠?qū)崟r(shí)的對(duì)數(shù)據(jù)進(jìn)行抓取，檢測(cè)數(shù)據(jù)的前后狀態(tài)變化，在滿足一致性要求的基礎(chǔ)上，能夠安全、可靠、快速有效的對(duì)多類型、多格式、多特性的數(shù)據(jù)進(jìn)行存儲(chǔ)，通過(guò)數(shù)據(jù)分類聚合和數(shù)據(jù)索引標(biāo)記等技術(shù)對(duì)數(shù)據(jù)進(jìn)行處理，并提供統(tǒng)一高效的查詢?cè)L問(wèn)服務(wù)，對(duì)海量的數(shù)據(jù)進(jìn)行分析探索和挖掘，搜尋數(shù)據(jù)的模式及特征，尋找數(shù)據(jù)背后的信息變化，通過(guò)分析結(jié)構(gòu)概念化和系統(tǒng)化，并多維度多樣化立體的對(duì)數(shù)據(jù)信息進(jìn)行展示，滿足當(dāng)今社會(huì)信息數(shù)據(jù)膨脹式發(fā)展所必需的數(shù)據(jù)管理要求。

附圖說(shuō)明

圖1為本發(fā)明系統(tǒng)框圖；

圖2為本發(fā)明數(shù)據(jù)存儲(chǔ)系統(tǒng)框圖；

圖3為本發(fā)明數(shù)據(jù)分析系統(tǒng)框圖；

圖4為本發(fā)明數(shù)據(jù)服務(wù)系統(tǒng)框圖；

圖5為本發(fā)明運(yùn)維管理單元系統(tǒng)框圖；

圖6為本發(fā)明工作流程圖。

圖中：1數(shù)據(jù)采集模塊、2數(shù)據(jù)預(yù)處理單元、3數(shù)據(jù)存儲(chǔ)系統(tǒng)、31綜合數(shù)據(jù)管理系統(tǒng)、32綜合數(shù)據(jù)庫(kù)、33數(shù)據(jù)庫(kù)同步發(fā)布單元、34實(shí)時(shí)數(shù)據(jù)庫(kù)、35分布式文件系統(tǒng)、4數(shù)據(jù)分類模塊、5數(shù)據(jù)索引單元、6查詢?cè)L問(wèn)端口、7數(shù)據(jù)分析系統(tǒng)、71分布式調(diào)度單元、72分布式計(jì)算模型、73數(shù)據(jù)轉(zhuǎn)換模塊、74數(shù)據(jù)聚合單元、75數(shù)據(jù)關(guān)聯(lián)單元、76數(shù)據(jù)挖掘單元、8數(shù)據(jù)建模單元、9數(shù)據(jù)服務(wù)系統(tǒng)、91分布式數(shù)據(jù)總線、92服務(wù)管理系統(tǒng)、93數(shù)據(jù)訪問(wèn)服務(wù)、94業(yè)務(wù)邏輯服務(wù)、95數(shù)據(jù)緩存模塊、10數(shù)據(jù)結(jié)果展示單元、11運(yùn)維管理單元、111監(jiān)測(cè)傳感器單元、112數(shù)據(jù)源、113儀表組件、114采集配置單元、115中繼節(jié)點(diǎn)、116信號(hào)放大單元、117控制終端、12數(shù)據(jù)整合單元。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請(qǐng)參閱圖1-6，本發(fā)明提供一種技術(shù)方案：一種大數(shù)據(jù)管理系統(tǒng)，包括數(shù)據(jù)采集模塊1，所述數(shù)據(jù)采集模塊1電性輸出連接數(shù)據(jù)預(yù)處理單元2，所述數(shù)據(jù)預(yù)處理單元2電性輸出連接數(shù)據(jù)存儲(chǔ)系統(tǒng)3，所述數(shù)據(jù)存儲(chǔ)系統(tǒng)3分別電性輸出連接數(shù)據(jù)分類模塊4和數(shù)據(jù)索引單元5，所述數(shù)據(jù)分類模塊4和數(shù)據(jù)索引單元5均電性輸出連接數(shù)據(jù)整合單元12，所述數(shù)據(jù)整合單元12分別電性輸出連接查詢?cè)L問(wèn)端口6和數(shù)據(jù)分析系統(tǒng)7，所述數(shù)據(jù)分析系統(tǒng)7電性輸出連接數(shù)據(jù)建模單元8，所述數(shù)據(jù)建模單元8電性輸出連接數(shù)據(jù)服務(wù)系統(tǒng)9，所述數(shù)據(jù)服務(wù)系統(tǒng)9電性輸出連接數(shù)據(jù)結(jié)果展示單元10，所述數(shù)據(jù)服務(wù)系統(tǒng)9電性雙向連接運(yùn)維管理單元11。

其中，所述數(shù)據(jù)存儲(chǔ)系統(tǒng)3包括綜合數(shù)據(jù)管理系統(tǒng)31，所述綜合數(shù)據(jù)管理系統(tǒng)31分別電性雙向連接綜合數(shù)據(jù)庫(kù)32、實(shí)時(shí)數(shù)據(jù)庫(kù)34和分布式文件系統(tǒng)35，所述綜合數(shù)據(jù)庫(kù)32電性輸出連接數(shù)據(jù)庫(kù)同步發(fā)布單元33，所述實(shí)時(shí)數(shù)據(jù)庫(kù)34內(nèi)部包括數(shù)據(jù)庫(kù)管理單元、內(nèi)存數(shù)據(jù)庫(kù)和硬盤數(shù)據(jù)庫(kù)，所述分布式文件系統(tǒng)35包括源數(shù)據(jù)管理、訪問(wèn)控制和冗余文件解析模塊，所述數(shù)據(jù)分析系統(tǒng)7包括分布式調(diào)度單元71，所述分布式調(diào)度單元71電性輸入連接分布式計(jì)算模型72，所述分布式計(jì)算模型72分別電性雙向連接數(shù)據(jù)轉(zhuǎn)換模塊73、數(shù)據(jù)聚合單元74、數(shù)據(jù)關(guān)聯(lián)單元75和數(shù)據(jù)挖掘單元76，所述數(shù)據(jù)服務(wù)系統(tǒng)9包括分布式數(shù)據(jù)總線91，所述分布式數(shù)據(jù)總線91分別電性雙向連接服務(wù)管理系統(tǒng)92、數(shù)據(jù)訪問(wèn)服務(wù)93和業(yè)務(wù)邏輯服務(wù)94，所述數(shù)據(jù)訪問(wèn)服務(wù)93和業(yè)務(wù)邏輯服務(wù)94均電性輸出連接數(shù)據(jù)緩存模塊95，所述數(shù)據(jù)訪問(wèn)服務(wù)93內(nèi)部包括數(shù)據(jù)庫(kù)訪問(wèn)單元、實(shí)時(shí)數(shù)據(jù)訪問(wèn)單元和文件系統(tǒng)訪問(wèn)單元，所述業(yè)務(wù)邏輯服務(wù)94包括推薦系統(tǒng)、智能解析模塊和統(tǒng)計(jì)報(bào)表單元，所述運(yùn)維管理單元11包括監(jiān)測(cè)傳感器單元111、數(shù)據(jù)源112和儀表組件113，所述監(jiān)測(cè)傳感器單元111、數(shù)據(jù)源112和儀表組件113均電性輸出連接采集配置單元114，所述采集配置單元114電性輸出連接中繼節(jié)點(diǎn)115，所述中繼節(jié)點(diǎn)115電性輸出連接信號(hào)放大單元116，所述信號(hào)放大單元116電性輸出連接控制終端117。

工作原理：在步驟系統(tǒng)初始化中，對(duì)整個(gè)系統(tǒng)首先進(jìn)行初始化，完成后執(zhí)行系統(tǒng)故障檢測(cè)步驟，若出現(xiàn)異常時(shí)，返回上一步驟進(jìn)行重新初始化，若正常，則執(zhí)行數(shù)據(jù)分析步驟，在數(shù)據(jù)分析步驟中對(duì)大數(shù)據(jù)進(jìn)行分析，完成后進(jìn)行數(shù)據(jù)整合，將各種類型的數(shù)據(jù)整合處理后，通過(guò)數(shù)據(jù)結(jié)果展示輸出，則完成這個(gè)數(shù)據(jù)管理過(guò)程。

通過(guò)數(shù)據(jù)采集模塊1對(duì)多種類、多來(lái)源的全業(yè)務(wù)流程數(shù)據(jù)進(jìn)行采集獲取，利用數(shù)據(jù)預(yù)處理單元2進(jìn)行層級(jí)化的抽取、過(guò)濾等處理，數(shù)據(jù)存儲(chǔ)系統(tǒng)3能夠在滿足一致性要求的基礎(chǔ)上，安全可靠的對(duì)多類型、多格式、多特性的數(shù)據(jù)進(jìn)行存儲(chǔ)，利用數(shù)據(jù)分類模塊4和數(shù)據(jù)索引單元5對(duì)存儲(chǔ)后的數(shù)據(jù)進(jìn)行分類與索引處理，經(jīng)由數(shù)據(jù)整合單元12整合零散的源數(shù)據(jù)，查詢?cè)L問(wèn)端口6可外接查詢?cè)O(shè)備對(duì)系統(tǒng)信息實(shí)時(shí)查詢，通過(guò)數(shù)據(jù)分析系統(tǒng)7，從存放在數(shù)據(jù)存儲(chǔ)系統(tǒng)3中的大量源數(shù)據(jù)和用戶行為數(shù)據(jù)中獲取價(jià)值信息，利用數(shù)據(jù)建模單元8建立數(shù)據(jù)模型，通過(guò)數(shù)據(jù)服務(wù)系統(tǒng)9經(jīng)由數(shù)據(jù)結(jié)果展示單元10對(duì)分析結(jié)果概念化和系統(tǒng)化，并多維度和多樣化立體的進(jìn)行展示，利用運(yùn)維管理單元11配置和控制權(quán)限管理，監(jiān)控報(bào)警以及故障管理，在數(shù)據(jù)存儲(chǔ)系統(tǒng)3中，通過(guò)綜合數(shù)據(jù)管理系統(tǒng)31綜合管理綜合數(shù)據(jù)庫(kù)32、實(shí)時(shí)數(shù)據(jù)庫(kù)34和分布式文件系統(tǒng)35，由數(shù)據(jù)庫(kù)同步發(fā)布單元33實(shí)時(shí)的發(fā)布綜合數(shù)據(jù)庫(kù)32中的信息，在數(shù)據(jù)分析系統(tǒng)7中，通過(guò)分布式調(diào)度單元71控制分布式計(jì)算模型72，實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)聚合、數(shù)據(jù)關(guān)聯(lián)和數(shù)據(jù)的挖掘功能，數(shù)據(jù)分析全面，分析能力強(qiáng)，在數(shù)據(jù)服務(wù)系統(tǒng)9中，利用分布式數(shù)據(jù)總線91分別控制服務(wù)管理系統(tǒng)92、數(shù)據(jù)訪問(wèn)服務(wù)93和業(yè)務(wù)邏輯單元94，能夠全面的對(duì)終端分散的源數(shù)據(jù)進(jìn)行深化處理，并由數(shù)據(jù)緩存模塊95實(shí)施緩存，在運(yùn)維管理單元11中，通過(guò)對(duì)監(jiān)測(cè)傳感器111、數(shù)據(jù)源112和儀表組件113中的數(shù)據(jù)信息經(jīng)由采集配置單元114實(shí)時(shí)采集，通過(guò)中繼節(jié)點(diǎn)115和信號(hào)放大單元116對(duì)信號(hào)源信號(hào)放大，并將放大后的信號(hào)傳輸至控制終端117中，該系統(tǒng)能夠滿足當(dāng)今社會(huì)信息數(shù)據(jù)膨脹式發(fā)展所必需的數(shù)據(jù)管理要求。

盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以理解在不脫離本發(fā)明的原理和精神的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同物限定。