本發(fā)明屬于通信領(lǐng)域，具體涉及一種基于云平臺的多維數(shù)據(jù)融合分析系統(tǒng)及方法。

背景技術(shù)：

目前電信數(shù)據(jù)、物流數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)等社會資源日益增長，無論是物流公司或者社區(qū)物業(yè)管理等企業(yè)各個內(nèi)部信息管理分析系統(tǒng)只是針對單一資源進行查詢分析，相互孤立，缺乏信息共享。同時企業(yè)不同網(wǎng)點的業(yè)務(wù)分析系統(tǒng)分布在不同的網(wǎng)絡(luò)中，無法進行數(shù)據(jù)共享，使用時需要切換不同的子系統(tǒng)分別進行分析，再進行人工匯總，使用過程中存在諸多不便，更加不能對可能存在關(guān)聯(lián)的不同業(yè)務(wù)數(shù)據(jù)進行深度挖掘。上述局限性，不利于建立各行業(yè)的的信息化建設(shè)，資源不能實現(xiàn)共享及深度挖掘。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于針對現(xiàn)有通信行業(yè)中電信數(shù)據(jù)、物流數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)等各個信息管理分析系統(tǒng)只是針對單一資源進行查詢分析，相互孤立，缺乏信息共享的問題，提供一種基于云平臺的多維數(shù)據(jù)融合分析系統(tǒng)及方法，該系統(tǒng)可以實現(xiàn)不同業(yè)務(wù)系統(tǒng)之間的信息共享及無縫連接，有效解決數(shù)據(jù)孤島和系統(tǒng)孤島問題。

為實現(xiàn)本發(fā)明目的，本發(fā)明采用的技術(shù)方案是：一種基于云平臺的多維數(shù)據(jù)融合分析系統(tǒng)，包括數(shù)據(jù)源層、接入傳輸層、數(shù)據(jù)共享交換中心及大數(shù)據(jù)融合分析平臺，所述數(shù)據(jù)源層用以從業(yè)務(wù)系統(tǒng)中獲取所需數(shù)據(jù)，所述接入傳輸層用以將數(shù)據(jù)源層獲取的數(shù)據(jù)輸送至數(shù)據(jù)共享交換中心，所述數(shù)據(jù)共享交換中心包括數(shù)據(jù)的抽取模塊、清洗模塊及轉(zhuǎn)換模塊，所述抽取模塊用以融合各種數(shù)據(jù)資源，并將數(shù)據(jù)統(tǒng)一同步至系統(tǒng)數(shù)據(jù)中心；所述清洗模塊用以對同步至數(shù)據(jù)中心的數(shù)據(jù)按照統(tǒng)一元數(shù)據(jù)規(guī)范對各類數(shù)據(jù)進行處理，所述轉(zhuǎn)換模塊用以對經(jīng)清洗模塊處理過的數(shù)據(jù)進行格式的統(tǒng)一轉(zhuǎn)換；所述大數(shù)據(jù)融合分析平臺包括索引構(gòu)建模塊、分析挖掘模塊及布控預警模塊；所述索引構(gòu)建模塊用以對數(shù)據(jù)庫表中一列或多列的值進行排序，并分析出該數(shù)據(jù)的關(guān)聯(lián)屬性；所述分析挖掘模塊用以結(jié)合查詢條件、選擇數(shù)據(jù)分析模型解析出滿足用戶需求的數(shù)據(jù)，所述布控預警模塊用以將位于數(shù)據(jù)中心的數(shù)據(jù)分發(fā)到數(shù)據(jù)預警中心，在數(shù)據(jù)預警中心中將數(shù)據(jù)與系統(tǒng)設(shè)定的預警模型進行匹配，如果匹配成功，則發(fā)送該條數(shù)據(jù)信息到指定負責人。

基于上述技術(shù)方案，所述索引構(gòu)建模塊包括時間索引模塊、空間索引模塊、關(guān)系索引模塊及知識庫。

基于上述技術(shù)方案，所述數(shù)據(jù)源層獲取數(shù)據(jù)的方式為手動導入、通過接口抽取的方式同步數(shù)據(jù)或者通過服務(wù)調(diào)用接口方式獲取數(shù)據(jù)中的一種。

基于上述技術(shù)方案，所述大數(shù)據(jù)融合分析平臺還包括權(quán)限管理模塊，所述權(quán)限管理模塊包括功能權(quán)限模塊和數(shù)據(jù)權(quán)限模塊，所述功能權(quán)限模塊用以對每一個功能模塊的每一項操作授權(quán)；所述數(shù)據(jù)權(quán)限模塊既用以對數(shù)據(jù)行的授權(quán)，又用以對數(shù)據(jù)字段的授權(quán)。

基于上述技術(shù)方案，所述權(quán)限管理模塊為基于GUID的隱式資源調(diào)度控制系統(tǒng)，系統(tǒng)處于安全狀態(tài)時，關(guān)鍵的功能將禁止使用URL來訪問資源，而只能通過GUID訪問資源，GUID到實體的轉(zhuǎn)換被內(nèi)置起來接受權(quán)限系統(tǒng)的保護。

一種建立數(shù)據(jù)之間關(guān)聯(lián)達到數(shù)據(jù)之間共享的方法，首先，建立基礎(chǔ)要素的知識庫信息，在數(shù)據(jù)導入的過程中，逐步從中提取有用的信息逐步構(gòu)建和完善知識庫百科信息及其行為模式；其次，在獲取到目標對象的單個條件時，通過該獲取目標對象關(guān)聯(lián)點的百科信息分析出與該關(guān)聯(lián)點相關(guān)的其他屬性，進而關(guān)聯(lián)包含這些屬性的所有數(shù)據(jù)源。

本發(fā)明具備以下有益效果：本發(fā)明適用于物流、物業(yè)社區(qū)管理等各個行業(yè)中，具備通用性。本發(fā)明基于“云計算”架構(gòu)，為各業(yè)務(wù)系統(tǒng)提供統(tǒng)一接入平臺，系統(tǒng)首創(chuàng)“線索模型”，可根據(jù)分析模型智能深度挖掘，跨平臺整合多維信息，形成有價值的信息鏈。實現(xiàn)不同業(yè)務(wù)系統(tǒng)之間的信息共享及無縫連接，有效解決數(shù)據(jù)孤島和系統(tǒng)孤島問題。

本系統(tǒng)采用接口接入的方式進行融合，避免數(shù)據(jù)進行多次存儲，節(jié)省數(shù)據(jù)存儲空間。本系統(tǒng)對其他各個業(yè)務(wù)系統(tǒng)的融合方式不同于當下流行的“單點登錄”，單點登錄只是使用同一用戶登錄到統(tǒng)一平臺，但是針對各個業(yè)務(wù)數(shù)據(jù)的查詢分析還需要切換到業(yè)務(wù)系統(tǒng)中進行操作，只是對用戶統(tǒng)一了登錄方式及口令，不能實現(xiàn)完全替代業(yè)務(wù)系統(tǒng)的目標。本系統(tǒng)是對業(yè)務(wù)系統(tǒng)的完全融合，建立統(tǒng)一預警平臺、數(shù)據(jù)中心、流程管理、審查中心、用戶權(quán)限管理等。本系統(tǒng)完全可以替代已經(jīng)存在的各個業(yè)務(wù)系統(tǒng)如電信數(shù)據(jù)系統(tǒng)、物流系統(tǒng)、卡口系統(tǒng)等。針對以后新增加的數(shù)據(jù)源，無需重新針對其開發(fā)新的應(yīng)用系統(tǒng)，只需要在本系統(tǒng)中進行相應(yīng)的配置即可，配置完成后就可對新增數(shù)據(jù)源進行數(shù)據(jù)分析挖掘。

附圖說明

圖1是本發(fā)明基于云平臺的多維數(shù)據(jù)融合分析系統(tǒng)的結(jié)構(gòu)框架示意圖。

圖2是本發(fā)明消息告警流程示意圖。

具體實施方式

下面結(jié)合具體實施例對本發(fā)明做進一步說明，以便更好地理解本發(fā)明技術(shù)方案。

實施例1：一種基于云平臺的多維數(shù)據(jù)融合分析系統(tǒng)，參見圖1，包括數(shù)據(jù)源層、接入傳輸層、數(shù)據(jù)共享交換中心及大數(shù)據(jù)融合分析平臺，所述數(shù)據(jù)源層用以從業(yè)務(wù)系統(tǒng)中獲取所需數(shù)據(jù)，所述數(shù)據(jù)源層獲取的數(shù)據(jù)源可以為物流數(shù)據(jù)、路測數(shù)據(jù)、社區(qū)資源及卡口數(shù)據(jù)等，根據(jù)系統(tǒng)需要，還可以獲取其他類數(shù)據(jù)。獲取數(shù)據(jù)的方式有：1. 手動導入：外部系統(tǒng)導出的數(shù)據(jù)，格式包括txt、excel、csv、dmp等，可導入到分析系統(tǒng)中。2. 通過接口抽取的方式同步數(shù)據(jù)，可采用實時、定時機制同步數(shù)據(jù)。3. 通過服務(wù)調(diào)用接口方式，實時從其他業(yè)務(wù)系統(tǒng)獲取所需數(shù)據(jù)。

在數(shù)據(jù)源層獲取的數(shù)據(jù)主要存在兩種類型：1）結(jié)構(gòu)化數(shù)據(jù)：現(xiàn)有RDBMS庫中的數(shù)據(jù)，關(guān)鍵數(shù)據(jù)少的部分，可以通過ETL層利用在線同步的方式同步到數(shù)據(jù)中心的分布式數(shù)據(jù)庫集群上。數(shù)據(jù)量大的部分，通過文件等方式傳送到數(shù)據(jù)中心的分布式數(shù)據(jù)庫集群中；或者通過接口實時調(diào)用的方式。2）非結(jié)構(gòu)化數(shù)據(jù)：各系統(tǒng)中相關(guān)的音頻、視頻、圖片等以及其他較大的文件。針對這類數(shù)據(jù)通過數(shù)據(jù)ETL層進行交換處理，存放于數(shù)據(jù)中心的分布式文件系統(tǒng)(DFS)中，指定冗余度，可以同時實現(xiàn)統(tǒng)一存儲管理和冗余備份。而WEB平臺錄入的信息: 可以經(jīng)過ETL層的處理直接同步到數(shù)據(jù)中心的分布式數(shù)據(jù)集群中。

所述接入傳輸層用以將數(shù)據(jù)源層獲取數(shù)據(jù)輸送至數(shù)據(jù)共享交換中心，所述數(shù)據(jù)共享交換中心包括數(shù)據(jù)的抽取模塊、清洗模塊及轉(zhuǎn)換模塊，所述抽取模塊用以融合各種數(shù)據(jù)資源，通過手動抽取、接口接入、服務(wù)調(diào)用等方式，統(tǒng)一同步至系統(tǒng)數(shù)據(jù)中心，所述清洗模塊用以對同步至數(shù)據(jù)中心的數(shù)據(jù)按照統(tǒng)一元數(shù)據(jù)規(guī)范對各類數(shù)據(jù)進行處理，清洗模塊中的清洗工具具有以下功能：1）支持常見文件格式，至少包括txt文件、csv文件、excel文件、dmp文件等多種數(shù)據(jù)格式。2）相同數(shù)據(jù)、不同數(shù)據(jù)的轉(zhuǎn)換過程能夠自定義。3）能夠?qū)崿F(xiàn)數(shù)據(jù)格式的轉(zhuǎn)換，按照要求進行標準化處理。4）數(shù)據(jù)規(guī)范化工具操作便利、界面直觀。5）數(shù)據(jù)格式化工作可自動和人工進行。所述轉(zhuǎn)換模塊用以對經(jīng)清洗模塊處理過的數(shù)據(jù)進行格式的統(tǒng)一轉(zhuǎn)換。從數(shù)據(jù)源層獲取的數(shù)據(jù)先通過抽取模塊統(tǒng)一同步至系統(tǒng)數(shù)據(jù)中心，然后同步至系統(tǒng)數(shù)據(jù)中心的數(shù)據(jù)經(jīng)清洗模塊按照統(tǒng)一元數(shù)據(jù)規(guī)范對各類數(shù)據(jù)進行處理，然后再統(tǒng)一進入數(shù)據(jù)中心存儲，最后經(jīng)轉(zhuǎn)換模塊對數(shù)據(jù)統(tǒng)一格式、統(tǒng)一規(guī)范。

所述大數(shù)據(jù)融合分析平臺包括索引構(gòu)建模塊、分析挖掘模塊及布控預警模塊；所述索引構(gòu)建模塊包括時間索引模塊、空間索引模塊、關(guān)系索引模塊及知識庫，時間索引模塊、空間索引模塊、關(guān)系索引模塊均采用現(xiàn)有技術(shù)，例如：空間索引模塊指依據(jù)空間對象的位置和形狀或空間對象之間的某種空間關(guān)系按一定的順序排列的一種數(shù)據(jù)結(jié)構(gòu)；所述索引構(gòu)建模塊用以對數(shù)據(jù)庫表中一列或多列的值進行排序，并分析出該數(shù)據(jù)的關(guān)聯(lián)屬性。

所述分析挖掘模塊用以結(jié)合查詢條件、選擇數(shù)據(jù)分析模型解析出滿足用戶需求。分析挖掘模塊分析事項很多，例如：對于物業(yè)管理公司來說要分析的數(shù)據(jù)可以為以人或者社區(qū)為對象的分析：區(qū)域內(nèi)事件分析、移動軌跡歷史查詢及區(qū)域內(nèi)出現(xiàn)頻次分析。其中區(qū)域內(nèi)事件分析包括區(qū)域內(nèi)社會活動分析、進入離開區(qū)域分析，區(qū)域內(nèi)社會活動分析：即某一特定區(qū)域內(nèi)發(fā)生的所有社會活動信息。進入離開區(qū)域分析：特定時間段進入或離開某一區(qū)域的人群分析。區(qū)域內(nèi)出現(xiàn)頻次分析：通過對某一區(qū)域人群出現(xiàn)的頻次進行分析，包含常駐人口分析、區(qū)域內(nèi)異常消失的人員分析等。移動軌跡歷史查詢：通過其活動歷史記錄，還原其原始運動軌跡。分析挖掘模塊可分析很多，并不僅限于以上所述，例如還可以對人員關(guān)系網(wǎng)絡(luò)、人移動軌跡預測等進行分析。而再如對于物流公司來說，要分析的數(shù)據(jù)可以為以郵寄對象或者快遞員活動軌跡為對象的分析。

所述布控預警模塊用以將位于數(shù)據(jù)中心的數(shù)據(jù)分發(fā)到數(shù)據(jù)預警中心，在數(shù)據(jù)預警中心中將數(shù)據(jù)與系統(tǒng)設(shè)定的預警模型進行匹配，如果匹配成功，則發(fā)送該條數(shù)據(jù)信息到指定負責人。

所述大數(shù)據(jù)融合分析平臺還包括權(quán)限管理模塊，所述權(quán)限管理模塊包括功能權(quán)限模塊和數(shù)據(jù)權(quán)限模塊，所述功能權(quán)限模塊用以對每一個功能模塊的每一項操作授權(quán)；所述數(shù)據(jù)權(quán)限模塊既可以用以對數(shù)據(jù)行的授權(quán)，還可以用以對數(shù)據(jù)字段的授權(quán)。權(quán)限分配還可以根據(jù)功能或者數(shù)據(jù)的元數(shù)據(jù)信息，成批的對數(shù)據(jù)和功能進行權(quán)限分配，支持用戶自定義角色，根據(jù)角色加載相關(guān)權(quán)限的菜單、工具條，并在執(zhí)行的過程中進行檢查與限制，為用戶搭建應(yīng)用系統(tǒng)提供權(quán)限的分配。

本實施例中權(quán)限管理模塊為基于GUID的隱式資源調(diào)度控制系統(tǒng)，系統(tǒng)處于安全狀態(tài)時，關(guān)鍵的功能將禁止使用URL來訪問資源，而只能通過GUID訪問資源，GUID到實體的轉(zhuǎn)換被內(nèi)置起來接受權(quán)限系統(tǒng)的保護。

本實施例的多維數(shù)據(jù)融合分析系統(tǒng)采用先進的J2EE技術(shù)架構(gòu)，基于多層軟件構(gòu)架(即表示層、業(yè)務(wù)層、控制層)，其中表示層采用jquery、easyui等框架；控制層、業(yè)務(wù)層采用jfinal框架。采用面向服務(wù)的集成各種應(yīng)用系統(tǒng)，能夠為用戶提供先進實用、安全可靠、便于兼容、易于擴展的應(yīng)用解決方案。大數(shù)據(jù)分析平臺基于Web程序，用戶訪問只需要通過瀏覽器訪問即可，避免了用戶安裝所需軟件環(huán)境的麻煩。

J2EE(Java 2 Platform Enterprise Edition)是Java2平臺企業(yè)版。J2EE是一套全然不同于傳統(tǒng)應(yīng)用開發(fā)的技術(shù)架構(gòu)，包含大量組件，可簡化且規(guī)范應(yīng)用系統(tǒng)的開發(fā)與部署，進而提高可移植性、伸縮性、安全性與再用價值。J2EE核心是一組技術(shù)規(guī)范與指南，其中所包含的各類組件、服務(wù)架構(gòu)及技術(shù)層次，均有共同的標準及規(guī)格，讓各種遵循J2EE架構(gòu)開發(fā)的軟件存在良好的兼容性，解決過去使用的軟件產(chǎn)品彼此之間無法兼容、導致內(nèi)部或外部應(yīng)用難以互通的窘境。J2EE企業(yè)級應(yīng)用的不同部分納入不同的容器(Container)，每個容器中都包含若干組件(這些組件是需要部署在相應(yīng)容器中的)，同時各種組件都能使用各種J2EE Service與API。J2EE容器與相應(yīng)的組件可以部署在網(wǎng)絡(luò)中的任一服務(wù)器上，具有良好的可伸縮性。J2EE組件的安全是由各自的容器來負責的，組件的開發(fā)人員幾乎可以不用或者很少在組件中添加有關(guān)安全的代碼。這種安全邏輯和業(yè)務(wù)邏輯相對獨立的架構(gòu)，使得企業(yè)級應(yīng)用系統(tǒng)有更好的靈活性和擴展性 。

本實施例建立數(shù)據(jù)之間的關(guān)聯(lián)達到數(shù)據(jù)之間的共享的方法為：首先建立基礎(chǔ)要素的知識庫信息，在數(shù)據(jù)導入的過程中，逐步從中提取有用的信息逐步構(gòu)建和完善知識庫百科信息及其行為模式；其次，在獲取到目標對象的單個條件時，通過該獲取目標對象關(guān)聯(lián)點的百科信息分析出與該關(guān)聯(lián)點相關(guān)的其他屬性，進而關(guān)聯(lián)包含這些屬性的所有數(shù)據(jù)源。例如，對于社區(qū)的物業(yè)管理來說，主要建立社區(qū)人員的知識庫信息。

如圖2所示，使用本實施例基于云平臺的多維數(shù)據(jù)融合分析系統(tǒng)的消息告警流程為：業(yè)務(wù)系統(tǒng)需要先將消息類型注冊到大數(shù)據(jù)融合分析平臺，用戶可根據(jù)需要訂閱這些消息，當具體業(yè)務(wù)系統(tǒng)發(fā)出告警信息時，發(fā)送信息到MQ消息中間件，MQ消息中間件自動推送消息到大數(shù)據(jù)融合分析平臺，平臺根據(jù)該消息的訂閱者自動推送給相應(yīng)的用戶。