專利名稱：基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機網(wǎng)絡(luò)的數(shù)據(jù)采集系統(tǒng)，具體為一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)和方法。
背景技術(shù)：
云計算(cloud computing),分布式計算技術(shù)的一種,其最基本的概念,是透過網(wǎng)絡(luò)將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序，再交由多部服務(wù)器所組成的龐大系統(tǒng)經(jīng)搜尋、計算分析之后將處理結(jié)果回傳給用戶。透過這項技術(shù)，網(wǎng)絡(luò)服務(wù)提供者可以 在數(shù)秒之內(nèi)，達成處理數(shù)以千萬計甚至億計的信息，達到和“超級計算機”同樣強大效能的網(wǎng)絡(luò)服務(wù)。一個基于云計算技術(shù)的計算機集群稱為“云”。云計算具有以下特點(I)超大規(guī)模。“云”具有相當?shù)囊?guī)模，企業(yè)私有云一般擁有數(shù)百上千臺服務(wù)器?！霸啤蹦苜x予用戶前所未有的計算能力；(2)虛擬化。云計算支持用戶在任意位置、使用各種終端獲取應(yīng)用服務(wù)。所請求的資源來自“云”，而不是固定的有形的實體。應(yīng)用在“云”中某處運行，但實際上用戶無需了解、也不用擔心應(yīng)用運行的具體位置；(3)高可靠性?！霸啤笔褂昧藬?shù)據(jù)多副本容錯、計算節(jié)點同構(gòu)可互換等措施來保障服務(wù)的高可靠性，使用云計算比使用本地計算機可靠；(4)通用性。云計算不針對特定的應(yīng)用，在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用，同一個“云”可以同時支撐不同的應(yīng)用運行；(5)高可擴展性。“云”的規(guī)?？梢詣討B(tài)伸縮，滿足應(yīng)用和用戶規(guī)模增長的需要；(6)極其廉價。由于“云”的特殊容錯措施可以采用極其廉價的節(jié)點來構(gòu)成云。數(shù)據(jù)采集指從一個系統(tǒng)或者終端獲取數(shù)據(jù)，并按照一定的格式存儲進入另一個系統(tǒng)或者終端的過程。計算機科學(xué)中的數(shù)據(jù)采集根據(jù)終端和系統(tǒng)的不同可以進行不同劃分，其中一種就是從異構(gòu)的分散的數(shù)據(jù)庫中采集數(shù)據(jù)，然后進行統(tǒng)一的數(shù)據(jù)管理和存儲。在移動搜索中，需要采集大量的用戶數(shù)據(jù)和移動環(huán)境數(shù)據(jù)。移動數(shù)據(jù)具有兩個主要特點，分散化和海量性。分散化指移動數(shù)據(jù)存在于運營商的各種異構(gòu)數(shù)據(jù)庫中，且分散于各個數(shù)據(jù)中心。海量性是指由于時間的累積和用戶的增長，移動用戶的消費記錄和無線環(huán)境數(shù)據(jù)都會呈現(xiàn)海量的特點。各個結(jié)點采集的數(shù)據(jù)，可以通過定義統(tǒng)一的數(shù)據(jù)格式而達到分散數(shù)據(jù)整合的目的，云計算透過網(wǎng)絡(luò)將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序，再交由多部服務(wù)器所組成的龐大系統(tǒng)經(jīng)搜尋、計算分析之后將處理結(jié)果回傳給用戶的特點，可以將分散的移動數(shù)據(jù)整合到一個統(tǒng)一的平臺上加以利用，這是其他計算模式無法提供的優(yōu)點。對于單個結(jié)點采集到的海量數(shù)據(jù)，云計算通過自己的超大規(guī)模和高容錯能力，更好的發(fā)揮整個系統(tǒng)的處理能力而不是單個結(jié)點的處理能力。Mesh網(wǎng)絡(luò)即“無線網(wǎng)格網(wǎng)絡(luò)”，它是一個無線多跳網(wǎng)絡(luò)，是由adhoc網(wǎng)絡(luò)發(fā)展而來，是解決“最后一公里”問題的關(guān)鍵技術(shù)之一。在像下一代網(wǎng)絡(luò)演進的過程中，無線是一個不可或缺的技術(shù)。無線mesh可以與其它網(wǎng)絡(luò)協(xié)同通信。是一個動態(tài)的可以不斷擴展的網(wǎng)絡(luò)架構(gòu)，任意的兩個設(shè)備均可以保持無線互聯(lián)。Mesh WLAN網(wǎng)絡(luò)要比單跳網(wǎng)絡(luò)更加穩(wěn)定，這是因為在數(shù)據(jù)通信中，網(wǎng)絡(luò)性能的發(fā)揮并不是僅依靠某個節(jié)點。在傳統(tǒng)的單跳無線網(wǎng)絡(luò)中，如果固定的AP發(fā)生故障，那么該網(wǎng)絡(luò)中所有的無線設(shè)備都不能進行通信。而在Mesh網(wǎng)絡(luò)中，如果某個節(jié)點的AP發(fā)生故障，它可以重新再選擇一個AP進行通信，數(shù)據(jù)仍然可以高速地到達目的地。從物理角度而言，無線通信意味著通信距離越短，通信的效果會越好。因為隨著通信距離的增長，無線信號不但會衰弱而且會相互干擾，從而降低數(shù)據(jù)通信的效率。而在Mesh網(wǎng)絡(luò)中，是以一條條較短的無線網(wǎng)絡(luò)連接代替以往長距離的連接，從而保證數(shù)據(jù)可以以高速率在節(jié)點之間快速傳遞。Mesh技術(shù)可以使WLAN的安裝部署，網(wǎng)絡(luò)擴容更加方便。許多廠家都推出了功能豐富的Mesh產(chǎn)品，從而使部署大規(guī)模運營級無線城域網(wǎng)成為可能。(具體的Mesh技術(shù)表示可以參考相關(guān)廠家的技術(shù)文檔。)比如Strix開發(fā)了 DMA協(xié)議(Strix Dynamic Mesh Architecture,動態(tài)mesh架構(gòu))，使無線訪問點具有自動配置網(wǎng)絡(luò)，并使網(wǎng)絡(luò)效率最優(yōu)化的特性。提供自我·組織，自我修復(fù)，更新動態(tài)網(wǎng)絡(luò)連接，確保網(wǎng)絡(luò)安全等等功能。無線Mesh網(wǎng)絡(luò)(無線網(wǎng)狀網(wǎng)絡(luò))也稱為“多跳(multi-hop)”網(wǎng)絡(luò)，它是一種與傳統(tǒng)無線網(wǎng)絡(luò)完全不同的新型無線網(wǎng)絡(luò)技術(shù)。在傳統(tǒng)的無線局域網(wǎng)(WLAN)中，每個客戶端均通過一條與AP相連的無線鏈路來訪問網(wǎng)絡(luò)，用戶如果要進行相互通信的話，必須首先訪問一個固定的接入點(AP)，這種網(wǎng)絡(luò)結(jié)構(gòu)被稱為單跳網(wǎng)絡(luò)。而在無線Mesh網(wǎng)絡(luò)中，任何無線設(shè)備節(jié)點都可以同時作為AP和路由器，網(wǎng)絡(luò)中的每個節(jié)點都可以發(fā)送和接收信號，每個節(jié)點都可以與一個或者多個對等節(jié)點進行直接通信。這種結(jié)構(gòu)的最大好處在于如果最近的AP由于流量過大而導(dǎo)致?lián)砣脑?，那么?shù)據(jù)可以自動重新路由到一個通信流量較小的鄰近節(jié)點進行傳輸。依此類推，數(shù)據(jù)包還可以根據(jù)網(wǎng)絡(luò)的情況，繼續(xù)路由到與之最近的下一個節(jié)點進行傳輸，直到到達最終目的地為止。這樣的訪問方式就是多跳訪問。與傳統(tǒng)的交換式網(wǎng)絡(luò)相比，無線Mesh網(wǎng)絡(luò)去掉了節(jié)點之間的布線需求，但仍具有分布式網(wǎng)絡(luò)所提供的冗余機制和重新路由功能。在無線Mesh網(wǎng)絡(luò)里，如果要添加新的設(shè)備，只需要簡單地接上電源就可以了，它可以自動進行自我配置，并確定最佳的多跳傳輸路徑。添加或移動設(shè)備時，網(wǎng)絡(luò)能夠自動發(fā)現(xiàn)拓撲變化，并自動調(diào)整通信路由，以獲取最有效的傳輸路徑。目前，云計算雖然將計算工作分布到網(wǎng)絡(luò)中的各個計算節(jié)點，但計算結(jié)果的管理以及應(yīng)用服務(wù)的提供仍然需要管理中心承擔，因此整個網(wǎng)絡(luò)中的各個節(jié)點、網(wǎng)關(guān)節(jié)點以及管理中心之間的數(shù)據(jù)通道尤為重要，單個節(jié)點故障也許并不影響云計算網(wǎng)絡(luò)的整體功能，但負責與管理中心連接的網(wǎng)關(guān)出現(xiàn)故障，則會導(dǎo)致分布計算、處理的數(shù)據(jù)結(jié)果無法匯總至管理中心，管理中心也就無法提供相關(guān)的應(yīng)用服務(wù)。其次，在傳感網(wǎng)絡(luò)中，即使具備自愈能力，但網(wǎng)絡(luò)中的關(guān)鍵節(jié)點(例如網(wǎng)關(guān)節(jié)點)產(chǎn)生故障時，仍然會使網(wǎng)絡(luò)的數(shù)據(jù)交互出現(xiàn)障礙，導(dǎo)致整個傳感網(wǎng)絡(luò)的應(yīng)用失效。此外，為了應(yīng)對因為網(wǎng)關(guān)故障導(dǎo)致的數(shù)據(jù)傳輸失敗，有的傳感網(wǎng)絡(luò)對數(shù)據(jù)進行了預(yù)處理，這就需要為傳感器或傳感節(jié)點增加數(shù)據(jù)處理和存儲的模塊，并對其進行應(yīng)用功能開發(fā)和設(shè)定，這種方式將直接增加傳感器或傳感節(jié)點的開發(fā)和生產(chǎn)成本，從而增加了整個傳感網(wǎng)絡(luò)的建設(shè)成本，受制于開發(fā)和生產(chǎn)成本，傳感器和傳感節(jié)點的數(shù)據(jù)處理能力必然受限，通常只能進行簡單的數(shù)據(jù)處理，無法完成復(fù)雜的運算。由于傳感網(wǎng)絡(luò)的應(yīng)用范圍日益廣泛，即便采用了數(shù)據(jù)預(yù)處理的方案，單純靠傳感器或傳感節(jié)點自身的計算處理能力遠遠不足以滿足實際應(yīng)用，仍然需要大型數(shù)據(jù)處理中心或管理中心的支撐，因此數(shù)據(jù)預(yù)處理的方案并不能解決傳感網(wǎng)絡(luò)因關(guān)鍵節(jié)點(例如網(wǎng)關(guān)節(jié)點)產(chǎn)生故障而導(dǎo)致的數(shù)據(jù)傳輸障礙。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)和方法，使用模塊化設(shè)計，分布式部署，即插即用，有效減少網(wǎng)絡(luò)數(shù)據(jù)量和管理中心計算量，大大降低網(wǎng)絡(luò)維護難度和部署成本。本發(fā)明的技術(shù)方案為提供一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)，所 述數(shù)據(jù)采集與匯總分流的系統(tǒng)包括擴展通信模塊、分別部署在云計算系統(tǒng)主節(jié)點和從節(jié)點的主節(jié)點系統(tǒng)和從節(jié)點系統(tǒng)；所述擴展通信模塊用于組網(wǎng)和通信并且基于Mesh網(wǎng)絡(luò)技術(shù)；所述主節(jié)點系統(tǒng)包括處理模塊用于選擇數(shù)據(jù)的處理方式；智能分析決策模塊主要用于調(diào)用所述處理模塊，生成針對從節(jié)點的預(yù)連接任務(wù)、預(yù)處理任務(wù)、預(yù)存儲任務(wù)，提交給云計算輔助管理主節(jié)點模塊；接收云計算輔助管理主節(jié)點模塊的預(yù)連接反饋信息，包括預(yù)連接信息、預(yù)處理信息、預(yù)存儲信息，根據(jù)該反饋信息生成數(shù)據(jù)采集任務(wù)，或者用戶報告，提交云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊是主節(jié)點系統(tǒng)通過擴展通信模塊與從節(jié)點系統(tǒng)的接口界面，并用于接收用戶提交的數(shù)據(jù)采集任務(wù)，提交給智能分析決策模塊，然后接受智能分析決策模塊的任務(wù)輸出，通過給擴展通信模塊提交給從節(jié)點系統(tǒng)的云計算輔助管理從節(jié)點模塊；所述從節(jié)點系統(tǒng)包括前臺連接模塊連接前臺的各種異構(gòu)數(shù)據(jù)庫，并反饋前臺連接信息；數(shù)據(jù)處理模塊對采集的數(shù)據(jù)進行必要的處理；數(shù)據(jù)存儲模塊存儲數(shù)據(jù)，反饋存儲信息；云計算輔助管理從節(jié)點模塊是從節(jié)點系統(tǒng)通過擴展通信模塊與主節(jié)點系統(tǒng)的接口界面，用于接收云計算輔助管理主節(jié)點模塊的預(yù)連接任務(wù)、預(yù)處理任務(wù)、預(yù)存儲任務(wù)，數(shù)據(jù)采集任務(wù)，調(diào)用所述前臺連接模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊，并將各種反饋信息通過返回給云計算輔助管理主節(jié)點模塊。優(yōu)選的，上述基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)，所述擴展通信模塊包括GSM，GPRS，3G，4G，WIFI和有線連接通信方式。優(yōu)選的，上述基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)，所述Mesh網(wǎng)絡(luò)采用802. lla/b/g/n 標準。本發(fā)明的另一技術(shù)方案為提供一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，包括以下步驟步驟I :通過擴展通信模塊與附近網(wǎng)絡(luò)建立連接，云計算輔助管理主節(jié)點模塊接收用戶提交的一個數(shù)據(jù)采集請求，提交給智能分析決策模塊；所述擴展通信模塊用于組網(wǎng)和通信并且基于Mesh網(wǎng)絡(luò)技術(shù)；步驟2 :智能分析決策模塊調(diào)用處理模塊，生成預(yù)連接任務(wù)輸出到云計算輔助管理主節(jié)點模塊；步驟3 :云計算輔助管理主節(jié)點模塊將預(yù)連接任務(wù)通過擴展通信模塊提交給從節(jié)點上的云計算輔助管理從節(jié)點模塊；步驟4:云計算輔助管理從節(jié)點模塊調(diào)用前臺連接模塊，通過JDBC接口連接前臺 的各種異構(gòu)數(shù)據(jù)庫，并向云計算輔助管理從節(jié)點模塊反饋前臺連接信息；步驟5 :云計算輔助管理從節(jié)點模塊將前臺預(yù)連接反饋信息通過擴展通信模塊返回給云計算輔助管理主節(jié)點模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的信息進行分支判斷選擇如果反饋的預(yù)連接信息表示預(yù)連接任務(wù)執(zhí)行成功，則由智能分析決策模塊調(diào)用處理庫模塊，生成預(yù)處理任務(wù)輸出到云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊通過通信擴展模塊提交給從節(jié)點的云計算輔助管理從節(jié)點模塊；云計算輔助管理從節(jié)點模塊調(diào)用數(shù)據(jù)處理模塊，根據(jù)前臺預(yù)連接的信息為各種異構(gòu)數(shù)據(jù)庫的表生成相應(yīng)的數(shù)據(jù)表格處理類和函數(shù)，對采集的數(shù)據(jù)進行必要的處理，包括數(shù)據(jù)格式轉(zhuǎn)化、文本處理，并反饋數(shù)據(jù)處理信息，并向云計算輔助管理從節(jié)點模塊反饋預(yù)處理信息；否則，生成預(yù)連接失敗信息，反饋用戶；步驟6 :云計算輔助管理從節(jié)點模塊將數(shù)據(jù)預(yù)處理反饋信息返回給云計算輔助管理主節(jié)點模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的信息進行分支判斷選擇如果反饋的預(yù)處理信息表示數(shù)據(jù)預(yù)處理任務(wù)執(zhí)行成功，生成預(yù)存儲任務(wù)輸出到云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊提交預(yù)處理任務(wù)給云計算輔助管理從節(jié)點模塊；云計算輔助管理從節(jié)點模塊調(diào)用數(shù)據(jù)存儲模塊，實現(xiàn)將經(jīng)過預(yù)處理的數(shù)據(jù)存儲到數(shù)據(jù)存儲模塊，或者通過JDBC接口存儲到新建數(shù)據(jù)庫中，并向云計算輔助管理從節(jié)點模塊反饋后臺預(yù)存儲信息；否則，生成預(yù)處理失敗信息，反饋用戶。優(yōu)選的，上述基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，所述擴展通信模塊包括GSM，GPRS，3G，4G，WIFI和有線連接通信方式。優(yōu)選的，上述基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，所述Mesh網(wǎng)絡(luò)采用802. lla/b/g/n 標準。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于本發(fā)明提供的云計算節(jié)點采用模塊化設(shè)計，嵌入式微架構(gòu)，可根據(jù)實際應(yīng)用范圍增加或減少擴展功能模塊，功能豐富，即插即用，可以網(wǎng)絡(luò)中任意位置部署，降低網(wǎng)絡(luò)搭建成本，大大降低網(wǎng)絡(luò)維護難度，有效減少網(wǎng)絡(luò)數(shù)據(jù)傳輸對通信鏈路的資源占用，降低管理中心的計算量，間接降低了網(wǎng)絡(luò)搭建和管理中心架設(shè)的投入成本，如果網(wǎng)絡(luò)中關(guān)鍵節(jié)點(例如網(wǎng)關(guān)節(jié)點)故障導(dǎo)致數(shù)據(jù)無法正常傳輸至管理中心，但因為數(shù)據(jù)在云計算節(jié)點已經(jīng)進行了計算處理并保存結(jié)果，因此應(yīng)用仍然有效，一旦關(guān)鍵節(jié)點恢復(fù)正常，計算結(jié)果仍可及時傳輸至管理中心以供展現(xiàn)，避免了因網(wǎng)絡(luò)中關(guān)鍵節(jié)點(例如網(wǎng)關(guān)節(jié)點)的故障導(dǎo)致的應(yīng)用功能失效。云計算節(jié)點可以覆蓋一定的范圍，因此在網(wǎng)絡(luò)中部署時可視具體情況增加或減少云計算節(jié)點的數(shù)量，相比于為每個節(jié)點增強計算能力，大大降低了成本投入，云計算節(jié)點可以支持MESH網(wǎng)絡(luò)，GSM, GPRS，3G，4G，WIFI和有線連接等通信方式?？赏瑫r支持多鏈路的工作請求。而且在無線Mesh網(wǎng)絡(luò)中，任何無線設(shè)備節(jié)點都可以同時作為AP和路由器，網(wǎng)絡(luò)中的每個節(jié)點都可以發(fā)送和接收信號，每個節(jié)點都可以與一個或者多個對等節(jié)點 進行直接通信。如果某個節(jié)點的AP發(fā)生故障，它可以重新再選擇一個AP進行通信，數(shù)據(jù)仍然可以高速地到達目的地。


下面結(jié)合附圖對本發(fā)明的具體實施方式
作進一步詳細的說明圖I:本發(fā)明基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)結(jié)構(gòu)示意圖。
具體實施例方式為詳細說明本發(fā)明的技術(shù)內(nèi)容、構(gòu)造特征、所實現(xiàn)目的及效果，以下結(jié)合實施方式并配合附圖詳予說明。請參閱圖1，本發(fā)明的一個實施例為提供的一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)所述數(shù)據(jù)采集與匯總分流的系統(tǒng)包括擴展通信模塊、分別部署在云計算系統(tǒng)主節(jié)點和從節(jié)點的主節(jié)點系統(tǒng)和從節(jié)點系統(tǒng)；所述擴展通信模塊用于組網(wǎng)和通信并且基于Mesh網(wǎng)絡(luò)技術(shù)；所述擴展通信模塊包括6311，6 1 ，36，46，1正1和有線連接通信方式。所述Mesh網(wǎng)絡(luò)采用802. lla/b/g/n標準。所述主節(jié)點系統(tǒng)包括處理模塊用于選擇數(shù)據(jù)的處理方式，定義統(tǒng)一的數(shù)據(jù)格式，確定數(shù)據(jù)內(nèi)容的篩選策略，生成數(shù)據(jù)處理任務(wù)化參數(shù)；生成數(shù)據(jù)處理任務(wù)輸出；智能分析決策模塊主要用于調(diào)用所述處理模塊，用于選擇后臺存儲的策略，生成預(yù)存儲任務(wù)化參數(shù)，生成存儲任務(wù)化參數(shù)；生成后臺預(yù)存儲任務(wù)輸出；分別生成針對從節(jié)點的預(yù)連接任務(wù)、預(yù)處理任務(wù)、預(yù)存儲任務(wù)，提交給云計算輔助管理主節(jié)點模塊；接收云計算輔助管理主節(jié)點模塊的預(yù)連接反饋信息，包括預(yù)連接信息、預(yù)處理信息、預(yù)存儲信息，根據(jù)該反饋信息生成數(shù)據(jù)采集任務(wù)，或者用戶報告，提交云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊是主節(jié)點系統(tǒng)通過擴展通信模塊與從節(jié)點系統(tǒng)的接口界面，并用于接收用戶提交的數(shù)據(jù)采集任務(wù)，提交給智能分析決策模塊，然后接受智能分析決策模塊的任務(wù)輸出，通過給擴展通信模塊提交給從節(jié)點系統(tǒng)的云計算輔助管理從節(jié)點模塊；所述從節(jié)點系統(tǒng)包括前臺連接模塊連接前臺的各種異構(gòu)數(shù)據(jù)庫，并反饋前臺連接信息；數(shù)據(jù)處理模塊對采集的數(shù)據(jù)進行必要的處理；根據(jù)前臺預(yù)連接的信息為各種異構(gòu)數(shù)據(jù)庫的表生成相應(yīng)的數(shù)據(jù)表格處理類和函數(shù)，對采集的數(shù)據(jù)進行必要的處理，包括數(shù)據(jù)格式轉(zhuǎn)化、文本處理，并反饋數(shù)據(jù)處理信息；數(shù)據(jù)存儲模塊存儲數(shù)據(jù)，反饋存儲信息；實現(xiàn)將經(jīng)過預(yù)處理的數(shù)據(jù)，存儲到云計算系統(tǒng)的文件系統(tǒng)中，或者通過JBDC接口存儲到新建數(shù)據(jù)庫中，并反饋存儲信息；云計算輔助管理從節(jié)點模塊是從節(jié)點系統(tǒng)通過擴展通信模塊與主節(jié)點系統(tǒng)的接口界面，用于接收云計算輔助管理主節(jié)點模塊的預(yù)連接任務(wù)、預(yù)處理任務(wù)、預(yù)存儲任務(wù)，數(shù)據(jù)采集任務(wù)，調(diào)用所述前臺連接模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊，并將各種反饋信息通過返回給云計算輔助管理主節(jié)點模塊。本發(fā)明的又一實施例為提供一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，包括以下步驟步驟I :通過擴展通信模塊與附近網(wǎng)絡(luò)建立連接，云計算輔助管理主節(jié)點模塊接收用戶提交的一個數(shù)據(jù)采集請求，提交給智能分析決策模塊；所述擴展通信模塊用于組網(wǎng)和通信并且基于Mesh網(wǎng)絡(luò)技術(shù)；·步驟2 :智能分析決策模塊調(diào)用處理模塊，生成預(yù)連接任務(wù)輸出到云計算輔助管理主節(jié)點模塊；步驟3 :云計算輔助管理主節(jié)點模塊將預(yù)連接任務(wù)通過擴展通信模塊提交給從節(jié)點上的云計算輔助管理從節(jié)點模塊；步驟4:云計算輔助管理從節(jié)點模塊調(diào)用前臺連接模塊，通過JDBC接口連接前臺的各種異構(gòu)數(shù)據(jù)庫，并向云計算輔助管理從節(jié)點模塊反饋前臺連接信息；步驟5 :云計算輔助管理從節(jié)點模塊將前臺預(yù)連接反饋信息通過擴展通信模塊返回給云計算輔助管理主節(jié)點模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的信息進行分支判斷選擇如果反饋的預(yù)連接信息表示預(yù)連接任務(wù)執(zhí)行成功，則由智能分析決策模塊調(diào)用處理庫模塊，生成預(yù)處理任務(wù)輸出到云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊通過通信擴展模塊提交給從節(jié)點的云計算輔助管理從節(jié)點模塊；云計算輔助管理從節(jié)點模塊調(diào)用數(shù)據(jù)處理模塊，根據(jù)前臺預(yù)連接的信息為各種異構(gòu)數(shù)據(jù)庫的表生成相應(yīng)的數(shù)據(jù)表格處理類和函數(shù)，對采集的數(shù)據(jù)進行必要的處理，包括數(shù)據(jù)格式轉(zhuǎn)化、文本處理，并反饋數(shù)據(jù)處理信息，并向云計算輔助管理從節(jié)點模塊反饋預(yù)處理信息；否則，生成預(yù)連接失敗信息，反饋用戶；步驟6 :云計算輔助管理從節(jié)點模塊將數(shù)據(jù)預(yù)處理反饋信息返回給云計算輔助管理主節(jié)點模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的信息進行分支判斷選擇如果反饋的預(yù)處理信息表示數(shù)據(jù)預(yù)處理任務(wù)執(zhí)行成功，生成預(yù)存儲任務(wù)輸出到云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊提交預(yù)處理任務(wù)給云計算輔助管理從節(jié)點模塊；云計算輔助管理從節(jié)點模塊調(diào)用數(shù)據(jù)存儲模塊，實現(xiàn)將經(jīng)過預(yù)處理的數(shù)據(jù)存儲到數(shù)據(jù)存儲模塊，或者通過JDBC接口存儲到新建數(shù)據(jù)庫中，并向云計算輔助管理從節(jié)點模塊反饋后臺預(yù)存儲信息；否則，生成預(yù)處理失敗信息，反饋用戶。本發(fā)明的實施例中，其中節(jié)點是指現(xiàn)有技術(shù)的移動節(jié)點、固定節(jié)點、網(wǎng)關(guān)節(jié)點以及各類傳感節(jié)點，各個模塊包括普通計算機，服務(wù)器或計算機群組、大型數(shù)據(jù)處理中心等。
各個節(jié)點通過擴展通信模塊與附近的網(wǎng)絡(luò)建立連接，入網(wǎng)后，各節(jié)點根據(jù)其內(nèi)嵌的模塊具備的功能向網(wǎng)內(nèi)廣播功能標識并開放鏈路。當工作節(jié)點需要數(shù)據(jù)計算和處理時，向網(wǎng)內(nèi)鏈路發(fā)起請求。云計算節(jié)點收到請求后需驗證合法性以及該請求是否屬于其功能范圍，驗證通過則開始接收工作節(jié)點的初始數(shù)據(jù)并進行計算處理，之后按工作節(jié)點的要求返回計算結(jié)果或?qū)⒂嬎憬Y(jié)果經(jīng)網(wǎng)關(guān)節(jié)點傳輸至管理中心。支持工作節(jié)點通過他工作節(jié)點的鏈路發(fā)起數(shù)據(jù)計算處理的請求。如果網(wǎng)關(guān)節(jié)點出現(xiàn)故障，則云計算節(jié)點會將計算結(jié)果暫存本地，并在網(wǎng)關(guān)節(jié)點恢復(fù)正常后將計算結(jié)果再傳輸給管理中心。本發(fā)明以一個主節(jié)點和若干個從節(jié)點組網(wǎng)工作的方式來說明流程，但在實際應(yīng)用中，從至少一個主節(jié)點和若干個從節(jié)點組網(wǎng)工作，到多個主節(jié)點和若干個從節(jié)點組網(wǎng)工作都在本發(fā)明的應(yīng)用實例范圍。本發(fā)明實施例中可由手機等數(shù)據(jù)采集終端將采集到的數(shù)據(jù)發(fā)送給路由節(jié)點，路由節(jié)點將接收到的數(shù)據(jù)通過網(wǎng)關(guān)發(fā)送給主節(jié)點系統(tǒng)，當網(wǎng)關(guān)發(fā)生故障，不能接收數(shù)據(jù)并將其 發(fā)送給主節(jié)點系統(tǒng)，這時，云備用鏈路節(jié)點被喚醒，云備用鏈接節(jié)點通過與其鏈接的路由節(jié)點接收數(shù)據(jù)并將其暫時存儲。云計算系統(tǒng)的文件系統(tǒng)、各種參數(shù)配置，以及基于云計算的后臺存儲數(shù)據(jù)庫都是云計算系統(tǒng)固有特性，本系統(tǒng)在實現(xiàn)中可以加以利用。同時，本系統(tǒng)由于下面的決策是以上面的決策正確為前提的，上面的決策正確獲取的參數(shù)，又可以作為下面決策的參考的依據(jù)，這樣不僅可以保證決策的邏輯順序，同時可以大大提高決策的質(zhì)量和正確，保證系統(tǒng)最后產(chǎn)生的決策結(jié)果是可以在系統(tǒng)上運行的。就大大提高系統(tǒng)的智能化水平和成功率，減少不必要的操作失誤和系統(tǒng)盲區(qū)導(dǎo)致的低效問題。由于云計算是現(xiàn)有的技術(shù)并且有統(tǒng)一的技術(shù)規(guī)范，本發(fā)明僅就系統(tǒng)進行闡述，其他具體實現(xiàn)的技術(shù)細節(jié)，不再贅述。以上所述僅為本發(fā)明的實施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護范圍內(nèi)。
權(quán)利要求
1.一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)，其特征在于，所述數(shù)據(jù)采集與匯總分流的系統(tǒng)包括擴展通信模塊、分別部署在云計算系統(tǒng)主節(jié)點和從節(jié)點的主節(jié)點系統(tǒng)和從節(jié)點系統(tǒng)； 所述擴展通信模塊用于組網(wǎng)和通信并且基于Mesh網(wǎng)絡(luò)技術(shù)； 所述主節(jié)點系統(tǒng)包括 處理模塊用于選擇數(shù)據(jù)的處理方式； 智能分析決策模塊主要用于調(diào)用所述處理模塊，生成針對從節(jié)點的預(yù)連接任務(wù)、預(yù)處理任務(wù)、預(yù)存儲任務(wù)，提交給云計算輔助管理主節(jié)點模塊；接收云計算輔助管理主節(jié)點模塊的預(yù)連接反饋信息，包括預(yù)連接信息、預(yù)處理信息、預(yù)存儲信息，根據(jù)該反饋信息生成數(shù)據(jù)采集任務(wù)，或者用戶報告，提交給云計算輔助管理主節(jié)點模塊； 云計算輔助管理主節(jié)點模塊是主節(jié)點系統(tǒng)通過擴展通信模塊與從節(jié)點系統(tǒng)的接口界面，并用于接收用戶提交的數(shù)據(jù)采集任務(wù)，提交給智能分析決策模塊，然后接受智能分析決策模塊的任務(wù)輸出，通過給擴展通信模塊提交給從節(jié)點系統(tǒng)的云計算輔助管理從節(jié)點模塊； 所述從節(jié)點系統(tǒng)包括 前臺連接模塊連接前臺的各種異構(gòu)數(shù)據(jù)庫，并反饋前臺連接信息； 數(shù)據(jù)處理模塊對采集的數(shù)據(jù)進行必要的處理； 數(shù)據(jù)存儲模塊存儲數(shù)據(jù)，反饋存儲信息； 云計算輔助管理從節(jié)點模塊是從節(jié)點系統(tǒng)通過擴展通信模塊與主節(jié)點系統(tǒng)的接口界面，用于接收云計算輔助管理主節(jié)點模塊的預(yù)連接任務(wù)、預(yù)處理任務(wù)、預(yù)存儲任務(wù)，數(shù)據(jù)采集任務(wù)，調(diào)用所述前臺連接模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊，并將各種反饋信息通過返回給云計算輔助管理主節(jié)點模塊。
2.根據(jù)權(quán)利要求I所述的基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)，其特征在于，所述擴展通信模塊包括GSM，GPRS, 3G，4G，WIFI和有線連接通信方式。
3.根據(jù)權(quán)利要求I所述的基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)，其特征在于，所述Mesh網(wǎng)絡(luò)采用802. lla/b/g/n標準。
4.一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，其特征在于，包括以下步驟 步驟1 :通過擴展通信模塊與附近網(wǎng)絡(luò)建立連接，云計算輔助管理主節(jié)點模塊接收用戶提交的一個數(shù)據(jù)采集請求，提交給智能分析決策模塊；所述擴展通信模塊用于組網(wǎng)和通信并且基于Mesh網(wǎng)絡(luò)技術(shù)； 步驟2 :智能分析決策模塊調(diào)用處理模塊，生成預(yù)連接任務(wù)輸出到云計算輔助管理主節(jié)點模塊； 步驟3 :云計算輔助管理主節(jié)點模塊將預(yù)連接任務(wù)通過擴展通信模塊提交給從節(jié)點上的云計算輔助管理從節(jié)點模塊； 步驟4 :云計算輔助管理從節(jié)點模塊調(diào)用前臺連接模塊，通過JDBC接口連接前臺的各種異構(gòu)數(shù)據(jù)庫，并向云計算輔助管理從節(jié)點模塊反饋前臺連接信息； 步驟5 :云計算輔助管理從節(jié)點模塊將前臺預(yù)連接反饋信息通過擴展通信模塊返回給云計算輔助管理主節(jié)點模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的信息進行分支判斷選擇如果反饋的預(yù)連接信息表示預(yù)連接任務(wù)執(zhí)行成功，則由智能分析決策模塊調(diào)用處理庫模塊，生成預(yù)處理任務(wù)輸出到云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊通過通信擴展模塊提交給從節(jié)點的云計算輔助管理從節(jié)點模塊；云計算輔助管理從節(jié)點模塊調(diào)用數(shù)據(jù)處理模塊，根據(jù)前臺預(yù)連接的信息為各種異構(gòu)數(shù)據(jù)庫的表生成相應(yīng)的數(shù)據(jù)表格處理類和函數(shù)，對采集的數(shù)據(jù)進行必要的處理，包括數(shù)據(jù)格式轉(zhuǎn)化、文本處理，并反饋數(shù)據(jù)處理信息，并向云計算輔助管理從節(jié)點模塊反饋預(yù)處理信息； 否則，生成預(yù)連接失敗信息，反饋用戶； 步驟6 :云計算輔助管理 從節(jié)點模塊將數(shù)據(jù)預(yù)處理反饋信息返回給云計算輔助管理主節(jié)點模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的信息進行分支判斷選擇 如果反饋的預(yù)處理信息表示數(shù)據(jù)預(yù)處理任務(wù)執(zhí)行成功，生成預(yù)存儲任務(wù)輸出到云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊提交預(yù)處理任務(wù)給云計算輔助管理從節(jié)點模塊；云計算輔助管理從節(jié)點模塊調(diào)用數(shù)據(jù)存儲模塊，實現(xiàn)將經(jīng)過預(yù)處理的數(shù)據(jù)存儲到數(shù)據(jù)存儲模塊，或者通過JDBC接口存儲到新建數(shù)據(jù)庫中，并向云計算輔助管理從節(jié)點模塊反饋后臺預(yù)存儲信息； 否則，生成預(yù)處理失敗信息，反饋用戶。
5.根據(jù)權(quán)利要求4所述的基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，其特征在于，所述擴展通信模塊包括GSM，GPRS, 3G，4G，WIFI和有線連接通信方式。
6.根據(jù)權(quán)利要求4所述的基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，其特征在于，所述Mesh網(wǎng)絡(luò)采用802. lla/b/g/n標準。
全文摘要
本發(fā)明涉及一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)和方法。本發(fā)明系統(tǒng)使用模塊化設(shè)計，分布式部署，即插即用，有效減少網(wǎng)絡(luò)數(shù)據(jù)量和管理中心計算量，大大降低網(wǎng)絡(luò)維護難度和部署成本。本發(fā)明的技術(shù)方案為提供一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)和方法，其中所述數(shù)據(jù)采集與匯總分流的系統(tǒng)包括擴展通信模塊、分別部署在云計算系統(tǒng)主節(jié)點和從節(jié)點的主節(jié)點系統(tǒng)和從節(jié)點系統(tǒng)。本發(fā)明的優(yōu)點在于使用無線Mesh網(wǎng)絡(luò)，避免了因網(wǎng)絡(luò)中關(guān)鍵節(jié)點的故障導(dǎo)致的應(yīng)用功能失效，并可根據(jù)實際應(yīng)用范圍增加或減少擴展功能模塊，降低網(wǎng)絡(luò)搭建成本，還可降低管理中心的計算量，間接降低了網(wǎng)絡(luò)搭建和管理中心架設(shè)的投入成本。
文檔編號H04L29/08GK102882979SQ20121039636
公開日2013年1月16日 申請日期2012年10月18日 優(yōu)先權(quán)日2012年10月18日
發(fā)明者王林林 申請人:深圳訊騰軟件技術(shù)有限公司