本發(fā)明屬于數(shù)據(jù)采集技術領域，具體涉及一種基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng)及方法。

背景技術：

如圖1所示為當前工業(yè)數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)圖，圖中，(1)-(4)分別表示不同傳輸過程中采用的傳輸方式及相應的傳輸協(xié)議或傳輸信號，其中(1)表示RS232/RS485串行通信或CAN總線通信；(2)表示無線傳輸(wirelesshart協(xié)議)；(3)表示現(xiàn)場總線(4-20mA電流信號)；(4)表示工業(yè)以太網(wǎng)(OPC協(xié)議)。①-⑦分別表示當前工業(yè)數(shù)據(jù)采集系統(tǒng)存在的問題，其中①表示采集客戶端1∶1冗余，資源利用率低；②表示采集節(jié)點失效；③表示數(shù)據(jù)組采集失?。虎鼙硎緮?shù)據(jù)項采集失??；⑤表示采集速率低，實時性差；⑥表示數(shù)據(jù)存儲失敗，傳輸速率低，數(shù)據(jù)占用空間大；⑦表示無線傳輸問題。

當前工業(yè)數(shù)據(jù)采集系統(tǒng)主要分為PCS過程控制系統(tǒng)、MES制造執(zhí)行系統(tǒng)、ERP企業(yè)資源計劃三層結(jié)構(gòu)。其中，MES制造執(zhí)行系統(tǒng)和ERP企業(yè)資源計劃作為管理層實現(xiàn)對工業(yè)數(shù)據(jù)的管理、統(tǒng)計和查詢，PCS過程控制系統(tǒng)可分為設備層、控制層和監(jiān)控層：設備層主要由工業(yè)過程中的各種工序組成，負責將工業(yè)現(xiàn)場的物理信號轉(zhuǎn)換成數(shù)字或標準的模擬信號傳入控制層；控制層主要包括由PLC、DCS或嵌入式系統(tǒng)等組成的控制站，用于連接設備層和監(jiān)控層，將設備層的實時數(shù)據(jù)發(fā)送到監(jiān)控層的數(shù)據(jù)采集節(jié)點，并對設備層的現(xiàn)場信號做簡單的處理；監(jiān)控層主要由一些數(shù)據(jù)采集節(jié)點、數(shù)據(jù)庫、監(jiān)控節(jié)點組成，數(shù)據(jù)采集節(jié)點通過OPC/OPC-UA協(xié)議對控制層的數(shù)據(jù)進行實時采集后存入數(shù)據(jù)庫和監(jiān)控節(jié)點，完成監(jiān)控生產(chǎn)運行過程的目的。

在圖1所示的當前工業(yè)數(shù)據(jù)采集系統(tǒng)中，主要存在如下具體問題：

1、如圖1中①所示，在傳統(tǒng)數(shù)據(jù)采集系統(tǒng)中，為保證數(shù)據(jù)采集的可靠性，某些重要生產(chǎn)環(huán)節(jié)數(shù)據(jù)采集節(jié)點通常采用1∶1冗余配置，硬件資源利用率較小。

2、如圖1中②所示，生產(chǎn)過程中數(shù)據(jù)采集節(jié)點容易出現(xiàn)故障，如何對采集節(jié)點的故障信息進行監(jiān)測，并提供相應的解決方案以提高采集節(jié)點的可靠性是當前工業(yè)數(shù)據(jù)采集領域亟待解決的問題之一；

3、如圖1中③所示，采用OPC/OPC-UA協(xié)議進行采集時，即使數(shù)據(jù)采集節(jié)點正常運行，也常常出現(xiàn)某個或某些數(shù)據(jù)組采集失敗的狀況，應如何捕獲采集失敗的數(shù)據(jù)組并對其提供相應的解決方案以保證數(shù)據(jù)組的采集可靠性也是當前工業(yè)數(shù)據(jù)采集過程中存在的一大問題；

4、如圖1中④所示，即使采集節(jié)點正常運行，數(shù)據(jù)組都能正常采集，也時常會出現(xiàn)某一數(shù)據(jù)組中的某個或某些數(shù)據(jù)項采集失敗的狀況，應如何捕獲采集失敗的數(shù)據(jù)項并提供相應的解決方案以提高數(shù)據(jù)項的采集可靠性是當前工業(yè)數(shù)據(jù)采集過程中存在的又一問題；

5、如圖1中⑤所示，當前工業(yè)數(shù)據(jù)采集系統(tǒng)在數(shù)據(jù)采集過程中，雖然底層的數(shù)據(jù)通過PLC/DCS系統(tǒng)采集保存到了數(shù)據(jù)庫中，但是由于上層MES等系統(tǒng)的采樣頻率較低，因此對上位機的采樣要求并不是很嚴格，時常出現(xiàn)實際數(shù)據(jù)采集時間大于所設定的采集周期的情況，對于一般的對實時性要求不是很嚴格的監(jiān)控或MES等應用場景，這種情況可以滿足要求，然而，在工業(yè)大數(shù)據(jù)環(huán)境中，常常需要對各采集周期所采數(shù)據(jù)進行實時性關聯(lián)分析，因此對數(shù)據(jù)的時序性有著較為嚴格的要求，現(xiàn)有上位機數(shù)據(jù)采集的效率和可靠性還不足以滿足要求。

6、如圖1中⑥所示，隨著存儲數(shù)據(jù)量的不斷增大以及歷史數(shù)據(jù)對于企業(yè)分析的重要性，數(shù)據(jù)存儲所占用的存儲空間越來越大，數(shù)據(jù)傳輸速度亟待提高，數(shù)據(jù)存儲資源的有效利用和數(shù)據(jù)傳輸效率的提高對數(shù)據(jù)壓縮提出了新的要求。

7、如圖1中⑦所示，隨著物聯(lián)網(wǎng)技術在工業(yè)的廣泛應用以及許多無線傳輸設備的接入，對數(shù)據(jù)采集方式也提出了更高的要求和挑戰(zhàn)。

目前在工業(yè)大規(guī)模分布式數(shù)據(jù)采集系統(tǒng)方面的專利主要有“CN105527948A(一種基于工業(yè)過程的大規(guī)模分布式數(shù)據(jù)采集系統(tǒng)及方法)”該專利所述系統(tǒng)利用一個數(shù)據(jù)采集調(diào)度模塊將現(xiàn)場控制站的采集任務分配給多個數(shù)據(jù)采集客戶端，當采集客戶端出現(xiàn)故障時，在下一個采集周期，數(shù)據(jù)采集調(diào)度模塊可以根據(jù)檢測到的數(shù)據(jù)采集客戶端的故障信息來分配其他數(shù)據(jù)采集客戶端對該部分數(shù)據(jù)進行數(shù)據(jù)采集，進而保證數(shù)據(jù)采集客戶端對數(shù)據(jù)采集的高容錯性，當某一個或某幾個采集客戶端上采集時間超過用戶設定的采集周期或存在采集客戶端過載時，數(shù)據(jù)采集調(diào)度模塊重新開啟新的采集客戶端，并將采集任務在所有開啟的采集客戶端上重新分配；雖然該專利中數(shù)據(jù)采集調(diào)度模塊在進行數(shù)據(jù)采集任務分配時考慮了現(xiàn)場控制站運行狀態(tài)信息、數(shù)據(jù)采集客戶端運行狀態(tài)信息、采集周期等因素，一定程度上保證了數(shù)據(jù)采集客戶端的高可靠性，但該專利所述系統(tǒng)功能還不夠全面，存在如下幾點局限性：

1、該專利所述系統(tǒng)只能保證故障后下一采集周期及以后采集的可靠性，故障當前采集周期的數(shù)據(jù)仍然會丟失；

2、該專利所述系統(tǒng)只保證了采集客戶端故障或過載情況下采集的可靠性，對于采集客戶端上某個數(shù)據(jù)組或數(shù)據(jù)項采集失敗的情況，沒有提出相應的解決辦法保證采集可靠性；

3、該專利僅能實現(xiàn)對有線數(shù)據(jù)的采集，對于無線傳輸數(shù)據(jù)，沒有提供相應的方式進行采集；

4、該專利所述系統(tǒng)中，初始工作的采集節(jié)點個數(shù)由用戶人為開啟，系統(tǒng)無法根據(jù)采集任務量自動確定初始工作的采集節(jié)點以進行資源的優(yōu)化配置，從而最大限度提高資源利用率；

5、該專利所述系統(tǒng)功能不夠完善，缺乏用戶管理功能，難以對用戶身份進行驗證，從而保證系統(tǒng)安全；缺乏日志管理功能，難以對歷史采集和存儲結(jié)果及歷史報警信息進行查詢，從而檢查系統(tǒng)歷史故障所留下的痕跡，并根據(jù)該歷史記錄對系統(tǒng)進行升級維護等；缺乏采集任務備份和數(shù)據(jù)本地持久化功能，數(shù)據(jù)采集失敗或存儲失敗時，無法保證數(shù)據(jù)采集和存儲的容錯性；缺乏數(shù)據(jù)壓縮功能，數(shù)據(jù)傳輸量大，存儲占用空間大從而導致數(shù)據(jù)存儲效率低，資源利用率低；缺乏監(jiān)控報警功能，故障發(fā)生時工作人員難以在第一時間發(fā)現(xiàn)故障，從而進行相關的故障處理；

綜上所述，當前工業(yè)數(shù)據(jù)采集系統(tǒng)在可靠性、資源有效利用以及系統(tǒng)功能等方面存在明顯不足，難于滿足目前制造企業(yè)向智能化轉(zhuǎn)型過程中對實時數(shù)據(jù)進行可靠采集的需求。

技術實現(xiàn)要素：

針對現(xiàn)有技術的不足，本發(fā)明提出一種基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng)及方法，以達到提高工業(yè)數(shù)據(jù)采集的可靠性和資源利用率的目的。

一種基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng)，包括用戶管理模塊、日志管理模塊、資源管理模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)壓縮和存儲模塊、監(jiān)控報警模塊、現(xiàn)場控制站、無線設備和現(xiàn)場設備；

所述的用戶管理模塊：用于完成用戶注冊、用戶登錄及身份驗證、用戶注銷、用戶信息查詢和用戶信息修改；

所述的日志管理模塊：用于將每個采集節(jié)點每個采集周期采集任務的采集結(jié)果信息和存儲結(jié)果信息、報警信息寫入日志，對采集結(jié)果信息、存儲結(jié)果信息和報警信息進行查詢，并打印日志；

所述的資源管理模塊：用于對各采集節(jié)點的運行狀態(tài)閾值和過載運行等待時間進行設定；進行調(diào)度信息預處理，即從數(shù)據(jù)采集模塊的任務管理子模塊獲取設定的采集任務，從監(jiān)控報警模塊中的節(jié)點監(jiān)控子模塊獲取各現(xiàn)場控制站運行狀態(tài)信息、無線設備運行狀態(tài)信息、各采集節(jié)點的運行狀態(tài)信息，根據(jù)各現(xiàn)場控制站、無線設備運行狀態(tài)信息判斷有線采集任務對應的現(xiàn)場控制站和無線采集任務對應的無線設備是否均正常運行，并在有線采集任務對應的現(xiàn)場控制站或無線采集任務對應的無線設備處于故障或未開啟狀態(tài)時，提示用戶重新設置任務；根據(jù)各采集節(jié)點的運行狀態(tài)信息和采集任務量進行資源分配，確定工作的采集節(jié)點，并將資源分配結(jié)果發(fā)送到數(shù)據(jù)采集模塊的任務調(diào)度子模塊；當出現(xiàn)采集節(jié)點異常時，進行異常后資源調(diào)度，即從冗余熱備的采集節(jié)點中選擇新的采集節(jié)點進行工作，將調(diào)度結(jié)果發(fā)送到數(shù)據(jù)采集模塊的任務調(diào)度子模塊；

所述的數(shù)據(jù)采集模塊包括：任務管理子模塊、任務調(diào)度子模塊和采集子模塊，其中，

所述的任務管理子模塊：用于對采集任務進行添加、刪除和修改；采集任務的設置包括：采集數(shù)據(jù)組的設置，每個數(shù)據(jù)組包含的采集數(shù)據(jù)項的設置，以及每個采集任務的采集周期、采集優(yōu)先級、采集等級和采集模式的設置；一個采集任務為一個數(shù)據(jù)組或一個數(shù)據(jù)項；

所述的任務調(diào)度子模塊：用于從任務管理子模塊中獲取設置的采集任務，根據(jù)采集任務和資源管理模塊的調(diào)度結(jié)果進行任務分配，并將分配給目標采集節(jié)點的高等級的主采集任務作為備份任務循環(huán)分配給與其編號相鄰的下兩個工作采集節(jié)點，將任務分配結(jié)果發(fā)送到采集子模塊的相應采集節(jié)點；當存在采集節(jié)點異常時，將異常采集節(jié)點上的全部或部分采集任務遷移至資源管理模塊所選擇的新加入的采集節(jié)點上；當存在采集節(jié)點上采集任務異常時，將該采集任務的第一個成功采集的備份采集節(jié)點設為該采集任務的主采集節(jié)點，同時獲取各工作采集節(jié)點的運行狀態(tài)信息并按照CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬的利用率對其進行排序，將采集節(jié)點上異常的采集任務作為備份任務遷移至其他正常運行的工作采集節(jié)點；

所述的采集子模塊包括多個采集節(jié)點，各采集節(jié)點根據(jù)任務調(diào)度子模塊發(fā)送的采集任務的不同采集模式，采用不同的方式實現(xiàn)采集任務的采集；

所述的數(shù)據(jù)壓縮和存儲模塊：用于將每個采集節(jié)點采集到的數(shù)據(jù)在內(nèi)存緩存區(qū)進行緩存，并持久化到本地磁盤，將內(nèi)存緩存區(qū)中緩存的數(shù)據(jù)進行壓縮后存入數(shù)據(jù)庫，當內(nèi)存緩存區(qū)因模塊失效導致數(shù)據(jù)丟失時，將丟失數(shù)據(jù)從本地磁盤讀入內(nèi)存緩存區(qū)；當數(shù)據(jù)經(jīng)壓縮成功存入數(shù)據(jù)庫后，將內(nèi)存緩存區(qū)中對應的數(shù)據(jù)刪除以節(jié)省內(nèi)存空間，并將本地磁盤中對應的數(shù)據(jù)刪除以節(jié)省磁盤空間；當存在采集節(jié)點的某一主采集任務采集失敗時，將失敗主采集任務的備份采集任務的采集結(jié)果從該主采集任務的備份采集節(jié)點存入內(nèi)存緩存區(qū)，當存在采集節(jié)點故障時，將故障采集節(jié)點所有主采集任務的備份采集節(jié)點上相應備份采集任務的采集結(jié)果存入內(nèi)存緩存區(qū)；

所述的監(jiān)控報警模塊包括：結(jié)果監(jiān)控子模塊、任務監(jiān)控子模塊、節(jié)點監(jiān)控子模塊、網(wǎng)絡監(jiān)控子模塊和報警子模塊，其中，

所述的結(jié)果監(jiān)控子模塊：用于從任務管理子模塊中獲取各采集任務的采集周期，對各采集節(jié)點的采集結(jié)果信息和存儲結(jié)果信息進行實時監(jiān)控，將采集結(jié)果信息和存儲結(jié)果信息發(fā)送至日志管理模塊中，當存在采集節(jié)點上的采集任務采集失敗時，將采集節(jié)點采集任務采集失敗的信息發(fā)送至報警子模塊、數(shù)據(jù)壓縮和存儲模塊；當存在采集節(jié)點上的采集任務異常時，將該采集任務異常的信息發(fā)送至任務調(diào)度子模塊；當采集節(jié)點上經(jīng)壓縮后的采集數(shù)據(jù)成功存入數(shù)據(jù)庫時，將存儲成功的信息發(fā)送至數(shù)據(jù)壓縮和存儲模塊；當存在采集節(jié)點上采集任務存儲失敗時，將采集節(jié)點采集任務存儲失敗的信息發(fā)送至報警子模塊、數(shù)據(jù)壓縮和存儲模塊；將各采集節(jié)點上采集任務的實際采集時間與設置的采集周期進行對比，當存在采集節(jié)點上采集任務的實際采集時間大于設置的采集周期時，將該采集節(jié)點上采集任務實際采集時間不滿足采集周期要求的信息發(fā)送至報警子模塊、資源管理模塊和任務調(diào)度子模塊中；

所述的任務監(jiān)控子模塊：用于對采集任務的數(shù)量、任務隊列、任務分配、任務執(zhí)行和任務等待情況進行監(jiān)控，并在采集任務對應的現(xiàn)場控制站和無線設備故障時，暫停相應任務的執(zhí)行；

所述的節(jié)點監(jiān)控子模塊：用于接收各現(xiàn)場控制站、無線設備以及各采集節(jié)點的注冊信息，并按照注冊順序?qū)Ω鞑杉?jié)點進行編號，從資源管理模塊中獲取各采集節(jié)點的運行狀態(tài)閾值信息和過載運行等待時間信息，實時獲取各現(xiàn)場控制站的運行狀態(tài)信息、無線設備的運行狀態(tài)信息、采集節(jié)點的運行狀態(tài)信息并對其運行狀態(tài)進行實時監(jiān)控，當現(xiàn)場控制站或無線設備故障時，將對應故障信息發(fā)送給任務監(jiān)控子模塊和報警子模塊，當存在采集節(jié)點故障時，將采集節(jié)點故障信息發(fā)送至報警子模塊、資源管理模塊、任務調(diào)度子模塊以及數(shù)據(jù)壓縮和存儲模塊中；將各采集節(jié)點的實際運行狀態(tài)與其運行狀態(tài)閾值進行對比，判斷采集節(jié)點是否過載，當存在采集節(jié)點過載且在過載運行等待時間之后仍然過載時，將該采集節(jié)點過載信息發(fā)送至報警子模塊、資源管理模塊和任務調(diào)度子模塊中；

所述的網(wǎng)絡監(jiān)控子模塊：用于監(jiān)控系統(tǒng)當前網(wǎng)絡連接是否正常，若網(wǎng)絡連接異常，將異常信息發(fā)送到報警子模塊；

所述的報警子模塊：用于對系統(tǒng)異常進行實時報警，同時將報警信息發(fā)送至日志管理模塊。

所述的用戶信息包括：用戶個人賬號、用戶名、密碼、電子郵箱、聯(lián)系電話、聯(lián)系地址和個人標簽；

所述的采集結(jié)果信息，包括每個采集節(jié)點每個采集周期數(shù)據(jù)開始采集時刻、結(jié)束采集時刻、采集時間、該采集周期采集是否成功，若采集不成功，還包括未成功采集的采集任務個數(shù)、未成功采集的采集任務列表；

所述的存儲結(jié)果信息，包括每個采集節(jié)點每個采集周期數(shù)據(jù)開始存入數(shù)據(jù)庫時刻、結(jié)束存入數(shù)據(jù)庫時刻、該采集周期存儲是否成功，若存儲不成功，還包括未成功存儲的采集任務個數(shù)、未成功存儲的采集任務列表；

所述的報警信息，包括報警時刻和報警原因；

所述采集節(jié)點的運行狀態(tài)閾值，包括CPU正常運行狀態(tài)閾值、CPU過載狀態(tài)閾值、內(nèi)存正常運行狀態(tài)閾值、內(nèi)存過載狀態(tài)閾值、硬盤正常運行狀態(tài)閾值、硬盤過載狀態(tài)閾值、網(wǎng)絡帶寬正常運行狀態(tài)閾值、網(wǎng)絡帶寬過載狀態(tài)閾值；

所述的采集節(jié)點異常，包括采集節(jié)點故障、過載或采集節(jié)點上采集任務實際采集時間不滿足用戶設置的采集周期要求；

所述的采集節(jié)點上采集任務異常，是指連續(xù)多個采集周期，采集節(jié)點上一個或幾個采集任務采集失敗，但該采集任務的備份采集節(jié)點上該采集任務能夠成功采集的情況；

所述的采集優(yōu)先級：根據(jù)采集任務被要求采集的先后順序分為高優(yōu)先級、中優(yōu)先級、低優(yōu)先級，同一優(yōu)先級的任務按照任務在任務列表的排列順序進行采集；

所述的采集等級：根據(jù)采集任務的重要性程度分為高等級、中等級、低等級；

所述的采集模式：包括有線采集模式和無線采集模式，若為有線采集模式，則采集節(jié)點通過有線采集方式對該采集任務對應的現(xiàn)場控制站中的數(shù)據(jù)進行采集，若為無線采集模式，則采集節(jié)點采用無線采集方式對該采集任務對應的無線設備中的數(shù)據(jù)進行采集；

所述的現(xiàn)場控制站的運行狀態(tài)信息，包括每個現(xiàn)場控制站的運行、故障或未開啟狀態(tài)；

所述的無線設備的運行狀態(tài)信息，包括每個無線設備的運行、故障或未開啟狀態(tài)；

所述的采集節(jié)點的運行狀態(tài)信息，包括每個采集節(jié)點的運行、故障或未開啟狀態(tài)，以及每個處于運行狀態(tài)的采集節(jié)點的CPU總量、使用率和余量，內(nèi)存總量、使用率和余量，硬盤總量、使用率和余量，網(wǎng)絡寬帶總量、使用率和余量；

所述的系統(tǒng)異常，包括現(xiàn)場控制站故障、無線設備故障、采集節(jié)點故障、采集節(jié)點過載、采集任務采集失敗、采集任務存儲失敗、采集節(jié)點上采集任務的實際采集時間不能滿足用戶設定的采集周期要求和網(wǎng)絡連接異常。

所述的日志管理模塊包括：結(jié)果日志子模塊、報警日志子模塊、日志打印子模塊；其中，

所述的結(jié)果日志子模塊：用于將每個采集節(jié)點每個采集周期采集任務的采集結(jié)果信息和存儲結(jié)果信息寫入日志，對采集結(jié)果和存儲結(jié)果進行查詢；

所述的報警日志子模塊：用于將報警信息寫入日志，對報警信息進行查詢；

所述的日志打印子模塊：用于打印日志。

所述的資源管理模塊包括：初始化子模塊和資源調(diào)度子模塊，其中，

所述的初始化子模塊：用于對各采集節(jié)點的運行狀態(tài)閾值和過載運行等待時間進行設定；

所述的資源調(diào)度子模塊：用于進行調(diào)度信息預處理，即從任務管理子模塊獲取設定的采集任務，從節(jié)點監(jiān)控子模塊獲取各現(xiàn)場控制站運行狀態(tài)信息、無線設備運行狀態(tài)信息、各采集節(jié)點的運行狀態(tài)信息，根據(jù)各現(xiàn)場控制站、無線設備運行狀態(tài)信息判斷有線采集任務對應的現(xiàn)場控制站和無線采集任務對應的無線設備是否均正常運行，并在有線采集任務對應的現(xiàn)場控制站或無線采集任務對應的無線設備處于故障或未開啟狀態(tài)時，提示用戶重新設置任務；根據(jù)各采集節(jié)點的運行狀態(tài)信息和采集任務量進行資源分配，確定工作的采集節(jié)點，并將資源分配結(jié)果發(fā)送到任務調(diào)度子模塊；當出現(xiàn)采集節(jié)點異常時，進行異常后資源調(diào)度，即從冗余熱備的采集節(jié)點中選擇新的采集節(jié)點進行工作，將調(diào)度結(jié)果發(fā)送到任務調(diào)度子模塊。

所述的數(shù)據(jù)壓縮和存儲模塊包括：數(shù)據(jù)緩存子模塊、數(shù)據(jù)持久化子模塊、數(shù)據(jù)壓縮子模塊和數(shù)據(jù)存儲子模塊，其中，

所述的數(shù)據(jù)緩存子模塊：用于將每個采集節(jié)點采集到的數(shù)據(jù)在內(nèi)存緩存區(qū)進行緩存，當數(shù)據(jù)經(jīng)壓縮成功存入數(shù)據(jù)庫后，將內(nèi)存緩存區(qū)中對應的數(shù)據(jù)刪除以節(jié)省內(nèi)存空間，當存在采集節(jié)點的某一主采集任務采集失敗時，將失敗主采集任務的備份采集任務的采集結(jié)果從該主采集任務的備份采集節(jié)點存入內(nèi)存緩存區(qū)，當存在采集節(jié)點故障時，則將故障采集節(jié)點所有主采集任務的備份采集節(jié)點上相應備份采集任務的采集結(jié)果存入內(nèi)存緩存區(qū)；

所述的數(shù)據(jù)持久化子模塊：用于將每個采集節(jié)點采集到的數(shù)據(jù)持久化到本地磁盤，當數(shù)據(jù)緩存子模塊失效導致數(shù)據(jù)丟失時，將丟失數(shù)據(jù)從本地磁盤讀入內(nèi)存緩存區(qū)，當數(shù)據(jù)經(jīng)壓縮成功存入數(shù)據(jù)庫后，將本地磁盤中對應的數(shù)據(jù)刪除以節(jié)省磁盤空間；

所述的數(shù)據(jù)壓縮子模塊：用于檢測數(shù)據(jù)緩存子模塊是否失效，若未失效，則將內(nèi)存緩存區(qū)中緩存的數(shù)據(jù)進行壓縮，若失效，則將數(shù)據(jù)緩存子模塊的失效信息發(fā)送給數(shù)據(jù)持久化子模塊；

所述的數(shù)據(jù)存儲子模塊：用于將數(shù)據(jù)壓縮子模塊壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫。

采用基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng)進行的采集方法，包括以下步驟：

步驟1、開啟各現(xiàn)場設備及其對應的現(xiàn)場控制站和無線設備，各現(xiàn)場控制站和無線設備開啟后自動向監(jiān)控報警模塊的節(jié)點監(jiān)控子模塊注冊信息；

步驟2、開啟各采集節(jié)點，各采集節(jié)點開啟后自動向節(jié)點監(jiān)控子模塊注冊信息，節(jié)點監(jiān)控子模塊按照注冊順序分別為每個采集節(jié)點進行編號；

步驟3、設置各采集節(jié)點的時鐘同步；

步驟4、采用用戶管理模塊注冊用戶信息并登錄；

步驟5、采用資源管理模塊設置各采集節(jié)點的運行狀態(tài)閾值及其過載運行等待時間；

步驟6、采用數(shù)據(jù)采集模塊的任務管理子模塊設置采集任務；

采集任務的設置包括采集數(shù)據(jù)組的設置，每個數(shù)據(jù)組包含的采集數(shù)據(jù)項的設置，以及每個采集任務的采集周期、采集優(yōu)先級、采集等級、采集模式的設置；一個采集任務為一個數(shù)據(jù)組或一個數(shù)據(jù)項；

步驟7、采用資源管理模塊進行調(diào)度信息預處理，并進行資源分配獲得分配結(jié)果，確定工作的采集節(jié)點，將分配結(jié)果發(fā)送到任務調(diào)度子模塊；

步驟8、任務調(diào)度子模塊從任務管理子模塊獲取采集任務，并根據(jù)采集任務和資源管理模塊的分配結(jié)果進行任務分配，并將分配給目標采集節(jié)點的高等級主采集任務作為備份任務循環(huán)分配給與其編號相鄰的下兩個工作采集節(jié)點，將分配給各個采集節(jié)點的任務發(fā)送至采集子模塊的相應采集節(jié)點上；

步驟9、各個采集節(jié)點根據(jù)自身獲取到的采集任務完成對相應現(xiàn)場控制站和無線設備中數(shù)據(jù)的采集，采用結(jié)果監(jiān)控子模塊對采集結(jié)果進行實時監(jiān)控，采用節(jié)點監(jiān)控子模塊對節(jié)點運行狀態(tài)進行實時監(jiān)控，采用任務監(jiān)控子模塊對任務執(zhí)行情況進行實時監(jiān)控，并將異常信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送至日志管理模塊中進行記錄；

具體步驟如下：

步驟9.1、各采集節(jié)點根據(jù)自身獲取到的每條采集任務的采集模式，對相應現(xiàn)場控制站或無線設備中的數(shù)據(jù)進行采集；

步驟9.2、采用結(jié)果監(jiān)控子模塊從任務管理子模塊獲取各采集任務的采集周期，對各采集節(jié)點的采集結(jié)果進行實時監(jiān)控，將采集結(jié)果信息發(fā)送到日志管理模塊中，并將異常信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄；

步驟9.3、采用節(jié)點監(jiān)控子模塊從資源管理模塊中獲取各采集節(jié)點的運行狀態(tài)閾值和過載運行等待時間，實時監(jiān)控各現(xiàn)場控制站、無線設備、采集節(jié)點的運行狀態(tài)，并將異常信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄；

步驟9.4、采用任務監(jiān)控子模塊對設定的采集任務數(shù)量、任務隊列、任務分配、任務等待和任務執(zhí)行情況進行實時監(jiān)控，并將異常信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄；

步驟10、采用數(shù)據(jù)壓縮和存儲模塊將每個采集節(jié)點采集到的數(shù)據(jù)進行緩存、持久化、壓縮后存入數(shù)據(jù)庫，采用結(jié)果監(jiān)控子模塊對各采集節(jié)點上采集數(shù)據(jù)的存儲情況進行實時監(jiān)控，并將采集任務存儲失敗的異常信息發(fā)送到報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄；

步驟11、采用網(wǎng)絡監(jiān)控子模塊實時監(jiān)控系統(tǒng)網(wǎng)絡連接情況，若系統(tǒng)網(wǎng)絡連接異常，將異常信息發(fā)送給報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄。

步驟7所述的采用資源管理模塊進行調(diào)度信息預處理，并進行資源分配獲得分配結(jié)果，確定工作的采集節(jié)點，將分配結(jié)果發(fā)送到任務調(diào)度子模塊；具體如下：

步驟7.1、采用資源管理模塊的資源調(diào)度子模塊從任務管理子模塊中獲取設定的采集任務，從節(jié)點監(jiān)控子模塊中獲取各現(xiàn)場控制站運行狀態(tài)信息、無線設備運行狀態(tài)信息以及各采集節(jié)點的運行狀態(tài)信息；

步驟7.2、資源調(diào)度子模塊判斷有線采集任務對應的現(xiàn)場控制站和無線采集任務對應的無線設備是否均正常運行，若是，則執(zhí)行步驟7.3，若現(xiàn)場控制站中有一臺或幾臺處于故障或未開啟狀態(tài)，或無線設備中有一臺或幾臺處于故障或未開啟狀態(tài)，則提示對應的現(xiàn)場控制站或無線設備異常，需重新設置任務，返回執(zhí)行步驟6；

步驟7.3、采用資源調(diào)度子模塊根據(jù)采集任務量以及各采集節(jié)點的運行狀態(tài)信息進行資源分配，優(yōu)先選擇CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬余量大的采集節(jié)點進行工作，從而確定工作的采集節(jié)點，其余采集節(jié)點作為冗余熱備，將該調(diào)度結(jié)果發(fā)送到數(shù)據(jù)采集模塊的任務調(diào)度子模塊。

步驟9.2所述的采用結(jié)果監(jiān)控子模塊從任務管理子模塊獲取各采集任務的采集周期，對各采集節(jié)點的采集結(jié)果進行實時監(jiān)控，將采集結(jié)果信息發(fā)送到日志管理模塊中，并將異常信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄，具體步驟如下：

步驟9.2.1、采用結(jié)果監(jiān)控子模塊從任務管理子模塊獲取各采集任務的采集周期，對各采集節(jié)點的采集結(jié)果進行實時監(jiān)控，將采集結(jié)果信息發(fā)送至日志管理模塊的結(jié)果日志子模塊中；

步驟9.2.2、若存在某采集節(jié)點上某個或某幾個主采集任務采集失敗，則在當前采集周期，結(jié)果監(jiān)控子模塊將采集節(jié)點上主采集任務采集失敗的信息發(fā)送到數(shù)據(jù)壓縮和存儲模塊的數(shù)據(jù)緩存子模塊中；

步驟9.2.3、數(shù)據(jù)緩存子模塊將失敗主采集任務的備份采集任務的采集結(jié)果從該主采集任務的第一號備份采集節(jié)點存入內(nèi)存緩存區(qū)，數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)緩存的數(shù)據(jù)進行壓縮，數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫；

所述的第一號備份采集節(jié)點為：主采集任務的備份采集節(jié)點中，與主采集任務所在的采集節(jié)點編號相近的第一個備份采集節(jié)點；

步驟9.2.4、當?shù)谝惶杺浞莶杉?jié)點上該主采集任務的備份采集任務也采集失敗時，數(shù)據(jù)緩存子模塊將該主采集任務的備份采集任務的采集結(jié)果從第二號備份采集節(jié)點存入內(nèi)存緩存區(qū)，數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)緩存的數(shù)據(jù)進行壓縮，數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫；

所述的第二號備份采集節(jié)點為：主采集任務的備份采集節(jié)點中，與主采集任務所在的采集節(jié)點編號相近的第二個備份采集節(jié)點；

步驟9.2.5、當?shù)诙杺浞莶杉?jié)點上該主采集任務的備份采集任務依然采集失敗時，結(jié)果監(jiān)控子模塊將該采集任務采集失敗的信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送至日志管理模塊的報警日志子模塊中進行記錄；

步驟9.2.6、若存在采集節(jié)點上主采集任務異常，則在下一個采集周期，結(jié)果監(jiān)控子模塊將該采集節(jié)點上該主采集任務異常的信息發(fā)送至任務調(diào)度子模塊中，任務調(diào)度子模塊將該采集任務的第一個成功采集的備份采集節(jié)點設為該采集任務的主采集節(jié)點，同時任務調(diào)度子模塊獲取剩余各工作采集節(jié)點的運行狀態(tài)信息并以CPU利用率為主要關鍵字、以內(nèi)存利用率為第一次要關鍵字、硬盤利用率為第二次要關鍵字、網(wǎng)絡帶寬利用率為第三次要關鍵字對剩余各工作采集節(jié)點進行排序，將采集節(jié)點上異常的采集任務作為備份任務遷移到當前CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬利用率最低的正常運行的工作采集節(jié)點進行采集，若此時不存在剩余工作采集節(jié)點，則資源調(diào)度子模塊從冗余熱備的采集節(jié)點中選擇一個CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬利用率最低的采集節(jié)點作為新加入的工作采集節(jié)點，任務調(diào)度子模塊將采集節(jié)點上異常采集任務作為備份任務遷移到該新加入的工作采集節(jié)點進行采集；結(jié)果監(jiān)控子模塊監(jiān)控遷移到的工作采集節(jié)點上該采集任務的采集情況，若連續(xù)多個采集周期該采集節(jié)點上該采集任務依然采集失敗，則按照CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬利用率從低到高的順序繼續(xù)進行任務遷移，直至遷移到的工作采集節(jié)點上該采集任務能夠采集成功為止；若連續(xù)遷移多次，該采集任務依然采集失敗，則結(jié)果監(jiān)控子模塊將該采集任務異常的信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送至日志管理模塊的報警日志子模塊中進行記錄；

所述的剩余各工作采集節(jié)點是指除該異常采集任務所屬的主采集節(jié)點及其備份采集節(jié)點之外的其余各工作采集節(jié)點。

步驟9.2.7、結(jié)果監(jiān)控子模塊將各采集節(jié)點采集任務的實際采集時間與設置的采集周期進行對比，若實際采集時間大于設置的采集周期，則執(zhí)行步驟9.2.8，否則，執(zhí)行步驟9.3；

步驟9.2.8、將該采集節(jié)點上采集任務的實際采集時間不滿足采集周期要求的信息發(fā)送至任務調(diào)度子模塊和資源管理模塊的資源調(diào)度子模塊中，在下一采集周期，資源調(diào)度子模塊根據(jù)該信息從冗余熱備的節(jié)點中選擇一個作為新的工作采集節(jié)點，任務調(diào)度子模塊根據(jù)資源調(diào)度子模塊的調(diào)度結(jié)果，將該采集節(jié)點上的一部分采集任務遷移給新加入的工作采集節(jié)點，并返回執(zhí)行步驟9.1；

步驟9.2.9、當所有冗余熱備的采集節(jié)點均加入工作，仍存在采集節(jié)點實際采集時間大于設置的采集周期，則將實際采集時間不能滿足采集周期的信息發(fā)送到報警子模塊進行實時報警，同時報警子模塊將報警信息發(fā)送到報警日志子模塊中進行記錄。

步驟9.3所述的采用節(jié)點監(jiān)控子模塊從資源管理模塊中獲取各采集節(jié)點的運行狀態(tài)閾值和過載運行等待時間，實時監(jiān)控各現(xiàn)場控制站、無線設備、采集節(jié)點的運行狀態(tài)，并將異常信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄，具體步驟如下：

步驟9.3.1、采用節(jié)點監(jiān)控子模塊從資源管理模塊的初始化子模塊中獲取各采集節(jié)點的運行狀態(tài)閾值和過載運行等待時間，實時監(jiān)控各現(xiàn)場控制站、無線設備、采集節(jié)點的運行狀態(tài)；

步驟9.3.2、當存在現(xiàn)場控制站故障時，節(jié)點監(jiān)控子模塊將該現(xiàn)場控制站故障的信息發(fā)送至任務監(jiān)控子模塊中，任務監(jiān)控子模塊終止對應有線采集任務的采集，并提示該現(xiàn)場控制站對應的采集任務采集失敗，同時節(jié)點監(jiān)控子模塊將該現(xiàn)場控制站故障信息發(fā)送到報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到報警日志子模塊進行記錄；

步驟9.3.3、當存在無線設備故障時，則節(jié)點監(jiān)控子模塊將該無線設備故障的信息發(fā)送至任務監(jiān)控子模塊，任務監(jiān)控子模塊終止對應的無線采集任務的采集，并提示該無線設備對應的采集任務采集失敗，同時節(jié)點監(jiān)控子模塊將該無線設備故障信息發(fā)送到報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到報警日志子模塊進行記錄；

步驟9.3.4、當存在采集節(jié)點故障時，在當前采集周期，節(jié)點監(jiān)控子模塊將采集節(jié)點故障信息發(fā)送至數(shù)據(jù)緩存子模塊中；

步驟9.3.5、數(shù)據(jù)緩存子模塊將該采集節(jié)點所有主采集任務的第一號備份采集節(jié)點上相應備份采集任務的采集結(jié)果在內(nèi)存緩存區(qū)進行緩存，數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)緩存的數(shù)據(jù)進行壓縮，數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫；

所述的第一號備份采集節(jié)點為：主采集任務的備份采集節(jié)點中，與主采集任務所在的采集節(jié)點編號相近的第一個備份采集節(jié)點；

步驟9.3.6、當?shù)谝惶杺浞莶杉?jié)點也發(fā)生故障時，數(shù)據(jù)緩存子模塊將第二號備份采集節(jié)點相應備份采集任務的采集結(jié)果在內(nèi)存緩存區(qū)進行緩存，數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)緩存的數(shù)據(jù)進行壓縮，數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫；

所述的第二號備份采集節(jié)點為：主采集任務的備份采集節(jié)點中，與主采集任務所在的采集節(jié)點編號相近的第二個備份采集節(jié)點；

步驟9.3.7、下一采集周期，節(jié)點監(jiān)控子模塊將該采集節(jié)點故障信息發(fā)送至資源調(diào)度子模塊和任務調(diào)度子模塊中，資源調(diào)度子模塊從冗余熱備的采集節(jié)點中選擇一個作為新的工作采集節(jié)點，任務調(diào)度子模塊根據(jù)資源調(diào)度子模塊的調(diào)度結(jié)果，將故障采集節(jié)點的采集任務遷移到新加入的工作采集節(jié)點進行采集，同時，節(jié)點監(jiān)控子模塊將該采集節(jié)點的故障信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到報警日志子模塊進行記錄；

步驟9.3.8、節(jié)點監(jiān)控子模塊將各采集節(jié)點的實際運行狀態(tài)與其運行狀態(tài)閾值信息進行對比，判斷采集節(jié)點是否過載，若存在采集節(jié)點過載且在過載運行等待時間之后仍然過載，則執(zhí)行步驟9.3.9，否則，執(zhí)行步驟9.4；

步驟9.3.9、節(jié)點監(jiān)控子模塊將其過載信息發(fā)送給資源調(diào)度子模塊和任務調(diào)度子模塊，在下一采集周期，資源調(diào)度子模塊根據(jù)該信息從冗余熱備的節(jié)點中選擇一個作為新的工作采集節(jié)點，任務調(diào)度子模塊根據(jù)資源調(diào)度子模塊的調(diào)度結(jié)果，將該采集節(jié)點上的一部分采集任務遷移給新加入的工作采集節(jié)點，并返回執(zhí)行步驟9.1；

步驟9.3.10、當所有冗余熱備的采集節(jié)點均加入工作，仍存在采集節(jié)點過載，則節(jié)點監(jiān)控子模塊將該采集節(jié)點過載信息發(fā)送到報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到報警日志子模塊進行記錄。

步驟10所述的采用數(shù)據(jù)壓縮和存儲模塊將每個采集節(jié)點采集到的數(shù)據(jù)進行緩存、持久化、壓縮后存入數(shù)據(jù)庫，采用結(jié)果監(jiān)控子模塊對各采集節(jié)點上采集數(shù)據(jù)的存儲情況進行實時監(jiān)控，并將采集任務存儲失敗的異常信息發(fā)送到報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄，具體步驟如下：

步驟10.1、數(shù)據(jù)緩存子模塊將每個采集節(jié)點采集到的數(shù)據(jù)在內(nèi)存緩存區(qū)進行緩存；

步驟10.2、數(shù)據(jù)持久化子模塊將每個采集節(jié)點采集到的數(shù)據(jù)持久化到本地磁盤；

步驟10.3、數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)中緩存的數(shù)據(jù)進行壓縮；

步驟10.4、數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫；

步驟10.5、結(jié)果監(jiān)控子模塊對各采集節(jié)點上采集數(shù)據(jù)的存儲情況進行實時監(jiān)控，并將存儲結(jié)果信息發(fā)送到結(jié)果日志子模塊中；

步驟10.6、當數(shù)據(jù)存儲子模塊將數(shù)據(jù)成功存入數(shù)據(jù)庫時，結(jié)果監(jiān)控子模塊將該數(shù)據(jù)存儲成功的信息發(fā)送到數(shù)據(jù)緩存子模塊和數(shù)據(jù)持久化子模塊，數(shù)據(jù)緩存子模塊將該部分數(shù)據(jù)從內(nèi)存緩存區(qū)刪除以節(jié)省內(nèi)存空間，數(shù)據(jù)持久化子模塊將該部分數(shù)據(jù)從采集節(jié)點本地磁盤刪除以節(jié)省磁盤空間；

步驟10.7、當存在采集節(jié)點上采集數(shù)據(jù)存入數(shù)據(jù)庫失敗時，結(jié)果監(jiān)控子模塊將該采集節(jié)點上采集任務存儲失敗的信息發(fā)送到數(shù)據(jù)壓縮子模塊，數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)中的該部分數(shù)據(jù)重新進行壓縮，返回執(zhí)行步驟10.4；

步驟10.8、當數(shù)據(jù)壓縮子模塊檢測到由于數(shù)據(jù)緩存子模塊失效導致內(nèi)存緩存區(qū)中數(shù)據(jù)丟失時，將丟失信息發(fā)送到數(shù)據(jù)持久化子模塊中，數(shù)據(jù)持久化子模塊將丟失數(shù)據(jù)從本地磁盤讀入內(nèi)存緩存區(qū)，返回執(zhí)行步驟10.3；

步驟10.9、當本地磁盤中的持久化數(shù)據(jù)也存入數(shù)據(jù)庫失敗時，結(jié)果監(jiān)控子模塊將采集任務存儲失敗的異常信息發(fā)送到報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到報警日志子模塊中進行記錄。

本發(fā)明優(yōu)點：

本發(fā)明和現(xiàn)有技術相比具有如下優(yōu)點：本發(fā)明提出一種大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng)及方法，用戶可以根據(jù)需求設定采集任務的采集模式，并根據(jù)采集數(shù)據(jù)的重要程度不同，對不同采集任務設置不同的采集等級；加入用戶管理模塊對系統(tǒng)用戶進行權(quán)限驗證，提高了系統(tǒng)的安全性；加入日志管理功能，對各采集周期的采集結(jié)果信息、存儲結(jié)果信息以及報警日志信息進行記錄，便于用戶對歷史信息進行查詢；加入資源調(diào)度功能，能夠根據(jù)用戶設定的采集任務量確定初始工作的采集節(jié)點，其余采集節(jié)點作為冗余熱備，提高了資源的利用率，同時在系統(tǒng)異常時，能夠在一定程度上對采集節(jié)點進行調(diào)度，保證了系統(tǒng)的可靠性；加入監(jiān)控報警功能，能夠?qū)Ω鞑杉?jié)點、現(xiàn)場控制站、無線設備的運行狀態(tài)、各采集節(jié)點上任務的采集結(jié)果和存儲結(jié)果、各采集任務的分配、執(zhí)行、等待情況以及系統(tǒng)網(wǎng)絡連接情況等進行實時監(jiān)控，且能夠?qū)ο到y(tǒng)異常進行實時報警；加入數(shù)據(jù)壓縮功能，對采集數(shù)據(jù)進行壓縮，提高了數(shù)據(jù)傳輸效率，節(jié)省了數(shù)據(jù)存儲空間，進而提高了采集系統(tǒng)的實時性和硬件資源的利用率；當存在采集節(jié)點故障或采集節(jié)點上數(shù)據(jù)組或數(shù)據(jù)項采集失敗時，在當前采集周期，由于存在采集任務的備份，備份的采集節(jié)點將采集失敗的數(shù)據(jù)組或數(shù)據(jù)項對應的備份采集任務的采集結(jié)果存入數(shù)據(jù)庫，保證了當前采樣周期的數(shù)據(jù)組和數(shù)據(jù)項采集的容錯性和可靠性；加入無線采集功能，能夠?qū)o線傳輸設備上的數(shù)據(jù)進行采集。

附圖說明

圖1為當前工業(yè)數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)圖；

圖2為本發(fā)明一種實施例大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)示意圖；

圖3為本發(fā)明一種實施例的基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集方法流程圖；

具體實施方式

下面結(jié)合附圖對本發(fā)明一種實施例做進一步說明。

本發(fā)明實施例中，如圖2所示，一種基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng)，包括用戶管理模塊、日志管理模塊、資源管理模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)壓縮和存儲模塊、監(jiān)控報警模塊、現(xiàn)場控制站、無線設備和現(xiàn)場設備；

本發(fā)明實施例中，用戶管理模塊、日志管理模塊、資源管理模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)壓縮和存儲模塊、監(jiān)控報警模塊均基于MyEclipse 2014開發(fā)平臺，采用java語言開發(fā)；數(shù)據(jù)采集模塊的采集子模塊由6個采集節(jié)點組成，選用的6個采集節(jié)點均運行于Windows7 64位操作系統(tǒng)，8G運行內(nèi)存的計算機上，用于對現(xiàn)場控制站和無線設備中的數(shù)據(jù)進行采集；本發(fā)明選用的9臺現(xiàn)場控制站均為Foxboro公司的PLC，用于連接9組風機；選用的9臺無線設備均采用WSN-03 1W大功率無線數(shù)據(jù)傳輸模塊；本發(fā)明選用的現(xiàn)場設備為9組風機，用于產(chǎn)生風機的相關數(shù)據(jù)；9組風力發(fā)電機的名稱分別為：F15、F16、F17、F18、F20、F21、F22、F23、F24；本發(fā)明中選用的工業(yè)云平臺為浪潮云海服務器虛擬化系統(tǒng)V4.0，用戶管理模塊、日志管理模塊、資源管理模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)壓縮和存儲模塊、監(jiān)控報警模塊均部署在該工業(yè)云平臺上；

本發(fā)明實施例中，用戶管理模塊用于完成用戶注冊、用戶登錄及身份驗證、用戶注銷、用戶信息查詢和用戶信息修改等功能；

所述的用戶信息包括：用戶個人賬號、用戶名、密碼、電子郵箱、聯(lián)系電話、聯(lián)系地址和個人標簽；

本發(fā)明實施例中，日志管理模塊，包括：結(jié)果日志子模塊、報警日志子模塊和日志打印子模塊；其中，所述的結(jié)果日志子模塊用于將每個采集節(jié)點每個采集周期采集任務的采集結(jié)果信息和存儲結(jié)果信息寫入日志，對采集結(jié)果和存儲結(jié)果進行查詢；所述的報警日志子模塊用于將報警信息寫入日志，對報警信息進行查詢；所述的日志打印子模塊用于打印日志。

本發(fā)明實施例中，所述的采集結(jié)果信息，包括每個采集節(jié)點每個采集周期數(shù)據(jù)開始采集時刻、結(jié)束采集時刻、采集時間、該采集周期采集是否成功，若采集不成功，還包括未成功采集的采集任務個數(shù)、未成功采集的采集任務列表；

本發(fā)明實施例中，所述的存儲結(jié)果信息，包括每個采集節(jié)點每個采集周期數(shù)據(jù)開始存入數(shù)據(jù)庫時刻、結(jié)束存入數(shù)據(jù)庫時刻、該采集周期存儲是否成功，若存儲不成功，還包括未成功存儲的采集任務個數(shù)、未成功存儲的采集任務列表；

本發(fā)明實施例中，所述的報警信息，包括報警時刻和報警原因；

本發(fā)明實施例中，資源管理模塊，包括：初始化子模塊和資源調(diào)度子模塊，其中，所述的初始化子模塊用于對各采集節(jié)點的運行狀態(tài)閾值和過載運行等待時間進行設定；所述的資源調(diào)度子模塊用于進行調(diào)度信息預處理，即從任務管理子模塊獲取設定的采集任務，從節(jié)點監(jiān)控子模塊獲取各現(xiàn)場控制站運行狀態(tài)信息、無線設備運行狀態(tài)信息、各采集節(jié)點的運行狀態(tài)信息，根據(jù)各現(xiàn)場控制站、無線設備運行狀態(tài)信息判斷有線采集任務對應的現(xiàn)場控制站和無線采集任務對應的無線設備是否均正常運行，并在有線采集任務對應的現(xiàn)場控制站或無線采集任務對應的無線設備處于故障或未開啟狀態(tài)時，提示用戶重新設置任務；根據(jù)各采集節(jié)點的運行狀態(tài)信息和采集任務量進行資源分配，確定工作的采集節(jié)點，并將資源分配結(jié)果發(fā)送到任務調(diào)度子模塊；當出現(xiàn)采集節(jié)點異常時，進行異常后資源調(diào)度，即從冗余熱備的采集節(jié)點中選擇新的采集節(jié)點進行工作，將調(diào)度結(jié)果發(fā)送到任務調(diào)度子模塊。

本發(fā)明實施例中，所述采集節(jié)點的運行狀態(tài)閾值，包括CPU正常運行狀態(tài)閾值、CPU過載狀態(tài)閾值、內(nèi)存正常運行狀態(tài)閾值、內(nèi)存過載狀態(tài)閾值、硬盤正常運行狀態(tài)閾值、硬盤過載狀態(tài)閾值、網(wǎng)絡帶寬正常運行狀態(tài)閾值、網(wǎng)絡帶寬過載狀態(tài)閾值；

本發(fā)明實施例中，所述的現(xiàn)場控制站的運行狀態(tài)信息，包括每個現(xiàn)場控制站的運行、故障或未開啟狀態(tài)；所述的無線設備的運行狀態(tài)信息，包括每個無線設備的運行、故障或未開啟狀態(tài)；所述的采集節(jié)點的運行狀態(tài)信息，包括每個采集節(jié)點的運行、故障或未開啟狀態(tài)，以及每個處于運行狀態(tài)的采集節(jié)點的CPU總量、使用率和余量，內(nèi)存總量、使用率和余量，硬盤總量、使用率和余量，網(wǎng)絡寬帶總量、使用率和余量；

本發(fā)明實施例中，所述的采集節(jié)點異常，包括采集節(jié)點故障、過載或采集節(jié)點上采集任務實際采集時間不滿足用戶設置的采集周期要求；

本發(fā)明實施例中，數(shù)據(jù)采集模塊，包括：任務管理子模塊、任務調(diào)度子模塊和采集子模塊，其中，任務管理子模塊用于對采集任務進行添加、刪除和修改；采集任務的設置包括：采集數(shù)據(jù)組的設置，每個數(shù)據(jù)組包含的采集數(shù)據(jù)項的設置，以及每個采集任務的采集周期、采集優(yōu)先級、采集等級和采集模式的設置；一個采集任務為一個數(shù)據(jù)組或一個數(shù)據(jù)項；任務調(diào)度子模塊用于從任務管理子模塊中獲取設置的采集任務，根據(jù)采集任務和資源管理模塊的調(diào)度結(jié)果進行任務分配，并將分配給目標采集節(jié)點的高等級的主采集任務作為備份任務循環(huán)分配給與其編號相鄰的下兩個工作采集節(jié)點，將任務分配結(jié)果發(fā)送到采集子模塊的相應采集節(jié)點；當存在采集節(jié)點異常時，將異常采集節(jié)點上的全部或部分采集任務遷移至資源管理模塊所選擇的新加入的采集節(jié)點上；當存在采集節(jié)點上采集任務異常時，將該采集任務的第一個成功采集的備份采集節(jié)點設為該采集任務的主采集節(jié)點，同時獲取各工作采集節(jié)點的運行狀態(tài)信息并按照CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬的利用率對其進行排序，將采集節(jié)點上異常的采集任務作為備份任務遷移至其他正常運行的工作采集節(jié)點；采集子模塊包括6個采集節(jié)點，各采集節(jié)點根據(jù)任務調(diào)度子模塊發(fā)送的采集任務的不同采集模式，采用不同的方式實現(xiàn)采集任務的采集；

本發(fā)明實施例中，所述的采集優(yōu)先級：根據(jù)采集任務被要求采集的先后順序分為高優(yōu)先級、中優(yōu)先級、低優(yōu)先級，同一優(yōu)先級的任務按照任務在任務列表的排列順序進行采集；

本發(fā)明實施例中，所述的采集等級：根據(jù)采集任務的重要性程度分為高等級、中等級、低等級；

本發(fā)明實施例中，所述的采集模式：包括有線采集模式和無線采集模式，若為有線采集模式，則采集節(jié)點通過有線采集方式對該采集任務對應的現(xiàn)場控制站中的數(shù)據(jù)進行采集，若為無線采集模式，則采集節(jié)點采用無線采集方式對該采集任務對應的無線設備中的數(shù)據(jù)進行采集；

本發(fā)明實施例中，所述的采集節(jié)點上采集任務異常，是指連續(xù)多個采集周期，采集節(jié)點上一個或幾個采集任務采集失敗，但該采集任務的備份采集節(jié)點上該采集任務能夠成功采集的情況；

本發(fā)明實施例中，數(shù)據(jù)壓縮和存儲模塊，包括：數(shù)據(jù)緩存子模塊、數(shù)據(jù)持久化子模塊、數(shù)據(jù)壓縮子模塊和數(shù)據(jù)存儲子模塊，其中，數(shù)據(jù)緩存子模塊用于將每個采集節(jié)點采集到的數(shù)據(jù)在內(nèi)存緩存區(qū)進行緩存，當數(shù)據(jù)經(jīng)壓縮成功存入數(shù)據(jù)庫后，將內(nèi)存緩存區(qū)中對應的數(shù)據(jù)刪除以節(jié)省內(nèi)存空間，當存在采集節(jié)點的某一主采集任務采集失敗時，將失敗的主采集任務的備份采集任務的采集結(jié)果從該主采集任務的備份采集節(jié)點存入內(nèi)存緩存區(qū)；當存在采集節(jié)點故障時，則將故障采集節(jié)點所有主采集任務的備份采集節(jié)點上相應備份采集任務的采集結(jié)果存入內(nèi)存緩存區(qū)；數(shù)據(jù)持久化子模塊用于將每個采集節(jié)點采集到的數(shù)據(jù)持久化到本地磁盤，當數(shù)據(jù)緩存子模塊失效導致數(shù)據(jù)丟失時，將丟失數(shù)據(jù)從本地磁盤讀入內(nèi)存緩存區(qū)，當數(shù)據(jù)經(jīng)壓縮成功存入數(shù)據(jù)庫后，將本地磁盤中對應的數(shù)據(jù)刪除以節(jié)省磁盤空間；數(shù)據(jù)壓縮子模塊用于檢測數(shù)據(jù)緩存子模塊是否失效，若未失效，則將內(nèi)存緩存區(qū)中緩存的數(shù)據(jù)進行壓縮，若失效，則將數(shù)據(jù)緩存子模塊的失效信息發(fā)送給數(shù)據(jù)持久化子模塊；數(shù)據(jù)存儲子模塊用于將數(shù)據(jù)壓縮子模塊壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫。

本發(fā)明實施例中，監(jiān)控報警模塊，包括：結(jié)果監(jiān)控子模塊、任務監(jiān)控子模塊、節(jié)點監(jiān)控子模塊、網(wǎng)絡監(jiān)控子模塊和報警子模塊，其中，結(jié)果監(jiān)控子模塊用于從任務管理子模塊中獲取各采集任務的采集周期，對各采集節(jié)點的采集結(jié)果信息和存儲結(jié)果信息進行實時監(jiān)控，將采集結(jié)果信息和存儲結(jié)果信息發(fā)送至日志管理模塊中，當存在采集節(jié)點上的采集任務采集失敗時，將采集節(jié)點采集任務采集失敗的信息發(fā)送至報警子模塊、數(shù)據(jù)壓縮和存儲模塊；當存在采集節(jié)點上的采集任務異常時，將該采集任務異常的信息發(fā)送至任務調(diào)度子模塊；當采集節(jié)點上經(jīng)壓縮后的采集數(shù)據(jù)成功存入數(shù)據(jù)庫時，將存儲成功的信息發(fā)送至數(shù)據(jù)壓縮和存儲模塊；當存在采集節(jié)點上采集任務存儲失敗時，將采集節(jié)點采集任務存儲失敗的信息發(fā)送至報警子模塊、數(shù)據(jù)壓縮和存儲模塊；將各采集節(jié)點上采集任務的實際采集時間與設置的采集周期進行對比，當存在采集節(jié)點上采集任務的實際采集時間大于設置的采集周期時，將該采集節(jié)點上采集任務實際采集時間不滿足采集周期要求的信息發(fā)送至報警子模塊、資源管理模塊和任務調(diào)度子模塊中；任務監(jiān)控子模塊用于對采集任務的數(shù)量、任務隊列、任務分配、任務執(zhí)行和任務等待情況進行監(jiān)控，并在采集任務對應的現(xiàn)場控制站和無線設備故障時，暫停相應任務的執(zhí)行；節(jié)點監(jiān)控子模塊用于接收各現(xiàn)場控制站、無線設備以及各采集節(jié)點的注冊信息，并按照注冊順序?qū)Ω鞑杉?jié)點進行編號，從資源管理模塊中獲取各采集節(jié)點的運行狀態(tài)閾值信息和過載運行等待時間信息，實時獲取各現(xiàn)場控制站的運行狀態(tài)信息、無線設備的運行狀態(tài)信息、采集節(jié)點的運行狀態(tài)信息并對其運行狀態(tài)進行實時監(jiān)控，當現(xiàn)場控制站或無線設備故障時，將對應故障信息發(fā)送給任務監(jiān)控子模塊和報警子模塊，當存在采集節(jié)點故障時，將采集節(jié)點故障信息發(fā)送至報警子模塊、資源管理模塊、任務調(diào)度子模塊以及數(shù)據(jù)壓縮和存儲模塊中；將各采集節(jié)點的實際運行狀態(tài)與其運行狀態(tài)閾值進行對比，判斷采集節(jié)點是否過載，當存在采集節(jié)點過載且在過載運行等待時間之后仍然過載時，將該采集節(jié)點過載信息發(fā)送至報警子模塊、資源管理模塊和任務調(diào)度子模塊中；網(wǎng)絡監(jiān)控子模塊用于監(jiān)控系統(tǒng)當前網(wǎng)絡連接是否正常，若網(wǎng)絡連接異常，將異常信息發(fā)送到報警子模塊；報警子模塊用于對系統(tǒng)異常進行實時報警，同時將報警信息發(fā)送至日志管理模塊。

本發(fā)明實施例中，所述的系統(tǒng)異常，包括現(xiàn)場控制站故障、無線設備故障、采集節(jié)點故障、采集節(jié)點過載、采集任務采集失敗、采集任務存儲失敗、采集節(jié)點上采集任務的實際采集時間不能滿足用戶設定的采集周期要求和網(wǎng)絡連接異常。

本發(fā)明實施例中，采用基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng)進行的采集方法，方法流程圖如圖3所示，包括以下步驟：

步驟1、依次開啟9臺風機及其對應的現(xiàn)場控制站和無線設備，9個現(xiàn)場控制站和9個無線設備開啟后自動向監(jiān)控報警模塊的節(jié)點監(jiān)控子模塊注冊信息；

步驟2、依次開啟6個采集節(jié)點，6個采集節(jié)點開啟后自動向節(jié)點監(jiān)控子模塊注冊信息，節(jié)點監(jiān)控子模塊按照注冊順序分別為每個采集節(jié)點編號為1，2，3，4，5，6；

步驟3、設置6個采集節(jié)點的時鐘同步；

步驟4、采用用戶管理模塊注冊用戶信息并登錄；

本發(fā)明實施例中，所述的用戶信息包括：用戶個人賬號、用戶名、密碼、電子郵箱、聯(lián)系電話、聯(lián)系地址和個人標簽；

步驟5、采用資源管理模塊設置各采集節(jié)點的運行狀態(tài)閾值及其過載運行等待時間；

本發(fā)明實施例中，設置6個采集節(jié)點的運行狀態(tài)閾值均為默認值，包括CPU正常運行狀態(tài)閾值為3％-70％、CPU過載狀態(tài)閾值為75％-80％，內(nèi)存正常運行狀態(tài)閾值為20％-70％、內(nèi)存過載狀態(tài)閾值為75％-80％，硬盤正常運行狀態(tài)閾值為21％-70％、硬盤過載狀態(tài)閾值為75％-80％，網(wǎng)絡帶寬正常運行狀態(tài)閾值為2％-70％、網(wǎng)絡帶寬過載狀態(tài)閾值為75％-80％；設置6個采集節(jié)點的過載運行等待時間均為10s；

步驟6、采用數(shù)據(jù)采集模塊的任務管理子模塊設置采集任務；采集任務的設置包括采集數(shù)據(jù)組的設置，每個數(shù)據(jù)組包含的采集數(shù)據(jù)項的設置，以及每個采集任務的采集周期、采集優(yōu)先級、采集等級、采集模式的設置；一個采集任務為一個數(shù)據(jù)組或一個數(shù)據(jù)項；

本發(fā)明實施例中，所述的采集優(yōu)先級：根據(jù)采集任務被要求采集的先后順序分為高優(yōu)先級、中優(yōu)先級、低優(yōu)先級，同一優(yōu)先級的任務按照任務在任務列表的排列順序進行采集；所述的采集等級：根據(jù)采集任務的重要性程度分為高等級、中等級、低等級；所述的采集模式：包括有線采集模式和無線采集模式，若為有線采集模式，則采集節(jié)點通過有線采集方式對該采集任務對應的現(xiàn)場控制站中的數(shù)據(jù)進行采集，若為無線采集模式，則采集節(jié)點采用無線采集方式對該采集任務對應的無線設備中的數(shù)據(jù)進行采集；

本發(fā)明實施例中，共設置F15、F16、F17、F18、F20、F21、F22、F23、F24這9個數(shù)據(jù)組，即9個采集任務，分別對應F15、F16、F17、F18、F20、F21、F22、F23、F24這9臺風機上數(shù)據(jù)的采集，每個數(shù)據(jù)組包含404個數(shù)據(jù)項，其中Single Float型數(shù)據(jù)31個、Double Float型數(shù)據(jù)52個、Boolean型數(shù)據(jù)319個、Unsigned Integer型數(shù)據(jù)2個，將F15、F16、F17、F18、F20、F21這6個采集任務的采集模式設置為有線采集模式，將F22、F23、F24這3個采集任務的采集模式設置為無線采集模式，將F15、F16、F17、F22、F23這5個采集任務的優(yōu)先級設置為1，表示高優(yōu)先級任務，將F18、F20這兩個采集任務的優(yōu)先級設置為2，表示中優(yōu)先級任務，將F21、F24這2個采集任務的優(yōu)先級設置為3，表示低優(yōu)先級任務。將所有采集任務的采樣周期均設置為1000ms，所有采集任務的采集等級均設置為1，表示所有采集任務均為高等級任務，需要對所有采集任務均進行備份。

步驟7、采用資源管理模塊進行調(diào)度信息預處理，并進行資源分配獲得分配結(jié)果，確定工作的采集節(jié)點，將分配結(jié)果發(fā)送到任務調(diào)度子模塊；具體如下：

步驟7.1、采用資源管理模塊的資源調(diào)度子模塊從任務管理子模塊中獲取設定的采集任務，從節(jié)點監(jiān)控子模塊中獲取各現(xiàn)場控制站運行狀態(tài)信息、無線設備運行狀態(tài)信息以及各采集節(jié)點的運行狀態(tài)信息；

本發(fā)明實施例中，所述的現(xiàn)場控制站的運行狀態(tài)信息，包括每個現(xiàn)場控制站的運行、故障或未開啟狀態(tài)；所述的無線設備的運行狀態(tài)信息，包括每個無線設備的運行、故障或未開啟狀態(tài)；所述的采集節(jié)點的運行狀態(tài)信息，包括每個采集節(jié)點的運行、故障或未開啟狀態(tài)，以及每個處于運行狀態(tài)的采集節(jié)點的CPU總量、使用率和余量，內(nèi)存總量、使用率和余量，硬盤總量、使用率和余量，網(wǎng)絡寬帶總量、使用率和余量；

步驟7.2、資源調(diào)度子模塊判斷有線采集任務對應的現(xiàn)場控制站和無線采集任務對應的無線設備是否均正常運行，若F15、F16、F17、F18、F20、F21這6臺風機所對應的現(xiàn)場控制站都正常運行，F(xiàn)22、F23、F24這3臺風機對應的無線設備都正常運行，則執(zhí)行步驟7.3，若現(xiàn)場控制站中有一臺或幾臺處于故障或未開啟狀態(tài)，或無線設備中有一臺或幾臺處于故障或未開啟狀態(tài)，則提示對應的現(xiàn)場控制站或無線設備異常，需重新設置任務，返回執(zhí)行步驟6；

步驟7.3、采用資源調(diào)度子模塊根據(jù)采集任務量以及各采集節(jié)點的運行狀態(tài)信息進行資源分配，優(yōu)先選擇CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬余量大的采集節(jié)點進行工作，從而確定工作的采集節(jié)點，其余采集節(jié)點作為冗余熱備，將該調(diào)度結(jié)果發(fā)送到數(shù)據(jù)采集模塊的任務調(diào)度子模塊；

本發(fā)明實施例中，根據(jù)所設定的采集任務，資源調(diào)度子模塊確定的初始工作的采集節(jié)點個數(shù)為3個，分別為1、2、3號采集節(jié)點，4、5、6號采集節(jié)點作為冗余熱備的采集節(jié)點；

步驟8、任務調(diào)度子模塊從任務管理子模塊獲取采集任務，并根據(jù)采集任務和資源管理模塊的分配結(jié)果進行任務分配，并將分配給目標采集節(jié)點的高等級主采集任務作為備份任務循環(huán)分配給與其編號相鄰的下兩個工作采集節(jié)點，將分配給各個采集節(jié)點的任務發(fā)送至采集子模塊的相應采集節(jié)點上；

本發(fā)明實施例中，根據(jù)所設定的采集任務，任務調(diào)度子模塊所確定的任務分配方案為：F15、F17、F20這3個有線采集任務作為1號采集節(jié)點的主采集任務進行采集，F(xiàn)16、F18、F21這3個有線采集任務作為2號采集節(jié)點的主采集任務進行采集，F(xiàn)22、F23、F24這3個無線采集任務作為3號采集節(jié)點的主采集任務進行采集。同時將1號采集節(jié)點上的高等級主采集任務即F15、F17、F20作為備份采集任務分配給2、3號采集節(jié)點，其中，2號采集節(jié)點為1號采集節(jié)點上主采集任務即F15、F17、F20的第一號備份采集節(jié)點，3號采集節(jié)點為1號采集節(jié)點上主采集任務即F15、F17、F20的第二號備份采集節(jié)點，將2號采集節(jié)點上的高等級主采集任務即F16、F18、F21作為備份采集任務分配給3、1號采集節(jié)點，其中，3號采集節(jié)點為2號采集節(jié)點上主采集任務即F16、F18、F21的第一號備份采集節(jié)點，1號采集節(jié)點為2號采集節(jié)點上主采集任務即F16、F18、F21的第二號備份采集節(jié)點，將3號采集節(jié)點上的高等級主采集任務即F22、F23、F24作為備份采集任務分配給1、2號采集節(jié)點，其中，1號采集節(jié)點為3號采集節(jié)點上主采集任務即F22、F23、F24的第一號備份采集節(jié)點，2號采集節(jié)點為3號采集節(jié)點上主采集任務即F22、F23、F24的第二號備份采集節(jié)點；

步驟9、各個采集節(jié)點根據(jù)自身獲取到的采集任務完成對相應現(xiàn)場控制站和無線設備中數(shù)據(jù)的采集，采用結(jié)果監(jiān)控子模塊對采集結(jié)果進行實時監(jiān)控，采用節(jié)點監(jiān)控子模塊對節(jié)點運行狀態(tài)進行實時監(jiān)控，采用任務監(jiān)控子模塊對任務執(zhí)行情況進行實時監(jiān)控，并將異常信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送至日志管理模塊中進行記錄；

本發(fā)明實施例中，所述的報警信息，包括報警時刻和報警原因；

具體步驟如下：

步驟9.1、各采集節(jié)點根據(jù)自身獲取到的每條采集任務的采集模式，對相應現(xiàn)場控制站或無線設備中的數(shù)據(jù)進行采集；若為有線采集模式，則采用有線采集方式對采集任務對應的現(xiàn)場控制站中的數(shù)據(jù)進行采集，若為無線采集模式，則采用無線采集方式對采集任務對應的無線設備中的數(shù)據(jù)進行采集；

本發(fā)明實施例中，1號采集節(jié)點，采用有線采集方式對F15、F16、F17、F18、F20、F21這6條采集任務對應的現(xiàn)場控制站中的數(shù)據(jù)進行采集，采用無線采集方式對F22、F23、F24這3條采集任務對應的無線設備中的數(shù)據(jù)進行采集，其中F16、F18、F21這3條采集任務為2號采集節(jié)點上主采集任務的備份采集任務，F(xiàn)22、F23、F24這3條采集任務為3號采集節(jié)點上主采集任務的備份采集任務；2號采集節(jié)點，采用有線采集方式對F15、F16、F17、F18、F20、F21這6條采集任務對應的現(xiàn)場控制站中的數(shù)據(jù)進行采集，采用無線采集方式對F22、F23、F24這3條采集任務對應的無線設備中的數(shù)據(jù)進行采集，其中F15、F17、F20這3條采集任務為1號采集節(jié)點上主采集任務的備份采集任務，F(xiàn)22、F23、F24這3條采集任務為3號采集節(jié)點上主采集任務的備份采集任務；3號采集節(jié)點，采用有線采集方式對F15、F16、F17、F18、F20、F21這6條采集任務對應的現(xiàn)場控制站中的數(shù)據(jù)進行采集，采用無線采集方式對F22、F23、F24這3條采集任務對應的無線設備中的數(shù)據(jù)進行采集，其中F15、F17、F20這3條采集任務為1號采集節(jié)點上主采集任務的備份采集任務，F(xiàn)16、F18、F21這3條采集任務為2號采集節(jié)點上主采集任務的備份采集任務；

步驟9.2、采用結(jié)果監(jiān)控子模塊從任務管理子模塊獲取各采集任務的采集周期，對各采集節(jié)點的采集結(jié)果進行實時監(jiān)控，將采集結(jié)果信息發(fā)送到日志管理模塊中，并將異常信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄；

本發(fā)明實施例中，所述的采集結(jié)果信息，包括每個采集節(jié)點每個采集周期數(shù)據(jù)開始采集時刻、結(jié)束采集時刻、采集時間、該采集周期采集是否成功，若采集不成功，還包括未成功采集的采集任務個數(shù)、未成功采集的采集任務列表；

具體步驟如下：

步驟9.2.1、采用結(jié)果監(jiān)控子模塊從任務管理子模塊獲取各采集任務的采集周期，對各采集節(jié)點的采集結(jié)果進行實時監(jiān)控，將采集結(jié)果信息發(fā)送至日志管理模塊的結(jié)果日志子模塊中；

步驟9.2.2、若存在某采集節(jié)點上某個或某幾個主采集任務采集失敗，則在當前采集周期，結(jié)果監(jiān)控子模塊將采集節(jié)點上主采集任務采集失敗的信息發(fā)送到數(shù)據(jù)壓縮和存儲模塊的數(shù)據(jù)緩存子模塊中；

本發(fā)明實施例中，假設1號采集節(jié)點中采集任務F15采集失敗，或采集任務F15中的某個數(shù)據(jù)項采集失敗，則在當前采集周期，結(jié)果監(jiān)控子模塊將1號采集節(jié)點上采集任務F15采集失敗的信息發(fā)送到數(shù)據(jù)壓縮和存儲模塊的數(shù)據(jù)緩存子模塊中；

步驟9.2.3、數(shù)據(jù)緩存子模塊將采集任務F15的備份采集任務的采集結(jié)果從2號采集節(jié)點存入內(nèi)存緩存區(qū)，數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)緩存的數(shù)據(jù)進行壓縮，數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫；

步驟9.2.4、若此時2號采集節(jié)點上采集任務F15也采集失敗，則數(shù)據(jù)緩存子模塊將采集任務F15的備份采集任務的采集結(jié)果從3號采集節(jié)點存入內(nèi)存緩存區(qū)，數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)緩存的數(shù)據(jù)進行壓縮，數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫；

步驟9.2.5、若此時3號采集節(jié)點上采集任務F15依然采集失敗，則結(jié)果監(jiān)控子模塊將采集任務F15采集失敗的信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送至日志管理模塊的報警日志子模塊中進行記錄；

步驟9.2.6、若存在采集節(jié)點上主采集任務異常，則在下一個采集周期，結(jié)果監(jiān)控子模塊將該采集節(jié)點上該主采集任務異常的信息發(fā)送至任務調(diào)度子模塊中，任務調(diào)度子模塊將該采集任務的第一個成功采集的備份采集節(jié)點設為該采集任務的主采集節(jié)點，同時任務調(diào)度子模塊獲取剩余各工作采集節(jié)點的運行狀態(tài)信息并以CPU利用率為主要關鍵字、以內(nèi)存利用率為第一次要關鍵字、硬盤利用率為第二次要關鍵字、網(wǎng)絡帶寬利用率為第三次要關鍵字對剩余各工作采集節(jié)點進行排序，將采集節(jié)點上異常的采集任務作為備份任務遷移到當前CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬利用率最低的正常運行的工作采集節(jié)點進行采集，若此時不存在剩余工作采集節(jié)點，則資源調(diào)度子模塊從冗余熱備的采集節(jié)點中選擇一個CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬利用率最低的采集節(jié)點作為新加入的工作采集節(jié)點，任務調(diào)度子模塊將采集節(jié)點上異常采集任務作為備份任務遷移到該新加入的工作采集節(jié)點進行采集；結(jié)果監(jiān)控子模塊監(jiān)控遷移到的工作采集節(jié)點上該采集任務的采集情況，若連續(xù)多個采集周期該采集節(jié)點上該采集任務依然采集失敗，則按照CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬利用率從低到高的順序繼續(xù)進行任務遷移，直至遷移到的工作采集節(jié)點上該采集任務能夠采集成功為止；若連續(xù)遷移多次，該采集任務依然采集失敗，則結(jié)果監(jiān)控子模塊將該采集任務異常的信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送至日志管理模塊的報警日志子模塊中進行記錄；

本發(fā)明實施例中，所述的采集節(jié)點上采集任務異常，是指連續(xù)多個采集周期均存在某采集節(jié)點上一個或幾個采集任務采集失敗，但該采集任務的備份采集節(jié)點上該采集任務能夠成功采集的情況；所述的剩余各工作采集節(jié)點是指除該異常采集任務所屬的主采集節(jié)點及其備份采集節(jié)點之外的其余各工作采集節(jié)點。

本發(fā)明實施例中，若連續(xù)3個采集周期，1號采集節(jié)點上采集任務F15均采集失敗，但2號和3號采集節(jié)點中至少有一個節(jié)點該任務能夠成功采集，這里假設2號和3號采集節(jié)點該任務均能夠成功采集，則在下一個采集周期，結(jié)果監(jiān)控子模塊將1號采集節(jié)點上采集任務F15異常的信息發(fā)送至任務調(diào)度子模塊中，任務調(diào)度子模塊將2號采集節(jié)點設為采集任務F15的主采集節(jié)點，同時任務調(diào)度子模塊獲取剩余工作采集節(jié)點的運行狀態(tài)信息，由于此時沒有剩余工作采集節(jié)點，故資源調(diào)度子模塊選擇CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬利用率最低的4號采集節(jié)點作為新加入的工作采集節(jié)點，任務調(diào)度子模塊將1號采集節(jié)點上采集任務F15作為備份采集任務遷移至4號采集節(jié)點進行采集；結(jié)果監(jiān)控子模塊監(jiān)控4號采集節(jié)點上采集任務F15的采集情況，若連續(xù)3個采集周期4號采集節(jié)點上采集任務F15依然采集失敗，則按照CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬利用率從低到高的順序繼續(xù)遷移，將任務遷移到CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬利用率最低的5號采集節(jié)點，直至遷移到的工作采集節(jié)點上該采集任務能夠采集成功為止；若連續(xù)遷移3次，采集任務F15依然采集失敗，則結(jié)果監(jiān)控子模塊將采集任務F15異常的信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送至日志管理模塊的報警日志子模塊中進行記錄；

步驟9.2.7、結(jié)果監(jiān)控子模塊將各采集節(jié)點采集任務的實際采集時間與設置的采集周期進行對比，若實際采集時間大于設置的采集周期，則執(zhí)行步驟9.2.8，否則，執(zhí)行步驟9.3；

本發(fā)明實施例中，假設1號采集節(jié)點采集任務F17的實際采集時間大于1000ms；

步驟9.2.8、將1號采集節(jié)點上采集任務F17實際采集時間不滿足采集周期要求的信息發(fā)送至任務調(diào)度子模塊和資源管理模塊的資源調(diào)度子模塊中，在下一采集周期，資源調(diào)度子模塊根據(jù)該信息從當前冗余熱備的4，5，6號采集節(jié)點中選擇4號采集節(jié)點作為新的工作采集節(jié)點，任務調(diào)度子模塊將1號采集節(jié)點上的采集任務F15、F17、F21遷移至4號工作采集節(jié)點，并返回執(zhí)行步驟9.1；

步驟9.2.9、當所有冗余熱備的4，5，6號采集節(jié)點均加入工作，仍存在采集節(jié)點實際采集時間大于設置的采集周期，則將實際采集時間不能滿足采集周期的信息發(fā)送到報警子模塊進行實時報警，同時報警子模塊將報警信息發(fā)送到報警日志子模塊中進行記錄；

步驟9.3、采用節(jié)點監(jiān)控子模塊從資源管理模塊中獲取各采集節(jié)點的運行狀態(tài)閾值和過載運行等待時間，實時監(jiān)控各現(xiàn)場控制站、無線設備、采集節(jié)點的運行狀態(tài)，并將異常信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄；

具體步驟如下：

步驟9.3.1、采用節(jié)點監(jiān)控子模塊從資源管理模塊的初始化子模塊中獲取各采集節(jié)點的運行狀態(tài)閾值和過載運行等待時間，實時監(jiān)控各現(xiàn)場控制站、無線設備、采集節(jié)點的運行狀態(tài)；

步驟9.3.2、當存在現(xiàn)場控制站故障時，節(jié)點監(jiān)控子模塊將該現(xiàn)場控制站故障的信息發(fā)送至任務監(jiān)控子模塊中，任務監(jiān)控子模塊終止對應有線采集任務的采集，并提示該現(xiàn)場控制站對應的采集任務采集失敗，同時節(jié)點監(jiān)控子模塊將該現(xiàn)場控制站故障信息發(fā)送到報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到報警日志子模塊進行記錄；

步驟9.3.3、當存在無線設備故障時，則節(jié)點監(jiān)控子模塊將該無線設備故障的信息發(fā)送至任務監(jiān)控子模塊，任務監(jiān)控子模塊終止對應的無線采集任務的采集，并提示該無線設備對應的采集任務采集失敗，同時節(jié)點監(jiān)控子模塊將該無線設備故障信息發(fā)送到報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到報警日志子模塊進行記錄；

步驟9.3.4、當存在采集節(jié)點故障時，在當前采集周期，節(jié)點監(jiān)控子模塊將采集節(jié)點故障信息發(fā)送至數(shù)據(jù)緩存子模塊中；

本發(fā)明實施例中，人為關閉2號采集節(jié)點，以模仿2號采集節(jié)點故障情況，則在當前采集周期，節(jié)點監(jiān)控子模塊將2號采集節(jié)點故障信息發(fā)送至數(shù)據(jù)緩存子模塊中；

步驟9.3.5、數(shù)據(jù)緩存子模塊將2號采集節(jié)點上所有主采集任務，即F16，F(xiàn)18，F(xiàn)21的第一號備份采集節(jié)點，即3號采集節(jié)點上相應備份采集任務，即F16，F(xiàn)18，F(xiàn)21的采集結(jié)果在內(nèi)存緩存區(qū)進行緩存，數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)緩存的數(shù)據(jù)進行壓縮，數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫；

步驟9.3.6、若此時3號采集節(jié)點也發(fā)生故障，則數(shù)據(jù)緩存子模塊將第二號備份采集節(jié)點，即1號采集節(jié)點相應備份采集任務，即F16，F(xiàn)18，F(xiàn)21的采集結(jié)果在內(nèi)存緩存區(qū)進行緩存，數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)緩存的數(shù)據(jù)進行壓縮，數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫；

步驟9.3.7、下一采集周期，節(jié)點監(jiān)控子模塊將2號采集節(jié)點故障信息發(fā)送至資源調(diào)度子模塊和任務調(diào)度子模塊中，資源調(diào)度子模塊從冗余熱備的4，5，6號采集節(jié)點中選擇4號采集節(jié)點作為新的采集節(jié)點，任務調(diào)度子模塊將2號采集節(jié)點的采集任務遷移至4號采集節(jié)點進行采集，同時，節(jié)點監(jiān)控子模塊將2號采集節(jié)點的故障信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到報警日志子模塊進行記錄；

步驟9.3.8、節(jié)點監(jiān)控子模塊比較每個在線采集節(jié)點的CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬的使用率及初始對其設置的CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬正常運行狀態(tài)閾值和過載運行狀態(tài)閾值，分別判斷每個工作采集節(jié)點是否過載，若工作采集節(jié)點的CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬的使用率均處于初始對其設置的正常運行狀態(tài)閾值范圍內(nèi)，則判斷該工作采集節(jié)點未過載，執(zhí)行步驟9.4；若工作采集節(jié)點的CPU、內(nèi)存、硬盤、網(wǎng)絡帶寬的使用率中任意一項處于初始對其設置的過載運行狀態(tài)閾值范圍內(nèi)，則判斷該工作采集節(jié)點過載，此時等待10s后再進行判斷，若過載運行等待時間10s后，該工作采集節(jié)點依然過載，則執(zhí)行步驟9.3.9；

步驟9.3.9、節(jié)點監(jiān)控子模塊將其過載信息發(fā)送給資源調(diào)度子模塊和任務調(diào)度子模塊，在下一采集周期，資源調(diào)度子模塊根據(jù)該信息從冗余熱備的采集節(jié)點中選擇一個作為新的工作采集節(jié)點，任務調(diào)度子模塊根據(jù)資源調(diào)度子模塊的調(diào)度結(jié)果，將該采集節(jié)點上的一部分采集任務遷移給新加入的工作采集節(jié)點，并返回執(zhí)行步驟9.1；

步驟9.3.10、當所有冗余熱備的4，5，6號采集節(jié)點均加入工作，仍存在采集節(jié)點過載，則節(jié)點監(jiān)控子模塊將該采集節(jié)點過載信息發(fā)送到報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到報警日志子模塊進行記錄；

步驟9.4、采用任務監(jiān)控子模塊對設定的采集任務數(shù)量、任務隊列、任務分配、任務等待和任務執(zhí)行情況進行實時監(jiān)控，并將異常信息發(fā)送至報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄；

步驟10、采用數(shù)據(jù)壓縮和存儲模塊將每個采集節(jié)點采集到的數(shù)據(jù)進行緩存、持久化、壓縮后存入數(shù)據(jù)庫，采用結(jié)果監(jiān)控子模塊對各采集節(jié)點上采集數(shù)據(jù)的存儲情況進行實時監(jiān)控，并將采集任務存儲失敗的異常信息發(fā)送到報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄；

具體步驟如下：

步驟10.1、數(shù)據(jù)緩存子模塊將每個采集節(jié)點采集到的數(shù)據(jù)在內(nèi)存緩存區(qū)進行緩存；

步驟10.2、數(shù)據(jù)持久化子模塊將每個采集節(jié)點采集到的數(shù)據(jù)持久化到本地磁盤；

步驟10.3、數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)中緩存的數(shù)據(jù)進行壓縮；

步驟10.4、數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫；

步驟10.5、結(jié)果監(jiān)控子模塊對各采集節(jié)點上采集數(shù)據(jù)的存儲情況進行實時監(jiān)控，并將存儲結(jié)果信息發(fā)送到結(jié)果日志子模塊中；

本發(fā)明實施例中，所述的存儲結(jié)果信息，包括每個采集節(jié)點每個采集周期數(shù)據(jù)開始存入數(shù)據(jù)庫時刻、結(jié)束存入數(shù)據(jù)庫時刻、該采集周期存儲是否成功，若存儲不成功，還包括未成功存儲的采集任務個數(shù)、未成功存儲的采集任務列表；

步驟10.6、當數(shù)據(jù)存儲子模塊將數(shù)據(jù)成功存入數(shù)據(jù)庫時，結(jié)果監(jiān)控子模塊將該數(shù)據(jù)存儲成功的信息發(fā)送到數(shù)據(jù)緩存子模塊和數(shù)據(jù)持久化子模塊，數(shù)據(jù)緩存子模塊將該部分數(shù)據(jù)從內(nèi)存緩存區(qū)刪除以節(jié)省內(nèi)存空間，數(shù)據(jù)持久化子模塊將該部分數(shù)據(jù)從采集節(jié)點本地磁盤刪除以節(jié)省磁盤空間；

步驟10.7、當存在采集節(jié)點上采集數(shù)據(jù)存入數(shù)據(jù)庫失敗時，結(jié)果監(jiān)控子模塊將該采集節(jié)點上采集任務存儲失敗的信息發(fā)送到數(shù)據(jù)壓縮子模塊，數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)中的該部分數(shù)據(jù)重新進行壓縮，返回執(zhí)行步驟10.4；

步驟10.8、當數(shù)據(jù)壓縮子模塊檢測到由于數(shù)據(jù)緩存子模塊失效導致內(nèi)存緩存區(qū)中數(shù)據(jù)丟失時，將丟失信息發(fā)送到數(shù)據(jù)持久化子模塊中，數(shù)據(jù)持久化子模塊將丟失數(shù)據(jù)從本地磁盤讀入內(nèi)存緩存區(qū)，返回執(zhí)行步驟10.3；

步驟10.9、當本地磁盤中的持久化數(shù)據(jù)也存入數(shù)據(jù)庫失敗時，結(jié)果監(jiān)控子模塊將采集任務存儲失敗的異常信息發(fā)送到報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到報警日志子模塊中進行記錄；

步驟11、采用網(wǎng)絡監(jiān)控子模塊實時監(jiān)控系統(tǒng)網(wǎng)絡連接情況，若系統(tǒng)網(wǎng)絡連接異常，將異常信息發(fā)送給報警子模塊進行實時報警，報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄。