亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng)及方法與流程

文檔序號:12751627閱讀:來源:國知局

技術(shù)特征:

1.一種基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng),其特征在于,包括用戶管理模塊、日志管理模塊、資源管理模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)壓縮和存儲模塊、監(jiān)控報警模塊、現(xiàn)場控制站、無線設(shè)備和現(xiàn)場設(shè)備;

所述的用戶管理模塊:用于完成用戶注冊、用戶登錄及身份驗證、用戶注銷、用戶信息查詢和用戶信息修改;

所述的日志管理模塊:用于將每個采集節(jié)點每個采集周期采集任務(wù)的采集結(jié)果信息和存儲結(jié)果信息、報警信息寫入日志,對采集結(jié)果信息、存儲結(jié)果信息和報警信息進行查詢,并打印日志;

所述的資源管理模塊:用于對各采集節(jié)點的運行狀態(tài)閾值和過載運行等待時間進行設(shè)定;進行調(diào)度信息預(yù)處理,即從數(shù)據(jù)采集模塊的任務(wù)管理子模塊獲取設(shè)定的采集任務(wù),從監(jiān)控報警模塊中的節(jié)點監(jiān)控子模塊獲取各現(xiàn)場控制站運行狀態(tài)信息、無線設(shè)備運行狀態(tài)信息、各采集節(jié)點的運行狀態(tài)信息,根據(jù)各現(xiàn)場控制站、無線設(shè)備運行狀態(tài)信息判斷有線采集任務(wù)對應(yīng)的現(xiàn)場控制站和無線采集任務(wù)對應(yīng)的無線設(shè)備是否均正常運行,并在有線采集任務(wù)對應(yīng)的現(xiàn)場控制站或無線采集任務(wù)對應(yīng)的無線設(shè)備處于故障或未開啟狀態(tài)時,提示用戶重新設(shè)置任務(wù);根據(jù)各采集節(jié)點的運行狀態(tài)信息和采集任務(wù)量進行資源分配,確定工作的采集節(jié)點,并將資源分配結(jié)果發(fā)送到數(shù)據(jù)采集模塊的任務(wù)調(diào)度子模塊;當(dāng)出現(xiàn)采集節(jié)點異常時,進行異常后資源調(diào)度,即從冗余熱備的采集節(jié)點中選擇新的采集節(jié)點進行工作,將調(diào)度結(jié)果發(fā)送到數(shù)據(jù)采集模塊的任務(wù)調(diào)度子模塊;

所述的數(shù)據(jù)采集模塊包括:任務(wù)管理子模塊、任務(wù)調(diào)度子模塊和采集子模塊,其中,

所述的任務(wù)管理子模塊:用于對采集任務(wù)進行添加、刪除和修改;采集任務(wù)的設(shè)置包括:采集數(shù)據(jù)組的設(shè)置,每個數(shù)據(jù)組包含的采集數(shù)據(jù)項的設(shè)置,以及每個采集任務(wù)的采集周期、采集優(yōu)先級、采集等級和采集模式的設(shè)置;一個采集任務(wù)為一個數(shù)據(jù)組或一個數(shù)據(jù)項;

所述的任務(wù)調(diào)度子模塊:用于從任務(wù)管理子模塊中獲取設(shè)置的采集任務(wù),根據(jù)采集任務(wù)和資源管理模塊的調(diào)度結(jié)果進行任務(wù)分配,并將分配給目標采集節(jié)點的高等級的主采集任務(wù)作為備份任務(wù)循環(huán)分配給與其編號相鄰的下兩個工作采集節(jié)點,將任務(wù)分配結(jié)果發(fā)送到采集子模塊的相應(yīng)采集節(jié)點;當(dāng)存在采集節(jié)點異常時,將異常采集節(jié)點上的全部或部分采集任務(wù)遷移至資源管理模塊所選擇的新加入的采集節(jié)點上;當(dāng)存在采集節(jié)點上采集任務(wù)異常時,將該采集任務(wù)的第一個成功采集的備份采集節(jié)點設(shè)為該采集任務(wù)的主采集節(jié)點,同時獲取各工作采集節(jié)點的運行狀態(tài)信息并按照CPU、內(nèi)存、硬盤、網(wǎng)絡(luò)帶寬的利用率對其進行排序,將采集節(jié)點上異常的采集任務(wù)作為備份任務(wù)遷移至其他正常運行的工作采集節(jié)點;

所述的采集子模塊包括多個采集節(jié)點,各采集節(jié)點根據(jù)任務(wù)調(diào)度子模塊發(fā)送的采集任務(wù)的不同采集模式,采用不同的方式實現(xiàn)采集任務(wù)的采集;

所述的數(shù)據(jù)壓縮和存儲模塊:用于將每個采集節(jié)點采集到的數(shù)據(jù)在內(nèi)存緩存區(qū)進行緩存,并持久化到本地磁盤,將內(nèi)存緩存區(qū)中緩存的數(shù)據(jù)進行壓縮后存入數(shù)據(jù)庫,當(dāng)內(nèi)存緩存區(qū)因模塊失效導(dǎo)致數(shù)據(jù)丟失時,將丟失數(shù)據(jù)從本地磁盤讀入內(nèi)存緩存區(qū);當(dāng)數(shù)據(jù)經(jīng)壓縮成功存入數(shù)據(jù)庫后,將內(nèi)存緩存區(qū)中對應(yīng)的數(shù)據(jù)刪除以節(jié)省內(nèi)存空間,并將本地磁盤中對應(yīng)的數(shù)據(jù)刪除以節(jié)省磁盤空間;當(dāng)存在采集節(jié)點的某一主采集任務(wù)采集失敗時,將失敗主采集任務(wù)的備份采集任務(wù)的采集結(jié)果從該主采集任務(wù)的備份采集節(jié)點存入內(nèi)存緩存區(qū),當(dāng)存在采集節(jié)點故障時,將故障采集節(jié)點所有主采集任務(wù)的備份采集節(jié)點上相應(yīng)備份采集任務(wù)的采集結(jié)果存入內(nèi)存緩存區(qū);

所述的監(jiān)控報警模塊包括:結(jié)果監(jiān)控子模塊、任務(wù)監(jiān)控子模塊、節(jié)點監(jiān)控子模塊、網(wǎng)絡(luò)監(jiān)控子模塊和報警子模塊,其中,

所述的結(jié)果監(jiān)控子模塊:用于從任務(wù)管理子模塊中獲取各采集任務(wù)的采集周期,對各采集節(jié)點的采集結(jié)果信息和存儲結(jié)果信息進行實時監(jiān)控,將采集結(jié)果信息和存儲結(jié)果信息發(fā)送至日志管理模塊中,當(dāng)存在采集節(jié)點上的采集任務(wù)采集失敗時,將采集節(jié)點采集任務(wù)采集失敗的信息發(fā)送至報警子模塊、數(shù)據(jù)壓縮和存儲模塊;當(dāng)存在采集節(jié)點上的采集任務(wù)異常時,將該采集任務(wù)異常的信息發(fā)送至任務(wù)調(diào)度子模塊;當(dāng)采集節(jié)點上經(jīng)壓縮后的采集數(shù)據(jù)成功存入數(shù)據(jù)庫時,將存儲成功的信息發(fā)送至數(shù)據(jù)壓縮和存儲模塊;當(dāng)存在采集節(jié)點上采集任務(wù)存儲失敗時,將采集節(jié)點采集任務(wù)存儲失敗的信息發(fā)送至報警子模塊、數(shù)據(jù)壓縮和存儲模塊;將各采集節(jié)點上采集任務(wù)的實際采集時間與設(shè)置的采集周期進行對比,當(dāng)存在采集節(jié)點上采集任務(wù)的實際采集時間大于設(shè)置的采集周期時,將該采集節(jié)點上采集任務(wù)實際采集時間不滿足采集周期要求的信息發(fā)送至報警子模塊、資源管理模塊和任務(wù)調(diào)度子模塊中;

所述的任務(wù)監(jiān)控子模塊:用于對采集任務(wù)的數(shù)量、任務(wù)隊列、任務(wù)分配、任務(wù)執(zhí)行和任務(wù)等待情況進行監(jiān)控,并在采集任務(wù)對應(yīng)的現(xiàn)場控制站和無線設(shè)備故障時,暫停相應(yīng)任務(wù)的執(zhí)行;

所述的節(jié)點監(jiān)控子模塊:用于接收各現(xiàn)場控制站、無線設(shè)備以及各采集節(jié)點的注冊信息,并按照注冊順序?qū)Ω鞑杉?jié)點進行編號,從資源管理模塊中獲取各采集節(jié)點的運行狀態(tài)閾值信息和過載運行等待時間信息,實時獲取各現(xiàn)場控制站的運行狀態(tài)信息、無線設(shè)備的運行狀態(tài)信息、采集節(jié)點的運行狀態(tài)信息并對其運行狀態(tài)進行實時監(jiān)控,當(dāng)現(xiàn)場控制站或無線設(shè)備故障時,將對應(yīng)故障信息發(fā)送給任務(wù)監(jiān)控子模塊和報警子模塊,當(dāng)存在采集節(jié)點故障時,將采集節(jié)點故障信息發(fā)送至報警子模塊、資源管理模塊、任務(wù)調(diào)度子模塊以及數(shù)據(jù)壓縮和存儲模塊中;將各采集節(jié)點的實際運行狀態(tài)與其運行狀態(tài)閾值進行對比,判斷采集節(jié)點是否過載,當(dāng)存在采集節(jié)點過載且在過載運行等待時間之后仍然過載時,將該采集節(jié)點過載信息發(fā)送至報警子模塊、資源管理模塊和任務(wù)調(diào)度子模塊中;

所述的網(wǎng)絡(luò)監(jiān)控子模塊:用于監(jiān)控系統(tǒng)當(dāng)前網(wǎng)絡(luò)連接是否正常,若網(wǎng)絡(luò)連接異常,將異常信息發(fā)送到報警子模塊;

所述的報警子模塊:用于對系統(tǒng)異常進行實時報警,同時將報警信息發(fā)送至日志管理模塊。

2.根據(jù)權(quán)利要求1所述的基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng),其特征在于,

所述的用戶信息包括:用戶個人賬號、用戶名、密碼、電子郵箱、聯(lián)系電話、聯(lián)系地址和個人標簽;

所述的采集結(jié)果信息,包括每個采集節(jié)點每個采集周期數(shù)據(jù)開始采集時刻、結(jié)束采集時刻、采集時間、該采集周期采集是否成功,若采集不成功,還包括未成功采集的采集任務(wù)個數(shù)、未成功采集的采集任務(wù)列表;

所述的存儲結(jié)果信息,包括每個采集節(jié)點每個采集周期數(shù)據(jù)開始存入數(shù)據(jù)庫時刻、結(jié)束存入數(shù)據(jù)庫時刻、該采集周期存儲是否成功,若存儲不成功,還包括未成功存儲的采集任務(wù)個數(shù)、未成功存儲的采集任務(wù)列表;

所述的報警信息,包括報警時刻和報警原因;

所述采集節(jié)點的運行狀態(tài)閾值,包括CPU正常運行狀態(tài)閾值、CPU過載狀態(tài)閾值、內(nèi)存正常運行狀態(tài)閾值、內(nèi)存過載狀態(tài)閾值、硬盤正常運行狀態(tài)閾值、硬盤過載狀態(tài)閾值、網(wǎng)絡(luò)帶寬正常運行狀態(tài)閾值、網(wǎng)絡(luò)帶寬過載狀態(tài)閾值;

所述的采集節(jié)點異常,包括采集節(jié)點故障、過載或采集節(jié)點上采集任務(wù)實際采集時間不滿足用戶設(shè)置的采集周期要求;

所述的采集節(jié)點上采集任務(wù)異常,是指連續(xù)多個采集周期,采集節(jié)點上一個或幾個采集任務(wù)采集失敗,但該采集任務(wù)的備份采集節(jié)點上該采集任務(wù)能夠成功采集的情況;

所述的采集優(yōu)先級:根據(jù)采集任務(wù)被要求采集的先后順序分為高優(yōu)先級、中優(yōu)先級、低優(yōu)先級,同一優(yōu)先級的任務(wù)按照任務(wù)在任務(wù)列表的排列順序進行采集;

所述的采集等級:根據(jù)采集任務(wù)的重要性程度分為高等級、中等級、低等級;

所述的采集模式:包括有線采集模式和無線采集模式,若為有線采集模式,則采集節(jié)點通過有線采集方式對該采集任務(wù)對應(yīng)的現(xiàn)場控制站中的數(shù)據(jù)進行采集,若為無線采集模式,則采集節(jié)點采用無線采集方式對該采集任務(wù)對應(yīng)的無線設(shè)備中的數(shù)據(jù)進行采集;

所述的現(xiàn)場控制站的運行狀態(tài)信息,包括每個現(xiàn)場控制站的運行、故障或未開啟狀態(tài);

所述的無線設(shè)備的運行狀態(tài)信息,包括每個無線設(shè)備的運行、故障或未開啟狀態(tài);

所述的采集節(jié)點的運行狀態(tài)信息,包括每個采集節(jié)點的運行、故障或未開啟狀態(tài),以及每個處于運行狀態(tài)的采集節(jié)點的CPU總量、使用率和余量,內(nèi)存總量、使用率和余量,硬盤總量、使用率和余量,網(wǎng)絡(luò)寬帶總量、使用率和余量;

所述的系統(tǒng)異常,包括現(xiàn)場控制站故障、無線設(shè)備故障、采集節(jié)點故障、采集節(jié)點過載、采集任務(wù)采集失敗、采集任務(wù)存儲失敗、采集節(jié)點上采集任務(wù)的實際采集時間不能滿足用戶設(shè)定的采集周期要求和網(wǎng)絡(luò)連接異常。

3.根據(jù)權(quán)利要求1所述的基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng),其特征在于,所述的日志管理模塊包括:結(jié)果日志子模塊、報警日志子模塊、日志打印子模塊;其中,

所述的結(jié)果日志子模塊:用于將每個采集節(jié)點每個采集周期采集任務(wù)的采集結(jié)果信息和存儲結(jié)果信息寫入日志,對采集結(jié)果和存儲結(jié)果進行查詢;

所述的報警日志子模塊:用于將報警信息寫入日志,對報警信息進行查詢;

所述的日志打印子模塊:用于打印日志。

4.根據(jù)權(quán)利要求1所述的基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng),其特征在于,所述的資源管理模塊包括:初始化子模塊和資源調(diào)度子模塊,其中,

所述的初始化子模塊:用于對各采集節(jié)點的運行狀態(tài)閾值和過載運行等待時間進行設(shè)定;

所述的資源調(diào)度子模塊:用于進行調(diào)度信息預(yù)處理,即從任務(wù)管理子模塊獲取設(shè)定的采集任務(wù),從節(jié)點監(jiān)控子模塊獲取各現(xiàn)場控制站運行狀態(tài)信息、無線設(shè)備運行狀態(tài)信息、各采集節(jié)點的運行狀態(tài)信息,根據(jù)各現(xiàn)場控制站、無線設(shè)備運行狀態(tài)信息判斷有線采集任務(wù)對應(yīng)的現(xiàn)場控制站和無線采集任務(wù)對應(yīng)的無線設(shè)備是否均正常運行,并在有線采集任務(wù)對應(yīng)的現(xiàn)場控制站或無線采集任務(wù)對應(yīng)的無線設(shè)備處于故障或未開啟狀態(tài)時,提示用戶重新設(shè)置任務(wù);根據(jù)各采集節(jié)點的運行狀態(tài)信息和采集任務(wù)量進行資源分配,確定工作的采集節(jié)點,并將資源分配結(jié)果發(fā)送到任務(wù)調(diào)度子模塊;當(dāng)出現(xiàn)采集節(jié)點異常時,進行異常后資源調(diào)度,即從冗余熱備的采集節(jié)點中選擇新的采集節(jié)點進行工作,將調(diào)度結(jié)果發(fā)送到任務(wù)調(diào)度子模塊。

5.根據(jù)權(quán)利要求1所述的基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng),其特征在于,所述的數(shù)據(jù)壓縮和存儲模塊包括:數(shù)據(jù)緩存子模塊、數(shù)據(jù)持久化子模塊、數(shù)據(jù)壓縮子模塊和數(shù)據(jù)存儲子模塊,其中,

所述的數(shù)據(jù)緩存子模塊:用于將每個采集節(jié)點采集到的數(shù)據(jù)在內(nèi)存緩存區(qū)進行緩存,當(dāng)數(shù)據(jù)經(jīng)壓縮成功存入數(shù)據(jù)庫后,將內(nèi)存緩存區(qū)中對應(yīng)的數(shù)據(jù)刪除以節(jié)省內(nèi)存空間,當(dāng)存在采集節(jié)點的某一主采集任務(wù)采集失敗時,將失敗主采集任務(wù)的備份采集任務(wù)的采集結(jié)果從該主采集任務(wù)的備份采集節(jié)點存入內(nèi)存緩存區(qū),當(dāng)存在采集節(jié)點故障時,則將故障采集節(jié)點所有主采集任務(wù)的備份采集節(jié)點上相應(yīng)備份采集任務(wù)的采集結(jié)果存入內(nèi)存緩存區(qū);

所述的數(shù)據(jù)持久化子模塊:用于將每個采集節(jié)點采集到的數(shù)據(jù)持久化到本地磁盤,當(dāng)數(shù)據(jù)緩存子模塊失效導(dǎo)致數(shù)據(jù)丟失時,將丟失數(shù)據(jù)從本地磁盤讀入內(nèi)存緩存區(qū),當(dāng)數(shù)據(jù)經(jīng)壓縮成功存入數(shù)據(jù)庫后,將本地磁盤中對應(yīng)的數(shù)據(jù)刪除以節(jié)省磁盤空間;

所述的數(shù)據(jù)壓縮子模塊:用于檢測數(shù)據(jù)緩存子模塊是否失效,若未失效,則將內(nèi)存緩存區(qū)中緩存的數(shù)據(jù)進行壓縮,若失效,則將數(shù)據(jù)緩存子模塊的失效信息發(fā)送給數(shù)據(jù)持久化子模塊;

所述的數(shù)據(jù)存儲子模塊:用于將數(shù)據(jù)壓縮子模塊壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫。

6.采用權(quán)利要求1所述的基于工業(yè)云的大規(guī)模分布式智能數(shù)據(jù)采集系統(tǒng)進行的采集方法,其特征在于,包括以下步驟:

步驟1、開啟各現(xiàn)場設(shè)備及其對應(yīng)的現(xiàn)場控制站和無線設(shè)備,各現(xiàn)場控制站和無線設(shè)備開啟后自動向監(jiān)控報警模塊的節(jié)點監(jiān)控子模塊注冊信息;

步驟2、開啟各采集節(jié)點,各采集節(jié)點開啟后自動向節(jié)點監(jiān)控子模塊注冊信息,節(jié)點監(jiān)控子模塊按照注冊順序分別為每個采集節(jié)點進行編號;

步驟3、設(shè)置各采集節(jié)點的時鐘同步;

步驟4、采用用戶管理模塊注冊用戶信息并登錄;

步驟5、采用資源管理模塊設(shè)置各采集節(jié)點的運行狀態(tài)閾值及其過載運行等待時間;

步驟6、采用數(shù)據(jù)采集模塊的任務(wù)管理子模塊設(shè)置采集任務(wù);

采集任務(wù)的設(shè)置包括采集數(shù)據(jù)組的設(shè)置,每個數(shù)據(jù)組包含的采集數(shù)據(jù)項的設(shè)置,以及每個采集任務(wù)的采集周期、采集優(yōu)先級、采集等級、采集模式的設(shè)置;一個采集任務(wù)為一個數(shù)據(jù)組或一個數(shù)據(jù)項;

步驟7、采用資源管理模塊進行調(diào)度信息預(yù)處理,并進行資源分配獲得分配結(jié)果,確定工作的采集節(jié)點,將分配結(jié)果發(fā)送到任務(wù)調(diào)度子模塊;

步驟8、任務(wù)調(diào)度子模塊從任務(wù)管理子模塊獲取采集任務(wù),并根據(jù)采集任務(wù)和資源管理模塊的分配結(jié)果進行任務(wù)分配,并將分配給目標采集節(jié)點的高等級主采集任務(wù)作為備份任務(wù)循環(huán)分配給與其編號相鄰的下兩個工作采集節(jié)點,將分配給各個采集節(jié)點的任務(wù)發(fā)送至采集子模塊的相應(yīng)采集節(jié)點上;

步驟9、各個采集節(jié)點根據(jù)自身獲取到的采集任務(wù)完成對相應(yīng)現(xiàn)場控制站和無線設(shè)備中數(shù)據(jù)的采集,采用結(jié)果監(jiān)控子模塊對采集結(jié)果進行實時監(jiān)控,采用節(jié)點監(jiān)控子模塊對節(jié)點運行狀態(tài)進行實時監(jiān)控,采用任務(wù)監(jiān)控子模塊對任務(wù)執(zhí)行情況進行實時監(jiān)控,并將異常信息發(fā)送至報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送至日志管理模塊中進行記錄;

具體步驟如下:

步驟9.1、各采集節(jié)點根據(jù)自身獲取到的每條采集任務(wù)的采集模式,對相應(yīng)現(xiàn)場控制站或無線設(shè)備中的數(shù)據(jù)進行采集;

步驟9.2、采用結(jié)果監(jiān)控子模塊從任務(wù)管理子模塊獲取各采集任務(wù)的采集周期,對各采集節(jié)點的采集結(jié)果進行實時監(jiān)控,將采集結(jié)果信息發(fā)送到日志管理模塊中,并將異常信息發(fā)送至報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄;

步驟9.3、采用節(jié)點監(jiān)控子模塊從資源管理模塊中獲取各采集節(jié)點的運行狀態(tài)閾值和過載運行等待時間,實時監(jiān)控各現(xiàn)場控制站、無線設(shè)備、采集節(jié)點的運行狀態(tài),并將異常信息發(fā)送至報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄;

步驟9.4、采用任務(wù)監(jiān)控子模塊對設(shè)定的采集任務(wù)數(shù)量、任務(wù)隊列、任務(wù)分配、任務(wù)等待和任務(wù)執(zhí)行情況進行實時監(jiān)控,并將異常信息發(fā)送至報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄;

步驟10、采用數(shù)據(jù)壓縮和存儲模塊將每個采集節(jié)點采集到的數(shù)據(jù)進行緩存、持久化、壓縮后存入數(shù)據(jù)庫,采用結(jié)果監(jiān)控子模塊對各采集節(jié)點上采集數(shù)據(jù)的存儲情況進行實時監(jiān)控,并將采集任務(wù)存儲失敗的異常信息發(fā)送到報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄;

步驟11、采用網(wǎng)絡(luò)監(jiān)控子模塊實時監(jiān)控系統(tǒng)網(wǎng)絡(luò)連接情況,若系統(tǒng)網(wǎng)絡(luò)連接異常,將異常信息發(fā)送給報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄。

7.根據(jù)權(quán)利要求6所述的采集方法,其特征在于,步驟7所述的采用資源管理模塊進行調(diào)度信息預(yù)處理,并進行資源分配獲得分配結(jié)果,確定工作的采集節(jié)點,將分配結(jié)果發(fā)送到任務(wù)調(diào)度子模塊;具體如下:

步驟7.1、采用資源管理模塊的資源調(diào)度子模塊從任務(wù)管理子模塊中獲取設(shè)定的采集任務(wù),從節(jié)點監(jiān)控子模塊中獲取各現(xiàn)場控制站運行狀態(tài)信息、無線設(shè)備運行狀態(tài)信息以及各采集節(jié)點的運行狀態(tài)信息;

步驟7.2、資源調(diào)度子模塊判斷有線采集任務(wù)對應(yīng)的現(xiàn)場控制站和無線采集任務(wù)對應(yīng)的無線設(shè)備是否均正常運行,若是,則執(zhí)行步驟7.3,若現(xiàn)場控制站中有一臺或幾臺處于故障或未開啟狀態(tài),或無線設(shè)備中有一臺或幾臺處于故障或未開啟狀態(tài),則提示對應(yīng)的現(xiàn)場控制站或無線設(shè)備異常,需重新設(shè)置任務(wù),返回執(zhí)行步驟6;

步驟7.3、采用資源調(diào)度子模塊根據(jù)采集任務(wù)量以及各采集節(jié)點的運行狀態(tài)信息進行資源分配,優(yōu)先選擇CPU、內(nèi)存、硬盤、網(wǎng)絡(luò)帶寬余量大的采集節(jié)點進行工作,從而確定工作的采集節(jié)點,其余采集節(jié)點作為冗余熱備,將該調(diào)度結(jié)果發(fā)送到數(shù)據(jù)采集模塊的任務(wù)調(diào)度子模塊。

8.根據(jù)權(quán)利要求6所述的采集方法,其特征在于,步驟9.2所述的采用結(jié)果監(jiān)控子模塊從任務(wù)管理子模塊獲取各采集任務(wù)的采集周期,對各采集節(jié)點的采集結(jié)果進行實時監(jiān)控,將采集結(jié)果信息發(fā)送到日志管理模塊中,并將異常信息發(fā)送至報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄,具體步驟如下:

步驟9.2.1、采用結(jié)果監(jiān)控子模塊從任務(wù)管理子模塊獲取各采集任務(wù)的采集周期,對各采集節(jié)點的采集結(jié)果進行實時監(jiān)控,將采集結(jié)果信息發(fā)送至日志管理模塊的結(jié)果日志子模塊中;

步驟9.2.2、若存在某采集節(jié)點上某個或某幾個主采集任務(wù)采集失敗,則在當(dāng)前采集周期,結(jié)果監(jiān)控子模塊將采集節(jié)點上主采集任務(wù)采集失敗的信息發(fā)送到數(shù)據(jù)壓縮和存儲模塊的數(shù)據(jù)緩存子模塊中;

步驟9.2.3、數(shù)據(jù)緩存子模塊將失敗主采集任務(wù)的備份采集任務(wù)的采集結(jié)果從該主采集任務(wù)的第一號備份采集節(jié)點存入內(nèi)存緩存區(qū),數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)緩存的數(shù)據(jù)進行壓縮,數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫;

所述的第一號備份采集節(jié)點為:主采集任務(wù)的備份采集節(jié)點中,與主采集任務(wù)所在的采集節(jié)點編號相近的第一個備份采集節(jié)點

步驟9.2.4、當(dāng)?shù)谝惶杺浞莶杉?jié)點上該主采集任務(wù)的備份采集任務(wù)也采集失敗時,數(shù)據(jù)緩存子模塊將該主采集任務(wù)的備份采集任務(wù)的采集結(jié)果從第二號備份采集節(jié)點存入內(nèi)存緩存區(qū),數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)緩存的數(shù)據(jù)進行壓縮,數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫;

所述的第二號備份采集節(jié)點為:主采集任務(wù)的備份采集節(jié)點中,與主采集任務(wù)所在的采集節(jié)點編號相近的第二個備份采集節(jié)點;

步驟9.2.5、當(dāng)?shù)诙杺浞莶杉?jié)點上該主采集任務(wù)的備份采集任務(wù)依然采集失敗時,結(jié)果監(jiān)控子模塊將該采集任務(wù)采集失敗的信息發(fā)送至報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送至日志管理模塊的報警日志子模塊中進行記錄;

步驟9.2.6、若存在采集節(jié)點上主采集任務(wù)異常,則在下一個采集周期,結(jié)果監(jiān)控子模塊將該采集節(jié)點上該主采集任務(wù)異常的信息發(fā)送至任務(wù)調(diào)度子模塊中,任務(wù)調(diào)度子模塊將該采集任務(wù)的第一個成功采集的備份采集節(jié)點設(shè)為該采集任務(wù)的主采集節(jié)點,同時任務(wù)調(diào)度子模塊獲取剩余各工作采集節(jié)點的運行狀態(tài)信息并以CPU利用率為主要關(guān)鍵字、以內(nèi)存利用率為第一次要關(guān)鍵字、硬盤利用率為第二次要關(guān)鍵字、網(wǎng)絡(luò)帶寬利用率為第三次要關(guān)鍵字對剩余各工作采集節(jié)點進行排序,將采集節(jié)點上異常的采集任務(wù)作為備份任務(wù)遷移到當(dāng)前CPU、內(nèi)存、硬盤、網(wǎng)絡(luò)帶寬利用率最低的正常運行的工作采集節(jié)點進行采集,若此時不存在剩余工作采集節(jié)點,則資源調(diào)度子模塊從冗余熱備的采集節(jié)點中選擇一個CPU、內(nèi)存、硬盤、網(wǎng)絡(luò)帶寬利用率最低的采集節(jié)點作為新加入的工作采集節(jié)點,任務(wù)調(diào)度子模塊將采集節(jié)點上異常采集任務(wù)作為備份任務(wù)遷移到該新加入的工作采集節(jié)點進行采集;結(jié)果監(jiān)控子模塊監(jiān)控遷移到的工作采集節(jié)點上該采集任務(wù)的采集情況,若連續(xù)多個采集周期該采集節(jié)點上該采集任務(wù)依然采集失敗,則按照CPU、內(nèi)存、硬盤、網(wǎng)絡(luò)帶寬利用率從低到高的順序繼續(xù)進行任務(wù)遷移,直至遷移到的工作采集節(jié)點上該采集任務(wù)能夠采集成功為止;若連續(xù)遷移多次,該采集任務(wù)依然采集失敗,則結(jié)果監(jiān)控子模塊將該采集任務(wù)異常的信息發(fā)送至報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送至日志管理模塊的報警日志子模塊中進行記錄;

所述的剩余各工作采集節(jié)點是指除該異常采集任務(wù)所屬的主采集節(jié)點及其備份采集節(jié)點之外的其余各工作采集節(jié)點。

步驟9.2.7、結(jié)果監(jiān)控子模塊將各采集節(jié)點采集任務(wù)的實際采集時間與設(shè)置的采集周期進行對比,若實際采集時間大于設(shè)置的采集周期,則執(zhí)行步驟9.2.8,否則,執(zhí)行步驟9.3;

步驟9.2.8、將該采集節(jié)點上采集任務(wù)的實際采集時間不滿足采集周期要求的信息發(fā)送至任務(wù)調(diào)度子模塊和資源管理模塊的資源調(diào)度子模塊中,在下一采集周期,資源調(diào)度子模塊根據(jù)該信息從冗余熱備的節(jié)點中選擇一個作為新的工作采集節(jié)點,任務(wù)調(diào)度子模塊根據(jù)資源調(diào)度子模塊的調(diào)度結(jié)果,將該采集節(jié)點上的一部分采集任務(wù)遷移給新加入的工作采集節(jié)點,并返回執(zhí)行步驟9.1;

步驟9.2.9、當(dāng)所有冗余熱備的采集節(jié)點均加入工作,仍存在采集節(jié)點實際采集時間大于設(shè)置的采集周期,則將實際采集時間不能滿足采集周期的信息發(fā)送到報警子模塊進行實時報警,同時報警子模塊將報警信息發(fā)送到報警日志子模塊中進行記錄。

9.根據(jù)權(quán)利要求6所述的采集方法,其特征在于,步驟9.3所述的采用節(jié)點監(jiān)控子模塊從資源管理模塊中獲取各采集節(jié)點的運行狀態(tài)閾值和過載運行等待時間,實時監(jiān)控各現(xiàn)場控制站、無線設(shè)備、采集節(jié)點的運行狀態(tài),并將異常信息發(fā)送至報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄,具體步驟如下:

步驟9.3.1、采用節(jié)點監(jiān)控子模塊從資源管理模塊的初始化子模塊中獲取各采集節(jié)點的運行狀態(tài)閾值和過載運行等待時間,實時監(jiān)控各現(xiàn)場控制站、無線設(shè)備、采集節(jié)點的運行狀態(tài);

步驟9.3.2、當(dāng)存在現(xiàn)場控制站故障時,節(jié)點監(jiān)控子模塊將該現(xiàn)場控制站故障的信息發(fā)送至任務(wù)監(jiān)控子模塊中,任務(wù)監(jiān)控子模塊終止對應(yīng)有線采集任務(wù)的采集,并提示該現(xiàn)場控制站對應(yīng)的采集任務(wù)采集失敗,同時節(jié)點監(jiān)控子模塊將該現(xiàn)場控制站故障信息發(fā)送到報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送到報警日志子模塊進行記錄;

步驟9.3.3、當(dāng)存在無線設(shè)備故障時,則節(jié)點監(jiān)控子模塊將該無線設(shè)備故障的信息發(fā)送至任務(wù)監(jiān)控子模塊,任務(wù)監(jiān)控子模塊終止對應(yīng)的無線采集任務(wù)的采集,并提示該無線設(shè)備對應(yīng)的采集任務(wù)采集失敗,同時節(jié)點監(jiān)控子模塊將該無線設(shè)備故障信息發(fā)送到報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送到報警日志子模塊進行記錄;

步驟9.3.4、當(dāng)存在采集節(jié)點故障時,在當(dāng)前采集周期,節(jié)點監(jiān)控子模塊將采集節(jié)點故障信息發(fā)送至數(shù)據(jù)緩存子模塊中;

步驟9.3.5、數(shù)據(jù)緩存子模塊將該采集節(jié)點所有主采集任務(wù)的第一號備份采集節(jié)點上相應(yīng)備份采集任務(wù)的采集結(jié)果在內(nèi)存緩存區(qū)進行緩存,數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)緩存的數(shù)據(jù)進行壓縮,數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫;

所述的第一號備份采集節(jié)點為:主采集任務(wù)的備份采集節(jié)點中,與主采集任務(wù)所在的采集節(jié)點編號相近的第一個備份采集節(jié)點;

步驟9.3.6、當(dāng)?shù)谝惶杺浞莶杉?jié)點也發(fā)生故障時,數(shù)據(jù)緩存子模塊將第二號備份采集節(jié)點相應(yīng)備份采集任務(wù)的采集結(jié)果在內(nèi)存緩存區(qū)進行緩存,數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)緩存的數(shù)據(jù)進行壓縮,數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫;

所述的第二號備份采集節(jié)點為:主采集任務(wù)的備份采集節(jié)點中,與主采集任務(wù)所在的采集節(jié)點編號相近的第二個備份采集節(jié)點;

步驟9.3.7、下一采集周期,節(jié)點監(jiān)控子模塊將該采集節(jié)點故障信息發(fā)送至資源調(diào)度子模塊和任務(wù)調(diào)度子模塊中,資源調(diào)度子模塊從冗余熱備的采集節(jié)點中選擇一個作為新的工作采集節(jié)點,任務(wù)調(diào)度子模塊根據(jù)資源調(diào)度子模塊的調(diào)度結(jié)果,將故障采集節(jié)點的采集任務(wù)遷移到新加入的工作采集節(jié)點進行采集,同時,節(jié)點監(jiān)控子模塊將該采集節(jié)點的故障信息發(fā)送至報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送到報警日志子模塊進行記錄;

步驟9.3.8、節(jié)點監(jiān)控子模塊將各采集節(jié)點的實際運行狀態(tài)與其運行狀態(tài)閾值信息進行對比,判斷采集節(jié)點是否過載,若存在采集節(jié)點過載且在過載運行等待時間之后仍然過載,則執(zhí)行步驟9.3.9,否則,執(zhí)行步驟9.4;

步驟9.3.9、節(jié)點監(jiān)控子模塊將其過載信息發(fā)送給資源調(diào)度子模塊和任務(wù)調(diào)度子模塊,在下一采集周期,資源調(diào)度子模塊根據(jù)該信息從冗余熱備的節(jié)點中選擇一個作為新的工作采集節(jié)點,任務(wù)調(diào)度子模塊根據(jù)資源調(diào)度子模塊的調(diào)度結(jié)果,將該采集節(jié)點上的一部分采集任務(wù)遷移給新加入的工作采集節(jié)點,并返回執(zhí)行步驟9.1;

步驟9.3.10、當(dāng)所有冗余熱備的采集節(jié)點均加入工作,仍存在采集節(jié)點過載,則節(jié)點監(jiān)控子模塊將該采集節(jié)點過載信息發(fā)送到報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送到報警日志子模塊進行記錄。

10.根據(jù)權(quán)利要求6所述的采集方法,其特征在于,步驟10所述的采用數(shù)據(jù)壓縮和存儲模塊將每個采集節(jié)點采集到的數(shù)據(jù)進行緩存、持久化、壓縮后存入數(shù)據(jù)庫,采用結(jié)果監(jiān)控子模塊對各采集節(jié)點上采集數(shù)據(jù)的存儲情況進行實時監(jiān)控,并將采集任務(wù)存儲失敗的異常信息發(fā)送到報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送到日志管理模塊中進行記錄,具體步驟如下:

步驟10.1、數(shù)據(jù)緩存子模塊將每個采集節(jié)點采集到的數(shù)據(jù)在內(nèi)存緩存區(qū)進行緩存;

步驟10.2、數(shù)據(jù)持久化子模塊將每個采集節(jié)點采集到的數(shù)據(jù)持久化到本地磁盤;

步驟10.3、數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)中緩存的數(shù)據(jù)進行壓縮;

步驟10.4、數(shù)據(jù)存儲子模塊將壓縮后的數(shù)據(jù)存入數(shù)據(jù)庫;

步驟10.5、結(jié)果監(jiān)控子模塊對各采集節(jié)點上采集數(shù)據(jù)的存儲情況進行實時監(jiān)控,并將存儲結(jié)果信息發(fā)送到結(jié)果日志子模塊中;

步驟10.6、當(dāng)數(shù)據(jù)存儲子模塊將數(shù)據(jù)成功存入數(shù)據(jù)庫時,結(jié)果監(jiān)控子模塊將該數(shù)據(jù)存儲成功的信息發(fā)送到數(shù)據(jù)緩存子模塊和數(shù)據(jù)持久化子模塊,數(shù)據(jù)緩存子模塊將該部分數(shù)據(jù)從內(nèi)存緩存區(qū)刪除以節(jié)省內(nèi)存空間,數(shù)據(jù)持久化子模塊將該部分數(shù)據(jù)從采集節(jié)點本地磁盤刪除以節(jié)省磁盤空間;

步驟10.7、當(dāng)存在采集節(jié)點上采集數(shù)據(jù)存入數(shù)據(jù)庫失敗時,結(jié)果監(jiān)控子模塊將該采集節(jié)點上采集任務(wù)存儲失敗的信息發(fā)送到數(shù)據(jù)壓縮子模塊,數(shù)據(jù)壓縮子模塊將內(nèi)存緩存區(qū)中的該部分數(shù)據(jù)重新進行壓縮,返回執(zhí)行步驟10.4;

步驟10.8、當(dāng)數(shù)據(jù)壓縮子模塊檢測到由于數(shù)據(jù)緩存子模塊失效導(dǎo)致內(nèi)存緩存區(qū)中數(shù)據(jù)丟失時,將丟失信息發(fā)送到數(shù)據(jù)持久化子模塊中,數(shù)據(jù)持久化子模塊將丟失數(shù)據(jù)從本地磁盤讀入內(nèi)存緩存區(qū),返回執(zhí)行步驟10.3;

步驟10.9、當(dāng)本地磁盤中的持久化數(shù)據(jù)也存入數(shù)據(jù)庫失敗時,結(jié)果監(jiān)控子模塊將采集任務(wù)存儲失敗的異常信息發(fā)送到報警子模塊進行實時報警,報警子模塊將報警信息發(fā)送到報警日志子模塊中進行記錄。

當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1