本發(fā)明涉及一種計(jì)算機(jī)梳理數(shù)據(jù)處理方法，特別是一種智慧城市海量數(shù)據(jù)采集優(yōu)化方法。

背景技術(shù)：

隨著現(xiàn)代計(jì)算機(jī)信息技術(shù)的高速發(fā)展，結(jié)合互聯(lián)網(wǎng)絡(luò)，水利行業(yè)在信息采集技術(shù)和手段、遠(yuǎn)程數(shù)據(jù)傳輸方式、信息后處理方法等方面都取得的較大的進(jìn)步，并根據(jù)行業(yè)發(fā)展需求分階段進(jìn)行了水利信息化建設(shè)，并初步構(gòu)建以智慧水利大數(shù)據(jù)分析為基礎(chǔ)的綜合管理平臺(tái)。

伴隨著水利前端采集設(shè)備越來越智能化、功能集成化程度也越來越高，但在軟件方面依舊存在著分散管理、重復(fù)開發(fā)、復(fù)用率低等弊端。

技術(shù)實(shí)現(xiàn)要素：

發(fā)明目的：本發(fā)明所要解決的技術(shù)問題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種智慧城市海量數(shù)據(jù)采集優(yōu)化方法。

為了解決上述技術(shù)問題，本發(fā)明公開了一種智慧城市海量水利數(shù)據(jù)采集優(yōu)化方法，包括：

步驟1，對(duì)已部署的水利數(shù)據(jù)采集終端設(shè)備增加基于事件觸發(fā)的功能模塊；

步驟2，對(duì)水利數(shù)據(jù)采集的大數(shù)據(jù)進(jìn)行分布式和集中式雙架構(gòu)處理；

步驟3，設(shè)定觸發(fā)功能的優(yōu)先級(jí)高低順序，包括：故障告警模式、事件及時(shí)模式以及非實(shí)時(shí)性中斷模式；

步驟4，功能模塊獲取設(shè)備運(yùn)行狀態(tài)值，功能模塊對(duì)數(shù)據(jù)信號(hào)進(jìn)行判斷，根據(jù)判斷規(guī)則如否則觸發(fā)故障告警模式，直接發(fā)送設(shè)備運(yùn)行故障信息數(shù)據(jù)至平臺(tái)數(shù)據(jù)交換庫，如是則執(zhí)行步驟5；

步驟5，功能模塊觸發(fā)事件及時(shí)模式，執(zhí)行發(fā)送水利數(shù)據(jù)到分布式架構(gòu)下的事件數(shù)據(jù)倉庫；

步驟6，在事件數(shù)據(jù)倉庫中建水利事實(shí)數(shù)據(jù)表、時(shí)間維度表、區(qū)域維度表、設(shè)備特征維度表和水利屬性維度表；

步驟7，將水利數(shù)據(jù)的原始信息按時(shí)間維度表、區(qū)域維度表、設(shè)備類型維度表和水利屬性維度表分別存入各表；

步驟8，將步驟7中的各維度表插入到單一事件事實(shí)表和周期事實(shí)表中；

步驟9，將單一事件事實(shí)表進(jìn)行數(shù)據(jù)持久操作至底層數(shù)據(jù)庫，事件數(shù)據(jù)倉庫內(nèi)對(duì)于周期事實(shí)表中的水利數(shù)據(jù)進(jìn)行處理，包括：

步驟9.1，抽取以日為時(shí)間粒度的水利基礎(chǔ)數(shù)據(jù)并放入緩存；

步驟9.2，執(zhí)行對(duì)緩存中的水利數(shù)據(jù)的查詢；

步驟9.3，根據(jù)查詢結(jié)果輸出以降雨量、水位、流量為三個(gè)數(shù)據(jù)結(jié)果集；

步驟9.4，將降雨量、水位、流量的數(shù)據(jù)與設(shè)計(jì)的參數(shù)指標(biāo)值進(jìn)行比較，如符合參數(shù)指標(biāo)值，執(zhí)行步驟10，如否則執(zhí)行步驟11；

步驟10，執(zhí)行對(duì)所得數(shù)據(jù)結(jié)果集的數(shù)據(jù)持久化；

步驟11，執(zhí)行對(duì)所得數(shù)據(jù)結(jié)果集在低粒度級(jí)的底層數(shù)據(jù)庫中做更新操作；

步驟12，執(zhí)行對(duì)步驟10在事件數(shù)據(jù)倉庫中的事件數(shù)據(jù)分割；

步驟13，執(zhí)行對(duì)步驟11在事件數(shù)據(jù)倉庫中的業(yè)務(wù)數(shù)據(jù)分割；

步驟14，執(zhí)行功能模塊在系統(tǒng)因資源占用無法繼續(xù)執(zhí)行故障告警模式或事件及時(shí)模式，或高優(yōu)先級(jí)任務(wù)退出后需要實(shí)現(xiàn)低優(yōu)先級(jí)任務(wù)執(zhí)行環(huán)境的恢復(fù)。

本發(fā)明中，步驟1中，水利數(shù)據(jù)采集終端設(shè)備的數(shù)據(jù)信號(hào)經(jīng)過A/D轉(zhuǎn)換器后通過時(shí)鐘分配器，設(shè)定兩個(gè)獨(dú)立的A時(shí)鐘域和B時(shí)鐘域，如數(shù)據(jù)信息不延時(shí)，則以A時(shí)鐘的寬度分配寄存地址；如數(shù)據(jù)信息延時(shí)，則以B時(shí)鐘的寬度分配到寄存地址；設(shè)定寄存數(shù)據(jù)形成以A時(shí)鐘和B時(shí)鐘寬度的并按照時(shí)間先后順序的數(shù)據(jù)循環(huán)隊(duì)列，數(shù)據(jù)緩存控制器讀取數(shù)據(jù)循環(huán)隊(duì)列中的數(shù)據(jù)；在數(shù)據(jù)緩存控制器中以10個(gè)緩存數(shù)據(jù)為一個(gè)周期單元，且把每個(gè)單元和與其相鄰的兩個(gè)單元作為一個(gè)對(duì)前端設(shè)備運(yùn)行狀態(tài)的判斷點(diǎn)；如果單一單元內(nèi)的緩存數(shù)據(jù)信息完整度達(dá)到85％，且三個(gè)單元內(nèi)的A時(shí)鐘寬度數(shù)據(jù)比例不低于60％，同時(shí)B時(shí)鐘寬度數(shù)據(jù)比例不高于40％，則數(shù)據(jù)緩存控制器觸發(fā)事件及時(shí)功能并輸出數(shù)據(jù)；否則，則數(shù)據(jù)緩存控制器觸發(fā)故障告警但仍輸出數(shù)據(jù)；判斷緩存數(shù)據(jù)控制器中的數(shù)據(jù)量是否滿，如滿則中斷對(duì)數(shù)據(jù)的輸入觸發(fā)模塊的非實(shí)時(shí)性中斷功能，否則繼續(xù)讀取數(shù)據(jù)。

本發(fā)明中，步驟2中包括：

步驟2.1，對(duì)水利大數(shù)據(jù)的分布式架構(gòu)包括：.對(duì)整個(gè)水利數(shù)據(jù)采集區(qū)域劃分為河道區(qū)、泵站閘口區(qū)、水庫堤壩區(qū)以及灌排區(qū)；對(duì)基于多個(gè)河道區(qū)，泵站閘口區(qū)、水庫堤壩區(qū)、灌排區(qū)的構(gòu)建相互獨(dú)立的數(shù)據(jù)倉庫；

步驟2.2，對(duì)水利大數(shù)據(jù)的集中式架構(gòu)包括：基于步驟2.1已建立的分布式數(shù)據(jù)倉庫來建立集中式的數(shù)據(jù)倉庫。

本發(fā)明中，步驟6包括：

步驟6.1，構(gòu)建水利數(shù)據(jù)單一事件事實(shí)表和周期事實(shí)表，單一事實(shí)表為水利低粒度級(jí)，周期事實(shí)表為水利事件數(shù)據(jù)的累積的高粒度級(jí)，事件數(shù)據(jù)表包含高程、水位、流量、雨量、蓄水量、蒸發(fā)量、溫度以及水流速；

步驟6.2，構(gòu)建水利數(shù)據(jù)的維度表，無變化維度為區(qū)域維度表和設(shè)備特征維度表；常變化維度為時(shí)間維度表和水利屬性維度表。

本發(fā)明中，步驟9中，將降雨量、水位、流量的數(shù)據(jù)與設(shè)計(jì)的參數(shù)指標(biāo)值進(jìn)行比較，包括：

河道區(qū)、泵站閘口區(qū)、水庫堤壩區(qū)、灌排區(qū)四個(gè)區(qū)域內(nèi)的實(shí)時(shí)降雨量有效數(shù)據(jù)和近一小時(shí)時(shí)段降雨數(shù)值的平均值是否大于警戒的指標(biāo)值，如低于就判定降雨量數(shù)據(jù)有效；

對(duì)于符合以下規(guī)則描述的降雨量、水位和流量數(shù)據(jù)結(jié)果集認(rèn)定為有效數(shù)據(jù)：

在日降雨量數(shù)據(jù)值在n年平均時(shí)段降雨量的正負(fù)一個(gè)標(biāo)準(zhǔn)差范圍內(nèi)，同一時(shí)段的有效水位數(shù)據(jù)結(jié)果集和流量數(shù)據(jù)結(jié)果集的增加或減少的幅度也在上一組數(shù)據(jù)的正負(fù)一個(gè)標(biāo)準(zhǔn)差范圍內(nèi)；在日降雨量數(shù)據(jù)值達(dá)到當(dāng)月平均時(shí)段降水?dāng)?shù)值的正負(fù)兩個(gè)標(biāo)準(zhǔn)差范圍內(nèi)之間，同一時(shí)段的有效水位數(shù)據(jù)結(jié)果集和流量數(shù)據(jù)結(jié)果集的增加或減少的幅度也在上一組數(shù)據(jù)的正負(fù)兩個(gè)標(biāo)準(zhǔn)差范圍內(nèi)以內(nèi)；在日降雨量數(shù)據(jù)值超過近8小時(shí)降雨量數(shù)值的正負(fù)三個(gè)標(biāo)準(zhǔn)差范圍內(nèi)，同一時(shí)段的有效水位數(shù)據(jù)結(jié)果集和流量數(shù)據(jù)結(jié)果集的增加的幅度也在上一組數(shù)據(jù)的正負(fù)三個(gè)標(biāo)準(zhǔn)差范圍內(nèi)。

附圖說明

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明做更進(jìn)一步的具體說明，本發(fā)明的上述和/或其他方面的優(yōu)點(diǎn)將會(huì)變得更加清楚。

圖1為功能觸發(fā)模塊的邏輯結(jié)構(gòu)圖。

圖2為事件功能觸發(fā)流程圖；

圖3為數(shù)據(jù)倉庫建表結(jié)構(gòu)圖；

圖4為事件觸發(fā)的數(shù)據(jù)優(yōu)化流程方法圖。

具體實(shí)施方式

本發(fā)明涉及到對(duì)于水利信息化設(shè)備的智能控制，并能在特定的事件中通過對(duì)數(shù)據(jù)的快速處理來達(dá)到對(duì)水利信息化的高效管理。本方法通過在前端數(shù)據(jù)采集設(shè)備中增加事件觸發(fā)功能，在事件發(fā)生過程中能優(yōu)先將數(shù)據(jù)發(fā)送至分布架構(gòu)中特定數(shù)據(jù)倉庫中，并在數(shù)據(jù)倉庫設(shè)定不同的粒度級(jí)并在粒度級(jí)上劃分不同的數(shù)據(jù)域，通過對(duì)雨量、水位和流量三個(gè)關(guān)鍵數(shù)據(jù)點(diǎn)的抓取，加速在事件中對(duì)海量水利數(shù)據(jù)的批量處理，實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)和訪問的高效率，提升整個(gè)系統(tǒng)深度數(shù)據(jù)分析的能力。

本發(fā)明針對(duì)現(xiàn)有水利信息系統(tǒng)中的缺陷，本發(fā)明提供基于智慧水利前端數(shù)據(jù)采集優(yōu)化一種方法，快速實(shí)現(xiàn)對(duì)前端采集設(shè)備的智能化管理，并在水利的特定事件發(fā)生過程中對(duì)海量數(shù)據(jù)的專項(xiàng)處理。

本發(fā)明對(duì)于不同類型的水利前端數(shù)據(jù)采集設(shè)備包括水位雨量監(jiān)測機(jī)、泵站/閘口水質(zhì)水情數(shù)據(jù)采集器，增加基于事件觸發(fā)的功能模塊對(duì)不同設(shè)備運(yùn)行狀態(tài)的統(tǒng)一監(jiān)聽以及對(duì)跨業(yè)務(wù)類型的數(shù)據(jù)在水利事件中實(shí)現(xiàn)業(yè)務(wù)協(xié)同的快速處理。

本發(fā)明中的事件觸發(fā)的功能模塊，該功能實(shí)現(xiàn)邏輯結(jié)構(gòu)為：水利數(shù)據(jù)采集終端設(shè)備的數(shù)據(jù)信號(hào)經(jīng)過A/D轉(zhuǎn)換器后通過時(shí)鐘分配器，設(shè)定兩個(gè)獨(dú)立的A、B時(shí)鐘域，如數(shù)據(jù)信息不延時(shí)則以A時(shí)鐘的寬度分配寄存地址；如數(shù)據(jù)信息延時(shí)則以B時(shí)鐘的寬度分配到寄存地址；設(shè)定寄存數(shù)據(jù)形成以A、B時(shí)鐘寬度的并按照時(shí)間先后順序的數(shù)據(jù)循環(huán)隊(duì)列，數(shù)據(jù)緩存控制器讀取數(shù)據(jù)循環(huán)隊(duì)列中的數(shù)據(jù)，在數(shù)據(jù)緩存控制器中以10個(gè)緩存數(shù)據(jù)為一個(gè)周期單元且把每個(gè)單元和與其相鄰的兩個(gè)單元作為一個(gè)對(duì)前端設(shè)備運(yùn)行狀態(tài)的判斷點(diǎn)，單一單元內(nèi)的緩存數(shù)據(jù)信息完整度達(dá)到85％且三個(gè)單元內(nèi)的A時(shí)鐘寬度數(shù)據(jù)比例不低于60％同時(shí)B時(shí)鐘寬度數(shù)據(jù)比例不高于40％，則數(shù)據(jù)緩存控制器觸發(fā)事件及時(shí)功能并輸出數(shù)據(jù)；如否則數(shù)據(jù)緩存控制器觸發(fā)故障告警但仍輸出數(shù)據(jù)；判斷緩存數(shù)據(jù)控制器中的數(shù)據(jù)量是否滿，如滿則中斷對(duì)數(shù)據(jù)的輸入觸發(fā)模塊的非實(shí)時(shí)性中斷功能，否則繼續(xù)讀取數(shù)據(jù)。

本發(fā)明設(shè)定了優(yōu)先級(jí)順序?yàn)?.故障告警模式、2.事件及時(shí)模式、3.非實(shí)時(shí)性中斷模式；

本發(fā)明中的事件觸發(fā)的功能模塊的故障告警模式，開放的接口適配不同類型和不同廠家設(shè)備；對(duì)于設(shè)備運(yùn)行狀態(tài)監(jiān)聽并根據(jù)設(shè)備參數(shù)變化直接反饋故障數(shù)據(jù)至平臺(tái)數(shù)據(jù)交換庫；

本發(fā)明中的事件觸發(fā)的功能模塊的時(shí)間及時(shí)模式，在水利事件中對(duì)水利數(shù)據(jù)的快速提取并對(duì)水利業(yè)務(wù)數(shù)據(jù)的協(xié)同快速處理；

本發(fā)明的事件觸發(fā)的功能模塊的非實(shí)時(shí)性中斷模式，在無法響應(yīng)故障告警和事件及時(shí)模式或按照優(yōu)先級(jí)順序結(jié)束后對(duì)于該模塊的功能初始化操作。

本發(fā)明中的對(duì)于水利業(yè)務(wù)數(shù)據(jù)協(xié)同的快速處理方法，其具體方法如下：

S1.在事件數(shù)據(jù)倉庫中建水利事實(shí)數(shù)據(jù)表、時(shí)間維度表、區(qū)域維度表、設(shè)備類型維度表和流域水系維度表；

S2.執(zhí)行水利事實(shí)數(shù)據(jù)表與時(shí)間維度表、區(qū)域維度表、設(shè)備類型維度表和流域水系維度表進(jìn)行數(shù)據(jù)關(guān)聯(lián)；

S3.事件數(shù)據(jù)倉庫內(nèi)對(duì)于關(guān)聯(lián)后的水利數(shù)據(jù)進(jìn)行處理，子步驟：

S3.1.抽取以日為時(shí)間粒度的水利基礎(chǔ)數(shù)據(jù)并放入緩存；

S3.2.執(zhí)行對(duì)緩存中的水利數(shù)據(jù)的查詢；

S3.3.根據(jù)查詢結(jié)果輸出以雨量、水位、流量為三個(gè)關(guān)鍵數(shù)據(jù)結(jié)果集；

S3.4.判斷雨量、水位、流量的數(shù)據(jù)是否同時(shí)在已設(shè)定的參數(shù)變化值區(qū)間，如是則認(rèn)定有效，執(zhí)行步驟S4，如否則執(zhí)行步驟S5；

S4.執(zhí)行對(duì)該數(shù)據(jù)結(jié)果集的數(shù)據(jù)持久化；

S5.執(zhí)行對(duì)該數(shù)據(jù)結(jié)果集在低粒度級(jí)的底層數(shù)據(jù)庫中做更新操作；

S6.執(zhí)行對(duì)步驟S4在事件數(shù)據(jù)倉庫中的事件數(shù)據(jù)分割；

S7.執(zhí)行對(duì)步驟S5在事件數(shù)據(jù)倉庫中的業(yè)務(wù)數(shù)據(jù)分割。

實(shí)施例1

本實(shí)施例公開了一種智慧城市海量水利數(shù)據(jù)采集優(yōu)化方法，包括：

步驟1.對(duì)已部署的數(shù)據(jù)采集終端設(shè)備增加基于事件觸發(fā)的功能模塊；功能模塊邏輯結(jié)構(gòu)描述如下：水利數(shù)據(jù)采集終端設(shè)備的數(shù)據(jù)信號(hào)經(jīng)過A/D轉(zhuǎn)換器后通過時(shí)鐘分配器，設(shè)定兩個(gè)獨(dú)立的A、B時(shí)鐘域，如數(shù)據(jù)信息不延時(shí)則以A時(shí)鐘的寬度分配寄存地址；如數(shù)據(jù)信息延時(shí)則以B時(shí)鐘的寬度分配到寄存地址；設(shè)定寄存數(shù)據(jù)形成以A、B時(shí)鐘寬度的并按照時(shí)間先后順序的數(shù)據(jù)循環(huán)隊(duì)列，數(shù)據(jù)緩存控制器讀取數(shù)據(jù)循環(huán)隊(duì)列中的數(shù)據(jù)，在數(shù)據(jù)緩存控制器中以10個(gè)緩存數(shù)據(jù)為一個(gè)周期單元且把每個(gè)單元和與其相鄰的兩個(gè)單元作為一個(gè)對(duì)前端設(shè)備運(yùn)行狀態(tài)的判斷點(diǎn)，單一單元內(nèi)的緩存數(shù)據(jù)信息完整度達(dá)到85％且三個(gè)單元內(nèi)的A時(shí)鐘寬度數(shù)據(jù)比例不低于60％同時(shí)B時(shí)鐘寬度數(shù)據(jù)比例不高于40％，則數(shù)據(jù)緩存控制器觸發(fā)事件及時(shí)功能并輸出數(shù)據(jù)；如否則數(shù)據(jù)緩存控制器觸發(fā)故障告警但仍輸出數(shù)據(jù)；判斷緩存數(shù)據(jù)控制器中的數(shù)據(jù)量是否滿，如滿則中斷對(duì)數(shù)據(jù)的輸入觸發(fā)模塊的非實(shí)時(shí)性中斷功能，否則繼續(xù)讀取數(shù)據(jù)。

步驟2.對(duì)水利數(shù)據(jù)采集的大數(shù)據(jù)進(jìn)行分布式和集中式雙架構(gòu)處理，具體部署方式即：

步驟2.1對(duì)水利大數(shù)據(jù)的分布式架構(gòu)步驟：1.對(duì)整個(gè)水利數(shù)據(jù)采集區(qū)域劃分為河道區(qū)、泵站閘口區(qū)、水庫堤壩區(qū)、灌排區(qū)；2.對(duì)基于多個(gè)河道區(qū)，多個(gè)泵站閘口區(qū)、多個(gè)水庫堤壩區(qū)、多個(gè)灌排區(qū)的構(gòu)建相互獨(dú)立的數(shù)據(jù)倉庫；

步驟2.2對(duì)水利大數(shù)據(jù)的集中式架構(gòu)步驟：基于步驟2.1已建立的分布式數(shù)據(jù)倉庫來建立集中式的數(shù)據(jù)倉庫；

步驟3.并設(shè)定觸發(fā)功能的優(yōu)先級(jí)高低順序依次為：1.故障告警模式、2.事件及時(shí)模式、3.非實(shí)時(shí)性中斷模式；

步驟4.功能模塊獲取設(shè)備運(yùn)行狀態(tài)值，功能模塊對(duì)數(shù)據(jù)信號(hào)進(jìn)行判斷，根據(jù)判斷規(guī)則如否則觸發(fā)故障告警模式，直接發(fā)送設(shè)備運(yùn)行故障信息數(shù)據(jù)至平臺(tái)數(shù)據(jù)交換庫，如是則執(zhí)行步驟5；

步驟5.功能模塊觸發(fā)事件及時(shí)模式，執(zhí)行發(fā)送水利數(shù)據(jù)到分布式架構(gòu)下的事件數(shù)據(jù)倉庫；

步驟6.在事件數(shù)據(jù)倉庫中建水利事實(shí)數(shù)據(jù)表、時(shí)間維度表、區(qū)域維度表、設(shè)備特征維度表和水利屬性維度表；

步驟6.1構(gòu)建水利數(shù)據(jù)單一事件事實(shí)表和周期事實(shí)表，單一事實(shí)表為水利低粒度級(jí)，周期事實(shí)表為水利事件數(shù)據(jù)的累積的高粒度級(jí)，事件數(shù)據(jù)表包含高程、水位、流量、雨量、蓄水量、蒸發(fā)量、溫度、水流速；

步驟6.2構(gòu)建水利數(shù)據(jù)的維度表，無變化維度為區(qū)域維度表和設(shè)備特征維度表；常變化維度為時(shí)間維度表和水利屬性維度表；

步驟7.水利數(shù)據(jù)的原始信息按時(shí)間維度表、區(qū)域維度表、設(shè)備類型維度表和水利屬性維度表分別存入各表；

步驟8.步驟7中的各維度表插入到單一事件事實(shí)表和周期事實(shí)表中；

步驟9.將單一事件事實(shí)表進(jìn)行數(shù)據(jù)持久操作至底層數(shù)據(jù)庫；事件數(shù)據(jù)倉庫內(nèi)對(duì)于周期事實(shí)表中的水利數(shù)據(jù)進(jìn)行處理，子步驟：

步驟9.1抽取以日為時(shí)間粒度的水利基礎(chǔ)數(shù)據(jù)并放入緩存；

步驟9.2執(zhí)行對(duì)緩存中的水利數(shù)據(jù)的查詢；

步驟9.3根據(jù)查詢結(jié)果輸出以降雨量、水位、流量為三個(gè)數(shù)據(jù)結(jié)果集；

步驟9.4降雨量、水位、流量的數(shù)據(jù)與設(shè)計(jì)的參數(shù)指標(biāo)值進(jìn)行比較，如符合參數(shù)指標(biāo)值，執(zhí)行步驟10，如否則執(zhí)行步驟11；

數(shù)據(jù)集與參數(shù)指標(biāo)值比較方法：

河道區(qū)、泵站閘口區(qū)、水庫堤壩區(qū)、灌排區(qū)四個(gè)區(qū)域內(nèi)的實(shí)時(shí)降雨量有效數(shù)據(jù)和近一小時(shí)時(shí)段降雨數(shù)值的平均值是否大于警戒的指標(biāo)值，如低于就判定降雨量數(shù)據(jù)有效合理；

在日降雨量數(shù)據(jù)值在n年(n大于等于2)平均時(shí)段降雨量的正負(fù)一個(gè)標(biāo)準(zhǔn)差范圍內(nèi)，同一時(shí)段的有效水位數(shù)據(jù)結(jié)果集和流量數(shù)據(jù)結(jié)果集的增加或減少的幅度也在上一組數(shù)據(jù)的正負(fù)一個(gè)標(biāo)準(zhǔn)差范圍內(nèi)；在日降雨量數(shù)據(jù)值達(dá)到當(dāng)月平均時(shí)段降水?dāng)?shù)值的正負(fù)兩個(gè)標(biāo)準(zhǔn)差范圍內(nèi)之間，同一時(shí)段的有效水位數(shù)據(jù)結(jié)果集和流量數(shù)據(jù)結(jié)果集的增加或減少的幅度也在上一組數(shù)據(jù)的正負(fù)兩個(gè)標(biāo)準(zhǔn)差范圍內(nèi)以內(nèi)；在日降雨量數(shù)據(jù)值超過近8小時(shí)降雨量數(shù)值的正負(fù)三個(gè)標(biāo)準(zhǔn)差范圍內(nèi)，同一時(shí)段的有效水位數(shù)據(jù)結(jié)果集和流量數(shù)據(jù)結(jié)果集的增加的幅度也在上一組數(shù)據(jù)的正負(fù)三個(gè)標(biāo)準(zhǔn)差范圍內(nèi)；對(duì)于符合以上規(guī)則描述的降雨量、水位和流量數(shù)據(jù)結(jié)果集認(rèn)定為有效數(shù)據(jù)；

步驟10.執(zhí)行對(duì)該數(shù)據(jù)結(jié)果集的數(shù)據(jù)持久化；

步驟11.執(zhí)行對(duì)該數(shù)據(jù)結(jié)果集在低粒度級(jí)的底層數(shù)據(jù)庫中做更新操作；

步驟12.執(zhí)行對(duì)步驟10在事件數(shù)據(jù)倉庫中的事件數(shù)據(jù)分割；

步驟13.執(zhí)行對(duì)步驟11在事件數(shù)據(jù)倉庫中的業(yè)務(wù)數(shù)據(jù)分割；

步驟14.執(zhí)行功能模塊在系統(tǒng)因資源占用無法繼續(xù)執(zhí)行模式1和模式2，或高優(yōu)先級(jí)任務(wù)退出后需要實(shí)現(xiàn)低優(yōu)先級(jí)任務(wù)執(zhí)行環(huán)境的恢復(fù)；

實(shí)施例2

如圖1所示，功能流程描述：水利數(shù)據(jù)采集終端設(shè)備發(fā)送數(shù)據(jù)信號(hào)到嵌入式模塊中的A/D轉(zhuǎn)換器，A/D轉(zhuǎn)換器將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)后傳送給時(shí)鐘分配器，設(shè)定時(shí)鐘分配器以數(shù)據(jù)是否延時(shí)(“0”表示延時(shí)，“1”表示不延時(shí))來分配數(shù)據(jù)地址，分配以A時(shí)鐘寬度的寄存數(shù)據(jù)(不延時(shí))和B時(shí)鐘寬度的寄存數(shù)據(jù)(延時(shí))，A,B寄存數(shù)據(jù)形成一個(gè)循環(huán)隊(duì)列的數(shù)據(jù)包，數(shù)據(jù)緩存控制器讀取數(shù)據(jù)包中數(shù)據(jù)，在數(shù)據(jù)量未滿的情況下通過對(duì)數(shù)據(jù)質(zhì)量的判定，對(duì)符合數(shù)據(jù)質(zhì)量判定規(guī)則的數(shù)據(jù)，模塊觸發(fā)事件及時(shí)功能同時(shí)將該數(shù)據(jù)包輸出給數(shù)據(jù)倉庫，如果不符合判定規(guī)則，模塊則觸發(fā)故障告警但同時(shí)也將數(shù)據(jù)包的信息反饋給平臺(tái)數(shù)據(jù)交換庫，在數(shù)據(jù)緩存控制器數(shù)據(jù)量滿額時(shí)，模塊則觸發(fā)非實(shí)時(shí)性中斷功能，數(shù)據(jù)緩存控制器暫停讀取數(shù)據(jù)包。

如圖2所示，流程步驟說明：功能模塊在觸發(fā)故障告警時(shí)直接將故障的數(shù)據(jù)信息直接反饋到平臺(tái)數(shù)據(jù)交換庫；模塊觸發(fā)事件及時(shí)功能時(shí)發(fā)送數(shù)據(jù)至分布式的事件數(shù)據(jù)倉庫并對(duì)數(shù)據(jù)質(zhì)量進(jìn)行初步的處理；功能模塊在模塊中的數(shù)據(jù)緩存控制器數(shù)據(jù)已滿后觸發(fā)的非實(shí)時(shí)性中斷功能，模塊清空內(nèi)存準(zhǔn)備接收下一批數(shù)據(jù)；

其中對(duì)于數(shù)據(jù)倉庫的雙架構(gòu)說明：對(duì)整個(gè)水利數(shù)據(jù)采集區(qū)域劃分為河道區(qū)、泵站閘口區(qū)、水庫堤壩區(qū)、灌排區(qū)；對(duì)基于多個(gè)河道區(qū)，多個(gè)泵站閘口區(qū)、多個(gè)水庫堤壩區(qū)、多個(gè)灌排區(qū)的構(gòu)建相互獨(dú)立的數(shù)據(jù)倉庫；

基于已建立的區(qū)域分布式數(shù)據(jù)倉庫構(gòu)建集中式的數(shù)據(jù)倉庫。

如圖3所示，建表步驟:數(shù)據(jù)倉庫在獲取到經(jīng)過處理的有質(zhì)數(shù)據(jù)后把數(shù)據(jù)信息插入時(shí)間、區(qū)域、設(shè)備特征和水利屬性的維度表中，四個(gè)維度表同步插入單一事件事實(shí)表和周期事實(shí)表中；對(duì)單一事件事實(shí)表進(jìn)行持久化操作，完成后入底層數(shù)據(jù)庫；對(duì)周期事件事實(shí)表再在數(shù)據(jù)倉庫中執(zhí)行業(yè)務(wù)邏輯運(yùn)算。

如圖4所示，數(shù)據(jù)優(yōu)化處理的步驟：數(shù)據(jù)倉庫抽取水利周期事件表中以時(shí)間為粒度的水利基礎(chǔ)數(shù)據(jù)中的雨量、水位、流量的數(shù)據(jù)信息，并將這三個(gè)關(guān)鍵數(shù)據(jù)點(diǎn)與設(shè)定的參數(shù)指標(biāo)值做比較，符合參數(shù)指標(biāo)值，則對(duì)數(shù)據(jù)包進(jìn)行持久化儲(chǔ)存在內(nèi)存中，并根據(jù)業(yè)務(wù)需求進(jìn)行后臺(tái)的數(shù)據(jù)分割操作，不符合參數(shù)指標(biāo)值，則將該數(shù)據(jù)包發(fā)送至底層數(shù)據(jù)庫進(jìn)行更新并進(jìn)行業(yè)務(wù)數(shù)據(jù)的分割。

本發(fā)明提供了一種智慧城市海量水利數(shù)據(jù)采集優(yōu)化方法，具體實(shí)現(xiàn)該技術(shù)方案的方法和途徑很多，以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。本實(shí)施例中未明確的各組成部分均可用現(xiàn)有技術(shù)加以實(shí)現(xiàn)。