本發(fā)明涉及電子政務(wù)平臺(tái),具體為一種基于大數(shù)據(jù)處理的實(shí)時(shí)電子政務(wù)平臺(tái)。
背景技術(shù):
1、電子政務(wù)平臺(tái)是利用現(xiàn)代信息技術(shù),特別是互聯(lián)網(wǎng)技術(shù),實(shí)現(xiàn)政府服務(wù)電子化、網(wǎng)絡(luò)化、智能化的一種現(xiàn)代化政務(wù)服務(wù)系統(tǒng);它以人工智能等先進(jìn)技術(shù)賦能,創(chuàng)新政務(wù)服務(wù),使公眾可以通過電子方式獲取政府信息與服務(wù),同時(shí)能夠提升政府公共服務(wù)效率和質(zhì)量。
2、公開號(hào)為cn117575874a的申請(qǐng)公開了一種基于多源數(shù)據(jù)的電子政務(wù)平臺(tái)安全管理系統(tǒng),具體涉及政務(wù)平臺(tái)安全管理技術(shù)領(lǐng)域,包括多源數(shù)據(jù)采集模塊、模型構(gòu)建模塊、實(shí)時(shí)性能分級(jí)模塊、離群分析模塊、預(yù)警模塊,通過在電子政務(wù)平臺(tái)安全管理系統(tǒng)進(jìn)行信息安全數(shù)據(jù)獲取時(shí)采集多源數(shù)據(jù)對(duì)數(shù)據(jù)獲取的實(shí)時(shí)性能進(jìn)行評(píng)估,根據(jù)多源數(shù)據(jù)構(gòu)建實(shí)時(shí)性能評(píng)估模型,生成實(shí)時(shí)性能評(píng)估指數(shù),對(duì)數(shù)據(jù)獲取的實(shí)時(shí)性能表現(xiàn)進(jìn)行評(píng)估,生成不同實(shí)時(shí)性能等級(jí),根據(jù)不同的實(shí)時(shí)性能等級(jí)采取不同的處理措施,在實(shí)時(shí)性能表現(xiàn)糟糕時(shí),及時(shí)向管理人員進(jìn)行反映,以便管理人員能夠得到及時(shí)預(yù)警,提前對(duì)數(shù)據(jù)獲取實(shí)時(shí)性能降低的安全系統(tǒng)進(jìn)行提前部署,減少相關(guān)的信息安全風(fēng)險(xiǎn)和信息安全事件的漏報(bào)。
3、其實(shí)時(shí)的電子政務(wù)平臺(tái)在進(jìn)行關(guān)聯(lián)的數(shù)據(jù)處理過程中,針對(duì)于每個(gè)指定周期內(nèi)所產(chǎn)生的更新數(shù)據(jù)或展示數(shù)據(jù),需從多個(gè)不同的源頭進(jìn)行數(shù)據(jù)獲取,再將所獲取的多個(gè)不同源頭數(shù)據(jù)進(jìn)行整合,在整合過程中,需要將多個(gè)不同源頭的數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為同類格式的相關(guān)數(shù)據(jù),再進(jìn)行關(guān)聯(lián)整合,但原始的處理方式,在實(shí)際應(yīng)用過程中,因某些數(shù)據(jù)的轉(zhuǎn)換速率不一致,且每個(gè)數(shù)據(jù)的容量也不一致,會(huì)導(dǎo)致某些數(shù)據(jù)轉(zhuǎn)換完畢后,某些數(shù)據(jù)并未完全轉(zhuǎn)換,導(dǎo)致其數(shù)據(jù)整合時(shí),等待時(shí)間過長(zhǎng),無法達(dá)到一個(gè)較好的數(shù)據(jù)整合分析管理效果,其數(shù)據(jù)處理的時(shí)效性有待增強(qiáng)。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)現(xiàn)有技術(shù)的不足,本發(fā)明提供了一種基于大數(shù)據(jù)處理的實(shí)時(shí)電子政務(wù)平臺(tái),解決了因數(shù)據(jù)之間轉(zhuǎn)換的速率不一致導(dǎo)致數(shù)據(jù)整合過程中延時(shí)較大的問題。
2、為實(shí)現(xiàn)以上目的,本發(fā)明通過以下技術(shù)方案予以實(shí)現(xiàn):一種基于大數(shù)據(jù)處理的實(shí)時(shí)電子政務(wù)平臺(tái),包括:
3、周期數(shù)據(jù)獲取端,對(duì)指定周期內(nèi)不同數(shù)據(jù)源頭所產(chǎn)生的不同格式數(shù)據(jù)進(jìn)行獲取,且指定周期為預(yù)設(shè)周期;
4、數(shù)據(jù)轉(zhuǎn)換分析端,并將若干組不同格式的數(shù)據(jù)進(jìn)行初轉(zhuǎn)換,通過限定一組初轉(zhuǎn)換階段確定不同格式數(shù)據(jù)的轉(zhuǎn)換速率區(qū)間,并同步確認(rèn)初轉(zhuǎn)換階段后不同格式數(shù)據(jù)的剩余待轉(zhuǎn)容量,再基于此轉(zhuǎn)換速率區(qū)間,識(shí)別其對(duì)應(yīng)數(shù)據(jù)的時(shí)間完工區(qū)間,具體方式為:
5、限定一組初轉(zhuǎn)換階段,該初轉(zhuǎn)換階段的時(shí)間周期為預(yù)設(shè)周期,對(duì)此預(yù)設(shè)周期內(nèi)所產(chǎn)生的轉(zhuǎn)換速率進(jìn)行確認(rèn),并從不同格式數(shù)據(jù)所對(duì)應(yīng)的不同轉(zhuǎn)換速率中,基于其轉(zhuǎn)換速率的最小值以及最大值,直接確定屬于此格式數(shù)據(jù)的轉(zhuǎn)換速率區(qū)間;
6、從所獲取的不同格式數(shù)據(jù)中,將不同格式數(shù)據(jù)的剩余待轉(zhuǎn)容量標(biāo)定為dzi,其中i代表不同的格式數(shù)據(jù);
7、基于不同格式數(shù)據(jù)所確定的剩余待轉(zhuǎn)容量dzi以及對(duì)應(yīng)格式數(shù)據(jù)的轉(zhuǎn)換速率區(qū)間,識(shí)別并確認(rèn)對(duì)應(yīng)格式數(shù)據(jù)的時(shí)間完工區(qū)間,擬定轉(zhuǎn)換速率區(qū)間為[zhimin,zhimax],采用dzi÷zhimax=timin以及dzi÷zhimin=timax,鎖定其時(shí)間完工區(qū)間[timin,timax];
8、關(guān)聯(lián)算力分配端,基于不同格式數(shù)據(jù)所確認(rèn)的不同時(shí)間完工區(qū)間,優(yōu)先基于時(shí)間完工區(qū)間的相關(guān)數(shù)值范圍,進(jìn)行初排序確認(rèn)區(qū)間序列,再基于區(qū)間序列內(nèi)不同區(qū)間所對(duì)應(yīng)的不同轉(zhuǎn)換處理進(jìn)程,進(jìn)行算力分配,具體方式為:
9、基于所確定的屬于不同格式數(shù)據(jù)的時(shí)間完工區(qū)間,確定其對(duì)應(yīng)區(qū)間的中間值,基于中間值的數(shù)值大小,依據(jù)從小至大的方式,將若干組時(shí)間完工區(qū)間進(jìn)行排序,鎖定區(qū)間序列;
10、對(duì)后續(xù)的格式轉(zhuǎn)換處理進(jìn)程進(jìn)行實(shí)時(shí)監(jiān)視,并基于對(duì)應(yīng)格式數(shù)據(jù)所剩余的待轉(zhuǎn)容量以及其轉(zhuǎn)換速率區(qū)間,實(shí)時(shí)確認(rèn)對(duì)應(yīng)格式數(shù)據(jù)的時(shí)間完工區(qū)間,擬定所確認(rèn)的區(qū)間序列為:{q1、q2、q3、……、qn},優(yōu)先對(duì)qn所關(guān)聯(lián)的數(shù)據(jù)轉(zhuǎn)換進(jìn)程進(jìn)行處理:從q1-qn-1所關(guān)聯(lián)的轉(zhuǎn)換進(jìn)程中,等比分配相同的算力至qn的轉(zhuǎn)換進(jìn)程內(nèi),當(dāng)qn與qn-1之間區(qū)間重合度最大值達(dá)到90%時(shí)止,其90%就是兩個(gè)區(qū)間重合區(qū)域占比的最大值,將qn與qn-1所關(guān)聯(lián)的時(shí)間區(qū)間進(jìn)行合并,得到一組合并區(qū)間,再?gòu)膓1-qn-2所關(guān)聯(lián)的轉(zhuǎn)換進(jìn)程中,等比分配相同的算力至合并區(qū)間的轉(zhuǎn)換進(jìn)程內(nèi),至合并區(qū)間與前一組區(qū)間之間的重合度最大值達(dá)到90%時(shí)止,并將qn、qn-1以及qn-2所關(guān)聯(lián)的時(shí)間區(qū)間進(jìn)行合并,得到一組合并區(qū)間,再采用相同的方式進(jìn)行依次處理,對(duì)不同轉(zhuǎn)換進(jìn)程的關(guān)聯(lián)算力進(jìn)行實(shí)時(shí)分配;
11、數(shù)據(jù)融合處理端,針對(duì)于完成格式統(tǒng)一的若干組不同格式數(shù)據(jù),其不同格式數(shù)據(jù)屬于指定周期內(nèi)所獲取的數(shù)據(jù),再結(jié)合預(yù)設(shè)目錄表,將若干組完成格式統(tǒng)一的數(shù)據(jù)進(jìn)行融合,并將完成融合處理后的融合數(shù)據(jù)傳輸至周期數(shù)據(jù)庫(kù)內(nèi)進(jìn)行存儲(chǔ),具體方式為:
12、預(yù)設(shè)目錄表為相關(guān)人員提前擬定的數(shù)據(jù)融合表,每個(gè)不同數(shù)據(jù)區(qū)域均帶有不同的數(shù)據(jù)標(biāo)頭,將帶有同類數(shù)據(jù)標(biāo)頭的對(duì)應(yīng)數(shù)據(jù)填補(bǔ)至預(yù)設(shè)目錄表指定位置處,基于預(yù)設(shè)目錄表,將完成格式統(tǒng)一的若干組不同格式數(shù)據(jù)進(jìn)行融合,得到融合數(shù)據(jù),并通過周期數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。
13、優(yōu)選的,所述周期數(shù)據(jù)庫(kù),對(duì)指定周期內(nèi)所獲取的不同格式數(shù)據(jù)進(jìn)行關(guān)聯(lián)存儲(chǔ),其存儲(chǔ)后的數(shù)據(jù)為融合后的格式完成統(tǒng)一的整體數(shù)據(jù)。
14、優(yōu)選的,還包括:
15、數(shù)據(jù)共享端,對(duì)周期數(shù)據(jù)庫(kù)內(nèi)所存儲(chǔ)的融合數(shù)據(jù)進(jìn)行關(guān)聯(lián)共享,基于共享指令,將對(duì)應(yīng)的融合數(shù)據(jù)同步共享至不同的ip端內(nèi),其共享指令由相關(guān)人員提前擬定;
16、且數(shù)據(jù)共享端包括一致性校驗(yàn)單元和異常節(jié)點(diǎn)確定單元;
17、一致性校驗(yàn)單元,對(duì)需要進(jìn)行關(guān)聯(lián)共享的融合數(shù)據(jù)進(jìn)行一致性校驗(yàn),在融合數(shù)據(jù)內(nèi)設(shè)置多個(gè)校驗(yàn)節(jié)點(diǎn),每個(gè)校驗(yàn)節(jié)點(diǎn)設(shè)置于對(duì)應(yīng)的數(shù)據(jù)分段處,基于具體的數(shù)據(jù)分段容量校驗(yàn)過程,識(shí)別是否存在異常的共享段,具體方式為:
18、基于融合數(shù)據(jù)內(nèi)原有的數(shù)據(jù)分段,在每個(gè)數(shù)據(jù)分段之間設(shè)置校驗(yàn)節(jié)點(diǎn),并采用標(biāo)記jk對(duì)校驗(yàn)節(jié)點(diǎn)進(jìn)行標(biāo)記,其中k=1、2、……、n,且n代表校驗(yàn)節(jié)點(diǎn)的總個(gè)數(shù),k為1時(shí),代表為融合數(shù)據(jù)初始分段的初始位置,k為2時(shí),代表為融合數(shù)據(jù)初始分段與第二個(gè)數(shù)據(jù)分段之間的位置,k為n時(shí),代表為融合數(shù)據(jù)的末端分段的末端位置;
19、基于具體的融合數(shù)據(jù)共享進(jìn)程,每共享至校驗(yàn)節(jié)點(diǎn)處便進(jìn)行容量校驗(yàn),將校驗(yàn)節(jié)點(diǎn)之間的數(shù)據(jù)段與其他共享進(jìn)程中相同校驗(yàn)節(jié)點(diǎn)之間的數(shù)據(jù)段的容量進(jìn)行一一確認(rèn),并將所確認(rèn)的容量標(biāo)定為rk-o,其中o代表不同的共享進(jìn)程;
20、再?gòu)闹芷跀?shù)據(jù)庫(kù)中確認(rèn)原始的融合數(shù)據(jù),并采用相同的方式確認(rèn)此rk-o所對(duì)應(yīng)的標(biāo)準(zhǔn)容量rbk,若rk-o=rbk,無需進(jìn)行任何處理,若rk-o≠rbk,將對(duì)應(yīng)的共享進(jìn)程標(biāo)定為異常進(jìn)程,并將對(duì)應(yīng)的校驗(yàn)節(jié)點(diǎn)之間的數(shù)據(jù)段標(biāo)定為異常共享段;
21、異常節(jié)點(diǎn)確定單元,基于所標(biāo)定的異常進(jìn)程以及異常共享段,識(shí)別此異常共享段的共享進(jìn)程速率曲線,從此共享進(jìn)程速率曲線中識(shí)別突變段,并將此突變段所關(guān)聯(lián)的部分?jǐn)?shù)據(jù)標(biāo)定為突變數(shù)據(jù),再基于突變數(shù)據(jù)在其他進(jìn)程的共享情況,識(shí)別此突變數(shù)據(jù)是否存在缺失數(shù)據(jù)并展示:基于所確定的異常共享段,基于不同時(shí)刻的共享速率確定此異常共享段的共享進(jìn)程速率曲線,從共享進(jìn)程速率曲線中,識(shí)別相鄰點(diǎn)位之間的變化值bz,其中bz=|后一點(diǎn)位共享速率-前一點(diǎn)位共享速率|,若bz>y1,其中y1為預(yù)設(shè)值,將此相鄰點(diǎn)位之間的數(shù)值段標(biāo)定為突變段;
22、基于對(duì)應(yīng)的共享進(jìn)程識(shí)別突變段所關(guān)聯(lián)的部分?jǐn)?shù)據(jù),將所識(shí)別的部分?jǐn)?shù)據(jù)標(biāo)定為突變數(shù)據(jù);
23、識(shí)別此突變數(shù)據(jù)在其他共享進(jìn)程中所關(guān)聯(lián)的曲線段是否為突變段,若均為突變段,則不進(jìn)行任何標(biāo)定,反之,則將此突變數(shù)據(jù)標(biāo)定為缺失數(shù)據(jù),并直接展示于外部顯示端內(nèi)。
24、本發(fā)明提供了一種基于大數(shù)據(jù)處理的實(shí)時(shí)電子政務(wù)平臺(tái)。與現(xiàn)有技術(shù)相比具備以下有益效果:
25、本發(fā)明通過對(duì)指定周期內(nèi)所產(chǎn)生的相關(guān)數(shù)據(jù)進(jìn)行獲取,并基于對(duì)應(yīng)不同格式數(shù)據(jù)的不同容量以及整個(gè)數(shù)據(jù)在進(jìn)行格式統(tǒng)一過程中的轉(zhuǎn)換速率,對(duì)相關(guān)數(shù)據(jù)的轉(zhuǎn)換速率區(qū)間進(jìn)行確認(rèn),再?gòu)乃_認(rèn)的轉(zhuǎn)換速率區(qū)間中,進(jìn)行后續(xù)相關(guān)完工時(shí)間的關(guān)聯(lián)確認(rèn),后續(xù)基于算力分配的方式,使對(duì)應(yīng)格式的數(shù)據(jù)在相關(guān)完工時(shí)間上逐步趨向一致,便可充分保障多個(gè)不同的轉(zhuǎn)換進(jìn)程所轉(zhuǎn)換的相關(guān)數(shù)據(jù)能在較為一致的時(shí)間段內(nèi)完成相關(guān)的轉(zhuǎn)換過程,保障后續(xù)數(shù)據(jù)進(jìn)行融合時(shí),其融合速率較快,縮減對(duì)應(yīng)政務(wù)平臺(tái)的數(shù)據(jù)等待時(shí)間;
26、后續(xù),基于對(duì)應(yīng)融合數(shù)據(jù)的多個(gè)不同共享進(jìn)程的相關(guān)共享特征,識(shí)別其對(duì)應(yīng)的異常數(shù)據(jù)段,再基于對(duì)應(yīng)異常數(shù)據(jù)段在共享過程中的共享速率曲線,識(shí)別其曲線內(nèi)所關(guān)聯(lián)的異常點(diǎn),再逐步確認(rèn),可快速鎖定缺失數(shù)據(jù),及時(shí)作出關(guān)聯(lián)的應(yīng)對(duì)處理措施。