本發(fā)明涉及計(jì)算機(jī)信息服務(wù)領(lǐng)域，具體地，涉及一種基于插件方式的交通行業(yè)數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)。

背景技術(shù)：

隨著信息技術(shù)的發(fā)展,城市交通信息化以及智慧城市建設(shè)的不斷深入，各種城市交通運(yùn)行管理直接產(chǎn)生的數(shù)據(jù)、相關(guān)行業(yè)和領(lǐng)域的數(shù)據(jù)，以及公眾互動(dòng)提供的數(shù)據(jù)都對(duì)城市交通的管理和運(yùn)行產(chǎn)生著直接作用或間接影響。這些數(shù)據(jù)不僅包含來(lái)自交通信息化系統(tǒng)、其他行業(yè)系統(tǒng)中的結(jié)構(gòu)化數(shù)據(jù)，也包含特定數(shù)據(jù)交換規(guī)范組織的半結(jié)構(gòu)化數(shù)據(jù)。然而由于傳輸設(shè)備故障、路面交通狀況和環(huán)境因素的異常以及各種信息采集設(shè)備的連續(xù)性工作特點(diǎn)所引發(fā)的間歇性工作故障，都會(huì)使所采集的數(shù)據(jù)出現(xiàn)丟失、錯(cuò)誤、不精確。如果直接采用有質(zhì)量問(wèn)題的數(shù)據(jù)提供給交通應(yīng)用，必然會(huì)導(dǎo)致應(yīng)用結(jié)果不準(zhǔn)確、不可靠的問(wèn)題。因此，在應(yīng)用交通業(yè)務(wù)數(shù)據(jù)時(shí)必須對(duì)其進(jìn)行相應(yīng)的質(zhì)量監(jiān)測(cè)、評(píng)價(jià)和控制，高質(zhì)量的基礎(chǔ)交通數(shù)據(jù)得出的結(jié)果才具有高的可信度，才能正確的反應(yīng)實(shí)際交通狀況。

目前影響交通行業(yè)數(shù)據(jù)質(zhì)量的問(wèn)題主要包括：數(shù)據(jù)缺失、數(shù)據(jù)錯(cuò)誤以及交通異常狀況下的數(shù)據(jù)。其中對(duì)缺失數(shù)據(jù)的監(jiān)測(cè)較為簡(jiǎn)單，即在監(jiān)測(cè)時(shí)刻判斷數(shù)據(jù)應(yīng)到而未到。對(duì)錯(cuò)誤數(shù)據(jù)的監(jiān)測(cè)方法主要有閾值法，各交通行業(yè)數(shù)據(jù)應(yīng)符合一定的閾值范圍，可通過(guò)設(shè)定閾值，從而判斷平臺(tái)接入的數(shù)據(jù)是否為錯(cuò)誤數(shù)據(jù)。

Java語(yǔ)言的動(dòng)態(tài)加載技術(shù)完美的支持了插件化開(kāi)發(fā)，基于java插件化開(kāi)發(fā)生成的平臺(tái)系統(tǒng)能夠使得所有功能模塊均可運(yùn)行在同一個(gè)系統(tǒng)平臺(tái)上，可以很好地解決新功能植入或功能模塊定制，降低了平臺(tái)內(nèi)模塊之間的耦合性，便于各個(gè)模塊的獨(dú)立維護(hù)，這樣可大大降低開(kāi)發(fā)、測(cè)試的成本以及升級(jí)的風(fēng)險(xiǎn)。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供一種基于插件的交通行業(yè)數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)，可提高交通行業(yè)數(shù)據(jù)質(zhì)量的監(jiān)測(cè)性能和靈活性，能夠根據(jù)行業(yè)數(shù)據(jù)的特點(diǎn)和趨勢(shì)靈活配置插件監(jiān)測(cè)方法，全方位的對(duì)采集到的交通行業(yè)數(shù)據(jù)進(jìn)行質(zhì)量監(jiān)測(cè)，一旦發(fā)現(xiàn)問(wèn)題，可及時(shí)告知數(shù)據(jù)使用者。

本發(fā)明通過(guò)以下技術(shù)手段解決上述技術(shù)問(wèn)題：

如圖3所示，基于插件方式的交通行業(yè)數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)，該監(jiān)測(cè)平臺(tái)包括數(shù)據(jù)接入插件、數(shù)據(jù)檢查插件、spring應(yīng)用服務(wù)器、異步消息隊(duì)列；數(shù)據(jù)接入插件包括GPS數(shù)據(jù)接入插件、刷卡數(shù)據(jù)接入插件、檢測(cè)器數(shù)據(jù)接入插件，數(shù)據(jù)檢查插件包括極大值檢查插件、趨勢(shì)變化檢查插件、數(shù)據(jù)到達(dá)檢查插件；數(shù)據(jù)接入插件、數(shù)據(jù)檢查插件通過(guò)JMS與異步消息隊(duì)列進(jìn)行交互，數(shù)據(jù)接入插件、數(shù)據(jù)檢查插件均與spring應(yīng)用服務(wù)器連接；spring應(yīng)用服務(wù)器中，spring容器啟動(dòng)，加載數(shù)據(jù)接入和檢查插件實(shí)例；根據(jù)業(yè)務(wù)數(shù)據(jù)特性，依配置的檢查流程執(zhí)行質(zhì)量檢測(cè)；對(duì)于問(wèn)題數(shù)據(jù)以郵件、短信方式通知數(shù)據(jù)使用者。

該監(jiān)測(cè)平臺(tái)的實(shí)施包括如下步驟：

1)定義spring應(yīng)用服務(wù)器中的平臺(tái)框架與數(shù)據(jù)接入插件、數(shù)據(jù)檢查插件的接口以及spring應(yīng)用服務(wù)器中的平臺(tái)程序結(jié)構(gòu)，平臺(tái)框架與每個(gè)接入和檢查插件之間具有統(tǒng)一的接口定義，減少開(kāi)發(fā)各類(lèi)的插件接口或平臺(tái)接口的時(shí)間，從而縮短插件化軟件平臺(tái)系統(tǒng)的開(kāi)發(fā)時(shí)間，提高開(kāi)發(fā)效率；

2)采用spring應(yīng)用服務(wù)器，加載交通行業(yè)各種數(shù)據(jù)接入和質(zhì)量監(jiān)測(cè)插件Bean到容器的進(jìn)程上下文中，平臺(tái)自身不需要管理java Bean的初始化，都由spring來(lái)管理其生命周期；

3)通過(guò)GPS數(shù)據(jù)接入插件、刷卡數(shù)據(jù)接入插件、路面監(jiān)測(cè)器數(shù)據(jù)接入插件等接入路面監(jiān)測(cè)器、AFC刷卡數(shù)據(jù)、公交GPS、出租GPS數(shù)據(jù)，對(duì)接入的實(shí)時(shí)數(shù)據(jù)進(jìn)行預(yù)處理；

4)數(shù)據(jù)接入插件和數(shù)據(jù)質(zhì)量檢查插件之間可通過(guò)異步消息方式進(jìn)行通信，當(dāng)數(shù)據(jù)接入成功后，接入插件會(huì)發(fā)送異步消息通知數(shù)據(jù)質(zhì)量檢查插件對(duì)接入的數(shù)據(jù)進(jìn)行質(zhì)量檢查；

通過(guò)消息中間件進(jìn)行點(diǎn)對(duì)點(diǎn)的異步消息的分發(fā)，監(jiān)測(cè)平臺(tái)上的接入和檢查插件實(shí)例都可以接收到消息，并執(zhí)行相應(yīng)的業(yè)務(wù)流程操作。

5)配置數(shù)據(jù)質(zhì)量監(jiān)測(cè)流程，選取數(shù)據(jù)檢查插件，根據(jù)交通行業(yè)數(shù)據(jù)業(yè)務(wù)要求，配置相應(yīng)的數(shù)據(jù)檢查流程，此平臺(tái)提供了內(nèi)置的極值、趨勢(shì)變化、數(shù)據(jù)到達(dá)情況等檢查插件。

本發(fā)明提供一種基于插件方式的交通行業(yè)數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)。該數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)基于平臺(tái)+功能插件的模式來(lái)實(shí)現(xiàn)對(duì)交通行業(yè)實(shí)時(shí)數(shù)據(jù)質(zhì)量監(jiān)測(cè)的需求。其中功能監(jiān)測(cè)插件均為java插件，并且各插件統(tǒng)一接口，以供平臺(tái)調(diào)用。功能插件自定義監(jiān)測(cè)優(yōu)先級(jí)，能夠解決數(shù)據(jù)質(zhì)量監(jiān)測(cè)的順序問(wèn)題。平臺(tái)在啟動(dòng)時(shí)，通過(guò)動(dòng)態(tài)加載spring上下文加載檢查插件到容器中，由異步消息驅(qū)動(dòng)進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)測(cè)。

本發(fā)明首先定義平臺(tái)的框架與插件接口以及程序結(jié)構(gòu)，然后按所述接口和程序結(jié)構(gòu)分別開(kāi)發(fā)平臺(tái)框架和插件，從而平臺(tái)框架和每個(gè)插件具有統(tǒng)一的接口，能夠減少開(kāi)發(fā)多種種類(lèi)的插件接口或平臺(tái)接口的時(shí)間，從而縮短插件化平臺(tái)的開(kāi)發(fā)時(shí)間。

根據(jù)本發(fā)明的上述基于插件方式的數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)，此平臺(tái)可靈活擴(kuò)展數(shù)據(jù)接入和數(shù)據(jù)監(jiān)測(cè)功能，只需根據(jù)行業(yè)數(shù)據(jù)的特殊需求開(kāi)發(fā)設(shè)計(jì)相關(guān)的數(shù)據(jù)接入和質(zhì)量監(jiān)測(cè)插件，大大提高了開(kāi)發(fā)效率和業(yè)務(wù)靈活處置能力。

附圖說(shuō)明

圖1為基于插件的交通行業(yè)數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)框架流程圖。

圖2為java插件的基本結(jié)構(gòu)圖。

圖3為基于插件的交通行業(yè)數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)框架結(jié)構(gòu)圖。

圖4為交通行業(yè)數(shù)據(jù)接入流程圖

具體實(shí)施方式

一種基于插件方式的交通行業(yè)數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)，本方法一般包括如下步驟：

圖1為基于插件的交通行業(yè)數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)框架流程圖，整個(gè)數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)包含了交通行業(yè)數(shù)據(jù)接入和數(shù)據(jù)質(zhì)量監(jiān)測(cè)功能。如圖1所示，軟件開(kāi)發(fā)人員根據(jù)交通行業(yè)數(shù)據(jù)業(yè)務(wù)的實(shí)際需求開(kāi)發(fā)數(shù)據(jù)接入插件和質(zhì)量監(jiān)測(cè)插件，將交通各個(gè)業(yè)務(wù)領(lǐng)域的數(shù)據(jù)通過(guò)數(shù)據(jù)集接入插件接入到數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)后，通過(guò)異步消息機(jī)制通知質(zhì)量監(jiān)測(cè)插件執(zhí)行數(shù)據(jù)質(zhì)量檢查。

1)定義平臺(tái)框架與插件的接口以及程序結(jié)構(gòu)

圖2為java插件的基本結(jié)構(gòu)圖，如圖3所示，定義了示例性接口：

2)將所開(kāi)發(fā)的交通行業(yè)數(shù)據(jù)監(jiān)測(cè)插件應(yīng)用容器spring啟動(dòng)，加載各種數(shù)據(jù)接入和質(zhì)量監(jiān)測(cè)插件Bean到容器上下文中；

a.配置數(shù)據(jù)接入及檢查插件

b.數(shù)據(jù)接入插件實(shí)例初始化

c.質(zhì)量檢查插件實(shí)例初始化

d.數(shù)據(jù)接入消息驅(qū)動(dòng)服務(wù)啟動(dòng)

e.質(zhì)量檢查消息驅(qū)動(dòng)服務(wù)啟動(dòng)

3)實(shí)時(shí)接入路面監(jiān)測(cè)器、AFC刷卡數(shù)據(jù)、公交GPS、出租GPS等實(shí)時(shí)數(shù)據(jù)，對(duì)接入的實(shí)時(shí)數(shù)據(jù)預(yù)處理；

如圖4所示，依照此流程將行業(yè)數(shù)據(jù)接入到數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)中，流程如下：

a.數(shù)據(jù)接入消息服務(wù)啟動(dòng)，通過(guò)quartz定時(shí)任務(wù)輪詢(xún)；

b.數(shù)據(jù)源獲取消息命令發(fā)送消息到消息中間件；

c.解析命令消息，獲取消息時(shí)間點(diǎn)內(nèi)的數(shù)據(jù)；

d.如果數(shù)據(jù)接入正常，銷(xiāo)毀消息；

e.數(shù)據(jù)接入不正常，比對(duì)是否達(dá)到報(bào)警時(shí)間；

f.如果報(bào)警時(shí)間達(dá)到，則發(fā)送消息異常，銷(xiāo)毀消息；

g.否則發(fā)送到延誤數(shù)據(jù)消息隊(duì)列；

h.消息驅(qū)動(dòng)服務(wù)從延誤數(shù)據(jù)消息隊(duì)列接收消息放入到延誤數(shù)據(jù)消息池中；

i.定時(shí)從延誤數(shù)據(jù)消息池中獲取消息發(fā)送到命令消息隊(duì)列中。

在對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行預(yù)處理時(shí)，要去除唯一屬性、重復(fù)屬性及可忽略字段，通過(guò)填補(bǔ)遺漏數(shù)據(jù)、消除異常數(shù)據(jù)、平滑噪聲數(shù)據(jù)，以及糾正不一致數(shù)據(jù)，去掉數(shù)據(jù)中的噪音、填充空值、丟失值和處理不一致數(shù)據(jù)。

4)選取數(shù)據(jù)檢查插件，根據(jù)交通行業(yè)數(shù)據(jù)業(yè)務(wù)要求，配置相應(yīng)的數(shù)據(jù)檢查流程，此平臺(tái)提供了內(nèi)置的極值、趨勢(shì)變化、數(shù)據(jù)到達(dá)情況等檢查插件。

驅(qū)動(dòng)數(shù)據(jù)檢查插件對(duì)數(shù)據(jù)的合法性和有效性進(jìn)行檢驗(yàn)。該數(shù)據(jù)檢查引擎訂閱了消息隊(duì)列中的數(shù)據(jù)檢查消息，由JMS消息驅(qū)動(dòng)加載已配置的相應(yīng)的數(shù)據(jù)檢查插件。

在該數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)上，各個(gè)插件都會(huì)以微服務(wù)的形式對(duì)外提供接入和質(zhì)量檢查服務(wù)，為了提高平臺(tái)數(shù)據(jù)接入和質(zhì)量檢查效率，數(shù)據(jù)接入插件和質(zhì)量檢查插件可分布式部署到多個(gè)服務(wù)器中，各服務(wù)之間通過(guò)異步消息進(jìn)行同步與通信。

至此，本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識(shí)到，雖然本文已詳盡示出和描述了本發(fā)明的多個(gè)示例性實(shí)施例，但是，在不脫離本發(fā)明精神和范圍的情況下，仍可根據(jù)本發(fā)明公開(kāi)的內(nèi)容直接確定或推導(dǎo)出符合本發(fā)明原理的許多其他變型或修改。因此，本發(fā)明的范圍應(yīng)被理解和認(rèn)定為覆蓋了所有這些其他變型或修改。