本發(fā)明涉及交通資源優(yōu)化配置技術(shù)領(lǐng)域,具體的說是一種新型智能交通數(shù)據(jù)處理系統(tǒng)。
背景技術(shù):
:
數(shù)據(jù)通信系統(tǒng)是城市交通控制系統(tǒng)的重要組成部分之一,它通過數(shù)據(jù)采集、傳輸和管理技術(shù),使監(jiān)控中心能夠準(zhǔn)確地獲取路網(wǎng)各個路口的交通流量和交通信號機的運行狀態(tài),從而為保證路網(wǎng)的控制效果創(chuàng)造條件。因此,如何能夠快速、準(zhǔn)確、實時地將各個路口的交通流數(shù)據(jù)和交通信號機運行狀態(tài)上傳給監(jiān)控中心以及由監(jiān)控中心下傳控制指令給信號機就成了整個控制系統(tǒng)高效運行的重要環(huán)節(jié)。目前我國現(xiàn)有的城市交通控制系統(tǒng)網(wǎng)絡(luò)主要采用電話或?qū)S秒娎|等有線方式進行數(shù)據(jù)通信,已不能滿足智能交通系統(tǒng)ITS及各種智能車載移動終端數(shù)據(jù)通信的實時性和移動性要求。
由于全球定位系統(tǒng)可提供衛(wèi)星導(dǎo)航功能及路徑信息,因此內(nèi)建全球定位系統(tǒng)的導(dǎo)航裝置被廣泛應(yīng)用于車輛上,以獲得定位數(shù)據(jù)或路程數(shù)據(jù)等路徑信息,并對車輛進行衛(wèi)星導(dǎo)航。因為導(dǎo)航裝置在衛(wèi)星導(dǎo)航時,通常是根據(jù)衛(wèi)星定位信號的強度與少變化的地形計算出準(zhǔn)確的路徑信息,以產(chǎn)生正確的導(dǎo)航路徑來進行導(dǎo)航。但是對于多變化的行車路徑或地形則不易維持準(zhǔn)確的路徑信息,以致導(dǎo)航路徑或顯示圖標(biāo)容易出現(xiàn)偏差或錯誤。對此,如何在多變化的行車路徑或地形中,提供準(zhǔn)確的路徑信息,以避免影響駕駛者的判斷力及安全性,已成為極需解決的課題。
大數(shù)據(jù)技術(shù)或稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具,在合理的時間內(nèi)達到汲取、管理、處理并整理成為幫助企業(yè)經(jīng)營決策更積極目的資訊。大數(shù)據(jù)計數(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息,而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化的處理,換言之,如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵在于提高對數(shù)據(jù)的“加工能力”,通過加工數(shù)據(jù)實現(xiàn)增值。
如何從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、事先不知道的、但有時潛在有用的信息的過程被稱為數(shù)據(jù)挖掘,顯而易見,數(shù)據(jù)挖掘時大數(shù)據(jù)技術(shù)的關(guān)鍵。
技術(shù)實現(xiàn)要素:
:
本發(fā)明針對現(xiàn)有技術(shù)中存在的缺點和不足,提出了一種新型智能交通數(shù)據(jù)處理系統(tǒng)。
本發(fā)明通過以下措施達到:
一種新型智能交通數(shù)據(jù)處理系統(tǒng),其特征在于設(shè)有云服務(wù)器、管控平臺、車輛監(jiān)控終端、管理終端,其中管控平臺、管理終端分別經(jīng)互聯(lián)網(wǎng)與云服務(wù)器相連接,車輛監(jiān)控終端經(jīng)移動通信電路與管控平臺相連接,管理終端設(shè)有串口通信電路以及射頻標(biāo)簽讀取機構(gòu),車輛監(jiān)控終端載有射頻標(biāo)簽,所述管控平臺包括數(shù)據(jù)接收模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)輸出模塊,其中數(shù)據(jù)接收模塊中設(shè)有數(shù)據(jù)簡約處理模塊,數(shù)據(jù)處理模塊包括道路狀況辨識模塊、路徑校正模塊,路徑校正模塊包括用戶數(shù)據(jù)比較模塊、修正模塊,其中用戶數(shù)據(jù)比較模塊的輸出端與修正模塊相連接,用戶數(shù)據(jù)比較模塊用于比較第一時間點的用戶行使數(shù)據(jù)和第二時間點的用戶行駛數(shù)據(jù),用戶行駛數(shù)據(jù)為方向盤轉(zhuǎn)動角度或距離或速度或加速度或轉(zhuǎn)速或扭力,修正模塊用于將用戶數(shù)據(jù)比較模塊輸出的差異值與默認(rèn)值進行比較,并在差異值超出默認(rèn)值輸出修正結(jié)果;用戶數(shù)據(jù)比較模塊中還設(shè)有數(shù)據(jù)預(yù)處理模塊、與數(shù)據(jù)預(yù)處理模塊相連接的數(shù)據(jù)挖掘模塊以及與數(shù)據(jù)挖掘模塊相連接的顯示輸出模塊,還設(shè)有與數(shù)據(jù)挖掘模塊相連接的參數(shù)設(shè)置模塊;所述數(shù)據(jù)預(yù)處理模塊包括屬性增/刪模塊、屬性位置交換模塊、添加ID屬性模塊、多表合并模塊、屬性規(guī)約模塊、數(shù)據(jù)冗余處理模塊、數(shù)據(jù)抽樣模塊、數(shù)據(jù)噪聲處理模塊。
本發(fā)明所述數(shù)據(jù)簡約模塊對獲取的數(shù)據(jù)進行以下處理:在待計算數(shù)據(jù)內(nèi)容的字節(jié)序列中確定窗口長度;確定并行計算的窗口數(shù)及跳轉(zhuǎn)間隔;根據(jù)已算得的窗口指紋值并行計算各窗口的指紋值,其中所述窗口指紋值的計算方式為:RF(α1、α2、α3……αβ)=(α1pβ+α2pβ‐1+…+αβ‐1p+αβ)modM;其中α1、α2、α3……αβ為待計算數(shù)據(jù)內(nèi)容中的字節(jié)序列,RF(α1、α2、α3……αβ)表示窗口長度為β的字節(jié)序列的指紋值,p和M為可選的常數(shù);所述根據(jù)已算得的窗口指紋值并行計算各窗口的指紋值由下式計算:RF(αi+1、αi+2、αi+3……αi+β)=(RF(αi、αi+1、αi+2……αi+β‐1)‐αi×pβ)×p+αi+βmodM;其中αi+1、αi+2、αi+3……αi+β為待計算數(shù)據(jù)內(nèi)容中的字節(jié)序列,RF(αi、αi+1、αi+2……αi+β‐1)表示窗口長度為β的字節(jié)序列的指紋值,p和M為可選的常數(shù);標(biāo)記窗口指紋值符合預(yù)定的數(shù)據(jù)分塊邊界條件的窗口位置為數(shù)據(jù)分塊邊界,其中,窗口指紋值符合預(yù)定的數(shù)據(jù)分塊條件,則將當(dāng)前滑動窗口的右邊界所在位置標(biāo)記為數(shù)據(jù)分塊的邊界;計算數(shù)據(jù)分塊的散列值,并標(biāo)記數(shù)據(jù)分塊的散列值與已存儲的數(shù)據(jù)分塊散列值相等的為冗余數(shù)據(jù)塊。
本發(fā)明中所述窗口指紋值由拉賓指紋函數(shù)計算;所述跳轉(zhuǎn)間隔為所述并行計算的窗口數(shù)的整數(shù)倍;所述跳轉(zhuǎn)間隔不是所述并行計算的窗口數(shù)的整數(shù)倍;所述跳轉(zhuǎn)間隔中重疊計算的窗口指紋值用于校驗;所述并行計算的窗口位于同一跳轉(zhuǎn)間隔中;所述并行計算的窗口位于不同跳轉(zhuǎn)間隔中;以散列值與引用信息替代所述標(biāo)記為冗余數(shù)據(jù)塊的數(shù)據(jù)進行所述數(shù)據(jù)塊的存儲。
本發(fā)明所述數(shù)據(jù)挖掘模塊包括聚類模塊、分類模塊、關(guān)聯(lián)規(guī)則模塊、社會關(guān)系網(wǎng)分析模塊。
本發(fā)明所述聚類模塊中設(shè)有K‐means算法模型。
本發(fā)明所述數(shù)據(jù)預(yù)處理模塊采用并行數(shù)據(jù)預(yù)處理模塊,設(shè)有Map/Reduce處理模型,通過調(diào)用Map函數(shù),將每個處理任務(wù)由多個Map任務(wù)并行處理,這些Map任務(wù)被分配到所屬處理任務(wù)分配的執(zhí)行節(jié)點上執(zhí)行,再通過調(diào)用Reduce函數(shù),分別對每個處理任務(wù)的各Map任務(wù)的處理結(jié)果進行合并操作,完成數(shù)據(jù)預(yù)處理。
本發(fā)明所述數(shù)據(jù)挖掘模塊為采用Map/Reduce機制的并行數(shù)據(jù)挖掘模塊,設(shè)有Map/Reduce處理模型,通過調(diào)用Map函數(shù),將每個處理任務(wù)由多個Map任務(wù)并行處理,這些Map任務(wù)被分配到所屬處理任務(wù)分配的執(zhí)行節(jié)點上執(zhí)行,再通過調(diào)用Reduce函數(shù),分別對每個處理任務(wù)的各Map任務(wù)的處理結(jié)果進行合并操作,完成并行數(shù)據(jù)挖掘。
本發(fā)明管控平臺的數(shù)據(jù)處理模塊還設(shè)有默認(rèn)值設(shè)定模塊,所述默認(rèn)值設(shè)定模塊包括用于對輸入的樣本數(shù)據(jù)進行關(guān)聯(lián)處理的統(tǒng)計模塊、用于產(chǎn)生多個擾動副本的復(fù)制模塊、用于基于擾動特征并通過應(yīng)用預(yù)定的分類標(biāo)準(zhǔn)對多個擾動副本進行分類的分類器、用于基于分類器結(jié)果獲得分析結(jié)果的分析器。
本發(fā)明所述道路狀況辨識模塊包括道路子段自動劃分模塊、道路交通參數(shù)實時接收模塊、道路交通狀態(tài)實時辨識模塊以及辨識結(jié)果輸出模塊;道路狀態(tài)判別模塊中的道路子段自動劃分模塊和道路交通參數(shù)實時接收模塊的輸出端均與道路交通狀態(tài)實時辨識模塊的輸入端相連接,道路交通狀態(tài)實時辨識模塊的輸出端與辨識結(jié)果輸出模塊相連接。
本發(fā)明道路子段自動劃分模塊用于將一條道路自動劃分為兩個子段U1和U2,其長度表示為dU1和dU2,dU1和dU2的劃分取決參數(shù)包括整條道路長度前方信號燈綠信比t、道路設(shè)計飽和率s、表示道路限制速度、a是與道路總長相關(guān)的控制參數(shù),b是與道路限制速度相關(guān)的控制參數(shù),具體按照如下公式劃分:
本發(fā)明所述道路交通狀態(tài)實時辨識模塊通過以下步驟完成交通狀態(tài)實時辨識:對各個道路子段建立評定對象單因素集Ui;針對各個道路子段建立評定集Fi;建立從單因素集Ui到評定集Fi的一個模糊關(guān)系映射,由笛卡兒乘積對應(yīng)關(guān)系導(dǎo)出單因素評定矩陣Ri;第一級模糊綜合評定,選擇分段高斯模糊數(shù)學(xué)綜合函數(shù)進行綜合并將其作歸一化處理;二級模糊綜合評定;對二級判定結(jié)果進行模糊分析判斷,得出城市道路狀態(tài)辨別的結(jié)果。
本發(fā)明通過對用戶行駛數(shù)據(jù)的挖掘處理,獲取行駛路徑修正的默認(rèn)值,通過對大量用戶數(shù)據(jù)的處理分析,使用戶路徑修正結(jié)果無限趨近于準(zhǔn)確,具有結(jié)構(gòu)合理、工作可靠等顯著的優(yōu)點。
附圖說明:
附圖1是本發(fā)明的結(jié)構(gòu)框圖。
附圖2是本發(fā)明中管控平臺的結(jié)構(gòu)框圖。
附圖3是本發(fā)明中用戶數(shù)據(jù)比較模塊的結(jié)構(gòu)框圖。
附圖標(biāo)記:云服務(wù)器1、管控平臺2、車輛監(jiān)控終端3、管理終端4數(shù)據(jù)接收模塊5、數(shù)據(jù)處理模塊6、數(shù)據(jù)輸出模塊7、道路狀況辨識模塊8、路徑校正模塊9、默認(rèn)值設(shè)定模塊10、數(shù)據(jù)預(yù)處理模塊11、數(shù)據(jù)挖掘模塊12、顯示輸出模塊13、參數(shù)設(shè)置模塊14。
具體實施方式:
下面結(jié)合附圖對本發(fā)明作進一步的說明。
如附圖所示,本發(fā)明提出了其特征在于設(shè)有云服務(wù)器1、管控平臺2、車輛監(jiān)控終端3、管理終端4,其中管控平臺2、管理終端4分別經(jīng)互聯(lián)網(wǎng)與云服務(wù)器1相連接,車輛監(jiān)控終端3經(jīng)移動通信電路與管控平臺2相連接,管理終端4設(shè)有串口通信電路以及射頻標(biāo)簽讀取機構(gòu),車輛監(jiān)控終端載有射頻標(biāo)簽,所述管控平臺2包括數(shù)據(jù)接收模塊5、數(shù)據(jù)處理模塊6、數(shù)據(jù)輸出模塊7,其中數(shù)據(jù)接收模塊中設(shè)有數(shù)據(jù)簡約處理模塊,數(shù)據(jù)處理模塊6包括道路狀況辨識模塊8、路徑校正模塊9,路徑校正模塊9包括用戶數(shù)據(jù)比較模塊、修正模塊,其中用戶數(shù)據(jù)比較模塊的輸出端與修正模塊相連接,用戶數(shù)據(jù)比較模塊用于比較第一時間點的用戶行使數(shù)據(jù)和第二時間點的用戶行駛數(shù)據(jù),用戶行駛數(shù)據(jù)為方向盤轉(zhuǎn)動角度或距離或速度或加速度或轉(zhuǎn)速或扭力,修正模塊用于將用戶數(shù)據(jù)比較模塊輸出的差異值與默認(rèn)值進行比較,并在差異值超出默認(rèn)值輸出修正結(jié)果;用戶數(shù)據(jù)比較模塊中還設(shè)有數(shù)據(jù)預(yù)處理模塊11、與數(shù)據(jù)預(yù)處理模塊相連接的數(shù)據(jù)挖掘模塊12以及與數(shù)據(jù)挖掘模塊相連接的顯示輸出模塊13,還設(shè)有與數(shù)據(jù)挖掘模塊相連接的參數(shù)設(shè)置模塊14;所述數(shù)據(jù)預(yù)處理模塊包括屬性增/刪模塊、屬性位置交換模塊、添加ID屬性模塊、多表合并模塊、屬性規(guī)約模塊、數(shù)據(jù)冗余處理模塊、數(shù)據(jù)抽樣模塊、數(shù)據(jù)噪聲處理模塊;所述數(shù)據(jù)挖掘模塊包括聚類模塊、分類模塊、關(guān)聯(lián)規(guī)則模塊、社會關(guān)系網(wǎng)分析模塊;所述聚類模塊中設(shè)有K‐means算法模型。
本發(fā)明所述數(shù)據(jù)簡約模塊對獲取的數(shù)據(jù)進行以下處理:在待計算數(shù)據(jù)內(nèi)容的字節(jié)序列中確定窗口長度;確定并行計算的窗口數(shù)及跳轉(zhuǎn)間隔;根據(jù)已算得的窗口指紋值并行計算各窗口的指紋值,其中所述窗口指紋值的計算方式為:RF(α1、α2、α3……αβ)=(α1pβ+α2pβ‐1+…+αβ‐1p+αβ)modM;其中α1、α2、α3……αβ為待計算數(shù)據(jù)內(nèi)容中的字節(jié)序列,RF(α1、α2、α3……αβ)表示窗口長度為β的字節(jié)序列的指紋值,p和M為可選的常數(shù);所述根據(jù)已算得的窗口指紋值并行計算各窗口的指紋值由下式計算:RF(αi+1、αi+2、αi+3……αi+β)=(RF(αi、αi+1、αi+2……αi+β‐1)‐αi×pβ)×p+αi+βmodM;其中αi+1、αi+2、αi+3……αi+β為待計算數(shù)據(jù)內(nèi)容中的字節(jié)序列,RF(αi、αi+1、αi+2……αi+β‐1)表示窗口長度為β的字節(jié)序列的指紋值,p和M為可選的常數(shù);標(biāo)記窗口指紋值符合預(yù)定的數(shù)據(jù)分塊邊界條件的窗口位置為數(shù)據(jù)分塊邊界,其中,窗口指紋值符合預(yù)定的數(shù)據(jù)分塊條件,則將當(dāng)前滑動窗口的右邊界所在位置標(biāo)記為數(shù)據(jù)分塊的邊界;計算數(shù)據(jù)分塊的散列值,并標(biāo)記數(shù)據(jù)分塊的散列值與已存儲的數(shù)據(jù)分塊散列值相等的為冗余數(shù)據(jù)塊。
本發(fā)明所述數(shù)據(jù)預(yù)處理模塊采用并行數(shù)據(jù)預(yù)處理模塊,設(shè)有Map/Reduce處理模型,通過調(diào)用Map函數(shù),將每個處理任務(wù)由多個Map任務(wù)并行處理,這些Map任務(wù)被分配到所屬處理任務(wù)分配的執(zhí)行節(jié)點上執(zhí)行,再通過調(diào)用Reduce函數(shù),分別對每個處理任務(wù)的各Map任務(wù)的處理結(jié)果進行合并操作,完成數(shù)據(jù)預(yù)處理。
本發(fā)明所述數(shù)據(jù)挖掘模塊為采用Map/Reduce機制的并行數(shù)據(jù)挖掘模塊,設(shè)有Map/Reduce處理模型,通過調(diào)用Map函數(shù),將每個處理任務(wù)由多個Map任務(wù)并行處理,這些Map任務(wù)被分配到所屬處理任務(wù)分配的執(zhí)行節(jié)點上執(zhí)行,再通過調(diào)用Reduce函數(shù),分別對每個處理任務(wù)的各Map任務(wù)的處理結(jié)果進行合并操作,完成并行數(shù)據(jù)挖掘。
本發(fā)明管控平臺的數(shù)據(jù)處理模塊還設(shè)有默認(rèn)值設(shè)定模塊,所述默認(rèn)值設(shè)定模塊包括用于對輸入的樣本數(shù)據(jù)進行關(guān)聯(lián)處理的統(tǒng)計模塊、用于產(chǎn)生多個擾動副本的復(fù)制模塊、用于基于擾動特征并通過應(yīng)用預(yù)定的分類標(biāo)準(zhǔn)對多個擾動副本進行分類的分類器、用于基于分類器結(jié)果獲得分析結(jié)果的分析器。
本發(fā)明所述道路狀況辨識模塊包括道路子段自動劃分模塊、道路交通參數(shù)實時接收模塊、道路交通狀態(tài)實時辨識模塊以及辨識結(jié)果輸出模塊;道路狀態(tài)判別模塊中的道路子段自動劃分模塊和道路交通參數(shù)實時接收模塊的輸出端均與道路交通狀態(tài)實時辨識模塊的輸入端相連接,道路交通狀態(tài)實時辨識模塊的輸出端與辨識結(jié)果輸出模塊相連接。
本發(fā)明道路子段自動劃分模塊用于將一條道路自動劃分為兩個子段U1和U2,其長度表示為dU1和dU2,dU1和dU2的劃分取決參數(shù)包括整條道路長度前方信號燈綠信比t、道路設(shè)計飽和率s、表示道路限制速度、a是與道路總長相關(guān)的控制參數(shù),b是與道路限制速度相關(guān)的控制參數(shù),具體按照如下公式劃分:
本發(fā)明所述道路交通狀態(tài)實時辨識模塊通過以下步驟完成交通狀態(tài)實時辨識:對各個道路子段建立評定對象單因素集Ui;針對各個道路子段建立評定集Fi;建立從單因素集Ui到評定集Fi的一個模糊關(guān)系映射,由笛卡兒乘積對應(yīng)關(guān)系導(dǎo)出單因素評定矩陣Ri;第一級模糊綜合評定,選擇分段高斯模糊數(shù)學(xué)綜合函數(shù)進行綜合并將其作歸一化處理;二級模糊綜合評定;對二級判定結(jié)果進行模糊分析判斷,得出城市道路狀態(tài)辨別的結(jié)果。
本發(fā)明通過對用戶行駛數(shù)據(jù)的挖掘處理,獲取行駛路徑修正的默認(rèn)值,通過對大量用戶數(shù)據(jù)的處理分析,使用戶路徑修正結(jié)果無限趨近于準(zhǔn)確,具有結(jié)構(gòu)合理、工作可靠等顯著的優(yōu)點。