專利名稱：大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)和并行處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及交通信息處理領(lǐng)域的智能交通系統(tǒng)，特別涉及一種大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)和并行處理方法。
背景技術(shù)：
智能交通系統(tǒng)是將先進(jìn)的信息技術(shù)、數(shù)據(jù)通訊傳輸技術(shù)、電子傳感技術(shù)、電子控制技術(shù)以及計(jì)算機(jī)處理技術(shù)等有效地集成運(yùn)用于整個(gè)交通運(yùn)輸管理體系，而建立起的一種在大范圍內(nèi)、全方位發(fā)揮作用的，實(shí)時(shí)、準(zhǔn)確、高效的綜合運(yùn)輸和管理系統(tǒng)。智能交通系統(tǒng)主要由交通數(shù)據(jù)采集設(shè)備、遠(yuǎn)程通信網(wǎng)絡(luò)、交通數(shù)據(jù)中心、交通信息服務(wù)及應(yīng)用四大部分構(gòu)成。其中，承擔(dān)交通數(shù)據(jù)匯聚與處理的交通數(shù)據(jù)中心，一方面通過通信網(wǎng)絡(luò)接收來自眾多不同監(jiān)測設(shè)備(如車載GPS、路口感應(yīng)裝置、視頻攝像頭等)采集的實(shí)時(shí)交通數(shù)據(jù)，另一方面通過對交通數(shù)據(jù)的分析處理為交通信息服務(wù)提供支撐，是整個(gè)智能交通系統(tǒng)的核心。目前的交通數(shù)據(jù)中心在數(shù)據(jù)通信及數(shù)據(jù)處理方面大都基于單機(jī)的系統(tǒng)，面向單一采集手段獲得的交通數(shù)據(jù)，同時(shí)由于一般采用阻塞式的數(shù)據(jù)通信及串行化的處理技術(shù)，在滿足大量采集設(shè)備與交通數(shù)據(jù)中心間實(shí)時(shí)數(shù)據(jù)通信及大規(guī)模交通數(shù)據(jù)高速處理等需求方面暴露出諸多不足，人們往往只好通過采購昂貴的高配置服務(wù)器、甚至小型機(jī)來提升性能以完成處理任務(wù)。此外，當(dāng)前交通數(shù)據(jù)中心大都是面向特定的交通業(yè)務(wù)處理需求而建，當(dāng)處理需求發(fā)生變化以及增加新的處理需求后難以擴(kuò)展，有時(shí)甚至需要推到重建，從而造成交通數(shù)據(jù)中心建設(shè)在計(jì)算資源和數(shù)據(jù)資源等方面的巨大浪費(fèi)。隨著城市道路建設(shè)及監(jiān)測技術(shù)等的不斷發(fā)展，監(jiān)測的交通覆蓋范圍、采集的交通數(shù)據(jù)類型及交通數(shù)據(jù)數(shù)量都在不斷的擴(kuò)大；同時(shí)，隨著交通業(yè)務(wù)的發(fā)展和對交通研究的不斷深入，對交通數(shù)據(jù)的處理需求(如實(shí)時(shí)路況測算、交通流分析、交通誘導(dǎo)、違法車輛自動識另O、特定車輛管控、交通數(shù)據(jù)挖掘等)也將不斷增加，需要更加強(qiáng)大的交通數(shù)據(jù)處理能力和計(jì)算速度。為此，系統(tǒng)將不得 不頻繁的進(jìn)行軟硬件升級，從而使得交通數(shù)據(jù)中心的建設(shè)及維護(hù)成本不斷加劇，也必將極大地阻礙智能交通系統(tǒng)的建設(shè)與發(fā)展。

發(fā)明內(nèi)容
在下文中給出關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細(xì)描述的前序。為了滿足大規(guī)模、流式交通數(shù)據(jù)的不間斷通信及實(shí)時(shí)處理需求，解決相應(yīng)系統(tǒng)在通信容量、處理性能及系統(tǒng)擴(kuò)展性等方面的問題，本發(fā)明提供一種大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)和并行處理方法。為了上述目的，本發(fā)明提供如下技術(shù)方案:根據(jù)本發(fā)明的一方面，一種大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)，包括:
通信服務(wù)器組，用于通過網(wǎng)絡(luò)長連接并行地接收前端監(jiān)測設(shè)備采集的實(shí)時(shí)交通數(shù)據(jù)，對接收到的所述實(shí)時(shí)交通數(shù)據(jù)進(jìn)行校驗(yàn)與解析，分揀不同類型實(shí)時(shí)交通數(shù)據(jù)并向交通數(shù)據(jù)發(fā)布/訂閱器進(jìn)行轉(zhuǎn)發(fā)；交通數(shù)據(jù)發(fā)布/訂閱器，與所述通信服務(wù)器組連接，用于按照不同類型的實(shí)時(shí)交通數(shù)據(jù)以及不同的分發(fā)目的地建立實(shí)時(shí)交通數(shù)據(jù)發(fā)布/訂閱消息隊(duì)列，接收并緩存由所述通信服務(wù)器組轉(zhuǎn)發(fā)的所述實(shí)時(shí)交通數(shù)據(jù)，向訂閱所述實(shí)時(shí)交通數(shù)據(jù)的不同的所述分發(fā)目的地進(jìn)行所述實(shí)時(shí)交通數(shù)據(jù)的分發(fā)。根據(jù)本發(fā)明的另一方面，一種大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法，其特征在于，包括:
通信服務(wù)器組通過網(wǎng)絡(luò)長連接并行地接收前端監(jiān)測設(shè)備采集的實(shí)時(shí)交通數(shù)據(jù)，對接收到的所述實(shí)時(shí)交通數(shù)據(jù)進(jìn)行校驗(yàn)與解析，分揀不同類型實(shí)時(shí)交通數(shù)據(jù)并向交通數(shù)據(jù)發(fā)布/訂閱器進(jìn)行轉(zhuǎn)發(fā)；交通數(shù)據(jù)發(fā)布/訂閱器按照不同類型的實(shí)時(shí)交通數(shù)據(jù)以及不同的分發(fā)目的地建立實(shí)時(shí)交通數(shù)據(jù)發(fā)布/訂閱消息隊(duì)列，接收并緩存由所述通信服務(wù)器組轉(zhuǎn)發(fā)的所述實(shí)時(shí)交通數(shù)據(jù)，向訂閱所述實(shí)時(shí)交通數(shù)據(jù)的不同的所述分發(fā)目的地進(jìn)行所述實(shí)時(shí)交通數(shù)據(jù)的分發(fā)。本發(fā)明的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)和處理方法能夠?qū)崟r(shí)接收及分發(fā)來自大量前端交通監(jiān)測設(shè)備采集的交通數(shù)據(jù)，滿足大規(guī)模、流式交通數(shù)據(jù)的不間斷通信及實(shí)時(shí)處理需求，并適應(yīng)前端設(shè)備數(shù)量的擴(kuò)展；能夠滿足交通管理業(yè)務(wù)中基于交通數(shù)據(jù)進(jìn)行業(yè)務(wù)計(jì)算的多樣化需求，以并行處理方式進(jìn)行基于實(shí)時(shí)交通數(shù)據(jù)和歷史交通數(shù)據(jù)的多業(yè)務(wù)計(jì)算，支持通過服務(wù)器擴(kuò)展方式提高處理性能；能夠存儲海量歷史交通數(shù)據(jù)并提供查詢訪問接口，便于其他交通應(yīng)用系統(tǒng)使用。


參照下面結(jié)合附圖對本發(fā)明實(shí)施例的說明，會更加容易地理解本發(fā)明的以上和其它目的、特點(diǎn)和優(yōu)點(diǎn)。附圖中的部件只是為了示出本發(fā)明的原理。在附圖中，相同的或類似的技術(shù)特征或部件將采用相同或類似的附圖標(biāo)記來表示。圖1表示本發(fā)明的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)的一種實(shí)施方式的結(jié)構(gòu)圖；圖2表示本發(fā)明中通信服務(wù)器模塊結(jié)構(gòu)3表示本發(fā)明中計(jì)算服務(wù)器集群模塊結(jié)構(gòu)圖；圖4表示本發(fā)明的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法的一種實(shí)施方式的流程圖；圖5表示本發(fā)明中通信服務(wù)器的處理流程圖；圖6表示本發(fā)明中計(jì)算服務(wù)器集群的處理流程圖。
具體實(shí)施例方式下面參照附圖來說明本發(fā)明的實(shí)施例。在本發(fā)明的一個(gè)附圖或一種實(shí)施方式中描述的元素和特征可以與一個(gè)或更多個(gè)其它附圖或?qū)嵤┓绞街惺境龅脑睾吞卣飨嘟Y(jié)合。應(yīng)當(dāng)注意，為了清楚的目的，附圖和說明中省略了與本發(fā)明無關(guān)的、本領(lǐng)域普通技術(shù)人員已知的部件和處理的表示和描述。參見附圖1所示，為本發(fā)明的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)的一種實(shí)施方式的結(jié)構(gòu)圖。本實(shí)施方式的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)20通信服務(wù)器組21和交通數(shù)據(jù)發(fā)布/訂閱器22。其中，通信服務(wù)器組21用于通過網(wǎng)絡(luò)長連接并行地接收前端監(jiān)測設(shè)備10采集的實(shí)時(shí)交通數(shù)據(jù)，對接收到的實(shí)時(shí)交通數(shù)據(jù)進(jìn)行校驗(yàn)與解析，分揀不同類型實(shí)時(shí)交通數(shù)據(jù)并向交通數(shù)據(jù)發(fā)布/訂閱器22進(jìn)行轉(zhuǎn)發(fā)。前端設(shè)備10例如可以包括感應(yīng)線圈、攝像頭、車載GPS、RFID標(biāo)簽的一種或多種。交通數(shù)據(jù)發(fā)布/訂閱器22，與通信服務(wù)器組21連接，用于按照不同類型的實(shí)時(shí)交通數(shù)據(jù)以及不同的分發(fā)目的地建立實(shí)時(shí)交通數(shù)據(jù)發(fā)布/訂閱消息隊(duì)列，接收并緩存由通信服務(wù)器組21轉(zhuǎn)發(fā)的實(shí)時(shí)交通數(shù)據(jù)，向訂閱實(shí)時(shí)交通數(shù)據(jù)的不同的分發(fā)目的地進(jìn)行實(shí)時(shí)交通數(shù)據(jù)的分發(fā)。通過通信服務(wù)器組21與交通數(shù)據(jù)發(fā)布/訂閱器22之間的數(shù)據(jù)交互，能夠接收及分發(fā)來自大量前端交通監(jiān)測設(shè)備采集的數(shù)據(jù)。作為一種優(yōu)選方案，大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)20還可以包括計(jì)算機(jī)服務(wù)集群24和歷史交通數(shù)據(jù)存儲裝置23。其中，計(jì)算服務(wù)器集群24與交通數(shù)據(jù)發(fā)布/訂閱器22連接，用于并行執(zhí)行基于交通數(shù)據(jù)發(fā)布/訂閱器的實(shí)時(shí)交通數(shù)據(jù)及歷史交通數(shù)據(jù)存儲裝置24存儲的歷史交通數(shù)據(jù)的多個(gè)業(yè)務(wù)計(jì)算，每個(gè)業(yè)務(wù)計(jì)算以多線程并行計(jì)算的方式執(zhí)行。多個(gè)業(yè)務(wù)計(jì)算實(shí)現(xiàn)相應(yīng)的交通管理業(yè)務(wù)邏輯，如實(shí)時(shí)路況統(tǒng)計(jì)的計(jì)算、套牌車分析的計(jì)算等，計(jì)算結(jié)果將直接發(fā)送到相關(guān)的交通業(yè)務(wù)應(yīng)用系統(tǒng)中。歷史交通數(shù)據(jù)存儲裝置23與交通數(shù)據(jù)發(fā)布/訂閱器22連接，用于接收交通數(shù)據(jù)發(fā)布/訂閱器22的實(shí)時(shí)交通數(shù)據(jù)并集中進(jìn)行持久化存儲。
`
在該優(yōu)選方案中，交通數(shù)據(jù)發(fā)布/訂閱器22實(shí)現(xiàn)了通信服務(wù)器組21和計(jì)算服務(wù)器集群24及歷史交通數(shù)據(jù)存儲裝置23間的交通數(shù)據(jù)中轉(zhuǎn)傳輸，使得通信服務(wù)器組21不必考慮交通數(shù)據(jù)的多目的地分發(fā)問題，從而減輕其負(fù)擔(dān)；交通數(shù)據(jù)發(fā)布/訂閱器22同時(shí)負(fù)責(zé)交通數(shù)據(jù)的可靠傳遞，從而解決因網(wǎng)絡(luò)故障或計(jì)算服務(wù)器242或歷史交通數(shù)據(jù)存儲裝置23故障而不能按時(shí)接收數(shù)據(jù)的問題。計(jì)算服務(wù)器集群24以并行方式運(yùn)行基于實(shí)時(shí)交通數(shù)據(jù)及海量歷史交通數(shù)據(jù)的多個(gè)業(yè)務(wù)計(jì)算程序，從而實(shí)現(xiàn)大規(guī)模交通數(shù)據(jù)高速處理，并可通過增加計(jì)算服務(wù)器數(shù)量方式滿足新的交通業(yè)務(wù)計(jì)算需求以及適應(yīng)由于數(shù)據(jù)規(guī)模增大帶來的計(jì)算量增大的情況；歷史交通數(shù)據(jù)存儲裝置23可實(shí)現(xiàn)海量的結(jié)構(gòu)化數(shù)據(jù)和相關(guān)文件(如車輛圖片文件等)的管理并滿足計(jì)算服務(wù)器集群中業(yè)務(wù)計(jì)算程序?qū)v史交通數(shù)據(jù)的快速查詢及提取的需求。在一種實(shí)施方式中，通信服務(wù)器組21可以包括兩臺以上具有相同功能的通信服務(wù)器211，如圖2所示，每個(gè)通信服務(wù)器211可以包括連接管理器2111和數(shù)據(jù)收發(fā)器2112。其中，連接管理器2111用于監(jiān)聽前端監(jiān)測設(shè)備10的連接請求，建立長連接，并且將新建立的長連接分派給不同的數(shù)據(jù)收發(fā)器2112進(jìn)行處理。在一種實(shí)施方式中，連接管理器2111可以包括連接監(jiān)聽模塊、連接建立模塊和連接分派模塊。
連接監(jiān)聽模塊負(fù)責(zé)以非阻塞異步通知的方式監(jiān)聽前端監(jiān)測設(shè)備10的長連接請求；連接建立模塊負(fù)責(zé)接收連接請求和建立長連接；連接分派模塊負(fù)責(zé)根據(jù)數(shù)據(jù)收發(fā)器的已分派情況選取待分派的數(shù)據(jù)收發(fā)器，將新建立的連接分派給該數(shù)據(jù)收發(fā)器。數(shù)據(jù)收發(fā)器2112用于接收前端監(jiān)測設(shè)備10發(fā)送的實(shí)時(shí)交通數(shù)據(jù)，檢驗(yàn)接收到的實(shí)時(shí)交通數(shù)據(jù)的正確性，并從不同類型的實(shí)時(shí)交通數(shù)據(jù)中提取需要參與業(yè)務(wù)計(jì)算和持久化存儲的數(shù)據(jù)，重新組裝成交通數(shù)據(jù)包，轉(zhuǎn)發(fā)給交通數(shù)據(jù)發(fā)布/訂閱器22，同時(shí)組裝應(yīng)答數(shù)據(jù)包，發(fā)送給前端監(jiān)測設(shè)備10。在一種實(shí)施方式中，數(shù)據(jù)收發(fā)器2112可以包括連接接收模塊、數(shù)據(jù)接收模塊、數(shù)據(jù)轉(zhuǎn)發(fā)模塊和故障處理模塊。連接接收模塊負(fù)責(zé)接收連接管理器分派的與前端監(jiān)測設(shè)備的長連接；數(shù)據(jù)接收模塊負(fù)責(zé)接收和校驗(yàn)數(shù)據(jù)，從不同類型的交通數(shù)據(jù)中提取需要參與業(yè)務(wù)計(jì)算和持久化存儲的數(shù)據(jù)，重新組裝成交通數(shù)據(jù)包，并向前端監(jiān)測設(shè)備返回應(yīng)答信息；數(shù)據(jù)轉(zhuǎn)發(fā)模塊負(fù)責(zé)將交通數(shù)據(jù)包發(fā)送給交通數(shù)據(jù)發(fā)布/訂閱器；故障處理模塊負(fù)責(zé)對與前端監(jiān)測設(shè)備和交通數(shù)據(jù)發(fā)布/訂閱器的連接故障進(jìn)行處理，記錄日志，并進(jìn)行數(shù)據(jù)緩沖和重連重傳。在一種實(shí)施方式中，大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)20中的計(jì)算服務(wù)器集群24可以包括業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器241和業(yè)務(wù)計(jì)算服務(wù)器242，如圖3所示。其中，業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器242用于管理業(yè)務(wù)計(jì)算服務(wù)器242，接收及加載不同業(yè)務(wù)計(jì)算程序到業(yè)務(wù)計(jì)算服務(wù)器242并記錄加載日志，存儲業(yè)務(wù)計(jì)算程序文件，監(jiān)控業(yè)務(wù)計(jì)算程序的執(zhí)行狀態(tài)及其所在的并行計(jì)算節(jié)點(diǎn)的資源消耗情況，捕獲計(jì)算服務(wù)器的故障并加載業(yè)務(wù)計(jì)算程序到其他可用計(jì)算服務(wù)器，管理集群中計(jì)算服務(wù)器242的加入與退出。業(yè)務(wù)計(jì)算服務(wù)器242用于接收業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器241的用于部署及控制業(yè)務(wù)計(jì)算程序運(yùn)行狀態(tài)的控制指令 ，部署及控制業(yè)務(wù)計(jì)算程序運(yùn)行，接收來自交通數(shù)據(jù)發(fā)布/訂閱器22的實(shí)時(shí)交通數(shù)據(jù)以及從歷史交通數(shù)據(jù)存儲裝置23讀取的歷史交通數(shù)據(jù)，采用多線程并行處理方式運(yùn)行基于大規(guī)模交通數(shù)據(jù)的業(yè)務(wù)計(jì)算程序，向業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器241匯報(bào)業(yè)務(wù)計(jì)算程序的運(yùn)行狀態(tài)及所述業(yè)務(wù)計(jì)算服務(wù)器的資源占用情況。作為一種優(yōu)選方案，業(yè)務(wù)計(jì)算服務(wù)器242可以根據(jù)其CPU的核數(shù)來決定采用的多線程處理并行處理方式。作為一種實(shí)施方式，大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)20中的歷史交通數(shù)據(jù)存儲裝置23可以包括存儲服務(wù)器和磁盤陣列。其中，存儲服務(wù)器可以包括數(shù)據(jù)庫服務(wù)模塊和文件服務(wù)模塊。數(shù)據(jù)庫服務(wù)模塊采用數(shù)據(jù)庫軟件分區(qū)功能存儲實(shí)時(shí)交通數(shù)據(jù)中的海量結(jié)構(gòu)化交通數(shù)據(jù)并提供用于結(jié)構(gòu)化交通數(shù)據(jù)查詢與提取的第一應(yīng)用程序接口。文件服務(wù)模塊存儲實(shí)時(shí)交通數(shù)據(jù)包含的相關(guān)文件數(shù)據(jù)，并提供第二應(yīng)用程序接口用于文件查找。磁盤陣列用于持久化存儲交通數(shù)據(jù)。參見附圖4所示，為本發(fā)明的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法的一種實(shí)施方式的流程圖。該實(shí)施方式的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法包括:SlO:通信服務(wù)器組21通過網(wǎng)絡(luò)長連接并行地接收前端監(jiān)測設(shè)備10采集的實(shí)時(shí)交通數(shù)據(jù)，對接收到的實(shí)時(shí)交通數(shù)據(jù)進(jìn)行校驗(yàn)與解析，分揀不同類型實(shí)時(shí)交通數(shù)據(jù)并向交通數(shù)據(jù)發(fā)布/訂閱器22進(jìn)行轉(zhuǎn)發(fā)。
S20:交通數(shù)據(jù)發(fā)布/訂閱器22按照不同類型的實(shí)時(shí)交通數(shù)據(jù)以及不同的分發(fā)目的地建立實(shí)時(shí)交通數(shù)據(jù)發(fā)布/訂閱消息隊(duì)列，接收并緩存由通信服務(wù)器組21轉(zhuǎn)發(fā)的實(shí)時(shí)交通數(shù)據(jù)，向訂閱實(shí)時(shí)交通數(shù)據(jù)的不同的分發(fā)目的地進(jìn)行實(shí)時(shí)交通數(shù)據(jù)的分發(fā)。作為一種優(yōu)選方案，大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法還可以包括:S30:計(jì)算服務(wù)器集群24并行執(zhí)行基于交通數(shù)據(jù)發(fā)布/訂閱器的實(shí)時(shí)交通數(shù)據(jù)及歷史交通數(shù)據(jù)存儲裝置23存儲的歷史交通數(shù)據(jù)的多個(gè)業(yè)務(wù)計(jì)算，每個(gè)業(yè)務(wù)計(jì)算以多線程并行計(jì)算的方式執(zhí)行；S40:歷史交通數(shù)據(jù)存儲裝置23接收交通數(shù)據(jù)發(fā)布/訂閱器22的實(shí)時(shí)交通數(shù)據(jù)并集中進(jìn)行持久化存儲。參見圖5所示，作為一種實(shí)施方式，大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法中，步驟SlO可以具體包括:Sll:通信服務(wù)器組21中每個(gè)通信服務(wù)器211的連接管理器2111監(jiān)聽前端監(jiān)測設(shè)備10的連接請求，建立長連接，并且將新建立的長連接分派給不同的數(shù)據(jù)收發(fā)器2112進(jìn)行處理；S12:通信服務(wù)器組21中每個(gè)通信服務(wù)器211的數(shù)據(jù)收發(fā)器2112接收前端監(jiān)測設(shè)備10發(fā)送的實(shí)時(shí)交通數(shù)據(jù)，檢驗(yàn)接收到的實(shí)時(shí)交通數(shù)據(jù)的正確性，并從不同類型的實(shí)時(shí)交通數(shù)據(jù)中提取需要參與業(yè)務(wù)計(jì)算和持久化存儲的數(shù)據(jù)，重新組裝成交通數(shù)據(jù)包，轉(zhuǎn)發(fā)給交通數(shù)據(jù)發(fā)布/訂閱器22，同時(shí)組裝應(yīng)答數(shù)據(jù)包，發(fā)送給前端監(jiān)測設(shè)備10。

參見圖6所示，作為一種實(shí)施方式，大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法中，步驟S30可以具體包括:S31:業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器241管理業(yè)務(wù)計(jì)算服務(wù)器接收及加載不同業(yè)務(wù)計(jì)算程序到業(yè)務(wù)計(jì)算服務(wù)器242并記錄加載日志，存儲業(yè)務(wù)計(jì)算程序文件，監(jiān)控業(yè)務(wù)計(jì)算程序的執(zhí)行狀態(tài)及其所在的并行計(jì)算節(jié)點(diǎn)的資源消耗情況，捕獲計(jì)算服務(wù)器的故障并加載業(yè)務(wù)計(jì)算程序到其他可用的計(jì)算服務(wù)器，管理集群中計(jì)算服務(wù)器的加入與退出；S31:業(yè)務(wù)計(jì)算服務(wù)器242接收業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器241的用于部署及控制業(yè)務(wù)計(jì)算程序運(yùn)行狀態(tài)的控制指令，部署及控制業(yè)務(wù)計(jì)算程序運(yùn)行，接收來自交通數(shù)據(jù)發(fā)布/訂閱器22的實(shí)時(shí)交通數(shù)據(jù)以及從歷史交通數(shù)據(jù)存儲裝置23讀取歷史交通數(shù)據(jù)，采用多線程并行處理方式運(yùn)行基于大規(guī)模交通數(shù)據(jù)的業(yè)務(wù)計(jì)算程序，向業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器241匯報(bào)業(yè)務(wù)計(jì)算程序的運(yùn)行狀態(tài)及業(yè)務(wù)計(jì)算服務(wù)器242的資源占用情況。作為一種實(shí)施方式，大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法中的步驟S40還可以包括:S41:歷史交通數(shù)據(jù)存儲裝置23的存儲服務(wù)器中的數(shù)據(jù)庫服務(wù)模塊采用數(shù)據(jù)庫軟件分區(qū)功能存儲實(shí)時(shí)交通數(shù)據(jù)中的海量結(jié)構(gòu)化交通數(shù)據(jù)并提供用于結(jié)構(gòu)化交通數(shù)據(jù)查詢與提取的第一應(yīng)用程序接口 ；歷史交通數(shù)據(jù)存儲裝置的存儲服務(wù)器中的文件服務(wù)模塊存儲實(shí)時(shí)交通數(shù)據(jù)包含的相關(guān)文件數(shù)據(jù)，并提供第二應(yīng)用程序接口用于文件查找。例如，文件服務(wù)模塊可以采用合并存儲與多級索引方式來存儲實(shí)時(shí)交通數(shù)據(jù)包含的相關(guān)文件數(shù)據(jù)，并提供 REST (REpresentation State Transfer)形式的第二應(yīng)用程序接口。S42:歷史交通數(shù)據(jù)存儲裝置23的磁盤陣列持久化存儲交通數(shù)據(jù)。采用本發(fā)明的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)和大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法能夠產(chǎn)生如下的有益技術(shù)效果:( I)本發(fā)明能夠接收及分發(fā)來自大量前端交通監(jiān)測設(shè)備采集的數(shù)據(jù)，并支持對海量交通數(shù)據(jù)進(jìn)行實(shí)時(shí)處理及持久化存儲與訪問，滿足智能交通系統(tǒng)中交通數(shù)據(jù)中心在數(shù)據(jù)通信及數(shù)據(jù)處理方面的技術(shù)需求。(2)本發(fā)明能夠面向不同的交通業(yè)務(wù)計(jì)算需求，以并行處理方式進(jìn)行基于實(shí)時(shí)交通數(shù)據(jù)和歷史交通數(shù)據(jù)的多業(yè)務(wù)計(jì)算，從而促進(jìn)交通數(shù)據(jù)的共享，提高交通業(yè)務(wù)計(jì)算的處理性能并降低處理成本。(3)本發(fā)明能夠通過擴(kuò)展通信服務(wù)器和計(jì)算服務(wù)器的方式增強(qiáng)交通數(shù)據(jù)通信及實(shí)時(shí)處理能力，從而快速適應(yīng)交通監(jiān)測設(shè)備及交通數(shù)據(jù)種類及規(guī)模的不斷發(fā)展。上面對本發(fā)明的一些實(shí)施方式進(jìn)行了詳細(xì)的描述。如本領(lǐng)域的普通技術(shù)人員所能理解的，本發(fā)明的方法和裝置的全部或者任何步驟或者部件，可以在任何計(jì)算設(shè)備(包括處理器、存儲介質(zhì)等)或者計(jì)算設(shè)備的網(wǎng)絡(luò)中，以硬件、固件、軟件或者它們的組合加以實(shí)現(xiàn)，這是本領(lǐng)域普通技術(shù)人員在了解本發(fā)明的內(nèi)容的情況下運(yùn)用他們的基本編程技能就能實(shí)現(xiàn)的，因此不需在此具體說明。此外，顯而易見的是，在上面的說明中涉及到可能的外部操作的時(shí)候，無疑要使用與任何計(jì)算設(shè)備相連的任何顯示設(shè)備和任何輸入設(shè)備、相應(yīng)的接口和控制程序?？偠灾?，計(jì)算機(jī)、計(jì)算機(jī)系統(tǒng)或者計(jì)算機(jī)網(wǎng)絡(luò)中的相關(guān)硬件、軟件和實(shí)現(xiàn)本發(fā)明的前述方法中的各種操作的硬件、固件、軟件或者它們的組合，即構(gòu)成本發(fā)明的設(shè)備及其各組成部件。因此，基于上述理解，本發(fā)明的目的還可以通過在任何信息處理設(shè)備上運(yùn)行一個(gè)程序或者一組程序來實(shí)現(xiàn)。所述信息處理設(shè)備可以是公知的通用設(shè)備。因此，本發(fā)明的目的也可以僅僅通過提供包含實(shí)現(xiàn)所述方法或者設(shè)備的程序代碼的程序產(chǎn)品來實(shí)現(xiàn)。也就是說，這樣的程序產(chǎn) 品也構(gòu)成本發(fā)明，并且存儲或者傳輸這樣的程序產(chǎn)品的介質(zhì)也構(gòu)成本發(fā)明。顯然，所述存儲或者傳輸介質(zhì)可以是本領(lǐng)域技術(shù)人員已知的，或者將來所開發(fā)出來的任何類型的存儲或者傳輸介質(zhì)，因此也沒有必要在此對各種存儲或者傳輸介質(zhì)一一列舉。在本發(fā)明的設(shè)備和方法中，顯然，各部件或各步驟是可以分解、組合和/或分解后重新組合的。這些分解和/或重新組合應(yīng)視為本發(fā)明的等效方案。還需要指出的是，執(zhí)行上述系列處理的步驟可以自然地按照說明的順序按時(shí)間順序執(zhí)行，但是并不需要一定按照時(shí)間順序執(zhí)行。某些步驟可以并行或彼此獨(dú)立地執(zhí)行。同時(shí)，在上面對本發(fā)明具體實(shí)施例的描述中，針對一種實(shí)施方式描述和/或示出的特征可以以相同或類似的方式在一個(gè)或更多個(gè)其它實(shí)施方式中使用，與其它實(shí)施方式中的特征相組合，或替代其它實(shí)施方式中的特征。應(yīng)該強(qiáng)調(diào)，術(shù)語“包括/包含”在本文使用時(shí)指特征、要素、步驟或組件的存在，但并不排除一個(gè)或更多個(gè)其它特征、要素、步驟或組件的存在或附加。雖然已經(jīng)詳細(xì)說明了本發(fā)明及其優(yōu)點(diǎn)，但是應(yīng)當(dāng)理解在不超出由所附的權(quán)利要求所限定的本發(fā)明的精神和范圍的情況下可以進(jìn)行各種改變、替代和變換。而且，本申請的范圍不僅限于說明書所描述的過程、設(shè)備、手段、方法和步驟的具體實(shí)施例。本領(lǐng)域內(nèi)的普通技術(shù)人員從本發(fā)明的公開內(nèi)容將容易理解，根據(jù)本發(fā)明可以使用執(zhí)行與在此所述的相應(yīng)實(shí)施例基本相同的功能或者獲得與其基本相同的結(jié)果的、現(xiàn)有和將來要被開發(fā)的過程、設(shè)備、手段、方法或者步驟。因此，所附的權(quán)利要求旨在在它們的范圍內(nèi)包括這樣的過程、設(shè)備、手段、方法或者步驟。
權(quán)利要求
1.一種大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)，其特征在于，包括: 通信服務(wù)器組，用于通過網(wǎng)絡(luò)長連接并行地接收前端監(jiān)測設(shè)備采集的實(shí)時(shí)交通數(shù)據(jù)，對接收到的所述實(shí)時(shí)交通數(shù)據(jù)進(jìn)行校驗(yàn)與解析，分揀不同類型實(shí)時(shí)交通數(shù)據(jù)并向交通數(shù)據(jù)發(fā)布/訂閱器進(jìn)行轉(zhuǎn)發(fā)； 交通數(shù)據(jù)發(fā)布/訂閱器，與所述通信服務(wù)器組連接，用于按照不同類型的實(shí)時(shí)交通數(shù)據(jù)以及不同的分發(fā)目的地建立實(shí)時(shí)交通數(shù)據(jù)發(fā)布/訂閱消息隊(duì)列，接收并緩存由所述通信服務(wù)器組轉(zhuǎn)發(fā)的所述實(shí)時(shí)交通數(shù)據(jù)，向訂閱所述實(shí)時(shí)交通數(shù)據(jù)的不同的所述分發(fā)目的地進(jìn)行所述實(shí)時(shí)交通數(shù)據(jù)的分發(fā)。
2.根據(jù)權(quán)利要求1所述的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)，其特征在于，還包括計(jì)算機(jī)服務(wù)集群和歷史交通數(shù)據(jù)存儲裝置，其中: 所述計(jì)算服務(wù)器集群與所述交通數(shù)據(jù)發(fā)布/訂閱器連接，用于并行執(zhí)行基于交通數(shù)據(jù)發(fā)布/訂閱器的所述實(shí)時(shí)交通數(shù)據(jù)及所述歷史交通數(shù)據(jù)存儲裝置存儲的歷史交通數(shù)據(jù)的多個(gè)業(yè)務(wù)計(jì)算，每個(gè)所述業(yè)務(wù)計(jì)算以多線程并行計(jì)算的方式執(zhí)行； 所述歷史交通數(shù)據(jù)存儲裝置與所述交通數(shù)據(jù)發(fā)布/訂閱器連接，用于接收交通數(shù)據(jù)發(fā)布/訂閱器的所 述實(shí)時(shí)交通數(shù)據(jù)并集中進(jìn)行持久化存儲。
3.根據(jù)權(quán)利要求1所述的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)，其特征在于: 所述通信服務(wù)器組包括兩臺以上具有相同功能的通信服務(wù)器，每個(gè)所述通信服務(wù)器包括: 連接管理器，用于監(jiān)聽所述前端監(jiān)測設(shè)備的連接請求，建立長連接，并且將新建立的長連接分派給不同的數(shù)據(jù)收發(fā)器進(jìn)行處理； 數(shù)據(jù)收發(fā)器，用于接收所述前端監(jiān)測設(shè)備發(fā)送的實(shí)時(shí)交通數(shù)據(jù)，檢驗(yàn)接收到的所述實(shí)時(shí)交通數(shù)據(jù)的正確性，并從不同類型的所述實(shí)時(shí)交通數(shù)據(jù)中提取需要參與業(yè)務(wù)計(jì)算和持久化存儲的數(shù)據(jù)，重新組裝成交通數(shù)據(jù)包，轉(zhuǎn)發(fā)給所述交通數(shù)據(jù)發(fā)布/訂閱器，同時(shí)組裝應(yīng)答數(shù)據(jù)包，發(fā)送給所述前端監(jiān)測設(shè)備。
4.根據(jù)權(quán)利要求2所述的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)，其特征在于，所述計(jì)算服務(wù)器集群包括業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器和業(yè)務(wù)計(jì)算服務(wù)器， 其中: 所述業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器用于管理所述業(yè)務(wù)計(jì)算服務(wù)器，接收及加載不同業(yè)務(wù)計(jì)算程序到所述業(yè)務(wù)計(jì)算服務(wù)器并記錄加載日志，存儲業(yè)務(wù)計(jì)算程序文件，監(jiān)控業(yè)務(wù)計(jì)算程序的執(zhí)行狀態(tài)及其所在的并行計(jì)算節(jié)點(diǎn)的資源消耗情況，捕獲計(jì)算服務(wù)器的故障并加載業(yè)務(wù)計(jì)算程序到其他可用計(jì)算服務(wù)器，管理集群中計(jì)算服務(wù)器的加入與退出； 所述業(yè)務(wù)計(jì)算服務(wù)器用于接收所述業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器用于部署及控制業(yè)務(wù)計(jì)算程序運(yùn)行狀態(tài)的控制指令，部署及控制業(yè)務(wù)計(jì)算程序運(yùn)行，接收來自交通數(shù)據(jù)發(fā)布/訂閱器的實(shí)時(shí)交通數(shù)據(jù)以及從歷史交通數(shù)據(jù)存儲裝置讀取的歷史交通數(shù)據(jù)，采用多線程并行處理方式運(yùn)行基于大規(guī)模交通數(shù)據(jù)的業(yè)務(wù)計(jì)算程序，向所述業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器匯報(bào)業(yè)務(wù)計(jì)算程序的運(yùn)行狀態(tài)及所述業(yè)務(wù)計(jì)算服務(wù)器的資源占用情況。
5.根據(jù)權(quán)利要求2所述的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)，其特征在于，所述歷史交通數(shù)據(jù)存儲裝置包括: 存儲服務(wù)器，包括數(shù)據(jù)庫服務(wù)模塊和文件服務(wù)模塊；所述數(shù)據(jù)庫服務(wù)模塊采用數(shù)據(jù)庫軟件分區(qū)功能存儲所述實(shí)時(shí)交通數(shù)據(jù)中的海量結(jié)構(gòu)化交通數(shù)據(jù)并提供用于結(jié)構(gòu)化交通數(shù)據(jù)查詢與提取的第一應(yīng)用程序接口； 所述文件服務(wù)模塊存儲所述實(shí)時(shí)交通數(shù)據(jù)包含的相關(guān)文件數(shù)據(jù)，并提供用于文件查找的第二應(yīng)用程序接口； 磁盤陣列，用于持久化存儲交通數(shù)據(jù)。
6.一種大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法，其特征在于，包括: 通信服務(wù)器組通過網(wǎng)絡(luò)長連接并行地接收前端監(jiān)測設(shè)備采集的實(shí)時(shí)交通數(shù)據(jù)，對接收到的所述實(shí)時(shí)交通數(shù)據(jù)進(jìn)行校驗(yàn)與解析，分揀不同類型實(shí)時(shí)交通數(shù)據(jù)并向交通數(shù)據(jù)發(fā)布/訂閱器進(jìn)行轉(zhuǎn)發(fā)； 交通數(shù)據(jù)發(fā)布/訂閱器按照不同類型的實(shí)時(shí)交通數(shù)據(jù)以及不同的分發(fā)目的地建立實(shí)時(shí)交通數(shù)據(jù)發(fā)布/訂閱消息隊(duì)列，接收并緩存由所述通信服務(wù)器組轉(zhuǎn)發(fā)的所述實(shí)時(shí)交通數(shù)據(jù)，向訂閱所述實(shí)時(shí)交通數(shù)據(jù)的不同的所述分發(fā)目的地進(jìn)行所述實(shí)時(shí)交通數(shù)據(jù)的分發(fā)。
7.根據(jù)權(quán)利要求6所述的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法，其特征在于，還包括: 計(jì)算服務(wù)器集群并行執(zhí)行基于交通數(shù)據(jù)發(fā)布/訂閱器的所述實(shí)時(shí)交通數(shù)據(jù)及歷史交通數(shù)據(jù)存儲裝置存儲的歷史交通數(shù)據(jù)的多個(gè)業(yè)務(wù)計(jì)算，每個(gè)所述業(yè)務(wù)計(jì)算以多線程并行計(jì)算的方式執(zhí)行； 歷史交通數(shù)據(jù)存儲裝置接收交通數(shù)據(jù)發(fā)布/訂閱器的所述實(shí)時(shí)交通數(shù)據(jù)并集中進(jìn)行持久化存儲。
8.根據(jù)權(quán)利要求6所述的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法，其特征在于: 通信服務(wù)器組通過網(wǎng)絡(luò)長連接并行地接收前端監(jiān)測設(shè)備采集的實(shí)時(shí)交通數(shù)據(jù)，對接收到的所述實(shí)時(shí)交通數(shù)據(jù)進(jìn)行校驗(yàn)與解析，分揀不同類型實(shí)時(shí)交通數(shù)據(jù)并向交通數(shù)據(jù)發(fā)布/訂閱器進(jìn)行轉(zhuǎn)發(fā)具體包括: 通信服務(wù)器組中每個(gè)通信服務(wù)器的連接管理器監(jiān)聽所述前端監(jiān)測設(shè)備的連接請求，建立長連接，并且將新建立的長連接分派給不同的數(shù)據(jù)收發(fā)器進(jìn)行處理； 通信服務(wù)器組中每個(gè)通信服務(wù)器的數(shù)據(jù)收發(fā)器接收所述前端監(jiān)測設(shè)備發(fā)送的實(shí)時(shí)交通數(shù)據(jù)，檢驗(yàn)接收到的所述實(shí)時(shí)交通數(shù)據(jù)的正確性，并從不同類型的所述實(shí)時(shí)交通數(shù)據(jù)中提取需要參與業(yè)務(wù)計(jì)算和持久化存儲的數(shù)據(jù)，重新組裝成交通數(shù)據(jù)包，轉(zhuǎn)發(fā)給所述交通數(shù)據(jù)發(fā)布/訂閱器，同時(shí)組裝應(yīng)答數(shù)據(jù)包，發(fā)送給所述前端監(jiān)測設(shè)備。
9.根據(jù)權(quán)利要求7所述的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法，其特征在于，計(jì)算服務(wù)器集群并行執(zhí)行基于所述實(shí)時(shí)交通數(shù)據(jù)及所述歷史交通數(shù)據(jù)存儲裝置存儲的歷史交通數(shù)據(jù)的多個(gè)業(yè)務(wù)計(jì)算的步驟具體包括: 業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器管理業(yè)務(wù)計(jì)算服務(wù)器，接收及加載不同業(yè)務(wù)計(jì)算程序到業(yè)務(wù)計(jì)算服務(wù)器并記錄加載日志，存儲業(yè)務(wù)計(jì)算程序文件，監(jiān)控業(yè)務(wù)計(jì)算程序的執(zhí)行狀態(tài)及其所在的并行計(jì)算節(jié)點(diǎn)的資源消耗情況，捕獲計(jì)算服務(wù)器的故障并加載業(yè)務(wù)計(jì)算程序到其他可用計(jì)算服務(wù)器，管理集群中計(jì)算服務(wù)器的加入與退出； 業(yè)務(wù)計(jì)算服務(wù)器接收所述業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器用于部署及控制業(yè)務(wù)計(jì)算程序運(yùn)行狀態(tài)的控制指令，接收來自交通數(shù)據(jù)發(fā)布/訂閱器的實(shí)時(shí)交通數(shù)據(jù)以及從歷史交通數(shù)據(jù)存儲裝置讀取的歷史交通數(shù)據(jù)，采用多線程并行處理方式運(yùn)行業(yè)務(wù)計(jì)算程序，向業(yè)務(wù)計(jì)算管理調(diào)度服務(wù)器匯報(bào)業(yè)務(wù)計(jì)算程序的運(yùn)行狀態(tài)及所述業(yè)務(wù)計(jì)算服務(wù)器的資源占用情況。
10.根據(jù)權(quán)利要求7所述的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法，其特征在于，歷史交通數(shù)據(jù)存儲裝置接收交通數(shù)據(jù)發(fā)布/訂閱器的所述實(shí)時(shí)交通數(shù)據(jù)并集中進(jìn)行持久化存儲的步驟具體包括: 歷史交通數(shù)據(jù)存儲裝置的存儲服務(wù)器中的數(shù)據(jù)庫服務(wù)模塊采用數(shù)據(jù)庫軟件分區(qū)功能存儲所述實(shí)時(shí)交通數(shù)據(jù)中的海量結(jié)構(gòu)化交通數(shù)據(jù)并提供用于結(jié)構(gòu)化交通數(shù)據(jù)查詢與提取的第一應(yīng)用程序接口，歷史交通數(shù)據(jù)存儲裝置的存儲服務(wù)器中的文件服務(wù)模塊提供用于文件查找的第二應(yīng)用程序接口； 歷史交通數(shù)據(jù)存儲 裝置的磁盤陣列持久化存儲交通數(shù)據(jù)。
全文摘要
本發(fā)明涉及一種大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)和大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理方法。其中，大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)包括通信服務(wù)器組，用于接收前端監(jiān)測設(shè)備采集的實(shí)時(shí)交通數(shù)據(jù)，對接收到的實(shí)時(shí)交通數(shù)據(jù)進(jìn)行校驗(yàn)與解析，分揀不同類型實(shí)時(shí)交通數(shù)據(jù)并向交通數(shù)據(jù)發(fā)布/訂閱器進(jìn)行轉(zhuǎn)發(fā)；交通數(shù)據(jù)發(fā)布/訂閱器，用于建立實(shí)時(shí)交通數(shù)據(jù)發(fā)布/訂閱消息隊(duì)列，接收并緩存由通信服務(wù)器組轉(zhuǎn)發(fā)的實(shí)時(shí)交通數(shù)據(jù)，向訂閱實(shí)時(shí)交通數(shù)據(jù)的不同的分發(fā)目的地進(jìn)行實(shí)時(shí)交通數(shù)據(jù)的分發(fā)。本發(fā)明的大規(guī)模實(shí)時(shí)交通數(shù)據(jù)的并行處理系統(tǒng)和處理方法能，能夠增強(qiáng)交通數(shù)據(jù)實(shí)時(shí)采集及海量交通數(shù)據(jù)處理的能力，同時(shí)滿足交通業(yè)務(wù)發(fā)展下的擴(kuò)展性需求。
文檔編號G08G1/01GK103237045SQ20131005720
公開日2013年8月7日 申請日期2013年2月22日 優(yōu)先權(quán)日2013年2月22日
發(fā)明者趙卓峰, 王菁, 房俊, 韓燕波 申請人:北方工業(yè)大學(xué)