一種基于實(shí)時(shí)地理位置數(shù)據(jù)流處理方法
【專利摘要】本發(fā)明涉及交通信息【技術(shù)領(lǐng)域】，提供了一種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理方法，實(shí)現(xiàn)了對(duì)實(shí)時(shí)交通數(shù)據(jù)的大規(guī)模可靠的實(shí)時(shí)計(jì)算處理，包括：以一個(gè)包含了多個(gè)邏輯處理節(jié)點(diǎn)的特定拓?fù)浣Y(jié)構(gòu)來(lái)表示處理框架，實(shí)時(shí)數(shù)據(jù)流將會(huì)在該拓?fù)浣Y(jié)構(gòu)中以特定的方法流經(jīng)各個(gè)邏輯處理節(jié)點(diǎn)，各個(gè)邏輯處理節(jié)點(diǎn)包含了數(shù)據(jù)流接收節(jié)點(diǎn)、數(shù)據(jù)流解析節(jié)點(diǎn)、數(shù)據(jù)修正節(jié)點(diǎn)、數(shù)據(jù)一致性保證節(jié)點(diǎn)、數(shù)據(jù)計(jì)算與寫入節(jié)點(diǎn)。本發(fā)明還提供了一種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理系統(tǒng)。本發(fā)明能夠?qū)崟r(shí)地清洗、修正、計(jì)算處理大量的實(shí)時(shí)地理位置數(shù)據(jù)，保證了數(shù)據(jù)結(jié)果的時(shí)效性，而且保證了數(shù)據(jù)計(jì)算的可靠性、數(shù)據(jù)一致性、和計(jì)算規(guī)模的可擴(kuò)展性。
【專利說(shuō)明】—種基于實(shí)時(shí)地理位置數(shù)據(jù)流處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及實(shí)時(shí)交通【技術(shù)領(lǐng)域】，特別是涉及一種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理方法及系統(tǒng)。
【背景技術(shù)】
[0002]近年來(lái)城市機(jī)動(dòng)車的數(shù)量急速增長(zhǎng)，引發(fā)了許多諸如堵車、停車難、打車難等嚴(yán)重影響老百姓出行質(zhì)量的問(wèn)題。同時(shí)城市的交通網(wǎng)絡(luò)也日趨復(fù)雜，對(duì)一個(gè)完善的管理系統(tǒng)的要求越來(lái)越高。在未來(lái)構(gòu)建智能城市的藍(lán)圖中，智能交通可謂是重中之重。大數(shù)據(jù)時(shí)代的到來(lái)為智能交通的建立提供了一個(gè)契機(jī)，然而數(shù)據(jù)量的爆炸性增長(zhǎng)，如何高效地處理這些數(shù)據(jù)成為了一個(gè)急需解決的問(wèn)題，其中一個(gè)思路就是在數(shù)據(jù)產(chǎn)生時(shí)實(shí)時(shí)處理這些數(shù)據(jù)，一方面減少后期計(jì)算的壓力，一方面又可以提供高時(shí)效性的數(shù)據(jù)服務(wù)。
[0003]實(shí)時(shí)交通數(shù)據(jù)主要有一下特點(diǎn):(1)數(shù)據(jù)的維度大，不但包含了 GPS載體的位置坐標(biāo)信息，而且還包含了載體的狀態(tài)信息，如當(dāng)前到達(dá)的位置名稱、實(shí)時(shí)速度、實(shí)時(shí)海拔高度、載體設(shè)備的狀態(tài)等等，因此要求處理框架能夠識(shí)別并且支持各個(gè)維度的數(shù)據(jù)的計(jì)算。(2)數(shù)據(jù)量大，由于GPS載體的多樣性，包含了公交車、出租車、物流車、私家車、個(gè)人手機(jī)等等,并且GPS載體的數(shù)量巨大，因此每秒產(chǎn)生的數(shù)據(jù)量極其巨大，因此要求處理框架能夠可規(guī)?；瘮U(kuò)展以承擔(dān)海量實(shí)時(shí)數(shù)據(jù)的分發(fā)和計(jì)算。(3)異常數(shù)據(jù)多，GPS設(shè)備種類眾多，受到衛(wèi)星定位的精度，定位設(shè)備的限制，網(wǎng)絡(luò)信號(hào)等多種客觀并且不可預(yù)知的因素的影響，導(dǎo)致數(shù)據(jù)中存在大量不可預(yù)知的數(shù)據(jù)，因此要求處理框架能夠?qū)崟r(shí)高效地清洗或者修正這些異常數(shù)據(jù)。
[0004]現(xiàn)有最常用的技術(shù)把接收的數(shù)據(jù)保存在存儲(chǔ)介質(zhì)中，由后臺(tái)處理單元在固定的時(shí)間間隔進(jìn)行批量處理計(jì)算。
[0005]由于現(xiàn)有的常用技術(shù)使用批量處理實(shí)時(shí)接收到的數(shù)據(jù)，無(wú)法保證時(shí)效性，可靠性、數(shù)據(jù)一致性、和計(jì)算規(guī)模的可擴(kuò)展性。

【發(fā)明內(nèi)容】

[0006]本發(fā)明采用一種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理方法，實(shí)現(xiàn)了對(duì)實(shí)施交通數(shù)據(jù)的大規(guī)?？煽康膶?shí)時(shí)計(jì)算處理，保證了數(shù)據(jù)的可靠性，一致性和計(jì)算規(guī)模的可擴(kuò)展性。
[0007]本發(fā)明采用如下方案:
[0008]一種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理方法，包括:
[0009]獲取實(shí)時(shí)地理位置數(shù)據(jù)；
[0010]對(duì)所述數(shù)據(jù)進(jìn)行解析；
[0011]對(duì)解析后得到的異常數(shù)據(jù)進(jìn)行修正；
[0012]對(duì)解析后得到的正確數(shù)據(jù)和通過(guò)修正異常數(shù)據(jù)后得到的正確數(shù)據(jù)進(jìn)行一致性操作；[0013]對(duì)一致性操作后得到的數(shù)據(jù)進(jìn)行計(jì)算；
[0014]將經(jīng)過(guò)計(jì)算得到的數(shù)據(jù)寫入數(shù)據(jù)庫(kù)。
[0015]優(yōu)選地，所述獲取的實(shí)時(shí)地理位置數(shù)據(jù)為二進(jìn)制數(shù)據(jù)，可以通過(guò)網(wǎng)絡(luò)socket讀入，也可以是數(shù)據(jù)存儲(chǔ)介質(zhì)中的文件讀入。
[0016]優(yōu)選地，在所述對(duì)所述數(shù)據(jù)進(jìn)行解析的步驟中，將所述獲取到的每份實(shí)時(shí)地理位置數(shù)據(jù)解析成為獨(dú)立的字段。
[0017]優(yōu)選地，在所述對(duì)解析后得到的數(shù)據(jù)進(jìn)行修正的步驟中，忽略無(wú)異常的數(shù)據(jù)記錄，只處理異常的數(shù)據(jù)記錄。
[0018]優(yōu)選地，所述數(shù)據(jù)獲取，數(shù)據(jù)解析，數(shù)據(jù)修正，數(shù)據(jù)計(jì)算，數(shù)據(jù)寫入，按shufflegrouping機(jī)制和field grouping機(jī)制在當(dāng)前步驟的多個(gè)線程和進(jìn)程中進(jìn)行分發(fā),數(shù)據(jù)在各個(gè)線程和進(jìn)程獨(dú)立地進(jìn)行計(jì)算處理。
[0019]優(yōu)選地,所述數(shù)據(jù)在各個(gè)線程或進(jìn)程之間的分發(fā)機(jī)制包含shuffle grouping機(jī)制和 field grouping 機(jī)制。
[0020]一種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理系統(tǒng)，其特征在于:所述系統(tǒng)包括數(shù)據(jù)獲取模塊，數(shù)據(jù)解析模塊，數(shù)據(jù)修正模塊，數(shù)據(jù)一致性保證模塊，數(shù)據(jù)計(jì)算模塊和數(shù)據(jù)寫入模塊；其特征在于，所述系統(tǒng)采用權(quán)利要求1?6任一項(xiàng)所述的方法進(jìn)行數(shù)據(jù)流處理。
[0021]本發(fā)明公開(kāi)的一種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理方法及系統(tǒng)，通過(guò)數(shù)據(jù)獲取，數(shù)據(jù)解析，數(shù)據(jù)修正，數(shù)據(jù)一致性操作，數(shù)據(jù)計(jì)算和數(shù)據(jù)寫入，能實(shí)現(xiàn)對(duì)實(shí)時(shí)交通數(shù)據(jù)的大規(guī)?？煽康膶?shí)時(shí)計(jì)算處理。保證了數(shù)據(jù)的可靠性，一致性和計(jì)算規(guī)模的可擴(kuò)展性。
【專利附圖】

【附圖說(shuō)明】
[0022]圖1為本發(fā)明實(shí)施例1 一種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理方法；
[0023]圖2為本發(fā)明實(shí)施例2 —種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理系統(tǒng)。
【具體實(shí)施方式】
[0024]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0025]本發(fā)明實(shí)施例提供了一種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理方法，其特征在于，包括:
[0026]獲取實(shí)時(shí)地理位置數(shù)據(jù)；
[0027]對(duì)所述數(shù)據(jù)進(jìn)行解析；
[0028]對(duì)解析后得到的異常數(shù)據(jù)進(jìn)行修正；
[0029]對(duì)解析后得到的正確數(shù)據(jù)和通過(guò)修正異常數(shù)據(jù)后得到的正確數(shù)據(jù)進(jìn)行一致性操作；
[0030]對(duì)一致性操作后得到的數(shù)據(jù)進(jìn)行計(jì)算；
[0031 ] 將經(jīng)過(guò)計(jì)算得到的數(shù)據(jù)寫入數(shù)據(jù)庫(kù)。
[0032]本發(fā)明實(shí)施例還提供了一種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理系統(tǒng)，所述系統(tǒng)包括數(shù)據(jù)獲取模塊，數(shù)據(jù)解析模塊，數(shù)據(jù)修正模塊，數(shù)據(jù)一致性保證模塊，數(shù)據(jù)計(jì)算模塊和數(shù)據(jù)寫入模塊，所述系統(tǒng)采用前述的方法進(jìn)行數(shù)據(jù)流處理。
[0033]本發(fā)明實(shí)施例通過(guò)數(shù)據(jù)獲取，數(shù)據(jù)解析，數(shù)據(jù)修正，數(shù)據(jù)一致性保證，數(shù)據(jù)計(jì)算模塊和數(shù)據(jù)寫入，能實(shí)現(xiàn)對(duì)實(shí)時(shí)交通數(shù)據(jù)的大規(guī)模可靠的實(shí)時(shí)計(jì)算處理。且能夠保證實(shí)時(shí)性、一致性、可靠性和計(jì)算規(guī)模的可擴(kuò)展性。
[0034]下面對(duì)本發(fā)明進(jìn)行詳細(xì)闡述。
[0035]實(shí)施例1:
[0036]請(qǐng)參閱圖1所示，為本發(fā)明一種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理方法流程圖。該方法包括下述步驟:
[0037]步驟S1:獲取實(shí)時(shí)地理位置數(shù)據(jù)。
[0038]該步驟獲取實(shí)時(shí)地理位置數(shù)據(jù)。為了更好地保證數(shù)據(jù)接收的同步性和一致性，該步驟只用一個(gè)進(jìn)程來(lái)執(zhí)行。數(shù)據(jù)接收模塊把數(shù)據(jù)流按每個(gè)數(shù)據(jù)記錄的大小進(jìn)行劃分，然后每個(gè)數(shù)據(jù)記錄的原始二進(jìn)制數(shù)據(jù)獨(dú)立地發(fā)送到下個(gè)步驟。該步驟的數(shù)據(jù)在進(jìn)程中的分發(fā)機(jī)制包含 shuffle grouping 機(jī)制和 field grouping 機(jī)制。
[0039]步驟S2:對(duì)獲取所述數(shù)據(jù)進(jìn)行解析。
[0040]該步驟對(duì)步驟SI中發(fā)送的二進(jìn)制數(shù)據(jù)進(jìn)行解析，由多個(gè)進(jìn)程來(lái)執(zhí)行，將原始數(shù)據(jù)為一串二進(jìn)制編碼的數(shù)據(jù)，解析成為獨(dú)立的字段，該步驟的數(shù)據(jù)在進(jìn)程中的分發(fā)機(jī)制采用shuffle grouping 機(jī)制。
[0041]步驟S3:對(duì)所述解析后得到的數(shù)據(jù)進(jìn)行清洗，異常數(shù)據(jù)進(jìn)行修正。
[0042]該步驟對(duì)步驟S2發(fā)送的數(shù)據(jù)進(jìn)行記錄，忽略無(wú)異常的數(shù)據(jù)記錄，只處理異常的數(shù)據(jù)記錄，該步驟基于靜態(tài)數(shù)據(jù)和歷史數(shù)據(jù)，根據(jù)一類特定的數(shù)據(jù)記錄，通過(guò)不同的計(jì)算方法修正異常數(shù)據(jù)。該步驟中相同屬性的數(shù)據(jù)記錄被同一個(gè)進(jìn)程接受處理，該步驟使用FieldsGrouping機(jī)制進(jìn)行分發(fā)所接收到的數(shù)據(jù)。
[0043]步驟S4:對(duì)所述解析后得到的正確數(shù)據(jù)和通過(guò)清洗、修正異常數(shù)據(jù)后得到的正確數(shù)據(jù)進(jìn)行一致性操作。
[0044]該步驟對(duì)步驟S2及步驟S3發(fā)出的數(shù)據(jù)進(jìn)行數(shù)據(jù)一致性操作。由于數(shù)據(jù)修正只接收異常數(shù)據(jù)記錄而忽略無(wú)異常的數(shù)據(jù)記錄，導(dǎo)致數(shù)據(jù)在經(jīng)過(guò)了數(shù)據(jù)解析及數(shù)據(jù)修正后數(shù)據(jù)順序不正確。數(shù)據(jù)一致性操作將按照具有特定屬性數(shù)據(jù)的記錄對(duì)順序不正確的數(shù)據(jù)進(jìn)行調(diào)整。該步驟中，具有特定屬性數(shù)據(jù)記錄被分發(fā)到同一個(gè)進(jìn)程，該步驟使用Fields Grouping機(jī)制分發(fā)所接收到的數(shù)據(jù)。數(shù)據(jù)一致性操作可以是如下操作:例如在出租車實(shí)時(shí)位置應(yīng)用中，檢查timestamp是否小于已經(jīng)接收到的該car_id數(shù)據(jù)的最新timestamp,如果是,貝Ij表明該位置數(shù)據(jù)已經(jīng)過(guò)期，可以去掉，或者做其他處理。
[0045]步驟S5:對(duì)所述一致性操作后得到的數(shù)據(jù)進(jìn)行計(jì)算。
[0046]該步驟對(duì)步驟S4發(fā)送的數(shù)據(jù)執(zhí)行計(jì)算。該步驟的數(shù)據(jù)在進(jìn)程中的分發(fā)機(jī)制采用shuffle grouping機(jī)制。計(jì)算方式根據(jù)不同的應(yīng)用而不同:例如在出租車實(shí)時(shí)位置的應(yīng)用中，可以根據(jù)數(shù)據(jù)中的GPS坐標(biāo)點(diǎn)(lat, 1n),結(jié)合靜態(tài)數(shù)據(jù)(如GIS道路數(shù)據(jù))，計(jì)算得到該出租車所處的道路名稱等等；或者，在實(shí)時(shí)公交應(yīng)用中，根據(jù)數(shù)據(jù)的GPS坐標(biāo)點(diǎn)(lat，1n),計(jì)算得到該公交車是否到站，是否離站，或者位于公交線路的哪個(gè)區(qū)間，等等。
[0047]步驟S6:對(duì)所述經(jīng)過(guò)計(jì)算后得到的數(shù)據(jù)寫入數(shù)據(jù)庫(kù)。[0048]該步驟將步驟S5發(fā)出的數(shù)據(jù)寫入數(shù)據(jù)庫(kù)。
[0049]實(shí)施例2:
[0050]本實(shí)施例提供了一種基于分布式的實(shí)時(shí)地理位置數(shù)據(jù)流處理系統(tǒng)。請(qǐng)參閱圖2所示，為用戶操作本發(fā)明實(shí)施例3 —種基于分布式的實(shí)時(shí)地理位置數(shù)據(jù)流處理系統(tǒng)示意圖。實(shí)施例3提供的該系統(tǒng)用于實(shí)現(xiàn)各個(gè)模塊對(duì)數(shù)據(jù)流的處理，系統(tǒng)包括數(shù)據(jù)獲取模塊，數(shù)據(jù)解析模塊，數(shù)據(jù)修正模塊，數(shù)據(jù)一致性保證模塊，數(shù)據(jù)計(jì)算模塊和數(shù)據(jù)寫入模塊，該系統(tǒng)采用實(shí)施例1的方法進(jìn)行人機(jī)交互。
[0051]步驟S1:數(shù)據(jù)獲取模塊獲取實(shí)時(shí)地理位置數(shù)據(jù)。
[0052]該步驟通過(guò)數(shù)據(jù)獲取模塊獲取實(shí)時(shí)地理位置數(shù)據(jù)。為了更好地保證數(shù)據(jù)接收的同步性和一致性，該步驟只用一個(gè)進(jìn)程來(lái)執(zhí)行。數(shù)據(jù)接收模塊把數(shù)據(jù)流按每個(gè)數(shù)據(jù)記錄的大小進(jìn)行劃分，然后每個(gè)數(shù)據(jù)記錄的原始二進(jìn)制數(shù)據(jù)獨(dú)立地發(fā)送給數(shù)據(jù)解析模塊。該步驟的數(shù)據(jù)在進(jìn)程中的的分發(fā)機(jī)制包含shuffle grouping機(jī)制和field grouping機(jī)制。
[0053]步驟S2:數(shù)據(jù)解析模塊對(duì)獲取所述數(shù)據(jù)進(jìn)行解析。
[0054]該步驟通過(guò)數(shù)據(jù)解析模塊對(duì)數(shù)據(jù)獲取模塊發(fā)送的原始二進(jìn)制數(shù)據(jù)進(jìn)行解析，由多個(gè)進(jìn)程來(lái)執(zhí)行，解析為一個(gè)獨(dú)立的數(shù)據(jù)記錄，該步驟的數(shù)據(jù)在進(jìn)程中的的分發(fā)機(jī)制采用shuffle grouping 機(jī)制。
[0055]步驟S3:數(shù)據(jù)修正模塊對(duì)所述解析后得到的異常數(shù)據(jù)進(jìn)行修正。
[0056]該步驟通過(guò)數(shù)據(jù)修正模塊對(duì)數(shù)據(jù)解析模塊輸出的已經(jīng)解析完畢的數(shù)據(jù)進(jìn)行記錄。數(shù)據(jù)修正模塊忽略無(wú)異常的數(shù)據(jù)記錄，只處理異常的數(shù)據(jù)記錄，數(shù)據(jù)修正模塊基于靜態(tài)數(shù)據(jù)和歷史數(shù)據(jù)，根據(jù)一類特定的數(shù)據(jù)記錄，通過(guò)不同的計(jì)算方法修正異常數(shù)據(jù)。該步驟中相同屬性的數(shù)據(jù)記錄被同一個(gè)進(jìn)程接受處理，該步驟使用Fields Grouping機(jī)制進(jìn)行分發(fā)所接收到的數(shù)據(jù)。
[0057]步驟S4:數(shù)據(jù)一致性操作模塊對(duì)所述解析后得到的正確數(shù)據(jù)和通過(guò)修正異常數(shù)據(jù)后得到的正確數(shù)據(jù)進(jìn)行一致性操作。
[0058]該步驟通過(guò)數(shù)據(jù)一致性保證模塊接收數(shù)據(jù)解析模塊輸出的已經(jīng)解析完畢的數(shù)據(jù)記錄中無(wú)異常的數(shù)據(jù)記錄及數(shù)據(jù)修正模塊修正后得到的無(wú)異常數(shù)據(jù)記錄。由于數(shù)據(jù)修正模塊只接受異常數(shù)據(jù)記錄而忽略無(wú)異常的數(shù)據(jù)記錄，導(dǎo)致數(shù)據(jù)在經(jīng)過(guò)了解析模塊和修正模塊后數(shù)據(jù)順序不正確。數(shù)據(jù)一致性保證模塊將具有特定屬性數(shù)據(jù)記錄對(duì)順序不正確的數(shù)據(jù)通過(guò)具有特定屬性數(shù)據(jù)記錄的順序進(jìn)行調(diào)整。該步驟中，具有特定屬性數(shù)據(jù)記錄被分發(fā)到同一個(gè)進(jìn)程，該步驟使用Fields Grouping機(jī)制分發(fā)所接收到的數(shù)據(jù)。
[0059]步驟S5:數(shù)據(jù)計(jì)算模塊對(duì)所述一致性操作后得到的數(shù)據(jù)進(jìn)行計(jì)算。
[0060]該步驟通過(guò)數(shù)據(jù)計(jì)算模塊接收數(shù)據(jù)一致性保證模塊發(fā)送的數(shù)據(jù)，并執(zhí)行計(jì)算。該步驟的數(shù)據(jù)在進(jìn)程中的分發(fā)機(jī)制采用shuffle grouping機(jī)制。
[0061]步驟S6:數(shù)據(jù)寫入模塊對(duì)所述經(jīng)過(guò)計(jì)算后得到的數(shù)據(jù)寫入數(shù)據(jù)庫(kù)。
[0062]該步驟通過(guò)數(shù)據(jù)寫入模塊接收數(shù)據(jù)計(jì)算模塊執(zhí)行計(jì)算后得到的數(shù)據(jù)，并且將數(shù)據(jù)寫入數(shù)據(jù)庫(kù)。
[0063]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理方法，其特征在于，包括: 獲取實(shí)時(shí)地理位置數(shù)據(jù)； 對(duì)所述數(shù)據(jù)進(jìn)行解析； 對(duì)解析后得到的異常數(shù)據(jù)進(jìn)行修正； 對(duì)解析后得到的正確數(shù)據(jù)和通過(guò)修正異常數(shù)據(jù)后得到的正確數(shù)據(jù)進(jìn)行一致性操作； 對(duì)一致性操作后得到的數(shù)據(jù)進(jìn)行計(jì)算； 將經(jīng)過(guò)計(jì)算得到的數(shù)據(jù)寫入數(shù)據(jù)庫(kù)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述獲取的實(shí)時(shí)地理位置數(shù)據(jù)為二進(jìn)制數(shù)據(jù)，可以通過(guò)網(wǎng)絡(luò)socket讀入，也可以是數(shù)據(jù)存儲(chǔ)介質(zhì)中的文件讀入。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于:在所述對(duì)所述數(shù)據(jù)進(jìn)行解析的步驟中，將所述獲取到的每份實(shí)時(shí)地理位置數(shù)據(jù)解析成為獨(dú)立的字段。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于:在所述對(duì)解析后得到的數(shù)據(jù)進(jìn)行修正的步驟中，忽略無(wú)異常的數(shù)據(jù)記錄，只處理異常的數(shù)據(jù)記錄。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述數(shù)據(jù)獲取，數(shù)據(jù)解析，數(shù)據(jù)修正，數(shù)據(jù)計(jì)算，數(shù)據(jù)寫入，按shuffle grouping機(jī)制和field grouping機(jī)制在當(dāng)前步驟的多個(gè)線程和進(jìn)程中進(jìn)行分發(fā)，數(shù)據(jù)在各個(gè)線程和進(jìn)程獨(dú)立地進(jìn)行計(jì)算處理。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述數(shù)據(jù)在各個(gè)線程或進(jìn)程之間的分發(fā)機(jī)制包含 shuffle grouping 機(jī)制和 field grouping 機(jī)制。
7.一種基于分布式計(jì)算的實(shí)時(shí)地理位置數(shù)據(jù)流處理系統(tǒng)，其特征在于:所述系統(tǒng)包括數(shù)據(jù)獲取模塊，數(shù)據(jù)解析模塊，數(shù)據(jù)修正模塊，數(shù)據(jù)一致性保證模塊，數(shù)據(jù)計(jì)算模塊和數(shù)據(jù)寫入模塊；其特征在于，所述系統(tǒng)采用權(quán)利要求1?6任一項(xiàng)所述的方法進(jìn)行數(shù)據(jù)流處理。
【文檔編號(hào)】G06F17/30GK103699607SQ201310686779
【公開(kāi)日】2014年4月2日 申請(qǐng)日期:2013年12月12日 優(yōu)先權(quán)日:2013年12月12日
【發(fā)明者】鄒瑜斌, 張帆, 彭賢斌, 須成忠 申請(qǐng)人:深圳先進(jìn)技術(shù)研究院