數(shù)據(jù)處理方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法和系統(tǒng)。
【背景技術(shù)】
[0002]隨著計算機和互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，會產(chǎn)生大量數(shù)據(jù)。在一些場景下需要對產(chǎn)生的數(shù)據(jù)進行存儲和處理，以發(fā)現(xiàn)規(guī)律，并指導(dǎo)之后的運營。例如:電商每天產(chǎn)生的交易記錄在凌晨開始分析，第二天早上決策者需要看到分析結(jié)果，以便做出正確的決策。
[0003]通常對數(shù)據(jù)進行處理時，數(shù)據(jù)是連續(xù)產(chǎn)生的，但處理卻是離散的。相關(guān)技術(shù)中，是將連續(xù)的數(shù)據(jù)切成段，對每一段獨立地進行處理，每個時間周期內(nèi)僅處理當(dāng)前時間周期的數(shù)據(jù)。但是，這種方式會導(dǎo)致處理結(jié)果不準(zhǔn)確。

【發(fā)明內(nèi)容】

[0004]本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。
[0005]為此，本發(fā)明的一個目的在于提出一種數(shù)據(jù)處理方法，該方法可以提高處理結(jié)果的準(zhǔn)確性。
[0006]本發(fā)明的另一個目的在于提出一種數(shù)據(jù)處理系統(tǒng)。
[0007]為達到上述目的，本發(fā)明第一方面實施例提出的數(shù)據(jù)處理方法，包括:獲取當(dāng)前處理的數(shù)據(jù)，所述當(dāng)前處理的數(shù)據(jù)包括已結(jié)束時間周期產(chǎn)生的待定數(shù)據(jù)和當(dāng)前時間周期的數(shù)據(jù)，其中，所述待定數(shù)據(jù)是在已結(jié)束時間周期內(nèi)未得到確定狀態(tài)的連續(xù)性數(shù)據(jù);對所述當(dāng)前處理的數(shù)據(jù)進行數(shù)據(jù)處理，將所述當(dāng)前處理的數(shù)據(jù)與預(yù)設(shè)的待檢測模式進行匹配;在匹配得到符合待檢測模式的數(shù)據(jù)時，緩存符合待檢測模式的數(shù)據(jù);在當(dāng)前時間周期結(jié)束時，沒有匹配得到不符合待檢測模式的數(shù)據(jù)，將緩存中的數(shù)據(jù)確定為當(dāng)前時間周期的新產(chǎn)生的待定數(shù)據(jù)，并將所述新產(chǎn)生的待定數(shù)據(jù)作為下一時間周期的待處理的數(shù)據(jù)。
[0008]本發(fā)明第一方面實施例提出的數(shù)據(jù)處理方法，通過獲取已結(jié)束時間周期產(chǎn)生的待定數(shù)據(jù)，可以在當(dāng)前時間周期內(nèi)進行數(shù)據(jù)處理時，將當(dāng)前時間周期與已結(jié)束時間周期進行結(jié)合，切斷的信息又被連接起來，從而可以使用完整的數(shù)據(jù)進行處理，提高處理結(jié)果的準(zhǔn)確性。
[0009]為達到上述目的，本發(fā)明第二方面實施例提出的數(shù)據(jù)處理系統(tǒng)，包括:數(shù)據(jù)處理裝置，所述數(shù)據(jù)處理裝置包括:獲取模塊，用于獲取當(dāng)前處理的數(shù)據(jù)，所述當(dāng)前處理的數(shù)據(jù)包括已結(jié)束時間周期產(chǎn)生的待定數(shù)據(jù)和當(dāng)前時間周期的數(shù)據(jù)，其中，所述待定數(shù)據(jù)是在已結(jié)束時間周期內(nèi)未得到確定狀態(tài)的連續(xù)性數(shù)據(jù)；匹配模塊，用于對所述當(dāng)前處理的數(shù)據(jù)進行數(shù)據(jù)處理，將所述當(dāng)前處理的數(shù)據(jù)與預(yù)設(shè)的待檢測模式進行匹配;緩存模塊，用于在匹配得到符合待檢測模式的數(shù)據(jù)時，緩存符合待檢測模式的數(shù)據(jù);第一確定模塊，用于在當(dāng)前時間周期結(jié)束時，沒有匹配得到不符合待檢測模式的數(shù)據(jù)，將緩存中的數(shù)據(jù)確定為當(dāng)前時間周期的新產(chǎn)生的待定數(shù)據(jù)，并將所述新產(chǎn)生的待定數(shù)據(jù)作為下一時間周期的待處理的數(shù)據(jù)。
[0010]本發(fā)明第二方面實施例提出的數(shù)據(jù)處理系統(tǒng)，通過獲取已結(jié)束時間周期產(chǎn)生的待定數(shù)據(jù)，可以在當(dāng)前時間周期內(nèi)進行數(shù)據(jù)處理時，將當(dāng)前時間周期與已結(jié)束時間周期進行結(jié)合，切斷的信息又被連接起來，從而可以使用完整的數(shù)據(jù)進行處理，提高處理結(jié)果的準(zhǔn)確性。
[0011]本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。
【附圖說明】
[0012]本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中:
[0013]圖1是本發(fā)明一實施例提出的數(shù)據(jù)處理方法的流程示意圖；
[0014]圖2是本發(fā)明實施例中待定數(shù)據(jù)的產(chǎn)生和處理的示意圖；
[0015]圖3是本發(fā)明實施例中數(shù)據(jù)處理模塊進行數(shù)據(jù)處理的流程示意圖；
[0016]圖4是本發(fā)明實施例中數(shù)據(jù)處理模塊中的狀態(tài)機的示意圖；
[0017]圖5是本發(fā)明另一實施例提出的數(shù)據(jù)處理方法的流程示意圖；
[0018]圖6是圖5對應(yīng)的系統(tǒng)結(jié)構(gòu)示意圖；
[0019]圖7是本發(fā)明另一實施例提出的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖；
[0020]圖8是本發(fā)明另一實施例提出的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實施方式】
[0021]下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的模塊或具有相同或類似功能的模塊。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。相反，本發(fā)明的實施例包括落入所附加權(quán)利要求書的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同物。
[0022]圖1是本發(fā)明一實施例提出的數(shù)據(jù)處理方法的流程示意圖。參見圖1，該方法包括:
[0023]Sll:獲取當(dāng)前處理的數(shù)據(jù)，所述當(dāng)前處理的數(shù)據(jù)包括已結(jié)束時間周期產(chǎn)生的待定數(shù)據(jù)和當(dāng)前時間周期的數(shù)據(jù)，其中，所述待定數(shù)據(jù)是在已結(jié)束時間周期內(nèi)未得到確定狀態(tài)的連續(xù)性數(shù)據(jù)。
[0024]本實施例以離散處理為例，因此，在進行數(shù)據(jù)處理時是以每個時間周期為單位進行處理。
[0025]每個時間周期例如是一天。
[0026]以時間周期是一天為例，假設(shè)當(dāng)前時間周期是今天，已結(jié)束時間周期包括昨天以及昨天之前的時間。以已結(jié)束時間周期是昨天為例，則在今天進行處理時，可以獲取昨天產(chǎn)生的待定數(shù)據(jù)以及今天的數(shù)據(jù)。
[0027]本實施例以連續(xù)性數(shù)據(jù)為例，連續(xù)性數(shù)據(jù)是指在不同的時間周期內(nèi)進行連續(xù)記錄的數(shù)據(jù)。以已結(jié)束時間周期是上一時間周期為例，例如，參見圖2，對應(yīng)當(dāng)前時間周期和上一時間周期，記錄的數(shù)據(jù)21是連續(xù)性的。
[0028]待定數(shù)據(jù)是指未得到確定狀態(tài)的數(shù)據(jù)。例如，以計算車輛超速時長為例，由于在沒有遇到不超速的數(shù)據(jù)之前，不能確定超速時長，因此，如果昨天記錄的數(shù)據(jù)(時間點及時間點上的車速采樣)包括(!'1，￥1)、(了2，￥2)^(1'11，￥11)，假設(shè)在昨天最后記錄的數(shù)據(jù)(1'11，￥11)內(nèi)都沒有遇到不超速的車速，則(!'1，￥1)、02，￥2)^(1'11，￥11)屬于待定數(shù)據(jù)。參見圖2，上一時間周期中可能存在部分數(shù)據(jù)是待定數(shù)據(jù)22。
[0029]S12:對所述當(dāng)前處理的數(shù)據(jù)進行數(shù)據(jù)處理，將所述當(dāng)前處理的數(shù)據(jù)與預(yù)設(shè)的待檢測模式進行匹配。
[0030]本實施例中，以進行數(shù)據(jù)處理的模塊稱為數(shù)據(jù)處理模塊，且數(shù)據(jù)處理模塊接收數(shù)據(jù)調(diào)度模塊發(fā)送的數(shù)據(jù)為例。
[0031]因此，數(shù)據(jù)處理模塊可以具體采用如下方式獲取當(dāng)前處理的數(shù)據(jù):數(shù)據(jù)處理模塊接收數(shù)據(jù)調(diào)度模塊發(fā)送的當(dāng)前處理的數(shù)據(jù)，其中，所述數(shù)據(jù)調(diào)度模塊根據(jù)當(dāng)前處理的數(shù)據(jù)流的標(biāo)識，從存儲模塊中讀取與當(dāng)前處理的數(shù)據(jù)流的標(biāo)識對應(yīng)的數(shù)據(jù)作為當(dāng)前處理的數(shù)據(jù)。
[0032]例如，在計算車輛超速時長時，可以對應(yīng)每個車輛計算對應(yīng)的車輛超速時長。此時，可以對應(yīng)每個車輛分配一個數(shù)據(jù)流的標(biāo)識，同一車輛的數(shù)據(jù)具有相同的數(shù)據(jù)流的標(biāo)識，不同車輛的數(shù)據(jù)具有不同的數(shù)據(jù)流的標(biāo)識。在存儲模塊中，可以對應(yīng)存儲數(shù)據(jù)流的標(biāo)識與數(shù)據(jù)。假設(shè)當(dāng)前要計算車輛A的車輛超速時長，則數(shù)據(jù)調(diào)度模塊可以根據(jù)車輛A的數(shù)據(jù)流的標(biāo)識從存儲模塊中讀取到車輛A的數(shù)據(jù)，并將讀取的數(shù)據(jù)發(fā)送給數(shù)據(jù)處理模塊，由數(shù)據(jù)處理模塊進行處理，以得到車輛A的車輛超速時長。
[0033]數(shù)據(jù)調(diào)度模塊在發(fā)送數(shù)據(jù)時，可以根據(jù)當(dāng)前處理的數(shù)據(jù)確定對應(yīng)的數(shù)據(jù)處理模塊，將所述當(dāng)前處理的數(shù)據(jù)發(fā)送給對應(yīng)的數(shù)據(jù)處理模塊。例如，當(dāng)前處理的數(shù)據(jù)是待定數(shù)據(jù)時，確定待定數(shù)據(jù)對應(yīng)的數(shù)據(jù)處理模塊，或者，當(dāng)前處理的數(shù)據(jù)是當(dāng)前時間周期的數(shù)據(jù)，將每個數(shù)據(jù)處理模塊確定為對應(yīng)的數(shù)據(jù)處理模塊。
[0034]另外，數(shù)據(jù)調(diào)度模塊可以根據(jù)每條當(dāng)前處理的數(shù)據(jù)的產(chǎn)生時間，依次將每條當(dāng)前處理的數(shù)據(jù)發(fā)送給對應(yīng)的數(shù)據(jù)處理模塊。
[0035]數(shù)據(jù)處理模塊在處理數(shù)據(jù)時，不區(qū)分上一時間周期的待定數(shù)據(jù)還是當(dāng)前時間周期的數(shù)據(jù)，當(dāng)數(shù)據(jù)處理模塊接收到數(shù)據(jù)調(diào)度模塊發(fā)送的數(shù)據(jù)后，就按照數(shù)據(jù)處理模塊自身的處理邏輯進行處理。
[0036]例如，參見圖2，當(dāng)前時間周期內(nèi)，可以對上一時間周期內(nèi)產(chǎn)生的待定數(shù)據(jù)22以及當(dāng)前時間周期的數(shù)據(jù)23，進行數(shù)據(jù)處理。
[0037]數(shù)據(jù)處理模塊在自身的處理邏輯進行處理時，例如是將當(dāng)前處理的數(shù)據(jù)與預(yù)設(shè)的待檢測模式進行匹配。
[0038]其中，待檢測模式可以根據(jù)需要設(shè)置，例如，在需要檢測車輛超速時長時，可以將待檢測模式設(shè)置為超速的速度閾值。
[0039]當(dāng)獲取到當(dāng)前處理的數(shù)據(jù)時，可以將當(dāng)前處理的數(shù)據(jù)中的車速與設(shè)置的速度閾值進行比較，得到匹配結(jié)果。例如，如果當(dāng)前處理的數(shù)據(jù)中的車速大于或等于速度閾值，則得到的匹配結(jié)果是當(dāng)前處理的數(shù)據(jù)是符合待檢測模式的數(shù)據(jù)，如