一種用于流計(jì)算的數(shù)據(jù)處理方法與設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種用于流計(jì)算的數(shù)據(jù)處理技術(shù)。
【背景技術(shù)】
[0002]在分布式流計(jì)算過(guò)程中，會(huì)產(chǎn)生很多中間數(shù)據(jù)結(jié)果，通常后續(xù)計(jì)算需要應(yīng)用之前計(jì)算的中間數(shù)據(jù)結(jié)果。一般做法是在規(guī)定時(shí)間內(nèi)，將所述中間數(shù)據(jù)結(jié)果保存在對(duì)應(yīng)內(nèi)存中，以便快速地滿足后續(xù)計(jì)算需要，但是當(dāng)流處理信息量增大，有限的內(nèi)存存儲(chǔ)過(guò)多的中間數(shù)據(jù)結(jié)果會(huì)導(dǎo)致內(nèi)存溢出，甚至使得整個(gè)流計(jì)算無(wú)法進(jìn)行。
[0003]此時(shí)，現(xiàn)有技術(shù)通過(guò)引入輔助存儲(chǔ)裝置，將中間結(jié)果保存到輔助存儲(chǔ)裝置中并不斷地釋放內(nèi)存空間來(lái)解決內(nèi)存溢出問(wèn)題。但是在實(shí)際計(jì)算中，對(duì)于接收到的流消息，需要先進(jìn)行一次內(nèi)存查找，當(dāng)判斷不存在時(shí)，需要再進(jìn)行一次輔助存儲(chǔ)裝置查找，若流消息是新消息，則所述輔助存儲(chǔ)裝置查找的時(shí)間就是被浪費(fèi)的時(shí)間，所以當(dāng)全部消息中新消息的比重較大時(shí)，會(huì)帶來(lái)極大的時(shí)間開(kāi)銷(xiāo)，對(duì)整個(gè)流計(jì)算系統(tǒng)的計(jì)算速度產(chǎn)生較大的不利影響。

【發(fā)明內(nèi)容】

[0004]本申請(qǐng)的目的是提供一種用于流計(jì)算的數(shù)據(jù)處理方法與設(shè)備。
[0005]根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種用于流計(jì)算的數(shù)據(jù)處理方法，包括:
[0006]獲取流計(jì)算信息中的目標(biāo)消息；
[0007]通過(guò)布隆過(guò)濾器判斷對(duì)應(yīng)內(nèi)存是否包括所述目標(biāo)消息所對(duì)應(yīng)的中間數(shù)據(jù)結(jié)果；
[0008]當(dāng)判斷所述對(duì)應(yīng)內(nèi)存包括所述中間數(shù)據(jù)結(jié)果時(shí)，檢驗(yàn)所述中間數(shù)據(jù)結(jié)果是否已存在；
[0009]基于檢驗(yàn)所得信息，對(duì)所述目標(biāo)消息執(zhí)行相應(yīng)的數(shù)據(jù)計(jì)算。
[0010]根據(jù)本申請(qǐng)的另一方面，還提供了一種用于流計(jì)算的數(shù)據(jù)處理設(shè)備，包括:
[0011]第一裝置，用于獲取流計(jì)算信息中的目標(biāo)消息；
[0012]第二裝置，用于通過(guò)布隆過(guò)濾器判斷對(duì)應(yīng)存儲(chǔ)是否包括所述目標(biāo)消息所對(duì)應(yīng)的中間數(shù)據(jù)結(jié)果；
[0013]第三裝置，用于當(dāng)判斷所述對(duì)應(yīng)存儲(chǔ)包括所述中間數(shù)據(jù)結(jié)果時(shí)，檢驗(yàn)所述中間數(shù)據(jù)結(jié)果是否已存在；
[0014]第四裝置，用于基于檢驗(yàn)所得信息，對(duì)所述目標(biāo)消息執(zhí)行相應(yīng)的數(shù)據(jù)計(jì)算。
[0015]與現(xiàn)有技術(shù)相比，本申請(qǐng)通過(guò)布隆過(guò)濾器檢測(cè)目標(biāo)消息對(duì)應(yīng)的中間結(jié)果信息是否已經(jīng)存在，以及對(duì)被判斷為已存在的中間結(jié)果信息的進(jìn)一步檢測(cè)，實(shí)現(xiàn)對(duì)目標(biāo)消息的流計(jì)算；由于布隆過(guò)濾器具有非常好的空間和時(shí)間效率，本申請(qǐng)顯著減少了內(nèi)存查詢所需的時(shí)間，從而有效提高了流計(jì)算的實(shí)時(shí)性，并減少了響應(yīng)延遲、改善了用戶的使用體驗(yàn)。同時(shí)，由于布隆過(guò)濾器極低的誤判率，它避免了現(xiàn)有技術(shù)中當(dāng)接收到新的流消息時(shí)絕大多數(shù)需要到輔助存儲(chǔ)中進(jìn)行的無(wú)用查找。此外，本申請(qǐng)克服了布隆過(guò)濾器因存在誤判而導(dǎo)致時(shí)延增加而不能應(yīng)用于流計(jì)算的技術(shù)偏見(jiàn)，通過(guò)對(duì)由布隆過(guò)濾器判斷為已存在的中間結(jié)果信息進(jìn)行進(jìn)一步的檢驗(yàn)，來(lái)排除布隆過(guò)濾器可能導(dǎo)致的誤判結(jié)果。在本申請(qǐng)中布隆過(guò)濾器的誤判所帶來(lái)的不利影響是產(chǎn)生極少量無(wú)用的輔助存儲(chǔ)查找，但是它所損耗的不必要時(shí)間非常少?？傮w而言，本申請(qǐng)與現(xiàn)有技術(shù)相比可以保障在不影響內(nèi)存工作的前提下最大程度地提高流計(jì)算系統(tǒng)的計(jì)算速度。
【附圖說(shuō)明】
[0016]通過(guò)閱讀參照以下附圖所作的對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本申請(qǐng)的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:
[0017]圖1示出根據(jù)本申請(qǐng)一個(gè)方面的一種用于流計(jì)算的數(shù)據(jù)處理設(shè)備示意圖；
[0018]圖2示出根據(jù)本申請(qǐng)另一個(gè)方面的一種用于流計(jì)算的數(shù)據(jù)處理方法流程圖。
[0019]附圖中相同或相似的附圖標(biāo)記代表相同或相似的部件。
【具體實(shí)施方式】
[0020]下面結(jié)合附圖對(duì)本申請(qǐng)作進(jìn)一步詳細(xì)描述。
[0021]在本申請(qǐng)一個(gè)典型的配置中，終端、服務(wù)網(wǎng)絡(luò)的設(shè)備和可信方均包括一個(gè)或多個(gè)處理器(CPU)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。
[0022]內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器，隨機(jī)存取存儲(chǔ)器(RAM)和/或非易失性內(nèi)存等形式，如只讀存儲(chǔ)器(ROM)或閃存(flash RAM)。內(nèi)存是計(jì)算機(jī)可讀介質(zhì)的示例。
[0023]計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可以由任何方法或技術(shù)來(lái)實(shí)現(xiàn)信息存儲(chǔ)。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲(chǔ)介質(zhì)的例子包括，但不限于相變內(nèi)存(PRAM)、靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、其他類(lèi)型的隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤(pán)只讀存儲(chǔ)器(CD-ROM)、數(shù)字多功能光盤(pán)(DVD)或其他光學(xué)存儲(chǔ)、磁盒式磁帶，磁帶磁盤(pán)存儲(chǔ)或其他磁性存儲(chǔ)設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲(chǔ)可以被計(jì)算設(shè)備訪問(wèn)的信息。按照本文中的界定，計(jì)算機(jī)可讀介質(zhì)不包括非暫存電腦可讀媒體(transitory media)，如調(diào)制的數(shù)據(jù)信號(hào)和載波。
[0024]圖1示出根據(jù)本申請(qǐng)一個(gè)方面的一種用于流計(jì)算的數(shù)據(jù)處理設(shè)備示意圖。所述用于流計(jì)算的數(shù)據(jù)處理設(shè)備I包括第一裝置101、第二裝置102、第三裝置103和第四裝置104。
[0025]其中，第一裝置101獲取流計(jì)算信息中的目標(biāo)消息；第二裝置102通過(guò)布隆過(guò)濾器判斷對(duì)應(yīng)存儲(chǔ)是否包括所述目標(biāo)消息所對(duì)應(yīng)的中間數(shù)據(jù)結(jié)果；第三裝置103當(dāng)判斷所述對(duì)應(yīng)存儲(chǔ)包括所述中間數(shù)據(jù)結(jié)果時(shí)，檢驗(yàn)所述中間數(shù)據(jù)結(jié)果是否已存在；第四裝置104基于檢驗(yàn)所得信息，對(duì)所述目標(biāo)消息執(zhí)行相應(yīng)的數(shù)據(jù)計(jì)算。
[0026]具體地，所述用于流計(jì)算的數(shù)據(jù)處理設(shè)備I的第一裝置101獲取流計(jì)算信息中的目標(biāo)消息。在此，所述流計(jì)算的應(yīng)用場(chǎng)景包括實(shí)時(shí)計(jì)算，例如，所述流計(jì)算所要完成的任務(wù)一般可以抽象為基于一個(gè)或是多個(gè)業(yè)務(wù)維度的完成的實(shí)時(shí)計(jì)算。例如，在電子商務(wù)平臺(tái)中計(jì)算商品成交金額，可以設(shè)置一個(gè)維度，如賣(mài)家，設(shè)定基于賣(mài)家的交易信息計(jì)算成交金額，如某個(gè)確定賣(mài)家的實(shí)時(shí)交易金額的計(jì)算；也可以設(shè)置多個(gè)維度，如賣(mài)家、商品類(lèi)目，設(shè)定基于賣(mài)家和商品類(lèi)目?jī)蓚€(gè)維度的信息計(jì)算商品的成交金額。所述流計(jì)算信息中的目標(biāo)消息包括進(jìn)行對(duì)應(yīng)流計(jì)算所需要的具體的數(shù)據(jù)信息，如確定的賣(mài)家的交易信息，確定的商品類(lèi)目對(duì)應(yīng)的成交信息，同時(shí)，所述目標(biāo)消息中也可能包括一些所述目標(biāo)流計(jì)算并不需要的其他信息，例如其他業(yè)務(wù)維度的數(shù)據(jù)信息等等。對(duì)于目標(biāo)流計(jì)算，優(yōu)選地，可以先從目標(biāo)消息中篩選出當(dāng)前計(jì)算中實(shí)際需要的有用信息，并基于所述有用信息進(jìn)行后續(xù)的操作。此外，所述流計(jì)算信息中的目標(biāo)消息的獲取可以基于實(shí)際的需要設(shè)置一定的獲取周期，例如每隔T時(shí)間獲取一次目標(biāo)消息等。
[0027]在此，本領(lǐng)域技術(shù)人員應(yīng)能理解，上述流計(jì)算的應(yīng)用場(chǎng)景包括實(shí)時(shí)計(jì)算僅為舉例，其他應(yīng)用場(chǎng)景若是可適用本申請(qǐng)，也應(yīng)包含在本申請(qǐng)的保護(hù)范圍以內(nèi)，并在此以引用方式包含于此。
[0028]接著，所述用于流計(jì)算的數(shù)據(jù)處理設(shè)備I的第二裝置102通過(guò)布隆過(guò)濾器判斷對(duì)應(yīng)存儲(chǔ)是否包括所述目標(biāo)消息所對(duì)應(yīng)的中間數(shù)據(jù)結(jié)果。
[0029]具體地，在此，所述對(duì)應(yīng)存儲(chǔ)包括但不限于內(nèi)存、或是各類(lèi)磁盤(pán)、軟盤(pán)等輔助存儲(chǔ)。優(yōu)選地，所述布隆過(guò)濾器一般保存在相應(yīng)內(nèi)存中，是一種空間效率很高的隨機(jī)數(shù)據(jù)結(jié)構(gòu)，其利用位數(shù)組表示一個(gè)集合，并能夠判斷一個(gè)元素是否屬于所述集合。在此，本領(lǐng)域技術(shù)人員應(yīng)該能夠理解，所述布隆過(guò)濾器利用位數(shù)組匹配對(duì)應(yīng)的目標(biāo)消息，可以認(rèn)為所述布隆過(guò)濾器對(duì)于曾存在于所述內(nèi)存的目標(biāo)消息保存了與其對(duì)應(yīng)的消息標(biāo)識(shí)，進(jìn)而對(duì)于當(dāng)前目標(biāo)消息，可以通過(guò)與所述布隆過(guò)濾器中保存的消息標(biāo)識(shí)進(jìn)行匹配，從而判斷所述目標(biāo)消息是否曾經(jīng)存在于所述內(nèi)存?；谒瞿繕?biāo)消息與所述中間數(shù)據(jù)結(jié)果的對(duì)應(yīng)關(guān)系，所述內(nèi)存本應(yīng)該包含曾經(jīng)存在于所述內(nèi)存中的目標(biāo)消息對(duì)應(yīng)的中間結(jié)果數(shù)據(jù)，但是為了避免所述內(nèi)存溢出，部分目標(biāo)消息對(duì)應(yīng)的中間結(jié)果數(shù)據(jù)被置換出所述內(nèi)存，所以可能存在部分目標(biāo)消息對(duì)應(yīng)的中間結(jié)果數(shù)據(jù)在當(dāng)前所述內(nèi)存中查找不到，但同時(shí)，因?yàn)閮?nèi)存中的中間結(jié)果數(shù)據(jù)會(huì)全部保存在輔助存儲(chǔ)中，進(jìn)而基于所述目標(biāo)消息與所述中間數(shù)據(jù)結(jié)果的對(duì)應(yīng)關(guān)系，可以判斷對(duì)應(yīng)輔助存儲(chǔ)中是否包括所述目標(biāo)消息所對(duì)應(yīng)的中間數(shù)據(jù)結(jié)果。進(jìn)一步，基于布隆過(guò)濾器的原理，所述布隆過(guò)濾器做出所述目標(biāo)消息未曾存在于內(nèi)存中的判定是準(zhǔn)確的，而若是判斷所述目標(biāo)消息曾經(jīng)存在于所述內(nèi)存中則可能出現(xiàn)一定的誤差，需要進(jìn)一步檢驗(yàn)。在此，雖然布隆過(guò)濾器存在誤判，但是其誤判率很低，同時(shí)，所述布隆過(guò)濾器還能夠在占用較少內(nèi)存空間的同時(shí)提供高效的判斷操作，所以如果對(duì)布隆過(guò)濾器的存在誤判可能的判斷結(jié)果進(jìn)一步進(jìn)行合理檢驗(yàn)，就可以很好地發(fā)揮布隆過(guò)濾器在實(shí)時(shí)計(jì)算中作為集合元素存在的判斷方法的優(yōu)勢(shì)，從而在保障不影響內(nèi)存工作的前提下最大程度地提高了流計(jì)算系統(tǒng)的計(jì)算速度。
[0030]此外，所述中間數(shù)據(jù)結(jié)果包括所述流計(jì)算對(duì)應(yīng)的歷史計(jì)算結(jié)果，也是基于目標(biāo)消息進(jìn)行當(dāng)前計(jì)算的數(shù)據(jù)基礎(chǔ)。例如，計(jì)算一定周期的某一商品交易額的增長(zhǎng)幅度，則需要知道當(dāng)前該商品的交易額以及同一商品在歷史周期中的交易額，而所述歷史周期中該商品的交易額即保存為所述流計(jì)算的目標(biāo)消息對(duì)應(yīng)的中間數(shù)據(jù)結(jié)果。更進(jìn)一步，若是所述目標(biāo)消息信息量較大，可以對(duì)其進(jìn)行信息篩選，從所述目標(biāo)消息中初步獲得有用信息，并對(duì)篩選出的有用信息進(jìn)行保存，和所述歷史計(jì)算結(jié)果一樣作為中間數(shù)據(jù)結(jié)果，提供給后續(xù)計(jì)算取用。
[0031]在此，本領(lǐng)域技術(shù)人員應(yīng)能理解，上述布隆過(guò)濾器僅為舉例，其他判斷方法若是可適用本申請(qǐng)，也應(yīng)包含在本申請(qǐng)的保護(hù)范圍以內(nèi)，并在此以引用方式包含于此。
[0032]接著，所述用于流計(jì)算的數(shù)據(jù)處理設(shè)備I的第三裝置103當(dāng)判斷所述對(duì)應(yīng)存儲(chǔ)包括所述中間數(shù)據(jù)結(jié)果時(shí)，檢驗(yàn)所述中間數(shù)據(jù)結(jié)果是否已存在。在此，通過(guò)所述布隆過(guò)濾器對(duì)到達(dá)的目標(biāo)消息進(jìn)行初次判斷，會(huì)出現(xiàn)對(duì)應(yīng)的不同結(jié)果，例如，其中之一的結(jié)果是目