基于內(nèi)存的數(shù)據(jù)處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，更為具體而言，涉及一種基于內(nèi)存的數(shù)據(jù)處理方法及
目.0
【背景技術(shù)】
[0002]隨著信息技術(shù)的發(fā)展，在很多領(lǐng)域可以通過(guò)對(duì)大量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析來(lái)幫助決策。例如在銀行的風(fēng)險(xiǎn)監(jiān)控領(lǐng)域，可以通過(guò)分析客戶(hù)的每一筆交易行為以及與此交易相關(guān)的某種上下文關(guān)系，來(lái)判斷客戶(hù)當(dāng)筆交易是否存在風(fēng)險(xiǎn)，并以此決策是否對(duì)該客戶(hù)的交易采取控制措施。區(qū)別于其他的數(shù)據(jù)統(tǒng)計(jì)分析需求，銀行風(fēng)險(xiǎn)監(jiān)控的特點(diǎn)是要求在很短的時(shí)間內(nèi)(例如10分鐘或更短的時(shí)間)快速返回客戶(hù)交易的分析結(jié)果，對(duì)數(shù)據(jù)分析的時(shí)效性要求較高。
[0003]業(yè)界在數(shù)據(jù)統(tǒng)計(jì)分析方面，通常使用關(guān)系型數(shù)據(jù)庫(kù)技術(shù)來(lái)實(shí)現(xiàn)?，F(xiàn)有常用的關(guān)系型數(shù)據(jù)庫(kù)產(chǎn)品有0RACLE、DB2、MYSQL等，借助數(shù)據(jù)庫(kù)函數(shù)和結(jié)構(gòu)化查詢(xún)語(yǔ)言(StructuredQuery Language，SQL)實(shí)現(xiàn)對(duì)大量數(shù)據(jù)的處理分析。具體而言，在現(xiàn)有的數(shù)據(jù)處理技術(shù)中，首先將數(shù)據(jù)記錄寫(xiě)入數(shù)據(jù)庫(kù);再運(yùn)用SQL語(yǔ)句從數(shù)據(jù)庫(kù)中逐筆讀出數(shù)據(jù)記錄并進(jìn)行運(yùn)算。但是，當(dāng)數(shù)據(jù)記錄數(shù)增長(zhǎng)到一定程度時(shí)，頻繁的讀寫(xiě)數(shù)據(jù)庫(kù)會(huì)消耗大量的1/0(輸入/輸出)資源，導(dǎo)致整體分析效率較低。此外，在業(yè)務(wù)上對(duì)時(shí)效性有較高的要求時(shí)，例如對(duì)銀行交易進(jìn)行實(shí)時(shí)的風(fēng)險(xiǎn)監(jiān)控時(shí)，無(wú)法及時(shí)返回統(tǒng)計(jì)結(jié)果。

【發(fā)明內(nèi)容】

[0004]鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明實(shí)施方式提供了一種基于內(nèi)存的數(shù)據(jù)處理方法及裝置，能夠大大降低I/O開(kāi)銷(xiāo)、提高數(shù)據(jù)處理效率并及時(shí)返回統(tǒng)計(jì)結(jié)果的效果。
[0005]具體地，本發(fā)明實(shí)施方式提供了一種基于內(nèi)存的數(shù)據(jù)處理方法，其包括:
[0006]將包括多條數(shù)據(jù)記錄的結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入第一內(nèi)存區(qū)域，并根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)的維度建立多條鏈表，每一條鏈表中的數(shù)據(jù)域保存用于訪問(wèn)屬于不同數(shù)據(jù)記錄但屬于同一維度且具有相同值的數(shù)據(jù)元素的指針；
[0007]通過(guò)所述多條鏈表查找所述結(jié)構(gòu)化數(shù)據(jù)中的數(shù)據(jù)元素，并根據(jù)存儲(chǔ)于第二內(nèi)存區(qū)域的統(tǒng)計(jì)指標(biāo)和計(jì)算方法進(jìn)行數(shù)據(jù)處理。
[0008]相應(yīng)地，本發(fā)明實(shí)施方式還提供了一種基于內(nèi)存的數(shù)據(jù)處理裝置，其包括:
[0009]數(shù)據(jù)存儲(chǔ)模塊，用于將包括多條數(shù)據(jù)記錄的結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入第一內(nèi)存區(qū)域，并根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)的維度建立多條鏈表，每一條鏈表中的數(shù)據(jù)域保存用于訪問(wèn)屬于不同數(shù)據(jù)記錄但屬于同一維度且具有相同值的數(shù)據(jù)元素的指針；
[0010]數(shù)據(jù)處理模塊，用于通過(guò)所述多條鏈表查找所述原始數(shù)據(jù)記錄中的數(shù)據(jù)元素，并根據(jù)存儲(chǔ)于第二內(nèi)存區(qū)域的統(tǒng)計(jì)指標(biāo)和計(jì)算方法進(jìn)行數(shù)據(jù)處理。
[0011 ]采用本發(fā)明實(shí)施方式具有下述有益效果:
[0012]通過(guò)將結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入內(nèi)存并基于內(nèi)存中加載的統(tǒng)計(jì)指標(biāo)和計(jì)算方法進(jìn)行數(shù)據(jù)處理，相對(duì)于現(xiàn)有的數(shù)據(jù)庫(kù)技術(shù)而言，能夠大大降低I/O開(kāi)銷(xiāo)、提高數(shù)據(jù)處理效率并及時(shí)返回統(tǒng)計(jì)結(jié)果的效果；
[0013]采用雙鏈表存儲(chǔ)結(jié)構(gòu)以及采用雙鏈表結(jié)合單鏈表的存儲(chǔ)結(jié)構(gòu)，能夠在載入數(shù)據(jù)的同時(shí)快速獲得多維度的上下文關(guān)系，提高數(shù)據(jù)處理效率，同時(shí)有利于進(jìn)行數(shù)據(jù)元素的查詢(xún)、增加和刪除等操作；
[0014]在鏈表和索引中均采用保存指針的方式代替保存數(shù)據(jù)元素，從而在內(nèi)存中僅需存儲(chǔ)一份數(shù)據(jù)元素，降低內(nèi)存開(kāi)銷(xiāo)。
【附圖說(shuō)明】
[0015]圖1是根據(jù)本發(fā)明實(shí)施例的一種基于內(nèi)存的數(shù)據(jù)處理方法的流程示意圖；
[0016]圖2A是根據(jù)本發(fā)明實(shí)施例的一種基于內(nèi)存的數(shù)據(jù)處理整體流程示意圖及相關(guān)存儲(chǔ)結(jié)構(gòu)示意圖的一例；
[0017]圖2B是根據(jù)本發(fā)明實(shí)施例的一種基于內(nèi)存的數(shù)據(jù)處理整體流程示意圖及相關(guān)存儲(chǔ)結(jié)構(gòu)示意圖的另一例；
[0018]圖3是根據(jù)本發(fā)明實(shí)施例的一種數(shù)據(jù)處理方法的流程示意圖；
[0019]圖4是根據(jù)本發(fā)明實(shí)施例的一種基于內(nèi)存的數(shù)據(jù)處理方法的流程示意圖；
[0020]圖5A是一種用于配置計(jì)算方法的可視化圖形界面的示意圖；
[0021]圖5B是一種用于配置統(tǒng)計(jì)指標(biāo)的可視化圖形界面的示意圖；
[0022]圖6是根據(jù)本發(fā)明實(shí)施例的一種基于內(nèi)存的數(shù)據(jù)處理裝置的框圖；
[0023]圖7是圖6所示數(shù)據(jù)處理裝置的數(shù)據(jù)存儲(chǔ)模塊的框圖；
[0024]圖8是圖6所示數(shù)據(jù)處理裝置的數(shù)據(jù)處理模塊的框圖。
【具體實(shí)施方式】
[0025]為了便于理解本發(fā)明技術(shù)方案的各個(gè)方面、特征以及優(yōu)點(diǎn)，下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行具體描述。應(yīng)當(dāng)理解，下述的各種實(shí)施方式只用于舉例說(shuō)明，而非用于限制本發(fā)明的保護(hù)范圍。
[0026]首先對(duì)根據(jù)本發(fā)明可能涉及到的名稱(chēng)或術(shù)語(yǔ)進(jìn)行解釋。
[0027]維度:結(jié)構(gòu)化數(shù)據(jù)對(duì)象的共同屬性。例如銀行交易數(shù)據(jù)的維度有客戶(hù)、交易IP、交易日期等。
[0028]上下文關(guān)系:結(jié)構(gòu)化數(shù)據(jù)對(duì)象在某兩個(gè)維度上產(chǎn)生的關(guān)系。例如銀行交易數(shù)據(jù)可以按客戶(hù)維度和時(shí)序維度產(chǎn)生關(guān)系、按交易IP維度和時(shí)序維度產(chǎn)生關(guān)系等。
[0029]統(tǒng)計(jì)指標(biāo):用以描述數(shù)據(jù)對(duì)象的基本狀況或具體特征的概念，可基于一個(gè)或多個(gè)維度。
[0030]計(jì)算方法:為計(jì)算統(tǒng)計(jì)指標(biāo)的結(jié)果而提供的算法。
[0031]圖1是根據(jù)本發(fā)明實(shí)施例的一種基于內(nèi)存的數(shù)據(jù)處理方法的流程示意圖。參照?qǐng)D1，所述方法包括:
[0032]12:寫(xiě)入數(shù)據(jù)并建立多條鏈表。具體而言，將包括多條數(shù)據(jù)記錄的結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入第一內(nèi)存區(qū)域，并根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)的維度建立多條鏈表。其中，每一條鏈表中的數(shù)據(jù)域保存有用于訪問(wèn)屬于不同數(shù)據(jù)記錄但屬于同一維度且具有相同值的數(shù)據(jù)元素的指針。在本發(fā)明中，數(shù)據(jù)元素可以簡(jiǎn)稱(chēng)為元素。
[0033]可選地，在本實(shí)施例的一種實(shí)現(xiàn)方式中，一個(gè)維度對(duì)應(yīng)至少一個(gè)鏈表，換言之，在一個(gè)鏈表中，其各個(gè)結(jié)點(diǎn)的數(shù)據(jù)域分別保存有用于訪問(wèn)不同數(shù)據(jù)記錄中的在同一維度下且具有相同值的數(shù)據(jù)元素的指針。
[0034]14:通過(guò)所述多條鏈表查找所述結(jié)構(gòu)化數(shù)據(jù)中的數(shù)據(jù)元素。
[0035]16:根據(jù)存儲(chǔ)于第二內(nèi)存區(qū)域的統(tǒng)計(jì)指標(biāo)和計(jì)算方法進(jìn)行數(shù)據(jù)處理。
[0036]采用本實(shí)施例提供的數(shù)據(jù)處理方法，通過(guò)將結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入內(nèi)存并基于內(nèi)存中加載的統(tǒng)計(jì)指標(biāo)和計(jì)算方法進(jìn)行數(shù)據(jù)處理，相對(duì)于現(xiàn)有的數(shù)據(jù)庫(kù)技術(shù)而言，能夠大大降低I/O(輸入/輸出)開(kāi)銷(xiāo)、提高數(shù)據(jù)處理效率并及時(shí)返回統(tǒng)計(jì)結(jié)果的效果。
[0037]圖2A是根據(jù)本發(fā)明實(shí)施例的一種基于內(nèi)存的數(shù)據(jù)處理整體流程示意圖及相關(guān)存儲(chǔ)結(jié)構(gòu)示意圖的一例，其中以箭頭的方向示出了數(shù)據(jù)轉(zhuǎn)換—建立鏈表和索引的整體順序，通過(guò)建立索引便于對(duì)鏈表進(jìn)行查找、增加和刪除等修改。當(dāng)然，在本實(shí)施例中并不限制建立鏈表和建立索引的具體順序。下面參照?qǐng)D2A對(duì)圖1所示實(shí)施例的部分實(shí)現(xiàn)方式以及所涉及到的相關(guān)存儲(chǔ)結(jié)構(gòu)進(jìn)行說(shuō)明。
[0038]在圖1所示實(shí)施例的一種實(shí)現(xiàn)方式中，在處理12之前，如圖2A中所示，可以按照預(yù)設(shè)的數(shù)據(jù)結(jié)構(gòu)將原始數(shù)據(jù)(例如，非結(jié)構(gòu)化的交易流水?dāng)?shù)據(jù))轉(zhuǎn)換為所述結(jié)構(gòu)化數(shù)據(jù)。
[0039]在圖1所示實(shí)施例的一種實(shí)現(xiàn)方式中，在處理12中通過(guò)以下方式將結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入第一內(nèi)存區(qū)域:在所述第一內(nèi)存區(qū)域?yàn)槊恳粭l數(shù)據(jù)記錄分配一個(gè)首結(jié)點(diǎn)和與首結(jié)點(diǎn)地址連續(xù)的內(nèi)存地址，將每一條數(shù)據(jù)記錄中的數(shù)據(jù)元素存儲(chǔ)于被分配的連續(xù)的內(nèi)存地址中，以便根據(jù)首結(jié)點(diǎn)地址的偏移量(偏移量可以預(yù)先配置)訪問(wèn)數(shù)據(jù)元素。進(jìn)一步地，在處理12中通過(guò)以下方式建立多條鏈表:對(duì)應(yīng)每一條維度建立至少一條鏈表，并且與第一維度對(duì)應(yīng)的鏈表包含所述首結(jié)點(diǎn)。其中，所述第一維度是指從結(jié)構(gòu)化數(shù)據(jù)中讀取數(shù)據(jù)以寫(xiě)入所述第一內(nèi)存區(qū)域時(shí)首先讀取的維度，所述首結(jié)點(diǎn)的數(shù)據(jù)域保存指向自身地址的指針，用于訪問(wèn)首結(jié)點(diǎn)所在數(shù)據(jù)記錄的第一維度下的數(shù)據(jù)元素。
[0040]更具體而言，當(dāng)從結(jié)構(gòu)化數(shù)據(jù)中讀取數(shù)據(jù)以寫(xiě)入第一內(nèi)存區(qū)域時(shí)，可以根據(jù)預(yù)配置的維度順序進(jìn)行數(shù)據(jù)讀取。假設(shè)首先讀取的維度為第一維度，則在首次讀取一條數(shù)據(jù)記錄的數(shù)據(jù)時(shí)，首先讀取其第一維度的數(shù)據(jù)，然后在第一內(nèi)存區(qū)域?yàn)樵摋l數(shù)據(jù)記錄分配一個(gè)首結(jié)點(diǎn)和與首結(jié)點(diǎn)地址連續(xù)的內(nèi)存地址，并將該條數(shù)據(jù)記錄的數(shù)據(jù)元素按照預(yù)配置的順序存儲(chǔ)于連續(xù)的內(nèi)存地址中。該首結(jié)點(diǎn)同時(shí)也是第一維度所對(duì)應(yīng)的鏈表中的一個(gè)結(jié)點(diǎn)，用于構(gòu)成下文描述的雙向鏈表存儲(chǔ)結(jié)構(gòu)和單向鏈表存儲(chǔ)結(jié)構(gòu)。在其它維度所對(duì)應(yīng)的鏈表中，各個(gè)結(jié)點(diǎn)中的數(shù)據(jù)域直接指向相應(yīng)數(shù)據(jù)記錄的首結(jié)點(diǎn)地址即可。
[0041]可選地，參照?qǐng)D2A中的