專利名稱：基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)處理系統(tǒng)及方法，更具體地，涉及基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)及方法。
背景技術(shù)：
目前，隨著數(shù)據(jù)庫(kù)應(yīng)用的日益廣泛以及不同領(lǐng)域的業(yè)務(wù)種類的日益豐富，基于數(shù)據(jù)庫(kù)處理海量數(shù)據(jù)越來越重要(例如根據(jù)特定維度統(tǒng)計(jì)某一時(shí)間區(qū)段內(nèi)的活動(dòng)的智能卡的數(shù)量，該數(shù)據(jù)量是往往是TB級(jí)別的)。通常，現(xiàn)有的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法的基本工作原理如下建立與數(shù)據(jù)庫(kù)的接口 ；使用用于抽取數(shù)據(jù)的中間件；在數(shù)據(jù)庫(kù)端創(chuàng)建表，用于存儲(chǔ)從所述數(shù)據(jù)庫(kù)抽取出的一定時(shí)間周期(例如一天)內(nèi)的數(shù)據(jù)。然而，當(dāng)待處理的數(shù)據(jù)數(shù)量巨大(例如3000萬 8億)時(shí)，上述現(xiàn)有的技術(shù)方案存在如下問題(1)數(shù)據(jù)抽取及處理時(shí)間太長(zhǎng)，從而系統(tǒng)效率降低而難于滿足應(yīng)用要求；(2) 數(shù)據(jù)庫(kù)臨時(shí)表所需空間太大，從而可能導(dǎo)致系統(tǒng)無法支撐或者導(dǎo)致硬件需求上升，并進(jìn)一步促使成本增加。為了解決前面所述的問題，現(xiàn)有的技術(shù)方案通常使用一些常規(guī)的優(yōu)化手段，諸如創(chuàng)建索引、優(yōu)化數(shù)據(jù)庫(kù)查詢語(yǔ)句等，然而，當(dāng)待處理的數(shù)據(jù)時(shí)間跨度特別長(zhǎng)(例如一個(gè)季度、半年或者一年)并且數(shù)量特別巨大(例如10億以上)時(shí)，上述常規(guī)的優(yōu)化手段依然不能滿足要求，即處理時(shí)間過長(zhǎng)，空間需求過大，甚至無法完成處理。因此，存在如下需求提供一種能夠基于數(shù)據(jù)庫(kù)高效并且快速地處理海量數(shù)據(jù)的系統(tǒng)及方法。

發(fā)明內(nèi)容
為了解決上述現(xiàn)有技術(shù)方案所存在的缺陷，本發(fā)明提出了一種基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)及方法。本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的一種基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)，所述基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)包括數(shù)據(jù)庫(kù)，所述數(shù)據(jù)庫(kù)用于存儲(chǔ)原始數(shù)據(jù)；數(shù)據(jù)采集裝置，所述數(shù)據(jù)采集裝置用于從所述數(shù)據(jù)庫(kù)中根據(jù)設(shè)定條件抽取數(shù)據(jù)， 并將所述抽取出的數(shù)據(jù)傳送給數(shù)據(jù)處理裝置；數(shù)據(jù)處理裝置，所述數(shù)據(jù)處理裝置用于根據(jù)設(shè)定的維度以奇偶輪換方式處理接收到的所述數(shù)據(jù)，并將處理后的數(shù)據(jù)傳送到數(shù)據(jù)存儲(chǔ)裝置；數(shù)據(jù)存儲(chǔ)裝置，所述數(shù)據(jù)存儲(chǔ)裝置用于將接收到的所述處理后的數(shù)據(jù)分類存儲(chǔ)。在上面所公開的方案中，優(yōu)選地，所述數(shù)據(jù)采集裝置使用多并發(fā)方式從所述數(shù)據(jù)庫(kù)抽取數(shù)據(jù)。
在上面所公開的方案中，優(yōu)選地，所述數(shù)據(jù)處理裝置進(jìn)一步包括短周期數(shù)據(jù)處理模塊，所述短周期數(shù)據(jù)處理模塊用于將每個(gè)短周期時(shí)間段內(nèi)的數(shù)據(jù)存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中以構(gòu)成短周期時(shí)間段數(shù)據(jù)集合，并在下一短周期開始前將本次短周期時(shí)間段內(nèi)的數(shù)據(jù)從所述數(shù)據(jù)存儲(chǔ)裝置中清除；第一中周期數(shù)據(jù)處理模塊，所述第一中周期數(shù)據(jù)處理模塊用于在每個(gè)奇數(shù)中周期時(shí)間段期間的每個(gè)所述短周期時(shí)間段的末端將所述短周期時(shí)間段數(shù)據(jù)集合與奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合合并，并將合并后的數(shù)據(jù)集合作為新的奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合，以及將所述新的奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中；其中，所述合并后的數(shù)據(jù)集合是所述短周期時(shí)間段數(shù)據(jù)集合與奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合的交集。在上面所公開的方案中，優(yōu)選地，所述數(shù)據(jù)處理裝置進(jìn)一步包括；第二中周期數(shù)據(jù)處理模塊，所述第二中周期數(shù)據(jù)處理模塊用于在每個(gè)偶數(shù)中周期時(shí)間段期間的每個(gè)所述短周期時(shí)間段的末端將所述短周期時(shí)間段數(shù)據(jù)集合與偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合合并，并將合并后的數(shù)據(jù)集合作為新的偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合，以及將所述新的偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中；其中，所述合并后的數(shù)據(jù)集合是所述短周期時(shí)間段數(shù)據(jù)集合與偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合的交集。在上面所公開的方案中，優(yōu)選地，所述數(shù)據(jù)處理裝置進(jìn)一步包括第一長(zhǎng)周期數(shù)據(jù)處理模塊，所述第一長(zhǎng)周期數(shù)據(jù)處理模塊用于在每個(gè)奇數(shù)中周期時(shí)間段的起始端清空奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合，并且根據(jù)所述設(shè)定的維度以及所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合計(jì)算目標(biāo)數(shù)值，隨后將所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合進(jìn)行交叉聯(lián)合操作，并將操作后的數(shù)據(jù)集合作為新的奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中；第二長(zhǎng)周期數(shù)據(jù)處理模塊，所述第二長(zhǎng)周期數(shù)據(jù)處理模塊用于在每個(gè)偶數(shù)中周期時(shí)間段的起始端清空偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合，并且根據(jù)所述設(shè)定的維度以及所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合計(jì)算目標(biāo)數(shù)值，隨后將所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合進(jìn)行交叉聯(lián)合操作，并將操作后的數(shù)據(jù)集合作為新的偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中。在上面所公開的方案中，優(yōu)選地，所述短周期是一日，所述中周期是一月以及所述
長(zhǎng)周期是一年。在上面所公開的方案中，優(yōu)選地，所述數(shù)據(jù)存儲(chǔ)裝置進(jìn)一步包括短周期數(shù)據(jù)存儲(chǔ)器，所述短周期數(shù)據(jù)存儲(chǔ)器用于創(chuàng)建短周期數(shù)據(jù)表，所述短周期數(shù)據(jù)表用于存儲(chǔ)所述短周期時(shí)間段數(shù)據(jù)集合；第一中周期數(shù)據(jù)存儲(chǔ)器，所述第一中周期數(shù)據(jù)存儲(chǔ)器用于創(chuàng)建第一中周期數(shù)據(jù)表，所述第一中周期數(shù)據(jù)表用于存儲(chǔ)所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合；第二中周期數(shù)據(jù)存儲(chǔ)器，所述第二中周期數(shù)據(jù)存儲(chǔ)器用于創(chuàng)建第二中周期數(shù)據(jù)表，所述第二中周期數(shù)據(jù)表用于存儲(chǔ)所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合；第一長(zhǎng)周期數(shù)據(jù)存儲(chǔ)器，所述第一長(zhǎng)周期數(shù)據(jù)存儲(chǔ)器用于創(chuàng)建第一長(zhǎng)周期數(shù)據(jù)表，所述第一長(zhǎng)周期數(shù)據(jù)表用于存儲(chǔ)所述奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合；
第二長(zhǎng)周期數(shù)據(jù)存儲(chǔ)器，所述第二長(zhǎng)周期數(shù)據(jù)存儲(chǔ)器用于創(chuàng)建第二長(zhǎng)周期數(shù)據(jù)表，所述第二長(zhǎng)周期數(shù)據(jù)表用于存儲(chǔ)所述偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合。在上面所公開的方案中，優(yōu)選地，所述基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)能夠處理 48億以上的數(shù)據(jù)量。在上面所公開的方案中，優(yōu)選地，所述基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)處理48億的數(shù)據(jù)量所需的時(shí)間不超過4小時(shí)。本發(fā)明的目的也可以通過以下技術(shù)方案實(shí)現(xiàn)一種基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法，所述基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法包括如下步驟(Al)數(shù)據(jù)采集裝置從數(shù)據(jù)庫(kù)中根據(jù)設(shè)定條件抽取數(shù)據(jù)，并將所述抽取出的數(shù)據(jù)傳送給數(shù)據(jù)處理裝置；(A2)所述數(shù)據(jù)處理裝置3根據(jù)設(shè)定的維度以奇偶輪換方式處理接收到的所述數(shù)據(jù)，并將處理后的數(shù)據(jù)傳送到數(shù)據(jù)存儲(chǔ)裝置；(A3)所述數(shù)據(jù)存儲(chǔ)裝置將接收到的所述處理后的數(shù)據(jù)分類存儲(chǔ)。在上面所公開的方案中，優(yōu)選地，所述數(shù)據(jù)采集裝置使用多并發(fā)方式從所述數(shù)據(jù)庫(kù)抽取數(shù)據(jù)。在上面所公開的方案中，優(yōu)選地，所述步驟m進(jìn)一步包括(Bi)將每個(gè)短周期時(shí)間段內(nèi)的數(shù)據(jù)存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中以構(gòu)成短周期時(shí)間段數(shù)據(jù)集合，并在下一短周期開始前將本次短周期時(shí)間段內(nèi)的數(shù)據(jù)從所述數(shù)據(jù)存儲(chǔ)裝置中清除；(B2)在每個(gè)奇數(shù)中周期時(shí)間段期間的每個(gè)所述短周期時(shí)間段的末端將所述短周期時(shí)間段數(shù)據(jù)集合與奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合合并，并將合并后的數(shù)據(jù)集合作為新的奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合，以及將所述新的奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中；其中，所述合并后的數(shù)據(jù)集合是所述短周期時(shí)間段數(shù)據(jù)集合與奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合的交集。在上面所公開的方案中，優(yōu)選地，所述步驟m進(jìn)一步包括(B3)在每個(gè)偶數(shù)中周期時(shí)間段期間的每個(gè)所述短周期時(shí)間段的末端將所述短周期時(shí)間段數(shù)據(jù)集合與偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合合并，并將合并后的數(shù)據(jù)集合作為新的偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合，以及將所述新的偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中；其中，所述合并后的數(shù)據(jù)集合是所述短周期時(shí)間段數(shù)據(jù)集合與偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合的交集。在上面所公開的方案中，優(yōu)選地，所述步驟(A》進(jìn)一步包括(B4)在每個(gè)奇數(shù)中周期時(shí)間段的起始端清空奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合，并且根據(jù)所述設(shè)定的維度以及所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合計(jì)算目標(biāo)數(shù)值，隨后將所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合進(jìn)行交叉聯(lián)合操作， 并將操作后的數(shù)據(jù)集合作為新的奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中。在上面所公開的方案中，優(yōu)選地，所述步驟(Ai)進(jìn)一步包括(B5)在每個(gè)偶數(shù)中周期時(shí)間段的起始端清空偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合，并且根據(jù)所述設(shè)定的維度以及所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合計(jì)算目標(biāo)數(shù)值，隨后將所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合進(jìn)行交叉聯(lián)合操作， 并將操作后的數(shù)據(jù)集合作為新的偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中。在上面所公開的方案中，優(yōu)選地，所述短周期是一日，所述中周期是一月以及所述
長(zhǎng)周期是一年。在上面所公開的方案中，優(yōu)選地，所述步驟m進(jìn)一步包括(Cl)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建短周期數(shù)據(jù)表(T)，用于存儲(chǔ)所述短周期時(shí)間段數(shù)據(jù)集合；(C2)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建第一中周期數(shù)據(jù)表(Tl)，用于存儲(chǔ)所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合；(C3)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建第二中周期數(shù)據(jù)表(T2)，用于存儲(chǔ)所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合；(C4)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建第一長(zhǎng)周期數(shù)據(jù)表(Ml)，用于存儲(chǔ)所述奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合；(C5)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建第二長(zhǎng)周期數(shù)據(jù)表(Μ》，用于存儲(chǔ)所述偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合。在上面所公開的方案中，優(yōu)選地，所述基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法能夠處理 48億以上的數(shù)據(jù)量。在上面所公開的方案中，優(yōu)選地，所述基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法處理48億的數(shù)據(jù)量所需的時(shí)間不超過4小時(shí)。本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)及方法具有如下優(yōu)點(diǎn)由于在每個(gè)短周期時(shí)間段開始前均清空上一個(gè)短周期時(shí)間段內(nèi)的數(shù)據(jù)，因而可以確保最快的抽取速度，從而可以提高系統(tǒng)的整體處理速度；同時(shí)，由于在每個(gè)短周期時(shí)間段末端均進(jìn)行合并數(shù)據(jù)集合的操作，因此可以最大程度的去除冗余數(shù)據(jù)，從而可以節(jié)省存儲(chǔ)空間并提升系統(tǒng)的整體性能。


結(jié)合附圖，本發(fā)明的技術(shù)特征以及優(yōu)點(diǎn)將會(huì)被本領(lǐng)域技術(shù)人員更好地理解，其中圖1為根據(jù)本發(fā)明的實(shí)施例的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)的架構(gòu)圖；圖2為根據(jù)本發(fā)明的實(shí)施例的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法的流程圖。
具體實(shí)施例方式圖1是根據(jù)本發(fā)明的實(shí)施例的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)的架構(gòu)圖。如圖1 所示，本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)包括數(shù)據(jù)庫(kù)1、數(shù)據(jù)采集裝置2、數(shù)據(jù)處理裝置3和數(shù)據(jù)存儲(chǔ)裝置4。其中，所述數(shù)據(jù)庫(kù)1用于存儲(chǔ)原始數(shù)據(jù)。所述數(shù)據(jù)采集裝置2用于從所述數(shù)據(jù)庫(kù)1中根據(jù)設(shè)定條件抽取數(shù)據(jù)，并將所述抽取出的數(shù)據(jù)傳送給數(shù)據(jù)處理裝置3。所述數(shù)據(jù)處理裝置3用于根據(jù)設(shè)定的維度以奇偶輪換方式處理接收到的所述數(shù)據(jù)，并將處理后的數(shù)據(jù)傳送到數(shù)據(jù)存儲(chǔ)裝置4。所述數(shù)據(jù)存儲(chǔ)裝置4用于將接收到的所述處理后的數(shù)據(jù)分類存儲(chǔ)。優(yōu)選地，所述數(shù)據(jù)采集裝置2使用多并發(fā)方式從所述數(shù)據(jù)庫(kù)1抽取數(shù)據(jù)。由此，可以充分利用資源以達(dá)到最快的抽取速度。如圖1所示，在本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)中，所述數(shù)據(jù)處理裝置3進(jìn)一步包括短周期數(shù)據(jù)處理模塊5、第一中周期數(shù)據(jù)處理模塊6、第二中周期數(shù)據(jù)處理模塊7、第一長(zhǎng)周期數(shù)據(jù)處理模塊8和第二長(zhǎng)周期數(shù)據(jù)處理模塊9。其中，所述短周期數(shù)據(jù)處理模塊5用于將每個(gè)短周期時(shí)間段(例如一天)內(nèi)的數(shù)據(jù)存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置4 中以構(gòu)成短周期時(shí)間段數(shù)據(jù)集合，并在下一短周期開始前將本次短周期時(shí)間段內(nèi)的數(shù)據(jù)從所述數(shù)據(jù)存儲(chǔ)裝置4中清除。所述第一中周期數(shù)據(jù)處理模塊6用于在每個(gè)奇數(shù)中周期時(shí)間段(例如奇數(shù)月份)期間的每個(gè)所述短周期時(shí)間段的末端將所述短周期時(shí)間段數(shù)據(jù)集合與奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合(初始奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合是空集合)合并， 并將合并后的數(shù)據(jù)集合作為新的奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合。以及將所述新的奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置4中。優(yōu)選地，所述合并后的數(shù)據(jù)集合是所述短周期時(shí)間段數(shù)據(jù)集合與奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合的交集。所述第二中周期數(shù)據(jù)處理模塊7用于在每個(gè)偶數(shù)中周期時(shí)間段(例如偶數(shù)月份)期間的每個(gè)所述短周期時(shí)間段的末端將所述短周期時(shí)間段數(shù)據(jù)集合與偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合(初始奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合是空集合)合并，并將合并后的數(shù)據(jù)集合作為新的偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合。以及將所述新的偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置4中。優(yōu)選地，所述合并后的數(shù)據(jù)集合是所述短周期時(shí)間段數(shù)據(jù)集合與偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合的交集。由上可知，由于在每個(gè)短周期時(shí)間段開始前均清空上一個(gè)短周期時(shí)間段內(nèi)的數(shù)據(jù)，因而可以確保最快的抽取速度。同時(shí)，由于在每個(gè)短周期時(shí)間段末端均進(jìn)行合并數(shù)據(jù)集合的操作，因此可以最大程度的去除冗余數(shù)據(jù)，從而可以節(jié)省存儲(chǔ)空間并提升系統(tǒng)的性能。如圖1所示，所述第一長(zhǎng)周期數(shù)據(jù)處理模塊8用于在每個(gè)奇數(shù)中周期時(shí)間段(例如奇數(shù)月份)的起始端清空奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合(初始奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合是空集合)，并且根據(jù)所述設(shè)定的維度以及所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合計(jì)算目標(biāo)數(shù)值(例如活動(dòng)的智能卡的數(shù)量)，隨后將所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合(初始偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合是空集合)進(jìn)行交叉聯(lián)合操作，并將操作后的數(shù)據(jù)集合作為新的奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置4中。優(yōu)選地，所述交叉聯(lián)合操作是所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與所述偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合的合并。所述第二長(zhǎng)周期數(shù)據(jù)處理模塊9用于在每個(gè)偶數(shù)中周期時(shí)間段(例如偶數(shù)月份)的起始端清空偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合(初始偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合是空集合)，并且根據(jù)所述設(shè)定的維度以及所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合計(jì)算目標(biāo)數(shù)值(例如活動(dòng)的智能卡的數(shù)量)，隨后將所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合(初始奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合是空集合)進(jìn)行交叉聯(lián)合操作，并將操作后的數(shù)據(jù)集合作為新的偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置4中。優(yōu)選地，所述交叉聯(lián)合操作是所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與所述奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合的合并。
優(yōu)選地，所述長(zhǎng)周期是半年或一年。如圖1所示，在本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)中，所述數(shù)據(jù)存儲(chǔ)裝置4進(jìn)一步包括短周期數(shù)據(jù)存儲(chǔ)器10、第一中周期數(shù)據(jù)存儲(chǔ)器11、第二中周期數(shù)據(jù)存儲(chǔ)器12、第一長(zhǎng)周期數(shù)據(jù)存儲(chǔ)器13和第二長(zhǎng)周期數(shù)據(jù)存儲(chǔ)器14。其中，所述短周期數(shù)據(jù)存儲(chǔ)器10用于創(chuàng)建短周期數(shù)據(jù)表(T)，所述短周期數(shù)據(jù)表用于存儲(chǔ)所述短周期時(shí)間段數(shù)據(jù)集合。所述第一中周期數(shù)據(jù)存儲(chǔ)器11用于創(chuàng)建第一中周期數(shù)據(jù)表(Tl)，所述第一中周期數(shù)據(jù)表用于存儲(chǔ)所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合。所述第二中周期數(shù)據(jù)存儲(chǔ)器12用于創(chuàng)建第二中周期數(shù)據(jù)表(T2)，所述第二中周期數(shù)據(jù)表用于存儲(chǔ)所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合。所述第一長(zhǎng)周期數(shù)據(jù)存儲(chǔ)器13用于創(chuàng)建第一長(zhǎng)周期數(shù)據(jù)表(Ml)，所述第一長(zhǎng)周期數(shù)據(jù)表用于存儲(chǔ)所述奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合。所述第二長(zhǎng)周期數(shù)據(jù)存儲(chǔ)器14用于創(chuàng)建第二長(zhǎng)周期數(shù)據(jù)表(M2)，所述第二長(zhǎng)周期數(shù)據(jù)表用于存儲(chǔ)所述偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合。示例性地，本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)能夠處理48億以上的數(shù)據(jù)量。示例性地，本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)處理48億的數(shù)據(jù)量所需的時(shí)間不超過4小時(shí)。如圖1所示，本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)的基本工作原理如下所述T表在每個(gè)短周期時(shí)間段開始前清除上一次短周期時(shí)間段(例如一天)內(nèi)的數(shù)據(jù)； 如果是奇數(shù)中周期(例如奇數(shù)月)，則選擇與Tl表進(jìn)行合并操作，合并的結(jié)果是新的Tl表， 其是舊的Tl表與T表的交集；如果是偶數(shù)中周期(例如偶數(shù)月)，則選擇與T2表進(jìn)行合并操作，合并的結(jié)果是新的T2表，其是舊的T2表與T表的交集；當(dāng)奇數(shù)中周期(例如奇數(shù)月) 時(shí)，清空Ml表，Tl表根據(jù)設(shè)定的維度計(jì)算目標(biāo)數(shù)值(例如活動(dòng)的智能卡的數(shù)量)，隨后與M2 表進(jìn)行交叉聯(lián)合操作(例如合并)，并將操作后的數(shù)據(jù)存儲(chǔ)在Ml表；當(dāng)偶數(shù)中周期(例如偶數(shù)月)時(shí)，清空M2表，T2表根據(jù)設(shè)定的維度計(jì)算目標(biāo)數(shù)值(例如活動(dòng)的智能卡的數(shù)量)， 隨后與Ml表進(jìn)行交叉聯(lián)合操作(例如合并)，并將操作后的數(shù)據(jù)存儲(chǔ)在M2表。圖2是根據(jù)本發(fā)明的實(shí)施例的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法的流程圖。如圖2 所示，本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法包括如下步驟= (Al)數(shù)據(jù)采集裝置從數(shù)據(jù)庫(kù)中根據(jù)設(shè)定條件抽取數(shù)據(jù)，并將所述抽取出的數(shù)據(jù)傳送給數(shù)據(jù)處理裝置；(A2)所述數(shù)據(jù)處理裝置3根據(jù)設(shè)定的維度以奇偶輪換方式處理接收到的所述數(shù)據(jù)，并將處理后的數(shù)據(jù)傳送到數(shù)據(jù)存儲(chǔ)裝置；(?。?)所述數(shù)據(jù)存儲(chǔ)裝置將接收到的所述處理后的數(shù)據(jù)分類存儲(chǔ)。如圖2所示，優(yōu)選地，所述數(shù)據(jù)采集裝置使用多并發(fā)方式從所述數(shù)據(jù)庫(kù)抽取數(shù)據(jù)。如圖2所示，本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法中，所述步驟(A2) 進(jìn)一步包括(Bi)將每個(gè)短周期時(shí)間段(例如一天)內(nèi)的數(shù)據(jù)存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中以構(gòu)成短周期時(shí)間段數(shù)據(jù)集合，并在下一短周期開始前將本次短周期時(shí)間段內(nèi)的數(shù)據(jù)從所述數(shù)據(jù)存儲(chǔ)裝置中清除；(B2)在每個(gè)奇數(shù)中周期時(shí)間段(例如奇數(shù)月份)期間的每個(gè)所述短周期時(shí)間段的末端將所述短周期時(shí)間段數(shù)據(jù)集合與奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合(初始奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合是空集合)合并，并將合并后的數(shù)據(jù)集合作為新的奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合。以及將所述新的奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中。優(yōu)選地，所述合并后的數(shù)據(jù)集合是所述短周期時(shí)間段數(shù)據(jù)集合與奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合的交集。如圖2所示，本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法中，所述步驟(A2) 進(jìn)一步包括(B3)在每個(gè)偶數(shù)中周期時(shí)間段(例如偶數(shù)月份)期間的每個(gè)所述短周期時(shí)間段的末端將所述短周期時(shí)間段數(shù)據(jù)集合與偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合(初始奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合是空集合)合并，并將合并后的數(shù)據(jù)集合作為新的偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合。以及將所述新的偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中。優(yōu)選地，所述合并后的數(shù)據(jù)集合是所述短周期時(shí)間段數(shù)據(jù)集合與偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合的交集。如圖2所示，本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法中，所述步驟(A2) 進(jìn)一步包括(B4)在每個(gè)奇數(shù)中周期時(shí)間段(例如奇數(shù)月份)的起始端清空奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合(初始奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合是空集合)，并且根據(jù)所述設(shè)定的維度以及所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合計(jì)算目標(biāo)數(shù)值(例如活動(dòng)的智能卡的數(shù)量)， 隨后將所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合(初始偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合是空集合)進(jìn)行交叉聯(lián)合操作，并將操作后的數(shù)據(jù)集合作為新的奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中。優(yōu)選地，所述交叉聯(lián)合操作是所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與所述偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合的合并。如圖2所示，本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法中，所述步驟(A2) 進(jìn)一步包括(B5)在每個(gè)偶數(shù)中周期時(shí)間段(例如偶數(shù)月份)的起始端清空偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合(初始偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合是空集合)，并且根據(jù)所述設(shè)定的維度以及所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合計(jì)算目標(biāo)數(shù)值(例如活動(dòng)的智能卡的數(shù)量)， 隨后將所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合(初始奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合是空集合)進(jìn)行交叉聯(lián)合操作，并將操作后的數(shù)據(jù)集合作為新的偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中。優(yōu)選地，所述交叉聯(lián)合操作是所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與所述奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合的合并。優(yōu)選地，所述長(zhǎng)周期是半年或一年。如圖2所示，本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法中，所述步驟(A3) 進(jìn)一步包括(Cl)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建短周期數(shù)據(jù)表(T)，用于存儲(chǔ)所述短周期時(shí)間段數(shù)據(jù)集合；
(C2)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建第一中周期數(shù)據(jù)表(Tl)，用于存儲(chǔ)所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合；(C3)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建第二中周期數(shù)據(jù)表(T2)，用于存儲(chǔ)所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合；(C4)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建第一長(zhǎng)周期數(shù)據(jù)表(Ml)，用于存儲(chǔ)所述奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合；(C5)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建第二長(zhǎng)周期數(shù)據(jù)表(Μ》，用于存儲(chǔ)所述偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合。示例性地，本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法能夠處理48億以上的數(shù)據(jù)量。示例性地，本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法處理48億的數(shù)據(jù)量所需的時(shí)間不超過4小時(shí)。盡管本發(fā)明是通過上述的優(yōu)選實(shí)施方式進(jìn)行描述的，但是其實(shí)現(xiàn)形式并不局限于上述的實(shí)施方式。應(yīng)該認(rèn)識(shí)到在不脫離本發(fā)明主旨和范圍的情況下，本領(lǐng)域技術(shù)人員可以對(duì)本發(fā)明做出不同的變化和修改。
權(quán)利要求
1.一種基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)，所述基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)包括數(shù)據(jù)庫(kù)，所述數(shù)據(jù)庫(kù)用于存儲(chǔ)原始數(shù)據(jù)；數(shù)據(jù)采集裝置，所述數(shù)據(jù)采集裝置用于從所述數(shù)據(jù)庫(kù)中根據(jù)設(shè)定條件抽取數(shù)據(jù)，并將所述抽取出的數(shù)據(jù)傳送給數(shù)據(jù)處理裝置；數(shù)據(jù)處理裝置，所述數(shù)據(jù)處理裝置用于根據(jù)設(shè)定的維度以奇偶輪換方式處理接收到的所述數(shù)據(jù)，并將處理后的數(shù)據(jù)傳送到數(shù)據(jù)存儲(chǔ)裝置；數(shù)據(jù)存儲(chǔ)裝置，所述數(shù)據(jù)存儲(chǔ)裝置用于將接收到的所述處理后的數(shù)據(jù)分類存儲(chǔ)。
2.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)采集裝置使用多并發(fā)方式從所述數(shù)據(jù)庫(kù)抽取數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)處理裝置進(jìn)一步包括短周期數(shù)據(jù)處理模塊，所述短周期數(shù)據(jù)處理模塊用于將每個(gè)短周期時(shí)間段內(nèi)的數(shù)據(jù)存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中以構(gòu)成短周期時(shí)間段數(shù)據(jù)集合，并在下一短周期開始前將本次短周期時(shí)間段內(nèi)的數(shù)據(jù)從所述數(shù)據(jù)存儲(chǔ)裝置中清除；第一中周期數(shù)據(jù)處理模塊，所述第一中周期數(shù)據(jù)處理模塊用于在每個(gè)奇數(shù)中周期時(shí)間段期間的每個(gè)所述短周期時(shí)間段的末端將所述短周期時(shí)間段數(shù)據(jù)集合與奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合合并，并將合并后的數(shù)據(jù)集合作為新的奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合， 以及將所述新的奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中；其中，所述合并后的數(shù)據(jù)集合是所述短周期時(shí)間段數(shù)據(jù)集合與奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合的交集。
4.根據(jù)權(quán)利要求3所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)處理裝置進(jìn)一步包括第二中周期數(shù)據(jù)處理模塊，所述第二中周期數(shù)據(jù)處理模塊用于在每個(gè)偶數(shù)中周期時(shí)間段期間的每個(gè)所述短周期時(shí)間段的末端將所述短周期時(shí)間段數(shù)據(jù)集合與偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合合并，并將合并后的數(shù)據(jù)集合作為新的偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合， 以及將所述新的偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中；其中，所述合并后的數(shù)據(jù)集合是所述短周期時(shí)間段數(shù)據(jù)集合與偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合的交集。
5.根據(jù)權(quán)利要求4所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)處理裝置進(jìn)一步包括第一長(zhǎng)周期數(shù)據(jù)處理模塊，所述第一長(zhǎng)周期數(shù)據(jù)處理模塊用于在每個(gè)奇數(shù)中周期時(shí)間段的起始端清空奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合，并且根據(jù)所述設(shè)定的維度以及所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合計(jì)算目標(biāo)數(shù)值，隨后將所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合進(jìn)行交叉聯(lián)合操作，并將操作后的數(shù)據(jù)集合作為新的奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中；第二長(zhǎng)周期數(shù)據(jù)處理模塊，所述第二長(zhǎng)周期數(shù)據(jù)處理模塊用于在每個(gè)偶數(shù)中周期時(shí)間段的起始端清空偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合，并且根據(jù)所述設(shè)定的維度以及所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合計(jì)算目標(biāo)數(shù)值，隨后將所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合進(jìn)行交叉聯(lián)合操作，并將操作后的數(shù)據(jù)集合作為新的偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中。
6.根據(jù)權(quán)利要求5所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)，其特征在于，所述短周期是一日，所述中周期是一月以及所述長(zhǎng)周期是一年。
7.根據(jù)權(quán)利要求6所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)存儲(chǔ)裝置進(jìn)一步包括短周期數(shù)據(jù)存儲(chǔ)器，所述短周期數(shù)據(jù)存儲(chǔ)器用于創(chuàng)建短周期數(shù)據(jù)表，所述短周期數(shù)據(jù)表用于存儲(chǔ)所述短周期時(shí)間段數(shù)據(jù)集合；第一中周期數(shù)據(jù)存儲(chǔ)器，所述第一中周期數(shù)據(jù)存儲(chǔ)器用于創(chuàng)建第一中周期數(shù)據(jù)表，所述第一中周期數(shù)據(jù)表用于存儲(chǔ)所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合；第二中周期數(shù)據(jù)存儲(chǔ)器，所述第二中周期數(shù)據(jù)存儲(chǔ)器用于創(chuàng)建第二中周期數(shù)據(jù)表，所述第二中周期數(shù)據(jù)表用于存儲(chǔ)所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合；第一長(zhǎng)周期數(shù)據(jù)存儲(chǔ)器，所述第一長(zhǎng)周期數(shù)據(jù)存儲(chǔ)器用于創(chuàng)建第一長(zhǎng)周期數(shù)據(jù)表，所述第一長(zhǎng)周期數(shù)據(jù)表用于存儲(chǔ)所述奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合；第二長(zhǎng)周期數(shù)據(jù)存儲(chǔ)器，所述第二長(zhǎng)周期數(shù)據(jù)存儲(chǔ)器用于創(chuàng)建第二長(zhǎng)周期數(shù)據(jù)表，所述第二長(zhǎng)周期數(shù)據(jù)表用于存儲(chǔ)所述偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合。
8.根據(jù)權(quán)利要求7所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)，其特征在于，所述基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)能夠處理48億以上的數(shù)據(jù)量。
9.根據(jù)權(quán)利要求8所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)，其特征在于，所述基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)處理48億的數(shù)據(jù)量所需的時(shí)間不超過4小時(shí)。
10.一種基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法，所述基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法包括如下步驟(Al)數(shù)據(jù)采集裝置從數(shù)據(jù)庫(kù)中根據(jù)設(shè)定條件抽取數(shù)據(jù)，并將所述抽取出的數(shù)據(jù)傳送給數(shù)據(jù)處理裝置；(A2)所述數(shù)據(jù)處理裝置3根據(jù)設(shè)定的維度以奇偶輪換方式處理接收到的所述數(shù)據(jù)，并將處理后的數(shù)據(jù)傳送到數(shù)據(jù)存儲(chǔ)裝置；(A3)所述數(shù)據(jù)存儲(chǔ)裝置將接收到的所述處理后的數(shù)據(jù)分類存儲(chǔ)。
11.根據(jù)權(quán)利要求10所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法，其特征在于，所述數(shù)據(jù)采集裝置使用多并發(fā)方式從所述數(shù)據(jù)庫(kù)抽取數(shù)據(jù)。
12.根據(jù)權(quán)利要求11所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法，其特征在于，所述步驟 (A2)進(jìn)一步包括(Bi)將每個(gè)短周期時(shí)間段內(nèi)的數(shù)據(jù)存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中以構(gòu)成短周期時(shí)間段數(shù)據(jù)集合，并在下一短周期開始前將本次短周期時(shí)間段內(nèi)的數(shù)據(jù)從所述數(shù)據(jù)存儲(chǔ)裝置中清除；(B2)在每個(gè)奇數(shù)中周期時(shí)間段期間的每個(gè)所述短周期時(shí)間段的末端將所述短周期時(shí)間段數(shù)據(jù)集合與奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合合并，并將合并后的數(shù)據(jù)集合作為新的奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合，以及將所述新的奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中；其中，所述合并后的數(shù)據(jù)集合是所述短周期時(shí)間段數(shù)據(jù)集合與奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合的交集。
13.根據(jù)權(quán)利要求12所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法，其特征在于，所述步驟(A2)進(jìn)一步包括(B3)在每個(gè)偶數(shù)中周期時(shí)間段期間的每個(gè)所述短周期時(shí)間段的末端將所述短周期時(shí)間段數(shù)據(jù)集合與偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合合并，并將合并后的數(shù)據(jù)集合作為新的偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合，以及將所述新的偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中；其中，所述合并后的數(shù)據(jù)集合是所述短周期時(shí)間段數(shù)據(jù)集合與偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合的交集。
14.根據(jù)權(quán)利要求13所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法，其特征在于，所述步驟 (A2)進(jìn)一步包括(B4)在每個(gè)奇數(shù)中周期時(shí)間段的起始端清空奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合，并且根據(jù)所述設(shè)定的維度以及所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合計(jì)算目標(biāo)數(shù)值，隨后將所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合進(jìn)行交叉聯(lián)合操作，并將操作后的數(shù)據(jù)集合作為新的奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中。
15.根據(jù)權(quán)利要求14所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法，其特征在于，所述步驟 (A2)進(jìn)一步包括(B5)在每個(gè)偶數(shù)中周期時(shí)間段的起始端清空偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合，并且根據(jù)所述設(shè)定的維度以及所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合計(jì)算目標(biāo)數(shù)值，隨后將所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合與奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合進(jìn)行交叉聯(lián)合操作，并將操作后的數(shù)據(jù)集合作為新的偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)裝置中。
16.根據(jù)權(quán)利要求15所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法，其特征在于，所述短周期是一日，所述中周期是一月以及所述長(zhǎng)周期是一年。
17.根據(jù)權(quán)利要求16所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法，其特征在于，所述步驟 (A3)進(jìn)一步包括(Cl)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建短周期數(shù)據(jù)表(T)，用于存儲(chǔ)所述短周期時(shí)間段數(shù)據(jù)集合；(C2)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建第一中周期數(shù)據(jù)表(Tl)，用于存儲(chǔ)所述奇數(shù)中周期時(shí)間段累積數(shù)據(jù)集合；(C3)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建第二中周期數(shù)據(jù)表(T2)，用于存儲(chǔ)所述偶數(shù)中周期時(shí)間段累積數(shù)據(jù)集合；(C4)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建第一長(zhǎng)周期數(shù)據(jù)表(Ml)，用于存儲(chǔ)所述奇數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合；(C5)所述數(shù)據(jù)存儲(chǔ)裝置創(chuàng)建第二長(zhǎng)周期數(shù)據(jù)表(M2)，用于存儲(chǔ)所述偶數(shù)長(zhǎng)周期時(shí)間段累積數(shù)據(jù)集合。
18.根據(jù)權(quán)利要求17所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法，其特征在于，所述基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法能夠處理48億以上的數(shù)據(jù)量。
19.根據(jù)權(quán)利要求18所述的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法，其特征在于，所述基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理方法處理48億的數(shù)據(jù)量所需的時(shí)間不超過4小時(shí)。
全文摘要
本發(fā)明提出了一種基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)及方法。其中，所述系統(tǒng)包括數(shù)據(jù)庫(kù)，用于存儲(chǔ)原始數(shù)據(jù)；數(shù)據(jù)采集裝置，用于從所述數(shù)據(jù)庫(kù)中根據(jù)設(shè)定條件抽取數(shù)據(jù)，并將所述抽取出的數(shù)據(jù)傳送給數(shù)據(jù)處理裝置；數(shù)據(jù)處理裝置，用于根據(jù)設(shè)定的維度以奇偶輪換方式處理接收到的所述數(shù)據(jù)，并將處理后的數(shù)據(jù)傳送到數(shù)據(jù)存儲(chǔ)裝置；數(shù)據(jù)存儲(chǔ)裝置，用于將接收到的所述處理后的數(shù)據(jù)分類存儲(chǔ)。本發(fā)明所公開的基于數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理系統(tǒng)及方法可以提高處理速度并節(jié)省存儲(chǔ)空間，從而提升了系統(tǒng)的整體性能。
文檔編號(hào)G06F17/30GK102479211SQ20101056497
公開日2012年5月30日 申請(qǐng)日期2010年11月26日 優(yōu)先權(quán)日2010年11月26日
發(fā)明者馮興, 吳金壇, 王穎卓, 肖勇 申請(qǐng)人:中國(guó)銀聯(lián)股份有限公司