數(shù)據(jù)處理方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種數(shù)據(jù)處理方法及系統(tǒng)。數(shù)據(jù)處理方法包括：步驟一，按照預(yù)設(shè)的散列規(guī)則，將接收的待處理數(shù)據(jù)保存到磁盤目錄下，所述散列規(guī)則中包含用于確定所述磁盤目錄的各級(jí)子目錄的散列因子；步驟二，分布式部署數(shù)據(jù)處理系統(tǒng)，所述數(shù)據(jù)處理系統(tǒng)能夠根據(jù)自身的配置數(shù)據(jù)，按照所述散列規(guī)則計(jì)算獲得其待處理數(shù)據(jù)所在的磁盤目錄，所述配置數(shù)據(jù)中包含用于確定所述磁盤目錄的前幾級(jí)子目錄的散列因子；步驟三，所述數(shù)據(jù)處理系統(tǒng)從其待處理數(shù)據(jù)所在的磁盤目錄中讀取待處理數(shù)據(jù)進(jìn)行處理。本發(fā)明的數(shù)據(jù)處理方法及系統(tǒng)，通過采用磁盤來保存待處理數(shù)據(jù)，提高了數(shù)據(jù)處理的可靠性，降低了丟包率。
【專利說明】數(shù)據(jù)處理方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及系統(tǒng)。

【背景技術(shù)】
[0002] 在一般比較簡單的項(xiàng)目中數(shù)據(jù)的加工處理沒有單獨(dú)的模塊或者架構(gòu)進(jìn)行支撐，數(shù) 據(jù)接收端在接收到數(shù)據(jù)后直接進(jìn)行加工處理，之后調(diào)用發(fā)送接口直接發(fā)送。即使是融入了 多進(jìn)程、多線程的技術(shù)之后，大多數(shù)系統(tǒng)也只是添加了一個(gè)消息隊(duì)列將接收到的數(shù)據(jù)暫時(shí) 存放到消息隊(duì)列中，之后啟動(dòng)多線程進(jìn)行加工處理。
[0003] 以上這種數(shù)據(jù)的加工處理方式不能滿足系統(tǒng)對(duì)可靠性和性能的較高要求，因此需 要一種具有較高可靠性減少丟包率而且還要兼顧性能的系統(tǒng)設(shè)計(jì)來滿足數(shù)據(jù)加工處理這 方面的要求。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是提供一種數(shù)據(jù)處理方法及系統(tǒng)，提高可靠性，降低 丟包率。
[0005] 為解決上述技術(shù)問題，本發(fā)明提出了一種數(shù)據(jù)處理方法，包括：
[0006] 步驟一，按照預(yù)設(shè)的散列規(guī)則，將接收的待處理數(shù)據(jù)保存到磁盤目錄下，所述散列 規(guī)則中包含用于確定所述磁盤目錄的各級(jí)子目錄的散列因子；
[0007] 步驟二，分布式部署數(shù)據(jù)處理系統(tǒng)，所述數(shù)據(jù)處理系統(tǒng)能夠根據(jù)自身的配置數(shù)據(jù)， 按照所述散列規(guī)則計(jì)算獲得其待處理數(shù)據(jù)所在的磁盤目錄，所述配置數(shù)據(jù)中包含用于確定 所述磁盤目錄的前幾級(jí)子目錄的散列因子；
[0008] 步驟三，所述數(shù)據(jù)處理系統(tǒng)從其待處理數(shù)據(jù)所在的磁盤目錄中讀取待處理數(shù)據(jù)進(jìn) 行處理。
[0009] 進(jìn)一步地，上述數(shù)據(jù)處理方法還可具有以下特點(diǎn)，所述散列規(guī)則包括：按照數(shù)據(jù)類 型、業(yè)務(wù)優(yōu)先級(jí)、接收日期、手機(jī)號(hào)碼設(shè)定位的順序依次確定保存待處理數(shù)據(jù)的磁盤目錄的 各級(jí)子目錄，其中，數(shù)據(jù)類型、業(yè)務(wù)優(yōu)先級(jí)、接收日期、手機(jī)號(hào)碼設(shè)定位為散列因子。
[0010] 進(jìn)一步地，上述數(shù)據(jù)處理方法還可具有以下特點(diǎn)，所述步驟二包括：
[0011] 根據(jù)系統(tǒng)資源情況或者業(yè)務(wù)優(yōu)先級(jí)分布式部署數(shù)據(jù)處理系統(tǒng)。
[0012] 進(jìn)一步地，上述數(shù)據(jù)處理方法還可具有以下特點(diǎn)，所述待處理數(shù)據(jù)包括數(shù)據(jù)庫數(shù) 據(jù)、文件數(shù)據(jù)、webservice數(shù)據(jù)。
[0013] 為解決上述技術(shù)問題，本發(fā)明還提出了一種數(shù)據(jù)處理系統(tǒng)，包括順次相連的保存 模塊、部署模塊和處理模塊，其中：
[0014] 保存模塊，用于按照預(yù)設(shè)的散列規(guī)則，將接收的待處理數(shù)據(jù)保存到磁盤目錄下，所 述散列規(guī)則中包含用于確定所述磁盤目錄的各級(jí)子目錄的散列因子；
[0015] 部署模塊，用于分布式部署數(shù)據(jù)處理系統(tǒng)，所述數(shù)據(jù)處理系統(tǒng)能夠根據(jù)自身的配 置數(shù)據(jù)，按照所述散列規(guī)則計(jì)算獲得其待處理數(shù)據(jù)所在的磁盤目錄，所述配置數(shù)據(jù)中包含 用于確定所述磁盤目錄的前幾級(jí)子目錄的散列因子；
[0016] 處理模塊，用于所述數(shù)據(jù)處理系統(tǒng)從其待處理數(shù)據(jù)所在的磁盤目錄中讀取待處理 數(shù)據(jù)進(jìn)行處理。
[0017] 進(jìn)一步地，上述數(shù)據(jù)處理系統(tǒng)還可具有以下特點(diǎn)，所述散列規(guī)則包括：按照數(shù)據(jù)類 型、業(yè)務(wù)優(yōu)先級(jí)、接收日期、手機(jī)號(hào)碼設(shè)定位的順序依次確定保存待處理數(shù)據(jù)的磁盤目錄的 各級(jí)子目錄，其中，數(shù)據(jù)類型、業(yè)務(wù)優(yōu)先級(jí)、接收日期、手機(jī)號(hào)碼設(shè)定位為散列因子。
[0018] 進(jìn)一步地，上述數(shù)據(jù)處理系統(tǒng)還可具有以下特點(diǎn)，所述部署模塊包括第一部署單 元或第二部署單元，其中：
[0019] 第一部署單元，用于根據(jù)系統(tǒng)資源情況分布式部署數(shù)據(jù)處理系統(tǒng)；
[0020] 第二部署單元，用于根據(jù)業(yè)務(wù)優(yōu)先級(jí)分布式部署數(shù)據(jù)處理系統(tǒng)。
[0021] 進(jìn)一步地，上述數(shù)據(jù)處理系統(tǒng)還可具有以下特點(diǎn)，所述待處理數(shù)據(jù)包括數(shù)據(jù)庫數(shù) 據(jù)、文件數(shù)據(jù)、webservice數(shù)據(jù)。
[0022] 本發(fā)明的數(shù)據(jù)處理方法及系統(tǒng)，通過采用磁盤來保存待處理數(shù)據(jù)，提高了數(shù)據(jù)處 理的可靠性，降低了丟包率。并且，本發(fā)明的數(shù)據(jù)處理方法及系統(tǒng)還利用了磁盤支持分布式 系統(tǒng)比較好的特性，通過分布式部署數(shù)據(jù)處理系統(tǒng)，提高了數(shù)據(jù)處理效率。

【專利附圖】

【附圖說明】
[0023] 圖1為本發(fā)明實(shí)施例中數(shù)據(jù)處理方法的流程圖；
[0024] 圖2為本發(fā)明實(shí)施例中數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)框圖。

【具體實(shí)施方式】
[0025] 以下結(jié)合附圖對(duì)本發(fā)明的原理和特征進(jìn)行描述，所舉實(shí)例只用于解釋本發(fā)明，并 非用于限定本發(fā)明的范圍。
[0026] 圖1為本發(fā)明實(shí)施例中數(shù)據(jù)處理方法的流程圖。如圖1所示，本實(shí)施例中，數(shù)據(jù)處 理方法可以包括如下步驟：
[0027] 步驟S101，按照預(yù)設(shè)的散列規(guī)則，將接收的待處理數(shù)據(jù)保存到磁盤目錄下，其中， 散列規(guī)則中包含用于確定所述磁盤目錄的各級(jí)子目錄的散列因子；
[0028] 其中，待處理數(shù)據(jù)可以包括數(shù)據(jù)庫數(shù)據(jù)、文件數(shù)據(jù)、webservice數(shù)據(jù)等。也就是說， 本發(fā)明數(shù)據(jù)處理方法的接收接口支持?jǐn)?shù)據(jù)庫、文件、webservice等多種接入方式。
[0029] 其中，散列規(guī)則可以包括：按照數(shù)據(jù)類型、業(yè)務(wù)優(yōu)先級(jí)、接收日期、手機(jī)號(hào)碼設(shè)定位 的順序依次確定保存待處理數(shù)據(jù)的磁盤目錄的各級(jí)子目錄，其中，數(shù)據(jù)類型、業(yè)務(wù)優(yōu)先級(jí)、 接收日期、手機(jī)號(hào)碼設(shè)定位為散列因子。這里，"散列因子"的含義是確定磁盤目錄的因素。
[0030] 下面舉例說明如何按照數(shù)據(jù)類型、發(fā)送業(yè)務(wù)優(yōu)先級(jí)、接收日期、手機(jī)號(hào)碼設(shè)定位對(duì) 待處理數(shù)據(jù)進(jìn)行散列。
[0031] 假設(shè)配置數(shù)據(jù)如下：
[0032] 數(shù)據(jù)類型有兩種：短信一 1，彩信一 2 ;
[0033] 目前業(yè)務(wù)優(yōu)先級(jí)有三級(jí)：1、2、3 ;
[0034] 磁盤文件的主目錄為：/data。
[0035] 假設(shè)設(shè)置的散列規(guī)則為：用"文件主目錄+數(shù)據(jù)類型+業(yè)務(wù)優(yōu)先級(jí)+接收日期+手 機(jī)號(hào)碼末位+文件名"確定保存待處理數(shù)據(jù)的磁盤目錄的各級(jí)子目錄，其中文件名為"手機(jī) 號(hào)碼倒數(shù)2、3位.txt"。
[0036] 則有如下示例：
[0037] 例 1 :
[0038] 一條短信A，優(yōu)先級(jí)為1，發(fā)送日期（也即接收日期）20131130,發(fā)送短信A的 手機(jī)號(hào)碼為 13612345678,則生成文件為：/data/l/l/20131130/8/67.txt，其中，"/ data/1/1/20131130/8/"為該生成文件所在的磁盤目錄，也即短信A的數(shù)據(jù)所在的磁盤目 錄（對(duì)嗎？）。
[0039] 例 2 :
[0040] 一條短信B，優(yōu)先級(jí)為1，發(fā)送日期20131130,發(fā)送短信B的手機(jī)號(hào) 碼為 13612341234，生成文件為：/data/l/l/20131130/4/23.txt，其中，"/ data/1/1/20131130/4/"為該生成文件所在的磁盤目錄，也即短信B的數(shù)據(jù)所在的磁盤目 錄（對(duì)嗎？）。
[0041] 例3:
[0042] 一條彩信C，優(yōu)先級(jí)為2,發(fā)送日期20131130,發(fā)送彩信C的手機(jī)號(hào) 碼為 13612341234，則生成文件為：/data/2/2/20131130/4/23.txt，其中，"/ data/2/2/20131130/4/"為該生成文件所在的磁盤目錄，也即彩信C的數(shù)據(jù)所在的磁盤目 錄（對(duì)嗎？）。
[0043] 步驟S102,分布式部署數(shù)據(jù)處理系統(tǒng)，該數(shù)據(jù)處理系統(tǒng)能夠根據(jù)自身的配置數(shù)據(jù)， 按照前述的散列規(guī)則計(jì)算獲得其待處理數(shù)據(jù)所在的磁盤目錄，其中，配置數(shù)據(jù)中包含用于 確定磁盤目錄（這個(gè)磁盤目錄是指數(shù)據(jù)處理系統(tǒng)對(duì)應(yīng)的待處理數(shù)據(jù)所在的磁盤目錄）的前 幾級(jí)子目錄的散列因子；
[0044] 其中，數(shù)據(jù)處理系統(tǒng)是指對(duì)待處理數(shù)據(jù)進(jìn)行處理的程序或進(jìn)程。
[0045] 具體地，可以根據(jù)系統(tǒng)資源情況或者業(yè)務(wù)優(yōu)先級(jí)分布式部署數(shù)據(jù)處理系統(tǒng)。
[0046] 本發(fā)明實(shí)施例中，數(shù)據(jù)處理系統(tǒng)可以采用多進(jìn)程多線程的分布式部署方式。數(shù)據(jù) 類型*業(yè)務(wù)優(yōu)先級(jí)=部署的數(shù)據(jù)處理程序（進(jìn)程）數(shù)量（這個(gè)式子的含義是不是"數(shù)據(jù)類 型的總數(shù)乘以業(yè)務(wù)優(yōu)先級(jí)的總數(shù)等于部署的數(shù)據(jù)處理程序（或進(jìn)程）的數(shù)量"？）。
[0047] -個(gè)數(shù)據(jù)處理程序（或進(jìn)程）的配置數(shù)據(jù)可以包括文件主目錄、數(shù)據(jù)類型、優(yōu)先 級(jí)、線程數(shù)，數(shù)據(jù)處理程序可以根據(jù)這些配置數(shù)據(jù)和預(yù)設(shè)的散列規(guī)則計(jì)算出該數(shù)據(jù)處理程 序的待處理數(shù)據(jù)所在的磁盤目錄，然后遍歷存在的子目錄由單獨(dú)啟動(dòng)的線程進(jìn)行子目錄下 文件的處理。
[0048] 例如，假設(shè)配置數(shù)據(jù)如下：
[0049] 文件主目錄：/data;
[0050] 數(shù)據(jù)類型：短信-1;
[0051] 優(yōu)先級(jí)：1;
[0052] 線程數(shù)據(jù)：10;
[0053] 那么按照前述示例中的散列規(guī)則，該數(shù)據(jù)處理程序就對(duì)應(yīng)/data/1/1目錄進(jìn)行掃 描，具體掃描線程1就可以處理/data/1/1/20131130/8/1目錄下的文件，掃描線程2就可 以處理/data/1/1/20131130/4/2目錄下的文件，等等。
[0054] 根據(jù)系統(tǒng)資源進(jìn)行部署，是指系統(tǒng)上線時(shí)要做壓力測試，得出給主機(jī)資源穩(wěn)定運(yùn) 行的最高業(yè)務(wù)處理量，然后通過流量控制設(shè)置每個(gè)數(shù)據(jù)處理程序處理的數(shù)據(jù)量。
[0055] 步驟S103,數(shù)據(jù)處理系統(tǒng)從其待處理數(shù)據(jù)所在的磁盤目錄中讀取待處理數(shù)據(jù)進(jìn)行 處理。
[0056] 磁盤的可靠性很高，因此，即使數(shù)據(jù)處理系統(tǒng)在處理數(shù)據(jù)的過程中出現(xiàn)問題，該數(shù) 據(jù)處理系統(tǒng)的待處理數(shù)據(jù)也不會(huì)丟失，因?yàn)榇幚頂?shù)據(jù)保存在磁盤中，數(shù)據(jù)處理系統(tǒng)可以 重新從磁盤中讀取出待處理數(shù)據(jù)?？梢姡景l(fā)明的數(shù)據(jù)處理方法，通過采用磁盤來保存待處 理數(shù)據(jù)，提高了數(shù)據(jù)處理的可靠性，降低了丟包率。并且，本發(fā)明的數(shù)據(jù)處理方法還利用了 磁盤支持分布式系統(tǒng)比較好的特性，通過分布式部署數(shù)據(jù)處理系統(tǒng)，提高了數(shù)據(jù)處理效率。
[0057] 本發(fā)明還提出了一種數(shù)據(jù)處理系統(tǒng)，用于執(zhí)行上述的數(shù)據(jù)處理方法。
[0058] 圖2為本發(fā)明實(shí)施例中數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)框圖。如圖2所示，本實(shí)施例中，數(shù)據(jù) 處理系統(tǒng)可以包括順次相連的保存模塊210、部署模塊220和處理模塊230。其中，保存模 塊210用于按照預(yù)設(shè)的散列規(guī)則，將接收的待處理數(shù)據(jù)保存到磁盤目錄下，其中，散列規(guī)則 中包含用于確定所述磁盤目錄的各級(jí)子目錄的散列因子。部署模塊220用于分布式部署數(shù) 據(jù)處理系統(tǒng)，該數(shù)據(jù)處理系統(tǒng)能夠根據(jù)自身的配置數(shù)據(jù)，按照所述散列規(guī)則計(jì)算獲得其待 處理數(shù)據(jù)所在的磁盤目錄，所述配置數(shù)據(jù)中包含用于確定所述磁盤目錄的前幾級(jí)子目錄的 散列因子。處理模塊230用于數(shù)據(jù)處理系統(tǒng)從其待處理數(shù)據(jù)所在的磁盤目錄中讀取待處理 數(shù)據(jù)進(jìn)行處理。
[0059] 其中，接收的待處理數(shù)據(jù)可以包括數(shù)據(jù)庫數(shù)據(jù)、文件數(shù)據(jù)、webservice數(shù)據(jù)等。也 就是說，本發(fā)明數(shù)據(jù)處理系統(tǒng)的接收接口支持?jǐn)?shù)據(jù)庫、文件、webservice等多種接入方式。
[0060] 其中，散列規(guī)則可以包括：按照數(shù)據(jù)類型、業(yè)務(wù)優(yōu)先級(jí)、接收日期、手機(jī)號(hào)碼設(shè)定位 的順序依次確定保存待處理數(shù)據(jù)的磁盤目錄的各級(jí)子目錄，其中，數(shù)據(jù)類型、業(yè)務(wù)優(yōu)先級(jí)、 接收日期、手機(jī)號(hào)碼設(shè)定位為散列因子。這里，"散列因子"的含義是確定磁盤目錄的因素。
[0061] 在本發(fā)明實(shí)施例中，部署模塊220可以包括第一部署單元或者第二部署單元。其 中，第一部署單元用于根據(jù)系統(tǒng)資源情況分布式部署數(shù)據(jù)處理系統(tǒng)。第二部署單元，用于根 據(jù)業(yè)務(wù)優(yōu)先級(jí)分布式部署數(shù)據(jù)處理系統(tǒng)。
[0062] 本發(fā)明的數(shù)據(jù)處理系統(tǒng)，通過采用磁盤來保存待處理數(shù)據(jù)，提高了數(shù)據(jù)處理的可 靠性，降低了丟包率。并且，本發(fā)明的數(shù)據(jù)處理系統(tǒng)還利用了磁盤支持分布式系統(tǒng)比較好的 特性，通過分布式部署數(shù)據(jù)處理系統(tǒng)，提高了數(shù)據(jù)處理效率。
[〇〇63] 以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和 原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1. 一種數(shù)據(jù)處理方法，其特征在于，包括： 步驟一，按照預(yù)設(shè)的散列規(guī)則，將接收的待處理數(shù)據(jù)保存到磁盤目錄下，所述散列規(guī)則 中包含用于確定所述磁盤目錄的各級(jí)子目錄的散列因子； 步驟二，分布式部署數(shù)據(jù)處理系統(tǒng)，所述數(shù)據(jù)處理系統(tǒng)能夠根據(jù)自身的配置數(shù)據(jù)，按照 所述散列規(guī)則計(jì)算獲得其待處理數(shù)據(jù)所在的磁盤目錄，所述配置數(shù)據(jù)中包含用于確定所述 磁盤目錄的前幾級(jí)子目錄的散列因子； 步驟三，所述數(shù)據(jù)處理系統(tǒng)從其待處理數(shù)據(jù)所在的磁盤目錄中讀取待處理數(shù)據(jù)進(jìn)行處 理。
2. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述散列規(guī)則包括：按照數(shù)據(jù)類 型、業(yè)務(wù)優(yōu)先級(jí)、接收日期、手機(jī)號(hào)碼設(shè)定位的順序依次確定保存待處理數(shù)據(jù)的磁盤目錄的 各級(jí)子目錄，其中，數(shù)據(jù)類型、業(yè)務(wù)優(yōu)先級(jí)、接收日期、手機(jī)號(hào)碼設(shè)定位為散列因子。
3. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述步驟二包括： 根據(jù)系統(tǒng)資源情況或者業(yè)務(wù)優(yōu)先級(jí)分布式部署數(shù)據(jù)處理系統(tǒng)。
4. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述待處理數(shù)據(jù)包括數(shù)據(jù)庫數(shù) 據(jù)、文件數(shù)據(jù)、webservice數(shù)據(jù)。
5. -種數(shù)據(jù)處理系統(tǒng)，其特征在于，包括順次相連的保存模塊、部署模塊和處理模塊， 其中： 保存模塊，用于按照預(yù)設(shè)的散列規(guī)則，將接收的待處理數(shù)據(jù)保存到磁盤目錄下，所述散 列規(guī)則中包含用于確定所述磁盤目錄的各級(jí)子目錄的散列因子； 部署模塊，用于分布式部署數(shù)據(jù)處理系統(tǒng)，所述數(shù)據(jù)處理系統(tǒng)能夠根據(jù)自身的配置數(shù) 據(jù)，按照所述散列規(guī)則計(jì)算獲得其待處理數(shù)據(jù)所在的磁盤目錄，所述配置數(shù)據(jù)中包含用于 確定所述磁盤目錄的前幾級(jí)子目錄的散列因子； 處理模塊，用于所述數(shù)據(jù)處理系統(tǒng)從其待處理數(shù)據(jù)所在的磁盤目錄中讀取待處理數(shù)據(jù) 進(jìn)行處理。
6. 根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述散列規(guī)則包括：按照數(shù)據(jù)類 型、業(yè)務(wù)優(yōu)先級(jí)、接收日期、手機(jī)號(hào)碼設(shè)定位的順序依次確定保存待處理數(shù)據(jù)的磁盤目錄的 各級(jí)子目錄，其中，數(shù)據(jù)類型、業(yè)務(wù)優(yōu)先級(jí)、接收日期、手機(jī)號(hào)碼設(shè)定位為散列因子。
7. 根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述部署模塊包括第一部署單 元或第二部署單元，其中： 第一部署單元，用于根據(jù)系統(tǒng)資源情況分布式部署數(shù)據(jù)處理系統(tǒng)； 第二部署單元，用于根據(jù)業(yè)務(wù)優(yōu)先級(jí)分布式部署數(shù)據(jù)處理系統(tǒng)。
8. 根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述待處理數(shù)據(jù)包括數(shù)據(jù)庫數(shù) 據(jù)、文件數(shù)據(jù)、webservice數(shù)據(jù)。
【文檔編號(hào)】G06F3/06GK104049917SQ201410291320
【公開日】2014年9月17日 申請(qǐng)日期:2014年6月25日 優(yōu)先權(quán)日:2014年6月25日
【發(fā)明者】姜香剛 申請(qǐng)人:北京思特奇信息技術(shù)股份有限公司