一種數(shù)據(jù)處理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及通信技術(shù)，尤其涉及一種數(shù)據(jù)處理方法和裝置。
【背景技術(shù)】
[0002] 移動(dòng)業(yè)務(wù)運(yùn)營支撐系統(tǒng)（Business&OperationSupportSystem，BOSS)的帳詳單 系統(tǒng)已建成多年，承擔(dān)著原始話單批價(jià)處理、賬單生成、賬詳單查詢等基礎(chǔ)功能，并為統(tǒng)計(jì) 分析、收入保障提供數(shù)據(jù)來源。隨著用戶量和業(yè)務(wù)量日益增長，現(xiàn)有帳詳單系統(tǒng)在前臺(tái)查詢 性能、后臺(tái)運(yùn)維管理等方面逐漸達(dá)到瓶頸，難以滿足業(yè)務(wù)發(fā)展需要。
[0003] 針對(duì)帳詳單的海量數(shù)據(jù)引起的存儲(chǔ)空間小、查詢性能差、統(tǒng)計(jì)分析瓶頸、文件庫 修改困難等問題，目前引入基于列模式、適合于海量數(shù)據(jù)存儲(chǔ)的Hadoop分布式數(shù)據(jù)庫 (HadoopDatabase,HBase)以及旨在為數(shù)據(jù)倉庫和大規(guī)模分析處理功能提供技術(shù)支持的分 析型數(shù)據(jù)庫Greenplum,以此來全面提升系統(tǒng)架構(gòu)，得到新的云計(jì)算架構(gòu)。
[0004] 在新的云計(jì)算架構(gòu)以下，數(shù)據(jù)同樣需要備份和恢復(fù)處理。在BOSS帳詳單系統(tǒng)的云 方案中分布式數(shù)據(jù)庫ffiase存儲(chǔ)著海量的詳單數(shù)據(jù)，現(xiàn)有的基本可行的基于Hbase的數(shù)據(jù) 處理技術(shù)包括：利用Hbase的導(dǎo)出（Export)工具進(jìn)行數(shù)據(jù)的備份，利用導(dǎo)入（Import)工具 進(jìn)行數(shù)據(jù)的恢復(fù)。
[0005] 數(shù)據(jù)處理的步驟，如圖1所示，包括：
[0006] 1、備份數(shù)據(jù)時(shí)，利用Export工具將Hbase中的指定范圍的數(shù)據(jù)，以表為粒度導(dǎo)出 成Hadoop分布式文件系統(tǒng)（HadoopDistributedFileSystem，HDFS)中的文件；
[0007] 2、將HDFS中的文件備份到遠(yuǎn)端的備份存儲(chǔ)中進(jìn)行保存；
[0008] 3、數(shù)據(jù)恢復(fù)時(shí)，先從遠(yuǎn)端備份存儲(chǔ)中將數(shù)據(jù)恢復(fù)到HDFS中；
[0009] 4、利用Import工具將HDFS中的文件加載到Hbase中。
[0010] 雖然現(xiàn)有技術(shù)可以進(jìn)行數(shù)據(jù)的備份和恢復(fù)處理。但是，當(dāng)每天新的數(shù)據(jù)量很大，且 留有的備份時(shí)間窗口很小時(shí)，現(xiàn)有技術(shù)無法在很小的備份窗口及時(shí)完成備份數(shù)據(jù)，無法記 錄在某一個(gè)時(shí)刻用戶對(duì)數(shù)據(jù)的操作歷史，無法保證多表間數(shù)據(jù)在某一時(shí)刻的關(guān)聯(lián)，也無法 在備份出的海量數(shù)據(jù)中快速的找到要恢復(fù)的數(shù)據(jù)并進(jìn)行數(shù)據(jù)的恢復(fù)，由此現(xiàn)有技術(shù)不能滿 足數(shù)據(jù)處理的需求。

【發(fā)明內(nèi)容】

[0011] 為解決現(xiàn)有存在的技術(shù)問題，本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法和裝置。
[0012] 本發(fā)明提供一種數(shù)據(jù)處理方法，所述方法包括：
[0013] 根據(jù)收到的備份指令，獲取預(yù)先配置的備份策略；
[0014] 根據(jù)所述備份策略將數(shù)據(jù)存儲(chǔ)到至少一個(gè)存儲(chǔ)節(jié)點(diǎn)。
[0015] 本發(fā)明提供一種數(shù)據(jù)處理方法，所述方法包括：
[0016] 根據(jù)收到的恢復(fù)指令，獲取預(yù)先配置的恢復(fù)策略；
[0017] 根據(jù)預(yù)先配置的恢復(fù)策略進(jìn)行數(shù)據(jù)的恢復(fù)。
[0018] 本發(fā)明提供另一種數(shù)據(jù)處理裝置，所述裝置包括：
[0019] 第一獲取單元，用于根據(jù)收到的備份指令，獲取預(yù)先配置的備份策略；
[0020] 第一控制單元，用于根據(jù)所述備份策略將數(shù)據(jù)存儲(chǔ)到至少一個(gè)存儲(chǔ)節(jié)點(diǎn)。
[0021] 本發(fā)明提供另一種數(shù)據(jù)處理裝置，所述裝置包括：
[0022] 第二獲取單元，用于根據(jù)收到的恢復(fù)指令，獲取預(yù)先配置的恢復(fù)策略；
[0023] 第二控制單元，用于根據(jù)預(yù)先配置的恢復(fù)策略進(jìn)行數(shù)據(jù)的恢復(fù)。
[0024] 由上可知，本發(fā)明的技術(shù)方案包括：根據(jù)收到的備份指令，獲取預(yù)先配置的備份策 略；根據(jù)所述備份策略將數(shù)據(jù)存儲(chǔ)到至少一個(gè)存儲(chǔ)節(jié)點(diǎn)。由此，本發(fā)明能夠在備份窗口內(nèi)及 時(shí)完成數(shù)據(jù)備份。
【附圖說明】
[0025] 圖1為現(xiàn)有技術(shù)實(shí)現(xiàn)數(shù)據(jù)處理的示意圖；
[0026] 圖2為本發(fā)明一種數(shù)據(jù)處理方法的第一實(shí)施例的流程示意圖；
[0027] 圖3為本發(fā)明一種數(shù)據(jù)處理方法的第二實(shí)施例的流程示意圖；
[0028] 圖4為本發(fā)明一種數(shù)據(jù)處理方法的第三實(shí)施例的流程示意圖；
[0029] 圖5為本發(fā)明另一種數(shù)據(jù)處理方法的第一實(shí)施例的流程示意圖；
[0030] 圖6為本發(fā)明另一種數(shù)據(jù)處理方法的第二實(shí)施例的流程示意圖；
[0031] 圖7為本發(fā)明一種數(shù)據(jù)處理裝置的實(shí)施例的流程示意圖；
[0032] 圖8為本發(fā)明另一種數(shù)據(jù)處理裝置的實(shí)施例的流程示意圖；
[0033] 圖9為本發(fā)明實(shí)施例提供的實(shí)現(xiàn)數(shù)據(jù)處理方法的系統(tǒng)的結(jié)構(gòu)示意圖；
[0034] 圖10為本發(fā)明實(shí)施例提供的備份流程圖；
[0035] 圖11為本發(fā)明實(shí)施例提供的恢復(fù)流程圖。
【具體實(shí)施方式】
[0036] 本發(fā)明提供的一種數(shù)據(jù)處理方法的第一實(shí)施例，如圖2所示，所述方法包括：
[0037] 步驟201、根據(jù)收到的備份指令，獲取預(yù)先配置的備份策略；
[0038] 步驟202、根據(jù)所述備份策略將數(shù)據(jù)存儲(chǔ)到至少一個(gè)存儲(chǔ)節(jié)點(diǎn)。
[0039] 這里，可以通過控制備份代理來進(jìn)行多點(diǎn)協(xié)同備份，以將數(shù)據(jù)存儲(chǔ)到至少一個(gè)存 儲(chǔ)節(jié)點(diǎn)。所述備份代理的數(shù)量至少為一個(gè)，多個(gè)備份代理服務(wù)運(yùn)行在并行計(jì)算框架之上。這 樣，可以有效地提高備份的并行性，同時(shí)可以保證任務(wù)執(zhí)行的可靠性。
[0040] 所述備份代理可以安裝在HbaseRegionServer節(jié)點(diǎn)上，所述備份代理需要安裝 Hbase客戶端（client)軟件。這樣，可以利用數(shù)據(jù)本地化的特性來盡量減少網(wǎng)絡(luò)通信，提高 備份性能。備份代理也可以稱為備份代理節(jié)點(diǎn)。
[0041] 在實(shí)際應(yīng)用中，可以提供一個(gè)圖形界面供備份管理人員進(jìn)行備份策略的定制。
[0042] 具體的，所述備份策略可以包括：
[0043]
【主權(quán)項(xiàng)】
1. 一種數(shù)據(jù)處理方法，其特征在于，所述方法包括： 根據(jù)收到的備份指令，獲取預(yù)先配置的備份策略； 根據(jù)所述備份策略將數(shù)據(jù)存儲(chǔ)到至少一個(gè)存儲(chǔ)節(jié)點(diǎn)。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 記錄并顯示備份進(jìn)度信息。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 生成備份數(shù)據(jù)的索引。
4. 一種數(shù)據(jù)處理方法，其特征在于，所述方法包括： 根據(jù)收到的恢復(fù)指令，獲取預(yù)先配置的恢復(fù)策略； 根據(jù)預(yù)先配置的恢復(fù)策略進(jìn)行數(shù)據(jù)的恢復(fù)。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取預(yù)先配置的恢復(fù)策略之前，所述 方法還包括： 獲取備份數(shù)據(jù)的索引； 根據(jù)所述備份數(shù)據(jù)的索引在相應(yīng)的存儲(chǔ)節(jié)點(diǎn)查詢恢復(fù)指令對(duì)應(yīng)的數(shù)據(jù)，當(dāng)查詢到對(duì)應(yīng) 的數(shù)據(jù)時(shí)，執(zhí)行獲取預(yù)先配置的恢復(fù)策略的步驟。
6. -種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括： 第一獲取單元，用于根據(jù)收到的備份指令，獲取預(yù)先配置的備份策略； 第一控制單元，用于根據(jù)所述備份策略將數(shù)據(jù)存儲(chǔ)到至少一個(gè)存儲(chǔ)節(jié)點(diǎn)。
7. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括： 記錄單元，用于記錄并顯示備份進(jìn)度信息。
8. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括： 生成單元，用于記錄并顯示備份進(jìn)度信息。
9. 一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括： 第二獲取單元，用于根據(jù)收到的恢復(fù)指令，獲取預(yù)先配置的恢復(fù)策略； 第二控制單元，用于根據(jù)預(yù)先配置的恢復(fù)策略進(jìn)行數(shù)據(jù)的恢復(fù)。
10. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置還包括： 第三獲取單元，用于根據(jù)收到的恢復(fù)指令，獲取備份數(shù)據(jù)的索引； 查詢單元，用于根據(jù)所述備份數(shù)據(jù)的索引在相應(yīng)的存儲(chǔ)節(jié)點(diǎn)查詢恢復(fù)指令對(duì)應(yīng)的數(shù) 據(jù)，當(dāng)查詢到對(duì)應(yīng)的數(shù)據(jù)時(shí)，通知第二獲取單元執(zhí)行獲取預(yù)先配置的恢復(fù)策略的操作。
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)處理方法和裝置，其中，一種數(shù)據(jù)處理方法包括：根據(jù)收到的備份指令，獲取預(yù)先配置的備份策略；根據(jù)所述備份策略將數(shù)據(jù)存儲(chǔ)到至少一個(gè)存儲(chǔ)節(jié)點(diǎn)。另一種數(shù)據(jù)處理方法包括：根據(jù)收到的恢復(fù)指令，獲取預(yù)先配置的恢復(fù)策略；根據(jù)預(yù)先配置的恢復(fù)策略進(jìn)行數(shù)據(jù)的恢復(fù)。
【IPC分類】G06F11-14
【公開號(hào)】CN104765651
【申請(qǐng)?zhí)枴緾N201410004770
【發(fā)明人】陳欻, 阮前, 張健, 葉榮光
【申請(qǐng)人】中國移動(dòng)通信集團(tuán)福建有限公司
【公開日】2015年7月8日
【申請(qǐng)日】2014年1月6日