一種基于oracle數(shù)據(jù)庫大數(shù)據(jù)量在線遷移的方法
【技術(shù)領域】
[0001]本發(fā)明涉及基于Oracle數(shù)據(jù)庫的大數(shù)據(jù)遷移技術(shù)，具體的說就是一種基于oracle數(shù)據(jù)庫大數(shù)據(jù)量在線遷移的方法。
【背景技術(shù)】
[0002]數(shù)據(jù)遷移通俗的說就是將數(shù)據(jù)從一個數(shù)據(jù)庫轉(zhuǎn)移到另一個數(shù)據(jù)庫中。主要使用場景有:根據(jù)正式系統(tǒng)搭建測試環(huán)境、從內(nèi)網(wǎng)復制到外網(wǎng)、數(shù)據(jù)庫服務器硬件升級等。數(shù)據(jù)遷移需要考慮的因素很多，比如操作系統(tǒng)類別、數(shù)據(jù)庫類型、版本、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)規(guī)模、最小允許巖機時間等等。
[0003]數(shù)據(jù)泵技術(shù)是基于PL/SQL的DBMS_DATAPUMP提供的通過兩個方式可以使用，一個是命令行模式，一個是基于WEB的企業(yè)級別圖像界面管理工具完成數(shù)據(jù)的遷移。
[0004]GoldenGate軟件提供了一個單一的平臺，這個平臺可以為任何企業(yè)環(huán)境實現(xiàn)秒一級的災難備份。GoldenGate是一種基于于日志的結(jié)構(gòu)化數(shù)據(jù)復制方式，它通過解析源數(shù)據(jù)庫在線日志或歸檔日志獲得數(shù)據(jù)的增刪改變化(數(shù)據(jù)量只有日志的四分之一左右)，再將這些變化應用到目標數(shù)據(jù)庫，實現(xiàn)源數(shù)據(jù)庫與目標數(shù)據(jù)庫同步、雙活。Oracle GoldenGateVeridata是數(shù)據(jù)比較解決方案，可識別并報告兩個活動數(shù)據(jù)庫之間的差異。
[0005]目前常規(guī)的數(shù)據(jù)遷移方法有:
I)使用imp/eXp工具遷移，先在源庫執(zhí)行直接路徑導出操作，然后在目標庫執(zhí)行導入操作。MP/EXP的執(zhí)行速度主要受限于磁盤及網(wǎng)絡，對大數(shù)據(jù)量遷移無法滿足停機時間短問題。
[0006]2)使用impdp/expdp工具遷移。同樣在源庫執(zhí)行導出，在目標庫執(zhí)行導入。操作速度能得到極大提升。MPDP/EXPDP速度主要受限于磁盤，而磁盤速度依然無法滿足大數(shù)據(jù)量短時間遷移要求。
[0007]3)使用表空間遷移。將表空間的元數(shù)據(jù)導出，和數(shù)據(jù)文件一起，復制到新庫，然后執(zhí)行元數(shù)據(jù)導入。速度相當快，但使用限制比較多，如表空間自包含問題，以及在跨平臺遷移需要考慮數(shù)據(jù)編碼是否需要轉(zhuǎn)換，只能對特定的數(shù)據(jù)庫進行數(shù)據(jù)遷移。

【發(fā)明內(nèi)容】

[0008]本發(fā)明針對目前存在的技術(shù)問題，提出了一種基于oracle數(shù)據(jù)庫大數(shù)據(jù)量在線遷移的方法。
[0009]本發(fā)明所述一種基于oracle數(shù)據(jù)庫大數(shù)據(jù)量在線遷移的方法，解決上述技術(shù)問題采用的技術(shù)方案如下:該方法是使用傳統(tǒng)工具數(shù)據(jù)泵expdp/impdp、exp/imp和容災工具goldengate來完成大數(shù)據(jù)在線遷移,主要采用Oracle邏輯備份工具數(shù)據(jù)泵expdp/impdp完成基于時間點的原始數(shù)據(jù)遷移，同時使用oracle災備工具goldengate進行增量數(shù)據(jù)遷移，并配合使用Oracle verdiata進行數(shù)據(jù)一致性比對，保證數(shù)據(jù)完整性；通過本發(fā)明所述方法能夠?qū)崿F(xiàn)跨平臺、跨版本的數(shù)據(jù)遷移、大數(shù)據(jù)量零停機遷移。
[0010]優(yōu)選的，該基于oracle數(shù)據(jù)庫大數(shù)據(jù)量在線遷移的方法，通過oracle傳統(tǒng)數(shù)據(jù)泵工具expdp/impdp將數(shù)據(jù)庫某一個SCN點數(shù)據(jù)在線遷移到目標端數(shù)據(jù)庫，并通過oracle goldengate單向同步技術(shù)將增量數(shù)據(jù)同步到目標端完成數(shù)據(jù)庫，同時使用oracleveridata工具對源端和目標端數(shù)據(jù)進行對比保證數(shù)據(jù)完整性。
[0011]優(yōu)選的，該基于oracle數(shù)據(jù)庫大數(shù)據(jù)量在線遷移的方法，主要包括如下步驟:
1)在源端和目標端部署OracleGoldenGate應用程序，根據(jù)遷移對象配置源端捕獲和投遞進程組，采用oracle goldengate單向同步模式,在源端開啟捕獲進程和投遞進程；
2)記錄源端當前數(shù)據(jù)庫SCN;
3)使用數(shù)據(jù)泵expdp工具將原始數(shù)據(jù)導出；
4)將源端導出文件傳輸?shù)侥繕硕藢肽夸浿校?br> 5)根據(jù)源端數(shù)據(jù)導出方式，目標端采用相同的模式將原始數(shù)據(jù)導入目標端數(shù)據(jù)庫；
6)目標端進行增量數(shù)據(jù)同步；
7)在源端和目標端上部署OracleVeridatda agent程序，agent程序用來連接數(shù)據(jù)庫，使用Veridata進行源端和目標端數(shù)據(jù)比對。
[0012]本發(fā)明的一種基于oracle數(shù)據(jù)庫大數(shù)據(jù)量在線遷移的方法與現(xiàn)有技術(shù)相比具有的有益效果是:該方法是一種可靠的、靈活的、易操作的數(shù)據(jù)庫大數(shù)據(jù)遷移方法，避免了數(shù)據(jù)遷移過程停機時間過長問題，相比目前的一般遷移方法，實現(xiàn)了數(shù)據(jù)庫零停機完成數(shù)據(jù)遷移，避免大數(shù)據(jù)遷移過程中停機時間過長問題；實現(xiàn)跨平臺、跨版本數(shù)據(jù)遷移，避免了跨平臺版本遷移過程中數(shù)據(jù)編碼格式轉(zhuǎn)換問題；保證了遷移過程中數(shù)據(jù)的安全性，實現(xiàn)了數(shù)據(jù)遷移零風險；該方法同樣適用于小數(shù)據(jù)量數(shù)據(jù)庫的在線遷移。
【附圖說明】
[0013]附圖1為所述基于oracle數(shù)據(jù)庫大數(shù)據(jù)量在線遷移的方法的拓撲圖。
【具體實施方式】
[0014]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參考附圖，對本發(fā)明所述一種基于oracle數(shù)據(jù)庫大數(shù)據(jù)量在線遷移的方法進一步詳細說明。
[0015]本發(fā)明所述一種基于oracle數(shù)據(jù)庫大數(shù)據(jù)量在線遷移的方法，主要采用Oracle邏輯備份工具數(shù)據(jù)泵expdp/impdp完成基于時間點的原始數(shù)據(jù)遷移，同時使用oracle災備工具goldengate進行增量數(shù)據(jù)遷移，并配合使用Oracle verdiata進行數(shù)據(jù)一致性比對，保證數(shù)據(jù)完整性。采用本發(fā)明可以實現(xiàn)跨平臺、跨版本的數(shù)據(jù)遷移、大數(shù)據(jù)量零停機遷移。
[0016]實施例1:
本實施例所述一種基于oracle數(shù)據(jù)庫大數(shù)據(jù)量在線遷移的方法，通過oracle傳統(tǒng)數(shù)據(jù)泵工具expdp/impdp將數(shù)據(jù)庫某一個SCN點數(shù)據(jù)在線遷移到目標端數(shù)據(jù)庫，并通過oracle goldengate單向同步技術(shù)將增量數(shù)據(jù)同步到目標端完成數(shù)據(jù)庫，同時使用oracleveridata工具對源端和目標端數(shù)據(jù)進行對比保證數(shù)據(jù)完整性。
[0017]本實施例所述基于oracle數(shù)據(jù)庫大數(shù)據(jù)量在線遷移的方法，如附圖1所示，其具體實施過程如下:
I)在源端和目標端服務器部署Oracle GoldenGate應用程序，根據(jù)遷移對象配置源端捕獲和投遞進程組，采用oracle goldengate單向同步模式,在源端開啟捕獲進程和投遞進程。源端Goldengate利用捕捉進程(Extract Process)在源端數(shù)據(jù)庫中讀取OnlineRedo Log