大數(shù)據(jù)遷移方法及工具的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)搬家工具，具體涉及到一種大數(shù)據(jù)遷移方法及工具。
【背景技術(shù)】
[0002]數(shù)據(jù)遷移是將在線磁盤設(shè)備中的數(shù)據(jù)按照指定方式遷移至下一級(jí)離線存儲(chǔ)設(shè)備中的技術(shù)，目前各個(gè)門戶類網(wǎng)站或運(yùn)營(yíng)支撐系統(tǒng)，在運(yùn)行過(guò)程中都會(huì)產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)的出賬、統(tǒng)計(jì)的時(shí)候需要搬遷或備份，搬遷過(guò)程中往往需要耗費(fèi)大量的時(shí)間，對(duì)于超過(guò)20G的數(shù)據(jù)庫(kù)文件搬遷，現(xiàn)有的搬遷工具一般采用oracle或mysql工具，而現(xiàn)有的oracle或mysql提供的技術(shù)基礎(chǔ)上，要完成20G數(shù)據(jù)搬遷需要超過(guò)5小時(shí)還需要專人值守，否則成功率太低，如此對(duì)于大數(shù)據(jù)搬遷效率太低，已經(jīng)慢慢地?zé)o法滿足現(xiàn)有快速發(fā)展的計(jì)算機(jī)技術(shù)。

【發(fā)明內(nèi)容】

[0003]為了解決上述存在的技術(shù)問(wèn)題，本發(fā)明提供一種大數(shù)據(jù)遷移方法及工具，可以在1小時(shí)內(nèi)完成20G數(shù)據(jù)庫(kù)的遷移工作。
[0004]本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案為:提供一種大數(shù)據(jù)遷移方法，包括以下步驟:
步驟一、將數(shù)據(jù)同步工具部署在一個(gè)獨(dú)立的設(shè)備上；
步驟二、定期啟動(dòng)數(shù)據(jù)備份流程；
步驟三、關(guān)閉源數(shù)據(jù)庫(kù)；
步驟四、判斷是否同時(shí)備份源數(shù)據(jù)庫(kù)程序，若是，則同時(shí)壓縮源數(shù)據(jù)庫(kù)程序和源數(shù)據(jù)文件，反之，則只壓縮源數(shù)據(jù)文件，在進(jìn)行壓縮的時(shí)候同時(shí)進(jìn)行了分割程序，分割后得到多個(gè)小壓縮文件；
步驟五、啟動(dòng)同步工具，通過(guò)同步工具啟動(dòng)多個(gè)并發(fā)線程進(jìn)行同時(shí)同步文件；
步驟六、同步結(jié)束后，解壓文件，開始恢復(fù)源數(shù)據(jù)庫(kù)；
步驟七、判斷目標(biāo)數(shù)據(jù)庫(kù)是否保留源數(shù)據(jù)庫(kù)程序，若是，則生成同源數(shù)據(jù)庫(kù)一樣的數(shù)據(jù)庫(kù)，反之，則建立新的數(shù)據(jù)庫(kù)；
步驟八、對(duì)目標(biāo)數(shù)據(jù)庫(kù)進(jìn)行統(tǒng)計(jì)分析。
[0005]進(jìn)一步，步驟二中啟動(dòng)備份流程是通過(guò)啟動(dòng)shell腳本實(shí)現(xiàn)的。
[0006]進(jìn)一步，步驟六中建立新的數(shù)據(jù)庫(kù)是通過(guò)執(zhí)行新的數(shù)據(jù)庫(kù)shell腳本實(shí)現(xiàn)的。
[0007]—種大數(shù)據(jù)遷移工具，包括:
a.源數(shù)據(jù)模塊，為源數(shù)據(jù)庫(kù)的載體；
b.數(shù)據(jù)備份模塊，用于將源數(shù)據(jù)模塊上的數(shù)據(jù)進(jìn)行拷貝備份；
c.數(shù)據(jù)壓縮分割模塊，用于將數(shù)據(jù)備份模塊上的源數(shù)據(jù)進(jìn)行壓縮，并在壓縮的過(guò)程中進(jìn)行分割，同時(shí)生成多個(gè)小壓縮文件； d.數(shù)據(jù)同步模塊，啟動(dòng)多個(gè)并發(fā)線程進(jìn)行源數(shù)據(jù)文件的同步分割壓縮；
e.數(shù)據(jù)解壓模塊，將生成的多個(gè)小壓縮文件進(jìn)行解壓恢復(fù)；
f.數(shù)據(jù)合并模塊，用于將解壓后多個(gè)小數(shù)據(jù)文件合并；
g.目標(biāo)數(shù)據(jù)模塊，合并后的數(shù)據(jù)即為最終的目標(biāo)數(shù)據(jù)庫(kù)；
本發(fā)明的有益效果為:采用本發(fā)明所述的大數(shù)據(jù)遷移方法及工具，可以實(shí)現(xiàn)1小時(shí)內(nèi)完成20G數(shù)據(jù)的搬遷，特別的，在大數(shù)據(jù)遷移方法中，通過(guò)增加判斷是否保留源數(shù)據(jù)庫(kù)程序的備份文件，使得可以根據(jù)實(shí)際需求，做出對(duì)源數(shù)據(jù)庫(kù)的舍棄或者保留，且對(duì)于大數(shù)據(jù)處理，在壓縮的過(guò)程中同時(shí)進(jìn)行了分割處理，將大數(shù)據(jù)分割為多個(gè)小數(shù)據(jù)，最后再通過(guò)數(shù)據(jù)合并模塊進(jìn)行數(shù)據(jù)合并，得到了目標(biāo)數(shù)據(jù)庫(kù)，以便后續(xù)的數(shù)據(jù)統(tǒng)計(jì)分析。
【附圖說(shuō)明】
[0008]下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明做進(jìn)一步詳細(xì)說(shuō)明。
[0009]圖1是本發(fā)明大數(shù)據(jù)遷移方法的流程圖；
圖2是本發(fā)明大數(shù)據(jù)遷移工具結(jié)構(gòu)示意圖；
【具體實(shí)施方式】
[0010]如圖1所示，提供一種大數(shù)據(jù)遷移方法，其包括以下步驟:
步驟一 101、將數(shù)據(jù)同步工具部署在一個(gè)單獨(dú)的設(shè)備上；
步驟二 102、定期啟動(dòng)備份shell腳本程序，該定期優(yōu)選的為每月對(duì)源數(shù)據(jù)庫(kù)進(jìn)行備份存儲(chǔ)；
步驟三103、在數(shù)據(jù)遷移前，關(guān)閉源數(shù)據(jù)庫(kù)，此處源數(shù)據(jù)文件大小為20G ；
步驟四104、通過(guò)shell腳本在備份源數(shù)據(jù)庫(kù)中的數(shù)據(jù)時(shí)，判斷是否同時(shí)備份源數(shù)據(jù)庫(kù)程序，若是，則同時(shí)壓縮源數(shù)據(jù)庫(kù)程序和源數(shù)據(jù)文件，反之若否，則只壓縮源數(shù)據(jù)文件，在進(jìn)行20G源數(shù)據(jù)壓縮的時(shí)候同時(shí)進(jìn)行了分割程序，20G的源數(shù)據(jù)文件分割后得到200個(gè)小壓縮文件；
步驟五105、壓縮結(jié)束后，啟動(dòng)同步工具，同步工具啟動(dòng)20個(gè)并發(fā)線程開始同時(shí)同步200個(gè)小壓縮文件；
步驟六106、同步結(jié)束后，解壓200個(gè)小壓縮文件，恢復(fù)成源數(shù)據(jù)庫(kù)；
步驟七107、判斷目標(biāo)數(shù)據(jù)庫(kù)是否需要保留源數(shù)據(jù)庫(kù)程序，若是，則生成了同源數(shù)據(jù)庫(kù)一樣的數(shù)據(jù)庫(kù)，反之若否，則執(zhí)行新的數(shù)據(jù)庫(kù)shell腳本建立新的數(shù)據(jù)庫(kù)；
步驟八108、可以對(duì)目標(biāo)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。
[0011]完成上述步驟一至步驟八花費(fèi)時(shí)間在1小時(shí)以內(nèi)，為一種非?？焖儆行У拇髷?shù)據(jù)搬遷方法。
[0012]如圖2所示，為圖1所述大數(shù)據(jù)遷移方法所配工具，是由源數(shù)據(jù)模塊1、數(shù)據(jù)備份模塊2、數(shù)據(jù)壓縮分割模塊3、數(shù)據(jù)同步模塊4、數(shù)據(jù)解壓模塊5、數(shù)據(jù)合并模塊6和目標(biāo)數(shù)據(jù)模塊7組成的。
[0013]其中源數(shù)據(jù)模塊1為原始數(shù)據(jù)庫(kù)的載體；數(shù)據(jù)備份模塊2用于將源數(shù)據(jù)模塊1上的數(shù)據(jù)庫(kù)備份存儲(chǔ)；數(shù)據(jù)壓縮分割模塊3用于將備份后的數(shù)據(jù)庫(kù)進(jìn)行壓縮，并在壓縮的過(guò)程中進(jìn)行分割，同時(shí)生成多個(gè)小壓縮文件；數(shù)據(jù)同步模塊4通過(guò)啟動(dòng)多個(gè)并發(fā)線程進(jìn)行源數(shù)據(jù)文件的同步分割壓縮；數(shù)據(jù)解壓模塊5用于將生成的多個(gè)小壓縮文件進(jìn)行解壓恢復(fù)；數(shù)據(jù)合并模塊6用于將解壓后的多個(gè)小數(shù)據(jù)文件合并生產(chǎn)一個(gè)整體數(shù)據(jù)庫(kù)即為目標(biāo)數(shù)據(jù)模塊7。
[0014]以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說(shuō)明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說(shuō)明，對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡(jiǎn)單推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.一種大數(shù)據(jù)遷移方法，其特征在于:包括以下步驟: 步驟一、將數(shù)據(jù)同步工具部署在一個(gè)獨(dú)立的設(shè)備上； 步驟二、定期啟動(dòng)數(shù)據(jù)備份流程； 步驟三、關(guān)閉源數(shù)據(jù)庫(kù)； 步驟四、判斷是否同時(shí)備份源數(shù)據(jù)庫(kù)程序，若是，則同時(shí)壓縮源數(shù)據(jù)庫(kù)程序和源數(shù)據(jù)文件，反之，則只壓縮源數(shù)據(jù)文件，在進(jìn)行壓縮的時(shí)候同時(shí)進(jìn)行了分割程序，分割后得到多個(gè)小壓縮文件； 步驟五、啟動(dòng)同步工具，通過(guò)同步工具啟動(dòng)多個(gè)并發(fā)線程進(jìn)行同時(shí)同步文件； 步驟六、同步結(jié)束后，解壓文件，開始恢復(fù)源數(shù)據(jù)庫(kù)； 步驟七、判斷目標(biāo)數(shù)據(jù)庫(kù)是否保留源數(shù)據(jù)庫(kù)程序，若是，則生成同源數(shù)據(jù)庫(kù)一樣的數(shù)據(jù)庫(kù)，反之，則建立新的數(shù)據(jù)庫(kù)； 步驟八、對(duì)目標(biāo)數(shù)據(jù)庫(kù)進(jìn)行統(tǒng)計(jì)分析。2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)遷移方法，其特征在于:步驟二中啟動(dòng)備份流程是通過(guò)啟動(dòng)shell腳本實(shí)現(xiàn)的。3.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)遷移方法，其特征在于:步驟六中建立新的數(shù)據(jù)庫(kù)是通過(guò)執(zhí)行新的數(shù)據(jù)庫(kù)shell腳本實(shí)現(xiàn)的。4.一種大數(shù)據(jù)遷移工具，其特征在于:包括: a.源數(shù)據(jù)模塊，為源數(shù)據(jù)庫(kù)的載體； b.數(shù)據(jù)備份模塊，用于將源數(shù)據(jù)模塊上的數(shù)據(jù)進(jìn)行拷貝備份； c.數(shù)據(jù)壓縮分割模塊，用于將數(shù)據(jù)備份模塊上的源數(shù)據(jù)進(jìn)行壓縮，并在壓縮的過(guò)程中進(jìn)行分割，同時(shí)生成多個(gè)小壓縮文件； d.數(shù)據(jù)同步模塊，啟動(dòng)多個(gè)并發(fā)線程進(jìn)行源數(shù)據(jù)文件的同步分割壓縮； e.數(shù)據(jù)解壓模塊，將生成的多個(gè)小壓縮文件進(jìn)行解壓恢復(fù)； f.數(shù)據(jù)合并模塊，用于將解壓后多個(gè)小數(shù)據(jù)文件合并； g.目標(biāo)數(shù)據(jù)模塊，合并后的數(shù)據(jù)即為最終的目標(biāo)數(shù)據(jù)庫(kù)。
【專利摘要】本發(fā)明公開了一種大數(shù)據(jù)遷移方法及工具，所述方法包括：一、數(shù)據(jù)同步工具部署在獨(dú)立的設(shè)備上，二、數(shù)據(jù)備份，三、關(guān)閉源數(shù)據(jù)庫(kù)，四、判斷是否同時(shí)備份源數(shù)據(jù)庫(kù)程序，并分割壓縮數(shù)據(jù)文件，五、同步工具啟動(dòng)并發(fā)線程進(jìn)行文件同步，六、解壓文件，七、判斷解壓時(shí)是否保留源數(shù)據(jù)庫(kù)程序并建立數(shù)據(jù)庫(kù)，八、統(tǒng)計(jì)分析。所述大數(shù)據(jù)遷移工具包括源數(shù)據(jù)模塊、數(shù)據(jù)備份模塊、數(shù)據(jù)壓縮分割模塊、數(shù)據(jù)同步模塊、數(shù)據(jù)解壓模塊、數(shù)據(jù)合并模塊和目標(biāo)數(shù)據(jù)模塊。本發(fā)明可實(shí)現(xiàn)1小時(shí)內(nèi)完成20G數(shù)據(jù)的搬遷，為一種非?？焖儆行У拇髷?shù)據(jù)搬遷方法及工具。
【IPC分類】G06F17/30
【公開號(hào)】CN105389312
【申請(qǐng)?zhí)枴緾N201410447120
【發(fā)明人】瞿國(guó)桂
【申請(qǐng)人】上海福網(wǎng)信息科技有限公司
【公開日】2016年3月9日
【申請(qǐng)日】2014年9月4日