，通過獲取指定服務(wù)器創(chuàng)建的HBase表以及獲取待迀移數(shù)據(jù)，并根據(jù)所述HBase表將待迀移數(shù)據(jù)生成指定格式的數(shù)據(jù)文件，以將指定格式的數(shù)據(jù)文件迀移至所述指定服務(wù)器創(chuàng)建的HBase表中，解決了現(xiàn)有技術(shù)中將服務(wù)器集群拆解成單獨的服務(wù)器進行運算時無法將每單臺服務(wù)器生成的HFile文件導(dǎo)入到服務(wù)器集群的HBase表中的問題，且有效地提高了數(shù)據(jù)迀移效率。
[0057]本發(fā)明還提供一種數(shù)據(jù)迀移裝置，圖3為該數(shù)據(jù)迀移裝置的結(jié)構(gòu)示意圖，該裝置可以應(yīng)用于對服務(wù)器集群進行拆解后的獨立服務(wù)器，該數(shù)據(jù)迀移裝置可以包括獲取單元301、生成單元302以及迀移單元303，其中:
[0058]獲取單元301，用于獲取指定服務(wù)器創(chuàng)建的HBase表；
[0059]生成單元302，用于獲取待迀移數(shù)據(jù)，并根據(jù)所述HBase表將所述待迀移數(shù)據(jù)生成指定格式的數(shù)據(jù)文件；其中，所述待迀移數(shù)據(jù)為按照所述服務(wù)器集群拆解后獲得的獨立服務(wù)器數(shù)量對所有待迀移數(shù)據(jù)進行拆分后，分配給各個獨立服務(wù)器分別處理的對應(yīng)數(shù)據(jù)；
[0060]迀移單元303，用于將所述指定格式的數(shù)據(jù)文件迀移至所述指定服務(wù)器創(chuàng)建的HBase表中。
[0061]進一步地，所述裝置還包括添加單元304，用于將被拆解前的服務(wù)器集群所包括的所有服務(wù)器添加至新的服務(wù)器集群；將所述指定服務(wù)器作為所述新的服務(wù)器集群的主服務(wù)器。
[0062]進一步地，所述生成單元302具體將獲取的所述待迀移數(shù)據(jù)保存至所述獨立服務(wù)器的指定位置；根據(jù)預(yù)設(shè)的批處理算法將所述獨立服務(wù)器的指定位置中的待迀移數(shù)據(jù)生成HFile文件。
[0063]進一步地，所述迀移單元303具體將所述指定格式的數(shù)據(jù)文件迀移至所述指定服務(wù)器的指定位置，以使所述指定服務(wù)器將所述指定位置中的所述指定格式的數(shù)據(jù)文件添加至所述指定服務(wù)器創(chuàng)建的HBase表中。
[0064]進一步地，所述裝置還包括發(fā)送單元305，用于當(dāng)所述獨立服務(wù)器為所述指定服務(wù)器時，將所述主服務(wù)器創(chuàng)建的HBase表發(fā)送至拆解前的服務(wù)器集群所包括的其他服務(wù)器。
[0065]本發(fā)明應(yīng)用于獨立服務(wù)器的數(shù)據(jù)迀移裝置在具體的處理流程中可以與上述數(shù)據(jù)迀移方法的處理流程一致，在此不再贅述。
[0066]上述裝置可以通過軟件實現(xiàn)，也可以通過硬件實現(xiàn)，本發(fā)明數(shù)據(jù)迀移裝置所在網(wǎng)絡(luò)設(shè)備的硬件架構(gòu)示意圖均可參考圖4所示，其基本硬件環(huán)境包括中央處理器CPU、轉(zhuǎn)發(fā)芯片、存儲器以及其他硬件，其中存儲器件中包括機器可讀指令，CPU讀取并執(zhí)行機器可讀指令執(zhí)行圖3中各單元的功能。
[0067]從以上各種方法和裝置的實施方式中可以看出，本發(fā)明實施例提供的數(shù)據(jù)迀移方法以及裝置，通過獲取指定服務(wù)器創(chuàng)建的HBase表以及獲取待迀移數(shù)據(jù)，并根據(jù)所述HBase表將待迀移數(shù)據(jù)生成指定格式的數(shù)據(jù)文件，將指定格式的數(shù)據(jù)文件迀移至所述指定服務(wù)器創(chuàng)建的HBase表中，解決了現(xiàn)有技術(shù)中利用服務(wù)器集群整體運算的方式降低整個數(shù)據(jù)迀移過程的效率的問題，并保證了將服務(wù)器集群拆解成單獨的服務(wù)器進行運算時，每單臺服務(wù)器生成的HFile文件可以導(dǎo)入到服務(wù)器集群的HBase表中，進而顯著提高了數(shù)據(jù)迀移時間。
[0068]以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明保護的范圍之內(nèi)。
【主權(quán)項】
1.一種數(shù)據(jù)迀移方法，其特征在于，所述方法應(yīng)用于對服務(wù)器集群進行拆解后的獨立服務(wù)器，所述方法包括: 獲取指定服務(wù)器創(chuàng)建的HBase表； 獲取待迀移數(shù)據(jù)，并根據(jù)所述HBase表將所述待迀移數(shù)據(jù)生成指定格式的數(shù)據(jù)文件；其中，所述待迀移數(shù)據(jù)為按照所述服務(wù)器集群拆解后獲得的獨立服務(wù)器數(shù)量對所有待迀移數(shù)據(jù)進行拆分后，分配給各個獨立服務(wù)器分別處理的對應(yīng)數(shù)據(jù)； 將所述指定格式的數(shù)據(jù)文件迀移至所述指定服務(wù)器創(chuàng)建的HBase表中。2.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 將被拆解前的服務(wù)器集群所包括的所有服務(wù)器添加至新的服務(wù)器集群； 將所述指定服務(wù)器作為所述新的服務(wù)器集群的主服務(wù)器。3.如權(quán)利要求1或2所述的方法，其特征在于，根據(jù)所述HBase表將所述待迀移數(shù)據(jù)生成指定格式的數(shù)據(jù)文件具體包括: 將獲取的所述待迀移數(shù)據(jù)保存至所述獨立服務(wù)器的指定位置； 根據(jù)預(yù)設(shè)的批處理算法將所述獨立服務(wù)器的指定位置中的待迀移數(shù)據(jù)生成HFile文件。4.如權(quán)利要求1或2所述的方法，其特征在于，將所述指定格式的數(shù)據(jù)文件迀移至所述指定服務(wù)器創(chuàng)建的HBase表中具體包括: 將所述指定格式的數(shù)據(jù)文件迀移至所述指定服務(wù)器的指定位置，以使所述指定服務(wù)器將所述指定位置中的所述指定格式的數(shù)據(jù)文件添加至所述指定服務(wù)器創(chuàng)建的HBase表中。5.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 若所述獨立服務(wù)器為所述指定服務(wù)器，將所述指定服務(wù)器創(chuàng)建的HBase表發(fā)送至拆解前的服務(wù)器集群所包括的其他服務(wù)器。6.一種數(shù)據(jù)迀移裝置，其特征在于，所述裝置應(yīng)用于對服務(wù)器集群進行拆解后的獨立服務(wù)器，所述裝置包括: 獲取單元，用于獲取指定服務(wù)器創(chuàng)建的HBase表； 生成單元，用于獲取待迀移數(shù)據(jù)，并根據(jù)所述HBase表將所述待迀移數(shù)據(jù)生成指定格式的數(shù)據(jù)文件；其中，所述待迀移數(shù)據(jù)為按照所述服務(wù)器集群拆解后獲得的獨立服務(wù)器數(shù)量對所有待迀移數(shù)據(jù)進行拆分后，分配給各個獨立服務(wù)器分別處理的對應(yīng)數(shù)據(jù)； 迀移單元，用于將所述指定格式的數(shù)據(jù)文件迀移至所述指定服務(wù)器創(chuàng)建的HBase表中。7.如權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括添加單元，所述添加單元用于: 將被拆解前的服務(wù)器集群所包括的所有服務(wù)器添加至新的服務(wù)器集群； 將所述指定服務(wù)器作為所述新的服務(wù)器集群的主服務(wù)器。8.如權(quán)利要求6或7所述的裝置，其特征在于，所述生成單元具體用于: 將獲取的所述待迀移數(shù)據(jù)保存至所述獨立服務(wù)器的指定位置； 根據(jù)預(yù)設(shè)的批處理算法將所述獨立服務(wù)器的指定位置中的待迀移數(shù)據(jù)生成HFile文件。9.如權(quán)利要求6或7所述的裝置，其特征在于，所述迀移單元具體用于: 將所述指定格式的數(shù)據(jù)文件迀移至所述指定服務(wù)器的指定位置，以使所述指定服務(wù)器將所述指定位置中的所述指定格式的數(shù)據(jù)文件添加至所述指定服務(wù)器創(chuàng)建的HBase表中。10.如權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括: 發(fā)送單元，用于當(dāng)所述獨立服務(wù)器為所述指定服務(wù)器時，將所述主服務(wù)器創(chuàng)建的HBase表發(fā)送至拆解前的服務(wù)器集群所包括的其他服務(wù)器。
【專利摘要】本發(fā)明提供一種數(shù)據(jù)遷移方法以及裝置，其中該方法包括：獲取指定服務(wù)器創(chuàng)建的HBase表；獲取待遷移數(shù)據(jù)，并根據(jù)所述HBase表將所述待遷移數(shù)據(jù)生成指定格式的數(shù)據(jù)文件；其中，所述待遷移數(shù)據(jù)為按照所述服務(wù)器集群拆解后獲得的獨立服務(wù)器數(shù)量對所有待遷移數(shù)據(jù)進行拆分后，分配給各個獨立服務(wù)器分別處理的對應(yīng)數(shù)據(jù)；將所述指定格式的數(shù)據(jù)文件遷移至所述指定服務(wù)器創(chuàng)建的HBase表中。本發(fā)明解決了現(xiàn)有技術(shù)中將服務(wù)器集群拆解成單獨的服務(wù)器進行運算時無法將每單臺服務(wù)器生成的HFile文件導(dǎo)入到服務(wù)器集群的HBase表中的問題，且有效地提高了數(shù)據(jù)遷移效率。
【IPC分類】G06F17/30
【公開號】CN105205154
【申請?zhí)枴緾N201510618480
【發(fā)明人】黃群
【申請人】浙江宇視科技有限公司
【公開日】2015年12月30日
【申請日】2015年9月24日