分布式硬盤系統(tǒng)及在其中進(jìn)行數(shù)據(jù)遷移的方法
【專利摘要】本發(fā)明涉及一種分布式硬盤系統(tǒng)，其包括，一移動式硬盤陣列，擁有多硬盤及其各自并行數(shù)據(jù)接口連接線，用于存儲拷貝數(shù)據(jù)；多硬盤上各自接口數(shù)據(jù)控制器，用于連接服務(wù)器外置I\O接口，記錄拷貝文件及目錄的名稱、大小、數(shù)量及邏輯關(guān)系；一硬盤陣列主控器系統(tǒng)，用于控制接口數(shù)據(jù)控制器，實現(xiàn)數(shù)據(jù)文件的同步并行上傳、下載并記錄各硬盤復(fù)制文件及目錄的名稱、大小、數(shù)量的總數(shù)及其邏輯關(guān)系。本發(fā)明的分布式硬盤系統(tǒng)及在其中進(jìn)行數(shù)據(jù)遷移的方法可以有效加快數(shù)據(jù)文件及目錄傳輸速率以及提高其使用效率。
【專利說明】分布式硬盤系統(tǒng)及在其中進(jìn)行數(shù)據(jù)遷移的方法
【【技術(shù)領(lǐng)域】】
[0001]本發(fā)明涉及大數(shù)據(jù)存儲領(lǐng)域，尤其涉及一種端對端分布式硬盤系統(tǒng)及在其中進(jìn)行數(shù)據(jù)遷移的方法。
【【背景技術(shù)】】
[0002]在超算服務(wù)中，數(shù)據(jù)傳輸效率是帶有普遍性的瓶頸因素。目前的分布式系統(tǒng)中的大數(shù)據(jù)傳輸，無論上傳還是下載，一般通過單點復(fù)制的方式進(jìn)行。即首先通過某臺服務(wù)器，以全局拷貝的方式，將原業(yè)務(wù)系統(tǒng)中分布在各服務(wù)器硬盤或硬盤陣列上的相關(guān)數(shù)據(jù)傳輸?shù)酱尜A介質(zhì)上，而在超算端，則需要由另一臺數(shù)據(jù)服務(wù)器，完成大數(shù)據(jù)的讀取、上載并分配到超算指定區(qū)域。這種多對一、一對多的大規(guī)模數(shù)據(jù)匯聚、處理及復(fù)制過程，完全依賴于單臺服務(wù)器的運算性能及1\0水平，在數(shù)據(jù)傳輸過程中，其他運算節(jié)點的計算及1\0能力則完全閑置。本發(fā)明將改變上述傳輸模式，通過改變數(shù)據(jù)傳輸模式，以同步、并行、多對多的數(shù)據(jù)復(fù)制模式，充分利用系統(tǒng)整體的處理能力，使數(shù)據(jù)的下載及上傳效率獲得幾何增長。
【
【發(fā)明內(nèi)容】
】
[0003]本發(fā)明要解決的技術(shù)問題在于數(shù)據(jù)庫的數(shù)據(jù)傳輸速率慢及使用效率低，為此，本發(fā)明一方面提供一種分布式硬盤系統(tǒng)，其包括，
[0004]一移動式硬盤陣列，擁有多硬盤及其各自并行數(shù)據(jù)接口連接線，用于存儲拷貝數(shù)據(jù)；
[0005]多硬盤上各自接口數(shù)據(jù)控制器，用于連接服務(wù)器外置1\0接口，記錄拷貝文件及目錄的名稱、大小、數(shù)量及邏輯關(guān)系；
[0006]一硬盤陣列主控器系統(tǒng)，用于控制接口數(shù)據(jù)控制器，實現(xiàn)數(shù)據(jù)文件的同步并行上傳、下載并記錄各硬盤復(fù)制文件及目錄的名稱、大小、數(shù)量的總數(shù)及其邏輯關(guān)系。
[0007]本發(fā)明還提供一種在所述分布式硬盤系統(tǒng)中進(jìn)行數(shù)據(jù)遷移的方法，其特征在于，其包括以下步驟:
[0008](一)、將分布式硬盤系統(tǒng)中各硬盤分別連接到源服務(wù)器群各服務(wù)器數(shù)據(jù)接口上，由源服務(wù)器操作系統(tǒng)進(jìn)行識別、連接后，通過發(fā)布命令將源文件及源目錄進(jìn)行拷貝，過程中由接口數(shù)據(jù)控制器記錄源文件及源目錄的名稱、大小、數(shù)量及其邏輯關(guān)系；
[0009](二)、將源文件及源目錄的名稱、大小、數(shù)量及邏輯關(guān)系向所述硬盤陣列主控器系統(tǒng)匯集，形成完整的源數(shù)據(jù)描述系統(tǒng)；
[0010](三)、將分布式硬盤系統(tǒng)各硬盤并行連接到目標(biāo)服務(wù)器群服務(wù)器上，由目標(biāo)服務(wù)器操作系統(tǒng)進(jìn)行識別、連接后，發(fā)布命令對其所攜帶的源文件及源目錄進(jìn)行拷貝；
[0011](四)、讀取移動硬盤陣列中的數(shù)據(jù)特征記錄，與源數(shù)據(jù)系統(tǒng)進(jìn)行完整性及關(guān)系性檢驗，通過文件目錄掃描，并根據(jù)數(shù)據(jù)邏輯關(guān)系重建源數(shù)據(jù)系統(tǒng)。
[0012]本發(fā)明的分布式硬盤系統(tǒng)及在其中進(jìn)行數(shù)據(jù)遷移的方法，通過設(shè)計多接口的移動式硬盤陣列及其硬盤陣列主控器系統(tǒng)，實現(xiàn)了從分布式文件系統(tǒng)中同步上傳、下載數(shù)據(jù)，從而避免了大數(shù)據(jù)傳輸中在上傳、下載時單點拷貝的瓶頸因素，可以有效加快數(shù)據(jù)傳輸及其使用效率。
【【專利附圖】

【附圖說明】】
[0013]圖1為本發(fā)明一實施例分布式硬盤系統(tǒng)的系統(tǒng)架構(gòu)示意圖。
【【具體實施方式】】
[0014]參考圖1所示，本實施例公開的一種分布式硬盤系統(tǒng)，其包括，
[0015]一移動式硬盤陣列，擁有多硬盤及其各自并行數(shù)據(jù)接口連接線，用于存儲拷貝數(shù)據(jù)；
[0016]多硬盤上各自接口數(shù)據(jù)控制器，用于連接服務(wù)器外置1\0接口，記錄拷貝文件及目錄的名稱、大小、數(shù)量及邏輯關(guān)系；
[0017]一硬盤陣列主控器系統(tǒng)，用于控制接口數(shù)據(jù)控制器，實現(xiàn)數(shù)據(jù)文件的同步并行上傳、下載并記錄各硬盤復(fù)制文件及目錄的名稱、大小、數(shù)量的總數(shù)及其邏輯關(guān)系。
[0018]本發(fā)明還提供一種在所述分布式硬盤系統(tǒng)中進(jìn)行數(shù)據(jù)遷移的方法，其特征在于，其包括以下步驟:
[0019](一)、將分布式硬盤系統(tǒng)中各硬盤分別連接到源服務(wù)器群各服務(wù)器數(shù)據(jù)接口上，由源服務(wù)器操作系統(tǒng)進(jìn)行識別、連接后，通過發(fā)布命令將源文件及源目錄進(jìn)行拷貝，過程中由接口數(shù)據(jù)控制器記錄源文件及源目錄的名稱、大小、數(shù)量及其邏輯關(guān)系；
[0020](二)、將源文件及源目錄的名稱、大小、數(shù)量及邏輯關(guān)系向所述硬盤陣列主控器系統(tǒng)匯集，形成完整的源數(shù)據(jù)描述系統(tǒng)；
[0021](三)、將分布式硬盤系統(tǒng)各硬盤并行連接到目標(biāo)服務(wù)器群服務(wù)器上，由目標(biāo)服務(wù)器操作系統(tǒng)進(jìn)行識別、連接后，發(fā)布命令對其所攜帶的源文件及源目錄進(jìn)行拷貝；
[0022](四)、讀取移動硬盤陣列中的數(shù)據(jù)特征記錄，與源數(shù)據(jù)系統(tǒng)進(jìn)行完整性及關(guān)系性檢驗，通過文件目錄掃描，并根據(jù)數(shù)據(jù)邏輯關(guān)系重建源數(shù)據(jù)系統(tǒng)。
[0023]本發(fā)明的分布式硬盤系統(tǒng)及在其中進(jìn)行數(shù)據(jù)遷移的方法，通過設(shè)計多接口的移動式硬盤陣列及其硬盤陣列主控器系統(tǒng)，實現(xiàn)了從分布式文件系統(tǒng)中同步上傳、下載數(shù)據(jù)，從而避免了大數(shù)據(jù)傳輸中在上傳、下載時單點拷貝的瓶頸因素，可以有效加快數(shù)據(jù)傳輸及其使用效率。
[0024]以上所述本發(fā)明的【具體實施方式】，并不構(gòu)成對本發(fā)明保護(hù)范圍的限定。任何根據(jù)本發(fā)明的技術(shù)構(gòu)思所作出的各種其他相應(yīng)的改變與變形，均應(yīng)包含在本發(fā)明權(quán)利要求的保護(hù)范圍內(nèi)。
【權(quán)利要求】
1.一種分布式硬盤系統(tǒng),其特征在于:其包括， 一移動式硬盤陣列，擁有多硬盤及其各自并行數(shù)據(jù)接口連接線，用于存儲拷貝數(shù)據(jù)； 多硬盤上各自接口數(shù)據(jù)控制器，用于連接服務(wù)器外置1\0接口，記錄拷貝文件及目錄的名稱、大小、數(shù)量及邏輯關(guān)系； 一硬盤陣列主控器系統(tǒng)，用于控制接口數(shù)據(jù)控制器，實現(xiàn)數(shù)據(jù)文件的同步并行上傳、下載并記錄各硬盤復(fù)制文件及目錄的名稱、大小、數(shù)量的總數(shù)及其邏輯關(guān)系。
2.一種于如權(quán)利要求1所述的分布式硬盤系統(tǒng)中進(jìn)行數(shù)據(jù)遷移的方法，其特征在于，其包括以下步驟: (一)、將分布式硬盤系統(tǒng)中各硬盤分別連接到源服務(wù)器群各服務(wù)器數(shù)據(jù)接口上，由源服務(wù)器操作系統(tǒng)進(jìn)行識別、連接后，通過發(fā)布命令將源文件及源目錄進(jìn)行拷貝，過程中由接口數(shù)據(jù)控制器記錄源文件及源目錄的名稱、大小、數(shù)量及其邏輯關(guān)系； (二)、將源文件及源目錄的名稱、大小、數(shù)量及邏輯關(guān)系向所述硬盤陣列主控器系統(tǒng)匯集，形成完整的源數(shù)據(jù)描述系統(tǒng)； (三)、將分布式硬盤系統(tǒng)各硬盤并行連接到目標(biāo)服務(wù)器群服務(wù)器上，由目標(biāo)服務(wù)器操作系統(tǒng)進(jìn)行識別、連接后，發(fā)布命令對其所攜帶的源文件及源目錄進(jìn)行拷貝； (四)、讀取移動硬盤陣列中的數(shù)據(jù)特征記錄，與源數(shù)據(jù)系統(tǒng)進(jìn)行完整性及關(guān)系性檢驗，通過文件目錄掃描，并根據(jù)數(shù)據(jù)邏輯關(guān)系重建源數(shù)據(jù)系統(tǒng)。
【文檔編號】G06F13/16GK104166520SQ201310187468
【公開日】2014年11月26日 申請日期:2013年5月20日 優(yōu)先權(quán)日:2013年5月20日
【發(fā)明者】修文群 申請人:深圳先進(jìn)技術(shù)研究院