一種提高存儲系統(tǒng)間海量文件同步速度的方法
【專利摘要】本發(fā)明提供一種提高存儲系統(tǒng)間海量文件同步速度的方法，涉及計(jì)算機(jī)存儲領(lǐng)域，該方法涉及如下幾個主要步驟：比較源端和目的端對應(yīng)文件的大小和修改時間；目的端文件分塊，計(jì)算校驗(yàn)和。該步驟首先對目的端的文件進(jìn)行分塊，之后對每個塊分別計(jì)算校驗(yàn)和；將目的端文件的校驗(yàn)和列表傳輸?shù)酵皆矗辉谠炊诉M(jìn)行文件的數(shù)據(jù)塊比對；將步驟4中得到的結(jié)果數(shù)組傳輸?shù)侥康亩?；目的端根?jù)從源端接收到的結(jié)果數(shù)組，重新生成文件。本發(fā)明能夠有效的提高的存儲系統(tǒng)中的海量文件的同步速度，提升網(wǎng)絡(luò)利用率。
【專利說明】一種提高存儲系統(tǒng)間海量文件同步速度的方法
[0001]【技術(shù)領(lǐng)域】
本發(fā)明涉及計(jì)算機(jī)存儲領(lǐng)域，具體涉及集群存儲中，海量文件備份加速的技術(shù)，具體地說是一種提高存儲系統(tǒng)間海量文件同步速度的方法。
【背景技術(shù)】
[0002]隨著信息時代的到來網(wǎng)絡(luò)應(yīng)用的高速發(fā)展，網(wǎng)絡(luò)信息數(shù)據(jù)量越來越大，海量存儲系統(tǒng)中所保存的數(shù)據(jù)量也越來越大，越來越多的存儲系統(tǒng)中保存的數(shù)據(jù)量都已經(jīng)達(dá)到了 PB級。數(shù)據(jù)規(guī)模的快速增長無疑給文件同步、數(shù)據(jù)備份帶來了新的問題。在海量數(shù)據(jù)的新環(huán)境下，傳統(tǒng)的文件同步方法的性能已經(jīng)無法滿足業(yè)務(wù)需求。
[0003]由于現(xiàn)有的文件同步方法大都沒有針對海量數(shù)據(jù)的環(huán)境進(jìn)行專門的設(shè)計(jì)和優(yōu)化，因此同步海量文件的性能較低。

【發(fā)明內(nèi)容】

[0004]本專利設(shè)計(jì)了一種提高存儲系統(tǒng)間海量文件同步速度的方法。其特征在于通過利用文件對比算法以及多線程技術(shù)，減少了需要在網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)量，并且充分利用了網(wǎng)絡(luò)的帶寬，進(jìn)而提高了文件同步的速度，減少了文件同步所需要的時間。
[0005]該方法涉及如下幾個主要步驟:
1)、比較源端和目的端對應(yīng)文件的大小和修改時間；如果源端文件和目的端文件的大小和修改時間中有一項(xiàng)不同，則啟動一個線程，在新線程中開始執(zhí)行步驟2。之后重復(fù)步驟1，比較下一個文件的大小和修改時間；
2)、目的端文件分塊，計(jì)算校驗(yàn)和；該步驟首先對目的端的文件進(jìn)行分塊，之后對每個塊分別計(jì)算校驗(yàn)和；
3)、將目的端文件的校驗(yàn)和列表傳輸?shù)酵皆?；校?yàn)和列表中包括數(shù)據(jù)塊的編號和校驗(yàn)和；
4)、在源端進(jìn)行文件的數(shù)據(jù)塊比對。在同步的源端，計(jì)算文件中的第一個數(shù)據(jù)塊的校驗(yàn)和，并在從目的端得到的校驗(yàn)和列表中，查找該校驗(yàn)和是否存在；如果存在，則將該校驗(yàn)和對應(yīng)的目的端文件數(shù)據(jù)塊編號記錄到結(jié)果數(shù)組中的對應(yīng)位置，并將數(shù)據(jù)塊窗口向后移動一個數(shù)據(jù)塊的長度；如果不存在，則將該數(shù)據(jù)塊的第一個字節(jié)保存到結(jié)果數(shù)組的對應(yīng)位置，并將數(shù)據(jù)塊窗口向后移動一個字節(jié)。重復(fù)以上過程，直至整個文件比對完畢；
5)、將步驟4中得到的結(jié)果數(shù)組傳輸?shù)侥康亩耍?br> 6)、目的端根據(jù)從源端接收到的結(jié)果數(shù)組，重新生成文件。
[0006]對文件的對比和傳輸過程進(jìn)行優(yōu)化，通過算法得出文件中被修改的部分，減少傳輸過程中需要傳輸?shù)臄?shù)據(jù)量，并對文件比較和數(shù)據(jù)傳輸進(jìn)行并行處理的優(yōu)化，從而大大提高文件的同步速度。
[0007]該方法主要用于在不同的海量存儲系統(tǒng)之間同步文件，通過在文件同步的源端和目的端進(jìn)行軟件優(yōu)化，減少文件同步過程中需要傳輸?shù)臄?shù)據(jù)量，實(shí)現(xiàn)海量文件同步速度的提升。
[0008]本發(fā)明與現(xiàn)有技術(shù)相比，所產(chǎn)生的有益效果是:
該方法通過使用文件對比算法，查找出了同步源端文件和同步目的端文件中相同的數(shù)據(jù)塊，減少了需要在網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)量，同時使用了多線程技術(shù)，實(shí)現(xiàn)多個文件的同時傳輸，提高了海量文件同步的速度。
【專利附圖】

【附圖說明】
[0009]附圖1為文件數(shù)據(jù)塊對比算法的流程圖；
附圖2為使用文件數(shù)據(jù)塊對比算法后生成的結(jié)果數(shù)組示意圖。
[0010]圖2中標(biāo)識為灰色的數(shù)據(jù)塊表示該數(shù)據(jù)塊在目的端的文件中存在，數(shù)據(jù)塊下方給出的是其在目的端文件中的編號；圖2中標(biāo)識為白色的數(shù)據(jù)塊為本次同步需要傳輸?shù)臄?shù)據(jù)塊。
【具體實(shí)施方式】
[0011]參照具體實(shí)施例對本發(fā)明的提高存儲系統(tǒng)間海量文件同步速度的方法作以下詳細(xì)地說明。
[0012]本發(fā)明體系結(jié)構(gòu)包括:同步客戶端模塊(I)、同步服務(wù)端模塊(2)。
[0013]在一個典型的配置環(huán)境里，同步客戶端模塊(I)和同步服務(wù)端模塊(2)作為一般的應(yīng)用軟件分別被安裝到同步的目的端和同步的源端。當(dāng)發(fā)起同步操作時，同步服務(wù)端模塊(2)將同步源端目錄中所有文件的文件名、文件大小和修改時間發(fā)送到同步客戶端模塊
(1)，同步客戶端模塊(I)依次比較源端和目的端對應(yīng)文件的文件大小和修改時間，如果發(fā)現(xiàn)存在文件大小或修改時間不同的文件，則創(chuàng)建一個線程，在新線程中，使用數(shù)據(jù)塊比對算法，查找出源端和目的端不同的數(shù)據(jù)塊并進(jìn)行傳輸，并最終在同步客戶端模塊(I)中利用這些數(shù)據(jù)塊生成文件，完成文件的同步。
[0014]至此，通過多文件的并行傳輸以及減少需要傳輸?shù)臄?shù)據(jù)量這兩個方法，實(shí)現(xiàn)了一種海量文件環(huán)境中，提高文件同步速度的方法。
【權(quán)利要求】
1.一種提高存儲系統(tǒng)間海量文件同步速度的方法，其特征在于該方法涉及如下幾個主要步驟: 1)、比較源端和目的端對應(yīng)文件的大小和修改時間；如果源端文件和目的端文件的大小和修改時間中有一項(xiàng)不同，則啟動一個線程，在新線程中開始執(zhí)行步驟2;之后重復(fù)步驟1，比較下一個文件的大小和修改時間； 2)、目的端文件分塊，計(jì)算校驗(yàn)和；該步驟首先對目的端的文件進(jìn)行分塊，之后對每個塊分別計(jì)算校驗(yàn)和； 3)、將目的端文件的校驗(yàn)和列表傳輸?shù)酵皆?；校?yàn)和列表中包括數(shù)據(jù)塊的編號和校驗(yàn)和； 4)、在源端進(jìn)行文件的數(shù)據(jù)塊比對；在同步的源端，計(jì)算文件中的第一個數(shù)據(jù)塊的校驗(yàn)和，并在從目的端得到的校驗(yàn)和列表中，查找該校驗(yàn)和是否存在；如果存在，則將該校驗(yàn)和對應(yīng)的目的端文件數(shù)據(jù)塊編號記錄到結(jié)果數(shù)組中的對應(yīng)位置，并將數(shù)據(jù)塊窗口向后移動一個數(shù)據(jù)塊的長度；如果不存在，則將該數(shù)據(jù)塊的第一個字節(jié)保存到結(jié)果數(shù)組的對應(yīng)位置，并將數(shù)據(jù)塊窗口向后移動一個字節(jié)；重復(fù)以上過程，直至整個文件比對完畢； 5)、將步驟4中得到的結(jié)果數(shù)組傳輸?shù)侥康亩耍? 6)、目的端根據(jù)從 源端接收到的結(jié)果數(shù)組，重新生成文件。
【文檔編號】G06F17/30GK103605768SQ201310612349
【公開日】2014年2月26日 申請日期:2013年11月27日 優(yōu)先權(quán)日:2013年11月27日
【發(fā)明者】孟令斌 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司