一種傳輸數(shù)據(jù)的方法
【專利摘要】一種傳輸數(shù)據(jù)的方法，所述方法包括：由分布式存儲系統(tǒng)替換Hadoop中自身的分布式文件系統(tǒng)；替換后的Hadoop向下兼容，分布式存儲系統(tǒng)向上兼容，替換后的Hadoop與分布式存儲系統(tǒng)對接組成傳輸數(shù)據(jù)的接口；替換后的Hadoop與分布式存儲系統(tǒng)通過所述接口依據(jù)元數(shù)據(jù)進(jìn)行云計算。應(yīng)用本發(fā)明實施例后，能夠在現(xiàn)有的分布式存儲系統(tǒng)的基礎(chǔ)上實現(xiàn)云計算。
【專利說明】一種傳輸數(shù)據(jù)的方法
【技術(shù)領(lǐng)域】
[0001]本申請涉及通信【技術(shù)領(lǐng)域】，更具體地，涉及一種傳輸數(shù)據(jù)的方法。
【背景技術(shù)】
[0002]隨著大數(shù)據(jù)時代的到來，迫切需要運算處理大規(guī)模數(shù)據(jù)的能力，而Hadoop作為具有分布式存儲和計算能力的開源項目，很快就得到各個行業(yè)的重視。Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)。如今Hadoop已被廣泛應(yīng)用于商業(yè)、醫(yī)療、金融、教育等領(lǐng)域，并日益發(fā)揮著其重要作用。在Yah00、eBay、百度等知名企業(yè)，Hadoop都充當(dāng)著重要角色。
[0003]云存儲行業(yè)方興未艾，各種云平臺服務(wù)也層出不窮，同時，大數(shù)據(jù)時代的到來，也為存儲業(yè)帶來了新的挑戰(zhàn)。如何提高云存儲的性能，是存儲行業(yè)必須面對的問題。同時，各大門戶網(wǎng)、社交網(wǎng)每天的數(shù)據(jù)已經(jīng)突破數(shù)十TB，如何對這些數(shù)據(jù)進(jìn)行處理，提取有用信息，是大家都非常關(guān)心的問題。
[0004]許多存儲技術(shù)廠商的現(xiàn)有分布式存儲系統(tǒng)還不具備云計算能力，如何將Hadoop與各個廠商自己的分布式存儲系統(tǒng)相結(jié)合，使他們的分布式存儲系統(tǒng)也具備云計算能力，目前還沒有相應(yīng)地解決方案。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實施例提出一種傳輸數(shù)據(jù)的方法，能夠在現(xiàn)有的分布式存儲系統(tǒng)的基礎(chǔ)上實現(xiàn)云計算。
[0006]本發(fā)明實施例的技術(shù)方案如下:
[0007]一種傳輸數(shù)據(jù)的方法，所述方法包括:
[0008]由分布式存儲系統(tǒng)替換Hadoop中自身的分布式文件系統(tǒng)；
[0009]替換后的Hadoop向下兼容，分布式存儲系統(tǒng)向上兼容，替換后的Hadoop與分布式存儲系統(tǒng)對接組成傳輸數(shù)據(jù)的接口；
[0010]替換后的Hadoop與分布式存儲系統(tǒng)通過所述接口依據(jù)元數(shù)據(jù)進(jìn)行云計算。
[0011]所述由分布式存儲系統(tǒng)替換Hadoop中自身的分布式文件系統(tǒng)包括:
[0012]在Hadoop中刪除自身的分布式文件系統(tǒng)的代碼包和腳本；
[0013]根據(jù)分布式存儲系統(tǒng)重寫Hadoop的分布式文件系統(tǒng)腳本；
[0014]更改Hadoop的配置文件。
[0015]所述替換后的Hadoop向下兼容,分布式存儲系統(tǒng)向上兼容,替換后的Hadoop與分布式存儲系統(tǒng)對接組成傳輸數(shù)據(jù)的接口包括:替換后的Hadoop編寫代碼以實現(xiàn)向下兼容；
[0016]分布式存儲系統(tǒng)編寫代碼以實現(xiàn)向上兼容；
[0017]替換后的Hadoop與分布式存儲系統(tǒng)對接組成傳輸數(shù)據(jù)的接口。
[0018]所述替換后的Hadoop與分布式存儲系統(tǒng)通過所述接口依據(jù)元數(shù)據(jù)進(jìn)行云計算包括:[0019]替換后的Hadoop與分布式存儲系統(tǒng)通過所述接口，依據(jù)元數(shù)據(jù)從分布式存儲系統(tǒng)的節(jié)點獲取數(shù)據(jù)；
[0020]根據(jù)獲取的數(shù)據(jù)進(jìn)行云計算。
[0021 ] 從上述技術(shù)方案中可以看出，在本發(fā)明實施例中由分布式存儲系統(tǒng)替換Hadoop中自帶的分布式文件系統(tǒng)；替換后的Hadoop向下兼容,分布式存儲系統(tǒng)向上兼容，替換后的Hadoop與分布式存儲系統(tǒng)對接組成傳輸數(shù)據(jù)的接口 ；替換后的Hadoop與分布式存儲系統(tǒng)通過所述接口交互，進(jìn)行云計算。通過開放接口，Hadoop能夠在現(xiàn)有的分布式存儲系統(tǒng)的基礎(chǔ)上實現(xiàn)云計算。
【專利附圖】

【附圖說明】
[0022]圖1為傳輸數(shù)據(jù)的方法流程示意圖；
[0023]圖2為傳輸數(shù)據(jù)的實施例示意圖。
【具體實施方式】
[0024]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點表達(dá)得更加清楚明白，下面結(jié)合附圖及具體實施例對本發(fā)明再作進(jìn)一步詳細(xì)的說明。
[0025]在本發(fā)明實施例中，替換掉Hadoop自身的分布式文件系統(tǒng)，使其它分布式存儲系統(tǒng)具備云計算能力，而不必依靠Hadoop自帶的分布式文件系統(tǒng)。通過這樣的技術(shù)手段，企業(yè)本身的分布式存儲系統(tǒng)就能具備穩(wěn)定、可靠、高效的云計算能力。
[0026]參見附圖1是傳輸數(shù)據(jù)的方法流程示意圖，具體包括以下步驟:
[0027]101、由分布式存儲系統(tǒng)替換Hadoop中自身的分布式文件系統(tǒng)。
[0028]在Hadoop中存在Hadoop本身的分布式文件系統(tǒng)。為了保證在現(xiàn)有的分布式存儲系統(tǒng)能夠?qū)崿F(xiàn)云計算，首先在Hadoop中刪除自身的分布式文件系統(tǒng)的代碼包和腳本；然后，再根據(jù)分布式存儲系統(tǒng)重寫Hadoop的分布式文件系統(tǒng)腳本。這樣，在Hadoop中就可以建立與現(xiàn)有的分布式存儲系統(tǒng)向?qū)?yīng)的腳本，同時還需要更改Hadoop的配置文件，使Hadoop指向各個廠商自己的分布式文件系統(tǒng)。
[0029]102、替換后的Hadoop向下兼容，分布式存儲系統(tǒng)向上兼容，替換后的Hadoop與分布式存儲系統(tǒng)對接組成傳輸數(shù)據(jù)的接口。
[0030]在替換后的Hadoop中需要建立與分布式存儲系統(tǒng)相對應(yīng)的接口，通過該接口Hadoop與分布式存儲系統(tǒng)可以交互數(shù)據(jù)。首先，替換后的Hadoop編寫代碼以實現(xiàn)向下兼容；分布式存儲系統(tǒng)編寫代碼以實現(xiàn)向上兼容；替換后的Hadoop與分布式存儲系統(tǒng)對接組成傳輸數(shù)據(jù)的接口。編寫的代碼應(yīng)該盡可能滿足Hadoop的相關(guān)協(xié)議，這樣重寫Hadoop類時相對容易一些。若未能滿足，則會使Hadoop重寫相關(guān)類的難度加大，最后才能保證程序讀、寫、分片等正常進(jìn)行，且不影響程序執(zhí)行效率。
[0031]103、替換后的Hadoop與分布式存儲系統(tǒng)通過接口依據(jù)元數(shù)據(jù)進(jìn)行云計算。
[0032]元數(shù)據(jù)是描述數(shù)據(jù)及其環(huán)境的數(shù)據(jù)。替換后的Hadoop與分布式存儲系統(tǒng)首先根據(jù)元數(shù)據(jù)獲知每個數(shù)據(jù)塊的具體位置，亦即云計算所需數(shù)據(jù)在分布式存儲系統(tǒng)中的節(jié)點存儲位置。然后，分配節(jié)點(JobTracker)在分配任務(wù)的時候，盡量使用本節(jié)點所存儲的數(shù)據(jù)進(jìn)行計算，以避免增加網(wǎng)絡(luò)數(shù)據(jù)傳輸量，從而提高Hadoop的計算速度。因為通常來講，對于本節(jié)點沒有存儲的數(shù)據(jù)，TaskTracker往往需要通過網(wǎng)絡(luò)從其他的節(jié)點處調(diào)取。
[0033]參見附圖2是傳輸數(shù)據(jù)的實施例示意圖，其中包括三個節(jié)點，兩個節(jié)點作為TaskTracker,另一個節(jié)點作為工作節(jié)點(Jobtracker )。
[0034]每個節(jié)點內(nèi)部通過接口使Hadoop與分布式存儲系統(tǒng)相交互。JobTracker為兩個工作節(jié)點分配任務(wù)。Tasktracker可以從其他的節(jié)點中獲取數(shù)據(jù)以進(jìn)行云計算。
[0035]以上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種傳輸數(shù)據(jù)的方法，其特征在于，所述方法包括: 由分布式存儲系統(tǒng)替換Hadoop中自身的分布式文件系統(tǒng)； 替換后的Hadoop向下兼容,分布式存儲系統(tǒng)向上兼容，替換后的Hadoop與分布式存儲系統(tǒng)對接組成傳輸數(shù)據(jù)的接口； 替換后的Hadoop與分布式存儲系統(tǒng)通過所述接口依據(jù)元數(shù)據(jù)進(jìn)行云計算。
2.根據(jù)權(quán)利要求1所述傳輸數(shù)據(jù)的方法，其特征在于，所述由分布式存儲系統(tǒng)替換Hadoop中自身的分布式文件系統(tǒng)包括: 在Hadoop中刪除自身的分布式文件系統(tǒng)的代碼包和腳本； 根據(jù)分布式存儲系統(tǒng)重寫Hadoop的分布式文件系統(tǒng)腳本； 更改Hadoop的配置文件。
3.根據(jù)權(quán)利要求1所述傳輸數(shù)據(jù)的方法，其特征在于，所述替換后的Hadoop向下兼容，分布式存儲系統(tǒng)向上兼容，替換后的Hadoop與分布式存儲系統(tǒng)對接組成傳輸數(shù)據(jù)的接口包括:替換后的Hadoop編寫代碼以實現(xiàn)向下兼容； 分布式存儲系統(tǒng)編寫代碼以實現(xiàn)向上兼容； 替換后的Hadoop與分布式存儲系統(tǒng)對接組成傳輸數(shù)據(jù)的接口。
4.根據(jù)權(quán)利要求1所述傳輸數(shù)據(jù)的方法，其特征在于，所述替換后的Hadoop與分布式存儲系統(tǒng)通過所述接口依據(jù)元數(shù)據(jù)進(jìn)行云計算包括: 替換后的Hadoop與分布式存儲系統(tǒng)通過所述接口，依據(jù)元數(shù)據(jù)從分布式存儲系統(tǒng)的節(jié)點獲取數(shù)據(jù)； 根據(jù)獲取的數(shù)據(jù)進(jìn)行云計算。
【文檔編號】H04L29/08GK103678538SQ201310637528
【公開日】2014年3月26日 申請日期:2013年12月2日 優(yōu)先權(quán)日:2013年12月2日
【發(fā)明者】嚴(yán)鵬, 楊衛(wèi)華 申請人:創(chuàng)新科存儲技術(shù)（深圳）有限公司, 創(chuàng)新科存儲技術(shù)有限公司