一種實(shí)現(xiàn)基于nfs的hadoop ha集群中nfs節(jié)點(diǎn)雙機(jī)冗余的方法
【專利摘要】本發(fā)明公開了一種實(shí)現(xiàn)基于NFS的HADOOP　HA集群中NFS節(jié)點(diǎn)雙機(jī)冗余的方法，屬于計(jì)算機(jī)服務(wù)器【技術(shù)領(lǐng)域】，該方法步驟如下：1）兩臺(tái)服務(wù)器通過網(wǎng)絡(luò)互聯(lián)，安裝DRBD，實(shí)現(xiàn)兩臺(tái)機(jī)器的/dev/sdb1實(shí)時(shí)同步；2）配置NFS服務(wù)，完成后配置heartbeat；3）兩臺(tái)用于namenode的服務(wù)器掛載NFS共享，并設(shè)置NFS的自動(dòng)掛載；4）安裝Hadoop，并配置namenode的HA；5）當(dāng)從NFS服務(wù)器通過heatbeat監(jiān)控到主NFS服務(wù)器的資源異常時(shí)，從NFS服務(wù)器自動(dòng)接管NFSip資源和drbd資源，啟動(dòng)NFS服務(wù)。本發(fā)明提高了集群的穩(wěn)定性、保證了業(yè)務(wù)的連續(xù)運(yùn)行。
【專利說明】—種實(shí)現(xiàn)基于NFS的HADOOP HA集群中NFS節(jié)點(diǎn)雙機(jī)冗余的方法
[0001]
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及計(jì)算機(jī)服務(wù)器【技術(shù)領(lǐng)域】，具體地說是一種實(shí)現(xiàn)基于NFS的HADOOP HA集群中NFS節(jié)點(diǎn)雙機(jī)冗余的方法。
【背景技術(shù)】
[0003]正如大家所知，NameNode在Hadoop (hadoop是云計(jì)算技術(shù)的重要組成部分，它是目前云計(jì)算、大數(shù)據(jù)解決方案中最為流行和最為穩(wěn)定的工具，是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架)系統(tǒng)中存在單點(diǎn)故障問題，為解決這個(gè)問題，Hadoop 2.0推出了 namenode節(jié)點(diǎn)HA功能,一臺(tái)為active節(jié)點(diǎn)，一臺(tái)為standby節(jié)點(diǎn)，Active Node作為Primary NameNode對(duì)外提供服務(wù)。Standby Node處于Safe mode模式,在內(nèi)存中保存Primary NameNode最新的兀數(shù)據(jù)信息。Active Node和Standby Node通過NFS共享存儲(chǔ)進(jìn)行交互 edits。DataNode 同時(shí)向 Active Node 和 Standby Node 發(fā)送Block location 信息。當(dāng)管理員確定Primary NameNode發(fā)生故障后，將Standby Node切換為Primary NameNode。由于Standby Node內(nèi)存中保存了所有元數(shù)據(jù)的最新信息，因此可直接對(duì)外提供服務(wù)。這套方案的缺點(diǎn)是，NFS共享存儲(chǔ)是個(gè)單點(diǎn)，當(dāng)提供NFS (是Network File System的簡寫，即網(wǎng)絡(luò)文件系統(tǒng))服務(wù)的機(jī)器故障時(shí)，整個(gè)Hadoop集群就會(huì)宕機(jī)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的技術(shù)任務(wù)是提供一種實(shí)現(xiàn)基于NFS的HADOOP HA集群中NFS節(jié)點(diǎn)雙機(jī)冗余的方法。
[0005]本發(fā)明的技術(shù)任務(wù)是按以下方式實(shí)現(xiàn)的，該方法步驟如下:
1)兩臺(tái)服務(wù)器通過網(wǎng)絡(luò)互聯(lián)，安裝DRBD，實(shí)現(xiàn)兩臺(tái)機(jī)器的/dev/sdbl實(shí)時(shí)同步；
2)配置NFS服務(wù),完成后配置heartbeat；
3)兩臺(tái)用于namenode的服務(wù)器掛載NFS共享,并設(shè)置NFS的自動(dòng)掛載；
4)安裝Hadoop,并配置 namenode 的 HA ；
5)當(dāng)從NFS服務(wù)器通過heatbeat監(jiān)控到主NFS服務(wù)器的資源異常時(shí)，從NFS服務(wù)器自動(dòng)接管NFS ip資源和drbd資源，啟動(dòng)NFS服務(wù)。
[0006]所述的網(wǎng)絡(luò)為以太網(wǎng)。
[0007]所述的namenode節(jié)點(diǎn)是通過NFS ip進(jìn)行掛載的，當(dāng)NFS主服務(wù)器故障時(shí)，在namenode上可以通過df命令確認(rèn)NFS掛載正常,從而保證了 Hadoop集群的正常運(yùn)行。
[0008]所述的配置heartbeat的HA resource包括NFS服務(wù)的ip、drbd資源。
[0009]本發(fā)明的一種實(shí)現(xiàn)基于NFS的HADOOP HA集群中NFS節(jié)點(diǎn)雙機(jī)冗余的方法和現(xiàn)有技術(shù)相比，提高了集群的穩(wěn)定性、保證了業(yè)務(wù)的連續(xù)運(yùn)行?！緦＠綀D】

【附圖說明】
[0010]附圖1為NFS服務(wù)器故障切換流程圖。
[0011]附圖2為Hadoop集群拓?fù)鋱D。
【具體實(shí)施方式】
[0012]實(shí)施例1:
該方法步驟如下:
1)兩臺(tái)服務(wù)器通過網(wǎng)絡(luò)互聯(lián)，安裝DRBD(Distributed Replicated Block Device是一個(gè)用軟件實(shí)現(xiàn)的、無共享的、服務(wù)器之間鏡像塊設(shè)備內(nèi)容的存儲(chǔ)復(fù)制解決方案)，實(shí)現(xiàn)兩臺(tái)機(jī)器的/dev/sdbl實(shí)時(shí)同步；
2)配置NFS服務(wù)，完成后配置heartbeat；
3)兩臺(tái)用于namenode的服務(wù)器掛載NFS共享,并設(shè)置NFS的自動(dòng)掛載；
4)安裝Hadoop,并配置 namenode 的 HA ；
5)當(dāng)從NFS服務(wù)器通過heatbeat監(jiān)控到主NFS服務(wù)器的資源異常時(shí)，從NFS服務(wù)器自動(dòng)接管NFS ip資源和drbd資源，啟動(dòng)NFS服務(wù)。
[0013]實(shí)施例2:
該方法步驟如下:
1)兩臺(tái)服務(wù)器通過以太網(wǎng)(指的是由Xerox公司創(chuàng)建并由Xerox,Intel和DEC公司聯(lián)合開發(fā)的基帶局域網(wǎng)規(guī)范)互聯(lián)，安裝DRBD (Distributed Replicated Block Device是一個(gè)用軟件實(shí)現(xiàn)的、無共享的、服務(wù)器之間鏡像塊設(shè)備內(nèi)容的存儲(chǔ)復(fù)制解決方案)，實(shí)現(xiàn)兩臺(tái)機(jī)器的/dev/sdbl實(shí)時(shí)同步；
2)配置NFS服務(wù)，完成后配置heartbeat；
3)兩臺(tái)用于namenode的服務(wù)器掛載NFS共享,并設(shè)置NFS的自動(dòng)掛載；
4)安裝Hadoop,并配置 namenode 的 HA ；
5)當(dāng)從NFS服務(wù)器通過heatbeat監(jiān)控到主NFS服務(wù)器的資源異常時(shí)，從NFS服務(wù)器自動(dòng)接管NFS ip資源和drbd資源，啟動(dòng)NFS服務(wù)。
[0014]實(shí)施例3:
該方法步驟如下:
1)兩臺(tái)服務(wù)器通過以太網(wǎng)(指的是由Xerox公司創(chuàng)建并由Xerox,Intel和DEC公司聯(lián)合開發(fā)的基帶局域網(wǎng)規(guī)范)互聯(lián)，安裝DRBD (Distributed Replicated Block Device是一個(gè)用軟件實(shí)現(xiàn)的、無共享的、服務(wù)器之間鏡像塊設(shè)備內(nèi)容的存儲(chǔ)復(fù)制解決方案)，實(shí)現(xiàn)兩臺(tái)機(jī)器的/dev/sdbl實(shí)時(shí)同步；
2)配置NFS服務(wù),完成后配置heartbeat,配置heartbeat的HAresource包括NFS服務(wù)的ip、drbd資源；
3)兩臺(tái)用于namenode的服務(wù)器掛載NFS共享,并設(shè)置NFS的自動(dòng)掛載；
4)安裝Hadoop,并配置 namenode 的 HA ；
5)當(dāng)從NFS服務(wù)器通過heatbeat監(jiān)控到主NFS服務(wù)器的資源異常時(shí)，從NFS服務(wù)器自動(dòng)接管NFS ip資源和drbd資源,啟動(dòng)NFS服務(wù)；namenode節(jié)點(diǎn)是通過NFS ip進(jìn)行掛載的，當(dāng)NFS主服務(wù)器故障時(shí),在namenode上可以通過df命令確認(rèn)NFS掛載正常,從而保證了 Hadoop集群的正常運(yùn)行。
【權(quán)利要求】
1.一種實(shí)現(xiàn)基于NFS的HADOOP HA集群中NFS節(jié)點(diǎn)雙機(jī)冗余的方法，其特征在于，該方法步驟如下: 1)兩臺(tái)服務(wù)器通過網(wǎng)絡(luò)互聯(lián)，安裝DRBD，實(shí)現(xiàn)兩臺(tái)機(jī)器的/dev/sdbl實(shí)時(shí)同步； 2)配置NFS服務(wù),完成后配置heartbeat； 3)兩臺(tái)用于namenode的服務(wù)器掛載NFS共享,并設(shè)置NFS的自動(dòng)掛載； 4)安裝Hadoop,并配置 namenode 的 HA ； 5)當(dāng)從NFS服務(wù)器通過heatbeat監(jiān)控到主NFS服務(wù)器的資源異常時(shí)，從NFS服務(wù)器自動(dòng)接管NFS ip資源和drbd資源，啟動(dòng)NFS服務(wù)。
2.根據(jù)權(quán)利要求1所述的一種實(shí)現(xiàn)基于NFS的HADOOPHA集群中NFS節(jié)點(diǎn)雙機(jī)冗余的方法，其特征在于，所述的網(wǎng)絡(luò)為以太網(wǎng)。
3.根據(jù)權(quán)利要求1所述的一種實(shí)現(xiàn)基于NFS的HADOOPHA集群中NFS節(jié)點(diǎn)雙機(jī)冗余的方法，其特征在于，所述的namenode節(jié)點(diǎn)是通過NFS ip進(jìn)行掛載的，當(dāng)NFS主服務(wù)器故障時(shí),在namenode上可以通過df命令確認(rèn)NFS掛載正常，從而保證了 Hadoop集群的正常運(yùn)行。
4.根據(jù)權(quán)利要求1所述的一種實(shí)現(xiàn)基于NFS的HADOOPHA集群中NFS節(jié)點(diǎn)雙機(jī)冗余的方法，其特征在于，所述的配置heartbeat的HA resource包括NFS服務(wù)的ip、drbd資源。
【文檔編號(hào)】H04L12/24GK103986789SQ201410246212
【公開日】2014年8月13日 申請日期:2014年6月5日 優(yōu)先權(quán)日:2014年6月5日
【發(fā)明者】張憲昭 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司