專利名稱：一種hadoop集群搭建磁盤亂序的解決方法
技術(shù)領(lǐng)域：
本發(fā)明屬于云計(jì)算技術(shù)領(lǐng)域，具體涉及一種hadoop集群搭建磁盤亂序的解決方法。
背景技術(shù)：
目前，hadoop基于其強(qiáng)勁優(yōu)勢(shì)，得到了業(yè)界眾多公司的青睞和大力支持，已經(jīng)在互聯(lián)網(wǎng)領(lǐng)域遍地開花。有公司用hadoop支持廣告系統(tǒng)和Web搜索的研究；有公司用hadoop支持其數(shù)據(jù)分析和機(jī)器學(xué)習(xí)；有公司用Hadoop進(jìn)行搜索日志的分析和網(wǎng)頁數(shù)據(jù)的挖掘工作；也有公司用Hadoop系統(tǒng)存儲(chǔ)并處理電子商務(wù)交易的相關(guān)數(shù)據(jù)。隨著計(jì)算機(jī)技術(shù)和通信技術(shù)的發(fā)展和融合，Hadoop的應(yīng)用也會(huì)從互聯(lián)網(wǎng)領(lǐng)域向電信、電子商務(wù)、銀行、生物制藥等領(lǐng)域拓展。Hadoop框架中最核心的設(shè)計(jì)就是MapReduce和HDFS。Hadoop的架構(gòu)如圖I所
/Jn οHadoop環(huán)境架設(shè)好后，每次重起機(jī)器，會(huì)出現(xiàn)磁盤盤符的亂序。比如，機(jī)器重起前掛載的順序是/hdfs/datal->sdal ；/hdfs/data2->sdbl;/hdfs/data3->sdcl;/hdfs/data4->sddl; ......機(jī)器重起后掛載的順序是/hdfs/datal->sddl ；/hdfs/data2->sdal;/hdfs/data3->sdbl;/hdfs/data4->sdal; ......從而導(dǎo)致DataNode無法起來。

發(fā)明內(nèi)容
為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種hadoop集群搭建磁盤亂序的解決方法,通過UUID解決磁盤亂序問題，不會(huì)再出現(xiàn)重新NameNode格式化后，DataNode無法起動(dòng)的現(xiàn)象。為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采取如下技術(shù)方案一種hadoop集群搭建磁盤亂序的解決方法，所述方法包括步驟I :查詢磁盤設(shè)備的UUID ；步驟2 :修改 /etc/fstab 文件；步驟3:將磁盤掛載。所述步驟I中，根據(jù)ls-la/dev/disk/by-uuid查詢磁盤設(shè)備的UUID。
所述步驟2中，修改/etc/fstab文件,通過VIM命令,在/etc/fstab文件的末尾加入U(xiǎn)UID的相關(guān)信息，將每個(gè)磁盤的UUID與需要被掛載的相關(guān)目錄綁定。所述步驟3中，通過mount命令將磁盤掛載到相關(guān)的目錄。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于本發(fā)明提供一種hadoop集群搭建磁盤亂序的解決方法,通過UUID解決磁盤亂序問題，不會(huì)再出現(xiàn)重新NameNode格式化后，DataNode無法起動(dòng)的現(xiàn)象，該方法簡(jiǎn)單可靠，易執(zhí)行。


圖I是Hadoop的架構(gòu)圖；圖2是hadoop集群搭建磁盤亂序的解決方法流程圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。如圖2，本發(fā)明提供一種hadoop集群搭建磁盤亂序的解決方法，所述方法包括步驟I :查詢磁盤設(shè)備的UUID號(hào)；步驟2 :修改 /etc/fstab 文件；步驟3:將磁盤掛載。所述步驟I中，根據(jù)ls-la/dev/disk/by-uuid查詢磁盤設(shè)備的UUID號(hào)。
如lrwxrwxrwx. I root root 10 Aug 15 11:07 27f8bc60-3c63-41e4-a3bc-fac625775238-〉· · /· · /sdallrwxrwxrwx. I root root 10 Aug 15 11:07 3210d886-cd42-439c-900f-010210fe385f->. · /· · /sdbllrwxrwxrwx I root root 10 Aug 15 11:07 fe6bd727-bdc6-4af9-b80c-7876ed8d557b->. . /· · /sdcllrwxrwxrwx. I root root 10 Aug 15 11:07 b868c920-427e-454f-8d3b-20b76b5ec207->. .1..1 sddl ......所述步驟2中，修改/etc/fstab文件,通過VIM命令,在/etc/fstab文件的末尾加入U(xiǎn)UID的相關(guān)信息，將每個(gè)磁盤的UUID號(hào)與需要被掛載的相關(guān)目錄綁定。添加內(nèi)容如下所示UUID=27f8bc60-3c63-41e4-a3bc-fac625775238/hdfs/datalext4defaults 11UUID=3210d886-cd42-439c-900f-010210fe385f/hdfs/data2ext4defaults 11UUID=fe6bd727-bdc6-4af9-b80c-7876ed8d557b/hdfs/data3ext4defaults 11UUID=b868c920-427e-454f-8d3b-20b76b5ec207/hdfs/data4ext4defaults II所述步驟3中，通過mount命令將磁盤掛載到相關(guān)的目錄。如mount/hdfs/datal將相應(yīng)的磁盤掛載到目錄mount/hdf s/datalmount/hdfs/data2
mount/hdfs/data3mount/hdfs/data4在一個(gè)Hadoop集群中，通常存在著大量的服務(wù)器，每一臺(tái)服務(wù)器通常會(huì)有多塊硬
盤，內(nèi)核分配盤符的順序是/dev/sda、/dev/sdb、/dev/sdc.......在系統(tǒng)啟動(dòng)過程中，內(nèi)
核會(huì)按照掃描到硬盤的順序分配盤符。在系統(tǒng)啟動(dòng)后，熱插拔硬盤硬盤，系統(tǒng)會(huì)順序分配盤符。在同一個(gè)硬盤槽位，每次插入硬盤后，在系統(tǒng)中的盤符都可能出現(xiàn)前后不一致。盤符可能從/dev/sda，變成/dev/sdc。盤符的變化，將直接導(dǎo)致原目錄無法找到原相應(yīng)的文件。在Hadoop的HDFS中，存儲(chǔ)了成千上萬的文件，一旦這種情況出現(xiàn)，將導(dǎo)致文件系統(tǒng)發(fā)生錯(cuò)舌L。本方法能夠方便快捷的解決這一問題。磁盤被格式化后，其UUID將不會(huì)發(fā)生變化，通過UUID綁定，可以一勞永逸的解決盤符錯(cuò)亂導(dǎo)致文件系統(tǒng)錯(cuò)亂的問題。最后應(yīng)當(dāng)說明的是以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非對(duì)其限制，盡管參照上述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解依然可以對(duì)本發(fā)明的具體實(shí)施方式
進(jìn)行修改或者等同替換，而未脫離本發(fā)明精神和范圍的任何修改或者等同替換，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
權(quán)利要求
1.一種hadoop集群搭建磁盤亂序的解決方法，其特征在于所述方法包括 步驟I :查詢磁盤設(shè)備的UUID號(hào)； 步驟2 :修改/etc/fstab文件； 步驟3 :將磁盤掛載。
2.根據(jù)權(quán)利要求I所述的hadoop集群搭建磁盤亂序的解決方法，其特征在于所述步驟I中，根據(jù)ls-la/dev/disk/by-uuid查詢磁盤設(shè)備的UUID號(hào)。
3.根據(jù)權(quán)利要求I所述的hadoop集群搭建磁盤亂序的解決方法，其特征在于所述步驟2中，修改/etc/fstab文件,通過VIM命令,在/etc/fstab文件的末尾加入U(xiǎn)UID的相關(guān)信息，將每個(gè)磁盤的UUID號(hào)與需要被掛載的相關(guān)目錄綁定。
4.根據(jù)權(quán)利要求I所述的hadoop集群搭建磁盤亂序的解決方法，其特征在于所述步驟3中，通過mount命令將磁盤掛載到相關(guān)的目錄。
全文摘要
本發(fā)明提供一種hadoop集群搭建磁盤亂序的解決方法，所述方法包括查詢磁盤設(shè)備的UUID號(hào)；修改/etc/fstab文件；將磁盤掛載。本發(fā)明通過UUID號(hào)解決磁盤亂序問題，不會(huì)再出現(xiàn)重新NameNode格式化后，DataNode無法起動(dòng)的現(xiàn)象。
文檔編號(hào)G06F3/06GK102929561SQ20121038053
公開日2013年2月13日 申請(qǐng)日期2012年10月9日 優(yōu)先權(quán)日2012年10月9日
發(fā)明者楊鑫 申請(qǐng)人:曙光信息產(chǎn)業(yè)(北京)有限公司