本發(fā)明是關(guān)于大數(shù)據(jù)技術(shù)，具體地，是關(guān)于一種用于Hadoop集群自動安裝的系統(tǒng)及方法。

背景技術(shù)：

Hadoop是一個由Apache基金會所開發(fā)的能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。其在大數(shù)據(jù)處理中廣泛應(yīng)用，得益于自身在數(shù)據(jù)提取、變形和加載(ETL)方面的優(yōu)勢：Hadoop的分布式架構(gòu)，將大數(shù)據(jù)處理引擎盡可能的靠近存儲端，如像ETL這樣的批處理操作，其結(jié)果可以直接走向存儲。Hadoop的MapReduce實現(xiàn)了任務(wù)的碎片化，并將碎片任務(wù)(Map)發(fā)送到多個節(jié)點上，之后再以數(shù)據(jù)集的形式加載(Reduce)到數(shù)據(jù)倉庫里。

在Hadoop部署實踐中，存在兩個方面的問題：1、物理機硬件各類繁多，操作系統(tǒng)配置復(fù)雜；2、Hadoop應(yīng)用服務(wù)豐富，集群結(jié)構(gòu)耦合性高。傳統(tǒng)模式下，物理機的安裝需依賴管理員手工安裝，再一臺臺進行系統(tǒng)配置，這樣不僅十分浪費時間，且配置過程復(fù)雜操作性風(fēng)險高。而Hadoop的每個服務(wù)都有不同的管理接口，管理員必須了解所有接口才能進行配置服務(wù)，其集群結(jié)構(gòu)復(fù)雜度較高。為了解決操作系統(tǒng)和Hadoop應(yīng)用程序自動化安裝問題，有必要開發(fā)出一套標(biāo)準(zhǔn)化的安裝技術(shù)來實現(xiàn)Hadoop平臺下的物理機集群的快速部署方法。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例的主要目的在于提供一種用于Hadoop集群自動安裝的系統(tǒng)及方法，以解決現(xiàn)有安裝模式由于硬件種類繁多，配置復(fù)雜導(dǎo)致的費時費力的問題。

為了實現(xiàn)上述目的，本發(fā)明實施例提供一種用于Hadoop集群自動安裝的系統(tǒng)，所述的系統(tǒng)包括：DHCP服務(wù)器、BOOT服務(wù)器、YUM服務(wù)器、Hadoop集群及物理機節(jié)點，其中，所述的DHCP服務(wù)器用于分配及管理動態(tài)IP；所述的BOOT服務(wù)器用于存儲操作系統(tǒng)配置模板及Hadoop應(yīng)用服務(wù)配置模板；所述的YUM服務(wù)器用于存儲操作系統(tǒng)及Hadoop應(yīng)用服務(wù)的安裝源文件；所述物理機節(jié)點執(zhí)行以下步驟：從所述DHCP服務(wù)器獲取所述動態(tài)IP；根據(jù)一個性化Kickstart安裝腳本從所述YUM服務(wù)器上獲取相應(yīng)的安裝源文件；根據(jù)所述動態(tài)IP、安裝源文件在所述物理機節(jié)點中安裝操作系統(tǒng)；接收Hadoop應(yīng)用服務(wù)安裝指令，根據(jù)所述Hadoop應(yīng)用服務(wù)配置模板及個性化Kickstart安裝腳本在所述Hadoop集群安裝Hadoop應(yīng)用服務(wù)。

在一實施例中，在根據(jù)所述動態(tài)IP、安裝源文件在所述物理機節(jié)點中安裝操作系統(tǒng)之后，所述物理機節(jié)點還執(zhí)行以下步驟：用所述物理機節(jié)點的應(yīng)用IP替換所述動態(tài)IP。

在一實施例中，上述的Hadoop應(yīng)用服務(wù)配置模板的種類至少包含：管理節(jié)點模板、服務(wù)節(jié)點模板及應(yīng)用節(jié)點模板。

在一實施例中，上述的個性化Kickstart安裝腳本為所述BOOT服務(wù)器根據(jù)所述Hadoop應(yīng)用服務(wù)配置模板的種類及物理機節(jié)點生成的對應(yīng)于所述種類及物理機節(jié)點的安裝腳本。

在一實施例中，上述的操作系統(tǒng)配置模板的配置參數(shù)至少包含：所述物理機節(jié)點的主機號、主機名、集群網(wǎng)絡(luò)IP地址、操作系統(tǒng)版本號。

本發(fā)明實施例還提供一種用于Hadoop集群自動安裝的方法，所述的方法應(yīng)用于上述的系統(tǒng)中，所述的方法包括：從所述DHCP服務(wù)器獲取所述動態(tài)IP；根據(jù)一個性化Kickstart安裝腳本從所述YUM服務(wù)器上獲取相應(yīng)的安裝源文件；根據(jù)所述動態(tài)IP、安裝源文件在所述物理機節(jié)點中安裝操作系統(tǒng)；接收Hadoop應(yīng)用服務(wù)安裝指令，根據(jù)所述Hadoop應(yīng)用服務(wù)配置模板及個性化Kickstart安裝腳本在所述Hadoop集群安裝Hadoop應(yīng)用服務(wù)。

在一實施例中，在根據(jù)所述動態(tài)IP、安裝源文件在所述物理機節(jié)點中安裝操作系統(tǒng)之后，所述的方法還包括：用所述物理機節(jié)點的應(yīng)用IP替換所述動態(tài)IP。

在一實施例中，上述的Hadoop應(yīng)用服務(wù)配置模板的種類至少包含：管理節(jié)點模板、服務(wù)節(jié)點模板及應(yīng)用節(jié)點模板。

在一實施例中，上述的個性化Kickstart安裝腳本為所述BOOT服務(wù)器根據(jù)所述Hadoop應(yīng)用服務(wù)配置模板的種類及物理機節(jié)點生成的對應(yīng)于所述種類及物理機節(jié)點的安裝腳本。

在一實施例中，上述的操作系統(tǒng)配置模板的配置參數(shù)至少包含：所述物理機節(jié)點的主機號、主機名、集群網(wǎng)絡(luò)IP地址、操作系統(tǒng)版本號。

本發(fā)明實施例的有益效果在于，解決了由于硬件種類繁多，配置復(fù)雜導(dǎo)致的安裝過程費時費力問題，能夠快速安裝操作系統(tǒng)及相應(yīng)應(yīng)用程序，從而大大節(jié)約了人工成本。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為根據(jù)本發(fā)明實施例的用于Hadoop集群自動安裝的系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為根據(jù)本發(fā)明實施例的用于Hadoop集群自動安裝的方法的流程圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明實施例提供一種用于Hadoop集群自動安裝的系統(tǒng)及方法。以下結(jié)合附圖對本發(fā)明進行詳細說明。

本發(fā)明實施例提供一種用于Hadoop集群自動安裝的系統(tǒng)，如圖1所示，該用于Hadoop集群自動安裝的系統(tǒng)主要包括：DHCP服務(wù)器101、BOOT服務(wù)器102、YUM服務(wù)器103、Hadoop集群104及物理機節(jié)點105。

其中，上述的DHCP服務(wù)器101用于分配及管理動態(tài)IP，為物理機節(jié)點105接入Hadoop集群104之前提供安裝網(wǎng)絡(luò)IP地址。

BOOT服務(wù)器102用于存儲操作系統(tǒng)配置模板及Hadoop應(yīng)用服務(wù)配置模板，參數(shù)配置庫部署在此BOOT服務(wù)器102中，該參數(shù)配置庫中至少包含該操作系統(tǒng)配置模版的各類配置參數(shù)及Hadoop應(yīng)用服務(wù)配置模板的各類配置參數(shù)。其中，該操作系統(tǒng)配置模版的各類配置參數(shù)可以例如是物理機節(jié)點105的主機號(唯一標(biāo)識)、主機名、集群網(wǎng)絡(luò)IP地址、操作系統(tǒng)版本號等；Hadoop應(yīng)用服務(wù)配置模板的各類配置參數(shù)至少包含：根據(jù)物理機節(jié)點105在集群中的角色以及硬件配置劃分的三個種類：管理節(jié)點模板、服務(wù)節(jié)點模板及應(yīng)用節(jié)點模板，這三類模板配置的應(yīng)用服務(wù)種類和數(shù)量均有所不同。

上述的YUM服務(wù)器103用于存儲操作系統(tǒng)及Hadoop應(yīng)用服務(wù)各版本的安裝源文件。

由圖1所示的內(nèi)容可以看出，該物理機節(jié)點105與上述的DHCP服務(wù)器101、BOOT服務(wù)器102、YUM服務(wù)器103之間主要執(zhí)行以下過程：

首先，從DHCP服務(wù)器101獲取動態(tài)IP；具體地，該物理機節(jié)點105可以是在接入安裝網(wǎng)絡(luò)后，從PXE網(wǎng)卡啟動，該安裝網(wǎng)絡(luò)中的DHCP服務(wù)器101索取動態(tài)IP。

然后，根據(jù)一個性化Kickstart安裝腳本從YUM服務(wù)器103上獲取相應(yīng)的安裝源文件。此過程中，BOOT服務(wù)器102根據(jù)物理機節(jié)點105的主機號找到對應(yīng)的配置文件，并在物理機節(jié)點105內(nèi)存中加載操作系統(tǒng)內(nèi)核及個性化Kickstart安裝腳本。

其中，該個性化Kickstart安裝腳本為BOOT服務(wù)器102根據(jù)Hadoop應(yīng)用服務(wù)配置模板的種類及物理機節(jié)點105生成的對應(yīng)于種類及物理機節(jié)點105的安裝腳本。在該個性化Kickstart安裝腳本中至少包含有該物理機節(jié)點105的操作系統(tǒng)版本號。進一步地，則可根據(jù)該操作系統(tǒng)版本號從YUM服務(wù)器103上獲取相應(yīng)的安裝源文件。

下一步，物理機節(jié)點105即可根據(jù)動態(tài)IP、安裝源文件在物理機節(jié)點105中完成操作系統(tǒng)的自動安裝及系統(tǒng)配置。

然后，物理機節(jié)點105即可接收Hadoop應(yīng)用服務(wù)安裝指令，根據(jù)Hadoop應(yīng)用服務(wù)配置模板及個性化Kickstart安裝腳本在Hadoop集群104安裝Hadoop應(yīng)用服務(wù)。

具體地，物理機節(jié)點105安裝完成操作系統(tǒng)和系統(tǒng)配置后，接入到Hadoop集群104中并接收CM5節(jié)點106的管理。接收Hadoop應(yīng)用服務(wù)安裝指令，根據(jù)BOOT服務(wù)器102參數(shù)配置庫中的Hadoop應(yīng)用配置模板，獲取個性化Kickstart安裝腳本中配置的相應(yīng)的Hadoop應(yīng)用服務(wù)和參數(shù)配置，完成Hadoop應(yīng)用服務(wù)的定制化安裝。

通過本發(fā)明實施例的用于Hadoop集群自動安裝的系統(tǒng)，構(gòu)建了一個能夠在Hadoop集群104中實現(xiàn)操作系統(tǒng)及應(yīng)用服務(wù)快速部署的系統(tǒng)，解決了在多臺物理機節(jié)點105接入Hadoop集群104中安裝不同版本操作系統(tǒng)的問題，并避免了現(xiàn)有技術(shù)中通過人工一臺臺修改MAC地址等相關(guān)配置和應(yīng)用程序部署的麻煩，從而大大提高了安裝的安全性和可靠性以及安裝效率。

在實際應(yīng)用中，物理機節(jié)點105安裝完成操作系統(tǒng)和系統(tǒng)配置后，還執(zhí)行一替換IP的步驟，用物理機節(jié)點105的應(yīng)用IP替換安裝操作系統(tǒng)過程中使用的動態(tài)IP。

本發(fā)明實施例還提供一種用于Hadoop集群自動安裝的方法，在一實施例中，該用于Hadoop集群自動安裝的方法可應(yīng)用于上述實施例的用于Hadoop集群自動安裝的系統(tǒng)中。

如圖2所示，該用于Hadoop集群自動安裝的方法主要包括以下步驟：

步驟S201：從DHCP服務(wù)器101獲取動態(tài)IP；

步驟S202：根據(jù)一個性化Kickstart安裝腳本從YUM服務(wù)器103上獲取相應(yīng)的安裝源文件；

步驟S203：根據(jù)動態(tài)IP、安裝源文件在物理機節(jié)點105中安裝操作系統(tǒng)；

步驟S204：接收Hadoop應(yīng)用服務(wù)安裝指令，根據(jù)Hadoop應(yīng)用服務(wù)配置模板及個性化Kickstart安裝腳本在Hadoop集群104安裝Hadoop應(yīng)用服務(wù)。

通過上述的步驟S201至步驟S204，本發(fā)明實施例的用于Hadoop集群自動安裝的方法，能夠?qū)崿F(xiàn)操作系統(tǒng)及應(yīng)用服務(wù)快速部署的系統(tǒng)，解決了在多臺物理機節(jié)點105接入Hadoop集群104中安裝不同版本操作系統(tǒng)的問題，并避免了現(xiàn)有技術(shù)中通過人工一臺臺修改MAC地址等相關(guān)配置和應(yīng)用程序部署的麻煩，從而大大提高了安裝的安全性和可靠性以及安裝效率。

以下對本發(fā)明實施例的用于Hadoop集群自動安裝的方法中的各個步驟做進一步說明。

上述的步驟S201，從DHCP服務(wù)器101獲取動態(tài)IP。具體地，該物理機節(jié)點105可以是在接入安裝網(wǎng)絡(luò)后，從PXE網(wǎng)卡啟動，該安裝網(wǎng)絡(luò)中的DHCP服務(wù)器101索取動態(tài)IP。

上述步驟S202，根據(jù)一個性化Kickstart安裝腳本從YUM服務(wù)器103上獲取相應(yīng)的安裝源文件。

此步驟中，BOOT服務(wù)器102根據(jù)物理機節(jié)點105的主機號找到對應(yīng)的配置文件，并在物理機節(jié)點105內(nèi)存中加載操作系統(tǒng)內(nèi)核及個性化Kickstart安裝腳本。

其中，該個性化Kickstart安裝腳本為BOOT服務(wù)器102根據(jù)Hadoop應(yīng)用服務(wù)配置模板的種類及物理機節(jié)點105生成的對應(yīng)于種類及物理機節(jié)點105的安裝腳本。在該個性化Kickstart安裝腳本中至少包含有該物理機節(jié)點105的操作系統(tǒng)版本號。進一步地，則可根據(jù)該操作系統(tǒng)版本號從YUM服務(wù)器103上獲取相應(yīng)的安裝源文件。

上述步驟S203，根據(jù)動態(tài)IP、安裝源文件在物理機節(jié)點105中安裝操作系統(tǒng)。具體地，是該物理機節(jié)點105即可根據(jù)動態(tài)IP、安裝源文件在物理機節(jié)點105中完成操作系統(tǒng)的自動安裝及系統(tǒng)配置。

然后，執(zhí)行上述步驟S204，接收Hadoop應(yīng)用服務(wù)安裝指令，根據(jù)Hadoop應(yīng)用服務(wù)配置模板及個性化Kickstart安裝腳本在Hadoop集群104安裝Hadoop應(yīng)用服務(wù)。具體地，物理機節(jié)點105安裝完成操作系統(tǒng)和系統(tǒng)配置后，接入到Hadoop集群104中并接收CM5節(jié)點的管理。接收Hadoop應(yīng)用服務(wù)安裝指令，根據(jù)BOOT服務(wù)器102參數(shù)配置庫中的Hadoop應(yīng)用配置模板，獲取個性化Kickstart安裝腳本中配置的相應(yīng)的Hadoop應(yīng)用服務(wù)和參數(shù)配置，完成Hadoop應(yīng)用服務(wù)的定制化安裝。

在實際應(yīng)用中，物理機節(jié)點105安裝完成操作系統(tǒng)和系統(tǒng)配置后，還執(zhí)行一替換IP的步驟，用物理機節(jié)點105的應(yīng)用IP替換安裝操作系統(tǒng)過程中使用的動態(tài)IP。

本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分步驟可以通過程序來指令相關(guān)的硬件來完成，該程序可以存儲于一計算機可讀取存儲介質(zhì)中，比如ROM/RAM、磁碟、光盤等。

以上所述的具體實施例，對本發(fā)明的目的、技術(shù)方案和有益效果進行了進一步詳細說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限定本發(fā)明的保護范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。