本發(fā)明涉及計算機軟件應用技術,尤其涉及一種基于Apache Ambari的Hue服務自動化配置處理辦法。
背景技術:
在社會快速發(fā)展的今天,各行各業(yè)每天都會產生大量的數(shù)據(jù),數(shù)據(jù)來源囊括了我們周圍可以捕獲的任何類型數(shù)據(jù),網(wǎng)站、社交媒體、交易型商業(yè)數(shù)據(jù)以及其它商業(yè)環(huán)境中創(chuàng)建的數(shù)據(jù)。面對海量數(shù)據(jù)的處理操作,應運而生很多大數(shù)據(jù)服務組件,如Hadoop、Spark、Hue等。面對這些大數(shù)據(jù)組件的使用,很多用戶使用和管理要付出大量的時間成本。
Apache Ambari是一種基于Web的工具,支持Apache Hadoop集群的供應、管理和監(jiān)控,它目前支持大多數(shù)Hadoop生態(tài)圈的組件,如HDFS、Yarn、Hbase、Hive、Pig、Zookeeper等。Hue是一個可快速開發(fā)和調試Hadoop生態(tài)系統(tǒng)中各種服務應用的一個基于瀏覽器的圖形化工具,通過使用Hue,可以很方便的操作Hadoop集群。而實際部署Hue服務的過程中,Hue的部署和配置工作是一項很繁瑣且容易出錯的過程。尤其是對于不熟悉Hue服務的用戶,可能面對Hue服務的配置需要耗費大量的時間。。
技術實現(xiàn)要素:
為了解決該問題,本發(fā)明提出了一種基于Apache Ambari的Hue服務自動化配置處理辦法。通過對Apache Ambari部署管理工具的二次開發(fā),實現(xiàn)Hue服務的自動化部署和配置,能大大提高運維人員的操作和使用上的便利。
本發(fā)明提供一種基于Apache Ambari的Hue服務自動化配置處理辦法。Apache Ambari是一種基于Web的工具,支持Apache Hadoop集群的安裝部署、管理和監(jiān)控。Hue是一個可快速開發(fā)和調試Hadoop生態(tài)系統(tǒng)中各種服務應用的一個基于瀏覽器的圖形化工具,通過使用Hue,可以很方便的使用集群中已部署的組件服務。本發(fā)明通過對Ambari進行二次開發(fā),在Ambari中集成Hue服務,Hue在安裝和配置過程中需要手動操作的繁瑣的工作交給Ambari來自動安裝部署完成,并提供了在Ambari中監(jiān)控Hue服務健康狀況,同時,該設計在Ambari Web端支持操作人員選擇在Hue服務中使用其它大數(shù)據(jù)組件服務,對于大數(shù)據(jù)集群的運維提供了極大的便利
主要包括:
對Ambari部署管理工具進行二次開發(fā),添加Hue服務模塊。
調用Ambari提供的相關安裝模塊函數(shù),設計和編寫Hue服務安裝部署模塊。
調用Ambari的接口函數(shù),自動獲取集群已安裝部署的其它大數(shù)據(jù)服務的安裝配置信息,并提供給Hue服務配置模塊使用。
在Ambari中設計Hue服務的啟動或者停止模塊。
在Ambair中設計獲取Hue服務的運行狀態(tài)的監(jiān)控模塊。
在Abmari的Hue服務模塊添加其它服務信息,如元數(shù)據(jù)庫同步,用戶同步等。
本發(fā)明的關鍵點:
1) 對Apache Ambari管理工具進行二次開發(fā),集成Hue服務;
2) 實現(xiàn)Hue服務自動化安裝部署、配置管理;
3) 實現(xiàn)Hue服務的運行狀態(tài)監(jiān)控。
Hadoop集群和Hue服務相結合,Ambari部署管理工具和Hue安裝配置相結合;通過Ambari部署管理工具自動配置Hue服務。
本發(fā)明的有益效果是
基于Apache Ambari的Hue服務自動化安裝部署和配置,能夠快速的實現(xiàn)部署和配置Hue服務,并同時提供監(jiān)控Hue服務的健康狀況,極大的提高安裝部署和配置效率,降低配置Hue服務過程中由于相關配置信息過多導致的多重問題。
附圖說明
圖1是Ambari系統(tǒng)架構示意圖;
圖2是顯示Agent上部署Hue服務示意圖。
具體實施方式
下面對本發(fā)明的內容進行更加詳細的闡述:
如圖(1)為Ambari系統(tǒng)架構,Ambari分為兩大部分:Ambari Server和Ambari Agent。Ambari Server的Rest API中又分為主要的兩大類 API,其中一類為ambari-web提供監(jiān)控管理服務,另一類用于與ambari-agent交互,接受ambari-agent向ambari-server發(fā)送心跳請求。Master模塊接受API和Agent Interface的請求,完成ambari-server的集中式管理監(jiān)控邏輯,而每個agent節(jié)點只負責所在節(jié)點的狀態(tài)采集及維護工作。在Ambari中集成Hue服務,即在Ambari的某一個或者多個Agent上安裝部署Hue服務。
如圖(2)是顯示某個Agent上部署Hue服務。Ambari Server向Agent發(fā)送請求,如通知某個Agent端部署Hue服務、向此Agent發(fā)送必要的安裝和配置文件等。Agent端接收請求后根據(jù)Server端發(fā)來的消息分步執(zhí)行設計好的安裝部署、服務配置、服務啟停和用戶同步等操作。當Hue服務正常啟動后,Agent端會將Hue服務的運行狀態(tài)定時返回給Ambari Server端,Ambari Server將收集的Hue服務狀態(tài)信息實時反饋到Ambari Server的Web控制臺,實現(xiàn)Hue服務的監(jiān)控。同時,在Ambari Server的Web控制臺的Hue服務模塊,支持Hue與各個大數(shù)據(jù)服務組件操作的插件啟停配置。