本發(fā)明涉及大數(shù)據(jù)應(yīng)用技術(shù)領(lǐng)域,具體涉及一種利用Ambari實現(xiàn)管理多套大數(shù)據(jù)集群的方法。
背景技術(shù):
近幾年來,隨著計算機和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用,行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴大,行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長。動輒達到數(shù)百TB甚至數(shù)十至數(shù)百PB規(guī)模的行業(yè)/企業(yè)大數(shù)據(jù)已遠遠超出了現(xiàn)有傳統(tǒng)的計算技術(shù)和信息系統(tǒng)的處理能力,因此,尋求有效的大數(shù)據(jù)處理技術(shù)、方法和手段已經(jīng)成為現(xiàn)實世界的迫切需求。
百度目前的總數(shù)據(jù)量已超過1000PB,每天需要處理的網(wǎng)頁數(shù)據(jù)達到10PB~100PB;淘寶累計的交易數(shù)據(jù)量高達 100PB;Twitter每天發(fā)布超過2億條消息,新浪微博每天發(fā)帖量達到8000萬條;中國移動一個省的電話通聯(lián)記錄數(shù)據(jù)每月可達 0.5PB~1PB;一個省會城市公安局道路車輛監(jiān)控數(shù)據(jù)三年可達200億條、總量120TB。據(jù)世界權(quán)威IT信息咨詢分析公司IDC研究報告預(yù)測:全世界數(shù)據(jù)量未來10年將從2009年的0.8ZB增長到2020年的35ZB(1ZB=1000EB=1000000PB),10年將增長44倍,年均增長 40%。
Ambari作為目前開源社區(qū)的頂級項目,使用了多個先進開源技術(shù)如:puppet、Jetty、ember.jsden、ruby、Spring等??梢暬牟渴鸫髷?shù)據(jù)組件,大大降低了學(xué)習(xí)大數(shù)據(jù)的門檻。但是目前開源社區(qū)最新版本也只能部署、管理一套集群,此為一大弊端。若要管理多個集群,需要部署多個server端,在一定程度上浪費了寶貴的物理資源,并增大了運維難度。
目前大數(shù)據(jù)使用場景日益廣泛,大數(shù)據(jù)組件自動化部署、管理的問題越來越突出,對一個能管理多套大數(shù)據(jù)環(huán)境的管理工具的需求日趨旺盛。
技術(shù)實現(xiàn)要素:
本發(fā)明要解決的技術(shù)問題是:本發(fā)明針對以上問題,提供一種利用Ambari實現(xiàn)管理多套大數(shù)據(jù)集群的方法。
本發(fā)明所采用的技術(shù)方案為:
一種利用Ambari實現(xiàn)管理多套大數(shù)據(jù)集群的方法,所述方法通過修改Ambari中l(wèi)eftNavbar.htm、mail.html、main.js、app.js四處文件相應(yīng)代碼源碼,將html與js文件中代碼的緊密互聯(lián),實現(xiàn)了管理多套大數(shù)據(jù)集群的需求,而可以在部署組件時,減少最少一個管理節(jié)點,有效降低運維復(fù)雜度以及投入成本,具有較好的推廣價值。
所述方法通過修改leftNavbar.htm、mail.html中的相應(yīng)代碼,使管理端的前臺頁面中顯示“新建集群”按鈕,并增加對多集群的顯示功能。
所述方法通過修改main.js中相應(yīng)代碼,增加對dashboard:id的支持。
dashboard:儀表板,儀表盤。
所述方法通過修改app.js中相應(yīng)代碼,取消對現(xiàn)有集群情況的檢查,增加對新增集群跳轉(zhuǎn)的支持;并通過修改load ClusterName SuccessCallback函數(shù),保證集群跳轉(zhuǎn)的正確性。
CallBack函數(shù),回調(diào)函數(shù)就是一個通過函數(shù)指針調(diào)用的函數(shù)。如果把函數(shù)的指針(地址)作為參數(shù)傳遞給另一個函數(shù),當(dāng)這個指針被用為調(diào)用它所指向的函數(shù)時,就說這是回調(diào)函數(shù)。回調(diào)函數(shù)不是由該函數(shù)的實現(xiàn)方直接調(diào)用,而是在特定的事件或條件發(fā)生時由另外的一方調(diào)用的,用于對該事件或條件進行響應(yīng)。
ClusterName,集群名稱。
本發(fā)明的有益效果為:
本發(fā)明針對多集群管理的場景,本發(fā)明可減少物理節(jié)點的投入,有效降低成本,降低運維復(fù)雜度,具有很好的推廣使用價值。
具體實施方式
下面結(jié)合具體實施方式對本發(fā)明進一步說明:
實施例1:
一種利用Ambari實現(xiàn)管理多套大數(shù)據(jù)集群的方法,其特征在于,所述方法通過修改Ambari中l(wèi)eftNavbar.htm、mail.html、main.js、app.js四處文件相應(yīng)代碼源碼,將html與js文件中代碼的緊密互聯(lián),實現(xiàn)了管理多套大數(shù)據(jù)集群的需求,而可以在部署組件時,減少最少一個管理節(jié)點,有效降低運維復(fù)雜度以及投入成本,具有較好的推廣價值。
實施例2
在實施例1的基礎(chǔ)上,本實施例所述方法通過修改leftNavbar.htm、mail.html中的相應(yīng)代碼,使管理端的前臺頁面中顯示“新建集群”按鈕,并增加對多集群的顯示功能。
實施例3
在實施例2的基礎(chǔ)上,本實施例所述方法通過修改main.js中相應(yīng)代碼,增加對dashboard:id的支持。
dashboard:儀表板,儀表盤。
實施例4
在實施例3的基礎(chǔ)上,本實施例所述方法通過修改app.js中相應(yīng)代碼,取消對現(xiàn)有集群情況的檢查,增加對新增集群跳轉(zhuǎn)的支持;并通過修改load ClusterName SuccessCallback函數(shù),保證集群跳轉(zhuǎn)的正確性。
CallBack函數(shù),回調(diào)函數(shù)就是一個通過函數(shù)指針調(diào)用的函數(shù)。如果把函數(shù)的指針(地址)作為參數(shù)傳遞給另一個函數(shù),當(dāng)這個指針被用為調(diào)用它所指向的函數(shù)時,就說這是回調(diào)函數(shù)?;卣{(diào)函數(shù)不是由該函數(shù)的實現(xiàn)方直接調(diào)用,而是在特定的事件或條件發(fā)生時由另外的一方調(diào)用的,用于對該事件或條件進行響應(yīng)。
ClusterName,集群名稱。
實施方式僅用于說明本發(fā)明,而并非對本發(fā)明的限制,有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員,在不脫離本發(fā)明的精神和范圍的情況下,還可以做出各種變化和變型,因此所有等同的技術(shù)方案也屬于本發(fā)明的范疇,本發(fā)明的專利保護范圍應(yīng)由權(quán)利要求限定。