本發(fā)明涉及分布式系統(tǒng)領域，尤其涉及一種分布式系統(tǒng)的角色配置方法及裝置。

背景技術(shù)：

分布式系統(tǒng)(distributed system)是建立在網(wǎng)絡之上的軟件系統(tǒng)。通過分布式系統(tǒng)可以將一個作業(yè)分成多個任務，并在不同的計算機節(jié)點上同時處理多個任務，從而快速、安全地完成作業(yè)。

在構(gòu)建分布式系統(tǒng)時，需要部署分布式系統(tǒng)中的各個節(jié)點(計算機)的角色，例如，對于分布式hadoop，其包括hadoop-master角色和hadoop-slaver角色?，F(xiàn)有技術(shù)主要采用如下幾種方法：一是采用統(tǒng)一模板的方式進行部署，即通過一個通用的安裝方式或者系統(tǒng)鏡像實現(xiàn)對分布式系統(tǒng)的部署，生成的每一個節(jié)點上的配置進本無差別，需要再次手動設置才可正常運行；其存在的問題是可變性單一，模板的制作過程比較費時費力，需要專業(yè)的人員才能完成，靈活性不足。另一種是針對不同的角色配置不同的模板，這會使得模板的數(shù)量異常之多，部署實現(xiàn)不易，且不易做角色的調(diào)整。

技術(shù)實現(xiàn)要素：

針對上述問題，本發(fā)明的目的在于提供一種分布式系統(tǒng)的角色配置方法及裝置，可實現(xiàn)簡單、快捷的分布式系統(tǒng)的角色配置。

本發(fā)明提供了一種分布式系統(tǒng)的角色配置方法，包括如下步驟：

配置集群中的每個節(jié)點的IP地址；

根據(jù)預設的集群配置文件設置所述集群中的每個節(jié)點的角色；其中，每個節(jié)點包括至少一個角色；

生成與每個節(jié)點的角色對應的角色安裝文件；

根據(jù)所述節(jié)點的IP地址，將所述角色安裝文件發(fā)送給對應的節(jié)點，以使所述節(jié)點根據(jù)接收到所述角色安裝文件進行安裝。

優(yōu)選地，所述節(jié)點的角色至少包括以下其中之一：hadoop-master，hbase-master，zookeeper；

或者至少包括以下其中之一：hadoop-slaver，hbase-slaver，zookeeper。

優(yōu)選地，所述角色安裝文件包括安裝腳本、角色安裝程序文件及自啟動服務列表文件。

優(yōu)選地，當所述節(jié)點包括至少兩個角色時，所述生成與每個節(jié)點的角色對應的角色安裝文件具體包括：

獲取所述至少兩個角色的安裝腳本、角色安裝程序文件及自啟動服務列表文件，將所述至少兩個角色的安裝腳本和角色安裝程序文件進行組合打包，并整合角色間的自啟動服務，生成與所述至少兩個角色對應的角色安裝文件。

優(yōu)選地，在根據(jù)預設的集群配置文件設置集群中的每個節(jié)點的角色之后，還包括：

檢測集群中的所有節(jié)點的角色配置是否合理；

當檢測到所述集群中存在至少兩個master角色時，檢查是否采用高可用性配置，若否，則生成異常提醒。

優(yōu)選地，在根據(jù)所述節(jié)點的IP地址，將所述角色安裝文件發(fā)送給對應的節(jié)點，以使所述節(jié)點根據(jù)接收到所述角色安裝文件后進行安裝之后，還包括：

接收集群配置修改指令；

讀取與所述集群配置修改指令對應的修改后的集群配置文件；

根據(jù)所述修改后的集群配置文件解析角色發(fā)生變化的節(jié)點的IP地址及變化后的角色；

生成與變化后的角色對應的角色安裝文件，并根據(jù)所述發(fā)生變化的節(jié)點的IP地址，將所述角色安裝文件發(fā)送給對應的所述發(fā)生變化的節(jié)點，以使所述發(fā)生變化的節(jié)點根據(jù)接收到所述角色安裝文件后進行安裝。

本發(fā)明還提供了一種分布式系統(tǒng)的角色配置裝置，包括：

IP地址配置單元，用于配置集群中的每個節(jié)點的IP地址；

角色設置單元，用于根據(jù)預設的集群配置文件設置所述集群中的每個節(jié)點的角色；其中，每個節(jié)點包括至少一個角色；

安裝文件生成單元，用于生成與每個節(jié)點的角色對應的角色安裝文件；

發(fā)送單元，用于根據(jù)所述節(jié)點的IP地址，將所述角色安裝文件發(fā)送給對應的節(jié)點，以使所述節(jié)點根據(jù)接收到所述角色安裝文件進行安裝。

優(yōu)選地，當所述節(jié)點包括至少兩個角色時，

所述安裝文件生成單元具體用于，獲取所述至少兩個角色的安裝腳本、角色安裝程序文件及自啟動服務列表文件，將所述至少兩個角色的安裝腳本和角色安裝程序文件進行組合打包，并整合角色間的自啟動服務，生成與所述至少兩個角色對應的角色安裝文件。

優(yōu)選地，還包括：

角色檢測單元，用于檢測集群中的所有節(jié)點的角色配置是否合理；

異常檢查單元，用于當檢測到所述集群中存在至少兩個master角色時，檢查是否采用高可用性配置，若否，則生成異常提醒。

優(yōu)選地，還包括：

修改指令接收單元，用于接收集群配置修改指令；

修改文件讀取單元，用于讀取與所述集群配置修改指令對應的修改后的集群配置文件；

變化參數(shù)解析單元，用于根據(jù)所述修改后的集群配置文件解析角色發(fā)生變化的節(jié)點的IP地址及變化后的角色；

角色安裝文件發(fā)送單元，用于生成與變化后的角色對應的角色安裝文件，并根據(jù)所述發(fā)生變化的節(jié)點的IP地址，將所述角色安裝文件發(fā)送給對應的所述發(fā)生變化的節(jié)點，以使所述發(fā)生變化的節(jié)點根據(jù)接收到所述角色安裝文件后進行安裝。

本發(fā)明提供的分布式系統(tǒng)的角色配置方法及裝置，通過預先配置好的集群配置文件自動部署集群中的各個節(jié)點的角色，并將根據(jù)各個節(jié)點的角色自動生成角色安裝文件后發(fā)送給各個節(jié)點，從而實現(xiàn)各個節(jié)點中的角色的自動配置，不需要使用統(tǒng)一模板或針對各個節(jié)點的角色準備多種模板，配置簡單，操作方便，無需專業(yè)人員進行安裝部署。

附圖說明

為了更清楚地說明本發(fā)明的技術(shù)方案，下面將對實施方式中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施方式，對于本領域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實施例提供的分布式系統(tǒng)的角色配置方法的流程示意圖。

圖2是本發(fā)明實施例提供的分布式系統(tǒng)的角色配置裝置的結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

請參閱圖1，本發(fā)明實施例提供了一種分布式系統(tǒng)的角色配置方法，其可由分布式系統(tǒng)的角色配置裝置(以下簡稱角色配置裝置)來執(zhí)行，并包括如下步驟：

S101，自動配置集群中的每個節(jié)點的IP地址。

在本發(fā)明實施例中，在配置集群中的每個節(jié)點的IP地址的同時，還可同時配置每個節(jié)點的主機名，以方便節(jié)點的查找。

S102，根據(jù)預設的集群配置文件設置所述集群中的每個節(jié)點的角色；其中，每個節(jié)點包括至少一個角色。

具體地，在本發(fā)明實施例中，一個分布式系統(tǒng)是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的框架，其能夠把應用程序分割成許多的小的工作單元，并把這些工作單元放到集群中的任意節(jié)點上執(zhí)行。其中，一個準備提交執(zhí)行的應用程序稱為“作業(yè)(job)”，而從一個作業(yè)劃分出得、運行于各個計算節(jié)點的工作單元稱為“任務(task)”。

在本發(fā)明實施例中，在分布式存儲和分布式計算方面，一般都是用主/從(master/slaver)架構(gòu)。

例如，對于一個分布式hadoop，則集群內(nèi)包括作為hadoop-master角色的master節(jié)點和作為hadoop-slaver角色的slaver節(jié)點，而對于分布式hbase，則集群內(nèi)包括作為hbase-master角色的master節(jié)點和作為hbase-slaver角色的slaver節(jié)點。對于分布式zookeeper，集群內(nèi)包括作為zookeeper角色的zookeeper節(jié)點。

以hadoop為例，在一個配置完整的集群上，想實現(xiàn)分布式，需要在集群中運行一系列后臺程序。不同的后臺程序?qū)崿F(xiàn)不同的服務，這些服務由NameNode、DataNode、Secondary NameNode、JobTracker、TaskTracker組成。其中NameNode、Secondary NameNode、JobTracker運行在master節(jié)點上，而在每個slaver節(jié)點上，部署一個DataNode和TaskTracker，以便這個slaver節(jié)點運行的數(shù)據(jù)處理程序能盡可能直接處理本機的數(shù)據(jù)。

在本發(fā)明實施例中，為了實現(xiàn)分布式系統(tǒng)的運行，需要合理配置集群中的各個節(jié)點的角色，其中，集群中的每個節(jié)點的角色可根據(jù)用戶需求進行指定配置，在根據(jù)用戶的需求生成集群配置文件后，由角色配置裝置讀取所述集群配置文件，從而設置集群中的各個節(jié)點的角色。

其中，每個節(jié)點的角色至少包括以下其中之一：hadoop-master，hbase-master，zookeeper；

或者至少包括以下其中之一：hadoop-slaver，hbase-slaver，zookeeper。

S103，生成與每個節(jié)點的角色對應的角色安裝文件。

在本發(fā)明實施例中，在配置完集群內(nèi)的各個節(jié)點的角色后，需要向各個節(jié)點發(fā)送與其角色對應的角色安裝文件。其中，所述角色安裝文件根據(jù)需要配置的角色的基本信息預先生成，即當知道了需要配置什么樣的角色后，就可以生成與其對應的角色安裝文件，所述角色安裝文件一般包括安裝腳本(或者安裝配置文件)、角色安裝程序文件及自啟動服務列表文件。這里的所述角色安裝程序文件為用于安裝基礎服務的程序，而安裝腳本則用于在處理程序安裝過程中的基礎配置和相關(guān)依賴，自啟動服務列表文件定義了節(jié)點開機時需要自啟動的服務。

S104，根據(jù)所述節(jié)點的IP地址，將所述角色安裝文件發(fā)送給對應的節(jié)點，以使所述節(jié)點根據(jù)接收到所述安裝文件后進行安裝。

在本發(fā)明實施例中，在生成所述角色安裝文件后，所述角色配置裝置根據(jù)每個節(jié)點的IP及該節(jié)點的角色，將所述角色安裝文件發(fā)送給對應的節(jié)點，所述節(jié)點在接收到所述角色安裝文件后，根據(jù)角色安裝文件中的安裝腳本對角色安裝程序文件進行安裝，并根據(jù)所述自啟動服務列表文件設置每個開機需自啟動的服務。例如，對于hadoop-master角色的節(jié)點，其自啟動服務包括NameNode、Secondary NameNode、JobTracker，而對于hadoop-slaver角色的節(jié)點，其自啟動服務包括DataNode和TaskTracker。

綜上所述，本發(fā)明實施例提供的分布式系統(tǒng)的角色配置方法，通過預先配置好的集群配置文件自動部署集群中的各個節(jié)點的角色，并將根據(jù)各個節(jié)點的角色自動生成角色安裝文件后發(fā)送給各個節(jié)點，從而實現(xiàn)各個節(jié)點中的角色的自動配置，不需要使用統(tǒng)一模板或針對各個節(jié)點的角色準備多種模板，配置簡單，操作方便，無需專業(yè)人員進行安裝部署，滿足一般用戶的配置需求和使用需求。

為了便于對本發(fā)明的理解，下面對本發(fā)明的一些優(yōu)選實施例做更進一步的描述。

優(yōu)選地，當所述節(jié)點包括至少兩個角色時，步驟S103具體包括：

獲取所述至少兩個角色的安裝腳本、角色安裝程序文件及自啟動服務列表文件，將所述至少兩個角色的安裝腳本和角色安裝程序文件進行組合打包，并整合角色間的自啟動服務列表，生成與所述至少兩個角色對應的角色安裝文件。

具體的，在一些情況下，可能需要在一個節(jié)點上部署組合角色，例如，可能需要在一個節(jié)點上同時部署hadoop-slaver，hbase-slaver，zookeeper。則此時，所述角色配置裝置分別獲取所述至少兩個角色對應的安裝腳本、角色安裝程序文件及自啟動服務列表文件，將所述至少兩個角色的安裝腳本和角色安裝程序文件進行組合打包，并整合角色間的自啟動服務列表，生成與所述至少兩個角色對應的角色安裝文件。

在本優(yōu)選實施例中，如果要在一個節(jié)點上布置不同的角色的組合，只需在所述集群配置文件上設置好該節(jié)點上需要組合的角色，并與該節(jié)點的IP地址進行關(guān)聯(lián)，所述角色部署裝置即可以自動根據(jù)集群配置文件設置好的組合角色自動生成組合后的角色安裝文件，并發(fā)送給該節(jié)點，實現(xiàn)在節(jié)點上部署組合角色。本優(yōu)選實施例在實現(xiàn)節(jié)點的角色組合時，無需對各種組合角色的節(jié)點單獨進行設置或制作模板，實現(xiàn)簡單，無需專業(yè)人員進行安裝部署。

優(yōu)選地，在步驟S102之后，還包括：

檢測集群中的所有節(jié)點的角色配置是否合理；

當檢測到所述集群中存在至少兩個master角色時，檢查是否采用高可用性配置，若否，則生成異常提醒。

對應一個分布式系統(tǒng)，其一般是一主多從(即一個master節(jié)點，多個slaver節(jié)點)的架構(gòu)。在對集群中的所有節(jié)點進行角色配置后，所述角色配置裝置還檢測集群中的所有節(jié)點的角色配置是否合理，例如是否出現(xiàn)了有多個master角色的情況，若當檢測到所述集群中存在至少兩個master角色時，則進一步檢查是否采用高可用性(HA)配置，若是，則代表正常，若否，則說明配置出錯，并生成異常提醒，提醒用戶對集群配置文件進行修改，保證只有一個master節(jié)點，其中，異常提醒還同時包括出錯的節(jié)點的主機名或IP等，方便用戶進行異常的尋找和排除。

當然，在本發(fā)明的其他實施例中，還可根據(jù)分布式系統(tǒng)或者集群的其他固有性質(zhì)進行自動檢查來發(fā)現(xiàn)錯誤節(jié)點，這些方案也在本發(fā)明的保護范圍之內(nèi)，本發(fā)明在此不做贅述。

本優(yōu)選實施例中，可以根據(jù)分布式系統(tǒng)中的角色的固有性質(zhì)進行自動檢測，從而在安裝部署階段及時發(fā)現(xiàn)錯誤節(jié)點并進行處理，避免了運行時出錯的問題，提高了用戶的使用體驗。

優(yōu)選地，在步驟S104之后，還包括：

接收集群配置修改指令。

讀取與所述集群配置修改指令對應的修改后的集群配置文件。

根據(jù)所述修改后的集群配置文件獲得角色發(fā)生變化的節(jié)點的IP地址及變化后的角色。

生成與變化后的角色對應的角色安裝文件，并根據(jù)所述發(fā)生變化的節(jié)點的IP地址，將所述角色安裝文件發(fā)送給對應的所述發(fā)生變化的節(jié)點，以使所述發(fā)生變化的節(jié)點根據(jù)接收到所述角色安裝文件后進行安裝。

在本優(yōu)選實施例中，若需要對集群中的節(jié)點的角色進行更改時，只需要在原集群配置文件進行相應的修改，如增加節(jié)點的角色、刪除節(jié)點上的角色、增加節(jié)點上的角色的服務或者刪除節(jié)點上的角色的服務，生成修改后的集群配置文件。此后，用戶可發(fā)出集群配置修改指令，所述角色配置裝置在接收到集群配置修改指令后，讀取與所述集群配置修改指令對應的修改后的集群配置文件，并根據(jù)所述修改后的集群配置文件獲得角色發(fā)生變化的節(jié)點的IP地址及變化后的角色，此后，生成與變化后的角色對應的角色安裝文件，并根據(jù)所述發(fā)生變化的節(jié)點的IP地址，將所述角色安裝文件發(fā)送給對應的所述發(fā)生變化的節(jié)點，以使所述發(fā)生變化的節(jié)點根據(jù)接收到所述安裝角色文件后進行安裝。

其中，發(fā)生變化的節(jié)點在接收到新的角色安裝文件后，可先卸載原來安裝的角色的應用程序，以免發(fā)生沖突。

本優(yōu)選實施例中，在對集群內(nèi)的節(jié)點的角色進行修改時，只需修改集群配置文件中的與該節(jié)點對應的配置信息即可，不需要重新部署整個集群的節(jié)點的角色，修改維護效率高，無需專業(yè)人員部署或修改，方便了用戶的操作。

請參閱圖2，本發(fā)明實施例還提供了一種分布式系統(tǒng)的角色配置裝置100，包括：

IP地址配置單元10，用于配置集群中的每個節(jié)點的IP地址。

角色設置單元20，用于根據(jù)預設的集群配置文件設置所述集群中的每個節(jié)點的角色；其中，每個節(jié)點包括至少一個角色。

其中，每個節(jié)點的角色至少包括以下其中之一：hadoop-master，hbase-master，zookeeper；

或者至少包括以下其中之一：hadoop-slaver，hbase-slaver，zookeeper。

安裝文件生成單元30，用于生成與每個節(jié)點的角色對應的角色安裝文件。

發(fā)送單元40，用于根據(jù)所述節(jié)點的IP地址，將所述角色安裝文件發(fā)送給對應的節(jié)點，以使所述節(jié)點根據(jù)接收到所述角色安裝文件進行安裝。

本發(fā)明實施例提供的分布式系統(tǒng)的角色配置裝置，可通過預先配置好的集群配置文件自動部署集群中的各個節(jié)點的角色，并根據(jù)發(fā)送的角色安裝文件實現(xiàn)各個節(jié)點中的角色的自動安裝，不需要使用統(tǒng)一模板或針對各個節(jié)點的角色準備多種模板，配置方法簡單，無需專業(yè)人員進行安裝部署。

優(yōu)選地，當所述節(jié)點包括至少兩個角色時，所述安裝文件生成單元30具體用于，獲取所述至少兩個角色的安裝腳本、角色安裝程序文件及自啟動服務列表文件，將所述至少兩個角色的安裝腳本和角色安裝程序文件進行組合打包，并整合角色間的自啟動服務，生成與所述至少兩個角色對應的角色安裝文件。

在本優(yōu)選實施例中，如果要在一個節(jié)點上布置角色組合，只需在所述集群配置文件上設置好需要組合的角色，所述安裝文件生成單元30即可以自動根據(jù)集群配置文件設置好的組合角色自動生成組合后的角色安裝文件，并由所述發(fā)送單元40發(fā)送給對應的節(jié)點，實現(xiàn)在節(jié)點上部署組合角色。本優(yōu)選實施例在實現(xiàn)節(jié)點的角色組合時，無需對各種組合角色單獨進行設置或制作模板，實現(xiàn)簡單，無需專業(yè)人員進行安裝部署。

優(yōu)選地，還包括：

角色檢測單元51，用于檢測集群中的所有節(jié)點的角色配置是否合理。

檢查單元52，用于當檢測到所述集群中存在至少兩個master角色時，檢查是否采用高可用性配置，若否，則生成異常提醒。

本優(yōu)選實施例中，可以根據(jù)hadoop或者hbase等其他的角色的性質(zhì)進行檢測，從而在安裝部署階段及時發(fā)現(xiàn)錯誤節(jié)點并進行處理，避免了運行時出錯的問題。

優(yōu)選地，還包括：

指令接收單元61，用于接收集群配置修改指令；

修改文件讀取單元62，用于讀取與所述集群配置修改指令對應的修改后的集群配置文件；

變化參數(shù)獲取單元63，用于根據(jù)所述修改后的集群配置文件解析角色發(fā)生變化的節(jié)點的IP地址及變化后的角色；

角色安裝文件發(fā)送單元64，用于生成與變化后的角色對應的角色安裝文件，并根據(jù)所述發(fā)生變化的節(jié)點的IP地址，將所述角色安裝文件發(fā)送給對應的所述發(fā)生變化的節(jié)點，以使所述發(fā)生變化的節(jié)點根據(jù)接收到所述角色安裝文件后進行安裝。

本優(yōu)選實施例中，在對集群內(nèi)的節(jié)點的角色進行修改時，只需通過修改集群配置文件即可實現(xiàn)集群內(nèi)的節(jié)點的角色，而且在修改時，不需要重新部署整個集群的節(jié)點，只需對那些發(fā)生了變化的節(jié)點進行修改即可，加快了修改的速度。

本發(fā)明實施例還提供一種分布式系統(tǒng)的角色配置系統(tǒng)，其包括如上述任一實施例所述的分布式系統(tǒng)的角色配置裝置100及至少兩個節(jié)點，其中，所述角色配置裝置100可配置集群中的每個節(jié)點的IP地址，并在根據(jù)預設的集群配置文件設置所述集群中的每個節(jié)點的角色后，生成與每個節(jié)點的角色對應的角色安裝文件，最后根據(jù)所述節(jié)點的IP地址，將所述角色安裝文件發(fā)送給對應的節(jié)點，每個所述節(jié)點根據(jù)接收到所述角色安裝文件進行安裝，從而實現(xiàn)了分布式系統(tǒng)的角色配置。

以上所揭露的僅為本發(fā)明一種較佳實施例而已，當然不能以此來限定本發(fā)明之權(quán)利范圍，本領域普通技術(shù)人員可以理解實現(xiàn)上述實施例的全部或部分流程，并依本發(fā)明權(quán)利要求所作的等同變化，仍屬于發(fā)明所涵蓋的范圍。

本領域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分流程，是可以通過計算機程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory，ROM)或隨機存儲記憶體(Random Access Memory，RAM)等。