對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和維護(hù)的系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和維護(hù)的系統(tǒng)，所述系統(tǒng)包括：公共資源庫管理模塊、Zookeeper集群管理模塊、Zookeeper客戶端工具以及SolrCloud集群管理模塊；通過公共資源庫管理模塊、Zookeeper集群管理模塊、Zookeeper客戶端工具以及SolrCloud集群管理模塊的互相交互，完成了對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和維護(hù)。本發(fā)明簡化SolrCloud集群應(yīng)用的實(shí)施維護(hù)，降低了對實(shí)施人員的要求，節(jié)省了實(shí)施時(shí)間，同時(shí)提高了集群搜索應(yīng)用的可維護(hù)性。
【專利說明】對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和維護(hù)的系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)通訊【技術(shù)領(lǐng)域】,尤其涉及一種對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和維護(hù)的系統(tǒng)。
【背景技術(shù)】
[0002]Solr是一個(gè)流行、快速的開源搜索服務(wù)器,它起源于Web服務(wù)器軟件Apache的開放源碼程式庫Lucene項(xiàng)目。開源搜索服務(wù)器Solr主要的特色包括:強(qiáng)大的全文搜索能力，高亮突出顯示關(guān)鍵詞，動態(tài)集群化，數(shù)據(jù)庫集成，富文本搜索(例如，Word、pdf文檔等)等。
[0003]Zookeeper是一個(gè)開源分布式的服務(wù)，它提供了分布式協(xié)作，分布式同步，配置管理等功能。其實(shí)現(xiàn)的功能與互聯(lián)網(wǎng)搜索引擎google的粗粒度鎖服務(wù)的文件系統(tǒng)chubby基本一致。
[0004]SolrCloud是基于開源搜索服務(wù)器Solr和分布式的服務(wù)Zookeeper的分布式搜索方案，是Solr4.0以后引入的核心組件之一，它的主要思想是使用Zooke印er作為集群的配置信息中心。它有幾個(gè)特色功能:(I)集中式的配置信息；(2)自動容錯(cuò)；(3)近實(shí)時(shí)搜索；
[4]領(lǐng)導(dǎo)選舉；(5)查詢時(shí)自動負(fù)載均衡。SolrCloud環(huán)境中有“核core”、“分區(qū)shard”、“集合collection”的邏輯實(shí)體,核core指的是運(yùn)行在java虛擬機(jī)上的一個(gè)開源搜索服務(wù)器Solr實(shí)例，多個(gè)core在邏輯上可以組成一個(gè)shard,而多個(gè)shard又在邏輯上組成一個(gè)collection。整個(gè)Solrcloud環(huán)境就是由一個(gè)collection或多個(gè)collection構(gòu)成。Solrcloud環(huán)境構(gòu)成了分布式搜索SolrCloud組織結(jié)構(gòu)。
[0005]在分布式搜索方案SolrCloud出現(xiàn)之前，通過Solr來搭建一個(gè)分布式搜索集群應(yīng)用，需要業(yè)務(wù)應(yīng)用程序編寫大量的代碼來處理負(fù)載均衡、數(shù)據(jù)同步、并發(fā)等各種復(fù)雜的底層技術(shù)問題。在Solr4.0以后，引入了 SolrCloud組件,使用Zookeeper作為集群的配置信息中心，簡化了分布式搜索集群應(yīng)用搭建和集群環(huán)境維護(hù)的復(fù)雜度，目前SolrCloud已經(jīng)成熟，可以支持分布式搜索、分布式索引等，但是企業(yè)在實(shí)際實(shí)施時(shí)，仍然需要面臨縱多的細(xì)節(jié)問題，如集合collection的創(chuàng)建、分區(qū)shard創(chuàng)建、核core的創(chuàng)建、各結(jié)點(diǎn)的配置、各結(jié)點(diǎn)應(yīng)用部署等?，F(xiàn)有這種非可視化的開發(fā)，實(shí)施、維護(hù)比較復(fù)雜。

【發(fā)明內(nèi)容】

[0006]本發(fā)明要解決的技術(shù)問題，在于提供一種對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和維護(hù)的系統(tǒng)，簡化SolrCloud集群應(yīng)用的實(shí)施維護(hù)，降低了對實(shí)施人員的要求，節(jié)省了實(shí)施時(shí)間，同時(shí)提高了集群搜索應(yīng)用的可維護(hù)性。
[0007]本發(fā)明是這樣實(shí)現(xiàn)的:一種對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和維護(hù)的系統(tǒng)，所述系統(tǒng)包括:公共資源庫管理模塊、Zookeeper集群管理模塊、Zookeeper客戶端工具以及SolrCloud集群管理模塊；
[0008]所述公共資源庫管理模塊，用于提供系統(tǒng)中集群各結(jié)點(diǎn)所需的資源；且提供用戶上傳的入口，供用戶上傳最新的資源；并能更新系統(tǒng)中集群各結(jié)點(diǎn)，將上傳的新資源更新到系統(tǒng)中集群各結(jié)點(diǎn)；所述資源包括=Zooke^er部署包、Solr部署包以及Solr配置模版；所述系統(tǒng)中集群各結(jié)點(diǎn)包括有Zookeeper集群的各結(jié)點(diǎn)和SolrCloud集群的各結(jié)點(diǎn)；
[0009]所述Zooke印er集群管理模塊，提供系統(tǒng)中Zooke印er集群的管理；從所述公共資源庫管理模塊中獲取所述Zooke印er部署包和Solr配置模版的資源，根據(jù)獲取到的資源來實(shí)施Zookeeper集群各結(jié)點(diǎn)的部署；對Zookeeper集群各結(jié)點(diǎn)Ip地址、網(wǎng)絡(luò)端口、存儲路徑進(jìn)行管理；并能控制啟動或停止Zookeeper集群各結(jié)點(diǎn)；
[0010]所述Zookeeper客戶端工具,用于對存儲在所述分布式的服務(wù)Zookeeper集群管理模塊中的內(nèi)容進(jìn)行管理；
[0011]所述SolrCloud集群管理模塊，用于對系統(tǒng)的分布式搜索SolrCloud組織結(jié)構(gòu)的管理；對系統(tǒng)的分布式搜索SolrCloud環(huán)境中各個(gè)核core下的開源搜索服務(wù)器Solr實(shí)例的管理；對各個(gè)核core下的開源搜索服務(wù)器Solr實(shí)例的發(fā)布；以及對各個(gè)核core下的開源搜索服務(wù)器Solr實(shí)例的啟動和停止管理。
[0012]本發(fā)明具有如下優(yōu)點(diǎn):本發(fā)明通過公共資源庫管理模塊、Zookeeper集群管理模塊、Zooke^er客戶端工具以及SolrCloud集群管理模塊的互相交互，完成了對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和維護(hù)，簡化SolrCloud集群應(yīng)用的實(shí)施維護(hù)，降低了對實(shí)施人員的要求，節(jié)省了實(shí)施時(shí)間，同時(shí)提高了集群搜索應(yīng)用的可維護(hù)性；為企業(yè)節(jié)省人力成本和時(shí)間成本，最終節(jié)省企業(yè)經(jīng)營成本。
【專利附圖】

【附圖說明】
[0013]圖1為本發(fā)明系 統(tǒng)的框架原理圖。
[0014]圖2為本發(fā)明集群應(yīng)用搭建的一具體實(shí)例示意圖。
【具體實(shí)施方式】
[0015]本發(fā)明為一種對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和維護(hù)的系統(tǒng)，所述系統(tǒng)包括:公共資源庫管理模塊、Zookeeper集群管理模塊、Zookeeper客戶端工具以及SolrCloud集群管理模塊；
[0016]所述公共資源庫管理模塊，用于提供系統(tǒng)中集群各結(jié)點(diǎn)所需的資源；且提供用戶上傳的入口，供用戶上傳最新的資源；并能更新系統(tǒng)中集群各結(jié)點(diǎn)，將上傳的新資源更新到系統(tǒng)中集群各結(jié)點(diǎn)；所述資源包括=Zooke印er部署包、Solr部署包以及Solr配置模版；所述系統(tǒng)中集群各結(jié)點(diǎn)包括有Zookeeper集群的各結(jié)點(diǎn)和SolrCloud集群的各結(jié)點(diǎn)；本發(fā)明的系統(tǒng)實(shí)現(xiàn)的可視化是即要實(shí)現(xiàn)對zoomkeeper集群的管理，也要實(shí)現(xiàn)對SolrCloud集群的管理。
[0017]所述Zooke印er集群管理模塊，提供系統(tǒng)中Zooke印er集群的管理；從所述公共資源庫管理模塊中獲取所述Zooke印er部署包和Solr配置模版的資源，根據(jù)獲取到的資源來實(shí)施Zookeeper集群各結(jié)點(diǎn)的部署；Zookeeper集群各結(jié)點(diǎn)Ip地址、網(wǎng)絡(luò)端口、存儲路徑進(jìn)行管理；并能控制啟動或停止Zookeeper集群各結(jié)點(diǎn)；
[0018]所述Zookeeper客戶端工具,用于對存儲在所述Zookeeper集群管理模塊中的內(nèi)容進(jìn)行管理；且Zooke^er客戶端工具將以圖形界面的方式實(shí)現(xiàn)zkCl1.cmd中的功能；所述zkCl1.cmd是Zookeeper發(fā)布的用于維護(hù)Zookeeper服務(wù)端內(nèi)容的命令行工具；該工具能上傳配置文件到所述分布式的服務(wù)Zookeeper集群管理模塊中，對Zookeeper集群管理模塊中的內(nèi)容進(jìn)行修改，刪除操作；
[0019]所述SolrCloud集群管理模塊,用于對系統(tǒng)的分布式搜索SolrCloud組織結(jié)構(gòu)的管理；對系統(tǒng)的分布式搜索SolrCloud環(huán)境中各個(gè)核core下的開源搜索服務(wù)器Solr實(shí)例的管理；對各個(gè)核core下的開源搜索服務(wù)器Solr實(shí)例的發(fā)布；以及對各個(gè)核core下的開源搜索服務(wù)器Solr實(shí)例的啟動和停止管理。
[0020]其中，對系統(tǒng)的分布式搜索SolrCloud組織結(jié)構(gòu)的管理具體包括:分布式搜索SolrCloud環(huán)境中集合collection的創(chuàng)建、集合collection下各個(gè)分區(qū)shard的創(chuàng)建、分區(qū)shard下各個(gè)核core的創(chuàng)建；各個(gè)核core的創(chuàng)建是為每個(gè)核core分配ip地址、網(wǎng)絡(luò)端口、存儲路徑以及名稱。
[0021]對系統(tǒng)的分布式搜索SolrCloud環(huán)境中各個(gè)核core下的開源搜索服務(wù)器Solr實(shí)例的管理，具體為:從所述公共資源庫管理模塊中獲取Solr部署包到系統(tǒng)中相應(yīng)的應(yīng)用服務(wù)器中，修改相關(guān)配置，創(chuàng)建每個(gè)核core對應(yīng)的部署包，從而實(shí)現(xiàn)對核core下的開源搜索服務(wù)器Solr實(shí)例內(nèi)容的管理。
[0022]所述對各個(gè)核core下的開源搜索服務(wù)器Solr實(shí)例的發(fā)布，具體為:將開源搜索服務(wù)器Solr實(shí)例與系統(tǒng)中應(yīng)用服務(wù)器進(jìn)行集成，將開源搜索服務(wù)器Solr應(yīng)用程序包發(fā)布到對應(yīng)的應(yīng)用服務(wù)器的容器中；該容器如:基于Javaee架構(gòu)的中間件weblogic或Web應(yīng)用服務(wù)器 tomcat。
[0023]這里需要說明的是:
[0024]公共資源庫管理模塊是其它部分的基礎(chǔ)，為后續(xù)其它模塊的創(chuàng)建提供資源。Zookeeper客戶端工具維護(hù)分布式的服務(wù)Zookeeper集群管理模塊上存儲的內(nèi)容。SolrCloud集群管理模塊需要從公共資源庫管理模塊中獲取solr部署包，同時(shí)需要引用保存在分布式的服務(wù)Zookeeper集群管理模塊上的Solr配置模版。
[0025]如圖2所示，通過本發(fā)明系統(tǒng)對集群應(yīng)用搭建的一具體實(shí)例:圖中包括了一集合 mycollection,該集合下有三個(gè)分區(qū)，分別為:shard_f jdl_0、shard_shdl_0、shard_P_GWBB_0分區(qū)；每個(gè)分區(qū)下均對應(yīng)有兩個(gè)核core，核對應(yīng)的IP地址和網(wǎng)絡(luò)端口。
[0026]總之，本發(fā)明為可視化(圖形化)配置維護(hù)搭建SolrCloud集群搜索應(yīng)用，提供了實(shí)現(xiàn)設(shè)計(jì)的思路；隨著產(chǎn)品的深化，各項(xiàng)功能不斷完善，使SolrCloud集群搜索應(yīng)用的運(yùn)維變得更加方便，對用戶屏蔽了實(shí)現(xiàn)細(xì)節(jié)，使用企業(yè)從規(guī)劃建設(shè)集群搜索應(yīng)用到最終落實(shí)成本實(shí)現(xiàn)一條流水線操作，降低了對實(shí)施人員的要求，節(jié)省了實(shí)施時(shí)間，同時(shí)提高了集群搜索應(yīng)用的可維護(hù)性，為企業(yè)節(jié)省人力成本和時(shí)間成本，最終節(jié)省企業(yè)經(jīng)營成本。
[0027]以上所述僅為本發(fā)明的較佳實(shí)施例，凡依本發(fā)明申請專利范圍所做的均等變化與修飾，皆應(yīng)屬本發(fā)明的涵蓋范圍。
【權(quán)利要求】
1.一種對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和維護(hù)的系統(tǒng)，其特征在于:所述系統(tǒng)包括:公共資源庫管理模塊、Zookeeper集群管理模塊、Zookeeper客戶端工具以及SolrCloud集群管理模塊； 所述公共資源庫管理模塊，用于提供系統(tǒng)中集群各結(jié)點(diǎn)所需的資源；且提供用戶上傳的入口，供用戶上傳最新的資源；并能更新系統(tǒng)中集群各結(jié)點(diǎn)，將上傳的新資源更新到系統(tǒng)中集群各結(jié)點(diǎn)；所述資源包括=Zooke^er部署包、Solr部署包以及Solr配置模版；所述系統(tǒng)中集群各結(jié)點(diǎn)包括有Zookeeper集群的各結(jié)點(diǎn)和SolrCloud集群的各結(jié)點(diǎn)； 所述Zooke印er集群管理模塊，提供系統(tǒng)中Zookeeper集群的管理；從所述公共資源庫管理模塊中獲取所述Zookeeper部署包和Solr配置模版的資源，根據(jù)獲取到的資源來實(shí)施Zookeeper集群各結(jié)點(diǎn)的部署；對Zookeeper集群各結(jié)點(diǎn)Ip地址、網(wǎng)絡(luò)端口、存儲路徑進(jìn)行管理；并能控制啟動或停止Zookeeper集群各結(jié)點(diǎn)； 所述Zookeeper客戶端工具,用于對存儲在Zookeeper集群管理模塊中的內(nèi)容進(jìn)行管理； 所述SolrCloud集群管理模塊，用于對系統(tǒng)的分布式搜索SolrCloud組織結(jié)構(gòu)的管理；對系統(tǒng)的分布式搜索SolrCloud環(huán)境中各個(gè)核core下的開源搜索服務(wù)器Solr實(shí)例的管理；對各個(gè)核core下的開源搜索服務(wù)器Solr實(shí)例的發(fā)布；以及對各個(gè)核core下的開源搜索服務(wù)器Solr實(shí)例的啟動和停止管理。
2.根據(jù)權(quán)利要求1所述的對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和維護(hù)的系統(tǒng)，其特征在于:所述Zookeeper客戶端工具將以圖形界面的方式實(shí)現(xiàn)zkCl1.cmd中的功能；所述zkCl1.cmd是Zookeeper發(fā)布的用于維護(hù)Zookeeper服務(wù)端內(nèi)容的命令行工具；該工具能上傳配置文件到所`述分布式的服務(wù)Zookeeper集群管理模塊中，對分布式的服務(wù)Zookeeper集群管理模塊中的內(nèi)容進(jìn)行修改，刪除操作。
3.根據(jù)權(quán)利要求1所述的對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和維護(hù)的系統(tǒng)，其特征在于:對系統(tǒng)的分布式搜索SolrCloud組織結(jié)構(gòu)的管理具體包括:分布式搜索SolrCloud環(huán)境中集合collection的創(chuàng)建、集合collection下各個(gè)分區(qū)shard的創(chuàng)建、分區(qū)shard下各個(gè)核core的創(chuàng)建；各個(gè)核core的創(chuàng)建是為每個(gè)核core分配ip地址、網(wǎng)絡(luò)端口、存儲路徑以及名稱。
4.根據(jù)權(quán)利要求1所述的對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和維護(hù)的系統(tǒng)，其特征在于:對系統(tǒng)的分布式搜索SolrCloud環(huán)境中各個(gè)核core下的開源搜索服務(wù)器Solr實(shí)例的管理，具體為:從所述公共資源庫管理模塊中獲取Solr部署包到系統(tǒng)中相應(yīng)的應(yīng)用服務(wù)器中，修改相關(guān)配置，創(chuàng)建每個(gè)核core對應(yīng)的部署包，從而實(shí)現(xiàn)對核core下的開源搜索服務(wù)器Solr實(shí)例內(nèi)容的管理。
5.根據(jù)權(quán)利要求1所述的對分布式搜索SolrCloud進(jìn)行可視化集群應(yīng)用搭建和集群環(huán)境維護(hù)的系統(tǒng)，其特征在于:對各個(gè)核core下的開源搜索服務(wù)器Solr實(shí)例的發(fā)布，具體為:將開源搜索服務(wù)器Solr實(shí)例與系統(tǒng)中應(yīng)用服務(wù)器進(jìn)行集成，將開源搜索服務(wù)器Solr應(yīng)用程序包發(fā)布到對應(yīng)的應(yīng)用服務(wù)器的容器中。
【文檔編號】H04L12/24GK103701633SQ201310660947
【公開日】2014年4月2日 申請日期:2013年12月9日 優(yōu)先權(quán)日:2013年12月9日
【發(fā)明者】倪時(shí)龍, 林振天, 呂君玉, 陳天宇, 張望華 申請人:國家電網(wǎng)公司, 福建億榕信息技術(shù)有限公司