本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地說(shuō)，是一種大數(shù)據(jù)檢索平臺(tái)。

背景技術(shù)：

隨著現(xiàn)代社會(huì)信息量的急劇增長(zhǎng)，各種以internet為載體的電子信息愈來(lái)愈多，如何有效、快速、準(zhǔn)確地在海量信息中查找所需要的信息，已經(jīng)成為人們的重要需求。

在信息化建設(shè)的初期，sqlserver、oracle、informix等結(jié)構(gòu)化數(shù)據(jù)庫(kù)，就能夠滿足大家對(duì)數(shù)據(jù)查詢的需求。但是隨著互聯(lián)網(wǎng)的發(fā)展,非結(jié)構(gòu)化的數(shù)據(jù)越來(lái)越多，并且增長(zhǎng)迅速，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)不能滿足對(duì)這類數(shù)據(jù)的處理要求。以性能和效率為主的非關(guān)系型數(shù)據(jù)庫(kù)成為大數(shù)據(jù)檢索的常用解決方案。

隨著數(shù)據(jù)量的進(jìn)一步增大，全文檢索數(shù)據(jù)庫(kù)替代了結(jié)構(gòu)化數(shù)據(jù)庫(kù)，成為大數(shù)據(jù)量檢索的常用解決方案。

在信息量繼續(xù)以幾何級(jí)爆炸式增長(zhǎng)的今天，以高性能單服務(wù)器或集群服務(wù)器的解決方案已經(jīng)不能滿足每天數(shù)以tb計(jì)的實(shí)時(shí)數(shù)據(jù)流?，F(xiàn)有技術(shù)中的大數(shù)據(jù)檢索通常采用簡(jiǎn)單增加服務(wù)器來(lái)實(shí)現(xiàn)，導(dǎo)致檢索效率較低，成本較高。

綜上所述，本申請(qǐng)發(fā)明人在實(shí)現(xiàn)本申請(qǐng)發(fā)明技術(shù)方案的過(guò)程中，發(fā)現(xiàn)上述技術(shù)至少存在如下技術(shù)問(wèn)題：

在現(xiàn)有技術(shù)中，現(xiàn)有的大數(shù)據(jù)檢索存在檢索效率較低，成本較高的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種大數(shù)據(jù)檢索平臺(tái)，解決現(xiàn)有的大數(shù)據(jù)檢索存在檢索效率較低，成本較高的技術(shù)問(wèn)題，實(shí)現(xiàn)利用大數(shù)據(jù)檢索平臺(tái)能夠高效、低成本的實(shí)現(xiàn)大數(shù)據(jù)檢索的技術(shù)效果。

為實(shí)現(xiàn)以上目的，本發(fā)明是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的，本申請(qǐng)?zhí)峁┝艘环N大數(shù)據(jù)檢索平臺(tái)，本申請(qǐng)中的大數(shù)據(jù)檢索平臺(tái)采用分布式并行運(yùn)算技術(shù)，可整合多臺(tái)服務(wù)器的計(jì)算能力，為前端應(yīng)用提供毫秒級(jí)的檢索響應(yīng)速度，并可動(dòng)態(tài)增加服務(wù)器來(lái)應(yīng)對(duì)數(shù)據(jù)量或并發(fā)量的增長(zhǎng)。

平臺(tái)采用深度定制開(kāi)發(fā)的策略，從核心算法一直到外圍接口，可以根據(jù)具體項(xiàng)目、數(shù)據(jù)規(guī)模、數(shù)據(jù)類型以及檢索用例進(jìn)行相應(yīng)的定制開(kāi)發(fā)，保證最大化利用服務(wù)器性能，在提升檢索效率的同時(shí)，降低硬件采購(gòu)成本。

所述平臺(tái)包括：數(shù)據(jù)適配模塊、數(shù)據(jù)索引模塊、云檢索控制模塊、擴(kuò)展支持模塊、檢索定制api模塊；

數(shù)據(jù)適配模塊，用于實(shí)時(shí)獲取多種類型的數(shù)據(jù)，并將獲取的數(shù)據(jù)存入數(shù)據(jù)庫(kù)中；對(duì)不同的數(shù)據(jù)源(如:文件數(shù)據(jù),數(shù)據(jù)庫(kù)數(shù)據(jù),網(wǎng)絡(luò)數(shù)據(jù))定制適配器，并且能夠?qū)崟r(shí)跟蹤該數(shù)據(jù)源數(shù)據(jù)的變化；

數(shù)據(jù)索引模塊，用于對(duì)數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換、將待索引數(shù)據(jù)分發(fā)至索引服務(wù)器、將數(shù)據(jù)寫(xiě)入數(shù)據(jù)隊(duì)列、對(duì)隊(duì)列中的數(shù)據(jù)執(zhí)行索引、將新追加的索引同步到索引庫(kù)、定時(shí)對(duì)歷史數(shù)據(jù)進(jìn)行清理；

云檢索控制模塊，所述云檢索控制模塊用于整合各檢索服務(wù)器的統(tǒng)一計(jì)算能力，完成檢索響應(yīng)；

擴(kuò)展支持模塊，用于對(duì)平臺(tái)進(jìn)行擴(kuò)展支持；

檢索定制api模塊，用于進(jìn)行接口定制，與上層系統(tǒng)對(duì)接。

其中，所述擴(kuò)展支持模塊包括以下內(nèi)容：

數(shù)據(jù)冗余：將數(shù)據(jù)按預(yù)設(shè)規(guī)則在數(shù)據(jù)源服務(wù)器中形成備份；

負(fù)載均衡：在數(shù)據(jù)檢索請(qǐng)求高并發(fā)時(shí)，將請(qǐng)求均勻的分發(fā)給各檢索服務(wù)器；

高速緩存：將某一時(shí)間段內(nèi)頻繁檢索的數(shù)據(jù)放入高速緩存序列；

數(shù)據(jù)靜態(tài)化：對(duì)執(zhí)行過(guò)2次以上的歷史檢索數(shù)據(jù)，將數(shù)據(jù)源作為序列化文件存放在本地硬盤(pán)，再次檢索時(shí)直接返回該反序列化對(duì)象；

連接池：將連接信息緩存在內(nèi)存中；

統(tǒng)計(jì)分析定制：根據(jù)需求對(duì)統(tǒng)計(jì)分析需求進(jìn)行定制；

平臺(tái)狀態(tài)查詢：平臺(tái)管理員通過(guò)圖形化界面，查詢平臺(tái)中各服務(wù)器以及服務(wù)的運(yùn)行情況；

平臺(tái)穩(wěn)定性測(cè)試：在預(yù)定的時(shí)間間隔后，自動(dòng)對(duì)平臺(tái)各部件進(jìn)行穩(wěn)定性測(cè)試；

故障通知服務(wù)：平臺(tái)自動(dòng)進(jìn)行穩(wěn)定性測(cè)試，若發(fā)現(xiàn)異常，將故障通知給平臺(tái)管理員。

進(jìn)一步的，所述數(shù)據(jù)索引模塊的索引步驟包括：

步驟1：根據(jù)數(shù)據(jù)類型特點(diǎn)，采用預(yù)定義的分詞方式對(duì)實(shí)體數(shù)據(jù)進(jìn)行分詞；

步驟2：:對(duì)分詞后的標(biāo)識(shí)信息按照倒排序索引或其它索引算法進(jìn)行索引；

步驟3：存放索引標(biāo)識(shí)和原始數(shù)據(jù)。

其中，倒排索引(invertedindex)：倒排索引是實(shí)現(xiàn)“單詞-文檔矩陣”的一種具體存儲(chǔ)形式，通過(guò)倒排索引，可以根據(jù)單詞快速獲取包含這個(gè)單詞的文檔列表。倒排索引主要由兩個(gè)部分組成：“單詞詞典”和“倒排文件”。

單詞詞典(lexicon)：搜索引擎的通常索引單位是單詞，單詞詞典是由文檔集合中出現(xiàn)過(guò)的所有單詞構(gòu)成的字符串集合，單詞詞典內(nèi)每條索引項(xiàng)記載單詞本身的一些信息以及指向“倒排列表”的指針。

倒排列表(postinglist)：倒排列表記載了出現(xiàn)過(guò)某個(gè)單詞的所有文檔的文檔列表及單詞在該文檔中出現(xiàn)的位置信息，每條記錄稱為一個(gè)倒排項(xiàng)(posting)。根據(jù)倒排列表，即可獲知哪些文檔包含某個(gè)單詞。

倒排文件(invertedfile)：所有單詞的倒排列表往往順序地存儲(chǔ)在磁盤(pán)的某個(gè)文件里，這個(gè)文件即被稱之為倒排文件，倒排文件是存儲(chǔ)倒排索引的物理文件。

通過(guò)對(duì)文字進(jìn)行倒排序索引后，可大幅加快全文檢索速度，為更大數(shù)量的分析利用，提供基礎(chǔ)保障。

進(jìn)一步的，基于所述云檢索控制模塊的檢索步驟包括：

云檢索控制模將分散在各檢索服務(wù)器上的索引統(tǒng)一為一個(gè)整體虛擬索引；初始化數(shù)據(jù)；預(yù)裝載內(nèi)存；開(kāi)啟對(duì)外服務(wù)。

進(jìn)一步的，云檢索模塊通過(guò)數(shù)據(jù)適配模塊實(shí)時(shí)獲取數(shù)據(jù)，數(shù)據(jù)分發(fā)服務(wù)將數(shù)據(jù)均勻的分發(fā)到數(shù)據(jù)索引模塊中各索引服務(wù)；索引服務(wù)開(kāi)始建立索引；將新追加的索引同步到索引庫(kù)；檢索服務(wù)在索引庫(kù)中查詢檢索詞；返回結(jié)果集給上層應(yīng)用。

進(jìn)一步的，數(shù)據(jù)索引模塊包括多個(gè)檢索服務(wù)器，索引服務(wù)器對(duì)數(shù)據(jù)進(jìn)行索引后，對(duì)數(shù)據(jù)進(jìn)行拆分并定時(shí)同步到指定的檢索服務(wù)器；云檢索控制模塊將分散在各檢索服務(wù)器上的索引整合為統(tǒng)一的虛擬索引；云檢索控制模塊處理檢索請(qǐng)求時(shí)，并行向多個(gè)檢索服務(wù)器發(fā)出檢索指令，等待最后一個(gè)檢索服務(wù)器返回后，對(duì)數(shù)據(jù)按照請(qǐng)求參數(shù)進(jìn)行相關(guān)度或字段排序，返回給上層應(yīng)用。

進(jìn)一步的，云檢索模塊包括多個(gè)索引服務(wù)器和多個(gè)數(shù)據(jù)分發(fā)服務(wù)器，數(shù)據(jù)分發(fā)服務(wù)器將獲得的源數(shù)據(jù)分發(fā)到各個(gè)索引服務(wù)器。

進(jìn)一步的，云檢索模塊包括多個(gè)檢索服務(wù)器，將索引進(jìn)行拆分平均分配到多個(gè)檢索服務(wù)器，通過(guò)調(diào)整索引服務(wù)器分割粒子，重新分配各檢索服務(wù)器hashcode范圍。

進(jìn)一步的，在云檢索模塊中的索引服務(wù)器上，逐個(gè)對(duì)檢索服務(wù)器進(jìn)行master/slave標(biāo)識(shí)；索引服務(wù)器在將索引同步到master檢索服務(wù)器的同時(shí)，對(duì)slave檢索服務(wù)器進(jìn)行同步；云檢索控制模塊根據(jù)master/slave標(biāo)識(shí)對(duì)檢索服務(wù)器進(jìn)行分組，均勻的將請(qǐng)求發(fā)送到各個(gè)分組。

進(jìn)一步的，所述平臺(tái)設(shè)有多個(gè)云檢索控制模塊，云檢索控制模塊上部署有負(fù)載均衡模塊；負(fù)載均衡模塊之間采用p2p進(jìn)行連接；當(dāng)請(qǐng)求發(fā)送到任意一臺(tái)云檢索控制模塊時(shí)，負(fù)載均衡模塊將請(qǐng)求轉(zhuǎn)發(fā)到當(dāng)前資源占用最少的云檢索控制模塊，實(shí)現(xiàn)數(shù)據(jù)高并發(fā)處理。

進(jìn)一步的，寫(xiě)入索引時(shí)，按照預(yù)定義的冗余規(guī)則，對(duì)數(shù)據(jù)形成多份寫(xiě)入，同一條數(shù)據(jù)，分別寫(xiě)入不同的兩臺(tái)或更多服務(wù)器，互為備份，當(dāng)一定數(shù)量的服務(wù)器同時(shí)出現(xiàn)故障時(shí)，仍然能夠保持對(duì)外服務(wù)。故障出現(xiàn)時(shí)，并發(fā)處理能力會(huì)下降，當(dāng)管理員修復(fù)故障后，即可恢復(fù)。

數(shù)據(jù)冗余在增加少量服務(wù)器的基礎(chǔ)上，可以實(shí)現(xiàn)基本的可靠性保障，但如果故障全面爆發(fā)，連續(xù)多個(gè)關(guān)鍵點(diǎn)同時(shí)出現(xiàn)故障，整個(gè)云檢索平臺(tái)將會(huì)崩潰。此時(shí)可進(jìn)行“1+1”擴(kuò)展，進(jìn)一步提升可靠性。通過(guò)對(duì)“分布式部署”進(jìn)行復(fù)制，并搭配兩臺(tái)“請(qǐng)求分發(fā)服務(wù)器”(避免單點(diǎn)故障)，分發(fā)請(qǐng)求到各個(gè)分布式部署，達(dá)到雙機(jī)熱備效果的同時(shí)，還可提升1倍的并發(fā)處理能力。

本申請(qǐng)?zhí)峁┑囊粋€(gè)或多個(gè)技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點(diǎn)：

通過(guò)增加檢索服務(wù)器、增加索引服務(wù)器、增加數(shù)據(jù)分發(fā)服務(wù)器實(shí)現(xiàn)了高性能；通過(guò)增加檢索服務(wù)器用于分散索引和主從復(fù)制、通過(guò)增加云檢索控制服務(wù)器實(shí)現(xiàn)數(shù)據(jù)高并發(fā)處理；通過(guò)數(shù)據(jù)冗余和1+1備份實(shí)現(xiàn)高可靠；實(shí)現(xiàn)了利用大數(shù)據(jù)檢索平臺(tái)能夠高效、低成本的實(shí)現(xiàn)大數(shù)據(jù)檢索的技術(shù)效果。

附圖說(shuō)明

此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明實(shí)施例的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，并不構(gòu)成對(duì)本發(fā)明實(shí)施例的限定；

圖1是本申請(qǐng)中大數(shù)據(jù)檢索平臺(tái)的整體系統(tǒng)架構(gòu)圖；

圖2是本申請(qǐng)中大數(shù)據(jù)檢索平臺(tái)的處理流程示意圖。

具體實(shí)施方式

本發(fā)明的目的在于提供一種大數(shù)據(jù)檢索平臺(tái)，解決現(xiàn)有的大數(shù)據(jù)檢索存在檢索效率較低，成本較高的技術(shù)問(wèn)題，實(shí)現(xiàn)利用大數(shù)據(jù)檢索平臺(tái)能夠高效、低成本的實(shí)現(xiàn)大數(shù)據(jù)檢索的技術(shù)效果。

為了能夠更清楚地理解本發(fā)明的上述目的、特征和優(yōu)點(diǎn)，下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)描述。需要說(shuō)明的是，在相互不沖突的情況下，本申請(qǐng)的實(shí)施例及實(shí)施例中的特征可以相互組合。

在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明，但是，本發(fā)明還可以采用其他不同于在此描述范圍內(nèi)的其他方式來(lái)實(shí)施，因此，本發(fā)明的保護(hù)范圍并不受下面公開(kāi)的具體實(shí)施例的限制。

談到云檢索平臺(tái)的部署方案之前，首先要談到我們的小企業(yè)解決方案。大多數(shù)小企業(yè)應(yīng)用初期的數(shù)據(jù)量和并發(fā)都非常的小，通過(guò)簡(jiǎn)單的部署即可滿足檢索和索引的需求。

實(shí)現(xiàn)細(xì)節(jié)：

1、一臺(tái)服務(wù)器上同時(shí)部署索引服務(wù)和檢索服務(wù)；

2、索引服務(wù)定時(shí)的從數(shù)據(jù)源獲取數(shù)據(jù)，將索引加入到本地?cái)?shù)據(jù)庫(kù)；

3、上層應(yīng)用調(diào)用檢索定制接口，即可進(jìn)行檢索。

4、在數(shù)據(jù)量和并發(fā)量都不是很大的情況下，以上方案完全可以滿足小企業(yè)的需求。但當(dāng)數(shù)據(jù)量上升到一個(gè)非常龐大的規(guī)模后，簡(jiǎn)單的通過(guò)提升機(jī)器配置已經(jīng)不可能滿足需求時(shí)，就需要對(duì)方案進(jìn)行擴(kuò)展。下面將分析如何一步一步的解決各個(gè)系統(tǒng)瓶頸，提升性能。

而本申請(qǐng)通過(guò)大數(shù)據(jù)檢索平臺(tái)來(lái)解決數(shù)據(jù)量大后帶來(lái)的相應(yīng)問(wèn)題，請(qǐng)參考圖1-圖2，具體的實(shí)現(xiàn)方式為：

一、如何實(shí)現(xiàn)高性能：

1、增加檢索服務(wù)器

根據(jù)數(shù)據(jù)特點(diǎn)，把數(shù)據(jù)按一定的原則，分布到多個(gè)服務(wù)器上，這樣就可以利用多臺(tái)服務(wù)器的計(jì)算能力來(lái)并行的處理同一個(gè)檢索請(qǐng)求，實(shí)現(xiàn)高效率的檢索響應(yīng)。

比如把1000萬(wàn)的數(shù)據(jù)放在一臺(tái)服務(wù)器上做檢索，平均耗時(shí)1秒。把數(shù)據(jù)拆分成10份，每個(gè)服務(wù)器放100萬(wàn)條，通過(guò)并行查詢?cè)俸喜z索結(jié)果，理論上平均檢索耗時(shí)為100毫秒。

實(shí)際情況中，當(dāng)單服務(wù)器數(shù)量級(jí)下降后，數(shù)據(jù)結(jié)構(gòu)的復(fù)雜程度呈幾何下降，檢索效率的提升也是指數(shù)提升的。

實(shí)現(xiàn)細(xì)節(jié)：

(1)讀寫(xiě)操作分離，把檢索和索引分別部署在不同的服務(wù)器上，分散硬盤(pán)io；

(2)索引服務(wù)器對(duì)數(shù)據(jù)進(jìn)行索引后，按照檢索服務(wù)器的數(shù)量以及冗余規(guī)則，對(duì)數(shù)據(jù)進(jìn)行拆分并定時(shí)同步到指定的檢索服務(wù)器；

(3)分散后的索引需要一個(gè)統(tǒng)一的調(diào)度，通過(guò)增加“云檢索控制服務(wù)器”，把分散在各服務(wù)器上的索引整合為統(tǒng)一的虛擬索引。處理檢索請(qǐng)求時(shí)，并行向多個(gè)檢索服務(wù)器發(fā)出檢索指令，等待最后一個(gè)服務(wù)器返回后，對(duì)數(shù)據(jù)按照請(qǐng)求參數(shù)進(jìn)行相關(guān)度或字段排序，返回給上層應(yīng)用。

2、增加索引服務(wù)器

當(dāng)數(shù)據(jù)量增大，一臺(tái)索引服務(wù)器不能勝任時(shí)，增加多個(gè)索引服務(wù)器來(lái)同時(shí)處理索引，保證數(shù)據(jù)能夠即時(shí)的被索引。

比如數(shù)據(jù)源每秒能產(chǎn)生30mb的數(shù)據(jù)，而單個(gè)索引服務(wù)器每秒只能索引15m，這時(shí)用兩臺(tái)索引服務(wù)器來(lái)分擔(dān)數(shù)據(jù)，分別向數(shù)據(jù)源獲取50％的數(shù)據(jù)，保證數(shù)據(jù)索引的及時(shí)性，避免出現(xiàn)惡性循環(huán)。

實(shí)現(xiàn)細(xì)節(jié)：

(1)增加多個(gè)索引服務(wù)器；

(2)多個(gè)索引服務(wù)器需要一個(gè)調(diào)度，通過(guò)增加“數(shù)據(jù)分發(fā)服務(wù)器”，將獲得的源數(shù)據(jù)，分發(fā)到各個(gè)索引服務(wù)器。分發(fā)服務(wù)器只做數(shù)據(jù)轉(zhuǎn)發(fā)，不處理索引，所以處理效率接近硬盤(pán)最高寫(xiě)入速度；

(3)各索引服務(wù)器接收數(shù)據(jù)后，對(duì)數(shù)據(jù)進(jìn)行索引，并定時(shí)同步到指定的檢索服務(wù)器；

3、增加數(shù)據(jù)分發(fā)服務(wù)器

當(dāng)數(shù)據(jù)源產(chǎn)生數(shù)據(jù)的速度，已經(jīng)超過(guò)單個(gè)“數(shù)據(jù)分發(fā)服務(wù)器”的io極限后，需要增加“數(shù)據(jù)分發(fā)服務(wù)器”來(lái)保證及時(shí)的獲取數(shù)據(jù)，每個(gè)“數(shù)據(jù)分發(fā)服務(wù)器”指定不同的數(shù)據(jù)適配，分散io。

比如數(shù)據(jù)源每秒產(chǎn)生200mb數(shù)據(jù)，能產(chǎn)生這么超大規(guī)模的數(shù)據(jù)，數(shù)據(jù)源服務(wù)器必定不止一個(gè)。一臺(tái)普通服務(wù)器的io極限，大概在100mb左右(固態(tài)硬盤(pán)要高一些，但是目前普及率太低)，這時(shí)通過(guò)增加一臺(tái)或兩臺(tái)服務(wù)器，分別從不同的數(shù)據(jù)源獲取數(shù)據(jù)，再向下分發(fā)，即可保證數(shù)據(jù)獲取的及時(shí)性。

實(shí)現(xiàn)細(xì)節(jié)：

(1)多個(gè)“數(shù)據(jù)分發(fā)服務(wù)器”上都部署數(shù)據(jù)適配器，調(diào)整數(shù)據(jù)適配參數(shù)，以一對(duì)多的形式，每臺(tái)服務(wù)器指定向某幾臺(tái)數(shù)據(jù)源服務(wù)器獲取數(shù)據(jù)；

(2)將獲取后的源數(shù)據(jù)分散到各索引服務(wù)器進(jìn)行索引。

二、如何實(shí)現(xiàn)高并發(fā)

前面已經(jīng)解決了性能問(wèn)題，現(xiàn)在面臨并發(fā)量提升的需求，提高并發(fā)量的前提是檢索速度得到滿足的前提下。所以就有了兩種路線來(lái)實(shí)現(xiàn)并發(fā)量的提升。

1、增加檢索服務(wù)器——用于分散索引

增加檢索服務(wù)器，把索引進(jìn)一步拆散，減少每臺(tái)服務(wù)器數(shù)據(jù)量，達(dá)到提升效率的目的。通過(guò)分散索引的方式，可以進(jìn)一步減少數(shù)據(jù)結(jié)構(gòu)復(fù)雜程度，指數(shù)級(jí)提升檢索響應(yīng)。

實(shí)現(xiàn)細(xì)節(jié)：

通過(guò)調(diào)整索引服務(wù)器分割粒子，重新分配各服務(wù)器hashcode范圍；

2、增加檢索服務(wù)器——用于主從復(fù)制

增加當(dāng)前一倍或多倍的檢索服務(wù)器，檢索服務(wù)器組之間分主從關(guān)系，可分擔(dān)并發(fā)相應(yīng)，效率的提升是線性的。

實(shí)現(xiàn)細(xì)節(jié)：

(1)在索引服務(wù)器上，逐個(gè)對(duì)檢索服務(wù)器進(jìn)行master/slave標(biāo)識(shí)；

(2)索引服務(wù)器在將索引同步到master檢索服務(wù)器的同時(shí)，對(duì)slave檢索服務(wù)器進(jìn)行同步。保證數(shù)據(jù)一致性；

(3)云檢索控制根據(jù)master/slave標(biāo)識(shí)對(duì)檢索服務(wù)器進(jìn)行分組，均勻的將請(qǐng)求發(fā)送到各個(gè)分組。

3、增加云檢索控制服務(wù)器

通過(guò)以上兩種方式，正常情況下已經(jīng)可以滿足較高的并發(fā)。“云檢索控制服務(wù)器”是典型的cpu密集型，需要發(fā)出多線程檢索請(qǐng)求，還需要合并數(shù)據(jù)并排序。當(dāng)并發(fā)增加到相對(duì)較大的數(shù)據(jù)量級(jí)時(shí)，瓶頸就會(huì)出現(xiàn)在“云檢索控制服務(wù)器”上，此時(shí)通過(guò)增加多個(gè)“云檢索控制服務(wù)器”，來(lái)分擔(dān)檢索請(qǐng)求。

實(shí)現(xiàn)細(xì)節(jié)：

(1)增加多個(gè)“云檢索控制服務(wù)器”；

(2)在多個(gè)“云檢索控制服務(wù)器”上部署負(fù)載均衡模塊；

(3)負(fù)載均衡模塊之間不分主從，采用p2p進(jìn)行連接；

(4)當(dāng)請(qǐng)求發(fā)送到任意一臺(tái)“云檢索控制服務(wù)器”，負(fù)載均衡會(huì)自動(dòng)把請(qǐng)求轉(zhuǎn)發(fā)到當(dāng)前資源占用最少的服務(wù)器，均衡檢索處理能力。

三、如何實(shí)現(xiàn)高可靠

在高性能和高并發(fā)已經(jīng)滿足需求的前提下，需要進(jìn)一步提升平臺(tái)的可靠性，減少因?yàn)閱吸c(diǎn)故障造成整個(gè)平臺(tái)崩潰的可能性。

目前我們有兩種方案來(lái)實(shí)現(xiàn)高可靠性：

1、數(shù)據(jù)冗余

寫(xiě)入索引時(shí)，按照預(yù)定義的冗余規(guī)則，對(duì)數(shù)據(jù)形成多份寫(xiě)入，同一條數(shù)據(jù)，分別寫(xiě)入不同的兩臺(tái)或更多服務(wù)器，互為備份，當(dāng)一定數(shù)量的服務(wù)器同時(shí)出現(xiàn)故障時(shí)，仍然能夠保持對(duì)外服務(wù)。故障出現(xiàn)時(shí)，并發(fā)處理能力會(huì)下降，當(dāng)管理員修復(fù)故障后，即可恢復(fù)。

實(shí)現(xiàn)細(xì)節(jié)：

(1)在“索引服務(wù)器”上根據(jù)需要調(diào)整冗余參數(shù)；

(2)“云檢索控制服務(wù)器”根據(jù)冗余參數(shù)，任意組合“檢索服務(wù)器”組對(duì)外服務(wù)；

(3)當(dāng)檢索不能在指定的超時(shí)時(shí)間內(nèi)返回時(shí)，則自動(dòng)檢測(cè)故障服務(wù)器，跳過(guò)故障服務(wù)器后，另外組合“檢索服務(wù)器”組對(duì)外服務(wù)。同時(shí)根據(jù)預(yù)定義方式，將故障通知管理員。

2、1+1備份

數(shù)據(jù)冗余在增加少量服務(wù)器的基礎(chǔ)上，可以實(shí)現(xiàn)基本的可靠性保障，但如果故障全面爆發(fā)，連續(xù)多個(gè)關(guān)鍵點(diǎn)同時(shí)出現(xiàn)故障，整個(gè)云檢索平臺(tái)將會(huì)崩潰。此時(shí)可進(jìn)行“1+1”擴(kuò)展，進(jìn)一步提升可靠性。通過(guò)對(duì)“分布式部署”進(jìn)行復(fù)制，并搭配兩臺(tái)“請(qǐng)求分發(fā)服務(wù)器”(避免單點(diǎn)故障)，分發(fā)請(qǐng)求到各個(gè)分布式部署，達(dá)到雙機(jī)熱備效果的同時(shí)，還可提升1倍的并發(fā)處理能力。

本申請(qǐng)?zhí)峁┑囊粋€(gè)或多個(gè)技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點(diǎn)：

通過(guò)增加檢索服務(wù)器、增加索引服務(wù)器、增加數(shù)據(jù)分發(fā)服務(wù)器實(shí)現(xiàn)了高性能；通過(guò)增加檢索服務(wù)器用于分散索引和主從復(fù)制、通過(guò)增加云檢索控制服務(wù)器實(shí)現(xiàn)數(shù)據(jù)高并發(fā)處理；通過(guò)數(shù)據(jù)冗余和1+1備份實(shí)現(xiàn)高可靠；實(shí)現(xiàn)了利用大數(shù)據(jù)檢索平臺(tái)能夠高效、低成本的實(shí)現(xiàn)大數(shù)據(jù)檢索的技術(shù)效果。

盡管已描述了本發(fā)明的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。

顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。