本發(fā)明實(shí)施例涉及大數(shù)據(jù)分析技術(shù)，尤其涉及一種數(shù)據(jù)檢索的方法及裝置。

背景技術(shù)：

目前，在java編程領(lǐng)域，全文檢索引擎主要是基于倒排索引技術(shù)，具體實(shí)現(xiàn)是全文檢索引擎工具包(Lucene)，但Lucene是一個開放源代碼的全文檢索引擎工具包，不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構(gòu)，提供了完整的查詢引擎和索引引擎。Lucene的目的是為軟件開發(fā)人員提供一個簡單易用的工具包，以方便的在目標(biāo)系統(tǒng)中實(shí)現(xiàn)全文檢索的功能，或者是以此為基礎(chǔ)建立起完整的全文檢索引擎。

以Lucene為基礎(chǔ)，出現(xiàn)了大量開源的全文檢索引擎，目前最為著名和廣泛使用的是獨(dú)立的企業(yè)級搜索應(yīng)用服務(wù)器(Solr)，Solr是基于Lucene的一個高性能全文搜索服務(wù)器。同時對Lucene進(jìn)行了擴(kuò)展，提供了比Lucene更為豐富的查詢語言，同時實(shí)現(xiàn)了可配置、可擴(kuò)展并對查詢性能進(jìn)行了優(yōu)化，是一款非常優(yōu)秀的全文搜索引擎。

Solr的設(shè)計初衷主要是基于Lucene實(shí)現(xiàn)一個高性能全文搜索服務(wù)器，在集群及并行計算方面并非優(yōu)先考慮，雖然后期有較大升級改進(jìn)，包括分布式解決方案(SolrCloud)的努力，但是仍然有很大的易用性、性能、可靠性及穩(wěn)定性方面的問題。

在云計算時代，為了解決Solr對于大數(shù)據(jù)快速檢索的問題，基于Lucene的開源分布式搜索服務(wù)器(ElasticSearch)應(yīng)運(yùn)而生。ElasticSearch也是一個基于Lucene的搜索服務(wù)器，但它提供了一個分布式多用戶能力的全文搜索引擎，基于輕量級Web服務(wù)(RESTful Web)接口。Elasticsearch設(shè)計用于云計算中，能夠達(dá)到實(shí)時搜索，穩(wěn)定，可靠，快速，安裝使用方便。Elasticsearch的搜索服務(wù)器始終可用，能夠很方便的從一臺開始并擴(kuò)展到數(shù)百臺服務(wù)器，并且實(shí)現(xiàn)實(shí)時搜索，Elasticsearch建立了一個云的解決方案。

至此，全文檢索問題似乎得到完美解決。但是，隨著數(shù)據(jù)量的指數(shù)級增長，在萬億級數(shù)據(jù)量甚至更大數(shù)據(jù)量下，Elasticsearch集群運(yùn)行起來也越來越慢，實(shí)時性檢索效率難以保障。各大領(lǐng)先的互聯(lián)網(wǎng)IT企業(yè)都在嘗試不同的解決方案。

但他們的方案主要是基于互聯(lián)網(wǎng)使用場景下的大并發(fā)實(shí)時檢索，服務(wù)器集群動輒上千臺，這些方案對于需要對海量數(shù)據(jù)需進(jìn)行實(shí)時檢索但并發(fā)量要求不高的系統(tǒng)來說在成本上難以承受。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種數(shù)據(jù)檢索的方法和裝置，可以在滿足實(shí)時性的前提下降低成本。

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)檢索的方法，包括：

獲取數(shù)據(jù)檢索請求，所述數(shù)據(jù)檢索請求中包括行業(yè)關(guān)鍵詞和除行業(yè)關(guān)鍵詞之外的普通關(guān)鍵詞；

根據(jù)所述行業(yè)關(guān)鍵詞查找預(yù)設(shè)的行業(yè)索引庫，得到行業(yè)檢索索引；

根據(jù)所述普通關(guān)鍵詞查找預(yù)設(shè)的普通索引庫，得到普通檢索索引；

根據(jù)所述行業(yè)檢索索引和所述普通檢索索引查找全量數(shù)據(jù)庫，得到對應(yīng)的檢索數(shù)據(jù)。

第二方面，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)檢索的裝置，包括：

請求獲取模塊，用于獲取數(shù)據(jù)檢索請求，所述數(shù)據(jù)檢索請求中包括行業(yè)關(guān)鍵詞和除行業(yè)關(guān)鍵詞之外的普通關(guān)鍵詞；

檢索行業(yè)索引庫模塊，與所述請求獲取模塊相連，用于根據(jù)所述行業(yè)關(guān)鍵詞查找預(yù)設(shè)的行業(yè)索引庫，得到行業(yè)檢索索引；

檢索普通索引庫模塊，與所述請求獲取模塊相連，用于根據(jù)所述普通關(guān)鍵詞查找預(yù)設(shè)的普通索引庫，得到普通檢索索引；

查找全量數(shù)據(jù)庫模塊，分別與所述檢索行業(yè)索引庫模塊以及所述檢索普通索引庫模塊相連，用于根據(jù)所述行業(yè)檢索索引和所述普通檢索索引查找全量數(shù)據(jù)庫，得到對應(yīng)的檢索數(shù)據(jù)。

本發(fā)明實(shí)施例根據(jù)行業(yè)關(guān)鍵詞查找預(yù)設(shè)的行業(yè)索引庫，相比于普通索引庫，行業(yè)索引庫規(guī)模更小，構(gòu)建行業(yè)索引庫的成本更低，行業(yè)索引庫的檢索速度更快。

附圖說明

圖1是本發(fā)明實(shí)施例一提供的數(shù)據(jù)檢索的方法流程圖；

圖2是本發(fā)明實(shí)施例二提供的數(shù)據(jù)檢索的方法流程圖；

圖3是本發(fā)明實(shí)施例三提供的數(shù)據(jù)檢索的方法流程圖；

圖4是本發(fā)明實(shí)施例四提供的數(shù)據(jù)檢索的裝置結(jié)構(gòu)示意圖；

圖5是本發(fā)明實(shí)施例五提供的數(shù)據(jù)檢索的裝置結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步的詳細(xì)說明?？梢岳斫獾氖?，此處所描述的具體實(shí)施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。

實(shí)施例一

圖1是本發(fā)明實(shí)施例一提供的數(shù)據(jù)檢索的方法流程圖。本實(shí)施例可適用于特定行業(yè)大數(shù)據(jù)實(shí)時檢索的情況，該方法可以由數(shù)據(jù)檢索的裝置來執(zhí)行，該裝置可以由軟件和/或硬件方式實(shí)現(xiàn)，該裝置可以集成在任何服務(wù)器中，例如典型的是ElasticSearch服務(wù)器。

本實(shí)施例的方法包括步驟S101、S102、S103及S104，步驟S102與S103不分先后。

S101、獲取數(shù)據(jù)檢索請求，所述數(shù)據(jù)檢索請求中包括行業(yè)關(guān)鍵詞和除行業(yè)關(guān)鍵詞之外的普通關(guān)鍵詞。

獲取數(shù)據(jù)檢索請求后進(jìn)行分析，識別其中的行業(yè)關(guān)鍵詞和普通關(guān)鍵詞。為了提升行業(yè)關(guān)鍵詞的識別速度，可以先將行業(yè)關(guān)鍵詞讀入到內(nèi)存中，并使用Trie樹保存。在識別時，將要識別的關(guān)鍵詞在Trie樹中進(jìn)行查找，如果存在，則為行業(yè)關(guān)鍵詞，如果不存在，則是普通關(guān)鍵詞。

Trie樹又稱單詞查找樹，是一種樹形結(jié)構(gòu)，是一種哈希樹的變種，典型應(yīng)用是用于統(tǒng)計，排序和保存大量的字符串，所以經(jīng)常被搜索引擎系統(tǒng)用于文本詞頻統(tǒng)計。

S102、根據(jù)行業(yè)關(guān)鍵詞查找預(yù)設(shè)的行業(yè)索引庫，得到行業(yè)檢索索引。

行業(yè)索引庫接收行業(yè)關(guān)鍵詞，并根據(jù)接收的行業(yè)關(guān)鍵詞查到行業(yè)檢索索引。

S103、根據(jù)普通關(guān)鍵詞查找預(yù)設(shè)的普通索引庫，得到普通檢索索引。

普通索引庫接收普通關(guān)鍵詞，并根據(jù)接收的普通關(guān)鍵詞查到普通檢索索引。

S104、根據(jù)行業(yè)檢索索引和普通檢索索引查找全量數(shù)據(jù)庫，得到對應(yīng)的檢索數(shù)據(jù)。

行業(yè)檢索索引和普通檢索索引在進(jìn)行合并后查找全量數(shù)據(jù)庫。因?yàn)樾袠I(yè)關(guān)鍵詞的權(quán)重高于普通關(guān)鍵詞，因此如果普通索引庫的檢索結(jié)果和行業(yè)索引庫的檢索結(jié)果有重復(fù)，則丟棄普通索引庫的檢索結(jié)果。為了提升前端的響應(yīng)速度，優(yōu)先保障行業(yè)關(guān)鍵詞的檢索實(shí)時性，行業(yè)索引庫檢索出結(jié)果后直接進(jìn)入下一步，而普通索引庫檢索出的結(jié)果與行業(yè)索引庫的檢索結(jié)果進(jìn)行比較，去重后再進(jìn)入下一步。具體可用一個獨(dú)立的檢索分發(fā)服務(wù)實(shí)現(xiàn)，該服務(wù)的核心是一個檢索dispatcher類，該類的主要目的是根據(jù)檢索關(guān)鍵詞將檢索請求分發(fā)到不同的索引庫中，并最終合并得檢索結(jié)果鍵值。

根據(jù)合并后檢索結(jié)果鍵值查找并顯示全量數(shù)據(jù)庫的對應(yīng)數(shù)據(jù)。鍵值指數(shù)據(jù)或文件的唯一標(biāo)識數(shù)據(jù)。

一般基于互聯(lián)網(wǎng)的全文搜索引擎，由于其應(yīng)用場景是面向大眾，因此其詞庫需要盡可能全面，但是對于特定行業(yè)的低并發(fā)實(shí)時檢索業(yè)務(wù)來說，雖然面對的數(shù)據(jù)量巨大，因?yàn)槭褂萌巳河邢耷夷康拿鞔_，所以其關(guān)心的行業(yè)關(guān)鍵詞是有限的，由行業(yè)關(guān)鍵詞構(gòu)成的行業(yè)詞庫的規(guī)模常常是全詞庫的十分之一甚至百分之一，行業(yè)詞庫規(guī)模越小，行業(yè)索引庫規(guī)模就越小。對于特定行業(yè)的用戶來說，滿足了行業(yè)關(guān)鍵詞的檢索實(shí)時性，就滿足了用戶90％以上的需求。

本實(shí)施例根據(jù)行業(yè)關(guān)鍵詞查找預(yù)設(shè)的行業(yè)索引庫，相比于普通索引庫，行業(yè)索引庫規(guī)模更小，構(gòu)建行業(yè)索引庫的成本更低，行業(yè)索引庫的檢索速度更快。

實(shí)施例二

圖2是本發(fā)明實(shí)施例二提供的數(shù)據(jù)檢索的方法流程圖。實(shí)施例二以上述實(shí)施例為基礎(chǔ)，在檢索數(shù)據(jù)前增加了創(chuàng)建普通索引庫及行業(yè)索引庫的步驟。可通過一個獨(dú)立的創(chuàng)建程序來確保數(shù)據(jù)依序順利入庫和普通索引庫及行業(yè)索引庫的創(chuàng)建。

本實(shí)施例提供的數(shù)據(jù)檢索的方法包括以下步驟：步驟S201、步驟S202、步驟S203、步驟S204、步驟S205、步驟S206、步驟S207及步驟S208。其中，步驟S205、步驟S206、步驟S207及步驟S208分別與實(shí)施例一中的步驟S101、步驟S102、步驟S103及步驟S104相同，相同的步驟不再贅述，步驟S203與步驟S204不分先后。

S201、獲取所述全量數(shù)據(jù)庫的輸入數(shù)據(jù)。

實(shí)時接收經(jīng)過清洗處理的輸入數(shù)據(jù)，將輸入數(shù)據(jù)發(fā)送給全量數(shù)據(jù)庫進(jìn)行保存。輸入數(shù)據(jù)包括文檔。

S202、提取所述輸入數(shù)據(jù)的鍵值。

鍵值是輸入數(shù)據(jù)的唯一標(biāo)識，輸入數(shù)據(jù)的鍵值用來指代輸入數(shù)據(jù)。鍵值將全量數(shù)據(jù)庫和行業(yè)索引庫及普通索引庫聯(lián)系在一起，在檢索時根據(jù)鍵值可得到全量數(shù)據(jù)庫中對應(yīng)的檢索數(shù)據(jù)。

S203、根據(jù)所述輸入數(shù)據(jù)的鍵值和行業(yè)詞庫，得到行業(yè)索引，并將所述行業(yè)索引寫入所述行業(yè)索引庫。

行業(yè)索引庫接收全量數(shù)據(jù)庫中的輸入數(shù)據(jù)，統(tǒng)計行業(yè)詞庫中的行業(yè)關(guān)鍵詞在哪些輸入數(shù)據(jù)或者說文檔里出現(xiàn)過，便得到行業(yè)索引，將所述行業(yè)索引寫入所述行業(yè)索引庫。

由行業(yè)關(guān)鍵詞構(gòu)成的行業(yè)詞庫的規(guī)模常常是普通詞庫的十分之一甚至百分之一，相應(yīng)地行業(yè)索引庫的規(guī)模比普通索引庫小很多。相比于普通索引庫，構(gòu)建行業(yè)索引庫的成本更低，行業(yè)索引庫的檢索速度更快。

S204、根據(jù)所述輸入數(shù)據(jù)的鍵值和普通詞庫，得到普通索引，并將所述普通索引寫入所述普通索引庫。

普通索引庫接收全量數(shù)據(jù)庫中的輸入數(shù)據(jù)，統(tǒng)計普通詞庫中的普通關(guān)鍵詞在哪些輸入數(shù)據(jù)或者說文檔里出現(xiàn)過，便得到普通索引，將所述普通索引寫入所述普通索引庫。

無論是行業(yè)索引庫還是普通索引庫，都只創(chuàng)建索引，不保存輸入數(shù)據(jù)，輸入數(shù)據(jù)保存在全量數(shù)據(jù)庫中，全量數(shù)據(jù)庫中輸入數(shù)據(jù)的鍵值作為存儲字段保存在行業(yè)索引庫和普通索引庫。

行業(yè)索引庫和普通索引庫建立后就可以進(jìn)行后續(xù)的檢索了。

S205、獲取數(shù)據(jù)檢索請求，所述數(shù)據(jù)檢索請求中包括行業(yè)關(guān)鍵詞和除行業(yè)關(guān)鍵詞之外的普通關(guān)鍵詞。

S206、根據(jù)行業(yè)關(guān)鍵詞查找預(yù)設(shè)的行業(yè)索引庫，得到行業(yè)檢索索引。

S207、根據(jù)普通關(guān)鍵詞查找預(yù)設(shè)的普通索引庫，得到普通檢索索引。

S208、根據(jù)行業(yè)檢索索引和普通檢索索引查找全量數(shù)據(jù)庫，得到對應(yīng)的檢索數(shù)據(jù)。

本實(shí)施例提供了建立行業(yè)索引庫和普通索引庫的方法，相比于普通索引庫，行業(yè)索引庫規(guī)模更小，構(gòu)建行業(yè)索引庫的成本更低，行業(yè)索引庫的檢索速度更快。

實(shí)施例三

圖3是本發(fā)明實(shí)施例三提供的數(shù)據(jù)檢索的方法流程圖。實(shí)施例三以上述實(shí)施例為基礎(chǔ)，在檢索數(shù)據(jù)前增加了重建行業(yè)索引庫的步驟，重建行業(yè)索引庫的步驟可由獨(dú)立的行業(yè)索引重建程序?qū)崿F(xiàn)。

本實(shí)施例提供的數(shù)據(jù)檢索的方法包括以下步驟：步驟S301、步驟S302、步驟S303、步驟S304、步驟S305、步驟S306和步驟S307。其中，步驟S304、步驟S305、步驟S306和步驟S307分別與實(shí)施例一中的步驟S101、步驟S102、步驟S103及步驟S104相同，相同的步驟不再贅述。

S301、獲取行業(yè)索引庫的重建請求。

在使用行業(yè)索引庫的過程中，行業(yè)詞庫有可能改變，例如新增或刪除某些行業(yè)關(guān)鍵詞，原先的行業(yè)索引庫不能滿足要求，這時需要重建行業(yè)索引庫。

普通詞庫一般不會變，普通索引庫一般不存在重建普通索引的需求。

S302、根據(jù)所述重建請求清空所述行業(yè)索引庫，并讀取所述全量數(shù)據(jù)庫中的數(shù)據(jù)。

根據(jù)所述重建請求，可以暫停數(shù)據(jù)入庫和檢索數(shù)據(jù)以便于行業(yè)索引庫的重建，清空所述行業(yè)索引庫中的行業(yè)索引，逐條讀取全量數(shù)據(jù)庫中的數(shù)據(jù)。

S303、根據(jù)所述全量數(shù)據(jù)庫中的數(shù)據(jù)的鍵值和行業(yè)詞庫，得到新的行業(yè)索引，并將所述新的行業(yè)索引寫入所述行業(yè)索引庫。

行業(yè)索引庫接收讀取的全量數(shù)據(jù)庫中的數(shù)據(jù)，統(tǒng)計行業(yè)詞庫中的行業(yè)關(guān)鍵詞在哪些數(shù)據(jù)或者說文檔里出現(xiàn)過，便得到新的行業(yè)索引，將所述新的行業(yè)索引寫入所述行業(yè)索引庫。

S304、獲取數(shù)據(jù)檢索請求，所述數(shù)據(jù)檢索請求中包括行業(yè)關(guān)鍵詞和除行業(yè)關(guān)鍵詞之外的普通關(guān)鍵詞。

S305、根據(jù)行業(yè)關(guān)鍵詞查找預(yù)設(shè)的行業(yè)索引庫，得到行業(yè)檢索索引。

S306、根據(jù)普通關(guān)鍵詞查找預(yù)設(shè)的普通索引庫，得到普通檢索索引。

S307、根據(jù)行業(yè)檢索索引和普通檢索索引查找全量數(shù)據(jù)庫，得到對應(yīng)的檢索數(shù)據(jù)。

本實(shí)施例提供了重建行業(yè)索引庫的方法，在行業(yè)詞庫改變后，重建的行業(yè)索引庫能滿足檢索需求的變化。

實(shí)施例四

圖4是本發(fā)明實(shí)施例四提供的數(shù)據(jù)檢索的裝置結(jié)構(gòu)示意圖。該裝置用于執(zhí)行上述實(shí)施例中的數(shù)據(jù)檢索的方法。該裝置包括：請求獲取模塊401、檢索行業(yè)索引庫模塊402、檢索普通索引庫模塊403和查找全量數(shù)據(jù)庫模塊404。

請求獲取模塊，用于獲取數(shù)據(jù)檢索請求，所述數(shù)據(jù)檢索請求中包括行業(yè)關(guān)鍵詞和除行業(yè)關(guān)鍵詞之外的普通關(guān)鍵詞。

檢索行業(yè)索引庫模塊，與所述請求獲取模塊相連，用于根據(jù)所述行業(yè)關(guān)鍵詞查找預(yù)設(shè)的行業(yè)索引庫，得到行業(yè)檢索索引。

檢索普通索引庫模塊，與所述請求獲取模塊相連，用于根據(jù)所述普通關(guān)鍵詞查找預(yù)設(shè)的普通索引庫，得到普通檢索索引。

查找全量數(shù)據(jù)庫模塊，分別與所述檢索行業(yè)索引庫模塊以及所述檢索普通索引庫模塊相連，用于根據(jù)所述行業(yè)檢索索引和所述普通檢索索引查找全量數(shù)據(jù)庫，得到對應(yīng)的檢索數(shù)據(jù)。

本實(shí)施例根據(jù)行業(yè)關(guān)鍵詞查找預(yù)設(shè)的行業(yè)索引庫，相比于普通索引庫，行業(yè)索引庫規(guī)模更小，構(gòu)建行業(yè)索引庫的成本更低，行業(yè)索引庫的檢索速度更快。

實(shí)施例五

圖5是本發(fā)明實(shí)施例五提供的數(shù)據(jù)檢索的裝置結(jié)構(gòu)示意圖。該裝置用于執(zhí)行上述實(shí)施例中的數(shù)據(jù)檢索的方法。本實(shí)施例在實(shí)施例四的基礎(chǔ)上增加了輸入數(shù)據(jù)獲取模塊501、鍵值提取模塊502、行業(yè)索引庫構(gòu)建模塊503、普通索引庫構(gòu)建模塊504、重建請求獲取模塊505、全量數(shù)據(jù)庫讀取模塊506和行業(yè)索引庫重建模塊507。

輸入數(shù)據(jù)獲取模塊，用于獲取所述全量數(shù)據(jù)庫的輸入數(shù)據(jù)。

鍵值提取模塊，與所述輸入數(shù)據(jù)獲取模塊相連，用于提取所述輸入數(shù)據(jù)的鍵值。

行業(yè)索引庫構(gòu)建模塊，分別與所述鍵值提取模塊及所述檢索行業(yè)索引庫模塊相連，用于根據(jù)所述輸入數(shù)據(jù)的鍵值和行業(yè)詞庫，得到行業(yè)索引，并將所述行業(yè)索引寫入所述行業(yè)索引庫。

普通索引庫構(gòu)建模塊，分別與所述鍵值提取模塊及所述檢索普通索引庫模塊相連，用于根據(jù)所述輸入數(shù)據(jù)的鍵值和普通詞庫，得到普通索引，并將所述普通索引寫入所述普通索引庫。

本實(shí)施例提供了建立行業(yè)索引庫和普通索引庫的方法，相比于普通索引庫，行業(yè)索引庫規(guī)模更小，構(gòu)建行業(yè)索引庫的成本更低，行業(yè)索引庫的檢索速度更快。

重建請求獲取模塊，用于獲取行業(yè)索引庫的重建請求。

全量數(shù)據(jù)庫讀取模塊，與所述重建請求獲取模塊相連，用于根據(jù)所述重建請求清空所述行業(yè)索引庫，并讀取所述全量數(shù)據(jù)庫中的數(shù)據(jù)。

行業(yè)索引庫重建模塊，分別與所述全量數(shù)據(jù)庫讀取模塊及所述檢索行業(yè)索引庫模塊相連，用于根據(jù)所述全量數(shù)據(jù)庫中的數(shù)據(jù)的鍵值和行業(yè)詞庫，得到新的行業(yè)索引，并將所述新的行業(yè)索引寫入所述行業(yè)索引庫。

本實(shí)施例提供了重建行業(yè)索引庫的方法，在行業(yè)詞庫改變后，重建的行業(yè)索引庫能滿足檢索需求的變化。

本發(fā)明實(shí)施例所提供的數(shù)據(jù)檢索的裝置可用于執(zhí)行本發(fā)明任意實(shí)施例所提供的數(shù)據(jù)檢索的方法，具備執(zhí)行該方法相應(yīng)的功能和有益效果。

實(shí)施例六

本實(shí)施例提供的數(shù)據(jù)檢索的裝置用于執(zhí)行上述實(shí)施例中的數(shù)據(jù)檢索的方法。本實(shí)施例在上述實(shí)施例的基礎(chǔ)上進(jìn)行了優(yōu)化。

進(jìn)一步地，所述行業(yè)索引庫使用SSD固態(tài)硬盤存儲，所述普通索引庫使用普通SATA硬盤存儲，所述全量數(shù)據(jù)庫的數(shù)據(jù)壓縮保存。

行業(yè)索引庫使用更加頻繁，對行業(yè)索引庫的實(shí)時性要求更高，所以行業(yè)索引庫選用SSD固態(tài)硬盤進(jìn)行存儲。對普通索引庫的要求不高，所以使用普通SATA硬盤存儲。為了更有效地利用全量數(shù)據(jù)庫的存儲容量，對全量數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行壓縮保存。

進(jìn)一步地，所述行業(yè)索引庫和所述全量數(shù)據(jù)庫可部署在同一個服務(wù)器集群上。

行業(yè)索引庫和全量數(shù)據(jù)庫可部署在同一個服務(wù)器集群上，可極大減少建立和重建行業(yè)索引時行業(yè)索引庫和全量數(shù)據(jù)庫之間的網(wǎng)絡(luò)數(shù)據(jù)傳輸量，建立和重建行業(yè)索引可在各臺服務(wù)器上同時進(jìn)行，減少建立和重建行業(yè)索引的時間。

本實(shí)施例通過優(yōu)化服務(wù)器系統(tǒng)的硬件配置，來保證檢索大數(shù)據(jù)的實(shí)時性，提高數(shù)據(jù)檢索裝置的效費(fèi)比。

本發(fā)明實(shí)施例所提供的數(shù)據(jù)檢索的裝置可用于執(zhí)行本發(fā)明任意實(shí)施例所提供的數(shù)據(jù)檢索的方法，具備執(zhí)行該方法相應(yīng)的功能和有益效果。

注意，上述僅為本發(fā)明的較佳實(shí)施例及所運(yùn)用技術(shù)原理。本領(lǐng)域技術(shù)人員會理解，本發(fā)明不限于這里所述的特定實(shí)施例，對本領(lǐng)域技術(shù)人員來說能夠進(jìn)行各種明顯的變化、重新調(diào)整和替代而不會脫離本發(fā)明的保護(hù)范圍。因此，雖然通過以上實(shí)施例對本發(fā)明進(jìn)行了較為詳細(xì)的說明，但是本發(fā)明不僅僅限于以上實(shí)施例，在不脫離本發(fā)明構(gòu)思的情況下，還可以包括更多其他等效實(shí)施例，而本發(fā)明的范圍由所附的權(quán)利要求范圍決定。