一種索引建立方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，特別涉及一種索引建立方法及裝置。
【背景技術(shù)】
[0002]索引服務(wù)是一項系統(tǒng)服務(wù)(IndexingService)，使用文檔篩選器讀取整個文檔，并提取文檔和屬性傳遞給索引程序，這個過程稱為“索引”。索引服務(wù)可以從一組文檔中提取并組織信息，以便通過Windows搜索功能、索引服務(wù)查詢表或Web瀏覽器快速容易地訪問該信息，該信息可以包含文檔中的文本(內(nèi)容)、文檔的特征和參數(shù)(屬性)。通過索引可以對信息進行快速訪問。
[0003 ]目前，建立索弓I通常有兩種方式。
[0004]第一種方法為:將從互聯(lián)網(wǎng)抓取的數(shù)據(jù)實時添加至索引數(shù)據(jù)庫中，建立索引數(shù)據(jù)庫的索引。
[0005]第二種方法為:將從互聯(lián)網(wǎng)抓取的數(shù)據(jù)存儲在硬盤中；每隔一段時間，讀取硬盤中的所存儲的所抓取到的數(shù)據(jù);將所讀取的數(shù)據(jù)，添加至索引數(shù)據(jù)庫中；建立索引數(shù)據(jù)庫的索引。
[0006]但是，應(yīng)用上述的第一種方式實時建立索引，會總占用系統(tǒng)資源，導(dǎo)致數(shù)據(jù)檢索時速度很慢。應(yīng)用上述的第二種方式建立索引，需要先對存儲在硬盤中的數(shù)據(jù)進行讀取，讀取硬盤的速度很慢，導(dǎo)致索引建立較花費時間。

【發(fā)明內(nèi)容】

[0007]本發(fā)明實施例的目的在于提供一種索引建立方法及裝置，以減少建立索引的時間，提高數(shù)據(jù)檢索的速度。
[0008]為達到上述目的，本發(fā)明實施例公開了一種索引建立方法，預(yù)先建立針對目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)的第一索引庫，所述第一索引庫用于存儲預(yù)設(shè)時間段內(nèi)的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù);所述方法包括:
[0009]從互聯(lián)網(wǎng)中獲得所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)；
[0010]將所獲得的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)存儲在緩存中；
[0011 ]每隔預(yù)設(shè)時間，讀取所述緩存中存儲的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)；
[0012]將所讀取到的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)，添加在所述第一索引庫中；
[0013]根據(jù)所述第一索引庫中存儲的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)，建立針對所述第一索引庫的索引。
[0014]可選的，所述方法還包括:
[0015]針對所述第一索引庫中存儲的每一所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)，判斷該數(shù)據(jù)是否符合預(yù)設(shè)規(guī)則；
[0016]如果是，將該數(shù)據(jù)存儲在黑名單列表中。
[0017]可選的，預(yù)先建立針對目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)的第二索引庫，所述第二索引庫用于存儲所有所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù);所述方法還包括:
[0018]當(dāng)當(dāng)前時間到達所述預(yù)設(shè)時間段對應(yīng)的時間截止點時，將所述第一索引庫中的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)存儲在所述第二索引庫中；
[0019]根據(jù)所述第二索引庫中存儲的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)，建立針對所述第二索引庫的索引；
[0020]刪除所述第一索引庫中的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)，繼續(xù)從互聯(lián)網(wǎng)中獲得所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)。
[0021 ]可選的，所述從互聯(lián)網(wǎng)中獲得所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)，包括:
[0022]利用爬蟲技術(shù)，實時從互聯(lián)網(wǎng)中獲得所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)。
[0023]可選的，所述預(yù)設(shè)時間，包括:
[0024]一秒鐘；或一分鐘。
[0025]為達到上述目的，本發(fā)明實施例公開了一種索引建立裝置，包括:第一建立模塊、獲得模塊、第一存儲模塊、讀取模塊、添加模塊和第二建立模塊，其中，
[0026]所述第一建立模塊，用于預(yù)先建立針對目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)的第一索引庫，所述第一索引庫用于存儲預(yù)設(shè)時間段內(nèi)的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)；
[0027]所述獲得模塊，用于從互聯(lián)網(wǎng)中獲得所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)；
[0028]所述第一存儲模塊，用于將所述獲得模塊獲得的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)存儲在緩存中；
[0029]所述讀取模塊，用于每隔預(yù)設(shè)時間，讀取所述緩存中存儲的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)；
[0030]所述添加模塊，用于將所述讀取模塊讀取到的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)，添加在所述第一建立模塊建立的第一索引庫中；
[0031]所述第二建立模塊，用于根據(jù)所述第一索引庫中存儲的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)，建立針對所述第一索引庫的索引。
[0032]可選的，所述裝置還包括:判斷模塊和第二存儲模塊，其中，
[0033]所述判斷模塊，用于針對所述第一索引庫中存儲的每一所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)，判斷該數(shù)據(jù)是否符合預(yù)設(shè)規(guī)則；
[0034]所述第二存儲模塊，用于在所述判斷模塊判斷結(jié)果為是的情況下，將該數(shù)據(jù)存儲在黑名單中。
[0035]可選的，所述第一建立模塊，還用于:
[0036]預(yù)先建立針對目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)的第二索引庫，所述第二索引庫用于存儲所有所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)；
[0037]所述裝置還包括:第三存儲模塊、第三建立模塊和刪除模塊，其中，
[0038]所述第三存儲模塊，用于當(dāng)當(dāng)前時間到達所述預(yù)設(shè)時間段對應(yīng)的時間截止點時，將所述第一索引庫中的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)存儲在所述第二索引庫中；
[0039]所述第三建立模塊，用于根據(jù)所述第二索引庫中存儲的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)，建立針對所述第二索引庫的索引；
[0040]所述刪除模塊，用于刪除所述第一索引庫中的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)，觸發(fā)獲得模塊。
[0041]可選的，所述獲得模塊，具體用于:
[0042]利用爬蟲技術(shù)，實時從互聯(lián)網(wǎng)中獲得所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)。
[0043]可選的，所述預(yù)設(shè)時間，包括:
[0044]—秒鐘;或一分鐘。
[0045]由上述的技術(shù)方案可見，本發(fā)明實施例提供了一種索引建立方法及裝置，預(yù)先建立針對目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)的第一索引庫，所述第一索引庫用于存儲預(yù)設(shè)時間段內(nèi)的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù);方法包括:從互聯(lián)網(wǎng)中獲得所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù);將所獲得的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)存儲在緩存中；每隔預(yù)設(shè)時間，讀取所述緩存中存儲的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù);將所讀取到的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)，添加在所述第一索引庫中；根據(jù)所述第一索引庫中存儲的所述目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)，建立針對所述第一索引庫的索引。
[0046]應(yīng)用本發(fā)明實施例所提供的技術(shù)方案，通過緩存機制建立索引，相比于現(xiàn)有技術(shù)的硬盤機制，減少了建立索引的時間，提高了建立索引的效率;并且采用秒級別或分級別機制從緩存中讀取數(shù)據(jù)，在該段時間內(nèi)，沒有將數(shù)據(jù)添加至索引數(shù)據(jù)庫，不占用系統(tǒng)資源，提高了該段時間內(nèi)的數(shù)據(jù)檢索速度。
[0047]當(dāng)然，實施本發(fā)明的任一產(chǎn)品或方法必不一定需要同時達到以上所述的所有優(yōu)點。
【附圖說明】
[0048]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0049]圖1為本發(fā)明實施例提供的索引建立方法的第一種流程示意圖；
[0050]圖2為本發(fā)明實施例提供的索引建立方法的第二種流程示意圖；
[0051]圖3為本發(fā)明實施例提供的索引建立方法的第三種流程示意圖；
[0052]圖4為本發(fā)明實施例提供的索引建立裝置的第一種結(jié)構(gòu)示意圖；
[0053]圖5為本發(fā)明實施例提供的索引建立裝置的第二種結(jié)構(gòu)示意圖；
[0054]圖6為本發(fā)明實施例提供的索引建立裝置的第三種結(jié)構(gòu)示意圖。
【具體實施方式】
[0055]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0056]為了解決現(xiàn)有技術(shù)問題，本發(fā)明