一種數(shù)據(jù)庫更新方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及軟件技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)庫更新方法及裝置。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)上的信息越來越豐富，因此，越來越多的用戶通過搜索引擎搜索所需要的信息。
[0003]各個搜索引擎一般通過網(wǎng)絡(luò)爬蟲獲得目標(biāo)網(wǎng)頁的網(wǎng)頁信息，并將所獲得的網(wǎng)頁信息更新至相應(yīng)的數(shù)據(jù)庫中，以為用戶提供更全面的搜索信息。其中，網(wǎng)絡(luò)爬蟲，是指能夠按照一定的規(guī)則，自動抓取網(wǎng)絡(luò)信息的程序或者腳本。
[0004]現(xiàn)有技術(shù)中，搜索引擎在相應(yīng)數(shù)據(jù)庫中更新蜘蛛程序獲得的目標(biāo)網(wǎng)頁的網(wǎng)頁信息時，一般先根據(jù)目標(biāo)網(wǎng)頁的網(wǎng)址信息等判斷數(shù)據(jù)庫中是否存在與該目標(biāo)網(wǎng)頁相對應(yīng)的數(shù)據(jù)記錄，若不存在，在已存儲的最后一條數(shù)據(jù)記錄之后增加目標(biāo)網(wǎng)頁對應(yīng)的數(shù)據(jù)記錄，其中，各條數(shù)據(jù)記錄一般存儲在數(shù)據(jù)庫的一個數(shù)據(jù)表中。
[0005]當(dāng)數(shù)據(jù)庫中信息較少時，應(yīng)用上述方式能夠快速實現(xiàn)數(shù)據(jù)庫更新，然而，隨著蜘蛛程序所獲得網(wǎng)頁的網(wǎng)頁信息越來越多，數(shù)據(jù)庫所包含的數(shù)據(jù)記錄也越來越多，因此，每次更新數(shù)據(jù)庫時，判斷數(shù)據(jù)庫中是否存在某一網(wǎng)頁對應(yīng)的數(shù)據(jù)記錄需要的時間越來越長，進(jìn)而每次更新數(shù)據(jù)庫的速度變慢。

【發(fā)明內(nèi)容】

[0006]本發(fā)明實施例公開了一種數(shù)據(jù)庫更新方法及裝置，以提高更新數(shù)據(jù)庫的速度。
[0007]為達(dá)到上述目的，本發(fā)明實施例公開了一種數(shù)據(jù)庫更新方法，所述方法包括:
[0008]獲得目標(biāo)網(wǎng)頁的網(wǎng)頁參數(shù)，其中，所述網(wǎng)頁參數(shù)中包括:所述目標(biāo)網(wǎng)頁對應(yīng)的目標(biāo)網(wǎng)站的標(biāo)識和所述目標(biāo)網(wǎng)頁在所述目標(biāo)網(wǎng)站中的標(biāo)識；
[0009]根據(jù)所述目標(biāo)網(wǎng)頁對應(yīng)的目標(biāo)網(wǎng)站的標(biāo)識，在待更新數(shù)據(jù)庫中確定與所述目標(biāo)網(wǎng)站對應(yīng)的數(shù)據(jù)表，其中，所述待更新數(shù)據(jù)庫中所包含數(shù)據(jù)表的數(shù)量>1;
[0010]根據(jù)所述目標(biāo)網(wǎng)頁在所述目標(biāo)網(wǎng)站中的標(biāo)識，判斷所述目標(biāo)網(wǎng)站對應(yīng)的數(shù)據(jù)表中是否存在所述目標(biāo)網(wǎng)頁對應(yīng)的數(shù)據(jù)記錄，其中，所述數(shù)據(jù)記錄中包括:所述目標(biāo)網(wǎng)頁在所述目標(biāo)網(wǎng)站中的標(biāo)識和所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識；
[0011]若不存在，生成所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識；在所述目標(biāo)網(wǎng)站對應(yīng)的數(shù)據(jù)表中增加所述目標(biāo)網(wǎng)頁對應(yīng)的數(shù)據(jù)記錄。
[0012]可選的，在所述生成所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識之前，還包括:
[0013]將索引標(biāo)識生成標(biāo)記位設(shè)置為鎖定狀態(tài)，其中，當(dāng)所述索引標(biāo)識生成標(biāo)記位為鎖定狀態(tài)時，表示當(dāng)前只能計算所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識；
[0014]根據(jù)所述目標(biāo)網(wǎng)頁在所述目標(biāo)網(wǎng)站中的標(biāo)識，判斷所述目標(biāo)網(wǎng)站對應(yīng)的數(shù)據(jù)表中是否存在所述目標(biāo)網(wǎng)頁對應(yīng)的數(shù)據(jù)記錄；
[0015]若不存在，則執(zhí)行所述生成所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識的步驟；
[0016]在所述生成所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識之后，還包括:
[0017]將索引標(biāo)識生成標(biāo)記位設(shè)置為解鎖狀態(tài)，其中，當(dāng)所述索引標(biāo)識生成標(biāo)記位為解鎖狀態(tài)時，表示能夠開始計算除了所述目標(biāo)網(wǎng)頁之外的其他網(wǎng)頁對應(yīng)的索引標(biāo)識。
[0018]可選的，所述生成所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識，包括:
[0019]獲得所述待更新數(shù)據(jù)庫中已存儲的數(shù)據(jù)記錄對應(yīng)的索引標(biāo)識的最大值Value_SIDmax ；
[0020]計算Value_SIDmax除以預(yù)設(shè)的第一閾值的余數(shù)R ；
[0021]判斷余數(shù)R是否小于預(yù)設(shè)的第二閾值；
[0022]若為是，則計算得所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識=R+預(yù)設(shè)的第二閾值；
[0023]否則，計算得所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識=R+預(yù)設(shè)的第三閾值。
[0024]可選的，所述獲得所述待更新數(shù)據(jù)庫中已存儲的數(shù)據(jù)記錄對應(yīng)的索引標(biāo)識的最大值 Value_SID_，包括:
[0025]根據(jù)本地存儲的索引標(biāo)識值Value_SID_L，獲得所述待更新數(shù)據(jù)庫中已存儲的數(shù)據(jù)記錄對應(yīng)的索引標(biāo)識的最大值Value_SID_ ；
[0026]其中，在啟動所述待更新數(shù)據(jù)庫對應(yīng)的更新程序之后，將本地存儲的Value_SID_L設(shè)置為:Value_SID_D_值，Value_SID_Dnax為所述待更新數(shù)據(jù)庫中存儲的所述待更新數(shù)據(jù)庫中已存儲的數(shù)據(jù)記錄對應(yīng)的索引標(biāo)識的最大值；
[0027]在所述將本地存儲的Value_SID_L設(shè)置為:Value_SID_D_值之后，還包括:
[0028]將Value_SID_D_更新為:當(dāng)前Value_SID_D_+預(yù)設(shè)的第四閾值；
[0029]在計算得到所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識之后，還包括:
[0030]將Value_SID_L值更新為所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識；
[0031]判斷所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識是否大于Value_SID_D_ ；
[0032]若為是，則將Value_SID_D_更新為:當(dāng)前Value_SID_D_+預(yù)設(shè)的第四閾值；
[0033]在結(jié)束所述待更新數(shù)據(jù)庫對應(yīng)的更新程序之后，還包括:
[0034]將Value_SID_Dnax 更新為:Value_SID_Dnax = Value_SID_L。
[0035]可選的，在所述生成所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識之后，還包括:
[0036]向網(wǎng)絡(luò)爬蟲模塊或者非所述待更新數(shù)據(jù)庫發(fā)送所生成的索引標(biāo)識。
[0037]為達(dá)到上述目的，本發(fā)明實施例公開了一種數(shù)據(jù)庫更新裝置，所述裝置包括:
[0038]網(wǎng)頁參數(shù)獲得模塊，用于獲得目標(biāo)網(wǎng)頁的網(wǎng)頁參數(shù)，其中，所述網(wǎng)頁參數(shù)中包括:所述目標(biāo)網(wǎng)頁對應(yīng)的目標(biāo)網(wǎng)站的標(biāo)識和所述目標(biāo)網(wǎng)頁在所述目標(biāo)網(wǎng)站中的標(biāo)識；
[0039]數(shù)據(jù)表確定模塊，用于根據(jù)所述目標(biāo)網(wǎng)頁對應(yīng)的目標(biāo)網(wǎng)站的標(biāo)識，在待更新數(shù)據(jù)庫中確定與所述目標(biāo)網(wǎng)站對應(yīng)的數(shù)據(jù)表，其中，所述待更新數(shù)據(jù)庫中所包含數(shù)據(jù)表的數(shù)量> 1 ;
[0040]第一數(shù)據(jù)記錄判斷模塊，用于根據(jù)所述目標(biāo)網(wǎng)頁在所述目標(biāo)網(wǎng)站中的標(biāo)識，判斷所述目標(biāo)網(wǎng)站對應(yīng)的數(shù)據(jù)表中是否存在所述目標(biāo)網(wǎng)頁對應(yīng)的數(shù)據(jù)記錄，其中，所述數(shù)據(jù)記錄中包括:所述目標(biāo)網(wǎng)頁在所述目標(biāo)網(wǎng)站中的標(biāo)識和所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識；
[0041]索引標(biāo)識生成模塊，用于在所述第一數(shù)據(jù)記錄判斷模塊的判斷結(jié)果為否的情況下，生成所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識；
[0042]數(shù)據(jù)記錄增加模塊，用于在所述索引標(biāo)識生成模塊生成索引標(biāo)識后，在所述目標(biāo)網(wǎng)站對應(yīng)的數(shù)據(jù)表中增加所述目標(biāo)網(wǎng)頁對應(yīng)的數(shù)據(jù)記錄。
[0043]可選的，所述數(shù)據(jù)庫更新裝置還包括:
[0044]鎖定狀態(tài)設(shè)置模塊，用于將索引標(biāo)識生成標(biāo)記位設(shè)置為鎖定狀態(tài)，其中，當(dāng)所述索引標(biāo)識生成標(biāo)記位為鎖定狀態(tài)時，表示當(dāng)前只能計算所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識；
[0045]第二數(shù)據(jù)記錄判斷模塊，用于根據(jù)所述目標(biāo)網(wǎng)頁在所述目標(biāo)網(wǎng)站中的標(biāo)識，判斷所述目標(biāo)網(wǎng)站對應(yīng)的數(shù)據(jù)表中是否存在所述目標(biāo)網(wǎng)頁對應(yīng)的數(shù)據(jù)記錄，若不存在，則觸發(fā)所述索引標(biāo)識生成模塊生成索引標(biāo)識；
[0046]解鎖狀態(tài)設(shè)置模塊，用于在所述索引標(biāo)識生成模塊生成索引標(biāo)識后，將索引標(biāo)識生成標(biāo)記位設(shè)置為解鎖狀態(tài)，其中，當(dāng)所述索引標(biāo)識生成標(biāo)記位為解鎖狀態(tài)時，表示能夠開始計算除了所述目標(biāo)網(wǎng)頁之外的其他網(wǎng)頁對應(yīng)的索引標(biāo)識。
[0047]可選的，所述索引標(biāo)識生成模塊，包括:
[0048]索引標(biāo)識最大值獲得子模塊，用于獲得所述待更新數(shù)據(jù)庫中已存儲的數(shù)據(jù)記錄對應(yīng)的索引標(biāo)識的最大值Value_SID_ ；
[0049]余數(shù)計算子模塊，用于計算Value_SID_除以預(yù)設(shè)的第一閾值的余數(shù)R ；
[0050]余數(shù)判斷子模塊，用于判斷余數(shù)R是否小于預(yù)設(shè)的第二閾值；
[0051]第一索引標(biāo)識計算子模塊，用于在所述余數(shù)判斷子模塊的判斷結(jié)果為是的情況下，計算得所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識=R+預(yù)設(shè)的第二閾值；
[0052]第二索引標(biāo)識計算子模塊，用于在所述余數(shù)判斷子模塊的判斷結(jié)果為否的情況下，計算得所述目標(biāo)網(wǎng)頁對應(yīng)的索引標(biāo)識=R+預(yù)設(shè)的第三閾值。
[0053]可選的，所述索引標(biāo)識最大值獲得子模塊，具體用于根據(jù)本地存儲的索引標(biāo)識值Value_SID_L，獲得所述待更新數(shù)據(jù)庫中已存儲的數(shù)據(jù)記錄對應(yīng)的索引標(biāo)識的最大值Value_SIDnax ；
[0054]所述數(shù)據(jù)庫更新裝置還包括:<