參數(shù)，其中，所述網(wǎng)頁(yè)參數(shù)中包括:所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的目標(biāo)網(wǎng)站的標(biāo)識(shí)和所述目標(biāo)網(wǎng)頁(yè)在所述目標(biāo)網(wǎng)站中的標(biāo)識(shí)； 根據(jù)所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的目標(biāo)網(wǎng)站的標(biāo)識(shí)，在待更新數(shù)據(jù)庫(kù)中確定與所述目標(biāo)網(wǎng)站對(duì)應(yīng)的數(shù)據(jù)表，其中，所述待更新數(shù)據(jù)庫(kù)中所包含數(shù)據(jù)表的數(shù)量>1; 根據(jù)所述目標(biāo)網(wǎng)頁(yè)在所述目標(biāo)網(wǎng)站中的標(biāo)識(shí)，判斷所述目標(biāo)網(wǎng)站對(duì)應(yīng)的數(shù)據(jù)表中是否存在所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的數(shù)據(jù)記錄，其中，所述數(shù)據(jù)記錄中包括:所述目標(biāo)網(wǎng)頁(yè)在所述目標(biāo)網(wǎng)站中的標(biāo)識(shí)和所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)； 若不存在，生成所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)；在所述目標(biāo)網(wǎng)站對(duì)應(yīng)的數(shù)據(jù)表中增加所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的數(shù)據(jù)記錄。2.根據(jù)權(quán)利要求1所述的方法，其特征在于， 在所述生成所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)之前，還包括: 將索引標(biāo)識(shí)生成標(biāo)記位設(shè)置為鎖定狀態(tài)，其中，當(dāng)所述索引標(biāo)識(shí)生成標(biāo)記位為鎖定狀態(tài)時(shí)，表示當(dāng)前只能計(jì)算所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)； 根據(jù)所述目標(biāo)網(wǎng)頁(yè)在所述目標(biāo)網(wǎng)站中的標(biāo)識(shí)，判斷所述目標(biāo)網(wǎng)站對(duì)應(yīng)的數(shù)據(jù)表中是否存在所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的數(shù)據(jù)記錄； 若不存在，則執(zhí)行所述生成所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)的步驟； 在所述生成所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)之后，還包括: 將索引標(biāo)識(shí)生成標(biāo)記位設(shè)置為解鎖狀態(tài)，其中，當(dāng)所述索引標(biāo)識(shí)生成標(biāo)記位為解鎖狀態(tài)時(shí)，表示能夠開(kāi)始計(jì)算除了所述目標(biāo)網(wǎng)頁(yè)之外的其他網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述生成所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)，包括: 獲得所述待更新數(shù)據(jù)庫(kù)中已存儲(chǔ)的數(shù)據(jù)記錄對(duì)應(yīng)的索引標(biāo)識(shí)的最大值Value_SID_ ； 計(jì)算Value_SIDmax除以預(yù)設(shè)的第一閾值的余數(shù)R ； 判斷余數(shù)R是否小于預(yù)設(shè)的第二閾值； 若為是，則計(jì)算得所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)=R+預(yù)設(shè)的第二閾值； 否則，計(jì)算得所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)=R+預(yù)設(shè)的第三閾值。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述獲得所述待更新數(shù)據(jù)庫(kù)中已存儲(chǔ)的數(shù)據(jù)記錄對(duì)應(yīng)的索引標(biāo)識(shí)的最大值Value_SID_，包括: 根據(jù)本地存儲(chǔ)的索引標(biāo)識(shí)值Value_SID_L，獲得所述待更新數(shù)據(jù)庫(kù)中已存儲(chǔ)的數(shù)據(jù)記錄對(duì)應(yīng)的索引標(biāo)識(shí)的最大值Value_SID_ ； 其中，在啟動(dòng)所述待更新數(shù)據(jù)庫(kù)對(duì)應(yīng)的更新程序之后，將本地存儲(chǔ)的Value_SID_LS置為:Value_SID_D_值，Value_SID_Dnax為所述待更新數(shù)據(jù)庫(kù)中存儲(chǔ)的所述待更新數(shù)據(jù)庫(kù)中已存儲(chǔ)的數(shù)據(jù)記錄對(duì)應(yīng)的索引標(biāo)識(shí)的最大值； 在所述將本地存儲(chǔ)的Value_SID_L設(shè)置為:Value_SID_D_值之后，還包括: 將Value_SID_D_更新為:當(dāng)前Value_SID_D_+預(yù)設(shè)的第四閾值； 在計(jì)算得到所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)之后，還包括: 將Value_SID_L值更新為所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)； 判斷所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)是否大于Value_SID_D_ ； 若為是，則將Value_SID_D_更新為:當(dāng)前Value_SID_D_+預(yù)設(shè)的第四閾值； 在結(jié)束所述待更新數(shù)據(jù)庫(kù)對(duì)應(yīng)的更新程序之后，還包括:將 Value_SID_Dnax 更新為:Value_SID_Dnax = Value_SID_L。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述生成所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)之后，還包括: 向網(wǎng)絡(luò)爬蟲(chóng)模塊或者非所述待更新數(shù)據(jù)庫(kù)發(fā)送所生成的索引標(biāo)識(shí)。6.一種數(shù)據(jù)庫(kù)更新裝置，其特征在于，所述裝置包括: 網(wǎng)頁(yè)參數(shù)獲得模塊，用于獲得目標(biāo)網(wǎng)頁(yè)的網(wǎng)頁(yè)參數(shù)，其中，所述網(wǎng)頁(yè)參數(shù)中包括:所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的目標(biāo)網(wǎng)站的標(biāo)識(shí)和所述目標(biāo)網(wǎng)頁(yè)在所述目標(biāo)網(wǎng)站中的標(biāo)識(shí)； 數(shù)據(jù)表確定模塊，用于根據(jù)所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的目標(biāo)網(wǎng)站的標(biāo)識(shí)，在待更新數(shù)據(jù)庫(kù)中確定與所述目標(biāo)網(wǎng)站對(duì)應(yīng)的數(shù)據(jù)表，其中，所述待更新數(shù)據(jù)庫(kù)中所包含數(shù)據(jù)表的數(shù)量> 1 ; 第一數(shù)據(jù)記錄判斷模塊，用于根據(jù)所述目標(biāo)網(wǎng)頁(yè)在所述目標(biāo)網(wǎng)站中的標(biāo)識(shí)，判斷所述目標(biāo)網(wǎng)站對(duì)應(yīng)的數(shù)據(jù)表中是否存在所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的數(shù)據(jù)記錄，其中，所述數(shù)據(jù)記錄中包括:所述目標(biāo)網(wǎng)頁(yè)在所述目標(biāo)網(wǎng)站中的標(biāo)識(shí)和所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)； 索引標(biāo)識(shí)生成模塊，用于在所述第一數(shù)據(jù)記錄判斷模塊的判斷結(jié)果為否的情況下，生成所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)； 數(shù)據(jù)記錄增加模塊，用于在所述索引標(biāo)識(shí)生成模塊生成索引標(biāo)識(shí)后，在所述目標(biāo)網(wǎng)站對(duì)應(yīng)的數(shù)據(jù)表中增加所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的數(shù)據(jù)記錄。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括: 鎖定狀態(tài)設(shè)置模塊，用于將索引標(biāo)識(shí)生成標(biāo)記位設(shè)置為鎖定狀態(tài)，其中，當(dāng)所述索引標(biāo)識(shí)生成標(biāo)記位為鎖定狀態(tài)時(shí)，表示當(dāng)前只能計(jì)算所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)； 第二數(shù)據(jù)記錄判斷模塊，用于根據(jù)所述目標(biāo)網(wǎng)頁(yè)在所述目標(biāo)網(wǎng)站中的標(biāo)識(shí)，判斷所述目標(biāo)網(wǎng)站對(duì)應(yīng)的數(shù)據(jù)表中是否存在所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的數(shù)據(jù)記錄，若不存在，則觸發(fā)所述索引標(biāo)識(shí)生成模塊生成索引標(biāo)識(shí)； 解鎖狀態(tài)設(shè)置模塊，用于在所述索引標(biāo)識(shí)生成模塊生成索引標(biāo)識(shí)后，將索引標(biāo)識(shí)生成標(biāo)記位設(shè)置為解鎖狀態(tài)，其中，當(dāng)所述索引標(biāo)識(shí)生成標(biāo)記位為解鎖狀態(tài)時(shí)，表示能夠開(kāi)始計(jì)算除了所述目標(biāo)網(wǎng)頁(yè)之外的其他網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)。8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述索引標(biāo)識(shí)生成模塊，包括: 索引標(biāo)識(shí)最大值獲得子模塊，用于獲得所述待更新數(shù)據(jù)庫(kù)中已存儲(chǔ)的數(shù)據(jù)記錄對(duì)應(yīng)的索引標(biāo)識(shí)的最大值Value_SID_ ； 余數(shù)計(jì)算子模塊，用于計(jì)算Value_SID_除以預(yù)設(shè)的第一閾值的余數(shù)R ； 余數(shù)判斷子模塊，用于判斷余數(shù)R是否小于預(yù)設(shè)的第二閾值； 第一索引標(biāo)識(shí)計(jì)算子模塊，用于在所述余數(shù)判斷子模塊的判斷結(jié)果為是的情況下，計(jì)算得所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)=R+預(yù)設(shè)的第二閾值； 第二索引標(biāo)識(shí)計(jì)算子模塊，用于在所述余數(shù)判斷子模塊的判斷結(jié)果為否的情況下，計(jì)算得所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)=R+預(yù)設(shè)的第三閾值。9.根據(jù)權(quán)利要求8所述的裝置，其特征在于， 所述索引標(biāo)識(shí)最大值獲得子模塊，具體用于根據(jù)本地存儲(chǔ)的索引標(biāo)識(shí)值Value_SID_L，獲得所述待更新數(shù)據(jù)庫(kù)中已存儲(chǔ)的數(shù)據(jù)記錄對(duì)應(yīng)的索引標(biāo)識(shí)的最大值Value_SID_ ； 所述裝置還包括: 第一索引標(biāo)識(shí)設(shè)置模塊，用于在啟動(dòng)所述待更新數(shù)據(jù)庫(kù)對(duì)應(yīng)的更新程序之后，將本地存儲(chǔ)的Value_SID_L設(shè)置為:Value_SID_D_值，Value_SID_Dnax為所述待更新數(shù)據(jù)庫(kù)中存儲(chǔ)的所述待更新數(shù)據(jù)庫(kù)中已存儲(chǔ)的數(shù)據(jù)記錄對(duì)應(yīng)的索引標(biāo)識(shí)的最大值； 第二索引標(biāo)識(shí)設(shè)置模塊，用于在所述第一索引標(biāo)識(shí)設(shè)置模塊設(shè)置本地存儲(chǔ)的索引標(biāo)識(shí)之后，將Value_SID_D_更新為:當(dāng)前Value_SID_D_+預(yù)設(shè)的第四閾值； 第一索引標(biāo)識(shí)更新模塊，用于在所述第一索引標(biāo)識(shí)計(jì)算子模塊或所述第二索引標(biāo)識(shí)計(jì)算子模塊計(jì)算得到所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)之后，將Value_SID_L值更新為所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)； 索引標(biāo)識(shí)判斷模塊，用于判斷所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)是否大于Value_SID_Dmax ? 第二索引標(biāo)識(shí)更新模塊，用于在所述索引標(biāo)識(shí)判斷模塊的判斷結(jié)果為是的情況下，則將Value_SID_D_更新為:當(dāng)前Value_SID_D_+預(yù)設(shè)的第四閾值； 第三索引標(biāo)識(shí)更新模塊，用于在結(jié)束所述待更新數(shù)據(jù)庫(kù)對(duì)應(yīng)的更新程序之后，將Value_SID_Dnax 更新為:Value_SID_Dnax = Value_SID_L。10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括: 索引標(biāo)識(shí)發(fā)送模塊，用于在所述索引標(biāo)識(shí)生成模塊生成索引標(biāo)識(shí)之后，向網(wǎng)絡(luò)爬蟲(chóng)模塊或者非所述待更新數(shù)據(jù)庫(kù)發(fā)送所生成的索引標(biāo)識(shí)。
【專(zhuān)利摘要】本發(fā)明實(shí)施例公開(kāi)了一種數(shù)據(jù)庫(kù)更新方法及裝置，涉及軟件技術(shù)領(lǐng)域，其中，該方法包括：獲得目標(biāo)網(wǎng)頁(yè)的網(wǎng)頁(yè)參數(shù)；根據(jù)目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的目標(biāo)網(wǎng)站的標(biāo)識(shí)，在待更新數(shù)據(jù)庫(kù)中確定與目標(biāo)網(wǎng)站對(duì)應(yīng)的數(shù)據(jù)表，其中，待更新數(shù)據(jù)庫(kù)中所包含數(shù)據(jù)表的數(shù)量＞1；根據(jù)目標(biāo)網(wǎng)頁(yè)在目標(biāo)網(wǎng)站中的標(biāo)識(shí)，判斷目標(biāo)網(wǎng)站對(duì)應(yīng)的數(shù)據(jù)表中是否存在目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的數(shù)據(jù)記錄，其中，數(shù)據(jù)記錄中包括：目標(biāo)網(wǎng)頁(yè)在目標(biāo)網(wǎng)站中的標(biāo)識(shí)和目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)；若不存在，生成目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的索引標(biāo)識(shí)；在目標(biāo)網(wǎng)站對(duì)應(yīng)的數(shù)據(jù)表中增加目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的數(shù)據(jù)記錄。應(yīng)用本發(fā)明實(shí)施例提供的方案進(jìn)行數(shù)據(jù)庫(kù)更新，能夠提高更新數(shù)據(jù)庫(kù)的速度。
【IPC分類(lèi)】G06F17/30
【公開(kāi)號(hào)】CN105468637
【申請(qǐng)?zhí)枴緾N201410453679
【發(fā)明人】杜玉杰
【申請(qǐng)人】北京聯(lián)嘉眾贏網(wǎng)絡(luò)技術(shù)有限公司
【公開(kāi)日】2016年4月6日
【申請(qǐng)日】2014年9月5日