[0063]在步驟S108中，任務(wù)分配及調(diào)度中心100向該臺(tái)信息采集服務(wù)器200發(fā)送停止信息采集指令，并判斷其在設(shè)定的第三時(shí)間閾值Τ3內(nèi)是否接收到該臺(tái)信息采集服務(wù)器200的響應(yīng)信息。如任務(wù)分配及調(diào)度中心100在設(shè)定的第三時(shí)間閾值Τ3 (例如10秒)內(nèi)接收到該臺(tái)信息采集服務(wù)器200的響應(yīng)信息，執(zhí)行下一步驟S109。如任務(wù)分配及調(diào)度中心100未接收到該臺(tái)信息采集服務(wù)器200的響應(yīng)信息，則執(zhí)行下一步驟S110。
[0064]在步驟S109中，該任務(wù)分配及調(diào)度中心100判斷該臺(tái)信息采集服務(wù)器200執(zhí)行任務(wù)超時(shí)，指示該臺(tái)信息采集服務(wù)器200停止信息采集工作。步驟S109執(zhí)行完畢時(shí)，跳回步驟 S102。
[0065]在步驟SllO中，任務(wù)分配及調(diào)度中心100判定該臺(tái)信息采集服務(wù)器200出現(xiàn)宕機(jī)事故，通過報(bào)警模塊106發(fā)出報(bào)警語音。步驟SllO執(zhí)行完畢時(shí)，跳回步驟S102。
[0066]上面結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行了描述，但是本發(fā)明并不局限于上述的【具體實(shí)施方式】，上述的【具體實(shí)施方式】?jī)H僅是示意性的，而不是限制性的，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的啟示下，在不脫離本發(fā)明宗旨和權(quán)利要求所保護(hù)的范圍情況下，還可做出很多形式，這些均屬于本發(fā)明的保護(hù)之內(nèi)。
【主權(quán)項(xiàng)】
1.一種智能化的網(wǎng)絡(luò)信息采集方法，其特征在于，包括以下步驟； 51、判斷多臺(tái)信息采集服務(wù)器中當(dāng)前最適于執(zhí)行信息采集工作的信息采集服務(wù)器及多個(gè)常用網(wǎng)站中當(dāng)前最適于訪問的目標(biāo)網(wǎng)站，將信息采集任務(wù)分配到該臺(tái)信息采集服務(wù)器，并指令該臺(tái)信息采集服務(wù)器根據(jù)分配到其的信息采集任務(wù)對(duì)該目標(biāo)網(wǎng)站服務(wù)器進(jìn)行訪問及下載所需的網(wǎng)絡(luò)信息； 52、判斷是否接收到由該臺(tái)信息采集服務(wù)器返回的網(wǎng)絡(luò)信息，并在接收到該網(wǎng)絡(luò)信息時(shí)，對(duì)該網(wǎng)絡(luò)信息進(jìn)行整理及將整理后的網(wǎng)絡(luò)信息存入數(shù)據(jù)庫。2.根據(jù)權(quán)利要求1所述的智能化的網(wǎng)絡(luò)信息采集方法，其特征在于，在所述步驟SI之前還包括如下步驟: SO、將多個(gè)常用網(wǎng)站的多個(gè)URL信息預(yù)存到任務(wù)分配及調(diào)度中心。3.根據(jù)權(quán)利要求2所述的智能化的網(wǎng)絡(luò)信息采集方法，其特征在于，所述步驟SI中所述判斷多臺(tái)信息采集服務(wù)器中當(dāng)前最適于執(zhí)行信息采集工作的信息采集服務(wù)器及多個(gè)常用網(wǎng)站中當(dāng)前最適于訪問的目標(biāo)網(wǎng)站，將信息采集任務(wù)分配到該臺(tái)信息采集服務(wù)器的步驟包括: 511、對(duì)各臺(tái)信息采集服務(wù)器的信息采集任務(wù)分配及完成情況進(jìn)行實(shí)時(shí)監(jiān)控； 512、累計(jì)設(shè)定的第一時(shí)間閾值Tl內(nèi)各臺(tái)信息采集服務(wù)器針對(duì)各大網(wǎng)站的訪問次數(shù)； 513、基于各臺(tái)信息采集服務(wù)器當(dāng)前的信息采集任務(wù)分配及完成情況，每臺(tái)信息采集服務(wù)器在第一時(shí)間閾值Tl內(nèi)針對(duì)各大網(wǎng)站的訪問次數(shù)，以及各臺(tái)信息采集服務(wù)器的當(dāng)前網(wǎng)絡(luò)狀況判斷該多臺(tái)信息采集服務(wù)器中當(dāng)前最適于執(zhí)行信息采集工作的信息采集服務(wù)器。4.根據(jù)權(quán)利要求3所述的智能化的網(wǎng)絡(luò)信息采集方法，其特征在于，所述步驟SI中所述判斷多臺(tái)信息采集服務(wù)器中當(dāng)前最適于執(zhí)行信息采集工作的信息采集服務(wù)器及多個(gè)常用網(wǎng)站中當(dāng)前最適于訪問的目標(biāo)網(wǎng)站，將信息采集任務(wù)分配到該臺(tái)信息采集服務(wù)器的步驟還包括: 514、基于該多臺(tái)信息采集服務(wù)器在該第一時(shí)間閾值Tl內(nèi)針對(duì)該多個(gè)常用網(wǎng)站分別進(jìn)行的訪問次數(shù)從該多個(gè)常用網(wǎng)站中選擇當(dāng)前最適于訪問的目標(biāo)網(wǎng)站； 515、查找數(shù)據(jù)庫中該目標(biāo)網(wǎng)站的URL，將包含有該目標(biāo)網(wǎng)站的URL及第一關(guān)鍵詞的網(wǎng)絡(luò)信息采集任務(wù)分配到該當(dāng)前最適于執(zhí)行信息采集工作的信息采集服務(wù)器。5.根據(jù)權(quán)利要求4所述的智能化的網(wǎng)絡(luò)信息采集方法，其特征在于，所述步驟SI中指令該臺(tái)信息采集服務(wù)器根據(jù)分配到其的信息收集任務(wù)對(duì)該目標(biāo)網(wǎng)站服務(wù)器進(jìn)行訪問及下載所需的網(wǎng)絡(luò)信息的步驟包括: 516、對(duì)該網(wǎng)絡(luò)信息采集任務(wù)中目標(biāo)網(wǎng)站的URL所鏈接到的網(wǎng)站服務(wù)器進(jìn)行訪問，查找該網(wǎng)站服務(wù)器存儲(chǔ)的包含有該第一關(guān)鍵詞的所有URL ； 517、鏈接到所查找的每一個(gè)URL的網(wǎng)頁頁面，并下載該網(wǎng)頁頁面所包含的所有有效的網(wǎng)絡(luò)信息。6.根據(jù)權(quán)利要求5所述的智能化的網(wǎng)絡(luò)信息采集方法，其特征在于，在所述步驟S17與所述步驟S2之前還包括如下步驟: S172、將第二關(guān)鍵詞輸入該臺(tái)信息采集服務(wù)器，并指令該臺(tái)信息采集服務(wù)器依給定的第二關(guān)鍵詞對(duì)其下載的網(wǎng)絡(luò)信息進(jìn)行過濾以從中篩選出包含有第二關(guān)鍵詞的網(wǎng)絡(luò)信息。7.根據(jù)權(quán)利要求6所述的智能化的網(wǎng)絡(luò)信息采集方法，其特征在于，所述步驟S2中判斷是否接收到由該臺(tái)信息采集服務(wù)器傳回的網(wǎng)絡(luò)信息的步驟包括: 判斷是否在設(shè)定的第二時(shí)間閾值T2內(nèi)接收到由該臺(tái)信息采集服務(wù)器返回的經(jīng)過濾的網(wǎng)絡(luò)信息；如未在該第二時(shí)間閾值T2內(nèi)接收到該網(wǎng)絡(luò)信息，則判定該臺(tái)信息采集服務(wù)器執(zhí)行任務(wù)超時(shí)，指令該臺(tái)信息采集服務(wù)器停止該超時(shí)的信息采集任務(wù)，并對(duì)該信息采集任務(wù)進(jìn)行重新調(diào)度。8.根據(jù)權(quán)利要求7所述的智能化的網(wǎng)絡(luò)信息采集方法，其特征在于，所述步驟S2中判斷是否接收到由該臺(tái)信息采集服務(wù)器傳回的網(wǎng)絡(luò)信息的步驟還包括: 判斷是否在設(shè)定的第二時(shí)間閾值T2內(nèi)接收到由該臺(tái)信息采集服務(wù)器傳回的通信連接中斷信息，及在接收到該通信連接中斷信息時(shí)，指令該臺(tái)網(wǎng)絡(luò)信息采集服務(wù)器停止該失效的/[目息米集任務(wù)，并對(duì)該彳目息米集任務(wù)進(jìn)行重新調(diào)度。9.根據(jù)權(quán)利要求7所述的智能化的網(wǎng)絡(luò)信息采集方法，其特征在于，所述步驟S2還包括: 在指令該臺(tái)網(wǎng)絡(luò)信息采集服務(wù)器停止該次信息采集任務(wù)的同時(shí)啟動(dòng)計(jì)時(shí)，判斷是否在啟動(dòng)計(jì)時(shí)之后的第三時(shí)間閾值T3內(nèi)接收到由該臺(tái)網(wǎng)絡(luò)信息采集服務(wù)器返回的響應(yīng)信息；如未接收到該響應(yīng)信息，則判定該臺(tái)網(wǎng)絡(luò)信息采集服務(wù)器出現(xiàn)宕機(jī)事故，及通過報(bào)警模塊發(fā)出報(bào)警語音。10.一種智能化的網(wǎng)絡(luò)信息采集系統(tǒng)，其特征在于，所述系統(tǒng)包括任務(wù)分配及調(diào)度中心以及受控于所述任務(wù)分配及調(diào)度中心的多臺(tái)信息采集服務(wù)器； 所述任務(wù)分配及調(diào)度中心用于基于各臺(tái)信息采集服務(wù)器的當(dāng)前任務(wù)分配及完成情況、各臺(tái)信息采集服務(wù)器的當(dāng)前網(wǎng)絡(luò)狀況、以及各臺(tái)信息采集服務(wù)器在設(shè)定的第一時(shí)間閾值Tl內(nèi)針對(duì)多個(gè)常用網(wǎng)站的訪問次數(shù)判斷及選擇所述多臺(tái)信息采集服務(wù)器中當(dāng)前最適于執(zhí)行信息采集工作的信息采集服務(wù)器，以及多個(gè)常用網(wǎng)站中當(dāng)前最適于訪問的目標(biāo)網(wǎng)站，并將信息采集任務(wù)分配到所選中的信息采集服務(wù)器； 所述選中的信息采集服務(wù)器用于根據(jù)分配到其的信息采集任務(wù)對(duì)該目標(biāo)網(wǎng)站服務(wù)器進(jìn)行訪問及下載所需的網(wǎng)絡(luò)信息； 所述任務(wù)分配及調(diào)度中心還用于判斷是否接收到由所述選中的信息采集服務(wù)器返回的網(wǎng)絡(luò)信息，并在接收到該網(wǎng)絡(luò)信息時(shí)，對(duì)該網(wǎng)絡(luò)信息進(jìn)行整理及將整理的網(wǎng)絡(luò)信息存入數(shù)據(jù)庫。
【專利摘要】一種智能化的網(wǎng)絡(luò)信息采集方法及網(wǎng)絡(luò)信息采集系統(tǒng)。所述系統(tǒng)包括任務(wù)分配及調(diào)度中心以及受控于所述任務(wù)分配及調(diào)度中心的多臺(tái)信息采集服務(wù)器。所述任務(wù)分配及調(diào)度中心用于判斷所述多臺(tái)信息采集服務(wù)器中當(dāng)前最適于執(zhí)行信息采集工作的信息采集服務(wù)器，以及多個(gè)常用網(wǎng)站中當(dāng)前最適于訪問的目標(biāo)網(wǎng)站，并將信息采集任務(wù)分配到所選中的信息采集服務(wù)器。所述選中的信息采集服務(wù)器用于對(duì)該目標(biāo)網(wǎng)站服務(wù)器進(jìn)行訪問及下載所需的網(wǎng)絡(luò)信息并將下載的網(wǎng)絡(luò)信息返回所述任務(wù)分配及調(diào)度中心。所述任務(wù)分配及調(diào)度中心用于對(duì)該返回的網(wǎng)絡(luò)信息進(jìn)行整理及將整理的網(wǎng)絡(luò)信息存入數(shù)據(jù)庫。本發(fā)明實(shí)現(xiàn)了每臺(tái)服務(wù)器系統(tǒng)資源的充分利用，大大提高了網(wǎng)絡(luò)信息采集效率。
【IPC分類】H04L29/08, G06F17/30
【公開號(hào)】CN105577718
【申請(qǐng)?zhí)枴緾N201410545367
【發(fā)明人】許曉加, 楊星星, 黃雅靜, 張耀武, 李海平, 劉勁松, 高寶兵, 陳國銳
【申請(qǐng)人】卓望數(shù)碼技術(shù)（深圳）有限公司
【公開日】2016年5月11日
【申請(qǐng)日】2014年10月15日