亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種數(shù)據(jù)采集的方法及其相關(guān)設(shè)備與流程

文檔序號:12199028閱讀:來源:國知局

技術(shù)特征:

1.一種數(shù)據(jù)采集的方法,其特征在于,所述方法應(yīng)用于分布式爬蟲系統(tǒng),所述分布式爬蟲系統(tǒng)包括控制節(jié)點和多個爬蟲節(jié)點,其中,每個爬蟲節(jié)點中都創(chuàng)建有多個爬蟲容器,所述方法包括:

所述控制節(jié)點根據(jù)數(shù)據(jù)采集目標(biāo)確定數(shù)據(jù)采集任務(wù);

所述控制節(jié)點將所述數(shù)據(jù)采集任務(wù)調(diào)度到目標(biāo)爬蟲容器,以使所述目標(biāo)爬蟲容器根據(jù)所述數(shù)據(jù)采集任務(wù),采集對應(yīng)的數(shù)據(jù),并存儲采集到的數(shù)據(jù),所述目標(biāo)爬蟲容器為所述多個爬蟲容器中的一個。

2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述控制節(jié)點根據(jù)數(shù)據(jù)采集目標(biāo)確定數(shù)據(jù)采集任務(wù)之前,所述方法還包括:

所述控制節(jié)點向每個爬蟲節(jié)點發(fā)送爬蟲容器鏡像,以使所述每個爬蟲節(jié)點根據(jù)所述爬蟲容器鏡像創(chuàng)建多個爬蟲容器,所述爬蟲容器鏡像包括爬蟲程序和所述爬蟲程序的依賴包。

3.根據(jù)權(quán)利要求1或2所述的方法,其特征在于,所述方法還包括:

所述控制節(jié)點監(jiān)控所述每個爬蟲容器的運行狀況;

所述控制節(jié)點根據(jù)所述每個爬蟲容器的運行狀況,管理所述每個爬蟲容器。

4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述管理所述每個爬蟲容器,包括:

所述控制節(jié)點停止、啟動或者銷毀所述每個爬蟲容器。

5.一種數(shù)據(jù)采集的方法,其特征在于,所述方法應(yīng)用于分布式爬蟲系統(tǒng),所述分布式爬蟲系統(tǒng)包括控制節(jié)點和多個爬蟲節(jié)點,其中,每個爬蟲節(jié)點中都創(chuàng)建有多個爬蟲容器,所述方法包括:

所述爬蟲節(jié)點中的爬蟲容器從所述控制節(jié)點接收數(shù)據(jù)采集任務(wù);

所述爬蟲節(jié)點中的爬蟲容器根據(jù)所述數(shù)據(jù)采集任務(wù),采集對應(yīng)的數(shù)據(jù);

所述爬蟲節(jié)點中的爬蟲容器存儲采集到的數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法,其特征在于,所述爬蟲節(jié)點中的爬蟲容器從所述控制節(jié)點獲取數(shù)據(jù)采集任務(wù)之前,所述方法還包括:

所述爬蟲節(jié)點從所述控制節(jié)點接收爬蟲容器鏡像,所述爬蟲容器鏡像包括爬蟲程序和所述爬蟲程序的依賴包;

所述爬蟲節(jié)點根據(jù)所述爬蟲容器鏡像創(chuàng)建多個爬蟲容器。

7.一種控制節(jié)點,其特征在于,所述控制節(jié)點應(yīng)用于分布式爬蟲系統(tǒng),所述分布式爬蟲系統(tǒng)還包括多個爬蟲節(jié)點,其中,每個爬蟲節(jié)點中都創(chuàng)建有多個爬蟲容器,所述控制節(jié)點包括:

確定單元,用于根據(jù)數(shù)據(jù)采集目標(biāo)確定數(shù)據(jù)采集任務(wù);

調(diào)度單元,用于將所述確定單元確定的數(shù)據(jù)采集任務(wù)調(diào)度到目標(biāo)爬蟲容器,以使所述目標(biāo)爬蟲容器根據(jù)所述數(shù)據(jù)采集任務(wù),采集對應(yīng)的數(shù)據(jù),并存儲采集到的數(shù)據(jù),所述目標(biāo)爬蟲容器為所述多個爬蟲容器中的一個。

8.根據(jù)權(quán)利要求7所述控制節(jié)點,所述控制節(jié)點還包括:

發(fā)送單元,用于向每個爬蟲節(jié)點發(fā)送爬蟲容器鏡像,以使所述每個爬蟲節(jié)點根據(jù)所述爬蟲容器鏡像創(chuàng)建多個爬蟲容器,所述爬蟲容器鏡像包括爬蟲程序和所述爬蟲程序的依賴包。

9.根據(jù)權(quán)利要求7或8所述的控制節(jié)點,其特征在于,所述控制節(jié)點還包括:

監(jiān)控單元,用于監(jiān)控所述每個爬蟲容器的運行狀況;

管理單元,用于根據(jù)所述每個爬蟲容器的運行狀況,管理所述每個爬蟲容器。

10.根據(jù)權(quán)利要求7所述的控制節(jié)點,其特征在于,所述管理單元包括:

管理子單元,用于控制節(jié)點停止、啟動或者銷毀所述每個爬蟲容器。

11.一種爬蟲節(jié)點,其特征在于,所述爬蟲節(jié)點應(yīng)用于分布式爬蟲系統(tǒng),所述分布式爬蟲系統(tǒng)包括控制節(jié)點和多個爬蟲節(jié)點,其中,每個爬蟲節(jié)點中都創(chuàng)建有多個爬蟲容器,所述爬蟲節(jié)點中包括:

第一接收單元,用于通過所述爬蟲節(jié)點中的爬蟲容器從所述控制節(jié)點接收數(shù)據(jù)采集任務(wù);

采集單元,用于通過所述爬蟲節(jié)點中的爬蟲容器根據(jù)所述接收單元接收到的數(shù)據(jù)采集任務(wù),采集對應(yīng)的數(shù)據(jù);

存儲單元,用于通過所述爬蟲節(jié)點中的爬蟲容器存儲所述采集單元采集到的數(shù)據(jù)。

12.根據(jù)權(quán)利要求11所述的爬蟲節(jié)點,其特征在于,所述爬蟲節(jié)點還包括:

第二接收單元,用于從所述控制節(jié)點接收爬蟲容器鏡像,所述爬蟲容器鏡像包括爬蟲程序和所述爬蟲程序的依賴包;

創(chuàng)建單元,用于根據(jù)所述第二接收單元接收到的爬蟲容器鏡像創(chuàng)建多個爬蟲容器。

13.一種控制節(jié)點,其特征在于,所述控制節(jié)點應(yīng)用于分布式爬蟲系統(tǒng),所述分布式爬蟲系統(tǒng)還包括多個爬蟲節(jié)點,其中,每個爬蟲節(jié)點中都創(chuàng)建有多個爬蟲容器,所述控制節(jié)點包括:

輸入裝置、輸出裝置、處理器和存儲器;

所述處理器通過調(diào)用所述存儲器存儲的操作指令,用于執(zhí)行如下步驟:

所述控制節(jié)點根據(jù)數(shù)據(jù)采集目標(biāo)確定數(shù)據(jù)采集任務(wù);

所述控制節(jié)點將所述數(shù)據(jù)采集任務(wù)調(diào)度到目標(biāo)爬蟲容器,以使所述目標(biāo)爬蟲容器根據(jù)所述數(shù)據(jù)采集任務(wù),采集對應(yīng)的數(shù)據(jù),并存儲采集到的數(shù)據(jù),所述目標(biāo)爬蟲容器為所述多個爬蟲容器中的一個。

14.一種爬蟲節(jié)點,其特征在于,所述爬蟲節(jié)點應(yīng)用于分布式爬蟲系統(tǒng),所述分布式爬蟲系統(tǒng)包括控制節(jié)點和多個爬蟲節(jié)點,其中,每個爬蟲節(jié)點中都創(chuàng)建有多個爬蟲容器,所述爬蟲節(jié)點中包括:

輸入裝置、輸出裝置、處理器和存儲器;

所述處理器通過調(diào)用所述存儲器存儲的操作指令,用于執(zhí)行如下步驟:

所述爬蟲節(jié)點中的爬蟲容器從所述控制節(jié)點接收數(shù)據(jù)采集任務(wù);

所述爬蟲節(jié)點中的爬蟲容器根據(jù)所述數(shù)據(jù)采集任務(wù),采集對應(yīng)的數(shù)據(jù);

所述爬蟲節(jié)點中的爬蟲容器存儲采集到的數(shù)據(jù)。

當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1