亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

網(wǎng)絡(luò)數(shù)據(jù)分類式采集方法及裝置與流程

文檔序號:11807986閱讀:來源:國知局

技術(shù)特征:

1.網(wǎng)絡(luò)數(shù)據(jù)分類式采集方法,其特征在于,該方法包括:

確定待采集數(shù)據(jù),并確定所述待采集數(shù)據(jù)對應(yīng)的至少一個分類參數(shù);

確定每一個分類參數(shù)對應(yīng)的參數(shù)值;

根據(jù)每一個分類參數(shù)和對應(yīng)的參數(shù)值,生成各個分類參數(shù)分別對應(yīng)的入口鏈接;

針對每一個入口鏈接,逐個采集相應(yīng)分類參數(shù)所對應(yīng)的數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述確定每一個分類參數(shù)對應(yīng)的參數(shù)值,包括:

確定所述待采集數(shù)據(jù)所在的目標(biāo)網(wǎng)站;

在所述目標(biāo)網(wǎng)站中獲取所述待采集數(shù)據(jù)對應(yīng)的列表頁面;

在所述列表頁面中逐個選擇每一個分類參數(shù),得到每一個分類參數(shù)對應(yīng)的分類鏈接;

根據(jù)得到的各個分類鏈接,確定每一個分類參數(shù)對應(yīng)的參數(shù)值。

3.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述確定每一個分類參數(shù)對應(yīng)的參數(shù)值,包括:

獲取預(yù)先存儲的針對所述待采集數(shù)據(jù)的目標(biāo)參數(shù)列表;

根據(jù)所述目標(biāo)參數(shù)列表存儲的對應(yīng)關(guān)系,確定每一個分類參數(shù)對應(yīng)的參數(shù)值。

4.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述根據(jù)每一個分類參數(shù)和對應(yīng)的參數(shù)值,生成各個分類參數(shù)分別對應(yīng)的入口鏈接,包括:

分別針對每一個當(dāng)前分類參數(shù)及對應(yīng)的當(dāng)前參數(shù)值,執(zhí)行如下操作:將所述當(dāng)前分類參數(shù)、當(dāng)前參數(shù)值以及設(shè)定的字符按設(shè)定形式進行拼接;將拼接后的內(nèi)容添加到所述當(dāng)前分類參數(shù)對應(yīng)的分類鏈接中,得到所述當(dāng)前分類參數(shù)對應(yīng)的入口鏈接。

5.根據(jù)權(quán)利要求1-4中任一所述的方法,其特征在于,所述針對每一個入口鏈接,逐個采集相應(yīng)分類參數(shù)所對應(yīng)的數(shù)據(jù),包括:

針對每一個當(dāng)前入口鏈接,分別進行如下操作:

獲取所述當(dāng)前入口鏈接對應(yīng)的目標(biāo)列表頁面;所述目標(biāo)列表頁面中包括至少一個分頁頁面;

對每一個分頁頁面中的詳情鏈接進行訪問,并對訪問的詳情鏈接進行數(shù)據(jù)采集。

6.網(wǎng)絡(luò)數(shù)據(jù)分類式采集裝置,其特征在于,包括:

第一確定單元,用于確定待采集數(shù)據(jù),并確定所述待采集數(shù)據(jù)對應(yīng)的至少一個分類參數(shù);

第二確定單元,用于確定每一個分類參數(shù)對應(yīng)的參數(shù)值;

生成單元,用于根據(jù)每一個分類參數(shù)和對應(yīng)的參數(shù)值,生成各個分類參數(shù)分別對應(yīng)的入口鏈接;

采集單元,用于針對每一個入口鏈接,逐個采集相應(yīng)分類參數(shù)所對應(yīng)的數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的網(wǎng)絡(luò)數(shù)據(jù)分類式采集裝置,其特征在于,所述第二確定單元,包括:

第一確定子單元,用于確定所述待采集數(shù)據(jù)所在的目標(biāo)網(wǎng)站;

第一獲取子單元,用于在所述目標(biāo)網(wǎng)站中獲取所述待采集數(shù)據(jù)對應(yīng)的列表頁面;

選擇子單元,用于在所述列表頁面中逐個選擇每一個分類參數(shù),得到每一個分類參數(shù)對應(yīng)的分類鏈接;

第二確定子單元,用于根據(jù)得到的各個分類鏈接,確定每一個分類參數(shù)對應(yīng)的參數(shù)值。

8.根據(jù)權(quán)利要求6所述的網(wǎng)絡(luò)數(shù)據(jù)分類式采集裝置,其特征在于,所述第二確定單元,包括:

第二獲取子單元,用于獲取預(yù)先存儲的針對所述待采集數(shù)據(jù)的目標(biāo)參數(shù)列表;

第三確定子單元,用于根據(jù)所述目標(biāo)參數(shù)列表存儲的對應(yīng)關(guān)系,確定每一個分類參數(shù)對應(yīng)的參數(shù)值。

9.根據(jù)權(quán)利要求7所述的網(wǎng)絡(luò)數(shù)據(jù)分類式采集裝置,其特征在于,所述生成單元,具體用于分別針對每一個當(dāng)前分類參數(shù)及對應(yīng)的當(dāng)前參數(shù)值,執(zhí)行如下操作:將所述當(dāng)前分類參數(shù)、當(dāng)前參數(shù)值以及設(shè)定的字符按設(shè)定形式進行拼接;將拼接后的內(nèi)容添加到所述當(dāng)前分類參數(shù)對應(yīng)的分類鏈接中,得到所述當(dāng)前分類參數(shù)對應(yīng)的入口鏈接。

10.根據(jù)權(quán)利要求6-9任一所述的網(wǎng)絡(luò)數(shù)據(jù)分類式采集裝置,其特征在于,所述采集單元,具體用于針對每一個當(dāng)前入口鏈接,分別進行如下操作:獲取所述當(dāng)前入口鏈接對應(yīng)的目標(biāo)列表頁面;所述目標(biāo)列表頁面中包括至少一個分頁頁面;對每一個分頁頁面中的詳情鏈接進行訪問,并對訪問的詳情鏈接進行數(shù)據(jù)采集。

當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1