1.網(wǎng)絡(luò)數(shù)據(jù)分類式采集方法,其特征在于,該方法包括:
確定待采集數(shù)據(jù),并確定所述待采集數(shù)據(jù)對應(yīng)的至少一個分類參數(shù);
確定每一個分類參數(shù)對應(yīng)的參數(shù)值;
根據(jù)每一個分類參數(shù)和對應(yīng)的參數(shù)值,生成各個分類參數(shù)分別對應(yīng)的入口鏈接;
針對每一個入口鏈接,逐個采集相應(yīng)分類參數(shù)所對應(yīng)的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述確定每一個分類參數(shù)對應(yīng)的參數(shù)值,包括:
確定所述待采集數(shù)據(jù)所在的目標(biāo)網(wǎng)站;
在所述目標(biāo)網(wǎng)站中獲取所述待采集數(shù)據(jù)對應(yīng)的列表頁面;
在所述列表頁面中逐個選擇每一個分類參數(shù),得到每一個分類參數(shù)對應(yīng)的分類鏈接;
根據(jù)得到的各個分類鏈接,確定每一個分類參數(shù)對應(yīng)的參數(shù)值。
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述確定每一個分類參數(shù)對應(yīng)的參數(shù)值,包括:
獲取預(yù)先存儲的針對所述待采集數(shù)據(jù)的目標(biāo)參數(shù)列表;
根據(jù)所述目標(biāo)參數(shù)列表存儲的對應(yīng)關(guān)系,確定每一個分類參數(shù)對應(yīng)的參數(shù)值。
4.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述根據(jù)每一個分類參數(shù)和對應(yīng)的參數(shù)值,生成各個分類參數(shù)分別對應(yīng)的入口鏈接,包括:
分別針對每一個當(dāng)前分類參數(shù)及對應(yīng)的當(dāng)前參數(shù)值,執(zhí)行如下操作:將所述當(dāng)前分類參數(shù)、當(dāng)前參數(shù)值以及設(shè)定的字符按設(shè)定形式進行拼接;將拼接后的內(nèi)容添加到所述當(dāng)前分類參數(shù)對應(yīng)的分類鏈接中,得到所述當(dāng)前分類參數(shù)對應(yīng)的入口鏈接。
5.根據(jù)權(quán)利要求1-4中任一所述的方法,其特征在于,所述針對每一個入口鏈接,逐個采集相應(yīng)分類參數(shù)所對應(yīng)的數(shù)據(jù),包括:
針對每一個當(dāng)前入口鏈接,分別進行如下操作:
獲取所述當(dāng)前入口鏈接對應(yīng)的目標(biāo)列表頁面;所述目標(biāo)列表頁面中包括至少一個分頁頁面;
對每一個分頁頁面中的詳情鏈接進行訪問,并對訪問的詳情鏈接進行數(shù)據(jù)采集。
6.網(wǎng)絡(luò)數(shù)據(jù)分類式采集裝置,其特征在于,包括:
第一確定單元,用于確定待采集數(shù)據(jù),并確定所述待采集數(shù)據(jù)對應(yīng)的至少一個分類參數(shù);
第二確定單元,用于確定每一個分類參數(shù)對應(yīng)的參數(shù)值;
生成單元,用于根據(jù)每一個分類參數(shù)和對應(yīng)的參數(shù)值,生成各個分類參數(shù)分別對應(yīng)的入口鏈接;
采集單元,用于針對每一個入口鏈接,逐個采集相應(yīng)分類參數(shù)所對應(yīng)的數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的網(wǎng)絡(luò)數(shù)據(jù)分類式采集裝置,其特征在于,所述第二確定單元,包括:
第一確定子單元,用于確定所述待采集數(shù)據(jù)所在的目標(biāo)網(wǎng)站;
第一獲取子單元,用于在所述目標(biāo)網(wǎng)站中獲取所述待采集數(shù)據(jù)對應(yīng)的列表頁面;
選擇子單元,用于在所述列表頁面中逐個選擇每一個分類參數(shù),得到每一個分類參數(shù)對應(yīng)的分類鏈接;
第二確定子單元,用于根據(jù)得到的各個分類鏈接,確定每一個分類參數(shù)對應(yīng)的參數(shù)值。
8.根據(jù)權(quán)利要求6所述的網(wǎng)絡(luò)數(shù)據(jù)分類式采集裝置,其特征在于,所述第二確定單元,包括:
第二獲取子單元,用于獲取預(yù)先存儲的針對所述待采集數(shù)據(jù)的目標(biāo)參數(shù)列表;
第三確定子單元,用于根據(jù)所述目標(biāo)參數(shù)列表存儲的對應(yīng)關(guān)系,確定每一個分類參數(shù)對應(yīng)的參數(shù)值。
9.根據(jù)權(quán)利要求7所述的網(wǎng)絡(luò)數(shù)據(jù)分類式采集裝置,其特征在于,所述生成單元,具體用于分別針對每一個當(dāng)前分類參數(shù)及對應(yīng)的當(dāng)前參數(shù)值,執(zhí)行如下操作:將所述當(dāng)前分類參數(shù)、當(dāng)前參數(shù)值以及設(shè)定的字符按設(shè)定形式進行拼接;將拼接后的內(nèi)容添加到所述當(dāng)前分類參數(shù)對應(yīng)的分類鏈接中,得到所述當(dāng)前分類參數(shù)對應(yīng)的入口鏈接。
10.根據(jù)權(quán)利要求6-9任一所述的網(wǎng)絡(luò)數(shù)據(jù)分類式采集裝置,其特征在于,所述采集單元,具體用于針對每一個當(dāng)前入口鏈接,分別進行如下操作:獲取所述當(dāng)前入口鏈接對應(yīng)的目標(biāo)列表頁面;所述目標(biāo)列表頁面中包括至少一個分頁頁面;對每一個分頁頁面中的詳情鏈接進行訪問,并對訪問的詳情鏈接進行數(shù)據(jù)采集。