技術總結
本發(fā)明提供了一種網絡數(shù)據(jù)分類式采集方法及裝置，該方法包括：確定待采集數(shù)據(jù)，并確定待采集數(shù)據(jù)對應的至少一個分類參數(shù)；確定每一個分類參數(shù)對應的參數(shù)值；根據(jù)每一個分類參數(shù)和對應的參數(shù)值，生成各個分類參數(shù)分別對應的入口鏈接；針對每一個入口鏈接，逐個采集相應分類參數(shù)所對應的數(shù)據(jù)。本發(fā)明通過將待采集數(shù)據(jù)進行分類，利用每一個分類參數(shù)和相應的參數(shù)值拼接成入口鏈接，通過訪問該入口鏈接可以展示出對應該入口鏈接的列表頁面，由于每一個分類對應的列表頁面內容較少，因此，即使網站對顯示頁數(shù)有限制，每一個分類的列表頁面也可能會完全顯示，通過對顯示的列表頁面進行數(shù)據(jù)采集，從而能夠實現(xiàn)防止數(shù)據(jù)漏采的功能。

技術研發(fā)人員：邢榮;王傳超;徐宏偉
受保護的技術使用者：浪潮軟件集團有限公司
文檔號碼：201610542380
技術研發(fā)日：2016.07.11
技術公布日：2016.11.30