技術(shù)總結(jié)
本發(fā)明公開了一種基于Avro?RPC傳輸?shù)姆植际皆贫瞬l(fā)采集方法，包括客戶端和服務(wù)端兩個(gè)模塊，其中：在服務(wù)端設(shè)置有URL存放容器、規(guī)則配置容器、計(jì)數(shù)容器，規(guī)則配置容器存放客戶端發(fā)送的采集規(guī)則，規(guī)定不同網(wǎng)站的采集策略；計(jì)數(shù)容器則根據(jù)采集策略，按照計(jì)數(shù)遞減的方式推送采集網(wǎng)頁實(shí)現(xiàn)并發(fā)采集功能；最后由URL存放容器存放客戶端發(fā)送的URL并按照域名進(jìn)行分組存放；客戶端定期檢驗(yàn)服務(wù)端狀態(tài)，查看URL存放容器剩余容量，批量發(fā)送待采集網(wǎng)頁，批量回收已采集網(wǎng)頁，批量發(fā)送網(wǎng)頁采集規(guī)則。該基于Avro?RPC傳輸?shù)姆植际皆贫瞬l(fā)采集方法與現(xiàn)有技術(shù)相比，在提升了傳輸效率的同時(shí)，提升了采集的并發(fā)效率，實(shí)用性強(qiáng)，適用范圍廣泛，易于推廣。

技術(shù)研發(fā)人員：王洪添;楊勝華
受保護(hù)的技術(shù)使用者：山東浪潮云服務(wù)信息科技有限公司
文檔號碼：201610888705
技術(shù)研發(fā)日：2016.10.12
技術(shù)公布日：2017.03.15