1.一種檢測推廣URL有效性和安全性的方法，其中，該方法包括：
獲取待檢測的推廣URL；
將每個待檢測的推廣URL下發(fā)給爬蟲程序，由爬蟲程序通過訪問收到的推廣URL，獲得推廣URL的有效性的檢測結(jié)果；以及，
對于每個待檢測的推廣URL，查詢緩存中是否存在該推廣URL；如果不存在則通過調(diào)用安全檢測服務(wù)器的安全檢測接口，對該推廣URL進行安全檢測，獲得該推廣URL的安全性檢測結(jié)果，如果安全性檢測結(jié)果表示該推廣URL非惡意，則將該推廣URL保存到緩存中；如果存在則直接確定該推廣URL為非惡意。
2.如權(quán)利要求1所述的方法，其中，所述將該URL保存到緩存中包括：將該推廣URL以布隆過濾器的數(shù)據(jù)結(jié)構(gòu)形式保存到緩存中。
3.如權(quán)利要求1所述的方法，其中，
所述將每個待檢測的推廣URL下發(fā)給爬蟲程序包括：按照預(yù)設(shè)策略從檢測服務(wù)器集群中選擇一個檢測服務(wù)器，將該推廣URL發(fā)送給該選擇的檢測服務(wù)器；檢測服務(wù)器將收到的推廣URL下發(fā)給爬蟲調(diào)度器；爬蟲調(diào)度器將收到的推廣URL下發(fā)給相應(yīng)的爬蟲程序；
在所述獲得推廣URL的有效性的檢測結(jié)果之后，該方法進一步包括：爬蟲程序?qū)@得的推廣URL的有效性的檢測結(jié)果返回給相應(yīng)的爬蟲調(diào)度器，再由爬蟲調(diào)度器返回給相應(yīng)的檢測服務(wù)器。
4.如權(quán)利要求3所述的方法，其中，所述檢測服務(wù)器集群中包括多個檢測服務(wù)器組，每個檢測服務(wù)器組中包括多個檢測服務(wù)器；
則所述按照預(yù)設(shè)策略從檢測服務(wù)器集群中選擇一個檢測服務(wù)器包括：根據(jù)該推廣URL的域名的哈希值從檢測服務(wù)器集群中選擇一個檢測服務(wù)器組，從選擇的該檢測服務(wù)器組中選擇一個檢測服務(wù)器。
5.如權(quán)利要求4所述的方法，其中，所述從選擇的該檢測服務(wù)器組中選擇一個檢測服務(wù)器包括：
向該檢測服務(wù)器組中的各檢測服務(wù)器發(fā)送Ping請求，獲得各檢測服務(wù)器的當(dāng)前響應(yīng)時間，選擇當(dāng)前響應(yīng)時間最短的檢測服務(wù)器。
6.一種檢測推廣URL有效性和安全性的裝置，其中，該裝置包括：
獲取單元，適于獲取待檢測的推廣URL；
有效性檢測單元，適于將每個待檢測的推廣URL下發(fā)給爬蟲程序，由爬蟲程序通過訪問收到的推廣URL，獲得推廣URL的有效性的檢測結(jié)果；
安全性檢測單元，適于對于每個待檢測的URL，查詢緩存中是否存在該推廣URL；如果不存在則通過調(diào)用安全檢測服務(wù)器的安全檢測接口，對該推廣URL進行安全檢測，獲得該URL的安全性檢測結(jié)果，如果安全性檢測結(jié)果表示該推廣URL非惡意，則將該推廣URL保存到緩存中；如果存在則直接確定該推廣URL為非惡意。
7.如權(quán)利要求6所述的裝置，其中，
所述安全性檢測單元，適于將該推廣URL以布隆過濾器的數(shù)據(jù)結(jié)構(gòu)形式保存到緩存中。
8.如權(quán)利要求6所述的裝置，其中，
所述有效性檢測單元，適于按照預(yù)設(shè)策略從檢測服務(wù)器集群中選擇一個檢測服務(wù)器，將該推廣URL發(fā)送給該選擇的檢測服務(wù)器；利用檢測服務(wù)器將收到的推廣URL下發(fā)給爬蟲調(diào)度器；利用爬蟲調(diào)度器將收到的推廣URL下發(fā)給相應(yīng)的爬蟲程序；
所述有效性檢測單元，進一步適于利用爬蟲程序?qū)@得的推廣URL有效性的檢測結(jié)果返回給相應(yīng)的爬蟲調(diào)度器，再由爬蟲調(diào)度器返回給相應(yīng)的檢測服務(wù)器。
9.如權(quán)利要求8所述的裝置，其中，所述檢測服務(wù)器集群中包括多個檢測服務(wù)器組，每個檢測服務(wù)器組中包括多個檢測服務(wù)器；
所述有效性檢測單元，適于根據(jù)該推廣URL的域名的哈希值從檢測服務(wù)器集群中選擇一個檢測服務(wù)器組，從選擇的該檢測服務(wù)器組中選擇一個檢測服務(wù)器。
10.如權(quán)利要求9所述的裝置，其中，
所述有效性檢測單元，適于向該檢測服務(wù)器組中的各檢測服務(wù)器發(fā)送Ping請求，獲得各檢測服務(wù)器的當(dāng)前響應(yīng)時間，選擇當(dāng)前響應(yīng)時間最短的檢測服務(wù)器。