專利名稱：：網(wǎng)頁收集的方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及網(wǎng)絡(luò)通信
技術(shù)領(lǐng)域：
，特別涉及一種網(wǎng)頁收集的方法及其系統(tǒng)。技術(shù)背景網(wǎng)頁收集功能作為網(wǎng)絡(luò)搜索引擎、URL分類系統(tǒng)、數(shù)據(jù)挖掘系統(tǒng)等必不可缺的系統(tǒng)中首要的功能，強(qiáng)大完備的網(wǎng)頁收集功能是各類系統(tǒng)能夠提供豐富全面準(zhǔn)確信息的基礎(chǔ)。據(jù)不完全估計(jì)，目前全世界數(shù)億張網(wǎng)頁，近億的站點(diǎn)，要收錄如此大數(shù)量級(jí)的網(wǎng)頁數(shù)據(jù)并且及時(shí)地進(jìn)行更新，這將是一項(xiàng)非常艱巨的任務(wù)。近年來，國內(nèi)外的網(wǎng)頁搜索引擎先后成為大家上網(wǎng)時(shí)廣泛使用的搜索工具，這類工具的背后大都有一個(gè)功能強(qiáng)大的網(wǎng)頁收集系統(tǒng)(WC,WebCrawler)。對互聯(lián)網(wǎng)上的各個(gè)站點(diǎn)的頁面進(jìn)行獲取和分析，需要海量數(shù)據(jù)的錄入才能保證提供翔實(shí)的搜索結(jié)果，網(wǎng)頁收集系統(tǒng)一般都是以指定的統(tǒng)一資源定為符(URL,UniformResourceLocator)為入口，通過超文本傳輸協(xié)i義(HTTP,HyperTextTransferProtocol)請求，獲取該頁面的超文本標(biāo)記語言(HTML,HyperTextMarkupLanguage)代碼，然后將該頁面中的超鏈接等信息進(jìn)行提取，獲得更多的URL,然后以提取出的URL為獲取目標(biāo)，獲取該URL指定的網(wǎng)絡(luò)資源，通過循環(huán)上述過程，不斷地獲取收錄網(wǎng)頁代碼。并且為了提高效率，盡量的要求系統(tǒng)能夠不重復(fù)的獲取網(wǎng)頁，減少資源消耗。獲取網(wǎng)頁的功能可以分為域名服務(wù)系統(tǒng)(DNS,DomainNameSystem)請求部分和頁面代碼獲取部分，當(dāng)對一個(gè)URL中的主機(jī)(host)獲取之后，即可發(fā)起DNS請求，得到正確的回復(fù)之后，就可以通過HTTP協(xié)議，獲取該URL指向的資源。目前的分布式網(wǎng)頁收集系統(tǒng)比較多，其中比較常用的一種就是分布式元收集系統(tǒng)，該系統(tǒng)擁有多個(gè)單個(gè)的網(wǎng)頁收集引擎，中心引擎是將這些分布的單個(gè)的引擎的結(jié)果結(jié)合在一起而得到最終的結(jié)果。該系統(tǒng)要求各個(gè)單元的收集引擎擁有相同的排序算法和基本相同的數(shù)據(jù)輸出結(jié)構(gòu)，以便由中心引擎進(jìn)行綜合整理。因此，對中心引擎的抗壓能力要求很高，對于大規(guī)模的并發(fā)情況不能很好的解決。且中心引擎的更新效率較低，各個(gè)元引擎的信息源容易不穩(wěn)定或過分單一，影響整體的收錄效率。在進(jìn)行本發(fā)明創(chuàng)造過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題現(xiàn)有技術(shù)提供的網(wǎng)頁收集方案，由于中心引擎的更新效率較低，各個(gè)元引擎的信息源容易不穩(wěn)定或過分單一，影響整體的收錄效率，因此，網(wǎng)頁收集效率較低。
發(fā)明內(nèi)容本發(fā)明實(shí)施例提供一種網(wǎng)頁收集的方法及其系統(tǒng)，能夠提高網(wǎng)頁收集的運(yùn)轉(zhuǎn)效率。本發(fā)明實(shí)施例提供一種網(wǎng)頁收集的方法，其包括從URL數(shù)據(jù)庫中逐條獲取URL,并根據(jù)URL獲得對應(yīng)的host名；根據(jù)所述host名，進(jìn)行DNS請求；進(jìn)行域名服務(wù)系統(tǒng)DNS請求的同時(shí)，根據(jù)DNS請求成功的URL,進(jìn)行頁面獲耳又。本發(fā)明實(shí)施例還提供一種網(wǎng)頁收集的系統(tǒng)，其包括URL輸入控制臺(tái)，用于從URL數(shù)據(jù)庫中逐條獲取URL,并根據(jù)URL解才斤對應(yīng)的host名；DNS請求處理裝置，用于根據(jù)所述host名，進(jìn)行DNS請求，并發(fā)送請求成功的DNS請求的URL;網(wǎng)頁獲取處理裝置，用于在所述DNS請求處理裝置進(jìn)行DNS請求的同時(shí)，根據(jù)從DNS請求處理裝置接收到的DNS請求成功的URL,進(jìn)行頁面獲取。通過本發(fā)明實(shí)施例提供的網(wǎng)頁收集的方法及其系統(tǒng)，DNS請求和頁面獲取分別同時(shí)進(jìn)行，因此當(dāng)獲取頁面代碼時(shí)，也在不斷的進(jìn)行DNS請求，從而提高了網(wǎng)頁收集的運(yùn)轉(zhuǎn)效率。為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1為本發(fā)明網(wǎng)頁收集的方法一個(gè)實(shí)施例的流程圖；圖2為本發(fā)明網(wǎng)頁收集的系統(tǒng)一個(gè)實(shí)施例的結(jié)構(gòu)圖。具體實(shí)施方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施方式，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)iJL明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施方式僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。請參照圖1,為本發(fā)明網(wǎng)頁收集的方法一個(gè)實(shí)施例的流程圖，其具體過程包括步驟101:設(shè)置系統(tǒng)運(yùn)行的入口URL,保存在URL數(shù)據(jù)庫中；步驟102:URL輸入控制臺(tái)從URL數(shù)據(jù)庫中逐條獲取URL,并根據(jù)URL解析對應(yīng)的host名；步驟103:URL輸入控制臺(tái)發(fā)送host名給DNS請求控制臺(tái)；步驟104:DNS請求控制臺(tái)將收到的host名和其維護(hù)的host名哈希表(HostNameHashTable)進(jìn)行匹配，判斷所述host名是否已經(jīng)成功進(jìn)行了DNS請求，如果是，則進(jìn)行步驟108,如果否，則進(jìn)行步驟105;所述主機(jī)名哈希表中保存了host名對應(yīng)的DNS請求結(jié)果。因此如果匹配成功，則說明目前DNS數(shù)據(jù)庫中已經(jīng)有該host名對應(yīng)的IP信息結(jié)果了，此時(shí)可以將該條URL發(fā)送至網(wǎng)頁獲取控制臺(tái)供獲取，如果沒有成功，則說明該host名目前還沒有被請求過，或者曾經(jīng)請求過但是發(fā)生錯(cuò)誤等。步驟105:DNS請求控制臺(tái)將所述host名發(fā)送至DNS結(jié)果處理單元(DNSresultcollection)，和其維護(hù)的黑名單進(jìn)行匹配，判斷是否匹配成功，如果是，則進(jìn)行步驟106,如果否，則進(jìn)行步驟107;步驟106:放棄所述host名；步驟107:確認(rèn)所述host名需要進(jìn)行DNS請求，由DNS請求控制臺(tái)將所述host名發(fā)送至DNS子元件主機(jī)進(jìn)行DNS請求，并將所述host名對應(yīng)的URL發(fā)送至URL數(shù)據(jù)庫等待下次被獲取。DNS請求控制臺(tái)進(jìn)行DNS請求具體過程為1、DNS請求控制臺(tái)分配DNS請求任務(wù)給DNS子元件主機(jī)(ADNS,AsynchronousDomainNameSystem);DNS請求控制臺(tái)中包括一個(gè)任務(wù)隊(duì)列，當(dāng)URL輸入控制臺(tái)將host名發(fā)送到DNS請求控制臺(tái)時(shí)，可以將host名插入到該隊(duì)列中。DNS請求控制臺(tái)負(fù)責(zé)將隊(duì)列中的host名分配給下屬的DNS子元件主機(jī)，所以該模塊只起調(diào)度作用，而不直接發(fā)起DNS請求。為了適當(dāng)分配任務(wù)，可以有以下兩種方法實(shí)現(xiàn)第一種方法根據(jù)DNS子元件主機(jī)的系統(tǒng)資源占用率分配DNS請求任務(wù)；DNS請求控制臺(tái)可以監(jiān)視下屬DNS子元件主機(jī)的CPU、內(nèi)存、線程數(shù)、網(wǎng)絡(luò)占用率等，當(dāng)DNS子元件主機(jī)的系統(tǒng)資源占用率較高時(shí)，則不給該DNS子元件主機(jī)分配DNS請求任務(wù)；如果資源占有率足以發(fā)起一次DNS請求時(shí)，則給該DNS子元件主機(jī)分配相應(yīng)的任務(wù)。第二種方法對host名的hash值進(jìn)行取余運(yùn)算，根據(jù)運(yùn)算結(jié)果進(jìn)行分配任務(wù)。DNS請求控制臺(tái)對每一個(gè)host名進(jìn)行一次哈希運(yùn)算，對host名的hash值進(jìn)行取余運(yùn)算，即num=(HashmodN),N為DNS子元件主機(jī)的個(gè)數(shù)，這樣求得的num數(shù)值即為DNS子元件主機(jī)編號(hào)，即將該host名分配給第num臺(tái)DNS子元件主機(jī)進(jìn)行DNS請求。2、DNS子元件主機(jī)進(jìn)行DNS請求，并將DNS請求的結(jié)果發(fā)送給DNS結(jié)果處理單元；DNS子元件主機(jī)的數(shù)量可以根據(jù)系統(tǒng)的大小來確定，一般情況下是三臺(tái)主機(jī)，在主機(jī)上安裝標(biāo)準(zhǔn)ADNS庫，設(shè)計(jì)發(fā)起請求DNS的程序來調(diào)用該庫的接口。由于是異步DNS請求，該主機(jī)可以在發(fā)起一次請求之后，不必等待結(jié)果返回而接著發(fā)起下一次DNS請求，從而實(shí)現(xiàn)多線程DNS請求，提高獲取DNS結(jié)果的效率。3、DNS結(jié)果處理單元對DNS請求的結(jié)果進(jìn)行管理。DNS結(jié)果處理單元分析各個(gè)DNS子元件主機(jī)返回的結(jié)果，將請求成功的DNS請求結(jié)果保存在DNS數(shù)據(jù)庫中，將由于各種原因造成的請求失敗的DNS請求發(fā)送給DNS錯(cuò)誤管理單元，并用以更新host名哈希表；DNS結(jié)果處理單元也可以進(jìn)行擴(kuò)展，對正確的DNS結(jié)果進(jìn)行分析判斷，給結(jié)果設(shè)置不同的優(yōu)先級(jí)，存入數(shù)據(jù)庫。DNS錯(cuò)誤管理模塊(ManageDNSerrorHost)還可以對沒有返回正確DNS結(jié)果的host名按照錯(cuò)誤類別進(jìn)行分類，維護(hù)一個(gè)多次無法返回正確結(jié)果的host名組成的黑名單，以防止某個(gè)host名在多次請求都失敗后仍然纟皮請求的情況發(fā)生。步驟108:DNS請求控制臺(tái)將請求成功的DNS請求所對應(yīng)的URL發(fā)送至網(wǎng)頁獲取控制臺(tái)；步驟109:同時(shí)，網(wǎng)頁獲取控制臺(tái)根據(jù)URL中host名以及所述DNS請求結(jié)果，例如，該host名所對應(yīng)的IP地址，來獲取頁面；網(wǎng)頁獲取控制臺(tái)維護(hù)一張URL哈希表，以判斷URL所指定的頁面是否被成功獲取。所述URL哈希表用于保存了URL的所指定的頁面被獲取的情況。步驟109與前述步驟104-步驟108是同時(shí)進(jìn)行的，即在DNS請求控制臺(tái)逐個(gè)進(jìn)行DNS請求的同時(shí)，網(wǎng)頁獲取控制臺(tái)也在根據(jù)DNS請求成功的ULR進(jìn)行頁面獲取。網(wǎng)頁獲取控制臺(tái)根據(jù)所述host名進(jìn)行頁面獲取具體過程包括1、網(wǎng)頁獲取控制臺(tái)根據(jù)URL對應(yīng)的host名在DNS數(shù)據(jù)庫中查詢該URL對應(yīng)的DNS結(jié)果；如果在DNS數(shù)據(jù)庫中無法查找到對應(yīng)host名的DNS結(jié)果，則i兌明該host名對應(yīng)的DNS結(jié)果已經(jīng)過期，需要重新發(fā)起請求，此時(shí)可以將該URL返回到URL隊(duì)列，將該URL的host名發(fā)送給DNS過期管理單元，將該host名在hostnameHashtable中進(jìn)行更新，表示該host名目前在數(shù)據(jù)庫中沒有相對應(yīng)的正確DNS結(jié)果，需要重新請求DNS服務(wù)器以獲取結(jié)果。2、網(wǎng)頁獲取控制臺(tái)將URL以及查詢得到的host名對應(yīng)的DNS結(jié)果分配至網(wǎng)頁獲耳又子元件主才幾；網(wǎng)頁獲取控制臺(tái)分配任務(wù)給網(wǎng)頁獲取子元件主機(jī)，可以有以下兩種方法實(shí)現(xiàn)第一種方法根據(jù)網(wǎng)頁獲取子元件主機(jī)的系統(tǒng)資源占用率URL和對應(yīng)的DNS結(jié)果；網(wǎng)頁獲取控制臺(tái)可以監(jiān)視下屬子元件的內(nèi)存，線程數(shù)，網(wǎng)絡(luò)占用率等，當(dāng)網(wǎng)頁獲取子元件主機(jī)的系統(tǒng)資源占用率較高時(shí)，則不給該主機(jī)分配任務(wù)，如果資源占有率充足時(shí)，則分配相應(yīng)的任務(wù)；第二種方法對所述URL的hash值進(jìn)行取余運(yùn)算，根據(jù)運(yùn)算結(jié)果進(jìn)行分配任務(wù)網(wǎng)頁獲取控制臺(tái)對每一個(gè)URL進(jìn)行一次哈希運(yùn)算，對該URL的hash值進(jìn)行取余運(yùn)算，即num=(HashmodN)，N為網(wǎng)頁獲耳又子元件主機(jī)的個(gè)數(shù)，這樣求得的num數(shù)值即為網(wǎng)頁獲取子元件主機(jī)編號(hào)，即將該URL分配給第num臺(tái)網(wǎng)頁獲取子元件主機(jī)獲取。3、網(wǎng)頁獲取子元件主機(jī)獲取URL指定的資源。網(wǎng)頁獲取子元件主機(jī)的數(shù)量可以根據(jù)系統(tǒng)的大小來確定，一般情況下是三臺(tái)主機(jī)，主要負(fù)責(zé)發(fā)起HTTPGET請求，獲取頁面HTML代碼，并將成功獲取的頁面HTML代碼分別發(fā)送給HTML代碼保存單元和HTML解析單元；在獲取頁面HTML代碼時(shí)也有可能出現(xiàn)各種錯(cuò)誤，此時(shí)，需要將發(fā)生錯(cuò)誤的URL信息發(fā)送給URLHashtable,將該URL的信息置為未成功獲取，以保證當(dāng)該URL在以后的獲取過程中不會(huì)被誤以為已經(jīng)成功獲取。步驟110:HTML代碼保存單元保存HTML代碼；HTML代碼保存單元將已經(jīng)成功獲取的頁面HTML代碼信息以及對應(yīng)的URL信息以合理的方式保存在HTML數(shù)據(jù)庫中，建立合適的索引，以備查詢使用。步驟111:HTML解析單元解析HTML代碼，提取URL;HTML解析單元將成功獲取的頁面HTML代碼中的超鏈接等信息進(jìn)行提取，將提取結(jié)果進(jìn)行正確性驗(yàn)證后，保存在URL數(shù)據(jù)庫中。在提取過程中，可以針對HTML代碼中的標(biāo)簽，比如<八>標(biāo)簽屬性中的href等,〈AREA〉標(biāo)簽的location屬性等提取出URL信息，然后將這些URL進(jìn)行驗(yàn)證，以保證這些URL符合系統(tǒng)的獲取要求，主要是判斷host名結(jié)尾是否合法以及文件名的后綴是否合法等。如果驗(yàn)證該URL合法，則保存，如果不合法，則放棄該URL。步驟112:ULR數(shù)據(jù)庫保存提取出的URL信息。本發(fā)明中實(shí)施例提供的網(wǎng)頁收集的方法，各個(gè)功能單元之間互相不干擾不沖突，當(dāng)根據(jù)DNS請求成功的URL獲取頁面HTML代碼的同時(shí)，也在不斷的發(fā)起DNS請求，從而保證了系統(tǒng)高速高效的運(yùn)轉(zhuǎn)。本發(fā)明還提供網(wǎng)頁收集方法的另一個(gè)實(shí)施例，其具體包括從URL數(shù)據(jù)庫中逐條獲取URL,并根據(jù)URL獲得對應(yīng)的主機(jī)host名；根據(jù)所述host名，進(jìn)行域名服務(wù)系統(tǒng)DNS請求；進(jìn)行域名服務(wù)系統(tǒng)DNS請求的同時(shí)，根據(jù)DNS請求成功的URL,進(jìn)行頁面獲耳又。請參照圖2，為本發(fā)明網(wǎng)頁收集系統(tǒng)一個(gè)實(shí)施例的結(jié)構(gòu)圖。所述網(wǎng)頁收集的系統(tǒng)包括URL輸入控制臺(tái)21、DNS請求處理裝置22、網(wǎng)頁獲:又處理裝置23。所述URL輸入控制臺(tái)21,用于從URL數(shù)據(jù)庫中逐條獲取URL,并根據(jù)所述獲取的URL解析對應(yīng)的host名；所述DNS請求處理裝置22,用于根據(jù)所述host名，進(jìn)行DNS請求，并發(fā)送請求成功的DNS請求的URL給所述網(wǎng)頁獲取處理裝置23;所述網(wǎng)頁獲取處理裝置23，用于在所述DNS請求處理裝置22進(jìn)行DNS請求的同時(shí)，根據(jù)從DNS請求處理裝置22接收到的DNS請求成功的URL,進(jìn)行頁面獲取。所述DNS請求處理裝置22進(jìn)一步包括DNS請求控制臺(tái)221,用于根據(jù)所述host名，分配DNS請求任務(wù)，并發(fā)送請求成功的DNS請求的URL給URL輸入控制臺(tái)；所述DNS請求控制臺(tái)221還維護(hù)主機(jī)名哈希表2211,所述主機(jī)名哈希表2211中保存了host名對應(yīng)的DNS請求結(jié)果。DNS請求控制臺(tái)221將host名和其維護(hù)的主機(jī)名哈希表(HostNameHashTable)進(jìn)行匹配，判斷所述host名是否已經(jīng)成功進(jìn)行了DNS請求。DNS子元件主機(jī)222,用于根據(jù)DNS請求控制臺(tái)221分配的DNS請求任務(wù)進(jìn)行DNS請求。所述DNS請求處理裝置22還可以包括DNS結(jié)果處理單元223,用于對DNS子元件主機(jī)222返回的DNS請求結(jié)果進(jìn)行分析和管理。所述DNS請求處理裝置22還包括DNS數(shù)據(jù)庫224,保存由DNS結(jié)果處理單元223分析為請求成功的DNS請求結(jié)果；DNS錯(cuò)誤管理單元225,保存由DNS結(jié)果處理單元223分析為請求失敗的DNS請求結(jié)果。所述DNS請求處理裝置22還包括DNS過期管理單元226,對所述DNS數(shù)據(jù)庫224中的DNS請求結(jié)果定期更新，刪除已經(jīng)過期的DNS請求結(jié)果。所述網(wǎng)頁獲取處理裝置23進(jìn)一步包括網(wǎng)頁獲取控制臺(tái)231,用于根據(jù)所述host名查詢URL對應(yīng)的DNS結(jié)果，并分配所述URL和對應(yīng)的DNS結(jié)果；所述網(wǎng)頁獲取控制臺(tái)231維護(hù)一張URL哈希表2311，以判斷所述URL所指定的頁面是否被成功獲取，所述URL哈希表用于保存URL所指定的頁面被獲取的情況。網(wǎng)頁獲取子元件主機(jī)232,用于根據(jù)網(wǎng)頁獲取控制臺(tái)231分配的URL和對應(yīng)的DNS結(jié)果，獲取頁面HTML代碼。所述網(wǎng)頁獲取處理裝置23還包括HTML代碼保存單元233,用于保存網(wǎng)頁獲取子元件主機(jī)232獲取的頁面HTML代碼；HTML數(shù)據(jù)庫234，用于保存網(wǎng)頁獲取子元件主機(jī)232獲取的頁面HTML代碼中正確的HTML代碼；HTML解析單元235,用于解析網(wǎng)頁獲取子元件主機(jī)232獲取的頁面HTML代碼，并提取URL;ULR數(shù)據(jù)庫236,用于保存HTML解析單元235提取出的URL信息。通過本發(fā)明實(shí)施例提供的網(wǎng)頁收集方法及其系統(tǒng)，DNS請求和頁面獲取分別同時(shí)進(jìn)行，因此當(dāng)獲取頁面代碼時(shí)，也在不斷的進(jìn)行DNS請求，從而提高了網(wǎng)頁收集的運(yùn)轉(zhuǎn)效率。本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，所述程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，所述存儲(chǔ)介質(zhì)為ROM/RAM、磁碟、光盤等。以上對本發(fā)明所提供的一種網(wǎng)頁收集方法及其系統(tǒng)進(jìn)行了詳細(xì)介紹，本文只是用于幫助理解本發(fā)明所揭示的技術(shù)方案；同時(shí)，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。權(quán)利要求1.一種網(wǎng)頁收集的方法，其特征在于，包括從URL數(shù)據(jù)庫中逐條獲取URL，并根據(jù)URL獲得對應(yīng)的主機(jī)host名；根據(jù)所述host名，進(jìn)行域名服務(wù)系統(tǒng)DNS請求；進(jìn)行域名服務(wù)系統(tǒng)DNS請求的同時(shí)，根據(jù)DNS請求成功的URL，進(jìn)行頁面獲取。全文摘要本發(fā)明實(shí)施例提供一種網(wǎng)頁收集方法及其系統(tǒng)。所述網(wǎng)頁收集方法包括從URL數(shù)據(jù)庫中逐條獲取URL，并根據(jù)URL獲得對應(yīng)的host名進(jìn)行網(wǎng)頁內(nèi)容的獲取；根據(jù)所述host名，進(jìn)行DNS請求；進(jìn)行域名服務(wù)系統(tǒng)DNS請求的同時(shí)，根據(jù)DNS請求成功的URL，進(jìn)行頁面獲取。通過本發(fā)明實(shí)施例提供的技術(shù)方案，DNS請求和頁面獲取分別同時(shí)進(jìn)行，因此當(dāng)獲取頁面代碼時(shí)，也在不斷的進(jìn)行DNS請求，從而提高了網(wǎng)頁收集的運(yùn)轉(zhuǎn)效率。文檔編號(hào)G06F17/30GK101303700SQ200810111298公開日2008年11月12日申請日期2008年6月13日優(yōu)先權(quán)日2008年6月13日發(fā)明者劉利鋒,娜李,陽辛,宇雷申請人:華為技術(shù)有限公司