基于中轉(zhuǎn)模式的網(wǎng)頁訪問方法及系統(tǒng)、抓取路徑服務(wù)器的制造方法
【專利摘要】本發(fā)明公開了一種基于中轉(zhuǎn)模式的網(wǎng)頁訪問方法及系統(tǒng)、抓取路徑服務(wù)器，屬于計算機(jī)【技術(shù)領(lǐng)域】。所述方法包括：接收客戶端發(fā)送的網(wǎng)頁訪問請求，網(wǎng)頁訪問請求中攜帶要訪問的目標(biāo)網(wǎng)站的標(biāo)識；從至少一個抓取服務(wù)器中獲取訪問目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器；向客戶端返回目標(biāo)抓取服務(wù)器的標(biāo)識，以供客戶端通過目標(biāo)抓取服務(wù)器的標(biāo)識對應(yīng)的目標(biāo)抓取服務(wù)器訪問目標(biāo)網(wǎng)站。本發(fā)明實(shí)施例的技術(shù)方案，通過獲取并向客戶端提供訪問目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器，為客戶端提供了訪問目標(biāo)網(wǎng)站的最佳路徑即網(wǎng)速最快的路徑，本發(fā)明實(shí)施例的技術(shù)方案能夠有效地提高客戶端訪問目標(biāo)網(wǎng)站的訪問網(wǎng)速，提高客戶端的訪問效率，提高用戶的體驗(yàn)。
【專利說明】基于中轉(zhuǎn)模式的網(wǎng)頁訪問方法及系統(tǒng)、抓取路徑服務(wù)器
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機(jī)【技術(shù)領(lǐng)域】，特別涉及一種基于中轉(zhuǎn)模式的網(wǎng)頁訪問方法及系統(tǒng)、抓取路徑服務(wù)器。
【背景技術(shù)】
[0002]隨著移動互聯(lián)網(wǎng)的飛速發(fā)展以及手機(jī)普及率的快速增長，使用手機(jī)的瀏覽器客戶端進(jìn)行搜索、網(wǎng)上沖浪的用戶越來越多，需求也越來越大。
[0003]目前的手機(jī)的瀏覽器客戶端訪問網(wǎng)頁的方式主要有兩種:直連模式和中轉(zhuǎn)模式。所謂直連模式就是手機(jī)的瀏覽器客戶端采用超文本傳送協(xié)議(hypertexttransport protocol;http)通過移動網(wǎng)絡(luò)直接與要訪問的目標(biāo)網(wǎng)站建立傳輸控制協(xié)議(transmission control protocol ;tcp)連接進(jìn)行數(shù)據(jù)的交互。而中轉(zhuǎn)模式則是手機(jī)的瀏覽器客戶端采用http協(xié)議或者其他協(xié)議與中轉(zhuǎn)服務(wù)器建立tcp連接，而后中轉(zhuǎn)服務(wù)器采用代理的方式將手機(jī)的瀏覽器客戶端發(fā)送的http請求發(fā)送到目標(biāo)網(wǎng)站服務(wù)器，并在收到目標(biāo)網(wǎng)站服務(wù)器返回的響應(yīng)后再轉(zhuǎn)發(fā)給手機(jī)的瀏覽器客戶端。中轉(zhuǎn)模式相對于直連模式可以借助多種方式減少網(wǎng)絡(luò)流量的消耗，同時可以更快地響應(yīng)用戶的請求，給用戶更好的體驗(yàn)。且現(xiàn)有市場占大半份額的低端手機(jī)內(nèi)存小、中央處理器(Central Processing Unit ;CPU)能力弱，手機(jī)瀏覽器客戶端也無法執(zhí)行JavaScript (簡稱js)和渲染頁面，因此采用中轉(zhuǎn)模式訪問網(wǎng)頁是最佳的方案。
[0004]在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下問題:現(xiàn)有的網(wǎng)絡(luò)機(jī)制下，一個網(wǎng)站中可能部署有多個網(wǎng)絡(luò)環(huán)境，而現(xiàn)有技術(shù)的中轉(zhuǎn)模式下，中轉(zhuǎn)服務(wù)器僅采用代理的方式將手機(jī)的瀏覽器客戶端發(fā)送的http請求發(fā)送到目標(biāo)網(wǎng)站服務(wù)器，而中轉(zhuǎn)服務(wù)器和目標(biāo)網(wǎng)站服務(wù)器有可能屬于不同的網(wǎng)絡(luò)環(huán)境，導(dǎo)致訪問網(wǎng)速較慢，訪問效率較低。

【發(fā)明內(nèi)容】

[0005]為了解決上述技術(shù)問題，本發(fā)明實(shí)施例提供了一種基于中轉(zhuǎn)模式的網(wǎng)頁訪問方法及系統(tǒng)、抓取路徑服務(wù)器。所述技術(shù)方案如下:
[0006]一方面，提供了一種基于中轉(zhuǎn)模式的網(wǎng)頁訪問方法，所述方法包括:
[0007]接收客戶端發(fā)送的網(wǎng)頁訪問請求，所述網(wǎng)頁訪問請求中攜帶要訪問的目標(biāo)網(wǎng)站的標(biāo)識；
[0008]從至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器；
[0009]向所述客戶端返回所述目標(biāo)抓取服務(wù)器的標(biāo)識，以供所述客戶端通過所述目標(biāo)抓取服務(wù)器的標(biāo)識對應(yīng)的所述目標(biāo)抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站。
[0010]可選地，如上所述的方法中，所述至少一個抓取服務(wù)器分別對應(yīng)不同的網(wǎng)絡(luò)服務(wù)提供商。
[0011]可選地，如上所述的方法中，從至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器之前，還包括:[0012]對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，接收所述抓取服務(wù)器上報的上一次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速；所述抓取服務(wù)器上一次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速為所述抓取服務(wù)器根據(jù)所述抓取服務(wù)器在上一次訪問所述目標(biāo)網(wǎng)站的過程中，所述抓取服務(wù)器與所述目標(biāo)網(wǎng)站的連接時間的倒數(shù)獲取的；
[0013]存儲所述抓取服務(wù)器上一次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速。
[0014]可選地，如上所述的方法中，存儲所述抓取服務(wù)器上一次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速之后，從至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器之前，還包括:
[0015]對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，根據(jù)存儲的所有次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速，計算所述抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速；
[0016]從至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器，包括:
[0017]從所述至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速最快的抓取服務(wù)器作為所述目標(biāo)抓去服務(wù)器。
[0018]可選地，如上所述的方法中，對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，根據(jù)存儲的所有次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速，計算所述抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速，包括:對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，根據(jù)存儲的所有次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速，采用如下公式計算所述抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速:
【權(quán)利要求】
1.一種基于中轉(zhuǎn)模式的網(wǎng)頁訪問方法，其特征在于，所述方法包括: 接收客戶端發(fā)送的網(wǎng)頁訪問請求，所述網(wǎng)頁訪問請求中攜帶要訪問的目標(biāo)網(wǎng)站的標(biāo)識； 從至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器； 向所述客戶端返回所述目標(biāo)抓取服務(wù)器的標(biāo)識，以供所述客戶端通過所述目標(biāo)抓取服務(wù)器的標(biāo)識對應(yīng)的所述目標(biāo)抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站。
2.根據(jù)權(quán)利要求1所 述的方法，其特征在于，所述至少一個抓取服務(wù)器分別對應(yīng)不同的網(wǎng)絡(luò)服務(wù)提供商。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，從至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器之前，所述方法還包括: 對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，接收所述抓取服務(wù)器上報的上一次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速；所述抓取服務(wù)器上一次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速為所述抓取服務(wù)器根據(jù)所述抓取服務(wù)器在上一次訪問所述目標(biāo)網(wǎng)站的過程中，所述抓取服務(wù)器與所述目標(biāo)網(wǎng)站的連接時間的倒數(shù)獲取的； 存儲所述抓取服務(wù)器上一次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，存儲所述抓取服務(wù)器上一次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速之后，從至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器之前，所述方法還包括: 對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，根據(jù)存儲的所有次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速，計算所述抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速； 從至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器，包括: 從所述至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速最快的抓取服務(wù)器作為所述目標(biāo)抓去服務(wù)器。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，根據(jù)存儲的所有次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速，計算所述抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速，包括:對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，根據(jù)存儲的所有次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速，采用如下公式計算所述抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速:
S = ^jSjI η
i=} 其中S所述抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速；n表示所述抓取服務(wù)器上報的訪問所述目標(biāo)網(wǎng)站的網(wǎng)速的上報次數(shù)％表示所述抓取服務(wù)器每次上報訪問所述目標(biāo)網(wǎng)站的網(wǎng)速。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，根據(jù)存儲的所有次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速，計算所述抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速，包括:對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，根據(jù)存儲的所有次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速和一常量參數(shù)，采用如下公式計算所述抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速:a \丨 //., 其中S所述抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速；n表示所述抓取服務(wù)器上報的訪問所述目標(biāo)網(wǎng)站的網(wǎng)速的上報次數(shù)；Si表示所述抓取服務(wù)器每次上報的訪問所述目標(biāo)網(wǎng)站的網(wǎng)速J表示所述抓取服務(wù)器所有次訪問所述目標(biāo)網(wǎng)站的平均網(wǎng)速；a為所述常量參數(shù)。
7.根據(jù)權(quán)利要求1-6任一所述的方法，其特征在于，從至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器之前，所述方法還包括: 定期檢測所述至少一個抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的網(wǎng)速。
8.一種抓取路徑服務(wù)器，其特征在于，包括: 接收模塊，用于接收客戶端發(fā)送的網(wǎng)頁訪問請求，所述網(wǎng)頁訪問請求中攜帶要訪問的目標(biāo)網(wǎng)站的標(biāo)識； 獲取模塊，用于從至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器； 發(fā)送模塊，用于向所述客戶端返回所述目標(biāo)抓取服務(wù)器的標(biāo)識，以供所述客戶端通過所述目標(biāo)抓取服務(wù)器的標(biāo)識對應(yīng)的所述目標(biāo)抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站。
9.根據(jù)權(quán)利要求8所述的抓取路徑服務(wù)器，其特征在于，所述至少一個抓取服務(wù)器分別對應(yīng)不同的網(wǎng)絡(luò)服務(wù)提供商。
10.根據(jù)權(quán)利要求8所述的`抓取路徑服務(wù)器，其特征在于，還包括存儲模塊； 所述接收模塊，還用于在所述獲取模塊從至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器之前，對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，接收所述抓取服務(wù)器上報的上一次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速；所述抓取服務(wù)器上一次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速為所述抓取服務(wù)器根據(jù)所述抓取服務(wù)器在上一次訪問所述目標(biāo)網(wǎng)站的過程中，所述抓取服務(wù)器與所述目標(biāo)網(wǎng)站的連接時間的倒數(shù)獲取的； 所述存儲模塊，用于存儲所述接收模塊接收的所述抓取服務(wù)器上一次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速。
11.根據(jù)權(quán)利要求10所述的抓取路徑服務(wù)器，其特征在于，還包括計算模塊； 所述計算模塊，用于在所述存儲模塊存儲所述抓取服務(wù)器上一次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速之后，所述獲取模塊從至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的所述目標(biāo)抓取服務(wù)器之前，對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，根據(jù)存儲的所有次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速，計算所述抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速； 所述獲取模塊，具體用于從所述至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速最快的抓取服務(wù)器作為所述目標(biāo)抓去服務(wù)器。
12.根據(jù)權(quán)利要求11所述的抓取路徑服務(wù)器，其特征在于，所述計算模塊，具體用于對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，根據(jù)存儲的所有次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速，采用如下公式計算所述抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速:
13.根據(jù)權(quán)利要求11所述的抓取路徑服務(wù)器，其特征在于，所述計算模塊，具體用于對于所述至少一個抓取服務(wù)器中的每一個抓取服務(wù)器，根據(jù)存儲的所有次訪問所述目標(biāo)網(wǎng)站的網(wǎng)速和一常量參數(shù)，采用如下公式計算所述抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的有效網(wǎng)速:
14.根據(jù)權(quán)利要求8-13任一所述的抓取路徑服務(wù)器，其特征在于，還包括: 檢測模塊，用于在所述獲取模塊從至少一個抓取服務(wù)器中獲取訪問所述目標(biāo)網(wǎng)站的標(biāo)識對應(yīng)的目標(biāo)網(wǎng)站網(wǎng)速最快的目標(biāo)抓取服務(wù)器之前，定期檢測所述至少一個抓取服務(wù)器訪問所述目標(biāo)網(wǎng)站的網(wǎng)速。
15.—種基于中轉(zhuǎn)模式的網(wǎng)頁訪問系統(tǒng),其特征在于，包括客戶端、至少一個抓取服務(wù)器和如上權(quán)利要求8-14任一所述的抓取路徑服務(wù)器。
【文檔編號】G06F17/30GK103678311SQ201210319292
【公開日】2014年3月26日 申請日期:2012年8月31日 優(yōu)先權(quán)日:2012年8月31日
【發(fā)明者】李 瑞, 徐羽, 陳德賢, 鈄偉雨 申請人:騰訊科技（深圳）有限公司