一種互聯(lián)網(wǎng)緩存調度方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種互聯(lián)網(wǎng)緩存調度方法及系統(tǒng),所述方法包括:確定用戶所訪問網(wǎng)站的類型;獲取不同類型的網(wǎng)站訪問的速度、耗費時間、內容大小和訪問次數(shù)參數(shù);根據(jù)所述網(wǎng)站類型和所述參數(shù),使用相應的模式進行網(wǎng)絡緩存。與現(xiàn)有技術相比,通過等效計算用戶的訪問速度、下載時間、下載內容大小、下載次數(shù)等參數(shù),發(fā)現(xiàn)動態(tài)內容多、緩存效果不佳的網(wǎng)站,動態(tài)配置白名單,從而解決現(xiàn)有技術中等效計算用戶的訪問速度和提取各項指標存在的問題。
【專利說明】一種互聯(lián)網(wǎng)緩存調度方法及系統(tǒng)
【技術領域】
[0001] 本發(fā)明涉及移動通信【技術領域】,尤其涉及一種互聯(lián)網(wǎng)緩存調度方法及系統(tǒng)。
【背景技術】
[0002] 互聯(lián)網(wǎng)技術中,流量緩存系統(tǒng)的基本思想就是以"存儲換帶寬"。這一設計理念是 指在網(wǎng)絡"邊緣"部署緩存服務器,用以緩存互聯(lián)網(wǎng)內容,并利用海量存儲實現(xiàn)流量的本地 化。通過利用緩存內容服務的后續(xù)請求,過濾掉重復的網(wǎng)絡流量,從而有效緩解互聯(lián)網(wǎng)出口 流量壓力,并大幅提升用戶體驗,幫助運營商從容應對互聯(lián)網(wǎng)流量的沖擊。
[0003] 現(xiàn)有的互聯(lián)網(wǎng)緩存技術主要通過靜態(tài)配置域名白名單方式,將用戶請求引導至緩 存系統(tǒng)。某域名中已經(jīng)引導至緩存的請求,一部分可以通過緩存中事先存儲的內容為用戶 提供優(yōu)質的服務。而該域名內剩余的動態(tài)內容必須通過緩存服務器去代理用戶訪問網(wǎng)站。
[0004] 具體來說,在實現(xiàn)本發(fā)明的過程中,發(fā)明人發(fā)現(xiàn)現(xiàn)有的方案存在如下缺點:
[0005] 由緩存代理用戶訪問內容由于增加了中間處理環(huán)節(jié),反而會比用戶直接訪問網(wǎng)站 慢,會造成緩存系統(tǒng)為用戶服務的質量降低,主要體現(xiàn)在以下幾方面:
[0006] 動態(tài)內容過多的網(wǎng)站,訪問速度反而低于緩存前;
[0007] 當緩存內容已經(jīng)失效時,仍然會將用戶請求引導至緩存,造成用戶無法訪問;
[0008] 緩存服務器需要代理用戶下載,消耗服務器資源;
[0009] 緩存網(wǎng)站種類多樣,無法同時滿足不同網(wǎng)站的需求。
[0010] 現(xiàn)有技術中,尚沒有一種可以等效計算用戶的訪問速度、獲提取各項指標的緩存 調度方案。
【發(fā)明內容】
[0011] 本發(fā)明的目的在于克服現(xiàn)有技術的缺點和不足,提供一種互聯(lián)網(wǎng)緩存調度方法及 系統(tǒng)。
[0012] 一種互聯(lián)網(wǎng)緩存調度方法,所述方法包括:
[0013] 確定用戶所訪問網(wǎng)站的類型;
[0014] 獲取不同類型的網(wǎng)站訪問的速度、耗費時間、內容大小和訪問次數(shù)參數(shù);
[0015] 根據(jù)所述網(wǎng)站類型和所述參數(shù),使用相應的模式進行網(wǎng)絡緩存。
[0016] 所述確定用戶所訪問網(wǎng)站的類型,包括:
[0017] 根據(jù)所述網(wǎng)站域名的關鍵字判斷域名歸屬網(wǎng)站類型;和/或
[0018] 根據(jù)識別緩存頁面中內嵌的文件類型及大小,按照預先設定的識別規(guī)則,判斷網(wǎng) 站類型;和/或
[0019] 根據(jù)泛域名分類,識別細域名歸屬;
[0020] 建立域名類型列表,存儲所述網(wǎng)站類型的信息。
[0021] 所述不同類型的網(wǎng)站訪問的速度、耗費時間、內容大小和訪問次數(shù)參數(shù),通過如下 方式計算:
[0022]分別記錄x次經(jīng)過網(wǎng)口M傳送內容的大小Smi,并計算總大小Sm=SlM(Smi,i=l, 2,...,x); 所述網(wǎng)口M為網(wǎng)絡與用戶接口;
[0023]記錄X次傳送時間Tmi,并計算總時間Tm=SUM(Tmi,i=l, 2,. . .,X);
[0024]計算速度Vm=Sm/Tm;
[0025] 同理,計算出網(wǎng)絡與網(wǎng)站接口N、網(wǎng)口M到網(wǎng)口N之間的處理過程P的傳送內容大 小Sn、Sp,時間Tn、Tp和速度Vn、Vp;
[0026] 區(qū)別用戶直接通過網(wǎng)口M和N訪問網(wǎng)站、通過網(wǎng)口Μ、處理過程P、網(wǎng)口N訪問網(wǎng)站 兩種情況,分別計算對應的不同類型的網(wǎng)站訪問的速度、耗費時間、內容大小和訪問次數(shù)參 數(shù)。
[0027] 所述不同類型的網(wǎng)站訪問耗費時間通過如下方式獲?。?br>
[0028] 記錄每次用戶訪問網(wǎng)站的統(tǒng)一資源定位符URL,以及文件保存路徑;
[0029] 將所述URL進行壓縮,根據(jù)哈希值存儲;
[0030] 記錄每次下載內容為動態(tài)內容還是靜態(tài)內容,同時記錄上下行標志;
[0031] 服務器開始響應后記錄時間to;
[0032] 開始建立TCP后記錄時間tl;
[0033]TCP三次握手結束,開始傳送內容后記錄時間t2;
[0034] 內容傳送結束后記錄時間t3和傳送內容的大小,即S;
[0035] 將所述URL、URL哈希值、文件保存路徑、文件類型、動態(tài)內容或靜態(tài)內容、上下行 標志、t0、tl、t2、t3、S存入數(shù)據(jù)庫表。
[0036] 根據(jù)所述網(wǎng)站類型和所述參數(shù),使用相應的模式進行網(wǎng)絡緩存,包括:
[0037] 所述模式分為速度優(yōu)先模式、內容優(yōu)先模式、下載次數(shù)優(yōu)先模式和混合模式;
[0038] 所述網(wǎng)站類型分為門戶類、視頻下載類、論壇交易搜索類和大型網(wǎng)站類。
[0039]所述方法還包括:
[0040] 對所述門戶類網(wǎng)站使用速度優(yōu)先模式進行網(wǎng)絡緩存;
[0041] 對所述視頻下載類網(wǎng)站使用內容優(yōu)先模式進行網(wǎng)絡緩存;
[0042] 對所述論壇交易搜索類網(wǎng)站使用下載次數(shù)優(yōu)先模式進行網(wǎng)絡緩存;
[0043] 對所述大型網(wǎng)站類網(wǎng)站使用混合模式進行網(wǎng)絡緩存。
[0044] 一種互聯(lián)網(wǎng)緩存調度系統(tǒng),所述系統(tǒng)包括網(wǎng)站類型確定單元、參數(shù)獲取單元及緩 存單元,其中,
[0045] 所述網(wǎng)站類型確定單元,用于確定用戶所訪問網(wǎng)站的類型;
[0046] 所述參數(shù)獲取單元,用于獲取不同類型的網(wǎng)站訪問的速度、耗費時間、內容大小和 訪問次數(shù)參數(shù);
[0047] 所述緩存單元,用于根據(jù)所述網(wǎng)站類型和所述參數(shù),使用相應的模式進行網(wǎng)絡緩 存。
[0048] 所述系統(tǒng)還包括參數(shù)計算單元,用于計算不同類型的網(wǎng)站訪問的速度、耗費時間、 內容大小和訪問次數(shù)參數(shù)并存儲;
[0049] 所述參數(shù)獲取單元從所述參數(shù)計算單元獲取所述參數(shù)。
[0050] 所述網(wǎng)站類型確定單元進一步包括關鍵字判斷子單元、頁面緩沖判斷子單元、泛 域名判斷子單元及域名存儲子單元,其中,
[0051] 所述關鍵字判斷子單元,用于根據(jù)所述網(wǎng)站域名的關鍵字判斷域名歸屬網(wǎng)站類 型;
[0052] 所述頁面緩沖判斷子單元,用于根據(jù)識別緩存頁面中內嵌的文件類型及大小,按 照預先設定的識別規(guī)則,判斷網(wǎng)站類型;
[0053] 所述泛域名判斷子單元,用于根據(jù)泛域名分類,識別細域名歸屬;
[0054] 所述域名存儲子單元,用于建立域名類型列表,存儲所述網(wǎng)站類型的信息。
[0055] 所述緩存單元進一步包括模式確定子單元、對應子單元及緩存計算子單元,其中,
[0056] 所述模式確定子單元,用于確定所述模式的分類;
[0057] 所述對應子單元,用于將根據(jù)所述網(wǎng)站類型對應不同的模式;
[0058] 所述緩存計算子單元,用于計算不同所述模式下的緩存。
[0059] 本發(fā)明通過確定用戶所訪問網(wǎng)站的類型,根據(jù)計算的不同類型的網(wǎng)站訪問的速 度、耗費時間、內容大小和訪問次數(shù)參數(shù),結合網(wǎng)站類型和參數(shù),使用相應的模式進行網(wǎng)絡 緩存。與現(xiàn)有技術相比,本發(fā)明通過等效計算用戶的訪問速度、下載時間、下載內容大小、下 載次數(shù)等參數(shù),發(fā)現(xiàn)動態(tài)內容多、緩存效果不佳的網(wǎng)站,動態(tài)配置白名單,從而解決現(xiàn)有技 術中等效計算用戶的訪問速度和提取各項指標存在的問題。
【專利附圖】
【附圖說明】
[0060] 圖1為本發(fā)明實施例提供的用戶訪問網(wǎng)站方式示意圖;
[0061] 圖2為本發(fā)明實施例1提供的互聯(lián)網(wǎng)緩存調度方法原理流程圖,
[0062] 圖3為本發(fā)明實施例2提供的互聯(lián)網(wǎng)緩存調度系統(tǒng)結構示意圖;
[0063] 圖4為本發(fā)明實施例2提供的網(wǎng)站類型確定單元100結構示意圖;
[0064] 圖5為本發(fā)明實施例2提供的緩存單元300結構示意圖。
【具體實施方式】
[0065] 下面結合附圖對本發(fā)明的【具體實施方式】進行詳細描述。但本發(fā)明的實施方式不限 于此。
[0066] 本發(fā)明實施例中,由于緩存調度的最小顆粒度是域名,那么要么對該域名緩存,要 么不緩存。用戶訪問某域名,分別有兩種情況:
[0067] 情況A,用戶不通過緩存服務器訪問某域名,域名內全部內容大小為S;
[0068] 情況B,用戶通過緩存服務器訪問某域名。對于域名下的靜態(tài)內容,用戶直接從緩 存服務器下載,靜態(tài)內容大小為S11 ;對于某域名下的動態(tài)內容,用戶通過緩存服務器代理 用戶下載,動態(tài)內容大小為sa。S=S11+Sa(全靜態(tài)內容可看成動態(tài)內容大小為0的特殊情 況,全動態(tài)內容同理)。
[0069] 假設對于某個域名,既存在動態(tài)內容又存在靜態(tài)內容。緩存服務器分別代理用戶 下載某網(wǎng)站的動態(tài)內容,并將自身存儲的靜態(tài)內容提供用戶。分別記錄動態(tài)內容的下載時 間Ta,總大小Sa,和下載次數(shù)Ca,并計算出平均下載速度Va ;記錄靜態(tài)內容的下載時間T H,總大小S11,和下載次數(shù)c#,并計算出平均下載速度v#。
[0070] 如圖1所示,為用戶訪問網(wǎng)站方式示意圖,其中,緩存系統(tǒng)通過網(wǎng)口M為用戶提供 服務,通過網(wǎng)口N從源網(wǎng)站下載內容,通過處理過程P將內容從N轉發(fā)至M。分別記錄X次 經(jīng)過網(wǎng)口M傳送內容的大小Smi,并計算總大小Sm=SUM(Smi,i=l, 2,. . .,x)。記錄X次傳送 時間Tmi,并計算總時間Tm=SUM(Tmi,i=l, 2,. . .,X)。計算速度Vm=Sm/Tm。同理,可計算出 N、P的傳送數(shù)據(jù)大小Sn、Sp,時間Τη、Tp,速度Vn、Vp。
[0071] 本發(fā)明實施例通過分別記錄情況A、B的速度、下載時間、總大小、下載次數(shù),并通 過上述參數(shù)對比,選擇最佳的方式緩存。同時自動區(qū)分不同的使用場景,如門戶網(wǎng)站、視頻 網(wǎng)站、論壇等。然后通過對比上述三個情景的速度、時間、大小、次數(shù)四個不同的參數(shù)值,選 擇用戶感知最佳的方式進行緩存。
[0072] 如圖2所示,為本發(fā)明實施例1提供的互聯(lián)網(wǎng)緩存調度方法原理流程圖,具體如 下:
[0073] 步驟10,確定用戶所訪問網(wǎng)站的類型。
[0074] 通過自動判斷網(wǎng)站類別,將網(wǎng)站劃分為門戶網(wǎng)站、視頻下載類網(wǎng)站、論壇、交易和 搜索5類。另外還有大型網(wǎng)站,是混合各種網(wǎng)站信息的網(wǎng)站。
[0075] 通過關鍵字判斷域名歸屬。例如帶有bbs字樣的域名可以判斷為論壇類型,帶有 news字樣的域名可以判斷為門戶網(wǎng)站類型。關鍵字表結構如下:
[0076]
【權利要求】
1. 一種互聯(lián)網(wǎng)緩存調度方法,其特征在于,所述方法包括: 確定用戶所訪問網(wǎng)站的類型; 獲取不同類型的網(wǎng)站訪問的速度、耗費時間、內容大小和訪問次數(shù)參數(shù); 根據(jù)所述網(wǎng)站類型和所述參數(shù),使用相應的模式進行網(wǎng)絡緩存。
2. 如權利要求1所述的方法,其特征在于,所述確定用戶所訪問網(wǎng)站的類型,包括: 根據(jù)所述網(wǎng)站域名的關鍵字判斷域名歸屬網(wǎng)站類型;和/或 根據(jù)識別緩存頁面中內嵌的文件類型及大小,按照預先設定的識別規(guī)則,判斷網(wǎng)站類 型;和/或 根據(jù)泛域名分類,識別細域名歸屬; 建立域名類型列表,存儲所述網(wǎng)站類型的信息。
3. 如權利要求1所述的方法,其特征在于,所述不同類型的網(wǎng)站訪問的速度、耗費時 間、內容大小和訪問次數(shù)參數(shù),通過如下方式計算: 分別記錄x次經(jīng)過網(wǎng)口 M傳送內容的大小Smi,并計算總大小Sm=SUM(Smi, i=l, 2,...,x); 所述網(wǎng)口 M為網(wǎng)絡與用戶接口; 記錄x次傳送時間Tmi,并計算總時間Tm=SUM(Tmi, i=l, 2,. . .,x); 計算速度Vm=Sm/Tm ; 同理,計算出網(wǎng)絡與網(wǎng)站接口 N、網(wǎng)口 M到網(wǎng)口 N之間的處理過程P的傳送內容大小Sn、 Sp,時間Tn、Tp和速度Vn、Vp ; 區(qū)別用戶直接通過網(wǎng)口 M和N訪問網(wǎng)站、通過網(wǎng)口 M、處理過程P、網(wǎng)口 N訪問網(wǎng)站兩種 情況,分別計算對應的不同類型的網(wǎng)站訪問的速度、耗費時間、內容大小和訪問次數(shù)參數(shù)。
4. 如權利要求1或3所述的方法,其特征在于,所述不同類型的網(wǎng)站訪問耗費時間通過 如下方式獲?。?記錄每次用戶訪問網(wǎng)站的統(tǒng)一資源定位符URL,以及文件保存路徑; 將所述URL進行壓縮,根據(jù)哈希值存儲; 記錄每次下載內容為動態(tài)內容還是靜態(tài)內容,同時記錄上下行標志; 服務器開始響應后記錄時間to ; 開始建立TCP后記錄時間tl ; TCP三次握手結束,開始傳送內容后記錄時間t2 ; 內容傳送結束后記錄時間t3和傳送內容的大小,即S ; 將所述URL、URL哈希值、文件保存路徑、文件類型、動態(tài)內容或靜態(tài)內容、上下行標志、 tO、tl、t2、t3、S存入數(shù)據(jù)庫表。
5. 如權利要求1所述的方法,其特征在于,根據(jù)所述網(wǎng)站類型和所述參數(shù),使用相應的 模式進行網(wǎng)絡緩存,包括: 所述模式分為速度優(yōu)先模式、內容優(yōu)先模式、下載次數(shù)優(yōu)先模式和混合模式; 所述網(wǎng)站類型分為門戶類、視頻下載類、論壇交易搜索類和大型網(wǎng)站類。
6. 如權利要求5所述的方法,其特征在于,所述方法還包括: 對所述門戶類網(wǎng)站使用速度優(yōu)先模式進行網(wǎng)絡緩存; 對所述視頻下載類網(wǎng)站使用內容優(yōu)先模式進行網(wǎng)絡緩存; 對所述論壇交易搜索類網(wǎng)站使用下載次數(shù)優(yōu)先模式進行網(wǎng)絡緩存; 對所述大型網(wǎng)站類網(wǎng)站使用混合模式進行網(wǎng)絡緩存。
7. -種互聯(lián)網(wǎng)緩存調度系統(tǒng),其特征在于,所述系統(tǒng)包括網(wǎng)站類型確定單元、參數(shù)獲取 單元及緩存單元,其中, 所述網(wǎng)站類型確定單元,用于確定用戶所訪問網(wǎng)站的類型; 所述參數(shù)獲取單元,用于獲取不同類型的網(wǎng)站訪問的速度、耗費時間、內容大小和訪問 次數(shù)參數(shù); 所述緩存單元,用于根據(jù)所述網(wǎng)站類型和所述參數(shù),使用相應的模式進行網(wǎng)絡緩存。
8. 如權利要求7所述的系統(tǒng),其特征在于,所述系統(tǒng)還包括參數(shù)計算單元,用于計算不 同類型的網(wǎng)站訪問的速度、耗費時間、內容大小和訪問次數(shù)參數(shù)并存儲; 所述參數(shù)獲取單元從所述參數(shù)計算單元獲取所述參數(shù)。
9. 如權利要求7所述的系統(tǒng),其特征在于,所述網(wǎng)站類型確定單元進一步包括關鍵字 判斷子單元、頁面緩沖判斷子單元、泛域名判斷子單元及域名存儲子單元,其中, 所述關鍵字判斷子單元,用于根據(jù)所述網(wǎng)站域名的關鍵字判斷域名歸屬網(wǎng)站類型; 所述頁面緩沖判斷子單元,用于根據(jù)識別緩存頁面中內嵌的文件類型及大小,按照預 先設定的識別規(guī)則,判斷網(wǎng)站類型; 所述泛域名判斷子單元,用于根據(jù)泛域名分類,識別細域名歸屬; 所述域名存儲子單元,用于建立域名類型列表,存儲所述網(wǎng)站類型的信息。
10. 如權利要求7所述的系統(tǒng),其特征在于,所述緩存單元進一步包括模式確定子單 元、對應子單元及緩存計算子單元,其中, 所述模式確定子單元,用于確定所述模式的分類; 所述對應子單元,用于將根據(jù)所述網(wǎng)站類型對應不同的模式; 所述緩存計算子單元,用于計算不同所述模式下的緩存。
【文檔編號】H04L29/08GK104426838SQ201310364660
【公開日】2015年3月18日 申請日期:2013年8月20日 優(yōu)先權日:2013年8月20日
【發(fā)明者】田博涵, 吳夢雄, 王永濤, 魏力峰, 王珂, 唐景蓮, 劉楠楠 申請人:中國移動通信集團北京有限公司