一種cdn與isp協(xié)同處理數(shù)據(jù)的方法及裝置的制造方法
【技術(shù)領域】
[0001]本發(fā)明涉及移動互聯(lián)網(wǎng)領域，特別涉及一種內(nèi)容分發(fā)網(wǎng)絡(CD N，C ο n t e n tDelivery Network)與互聯(lián)網(wǎng)服務提供商(ISP，Internet Service Provider)協(xié)同處理數(shù)據(jù)的方法及裝置。
【背景技術(shù)】
[0002]以視頻內(nèi)容為主的網(wǎng)絡流量快速增長，給現(xiàn)有的網(wǎng)絡帶來了極大的挑戰(zhàn)。首先對于運營商而言，網(wǎng)絡流量的快速增長使網(wǎng)絡變得十分擁塞，用戶的請求響應速度變慢，為了改善網(wǎng)絡狀況，運營商只能不斷地擴充網(wǎng)絡帶寬。然而，隨著語音和短信業(yè)務量的降低以及流量及流量費用的下降，運營商的網(wǎng)絡擴建并未給自己帶來很可觀的收益。
[0003]網(wǎng)絡擁塞以及用戶請求響應速度慢，也給內(nèi)容提供商帶來了巨大的壓力。據(jù)統(tǒng)計，Google網(wǎng)站訪問速度每慢400ms就將導致用戶搜索請求下降0.59%，雅虎網(wǎng)站如果有400ms延遲會導致流量下降5-9%。網(wǎng)絡內(nèi)容的訪問體驗很大程度上直接影響了內(nèi)容提供商的收益。
[0004]為了應對當前網(wǎng)絡流量快速增長以及網(wǎng)絡阻塞所帶來的挑戰(zhàn)，需要從提高內(nèi)容分發(fā)效率的角度來不斷改善優(yōu)化網(wǎng)絡。CDN是目前主流的一種提高內(nèi)容分發(fā)效率的技術(shù)。其基本思路是盡可能避開互聯(lián)網(wǎng)上有可能影響數(shù)據(jù)傳輸速度和穩(wěn)定性的瓶頸和環(huán)節(jié)，使內(nèi)容傳輸?shù)母臁⒏€(wěn)定。通過在網(wǎng)絡各處放置緩存服務器在現(xiàn)有的互聯(lián)網(wǎng)基礎之上構(gòu)成一層智能虛擬網(wǎng)絡，CDN網(wǎng)絡能夠?qū)崟r地根據(jù)網(wǎng)絡流量和各節(jié)點的連接、負載狀況以及到用戶的距離和響應時間等綜合信息將用戶的請求重新導向離用戶最近的服務節(jié)點上。其目的是使用戶可就近取得所需內(nèi)容，解決Internet網(wǎng)絡擁擠的狀況，提高用戶訪問網(wǎng)站的響應速度。
[0005]雖然CDN在技術(shù)和產(chǎn)業(yè)方面取得了巨大成功，但是依然存在許多問題和挑戰(zhàn)。第一，隨著互聯(lián)網(wǎng)流量特別是視頻流量的快速增長，對CDN的內(nèi)容存儲、路由和調(diào)度都提出了新的要求。第二，由于CDN對ISP提供的服務器的網(wǎng)絡狀態(tài)信息缺乏足夠的了解，因此CDN在內(nèi)容的分發(fā)和路由的分配上還存在優(yōu)化空間。第三，隨著移動互聯(lián)網(wǎng)、LTE(4G Long TermEvolut1n，長期演進)、云計算及大數(shù)據(jù)的不斷發(fā)展成熟，傳統(tǒng)的CDN架構(gòu)也需要進行改進。
[0006]因此，如何將⑶N與底層的ISP提供的服務器的網(wǎng)絡進行協(xié)同處理是目前一個值得關注的問題，通過感知網(wǎng)絡的拓撲、鏈路負載信息，優(yōu)化內(nèi)容分發(fā)的傳輸路徑，從而降低請求響應的時延，提高內(nèi)容分發(fā)能力。
[0007]為了實現(xiàn)CDN與ISP的協(xié)同，現(xiàn)有技術(shù)采用了如下方案:
[0008]現(xiàn)有技術(shù)一，是CaTE(內(nèi)容感知的流量工程)方案，通過使用ISP推薦的內(nèi)容服務器，優(yōu)化CDN緩存服務器的選擇，從而縮短終端用戶訪問內(nèi)容的時間。CaTE需要依靠CDN和ISP在短時間內(nèi)(分鐘級甚至秒級)的緊密協(xié)作，為了實現(xiàn)這個目標，ISP必須收集和處理網(wǎng)絡信息。同時，候選的⑶N緩存服務器必須與ISP保持通信，并且還需要對這些候選的⑶N緩存服務器進行排名。CaTE系統(tǒng)安裝在ISP內(nèi)，并與⑶N網(wǎng)絡中的選擇器通信交互。CaTE的主要任務是:(I)維持一個最新的ISP所在網(wǎng)絡及其屬性的網(wǎng)絡狀態(tài)信息圖；(2)產(chǎn)生基于終端用戶和候選服務器之間路徑的優(yōu)先排名；(3)和CDN網(wǎng)絡選擇器通信，來優(yōu)化終端用戶到內(nèi)容服務器的分配。
[0009]CaTE架構(gòu)由三部分組成，網(wǎng)絡監(jiān)測部分、查詢處理部分、ISP與⑶N之間通信接口部分。
[0010](I)網(wǎng)絡監(jiān)測部分
[0011]網(wǎng)絡監(jiān)測部分收集ISP所在網(wǎng)絡的網(wǎng)絡拓撲和網(wǎng)絡狀態(tài)的信息，網(wǎng)絡監(jiān)測部分包括拓撲信息模塊、連接性信息模塊、網(wǎng)絡映射數(shù)據(jù)庫模塊三個模塊。其中，拓撲信息模塊主要用于收集關于網(wǎng)絡拓撲的詳細信息，如路由和鏈路，以及鏈路的利用率，路由負載和拓撲變化等;連接性信息模塊主要用于使用路由信息計算流量，以選擇路徑；網(wǎng)絡映射數(shù)據(jù)庫模塊主要用于存儲由拓撲信息模塊和連接性信息模塊收集的信息，并建立網(wǎng)絡狀態(tài)信息圖。
[0012](2)查詢處理部分
[0013]查詢處理部分用于接收一個來自CDN的內(nèi)容請求的描述，利用網(wǎng)絡映射數(shù)據(jù)庫模塊所建立的網(wǎng)絡狀態(tài)信息圖，對候選的CDN緩存服務器進行排名，獲得可用CDN緩存服務器排名列表;將所述列表推薦給CDN網(wǎng)絡。
[0014](3)通信接口部分
[0015]用于CaTE架構(gòu)中的網(wǎng)絡監(jiān)測部分與查詢處理部分與外部或內(nèi)部進行通信。
[0016]在整個的通信過程中，雖然ISP的CaTE系統(tǒng)中的查詢處理部分對⑶N中的緩存服務器進行了排序和推薦，但是最終的選擇一個緩存服務器去執(zhí)行用戶請求的權(quán)利還是在CDN網(wǎng)絡，ISP不清楚CDN最終選擇的為客戶端提供服務的CDN緩存服務器，正是由于這個原因也導致了 ISP對整個網(wǎng)絡流量的控制很弱。
[0017]現(xiàn)有技術(shù)二，是一種基于SDN(Software Defined Network，軟件定義網(wǎng)絡WtlCDN與ISP的協(xié)同方案，該方案遵循以下三個原則:一、相互隱藏CDN與ISP雙方的相關信息，來激勵各方進行更加有效的協(xié)同操作;二、由于集成的流量管理，要求在極短的時間內(nèi)對流量進行檢測和管理;三、由CDN決定為某個客戶端提供服務的緩存服務器。
[0018]圖1展示了該系統(tǒng)的設計架構(gòu)圖和該方案的具體流程圖:
[0019](I)客戶端向內(nèi)容提供商請求內(nèi)容，請求內(nèi)容的URL通過DNS服務器解析，被重定向至RC(重定向中心)。
[0020](2)RC終止客戶端的TCP連接，并將該TCP連接的HTTP的相關信息通知給⑶N網(wǎng)絡，由⑶N網(wǎng)絡決定為用戶服務的⑶N緩存服務器。
[0021](3)對中斷的TCP連接進行迀移，從RC迀移至選定的⑶N緩存服務器。為了確保無縫迀移，RC會向用戶接入側(cè)的OpenFlow(控制器和交換機之間的標準協(xié)議)網(wǎng)絡下發(fā)相應的流表來重定向數(shù)據(jù)流到指定的CDN緩存服務器，確保TCP數(shù)據(jù)流的迀移。
[0022](4)最后，由CDN指定的緩存服務器與發(fā)起請求的客戶端進行交互，以處理該客戶端所請求的內(nèi)容。
[0023]由于在本方案中要進行TCP迀移，而TCP的迀移過程需要收集所有的與連接狀態(tài)相關的信息，這樣就導致了系統(tǒng)的復雜度高。

【發(fā)明內(nèi)容】

[0024]本發(fā)明實施例公開了一種⑶N與ISP協(xié)同處理數(shù)據(jù)的方法及裝置，ISP既可以獲知CDN網(wǎng)絡選擇的為客戶端提供服務的緩存服務器，還可以降低系統(tǒng)復雜度。通過感知協(xié)同處理模塊與各個接口的交互，實現(xiàn)ISP和CDN的協(xié)同，降低系統(tǒng)設計復雜度。
[0025]為了達到上述目的，本發(fā)明實施例公開了一種⑶N與ISP協(xié)同處理數(shù)據(jù)的方法，所述ISP所在網(wǎng)絡內(nèi)包含網(wǎng)絡信息數(shù)據(jù)庫、感知協(xié)同處理模塊、SDN控制器，所述CDN網(wǎng)絡中包括緩存服務器和負載均衡服務器，所述用戶端中包括客戶端，所述的方法包括:
[0026]CDN網(wǎng)絡中的負載均衡服務器接收來自客戶端的域名查詢請求，所述域名查詢請求中包括客戶端源IP地址;負載均衡服務器選擇與所述客戶端源IP地址對應的可用候選緩存服務器的IP地址列表，將所述客戶端源IP以及可用候選緩存服務器的IP地址列表發(fā)送給ISP中的感知協(xié)同處理模塊；
[0027]ISP網(wǎng)絡中的感知協(xié)同處理模塊依據(jù)負載均衡服務器發(fā)送來的消息，查詢網(wǎng)絡信息數(shù)據(jù)庫，根據(jù)網(wǎng)絡信息數(shù)據(jù)庫中記錄的網(wǎng)絡狀態(tài)信息，對所述可用候選緩存服務器進行排序，將排序后的IP地址列表發(fā)送給CDN網(wǎng)絡中的負載均衡服務器；
[0028]CDN網(wǎng)絡中的負載均衡服務器根據(jù)排序后的IP地址列表，以及自身網(wǎng)絡中緩存服務器的當前狀態(tài)，確定最終為客戶端提供服務的緩存服務器，將所確定的緩存服務器的IP地址反饋給客戶端；
[0029]所述為客戶端提供服務的緩存服務器接收到來自客戶端的業(yè)務請求后，將所述業(yè)務所涉及的基本信息發(fā)送給ISP中的感知協(xié)同處理模塊;所涉及的基本信息包括客戶端源IP地址，為客戶端提供服務的緩存服務器的IP地址，業(yè)務所要求的最低速率；
[0030]ISP中的感知協(xié)同處理模塊接收來自緩存服務器的消息，記錄客戶端源IP地址以及為所述客戶端提供服務的緩存服務器的IP地址的對應關系，通知SDN控制器，建立從所述可用緩存服務器到客戶端之間的能滿足所述業(yè)務要求的有保障的鏈路;所述通知中包括業(yè)務所要求的最低速率；
[0031 ] ISP中的感知協(xié)同處理模塊接收到來自SDN控制器的鏈路建立完成信息后，通知所述為客戶端提供服務的緩存服務器，以使所述緩存服務器開始與所述客戶端進行交互。
[0032]可選的，所述方法還包括:所述緩存服