一種眾包的內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)、方法與裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)通信領(lǐng)域，尤其一種眾包的內(nèi)容分發(fā)網(wǎng)絡(luò)的系統(tǒng)、方法與設(shè)備。
【背景技術(shù)】
[0002]互聯(lián)網(wǎng)(Internet)商業(yè)化運(yùn)營中，由于多數(shù)服務(wù)均采用C/S (客戶端/服務(wù)器)模式，少數(shù)的中心服務(wù)器一方面由于自身的帶寬、存儲容量有限，在服務(wù)成千上萬的用戶特別是有大量用戶請求瞬間擁入時(shí)，很容易成為整個(gè)網(wǎng)絡(luò)服務(wù)的瓶頸；另一方面由于距離用戶的地理距離、網(wǎng)絡(luò)拓?fù)渚嚯x可能較遠(yuǎn)，且可能跨越多個(gè)ISP (Internet Service Provider,互聯(lián)網(wǎng)服務(wù)提供商或運(yùn)營商)，傳輸路徑中很容易遭受網(wǎng)絡(luò)擁塞和抖動，以及運(yùn)營商的限速坐寸ο
[0003]在上述情況下,用戶得不到較好的QoE(Quality of Experience,服務(wù)體驗(yàn)質(zhì)量)。
[0004]20世紀(jì)90年代后期,各大Web站點(diǎn)的hot spot (熱點(diǎn))和flash crowd (突發(fā)訪問)的現(xiàn)象越來越突出，造成的瓶頸問題不僅可以擊垮一個(gè)網(wǎng)站，甚至?xí)矶嗝字Z效應(yīng)一站點(diǎn)附近的網(wǎng)絡(luò)都將受災(zāi)。
[0005]為了解決前述各現(xiàn)象越來越突出，造成Web內(nèi)容傳送越來越慢、服務(wù)越來越不可靠的問題，萬維網(wǎng)(World Wide Web)之父Tim Berners-Lee在MIT (麻省理工學(xué)院)內(nèi)部發(fā)起了一個(gè)旨在改進(jìn)互聯(lián)網(wǎng)內(nèi)容傳送方式的競賽，參與此競賽的研究生Daniel Lewin和其導(dǎo)師Tom Leighton基于參與此競賽的成果在不久之后創(chuàng)辦了后來世界上最大的⑶N(ContentDelivery Network,內(nèi)容分發(fā)網(wǎng)絡(luò))公司一Akamai。
[0006]⑶N的基本思路即是在網(wǎng)絡(luò)中，跨地域、跨ISP地部署一系列服務(wù)器，并且以特定算法把特定內(nèi)容多副本地分發(fā)到不同服務(wù)器上，重定向用戶請求，使得用戶能夠從距離自己較近的服務(wù)器上獲取內(nèi)容。但是，拓?fù)渖蟻碇v，即使花費(fèi)巨大成本，這個(gè)距離還可能不是足夠近。
[0007]大約2005年之后，P2P (peer-to-peer,點(diǎn)對點(diǎn)即對等節(jié)點(diǎn))網(wǎng)絡(luò)的應(yīng)用開始流行并且持續(xù)了一段時(shí)間。在P2P網(wǎng)絡(luò)中，節(jié)點(diǎn)沒有了明顯的C/S的區(qū)別，而每個(gè)節(jié)點(diǎn)都可以在獲取數(shù)據(jù)的同時(shí)服務(wù)其他節(jié)點(diǎn)。由于當(dāng)時(shí)用戶的設(shè)備內(nèi)外存的存儲空間有限，P2P主要用于流媒體直播場景一在此場景中，特定時(shí)刻不同用戶需求數(shù)據(jù)的重疊度較高。然而，由于深受spyware (間謀軟件或流飯軟件)的影響，多數(shù)用戶并不情愿安裝單獨(dú)(standalone)的客戶端，P2P應(yīng)用逐漸失去了魅力。
[0008]2010年后，隨著云計(jì)算技術(shù)的成熟和大規(guī)模部署，⑶N廠商開始融合云技術(shù)，并且應(yīng)用多層的架構(gòu)，從ISP的數(shù)據(jù)中心和/或邊緣機(jī)房“批發(fā)”帶寬和存儲，把服務(wù)“零售”給云的使用者即內(nèi)容提供商(Content Provider, CP)。Cloud Q)N似乎贏得了和P2P這場網(wǎng)絡(luò)戰(zhàn)爭的勝利。
[0009]然而，構(gòu)建一整套⑶N體系的開支不菲，而且其包括帶寬和存儲的運(yùn)營成本也較高。這導(dǎo)致了在多數(shù)發(fā)展中國家只有極少數(shù)規(guī)模最大、盈利能力較好的內(nèi)容提供商才能夠承擔(dān)得起自建或租借CDN服務(wù)的費(fèi)用。
[0010]再者，隨著W1-F1、3G/4G/5G網(wǎng)絡(luò)的應(yīng)用與普及，移動設(shè)備數(shù)量的指數(shù)級增長，以及富媒體應(yīng)用的流行，用戶對內(nèi)容(包括并不限于HTML網(wǎng)頁、JS腳本、圖片、音視頻、流及動態(tài)內(nèi)容)等的帶寬需求越來越大。而上述技術(shù)改善的是終端到基站或者網(wǎng)關(guān)這一段的網(wǎng)絡(luò)速度，而運(yùn)營商(ISP)的骨干傳輸網(wǎng)絡(luò)(backbone network)并沒有因此而本質(zhì)上變寬,這些技術(shù)部署后，面向用戶的“最后一公里瓶頸”得到緩解，但隨之而來的是用戶更大的流量或帶寬需求，中間的傳輸骨干網(wǎng)面臨更大的沖擊，內(nèi)容提供商對CDN需求會明顯增加。
[0011]此外，CDN本質(zhì)上是通過減輕用戶數(shù)/用戶請求量與邊緣節(jié)點(diǎn)一用戶的可用帶寬之間的逆線性關(guān)系而工作的。其結(jié)果是，給定CDN服務(wù)的用戶數(shù)如果持續(xù)增加，其整體用戶體驗(yàn)必定會下滑。
[0012]近年來，為了縮減成本，一些廠商開始嘗試采用⑶N和P2P混合的模式。融合的技術(shù)可分為兩種:一種是在CDN服務(wù)器節(jié)點(diǎn)之間使用P2P傳輸技術(shù)來進(jìn)行內(nèi)容的分發(fā)、交換，并互相備份，以提高中心服務(wù)器(內(nèi)容的源點(diǎn))向CDN末端服務(wù)器(邊緣節(jié)點(diǎn))進(jìn)行內(nèi)容分發(fā)的效率。二是在傳統(tǒng)P2P網(wǎng)絡(luò)中加入⑶N的管理機(jī)制和服務(wù)能力，形成一個(gè)以內(nèi)容分發(fā)網(wǎng)絡(luò)為中心，對等傳輸為邊緣的傳輸架構(gòu)，使原對等傳輸網(wǎng)絡(luò)具有更強(qiáng)的內(nèi)容及用戶的可管理性，同時(shí)使整個(gè)網(wǎng)絡(luò)的流量更加有序。
[0013]美國專利US 2008/0155061A1描述了一個(gè)混合⑶N和P2P的系統(tǒng)，用戶對資源的請求最終到底是由CDN還是P2P網(wǎng)絡(luò)來提供取決于兩者的負(fù)載和帶寬情況。
[0014]中國專利CN 200710086556.7則具體描述了在這種混合架構(gòu)中的一種承載和調(diào)度策略:當(dāng)CDN某一邊緣節(jié)點(diǎn)服務(wù)的區(qū)域用戶超過某一閾值時(shí)，原有客戶端變?yōu)镻2P節(jié)點(diǎn)，來服務(wù)后加入的用戶。
[0015]但是，以上的方法中，一者CDN邊緣節(jié)點(diǎn)仍是構(gòu)建在服務(wù)一個(gè)到數(shù)個(gè)省級行政區(qū)域的ISP機(jī)房的服務(wù)器上，對網(wǎng)絡(luò)的邊緣并不能很好地覆蓋，事實(shí)上用戶距所服務(wù)的CDN邊緣的平均距離遠(yuǎn)大于一跳，例如大多數(shù)CDN對于中國西部超過五省的服務(wù)僅用成都的一個(gè)CDN機(jī)房覆蓋；二者P2P模塊構(gòu)建在了用戶直接使用服務(wù)的PC、PDA、智能手機(jī)、平板電腦等設(shè)備上，這樣幾乎不可避免會讓用戶感知其對用戶設(shè)備I/O和CPU的使用，消耗移動設(shè)備電池電量，從而傷害用戶體驗(yàn)；三者CDN和P2P的使用都有次序的，并不是真正意義上融合了CDN和P2P技術(shù)的方案；四者CDN和P2P之間的帶寬調(diào)度太粗糙，事實(shí)上在真實(shí)的商業(yè)系統(tǒng)中根本不可能采用這么簡單而模糊的方式來調(diào)度二者流量。

【發(fā)明內(nèi)容】

[0016]為解決內(nèi)容提供商中心服務(wù)器帶寬和處理能力瓶頸，ISP骨干網(wǎng)壓力大，⑶N運(yùn)營和使用成本高，CDN和P2P系統(tǒng)不能無縫融合、靈活調(diào)度等問題，本發(fā)明在距離終端用戶最近的“零跳”設(shè)備如智能路由器和網(wǎng)頁瀏覽器上構(gòu)建分層、眾包的內(nèi)容分發(fā)網(wǎng)絡(luò)，并且設(shè)計(jì)出一整套使各方都獲益的商業(yè)運(yùn)營方法。
[0017]本發(fā)明的第一個(gè)方面提出一種眾包的內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)，包括中心和邊緣兩大部分，其中，
中心包含對邊緣節(jié)點(diǎn)的管理模組，用于部署、更新、配置邊緣節(jié)點(diǎn)的服務(wù)器或處理模組，索引邊緣節(jié)點(diǎn)的資源信息和當(dāng)前狀態(tài)，對邊緣部分提供統(tǒng)一或分層的管理；
邊緣部分包含邊緣服務(wù)器或邊緣處理模組，全部或部分地直接部署在與所有者網(wǎng)絡(luò)拓?fù)渚嚯x為零跳(Zero Hop)的具有局域網(wǎng)-廣域網(wǎng)接入(LAN-WAN Access)功能的設(shè)備或模組上。
[0018]本發(fā)明的第二個(gè)方面提出一種內(nèi)容分發(fā)網(wǎng)絡(luò)方法，包括:
管理與所有者網(wǎng)絡(luò)拓?fù)渚嚯x為零跳的具有局域網(wǎng)-廣域網(wǎng)接入功能的設(shè)備或模組，以及部署在其上的功能模組；
根據(jù)所述設(shè)備或模組的物理特性和歷史在線時(shí)長分布特定決定所述部署在其上的功能模組的工作方式，以及對哪些位置的資源進(jìn)行索引；
根據(jù)所服務(wù)業(yè)務(wù)和/或用戶當(dāng)前使用的業(yè)務(wù)/資源特征決定對資源的索引、查找和傳輸?shù)姆绞剑?br> 根據(jù)所述設(shè)備或模組所在的網(wǎng)絡(luò)位置、連接性、負(fù)載、服務(wù)容量、資源量、資源特征、所有者或頻繁訪問者在社交網(wǎng)絡(luò)或興趣域上的距離之中一個(gè)或多個(gè)信息決定加速節(jié)點(diǎn)選擇/資源查找的方式；根據(jù)場景需要在數(shù)據(jù)傳輸之前嘗試協(xié)助邊緣設(shè)備或模組之間建立P2P連接。
[0019]本發(fā)明的第三個(gè)方面還提出一種內(nèi)容分發(fā)網(wǎng)絡(luò)裝置，其為前述邊緣部分的組成要素或元節(jié)點(diǎn)，并使用前述的方法來工作。
[0020]本發(fā)明的第四個(gè)方面還提出一種眾包的內(nèi)容分發(fā)網(wǎng)絡(luò)的商業(yè)方法，以類傳統(tǒng)⑶N的方式從內(nèi)容提供商處獲得流量收益，并按用戶所貢獻(xiàn)的峰值帶寬和/或總分發(fā)數(shù)據(jù)量，將一部分收益回饋用戶。
[0021 ] 相對于現(xiàn)有技術(shù)，本發(fā)明的有益效果如下。
[0022]相對傳統(tǒng)P2P應(yīng)用，因?yàn)楣ぷ髟谟脩袈酚善鞯染W(wǎng)絡(luò)設(shè)備，而不是PC、PDA、智能移動電話等用戶可直接感知的計(jì)算設(shè)備上，本發(fā)明的諸多服務(wù)對用戶來說幾乎透明，對用戶使用其他服務(wù)的QoE的影響幾乎可以忽略不計(jì)。
[0023]優(yōu)化了整個(gè)網(wǎng)絡(luò)中的流量，使大部分的數(shù)據(jù)傳輸僅發(fā)生在距用戶0-2跳處，緩解了對ISP骨干網(wǎng)的壓力和對CP中心服務(wù)器的壓力。
[0024]重新規(guī)劃非時(shí)間敏感(time insensitive)的任務(wù)與數(shù)據(jù)傳輸,宏觀上為CP縮減運(yùn)營成本。
[0025]減少對資源和能源的浪費(fèi)。本發(fā)明一方面充分利用了近用戶端的空閑帶寬。另一方面，絕大多數(shù)用戶有持續(xù)長的時(shí)間，甚至7天X24小時(shí)不間斷保持路由器等網(wǎng)絡(luò)接入設(shè)備開啟的習(xí)慣，而這些設(shè)備的空閑功耗還滿載功耗仍在一個(gè)數(shù)量級，本發(fā)明已較低的額外功耗，使得用戶端的任務(wù)運(yùn)行和流量傳輸盡量發(fā)生在“一公里”之內(nèi)，減少了中心服務(wù)器的能耗。
[0026]本發(fā)明是構(gòu)建在數(shù)據(jù)中心里高可靠性的“云計(jì)算”的一種有力補(bǔ)充，可以定義為“霧”(Fog)、“本地云” (Local Cloud)或“朵云” (Crowd Cloud)的一種應(yīng)用形式或補(bǔ)充。
[0027]當(dāng)然，實(shí)施本發(fā)明的任一產(chǎn)品、提供的任一商業(yè)服務(wù)并不一定需要同時(shí)具備以上所有特征或達(dá)到以上所述的