專(zhuān)利名稱(chēng)：一種基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息技術(shù)領(lǐng)域，特別涉及到由分布式節(jié)點(diǎn)組成的內(nèi)容分發(fā)網(wǎng)絡(luò)技術(shù) 領(lǐng)域中的一種基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法。
背景技術(shù)：
CDN的全稱(chēng)是Content Distribution/Delivery Network,即內(nèi)容分發(fā)網(wǎng)絡(luò)。其目的 是通過(guò)在現(xiàn)有的Internet中增加一層新的網(wǎng)絡(luò)架構(gòu)，即提供透明服務(wù)的中間層，將網(wǎng) 站的內(nèi)容發(fā)布到最接近用戶的網(wǎng)絡(luò)邊緣，從而使得用戶能以最快的速度，從最接近 用戶的地方獲得所需的信息， 一方面，CDN可以減少延遲，解決Internet網(wǎng)絡(luò)擁擠 的狀況；另一方面，還可以有效實(shí)現(xiàn)多種寬帶應(yīng)用，提高響應(yīng)速度和服務(wù)質(zhì)量，特 別是在流媒體傳輸方面有著其它技術(shù)無(wú)可比擬的優(yōu)勢(shì)。
在CDN系統(tǒng)中，為了使用戶快速取得數(shù)據(jù)， 一個(gè)文件常常被生成多個(gè)副本，散 落的放置于網(wǎng)絡(luò)中，如何對(duì)這些副本進(jìn)行合理地生成和維護(hù)，則是CDN系統(tǒng)的重要 問(wèn)題。P2P技術(shù)由于其自組織、負(fù)載均衡等優(yōu)勢(shì)，受到了廣泛的關(guān)注，也越來(lái)越多的 被應(yīng)用在CDN的研究中。
結(jié)構(gòu)化P2P網(wǎng)絡(luò)又稱(chēng)為分布式哈希表(簡(jiǎn)稱(chēng)DHT)，每個(gè)節(jié)點(diǎn)都通過(guò)某種哈希 算法得到一個(gè)唯一ID值，所有應(yīng)用實(shí)體(如對(duì)象，object),也通過(guò)該哈希算法得到 一個(gè)與節(jié)點(diǎn)ID在同一個(gè)數(shù)值空間的object ID值，同樣也有一個(gè)唯一的放置節(jié)點(diǎn)，該 放置節(jié)點(diǎn)就叫做該object的主節(jié)點(diǎn)，稱(chēng)作home node。對(duì)object的查找即對(duì)其home node的定位，該過(guò)程是通過(guò)査詢(xún)發(fā)起節(jié)點(diǎn)的鄰居作為中介而逐跳進(jìn)行的，直至找到 目標(biāo)或查找失敗為止。在DHT網(wǎng)絡(luò)中，假設(shè)哈希值的ID空間為M個(gè)bit位的數(shù)值， 從左到右，所有匹配大于等于1位數(shù)值的ID，稱(chēng)為在一個(gè)等級(jí)，即一個(gè)level。 一個(gè) object如果其level為1，表示平均路由1跳就可以找到該object,因此，需要在1跳 覆蓋之外的所有節(jié)點(diǎn)上對(duì)該數(shù)據(jù)進(jìn)行備份。以Pastry為路由協(xié)議為例，object的level 為1則對(duì)應(yīng)了一個(gè)楔形的節(jié)點(diǎn)區(qū)域，表示該區(qū)域的所有節(jié)點(diǎn)需要對(duì)object進(jìn)行備份， 若網(wǎng)絡(luò)中節(jié)點(diǎn)總數(shù)為N，基數(shù)為b，則需要N/b'個(gè)節(jié)點(diǎn)進(jìn)行備份。因此，如何計(jì)算每 個(gè)object所對(duì)應(yīng)的level值，則是副本放置的關(guān)鍵。文件的流行度是指一個(gè)文件受用戶的歡迎程度，以用戶對(duì)該文件的訪問(wèn)頻率來(lái) 表示，比如被用戶點(diǎn)播、下載的次數(shù)等。在CDN系統(tǒng)中，常常根據(jù)每個(gè)文件流行度 的不同來(lái)計(jì)算文件的副本等級(jí)數(shù)，生成對(duì)應(yīng)副本并放置于網(wǎng)絡(luò)中。實(shí)際中，大多數(shù) 的CDN主要對(duì)流媒體等大文件進(jìn)行分發(fā)和存儲(chǔ)，而通過(guò)視頻點(diǎn)播等系統(tǒng)的研究發(fā)現(xiàn)， 盡管一個(gè)文件被點(diǎn)播了多次，但用戶在整個(gè)文件時(shí)間域上的訪問(wèn)行為并不是平均分 布的。以電影為例，用戶對(duì)文件的開(kāi)頭和結(jié)尾更感興趣，而常常跳過(guò)對(duì)中間內(nèi)容的 觀看。同時(shí)，長(zhǎng)度短的影片和長(zhǎng)的影片也具有不同的訪問(wèn)規(guī)律。文件的時(shí)域訪問(wèn)特 征可以通過(guò)長(zhǎng)時(shí)間積累的歷史訪問(wèn)數(shù)據(jù)進(jìn)行擬合得到，許多數(shù)值分析的相關(guān)方法可 以應(yīng)用，這里不再贅述。因此，根據(jù)流行度信息對(duì)大文件整體進(jìn)行副本生成，并不 符合用戶的實(shí)際需求，同時(shí)，會(huì)導(dǎo)致大量存儲(chǔ)空間被不常被訪問(wèn)的數(shù)據(jù)占用。
綜上所述，可知一個(gè)文件在時(shí)間域上的用戶行為特征，對(duì)正確放置數(shù)據(jù)副本有 著重要意義。
發(fā)明內(nèi)容
為了解決上述問(wèn)題，本發(fā)明的目的在于提供一種基于訪問(wèn)頻度變長(zhǎng)邏輯分段的 數(shù)據(jù)分發(fā)方法。該方法將文件切分成細(xì)粒度的單元，基于用戶在文件不同時(shí)間段上 訪問(wèn)頻度的差異，為文件生成變長(zhǎng)邏輯分段，針對(duì)不同邏輯分段分別進(jìn)行基于流行 度(即頻度)的多副本放置，使數(shù)據(jù)在CDN網(wǎng)絡(luò)中的副本分布更加符合用戶的實(shí)際 訪問(wèn)習(xí)慣。同時(shí)，細(xì)粒度的文件切片，使得用戶訪問(wèn)行為的統(tǒng)計(jì)更加精準(zhǔn)，便于對(duì) 用戶訪問(wèn)頻度特征基于時(shí)間變化的更新，并應(yīng)用于內(nèi)容分發(fā)的副本生成上，使系統(tǒng) 中的數(shù)據(jù)分布自適應(yīng)的隨時(shí)間進(jìn)行調(diào)整。另外，多級(jí)索引的應(yīng)用，有效降低了數(shù)據(jù) 副本等級(jí)調(diào)整時(shí)所帶來(lái)的通信開(kāi)銷(xiāo)，提高了系統(tǒng)性能。
為達(dá)到上述目的，本發(fā)明提供一種基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法，
對(duì)于分發(fā)到網(wǎng)絡(luò)中的文件/，分發(fā)過(guò)程如下
1) 將文件切分為大小相等的小數(shù)據(jù)塊(Unit Block,簡(jiǎn)稱(chēng)"6)序列 w62， …，"W 。
2) 根據(jù)文件的初始用戶訪問(wèn)概率分布函數(shù)gf力，計(jì)算得到每一個(gè)"6,.的訪問(wèn)概率 積分，整個(gè)序列的概率為{仏，&， ...，這里，文件的初始用戶訪問(wèn)概率分布函數(shù)g(3c)，可通過(guò)如下方法得到
i) 通過(guò)最小二乘法等數(shù)值分析方法對(duì)歷史訪問(wèn)數(shù)據(jù)進(jìn)行曲線擬合，從而得到gf力 函數(shù)中的參數(shù)值，gf^常用的分布有
a) g(^呈指數(shù)分布，如/0c)-fle、其中a,6為待估參數(shù)，；c表示樣本觀測(cè)時(shí)間 在整個(gè)文件時(shí)長(zhǎng)上的位置比例，OSxSl;
b) g^呈兩個(gè)指數(shù)分布的線性疊加，如/(Jc)-",+C，其中a，6，c，d為待估
參數(shù)，x表示樣本觀測(cè)時(shí)間在整個(gè)文件時(shí)長(zhǎng)上的位置比例，0Sjc^1;
ii) 根據(jù)經(jīng)驗(yàn)，預(yù)先設(shè)定的分布模型。
3)為了加快優(yōu)化速度，減少待估計(jì)參數(shù)，通過(guò)合并算法，將^序列進(jìn)行合并， 生成數(shù)據(jù)片段(segmentation)序列{"&， s吸.....^&}，并為每個(gè)數(shù)據(jù)片段"g
計(jì)算流行度和副本等級(jí)，其副本等級(jí)計(jì)算方法如下
假設(shè)Z)"是用于計(jì)算副本數(shù)目的函數(shù)，其只跟副本等級(jí)和總節(jié)點(diǎn)數(shù)相關(guān)，則目
標(biāo)方程可以寫(xiě)為
、，
F'(，八)=arg mi《Z ) +《Z c ,^人* - ^4》
其中，^為第m個(gè)文件的數(shù)據(jù)片段數(shù)目；c^為第m個(gè)文件中第A:個(gè)seg中所 包含的W數(shù)目；/^為第m個(gè)文件中第yt個(gè)seg所對(duì)應(yīng)的副本等級(jí)數(shù)，這里，通過(guò) 數(shù)值分析中的線性規(guī)劃算法，來(lái)估計(jì)該/^的值；《^為第m個(gè)文件中第A:個(gè)seg對(duì) 應(yīng)的用戶訪問(wèn)概率；^為預(yù)設(shè)的平均延遲；
這里，將"6序列合并時(shí)所采用的W合并算法，可以有采用以下的任意一種方
式
i) 預(yù)先設(shè)置切分概率和x，從文件頭開(kāi)始，對(duì)"6的概率值進(jìn)行累加，當(dāng)達(dá)到大
于等于X時(shí)，則切分為Wgj;從下一個(gè)開(kāi)始重新累積概率，相同的方法，得到 Wg一2，以此類(lèi)推，直至將文件中切分成Wg序列為止；
ii) 根據(jù)應(yīng)用的不同，人工或者通過(guò)程序設(shè)定每個(gè)^g中"6的數(shù)目。
另外，用于計(jì)算副本數(shù)目的函數(shù)"^，不同DHT協(xié)議都有其自己的計(jì)算方法， 即，每個(gè)不同的DHT結(jié)構(gòu)都可計(jì)算各自的函數(shù)D(7,比如在Pastry中= AW/，其中，W為網(wǎng)絡(luò)中的節(jié)點(diǎn)總數(shù)，6為Pastry的基數(shù)，/為副本等級(jí)；在Chord中， =^/^。該函數(shù)D(^可以根據(jù)應(yīng)用所采用的DHT協(xié)議而分析得到。具體方法可參見(jiàn) 相應(yīng)的DHT協(xié)議，這里不再贅述。
4) 根據(jù)所述步驟3)中的計(jì)算結(jié)果，得到所有wg的副本等級(jí)數(shù)，也對(duì)應(yīng)了所 有"6的副本等級(jí)，然后對(duì)文件的所有"6根據(jù)其等級(jí)在CDN網(wǎng)絡(luò)中進(jìn)行放置，
在放置時(shí)，假設(shè)W的副本等級(jí)為i:,首先計(jì)算w6的ID號(hào)，根據(jù)DHT路由算 法找到當(dāng)前W的主節(jié)點(diǎn)；將"6以及對(duì)應(yīng)副本等級(jí)等相關(guān)信息下載到主節(jié)點(diǎn)；通過(guò) 主節(jié)點(diǎn)的路由表找到與主節(jié)點(diǎn)的ID匹配Z位的所有節(jié)點(diǎn)，將"6復(fù)制到這些節(jié)點(diǎn)上。
5) 為每個(gè)seg生成其一級(jí)索引項(xiàng)，包括每個(gè)W的大小、"g中t/6的起始和 結(jié)尾序號(hào)、wg中所有"6的ID列表以及更新時(shí)間等信息，并根據(jù)的副本等級(jí)將 一級(jí)索引項(xiàng)分布在CDN網(wǎng)絡(luò)中。
6) 通過(guò)整個(gè)文件的流行度信息，計(jì)算整個(gè)文件若不進(jìn)行切分時(shí)對(duì)應(yīng)的副本等級(jí)
7) 對(duì)每個(gè)文件生成二級(jí)索引項(xiàng)列表，包括Wg的ID列表、Wg的開(kāi)始和結(jié)尾
"6序號(hào)以及每個(gè)w大小等等，以文件名的哈希值作為鍵值，并通過(guò)整個(gè)文件的副本
等級(jí)/^對(duì)二級(jí)索引項(xiàng)進(jìn)行放置，放置方法與步驟4)中的方法相同。
8) 文件放置完成后，以T為周期觀測(cè)用戶對(duì)文件不同W上訪問(wèn)頻度的變化， 重新計(jì)算^g邏輯分塊中的W數(shù)目和首尾序號(hào)、訪問(wèn)流行度、副本等級(jí)，并根據(jù)新 的副本等級(jí)調(diào)整W的副本數(shù)目，同時(shí)更新文件的一級(jí)和二級(jí)索引項(xiàng)(其中，T的值 可以根據(jù)實(shí)際應(yīng)用進(jìn)行選擇，比如l天，l周等等)，該過(guò)程步驟如下
a) 每個(gè)W的主節(jié)點(diǎn)home node都保存一個(gè)表征用戶訪問(wèn)頻率的計(jì)數(shù)器；
b) 通過(guò)某個(gè)管理節(jié)點(diǎn)定期收集W的home node中所存儲(chǔ)的用戶訪問(wèn)信息；
c) 管理節(jié)點(diǎn)通過(guò)數(shù)據(jù)副本放置方法重新計(jì)算每個(gè)"6的流行度，并根據(jù)步驟3) 重新切分，得到新的^g序列以及副本等級(jí)信息；
這里，文件的流行度為
<formula>formula see original document page 9</formula>
數(shù)據(jù)塊W的流行度為/-1 ，
其中，flc —c^;為當(dāng)前周期內(nèi)第/個(gè)幼的訪問(wèn)次數(shù)；ac —oW,，,為第/個(gè)周期中，
第z'塊的訪問(wèn)次數(shù)；a為歷史訪問(wèn)數(shù)據(jù)的加權(quán)系數(shù)，且0^a^l;
d)根據(jù)c)中的計(jì)算結(jié)果，調(diào)整對(duì)應(yīng)"6的副本數(shù)目和放置位置，同時(shí)，重新生 成wg—級(jí)索引項(xiàng)和文件二級(jí)索引項(xiàng)，刪除舊的索引項(xiàng)，放置新索引。
另外，在上述步驟4)和步驟7)中，定義計(jì)算wg和w6對(duì)應(yīng)ID的方法時(shí)，需 要滿足如下條件兩種ID生成方法所生成的ID位數(shù)相同，在同一個(gè)數(shù)值空間內(nèi)， 同時(shí)保證ID值不會(huì)沖突。例如，可以采用如下的計(jì)算方法
Seg—ID = Hash(file name) + seg序號(hào)(從1開(kāi)始排列)+seg中起始"6序號(hào)+seg中結(jié) 尾"6序號(hào)；
Ub_ID = Hash(filename) + O...O(位數(shù)與seg序號(hào)的位數(shù)相同)+ W序號(hào)+w6序號(hào)。
另外，在上述步驟3)和步驟6)中的副本等級(jí)計(jì)算中，副本等級(jí)可以通過(guò)下述 任何一個(gè)方法得到
i) 在一定延遲或者帶寬占用的條件下，通過(guò)全局最優(yōu)化或者局部?jī)?yōu)化的方法計(jì) 算得到網(wǎng)絡(luò)中所有文件的副本等級(jí)；
ii) 預(yù)先設(shè)定的副本等級(jí)。
本發(fā)明的在CDN中基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法的有益效果在 于通過(guò)細(xì)粒度的副本生成和放置，使CDN中的數(shù)據(jù)分布更加符合用戶實(shí)際需要。 同時(shí)，隨著時(shí)間的推移，用戶歷史訪問(wèn)信息可以有效的體現(xiàn)出文件流行趨勢(shì)的變化。 通過(guò)歷史信息的自學(xué)習(xí)，調(diào)整用戶訪問(wèn)行為特征，并自動(dòng)更新對(duì)應(yīng)數(shù)據(jù)的副本生成 過(guò)程，使系統(tǒng)在無(wú)監(jiān)督的情況下、低耗地調(diào)整內(nèi)容分布，改善用戶體驗(yàn)。并且將流 行度，即用戶訪問(wèn)頻度信息更精準(zhǔn)的應(yīng)用在副本生成上，使內(nèi)容在CDN中的分布更 加符合用戶需要。針對(duì)媒體文件的特點(diǎn)，有效減少了存儲(chǔ)空間的占用，提高了系統(tǒng) 的服務(wù)能力。自適應(yīng)的調(diào)整和計(jì)算可以無(wú)需人工干預(yù)的完成副本更新，同時(shí)，多級(jí) 索引減少了大數(shù)據(jù)塊的變動(dòng)，有效降低了網(wǎng)絡(luò)中的通信代價(jià)。
圖1是本發(fā)明的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法中的文件變長(zhǎng)邏輯分段示意圖。
圖2是本發(fā)明的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法的流程圖。
圖3是利用本發(fā)明的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法的基于P2P的 二層分發(fā)網(wǎng)絡(luò)結(jié)構(gòu)示意圖。
具體實(shí)施例方式
下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā) 方法進(jìn)行詳細(xì)的說(shuō)明。
本發(fā)明提出一種基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法。該方法將文件切 分成細(xì)粒度的單元，基于用戶在文件不同時(shí)間段上訪問(wèn)頻度的差異，為文件生成變 長(zhǎng)邏輯分段，針對(duì)不同邏輯分段分別進(jìn)行基于流行度(即頻度)的多副本放置，使 數(shù)據(jù)在CDN網(wǎng)絡(luò)中的副本分布更加符合用戶的實(shí)際訪問(wèn)習(xí)慣。同時(shí)，細(xì)粒度的文件 切片，使得用戶訪問(wèn)行為的統(tǒng)計(jì)更加精準(zhǔn)，便于對(duì)用戶訪問(wèn)頻度特征基于時(shí)間變化 的更新，并應(yīng)用于內(nèi)容分發(fā)的副本生成上，使系統(tǒng)中的數(shù)據(jù)分布自適應(yīng)的隨時(shí)間進(jìn) 行調(diào)整。另外，多級(jí)索引的應(yīng)用，有效降低了數(shù)據(jù)副本等級(jí)調(diào)整時(shí)所帶來(lái)的通信開(kāi) 銷(xiāo)，提高了系統(tǒng)性能。
圖1是本發(fā)明的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法中的文件變長(zhǎng)邏輯 分段示意圖。圖2是本發(fā)明的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法的流程圖。 如圖1和圖2所示，本發(fā)明的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法，對(duì)于分 發(fā)到網(wǎng)絡(luò)中的文件/，其分發(fā)過(guò)程如下
1) 將文件切分為大小相等的小數(shù)據(jù)塊(Unit Block,簡(jiǎn)稱(chēng)"6)序列 { w62， …，w6 }。
2) 根據(jù)文件的初始用戶訪問(wèn)概率分布函數(shù)gW，可以計(jì)算得到每一個(gè)t^的訪問(wèn) 概率積分，整個(gè)序列的概率為&，《2， ...， &}。
這里，文件的初始用戶訪問(wèn)概率分布函數(shù)g(3c入可通過(guò)如下方法得到-i)通過(guò)最小二乘法等數(shù)值分析方法對(duì)歷史訪問(wèn)數(shù)據(jù)進(jìn)行曲線擬合，從而得到g「力
函數(shù)中的參數(shù)值，g(3c,常用的分布有a) g^呈指數(shù)分布，如/(x)-a,，其中"，6為待估參數(shù)，；c表示樣本觀測(cè)時(shí)間 在整個(gè)文件時(shí)長(zhǎng)上的位置比例，0S;c^l;
b) g^呈兩個(gè)指數(shù)分布的線性疊加，如/(;c)-a,+C其中a,6，c，c/為待估 參數(shù)，x表示樣本觀測(cè)時(shí)間在整個(gè)文件時(shí)長(zhǎng)上的位置比例，0SxSl。
ii)根據(jù)經(jīng)驗(yàn)，預(yù)先設(shè)定的分布模型。
3)為了加快優(yōu)化速度，減少待估計(jì)參數(shù)，通過(guò)合并算法，將"6序列進(jìn)行合并, 生成數(shù)據(jù)片段(segmentation)序列{"&,"《2， ...， seg*},每個(gè)seg包含多個(gè)w&，
seg內(nèi)w6的流行度相同，即有相同的副本等級(jí)，見(jiàn)圖1所示。
假設(shè)D^是計(jì)算副本數(shù)目的函數(shù)，其只跟副本等級(jí)和總節(jié)點(diǎn)數(shù)相關(guān)，則目標(biāo)方 程可以寫(xiě)為
F'(丄,A) = arg min(Z J Vm 4 ) +義(2 2 、A A,* —洵}
附=1 m=l "1
其中，^為第m個(gè)文件的segmentation的數(shù)目，c^和/^分別為為第m個(gè)文件 中第it個(gè)seg中所包含的W數(shù)目和對(duì)應(yīng)的副本等級(jí)數(shù)，《^為第m個(gè)文件中第A個(gè)
seg對(duì)應(yīng)的用戶訪問(wèn)概率，^為預(yù)設(shè)的平均延遲。這里，通過(guò)數(shù)值分析中的線性規(guī)劃 算法，估計(jì)/#的值。
這里，將"6序列合并時(shí)所采用的W合并算法，可以采用以下的任意一種方式
i) 預(yù)先設(shè)置切分概率和x，從文件頭開(kāi)始，對(duì)"6的概率值進(jìn)行累加，當(dāng)達(dá)到大 于等于x時(shí)，則切分為wg」；從下一個(gè)"6開(kāi)始重新累積概率，相同的方法，得到 wg_2，以此類(lèi)推，直至將文件中切分成seg序列為止；
ii) 根據(jù)應(yīng)用的不同，人工或者通過(guò)程序設(shè)定每個(gè)^g中W的數(shù)目。
另外，D"是一個(gè)只跟副本等級(jí)和總節(jié)點(diǎn)數(shù)相關(guān)的計(jì)算副本數(shù)目的函數(shù)，不同 DHT協(xié)議都有其自己的計(jì)算方法，即，每個(gè)不同的DHT結(jié)構(gòu)都可計(jì)算各自的Z)"， 比如在Pastry中= iV/V，其中，W為網(wǎng)絡(luò)中的節(jié)點(diǎn)總數(shù)，6為Pastry的基數(shù)，/ 為副本等級(jí)；在Chord中，Z)^-A^z。該函數(shù)可以根據(jù)應(yīng)用所采用的DHT協(xié)議而 分析得到。具體方法可參見(jiàn)相應(yīng)的DHT協(xié)議，這里不再贅述。4) 根據(jù)步驟3)中的計(jì)算結(jié)果，可以得到所有wg的副本等級(jí)數(shù)，也對(duì)應(yīng)了所 有"6的副本等級(jí)。對(duì)文件的所有"6根據(jù)其等級(jí)在CDN網(wǎng)絡(luò)中進(jìn)行放置。在放置時(shí)， 假設(shè)"6的副本等級(jí)為丄，則首先計(jì)算"6的ID號(hào)，根據(jù)DHT路由算法找到當(dāng)前W 的主節(jié)點(diǎn)；將t/6以及對(duì)應(yīng)副本等級(jí)等相關(guān)信息下載到主節(jié)點(diǎn)；通過(guò)主節(jié)點(diǎn)的路由表 找到與主節(jié)點(diǎn)的ID匹配丄位的所有節(jié)點(diǎn)，將M6復(fù)制到這些節(jié)點(diǎn)上；
5) 為每個(gè)seg生成其一級(jí)索引項(xiàng)，其中包括每個(gè)"6的大小，seg中"6的起始 和結(jié)尾序號(hào)，seg中所有"6的ID列表，更新時(shí)間等信息，并根據(jù)seg的副本等級(jí)將 一級(jí)索引項(xiàng)分布在CDN網(wǎng)絡(luò)中；
6) 通過(guò)整個(gè)文件的流行度信息，計(jì)算整個(gè)文件若不進(jìn)行切分時(shí)對(duì)應(yīng)的副本等級(jí)
7) 對(duì)每個(gè)文件生成二級(jí)索引項(xiàng)列表，其中包括seg的ID列表，seg的開(kāi)始和結(jié) 尾"6序號(hào)，每個(gè)^大小等等，以文件名的哈希值作為鍵值，并通過(guò)整個(gè)文件的副 本等級(jí)U對(duì)二級(jí)索引項(xiàng)進(jìn)行放置，放置方法與步驟4)中的方法相同。
8) 文件放置完成后，以T為周期觀測(cè)用戶對(duì)文件不同"Z)上訪問(wèn)頻度的變化， 重新計(jì)算seg邏輯分塊中的"6數(shù)目和首尾序號(hào)、訪問(wèn)流行度、副本等級(jí)，并根據(jù)新 的副本等級(jí)調(diào)整W的副本數(shù)目，同時(shí)更新文件的一級(jí)和二級(jí)索引項(xiàng)(其中，T的值 可以根據(jù)實(shí)際應(yīng)用進(jìn)行選擇，比如1天，1周等等)該過(guò)程步驟如下
a) 每個(gè)W的主節(jié)點(diǎn)home node都保存一個(gè)表征用戶訪問(wèn)頻率的計(jì)數(shù)器；
b) 通過(guò)某個(gè)管理節(jié)點(diǎn)定期收集"6的主節(jié)點(diǎn)home node中所存儲(chǔ)的用戶訪問(wèn)信 阜.
/C、,
c) 管理節(jié)點(diǎn)通過(guò)數(shù)據(jù)副本放置方法重新計(jì)算每個(gè)^的流行度，并根據(jù)步驟3) 重新切分，得到新的seg序列以及副本等級(jí)信息；
d) 根據(jù)c)中的計(jì)算結(jié)果，調(diào)整對(duì)應(yīng)"6的副本數(shù)目和放置位置，同時(shí)，重新 生成seg—級(jí)索引項(xiàng)和文件二級(jí)索引項(xiàng)，刪除舊的索引項(xiàng)，放置新索引。
另外，在上述步驟4)和7)中，wg和W的ID計(jì)算方法需要滿足如下條件 兩種ID生成方法所生成的ID位數(shù)相同，在同一個(gè)數(shù)值空間內(nèi)，同時(shí)保證ID值不會(huì) 沖突。例如，可以采用下面的計(jì)算方法Seg—ID = Hash(file name) + seg序號(hào)(從1開(kāi)始排列)+seg中起始W序號(hào)+seg 中結(jié)尾"6序號(hào)；
Ub—ID = Hash(file name) + O...O(位數(shù)與seg序號(hào)的位數(shù)相同)+序號(hào)+w6序號(hào)。
另外，在上述步驟3)和步驟6)中的副本等級(jí)計(jì)算中，副本等級(jí)可以通過(guò)下述 任何一個(gè)方法得到
i) 在一定延遲或者帶寬占用的條件下，通過(guò)全局最優(yōu)化或者局部?jī)?yōu)化的方法計(jì) 算得到網(wǎng)絡(luò)中所有文件的副本等級(jí)；
ii) 預(yù)先設(shè)定的副本等級(jí)。 實(shí)施例
下面結(jié)合具體實(shí)施例對(duì)本發(fā)明的CDN網(wǎng)絡(luò)中的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù) 據(jù)分發(fā)方法做進(jìn)一步闡述。
圖3是利用本發(fā)明的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法的基于P2P的 二層分發(fā)網(wǎng)絡(luò)結(jié)構(gòu)示意圖。如圖3所示，假設(shè)有一個(gè)基于P2P的二層內(nèi)容分發(fā)網(wǎng)絡(luò) 結(jié)構(gòu)，包括管理層和數(shù)據(jù)備份層，這里，管理層主要負(fù)責(zé)所有文件的索引維護(hù)以及 內(nèi)容分發(fā)所需要的切片、計(jì)算過(guò)程；數(shù)據(jù)備份曾則負(fù)責(zé)對(duì)數(shù)據(jù)副本的備份。在這里， 管理層由相互全連通的服務(wù)器組成，數(shù)據(jù)備份曾通過(guò)Pastry路由協(xié)議對(duì)所有節(jié)點(diǎn)進(jìn) 行組織，同時(shí)，每個(gè)節(jié)點(diǎn)至少連接一個(gè)管理層中的管理節(jié)點(diǎn)(LM)。
對(duì)10000個(gè)文件進(jìn)行分發(fā)，假設(shè)文件/的大小為2G，流行度為2500，在10000 個(gè)文件中排名20，文件分發(fā)步驟如下
1) 以1M為基本大小對(duì)文件進(jìn)行切片，得到序列"62， ... ， "62。。。};
2) 假設(shè)初始時(shí)用戶訪問(wèn)特征分布函數(shù)為/Oc) = e-2、計(jì)算文件所有"6的概率 積分值；
3) 設(shè)每個(gè)wg的概率和為O.l， W,開(kāi)始，從左至右，累加w6的概率值，當(dāng)累加 到概率和大于等于O.l的w6時(shí)，則生成一個(gè)wg，新^g的起始點(diǎn)從下一個(gè)W開(kāi)始， 直至整個(gè)文件切分結(jié)束，得到wg序列^e&， wg2， ...， wgl。}，例如各個(gè)^g的 起始和結(jié)尾w6分別為((1， 3)， (4, 10)，…，(1350， 2000) };4) 根據(jù)^g的訪問(wèn)概率和文件流行度，計(jì)算每個(gè)wg對(duì)應(yīng)的流行度值，并通過(guò) 某種副本等級(jí)計(jì)算方法進(jìn)行計(jì)算，生成文件不同犯g的副本等級(jí)序列 {/,， /2，…，/10};
5) 根據(jù)^g的等級(jí)數(shù)，對(duì)wg中包含的所有W在CDN中生成對(duì)應(yīng)副本；
6) 為每個(gè)Wg生成索引信息，包含文件名；Wg序號(hào)；Mg中包含的"6序號(hào) 列表；"6大小以及Mg等級(jí)；
7) 通過(guò)DHT路由算法，將wg的索引信息通過(guò)seg—ID放置在網(wǎng)絡(luò)中，同時(shí)， 根據(jù)Wg的副本等級(jí)生成多個(gè)副本；
8) 為文件生成索引，索引中包含
文件名；Wg的ID序列；Mg的副本等級(jí)序列；每個(gè)的起始和結(jié)尾"6的序號(hào)； W的大小以及最近更新時(shí)間，
9) 通過(guò)整個(gè)文件的流行度計(jì)算副本等級(jí)數(shù)；
10) 通過(guò)DHT路由算法，將文件的索引信息放置在網(wǎng)絡(luò)中，同時(shí)，根據(jù)文件的 副本等級(jí)生成多個(gè)副本；
11) 當(dāng)以48小時(shí)作為更新周期，當(dāng)前為第T個(gè)周期，則用戶行為特征更新過(guò)程
如下
a) 管理節(jié)點(diǎn)LM收集各W的home node中所存儲(chǔ)的用戶訪問(wèn)信息，比如該 W在最近一個(gè)更新周期內(nèi)的被訪問(wèn)次數(shù)；該"6在以前的T-1個(gè)更新周期內(nèi)的被訪問(wèn) 次數(shù)；
b) 管理節(jié)點(diǎn)LM重新計(jì)算文件相關(guān)部分的流行度，比如-
<formula>formula see original document page 15</formula>
文件的流行度為<formula>formula see original document page 15</formula>
其中，m —cw;為當(dāng)前周期內(nèi)第/個(gè)W的訪問(wèn)次數(shù)；ac —0/《,為第f個(gè)周期中，
第Z'塊的訪問(wèn)次數(shù)；a為歷史訪問(wèn)數(shù)據(jù)的加權(quán)系數(shù)，且0《"S1。 同樣，數(shù)據(jù)塊"6的流行度為
<formula>formula see original document page 15</formula>
因此，根據(jù)w新的流行度信息，重新切分文件的^g序列。
c) 根據(jù)步驟b)中新切分的結(jié)果，對(duì)副本等級(jí)有變化的"6進(jìn)行更新，重新生成Mg的一級(jí)索引和文件二級(jí)索引，刪除原來(lái)的索引信息，并根據(jù)流行度更新后計(jì)算得 到的Wg和文件副本等級(jí)進(jìn)行放置。
說(shuō)明文檔中的其他現(xiàn)有技術(shù)內(nèi)容針對(duì)本專(zhuān)業(yè)領(lǐng)域內(nèi)的普通技術(shù)人員，均可進(jìn)行 技術(shù)實(shí)現(xiàn)，這里不再贅述。
權(quán)利要求
1、一種基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法，對(duì)于分發(fā)到網(wǎng)絡(luò)中的文件f，分發(fā)過(guò)程如下1)將文件f切分為大小相等的小數(shù)據(jù)塊ub序列{ub1，ub2，...，ubn}；2)根據(jù)文件f的初始用戶訪問(wèn)概率分布函數(shù)g(x)，計(jì)算得到每一個(gè)ubi的訪問(wèn)概率積分，整個(gè)序列的概率為{q1，q2，...，qn}；3)通過(guò)合并算法，將ub序列進(jìn)行合并，生成數(shù)據(jù)片斷序列{seg1，seg2，...，segk}，并為每個(gè)數(shù)據(jù)片斷seg計(jì)算流行度和副本等級(jí)，其中，副本等級(jí)計(jì)算方法如下假設(shè)D(l)是計(jì)算副本數(shù)目的函數(shù)，其只跟副本等級(jí)和總節(jié)點(diǎn)數(shù)相關(guān)，則目標(biāo)方程為<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><msup> <mi>F</mi> <mo>′</mo></msup><mrow> <mo>(</mo> <mi>L</mi> <mo>,</mo> <mi>Λ</mi> <mo>)</mo></mrow><mo>=</mo><mi>arg</mi><mi>min</mi><mo>{</mo><munderover> <mi>Σ</mi> <mrow><mi>m</mi><mo>=</mo><mn>1</mn> </mrow> <mi>M</mi></munderover><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <msub><mi>k</mi><mi>m</mi> </msub></munderover><msub> <mi>s</mi> <mi>u</mi></msub><msub> <mi>c</mi> <mrow><mi>m</mi><mo>,</mo><mi>k</mi> </mrow></msub><mi>D</mi><mrow> <mo>(</mo> <msub><mi>l</mi><mrow> <mi>m</mi> <mo>,</mo> <mi>k</mi></mrow> </msub> <mo>)</mo></mrow><mo>+</mo><mi>λ</mi><mrow> <mo>(</mo> <munderover><mi>Σ</mi><mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn></mrow><mi>M</mi> </munderover> <munderover><mi>Σ</mi><mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn></mrow><msub> <mi>k</mi> <mi>m</mi></msub> </munderover> <msub><mi>c</mi><mrow> <mi>m</mi> <mo>,</mo> <mi>k</mi></mrow> </msub> <msub><mi>q</mi><mrow> <mi>m</mi> <mo>,</mo> <mi>k</mi></mrow> </msub> <msub><mi>l</mi><mrow> <mi>m</mi> <mo>,</mo> <mi>k</mi></mrow> </msub> <mo>-</mo> <mi>A</mi> <mo>)</mo></mrow><mo>}</mo> </mrow>]]></math></maths>其中，km為第m個(gè)文件的數(shù)據(jù)片斷數(shù)目；cm，k為第m個(gè)文件中第k個(gè)數(shù)據(jù)片斷seg中所包含的小數(shù)據(jù)塊ub數(shù)目；lm，k為第m個(gè)文件中第k個(gè)數(shù)據(jù)片斷seg所對(duì)應(yīng)的副本等級(jí)數(shù)，通過(guò)數(shù)值分析中的線性規(guī)劃算法估計(jì)該lm，k的值；qm，k為第m個(gè)文件中第k個(gè)數(shù)據(jù)片斷seg對(duì)應(yīng)的用戶訪問(wèn)概率，A為預(yù)設(shè)的平均延遲；4)根據(jù)所述步驟3)中的計(jì)算結(jié)果，得到所有數(shù)據(jù)片斷seg的副本等級(jí)數(shù)，同時(shí)對(duì)應(yīng)了所有小數(shù)據(jù)塊ub的副本等級(jí)，然后對(duì)文件的所有小數(shù)據(jù)塊ub根據(jù)其等級(jí)在CDN網(wǎng)絡(luò)中進(jìn)行放置，在放置時(shí)，假設(shè)ub的副本等級(jí)為L(zhǎng)，首先計(jì)算小數(shù)據(jù)塊ub的ID號(hào)，根據(jù)DHT路由算法找到當(dāng)前ub的主節(jié)點(diǎn)；然后將小數(shù)據(jù)塊ub以及對(duì)應(yīng)副本等級(jí)等相關(guān)信息下載到主節(jié)點(diǎn)；再通過(guò)主節(jié)點(diǎn)的路由表找到與主節(jié)點(diǎn)的ID匹配L位的所有節(jié)點(diǎn)，將ub復(fù)制到這些節(jié)點(diǎn)上；5)為每個(gè)數(shù)據(jù)片斷seg生成其一級(jí)索引項(xiàng)，其信息包括每個(gè)小數(shù)據(jù)塊ub的大小、數(shù)據(jù)片斷seg中小數(shù)據(jù)塊ub的起始和結(jié)尾序號(hào)、數(shù)據(jù)片斷seg中所有小數(shù)據(jù)塊ub的ID列表以及更新時(shí)間，并根據(jù)數(shù)據(jù)片斷seg的副本等級(jí)將一級(jí)索引項(xiàng)分布在CDN網(wǎng)絡(luò)中；6)通過(guò)整個(gè)文件的流行度信息，計(jì)算整個(gè)文件若不進(jìn)行切分時(shí)對(duì)應(yīng)的副本等級(jí)lall；7)對(duì)每個(gè)文件生成二級(jí)索引項(xiàng)列表，包括數(shù)據(jù)片斷seg的ID列表、數(shù)據(jù)片斷seg的開(kāi)始和結(jié)尾ub序號(hào)以及每個(gè)小數(shù)據(jù)塊ub大小，以文件名的哈希值作為鍵值，并通過(guò)整個(gè)文件的副本等級(jí)lall對(duì)二級(jí)索引項(xiàng)進(jìn)行放置，放置方法與所述步驟4)中的方法相同；8)文件放置完成后，以根據(jù)實(shí)際應(yīng)用而選擇的時(shí)間T為周期觀測(cè)用戶對(duì)文件不同小數(shù)據(jù)塊ub上訪問(wèn)頻度的變化，重新計(jì)算數(shù)據(jù)片斷seg邏輯分塊中的小數(shù)據(jù)塊ub數(shù)目和首尾序號(hào)、訪問(wèn)流行度以及副本等級(jí)，并根據(jù)新的副本等級(jí)調(diào)整小數(shù)據(jù)塊ub的副本數(shù)目，同時(shí)更新文件的一級(jí)和二級(jí)索引項(xiàng)。
2、 如權(quán)利要求1所述的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法，其特征在 于，所述步驟2)中的文件/的初始用戶訪問(wèn)概率分布函數(shù)g(^，通過(guò)如下任意一個(gè) 方法得到i) 通過(guò)包括最小二乘法的數(shù)值分析方法對(duì)歷史訪問(wèn)數(shù)據(jù)進(jìn)行曲線擬合，得到gW 函數(shù)中的參數(shù)值，這里，gW的分布形式包括-a) g(^呈指數(shù)分布，/(x) = Mfa，其中a，&為待估參數(shù)，x表示樣本觀測(cè)時(shí)間在整個(gè)文件時(shí)長(zhǎng)上的位置比例，b) g^呈兩個(gè)指數(shù)分布的線性疊加，/(x)-"^+C其中a,&,C^為待估參數(shù)，X表示樣本觀測(cè)時(shí)間在整個(gè)文件時(shí)長(zhǎng)上的位置比例，ii) 根據(jù)經(jīng)驗(yàn)，預(yù)先設(shè)定的分布模型。
3、 如權(quán)利要求1所述的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法，其特征在 于，所述步驟3)中，將小數(shù)據(jù)塊"6序列進(jìn)行合并時(shí)所使用的合并算法，采用以下的任意一種方式i)預(yù)先設(shè)置切分概率和x，從文件頭開(kāi)始，對(duì)小數(shù)據(jù)塊"6的概率值進(jìn)行累加， 當(dāng)達(dá)到大于等于X時(shí)，則切分為數(shù)據(jù)片斷"g—7;然后從下一個(gè)"6開(kāi)始重新累積概率，相同的方法，得到數(shù)據(jù)片斷^ _2，以此類(lèi)推，直至將文件中切分成數(shù)據(jù)片斷seg序列為止；ii)根據(jù)應(yīng)用的不同，人工或者通過(guò)程序設(shè)定每個(gè)數(shù)據(jù)片斷wg中小數(shù)據(jù)塊"6 的數(shù)目。
4、 如權(quán)利要求1所述的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法，其特征在 于，所述步驟3)中，D"為用于計(jì)算副本數(shù)目的函數(shù)，根據(jù)應(yīng)用所采用的DHT協(xié) 議分析得到，其只跟副本等級(jí)和總節(jié)點(diǎn)數(shù)相關(guān)，不同DHT協(xié)議都有其自己的計(jì)算方 法，每個(gè)不同的DHT結(jié)構(gòu)計(jì)算各自的D",在尸oy//7中Z)f7」=iV/^， 在C/zoW中，=iV/^， 其中，W為網(wǎng)絡(luò)中的節(jié)點(diǎn)總數(shù)，6為戶"W^y的基數(shù)，/為副本等級(jí)。
5、 如權(quán)利要求1所述的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法，其特征在 于，所述步驟4)和步驟7)中，所述數(shù)據(jù)片斷^g和小數(shù)據(jù)塊"6的ID計(jì)算方法滿 足如下條件兩種ID生成方法所生成的ID位數(shù)相同，在同一個(gè)數(shù)值空間內(nèi)，同時(shí) 保證ID值不會(huì)沖突，包括如下計(jì)算方法= Hash(file name) + wg序號(hào)+ 中起始序號(hào)+ seg中結(jié)尾"6序號(hào)， 其中，^g序號(hào)從l開(kāi)始排列；t/6一/D = Hash(file name) +與wg序號(hào)的位數(shù)相同的零0.. .0 + t/6序號(hào)+ "6序號(hào)。
6、 如權(quán)利要求l所述的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法，其特征在 于，所述步驟3)和步驟6)中的副本等級(jí)計(jì)算中，副本等級(jí)通過(guò)下述任何一個(gè)方法 得到i) 在一定延遲或者帶寬占用的條件下，通過(guò)全局最優(yōu)化或者局部?jī)?yōu)化的方法計(jì) 算得到網(wǎng)絡(luò)中所有文件的副本等級(jí)；ii) 預(yù)先設(shè)定的副本等級(jí)。
7、 如權(quán)利要求l所述的基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法，其特征在 于，所述步驟8)進(jìn)一步包括如下過(guò)程a) 每個(gè)小數(shù)據(jù)塊"6的主節(jié)點(diǎn)/wme mxfe都保存一個(gè)表征用戶訪問(wèn)頻率的計(jì)數(shù)器；b) 通過(guò)某個(gè)管理節(jié)點(diǎn)定期收集小數(shù)據(jù)塊"6的主節(jié)點(diǎn)/zo/we朋A中所存儲(chǔ)的用戶 訪問(wèn)信息；c) 管理節(jié)點(diǎn)通過(guò)數(shù)據(jù)副本放置方法重新計(jì)算每個(gè)小數(shù)據(jù)塊"6的流行度，并根 據(jù)所述步驟3)重新切分，得到新的數(shù)據(jù)片斷wg序列以及副本等級(jí)信息，這里，文件的流行度為<formula>formula see original document page 5</formula>小數(shù)據(jù)塊"6的流行度為<formula>formula see original document page 5</formula>其中，"c —oz/;為當(dāng)前周期內(nèi)第/個(gè)"6的訪問(wèn)次數(shù)；ac —oW,，,為第/個(gè)周期中，第/塊的訪問(wèn)次數(shù)；a為歷史訪問(wèn)數(shù)據(jù)的加權(quán)系數(shù)，且0《a《l;d) 根據(jù)上述步驟c)中的計(jì)算結(jié)果，調(diào)整對(duì)應(yīng)小數(shù)據(jù)塊"6的副本數(shù)目和放置位 置，同時(shí)，重新生成數(shù)據(jù)片斷化g—級(jí)索引項(xiàng)和文件二級(jí)索引項(xiàng)，刪除舊的索引項(xiàng)， 放置新索引。
全文摘要
本發(fā)明提供一種基于訪問(wèn)頻度變長(zhǎng)邏輯分段的數(shù)據(jù)分發(fā)方法。該方法通過(guò)將文件切分成細(xì)粒度的單元，基于用戶在文件不同時(shí)間段上訪問(wèn)頻度的差異，為文件生成變長(zhǎng)邏輯分段，然后針對(duì)不同邏輯分段分別進(jìn)行基于流行度的多副本放置，并為每個(gè)邏輯分段生成多級(jí)索引項(xiàng)，同時(shí)根據(jù)文件的副本等級(jí)調(diào)整更新文件的索引項(xiàng)，使數(shù)據(jù)在CDN網(wǎng)絡(luò)中的副本分布更加符合用戶的實(shí)際訪問(wèn)習(xí)慣。同時(shí)，細(xì)粒度的文件切片，使得用戶訪問(wèn)行為的統(tǒng)計(jì)更加精準(zhǔn)，便于對(duì)用戶訪問(wèn)頻度特征基于時(shí)間變化的更新，并應(yīng)用于內(nèi)容分發(fā)的副本生成上，使系統(tǒng)中的數(shù)據(jù)分布自適應(yīng)的隨時(shí)間進(jìn)行調(diào)整。另外，多級(jí)索引的應(yīng)用，有效降低了數(shù)據(jù)副本等級(jí)調(diào)整時(shí)所帶來(lái)的通信開(kāi)銷(xiāo)，提高了系統(tǒng)性能。
文檔編號(hào)H04L29/06GK101645888SQ20091008512
公開(kāi)日2010年2月10日 申請(qǐng)日期2009年6月2日 優(yōu)先權(quán)日2009年6月2日
發(fā)明者尤佳莉, 李廷屹, 王勁林, 王玲芳, 鄧浩江 申請(qǐng)人:中國(guó)科學(xué)院聲學(xué)研究所