熱點文件自適應(yīng)拷貝方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明實施例提出一種熱點文件自適應(yīng)拷貝方法及系統(tǒng)，其方法包括：接收文件下載請求；根據(jù)文件下載請求，獲取待下載文件的索引信息；根據(jù)索引信息確定下載文件的存儲磁盤；計算待下載文件的文件熱度；根據(jù)待下載文件的文件熱度，判斷待下載文件是否需要熱點拷貝；若需要拷貝，則獲取至少一個負載最低的緩沖磁盤；將多份待下載文件拷貝到獲取的緩沖磁盤。本發(fā)明可以保證服務(wù)器的文件訪問速率，降低讀寫壓力，減少磁盤讀寫的延時。
【專利說明】熱點文件自適應(yīng)拷貝方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機網(wǎng)絡(luò)數(shù)據(jù)緩存【技術(shù)領(lǐng)域】，特別涉及一種熱點文件自適應(yīng)拷貝方 法及系統(tǒng)。

【背景技術(shù)】
[0002] Q)N (Content Delivery Network,內(nèi)容分發(fā)網(wǎng)絡(luò)）是把用戶訪問的內(nèi)容存放到離 用戶最近最快的邊緣節(jié)點，使用戶可以就近取得所需的內(nèi)容。CDN加速是把熱點文件推送 到⑶N邊緣節(jié)點（Video Outside Center,即城域點），通過邊緣節(jié)點直接服務(wù)用戶，以解決 Internet網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問資源的響應(yīng)速度。
[0003] 目前，CDN邊緣節(jié)點通常采用內(nèi)存作為緩存，但對于較大的文件，如流媒體文件，內(nèi) 存中可以緩存的文件較少，緩存效果不好。而且，當(dāng)一個文件被大量用戶訪問的時候，容易 對文件所在磁盤造成巨大的讀壓力，輕則造成磁盤讀寫延時，重則導(dǎo)致硬盤故障，導(dǎo)致服務(wù) 不可用。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明實施例的目的是提供一種熱點文件自適應(yīng)拷貝方法及系統(tǒng)，以解決熱點文 件訪問請求量過大而造成磁盤讀寫負載過高的問題。
[0005] 本發(fā)明實施例提出一種熱點文件自適應(yīng)拷貝方法，包括：
[0006] 接收文件下載請求；
[0007] 根據(jù)文件下載請求，獲取待下載文件的索引信息；
[0008] 根據(jù)索引信息確定下載文件的存儲磁盤；
[0009] 計算待下載文件的文件熱度；
[0010] 根據(jù)待下載文件的文件熱度，判斷待下載文件是否需要熱點拷貝；
[0011] 若需要拷貝，則獲取至少一個負載最低的緩沖磁盤；
[0012] 將多份待下載文件拷貝到獲取的緩沖磁盤。
[0013] 本發(fā)明實施例還提出一種熱點文件自適應(yīng)拷貝系統(tǒng)，包括：
[0014] 接收模塊，用于接收文件下載請求；
[0015] 索引信息獲取模塊，用于根據(jù)文件下載請求，獲取待下載文件的索引信息；
[0016] 存儲位置確定模塊，用于根據(jù)索引信息確定下載文件的存儲磁盤；
[0017] 熱度計算模塊，用于計算待下載文件的文件熱度；
[0018] 判斷模塊，用于根據(jù)待下載文件的文件熱度，判斷待下載文件是否需要熱點拷 貝；
[0019] 緩沖磁盤獲取模塊，用于當(dāng)所述判斷模塊判斷出待下載文件需要熱點拷貝，則獲 取至少一個負載最低的緩沖磁盤；
[0020] 拷貝模塊，用于將多份待下載文件拷貝到獲取的緩沖磁盤。
[0021] 相對于現(xiàn)有技術(shù)，本發(fā)明的有益效果是：
[0022] (1)本發(fā)明實施例通過實時統(tǒng)計文件熱度，將熱點文件拷貝多份到低負載磁盤，保 證了服務(wù)器的文件訪問速率。
[0023] (2)本發(fā)明實施例利用緩沖磁盤取代內(nèi)存來對文件進行緩存，可以實現(xiàn)大量大文 件的緩存，有效減少了讀寫壓力，以及減少了磁盤讀寫的延時。

【專利附圖】

【附圖說明】
[0024] 圖1為本發(fā)明實施例的一種熱點文件自適應(yīng)拷貝方法的流程圖；
[0025] 圖2為本發(fā)明實施例的一種計算待下載文件的文件熱度的流程圖；
[0026] 圖3為本發(fā)明實施例的一種利用循環(huán)數(shù)組統(tǒng)計文件熱度的示意圖；
[0027] 圖4為本發(fā)明實施例的一種判斷待下載文件是否需要熱點拷貝時的流程圖；
[0028] 圖5為本發(fā)明實施例的一種獲取至少一個負載最低的緩沖磁盤時的流程圖；
[0029] 圖6為本發(fā)明實施例的另一種熱點文件自適應(yīng)拷貝方法的流程圖；
[0030] 圖7為本發(fā)明實施例的一種熱點文件自適應(yīng)拷貝系統(tǒng)的結(jié)構(gòu)圖；
[0031] 圖8為本發(fā)明實施例的另一種熱點文件自適應(yīng)拷貝系統(tǒng)的結(jié)構(gòu)圖。

【具體實施方式】
[0032] 有關(guān)本發(fā)明的前述及其他技術(shù)內(nèi)容、特點及功效，在以下配合參考圖式的較佳實 施例詳細說明中將可清楚的呈現(xiàn)。通過【具體實施方式】的說明，當(dāng)可對本發(fā)明為達成預(yù)定目 的所采取的技術(shù)手段及功效得以更加深入且具體的了解，然而所附圖式僅是提供參考與說 明之用，并非用來對本發(fā)明加以限制。
[0033] 實施例一
[0034] 請參見圖1，其為本發(fā)明實施例的一種熱點文件自適應(yīng)拷貝方法的流程圖，其包括 以下步驟：
[0035] S101，接收文件下載請求。
[0036] S102,根據(jù)文件下載請求，獲取待下載文件的索引信息。可以根據(jù)下載請求中的文 件名查找文件的索引信息，索引信息主要可以包括待下載文件的大小、份數(shù)及存儲位置。
[0037] S103,根據(jù)索引信息確定下載文件的存儲磁盤。存儲磁盤可以采用SATA磁盤 (Serial ATA，串口磁盤)。值得注意的是，待下載文件可能存儲在多個磁盤中，這時可以根 據(jù)索引信息里面的份數(shù)信息，得到存儲有待下載文件的磁盤列表，然后根據(jù)各磁盤的10負 載(讀寫負載)，返回文件所在磁盤中負載最輕存儲磁盤。
[0038] S104,計算待下載文件的文件熱度。
[0039] 文件熱度可以通過統(tǒng)計文件訪問次數(shù)來獲得，文件訪問次數(shù)在單位時間內(nèi)達到一 定的次數(shù)就認為文件變熱。文件熱度也可以通過統(tǒng)計文件訪問大小的方式來獲得，在單位 時間內(nèi)達到一定訪問量就認為文件變熱。
[0040] S105,根據(jù)待下載文件的文件熱度，判斷待下載文件是否需要熱點拷貝。若文件熱 度較大，且大于存儲磁盤對文件的訪問支撐量，說明需要拷貝，則進入步驟S106;若不需要 拷貝，則流程結(jié)束。
[0041] S106,獲取至少一個負載最低的緩沖磁盤。緩沖磁盤可以采用SSD磁盤（Solid State Disk，固態(tài)硬盤)，SSD磁盤的性能是SATA磁盤性能的10倍，保證了文件的傳輸速率。 利用緩沖磁盤取代內(nèi)存來對文件進行緩存，保證了大文件的緩存，可以有效減少磁盤讀寫 的延時。
[0042] S107,將多份待下載文件拷貝到獲取的緩沖磁盤。并修改文件索引，增加文件份數(shù) 信息。拷貝到緩沖磁盤的份數(shù)對文件訪問量的支撐是線性關(guān)系，即拷貝到緩沖磁盤的文件 份數(shù)越多，則該緩沖磁盤支持的訪問量就越大。
[0043] 其中，步驟S104中，在計算待下載文件的文件熱度時，如果待下載文件是流媒體 文件，由于流媒體業(yè)務(wù)存在P2P (peer-to-peer network,對等網(wǎng)絡(luò)）請求文件部分內(nèi)容的 訪問形式，一個P2P請求一次文件，可能只是訪問文件中的某幾十個字節(jié)而已，因此以文件 訪問次數(shù)來衡量文件熱度準(zhǔn)確性較差。所以當(dāng)待下載文件是流媒體文件時，可以采用統(tǒng)計 待下載文件在預(yù)設(shè)時間段內(nèi)被訪問的字節(jié)大小的方式來作為文件熱度，具體來說，請參見 圖2,可以包括以下步驟：
[0044] S1041，設(shè)置時間間隔。
[0045] S1042，統(tǒng)計所述時間間隔內(nèi)所述待下載文件被訪問的字節(jié)大小。
[0046] S1043,將每個時間間隔統(tǒng)計到的結(jié)果依次放置到預(yù)設(shè)的循環(huán)數(shù)組中。
[0047] S1044,計算所述循環(huán)數(shù)組中所有元素值的和，并將計算結(jié)果作為待下載文件在預(yù) 設(shè)時間段內(nèi)被訪問的字節(jié)大小。
[0048] 請結(jié)合參見圖3,本發(fā)明實施例中，文件熱度用file_read_bandsize標(biāo)記，為了文 件熱度的平滑性方法統(tǒng)計了前面連續(xù)n分鐘的熱度大小，
[0049] 其中，文件熱度統(tǒng)計的最小時間間隔為gap取值為5分鐘，統(tǒng)計的時間間隔數(shù)為n 取值為6,總的統(tǒng)計時長n*gap，實現(xiàn)上就是把文件熱度放置到一個循環(huán)數(shù)組里面，就是平 滑統(tǒng)計一個文件前三十分鐘的訪問熱度，通過這種方式避免了因進入下一統(tǒng)計時間，統(tǒng)計 信息被清零的情況。
[0050] 步驟S105中，本發(fā)明實施例可以通過文件訪問支撐量來考量是否對文件進行熱 點拷貝，簡單點理解文件訪問支撐量就是統(tǒng)計時間內(nèi)文件可以被訪問多少次，本發(fā)明實施 例中的文件訪問支撐量用file_band_ability標(biāo)記。文件自適應(yīng)多份拷貝觸發(fā)條件是： file_read_bandsize>=file_band_ability，通過比較文件熱度和多份支撐量這兩個指標(biāo)， 如果當(dāng)前文件熱度大于文件訪問支撐量，則需要啟動多份拷貝。因此，請參見圖4,判斷待下 載文件是否需要熱點拷貝時又可以進一步包括以下步驟：
[0051] S1051，計算待下載文件在存儲磁盤中的文件訪問支撐量。
[0052] S1052,通過比較所述文件熱度是否大于所述文件訪問支撐量來判斷待下載文件 是否需要熱點拷貝。
[0053] 當(dāng)文件熱度是按訪問文件的大小進行統(tǒng)計的情況下，文件訪問支撐量也以文件大 小為基準(zhǔn)進行計算，文件大小乘以一個文件大小的倍數(shù)。以SATA磁盤作為存儲磁盤、以SSD 磁盤作為緩沖磁盤為例，文件訪問支撐量等于文件大小、與文件大小對應(yīng)的倍數(shù)值、磁盤性 能指標(biāo)參數(shù)以及文件在磁盤上可用于服務(wù)的數(shù)目的乘積，文件訪問支撐量的計算方式如 下：
[0054] file_band_ability=file_size氺file_hot_mul氺(a 氺ts4_filecopy_num+ 旦 *s6_ f ilecopy_num)
[0055] 其中，file_size表示文件大小，file_hot_mul表示文件大小倍數(shù)，a，P分別為 SATA和SSD磁盤讀性能指標(biāo)，ts4_filecopy_num表示文件在SATA磁盤可用于服務(wù)的數(shù)目， s6_filecopy_num表示文件在SSD磁盤可用于服務(wù)的數(shù)目。
[0056] 下面分析一下文件訪問支撐量計算中，文件大小倍數(shù)的確定：
[0057] 流媒體應(yīng)用一般讀取固定塊大小的數(shù)據(jù)，流媒體的數(shù)據(jù)塊讀取大小是128KB。所以 應(yīng)該考慮不同文件大小需要配置不同的文件大小倍數(shù)。根據(jù)運營情況，本發(fā)明實施例得到 了一組效果較好的文件大小倍數(shù)的取值。通過大文件取小倍數(shù)值，保證了大文件被拷貝的 概率，同時提高小文件文件倍數(shù)避免了因閥值太低而拷貝份數(shù)太多的情況。如表1所示：

【權(quán)利要求】
1. 一種熱點文件自適應(yīng)拷貝方法，其特征在于，包括： 接收文件下載請求； 根據(jù)文件下載請求，獲取待下載文件的索引信息； 根據(jù)索引信息確定下載文件的存儲磁盤； 計算待下載文件的文件熱度； 根據(jù)待下載文件的文件熱度，判斷待下載文件是否需要熱點拷貝； 若需要拷貝，則獲取至少一個負載最低的緩沖磁盤； 將多份待下載文件拷貝到獲取的緩沖磁盤。
2. 如權(quán)利要求1所述的熱點文件自適應(yīng)拷貝方法，其特征在于，所述計算待下載文件 的文件熱度的步驟包括：當(dāng)所述待下載文件是流媒體文件，統(tǒng)計待下載文件在預(yù)設(shè)時間段 內(nèi)被訪問的字節(jié)大小，并將統(tǒng)計結(jié)果作為文件熱度。
3. 如權(quán)利要求2所述的熱點文件自適應(yīng)拷貝方法，其特征在于，所述統(tǒng)計待下載文件 在預(yù)設(shè)時間段內(nèi)被訪問的字節(jié)大小的步驟包括： 設(shè)置時間間隔； 統(tǒng)計所述時間間隔內(nèi)所述待下載文件被訪問的字節(jié)大??； 將每個時間間隔統(tǒng)計到的結(jié)果依次放置到預(yù)設(shè)的循環(huán)數(shù)組中； 計算所述循環(huán)數(shù)組中所有元素值的和，并將計算結(jié)果作為待下載文件在預(yù)設(shè)時間段內(nèi) 被訪問的字節(jié)大小。
4. 如權(quán)利要求1所述的熱點文件自適應(yīng)拷貝方法，其特征在于，所述判斷待下載文件 是否需要熱點拷貝的步驟包括： 計算待下載文件在存儲磁盤中的文件訪問支撐量； 通過比較所述文件熱度是否大于所述文件訪問支撐量來判斷待下載文件是否需要熱 點拷貝。
5. 如權(quán)利要求4所述的熱點文件自適應(yīng)拷貝方法，其特征在于，所述文件訪問支撐量 等于文件大小、與文件大小對應(yīng)的倍數(shù)值、磁盤性能指標(biāo)參數(shù)以及文件在磁盤上可用于服 務(wù)的數(shù)目的乘積。
6. 如權(quán)利要求1所述的熱點文件自適應(yīng)拷貝方法，其特征在于，所述獲取至少一個負 載最低的緩沖磁盤的步驟包括： 定時接收各個磁盤的性能狀態(tài)信息； 根據(jù)磁盤的性能狀態(tài)信息獲取至少一個負載最低的緩沖磁盤。
7. 如權(quán)利要求6所述的熱點文件自適應(yīng)拷貝方法，其特征在于，所述磁盤的性能狀態(tài) 信息包括磁盤當(dāng)前實際讀寫負載、磁盤可用空間及磁盤寫文件任務(wù)信息。
8. 如權(quán)利要求7所述的熱點文件自適應(yīng)拷貝方法，其特征在于，所述定時接收各個磁 盤的性能狀態(tài)信息的步驟之后包括：對接收到的磁盤的性能狀態(tài)信息中的所述磁盤當(dāng)前實 際讀寫負載進行平滑處理。
9. 如權(quán)利要求7所述的熱點文件自適應(yīng)拷貝方法，其特征在于，所述定時接收各個磁 盤的性能狀態(tài)信息的步驟之后包括：根據(jù)接收到的磁盤的性能狀態(tài)信息中的磁盤寫文件任 務(wù)信息及磁盤的讀寫性能指標(biāo)預(yù)估寫入文件對磁盤會產(chǎn)生的負載。
10. 如權(quán)利要求1所述的熱點文件自適應(yīng)拷貝方法，其特征在于，所述將多份待下載文 件拷貝到獲取的緩沖磁盤的步驟之后還包括：對待下載文件的文件熱度值清零。
11. 如權(quán)利要求1所述的熱點文件自適應(yīng)拷貝方法，其特征在于，所述將多份待下載文 件拷貝到獲取的緩沖磁盤的步驟之后： 刪除緩沖磁盤中文件熱度低于預(yù)定值且在預(yù)定時間未被訪問的拷貝文件。
12. 如權(quán)利要求1所述的熱點文件自適應(yīng)拷貝方法，其特征在于，所述緩沖磁盤采用固 態(tài)硬盤。
13. 如權(quán)利要求1所述的熱點文件自適應(yīng)拷貝方法，其特征在于，所述待下載文件的索 引信息包括待下載文件的大小、份數(shù)及存儲位置。
14. 一種熱點文件自適應(yīng)拷貝系統(tǒng)，其特征在于，包括： 接收模塊，用于接收文件下載請求； 索引信息獲取模塊，用于根據(jù)文件下載請求，獲取待下載文件的索引信息； 存儲位置確定模塊，用于根據(jù)索引信息確定下載文件的存儲磁盤； 熱度計算模塊，用于計算待下載文件的文件熱度； 判斷模塊，用于根據(jù)待下載文件的文件熱度，判斷待下載文件是否需要熱點拷貝； 緩沖磁盤獲取模塊，用于當(dāng)所述判斷模塊判斷出待下載文件需要熱點拷貝，則獲取至 少一個負載最低的緩沖磁盤； 拷貝模塊，用于將多份待下載文件拷貝到獲取的緩沖磁盤。
15. 如權(quán)利要求14所述的熱點文件自適應(yīng)拷貝系統(tǒng)，其特征在于，當(dāng)所述待下載文件 是流媒體文件，所述熱度計算模塊統(tǒng)計待下載文件在預(yù)設(shè)時間段內(nèi)被訪問的字節(jié)大小，并 將統(tǒng)計結(jié)果作為文件熱度。
16. 如權(quán)利要求15所述的熱點文件自適應(yīng)拷貝系統(tǒng)，其特征在于，所述熱度計算模塊 進一步包括： 時間間隔設(shè)置單元，用于設(shè)置時間間隔； 間隔統(tǒng)計單元，用于統(tǒng)計所述時間間隔內(nèi)所述待下載文件被訪問的字節(jié)大??； 循環(huán)數(shù)組設(shè)置單元，用于將每個時間間隔統(tǒng)計到的結(jié)果依次放置到預(yù)設(shè)的循環(huán)數(shù)組 中； 元素值求和單元，用于計算所述循環(huán)數(shù)組中所有元素值的和，并將計算結(jié)果作為待下 載文件在預(yù)設(shè)時間段內(nèi)被訪問的字節(jié)大小。
17. 如權(quán)利要求14所述的熱點文件自適應(yīng)拷貝系統(tǒng)，其特征在于，所述判斷模塊進一 步包括： 支撐量計算單元，用于計算待下載文件在存儲磁盤中的文件訪問支撐量； 比對單元，用于通過比較所述文件熱度是否大于所述文件訪問支撐量來判斷待下載文 件是否需要熱點拷貝。
18. 如權(quán)利要求17所述的熱點文件自適應(yīng)拷貝系統(tǒng)，其特征在于，所述文件訪問支撐 量等于文件大小、與文件大小對應(yīng)的倍數(shù)值、磁盤性能指標(biāo)參數(shù)以及文件在磁盤上可用于 服務(wù)的數(shù)目的乘積。
19. 如權(quán)利要求14所述的熱點文件自適應(yīng)拷貝系統(tǒng)，其特征在于，所述緩沖磁盤獲取 模塊進一步包括： 性能狀態(tài)信息接收單元，用于定時接收各個磁盤的性能狀態(tài)信息； 獲取單元，用于根據(jù)磁盤的性能狀態(tài)信息獲取至少一個負載最低的緩沖磁盤。
20. 如權(quán)利要求19所述的熱點文件自適應(yīng)拷貝系統(tǒng)，其特征在于，所述磁盤的性能狀 態(tài)信息包括磁盤當(dāng)前實際讀寫負載、磁盤可用空間及磁盤寫文件任務(wù)信息。
21. 如權(quán)利要求20所述的熱點文件自適應(yīng)拷貝系統(tǒng)，其特征在于，所述緩沖磁盤獲取 模塊進一步包括： 平滑處理單元，用于對所述性能狀態(tài)信息接收單元接收到的磁盤當(dāng)前實際讀寫負載進 行平滑處理。
22. 如權(quán)利要求20所述的熱點文件自適應(yīng)拷貝系統(tǒng)，其特征在于，所述緩沖磁盤獲取 模塊進一步包括： 負載預(yù)估單元，用于根據(jù)磁盤寫文件任務(wù)信息及磁盤的讀寫性能指標(biāo)預(yù)估寫入文件對 磁盤會產(chǎn)生的負載。
23. 如權(quán)利要求14所述的熱點文件自適應(yīng)拷貝系統(tǒng)，其特征在于，所述熱點文件自適 應(yīng)拷貝系統(tǒng)還包括： 熱度值清零模塊，用于對待下載文件的文件熱度值清零。
24. 如權(quán)利要求14所述的熱點文件自適應(yīng)拷貝系統(tǒng)，其特征在于，所述熱點文件自適 應(yīng)拷貝系統(tǒng)還包括： 拷貝文件刪除模塊，用于刪除緩沖磁盤中文件熱度低于預(yù)定值且在預(yù)定時間未被訪問 的拷貝文件。
25. 如權(quán)利要求14所述的熱點文件自適應(yīng)拷貝系統(tǒng)，其特征在于，所述緩沖磁盤采用 固態(tài)硬盤。
26. 如權(quán)利要求14所述的熱點文件自適應(yīng)拷貝系統(tǒng)，其特征在于，所述待下載文件的 索引信息包括待下載文件的大小、份數(shù)及存儲位置。
【文檔編號】G06F12/08GK104424118SQ201310373239
【公開日】2015年3月18日 申請日期:2013年8月23日 優(yōu)先權(quán)日:2013年8月23日
【發(fā)明者】李龍彬 申請人:深圳市騰訊計算機系統(tǒng)有限公司