離線下載方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了離線下載方法和系統(tǒng)。其中，該方法包括以下步驟：離線下載任務(wù)調(diào)度服務(wù)器從當(dāng)前接收的來自下載客戶端的離線下載請求中提取出文件名并發(fā)送給離線下載文件聚類分析服務(wù)器；離線下載文件聚類分析服務(wù)器分析所述聚類結(jié)果數(shù)據(jù)庫中是否存在與該接收的文件名相似的其他文件名，如果是，發(fā)送第一通知給所述離線下載任務(wù)調(diào)度服務(wù)器；離線下載任務(wù)調(diào)度服務(wù)器將第一通知攜帶的文件名以及與該文件名相關(guān)的下載鏈接信息提供給下載客戶端，由下載客戶端選擇其中一個(gè)文件名相關(guān)的下載鏈接信息下載其需要的文件。
【專利說明】離線下載方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)技術(shù)，特別涉及離線下載方法和系統(tǒng)。
【背景技術(shù)】
[0002]通常為了保證下載效率，下載數(shù)據(jù)的調(diào)度采用盡力模式，即盡最大可能地將數(shù)據(jù)下載到客戶端。對于Bt，eMule等主要依靠P2P方式下載的協(xié)議來說，下載速度和文件的熱門程度有很大的關(guān)系，并且，下載難以預(yù)期，可能一個(gè)文件找不到合適源，一直無法下載，也可能下載完成一部分?jǐn)?shù)據(jù)之后由于在線的網(wǎng)絡(luò)節(jié)點(diǎn)(Peer)下線了而導(dǎo)致很長時(shí)間沒有合適的源，進(jìn)而導(dǎo)致下載的進(jìn)度沒有任何的變化。
[0003]為了解決這種下載難以預(yù)期的問題，現(xiàn)有技術(shù)提出了一種云端訂閱下載方式。所謂云端訂閱下載，其又稱為離線下載，以下皆稱為離線下載，其本質(zhì)是服務(wù)商的服務(wù)器(簡稱離線下載服務(wù)器)代替用戶先行下載，之后用戶再從離線下載服務(wù)器下載到本地用戶終端，其省去用戶終端許多掛機(jī)等待的時(shí)間，最重要的是能夠騰出用戶終端寬帶做其他的事情。比如，某個(gè)資源是冷門資源，下載速度很慢，用戶就得下很久，如果用戶使用離線下載，就可以讓服務(wù)商的服務(wù)器代替用戶先下載，用戶就暫不下載，等到服務(wù)商的服務(wù)器完成離線下載，用戶再利用本地下載工具到服務(wù)商的服務(wù)器上高速下載到本地客戶端的用戶終端。
[0004]目前，該離線下載具有如下特點(diǎn):
[0005](I)加速下載冷門資源:離線下載解決冷門資源下載慢，長時(shí)間掛機(jī)的問題，利用離線下載服務(wù)器的強(qiáng)大帶寬，相比于adsl網(wǎng)絡(luò)能夠更快地下載到文件，下載完成后，用戶可以把文件從離線下載服務(wù)器上高速穩(wěn)定的下載到用戶終端上。由于離線下載服務(wù)器帶寬遠(yuǎn)大于adsl網(wǎng)絡(luò)，因此，離線下載服務(wù)器能夠提供大于adsl的下載速度。
[0006](2)穩(wěn)定提升下載速度:離線下載服務(wù)器下載文件，能夠保證下載速度更快更穩(wěn)定。而如果用戶直接下載文件，會受限于網(wǎng)絡(luò)環(huán)境的影響，下載速度是處于一個(gè)波動(dòng)的狀態(tài)，不可預(yù)期。
[0007](3)解決網(wǎng)絡(luò)限制:即使Bt、電驢或P2SP被限，離線下載仍可高速下載，通常，用戶專屬的離線下載服務(wù)器將7*24小時(shí)不間斷高速下載，以保證用戶專屬離線下載服務(wù)器可以在用戶不掛機(jī)，甚至睡覺的時(shí)候，為用戶持續(xù)地下載該文件，從而節(jié)省用戶寶貴的時(shí)間，下載時(shí)間利用率很高，從而保證下載效率很高。
[0008]在現(xiàn)有的離線下載過程，下載客戶端提交離線下載請求至離線下載任務(wù)管理服務(wù)器，所述離線下載請求包括需要下載的文件下載地址，比如url鏈接、Http鏈接、eMule鏈接、Bt下載種子、或者M(jìn)agnet鏈接。當(dāng)離線下載任務(wù)管理服務(wù)器接收下載客戶端的離線下載請求后，根據(jù)該離線下載請求中的文件下載地址從離線任務(wù)數(shù)據(jù)庫中查詢是否存在該文件下載地址所對應(yīng)的文件哈希(Hash),這里，如果文件下載地址為url鏈接,則文件Hash為對url鏈接進(jìn)行Hash計(jì)算得到的計(jì)算結(jié)果，而如果文件下載地址為eMule鏈接，則文件Hash為對eMule鏈接進(jìn)行Md4計(jì)算得到的計(jì)算結(jié)果，如果文件下載地址為Bt,則文件Hash為對torrent文件特征碼和文件序號進(jìn)行Hash計(jì)算得到的計(jì)算結(jié)果；
[0009]如果存在，則確定所述離線下載請求所請求的文件已被下載至用于存放離線下載文件的云存儲服務(wù)器，并通知給下載客戶端，所述通知中攜帶該存在的文件Hash，以使所述下載客戶端接收到所述通知時(shí)，使用P2SP技術(shù)并依據(jù)所述通知攜帶的文件Hash從云存儲服務(wù)器上秒下對應(yīng)的文件；
[0010]如果不存在，將觸發(fā)離線下載服務(wù)器針對所述離線下載請求執(zhí)行離線下載。
[0011]可以看出，離線下載服務(wù)器是否執(zhí)行下載客戶端的離線下載請求，完全取決于離線下載任務(wù)管理服務(wù)器是否精確匹配出該離線下載請求所請求的文件對應(yīng)的文件Hash，如果匹配成功，則由客戶端從已下載的離線文件中直接秒下該請求的文件，否則只能由離線下載服務(wù)器下載該離線下載請求所請求的文件。而在實(shí)際應(yīng)用中，很多大小相近且內(nèi)容類似的文件，其對應(yīng)的文件Hash是不同的，比如一部電影，其有很多大小相近且內(nèi)容類似的視頻文件。這里，將內(nèi)容一樣或差別很小、但格式、分辨率不一樣的文件稱為內(nèi)容類似的文件。在實(shí)際應(yīng)用中，這些大小相近內(nèi)容類似的視頻文件對于用戶而言是一樣的，只需要提供其中的一個(gè)視頻文件即可，沒有必要一一下載，因此，可以看出現(xiàn)有離線下載方式會導(dǎo)致大量相關(guān)或類似內(nèi)容的文件重復(fù)下載，加大離線下載服務(wù)器的負(fù)載，也浪費(fèi)了云存儲服務(wù)器的存儲資源。
【發(fā)明內(nèi)容】
[0012]本發(fā)明提供了離線下載方法和系統(tǒng)，避免內(nèi)容類似的文件被重復(fù)下載，節(jié)省離線下載服務(wù)器的負(fù)載，也節(jié)省云存儲服務(wù)器的存儲資源。
[0013]本發(fā)明提供的技術(shù)方案包括:
[0014]一種離線下載系統(tǒng)，該系統(tǒng)包括:下載客戶端、和云存儲服務(wù)器和至少一個(gè)離線下載服務(wù)器；其關(guān)鍵在于，該系統(tǒng)還包括:
[0015]離線下載任務(wù)調(diào)度服務(wù)器，用于從當(dāng)前接收的來自下載客戶端的離線下載請求中提取出文件名并發(fā)送給離線下載文件聚類分析服務(wù)器；以及，從離線下載文件聚類分析服務(wù)器接收到第一通知時(shí)，將該第一通知攜帶的文件名以及與該文件名相關(guān)的下載鏈接信息提供給下載客戶端，由下載客戶端選擇其中一個(gè)文件名相關(guān)的下載鏈接信息下載其需要的文件；
[0016]離線下載文件聚類分析服務(wù)器，用于接收來自所述離線下載任務(wù)調(diào)度服務(wù)器發(fā)送的文件名，并分析所述聚類結(jié)果數(shù)據(jù)庫中是否存在與該接收的文件名相似的其他文件名，如果是，發(fā)送第一通知給離線下載任務(wù)調(diào)度服務(wù)器，第一通知攜帶以下信息:該存在的文件名以及與該文件名相關(guān)的下載鏈接信息，所述與文件名相關(guān)的下載鏈接信息為:具有該文件名的文件被離線下載服務(wù)器下載至云存儲服務(wù)器上的位置信息。
[0017]一種離線下載方法，包括以下步驟:
[0018]離線下載任務(wù)調(diào)度服務(wù)器從當(dāng)前接收的來自下載客戶端的離線下載請求中提取出文件名并發(fā)送給離線下載文件聚類分析服務(wù)器；
[0019]離線下載文件聚類分析服務(wù)器分析所述聚類結(jié)果數(shù)據(jù)庫中是否存在與該接收的文件名相似的其他文件名，如果是，發(fā)送第一通知給所述離線下載任務(wù)調(diào)度服務(wù)器，所述第一通知攜帶以下信息:該存在的文件名以及與該文件名相關(guān)的下載鏈接信息，所述與該文件名相關(guān)的下載鏈接信息為:具有該文件名的文件被離線下載服務(wù)器下載至云存儲服務(wù)器上的位置信息；
[0020]離線下載任務(wù)調(diào)度服務(wù)器將第一通知攜帶的文件名以及與該文件名相關(guān)的下載鏈接信息提供給下載客戶端，由下載客戶端選擇其中一個(gè)文件名相關(guān)的下載鏈接信息下載其需要的文件
[0021]由以上技術(shù)方案可以看出，本發(fā)明中，離線下載任務(wù)調(diào)度服務(wù)器在接收到離線下載請求后，并非立即調(diào)度離線下載服務(wù)器執(zhí)行該離線下載請求，而是先將離線下載請求中的文件名發(fā)送給離線下載文件聚類分析服務(wù)器，由離線下載文件聚類分析服務(wù)器分析聚類結(jié)果數(shù)據(jù)庫中存在所述文件名相似的文件名時(shí)，發(fā)送第一通知給離線下載任務(wù)調(diào)度服務(wù)器，如此，離線下載任務(wù)調(diào)度服務(wù)器就可直接將第一通知攜帶的文件名以及與該文件名相關(guān)的下載鏈接信息提供給下載客戶端，由下載客戶端選擇其中一個(gè)文件名相關(guān)的下載鏈接信息下載其需要的文件，而非調(diào)度離線下載服務(wù)器執(zhí)行離線下載請求，這節(jié)省了離線下載服務(wù)器的負(fù)載，并且，由于文件名相似其對應(yīng)的文件內(nèi)容也應(yīng)該相似，這避免了內(nèi)容類似的文件被重復(fù)下載，也使得云存儲服務(wù)器不再存儲大量內(nèi)容類似的文件，節(jié)省云存儲服務(wù)器的存儲資源。
【專利附圖】
【附圖說明】
[0022]圖1為本發(fā)明實(shí)施例提供的離線下載系統(tǒng)基本結(jié)構(gòu)圖；
[0023]圖2為本發(fā)明實(shí)施例提供的方法流程圖；
[0024]圖3為本發(fā)明提供的離線下載系統(tǒng)詳細(xì)結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0025]為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖和具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)描述。
[0026]本發(fā)明提供了如圖1所示的離線下載系統(tǒng)。
[0027]參見圖1，圖1為本發(fā)明實(shí)施例提供的離線下載系統(tǒng)基本結(jié)構(gòu)圖。如圖1所示，該離線下載系統(tǒng)可包括:下載客戶端、包含至少一個(gè)離線下載服務(wù)器的離線下載服務(wù)器群、云存儲服務(wù)器、離線下載任務(wù)調(diào)度服務(wù)器、離線下載文件聚類分析服務(wù)器和聚類結(jié)果數(shù)據(jù)庫；
[0028]其中，所述聚類結(jié)果數(shù)據(jù)庫至少存放以下內(nèi)容:多個(gè)文件名和該多個(gè)文件名相關(guān)的下載鏈接信息。這里，所述與文件名相關(guān)的下載鏈接信息為:具有該文件名的文件被離線下載服務(wù)器下載至云存儲服務(wù)器上的位置信息。
[0029]所述離線下載任務(wù)調(diào)度服務(wù)器，用于從當(dāng)前接收的來自下載客戶端的攜帶有文件名離線的下載請求中提取出該文件名并發(fā)送給所述離線下載文件聚類分析服務(wù)器。
[0030]離線下載文件聚類分析服務(wù)器，用于接收離線下載任務(wù)調(diào)度服務(wù)器發(fā)送的文件名，并分析所述聚類結(jié)果數(shù)據(jù)庫中是否存在與該接收的文件名相似的其他文件名，如果是，發(fā)送第一通知給所述離線下載任務(wù)調(diào)度服務(wù)器，所述第一通知攜帶以下信息:該存在的文件名以及與該文件名相關(guān)的下載鏈接信息。
[0031]所述離線下載任務(wù)調(diào)度服務(wù)器接收到離線下載文件聚類分析服務(wù)器發(fā)送的第一通知時(shí)，將該第一通知攜帶的文件名以及與該文件名相關(guān)的下載鏈接信息提供給下載客戶端，由下載客戶端選擇其中一個(gè)文件名相關(guān)的下載鏈接信息下載其需要的文件。
[0032]可以看出，本發(fā)明中，離線下載任務(wù)調(diào)度服務(wù)器在接收到離線下載請求后，并非立即調(diào)度離線下載服務(wù)器執(zhí)行該離線下載請求，而是先將離線下載請求中的文件名發(fā)送給離線下載文件聚類分析服務(wù)器，由離線下載文件聚類分析服務(wù)器分析聚類結(jié)果數(shù)據(jù)庫中存在所述文件名相似的文件名時(shí)，發(fā)送第一通知給離線下載任務(wù)調(diào)度服務(wù)器，如此，離線下載任務(wù)調(diào)度服務(wù)器就可直接將第一通知攜帶的文件名以及與該文件名相關(guān)的下載鏈接信息提供給下載客戶端，由下載客戶端選擇其中一個(gè)文件名相關(guān)的下載鏈接信息下載其需要的文件，而非調(diào)度離線下載服務(wù)器執(zhí)行離線下載請求，這節(jié)省了離線下載服務(wù)器的負(fù)載，并且，由于文件名相似其對應(yīng)的文件內(nèi)容也應(yīng)該相似，這避免了內(nèi)容類似的文件被重復(fù)下載，也使得云存儲服務(wù)器不再存儲大量內(nèi)容類似的文件，節(jié)省云存儲服務(wù)器的存儲資源。
[0033]基于圖1所示的系統(tǒng)，本發(fā)明還提供了離線下載方法，具體參見圖2所示。
[0034]參見圖2，圖2為本發(fā)明實(shí)施例提供的方法流程圖。如圖2所示，該方法可應(yīng)用于圖1所示的系統(tǒng)中，包括以下步驟:
[0035]步驟201，離線下載任務(wù)調(diào)度服務(wù)器在當(dāng)前接收到來自下載客戶端的攜帶有文件名的離線下載請求時(shí)，從該離線下載請求中提取出文件名并發(fā)送給離線下載文件聚類分析服務(wù)器。
[0036]步驟202，離線下載文件聚類分析服務(wù)器分析所述聚類結(jié)果數(shù)據(jù)庫中是否存在與該接收的文件名相似的其他文件名，如果是，發(fā)送第一通知給所述離線下載任務(wù)調(diào)度服務(wù)器。
[0037]優(yōu)選地，所述第一通知攜帶以下信息:該存在的文件名以及與該文件名相關(guān)的下載鏈接信息，其中，所述與該文件名相關(guān)的下載鏈接信息為:具有該文件名的文件被離線下載服務(wù)器下載至云存儲服務(wù)器上的位置信息。
[0038]優(yōu)選地，在上述步驟202中，離線下載文件聚類分析服務(wù)器在發(fā)送第一通知之后進(jìn)一步包括:在該存在的聚類中增加該接收的文件名。
[0039]步驟203，離線下載任務(wù)調(diào)度服務(wù)器將第一通知攜帶的文件名以及與該文件名相關(guān)的下載鏈接信息提供給下載客戶端，由下載客戶端選擇其中一個(gè)文件名相關(guān)的下載鏈接信息下載其需要的文件。
[0040]優(yōu)選地，本發(fā)明中，如果步驟202中，離線下載文件聚類分析服務(wù)器分析出所述聚類結(jié)果數(shù)據(jù)庫中不存在與所述文件名相似的其他文件名，則進(jìn)一步發(fā)送第二通知給所述離線下載任務(wù)調(diào)度服務(wù)器，并在所述聚類結(jié)果數(shù)據(jù)庫中新增加一個(gè)聚類，將該接收的文件名放入該新增加的聚類中；基于此，本發(fā)明中，離線下載任務(wù)調(diào)度服務(wù)器如果接收到第二通知時(shí)，進(jìn)一步按照負(fù)載均衡原則動(dòng)態(tài)從離線下載服務(wù)器中選擇出用于執(zhí)行所述離線下載請求的離線下載服務(wù)器，由該選擇的離線下載服務(wù)器下載并存儲所述離線下載請求的文件至云存儲服務(wù)器，以使下載客戶端在獲知其需要的文件被離線下載任務(wù)調(diào)度服務(wù)器選擇的離線下載服務(wù)器下載至云存儲服務(wù)器后從云存儲服務(wù)器上下載其需要的文件；以及，在離線下載服務(wù)器完成下載所述離線下載請求的文件后，發(fā)送該文件在云存儲服務(wù)器上的下載鏈接信息至離線下載文件聚類分析服務(wù)器，由離線下載文件聚類分析服務(wù)器進(jìn)一步將接收的文件下載鏈接信息記錄至所述聚類結(jié)果數(shù)據(jù)庫中該文件的名稱所屬的聚類中。
[0041]至此，完成圖2所示的流程。[0042]可以看出，本發(fā)明中，通過對離線下載請求中文件名的聚類，本發(fā)明能夠保證內(nèi)容相似的文件只需要下載一次，也保證了云存儲服務(wù)器不會重復(fù)保留內(nèi)容類似的文件。這樣，一方面節(jié)省離線下載服務(wù)器的下載能力，另一方面也節(jié)省存儲服務(wù)器的存儲資源。
[0043]下面對本發(fā)明提供的離線下載系統(tǒng)進(jìn)行詳細(xì)描述:
[0044]參見圖3，圖3為本發(fā)明提供的離線下載系統(tǒng)詳細(xì)結(jié)構(gòu)圖。本發(fā)明中，為了實(shí)現(xiàn)離線下載按照文件名進(jìn)行聚類，相比于現(xiàn)有離線下載系統(tǒng)，圖3所示的離線下載系統(tǒng)實(shí)質(zhì)是在現(xiàn)有離線下載系統(tǒng)的基礎(chǔ)上進(jìn)行了擴(kuò)展，其額外增加了以下功能單元:離線下載任務(wù)調(diào)度服務(wù)器、離線下載文件聚類分析服務(wù)器、聚類結(jié)果數(shù)據(jù)庫和聚類文件淘汰服務(wù)器。
[0045]下面對圖3所示的各個(gè)功能單元進(jìn)行交互的操作詳細(xì)描述:
[0046]I，下載客戶端:
[0047]如圖3所示，下載客戶端分別與離線下載任務(wù)管理服務(wù)器、云存儲服務(wù)器、統(tǒng)計(jì)服務(wù)器連接，執(zhí)行以下操作:
[0048](I),向離線下載任務(wù)管理服務(wù)器提交離線下載請求，該離線下載請求可包括需要下載的文件的下載連接信息，比如url鏈接、Http鏈接、eMule鏈接、Bt下載種子、或者M(jìn)agnet鏈接，并登陸該離線下載任務(wù)管理服務(wù)器來查詢該離線下載請求所請求文件的下載進(jìn)度(簡稱為離線下載進(jìn)度);
[0049](2)，在獲知其需要的文件被完成下載至云存儲服務(wù)器時(shí)，通過P2SP方式從云存儲服務(wù)器下載取回；
[0050]其中，下載客戶端如何獲知其需要的文件被完成下載至云存儲服務(wù)器，其具體實(shí)現(xiàn)時(shí)可以至少包括以下方式:通過登錄離線下載任務(wù)管理服務(wù)器來查詢離線下載進(jìn)度獲知，或者，由離線下載任務(wù)管理服務(wù)器發(fā)送離線下載進(jìn)度至下載客戶端等。
[0051](3)，在從云存儲服務(wù)器下載文件過程中發(fā)現(xiàn)下載到的數(shù)據(jù)分片錯(cuò)誤，向統(tǒng)計(jì)服務(wù)器上報(bào)；
[0052](4)，在從云存儲服務(wù)器完成文件下載后，向統(tǒng)計(jì)服務(wù)器匯報(bào)本次下載的下載時(shí)間、下載速度、下載結(jié)果、文件大小、下載的原始鏈接信息等。其中，下載的原始鏈接信息為已發(fā)送的離線下載請求所攜帶的文件下載地址信息。
[0053]2、離線下載任務(wù)管理服務(wù)器:
[0054]如圖3所示，所述離線下載任務(wù)管理服務(wù)器與下載客戶端、離線任務(wù)數(shù)據(jù)庫、離線下載任務(wù)調(diào)度服務(wù)器連接，執(zhí)行以下操作:
[0055](I )，接收客戶端提交的離線下載請求，為該離線下載請求生成唯一的編號；
[0056](2)，將離線下載請求攜帶的下載鏈接信息寫入離線任務(wù)數(shù)據(jù)庫；
[0057](3)，生成所述離線下載請求所請求的文件對應(yīng)的文件標(biāo)識比如文件Hash。下文僅以文件標(biāo)識為文件Hash為例進(jìn)行描述，其他情況類似，不再一一舉例。
[0058]以文件標(biāo)識為文件Hash為例，則上述的生成所述離線下載請求所請求的文件對應(yīng)的文件Hash具體為:如果離線下載請求中下載鏈接信息為url鏈接，則可將對該url鏈接進(jìn)行Hash運(yùn)算得到的計(jì)算結(jié)果作為所述文件Hash ;而如果離線下載請求中下載鏈接信息是eMule鏈接,則可將對eMule鏈接進(jìn)行Md4計(jì)算得到的計(jì)算結(jié)果作為所述文件Hash,如果離線下載請求中下載鏈接信息是Bt，則可將對torrent文件特征碼和文件序號進(jìn)行Hash計(jì)算得到的計(jì)算結(jié)果作為所述文件Hash。[0059](4),在所述離線任務(wù)數(shù)據(jù)庫存在所述文件Hash時(shí),如果所述文件Hash在所述離線任務(wù)數(shù)據(jù)庫中對應(yīng)的狀態(tài)被標(biāo)識為已下載，即表示云存儲服務(wù)器已存在所述離線下載請求所請求的文件，通知下載客戶端從云存儲服務(wù)器上秒下該文件。
[0060]優(yōu)選地，如果所述文件Hash對應(yīng)的狀態(tài)不為已下載，則本發(fā)明可認(rèn)為該文件Hash對應(yīng)的文件正在下載，因此，可等待，直到該文件Hash對應(yīng)的狀態(tài)為已下載時(shí)，通知下載客戶端從云存儲服務(wù)器上秒下該文件。
[0061]其中，通知下載客戶端從云存儲服務(wù)器上秒下該文件具體為:提供下載客戶端從云存儲服務(wù)器上秒下該文件的入口地址，作為客戶端下載的源，以使下載客戶端從該源上下載文件。
[0062](5),在所述離線任務(wù)數(shù)據(jù)庫不存在所述文件Hash時(shí),將該文件Hash記錄至所述離線任務(wù)數(shù)據(jù)庫，并將所述離線下載請求發(fā)送至所述離線下載任務(wù)調(diào)度服務(wù)器；以及，從離線下載任務(wù)調(diào)度服務(wù)器上接收針對離線查詢請求的離線下載進(jìn)度，以供下載客戶端查詢該離線下載進(jìn)度。
[0063]3、離線下載任務(wù)調(diào)度服務(wù)器:
[0064]如圖3所示，離線下載任務(wù)調(diào)度服務(wù)器分別與離線下載任務(wù)管理服務(wù)器、離線下載服務(wù)器群和離線下載文件聚類分析服務(wù)器連接，其執(zhí)行的操作為:
[0065]( I )，接受離線下載服務(wù)器群中離線下載服務(wù)器周期性上報(bào)的負(fù)載信息；
[0066](2)，對相同的離線下載請求進(jìn)行過濾，以保證同一個(gè)離線下載請求只需要向離線下載服務(wù)器群發(fā)送一次，不同的下載客戶端可以共享同一個(gè)離線下載請求的離線下載進(jìn)度信息；
[0067]優(yōu)選地，對相同的離線下載請求進(jìn)行過濾具體可為:離線下載任務(wù)調(diào)度服務(wù)器判斷之前是否已收到與當(dāng)前接收的離線下載請求相同的其他離線下載請求，如果是，通知所述下載客戶端共享所述離線下載任務(wù)調(diào)度服務(wù)器之前已收到的離線下載請求的離線下載信息，由所述下載客戶端根據(jù)所述離線下載信息下載其需要的文件；其中，離線下載信息至少可包括離線下載進(jìn)度信息。其中，所述下載客戶端根據(jù)離線下載信息下載其需要的文件包括:所述下載客戶端在離線下載進(jìn)度信息表示下載完成時(shí)，從云存儲服務(wù)器下載其需要的文件。
[0068](3)，在未接收到與當(dāng)前接收的離線下載請求相同的其他離線下載請求時(shí)，從當(dāng)前接收的離線下載請求中提取出文件名，并傳給所述離線下載文件聚類分析服務(wù)器。
[0069](4)，在接收到離線下載文件聚類分析服務(wù)器發(fā)送的第一通知時(shí)，確定不需要把當(dāng)前接收的離線下載請求分發(fā)給離線下載服務(wù)器，將該第一通知攜帶的文件名以及與該文件名相關(guān)的下載鏈接信息提供給下載客戶端，由下載客戶端選擇其中一個(gè)文件名相關(guān)的下載鏈接信息下載其需要的文件；其中，所述與該文件名相關(guān)的下載鏈接信息為:具有該文件名的文件被離線下載服務(wù)器下載至云存儲服務(wù)器上的位置信息。
[0070](5)，在接收到離線下載文件聚類分析服務(wù)器發(fā)送的第二通知時(shí)，確定需要把當(dāng)前接收的離線下載請求分發(fā)給離線下載服務(wù)器，則將當(dāng)前接收的離線下載請求分發(fā)給所述離線下載服務(wù)器群中的離線下載服務(wù)器，由該離線下載服務(wù)器下載并存儲所述離線下載請求的文件至云存儲服務(wù)器。
[0071]其中，將當(dāng)前接收的離線下載請求分發(fā)給所述離線下載服務(wù)器群中的離線下載服務(wù)器包括:
[0072]所述離線下載任務(wù)調(diào)度服務(wù)器根據(jù)所述離線下載服務(wù)器群中各個(gè)離線下載服務(wù)器周期性上報(bào)的負(fù)載信息，按照負(fù)載均衡原則動(dòng)態(tài)從離線下載服務(wù)器中選擇出用于執(zhí)行所述離線下載請求的離線下載服務(wù)器。
[0073](6)，接受離線下載服務(wù)器發(fā)送的離線下載進(jìn)度，速度等信息的匯報(bào)，同時(shí)把離線下載服務(wù)器匯報(bào)的離線下載進(jìn)度、速度等信息同步至離線下載任務(wù)管理服務(wù)器。
[0074]4、離線下載文件聚類分析服務(wù)器:
[0075]如圖3所示，離線下載文件聚類分析服務(wù)器分別連接離線下載任務(wù)調(diào)度服務(wù)器、離線下載服務(wù)器群、和聚類結(jié)果數(shù)據(jù)庫，其執(zhí)行以下操作:
[0076]( I )，接收所述離線下載任務(wù)調(diào)度服務(wù)器發(fā)送的文件名；
[0077](2)，分析所述聚類結(jié)果數(shù)據(jù)庫中是否存在與該接收的文件名相似的其他文件名。
[0078]其中，該分析具體可包括:
[0079]步驟1，對文件名進(jìn)行過濾處理，過濾掉文件名中與文件名內(nèi)容無關(guān)的符號和字段。文件名通常遵循一定的格式，比如，電影文件名由電影名稱+發(fā)布來源+發(fā)行版本+清晰度+視頻編碼+音頻編碼+文件格式組成；影視劇文件名通常由劇名+S季數(shù)+E集數(shù)+集名+信號采集源+音頻編碼(默認(rèn)的MP3可以不標(biāo))+視頻編碼-制作組組成，國產(chǎn)的影視劇通常沒有季數(shù)和集數(shù)。然而，在實(shí)際應(yīng)用中，文件名還包括一些與文件名內(nèi)容無關(guān)的輔助信息和符號，比如與文件名內(nèi)容無關(guān)的輔助信息可為首映、獨(dú)家首播、最新、在線觀看、首款網(wǎng)絡(luò)獨(dú)家首播、暑期必看、配 音、最新、電視、電視劇等，與文件名內(nèi)容無關(guān)的符號可為:“][，，，〃[〃&&〃]〃，〃【〃&&〃】〃 O O []等。基于此，步驟I就需要?jiǎng)h除該與文件名內(nèi)容無關(guān)的輔助信息和符號。
[0080]步驟2，對過濾后的文件名執(zhí)行切詞處理；該切詞處理可為:將包含有豐富信息的文件名切詞分為獨(dú)立的詞語。
[0081]步驟3，從聚類角度和相似度角度分析聚類結(jié)果數(shù)據(jù)庫中是否存在切詞處理后的文件名所屬的聚類，如果是，確定該存在的聚類中至少一個(gè)文件名與該接收的文件名相似。
[0082]其中，聚類角度分析，可以先分析切詞處理后文件名單個(gè)詞語與聚類結(jié)果數(shù)據(jù)庫中每一聚類中文件名單個(gè)詞語之間的相似度，分析完畢后在聚類結(jié)果數(shù)據(jù)庫中聚類分析得到相似的文件所處的聚類，其中，該聚類分析可采用現(xiàn)有聚類分析方式。同一個(gè)聚類中的文件都建立一個(gè)指向該聚類整體的映射關(guān)聯(lián)關(guān)系。
[0083]其中，文件名相似度的分析，可利用兩個(gè)向量夾角的余弦來求，比如，將文件名Fa進(jìn)行分解(文件名，發(fā)行商，格式，大小，清晰度等)用一個(gè)向量表示Fa=alxl+a2x2+....anXn,另外一個(gè)文件名Fb分解為另外一個(gè)向量Fb=blxl+b2x2+......bnxn,則向量Fa和Fb之間的
向量夾角余弦cos < a.b >為:
[0084]
cos < a,b >= (O1B1 + a2h2 + …+ anbn)/(^al2 + a22 +...+ On2^Jb12 +b22 +...+ bn2)；
[0085]其中，該夾角余弦cos < a.b >越大，則表示兩個(gè)文件名越相似。
[0086](3)，在上述的分析結(jié)果為是時(shí)，發(fā)送第一通知至離線下載任務(wù)調(diào)度服務(wù)器，第一通知攜帶了該存在的聚類所包含的至少一個(gè)文件名以及與該文件名相關(guān)的下載鏈接信息，其中，可按照預(yù)定義的推薦策略在第一通知中攜帶文件名以及下載鏈接信息。比如可隨機(jī)從該存在的聚類中選擇若干個(gè)文件名以及下載鏈接信息，或者選擇接收時(shí)間比較近比如接收時(shí)間相差設(shè)定數(shù)值比如10分鐘等的若干個(gè)文件名以及下載鏈接信息等；之后將該接收的文件名增加至該存在的聚類中；
[0087](4)，在上述的分析結(jié)果為否時(shí)，發(fā)送第二通知給所述離線下載任務(wù)調(diào)度服務(wù)器，并在所述聚類結(jié)果數(shù)據(jù)庫中新增加一個(gè)聚類，將該接收的文件名放入該新增加的聚類中。
[0088](5)，接收離線下載集群服務(wù)器在完成文件下載后發(fā)送的該文件在云存儲服務(wù)器上的下載鏈接信息，并記錄至所述聚類結(jié)果數(shù)據(jù)庫中該文件的名稱所屬的聚類中。
[0089]5、聚類結(jié)果數(shù)據(jù)庫:
[0090]如圖3所示，聚類結(jié)果數(shù)據(jù)庫與離線下載文件聚類分析服務(wù)器連接，其執(zhí)行以下步驟:
[0091]( I )，保存根據(jù)文件名的聚類結(jié)果；
[0092](2)，為離線下載任務(wù)文件聚類分析服務(wù)器提供查詢服務(wù)，提供屬于同一個(gè)聚類的文件名以及下載鏈接信息；
[0093](3)，為聚類文件淘汰服務(wù)器提供查詢服務(wù)。
[0094]6、聚類文件淘汰服務(wù)器
[0095]如圖3所示，聚類文件淘汰服務(wù)器與聚類結(jié)果數(shù)據(jù)庫、離線下載服務(wù)器群連接，執(zhí)行以下操作:
[0096](1)，定期讀取聚類結(jié)果數(shù)據(jù)庫中的聚類記錄，從中獲取屬于同一個(gè)聚類的下載鏈接信息；
[0097](2)，如果該所有下載鏈接信息下載的文件內(nèi)容類似，則僅在云存儲服務(wù)器上保留一個(gè)下載鏈接信息對應(yīng)的文件，從云存儲服務(wù)器上刪除其他下載鏈接信息對應(yīng)的文件，以節(jié)省云存儲服務(wù)器的存儲資源，并在聚類結(jié)果數(shù)據(jù)庫中將該其他下載鏈接信息標(biāo)記為:由該保留的文件對應(yīng)的下載鏈接信息替代。
[0098]如此，上述離線下載文件聚類分析服務(wù)器在分析出其接收的文件名所屬的聚類時(shí)，如果該聚類中一文件名相關(guān)的下載鏈接信息a被標(biāo)記為:由下載鏈接信息b替代，則在第一通知中攜帶該替代后的下載鏈接信息b。
[0099]7、離線下載服務(wù)器群:
[0100]其包含至少一個(gè)離線下載服務(wù)器，如圖3所示，其分別與聚類文件淘汰服務(wù)器、云存儲服務(wù)器、離線任務(wù)數(shù)據(jù)庫、離線下載任務(wù)調(diào)度服務(wù)器、以及離線下載文件聚類分析服務(wù)器連接，其執(zhí)行以下操作:
[0101](1)，向離線下載任務(wù)調(diào)度服務(wù)器注冊自己的地址，提供自己磁盤空間以及負(fù)載信息至離線下載任務(wù)調(diào)度服務(wù)器，供離線下載任務(wù)調(diào)度服務(wù)器按照負(fù)載進(jìn)行動(dòng)態(tài)均衡的調(diào)度；
[0102](2)，接收離線下載任務(wù)調(diào)度服務(wù)器的調(diào)度執(zhí)行云端下載離線下載請求所請求的文件；
[0103](3)，向離線下載任務(wù)調(diào)度服務(wù)器匯報(bào)離線下載的進(jìn)度和速度信息；
[0104](4)，將下載完成的文件存儲在云端服務(wù)器上供客戶端取回；
[0105](5)，在完成下載文件后，將離線任務(wù)數(shù)據(jù)庫中該文件對應(yīng)的標(biāo)識信息比如Hash對應(yīng)的狀態(tài)標(biāo)記為已下載即表示該標(biāo)識信息對應(yīng)的文件已被下載至云存儲服務(wù)器；
[0106](6)，在完成下載文件后，將該文件在云存儲服務(wù)器的下載鏈接信息發(fā)送至離線下載文件聚類分析服務(wù)器。
[0107]8、統(tǒng)計(jì)服務(wù)器:
[0108]如圖3所示，該統(tǒng)計(jì)服務(wù)器與下載客戶端連接，其執(zhí)行以下操作:接收所述下載客戶端上報(bào)的文件下載信息，并將所述文件下載信息寫成流水日志形式供統(tǒng)計(jì)分析；所述文件下載信息至少包括:所述下載客戶端從云存儲服務(wù)器下載文件的進(jìn)度、速度、時(shí)間、下載結(jié)果以及被下載的文件的屬性。
[0109]9、云存儲服務(wù)器:
[0110]如圖3所示，該云存儲服務(wù)器與下載客戶端以及離線下載服務(wù)器群連接，其執(zhí)行以下操作:
[0111]( I )，保存離線下載服務(wù)器群下載完成的文件；
[0112](2)，作為下載客戶端下載離線取回文件的源，能夠用保留的帶寬吐出下載客戶端所需要的文件。
[0113]至此，完成圖3中各個(gè)功能單元之間的交互。
[0114]由以上技術(shù)方案可以看出，本發(fā)明中，離線下載任務(wù)調(diào)度服務(wù)器在接收到離線下載請求后，并非立即調(diào)度離線下載服務(wù)器執(zhí)行該離線下載請求，而是先將離線下載請求中的文件名發(fā)送給離線下載文件聚類分析服務(wù)器，由離線下載文件聚類分析服務(wù)器分析聚類結(jié)果數(shù)據(jù)庫中存在所述文件名相似的文件名時(shí)，發(fā)送第一通知給離線下載任務(wù)調(diào)度服務(wù)器，如此，離線下載任務(wù)調(diào)度服務(wù)器就可直接將第一通知攜帶的文件名以及與該文件名相關(guān)的下載鏈接信息提供給下載客戶端，由下載客戶端選擇其中一個(gè)文件名相關(guān)的下載鏈接信息下載其需要的文件，而非調(diào)度離線下載服務(wù)器執(zhí)行離線下載請求，這節(jié)省了離線下載服務(wù)器的負(fù)載，并且，由于文件名相似其對應(yīng)的文件內(nèi)容也應(yīng)該相似，這避免了內(nèi)容類似的文件被重復(fù)下載，也使得云存儲服務(wù)器不再存儲大量內(nèi)容類似的文件，節(jié)省云存儲服務(wù)器的存儲資源。
[0115]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)的范圍之內(nèi)。
【權(quán)利要求】
1.一種離線下載系統(tǒng)，該系統(tǒng)包括:下載客戶端、云存儲服務(wù)器和至少一個(gè)離線下載服務(wù)器；其特征在于，該系統(tǒng)還包括: 離線下載任務(wù)調(diào)度服務(wù)器，用于從當(dāng)前接收的來自下載客戶端的離線下載請求中提取出文件名并發(fā)送給離線下載文件聚類分析服務(wù)器；以及，從離線下載文件聚類分析服務(wù)器接收到第一通知時(shí)，將該第一通知攜帶的文件名以及與該文件名相關(guān)的下載鏈接信息提供給下載客戶端，由下載客戶端選擇其中一個(gè)文件名相關(guān)的下載鏈接信息下載其需要的文件； 離線下載文件聚類分析服務(wù)器，用于接收來自所述離線下載任務(wù)調(diào)度服務(wù)器發(fā)送的文件名，并分析所述聚類結(jié)果數(shù)據(jù)庫中是否存在與該接收的文件名相似的其他文件名，如果是，發(fā)送第一通知給離線下載任務(wù)調(diào)度服務(wù)器，第一通知攜帶以下信息:該存在的文件名以及與該文件名相關(guān)的下載鏈接信息，所述與文件名相關(guān)的下載鏈接信息為:具有該文件名的文件被離線下載服務(wù)器下載至云存儲服務(wù)器上的位置信息。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述離線下載任務(wù)調(diào)度服務(wù)器從當(dāng)前接收的離線下載請求中提取出文件名并發(fā)送給離線下載文件聚類分析服務(wù)器包括: 所述離線下載任務(wù)調(diào)度服務(wù)器判斷之前是否已收到與當(dāng)前接收的離線下載請求相同的其他離線下載請求，如果是，通知所述下載客戶端共享所述離線下載任務(wù)調(diào)度服務(wù)器之前已收到的離線下載請求的離線下載信息，由所述下載客戶端根據(jù)所述離線下載信息下載其需要的文件；如果否，從當(dāng)前接收的離線下載請求中提取出文件名，并傳給所述離線下載文件聚類分析服務(wù)器。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述離線下載文件聚類分析聚類結(jié)果數(shù)據(jù)庫中是否存在與該接收的文件名相似的其他文件名包括: 所述離線下載文件聚類分析服務(wù)器對文件名進(jìn)行過濾處理，過濾掉文件名中與文件名內(nèi)容無關(guān)的符號和字段，并對過濾后的文件名執(zhí)行切詞處理； 所述離線下載文件聚類分析服務(wù)器從聚類角度和相似度角度分析所述聚類結(jié)果數(shù)據(jù)庫中是否存在切詞處理后的文件名所屬的聚類，如果是，確定該存在的聚類中至少一個(gè)文件名與該接收的文件名相似。
4.根據(jù)權(quán)利要求1至3任一所述的系統(tǒng)，其特征在于，所述離線下載文件聚類分析服務(wù)器在分析出所述聚類結(jié)果數(shù)據(jù)庫中不存在與所述文件名相似的文件名時(shí)，進(jìn)一步發(fā)送第二通知給所述離線下載任務(wù)調(diào)度服務(wù)器，并在所述聚類結(jié)果數(shù)據(jù)庫中新增加一個(gè)聚類，將該接收的文件名放入該新增加的聚類中； 所述離線下載任務(wù)調(diào)度服務(wù)器在接收到所述離線下載文件聚類分析服務(wù)器發(fā)送的第二通知時(shí)，進(jìn)一步按照負(fù)載均衡原則動(dòng)態(tài)從離線下載服務(wù)器中選擇出用于執(zhí)行所述離線下載請求的離線下載服務(wù)器，由該選擇的離線下載服務(wù)器下載并存儲所述離線下載請求的文件至云存儲服務(wù)器； 所述下載客戶端在獲知其需要的文件被離線下載任務(wù)調(diào)度服務(wù)器選擇的離線下載服務(wù)器下載至云存儲服務(wù)器后，從云存儲服務(wù)器上下載其需要的文件。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述離線下載服務(wù)器進(jìn)一步在完成下載所述離線下載請求的文件后，發(fā)送該文件在云存儲服務(wù)器上的下載鏈接信息至離線下載文件聚類分析服務(wù)器；所述離線下載文件聚類分析服務(wù)器進(jìn)一步將接收的文件下載鏈接信息記錄至所述聚類結(jié)果數(shù)據(jù)庫中該文件的名稱所屬的聚類中。
6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于，所述系統(tǒng)進(jìn)一步包括: 聚類文件淘汰服務(wù)器，用于定期讀取所述聚類結(jié)果數(shù)據(jù)庫中的聚類，獲取該聚類中的所有下載鏈接信息，如果該所有下載鏈接信息對應(yīng)的文件內(nèi)容類似，則僅在云存儲服務(wù)器上保留其中一個(gè)下載鏈接信息對應(yīng)的文件，從云存儲服務(wù)器上刪除其他下載鏈接信息對應(yīng)的文件，并在聚類結(jié)果數(shù)據(jù)庫中將該其他下載鏈接信息標(biāo)記為:由該保留的文件對應(yīng)的下載鏈接信息替代。
7.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述系統(tǒng)進(jìn)一步包括:離線下載任務(wù)管理服務(wù)器和離線任務(wù)數(shù)據(jù)庫；其中， 所述離線下載任務(wù)管理服務(wù)器，用于接收來自下載客戶端的離線下載請求，生成所述離線下載請求的文件的標(biāo)識信息，判斷所述離線任務(wù)數(shù)據(jù)庫是否存在所述標(biāo)識信息，如果是，在所述標(biāo)識信息對應(yīng)的狀態(tài)為已下載時(shí)，通知下載客戶端從云存儲服務(wù)器上秒下其需要的文件，否則，將所述標(biāo)識信息記錄至所述離線任務(wù)數(shù)據(jù)庫，并將所述離線下載請求發(fā)送至所述離線下載任務(wù)調(diào)度服務(wù)器； 所述離線下載服務(wù)器群中任一離線下載服務(wù)器在完成文件下載后，進(jìn)一步在所述離線任務(wù)數(shù)據(jù)庫中查找到該被下載的文件的標(biāo)識信息，并針對該標(biāo)識信息增加用于表示已下載的狀態(tài)。
8.一種離線下載方法，其特征在于，該方法包括以下步驟: 離線下載任務(wù)調(diào)度服務(wù)器從當(dāng)前接收的來自下載客戶端的離線下載請求中提取出文件名并發(fā)送給離線下載文件聚類分析服務(wù)器；` 離線下載文件聚類分析服務(wù)器分析所述聚類結(jié)果數(shù)據(jù)庫中是否存在與該接收的文件名相似的其他文件名，如果是，發(fā)送第一通知給所述離線下載任務(wù)調(diào)度服務(wù)器，所述第一通知攜帶以下信息:該存在的文件名以及與該文件名相關(guān)的下載鏈接信息，所述與該文件名相關(guān)的下載鏈接信息為:具有該文件名的文件被離線下載服務(wù)器下載至云存儲服務(wù)器上的位置信息； 離線下載任務(wù)調(diào)度服務(wù)器將第一通知攜帶的文件名以及與該文件名相關(guān)的下載鏈接信息提供給下載客戶端，由下載客戶端選擇其中一個(gè)文件名相關(guān)的下載鏈接信息下載其需要的文件。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述離線下載任務(wù)調(diào)度服務(wù)器從當(dāng)前接收的來自下載客戶端的離線下載請求中提取出文件名并發(fā)送給離線下載文件聚類分析服務(wù)器包括: 離線下載任務(wù)調(diào)度服務(wù)器判斷之前是否已收到與當(dāng)前接收的離線下載請求相同的其他離線下載請求，如果是，通知所述下載客戶端共享所述離線下載任務(wù)調(diào)度服務(wù)器之前已收到的離線下載請求的離線下載信息，由所述下載客戶端根據(jù)所述離線下載信息下載其需要的文件；如果否，從當(dāng)前接收的離線下載請求中提取出文件名，并傳給所述離線下載文件聚類分析服務(wù)器。
10.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述離線下載文件聚類分析服務(wù)器分析所述聚類結(jié)果數(shù)據(jù)庫中是否存在與該接收的文件名相似的其他文件名包括:離線下載文件聚類分析服務(wù)器對接收的文件名進(jìn)行過濾處理，過濾掉文件名中與文件名內(nèi)容無關(guān)的符號和字段，并對過濾后的文件名執(zhí)行切詞處理，之后從聚類角度和相似度角度分析所述聚類結(jié)果數(shù)據(jù)庫中是否存在切詞處理后的文件名所屬的聚類，如果是，確定該存在的聚類中至少一個(gè)文件名與該接收的文件名相似。
11.根據(jù)權(quán)利要求8至10任一所述的方法，其特征在于，該方法進(jìn)一步包括: 所述離線下載文件聚類分析服務(wù)器分析出所述聚類結(jié)果數(shù)據(jù)庫中不存在與所述文件名相似的其他文件名，則進(jìn)一步發(fā)送第二通知給所述離線下載任務(wù)調(diào)度服務(wù)器，并在所述聚類結(jié)果數(shù)據(jù)庫中新增加一個(gè)聚類，將該接收的文件名放入該新增加的聚類中； 離線下載任務(wù)調(diào)度服務(wù)器接收到所述第二通知時(shí)，按照負(fù)載均衡原則動(dòng)態(tài)從離線下載服務(wù)器中選擇出用于執(zhí)行所述離線下載請求的離線下載服務(wù)器，由該選擇的離線下載服務(wù)器下載并存儲所述離線下載請求的文件至云存儲服務(wù)器，以使下載客戶端在獲知其需要的文件被所述離線下載任務(wù)調(diào)度服務(wù)器選擇的離線下載服務(wù)器下載至云存儲服務(wù)器后，從云存儲服務(wù)器上下載其需要的文件。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，該方法進(jìn)一步包括: 所述離線下載服務(wù)器在完成下載所述離線下載請求的文件后，發(fā)送該文件在云存儲服務(wù)器上的下載鏈接信息至離線下載文件聚類分析服務(wù)器； 所述離線下載文件聚類分析服務(wù)器進(jìn)一步將接收的文件下載鏈接信息記錄至所述聚類結(jié)果數(shù)據(jù)庫中該文件的名稱所屬的聚類中。
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述方法進(jìn)一步包括: 由聚類文件淘汰服務(wù)器定期讀取所述聚類結(jié)果數(shù)據(jù)庫中的聚類，獲取該聚類中的所有下載鏈接信息，并在該獲取的 下載鏈接信息對應(yīng)的文件內(nèi)容類似時(shí)，僅控制云存儲服務(wù)器上保留其中一個(gè)下載鏈接信息對應(yīng)的文件，從云存儲服務(wù)器上刪除其他下載鏈接信息對應(yīng)的文件，并在聚類結(jié)果數(shù)據(jù)庫中將該其他下載鏈接信息標(biāo)記為:由該保留的文件對應(yīng)的下載鏈接信息替代。
14.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述離線下載任務(wù)調(diào)度服務(wù)器當(dāng)前接收來自下載客戶端的離線下載請求包括: 離線下載任務(wù)管理服務(wù)器接收來自下載客戶端的離線下載請求，生成所述離線下載請求的文件的標(biāo)識信息，判斷所述離線任務(wù)數(shù)據(jù)庫是否存在所述標(biāo)識信息，如果是，在所述標(biāo)識信息對應(yīng)的狀態(tài)為已下載時(shí)，通知下載客戶端從云存儲服務(wù)器上秒下其需要的文件，否貝1J，將所述標(biāo)識信息記錄至所述離線任務(wù)數(shù)據(jù)庫，并將所述離線下載請求發(fā)送至所述離線下載任務(wù)調(diào)度服務(wù)器； 該方法進(jìn)一步包括: 離線下載服務(wù)器群中任一離線下載服務(wù)器在完成文件下載后，在所述離線任務(wù)數(shù)據(jù)庫中查找到該被下載的文件的標(biāo)識信息，并針對該標(biāo)識信息增加用于表示已下載的狀態(tài)。
【文檔編號】H04L29/08GK103428231SQ201210151239
【公開日】2013年12月4日 申請日期:2012年5月16日 優(yōu)先權(quán)日:2012年5月16日
【發(fā)明者】劉剛 申請人:騰訊科技（深圳）有限公司