專利名稱：網(wǎng)絡(luò)資源的下載方法
技術(shù)領(lǐng)域：
本發(fā)明屬于互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)資源的下載方法。
背景技術(shù)：
P2P (peer-to-peer對(duì)等聯(lián)網(wǎng))技術(shù)是近年來(lái)興起的互連網(wǎng)技術(shù)，采用P2P架構(gòu)可
以有效地利用互聯(lián)網(wǎng)中散布的大量普通節(jié)點(diǎn)，將計(jì)算任務(wù)或存儲(chǔ)資料分布到所有節(jié)點(diǎn)上，
利用其中閑置的計(jì)算能力和存儲(chǔ)空間，達(dá)到高性能計(jì)算和海量存儲(chǔ)的目的。 當(dāng)越來(lái)越多的設(shè)備具備了直接接入互聯(lián)網(wǎng)進(jìn)行P2P下載的能力后，事實(shí)上形成了
一種分布式下載的局面，現(xiàn)有的p2p技術(shù)使得一臺(tái)設(shè)備可以從網(wǎng)絡(luò)上的多個(gè)內(nèi)容源獲取數(shù)
據(jù)，但是獲取的數(shù)據(jù)只能存儲(chǔ)在本地，其弊端在于不同的設(shè)備其之間下載數(shù)據(jù)的存儲(chǔ)是分
散的，這樣無(wú)法將多個(gè)設(shè)備的下載能力形成合力。 因此，需要一種技術(shù)方案，可以做到協(xié)同調(diào)度多個(gè)P2P下載設(shè)備，使得多個(gè)設(shè)備不 僅從互聯(lián)網(wǎng)上的多個(gè)peer獲取內(nèi)容源，還可以將多個(gè)設(shè)備下載下來(lái)的數(shù)據(jù)匯總到同一個(gè) 目的地進(jìn)行存儲(chǔ)，這種p2p下載方式將可以充分利用各種不同設(shè)備的特性和計(jì)算能力，極 大地提高整體的下載速度和性能。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種網(wǎng)絡(luò)資源下載的方法，旨在提高對(duì)網(wǎng)絡(luò)資源的下載速 度的問(wèn)題。 本發(fā)明是這樣實(shí)現(xiàn)的，一種網(wǎng)絡(luò)資源的下載方法，所述的方法包括 a、任務(wù)分配協(xié)調(diào)器可控制的線上設(shè)備中的至少一個(gè)向任務(wù)分配協(xié)調(diào)器發(fā)送下載
請(qǐng)求； b、所述的任務(wù)分配協(xié)調(diào)器查找其所控制的當(dāng)前可執(zhí)行下載任務(wù)的設(shè)備，并將整個(gè) 下載任務(wù)分解后分配給各個(gè)可執(zhí)行下載任務(wù)的線上設(shè)備； c、各個(gè)執(zhí)行下載任務(wù)的線上設(shè)備分別執(zhí)行所分配的下載任務(wù)，并將下載的數(shù)據(jù)匯 總至共同的目的地。 任務(wù)分配協(xié)調(diào)器控制的每個(gè)線上設(shè)備中，均運(yùn)行一個(gè)任務(wù)分配協(xié)調(diào)器的代理程 序，由該代理程序負(fù)責(zé)與任務(wù)分配協(xié)調(diào)器通信。
其中步驟b所述的將整個(gè)下載任務(wù)分解具體包括將需要下載的文件按當(dāng)前可執(zhí)
行下載任務(wù)的線上設(shè)備的數(shù)量進(jìn)行分解，每一設(shè)備對(duì)應(yīng)一分任務(wù)。
其中步驟C具體包括 Cl、各個(gè)執(zhí)行下載任務(wù)的線上設(shè)備從網(wǎng)絡(luò)中搜索存在所需要下載的網(wǎng)絡(luò)資源的 peer，當(dāng)搜索到某peer存在屬于自身分任務(wù)的網(wǎng)絡(luò)資源時(shí)，轉(zhuǎn)步驟c2，當(dāng)搜索到某peer存 在不屬于自身分任務(wù)的網(wǎng)絡(luò)資源時(shí)，轉(zhuǎn)步驟c3; c2、建立與該peer的連接，通過(guò)P2P方式下載屬于自身任務(wù)的網(wǎng)絡(luò)資源，將下載的 數(shù)據(jù)匯總至所述共同的目的地；
c3、所述設(shè)備將該peer的信息返回給任務(wù)分配協(xié)調(diào)器，任務(wù)分配協(xié)調(diào)器再將該 peer的信息轉(zhuǎn)發(fā)給另一設(shè)備，所述另一設(shè)備所分配的分任務(wù)對(duì)應(yīng)該peer存在的網(wǎng)絡(luò)資源， 所述另一設(shè)備通過(guò)P2P方式下載屬于自身分任務(wù)的網(wǎng)絡(luò)資源，將下載的數(shù)據(jù)匯總至所述共 同的目的地。 其中步驟c還包括當(dāng)其中一個(gè)執(zhí)行下載任務(wù)的線上設(shè)備下線時(shí)，其代理程序?qū)?通知任務(wù)分配協(xié)調(diào)器，所述任務(wù)分配協(xié)調(diào)器將屬于該下線設(shè)備的下載任務(wù)重新分配給其他 仍在線工作的設(shè)備。 所述的共同目的地同樣運(yùn)行一個(gè)代理程序，所述代理程序統(tǒng)一接收來(lái)自不同線上 設(shè)備下載的數(shù)據(jù)，將所述下載數(shù)據(jù)整理成一個(gè)完整的文件。
所述共同目的地由任務(wù)分配協(xié)調(diào)器指定。
所述共同目的地優(yōu)選發(fā)起下載請(qǐng)求的設(shè)備。 本發(fā)明克服現(xiàn)有技術(shù)的不足，由任務(wù)分配協(xié)調(diào)器對(duì)下載任務(wù)進(jìn)行分配，將整個(gè)下 載任務(wù)分解后分別分配給網(wǎng)絡(luò)中兩個(gè)或者兩個(gè)以上的有下載需求的設(shè)備，每個(gè)有下載需求 的設(shè)備負(fù)責(zé)所分配任務(wù)的下載，各個(gè)設(shè)備將下載的數(shù)據(jù)匯總后存儲(chǔ)在一個(gè)目標(biāo)文件中。本 發(fā)明提供的技術(shù)方案使得針對(duì)某個(gè)特定資源的下載任務(wù)將不再依賴某個(gè)單一的設(shè)備，任務(wù) 被均衡地分配到了若干臺(tái)不同的設(shè)備上，由這些設(shè)備同步下載，以最大限度地利用設(shè)備的 計(jì)算資源和網(wǎng)絡(luò)帶寬，相比起目前的只能進(jìn)行單個(gè)設(shè)備p2p下載，大大地提高了下載的速 度和效率。


圖1是本發(fā)明實(shí)施例系統(tǒng)圖。
具體實(shí)施例方式
本發(fā)明提供的技術(shù)方案是任務(wù)分配協(xié)調(diào)器可控制多個(gè)線上設(shè)備，其中至少一個(gè) 線上設(shè)備向任務(wù)分配協(xié)調(diào)器發(fā)送下載請(qǐng)求；任務(wù)分配協(xié)調(diào)器查找其所控制的當(dāng)前可執(zhí)行下 載任務(wù)的線上設(shè)備；由任務(wù)分配協(xié)調(diào)器對(duì)下載任務(wù)進(jìn)行分配，將整個(gè)下載任務(wù)分解后分別 分配給各個(gè)可執(zhí)行下載任務(wù)的線上設(shè)備；各個(gè)執(zhí)行下載任務(wù)的線上設(shè)備分別執(zhí)行所分配的 下載任務(wù)，將下載的數(shù)據(jù)匯總至共同的目的地。 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì) 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。 本發(fā)明實(shí)施例提供的系統(tǒng)圖如圖l所示，包括多個(gè)內(nèi)容源，如內(nèi)容源1、內(nèi)容源2、
內(nèi)容源3........內(nèi)容源n，任務(wù)分配協(xié)調(diào)器和由其控制的多個(gè)線上設(shè)備，如手機(jī)、電腦和
機(jī)頂盒等等。 其中，內(nèi)容源為互聯(lián)網(wǎng)上存儲(chǔ)特定內(nèi)容的節(jié)點(diǎn)(peer)。 任務(wù)分配協(xié)調(diào)器控制的多個(gè)線上設(shè)備如手機(jī)、電腦和機(jī)頂盒等等，至少一個(gè)線上 設(shè)備有下載需求，或者多個(gè)線上設(shè)備對(duì)相同的網(wǎng)絡(luò)資源有下載需求，需要下載的網(wǎng)絡(luò)資源 分布在多個(gè)內(nèi)容源中。在任務(wù)分配協(xié)調(diào)器控制的每個(gè)線上設(shè)備中，均運(yùn)行一個(gè)任務(wù)分配協(xié) 調(diào)器的代理程序(agent)，由該代理程序負(fù)責(zé)與任務(wù)分配協(xié)調(diào)器之間的通信。任務(wù)分配協(xié)調(diào)器、各個(gè)線上設(shè)備均可接入互聯(lián)網(wǎng)，，該任務(wù)分配協(xié)調(diào)器進(jìn)行下載任務(wù)的分配，以及確保數(shù)據(jù)的完整性和一致性。任務(wù)分配協(xié)調(diào)器可以是一個(gè)專有的設(shè)備，也可以運(yùn)行在承擔(dān)下載任務(wù)的設(shè)備上。 有下載需求的線上設(shè)備向任務(wù)分配協(xié)調(diào)器發(fā)送下載請(qǐng)求，任務(wù)分配協(xié)調(diào)器查找其所控制的可執(zhí)行下載任務(wù)的線上設(shè)備，這些可執(zhí)行下載任務(wù)的線上設(shè)備包括發(fā)送下載請(qǐng)求的線上設(shè)備；由任務(wù)分配協(xié)調(diào)器對(duì)下載任務(wù)進(jìn)行分配，將整個(gè)下載任務(wù)分解后分別分配給各個(gè)可執(zhí)行下載任務(wù)的線上設(shè)備； 執(zhí)行下載任務(wù)的各線上設(shè)備均通過(guò)互聯(lián)網(wǎng)接入進(jìn)行網(wǎng)絡(luò)資源的下載，下載的數(shù)據(jù)再通過(guò)任務(wù)分配協(xié)調(diào)器寫(xiě)入同一個(gè)目的地文件中。 例如下載的請(qǐng)求可以由手機(jī)、電腦和機(jī)頂盒中的任意一個(gè)線上設(shè)備發(fā)起，或者不同的用戶分別通過(guò)手機(jī)、電腦對(duì)同一網(wǎng)絡(luò)資源發(fā)送下載請(qǐng)求時(shí)，運(yùn)行在手機(jī)和電腦上的代理程序主動(dòng)與任務(wù)分配協(xié)調(diào)器聯(lián)系，任務(wù)分配協(xié)調(diào)器查找到可執(zhí)行下載任務(wù)的線上設(shè)備有手機(jī)、電腦和機(jī)頂盒，并根據(jù)其接受到的下載的總?cè)蝿?wù)情況將總?cè)蝿?wù)分解成三個(gè)分任務(wù)，然后將三個(gè)分任務(wù)分別分配給手機(jī)、電腦和機(jī)頂盒。 任務(wù)分解及執(zhí)行可以有多種策略，例如可以簡(jiǎn)單地將手機(jī)和電腦請(qǐng)求下載的文件分成頭、中、尾三個(gè)部分，每個(gè)部分分別交給一個(gè)線上設(shè)備下載，執(zhí)行下載任務(wù)的線上設(shè)備即手機(jī)、電腦和機(jī)頂盒分別從網(wǎng)絡(luò)中搜索存在所需要下載的網(wǎng)絡(luò)資源的peer，當(dāng)搜索到某peer存在屬于自身分任務(wù)的網(wǎng)絡(luò)資源時(shí)，建立與該peer的連接，通過(guò)P2P方式下載屬于自身分任務(wù)的網(wǎng)絡(luò)資源，將下載的數(shù)據(jù)匯總至共同的目的地；各個(gè)線上設(shè)備在搜索到某peer (節(jié)點(diǎn))上的不屬于自己分管的那部分資源時(shí)，將該peer的信息返回給任務(wù)分配協(xié)調(diào)器，任務(wù)分配協(xié)調(diào)器再將擁有該資源的peer的信息轉(zhuǎn)發(fā)給該部分資源對(duì)應(yīng)的線上設(shè)備，下載該部分資源的對(duì)應(yīng)的設(shè)備通過(guò)P2P方式下載屬于自身分任務(wù)的網(wǎng)絡(luò)資源，將下載的數(shù)據(jù)匯總至共同的目的地。這樣，各個(gè)線上設(shè)備分別執(zhí)行自身所分配的那部分資源的下載的分任務(wù)。 任務(wù)分解及執(zhí)行也可以采用更復(fù)雜的策略任務(wù)分配器協(xié)調(diào)器接受到其所控制的一個(gè)或多個(gè)線上設(shè)備的下載請(qǐng)求后，直接搜索互聯(lián)網(wǎng)上對(duì)應(yīng)的peer信息，搜索完成后，根據(jù)預(yù)定的策略，查找其所控制的可執(zhí)行下載任務(wù)的線上設(shè)備，并將下載任務(wù)分配給各個(gè)可執(zhí)行下載任務(wù)的線上設(shè)備執(zhí)行，如設(shè)備A負(fù)責(zé)下載從0到xxx偏移量的數(shù)據(jù)內(nèi)容，設(shè)備B負(fù)責(zé)下載從xxx+l到xxxx偏移量的數(shù)據(jù)內(nèi)容，等等。 當(dāng)某個(gè)線上設(shè)備下線時(shí)，其對(duì)應(yīng)的代理程序?qū)⑼ㄖ蝿?wù)分配協(xié)調(diào)器，任務(wù)分配協(xié)調(diào)器再動(dòng)態(tài)地改變?nèi)蝿?wù)的分配，將原本屬于該下線設(shè)備的部分下載任務(wù)分配給其他仍然在線工作的設(shè)備。 各個(gè)執(zhí)行下載任務(wù)的線上設(shè)備將下載下來(lái)的數(shù)據(jù)統(tǒng)一匯總至一個(gè)共同的目的地，
在下載的目的地同樣運(yùn)行一個(gè)代理程序，代理程序統(tǒng)一接收來(lái)自不同線上設(shè)備下載的數(shù)
據(jù)，將這些數(shù)據(jù)分段裝配形成一個(gè)完整的文件。共同目的地由任務(wù)分配協(xié)調(diào)器指定，優(yōu)選發(fā)
起下載請(qǐng)求的設(shè)備，這樣可以提高效率，減少不必要的數(shù)據(jù)轉(zhuǎn)移。假定任務(wù)分配協(xié)調(diào)器可控
制的線上設(shè)備有手機(jī)、電腦和機(jī)頂盒，本發(fā)明實(shí)施例流程具體包括如下的步驟 1、手機(jī)、電腦和機(jī)頂盒中的一個(gè)設(shè)備或針對(duì)相同的網(wǎng)絡(luò)資源有下載需求的兩個(gè)設(shè)
備向任務(wù)分配協(xié)調(diào)器發(fā)送下載請(qǐng)求；
2、發(fā)送下載請(qǐng)求的設(shè)備上的代理程序主動(dòng)與任務(wù)分配協(xié)調(diào)器聯(lián)系，任務(wù)分配協(xié)調(diào)器查找到可執(zhí)行下載任務(wù)的線上設(shè)備有手機(jī)、電腦和機(jī)頂盒，根據(jù)下載的總?cè)蝿?wù)情況將總?cè)蝿?wù)分解成三個(gè)分任務(wù)； 3、任務(wù)分配協(xié)調(diào)器將三個(gè)分任務(wù)分別分配給手機(jī)、電腦和機(jī)頂盒；
4、手機(jī)、電腦和機(jī)頂盒分別執(zhí)行自身所分配的下載任務(wù)； 5、手機(jī)、電腦和機(jī)頂盒將下載的數(shù)據(jù)匯總至一個(gè)共同的目的地，在該目的地運(yùn)行的代理程序統(tǒng)一接收來(lái)自不同設(shè)備的數(shù)據(jù)，將這些數(shù)據(jù)分段裝配起來(lái)形成一個(gè)完整的文件。 如上所述，本發(fā)明提供的技術(shù)方案使得針對(duì)某個(gè)特定資源的下載任務(wù)將不再依賴某個(gè)單一的設(shè)備，任務(wù)被均衡地分配到了若干臺(tái)不同的設(shè)備上，由這些設(shè)備并發(fā)地同步下載，以最大限度地利用設(shè)備的計(jì)算資源和網(wǎng)絡(luò)帶寬，這樣即使某臺(tái)設(shè)備的臨時(shí)離線也不會(huì)對(duì)整個(gè)下載行為造成完全中斷的影響，尤其對(duì)于那些長(zhǎng)時(shí)間處于開(kāi)機(jī)模式或者擁有很好的網(wǎng)絡(luò)接入資源的設(shè)備，是一種物盡其用的好辦法。 以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
一種網(wǎng)絡(luò)資源的下載方法，所述的方法包括a、任務(wù)分配協(xié)調(diào)器可控制的線上設(shè)備中的至少一個(gè)向任務(wù)分配協(xié)調(diào)器發(fā)送下載請(qǐng)求；b、所述的任務(wù)分配協(xié)調(diào)器查找其所控制的當(dāng)前可執(zhí)行下載任務(wù)的設(shè)備，并將整個(gè)下載任務(wù)分解后分配給各個(gè)可執(zhí)行下載任務(wù)的線上設(shè)備；c、各個(gè)執(zhí)行下載任務(wù)的線上設(shè)備分別執(zhí)行所分配的下載任務(wù)，并將下載的數(shù)據(jù)匯總至共同的目的地。
2. 根據(jù)權(quán)利要求l所述的方法，其特征在于任務(wù)分配協(xié)調(diào)器控制的每個(gè)線上設(shè)備中， 均運(yùn)行一個(gè)任務(wù)分配協(xié)調(diào)器的代理程序，由該代理程序負(fù)責(zé)與任務(wù)分配協(xié)調(diào)器通信。
3. 根據(jù)權(quán)利要求l所述的方法，其特征在于，其中步驟b所述的將整個(gè)下載任務(wù)分解具 體包括將需要下載的文件按當(dāng)前可執(zhí)行下載任務(wù)的線上設(shè)備的數(shù)量進(jìn)行分解，每一設(shè)備 對(duì)應(yīng)一分任務(wù)。
4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，其中步驟C具體包括 cl、各個(gè)執(zhí)行下載任務(wù)的線上設(shè)備從網(wǎng)絡(luò)中搜索存在所需要下載的網(wǎng)絡(luò)資源的peer，當(dāng)搜索到某peer存在屬于自身分任務(wù)的網(wǎng)絡(luò)資源時(shí)，轉(zhuǎn)步驟c2，當(dāng)搜索到某peer存在不屬 于自身分任務(wù)的網(wǎng)絡(luò)資源時(shí)，轉(zhuǎn)步驟c3 ;c2、建立與該peer的連接，通過(guò)P2P方式下載屬于自身任務(wù)的網(wǎng)絡(luò)資源，將下載的數(shù)據(jù) 匯總至所述共同的目的地；c3、所述設(shè)備將該peer的信息返回給任務(wù)分配協(xié)調(diào)器，任務(wù)分配協(xié)調(diào)器再將該peer的 信息轉(zhuǎn)發(fā)給另一設(shè)備，所述另一設(shè)備所分配的分任務(wù)對(duì)應(yīng)該peer存在的網(wǎng)絡(luò)資源，所述另 一設(shè)備通過(guò)P2P方式下載屬于自身分任務(wù)的網(wǎng)絡(luò)資源，將下載的數(shù)據(jù)匯總至所述共同的目 的地。
5. 根據(jù)權(quán)利要求l所述的方法，其特征在于，其中步驟c還包括當(dāng)其中一個(gè)執(zhí)行下載 任務(wù)的線上設(shè)備下線時(shí)，其代理程序?qū)⑼ㄖ蝿?wù)分配協(xié)調(diào)器，所述任務(wù)分配協(xié)調(diào)器將屬于 該下線設(shè)備的下載任務(wù)重新分配給其他仍在線工作的設(shè)備。
6. 根據(jù)權(quán)利要求l所述的方法，其特征在于，所述的共同目的地同樣運(yùn)行一個(gè)代理程 序，所述代理程序統(tǒng)一接收來(lái)自不同線上設(shè)備下載的數(shù)據(jù)，將所述下載數(shù)據(jù)整理成一個(gè)完 整的文件。
7. 根據(jù)權(quán)利要求1或6所述的方法，其特征在于，所述共同目的地由任務(wù)分配協(xié)調(diào)器指定。
8. 根據(jù)權(quán)利要求1或6所述的方法，其特征在于，所述共同目的地優(yōu)選發(fā)起下載請(qǐng)求的 設(shè)備。
全文摘要
本發(fā)明適用于互聯(lián)網(wǎng)技術(shù)領(lǐng)域，提供了一種網(wǎng)絡(luò)資源的下載方法，所述的方法包括所述的方法包括a、任務(wù)分配協(xié)調(diào)器可控制的線上設(shè)備中的至少一個(gè)向任務(wù)分配協(xié)調(diào)器發(fā)送下載請(qǐng)求；b、所述的任務(wù)分配協(xié)調(diào)器查找其所控制的當(dāng)前可執(zhí)行下載任務(wù)的設(shè)備，并將整個(gè)下載任務(wù)分解后分配給各個(gè)可執(zhí)行下載任務(wù)的線上設(shè)備；c、各個(gè)執(zhí)行下載任務(wù)的線上設(shè)備分別執(zhí)行所分配的下載任務(wù)，并將下載的數(shù)據(jù)匯總至共同的目的地。本發(fā)明提供的技術(shù)方案大大地提高了下載的速度和效率。
文檔編號(hào)G06F17/30GK101753404SQ200810218159
公開(kāi)日2010年6月23日 申請(qǐng)日期2008年12月12日 優(yōu)先權(quán)日2008年12月12日
發(fā)明者孫翀 申請(qǐng)人:Tcl集團(tuán)股份有限公司