專利名稱：一種網絡數據的分布式存儲下載系統(tǒng)、設備及方法
技術領域：
本發(fā)明屬于通信領域，尤其涉及一種網絡數據的分布式存儲下載系統(tǒng)、設備和方法。
背景技術：
隨著通信網絡的發(fā)展和終端能力的不斷增強，用戶可以使用的數據類型越來越多，除了基本的通訊錄、通話記錄、短信彩信記錄之外，還包括鈴音、圖片、視頻以及游戲等多媒體數據。豐富的數據應用要求在本地存儲之外存儲數據。但非本地存儲對數據存儲和傳輸的安全性要求較高。
圖1示出了現有技術中實現數據存儲的網絡結構，用戶數據存儲在數據服務器中，數據服務器為每個終端分配一塊存儲空間中。當終端需要下載數據時，通過網絡訪問數據服務器，下載所需要的數據。在這種方式中，數據在數據服務器上集中存儲，數據下載時采用單點傳輸，數據傳輸速度慢。當用戶數量較多時，數據服務器將面臨較大的通信負載。同時，一旦數據服務器發(fā)生安全故障時，將造成數據丟失，安全性不高。
比特流(Bit Torrent，BT)下載技術是常見的數據下載方式，如圖2所示。BT服務器將數據分割為若干數據塊，各數據塊可以作為一個獨立的部分在網絡中傳輸。每個參加下載的終端既從其他終端上下載數據，同時自身也向其他終端提供下載，因此參與下載的終端數量越多，下載速度也越快。在這種方式中，終端必須獲取了全部數據塊才能還原出完整的數據，因此每一個數據塊都是必不可少的。由于網絡傳輸的不確定性，數據塊可能在網絡中丟失，從而造成不能恢復整個數據。同時，由于存儲節(jié)點的傳輸速度不一，會延長整個數據的恢復時間。

發(fā)明內容
本發(fā)明的目的在于提供一種網絡數據的分布式存儲下載系統(tǒng)，旨在解決現有技術中在實現數據的分布式存儲下載過程中數據下載不穩(wěn)定、可靠性低的問題。
本發(fā)明的另一目的在于提供一種網絡數據的分布式存儲下載設備；本發(fā)明的另一目的在于提供一種網絡數據的分布式存儲下載控制設備；本發(fā)明的另一目的在于提供一種網絡數據的分布式存儲方法；本發(fā)明的另一目的在于提供一種網絡數據的分布式下載方法。
本發(fā)明是這樣實現的，一種網絡數據的分布式存儲下載系統(tǒng)，所述系統(tǒng)包括源數據終端，用于對源數據進行線性編碼，生成多個數據片，以及對下載的源數據的數據片進行線性解碼，恢復源數據。
存儲節(jié)點，與所述源數據終端連接，用于下載存儲所述數據片；以及索引服務器，與所述源數據終端以及存儲節(jié)點連接，用于管理所述源數據終端的數據片信息以及所述存儲節(jié)點的網絡信息，控制所述源數據終端或者存儲節(jié)點下載所述源數據的數據片。
所述源數據終端包括數據存儲單元，用于對源數據進行分段線性編碼，生成多個數據片，并將數據片信息上報索引服務器。
所述數據存儲單元包括數據分段模塊，用于將源數據分為多個數據段；數據編碼模塊，用于對所述數據段進行線性編碼，生成多個數據片，每個數據片中包含所述源數據的部分數據段；數據片存儲模塊，用于存儲所述數據片；以及數據片信息發(fā)送模塊，用于將存儲的數據片信息上報索引服務器。
所述源數據終端進一步包括
數據下載單元，用于下載存儲在存儲節(jié)點上的源數據的數據片，對所述數據片進行線性解碼，合并恢復源數據。
所述數據下載單元包括下載請求模塊，用于向索引服務器發(fā)送數據下載請求，接收索引服務器返回的下載節(jié)點列表，所述下載節(jié)點列表中記錄有存儲源數據的數據片的存儲節(jié)點的網絡地址信息以及需要下載的數據片信息；數據下載模塊，用于根據所述下載節(jié)點列表與所述存儲節(jié)點連接通信，下載所述數據片信息對應的數據片；數據解碼模塊，用于對下載的數據片進行線性解碼，恢復線性編碼前的數據段；數據合并模塊，用于對所述數據段進行合并，恢復源數據；以及數據存儲模塊，用于存儲所述源數據。
所述數據下載單元進一步包括統(tǒng)計上報模塊，用于統(tǒng)計下載過程中存儲節(jié)點的數據傳輸速度信息，上報索引服務器。
所述存儲節(jié)點包括下載請求模塊，用于向索引服務器發(fā)送數據下載請求，接收索引服務器返回的下載節(jié)點列表，所述下載節(jié)點列表中記錄有源數據終端的網絡地址信息以及需要下載的數據片信息；數據下載模塊，用于根據所述下載節(jié)點列表與源數據終端連接通信，下載所述數據片信息對應的數據片；數據片存儲模塊，用于存儲下載的數據片。
所述存儲節(jié)點進一步包括數據編碼模塊，用于對下載的數據片重新進行線性編碼，生成新的數據片。
所述索引服務器包括數據片信息接收模塊，用于接收源數據終端發(fā)送的數據片信息；
數據片信息數據庫，用于存儲所述數據片信息，以及與所述數據片信息對應的存儲節(jié)點的網絡信息；鑒權驗證模塊，用于接收源數據終端或者存儲節(jié)點的數據下載請求，對源數據終端或者存儲節(jié)點的下載權限進行驗證；下載控制模塊，用于根據所述源數據終端或者存儲節(jié)點的數據下載請求，查詢數據片信息數據庫，返回下載節(jié)點列表，所述下載節(jié)點列表中記錄有存儲源數據的數據片的源數據終端或者存儲節(jié)點的網絡地址信息以及需要下載的數據片信息。
所述索引服務器進一步包括統(tǒng)計信息接收模塊，用于接收源數據終端上報的存儲節(jié)點的數據傳輸速度信息，更新所述數據片信息數據庫中的存儲節(jié)點信息。
一種網絡數據的分布式存儲下載設備，其特征在于，所述設備與索引服務器及存儲節(jié)點連接，包括數據存儲單元，用于對源數據進行分段線性編碼，生成多個數據片，并將數據片信息上報索引服務器，以及數據下載單元，用于下載存儲在存儲節(jié)點上的源數據的數據片，對所述數據片進行線性解碼，合并恢復源數據。
所述數據存儲單元包括數據分段模塊，用于將源數據分為多個數據段；數據編碼模塊，用于對所述數據段進行線性編碼，生成多個數據片，每個數據片中包含所述源數據的部分數據段；數據片存儲模塊，用于存儲所述數據片；以及數據片信息發(fā)送模塊，用于將存儲的數據片信息上報索引服務器。
所述數據下載單元包括下載請求模塊，用于向索引服務器發(fā)送數據下載請求，接收索引服務器返回的下載節(jié)點列表，所述下載節(jié)點列表中記錄有存儲源數據的數據片的存儲節(jié)點的網絡地址信息以及需要下載的數據片信息；數據下載模塊，用于根據所述下載節(jié)點列表與所述存儲節(jié)點連接通信，下載所述數據片信息對應的數據片；數據解碼模塊，用于對下載的數據片進行線性解碼，恢復線性編碼前的數據段；數據合并模塊，用于對所述數據段進行合并，恢復源數據；以及數據存儲模塊，用于存儲所述源數據。
所述數據下載單元進一步包括統(tǒng)計上報模塊，用于統(tǒng)計下載過程中存儲節(jié)點的數據傳輸速度信息。
一種網絡數據的分布式存儲下載控制設備，所述控制設備與源數據終端以及存儲節(jié)點連接，用于管理所述源數據終端的數據片信息以及所述存儲節(jié)點的網絡信息，控制所述源數據終端或者存儲節(jié)點下載所述源數據的數據片。
所述控制設備包括數據片信息接收模塊，用于接收源數據終端發(fā)送的數據片信息；數據片信息數據庫，用于存儲所述數據片信息，以及與所述數據片信息對應的存儲節(jié)點的網絡信息；鑒權驗證模塊，用于接收源數據終端或者存儲節(jié)點的數據下載請求，對源數據終端或者存儲節(jié)點的下載權限進行驗證；下載控制模塊，用于根據所述源數據終端或者存儲節(jié)點的數據下載請求，查詢數據片信息數據庫，返回下載節(jié)點列表，所述下載節(jié)點列表中記錄有存儲源數據的數據片的源數據終端或者存儲節(jié)點的網絡地址信息以及需要下載的數據片信息。
所述控制設備進一步包括統(tǒng)計信息接收模塊，用于接收源數據終端上報的存儲節(jié)點的數據傳輸速度信息，更新所述數據片信息數據庫中的存儲節(jié)點信息。
一種利用上述系統(tǒng)實現的網絡數據的分布式存儲方法，所述方法包括下述步驟A.源數據終端對數據進行分段線性編碼，生成多個數據片；B.索引服務器控制存儲節(jié)點下載存儲所述數據片。
所述步驟A進一步包括下述步驟A1.將源數據分成n個數據段；A2.通過m個線性無關向量對所述n個數據段進行線性編碼，生成m個數據片，每個數據片中包含所述源數據的部分數據段；A3.存儲所述m個數據片；其中，1＜n≤m。
所述步驟B進一步包括下述步驟B1.索引服務器接收存儲節(jié)點的數據下載請求；B2.索引服務器向存儲節(jié)點返回節(jié)點下載列表，所述節(jié)點下載列表中包含有源數據終端的網絡地址信息以及需要下載的數據片信息；B3.存儲節(jié)點根據所述下載節(jié)點列表與源數據終端連接通信，下載所述數據片信息對應的數據片。
所述步驟B進一步包括下述步驟B4.存儲節(jié)點對下載的數據片進行線性編碼，生成新的數據片。
一種利用上述系統(tǒng)實現的網絡數據的分布式下載方法，所述方法包括下述步驟A.源數據終端登陸索引服務器，獲取節(jié)點下載信息；B.源數據終端根據所述節(jié)點下載信息與存儲節(jié)點連接，下載相應的數據片，恢復源數據。
所述步驟A包括下述步驟A1.源數據終端向索引服務器發(fā)送數據下載請求；A2.索引服務器接收源數據終端的數據下載請求，對源數據終端的下載權限進行驗證；
A3.驗證通過后，根據所述數據下載請求，返回下載節(jié)點列表，所述下載節(jié)點列表中記錄有存儲源數據的數據片的存儲節(jié)點的網絡地址信息以及需要下載的數據片信息。
所述步驟B包括下述步驟B1.根據所述節(jié)點下載信息與存儲節(jié)點連接，下載相應的數據片；B2.對下載的數據片進行線性解碼，恢復線性編碼前的數據段；B3.對所述數據段進行合并，恢復源數據；B4.存儲所述源數據。
所述步驟B進一步包括下述步驟B5.源數據終端統(tǒng)計下載過程中存儲節(jié)點的數據傳輸速度信息，上報索引服務器；B6.索引服務器根據所述存儲節(jié)點的數據傳輸速度信息，更新對應的存儲節(jié)點信息。
本發(fā)明通過數據的線性編碼分割、分布式存儲以及多點下載，避免了因數據片的丟失導致數據恢復困難，增加了用戶的數據存儲空間，提高了數據下載的速度和可靠性。


圖1是現有技術中現有技術中實現數據存儲的網絡結構圖；圖2是現有技術中比特流下載的實現原理圖；圖3是本發(fā)明適用的網絡結構圖；圖4是本發(fā)明中源數據在索引服務器的控制下實現數據分布式存儲的流程圖；圖5是本發(fā)明中源數據終端從存儲節(jié)點上下載數據的實現流程圖；圖6是本發(fā)明提供的索引服務器的結構圖；圖7是本發(fā)明提供的源數據終端的結構圖；
圖8是本發(fā)明提供的存儲節(jié)點的結構圖。
具體實施例方式
為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
在本發(fā)明中，源數據終端將源數據存儲在網絡上的存儲節(jié)點上，實現數據的分布式存儲，在將數據存儲到存儲節(jié)點上前，源數據終端將源數據進行分段編碼，生成多個數據片。當需要下載數據時，源數據終端從存儲節(jié)點上下載相應的數據片，對下載后的數據片進行解碼合并恢復完成的源數據。
圖3示出了本發(fā)明適用的網絡結構，移動電話、個人計算機或者個人數字助理(Personal Digital Assistant，PDA)等終端通過Web或者無線方式與索引服務器連接通信，終端之間可以進行點對點(P2P)通信。每個終端既是源數據終端和數據下載終端，又同時作為其他終端的存儲設備，即存儲節(jié)點。源數據終端可以將自身的數據在索引服務器的控制下存儲到存儲節(jié)點上，從而實現數據的分布式存儲。當需要下載數據時，終端與存儲節(jié)點之間通過P2P方式通信，下載存儲在存儲節(jié)點上的數據。
本發(fā)明中，為了實現多點同時傳輸，提高數據的傳輸速度和可靠性，源數據終端在將數據發(fā)布到網絡上前，對源數據進行分段和線性編碼處理。
首先，將源數據(File)平均劃分為n個數據段(Segment，Seg)，即File＝Seg1+Seg2+……+Segn。
數據段的大小和數量可以通過兩種方式來確定，一種方式是首先確定數據段的數量，如分為100個數據段，然后用源數據的大小除以數據段的數量，即可得到每個數據段的大小。另一種方式也可以首先確定數據段的大小，例如1024K，然后用源數據的大小除以數據段的大小，即可得到數據段的數量。具體采用哪種方式可以通過源數據終端靈活設置。
然后，根據劃分的數據段對數據進行線性編碼，生成多個數據片(Piece)，每個數據片包含了數據的部分數據段信息Piece1(a11，a12，……a1n)＝a11×Seg1+a12×Seg2+……+a1n×Segn；Piece2(a21，a22，……a2n)＝a21×Seg1+a22×Seg2+……+a2n×Segn；……Piecem(am1，am2，……amn)＝am1×Seg1+am2×Seg2+……+amn×Segn；其中，1＜n≤m。
在上述的m個向量，即(a11，a12，……a1n)(a21，a22，……a2n)……(am1，am2，……amn)中須有n個為線性無關向量，以保證終端后續(xù)下載數據時能夠順利對數據片進行解碼，恢復完整的源數據。
圖4示出了本發(fā)明中源數據終端在索引服務器的控制下實現數據分布式存儲的過程，詳述如下1.源數據終端按以上描述對源數據進行分段編碼。此時，所有的數據片都仍然保存在源數據終端。
2.源數據終端將本地數據片可訪問信息通知索引服務器，索引服務器生成初始的數據片分布信息，即源數據終端對源數據進行分段編碼后的數據片標識。
3.當存儲節(jié)點需要下載自身保存在網絡上的數據時，向索引服務器發(fā)起數據下載請求，索引服務器向存儲節(jié)點返回節(jié)點下載列表。節(jié)點下載列表中除了包含存儲該存儲節(jié)點數據片信息的其他存儲節(jié)點的網絡地址信息以及其他存儲節(jié)點存儲的該存儲節(jié)點的數據片信息外，還包含源數據終端的網絡地址信息以及需要該存儲節(jié)點下載源數據終端的數據片信息。這樣就可以達到存儲節(jié)點在下載自身數據的同時，也下載存儲了源數據終端的數據的目的。
4.存儲節(jié)點根據節(jié)點下載列表中源數據終端的網絡地址信息到源數據終端上下載相應的數據片，存儲在本地，供源數據終端或者其他存儲節(jié)點訪問下載。
存儲節(jié)點下載哪些數據片以及下載的數據片的數量等由索引服務器通過節(jié)點下載列表控制。同時，索引服務器將相應存儲節(jié)點的數據片下載信息記錄到數據片分布列表，此時數據片分布列表中包含了存儲節(jié)點標識以及每個存儲節(jié)標識對應的數據片標識等信息。
作為本發(fā)明的一個優(yōu)選實施例，存儲節(jié)點下載了相應的數據片后，可以對數據片重新進行線性編碼，生成新的數據片，從而進一步豐富源數據的數據片分布，有助于后續(xù)源數據終端下載恢復源數據。存儲節(jié)點是否對存儲的數據片進行重新線性編碼可以用戶靈活設置。
圖5示出了源數據終端從網絡的存儲節(jié)點上下載的數據的過程，詳述如下1.源數據終端向索引服務器發(fā)出數據下載請求。
2.索引服務器對源數據終端進行鑒權，驗證源數據終端的數據下載權限，如果鑒權失敗，則退出本流程。鑒權成功后，索引服務器查詢源數據終端的數據片分布列表，提取數據片分布列表中存儲節(jié)點傳輸速度最快的多個節(jié)點，形成下載節(jié)點列表發(fā)送給源數據終端。
3.源數據終端向下載節(jié)點列表中的各個存儲節(jié)點發(fā)起多點同時下載，下載存儲節(jié)點中存儲的數據片。
4.當數據片下載完成后，源數據終端對數據片進行線性解碼，獲取相應的數據段，將數據端合并恢復完整的源數據。同時，統(tǒng)計在本次下載過程中同各個存儲節(jié)點的數據傳輸速度。
5.源數據終端將存儲節(jié)點的數據傳輸速度統(tǒng)計信息上報給索引服務器。
6.索引服務器根據源數據終端上報的存儲節(jié)點的數據傳輸速度統(tǒng)計信息對數據片分布列表進行重新排序和更新。
為了便于理解，本發(fā)明通過一個示例對上述源數據的分段以及線性編解碼過程進行具體說明。
假設源數據終端擁有源數據File＝1123，劃分為如下4個數據段
Seg1＝1，Seg2＝1，Seg3＝2，Seg4＝3，假設使用源數據終端采用如下4個線性無關向量對數據段進行線性編碼(1，1，0，0)；(0，1，1，0)；(0，0，1，1)；(1，0，0，2)；線性編碼后生成如下4個數據片Piece1(1，1，0，0)＝1×1+1×1+0×2+0×3＝2；Piece2(0，1，1，0)＝0×1+1×1+1×2+0×3＝3；Piece3(0，0，1，1)＝0×1+0×1+1×2+1×3＝5；Piece4(1，0，0，2)＝1×1+0×1+0×2+2×3＝7；存儲節(jié)點A從源數據終端上下載了Piece1(1，1，0，0)＝2和Piece2(0，1，1，0)＝3兩個數據片，使用Piece1和Piece2再次線性編碼，構造一個新的數據片Piece5Piece5＝1×Piece1+1×Piece2＝1×2(1，1，0，0)+1×3(0，1，1，0)＝5(1，2，1，0)。
然后，存儲節(jié)點A將Piece1、Piece2、Piece5分發(fā)到網絡中供其他存儲節(jié)點下載存儲。
當源數據終端從存儲節(jié)點A以及其他存儲節(jié)點上下載數據片時，假設Piece2在傳輸過程中被丟失，源數據終端獲取了Piece1、Piece3、Piece4、Piece54個數據片Piece1(1，1，0，0)＝1×Seg1+1×Seg2+0×Seg3+0×Seg4＝2；
Piece3(0，0，1，1)＝0×Seg1+0×Seg2+1×Seg3+1×Seg4＝5；Piece4(1，0，0，2)＝1×Seg1+0×Seg2+0×Seg3+2×Seg4＝7；Piece5(1，2，1，0)＝1×Seg1+2×Seg2+1×Seg3+0×Seg4＝5；源數據終端對這4個線性無關的數據片進行線性解碼，獲得以上線性方程組的解，從而獲得源數據的所有數據段，恢復出完整的源數據1123Seg1＝1；Seg2＝1Seg3＝2；Seg4＝3。
圖6示出了索引服務器600的結構，包括數據片信息接收模塊601、數據片信息數據庫602，鑒權驗證模塊603、下載控制模塊604以及統(tǒng)計信息接收模塊605。
數據片信息接收模塊601接收源數據終端發(fā)送的可訪問的數據片信息，將數據片信息存儲到數據片信息數據庫602。數據片信息數據庫602存儲和維護源數據終端的數據片信息以及存儲相應數據片的存儲節(jié)點的網絡信息，包括存儲節(jié)點的網絡地址信息以及存儲節(jié)點的傳輸速度等信息。
當收到源數據終端或者存儲節(jié)點的數據下載請求時，鑒權驗證模塊603對源數據終端或者存儲節(jié)點進行鑒權，驗證源數據終端或者存儲節(jié)點的下載權限。驗證通過后，下載控制模塊604查詢數據片信息數據庫602，向源數據終端或者存儲節(jié)點返回節(jié)點下載列表，節(jié)點列表中記錄有源數據終端或者存儲節(jié)點的網絡地址信息以及需要下載的數據片信息。統(tǒng)計信息接收模塊605接收源數據終端上報的存儲節(jié)點的數據傳輸速度統(tǒng)計信息，對數據片信息數據庫602中的存儲節(jié)點信息進行更新。
圖7示出了源數據終端700的結構，包括數據存儲單元701以及數據下載單元702，數據存儲單元701包括數據分段模塊7011、數據編碼模塊7012、數據片存儲模塊7013以及數據片信息發(fā)送模塊7014；數據下載單元702包括下載請求模塊7021、數據下載模塊7022、數據解碼模塊7023、數據合并模塊7024、數據存儲模塊7025以及統(tǒng)計上報模塊7026。
源數據在網絡上存儲前，數據分段模塊7011對源數據進行分段，生成多個數據段，數據編碼模塊7012對數據段進行線性編碼，生成多個數據片，并將數據片存儲在數據片存儲模塊7013。數據片信息發(fā)送模塊7014將可訪問的數據片信息上報索引服務器。
當需要下載數據時，下載請求模塊7021向索引服務器發(fā)送數據下載請求，接收索引服務器返回的節(jié)點下載列表。數據下載模塊7022根據索引服務器提供的節(jié)點下載列表，與節(jié)點下載列表中記錄的存儲節(jié)點連接通信，下載存儲節(jié)點中存儲的相應的數據片。數據解碼模塊7023對下載獲得的數據片進行線性解碼，獲得線性編碼前的數據段。數據合并模塊7024對數據段進行合并，恢復完整的源數據。數據存儲模塊7025對源數據進行存儲。下載完成后，統(tǒng)計上報模塊7026統(tǒng)計下載過程中各個存儲節(jié)點的數據傳輸速度，上報給索引服務器。
圖8示出了存儲節(jié)點的結構，包括下載請求模塊801、數據下載模塊802、數據片存儲模塊803以及數據編碼模塊804。
當需要下載數據時，下載請求模塊801向索引服務器發(fā)送數據下載請求，接收索引服務器返回的節(jié)點下載列表。數據下載模塊802根據索引服務器提供的節(jié)點下載列表，與節(jié)點下載列表中記錄的源數據終端連接通信，下載源數據終端的相應的數據片。數據片存儲模塊803存儲下載的數據片。數據編碼模塊804對下載的數據片進行重新線性編碼，生成新的數據片。
需要說明的是，為了描述方便，在前文將源數據終端和存儲節(jié)點的功能和模塊結構分開進行了描述。容易理解的是，實際的網絡結構中只存在索引服務器和存儲節(jié)點/源數據終端兩種實體，一個終端既是源數據終端，又是其他終端的存儲節(jié)點。因此，存儲節(jié)點和源數據終端的功能和結構是相同的。
以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發(fā)明的保護范圍之內。
權利要求
1.一種網絡數據的分布式存儲下載系統(tǒng)，其特征在于，所述系統(tǒng)包括源數據終端，用于對源數據進行線性編碼，生成多個數據片，以及對下載的源數據的數據片進行線性解碼，恢復源數據。存儲節(jié)點，與所述源數據終端連接，用于下載存儲所述數據片；以及索引服務器，與所述源數據終端以及存儲節(jié)點連接，用于管理所述源數據終端的數據片信息以及所述存儲節(jié)點的網絡信息，控制所述源數據終端或者存儲節(jié)點下載所述源數據的數據片。
2.如權利要求1所述的網絡數據的分布式存儲下載系統(tǒng)，其特征在于，所述源數據終端包括數據存儲單元，用于對源數據進行分段線性編碼，生成多個數據片，并將數據片信息上報索引服務器。
3.如權利要求2所述的網絡數據的分布式存儲下載系統(tǒng)，其特征在于，所述數據存儲單元包括數據分段模塊，用于將源數據分為多個數據段；數據編碼模塊，用于對所述數據段進行線性編碼，生成多個數據片，每個數據片中包含所述源數據的部分數據段；數據片存儲模塊，用于存儲所述數據片；以及數據片信息發(fā)送模塊，用于將存儲的數據片信息上報索引服務器。
4.如權利要求1所述的網絡數據的分布式存儲下載系統(tǒng)，其特征在于，所述源數據終端進一步包括數據下載單元，用于下載存儲在存儲節(jié)點上的源數據的數據片，對所述數據片進行線性解碼，合并恢復源數據。
5.如權利要求4所述的網絡數據的分布式存儲下載系統(tǒng)，其特征在于，所述數據下載單元包括下載請求模塊，用于向索引服務器發(fā)送數據下載請求，接收索引服務器返回的下載節(jié)點列表，所述下載節(jié)點列表中記錄有存儲源數據的數據片的存儲節(jié)點的網絡地址信息以及需要下載的數據片信息；數據下載模塊，用于根據所述下載節(jié)點列表與所述存儲節(jié)點連接通信，下載所述數據片信息對應的數據片；數據解碼模塊，用于對下載的數據片進行線性解碼，恢復線性編碼前的數據段；數據合并模塊，用于對所述數據段進行合并，恢復源數據；以及數據存儲模塊，用于存儲所述源數據。
6.如權利要求5所述的網絡數據的分布式存儲下載系統(tǒng)，其特征在于，所述數據下載單元進一步包括統(tǒng)計上報模塊，用于統(tǒng)計下載過程中存儲節(jié)點的數據傳輸速度信息，上報索引服務器。
7.如權利要求1所述的網絡數據的分布式存儲下載系統(tǒng)，其特征在于，所述存儲節(jié)點包括下載請求模塊，用于向索引服務器發(fā)送數據下載請求，接收索引服務器返回的下載節(jié)點列表，所述下載節(jié)點列表中記錄有源數據終端的網絡地址信息以及需要下載的數據片信息；數據下載模塊，用于根據所述下載節(jié)點列表與源數據終端連接通信，下載所述數據片信息對應的數據片；數據片存儲模塊，用于存儲下載的數據片。
8.如權利要求7所述的網絡數據的分布式存儲下載系統(tǒng)，其特征在于，所述存儲節(jié)點進一步包括數據編碼模塊，用于對下載的數據片重新進行線性編碼，生成新的數據片。
9.如權利要求1所述的網絡數據的分布式存儲下載系統(tǒng)，其特征在于，所述索引服務器包括數據片信息接收模塊，用于接收源數據終端發(fā)送的數據片信息；數據片信息數據庫，用于存儲所述數據片信息，以及與所述數據片信息對應的存儲節(jié)點的網絡信息；鑒權驗證模塊，用于接收源數據終端或者存儲節(jié)點的數據下載請求，對源數據終端或者存儲節(jié)點的下載權限進行驗證；下載控制模塊，用于根據所述源數據終端或者存儲節(jié)點的數據下載請求，查詢數據片信息數據庫，返回下載節(jié)點列表，所述下載節(jié)點列表中記錄有存儲源數據的數據片的源數據終端或者存儲節(jié)點的網絡地址信息以及需要下載的數據片信息。
10.如權利要求9所述的網絡數據的分布式存儲下載系統(tǒng)，其特征在于，所述索引服務器進一步包括統(tǒng)計信息接收模塊，用于接收源數據終端上報的存儲節(jié)點的數據傳輸速度信息，更新所述數據片信息數據庫中的存儲節(jié)點信息。
11.一種網絡數據的分布式存儲下載設備，其特征在于，所述設備與索引服務器及存儲節(jié)點連接，包括數據存儲單元，用于對源數據進行分段線性編碼，生成多個數據片，并將數據片信息上報索引服務器，以及數據下載單元，用于下載存儲在存儲節(jié)點上的源數據的數據片，對所述數據片進行線性解碼，合并恢復源數據。
12.如權利要求11所述的網絡數據的分布式存儲下載設備，其特征在于，所述數據存儲單元包括數據分段模塊，用于將源數據分為多個數據段；數據編碼模塊，用于對所述數據段進行線性編碼，生成多個數據片，每個數據片中包含所述源數據的部分數據段；數據片存儲模塊，用于存儲所述數據片；以及數據片信息發(fā)送模塊，用于將存儲的數據片信息上報索引服務器。
13.如權利要求1所述的網絡數據的分布式存儲下載設備，其特征在于，所述數據下載單元包括下載請求模塊，用于向索引服務器發(fā)送數據下載請求，接收索引服務器返回的下載節(jié)點列表，所述下載節(jié)點列表中記錄有存儲源數據的數據片的存儲節(jié)點的網絡地址信息以及需要下載的數據片信息；數據下載模塊，用于根據所述下載節(jié)點列表與所述存儲節(jié)點連接通信，下載所述數據片信息對應的數據片；數據解碼模塊，用于對下載的數據片進行線性解碼，恢復線性編碼前的數據段；數據合并模塊，用于對所述數據段進行合并，恢復源數據；以及數據存儲模塊，用于存儲所述源數據。
14.如權利要求13所述的網絡數據的分布式存儲下載設備，其特征在于，所述數據下載單元進一步包括統(tǒng)計上報模塊，用于統(tǒng)計下載過程中存儲節(jié)點的數據傳輸速度信息。
15.一種網絡數據的分布式存儲下載控制設備，其特征在于，所述控制設備與源數據終端以及存儲節(jié)點連接，用于管理所述源數據終端的數據片信息以及所述存儲節(jié)點的網絡信息，控制所述源數據終端或者存儲節(jié)點下載所述源數據的數據片。
16.如權利要求15所述的網絡數據的分布式存儲下載控制設備，其特征在于，所述控制設備包括數據片信息接收模塊，用于接收源數據終端發(fā)送的數據片信息；數據片信息數據庫，用于存儲所述數據片信息，以及與所述數據片信息對應的存儲節(jié)點的網絡信息；鑒權驗證模塊，用于接收源數據終端或者存儲節(jié)點的數據下載請求，對源數據終端或者存儲節(jié)點的下載權限進行驗證；下載控制模塊，用于根據所述源數據終端或者存儲節(jié)點的數據下載請求，查詢數據片信息數據庫，返回下載節(jié)點列表，所述下載節(jié)點列表中記錄有存儲源數據的數據片的源數據終端或者存儲節(jié)點的網絡地址信息以及需要下載的數據片信息。
17.如權利要求16所述的網絡數據的分布式存儲下載控制設備，其特征在于，所述控制設備進一步包括統(tǒng)計信息接收模塊，用于接收源數據終端上報的存儲節(jié)點的數據傳輸速度信息，更新所述數據片信息數據庫中的存儲節(jié)點信息。
18.一種利用權利要求1的系統(tǒng)實現的網絡數據的分布式存儲方法，其特征在于，所述方法包括下述步驟A.源數據終端對數據進行分段線性編碼，生成多個數據片；B.索引服務器控制存儲節(jié)點下載存儲所述數據片。
19.如權利要求18所述的網絡數據的分布式存儲方法，其特征在于，所述步驟A進一步包括下述步驟A1.將源數據分成n個數據段；A2.通過m個線性無關向量對所述n個數據段進行線性編碼，生成m個數據片，每個數據片中包含所述源數據的部分數據段；A3.存儲所述m個數據片；其中，1＜n≤m。
20.如權利要求18所述的網絡數據的分布式存儲方法，其特征在于，所述步驟B進一步包括下述步驟B1.索引服務器接收存儲節(jié)點的數據下載請求；B2.索引服務器向存儲節(jié)點返回節(jié)點下載列表，所述節(jié)點下載列表中包含有源數據終端的網絡地址信息以及需要下載的數據片信息；B3.存儲節(jié)點根據所述下載節(jié)點列表與源數據終端連接通信，下載所述數據片信息對應的數據片。
21.如權利要求20所述的網絡數據的分布式存儲方法，其特征在于，所述步驟B進一步包括下述步驟B4.存儲節(jié)點對下載的數據片進行線性編碼，生成新的數據片。
22.一種利用權利要求1的系統(tǒng)實現的網絡數據的分布式下載方法，其特征在于，所述方法包括下述步驟A.源數據終端登陸索引服務器，獲取節(jié)點下載信息；B.源數據終端根據所述節(jié)點下載信息與存儲節(jié)點連接，下載相應的數據片，恢復源數據。
23.如權利要求22所述的網絡數據的分布式下載方法，其特征在于，所述步驟A包括下述步驟A1.源數據終端向索引服務器發(fā)送數據下載請求；A2.索引服務器接收源數據終端的數據下載請求，對源數據終端的下載權限進行驗證；A3.驗證通過后，根據所述數據下載請求，返回下載節(jié)點列表，所述下載節(jié)點列表中記錄有存儲源數據的數據片的存儲節(jié)點的網絡地址信息以及需要下載的數據片信息。
24.如權利要求22所述的網絡數據的分布式下載方法，其特征在于，所述步驟B包括下述步驟B1.根據所述節(jié)點下載信息與存儲節(jié)點連接，下載相應的數據片；B2.對下載的數據片進行線性解碼，恢復線性編碼前的數據段；B3.對所述數據段進行合并，恢復源數據；B4.存儲所述源數據。
25.如權利要求24所述的網絡數據的分布式下載方法，其特征在于，所述步驟B進一步包括下述步驟B5.源數據終端統(tǒng)計下載過程中存儲節(jié)點的數據傳輸速度信息，上報索引服務器；B6.索引服務器根據所述存儲節(jié)點的數據傳輸速度信息，更新對應的存儲節(jié)點信息。
全文摘要
本發(fā)明適用于通信領域，提供了一種網絡數據的分布式存儲下載系統(tǒng)、設備及方法，所述系統(tǒng)包括源數據終端，用于對源數據進行線性編碼，生成多個數據片，以及對下載的源數據的數據片進行線性解碼，恢復源數據。存儲節(jié)點，與所述源數據終端連接，用于下載存儲所述數據片；以及索引服務器，與所述源數據終端以及存儲節(jié)點連接，用于管理所述源數據終端的數據片信息以及所述存儲節(jié)點的網絡信息，控制所述源數據終端或者存儲節(jié)點下載所述源數據的數據片。本發(fā)明通過數據的線性編碼分割、分布式存儲以及多點下載，避免了因數據片的丟失導致數據恢復困難，增加了用戶的數據存儲空間，提高了數據下載的速度和可靠性。
文檔編號G06F17/30GK1859115SQ200610033379
公開日2006年11月8日 申請日期2006年1月24日 優(yōu)先權日2006年1月24日
發(fā)明者彭錦, 唐杰 申請人:華為技術有限公司