一種大數(shù)據(jù)安全管理方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種大數(shù)據(jù)安全管理方法和系統(tǒng),該方法包括:利用多個(gè)服務(wù)器節(jié)點(diǎn)構(gòu)成云服務(wù)器集群,對(duì)網(wǎng)絡(luò)中的文件進(jìn)行永久存儲(chǔ)和備份;利用多個(gè)用戶節(jié)點(diǎn)構(gòu)建客戶端集群,保存服務(wù)器存儲(chǔ)的文件的副本,并對(duì)用戶提供文件下載和更新,所述服務(wù)器集群對(duì)用戶節(jié)點(diǎn)進(jìn)行控制和仲裁。本發(fā)明實(shí)現(xiàn)了云端和用戶端兩方大數(shù)據(jù)負(fù)載分散,改進(jìn)的數(shù)據(jù)下載和更新過(guò)程有效提高系統(tǒng)的可擴(kuò)展性,降低服務(wù)提供商的成本。
【專利說(shuō)明】一種大數(shù)據(jù)安全管理方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及云計(jì)算技術(shù),特別涉及一種云間大數(shù)據(jù)安全傳輸?shù)姆椒ā?br>
【背景技術(shù)】
[0002] 隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等應(yīng)用的飛速發(fā)展,全球數(shù)據(jù)量出現(xiàn)了爆炸式增長(zhǎng)。數(shù)據(jù) 量的飛速增長(zhǎng)預(yù)示著現(xiàn)在已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代。網(wǎng)絡(luò)運(yùn)營(yíng)商擁有龐大的用戶,同時(shí)具有 對(duì)終端及用戶上網(wǎng)通道的掌控能力,使得在用戶行為分析方面具有很好的數(shù)據(jù)基礎(chǔ),深入 分析用戶流量行為特征和規(guī)律,發(fā)現(xiàn)用戶潛在消費(fèi)需求,是提升價(jià)值和經(jīng)營(yíng)水平的有效手 段。然而,不僅僅是數(shù)據(jù)規(guī)模越來(lái)越大,而且數(shù)據(jù)類型多和處理實(shí)時(shí)性要求都極大地增加了 大數(shù)據(jù)處理的復(fù)雜度。大數(shù)據(jù)給傳統(tǒng)的數(shù)據(jù)安全傳輸管理帶來(lái)的技術(shù)挑戰(zhàn)。傳統(tǒng)的基于云 計(jì)算的大數(shù)據(jù)傳輸方法,是從一個(gè)云存儲(chǔ)端按照云存儲(chǔ)端路徑排列的順序,完成大量數(shù)據(jù) 的對(duì)應(yīng)存儲(chǔ)傳輸。這種方法的優(yōu)點(diǎn)能夠擺脫硬件資源的限制,當(dāng)遇到需要大數(shù)據(jù)的情況下, 需要存儲(chǔ)的數(shù)據(jù)數(shù)量很大,這就對(duì)云端處理能力提出了較高的要求,一旦云空間的存儲(chǔ)能 力受到限制,其就會(huì)發(fā)生數(shù)據(jù)溢出,很容易受到外界的攻擊,造成安全隱患。
[0003] 因此,針對(duì)相關(guān)技術(shù)中所存在的上述問(wèn)題,目前尚未提出有效的解決方案。
【發(fā)明內(nèi)容】
[0004] 為解決上述現(xiàn)有技術(shù)所存在的問(wèn)題,本發(fā)明提出了一種大數(shù)據(jù)安全管理方法和系 統(tǒng)。該方法包括:
[0005] 利用多個(gè)服務(wù)器節(jié)點(diǎn)構(gòu)成云服務(wù)器集群,對(duì)網(wǎng)絡(luò)中的文件進(jìn)行永久存儲(chǔ)和備份;
[0006] 利用多個(gè)用戶節(jié)點(diǎn)構(gòu)建客戶端集群,保存服務(wù)器存儲(chǔ)的文件的副本,并對(duì)用戶提 供文件下載和更新,所述服務(wù)器集群對(duì)用戶節(jié)點(diǎn)進(jìn)行控制和仲裁。
[0007] 優(yōu)選地,所述云服務(wù)器集群包括多個(gè)服務(wù)器節(jié)點(diǎn),服務(wù)器節(jié)點(diǎn)之間通過(guò)Chord網(wǎng) 絡(luò)相互連接和相互備份,服務(wù)器節(jié)點(diǎn)負(fù)責(zé)文件的索引和備份,以及發(fā)生沖突時(shí)的仲裁,服務(wù) 器節(jié)點(diǎn)存儲(chǔ)文件在客戶端主節(jié)點(diǎn)的地址以及最新版本的文件;
[0008] 所述用戶節(jié)點(diǎn)包括虛擬服務(wù)器即客戶端主節(jié)點(diǎn),每個(gè)文件對(duì)應(yīng)一個(gè)客戶端主節(jié) 點(diǎn),客戶端主節(jié)點(diǎn)負(fù)責(zé)文件的索引和下載,存儲(chǔ)最新版本的文件以及該文件的服務(wù)器節(jié)點(diǎn) 和所有下載節(jié)點(diǎn)地址;客戶端主節(jié)點(diǎn)和服務(wù)器節(jié)點(diǎn)保持雙向連接,周期性交互信息;
[0009] 所述用戶節(jié)點(diǎn)還包括下載節(jié)點(diǎn),保持最新版本文件,下載節(jié)點(diǎn)存儲(chǔ)文件的服務(wù)器 節(jié)點(diǎn)和客戶端主節(jié)點(diǎn)地址,周期性地與客戶端主節(jié)點(diǎn)交互信息,同時(shí)還負(fù)責(zé)文件的下載工 作;
[0010] 所述用戶節(jié)點(diǎn)還包括副本節(jié)點(diǎn),存儲(chǔ)文件副本,以及服務(wù)器節(jié)點(diǎn)和客戶端主節(jié)點(diǎn) 地址,副本節(jié)點(diǎn)不為其他用戶節(jié)點(diǎn)提供下載服務(wù);副本節(jié)點(diǎn)可向客戶端主節(jié)點(diǎn)提出請(qǐng)求,修 改為下載節(jié)點(diǎn),下載節(jié)點(diǎn)也可以申請(qǐng)修改為副本節(jié)點(diǎn);
[0011] 其中,每個(gè)文件都對(duì)應(yīng)一個(gè)服務(wù)器節(jié)點(diǎn),一個(gè)客戶端主節(jié)點(diǎn)以及多個(gè)下載節(jié)點(diǎn)和 副本節(jié)點(diǎn)。
[0012] 優(yōu)選地,所述文件下載進(jìn)一步包括以下步驟:
[0013] 步驟3. 1當(dāng)用戶需要下載文件時(shí),連接云服務(wù)器集群,通過(guò)動(dòng)態(tài)散列表找到負(fù)責(zé) 該文件的服務(wù)器節(jié)點(diǎn);
[0014] 步驟3. 1從服務(wù)器節(jié)點(diǎn)獲得該文件的客戶端主節(jié)點(diǎn)地址;
[0015] 步驟3. 3用戶連接該文件的客戶端主節(jié)點(diǎn),請(qǐng)求下載文件;
[0016] 步驟3. 4客戶端主節(jié)點(diǎn)從自身存儲(chǔ)的下載節(jié)點(diǎn)地址列表中隨機(jī)選擇一部分反饋;
[0017] 步驟3. 5用戶通過(guò)連接客戶端主節(jié)點(diǎn)以及這些下載節(jié)點(diǎn)進(jìn)行下載;
[0018] 步驟3. 6當(dāng)下載結(jié)束后,將該節(jié)點(diǎn)設(shè)置為文件的副本節(jié)點(diǎn),直至該節(jié)點(diǎn)刪除該文 件;
[0019] 如果網(wǎng)絡(luò)中沒(méi)有任何該文件的備份節(jié)點(diǎn)存在,即沒(méi)有客戶端主節(jié)點(diǎn),也沒(méi)有任何 下載節(jié)點(diǎn)和副本節(jié)點(diǎn),則服務(wù)器節(jié)點(diǎn)直接為該用戶提供下載服務(wù),并在下載結(jié)束后將該節(jié) 點(diǎn)設(shè)為新的客戶端主節(jié)點(diǎn);
[0020] 其中,用戶通過(guò)連接多個(gè)節(jié)點(diǎn)同時(shí)下載,每個(gè)節(jié)點(diǎn)為用戶提供一部分資源;
[0021] 并且,所述文件更新進(jìn)一步包括以下步驟:
[0022] 當(dāng)用戶需要更新文件時(shí),判斷自身節(jié)點(diǎn)的類型是否為下載節(jié)點(diǎn)還是副本節(jié)點(diǎn);
[0023] 若需要更新文件的節(jié)點(diǎn)為下載節(jié)點(diǎn),則執(zhí)行步驟3. 7-步驟3. 9 :
[0024] 步驟3. 7直接更新文件,并將更新操作以及自身副本的版本信息以及散列值發(fā)送 給客戶端主節(jié)點(diǎn);
[0025] 步驟3. 8客戶端主節(jié)點(diǎn)首先校驗(yàn)該副本的版本信息和散列值,如果是最新版本的 副本,且散列值正確,則更新操作合法,執(zhí)行更新;否則,拒絕更新請(qǐng)求;
[0026] 步驟3. 9客戶端主節(jié)點(diǎn)將更新結(jié)果以及新的版本號(hào)和散列值發(fā)送給服務(wù)器節(jié)點(diǎn) 和所有的下載節(jié)點(diǎn),而不發(fā)給副本節(jié)點(diǎn)。
[0027] 若需要更新文件的節(jié)點(diǎn)為副本節(jié)點(diǎn),則執(zhí)行步驟3. 10-步驟3. 12 :
[0028] 步驟3. 10首先向客戶端主節(jié)點(diǎn)驗(yàn)證版本信息;
[0029] 步驟3. 11客戶端主節(jié)點(diǎn)收到檢查版本信息的請(qǐng)求后,對(duì)比文件版本號(hào),如果是過(guò) 期版本,則反饋?zhàn)钚掳姹镜奈募?br>
[0030] 步驟3. 12副本節(jié)點(diǎn)在驗(yàn)證版本信息后,執(zhí)行與下載節(jié)點(diǎn)相同的更新步驟即步驟 3. 7-步驟 3. 9。
[0031] 根據(jù)本發(fā)明的另一方面,通過(guò)了一種大數(shù)據(jù)安全管理系統(tǒng),用于在云平臺(tái)中對(duì)文 件數(shù)據(jù)進(jìn)行分布式存儲(chǔ)和訪問(wèn),其特征在于,包括:
[0032] 云服務(wù)器集群模塊,由多個(gè)服務(wù)器節(jié)點(diǎn)構(gòu)成,用于對(duì)網(wǎng)絡(luò)中的文件進(jìn)行永久存儲(chǔ) 和備份,對(duì)用戶節(jié)點(diǎn)進(jìn)行控制和仲裁;
[0033] 客戶端集群模塊,由多個(gè)用戶節(jié)點(diǎn)構(gòu)建,用于保存服務(wù)器存儲(chǔ)的文件的副本,并對(duì) 用戶提供文件下載和更新。
[0034] 本發(fā)明相比現(xiàn)有技術(shù),具有以下優(yōu)點(diǎn):
[0035] 實(shí)現(xiàn)了在云端和用戶端兩個(gè)方向的大數(shù)據(jù)負(fù)載分散,改進(jìn)的數(shù)據(jù)下載和更新過(guò)程 有效提高系統(tǒng)的可擴(kuò)展性,降低服務(wù)提供商的成本。
【專利附圖】
【附圖說(shuō)明】
[0036] 圖1是根據(jù)本發(fā)明實(shí)施例的大數(shù)據(jù)安全管理方法的流程圖。
【具體實(shí)施方式】
[0037] 下文與圖示本發(fā)明原理的附圖一起提供對(duì)本發(fā)明一個(gè)或者多個(gè)實(shí)施例的詳細(xì)描 述。結(jié)合這樣的實(shí)施例描述本發(fā)明,但是本發(fā)明不限于任何實(shí)施例。本發(fā)明的范圍僅由權(quán) 利要求書(shū)限定,并且本發(fā)明涵蓋諸多替代、修改和等同物。在下文描述中闡述諸多具體細(xì)節(jié) 以便提供對(duì)本發(fā)明的透徹理解。出于示例的目的而提供這些細(xì)節(jié),并且無(wú)這些具體細(xì)節(jié)中 的一些或者所有細(xì)節(jié)也可以根據(jù)權(quán)利要求書(shū)實(shí)現(xiàn)本發(fā)明。
[0038] 本發(fā)明的一方面提供了一種大數(shù)據(jù)安全管理方法和系統(tǒng)。圖1是根據(jù)本發(fā)明實(shí)施 例的大數(shù)據(jù)安全管理方法流程圖。本發(fā)明總體而言是將云服務(wù)器集群外延,使用用戶節(jié)點(diǎn) 構(gòu)建一層客戶端集群,從而將一部分負(fù)載從云端分?jǐn)偟接脩舳?,?shí)現(xiàn)在云端和用戶端兩個(gè) 方向的負(fù)載分散,從而降低服務(wù)提供商成本,提高系統(tǒng)的可擴(kuò)展性。服務(wù)提供商提供的云服 務(wù)器集群作為可靠、可信的服務(wù)器,可以對(duì)網(wǎng)絡(luò)中的節(jié)點(diǎn)進(jìn)行控制和仲裁,并為網(wǎng)絡(luò)中的文 件提供永久存儲(chǔ)和備份,提高了整個(gè)網(wǎng)絡(luò)的可靠性。如圖1所示,實(shí)施本發(fā)明方法的具體步 驟如下:
[0039] 使用雙層結(jié)構(gòu),即上層是由服務(wù)提供商提供的可靠的云服務(wù)器集群,下層是由用 戶節(jié)點(diǎn)構(gòu)建的客戶端集群。
[0040] 云服務(wù)器集群包括多個(gè)服務(wù)器節(jié)點(diǎn),服務(wù)器節(jié)點(diǎn)之間通過(guò)Chord網(wǎng)絡(luò)相互連接, 相互備份。服務(wù)器節(jié)點(diǎn)主要負(fù)責(zé)文件的索引和備份,以及發(fā)生沖突時(shí)的仲裁。服務(wù)器節(jié)點(diǎn) 存儲(chǔ)文件的在客戶端主節(jié)點(diǎn)的地址以及最新版本的文件。
[0041] 用戶節(jié)點(diǎn)包括虛擬服務(wù)器即客戶端主節(jié)點(diǎn):客戶端主節(jié)點(diǎn)由用戶節(jié)點(diǎn)中處理能力 較強(qiáng)、帶寬較高的節(jié)點(diǎn)構(gòu)成。每個(gè)文件對(duì)應(yīng)一個(gè)客戶端主節(jié)點(diǎn),負(fù)責(zé)該文件的索引和下載。 客戶端主節(jié)點(diǎn)存儲(chǔ)最新版本的文件以及該文件的服務(wù)器節(jié)點(diǎn)和所有下載節(jié)點(diǎn)地址??蛻舳?主節(jié)點(diǎn)和服務(wù)器節(jié)點(diǎn)保持雙向連接,周期性的交互信息。
[0042] 用戶節(jié)點(diǎn)包括下載節(jié)點(diǎn):下載節(jié)點(diǎn)是始終保持最新版本文件的用戶節(jié)點(diǎn)。下載節(jié) 點(diǎn)存儲(chǔ)文件的服務(wù)器節(jié)點(diǎn)和客戶端主節(jié)點(diǎn)地址,周期性地與客戶端主節(jié)點(diǎn)交互信息,同時(shí) 還負(fù)責(zé)文件的下載工作。
[0043] 用戶節(jié)點(diǎn)還包括副本節(jié)點(diǎn):副本節(jié)點(diǎn)存儲(chǔ)了文件副本,以及服務(wù)器節(jié)點(diǎn)和客戶端 主節(jié)點(diǎn)地址,但副本節(jié)點(diǎn)上存儲(chǔ)的文件副本可能是非最新版本,所以不能為其他節(jié)點(diǎn)提供 下載服務(wù)。如果一個(gè)副本節(jié)點(diǎn)經(jīng)常訪問(wèn)該文件,并需要實(shí)時(shí)跟蹤該文件的變化,則可以向客 戶端主節(jié)點(diǎn)提出請(qǐng)求,修改為下載節(jié)點(diǎn),當(dāng)不再需要實(shí)時(shí)跟蹤時(shí)也可以申請(qǐng)轉(zhuǎn)換回副本節(jié) 點(diǎn)。
[0044] 這四種節(jié)點(diǎn)都是數(shù)據(jù)的備份節(jié)點(diǎn),均存儲(chǔ)了文件的副本,但服務(wù)器節(jié)點(diǎn)、客戶端主 節(jié)點(diǎn)和下載節(jié)點(diǎn)上始終存儲(chǔ)著最新版本的文件,而副本節(jié)點(diǎn)上存儲(chǔ)的可能是過(guò)期副本。每 個(gè)文件都有一個(gè)服務(wù)器節(jié)點(diǎn),一個(gè)客戶端主節(jié)點(diǎn)以及多個(gè)下載節(jié)點(diǎn)和副本節(jié)點(diǎn),其中服務(wù) 器節(jié)點(diǎn)是服務(wù)提供商提供的云端服務(wù)器,屬于上層的云服務(wù)器集群,而客戶端主節(jié)點(diǎn)、下載 節(jié)點(diǎn)和副本節(jié)點(diǎn)都是用戶節(jié)點(diǎn),屬于下層的客戶端集群。
[0045] 1.本發(fā)明的文件下載過(guò)程
[0046] 首先,當(dāng)用戶需要下載文件時(shí),連接云服務(wù)器集群,通過(guò)動(dòng)態(tài)散列表找到負(fù)責(zé)該文 件的服務(wù)器節(jié)點(diǎn);
[0047] 從服務(wù)器節(jié)點(diǎn)獲得該文件的客戶端主節(jié)點(diǎn)地址;
[0048] 然后,用戶連接該文件的客戶端主節(jié)點(diǎn),請(qǐng)求下載文件,客戶端主節(jié)點(diǎn)從自身存儲(chǔ) 的下載節(jié)點(diǎn)地址列表中隨機(jī)選擇一部分反饋,用戶通過(guò)連接客戶端主節(jié)點(diǎn)以及這些下載節(jié) 點(diǎn)進(jìn)行下載;
[0049] 當(dāng)下載結(jié)束后,將該節(jié)點(diǎn)設(shè)置為文件的副本節(jié)點(diǎn),直至該節(jié)點(diǎn)刪除這個(gè)文件;
[0050] 如果網(wǎng)絡(luò)中沒(méi)有任何該文件的備份節(jié)點(diǎn)存在,即沒(méi)有客戶端主節(jié)點(diǎn),也沒(méi)有任何 下載節(jié)點(diǎn)和副本節(jié)點(diǎn),服務(wù)器節(jié)點(diǎn)直接為該用戶提供下載服務(wù),并在下載結(jié)束后將該節(jié)點(diǎn) 設(shè)為新的客戶端主節(jié)點(diǎn)。
[0051] 本發(fā)明的下載過(guò)程基本上都是在客戶端集群中進(jìn)行的,從而極大地降低了云服務(wù) 器集群的負(fù)載,而用戶可以通過(guò)連接多個(gè)節(jié)點(diǎn)同時(shí)下載,從而加快了用戶的下載速度。
[0052] 每個(gè)節(jié)點(diǎn)只需要為用戶提供一部分資源,下載負(fù)載被分?jǐn)偟搅硕鄠€(gè)節(jié)點(diǎn)上,從而 增強(qiáng)了系統(tǒng)的負(fù)載均衡能力。即使當(dāng)前網(wǎng)絡(luò)中所有擁有該文件的用戶節(jié)點(diǎn)都離開(kāi)網(wǎng)絡(luò),用 戶仍可以從云服務(wù)器集群的服務(wù)器節(jié)點(diǎn)處獲得資源,保證了較好的可靠性和可用性。
[0053] 2.本發(fā)明的文件更新過(guò)程
[0054] 當(dāng)用戶需要更新文件時(shí),根據(jù)自身節(jié)點(diǎn)的類型采取不同的操作。
[0055] 當(dāng)下載節(jié)點(diǎn)用戶需要更新文件時(shí),由于下載節(jié)點(diǎn)上始終存儲(chǔ)著最新版本的文件, 所以可以直接更新文件,并將更新操作以及自身副本的版本信息以及散列值發(fā)送給客戶端 主節(jié)點(diǎn);
[0056] 客戶端主節(jié)點(diǎn)首先校驗(yàn)該副本的版本信息和散列值,如果是最新版本的副本,且 散列值正確,更新操作合法,執(zhí)行更新;否則,拒絕更新請(qǐng)求;
[0057] 此后,客戶端主節(jié)點(diǎn)將更新結(jié)果以及新的版本號(hào)和散列值發(fā)送給服務(wù)器節(jié)點(diǎn)和所 有的下載節(jié)點(diǎn),但不會(huì)發(fā)給副本節(jié)點(diǎn)。
[0058] 另外,當(dāng)副本節(jié)點(diǎn)用戶需要更新文件時(shí),由于自身存儲(chǔ)的文件可能是過(guò)期副本,所 以要先向客戶端主節(jié)點(diǎn)驗(yàn)證版本信息;
[0059] 客戶端主節(jié)點(diǎn)收到檢查版本信息的請(qǐng)求后,對(duì)比文件版本號(hào),如果是過(guò)期版本,則 反饋?zhàn)钚掳姹镜奈募?br>
[0060] 副本節(jié)點(diǎn)在驗(yàn)證過(guò)版本信息后,執(zhí)行與下載節(jié)點(diǎn)相同的更新步驟。
[0061] 在這種更新方式下,客戶端主節(jié)點(diǎn)只向頻繁使用該文件、需要實(shí)時(shí)跟蹤文件變化 的下載節(jié)點(diǎn)發(fā)送文件的更新信息,而不會(huì)向其他副本節(jié)點(diǎn)發(fā)送更新信息,降低了客戶端主 節(jié)點(diǎn)發(fā)送更新的工作量。
[0062] 通過(guò)被動(dòng)接收更新,下載節(jié)點(diǎn)可以直接使用自身存儲(chǔ)的文件副本,避免了頻繁訪 問(wèn)客戶端主節(jié)點(diǎn)下載文件,也降低了下載節(jié)點(diǎn)的通信量。對(duì)于副本節(jié)點(diǎn)而言,這種更新方式 可以避免它們接收到自己并不需要的更新信息,且副本節(jié)點(diǎn)只需要在使用文件前從客戶端 主節(jié)點(diǎn)更新自身存儲(chǔ)的副本。通過(guò)使用這種分而治之的更新方式,可以降低客戶端集群的 負(fù)載,保證了每個(gè)節(jié)點(diǎn)在使用文件時(shí),都可以獲得最新版本的文件副本。
[0063] 可見(jiàn),因?yàn)榉?wù)器節(jié)點(diǎn)之間建立了相互備份機(jī)制,即使有服務(wù)器發(fā)生故障,仍能保 證文件不丟失。在文件下載和更新的過(guò)程中,接收節(jié)點(diǎn)都計(jì)算文件的散列值,只有散列值是 否一致,才存儲(chǔ),保證了數(shù)據(jù)傳輸?shù)陌踩浴?br>
[0064] 綜上所述,本發(fā)明改進(jìn)了基于云計(jì)算的大數(shù)據(jù)傳輸方法,在服務(wù)提供商提供的云 服務(wù)器集群外延,使用用戶節(jié)點(diǎn)構(gòu)建了一個(gè)客戶端集群用于處理文件下載和更新,而云服 務(wù)器集群則專注于提供可靠索引和備份。通過(guò)使用這種雙層結(jié)構(gòu),本發(fā)明實(shí)現(xiàn)了負(fù)載從云 端到用戶端的遷移,并提高了系統(tǒng)本身的可用性和可靠性。
[0065] 顯然,本領(lǐng)域的技術(shù)人員應(yīng)該理解,上述的本發(fā)明的各模塊或各步驟可以用通用 的計(jì)算系統(tǒng)來(lái)實(shí)現(xiàn),它們可以集中在單個(gè)的計(jì)算系統(tǒng)上,或者分布在多個(gè)計(jì)算系統(tǒng)所組成 的網(wǎng)絡(luò)上,可選地,它們可以用計(jì)算系統(tǒng)可執(zhí)行的程序代碼來(lái)實(shí)現(xiàn),從而,可以將它們存儲(chǔ) 在存儲(chǔ)系統(tǒng)中由計(jì)算系統(tǒng)來(lái)執(zhí)行。這樣,本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。 [0066] 應(yīng)當(dāng)理解的是,本發(fā)明的上述【具體實(shí)施方式】?jī)H僅用于示例性說(shuō)明或解釋本發(fā)明的 原理,而不構(gòu)成對(duì)本發(fā)明的限制。因此,在不偏離本發(fā)明的精神和范圍的情況下所做的任何 修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。此外,本發(fā)明所附權(quán)利要求旨 在涵蓋落入所附權(quán)利要求范圍和邊界、或者這種范圍和邊界的等同形式內(nèi)的全部變化和修 改例。
【權(quán)利要求】
1. 一種大數(shù)據(jù)安全管理方法,用于在云平臺(tái)中對(duì)文件數(shù)據(jù)進(jìn)行分布式存儲(chǔ)和訪問(wèn),其 特征在于,包括 : 利用多個(gè)服務(wù)器節(jié)點(diǎn)構(gòu)成云服務(wù)器集群,對(duì)網(wǎng)絡(luò)中的文件進(jìn)行永久存儲(chǔ)和備份; 利用多個(gè)用戶節(jié)點(diǎn)構(gòu)建客戶端集群,保存服務(wù)器存儲(chǔ)的文件的副本,并對(duì)用戶提供文 件下載和更新,所述服務(wù)器集群對(duì)用戶節(jié)點(diǎn)進(jìn)行控制和仲裁。
2. 根據(jù)權(quán)利要求1所述的方法,其特征在于,所述云服務(wù)器集群包括多個(gè)服務(wù)器節(jié)點(diǎn), 服務(wù)器節(jié)點(diǎn)之間通過(guò)Chord網(wǎng)絡(luò)相互連接和相互備份,服務(wù)器節(jié)點(diǎn)負(fù)責(zé)文件的索引和備 份,以及發(fā)生沖突時(shí)的仲裁,服務(wù)器節(jié)點(diǎn)存儲(chǔ)文件在客戶端主節(jié)點(diǎn)的地址以及最新版本的 文件; 所述用戶節(jié)點(diǎn)包括虛擬服務(wù)器即客戶端主節(jié)點(diǎn),每個(gè)文件對(duì)應(yīng)一個(gè)客戶端主節(jié)點(diǎn),客 戶端主節(jié)點(diǎn)負(fù)責(zé)文件的索引和下載,存儲(chǔ)最新版本的文件以及該文件的服務(wù)器節(jié)點(diǎn)和所有 下載節(jié)點(diǎn)地址;客戶端主節(jié)點(diǎn)和服務(wù)器節(jié)點(diǎn)保持雙向連接,周期性交互信息; 所述用戶節(jié)點(diǎn)還包括下載節(jié)點(diǎn),保持最新版本文件,下載節(jié)點(diǎn)存儲(chǔ)文件的服務(wù)器節(jié)點(diǎn) 和客戶端主節(jié)點(diǎn)地址,周期性地與客戶端主節(jié)點(diǎn)交互信息,同時(shí)還負(fù)責(zé)文件的下載工作; 所述用戶節(jié)點(diǎn)還包括副本節(jié)點(diǎn),存儲(chǔ)文件副本,以及服務(wù)器節(jié)點(diǎn)和客戶端主節(jié)點(diǎn)地址, 副本節(jié)點(diǎn)不為其他用戶節(jié)點(diǎn)提供下載服務(wù);副本節(jié)點(diǎn)可向客戶端主節(jié)點(diǎn)提出請(qǐng)求,修改為 下載節(jié)點(diǎn),下載節(jié)點(diǎn)也可以申請(qǐng)修改為副本節(jié)點(diǎn); 其中,每個(gè)文件都對(duì)應(yīng)一個(gè)服務(wù)器節(jié)點(diǎn),一個(gè)客戶端主節(jié)點(diǎn)以及多個(gè)下載節(jié)點(diǎn)和副本 節(jié)點(diǎn)。
3. 根據(jù)權(quán)利要求2所述的方法,其特征在于,所述文件下載進(jìn)一步包括以下步驟: 步驟3. 1當(dāng)用戶需要下載文件時(shí),連接云服務(wù)器集群,通過(guò)動(dòng)態(tài)散列表找到負(fù)責(zé)該文 件的服務(wù)器節(jié)點(diǎn); 步驟3. 1從服務(wù)器節(jié)點(diǎn)獲得該文件的客戶端主節(jié)點(diǎn)地址; 步驟3. 3用戶連接該文件的客戶端主節(jié)點(diǎn),請(qǐng)求下載文件; 步驟3. 4客戶端主節(jié)點(diǎn)從自身存儲(chǔ)的下載節(jié)點(diǎn)地址列表中隨機(jī)選擇一部分反饋; 步驟3. 5用戶通過(guò)連接客戶端主節(jié)點(diǎn)以及這些下載節(jié)點(diǎn)進(jìn)行下載; 步驟3. 6當(dāng)下載結(jié)束后,將該節(jié)點(diǎn)設(shè)置為文件的副本節(jié)點(diǎn),直至該節(jié)點(diǎn)刪除該文件; 如果網(wǎng)絡(luò)中沒(méi)有任何該文件的備份節(jié)點(diǎn)存在,即沒(méi)有客戶端主節(jié)點(diǎn),也沒(méi)有任何下載 節(jié)點(diǎn)和副本節(jié)點(diǎn),則服務(wù)器節(jié)點(diǎn)直接為該用戶提供下載服務(wù),并在下載結(jié)束后將該節(jié)點(diǎn)設(shè) 為新的客戶端主節(jié)點(diǎn); 其中,用戶通過(guò)連接多個(gè)節(jié)點(diǎn)同時(shí)下載,每個(gè)節(jié)點(diǎn)為用戶提供一部分資源; 并且,所述文件更新進(jìn)一步包括以下步驟: 當(dāng)用戶需要更新文件時(shí),判斷自身節(jié)點(diǎn)的類型是否為下載節(jié)點(diǎn)還是副本節(jié)點(diǎn); 若需要更新文件的節(jié)點(diǎn)為下載節(jié)點(diǎn),則執(zhí)行步驟3. 7-步驟3. 9 : 步驟3. 7直接更新文件,并將更新操作以及自身副本的版本信息以及散列值發(fā)送給客 戶端主節(jié)點(diǎn); 步驟3. 8客戶端主節(jié)點(diǎn)首先校驗(yàn)該副本的版本信息和散列值,如果是最新版本的副 本,且散列值正確,則更新操作合法,執(zhí)行更新;否則,拒絕更新請(qǐng)求; 步驟3. 9客戶端主節(jié)點(diǎn)將更新結(jié)果以及新的版本號(hào)和散列值發(fā)送給服務(wù)器節(jié)點(diǎn)和所 有的下載節(jié)點(diǎn),而不發(fā)給副本節(jié)點(diǎn), 若需要更新文件的節(jié)點(diǎn)為副本節(jié)點(diǎn),則執(zhí)行步驟3. 10-步驟3. 12 : 步驟3. 10首先向客戶端主節(jié)點(diǎn)驗(yàn)證版本信息; 步驟3. 11客戶端主節(jié)點(diǎn)收到檢查版本信息的請(qǐng)求后,對(duì)比文件版本號(hào),如果是過(guò)期版 本,則反饋?zhàn)钚掳姹镜奈募? 步驟3. 12副本節(jié)點(diǎn)在驗(yàn)證版本信息后,執(zhí)行與下載節(jié)點(diǎn)相同的更新步驟即步驟 3. 7-步驟 3. 9。
4. 一種大數(shù)據(jù)安全管理系統(tǒng),用于在云平臺(tái)中對(duì)文件數(shù)據(jù)進(jìn)行分布式存儲(chǔ)和訪問(wèn),其 特征在于,包括: 云服務(wù)器集群模塊,由多個(gè)服務(wù)器節(jié)點(diǎn)構(gòu)成,用于對(duì)網(wǎng)絡(luò)中的文件進(jìn)行永久存儲(chǔ)和備 份,對(duì)用戶節(jié)點(diǎn)進(jìn)行控制和仲裁; 客戶端集群模塊,由多個(gè)用戶節(jié)點(diǎn)構(gòu)建,用于保存服務(wù)器存儲(chǔ)的文件的副本,并對(duì)用戶 提供文件下載和更新。
【文檔編號(hào)】H04L29/08GK104125294SQ201410384187
【公開(kāi)日】2014年10月29日 申請(qǐng)日期:2014年8月6日 優(yōu)先權(quán)日:2014年8月6日
【發(fā)明者】毛力 申請(qǐng)人:四川九成信息技術(shù)有限公司