專利名稱:高效安全的數(shù)據(jù)云存儲系統(tǒng)實現(xiàn)方法及裝置的制作方法
技術領域:
本發(fā)明涉及云存儲領域,即基于網(wǎng)絡的由若干服務器和若干網(wǎng)絡存儲設備組成的保障數(shù)據(jù)安全與高效讀取的高效安全的數(shù)據(jù)云存儲系統(tǒng)實現(xiàn)方法及裝置。
背景技術:
云存儲是在云計算(cloud computing)概念上延伸和發(fā)展出來的一個新的概念, 是指通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能,將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。當云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時,云計算系統(tǒng)中就需要配置大量的存儲設備,那么云計算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng),所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。從云存儲的概念及目前應用來看,其本質(zhì)是向用戶提供一種透明的網(wǎng)絡存儲服務。用戶只要連接進入互聯(lián)網(wǎng),即可享受網(wǎng)絡存儲服務——隨時隨地的管理其所存儲的數(shù)據(jù),就如果這些數(shù)據(jù)存儲在本地一樣;同時用戶可以方便將存儲在云存儲的數(shù)據(jù)與其他用戶共享。因此如何實現(xiàn)在任意網(wǎng)絡接入點方便快捷的讀取數(shù)據(jù),同時保證數(shù)據(jù)的保密性、完整性、可用性成為云存儲技術的關鍵。國內(nèi)現(xiàn)有關于云存儲專利技術(公布號為CN 101930499A、CN 101873348A、 CN 101902498A、 CN 101930473A、 CN 101557551A、 CN 101753617A、 CN 101741866A、 CN 101605148A)的解決方法/系統(tǒng)主要存在如下問題1、缺乏身份認證體系。這極大的降低了用戶數(shù)據(jù)的保密性,且無法與其他用戶共
享信息;2、提供服務的網(wǎng)絡環(huán)境過于單一,有的方法/系統(tǒng)甚至指定唯一類型的存儲服務器保存數(shù)據(jù)(公布號為CN 101605148A);3、已存儲數(shù)據(jù)部分內(nèi)容被編輯后,要重新上傳全部數(shù)據(jù),覆蓋原存儲的數(shù)據(jù)實現(xiàn)更新,數(shù)據(jù)未被編輯的內(nèi)容也被上傳,增大終端用戶的網(wǎng)絡開銷;4、沒有對存儲在云存儲中的數(shù)據(jù)進行加密,用戶數(shù)據(jù)沒有保密性可言、且完整性和可用性降低;5、沒有合理的備份數(shù)據(jù)(僅簡單分割文件后保存于對應服務器),用戶數(shù)據(jù)的完整性和可用性降低;6、缺乏對與存儲系統(tǒng)的監(jiān)控;7、缺乏負載均衡機制。高效安全的數(shù)據(jù)云存儲系統(tǒng)實現(xiàn)方法及裝置是為了綜合解決以上問題而發(fā)明的系統(tǒng)架構(gòu)和實現(xiàn)方法,它需要依賴以下技術1、寬帶網(wǎng)絡發(fā)展。2、WEB 2.0 技術。3、應用存儲發(fā)展。
4、集群技術、網(wǎng)格技術和分布式文件系統(tǒng)。5、⑶N內(nèi)容分發(fā)、P2P技術、數(shù)據(jù)壓縮技術。6、存儲虛擬化技術、存儲網(wǎng)絡化管理技術。
發(fā)明內(nèi)容
本發(fā)明是一種高效安全的數(shù)據(jù)云存儲系統(tǒng)實現(xiàn)方法及裝置。使用所述方法及裝置構(gòu)建的系統(tǒng)將增強存儲數(shù)據(jù)的保密性、完整性、可用性以及系統(tǒng)的穩(wěn)定能力。高效安全的數(shù)據(jù)云存儲系統(tǒng)實現(xiàn)方法及裝置是為了實現(xiàn)上述目的而發(fā)明,本發(fā)明采用層次式結(jié)構(gòu),每層都聚合了若干功能器件,組合或單獨實現(xiàn)某些功能,第一層是終端用戶層(也稱云外層),本層主要實現(xiàn)終端用戶權限分享,數(shù)據(jù)上傳前的壓縮、加密和下載后解密、解壓縮、數(shù)據(jù)差量比較等功能(本層包含所有使用云存儲服務的終端用戶,這些終端用戶通過互聯(lián)網(wǎng)與第二層相連);第二層是云端處理層(也稱核心層),本層主要實現(xiàn)身份認證、數(shù)據(jù)二次加密、備份、差量更新、負載均衡等功能(本層由多臺服務器相連的分布式網(wǎng)絡組成,這個分布式服務器網(wǎng)絡與第三層相連);第三層是云端存儲層(也稱存儲層),本層主要實現(xiàn)數(shù)據(jù)存儲的功能(本層由若干存儲節(jié)點組成,每個存儲節(jié)點包含若干網(wǎng)絡存儲設備);各層具體包含的功能器件及其功能是1)終端用戶層(也稱云外層),使用云存儲服務的終端用戶所在的層次,包括(1)分享器,與其他終端用戶分享自己所擁有的數(shù)據(jù)操作權限;(2)終端策略器,允許終端用戶層用戶定制策略并執(zhí)行(比如選擇網(wǎng)絡空閑時上傳數(shù)據(jù)的策略或系統(tǒng)空閑時對數(shù)據(jù)進行壓縮、加密);(3)壓縮/解壓縮器,壓縮要上傳至下述云端處理層的數(shù)據(jù)或解壓縮從下述云端處理層下載的數(shù)據(jù)(這個功能可依據(jù)終端處理能力或由終端用戶選擇,是否啟用);(4)加密/解密器,加密要上傳至下述云端處理層的數(shù)據(jù)或解密從下述云端處理層下載的數(shù)據(jù)(這個功能可依據(jù)終端處理能力或由終端用戶選擇,是否啟用);(5)差量比較器,比較編輯前后的數(shù)據(jù)的差異變化量(用于更新云存儲中數(shù)據(jù)副本,這個功能可依據(jù)終端處理能力或由終端用戶選擇,是否啟用);(6)校驗器,校驗傳輸器接收的數(shù)據(jù)是否完整;(7)傳輸器,通過網(wǎng)絡與下述云端處理層的傳輸器建立連接實現(xiàn)數(shù)據(jù)上傳/下載, 可采用現(xiàn)有網(wǎng)絡傳輸協(xié)議(如FTP、HTTP等)或使用開發(fā)新的傳輸協(xié)議;(8)日志記錄器,記錄終端用戶的登錄、數(shù)據(jù)傳輸?shù)冉K端用戶操作信息;2)云端處理層(核心層)對上述終端用戶層的請求進行應答、提供云存儲服務,有若干臺服務器組成(這些服務器應分別使用不同的網(wǎng)絡接入商提供的接入服務),包括(1)身份認證器,檢驗通過上述終端用戶層登錄或在本層登錄的管理員的身份的有效,確認終端用戶或管理員的操作權限;(2)用戶管理器,管理終端用戶層的終端用戶賬號和云端處理層的管理員賬號、密碼以及其操作權限;(3)云端策略器,云端處理層管理員定制并執(zhí)行策略(比如定期備份數(shù)據(jù)的策略);(4)監(jiān)控器,監(jiān)控本層各服務器剩余處理能力、服務器狀態(tài)、下述云端存儲層的各存儲節(jié)點的中網(wǎng)絡存儲設備的剩余存儲空間、網(wǎng)絡存儲設備狀況、上述終端用戶層的在線用戶數(shù)目等信息,并更改服務器服務狀態(tài)(啟動/終止服務)、終端用戶在線用狀態(tài)(強制終端用戶下線、暫停數(shù)據(jù)處理請求等);(5)均衡器,將終端用戶層的數(shù)據(jù)服務請求分配給云端處理層中有足夠處理能力 (可對處理資源設定閥值,比如CPU占用率高于85%被視為沒有足夠處理能力)且與發(fā)出數(shù)據(jù)服務請求的終端用戶層的網(wǎng)絡接入點間網(wǎng)絡連接最優(yōu)的服務器;或根據(jù)云端存儲層各存儲節(jié)點中網(wǎng)絡存儲設備的剩余存儲空間,分配數(shù)據(jù)存儲到各存儲節(jié)點;(6)傳輸器,通過網(wǎng)絡與上述終端用戶層建立連接實現(xiàn)數(shù)據(jù)接收/發(fā)送,支持現(xiàn)有網(wǎng)絡傳輸協(xié)議(如FTP、HTTP等)或使用開發(fā)新的傳輸協(xié)議;(7)壓縮/解壓縮器,壓縮上述終端用戶層沒有進行壓縮的數(shù)據(jù)或解壓縮要下發(fā)到上述終端用戶層的由本層壓縮的數(shù)據(jù);(8)加密/解密器,對要存儲到下述云端存儲層的數(shù)據(jù)進行加密封裝或?qū)南率鲈贫舜鎯幼x取的數(shù)據(jù)進行解密;(9)校驗器,校驗傳輸器接收或存儲器讀取的數(shù)據(jù)是否完整;(10)更新器,依據(jù)上述終端用戶層上傳的數(shù)據(jù)差量信息,對存儲在下述云端存儲層的數(shù)據(jù)和備份進行更新;(11)備份器,對所有保存到下述云端存儲層的數(shù)據(jù),創(chuàng)建一個副本,副本與原數(shù)據(jù)一同存儲在下述云端存儲層中;(12)存儲器,可以連接下述云端存儲層任何存儲節(jié)點中的任何網(wǎng)絡存儲設備,將數(shù)據(jù)保存到均衡器指定的網(wǎng)絡存儲設備中;(14)日志記錄器,記錄本層及下述云端存儲層的網(wǎng)絡流量、服務狀態(tài)等日志信息;3)云端存儲層(存儲層)包含若干網(wǎng)絡存儲節(jié)點,每個網(wǎng)絡存儲節(jié)點包含若干網(wǎng)絡存儲設備,包括(1)網(wǎng)絡存儲設備,保存上述云端處理層提交的數(shù)據(jù);其實現(xiàn)步驟主要特征在于①終端用戶在使用云存儲服務前必須先登錄,通過身份有效性認證才能使用云存儲服務;②管理員在管理云存儲服務前必須先登錄,通過身份有效性認證才能進行管理;③終端用戶可以將自己對數(shù)據(jù)的操作權限與其他終端用戶分享(終端用戶及其初始操作權限由管理員創(chuàng)建);④終端用戶選擇是否在上傳數(shù)據(jù)前對其進行加密、壓縮(如果選擇開啟上傳數(shù)據(jù)前加密、壓縮功能則下載該數(shù)據(jù)后自動對其進行解密、解壓縮),可以比較數(shù)據(jù)在本地編輯后的數(shù)據(jù)差異變化量,使用這個差量信息更新存儲在云存儲而不必上傳經(jīng)過編輯的全部數(shù)據(jù),可以查詢云服務中保存的數(shù)據(jù); ⑤云端處理層在數(shù)據(jù)存儲前都進行二次加密封裝;⑥云端處理層對所有存儲的數(shù)據(jù)都進行備份存儲;⑦終端用戶和管理員都可以制定執(zhí)行自定義的策略(終端用戶制定的策略在終端用戶層保存執(zhí)行,管理員制定的策略在云端管理層保存執(zhí)行);
⑧終端用戶在編輯本地數(shù)據(jù)后僅上傳經(jīng)過比較數(shù)據(jù)編輯前后變化的差量信息,終端處理層使用這個差量信息更新存儲在云存儲層中的數(shù)據(jù),而不必上傳數(shù)據(jù)的全部內(nèi)容;⑨終端用戶或管理員每次進行操作前都需要確權(確認其擁有執(zhí)行請求操作的權限);⑩管理管理員可以監(jiān)控云中任何服務器、網(wǎng)絡、任何網(wǎng)絡存儲設備等設備的狀態(tài)。下面結(jié)合附圖和具體實施方式
對本發(fā)明作進一步說明。
下述附圖用來提供對本發(fā)明的進一步理解,并且構(gòu)成說明書的一部分,與本發(fā)明的實施例一起用于解釋本發(fā)明,并不構(gòu)成對本發(fā)明的限制。在附圖中圖1為本發(fā)明系統(tǒng)的功能層次結(jié)構(gòu)圖;圖2為本發(fā)明的網(wǎng)絡結(jié)構(gòu)示意圖;圖3為本發(fā)明方法的實施例中上傳數(shù)據(jù)的基本流程圖;圖4為本發(fā)明方法的實施例中下載數(shù)據(jù)的基本流程圖;圖5為本發(fā)明方法的實施例中上傳差量信息的基本流程圖;圖6為本發(fā)明方法的實施例中服務器負載均衡的流程圖。
具體實施例方式下面結(jié)合附圖對本發(fā)明做進一步的詳細闡述。參看圖1,是本發(fā)明高效安全的數(shù)據(jù)云存儲系統(tǒng)實現(xiàn)方法及裝置的功能層次結(jié)構(gòu)圖。第一層101是終端用戶層(也稱云外層),本層主要實現(xiàn)權限分享,數(shù)據(jù)上傳前的壓縮、加密和下載后解密、解壓縮、數(shù)據(jù)差量比較等功能;第二層102是云端處理層(也稱核心層),本層主要實現(xiàn)身份認證、數(shù)據(jù)二次加密、備份、差量更新、負載均衡等功能;第三層103 是云端存儲層(也稱存儲層),本層主要實現(xiàn)數(shù)據(jù)存儲的功能。參看圖2,是本發(fā)明高效安全的數(shù)據(jù)云存儲系統(tǒng)實現(xiàn)方法及裝置的網(wǎng)絡結(jié)構(gòu)示意圖。終端用戶層201,包含所有使用云存儲服務的終端用戶,這些終端用戶通過互聯(lián)網(wǎng)與云端處理層202相連。云端處理層202,是由多臺服務器相連的分布式網(wǎng)絡組成,這個分布式服務器網(wǎng)絡與云端存儲層203相連。云端存儲層203,是由若干存儲節(jié)點組成,每個存儲節(jié)點包含若干存儲設備。參看圖3,是本發(fā)明高效安全的數(shù)據(jù)云存儲系統(tǒng)實現(xiàn)方法及裝置的實施例中上傳數(shù)據(jù)的基本流程圖。一個擁有上傳數(shù)據(jù)權限的云存儲用戶,上傳數(shù)據(jù)的流程。步驟301,終端用戶層向云端處理層發(fā)出登錄請求。步驟302,云端處理層身份認證器檢驗登錄用戶身份有效,允許登錄。步驟303,終端用戶層向云端處理層請求上傳數(shù)據(jù)。步驟304,云端處理層身份認證器審核其擁有上傳數(shù)據(jù)的操作權限后,允許終端用戶層上傳數(shù)據(jù)。步驟305,終端用戶層使用壓縮/解壓縮器和加密/解密器對要上傳的原始數(shù)據(jù)進行壓縮、加密,處理后的數(shù)據(jù)交給終端用戶層傳輸器。步驟306,終端用戶層傳輸器與云端處理層傳輸器建立連接上傳數(shù)據(jù)。
步驟307,云端處理層接收完數(shù)據(jù)后,由校驗器對數(shù)據(jù)進行校驗,確認上傳數(shù)據(jù)是完整的。步驟308,云端處理層使用加密/解密器對數(shù)據(jù)進行加密(終端用戶層已對數(shù)據(jù)進行壓縮,本層將不再啟動壓縮/解壓縮器對數(shù)據(jù)進行壓縮),備份器制作數(shù)據(jù)備份。步驟309,云端處理層將加密封裝后的數(shù)據(jù)和備份由存儲器寫入云端存儲層中。參看圖4,是本發(fā)明高效安全的數(shù)據(jù)云存儲系統(tǒng)實現(xiàn)方法及裝置的實施例中下載數(shù)據(jù)的基本流程圖。一個用戶對其擁有下載權限的數(shù)據(jù)進行下載的流程。步驟401,終端用戶層向云端處理層發(fā)出登錄請求。步驟402,云端處理層身份認證器檢驗登錄用戶身份有效,允許登錄。步驟403,終端用戶層向云端處理層請求下載數(shù)據(jù)。步驟404,云端處理層身份認證器審核其擁有對申請數(shù)據(jù)的下載操作權限后,允許終端用戶層下載數(shù)據(jù)。步驟405,云端處理層由存儲器從云端存儲層存儲節(jié)點中網(wǎng)絡存儲設備讀取的數(shù)據(jù),在校驗器校驗數(shù)據(jù)完整后,壓縮/解壓縮器和加密/解密器進行解密、解壓縮(如果之前在云端處理層進行了數(shù)據(jù)壓縮)操作。步驟406,云端處理層傳輸器與終端用戶層傳輸器建立連接,下發(fā)數(shù)據(jù)。步驟407,終端用戶層校驗器校驗數(shù)據(jù)完整后,由壓縮/解壓縮器和加密/解密器對數(shù)據(jù)(如果上傳數(shù)據(jù)時進行了加密、壓縮才需要)解壓縮、解密的還原為原始數(shù)據(jù)。參看圖5,是本發(fā)明高效安全的數(shù)據(jù)云存儲系統(tǒng)實現(xiàn)方法及裝置的實施例中上傳差量信息的基本流程圖。一個擁有更新指定數(shù)據(jù)權限的云存儲用戶,編輯本地的指定數(shù)據(jù)后更新云存儲中數(shù)據(jù)副本的流程。步驟501,終端用戶層向云端處理層發(fā)出登錄請求。步驟502,云端處理層身份認證器檢驗登錄用戶身份有效,允許登錄。步驟503,終端用戶層向云端處理層請求更新數(shù)據(jù)。步驟504,云端處理層身份認證器審核其擁有對申請數(shù)據(jù)的更新操作權限,允許終端用戶層更新數(shù)據(jù)內(nèi)容。步驟505,終端用戶層差量比較器比較數(shù)據(jù)編輯前后的差異變化量(差量信息)。步驟506,終端用戶層壓縮/解壓縮器和加密/解密器對數(shù)據(jù)對差量信息進行壓縮、加密等操作。步驟507,終端用戶層傳輸器與云端處理層傳輸器建立連接,上傳差量信息。步驟508,云端處理層校驗器校驗差量信息完整后,由更新器將分許需要更新的數(shù)據(jù)范圍;步驟509,從云端處理層存儲器從云端存儲層存儲節(jié)點的網(wǎng)絡存儲設備中讀取的需要更新的數(shù)據(jù)。步驟510,云端處理層校驗器校驗數(shù)據(jù)完整,并由加密/解密器解密(終端用戶層已對數(shù)據(jù)進行壓縮,本層將不再啟動壓縮/解壓縮器對數(shù)據(jù)進行壓縮),利用差量信息對其進行更新后,重新由加密/解密器加密、備份器備份數(shù)據(jù)等操作。步驟511,云端處理層存儲器將更新后的數(shù)據(jù)和備份寫回云端存儲層存儲節(jié)點中的網(wǎng)絡存儲設備,更新數(shù)據(jù)。
參看圖6,是本發(fā)明高效安全的數(shù)據(jù)云存儲系統(tǒng)實現(xiàn)方法及裝置的實施例中負載均衡的服務器負載均衡流程圖。服務器A和服務器B是云端處理層中提供數(shù)據(jù)服務業(yè)務的服務器。終端用戶層PC機U連接云端處理層的服務器A請求使用云存儲服務;服務器A沒有足夠能力向PC機U提供云存儲服務;遂將PC機U登錄請求交給有足夠處理能了且與PC 機U有最優(yōu)網(wǎng)絡連接的服務器B。此后服務器B負責向PC機U提供云存儲服務。步驟601,PC機U通過網(wǎng)絡連接到服務器A登錄請求。步驟602,服務器A均衡器發(fā)現(xiàn)服務器A沒有足夠的處理能力為PC機U提供云存儲服務,查找除自身外與PC機U網(wǎng)絡連接最優(yōu)的服務器。步驟603,發(fā)現(xiàn)服務器B網(wǎng)絡連接最優(yōu),詢問服務器B是否有足夠的處理能力提供云存儲服務。步驟604,服務器B均衡器確認其有足夠的處理能力提供云存儲服務。步驟605,服務器A告之PC機U向服務器B登錄請求。步驟606,PC機U通過網(wǎng)絡連接到服務器B登錄請求。步驟607,服務器B允許登錄并開始為PC機U提供云存儲服務。以上所述僅是本發(fā)明的具體實施方法及一些基本實施例的流程,其內(nèi)容只是為了便于理解本發(fā)明的基本原理與流程,并非用于限定本發(fā)明。流程圖僅展現(xiàn)了本發(fā)明實施例的主要邏輯順序,而非全部可能存在的邏輯順序。任何有一定相關領域技術知識的人員,在不脫離本發(fā)明原理的前提下,還可以在實施細節(jié)和流程上做出若干修改和變化,這些修改和變化也應視為本發(fā)明的保護范圍。另外,本發(fā)明闡述各功能器件和步驟可以用通用計算裝置來實現(xiàn),它們可以集中在單個計算裝置上,也可以分布在多個計算裝組成的網(wǎng)絡中;它們可以由計算裝置執(zhí)行可執(zhí)行的程序代碼實現(xiàn),也可以將它們中的單獨或多個功能器件或步驟制作為集成電路來實現(xiàn)。本發(fā)明并不限制任何軟硬件組合。
權利要求
1.高效安全的數(shù)據(jù)云存儲系統(tǒng)實現(xiàn)方法及裝置采用層次式結(jié)構(gòu),每層都聚合了若干功能器件,組合或單獨實現(xiàn)某些功能,第一層是終端用戶層(也稱云外層),本層主要實現(xiàn)終端用戶權限分享,數(shù)據(jù)上傳前的壓縮、加密和下載后解密、解壓縮、數(shù)據(jù)差量比較等功能 (本層包含所有使用云存儲服務的終端用戶,這些終端用戶通過互聯(lián)網(wǎng)與第二層相連);第二層是云端處理層(也稱核心層),本層主要實現(xiàn)身份認證、數(shù)據(jù)二次加密、備份、差量更新、負載均衡等功能(本層由多臺服務器相連的分布式網(wǎng)絡組成,這個分布式服務器網(wǎng)絡與第三層相連);第三層是云端存儲層(也稱存儲層),本層主要實現(xiàn)數(shù)據(jù)存儲的功能(本層由若干存儲節(jié)點組成,每個存儲節(jié)點包含若干網(wǎng)絡存儲設備);各層具體包含的功能器件及其功能是1)終端用戶層(也稱云外層),使用云存儲服務的終端用戶所在的層次,包括(1)分享器,與其他終端用戶分享自己所擁有的數(shù)據(jù)操作權限;(2)終端策略器,允許終端用戶定制策略并執(zhí)行(比如選擇網(wǎng)絡空閑時上傳數(shù)據(jù)的策略或系統(tǒng)空閑時對數(shù)據(jù)進行壓縮、加密);(3)壓縮/解壓縮器,壓縮要上傳至下述云端處理層的數(shù)據(jù)或解壓縮從下述云端處理層下載的數(shù)據(jù)(這個功能可依據(jù)終端處理能力或由終端用戶選擇,是否啟用);(4)加密/解密器,加密要上傳至下述云端處理層的數(shù)據(jù)或解密從下述云端處理層下載的數(shù)據(jù)(這個功能可依據(jù)終端處理能力或由終端用戶選擇,是否啟用);(5)差量比較器,比較編輯前后的數(shù)據(jù)的差異變化量(用于更新云存儲中數(shù)據(jù)副本,這個功能可依據(jù)終端處理能力或由終端用戶選擇,是否啟用);(6)校驗器,校驗傳輸器接收的數(shù)據(jù)是否完整;(7)傳輸器,通過網(wǎng)絡與下述云端處理層的傳輸器建立連接實現(xiàn)數(shù)據(jù)上傳/下載,可采用現(xiàn)有網(wǎng)絡傳輸協(xié)議(如FTP、HTTP等)或使用開發(fā)新的傳輸協(xié)議;(8)日志記錄器,記錄終端用戶的登錄、數(shù)據(jù)傳輸?shù)冉K端用戶操作信息;2)云端處理層(核心層)對上述終端用戶層的請求進行應答、提供云存儲服務,有若干臺服務器組成(這些服務器應分別使用不同的網(wǎng)絡接入商提供的接入服務),包括(1)身份認證器,檢驗通過上述終端用戶層登錄的終端用戶或在本層登錄的管理員的身份的有效,確認終端用戶或管理員的操作權限;(2)用戶管理器,管理終端用戶層的終端用戶賬號和本層的管理員賬號、密碼以及其操作權限;(3)云端策略器,云端處理層管理員定制并執(zhí)行策略(比如定期備份數(shù)據(jù)的策略);(4)監(jiān)控器,監(jiān)控本層各服務器剩余處理能力、服務器狀態(tài)、下述云端存儲層的各存儲節(jié)點的中網(wǎng)絡存儲設備的剩余存儲空間、網(wǎng)絡存儲設備狀況,上述終端用戶層的在線用戶數(shù)目等信息,并更改服務器服務狀態(tài)(啟動/終止服務)、終端用戶在線用狀態(tài)(強制終端用戶下線、暫停數(shù)據(jù)處理請求等);(5)均衡器,將終端用戶層的數(shù)據(jù)服務請求分配給云端處理層中有足夠處理能力(可對處理資源設定閥值,比如CPU占用率高于85%被視為沒有足夠處理能力)且與發(fā)出數(shù)據(jù)服務請求的終端用戶層的網(wǎng)絡接入點間網(wǎng)絡連接最優(yōu)的服務器,根據(jù)云端存儲層各存儲節(jié)點中網(wǎng)絡存儲設備的剩余存儲空間,分配數(shù)據(jù)存儲到各存儲節(jié)點;(6)傳輸器,通過網(wǎng)絡與上述終端用戶層建立連接實現(xiàn)數(shù)據(jù)接收/發(fā)送,支持現(xiàn)有網(wǎng)絡傳輸協(xié)議(如FTP、HTTP等)或使用開發(fā)新的傳輸協(xié)議;(7)壓縮/解壓縮器,壓縮上述終端用戶層沒有進行壓縮的數(shù)據(jù)或解壓縮要下發(fā)到上述終端用戶層的由本層壓縮的數(shù)據(jù);(8)加密/解密器,對要存儲到下述云端存儲層的數(shù)據(jù)進行加密封裝或?qū)南率鲈贫舜鎯幼x取的數(shù)據(jù)進行解密;(9)校驗器,校驗傳輸器接收或存儲器讀取的數(shù)據(jù)是否完整;(10)更新器,依據(jù)上述終端用戶層上傳的數(shù)據(jù)差量信息,對存儲在下述云端存儲層的數(shù)據(jù)和備份進行更新;(11)備份器,對所有保存到下述云端存儲層的數(shù)據(jù),創(chuàng)建一個副本,副本與原數(shù)據(jù)一同存儲在下述云端存儲層中;(12)存儲器,可以連接下述云端存儲層任何存儲節(jié)點中的任何網(wǎng)絡存儲設備,將數(shù)據(jù)保存到均衡器指定的網(wǎng)絡存儲設備中,讀取存儲在下述云端存儲層的數(shù)據(jù)(如果校驗器對讀取的數(shù)據(jù)校驗失敗,則讀取存儲數(shù)據(jù)的備份);(14)日志記錄器,記錄本層及下述云端存儲層的網(wǎng)絡流量、服務狀態(tài)等日志信息;3)云端存儲層(存儲層)包含若干網(wǎng)絡存儲節(jié)點,每個網(wǎng)絡存儲節(jié)點包含若干網(wǎng)絡存儲設備,包括(1)網(wǎng)絡存儲設備,保存上述云端處理層提交的數(shù)據(jù);其實現(xiàn)步驟主要特征在于①終端用戶在使用云存儲服務前必須先登錄,通過身份有效性認證才能使用云存儲服務;②管理員在管理云存儲服務前必須先登錄,通過身份有效性認證才能進行管理;③終端用戶可以將自己對數(shù)據(jù)的操作權限與其他終端用戶分享(終端用戶及其初始操作權限由管理員創(chuàng)建);④終端用戶選擇是否在上傳數(shù)據(jù)前對其進行加密、壓縮(如果選擇開啟上傳數(shù)據(jù)前加密、壓縮功能則下載該數(shù)據(jù)后自動對其進行解密、解壓縮),可以比較數(shù)據(jù)在本地編輯后的數(shù)據(jù)差異變化量,使用這個數(shù)據(jù)差量更新存儲在云存儲而不必上傳經(jīng)過編輯的全部數(shù)據(jù), 可以查詢云服務中保存的數(shù)據(jù);⑤云端處理層在數(shù)據(jù)存儲前都進行二次加密封裝;⑥云端處理層對所有存儲的數(shù)據(jù)都進行備份存儲;⑦終端用戶和管理員都可以制定執(zhí)行自定義的策略(終端用戶制定的策略在終端用戶層保存執(zhí)行,管理員制定的策略在云端管理層保存執(zhí)行);⑧終端用戶在編輯本地數(shù)據(jù)后僅上傳經(jīng)過比較數(shù)據(jù)編輯前后變化的差量信息,終端處理層使用這個差量信息更新存儲在云存儲層中的數(shù)據(jù),而不必上傳數(shù)據(jù)的全部內(nèi)容;⑨終端用戶或管理員每次進行操作前都需要確權(確認其擁有執(zhí)行請求操作的權限);⑩管理管理員可以監(jiān)控云中任何服務器、網(wǎng)絡、任何網(wǎng)絡存儲設備等設備的狀態(tài)。
2.根據(jù)權利要求1所述的系統(tǒng),其特征在于,所述終端用戶在使用云存儲服務前必須先登錄,通過身份有效性認證才能使用云存儲服務。
3.根據(jù)權利要求1所述的系統(tǒng),其特征在于,所述終端用戶可以將自己對數(shù)據(jù)的操作權限與其他終端用戶分享(數(shù)據(jù)共享)。
4.根據(jù)權利要求1所述的系統(tǒng),其特征在于,所述終端用戶層與云端處理層間交換的數(shù)據(jù)都是經(jīng)過加密處理的數(shù)據(jù)。
5.根據(jù)權利要求1所述的系統(tǒng),其特征在于,所述云端處理層在數(shù)據(jù)存儲前都進行二次加密封裝。
6.根據(jù)權利要求1所述的系統(tǒng),其特征在于,所述云端處理層對所有存儲的數(shù)據(jù)都進行備份存儲。
7.根據(jù)權利要求1所述的系統(tǒng),其特征在于,所述終端用戶層的終端用戶和云端處理層的管理員都可以制定執(zhí)行自定義的策略(終端用戶制定的策略在終端用戶層保存執(zhí)行, 管理員制定的策略在云端管理層保存執(zhí)行)。
8.根據(jù)權利要求1所述的系統(tǒng),其特征在于,所述終端用戶層的終端用戶和云端處理層的管理員每次進行操作前都需要確權(確認其擁有執(zhí)行請求操作的權限)。
9.根據(jù)權利要求1所述的系統(tǒng),其特征在于,所述云端處理層的管理員可以監(jiān)控云中任何服務器、網(wǎng)絡、任何網(wǎng)絡存儲設備等設備的狀態(tài)。
10.根據(jù)權利要求1所述的系統(tǒng),其特征在于,所述云端處理層具有負載均衡的能力即分配數(shù)據(jù)處理任務到有足夠處理能力的服務器、將數(shù)據(jù)存儲到有足夠存儲空間的網(wǎng)絡存儲設備中。
全文摘要
本發(fā)明是提供一種由若干服務器和若干的數(shù)據(jù)存儲設備組成的高效安全的數(shù)據(jù)云存儲系統(tǒng)實現(xiàn)方法及裝置,涉及云存儲領域。主要的特點如下在云存儲中采用身份認證機制與靈活的操作權限設定;數(shù)據(jù)每經(jīng)過一次網(wǎng)絡傳輸即進行一次校驗;先壓縮數(shù)據(jù)再通過網(wǎng)絡傳輸;對云中數(shù)據(jù)進行加密后存儲;對云存儲中的數(shù)據(jù)進行備份;對于已上傳到云存儲的數(shù)據(jù),可以僅上傳差量信息即可對其進行更新;自動負載均衡更好的利用云中空閑處理器和網(wǎng)絡存儲器;用戶、管理員都可以方便定制策略;管理員可以監(jiān)控云存儲的服務狀態(tài)。使用本方法構(gòu)架的云存儲系統(tǒng)將在提高存儲數(shù)據(jù)的保密性、完整性、可用性以及系統(tǒng)的自適應能力,同時提升該系統(tǒng)的運行效率與可控性。
文檔編號H04L29/08GK102281314SQ201110032369
公開日2011年12月14日 申請日期2011年1月30日 優(yōu)先權日2011年1月30日
發(fā)明者程旭 申請人:程旭