本發(fā)明涉及云計算存儲技術(shù)領(lǐng)域，具體地說是一種實用性強、基于分布式存儲實現(xiàn)對象存儲的方法。

背景技術(shù)：

目前，在國內(nèi)的網(wǎng)絡(luò)世界中，每天產(chǎn)生的數(shù)據(jù)流量可達500PB以上。其中大量的文檔，圖片，視頻，音樂等需要海量的存儲空間；龐大的用戶群體對信息的讀寫等操作也對存儲性能提出了更高的要求；快速發(fā)展擴張的直播流媒體等也需要存儲系統(tǒng)能夠簡便的進行無限擴容。

中國人口眾多，當前在論壇，微博，移動社交，網(wǎng)絡(luò)傳媒活躍著千萬級別的用戶。每天產(chǎn)生的數(shù)億條記錄，需要與人進行互動和信息共享。尤其當前的直播平臺更加平民化，各種直播平臺的競相開放，使得私人流媒體領(lǐng)域進入了全民直播時代。信息獲取的渠道多樣化，信息分享渠道更是錯綜復雜，相對于傳統(tǒng)的存儲要求，共享，分享等權(quán)限功能占據(jù)了重要的位置。

對于開放性的網(wǎng)絡(luò)存儲，個人，公司，組織比以往更注重私有空間，隱私作為衡量數(shù)據(jù)安全一項主要指標。無論是政府，機構(gòu)還是公司，個人對于加密信息的安全傳輸還是安全存儲都提出了更高的要求。存儲的安全，不止是要求數(shù)據(jù)存儲的正確，數(shù)據(jù)存儲長時間可靠與穩(wěn)定，還要求數(shù)據(jù)在傳輸過程中的絕對安全。必要時提供客戶統(tǒng)一接口，對其所存儲的文件進行特殊加密處理應用。

綜上所述，為了適用于新時代網(wǎng)絡(luò)存儲的各項需求，并且可以低成本無限擴容的存儲技術(shù)取得了長足的發(fā)展。最典型的解決方案就是對象存儲。每一個所存儲的文件都可以看作為一個對象，對象包括權(quán)限，時間，文件類型等。傳統(tǒng)的文件夾被廢棄，變成扁平化的二層架構(gòu)，更適合存儲節(jié)點的橫向擴展。

常規(guī)的對象存儲的處理步驟如下：

（1）客戶端發(fā)送數(shù)據(jù)上傳請求。

（2）客戶端把上傳數(shù)據(jù)進行分片，每一片生成上傳報文，通過s3接口把報文發(fā)送到存儲端。

（3）存儲端解析報文，把數(shù)據(jù)傳到分布式集群IO流程。

（4）IO流程把數(shù)據(jù)異步存放到分布式集群。

然而，在云計算中，對象存儲實現(xiàn)存在如下弊端：

用戶在傳輸數(shù)據(jù)過程中沒有對用戶進行鑒權(quán)處理，數(shù)據(jù)容易在傳輸過程中被截取，如果key被非法獲取，對后端存儲的安全造成極大的影響。

用戶使用私有存儲空間，沒有形成使用軌跡和使用量的統(tǒng)計，導致對象存儲平臺不能洞察存儲使用情況。

基于此，本發(fā)明提供一種采用多維度的數(shù)據(jù)校驗規(guī)則對數(shù)據(jù)進行質(zhì)量檢測的方法，來解決上述弊端。

技術(shù)實現(xiàn)要素：

本發(fā)明的技術(shù)任務是針對以上不足之處，提供一種實用性強、基于分布式存儲實現(xiàn)對象存儲的方法。

一種基于分布式存儲實現(xiàn)對象存儲的方法，其實現(xiàn)過程為：通過分布式存儲技術(shù)，搭建認證服務器，完成用戶端和服務端的安全認證，然后優(yōu)化后臺IO模型記錄碎片化日志，從而提升對象存儲的安全性。

通過搭建認證服務器實現(xiàn)用戶端和服務端的安全認證過程為：

首先通過java語言設(shè)計一個鑒權(quán)認證模塊，客戶端或者web界面端在上傳文件或者下載文件操作時，客戶端向認證服務器的服務端申請獲取一個認證值，客戶端把這個值封裝到報文中；

客戶端發(fā)送報文到服務端，服務端解析報文獲取認證值，服務端把報文中用戶信息獲取得到，通過用戶信息和認證值再次訪問認證服務器獲取認證進行比對，判斷是否為同一筆交易，最終得到交易的合法性。

?所述碎片化日志是指在認證服務器中，通過rgw對象存儲網(wǎng)關(guān)融合客戶端，將網(wǎng)關(guān)接收的消息記錄成日志，寫入消息隊列。

優(yōu)化記錄碎片化日志的具體過程為：消息隊列通過消息中間件，發(fā)送到消息處理進程，消息處理進程是用python開發(fā)的守護進程，守護進程通過規(guī)則匹配模塊來處理不同的消息，并將符合的信息錄入mysql數(shù)據(jù)庫。

鑒權(quán)認證模塊的具體設(shè)計及實現(xiàn)過程為：

通過portal發(fā)起對象存儲服務操作,向認證服務器發(fā)起token認證申請操作；

如果第一步申請成功，返回給portal token；

向rgw發(fā)起對象存儲服務操作,同時把token傳給rgw；

rgw根據(jù)獲取的token向認證服務器發(fā)起token驗證請求；

如果認證服務器驗證通過,則返回成功否者返回失?。?/p>

如果成功rgw開始向rados寫入數(shù)據(jù)；

如果不成功則返回portal token驗證失敗。

記錄碎片化日志的具體過程為：

用戶通過sdk接口使用對象存儲服務的時候，通過rgw RESTful接口獲取rados中的數(shù)據(jù)；

rgw改造程序，每一次操作成功都把明細寫入RabbitMQ消息隊列；

消息讀取計算進程從消息隊列中獲取明細并計算，最終把結(jié)果入庫到mysql中；

sdk上傳對象時，通過RESTful接口向計算進程獲取用戶空間剩余量,當空間不足時，則返回portal失敗。

本發(fā)明的一種基于分布式存儲實現(xiàn)對象存儲的方法，具有以下優(yōu)點：

本發(fā)明提供的一種基于分布式存儲實現(xiàn)對象存儲的方法，基于分布式存儲分析技術(shù)，用軟件化的方式定義存儲，實現(xiàn)海量數(shù)據(jù)的安全存儲及碎片化日志記錄；采用這種方法，可以實現(xiàn)數(shù)據(jù)存儲安全和存儲集群安全，提高分布式存儲集群的可靠性、可用性、安全性；通過搭建token認證服務器，實現(xiàn)用戶端和存儲端的安全認證，可以防止非法用戶進行向集群傳遞數(shù)據(jù)，惡意破壞及使用存儲；通過記錄碎片化日志，在云計算環(huán)境中，可以對租戶進行使用歷史軌跡記錄，同時可以對使用情況進行分析，實用性強，適用范圍廣泛，易于推廣。

附圖說明

附圖1是本發(fā)明的鑒權(quán)認證模塊架構(gòu)圖。

附圖2是碎片化日志記錄架構(gòu)圖。

具體實施方式

下面結(jié)合附圖及具體實施例對本發(fā)明作進一步說明。

如附圖1、圖2所示，本發(fā)明的一種基于分布式存儲實現(xiàn)對象存儲的方法，用軟件化的方式定義存儲，實現(xiàn)海量數(shù)據(jù)的安全存儲及碎片化日志記錄。采用這種方法，可以實現(xiàn)數(shù)據(jù)存儲安全和存儲集群安全，提高分布式存儲集群的可靠性、可用性、安全性。

所述的軟件化的數(shù)據(jù)的安全存儲，是構(gòu)建mannger token server，客戶端向服務端發(fā)送報文時，需向manngertoken server申請token，把token通過報文傳給服務端，服務端獲取token到mannger token server進行驗證。

所述的碎片化日志記錄，是基于RabbitMQ消息中間件，把寫入集群中的數(shù)據(jù)異步存放到數(shù)據(jù)庫中，然后對日志進行按需統(tǒng)計匯總分析。

其實現(xiàn)過程為：

1）通過搭建token認證服務器，實現(xiàn)用戶端和服務端的安全認證：

本發(fā)明是基于java語言自研的一個鑒權(quán)認證模塊，客戶端或者web界面端在上傳文件或者下載文件等操作時，客戶端會向token server 服務端申請獲取一個token value ，客戶端會把這個值封裝到報文中。

客戶端發(fā)送報文到服務端，服務端解析報文獲取token value，服務端會把報文中用戶信息獲取得到，通過用戶信息和token value再次訪問token server獲取token進行比對，判斷是否為同一筆交易，最終得到交易的合法性。

鑒權(quán)認證模塊的具體實現(xiàn)流程描述如下：

portal發(fā)起對象存儲服務操作,需要向認證服務器mannger token server發(fā)起token認證申請操作，在該步驟中，Portal是網(wǎng)關(guān)服務于因特網(wǎng)的一種WEB站點，Portal是鏈路、內(nèi)容和為用戶可能找到的感興趣的信息的指南服務的集合，相當于客戶端。

如果第一步申請成功，返回給portal token。

向rgw發(fā)起對象存儲服務操作,同時把token傳給rgw。

rgw根據(jù)獲取的token向mannger token server發(fā)起token驗證請求。

如果mannger token server驗證通過,則返回成功否者返回失敗。

如果成功rgw開始向rados寫入數(shù)據(jù)，這里的rados是一種分布式數(shù)據(jù)存儲系統(tǒng)。

如果不成功則返回portal token驗證失敗。

2）記錄碎片化日志：

?rgw對象存儲網(wǎng)關(guān)融合RabbitMQ客戶端，將網(wǎng)關(guān)接收的消息記錄成日志，寫入消息隊列。消息隊列通過RabbitMQ消息中間件，發(fā)送到消息處理進程。消息處理進程是用python開發(fā)的守護進程，守護進程通過規(guī)則匹配模塊來處理不同的消息，并將符合的信息錄入mysql數(shù)據(jù)庫。

記錄碎片化日志具體實現(xiàn)過程如下：

用戶通過sdk接口使用對象存儲服務的時候，通過rgw restful接口獲取rados中的數(shù)據(jù)。

rgw需要改造程序，每一次操作成功都需要把明細寫入RabbitMQ消息隊列。

消息讀取計算進程從消息隊列中獲取明細并計算，最終把結(jié)果入庫到mysql中。

sdk上傳對象時，通過rest ful接口向計算進程獲取用戶空間剩余量,如空間不足，返回portal失敗。

上述具體實施方式僅是本發(fā)明的具體個案，本發(fā)明的專利保護范圍包括但不限于上述具體實施方式，任何符合本發(fā)明的一種基于分布式存儲實現(xiàn)對象存儲的方法的權(quán)利要求書的且任何所述技術(shù)領(lǐng)域的普通技術(shù)人員對其所做的適當變化或替換，皆應落入本發(fā)明的專利保護范圍。