一種電信系統(tǒng)中的對(duì)象存儲(chǔ)方法及裝置制造方法
【專(zhuān)利摘要】本發(fā)明涉及一種電信系統(tǒng)中的對(duì)象存儲(chǔ)方法及裝置，包括以下步驟：對(duì)多個(gè)存儲(chǔ)服務(wù)器在物理位置上進(jìn)行隔離，每個(gè)存儲(chǔ)服務(wù)器采用相同配置；在代理節(jié)點(diǎn)上生成配置文件；為待存儲(chǔ)的對(duì)象配置冗余副本的數(shù)量，并將冗余副本的數(shù)量存儲(chǔ)到配置文件中；在代理節(jié)點(diǎn)上設(shè)置代理服務(wù)模塊，在每個(gè)存儲(chǔ)服務(wù)器上設(shè)置存儲(chǔ)服務(wù)模塊、審計(jì)服務(wù)模塊及復(fù)制服務(wù)模塊；啟動(dòng)代理服務(wù)模塊、存儲(chǔ)服務(wù)模塊、審計(jì)服務(wù)模塊和復(fù)制服務(wù)模塊；代理服務(wù)模塊根據(jù)配置文件選擇與對(duì)象對(duì)應(yīng)的存儲(chǔ)服務(wù)器，進(jìn)行相應(yīng)的對(duì)象讀取操作。本發(fā)明采用完全對(duì)稱(chēng)的架構(gòu)，降低了系統(tǒng)的維護(hù)成本；有極高的數(shù)據(jù)冗余性和持久性，能夠防止數(shù)據(jù)丟失；易于擴(kuò)容，便于應(yīng)對(duì)非結(jié)果化數(shù)據(jù)的快速增長(zhǎng)。
【專(zhuān)利說(shuō)明】一種電信系統(tǒng)中的對(duì)象存儲(chǔ)方法及裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種電信系統(tǒng)中的對(duì)象存儲(chǔ)方法及系統(tǒng)。

【背景技術(shù)】
[0002]隨著云時(shí)代的到來(lái)和信息化技術(shù)的不斷發(fā)展，近年來(lái)諸如圖片、視頻、音樂(lè)和文檔等靜態(tài)數(shù)據(jù)不斷激增，企業(yè)對(duì)存儲(chǔ)容量的需求越來(lái)越大，當(dāng)務(wù)之急是實(shí)現(xiàn)存儲(chǔ)的不斷擴(kuò)容，并保證對(duì)非結(jié)構(gòu)化數(shù)據(jù)的快速訪問(wèn)。
[0003]電信行業(yè)因其自身的發(fā)展歷程和時(shí)間的延續(xù)，數(shù)據(jù)環(huán)境比較復(fù)雜，在不同時(shí)期的不同應(yīng)用導(dǎo)致了多種存儲(chǔ)方式并存的現(xiàn)象，規(guī)模較大的電信行業(yè)可能同時(shí)具有從DAS (Direct Attached Storage 的縮寫(xiě)，即直連式存儲(chǔ))、NAS (Network Attached Storage 的縮寫(xiě)，即網(wǎng)絡(luò)接入存儲(chǔ))到SAN(Storage Area Network的縮寫(xiě)，即存儲(chǔ)區(qū)域網(wǎng)絡(luò))的各種存儲(chǔ)結(jié)構(gòu)。
[0004]DAS是一種應(yīng)用較早的存儲(chǔ)技術(shù)，簡(jiǎn)單易用，但磁盤(pán)利用率很低，不易擴(kuò)容。通常用在單一網(wǎng)絡(luò)環(huán)境下且數(shù)據(jù)交換量不大，性能要求不高的環(huán)境下。對(duì)大容量的非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)并不適用。
[0005]SAN應(yīng)用在對(duì)網(wǎng)絡(luò)速度要求高、對(duì)數(shù)據(jù)的可靠性和安全性要求高、對(duì)數(shù)據(jù)共享的性能要求高的應(yīng)用環(huán)境中，例如電信、銀行的大數(shù)據(jù)量關(guān)鍵業(yè)務(wù)應(yīng)用。它采用塊存儲(chǔ)結(jié)構(gòu)通過(guò)在磁盤(pán)或FC(Fiber Channel的縮寫(xiě)，即光纖通道)級(jí)的數(shù)據(jù)訪問(wèn)提供高性能的隨機(jī)1/0和數(shù)據(jù)吞吐率，它具有高帶寬、低延遲的優(yōu)勢(shì)，但是SAN系統(tǒng)的價(jià)格較高，且可擴(kuò)展性較差，已不能滿(mǎn)足存儲(chǔ)規(guī)模的不斷擴(kuò)大。
[0006]NAS是文件級(jí)存儲(chǔ)，它以文件為傳輸協(xié)議，通過(guò)TCP/IP實(shí)現(xiàn)網(wǎng)絡(luò)化存儲(chǔ)，可擴(kuò)展性好、價(jià)格便宜、用戶(hù)易管理，但由于NAS的協(xié)議開(kāi)銷(xiāo)高、帶寬低、延遲大，不利于在高性能集群中應(yīng)用。
[0007]綜上所述，三種技術(shù)的不同優(yōu)勢(shì)使電信運(yùn)營(yíng)商在構(gòu)建不同存儲(chǔ)系統(tǒng)時(shí)可各取所長(zhǎng)，但傳統(tǒng)NAS和SAN存儲(chǔ)陣列的復(fù)雜性和高成本都注定這些方案對(duì)于非結(jié)構(gòu)化數(shù)據(jù)來(lái)說(shuō)不是長(zhǎng)久之計(jì)，需要對(duì)當(dāng)前的存儲(chǔ)結(jié)構(gòu)加以改進(jìn)。


【發(fā)明內(nèi)容】

[0008]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種能夠應(yīng)對(duì)存儲(chǔ)快速增長(zhǎng)、提高10吞吐量的電信系統(tǒng)中的對(duì)象存儲(chǔ)方法及裝置。
[0009]本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下:一種電信系統(tǒng)中的對(duì)象存儲(chǔ)方法，包括以下步驟:
[0010]步驟1:對(duì)多個(gè)存儲(chǔ)服務(wù)器在物理位置上進(jìn)行隔離，建立分區(qū)，每個(gè)分區(qū)中有若干個(gè)存儲(chǔ)服務(wù)器，每個(gè)存儲(chǔ)服務(wù)器采用相同配置；
[0011]步驟2:在代理節(jié)點(diǎn)上生成配置文件，所述配置文件包含分區(qū)的信息、存儲(chǔ)服務(wù)器的信息、端口的信息和對(duì)象與存儲(chǔ)服務(wù)器的映射信息，并將配置文件分別存儲(chǔ)到各個(gè)存儲(chǔ)服務(wù)器上；
[0012]步驟3:為待存儲(chǔ)的對(duì)象配置冗余副本的數(shù)量，并將冗余副本的數(shù)量存儲(chǔ)到配置文件中；
[0013]步驟4:在代理節(jié)點(diǎn)上設(shè)置用于對(duì)外提供訪問(wèn)接口的代理服務(wù)模塊，在每個(gè)存儲(chǔ)服務(wù)器上設(shè)置用于執(zhí)行磁盤(pán)設(shè)備上的存儲(chǔ)操作的存儲(chǔ)服務(wù)模塊、用于在后臺(tái)通過(guò)掃描磁盤(pán)檢查數(shù)據(jù)完整性的審計(jì)服務(wù)模塊及用于將數(shù)據(jù)拷貝到其他存儲(chǔ)服務(wù)器上的復(fù)制服務(wù)模塊；
[0014]步驟5:啟動(dòng)代理節(jié)點(diǎn)上的代理服務(wù)模塊，啟動(dòng)每個(gè)存儲(chǔ)服務(wù)器上的存儲(chǔ)服務(wù)模塊、審計(jì)服務(wù)模塊和復(fù)制服務(wù)模塊；
[0015]步驟6:根據(jù)客戶(hù)端發(fā)送給代理節(jié)點(diǎn)的對(duì)象讀寫(xiě)請(qǐng)求，代理服務(wù)模塊根據(jù)配置文件選擇與對(duì)象對(duì)應(yīng)的存儲(chǔ)服務(wù)器，進(jìn)行相應(yīng)的對(duì)象讀取操作。
[0016]本發(fā)明的有益效果是:本發(fā)明采用完全對(duì)稱(chēng)的架構(gòu)，降低了系統(tǒng)的維護(hù)成本；本發(fā)明有極高的數(shù)據(jù)冗余性和持久性，能夠降低數(shù)據(jù)丟失；沒(méi)有控制中心，元數(shù)據(jù)均勻隨機(jī)分布，避免了單點(diǎn)故障；易于擴(kuò)容，便于應(yīng)對(duì)非結(jié)果化數(shù)據(jù)的快速增長(zhǎng)；性能可隨存儲(chǔ)容量的擴(kuò)展線性提升。
[0017]在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。
[0018]進(jìn)一步，所述步驟6中，當(dāng)客戶(hù)端需要對(duì)已存儲(chǔ)的待讀取對(duì)象進(jìn)行讀取時(shí)，客戶(hù)端向代理節(jié)點(diǎn)發(fā)送對(duì)象讀取請(qǐng)求，代理服務(wù)模塊根據(jù)對(duì)象讀取請(qǐng)求，在配置文件中查找與待讀取對(duì)象對(duì)應(yīng)的存儲(chǔ)服務(wù)器，代理節(jié)點(diǎn)將對(duì)象讀取請(qǐng)求發(fā)送到對(duì)應(yīng)的存儲(chǔ)服務(wù)器，存儲(chǔ)服務(wù)器在本地查找到待讀取對(duì)象后，通過(guò)代理節(jié)點(diǎn)將待讀取對(duì)象返回給客戶(hù)端。
[0019]進(jìn)一步，所述步驟6中，當(dāng)客戶(hù)端需要對(duì)待寫(xiě)入對(duì)象進(jìn)行寫(xiě)入時(shí)，客戶(hù)端向代理節(jié)點(diǎn)發(fā)送對(duì)象寫(xiě)入請(qǐng)求，代理服務(wù)模塊根據(jù)對(duì)象寫(xiě)入請(qǐng)求，根據(jù)配置文件中的冗余副本的數(shù)量選擇存放分區(qū)和存儲(chǔ)服務(wù)器，客戶(hù)端通過(guò)代理節(jié)點(diǎn)將待寫(xiě)入對(duì)象發(fā)送給選擇的存儲(chǔ)服務(wù)器進(jìn)行存儲(chǔ)。
[0020]進(jìn)一步，當(dāng)寫(xiě)入成功的副本數(shù)大于三分之二后，存儲(chǔ)服務(wù)將寫(xiě)入成功的信息通過(guò)代理節(jié)點(diǎn)發(fā)送給客戶(hù)端；
[0021]所述審計(jì)服務(wù)模塊掃描磁盤(pán)，若發(fā)現(xiàn)某一對(duì)象的數(shù)據(jù)有損壞或者磁盤(pán)不可用時(shí)，審計(jì)服務(wù)模塊將該對(duì)象或者區(qū)域進(jìn)行標(biāo)記，之后復(fù)制服務(wù)模塊根據(jù)配置文件從其它存儲(chǔ)服務(wù)器拷貝一份未損壞的該對(duì)象的數(shù)據(jù)或者該區(qū)域的數(shù)據(jù)替代損壞的數(shù)據(jù)，生成一個(gè)新的副本。
[0022]進(jìn)一步，當(dāng)待存儲(chǔ)入存儲(chǔ)服務(wù)器中的對(duì)象的非結(jié)構(gòu)化數(shù)據(jù)激增時(shí)，執(zhí)行步驟，步驟及步驟進(jìn)行存儲(chǔ)擴(kuò)容。
[0023]進(jìn)一步，一種電信系統(tǒng)中的對(duì)象存儲(chǔ)裝置，包括若干個(gè)客戶(hù)端，一個(gè)代理節(jié)點(diǎn)和多個(gè)存儲(chǔ)服務(wù)器；
[0024]所述客戶(hù)端，用于向代理節(jié)點(diǎn)發(fā)送對(duì)象讀寫(xiě)請(qǐng)求；
[0025]所述代理節(jié)點(diǎn)，用于生成配置文件，所述配置文件包含分區(qū)的信息、存儲(chǔ)服務(wù)器的信息、端口的信息和對(duì)象與存儲(chǔ)服務(wù)器的映射信息，并將配置文件分別存儲(chǔ)到各個(gè)存儲(chǔ)服務(wù)器上；內(nèi)部設(shè)置有用于對(duì)外提供訪問(wèn)接口的代理服務(wù)模塊；啟動(dòng)代理服務(wù)模塊；根據(jù)客戶(hù)端發(fā)送的對(duì)象讀寫(xiě)請(qǐng)求，并根據(jù)配置文件選擇與對(duì)象對(duì)應(yīng)的存儲(chǔ)服務(wù)器，進(jìn)行相應(yīng)的對(duì)象讀取操作，為待存儲(chǔ)的對(duì)象配置冗余副本的數(shù)量；
[0026]每個(gè)所述存儲(chǔ)服務(wù)器，在物理位置上互相隔離，每若干個(gè)存儲(chǔ)服務(wù)器設(shè)置于一個(gè)分區(qū)中，每個(gè)存儲(chǔ)服務(wù)器采用相同配置；在每個(gè)存儲(chǔ)服務(wù)器上設(shè)置有用于執(zhí)行磁盤(pán)設(shè)備上的存儲(chǔ)操作的存儲(chǔ)服務(wù)模塊、用于在后臺(tái)通過(guò)掃描磁盤(pán)檢查數(shù)據(jù)完整性的審計(jì)服務(wù)模塊及用于將數(shù)據(jù)拷貝到其他存儲(chǔ)服務(wù)器上的復(fù)制服務(wù)模塊；啟動(dòng)每個(gè)存儲(chǔ)服務(wù)器上的存儲(chǔ)服務(wù)模塊、審計(jì)服務(wù)模塊和復(fù)制服務(wù)模塊。
[0027]進(jìn)一步，當(dāng)客戶(hù)端需要對(duì)已存儲(chǔ)的待讀取對(duì)象進(jìn)行讀取時(shí)，客戶(hù)端向代理節(jié)點(diǎn)發(fā)送對(duì)象讀取請(qǐng)求，代理服務(wù)根據(jù)對(duì)象讀取請(qǐng)求在配置文件中，查找與待讀取對(duì)象對(duì)應(yīng)的存儲(chǔ)服務(wù)器，代理節(jié)點(diǎn)將對(duì)象讀取請(qǐng)求發(fā)送到對(duì)應(yīng)的存儲(chǔ)服務(wù)器，存儲(chǔ)服務(wù)器在本地查找到待讀取對(duì)象后，通過(guò)代理節(jié)點(diǎn)將待讀取對(duì)象返回給客戶(hù)端。
[0028]進(jìn)一步，當(dāng)客戶(hù)端需要對(duì)待寫(xiě)入對(duì)象進(jìn)行寫(xiě)入時(shí)，客戶(hù)端向代理節(jié)點(diǎn)發(fā)送對(duì)象寫(xiě)入請(qǐng)求，代理服務(wù)模塊根據(jù)對(duì)象寫(xiě)入請(qǐng)求，根據(jù)配置文件中的冗余副本的數(shù)量選擇存放分區(qū)和存儲(chǔ)服務(wù)器，客戶(hù)端通過(guò)代理節(jié)點(diǎn)將待寫(xiě)入對(duì)象發(fā)送給選擇的存儲(chǔ)服務(wù)器進(jìn)行存儲(chǔ)。
[0029]進(jìn)一步，寫(xiě)入成功的副本數(shù)大于三分之二后，存儲(chǔ)服務(wù)將寫(xiě)入成功的信息通過(guò)代理節(jié)點(diǎn)發(fā)送給客戶(hù)端；
[0030]所述審計(jì)服務(wù)模塊掃描磁盤(pán)，若發(fā)現(xiàn)某一對(duì)象的數(shù)據(jù)有損壞或者磁盤(pán)不可用時(shí)，審計(jì)服務(wù)模塊將該對(duì)象或者區(qū)域進(jìn)行標(biāo)記，之后復(fù)制服務(wù)模塊根據(jù)配置文件從其它存儲(chǔ)服務(wù)器拷貝一份未損壞的該對(duì)象的數(shù)據(jù)或者該區(qū)域的數(shù)據(jù)替代損壞的數(shù)據(jù)，生成一個(gè)新的副本。
[0031]進(jìn)一步，當(dāng)待存儲(chǔ)入存儲(chǔ)服務(wù)器中的對(duì)象的非結(jié)構(gòu)化數(shù)據(jù)激增時(shí)，代理節(jié)點(diǎn)和存儲(chǔ)服務(wù)器進(jìn)行存儲(chǔ)擴(kuò)容。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0032]圖1為本發(fā)明方法步驟流程圖；
[0033]圖2為本發(fā)明裝置結(jié)構(gòu)圖。
[0034]附圖中，各標(biāo)號(hào)所代表的部件列表如下:
[0035]1、客戶(hù)端，2、代理節(jié)點(diǎn)，3、存儲(chǔ)服務(wù)器。

【具體實(shí)施方式】
[0036]以下結(jié)合附圖對(duì)本發(fā)明的原理和特征進(jìn)行描述，所舉實(shí)例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。
[0037]如圖1所示，為本發(fā)明方法步驟流程圖；圖2為本發(fā)明裝置結(jié)構(gòu)圖。
[0038]實(shí)施例1
[0039]一種電信系統(tǒng)中的對(duì)象存儲(chǔ)方法，包括以下步驟:
[0040]步驟1:對(duì)多個(gè)存儲(chǔ)服務(wù)器在物理位置上進(jìn)行隔離，建立分區(qū)，每個(gè)分區(qū)中有若干個(gè)存儲(chǔ)服務(wù)器，每個(gè)存儲(chǔ)服務(wù)器采用相同配置；
[0041]步驟2:在代理節(jié)點(diǎn)上生成配置文件，所述配置文件包含分區(qū)的信息、存儲(chǔ)服務(wù)器的信息、端口的信息和對(duì)象與存儲(chǔ)服務(wù)器的映射信息，并將配置文件分別存儲(chǔ)到各個(gè)存儲(chǔ)服務(wù)器上；
[0042]步驟3:為待存儲(chǔ)的對(duì)象配置冗余副本的數(shù)量，并將冗余副本的數(shù)量存儲(chǔ)到配置文件中；
[0043]步驟4:在代理節(jié)點(diǎn)上設(shè)置用于對(duì)外提供訪問(wèn)接口的代理服務(wù)模塊，在每個(gè)存儲(chǔ)服務(wù)器上設(shè)置用于執(zhí)行磁盤(pán)設(shè)備上的存儲(chǔ)操作的存儲(chǔ)服務(wù)模塊、用于在后臺(tái)通過(guò)掃描磁盤(pán)檢查數(shù)據(jù)完整性的審計(jì)服務(wù)模塊及用于將數(shù)據(jù)拷貝到其他存儲(chǔ)服務(wù)器上的復(fù)制服務(wù)模塊；
[0044]步驟5:啟動(dòng)代理節(jié)點(diǎn)上的代理服務(wù)模塊，啟動(dòng)每個(gè)存儲(chǔ)服務(wù)器上的存儲(chǔ)服務(wù)模塊、審計(jì)服務(wù)模塊和復(fù)制服務(wù)模塊；
[0045]步驟6:根據(jù)客戶(hù)端發(fā)送給代理節(jié)點(diǎn)的對(duì)對(duì)象的對(duì)象讀寫(xiě)請(qǐng)求，代理服務(wù)模塊根據(jù)配置文件選擇與對(duì)象對(duì)應(yīng)的存儲(chǔ)服務(wù)器，進(jìn)行相應(yīng)的對(duì)象讀取操作。
[0046]所述步驟6中，當(dāng)客戶(hù)端需要對(duì)已存儲(chǔ)的待讀取對(duì)象進(jìn)行讀取時(shí)，客戶(hù)端向代理節(jié)點(diǎn)發(fā)送對(duì)象讀取請(qǐng)求，代理服務(wù)模塊根據(jù)對(duì)象讀取請(qǐng)求，在配置文件中查找與待讀取對(duì)象對(duì)應(yīng)的存儲(chǔ)服務(wù)器，代理節(jié)點(diǎn)將對(duì)象讀取請(qǐng)求發(fā)送到對(duì)應(yīng)的存儲(chǔ)服務(wù)器，存儲(chǔ)服務(wù)器在本地查找到待讀取對(duì)象后，通過(guò)代理節(jié)點(diǎn)將待讀取對(duì)象返回給客戶(hù)端。
[0047]所述步驟6中，當(dāng)客戶(hù)端需要對(duì)待寫(xiě)入對(duì)象進(jìn)行寫(xiě)入時(shí)，客戶(hù)端向代理節(jié)點(diǎn)發(fā)送對(duì)象寫(xiě)入請(qǐng)求，代理服務(wù)模塊根據(jù)對(duì)象寫(xiě)入請(qǐng)求，根據(jù)配置文件中的冗余副本的數(shù)量選擇存放分區(qū)和存儲(chǔ)服務(wù)器，客戶(hù)端通過(guò)代理節(jié)點(diǎn)將待寫(xiě)入對(duì)象發(fā)送給選擇的存儲(chǔ)服務(wù)器進(jìn)行存儲(chǔ)。
[0048]當(dāng)寫(xiě)入成功的副本數(shù)大于三分之二后，存儲(chǔ)服務(wù)將寫(xiě)入成功的信息通過(guò)代理節(jié)點(diǎn)發(fā)送給客戶(hù)端；
[0049]所述審計(jì)服務(wù)模塊掃描磁盤(pán)，若發(fā)現(xiàn)某一對(duì)象的數(shù)據(jù)有損壞或者磁盤(pán)不可用時(shí)，審計(jì)服務(wù)模塊將該對(duì)象或者區(qū)域進(jìn)行標(biāo)記，之后復(fù)制服務(wù)模塊從其它存儲(chǔ)服務(wù)器拷貝一份未損壞的該對(duì)象的數(shù)據(jù)或者該區(qū)域的數(shù)據(jù)替代損壞的數(shù)據(jù)，生成一個(gè)新的副本。
[0050]當(dāng)待存儲(chǔ)入存儲(chǔ)服務(wù)器中的對(duì)象的非結(jié)構(gòu)化數(shù)據(jù)激增時(shí)，執(zhí)行步驟1，步驟3及步驟4進(jìn)行存儲(chǔ)擴(kuò)容。
[0051]一種電信系統(tǒng)中的對(duì)象存儲(chǔ)裝置，包括若干個(gè)客戶(hù)端1，一個(gè)代理節(jié)點(diǎn)2和多個(gè)存儲(chǔ)服務(wù)器3 ；
[0052]所述客戶(hù)端1，用于向代理節(jié)點(diǎn)2發(fā)送對(duì)象讀寫(xiě)請(qǐng)求；
[0053]所述代理節(jié)點(diǎn)2，用于生成配置文件，所述配置文件包含分區(qū)的信息、存儲(chǔ)服務(wù)器的信息、端口的信息和對(duì)象與存儲(chǔ)服務(wù)器的映射信息，并將配置文件分別存儲(chǔ)到各個(gè)存儲(chǔ)服務(wù)器上；內(nèi)部設(shè)置有用于對(duì)外提供訪問(wèn)接口的代理服務(wù)模塊；啟動(dòng)代理服務(wù)模塊；根據(jù)客戶(hù)端發(fā)送的對(duì)象讀寫(xiě)請(qǐng)求，并根據(jù)配置文件選擇與對(duì)象對(duì)應(yīng)的存儲(chǔ)服務(wù)器，進(jìn)行相應(yīng)的對(duì)象讀取操作，為待存儲(chǔ)的對(duì)象配置冗余副本的數(shù)量；
[0054]每個(gè)所述存儲(chǔ)服務(wù)器3，在物理位置上互相隔離，每若干個(gè)存儲(chǔ)服務(wù)器設(shè)置于一個(gè)分區(qū)中，每個(gè)存儲(chǔ)服務(wù)器采用相同配置；在每個(gè)存儲(chǔ)服務(wù)器上設(shè)置有用于執(zhí)行磁盤(pán)設(shè)備上的存儲(chǔ)操作的存儲(chǔ)服務(wù)模塊、用于在后臺(tái)通過(guò)掃描磁盤(pán)檢查數(shù)據(jù)完整性的審計(jì)服務(wù)模塊及用于將數(shù)據(jù)拷貝到其他存儲(chǔ)服務(wù)器上的復(fù)制服務(wù)模塊；啟動(dòng)每個(gè)存儲(chǔ)服務(wù)器上的存儲(chǔ)服務(wù)模塊、審計(jì)服務(wù)模塊和復(fù)制服務(wù)模塊。
[0055]當(dāng)客戶(hù)端I需要對(duì)已存儲(chǔ)的待讀取對(duì)象進(jìn)行讀取時(shí)，客戶(hù)端I向代理節(jié)點(diǎn)2發(fā)送對(duì)象讀取請(qǐng)求，代理服務(wù)根據(jù)對(duì)象讀取請(qǐng)求在配置文件中，查找與待讀取對(duì)象對(duì)應(yīng)的存儲(chǔ)服務(wù)器，代理節(jié)點(diǎn)2將對(duì)象讀取請(qǐng)求發(fā)送到對(duì)應(yīng)的存儲(chǔ)服務(wù)器3，存儲(chǔ)服務(wù)器3在本地查找到待讀取對(duì)象后，通過(guò)代理節(jié)點(diǎn)2將待讀取對(duì)象返回給客戶(hù)端。
[0056]當(dāng)客戶(hù)端I需要對(duì)待寫(xiě)入對(duì)象進(jìn)行寫(xiě)入時(shí)，客戶(hù)端I向代理節(jié)點(diǎn)2發(fā)送對(duì)象寫(xiě)入請(qǐng)求，代理服務(wù)模塊根據(jù)對(duì)象寫(xiě)入請(qǐng)求，根據(jù)配置文件中的冗余副本的數(shù)量選擇存放分區(qū)和存儲(chǔ)服務(wù)器3，客戶(hù)端I通過(guò)代理節(jié)點(diǎn)2將待寫(xiě)入對(duì)象發(fā)送給選擇的存儲(chǔ)服務(wù)器3進(jìn)行存儲(chǔ)。
[0057]寫(xiě)入成功的副本數(shù)大于三分之二后，存儲(chǔ)服務(wù)將寫(xiě)入成功的信息通過(guò)代理節(jié)點(diǎn)2發(fā)送給客戶(hù)端I ;
[0058]所述審計(jì)服務(wù)模塊掃描磁盤(pán)，若發(fā)現(xiàn)某一對(duì)象的數(shù)據(jù)有損壞或者磁盤(pán)不可用時(shí)，審計(jì)服務(wù)模塊將該對(duì)象或者區(qū)域進(jìn)行標(biāo)記，之后復(fù)制服務(wù)模塊根據(jù)配置文件從其它存儲(chǔ)服務(wù)器3拷貝一份未損壞的該對(duì)象的數(shù)據(jù)或者該區(qū)域的數(shù)據(jù)替代損壞的數(shù)據(jù)，生成一個(gè)新的副本。
[0059]當(dāng)待存儲(chǔ)入存儲(chǔ)服務(wù)器3中的對(duì)象的非結(jié)構(gòu)化數(shù)據(jù)激增時(shí)，代理節(jié)點(diǎn)2和存儲(chǔ)服務(wù)器3進(jìn)行存儲(chǔ)擴(kuò)容。
[0060]在具體實(shí)施中，所述對(duì)象存儲(chǔ)系統(tǒng)作為一種新的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)，由客戶(hù)端、代理節(jié)點(diǎn)(又稱(chēng)代理服務(wù)器)、存儲(chǔ)節(jié)點(diǎn)(又稱(chēng)存儲(chǔ)服務(wù)器)和網(wǎng)絡(luò)連接幾部分組成，客戶(hù)端不能直接訪問(wèn)存儲(chǔ)節(jié)點(diǎn)，而是將請(qǐng)求通過(guò)網(wǎng)絡(luò)發(fā)送到代理節(jié)點(diǎn)，代理節(jié)點(diǎn)接收請(qǐng)求并將請(qǐng)求發(fā)送到存儲(chǔ)節(jié)點(diǎn)上，對(duì)象(例如:虛擬機(jī)鏡像、郵件、圖片和文檔等靜態(tài)非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)稱(chēng)為對(duì)象)最終存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)上。
[0061]1、所述對(duì)象存儲(chǔ)系統(tǒng)采用完全對(duì)等的系統(tǒng)結(jié)構(gòu)，即對(duì)象存儲(chǔ)系統(tǒng)中每臺(tái)存儲(chǔ)服務(wù)器采用相同的系統(tǒng)配置；
[0062]2、根據(jù)業(yè)務(wù)需求和硬件條件，對(duì)存儲(chǔ)服務(wù)器的物理位置進(jìn)行隔離，建立分區(qū)(一個(gè)分區(qū)可以小到一塊磁盤(pán)，大到一個(gè)機(jī)房)，對(duì)象存儲(chǔ)系統(tǒng)中的存儲(chǔ)服務(wù)器分布在各個(gè)分區(qū)中；
[0063]根據(jù)業(yè)務(wù)需求，配置存放對(duì)象的冗余副本數(shù)，所述的對(duì)象存儲(chǔ)系統(tǒng)會(huì)將數(shù)據(jù)的副本分布到不同的分區(qū)的存儲(chǔ)節(jié)點(diǎn)上，確保數(shù)據(jù)安全；
[0064]4、根據(jù)業(yè)務(wù)需求和步驟2中的分區(qū)(Partit1n)數(shù)，在代理節(jié)點(diǎn)上生成一個(gè)配置文件，該配置文件包含分區(qū)、存儲(chǔ)節(jié)點(diǎn)、端口和存儲(chǔ)設(shè)備的映射信息。這些映射信息相當(dāng)于文件系統(tǒng)中的目錄結(jié)構(gòu)，對(duì)象存儲(chǔ)系統(tǒng)根據(jù)這些映射信息來(lái)確定對(duì)象最終的存放位置。
[0065]在生成映射信息時(shí)，對(duì)象存儲(chǔ)系統(tǒng)采用了在一致性哈希算法中引入Partit1n概念的方式，從而構(gòu)建一個(gè)冗余的可擴(kuò)展的分布式對(duì)象存儲(chǔ)系統(tǒng)。一致性哈希算法與普通的哈希算法相比，在增加存儲(chǔ)節(jié)點(diǎn)時(shí)，可降低數(shù)據(jù)的遷移量，提高對(duì)象存儲(chǔ)系統(tǒng)的可擴(kuò)展性。分區(qū)Partit1n實(shí)際上是對(duì)存儲(chǔ)節(jié)點(diǎn)的劃分,通過(guò)中間一層的Partit1n的存儲(chǔ)再分配,對(duì)象存儲(chǔ)系統(tǒng)將數(shù)據(jù)比較均勻的分布到各存儲(chǔ)節(jié)點(diǎn)上；
[0066]5、將步驟4中生成的關(guān)于映射信息的配置文件拷貝到對(duì)象存儲(chǔ)系統(tǒng)中的各個(gè)存儲(chǔ)節(jié)點(diǎn)上；
[0067]6、在代理節(jié)點(diǎn)和各個(gè)存儲(chǔ)節(jié)點(diǎn)上啟動(dòng)對(duì)象存儲(chǔ)系統(tǒng)的相關(guān)服務(wù)。所述對(duì)象存儲(chǔ)系統(tǒng)涉及的服務(wù)主要有代理服務(wù)、存儲(chǔ)服務(wù)、審計(jì)服務(wù)和復(fù)制服務(wù)。代理服務(wù)運(yùn)行在代理節(jié)點(diǎn)上，對(duì)外提供對(duì)象存儲(chǔ)系統(tǒng)的訪問(wèn)接口 ；存儲(chǔ)服務(wù)、審計(jì)服務(wù)和復(fù)制服務(wù)運(yùn)行在存儲(chǔ)節(jié)點(diǎn)上。存儲(chǔ)服務(wù)負(fù)責(zé)執(zhí)行磁盤(pán)設(shè)備上的存儲(chǔ)操作；審計(jì)服務(wù)在后臺(tái)掃描磁盤(pán)來(lái)檢查存儲(chǔ)設(shè)備上數(shù)據(jù)的完整性；復(fù)制服務(wù)負(fù)責(zé)將一份完好的數(shù)據(jù)拷貝到其他存儲(chǔ)節(jié)點(diǎn)上。
[0068]7、當(dāng)用戶(hù)從客戶(hù)端上傳對(duì)象時(shí)，代理服務(wù)直接接收用戶(hù)請(qǐng)求并將請(qǐng)求發(fā)送給存儲(chǔ)服務(wù)；存儲(chǔ)服務(wù)根據(jù)冗余數(shù)選取存放分區(qū)和存儲(chǔ)節(jié)點(diǎn)，然后開(kāi)始寫(xiě)入對(duì)象，當(dāng)寫(xiě)入成功的副本數(shù)大于三分之二后，存儲(chǔ)服務(wù)將寫(xiě)入成功的信息返回給用戶(hù)；審計(jì)服務(wù)在后臺(tái)掃描磁盤(pán)，若發(fā)現(xiàn)數(shù)據(jù)有損壞，審計(jì)服務(wù)會(huì)將對(duì)象進(jìn)行標(biāo)記，然后由復(fù)制服務(wù)從其他存儲(chǔ)節(jié)點(diǎn)拷貝一份完好的數(shù)據(jù)來(lái)替代損壞數(shù)據(jù)；
[0069]當(dāng)對(duì)象存儲(chǔ)系統(tǒng)的某個(gè)區(qū)域發(fā)生故障時(shí)，該區(qū)域存儲(chǔ)的所有對(duì)象在其他區(qū)域中都存在副本，當(dāng)審計(jì)服務(wù)檢查到磁盤(pán)不可用時(shí)，會(huì)將該區(qū)域進(jìn)行標(biāo)記，復(fù)制服務(wù)從其他存儲(chǔ)節(jié)點(diǎn)拷貝一份完好的數(shù)據(jù)到可用區(qū)域，生成一個(gè)新的副本，保證數(shù)據(jù)安全；
[0070]當(dāng)非結(jié)構(gòu)化數(shù)據(jù)激增，存儲(chǔ)容量不足時(shí)，按步驟I增加新的存儲(chǔ)設(shè)備，然后執(zhí)行步驟4、5、6完成存儲(chǔ)擴(kuò)容。
[0071 ] 以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種電信系統(tǒng)中的對(duì)象存儲(chǔ)方法，其特征在于，包括以下步驟: 步驟1:對(duì)多個(gè)存儲(chǔ)服務(wù)器在物理位置上進(jìn)行隔離，建立分區(qū)，每個(gè)分區(qū)中有若干個(gè)存儲(chǔ)服務(wù)器，每個(gè)存儲(chǔ)服務(wù)器采用相同配置； 步驟2:在代理節(jié)點(diǎn)上生成配置文件，所述配置文件包含分區(qū)的信息、存儲(chǔ)服務(wù)器的信息、端口的信息和對(duì)象與存儲(chǔ)服務(wù)器的映射信息，并將配置文件分別存儲(chǔ)到各個(gè)存儲(chǔ)服務(wù)器上； 步驟3:為待存儲(chǔ)的對(duì)象配置冗余副本的數(shù)量，并將冗余副本的數(shù)量存儲(chǔ)到配置文件中； 步驟4:在代理節(jié)點(diǎn)上設(shè)置用于對(duì)外提供訪問(wèn)接口的代理服務(wù)模塊，在每個(gè)存儲(chǔ)服務(wù)器上設(shè)置用于執(zhí)行磁盤(pán)設(shè)備上的存儲(chǔ)操作的存儲(chǔ)服務(wù)模塊、用于在后臺(tái)通過(guò)掃描磁盤(pán)檢查數(shù)據(jù)完整性的審計(jì)服務(wù)模塊及用于將數(shù)據(jù)拷貝到其他存儲(chǔ)服務(wù)器上的復(fù)制服務(wù)模塊； 步驟5:啟動(dòng)代理節(jié)點(diǎn)上的代理服務(wù)模塊，啟動(dòng)每個(gè)存儲(chǔ)服務(wù)器上的存儲(chǔ)服務(wù)模塊、審計(jì)服務(wù)模塊和復(fù)制服務(wù)模塊； 步驟6:根據(jù)客戶(hù)端發(fā)送給代理節(jié)點(diǎn)的對(duì)象讀寫(xiě)請(qǐng)求，代理服務(wù)模塊根據(jù)配置文件選擇與對(duì)象對(duì)應(yīng)的存儲(chǔ)服務(wù)器，進(jìn)行相應(yīng)的對(duì)象讀取操作。
2.根據(jù)權(quán)利要求1所述的對(duì)象存儲(chǔ)方法，其特征在于:所述步驟6中，當(dāng)客戶(hù)端需要對(duì)已存儲(chǔ)的待讀取對(duì)象進(jìn)行讀取時(shí)，客戶(hù)端向代理節(jié)點(diǎn)發(fā)送對(duì)象讀取請(qǐng)求，代理服務(wù)模塊根據(jù)對(duì)象讀取請(qǐng)求，在配置 文件中查找與待讀取對(duì)象對(duì)應(yīng)的存儲(chǔ)服務(wù)器，代理節(jié)點(diǎn)將對(duì)象讀取請(qǐng)求發(fā)送到對(duì)應(yīng)的存儲(chǔ)服務(wù)器，存儲(chǔ)服務(wù)器在本地查找到待讀取對(duì)象后，通過(guò)代理節(jié)點(diǎn)將待讀取對(duì)象返回給客戶(hù)端。
3.根據(jù)權(quán)利要求1所述的對(duì)象存儲(chǔ)方法，其特征在于:所述步驟6中，當(dāng)客戶(hù)端需要對(duì)待寫(xiě)入對(duì)象進(jìn)行寫(xiě)入時(shí)，客戶(hù)端向代理節(jié)點(diǎn)發(fā)送對(duì)象寫(xiě)入請(qǐng)求，代理服務(wù)模塊根據(jù)對(duì)象寫(xiě)入請(qǐng)求，根據(jù)配置文件中的冗余副本的數(shù)量選擇存放分區(qū)和存儲(chǔ)服務(wù)器，客戶(hù)端通過(guò)代理節(jié)點(diǎn)將待寫(xiě)入對(duì)象發(fā)送給選擇的存儲(chǔ)服務(wù)器進(jìn)行存儲(chǔ)。
4.根據(jù)權(quán)利要求3所述的對(duì)象存儲(chǔ)方法，其特征在于:當(dāng)寫(xiě)入成功的副本數(shù)大于三分之二后，存儲(chǔ)服務(wù)將寫(xiě)入成功的信息通過(guò)代理節(jié)點(diǎn)發(fā)送給客戶(hù)端； 所述審計(jì)服務(wù)模塊掃描磁盤(pán)，若發(fā)現(xiàn)某一對(duì)象的數(shù)據(jù)有損壞或者磁盤(pán)不可用時(shí)，審計(jì)服務(wù)模塊將該對(duì)象或者區(qū)域進(jìn)行標(biāo)記，之后復(fù)制服務(wù)模塊根據(jù)配置文件從其它存儲(chǔ)服務(wù)器拷貝一份未損壞的該對(duì)象的數(shù)據(jù)或者該區(qū)域的數(shù)據(jù)替代損壞的數(shù)據(jù)，生成一個(gè)新的副本。
5.根據(jù)權(quán)利要求1所述的對(duì)象存儲(chǔ)方法，其特征在于:當(dāng)待存儲(chǔ)入存儲(chǔ)服務(wù)器中的對(duì)象的非結(jié)構(gòu)化數(shù)據(jù)激增時(shí)，執(zhí)行步驟1，步驟3及步驟4進(jìn)行存儲(chǔ)擴(kuò)容。
6.一種電信系統(tǒng)中的對(duì)象存儲(chǔ)裝置，其特征在于:包括若干個(gè)客戶(hù)端(1)，一個(gè)代理節(jié)點(diǎn)⑵和多個(gè)存儲(chǔ)服務(wù)器(3); 所述客戶(hù)端(I)，用于向代理節(jié)點(diǎn)(2)發(fā)送對(duì)象讀寫(xiě)請(qǐng)求； 所述代理節(jié)點(diǎn)(2)，用于生成配置文件，所述配置文件包含分區(qū)的信息、存儲(chǔ)服務(wù)器的信息、端口的信息和對(duì)象與存儲(chǔ)服務(wù)器的映射信息，并將配置文件分別存儲(chǔ)到各個(gè)存儲(chǔ)服務(wù)器上；內(nèi)部設(shè)置有用于對(duì)外提供訪問(wèn)接口的代理服務(wù)模塊；啟動(dòng)代理服務(wù)模塊；根據(jù)客戶(hù)端發(fā)送的對(duì)象讀寫(xiě)請(qǐng)求，并根據(jù)配置文件選擇與對(duì)象對(duì)應(yīng)的存儲(chǔ)服務(wù)器，進(jìn)行相應(yīng)的對(duì)象讀取操作，為待存儲(chǔ)的對(duì)象配置冗余副本的數(shù)量；每個(gè)所述存儲(chǔ)服務(wù)器(3)，在物理位置上互相隔離，每若干個(gè)存儲(chǔ)服務(wù)器設(shè)置于一個(gè)分區(qū)中，每個(gè)存儲(chǔ)服務(wù)器采用相同配置；在每個(gè)存儲(chǔ)服務(wù)器上設(shè)置有用于執(zhí)行磁盤(pán)設(shè)備上的存儲(chǔ)操作的存儲(chǔ)服務(wù)模塊、用于在后臺(tái)通過(guò)掃描磁盤(pán)檢查數(shù)據(jù)完整性的審計(jì)服務(wù)模塊及用于將數(shù)據(jù)拷貝到其他存儲(chǔ)服務(wù)器上的復(fù)制服務(wù)模塊；啟動(dòng)每個(gè)存儲(chǔ)服務(wù)器上的存儲(chǔ)服務(wù)模塊、審計(jì)服務(wù)模塊和復(fù)制服務(wù)模塊。
7.根據(jù)權(quán)利要求6所述的對(duì)象存儲(chǔ)裝置，其特征在于:當(dāng)客戶(hù)端(I)需要對(duì)已存儲(chǔ)的待讀取對(duì)象進(jìn)行讀取時(shí)，客戶(hù)端(I)向代理節(jié)點(diǎn)(2)發(fā)送對(duì)象讀取請(qǐng)求，代理服務(wù)模塊根據(jù)對(duì)象讀取請(qǐng)求在配置文件中，查找與待讀取對(duì)象對(duì)應(yīng)的存儲(chǔ)服務(wù)器，代理節(jié)點(diǎn)(2)將對(duì)象讀取請(qǐng)求發(fā)送到對(duì)應(yīng)的存儲(chǔ)服務(wù)器(3)，存儲(chǔ)服務(wù)器(3)在本地查找到待讀取對(duì)象后，通過(guò)代理節(jié)點(diǎn)(2)將待讀取對(duì)象返回給客戶(hù)端。
8.根據(jù)權(quán)利要求6所述的對(duì)象存儲(chǔ)裝置，其特征在于:當(dāng)客戶(hù)端(I)需要對(duì)待寫(xiě)入對(duì)象進(jìn)行寫(xiě)入時(shí)，客戶(hù)端(I)向代理節(jié)點(diǎn)(2)發(fā)送對(duì)象寫(xiě)入請(qǐng)求，代理服務(wù)模塊根據(jù)對(duì)象寫(xiě)入請(qǐng)求，根據(jù)配置文件中的冗余副本的數(shù)量選擇存放分區(qū)和存儲(chǔ)服務(wù)器(3)，客戶(hù)端(I)通過(guò)代理節(jié)點(diǎn)(2)將待寫(xiě)入對(duì)象發(fā)送給選擇的存儲(chǔ)服務(wù)器(3)進(jìn)行存儲(chǔ)。
9.根據(jù)權(quán)利要求8所述的對(duì)象存儲(chǔ)裝置，其特征在于:當(dāng)寫(xiě)入成功的副本數(shù)大于三分之二后，存儲(chǔ)服務(wù)將寫(xiě)入成功的信息通過(guò)代理節(jié)點(diǎn)(2)發(fā)送給客戶(hù)端(I)； 所述審計(jì)服務(wù)模塊掃描磁盤(pán)，若發(fā)現(xiàn)某一對(duì)象的數(shù)據(jù)有損壞或者磁盤(pán)不可用時(shí)，審計(jì)服務(wù)模塊將該對(duì)象或者區(qū)域進(jìn)行標(biāo)記，之后復(fù)制服務(wù)模塊根據(jù)配置文件從其它存儲(chǔ)服務(wù)器(3)拷貝一份未損壞的該對(duì)象的數(shù)據(jù)或者該區(qū)域的數(shù)據(jù)替代損壞的數(shù)據(jù)，生成一個(gè)新的副本。
10.根據(jù)權(quán)利要求6所述的對(duì)象存儲(chǔ)裝置，其特征在于:當(dāng)待存儲(chǔ)入存儲(chǔ)服務(wù)器(3)中的對(duì)象的非結(jié)構(gòu)化數(shù)據(jù)激增時(shí)，代理節(jié)點(diǎn)(2)和存儲(chǔ)服務(wù)器(3)進(jìn)行存儲(chǔ)擴(kuò)容。
【文檔編號(hào)】G06F17/30GK104050102SQ201410293586
【公開(kāi)日】2014年9月17日 申請(qǐng)日期:2014年6月26日 優(yōu)先權(quán)日:2014年6月26日
【發(fā)明者】郭寧 申請(qǐng)人:北京思特奇信息技術(shù)股份有限公司