專利名稱：一種海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)和管理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，尤其涉及一種海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)和管理方法。
背景技術(shù)：
隨著互聯(lián)網(wǎng)的高速普及，各種終端和桌面系統(tǒng)，比如智能手機(jī)、PAD、筆記本、桌面電腦等設(shè)備越來(lái)越多，造成系統(tǒng)數(shù)據(jù)生產(chǎn)越來(lái)越快，呈幾何級(jí)膨脹態(tài)勢(shì)，長(zhǎng)期下來(lái)，這些數(shù)據(jù)生產(chǎn)系統(tǒng)上積累的數(shù)據(jù)和文件越來(lái)越多，大量分散在終端和應(yīng)用系統(tǒng)中的各種報(bào)表、資料等文件會(huì)造成生產(chǎn)系統(tǒng)性能越來(lái)越慢，無(wú)法快速有效的查找數(shù)據(jù)，從而只有不斷通過(guò)增加服務(wù)器和存儲(chǔ)設(shè)備來(lái)增加系統(tǒng)性能，成本越來(lái)越高；同時(shí)數(shù)據(jù)的不斷增加，數(shù)據(jù)量過(guò)于龐大，備份越來(lái)越困難，系統(tǒng)在出現(xiàn)故障時(shí)能否恢復(fù)變得越來(lái)越渺茫；雖然有RAID熱備技術(shù)，但增加的設(shè)備特別是硬盤(pán)會(huì)給系統(tǒng)帶來(lái)更多的系統(tǒng)故障點(diǎn)，系統(tǒng)進(jìn)入越來(lái)越難維護(hù)的怪圈。目前許多企業(yè)提供了使用服務(wù)器進(jìn)行云存儲(chǔ)的解決方案，但是訪問(wèn)速度和存儲(chǔ)容量一直是存儲(chǔ)器存在的一對(duì)固有矛盾，使用傳統(tǒng)的NAS服務(wù)器進(jìn)行文件存儲(chǔ)，存在容量上的限制，需要企業(yè)不斷增加新設(shè)備以應(yīng)對(duì)新增加的數(shù)據(jù)存儲(chǔ)要求和不可預(yù)測(cè)的工作負(fù)載。這將會(huì)導(dǎo)致成本不斷上升，包括設(shè)備實(shí)施、空間占用、能源以及日常IT管理成本，對(duì)存儲(chǔ)的數(shù)據(jù)和文件，目前也沒(méi)有高效的查找需要數(shù)據(jù)的方法。因此，亟需一種低成本構(gòu)建且效率速度高的海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)和管理方法。

發(fā)明內(nèi)容
本發(fā)明的目的之一在于提供一種海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)。本發(fā)明的另一目的在于提供一種針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行管理的方法。為了實(shí)現(xiàn)本發(fā)明的第一個(gè)目的，本發(fā)明提供的技術(shù)方案為:提供一種海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)，包括:在線存儲(chǔ)池，由高速存儲(chǔ)陣列組成，實(shí)現(xiàn)各種終端或應(yīng)用系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)高速存儲(chǔ)和訪問(wèn)。近線歸檔池，由大容量存儲(chǔ)陣列組成，實(shí)現(xiàn)在線存儲(chǔ)池?cái)?shù)據(jù)的定期歸檔和備份。離線歸檔池，由大容量磁帶庫(kù)組成，實(shí)現(xiàn)近線歸檔池?cái)?shù)據(jù)的定期歸檔和備份。各類(lèi)終端或應(yīng)用系統(tǒng)，產(chǎn)生和實(shí)際使用非結(jié)構(gòu)化數(shù)據(jù)的設(shè)備。具體地，所述終端或應(yīng)用系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)通過(guò)本地?cái)?shù)據(jù)傳輸代理模塊實(shí)現(xiàn)數(shù)據(jù)監(jiān)控和傳輸。具體地，所述終端或應(yīng)用系統(tǒng)及各級(jí)存儲(chǔ)設(shè)備使用文件占位符代表非結(jié)構(gòu)化數(shù)據(jù)，實(shí)際使用時(shí)，依次從下級(jí)存儲(chǔ)或歸檔設(shè)備透明獲取實(shí)際文件數(shù)據(jù)。具體地，所述存儲(chǔ)系統(tǒng)對(duì)歸檔的數(shù)據(jù)進(jìn)行全文索引，提供高性能數(shù)據(jù)搜索。
本發(fā)明提供的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，包含多級(jí)存儲(chǔ)結(jié)構(gòu)，容量不斷增大，單位容量成本不斷下降，滿足實(shí)際應(yīng)用場(chǎng)景的情況下有效降低了整個(gè)系統(tǒng)的成本，實(shí)際存儲(chǔ)時(shí)，只在某一級(jí)存儲(chǔ)系統(tǒng)中保留實(shí)際存儲(chǔ)內(nèi)容，前面多級(jí)系統(tǒng)中增加對(duì)應(yīng)的文件占位符，有效實(shí)現(xiàn)透明訪問(wèn)，從而節(jié)約位于最前端的終端或應(yīng)用系統(tǒng)中寶貴的存儲(chǔ)空間，擴(kuò)展了實(shí)際可用的存儲(chǔ)空間。為了實(shí)現(xiàn)本發(fā)明的第二個(gè)目的，本發(fā)明提供的技術(shù)方案為:提供一種針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行管理的方法，其包括如下步驟:(I)終端或應(yīng)用系統(tǒng)安裝數(shù)據(jù)傳輸代理模塊，連接遠(yuǎn)程服務(wù)器；(2)本地文件通過(guò)數(shù)據(jù)代理傳輸模塊傳輸?shù)皆诰€存儲(chǔ)池進(jìn)行保存，本地終端或應(yīng)用系統(tǒng)使用文件占位符代替；(3)在線存儲(chǔ)池的數(shù)據(jù)根據(jù)數(shù)據(jù)周期定期歸檔到近線歸檔池，近線歸檔池定期歸檔到離線歸檔池；(4)數(shù)據(jù)傳輸代理模塊實(shí)時(shí)監(jiān)控文件占位符使用情況，實(shí)時(shí)傳回?cái)?shù)據(jù)，實(shí)現(xiàn)透明數(shù)據(jù)訪問(wèn)。本發(fā)明提供的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)吸引管理方法，定期將某級(jí)存儲(chǔ)系統(tǒng)中訪問(wèn)不頻繁的數(shù)據(jù)通過(guò)數(shù)據(jù)傳輸代理模塊備份到成本更低的下級(jí)存儲(chǔ)結(jié)構(gòu)，僅保留對(duì)應(yīng)的文件占位符，有效控制了成本，并保證了數(shù)據(jù)的安全。數(shù)據(jù)傳輸代理模塊實(shí)時(shí)監(jiān)控文件占位符，在需要訪問(wèn)數(shù)據(jù)時(shí)，實(shí)時(shí)傳回終端或應(yīng)用系統(tǒng)，實(shí)現(xiàn)透明訪問(wèn)，存儲(chǔ)系統(tǒng)中增加的全文索弓I，保證了在文件很多的情況下也能實(shí)現(xiàn)快速查找和訪問(wèn)?？偨Y(jié)上述情況，本發(fā)明提供的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)和管理方法，提供了統(tǒng)一的基于存儲(chǔ)池的空間管理功能，可以支持PB級(jí)存儲(chǔ)容量和支持?jǐn)?shù)千客戶端的并發(fā)訪問(wèn)，簡(jiǎn)化了各種不同類(lèi)型存儲(chǔ)設(shè)備的管理，節(jié)約了用于存儲(chǔ)系統(tǒng)的成本和資金支出。通過(guò)以下的描述并結(jié)合附圖，本發(fā)明將變得更加清晰，這些附圖用于解釋本發(fā)明的實(shí)施例。


圖1為本發(fā)明海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。圖2為本發(fā)明海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)管理方法的流程框圖。
具體實(shí)施例方式現(xiàn)在參考附圖描述本發(fā)明的實(shí)施例，附圖中類(lèi)似的元件標(biāo)號(hào)代表類(lèi)似的元件。如上所述，如圖1所示，本發(fā)明提供的一種海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)，包括:在線存儲(chǔ)池⑵，由高速存儲(chǔ)陣列組成，實(shí)現(xiàn)各種終端或應(yīng)用系統(tǒng)⑴的非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)高速存儲(chǔ)和訪問(wèn)。近線歸檔池(3)，由大容量存儲(chǔ)陣列組成，實(shí)現(xiàn)在線存儲(chǔ)池?cái)?shù)據(jù)(2)的定期歸檔和備份。離線歸檔池(4)，由大容量磁帶庫(kù)組成，實(shí)現(xiàn)近線歸檔池?cái)?shù)據(jù)(3)的定期歸檔和備份。各類(lèi)終端或應(yīng)用系統(tǒng)(I)，產(chǎn)生和實(shí)際使用非結(jié)構(gòu)化數(shù)據(jù)的設(shè)備。
具體工作時(shí)，人們通過(guò)各種終端或應(yīng)用系統(tǒng)(I)存儲(chǔ)和訪問(wèn)各種類(lèi)型文件及數(shù)據(jù)資源，即各類(lèi)應(yīng)用系統(tǒng)非結(jié)構(gòu)化數(shù)據(jù)，隨著時(shí)間的增長(zhǎng)，終端或應(yīng)用系統(tǒng)(I)上的非結(jié)構(gòu)化數(shù)據(jù)將會(huì)越來(lái)越多，通過(guò)安裝數(shù)據(jù)傳輸代理模塊，將終端中的數(shù)據(jù)存儲(chǔ)到性能較高的在線存儲(chǔ)池(2)中，實(shí)現(xiàn)數(shù)據(jù)的妥善和安全保存，并釋放本地存儲(chǔ)空間，在本地系統(tǒng)中僅保留小于4K字節(jié)的文件占位符。后續(xù)根據(jù)數(shù)據(jù)生命周期要求，可以定期的將在線存儲(chǔ)池(2)中不經(jīng)常訪問(wèn)的文件和數(shù)據(jù)歸檔到更加經(jīng)濟(jì)和成本較低的近線歸檔池(3)中，近線歸檔池(3)中的數(shù)據(jù)，也可以根據(jù)數(shù)據(jù)的生命周期要求，定期地把數(shù)據(jù)和文件歸檔到離線歸檔池(4)中進(jìn)行長(zhǎng)期保存。數(shù)據(jù)傳輸代理模塊實(shí)時(shí)監(jiān)控文件描述符的狀態(tài)和使用，當(dāng)有應(yīng)用系數(shù)要訪問(wèn)和修改實(shí)際文件和數(shù)據(jù)時(shí)，就實(shí)時(shí)地回傳相應(yīng)數(shù)據(jù)，實(shí)現(xiàn)應(yīng)用系統(tǒng)透明地訪問(wèn)和操作功能，而當(dāng)用戶需要?jiǎng)h除存儲(chǔ)的文件和數(shù)據(jù)時(shí)，刪除本地的文件占位符，并同步命令到下層存儲(chǔ)，查找到對(duì)應(yīng)的文件占位符或?qū)嶋H數(shù)據(jù)，實(shí)現(xiàn)透明管理。整個(gè)存儲(chǔ)系統(tǒng)對(duì)歸檔的數(shù)據(jù)設(shè)置全文索引，從而提供了對(duì)數(shù)據(jù)的高性能搜索。為了實(shí)現(xiàn)本發(fā)明的第二個(gè)目的，結(jié)合海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)，本發(fā)明提供一種針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)管理方法，如圖2所示，其包括如下步驟:S21終端或應(yīng)用系統(tǒng)安裝數(shù)據(jù)傳輸代理模塊，連接遠(yuǎn)程服務(wù)器；S22本地文件通過(guò)數(shù)據(jù)代理傳輸模塊傳輸?shù)皆诰€存儲(chǔ)池進(jìn)行保存，本地終端或應(yīng)用系統(tǒng)使用文件占位符代替；S23在線存儲(chǔ)池的數(shù)據(jù)根據(jù)數(shù)據(jù)周期定期歸檔到近線歸檔池，近線歸檔池定期歸檔到離線歸檔池；S24數(shù)據(jù)傳輸代理模塊實(shí)時(shí)監(jiān)控文件占位符使用情況，實(shí)時(shí)傳回?cái)?shù)據(jù)，實(shí)現(xiàn)透明數(shù)據(jù)訪問(wèn)。結(jié)合圖1和圖2，本發(fā)明提供的海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)和管理方法，提供了統(tǒng)一的基于存儲(chǔ)池的空間管理功能，可以支持PB級(jí)存儲(chǔ)容量和支持?jǐn)?shù)千客戶端的并發(fā)訪問(wèn)，簡(jiǎn)化了各種不同類(lèi)型存儲(chǔ)設(shè)備的管理，包含的多級(jí)存儲(chǔ)結(jié)構(gòu)，容量不斷增大，單位容量成本不斷下降，滿足實(shí)際應(yīng)用場(chǎng)景的情況下有效降低了整個(gè)系統(tǒng)的成本和支出，釋放出來(lái)的本地存儲(chǔ)空間，擴(kuò)展了實(shí)際可用的存儲(chǔ)空間，同時(shí)保證了數(shù)據(jù)的安全，方便了管理員的集中海量數(shù)據(jù)管理。以上結(jié)合最佳實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但本發(fā)明并不局限于以上揭示的實(shí)施例，而應(yīng)當(dāng)涵蓋各種根據(jù)本發(fā)明的本質(zhì)進(jìn)行的修改、等效組合。
權(quán)利要求
1.一種海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，所述系統(tǒng)包括: 在線存儲(chǔ)池，由高速存儲(chǔ)陣列組成，實(shí)現(xiàn)各種終端或應(yīng)用系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)高速存儲(chǔ)和訪問(wèn)。
近線歸檔池，由大容量存儲(chǔ)陣列組成，實(shí)現(xiàn)在線存儲(chǔ)池?cái)?shù)據(jù)的定期歸檔和備份。
離線歸檔池，由大容量磁帶庫(kù)組成，實(shí)現(xiàn)近線歸檔池?cái)?shù)據(jù)的定期歸檔和備份。
各類(lèi)終端或應(yīng)用系統(tǒng)，產(chǎn)生和實(shí)際使用非結(jié)構(gòu)化數(shù)據(jù)的設(shè)備。
2.按權(quán)利要求1所述的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，所述終端或應(yīng)用系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)通過(guò)本地?cái)?shù)據(jù)傳輸代理模塊實(shí)現(xiàn)數(shù)據(jù)監(jiān)控和傳輸。
3.按權(quán)利要求1所述的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，所述終端或應(yīng)用系統(tǒng)及各級(jí)存儲(chǔ)設(shè)備使用文件占位符代表非結(jié)構(gòu)化數(shù)據(jù)，實(shí)際使用時(shí)，依次從下級(jí)存儲(chǔ)或歸檔設(shè)備透明獲取實(shí)際文件數(shù)據(jù)。
4.按權(quán)利要求1或權(quán)利要求2所述的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，所述存儲(chǔ)系統(tǒng)對(duì)歸檔的數(shù)據(jù)進(jìn)行全文索引，提供高性能數(shù)據(jù)搜索。
5.一種針對(duì)權(quán)利要求1所述的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行管理的方法，其特征在于，包括如下步驟: (1)終端或應(yīng)用系統(tǒng)安裝數(shù)據(jù)傳輸代理模塊，連接遠(yuǎn)程服務(wù)器； (2)本地文件通過(guò)數(shù)據(jù)代理傳輸模塊傳輸?shù)皆诰€存儲(chǔ)池進(jìn)行保存，本地終端或應(yīng)用系統(tǒng)使用文件占位符代替； (3)在線存儲(chǔ)池的數(shù)據(jù)根據(jù)數(shù)據(jù)周期定期歸檔到近線歸檔池，近線歸檔池定期歸檔到離線歸檔池； (4)數(shù)據(jù)傳輸代理模塊實(shí)時(shí)監(jiān)控文件占位符使用情況，實(shí)時(shí)傳回?cái)?shù)據(jù)，實(shí)現(xiàn)透明數(shù)據(jù)訪問(wèn)。
全文摘要
本發(fā)明公開(kāi)了一種海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，該系統(tǒng)包括在線存儲(chǔ)池，由高速存儲(chǔ)陣列組成，實(shí)現(xiàn)各種終端或應(yīng)用系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)高速存儲(chǔ)和訪問(wèn)。近線歸檔池，由大容量存儲(chǔ)陣列組成，實(shí)現(xiàn)在線存儲(chǔ)池?cái)?shù)據(jù)的定期歸檔和備份。離線歸檔池，由大容量磁帶庫(kù)組成，實(shí)現(xiàn)近線歸檔池?cái)?shù)據(jù)的定期歸檔和備份。各類(lèi)終端或應(yīng)用系統(tǒng)，產(chǎn)生和實(shí)際使用非結(jié)構(gòu)化數(shù)據(jù)的設(shè)備。針對(duì)公開(kāi)的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，本發(fā)明還公開(kāi)了一種海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的管理方法。本發(fā)明公開(kāi)的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)及管理方法提供了統(tǒng)一的基于存儲(chǔ)池的空間管理功能，可以支持PB級(jí)存儲(chǔ)容量和支持?jǐn)?shù)千客戶端的并發(fā)訪問(wèn)，不但簡(jiǎn)化了各種不同類(lèi)型存儲(chǔ)設(shè)備的管理，同時(shí)節(jié)約了存儲(chǔ)系統(tǒng)的成本和資金支出。
文檔編號(hào)G06F17/30GK103092952SQ20131001597
公開(kāi)日2013年5月8日 申請(qǐng)日期2013年1月15日 優(yōu)先權(quán)日2013年1月15日
發(fā)明者莫德壽 申請(qǐng)人:深圳市連用科技有限公司