一種用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其涉及一種用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)。
【背景技術(shù)】
[0002]隨著云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等技術(shù)的發(fā)展，人類(lèi)社會(huì)各個(gè)領(lǐng)域產(chǎn)生的數(shù)據(jù)量都急劇增長(zhǎng)，這些大數(shù)據(jù)已經(jīng)成為一種重要的資源，并形成了以數(shù)據(jù)為中心，以存儲(chǔ)為中心的發(fā)展趨勢(shì)，因此，如何存儲(chǔ)這些大數(shù)據(jù)變得非常重要。
[0003]傳統(tǒng)存儲(chǔ)采用集中式架構(gòu)進(jìn)行數(shù)據(jù)存儲(chǔ)，所有數(shù)據(jù)均由磁盤(pán)陣列Raid技術(shù)保證數(shù)據(jù)的安全性，并集中存儲(chǔ)在專(zhuān)用的存儲(chǔ)設(shè)備上，所有的生產(chǎn)數(shù)據(jù)均通過(guò)網(wǎng)絡(luò)或?qū)Ｓ么鎯?chǔ)網(wǎng)絡(luò)進(jìn)行傳輸。但這種集中式架構(gòu)存在擴(kuò)容困難、成本高、安全性低、兼容性差的缺點(diǎn)。

【發(fā)明內(nèi)容】

[0004]針對(duì)上述技術(shù)問(wèn)題，本發(fā)明的目的在于提供一種用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)，能有效解決上述問(wèn)題。
[0005]為達(dá)此目的，本發(fā)明采用以下技術(shù)方案:
一種用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)，包括:若干臺(tái)應(yīng)用服務(wù)器組成的應(yīng)用服務(wù)器集群、若干臺(tái)存儲(chǔ)服務(wù)器組成的存儲(chǔ)服務(wù)器集群和若干臺(tái)元數(shù)據(jù)服務(wù)器組成的元數(shù)據(jù)服務(wù)器集群，所述應(yīng)用服務(wù)器、存儲(chǔ)服務(wù)器和元數(shù)據(jù)服務(wù)器通過(guò)通訊網(wǎng)絡(luò)互連進(jìn)行數(shù)據(jù)交換;所述應(yīng)用服務(wù)器集群用于產(chǎn)生和接收生產(chǎn)數(shù)據(jù)，所述存儲(chǔ)服務(wù)器集群用于提供存儲(chǔ)空間，所述元數(shù)據(jù)服務(wù)器集群用于管理存儲(chǔ)空間。
[0006]特別地，所述存儲(chǔ)服務(wù)器、元數(shù)據(jù)服務(wù)器均采用X86架構(gòu)服務(wù)器，同時(shí)支持文件和塊協(xié)議。
[0007]特別地，所述存儲(chǔ)在各個(gè)應(yīng)用服務(wù)器、存儲(chǔ)服務(wù)器和元數(shù)據(jù)服務(wù)器的數(shù)據(jù)均采用副本機(jī)制進(jìn)行數(shù)據(jù)保護(hù)，且各副本數(shù)據(jù)均存儲(chǔ)在與母本數(shù)據(jù)不同的節(jié)點(diǎn)上。
[0008]特別地，所述應(yīng)用服務(wù)器、存儲(chǔ)服務(wù)器和元數(shù)據(jù)服務(wù)器通過(guò)全線速I(mǎi)nfiniband網(wǎng)絡(luò)進(jìn)行互連。
[0009]本發(fā)明提出的用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)采用分布式架構(gòu)，存儲(chǔ)服務(wù)器同時(shí)支持文件和塊協(xié)議，所有存儲(chǔ)服務(wù)器同時(shí)進(jìn)行數(shù)據(jù)存儲(chǔ)，存儲(chǔ)在存儲(chǔ)服務(wù)器上的數(shù)據(jù)均采用副本機(jī)制進(jìn)行數(shù)據(jù)保護(hù)，且各副本數(shù)據(jù)均存儲(chǔ)在與母本數(shù)據(jù)不同的存儲(chǔ)服務(wù)器，所有數(shù)據(jù)采用前端數(shù)據(jù)切片、后端分布的方式進(jìn)行存儲(chǔ)。從而使該存儲(chǔ)系統(tǒng)具有擴(kuò)容簡(jiǎn)單、成本第、安全性高、兼容性好的優(yōu)點(diǎn)。
【附圖說(shuō)明】
[0010]
圖1是本發(fā)明實(shí)施例提供的用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0011]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明?？梢岳斫獾氖?，此處所描述的具體實(shí)施例僅僅用于解釋本發(fā)明，而非對(duì)本發(fā)明的限定。另外還需要說(shuō)明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部?jī)?nèi)容，除非另有定義，本文所使用的所有的技術(shù)和科學(xué)術(shù)語(yǔ)與屬于本發(fā)明的技術(shù)領(lǐng)域的技術(shù)人員通常理解的含義相同。本文中在本發(fā)明的說(shuō)明書(shū)中所使用的術(shù)語(yǔ)只是為了描述具體的實(shí)施例的目的，不是旨在于限制本發(fā)明。本文所使用的術(shù)語(yǔ)“及/或”包括一個(gè)或多個(gè)相關(guān)的所列項(xiàng)目的任意的和所有的組合。
[0012]實(shí)施例一
請(qǐng)參照?qǐng)D1所示，圖1為本發(fā)明實(shí)施例提供的用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)結(jié)構(gòu)框圖。
[0013]本實(shí)施例中，用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)包括若干臺(tái)應(yīng)用服務(wù)器組成的應(yīng)用服務(wù)器集群、若干臺(tái)存儲(chǔ)服務(wù)器組成的存儲(chǔ)服務(wù)器集群和若干臺(tái)元數(shù)據(jù)服務(wù)器組成的元數(shù)據(jù)服務(wù)器集群。所述應(yīng)用服務(wù)器集群用于產(chǎn)生和接收生產(chǎn)數(shù)據(jù)，所述存儲(chǔ)服務(wù)器集群用于提供存儲(chǔ)空間，所述元數(shù)據(jù)服務(wù)器集群用于管理存儲(chǔ)空間。所述存儲(chǔ)服務(wù)器采用x86架構(gòu)服務(wù)器，具體為SATA或SAS或SSD等硬盤(pán);所述元數(shù)據(jù)服務(wù)器采用x86架構(gòu)服務(wù)器，具體為SSD;所述應(yīng)用服務(wù)器采用支持所有架構(gòu)服務(wù)器設(shè)備。所述應(yīng)用服務(wù)器、存儲(chǔ)服務(wù)器和元數(shù)據(jù)服務(wù)器通過(guò)Inf iniband互連，進(jìn)行數(shù)據(jù)交換。
[0014]所述存儲(chǔ)系統(tǒng)的數(shù)據(jù)存儲(chǔ)過(guò)程包括寫(xiě)入和讀出過(guò)程，具體為:
寫(xiě)入過(guò)程:
1、由應(yīng)用服務(wù)器集群產(chǎn)生生產(chǎn)數(shù)據(jù)。
[0015]2、應(yīng)用服務(wù)器向元數(shù)據(jù)服務(wù)器申請(qǐng)寫(xiě)入請(qǐng)求，請(qǐng)求內(nèi)容包括需要寫(xiě)入的數(shù)據(jù)文件的大小。
[0016]3、元數(shù)據(jù)服務(wù)器查詢(xún)整個(gè)存儲(chǔ)系統(tǒng)的地址空間，找出可以分配的地址塊，并將準(zhǔn)備分配的地址塊信息返回到應(yīng)用服務(wù)器。
[0017]4、應(yīng)用服務(wù)器根據(jù)返回的地址塊信息，將文件分片，并傳輸?shù)礁鞔鎯?chǔ)節(jié)點(diǎn)，寫(xiě)入成功后，各節(jié)點(diǎn)返回寫(xiě)入成功信號(hào)到元數(shù)據(jù)服務(wù)器，元數(shù)據(jù)服務(wù)器將地址塊空間標(biāo)識(shí)為“已田，，
/TJ O
[0018]5、完成數(shù)據(jù)的寫(xiě)入。
[0019]讀出過(guò)程:
1、應(yīng)用服務(wù)器發(fā)出讀取請(qǐng)求到元數(shù)據(jù)服務(wù)器，請(qǐng)求包括讀取的文件路徑信息。
[0020]2、元數(shù)據(jù)服務(wù)器根據(jù)文件路徑信息查詢(xún)相關(guān)的存儲(chǔ)服務(wù)器的地址塊信息，并將信息返回到應(yīng)用服務(wù)器。
[0021 ] 3、應(yīng)用服務(wù)器根據(jù)各存儲(chǔ)服務(wù)器的地址塊信息，向各存儲(chǔ)節(jié)點(diǎn)發(fā)出數(shù)據(jù)塊讀取信息。
[0022]4、存儲(chǔ)節(jié)點(diǎn)根據(jù)數(shù)據(jù)塊信息將相應(yīng)的應(yīng)用數(shù)據(jù)塊返回到應(yīng)用服務(wù)器。
[0023]本實(shí)施例所述用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)中，采用帶外模式的大規(guī)模開(kāi)放集群存儲(chǔ)架構(gòu)，通過(guò)Inf iniband高速網(wǎng)絡(luò)將通用存儲(chǔ)服務(wù)器中的CPU、內(nèi)存、網(wǎng)絡(luò)帶寬、磁盤(pán)轉(zhuǎn)速、總線性能整合在一起，形成一個(gè)高端存儲(chǔ)器，使得存儲(chǔ)總體性能高于計(jì)算處理能力與網(wǎng)絡(luò)帶寬的傳輸速度，以此來(lái)屏蔽由于磁盤(pán)和總線性能提升緩慢造成的存儲(chǔ)性能瓶頸。以全線速I(mǎi)nf iniband網(wǎng)絡(luò)互連前端的計(jì)算節(jié)點(diǎn)和后端的存儲(chǔ)及元數(shù)據(jù)節(jié)點(diǎn)，以保證存儲(chǔ)設(shè)備的性能輸出達(dá)到最大化。采用帶外模式，很好的消除了元數(shù)據(jù)通路與數(shù)據(jù)通路的相互干擾。而元數(shù)據(jù)服務(wù)器的集群化和存儲(chǔ)服務(wù)器的集群化，使得整個(gè)系統(tǒng)中不存在像NAS或者SAN系統(tǒng)那樣的性能瓶頸點(diǎn)，能夠完全滿(mǎn)足高性能計(jì)算應(yīng)用高并發(fā)的需求。
[0024]同時(shí)，本實(shí)施例所述用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)在無(wú)限制在線快速擴(kuò)容以及負(fù)載均衡技術(shù)的基礎(chǔ)上采用高可擴(kuò)展存儲(chǔ)技術(shù)，使得存儲(chǔ)系統(tǒng)的規(guī)模能夠隨著計(jì)算應(yīng)用的發(fā)展而高效、無(wú)需中斷服務(wù)的在線擴(kuò)展，同時(shí)達(dá)到隨著容量的增加性能的線性增長(zhǎng)。
[0025]同時(shí)，本實(shí)施例所述用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)在分布式存儲(chǔ)中多元數(shù)據(jù)服務(wù)器集群技術(shù)的基礎(chǔ)上，結(jié)合高性能計(jì)算應(yīng)用文件創(chuàng)建、訪問(wèn)以及目錄結(jié)構(gòu)特點(diǎn)，采用多元數(shù)據(jù)服務(wù)器集群技術(shù)，在一套存儲(chǔ)系統(tǒng)中可以根據(jù)用戶(hù)生產(chǎn)系統(tǒng)中實(shí)際產(chǎn)生文件數(shù)量的規(guī)模對(duì)元數(shù)據(jù)服務(wù)器集群進(jìn)行動(dòng)態(tài)配置，整個(gè)存儲(chǔ)系統(tǒng)中所有的元數(shù)據(jù)服務(wù)器同時(shí)參與文件的檢索和定位工作，消除存儲(chǔ)系統(tǒng)中元數(shù)據(jù)通道的瓶頸，同時(shí)還可