專利名稱：一種異構(gòu)對象并行存儲系統(tǒng)構(gòu)造方法
技術(shù)領(lǐng)域：
本發(fā)明涉及并行存儲系統(tǒng)的構(gòu)造方法，尤其是異構(gòu)對象并行存儲系統(tǒng)的構(gòu)造方法。
背景技術(shù)：
并行存儲系統(tǒng)是大規(guī)模并行計(jì)算機(jī)系統(tǒng)中的重要組成部分，對象存儲系統(tǒng)是一種并行存儲結(jié)構(gòu)。對象存儲系統(tǒng)由一個元數(shù)據(jù)服務(wù)器(簡稱MDS)、多個對象存儲服務(wù)器(簡稱0ST)和多個客戶結(jié)點(diǎn)(簡稱CN)通過網(wǎng)絡(luò)互連構(gòu)成。元數(shù)據(jù)服務(wù)器和多個對象存儲服務(wù)器為客戶結(jié)點(diǎn)提供數(shù)據(jù)讀寫、數(shù)據(jù)存儲等文件訪問服務(wù)。元數(shù)據(jù)服務(wù)器為客戶結(jié)點(diǎn)提供元數(shù)據(jù)服務(wù)，是對象存儲系統(tǒng)所特有的。元數(shù)據(jù)描述每個文件的所有者、創(chuàng)建時間、修改時間、文件大小以及文件在對象存儲系統(tǒng)上的分布等信息。對象存儲服務(wù)器負(fù)責(zé)保存文件的具體數(shù)據(jù)，并在元數(shù)據(jù)服務(wù)器的管理下向客戶結(jié)點(diǎn)提供文件訪問服務(wù)。客戶結(jié)點(diǎn)的文件訪問請求首先提交給元數(shù)據(jù)服務(wù)器，獲取文件分布信息，然后根據(jù)分布信息向相關(guān)的對象存儲服務(wù)器提交訪問請求，完成數(shù)據(jù)讀寫過程。對象存儲系統(tǒng)充分利用高帶寬網(wǎng)絡(luò)以及存儲訪問的并發(fā)性，為并行應(yīng)用提供較高的數(shù)據(jù)訪問帶寬，已廣泛應(yīng)用于世界超級計(jì)算機(jī)排名前十的計(jì)算機(jī)系統(tǒng)中。當(dāng)前OST常用的存儲技術(shù)包括SAN存儲網(wǎng)絡(luò)、光纖卡直連的外置專用存儲盤陣、基于SATA盤構(gòu)成的內(nèi)置RAID陣列。其中SAN存儲網(wǎng)絡(luò)成本高昂，帶寬可擴(kuò)展性受限，在高性能計(jì)算領(lǐng)域很少使用。專業(yè)存儲盤陣為外置設(shè)備，通過光纖卡接入0ST，其可靠性高，但單位存儲容量的成本遠(yuǎn)高于SATA盤陣?；赟ATA盤構(gòu)成的RAID陣列繼承了 SATA盤的低價和高性能，性價比為三者中最高，而且一般內(nèi)置于OST中，空間占用成本低。盡管SATA盤構(gòu)成的內(nèi)置存儲陣列通過RAID卡具備一定的糾錯能力，但其可靠性仍低于專業(yè)存儲盤陣。國內(nèi)著名的“天河一號”超級計(jì)算機(jī)的并處存儲系統(tǒng)采用了內(nèi)置SATA盤陣的方案，在低成本的情況下獲得了很高性能的存儲帶寬。目前常見的對象并行存儲系統(tǒng)的OST —般為同構(gòu)服務(wù)器，同構(gòu)服務(wù)器是指OST的物理結(jié)構(gòu)相同，采用相同的存儲技術(shù)。現(xiàn)有的異構(gòu)對象并行存儲系統(tǒng)一般是采用兩套獨(dú)立的同構(gòu)并行存儲子系統(tǒng)，一套是采用外置專業(yè)存儲盤陣的小容量系統(tǒng)，一套是采用內(nèi)置 SATA盤陣的大容量系統(tǒng)，兩套系統(tǒng)采用不同的分區(qū)。該方法對用戶不透明，用戶面對兩個不同的分區(qū)，在創(chuàng)建目錄時需手工指定將數(shù)據(jù)存放于那個分區(qū)。此外該方法要求同一用戶目錄下的數(shù)據(jù)只能屬于一個分區(qū)，不能滿足同一目錄下的用戶源代碼文件要求高可靠存儲， 而并行應(yīng)用訪問的數(shù)據(jù)文件需要高帶寬存儲的異構(gòu)需求。并行存儲系統(tǒng)是高性能計(jì)算系統(tǒng)的重要成本組成之一，其性能直接制約了全系統(tǒng)的綜合性能指標(biāo)。高可靠和高性價比的并行存儲系統(tǒng)的構(gòu)造方法是本領(lǐng)域技術(shù)人員極為關(guān)注的技術(shù)問題
發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題在于針對外置專業(yè)存儲盤陣的高可靠但成本高、內(nèi)置 SATA盤陣的性價比高但可靠性略低的現(xiàn)狀，設(shè)計(jì)高可靠和高性價比兼得的并行存儲陣列。為了解決上述技術(shù)問題，本發(fā)明的技術(shù)方案為構(gòu)建異構(gòu)并行存儲系統(tǒng)，少數(shù)OST 采用外置專業(yè)存儲盤陣，多數(shù)OST采用內(nèi)置SATA盤陣，在I/O訪問時無需用戶干預(yù)自動區(qū)分訪問類型，將關(guān)鍵系統(tǒng)和用戶文件存儲在采用外置專業(yè)存儲盤陣的OST上，將需要并行高帶寬訪問的文件存儲在采用內(nèi)置SATA盤陣的OST上。具體技術(shù)方案為第一步，構(gòu)建異構(gòu)對象并行存儲系統(tǒng)。異構(gòu)對象并行存儲系統(tǒng)的基本結(jié)構(gòu)與傳統(tǒng)的同構(gòu)對象并行存儲系統(tǒng)相似，由一個元數(shù)據(jù)服務(wù)器MDS、m+n個對象存儲服務(wù)器OST和多個客戶結(jié)點(diǎn)CN通過網(wǎng)絡(luò)互連構(gòu)成，m、η為正整數(shù)，主要區(qū)別是m個OST為00ST，n個OST為 IOST。OOST指采用外置專業(yè)存儲盤陣的OST，IOST指采用內(nèi)置SATA盤陣的OST。OOST的數(shù)量m取值范圍一般為2到4個，也可根據(jù)具體需求進(jìn)行增加。IOST的數(shù)量η的取值范圍一般為大于4的正整數(shù)。異構(gòu)對象存儲并行存儲系統(tǒng)對客戶結(jié)點(diǎn)提供單一分區(qū)訪問，在I/O 訪問時無需用戶干預(yù)自動區(qū)分訪問類型，將需要高可靠存儲服務(wù)的文件存儲到OOST上，將需要高并行訪問帶寬服務(wù)的文件存儲在IOST上。第二步，配置客戶結(jié)點(diǎn)的訪問參數(shù)，生成配置文件client, conf。高性能計(jì)算系統(tǒng)的客戶結(jié)點(diǎn)主要分為兩類，服務(wù)結(jié)點(diǎn)和計(jì)算結(jié)點(diǎn)。服務(wù)結(jié)點(diǎn)個數(shù)很少，為終端用戶提供登錄、代碼編輯、程序編譯、作業(yè)提交等服務(wù)。計(jì)算結(jié)點(diǎn)數(shù)量眾多，為作業(yè)提供計(jì)算服務(wù)。服務(wù)結(jié)點(diǎn)上的目錄和文件訪問主要由用戶手工提交，要求的存儲訪問帶寬低，但要求文件的可靠性很高。而計(jì)算結(jié)點(diǎn)由于數(shù)量眾多，且其目錄和文件訪問由高性能并行應(yīng)用程序產(chǎn)生，運(yùn)行過程會實(shí)時產(chǎn)生巨量的數(shù)據(jù)文件，要求的存儲帶寬很高，但文件的可靠性要求低。高性能計(jì)算系統(tǒng)中需要高可靠存儲服務(wù)的數(shù)據(jù)主要為系統(tǒng)文件和用戶代碼文件，這些文件主要在服務(wù)結(jié)點(diǎn)上創(chuàng)建，需要高性能存儲服務(wù)的數(shù)據(jù)主要為高性能應(yīng)用數(shù)據(jù)文件，這些數(shù)據(jù)文件主要在計(jì)算結(jié)點(diǎn)上創(chuàng)建。client, conf是由存儲系統(tǒng)管理員創(chuàng)建的文本文件，存儲在MDS 的根目錄下，文件內(nèi)容為格式為clientname = OOST的配置選項(xiàng)，其中clientname為客戶結(jié)點(diǎn)的名稱。缺省情況下客戶結(jié)點(diǎn)所創(chuàng)建的文件存儲在IOST上，僅當(dāng)客戶結(jié)點(diǎn)在client, conf文件中存在配置選項(xiàng)clientname = OOST時，表示該客戶結(jié)點(diǎn)所創(chuàng)建的文件將存儲在 OOST上。存儲系統(tǒng)管理員通過普通文本文件編輯工具編輯client, conf以配置服務(wù)結(jié)點(diǎn)上創(chuàng)建的文件存儲在采用外置專業(yè)存儲盤陣的OOST上，計(jì)算結(jié)點(diǎn)上創(chuàng)建的文件存儲在采用內(nèi)置SATA盤陣的IOST上。根據(jù)作業(yè)需要也可以配置不同計(jì)算分區(qū)的計(jì)算結(jié)點(diǎn)創(chuàng)建的文件存儲在不同類型的OST上，例如配置主要運(yùn)行長時小規(guī)模作業(yè)的計(jì)算分區(qū)所創(chuàng)建的文件存儲在高可靠的采用外置專業(yè)盤陣的OOST上。第三步，客戶結(jié)點(diǎn)提交文件創(chuàng)建請求，MDS根據(jù)配置文件client, conf決定該文件存儲在00ST或者IOST上。僅當(dāng)客戶結(jié)點(diǎn)在client, conf文件中存在配置選項(xiàng)clientname =00ST時，該客戶結(jié)點(diǎn)所創(chuàng)建的文件存儲在00ST上，其它客戶結(jié)點(diǎn)所創(chuàng)建的文件存儲在 IOST 上。以上為異構(gòu)對象并行存儲系統(tǒng)的構(gòu)造過程。此后客戶結(jié)點(diǎn)可提交文件讀寫和刪除操作請求，異構(gòu)并行存儲系統(tǒng)對這些操作的處理過程與同構(gòu)的對象存儲系統(tǒng)完全相同。存儲在采用外置專業(yè)存儲盤陣的00ST上的文件獲得高可靠的數(shù)據(jù)存儲服務(wù)，存儲在采用內(nèi)
4置SATA盤陣的IOST上的文件獲得高性能的數(shù)據(jù)存儲服務(wù)。與現(xiàn)有技術(shù)相比，采用本發(fā)明可達(dá)到以下技術(shù)效果1.本發(fā)明第一步支持構(gòu)造異構(gòu)對象并行存儲系統(tǒng)，少數(shù)OST采用外置專業(yè)存儲盤陣，多數(shù)OST采用內(nèi)置SATA盤陣；2.本發(fā)明第一步支持構(gòu)造低成本的對象并行存儲系統(tǒng)，存儲系統(tǒng)中占據(jù)主要成本的OST絕對多數(shù)由內(nèi)置低價SATA盤陣的OST構(gòu)成，存儲系統(tǒng)綜合成本低于完全采用SAN存儲網(wǎng)絡(luò)或者外置專業(yè)存儲陣列的構(gòu)成的存儲系統(tǒng)；3.采用本發(fā)明構(gòu)造的異構(gòu)對象并行存儲系統(tǒng)能夠同時提供高可靠存儲服務(wù)和高性能存儲服務(wù)，滿足不同數(shù)據(jù)存儲的要求。少量采用外置專業(yè)存儲盤陣的OOST對客戶結(jié)點(diǎn)提供高可靠存儲服務(wù)，大量采用內(nèi)置SATA盤陣的IOST對客戶結(jié)點(diǎn)提供高性能存儲服務(wù)；4.本發(fā)明對應(yīng)用透明，為應(yīng)用提供單一分區(qū)訪問。文件的存儲位置主要由配置文件ost. conf決定，無需應(yīng)用干預(yù)。高性能計(jì)算系統(tǒng)中需要高可靠存儲服務(wù)的數(shù)據(jù)主要為系統(tǒng)文件和用戶代碼文件，這些文件主要在服務(wù)結(jié)點(diǎn)上創(chuàng)建，將自動存儲在采用外置專業(yè)存儲盤陣的OST上。高性能計(jì)算系統(tǒng)中需要高性能存儲服務(wù)的數(shù)據(jù)主要為高性能應(yīng)用數(shù)據(jù)文件，這些文件主要在計(jì)算結(jié)點(diǎn)上創(chuàng)建，將自動存儲在內(nèi)置SATA盤陣的OST上。


圖1是異構(gòu)對象并行存儲系統(tǒng)的結(jié)構(gòu)圖。圖2為本發(fā)明總體流程圖。
具體實(shí)施例方式圖1是異構(gòu)對象并行存儲系統(tǒng)的結(jié)構(gòu)圖。異構(gòu)對象存儲系統(tǒng)由一個元數(shù)據(jù)服務(wù)器MDS、m個采用外置專業(yè)存儲盤陣的00ST、 η個采用內(nèi)置SATA盤陣的IOST和多個客戶結(jié)點(diǎn)CN通過互連通信網(wǎng)絡(luò)互連構(gòu)成。OOST的數(shù)量m取值范圍一般為2到4個，也可根據(jù)具體需求進(jìn)行增加。IOST的數(shù)量η的取值范圍一般為大于4的正整數(shù)。MDS、IOST和OOST為客戶結(jié)點(diǎn)提供數(shù)據(jù)讀寫、數(shù)據(jù)存儲等文件訪問服務(wù)。圖2為本發(fā)明總體流程圖第一步，構(gòu)建異構(gòu)對象并行存儲系統(tǒng)。異構(gòu)對象并行存儲系統(tǒng)由一個元數(shù)據(jù)服務(wù)器、多個對象存儲服務(wù)器和多個客戶結(jié)點(diǎn)通過網(wǎng)絡(luò)互連構(gòu)成，其中m個OST采用外置專業(yè)存儲盤陣(簡稱00ST)，η個OST采用高性價比的內(nèi)置SATA盤陣(簡稱I0ST)。異構(gòu)對象存儲并行存儲系統(tǒng)對客戶結(jié)點(diǎn)提供單一分區(qū)訪問，在I/O訪問時無需用戶干預(yù)自動區(qū)分訪問類型，將需要高可靠存儲服務(wù)的文件存儲到OOST上，將需要高并行訪問帶寬服務(wù)的文件存儲在IOST上。第二步，配置客戶結(jié)點(diǎn)的訪問參數(shù)，生成配置文件client, conf。client, conf是由存儲系統(tǒng)管理員創(chuàng)建的文本文件，存儲在MDS的根目錄下，文件內(nèi)容為格式為 clientname = OOST的配置選項(xiàng)，其中clientname為特定客戶結(jié)點(diǎn)的名稱。缺省情況下客戶結(jié)點(diǎn)所創(chuàng)建的文件存儲在IOST上，僅當(dāng)客戶結(jié)點(diǎn)在client, conf文件中存在配置選項(xiàng) clientname = OOST時，表示該客戶結(jié)點(diǎn)所創(chuàng)建的文件將存儲在OOST上。存儲系統(tǒng)管理員通過普通文本文件編輯工具編輯client, conf以配置服務(wù)結(jié)點(diǎn)上創(chuàng)建的文件存儲在采用外置專業(yè)存儲盤陣的OOST上，計(jì)算結(jié)點(diǎn)上創(chuàng)建的文件存儲在采用內(nèi)置SATA盤陣的IOST 上。根據(jù)作業(yè)需要也可以配置不同計(jì)算分區(qū)的計(jì)算結(jié)點(diǎn)創(chuàng)建的文件存儲在不同類型的OST 上，例如配置主要運(yùn)行長時小規(guī)模作業(yè)的計(jì)算分區(qū)所創(chuàng)建的文件存儲在高可靠的采用外置專業(yè)盤陣的OOST上。 第三步，客戶結(jié)點(diǎn)提交文件創(chuàng)建請求，MDS根據(jù)配置文件client, conf決定該文件存儲在OOST或者IOST上。僅當(dāng)客戶結(jié)點(diǎn)在client, conf文件中存在配置選項(xiàng)clientname =OOST時，該客戶結(jié)點(diǎn)所創(chuàng)建的文件存儲在OOST上，其它客戶結(jié)點(diǎn)所創(chuàng)建的文件存儲在 IOST 上。
權(quán)利要求
1.一種異構(gòu)對象并行存儲系統(tǒng)構(gòu)造方法，其特征在于包括以下步驟第一步，構(gòu)建異構(gòu)對象并行存儲系統(tǒng)，異構(gòu)對象并行存儲系統(tǒng)由一個元數(shù)據(jù)服務(wù)器 MDS、m+n個對象存儲服務(wù)器OST和多個客戶結(jié)點(diǎn)CN通過網(wǎng)絡(luò)互連構(gòu)成，m個OST為00ST，n 個OST為I0ST，m、n為正整數(shù)；OOST指采用外置專業(yè)存儲盤陣的OST，IOST指采用內(nèi)置SATA 盤陣的OST ；第二步，配置客戶結(jié)點(diǎn)的訪問參數(shù)，生成配置文件client, conf ；client, conf是由存儲系統(tǒng)管理員創(chuàng)建的文本文件，存儲在MDS的根目錄下，文件內(nèi)容為格式為clientname = OOST的配置選項(xiàng)，其中clientname為客戶結(jié)點(diǎn)的名稱；采用普通文本文件編輯工具編輯 client, conf，在需要高可靠存儲服務(wù)的客戶結(jié)點(diǎn)的配置文件中增加配置選項(xiàng)clientname =OOST ；第三步，客戶結(jié)點(diǎn)提交文件創(chuàng)建請求，MDS根據(jù)配置文件client, conf決定該文件存儲在OOST或者IOST上；僅當(dāng)客戶結(jié)點(diǎn)在client, conf文件中存在配置選項(xiàng)clientname = 00ST時，該客戶結(jié)點(diǎn)所創(chuàng)建的文件存儲在00ST上，其它客戶結(jié)點(diǎn)所創(chuàng)建的文件存儲在IOST 上；異構(gòu)對象存儲并行存儲系統(tǒng)對客戶結(jié)點(diǎn)提供單一分區(qū)訪問，將需要高可靠存儲服務(wù)的文件存儲到00ST上，將需要高并行訪問帶寬服務(wù)的文件存儲在IOST上。
2.如權(quán)利要求1所述的異構(gòu)對象并行存儲系統(tǒng)構(gòu)造方法，其特征在于00ST的數(shù)量m取值范圍為2到4個，IOST的數(shù)量η為大于4的正整數(shù)。
3.如權(quán)利要求1所述的異構(gòu)對象并行存儲系統(tǒng)構(gòu)造方法，其特征在于生成配置文件client, conf時，缺省情況下客戶結(jié)點(diǎn)所創(chuàng)建的文件存儲在IOST上，僅當(dāng)客戶結(jié)點(diǎn)在 client, conf文件中存在配置選項(xiàng)clientname = OOST時，表示該客戶結(jié)點(diǎn)所創(chuàng)建的文件將存儲在00ST上。
4.如權(quán)利要求1所述的異構(gòu)對象并行存儲系統(tǒng)構(gòu)造方法，其特征在于生成配置文件 client, conf時，配置不同計(jì)算分區(qū)的計(jì)算結(jié)點(diǎn)創(chuàng)建的文件存儲在不同類型的OST上。
全文摘要
本發(fā)明公開了一種異構(gòu)對象并行存儲系統(tǒng)構(gòu)造方法，目的是解決外置專業(yè)存儲盤陣的高可靠但成本高、內(nèi)置SATA盤陣的性價比高但可靠性略低的問題。技術(shù)方案是先構(gòu)建由一個MDS、m+n個OST和多個CN組成的異構(gòu)對象并行存儲系統(tǒng)，m個OST為OOST，n個OST為IOST；接著設(shè)置客戶結(jié)點(diǎn)的訪問參數(shù)，生成配置文件client.conf；最后由客戶結(jié)點(diǎn)提交文件創(chuàng)建請求，MDS根據(jù)配置文件client.conf決定該文件存儲在OOST或者IOST上，將需要高可靠存儲服務(wù)的文件存儲到OOST上，將需要高并行訪問帶寬服務(wù)的文件存儲在IOST上；采用本發(fā)明構(gòu)造的異構(gòu)對象并行存儲系統(tǒng)能夠同時提供高可靠存儲服務(wù)和高性能存儲服務(wù)，滿足不同數(shù)據(jù)存儲的要求，且成本低于完全采用SAN存儲網(wǎng)絡(luò)或者外置專業(yè)存儲陣列的構(gòu)成的存儲系統(tǒng)。
文檔編號H04L29/08GK102325157SQ20111019794
公開日2012年1月18日 申請日期2011年7月15日 優(yōu)先權(quán)日2011年7月15日
發(fā)明者盧宇彤, 周恩強(qiáng), 宋振龍, 張磊, 李瓊, 肖婧, 董勇, 陳海濤 申請人:中國人民解放軍國防科學(xué)技術(shù)大學(xué)