本發(fā)明涉及異構(gòu)存儲(chǔ)的集群系統(tǒng)中對(duì)I/O性能較為敏感場(chǎng)景下的I/O服務(wù)質(zhì)量維護(hù)技術(shù)領(lǐng)域，具體涉及一種用于異構(gòu)存儲(chǔ)集群系統(tǒng)的I/O服務(wù)質(zhì)量維護(hù)方法。

背景技術(shù)：
存儲(chǔ)系統(tǒng)是并行計(jì)算機(jī)系統(tǒng)中的重要組成部分。伴隨著并行計(jì)算機(jī)系統(tǒng)規(guī)模以及應(yīng)用處理數(shù)據(jù)規(guī)模的不斷擴(kuò)大，存儲(chǔ)系統(tǒng)的性能成為了影響和制約系統(tǒng)實(shí)際應(yīng)用效能的重要因素。為保證海量數(shù)據(jù)分析等I/O密集型應(yīng)用的執(zhí)行效率，集群系統(tǒng)中常常采用異構(gòu)存儲(chǔ)架構(gòu)，即將存儲(chǔ)系統(tǒng)劃分為快速存儲(chǔ)分區(qū)和慢速存儲(chǔ)分區(qū)，快速存儲(chǔ)分區(qū)部署固態(tài)存儲(chǔ)等高速存儲(chǔ)設(shè)備，慢速存儲(chǔ)分區(qū)部署普通磁盤(pán)或高可靠存儲(chǔ)設(shè)備。對(duì)于I/O性能比較敏感的應(yīng)用，采用快速存儲(chǔ)分區(qū)作為數(shù)據(jù)輸出的目標(biāo)以保證其I/O帶寬的需求得到滿(mǎn)足，而對(duì)于I/O性能不敏感的應(yīng)用，則使用慢速存儲(chǔ)分區(qū)作為數(shù)據(jù)存儲(chǔ)的目標(biāo)，從而避免其對(duì)I/O性能敏感應(yīng)用的執(zhí)行效率產(chǎn)生影響。通過(guò)上述方法，異構(gòu)存儲(chǔ)架構(gòu)實(shí)現(xiàn)了對(duì)不同類(lèi)型應(yīng)用的存儲(chǔ)服務(wù)隔離，從而為I/O密集型應(yīng)用提供了I/O過(guò)程的服務(wù)質(zhì)量保證。隨著I/O密集型應(yīng)用的不斷增多，集群系統(tǒng)快速存儲(chǔ)分區(qū)的存儲(chǔ)資源也出現(xiàn)了競(jìng)爭(zhēng)問(wèn)題。當(dāng)大量I/O密集型應(yīng)用使用快速存儲(chǔ)分區(qū)時(shí)，一方面I/O請(qǐng)求的增加加劇了存儲(chǔ)資源的訪問(wèn)沖突，導(dǎo)致作業(yè)I/O性能難以得到保障，另一方面由于快速存儲(chǔ)分區(qū)的磁盤(pán)空間相對(duì)有限，大量數(shù)據(jù)的快速生成導(dǎo)致可用空間的快速下降，快速存儲(chǔ)分區(qū)的可用性也會(huì)受到嚴(yán)重影響，這些都使得異構(gòu)存儲(chǔ)系統(tǒng)的I/O服務(wù)質(zhì)量無(wú)法得到保證。為了解決這些問(wèn)題，異構(gòu)存儲(chǔ)系統(tǒng)通常會(huì)構(gòu)造快速存儲(chǔ)分區(qū)和慢速存儲(chǔ)分區(qū)的數(shù)據(jù)同步機(jī)制，即數(shù)據(jù)在保存到快速存儲(chǔ)分區(qū)后，會(huì)在適當(dāng)時(shí)機(jī)在后臺(tái)將數(shù)據(jù)逐步同步到慢速存儲(chǔ)分區(qū)，在完全同步完成后清除快速存儲(chǔ)分區(qū)的數(shù)據(jù)，從而實(shí)現(xiàn)對(duì)快速存儲(chǔ)分區(qū)空間的有效釋放。此外，為緩解快速存儲(chǔ)分區(qū)局部存儲(chǔ)資源的熱點(diǎn)問(wèn)題，會(huì)在各I/O服務(wù)節(jié)點(diǎn)間構(gòu)造負(fù)載均衡機(jī)制，通過(guò)調(diào)度機(jī)制平衡各服務(wù)節(jié)點(diǎn)的I/O作業(yè)數(shù)，從而達(dá)到提高快速存儲(chǔ)分區(qū)資源利用率的目的。然而，上述方法雖然改善了存儲(chǔ)資源的使用情況，卻仍然無(wú)法從根本上解決I/O密集型應(yīng)用的I/O服務(wù)質(zhì)量問(wèn)題，無(wú)法保證關(guān)鍵作業(yè)的I/O可用帶寬，從而對(duì)存儲(chǔ)系統(tǒng)的服務(wù)質(zhì)量保證帶來(lái)影響。如圖1所示，異構(gòu)存儲(chǔ)集群系統(tǒng)通常由計(jì)算子系統(tǒng)、管理子系統(tǒng)、存儲(chǔ)子系統(tǒng)以及監(jiān)控診斷子系統(tǒng)等部分組成，各部分之間通過(guò)多套通訊網(wǎng)絡(luò)相互連接。存儲(chǔ)子系統(tǒng)中包含快速存儲(chǔ)分區(qū)和慢速存儲(chǔ)分區(qū)兩類(lèi)存儲(chǔ)分區(qū)。快速存儲(chǔ)分區(qū)通常采用高帶寬、低延遲的存儲(chǔ)設(shè)備，為I/O密集型應(yīng)用提供更高的I/O性能。慢速存儲(chǔ)分區(qū)則提供大容量高可靠的存儲(chǔ)設(shè)備，為作業(yè)的長(zhǎng)期數(shù)據(jù)安全可靠存儲(chǔ)提供支持。管理子系統(tǒng)包括管理節(jié)點(diǎn)和登錄節(jié)點(diǎn)，用戶(hù)加載作業(yè)時(shí)，通常通過(guò)登錄節(jié)點(diǎn)提交作業(yè)，并向管理節(jié)點(diǎn)發(fā)出作業(yè)資源需求，管理節(jié)點(diǎn)的作業(yè)和資源管理模塊根據(jù)用戶(hù)需求配置相應(yīng)的計(jì)算和存儲(chǔ)資源，從而將用戶(hù)作業(yè)加載到相應(yīng)的計(jì)算節(jié)點(diǎn)上開(kāi)始運(yùn)行。監(jiān)控診斷子系統(tǒng)則負(fù)責(zé)對(duì)系統(tǒng)的整體情況進(jìn)行監(jiān)控和維護(hù)。目前，計(jì)算作業(yè)的實(shí)時(shí)性要求正在逐漸增強(qiáng)，作業(yè)能否在預(yù)定時(shí)間內(nèi)完成對(duì)作業(yè)執(zhí)行結(jié)果的有效性會(huì)帶來(lái)嚴(yán)重的影響，而數(shù)據(jù)輸入輸出過(guò)程是計(jì)算作業(yè)的重要環(huán)節(jié)，如果這一過(guò)程無(wú)法保證性能要求，會(huì)對(duì)計(jì)算作業(yè)的成敗帶來(lái)嚴(yán)重影響。因此，在現(xiàn)有異構(gòu)存儲(chǔ)集群系統(tǒng)的架構(gòu)下，如何保證作業(yè)的I/O性能已經(jīng)成為了影響現(xiàn)有高性能計(jì)算系統(tǒng)可用性的關(guān)鍵問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：
本發(fā)明要解決的技術(shù)問(wèn)題是提供一種I/O服務(wù)性能高、I/O帶寬需求低、I/O服務(wù)質(zhì)量好，尤其適合I/O密集型作業(yè)的用于異構(gòu)存儲(chǔ)集群系統(tǒng)的I/O服務(wù)質(zhì)量維護(hù)方法。為了解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案為：一種用于異構(gòu)存儲(chǔ)集群系統(tǒng)的I/O服務(wù)質(zhì)量維護(hù)方法，其實(shí)施步驟如下：1）將異構(gòu)存儲(chǔ)集群系統(tǒng)的快速存儲(chǔ)分區(qū)的存儲(chǔ)資源劃分為多個(gè)存儲(chǔ)資源分組，且所述存儲(chǔ)資源分組之間的I/O過(guò)程不存在相關(guān)性，使不同存儲(chǔ)資源分組分別進(jìn)行I/O時(shí)其性能不會(huì)相互受到影響；2）當(dāng)異構(gòu)存儲(chǔ)集群系統(tǒng)收到作業(yè)時(shí)，根據(jù)當(dāng)前作業(yè)I/O輸出的性能需求等級(jí)以及各個(gè)存儲(chǔ)資源分組的狀態(tài)從所述多個(gè)存儲(chǔ)資源分組中選擇存儲(chǔ)資源分組分配給當(dāng)前作業(yè)，并更新所述多個(gè)存儲(chǔ)資源分組中各個(gè)存儲(chǔ)資源分組的狀態(tài)。優(yōu)選地，所述步驟1）中的存儲(chǔ)資源分組為一個(gè)存儲(chǔ)結(jié)點(diǎn)或者負(fù)責(zé)一套磁盤(pán)陣列的一組存儲(chǔ)服務(wù)器。優(yōu)選地，所述步驟2）的詳細(xì)步驟如下：2.1）預(yù)先將作業(yè)根據(jù)I/O輸出的性能需求等級(jí)劃分為獨(dú)占需求作業(yè)和非獨(dú)占需求作業(yè)兩類(lèi)，所述獨(dú)占需求作業(yè)指該類(lèi)作業(yè)對(duì)I/O的輸出帶寬有明確的服務(wù)質(zhì)量需求，對(duì)所分配的I/O資源必須保證獨(dú)占性，在作業(yè)結(jié)束前不允許其他作業(yè)使用其所占用的存儲(chǔ)資源分組；所述非獨(dú)占需求作業(yè)指該類(lèi)作業(yè)對(duì)I/O的輸出帶寬有性能需求，但對(duì)所分配的I/O資源不需要保證獨(dú)占性，在系統(tǒng)存儲(chǔ)資源緊張的情況下允許其他作業(yè)使用其所占用的存儲(chǔ)資源分組；將所述分組根據(jù)是否被作業(yè)占據(jù)的情況以及數(shù)據(jù)是否已經(jīng)同步到慢速存儲(chǔ)設(shè)備的情況劃分為空閑、獨(dú)占、準(zhǔn)空閑、準(zhǔn)獨(dú)占四種狀態(tài)，所述空閑狀態(tài)表示該分組當(dāng)前未被作業(yè)占據(jù)且分組內(nèi)不存在數(shù)據(jù)未同步到慢速存儲(chǔ)設(shè)備，所述獨(dú)占狀態(tài)表示該分組當(dāng)前被獨(dú)占作業(yè)占據(jù)且作業(yè)未退出，所述準(zhǔn)空閑狀態(tài)表示該分組當(dāng)前未被作業(yè)占據(jù)但存在數(shù)據(jù)未同步到慢速存儲(chǔ)設(shè)備，所述準(zhǔn)獨(dú)占狀態(tài)表示該分組當(dāng)前被非獨(dú)占作業(yè)占據(jù)且作業(yè)未退出；2.2）當(dāng)異構(gòu)存儲(chǔ)集群系統(tǒng)收到作業(yè)時(shí)，根據(jù)用戶(hù)指定的當(dāng)前作業(yè)I/O輸出的性能需求等級(jí)對(duì)當(dāng)前作業(yè)的類(lèi)型進(jìn)行判斷，如果當(dāng)前作業(yè)為獨(dú)占需求作業(yè)則跳轉(zhuǎn)執(zhí)行步驟2.3），如果當(dāng)前作業(yè)為非獨(dú)占需求作業(yè)則跳轉(zhuǎn)執(zhí)行步驟2.4）；2.3）查找處于空閑狀態(tài)的存儲(chǔ)資源分組，若處于空閑狀態(tài)的存儲(chǔ)資源分組數(shù)量可以滿(mǎn)足當(dāng)前作業(yè)的需求，則返回對(duì)應(yīng)數(shù)量的空閑存儲(chǔ)資源分組給當(dāng)前作業(yè)，并將被選擇存儲(chǔ)資源分組的狀態(tài)設(shè)置為獨(dú)占狀態(tài)，分配過(guò)程結(jié)束，跳轉(zhuǎn)執(zhí)行步驟2.5）；若空閑狀態(tài)的存儲(chǔ)資源分組數(shù)量無(wú)法滿(mǎn)足當(dāng)前作業(yè)的需求，則報(bào)告作業(yè)I/O需求無(wú)法滿(mǎn)足的異常，分配過(guò)程結(jié)束并退出；2.4）查找處于空閑狀態(tài)、準(zhǔn)空閑狀態(tài)及準(zhǔn)獨(dú)占狀態(tài)的存儲(chǔ)資源分組，若上述三種狀態(tài)的存儲(chǔ)資源分組總數(shù)量可以滿(mǎn)足當(dāng)前作業(yè)的需求，則按照優(yōu)先分配空閑狀態(tài)的存儲(chǔ)資源分組、其次分配準(zhǔn)空閑狀態(tài)的存儲(chǔ)資源分組、再次分配準(zhǔn)獨(dú)占狀態(tài)的存儲(chǔ)資源分組的方式選擇相應(yīng)數(shù)量的存儲(chǔ)資源分組返回給當(dāng)前作業(yè)，將被選擇存儲(chǔ)資源分組的狀態(tài)設(shè)置為準(zhǔn)獨(dú)占狀態(tài)，分配過(guò)程結(jié)束，跳轉(zhuǎn)執(zhí)行步驟2.5）；若空閑狀態(tài)、準(zhǔn)空閑狀態(tài)及準(zhǔn)獨(dú)占狀態(tài)的存儲(chǔ)資源分組總數(shù)量無(wú)法滿(mǎn)足當(dāng)前作業(yè)的需求，則報(bào)告作業(yè)I/O需求無(wú)法滿(mǎn)足的異常，分配過(guò)程結(jié)束并退出；2.5）在當(dāng)前作業(yè)執(zhí)行結(jié)束時(shí)，若當(dāng)前作業(yè)所占據(jù)的存儲(chǔ)資源分組內(nèi)仍然存在數(shù)據(jù)未同步到慢速存儲(chǔ)設(shè)備，則將所述存儲(chǔ)資源分組的狀態(tài)設(shè)置為準(zhǔn)空閑狀態(tài)；若所述存儲(chǔ)資源分組內(nèi)不存在數(shù)據(jù)未同步到慢速存儲(chǔ)設(shè)備，則將所述存儲(chǔ)資源分組狀態(tài)設(shè)置為空閑狀態(tài)；同時(shí)，在異構(gòu)存儲(chǔ)集群系統(tǒng)的分組同步程序?qū)⒋鎯?chǔ)資源分組的所有數(shù)據(jù)同步到慢速存儲(chǔ)設(shè)備后，如果存儲(chǔ)資源分組目前未被作業(yè)占據(jù)，則將該存儲(chǔ)資源分組設(shè)置為空閑狀態(tài)。本發(fā)明用于異構(gòu)存儲(chǔ)集群系統(tǒng)的I/O服務(wù)質(zhì)量維護(hù)方法具有下述優(yōu)點(diǎn)：面向集群系統(tǒng)中的異構(gòu)存儲(chǔ)模式，在快速存儲(chǔ)分區(qū)存...