專利名稱：支持分布式決策的大規(guī)模高并發(fā)訪問i/o服務器負載均衡系統(tǒng)的制作方法
技術領域：
本發(fā)明公開了一種大規(guī)模IO服務器負載均衡系統(tǒng)，尤其涉及一種支持分布式決策的高性能計算機文件系統(tǒng)中大規(guī)模高并發(fā)訪問I/o服務器間的負載均衡系統(tǒng)，I/O指輸入/輸出。屬于計算機技術領域。
背景技術：
并行輸入/輸出(Input/Output)系統(tǒng)歷來是計算機系統(tǒng)結構領域一個熱點研究方向，其旨在內存和磁盤之間創(chuàng)建多個數據通路來緩解計算機系統(tǒng)的I/o性能瓶頸問題。并行文件系統(tǒng)作為并行輸入/輸出系統(tǒng)的核心軟件之一，不僅提供了文件數據并行訪問所需的語義和接口，而且能夠通過文件的分條、文件的分配和數據服務器之間的動態(tài)負載均衡等手段來保證文件數據的聚合訪問速度。其中，文件分條是文件數據并行訪問的前提之一；有效的文件分配是發(fā)揮大規(guī)模存儲設備性能的有力保障；數據服務器之間的動態(tài)負載均衡則保證了并行文件系統(tǒng)的高性能和高擴展性。本發(fā)明公開了一種涵蓋上述三項關鍵技術的面向高性能計算機文件系統(tǒng)中大規(guī)模IO服務器的服務器負載均衡系統(tǒng)?，F(xiàn)有主流的并行文件系統(tǒng)包括PVFS，Lustre和GPFS等。一般的文件數據負載均衡的完整流程可以抽象概括為三個關鍵步驟(如附

圖1所示):第一步，對進入并行文件系統(tǒng)的文件進行分塊(條)。第二步，分條文件的分配。第三步，并行文件系統(tǒng)中I/o服務器之間動態(tài)負載均衡。就文件分條而言，其中一個重要因素就是確定文件的分條寬度。下面我們將從本發(fā)明相關的學術研究及已發(fā)表論文分析、以及相關的專利分析兩方面對本專利的創(chuàng)新性進行分析。(I)在支持分布式決策的高性能計算機文件系統(tǒng)中大規(guī)模高并發(fā)訪問I/O服務器間的負載均衡方法的相關研究和已發(fā)表論文分析方面，和本專利相關的包括文件分體方法、分體文件的分配方法和負載均衡三方面:首先，在文件分條方法的相關研究和已發(fā)表論文分析，首先因為面向單一的檢查點文件可以方便進程失效之后的重啟；單一的結果文件可以使得計算結果良好的封裝，單一的共享文件也會降低元數據壓力等原因，傳統(tǒng)的“單文件-多進程”的方式已被廣泛采用，目前迫切需要一種文件級的分條粒度。其次，隨著數據密集型，高性能計算機已進入P級，即將進入適于E級計算的高性能計算機研發(fā)，其文件系統(tǒng)中的文件請求具有更典型的大規(guī)模、高并發(fā)，高突發(fā)等特征，需要能夠刻畫該特征的分條模型。單一應用程序內部的計算階段和I/o階段相互交替(例如同步原語(MPI_File_sync、MPI_Barrier等)；訪問多個文件的平穩(wěn)請求流也可能轉換成為訪問單一文件的突發(fā)請求流(如Server-Si decoordination技術)?？傮w看來,如表I所示，傳統(tǒng)利用實驗統(tǒng)計和最優(yōu)化的數學理論等方法，針對如何確定系統(tǒng)級或者目錄級的文件分條寬度的問題已經進行了大量的研究。但是由于系統(tǒng)級和目錄級的文件分條沒有考慮單一文件的訪問特性，在面對科學計算程序的I/O性能優(yōu)化時并不能很好刻畫文件級訪問特征，特別是大規(guī)模高性能計算機當前(如P級)和未來(如E級)的大規(guī)模高并發(fā)等需求，具有一定的限制。與此相反，文件級別的分條方法能夠很好考慮單一文件訪問的特性，從而給出能夠提高該文件訪問性能的分條寬度。對于高性能計算機所使用的并行文件系統(tǒng)而言，由于其需要面對具有突發(fā)特性的科學計算程序的I/O請求、同時也得面對更高的文件訪問并行度，因此現(xiàn)有研究總體仍然缺乏一種能夠很好的應用于高性能計算中數據并發(fā)訪問的文件級分條策略，尤其是該分條的策略需要滿足能夠根據每一個文件的自身的訪問特點和整個系統(tǒng)的負載情況來確定文件的分條寬度，從而為高效的并行數據的訪問提供保證。
權利要求
1.一種支持分布式決策的高性能計算機文件系統(tǒng)中大規(guī)模高并發(fā)訪問I/o服務器負載均衡系統(tǒng)，其特征在于包括如下三個模塊: (1)面向高并發(fā)文件訪問請求的文件級分條，該模塊能夠根據文件的訪問特點，如請求大小和文件并發(fā)訪問度等，自動設置文件的分條大小，從而為高效的并行I/o提供有利保證，具有滿足高并發(fā)和文件級分體實現(xiàn)的需求的技術特征； (2)最小化I/O訪問沖突概率的文件分配，該模塊主要完成最小化IO訪問沖突的文件分配，該方法不僅充分考慮文件的分條策略，而且充分考慮文件訪問的沖突概率，實現(xiàn)和保證了并行I/o性能，同時也是文件之間進行并行數據訪問性能的有力根基； (3)基于分布式決策的動態(tài)負載均衡，該模塊具有高擴展性、充分考慮決策延遲、遷移代價和遷移抖動的特征，可以有效的消除并行文件系統(tǒng)的性能瓶頸、保證并行文件數據訪問的性能和擴展性；該模塊包括四個子模塊:1)基于時間序列分析的在線負載預測，用來估計這個數據服務器短期內的負載，這些預測的負載可以被其他服務器收集來進行負載決策，從而可以減少負載決策延遲；2)最小化IO訪問沖突的文件分配，其用于負載收集的信息交換可能降低整個系統(tǒng)的性能；3)面向大規(guī)模服務器的分布式負載決策機制，基于整個系統(tǒng)的負載狀況和本數據服務器自己的負載，該負載決策機制能夠在分布式體系結構下決定是否需要觸發(fā)動態(tài)文件遷移以平衡服務器間的負載；4)自適應的動態(tài)文件遷移，當服務器需要轉移自己的負載時，其可以根據收集到的負載信息以及自己服務器上不同文件的負載狀況來選擇遷移的對象，以平衡動態(tài)文件遷移收益和副作用，用于把需要遷移的文件數據轉移到選擇的目標服務器上。
2.權利要求1所述的支持分布式決策的高性能計算機文件系統(tǒng)中大規(guī)模高并發(fā)訪問I/O服務器負載均衡系統(tǒng)，其運行流程為: (1)調用并執(zhí)行“面向高并發(fā)文件訪問請求的文件級分條”; (2)調用并執(zhí)行“最小化I/O訪問沖突概率的文件分配”； (3)調用并執(zhí)行“基于分布式決策的動態(tài)負載均衡”，具體包括，I)調用并執(zhí)行“基于時間序列分析的在線負載預測”，2)調用并執(zhí)行“最小化IO訪問沖突的文件分配”，3)調用并執(zhí)行“面向大規(guī)模服務器的分布式負載決策機制”，4)調用并執(zhí)行“自適應的動態(tài)文件遷移”。
全文摘要
本發(fā)明針對高性能計算機中缺乏高數據并發(fā)訪問的文件級別的文件分條，針對面向分條文件的、并且能夠充分考慮動態(tài)文件訪問特性的分配方法以及一種支持分布式決策的負載均衡等問題，公開了一種支持分布式決策的大規(guī)模高并發(fā)訪問I/O服務器負載均衡系統(tǒng)，為高性能計算機提供了具有高擴展性、充分考慮網絡延遲和遷移代價的新型動態(tài)負載均衡支持。在模塊構成上主要包括面向高并發(fā)文件訪問請求的文件級分條，最小化IO訪問沖突的文件分配和基于分布式決策的負載均衡。本發(fā)明可以滿足具有大規(guī)模高并發(fā)和分布式決策的高性能計算機的負載均衡系統(tǒng)應用需求。因此，本發(fā)明具有廣闊的應用前景和可產生顯著的經濟效益等特色。
文檔編號G06F9/50GK103188346SQ20131006992
公開日2013年7月3日 申請日期2013年3月5日 優(yōu)先權日2013年3月5日
發(fā)明者阮利, 董斌, 肖利民, 祝明發(fā) 申請人:北京航空航天大學