一種減少資源競爭的Trace文件轉(zhuǎn)儲方法
【專利摘要】本發(fā)明公開了一種減少資源競爭的Trace文件轉(zhuǎn)儲方法，在基于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)中，該轉(zhuǎn)儲方法執(zhí)行三個服務(wù)步驟，即存儲信息收集服務(wù)S1、Infiniband網(wǎng)絡(luò)擁塞探測服務(wù)S2和文件轉(zhuǎn)儲服務(wù)S3。該方法通過被動探測Lustre系統(tǒng)的IO使用情況與主動探測Infiniband網(wǎng)絡(luò)的使用情況相結(jié)合，計算網(wǎng)絡(luò)和IO資源的擁塞情況，在無擁塞時進(jìn)行蹤跡文件轉(zhuǎn)儲的技術(shù)手段，從而實現(xiàn)減少蹤跡文件轉(zhuǎn)儲與被監(jiān)控程序資源競爭的情況出現(xiàn)，獲得程序插樁后運行速度更快，蹤跡數(shù)據(jù)更加準(zhǔn)確的技術(shù)效果。
【專利說明】一種減少資源競爭的Trace文件轉(zhuǎn)儲方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種在機(jī)群中蹤跡文件（即Trace文件）轉(zhuǎn)儲的方法，更特別地說， 是指一種減少資源競爭的蹤跡文件轉(zhuǎn)儲方法。尤其涉及在使用Infiniband(譯文，無限帶 寬）網(wǎng)絡(luò)和Lustre (譯文，光澤文件系統(tǒng)）系統(tǒng)的機(jī)群環(huán)境下，TAU (Tuning and Analysis Utilities,譯文，調(diào)試分析工具）軟件的轉(zhuǎn)儲過程。

【背景技術(shù)】
[0002] 機(jī)群是互相連接的多個獨立計算機(jī)的集合，這些計算機(jī)可以是單機(jī)或多處理器系 統(tǒng)，如PC或工作站等，每個結(jié)點都有自己的存儲器、I0(Input/0utput，譯文，輸入輸出）設(shè) 備和操作系統(tǒng)。機(jī)群對用戶和應(yīng)用來說是一個單一的系統(tǒng)，它可以提供低價高效的高性能 環(huán)境和快速可靠的服務(wù)等。
[0003] Infiniband網(wǎng)絡(luò)是新一代服務(wù)器I/O和機(jī)群內(nèi)部通信工業(yè)標(biāo)準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)。由鏈 接、交換機(jī)、CA (Channel Adaptor,譯文，通道適配器）和終端節(jié)點組成。其擁塞控制使用 ECN(Explicit Congestion Notification,譯文，明確擁塞通知）方法，即在報文頭中有一位 專門用來表示網(wǎng)絡(luò)擁塞與否。參見圖1所示，Infiniband網(wǎng)絡(luò)與終端節(jié)點相連的CA又被稱 為HCA (Host Channel Adapter,譯文，宿主通道適配器），所述HCA提供了使用Infiniband 網(wǎng)絡(luò)的軟件接口。
[0004] Lustre系統(tǒng)是專為機(jī)群設(shè)計的并彳丁文件存儲系統(tǒng)。參見圖1所不，Lustre系統(tǒng)由 一個 MDS (Metadata Server，譯文，兀數(shù)據(jù)服務(wù)器）、數(shù)個 OSS (0b ject Storage Servers，譯 文，對象存儲服務(wù)器）組成，其中，MDS負(fù)責(zé)文件名、文件路徑管理，并響應(yīng)存儲請求，為請求 分配OSS ;0SS負(fù)責(zé)文件內(nèi)容存儲，存儲的單位是條帶。
[0005] TAU是可移植的并行程序性能概要和蹤跡分析工具。在被監(jiān)控程序運行時，TAU工 具將產(chǎn)生蹤跡數(shù)據(jù)，并記錄到文件系統(tǒng)中。當(dāng)今機(jī)群系統(tǒng)中，大部分?jǐn)?shù)據(jù)被寫入以Lustre 系統(tǒng)為代表的并行文件中。
[0006] 近年來，隨著機(jī)群規(guī)模的增長，高效的并行程序越來越依靠性能分析軟件。性能分 析軟件為了獲得運行事件信息，此信息被稱為蹤跡，蹤跡被存儲到文件系統(tǒng)供事后分析。目 前，數(shù)據(jù)的存儲，數(shù)據(jù)采集工具多使用并行文件系統(tǒng)，最重要是Lustre系統(tǒng)，程序運行和文 件轉(zhuǎn)儲多共享高性能網(wǎng)絡(luò)，主要是Infiniband網(wǎng)絡(luò)。由于程序和數(shù)據(jù)采集競爭系統(tǒng)的網(wǎng)絡(luò) 和10資源，這些競爭將會影響蹤跡文件轉(zhuǎn)儲的傳輸速度。


【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是針對現(xiàn)有數(shù)據(jù)采集程序與被TAU監(jiān)控的程序相互競爭系統(tǒng)資源， 導(dǎo)致插樁后程序運行時間過長，測量得到的數(shù)據(jù)受到資源競爭的影響，不能完整還原實際 程序運行過程的問題。本發(fā)明采用一種對Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)擁塞信息進(jìn)行主 動、被動探測相結(jié)合，在無擁塞時進(jìn)行轉(zhuǎn)儲的競爭避免方法。
[0008] 為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：在基于Infiniband網(wǎng)絡(luò)和Lustre系 統(tǒng)中，所述Lustre系統(tǒng)包括有I/O信息統(tǒng)計節(jié)點（4)、第一個I/O信息被動收集節(jié)點（I)、 第二個I/O信息被動收集節(jié)點（2)和第N個I/O信息被動收集節(jié)點（3)。所述Lustre系統(tǒng) 中的OSS節(jié)點上運行存儲信息收集服務(wù)S1，產(chǎn)生有IO擁塞信息； MDS 節(jié)點運行存儲信息收集服務(wù)S1，收集所述的/0〗,、，/0,',···,/0,)?構(gòu)成收集-擁塞信息IO總；
[0009] 當(dāng)程序執(zhí)行節(jié)點中（5、6、7)的TAU產(chǎn)生的蹤跡數(shù)據(jù)file需要寫入時，文件轉(zhuǎn)儲服 務(wù)S3發(fā)出主動探測包request給Lustre系統(tǒng)的MDS節(jié)點；然后，MDS節(jié)點將收集-擁塞信 息IO總以數(shù)據(jù)包MDt形式反饋給Infiniband網(wǎng)絡(luò)擁塞探測服務(wù)S2 ;Infiniband網(wǎng)絡(luò)擁塞探 測服務(wù)S2 -方面提取出收集-擁塞信息10,&傳輸給文件轉(zhuǎn)儲服務(wù)S3,另一方面采用擁塞判 斷條件R -F獲取當(dāng)前的Infiniband網(wǎng)絡(luò)的擁塞情況Cinf = {a, b}，并將所述的Cinf = {a, b} 傳輸給文件轉(zhuǎn)儲服務(wù)S3 ;a表示網(wǎng)絡(luò)擁塞，b表示網(wǎng)絡(luò)不擁塞；
[0010] 文件轉(zhuǎn)儲服務(wù)S3對接收到的Cinf = {a，b}和10自，采用資源判斷條件L-I來判斷 基于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)的資源的使用情況U = {au, bu}，au表示資源擁塞，bu 表示資源不擁塞，決定是否在緩存未填滿時，提前通知TAU轉(zhuǎn)存蹤跡數(shù)據(jù)file到Lustre系 統(tǒng)中，以避免可能的資源競爭。
[0011] 本發(fā)明減少資源競爭的蹤跡文件轉(zhuǎn)儲方法的優(yōu)點在于：
[0012] ①本發(fā)明方法能夠緩解由于資源競爭帶來的擴(kuò)展性問題，提高網(wǎng)絡(luò)和IO系統(tǒng)所 帶來的規(guī)模限制。
[0013] ②本發(fā)明適用于基于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)搭建的機(jī)群系統(tǒng)上，用于減少 由于網(wǎng)絡(luò)和IO資源競爭產(chǎn)生的誤差，更加準(zhǔn)確的得到蹤跡信息。
[0014] ③本發(fā)明方法能夠加速轉(zhuǎn)儲過程，減少轉(zhuǎn)儲對被監(jiān)控程序帶來的入侵，提高整體 運行速度。

【專利附圖】

【附圖說明】
[0015] 圖1是基于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)搭建的機(jī)群系統(tǒng)示意圖。
[0016] 圖IA是MDS節(jié)點、OSS節(jié)點的IO信息傳輸示意圖。
[0017] 圖2是本發(fā)明蹤跡文件轉(zhuǎn)儲的流程圖。
[0018] 圖2A是本發(fā)明擁塞判斷條件R-F的流程圖。

【具體實施方式】
[0019] 下面將結(jié)合附圖和實施例對本發(fā)明做進(jìn)一步的詳細(xì)說明。
[0020] 參見圖1所示，基于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)搭建的機(jī)群系統(tǒng)，其中，所述 Lustre系統(tǒng)包括有I/O信息統(tǒng)計節(jié)點4、第一個I/O信息被動收集節(jié)點1、第二個I/O信息 被動收集節(jié)點2和第N個I/O信息被動收集節(jié)點3。所述的機(jī)群系統(tǒng)中包括有第一個程序 執(zhí)行節(jié)點5、第二個程序執(zhí)行節(jié)點6和第N個程序執(zhí)行節(jié)點7。程序執(zhí)行節(jié)點通過運行經(jīng) TAU插樁后的程序，用于獲得程序運行Trace文件（蹤跡文件）。
[0021] 在基于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)中，采用了執(zhí)行存儲信息收集服務(wù)步驟 SI、Infiniband網(wǎng)絡(luò)擁塞探測服務(wù)步驟S2和文件轉(zhuǎn)儲服務(wù)步驟S3來實現(xiàn)減少資源競爭的 Trace文件轉(zhuǎn)儲處理。
[0022] 參見圖1A、圖2所示，所述Lustre系統(tǒng)中的OSS節(jié)點上運行存儲信息收集服務(wù)SI, 產(chǎn)生有IO擁塞信息; MDS節(jié)點運行存儲信息收集服務(wù)S1，收集所述的 …，構(gòu)成收集-擁塞?目息IO總；
[0023] 參見圖1Α、圖2、圖2Α所示，當(dāng)TAU產(chǎn)生的蹤跡數(shù)據(jù)file需要寫入時，文件轉(zhuǎn)儲服 務(wù)S3發(fā)出主動探測包request給Lustre系統(tǒng)的MDS節(jié)點；然后，MDS節(jié)點將收集-擁塞信 息IO總以數(shù)據(jù)包MD t形式反饋給Infiniband網(wǎng)絡(luò)擁塞探測服務(wù)S2 ;Infiniband網(wǎng)絡(luò)擁塞探 測服務(wù)S2 -方面提取出收集-擁塞信息10,&傳輸給文件轉(zhuǎn)儲服務(wù)S3,另一方面采用擁塞判 斷條件R -F獲取當(dāng)前的Infiniband網(wǎng)絡(luò)的擁塞情況Cinf = {a, b}，并將所述的Cinf = {a, b} 傳輸給文件轉(zhuǎn)儲服務(wù)S3 ;a表示網(wǎng)絡(luò)擁塞，b表示網(wǎng)絡(luò)不擁塞；
[0024] 參見圖1A、圖2所示，文件轉(zhuǎn)儲服務(wù)S3對接收到的Cinf = {a，M和10,，采用資源 判斷條件L-I來判斷基于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)的資源的使用情況U = {au, bu}， au表示資源擁塞，bu表示資源不擁塞，決定是否在緩存未填滿時，提前通知TAU轉(zhuǎn)存蹤跡數(shù) 據(jù)file到Lustre系統(tǒng)中，以避免可能的資源競爭。
[0025] 在本發(fā)明中，收集-擁塞信息10,&中的具體內(nèi)容為OSS節(jié)點上運行存儲 信息收集服務(wù)S1，產(chǎn)生有IO擁塞信息···，/0&，采用集合形式表達(dá)為 /Oe = 。所述 IO 擁塞信息 中的 表示第一個 I/O信息被動收集節(jié)點1的擁塞信息，/(),k表示第二個I/O信息被動收集節(jié)點2的擁塞信 息，/0,.)、、表示第N個I/O信息被動收集節(jié)點3的擁塞信息。
[0026] 在本發(fā)明中，數(shù)據(jù)包MDt中包括有收集-擁塞信息IO總、數(shù)據(jù)包往返時延RTT、數(shù)據(jù) 包擁塞參數(shù)flag，采用集合形式表達(dá)為MD t = {10總，RTT，flag}。
[0027] 在本發(fā)明中，參見圖2A所示，擁塞判斷條件R-F是指：首先判斷數(shù)據(jù)包擁塞參數(shù) flag是否為擁塞，當(dāng)flag為擁塞時，則當(dāng)前的Infiniband網(wǎng)絡(luò)記為網(wǎng)絡(luò)擁塞a ;
[0028] 當(dāng)flag不為擁塞時，則判斷數(shù)據(jù)包往返時延是否大于等于數(shù)據(jù)包往返時延閾值， 若RTT彡RTT_，則當(dāng)前的Infiniband網(wǎng)絡(luò)記為網(wǎng)絡(luò)擁塞a ;若RTT < RTT_，則當(dāng)前的 Infiniband網(wǎng)絡(luò)記為網(wǎng)絡(luò)不擁塞b。
[0029] 在本發(fā)明中，資源判斷條件L-I是指：首先對Cinf = {a，b}進(jìn)行擁塞情況判斷，若 Cinf = {a, b}為網(wǎng)絡(luò)擁塞a，則基于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)的資源的使用情況為au ;
[0030] 若Cinf= {a，b}為網(wǎng)絡(luò)不擁塞b，則根據(jù)求和的收集-擁塞信息10,& (記為CI/Q)來 判斷Lustre系統(tǒng)的擁塞情況；若CI/Q彡C_，則基于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)的資源 的使用情況為資源擁塞au ;若CI/() < Ciwt，則基于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)的資源的 使用情況為資源不擁塞bu。求和的收集-擁塞信息C I/()是指/OiU + …+ /0丄、。
[0031] 本發(fā)明的一種減少資源競爭的Trace文件轉(zhuǎn)儲方法包括有下列具體的服務(wù)步驟：
[0032] 存儲信息收集服務(wù)步驟Sl
[0033] 在本發(fā)明中，使用被動探測技術(shù)，通過本地信息的收集和統(tǒng)計，獲得IO使用情況。
[0034] Sll :在IO節(jié)點上的操作系統(tǒng)中啟動IO監(jiān)控的服務(wù)，在IO節(jié)點上進(jìn)行被動監(jiān)控。
[0035] S12 :在OSS節(jié)點進(jìn)行被動測試，每次有IO申請產(chǎn)生時，記錄其磁盤帶寬使用率，當(dāng) 前并行寫入的數(shù)量以及CPU使用率、內(nèi)存占用率。
[0036] S13 :統(tǒng)計各節(jié)點信息。
[0037] Lustre系統(tǒng)的MDS節(jié)點以一定間隔回收OSS節(jié)點的監(jiān)控信息，形成整體使用率的 信息。該整體使用率的信息將作為收集-擁塞信息10, &運行于Infiniband網(wǎng)絡(luò)擁塞探測服 務(wù)S2中。
[0038] Infiniband網(wǎng)絡(luò)擁塞探測服務(wù)步驟S2
[0039] 在本發(fā)明中，使用主動探測技術(shù)，通過Infiniband探測包，獲得網(wǎng)絡(luò)擁塞情況。
[0040] S21 :收集本地HCA信息，Infiniband的軟件接口提供了 HCA的隊列長度、發(fā)送量、 帶寬等本地信息，使用直接讀取的方法獲得數(shù)據(jù)；
[0041] S22 :主動探測網(wǎng)絡(luò)擁塞，需要轉(zhuǎn)儲的節(jié)點，通過Infiniband向MDS節(jié)點發(fā)送IO數(shù) 據(jù)請求包，并記錄發(fā)送時刻TS。MDS節(jié)點收到請求后,立刻回復(fù)IO擁塞信息,發(fā)起節(jié)點記錄 接收到信息同時記錄接收時刻TR。數(shù)據(jù)包往返時延RTT = TR-TS與預(yù)設(shè)閥值RTTw值比較 可以反映網(wǎng)絡(luò)擁塞情況Cinf= {a，b}。若網(wǎng)絡(luò)擁塞a，Infiniband會在回復(fù)包中把擁塞控制 位flag置為flag = 1 ;若網(wǎng)絡(luò)不擁塞b，Infiniband會在回復(fù)包中把擁塞控制位flag置為 flag = 0。擁塞控制位是網(wǎng)絡(luò)擁塞情況的另一個特征。
[0042] 文件轉(zhuǎn)儲服務(wù)步驟S3
[0043] 在本發(fā)明中，保持全局緩存，綜合網(wǎng)絡(luò)、IO擁塞情況和緩存情況，進(jìn)行提前轉(zhuǎn)儲。
[0044] S31 :轉(zhuǎn)儲服務(wù)。在需要轉(zhuǎn)儲的節(jié)點，運行轉(zhuǎn)儲服務(wù)。該服務(wù)會管理緩存，發(fā)送主動 探測包，匯集信息決定轉(zhuǎn)儲時機(jī)。
[0045] S32 :開始探測時機(jī)。探測擁塞需要發(fā)送請求包，并調(diào)用相關(guān)函數(shù)以得到系統(tǒng)信息 數(shù)據(jù)，耗費時間和資源。所以只有在緩存數(shù)據(jù)達(dá)到一定量時，才可以開始探測。Lustre默 認(rèn)的存儲帶大小為I. 5M，小于I. 5M會產(chǎn)生一次連接而無法寫入足夠數(shù)據(jù)填滿一個存儲帶。 故緩存大小設(shè)定為6M，當(dāng)數(shù)據(jù)達(dá)到I. 5M時，開始第一次探測。反復(fù)以某間隔探測，直到緩存 滿，隨后以1.5M為單位寫入文件。
[0046] S33 :轉(zhuǎn)儲的時機(jī)。當(dāng)所有資源都未達(dá)到擁塞的程度，即IO資源使用率在80%以 下、TR-TS小于閥值并且擁塞控制位為0,可以進(jìn)行轉(zhuǎn)儲而不影響其他使用時，即進(jìn)行轉(zhuǎn)儲。
[0047] S34 :擁塞避免等待時間。等待需要與嘗試次數(shù)相關(guān)的隨機(jī)時間。該時間借鑒指數(shù) 回退算法，最小時間片為〇. 1秒，總時間為時間片與倍數(shù)相乘，倍數(shù)為嘗試次數(shù)與10中較小 的數(shù)。等待時間為[0，1]的隨機(jī)數(shù)與總時間的乘積。當(dāng)?shù)却龝r間為〇時，立刻寫入。
[0048] 本發(fā)明是一項運行于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)環(huán)境下，避免數(shù)據(jù)采集轉(zhuǎn)儲與 被監(jiān)控程序競爭資源的方法。通過被動收集Lustre系統(tǒng)IO擁塞信息、Infiniband網(wǎng)絡(luò)設(shè) 備擁塞信息，主動探測Infiniband網(wǎng)絡(luò)整體擁塞信息，使用這些信息決定是否提前轉(zhuǎn)儲緩 存文件，以避免資源競爭。最終能夠更準(zhǔn)確的獲取程序運行信息，增強(qiáng)程序的可擴(kuò)展性。
[0049] 本發(fā)明由兩部分組成，分別運行在Lustre存儲節(jié)點和需要文件轉(zhuǎn)儲的節(jié)點上。
[0050] Lustre存儲節(jié)點上運行IO數(shù)據(jù)采集服務(wù)，該服務(wù)負(fù)責(zé)監(jiān)聽和記錄Lustre節(jié)點上 磁盤帶寬使用率、并行寫入的數(shù)量以及CPU使用率、內(nèi)存占用率。采集服務(wù)周期性獲取數(shù) 據(jù)，并返回至MDS節(jié)點供后續(xù)查詢。
[0051] 轉(zhuǎn)儲需求的節(jié)點上運行文件轉(zhuǎn)儲服務(wù)，該服務(wù)負(fù)責(zé)緩存管理、轉(zhuǎn)儲時機(jī)確定和轉(zhuǎn) 儲文件。緩存管理包括維護(hù)節(jié)點級寫文件緩存，為每個文件建立一個緩存，并為需要寫文件 的程序提供寫文件服務(wù)。同時為了確定轉(zhuǎn)儲時機(jī)，轉(zhuǎn)儲服務(wù)請求IO節(jié)點信息，計算系統(tǒng)資 源競爭情況。在系統(tǒng)無競爭情況下，把緩存數(shù)據(jù)寫入Lustre文件系統(tǒng)中。
[0052] 本發(fā)明的執(zhí)行過程為：系統(tǒng)啟動后，即在Lustre系統(tǒng)所有存儲節(jié)點上運行IO數(shù)據(jù) 采集服務(wù)，等待MDS節(jié)點周期性的數(shù)據(jù)請求，采集存儲節(jié)點磁盤帶寬使用率、并行寫入的數(shù) 量以及CPU使用率、內(nèi)存占用率，并將資源情況回傳 MDS節(jié)點。MDS節(jié)點則請求并收集所有 信息，并匯總為Lustre系統(tǒng)所有節(jié)點硬件使用情況。MDS節(jié)點的采集服務(wù)則等待轉(zhuǎn)儲服務(wù) 的IO信息請求，當(dāng)有請求時MDS節(jié)點使用Lustre系統(tǒng)提供的ChangeLog讀取近期Lustre 使用情況，作為動態(tài)信息，與硬件使用情況一起返回至請求者。
[0053] 所有需要數(shù)據(jù)轉(zhuǎn)儲的節(jié)點，在進(jìn)行數(shù)據(jù)收集之前，啟動數(shù)據(jù)轉(zhuǎn)儲服務(wù)。數(shù)據(jù)轉(zhuǎn)儲服 務(wù)為每個文件建立3M緩存區(qū)。當(dāng)有數(shù)據(jù)需要寫入文件時，程序調(diào)用轉(zhuǎn)儲服務(wù)的write函 數(shù)，其作用是將數(shù)據(jù)寫入轉(zhuǎn)儲服務(wù)管理的緩存中。當(dāng)緩存中數(shù)據(jù)超過I. 5M時，轉(zhuǎn)儲服務(wù)向 MDS節(jié)點發(fā)起IO信息查詢對話，并記錄對話的發(fā)起時間。MDS節(jié)點返回Lustre軟硬件資源 占用情況，轉(zhuǎn)儲服務(wù)在收到返回的信息后計算RTT。軟硬件信息以及RTT與預(yù)設(shè)的閥值進(jìn) 行比較，可以得到各種資源是否處于可能出現(xiàn)競爭的狀態(tài)。如果存在競爭，則計算隨機(jī)等待 時間，計算方法如下：最小時間片為〇. 1秒，總時間為時間片與倍數(shù)相乘，倍數(shù)為嘗試次數(shù) 與10中較小的數(shù)。等待時間為[0，1]的隨機(jī)數(shù)與總時間的乘機(jī)。隨機(jī)等待一定時間后再 試。無競爭或緩存滿時立刻進(jìn)行文件轉(zhuǎn)儲。轉(zhuǎn)儲最小單位為I. 5M，即每次固定寫入I. 5M或 3M，不論提前轉(zhuǎn)儲時緩存中數(shù)據(jù)大小，目標(biāo)是每次建立鏈接都會寫入一存儲條，不浪費建立 鏈接的額外開銷。
[0054] 本發(fā)明是一種蹤跡文件轉(zhuǎn)儲策略，所要解決的是如何減少文件轉(zhuǎn)儲與被監(jiān)控程 序產(chǎn)生資源競爭技術(shù)問題，該方法通過被動探測Lustre系統(tǒng)的IO使用情況與主動探測 Infiniband網(wǎng)絡(luò)的使用情況相結(jié)合，計算網(wǎng)絡(luò)和IO資源的擁塞情況，在無擁塞時進(jìn)行蹤跡 文件轉(zhuǎn)儲的技術(shù)手段，從而實現(xiàn)減少蹤跡文件轉(zhuǎn)儲與被監(jiān)控程序資源競爭的情況出現(xiàn)，獲 得程序插樁后運行速度更快，蹤跡數(shù)據(jù)更加準(zhǔn)確的技術(shù)效果。
【權(quán)利要求】
1. 一種減少資源競爭的Trace文件轉(zhuǎn)儲方法，該方法在基于Infiniband網(wǎng)絡(luò)和Lustre 系統(tǒng)中運行，所述Lustre系統(tǒng)包括有I/O信息統(tǒng)計節(jié)點（4)、第一個I/O信息被動收集節(jié) 點（1)、第二個I/O信息被動收集節(jié)點（2)和第N個I/O信息被動收集節(jié)點（3);其特征在 于：該轉(zhuǎn)儲方法執(zhí)行存儲信息收集服務(wù)Sl步驟、Infiniband網(wǎng)絡(luò)擁塞探測服務(wù)S2步驟和文 件轉(zhuǎn)儲服務(wù)S3步驟。 所述Lustre系統(tǒng)中的OSS節(jié)點上運行存儲信息收集服務(wù)S1，產(chǎn)生有IO擁塞信息 ; MDS節(jié)點運行存儲信息收集服務(wù)S1，收集所述的 構(gòu)成收集-擁塞/[目息IO總； 當(dāng)TAU產(chǎn)生的蹤跡數(shù)據(jù)file需要寫入時，文件轉(zhuǎn)儲服務(wù)S3發(fā)出主動探測包requestT 給Lustre系統(tǒng)的MDS節(jié)點；然后，MDS節(jié)點將收集-擁塞信息10,&以數(shù)據(jù)包MDt形式反 饋給Infiniband網(wǎng)絡(luò)擁塞探測服務(wù)S2 ;Infiniband網(wǎng)絡(luò)擁塞探測服務(wù)S2 -方面提取出收 集-擁塞信息10,&傳輸給文件轉(zhuǎn)儲服務(wù)S3,另一方面采用擁塞判斷條件R-F獲取當(dāng)前的 Infiniband網(wǎng)絡(luò)的擁塞情況Cinf = {a, b}，并將所述的Cinf = {a, b}傳輸給文件轉(zhuǎn)儲服務(wù)S3 ; a表不網(wǎng)絡(luò)擁塞，b表不網(wǎng)絡(luò)不擁塞； 文件轉(zhuǎn)儲服務(wù)S3對接收到的Cinf = {a，b}和I0&采用資源判斷條件L-I來判斷基于 Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)的資源的使用情況U = {au, bu}，au表示資源擁塞，bu表示 資源不擁塞，決定是否在緩存未填滿時，提前通知TAU轉(zhuǎn)存蹤跡數(shù)據(jù)file到Lustre系統(tǒng)中， 以避免可能的資源競爭。
2. 根據(jù)權(quán)利要求1所述的減少資源競爭的Trace文件轉(zhuǎn)儲方法，其特征在于：擁塞判 斷條件R-F是指：首先判斷數(shù)據(jù)包擁塞參數(shù)flag是否為擁塞，當(dāng)flag為擁塞時，則當(dāng)前的 Infiniband網(wǎng)絡(luò)記為網(wǎng)絡(luò)擁塞a ; 當(dāng)flag不為擁塞時，則判斷數(shù)據(jù)包往返時延是否大于等于數(shù)據(jù)包往返時延閾值， 若RTT彡RTT_，則當(dāng)前的Infiniband網(wǎng)絡(luò)記為網(wǎng)絡(luò)擁塞a ;若RTT < RTT_，則當(dāng)前的 Infiniband網(wǎng)絡(luò)記為網(wǎng)絡(luò)擁塞b。
3. 根據(jù)權(quán)利要求1所述的減少資源競爭的Trace文件轉(zhuǎn)儲方法，其特征在于：資源判 斷條件L-I是指：首先對Cinf = {a, b}進(jìn)行擁塞情況判斷，若Cinf = {a, b}為網(wǎng)絡(luò)擁塞a，則 基于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)的資源的使用情況為au ; 若Cinf = {a, b}為網(wǎng)絡(luò)不擁塞b，則根據(jù)求和的收集-擁塞信息CIA)來判斷Lustre系 統(tǒng)的擁塞情況；若CI/()彡Ciwt，則基于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)的資源的使用情況為 au ;若CI/Q < C_，則基于Infiniband網(wǎng)絡(luò)和Lustre系統(tǒng)的資源的使用情況為bu。
4. 根據(jù)權(quán)利要求1所述的減少資源競爭的Trace文件轉(zhuǎn)儲方法，其特征在于：運行在 Lustre系統(tǒng)的MDS節(jié)點和OSS節(jié)點上。
【文檔編號】H04L29/08GK104378442SQ201410697278
【公開日】2015年2月25日 申請日期:2014年11月26日 優(yōu)先權(quán)日:2014年11月26日
【發(fā)明者】李云春, 張?zhí)煊? 李巍 申請人:北京航空航天大學(xué)