一種基于層次劃分的文件處理方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種基于層次劃分的文件處理方法及系統(tǒng)，應用于計算機領(lǐng)域：上述方法包括以下步驟：分層文件系統(tǒng)調(diào)度偵測模塊按照預設(shè)策略對熱點數(shù)據(jù)進行識別，并根據(jù)識別結(jié)果，將所述熱點數(shù)據(jù)存儲至對應的存儲硬件設(shè)備。通過實施本發(fā)明的技術(shù)方案，可以同時采用不同速度的存儲設(shè)備，在操作系統(tǒng)、文件系統(tǒng)和硬件設(shè)備上劃分出快速讀取層級和一般存儲層級等幾級層次；其中快速讀取層級作為數(shù)據(jù)緩沖區(qū)，為系統(tǒng)應用提供加速讀取熱點，低速存儲層級作為數(shù)據(jù)存儲區(qū)，數(shù)據(jù)的讀取操作由低速存儲區(qū)向快速讀取區(qū)流動，從而提高傳統(tǒng)的單一層次文件系統(tǒng)帶寬和反應速度。
【專利說明】 —種基于層次劃分的文件處理方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機領(lǐng)域，尤其涉及一種基于層次劃分的文件處理方法及系統(tǒng)。
【背景技術(shù)】
[0002]信息化時代，數(shù)據(jù)存儲越來越重要，所存儲的數(shù)據(jù)要為人們所用，需要依附在文件系統(tǒng)之上；傳統(tǒng)的單一層級文件系統(tǒng)只有一種存儲介質(zhì)(通常是機械硬盤)，速度較低，在大數(shù)據(jù)頻繁訪問的情況下顯得越來越力不從心，主要有總體存儲成本高，存儲性能被浪費,難于優(yōu)化，數(shù)據(jù)可用性較低，數(shù)據(jù)遷移困難高等問題。
[0003]隨著基于PC1-E的閃存存儲設(shè)備，固態(tài)硬盤的出現(xiàn)，以及內(nèi)存容量越來越大，已經(jīng)可以實現(xiàn)對數(shù)據(jù)的更快讀取，但是高速存儲介質(zhì)價格較高，容量較小，難以達到大容量存儲的效果。

【發(fā)明內(nèi)容】

[0004]本發(fā)明提供一種基于層次劃分的文件處理方法及系統(tǒng)，以解決上述問題。
[0005]本發(fā)明提供一種基于層次劃分的文件處理方法。上述方法包括以下步驟:
[0006]分層文件系統(tǒng)調(diào)度偵測模塊按照預設(shè)策略對熱點數(shù)據(jù)進行識別，并根據(jù)識別結(jié)果，將所述熱點數(shù)據(jù)存儲至對應的存儲硬件設(shè)備。
[0007]本發(fā)明還提供一種基于層次劃分的文件處理系統(tǒng)，包括:調(diào)度偵測模塊、分級存儲模塊；調(diào)度偵測模塊與分級存儲模塊相連；
[0008]調(diào)度偵測模塊，用于按照預設(shè)策略對熱點數(shù)據(jù)進行識別，并根據(jù)識別結(jié)果，將所述熱點數(shù)據(jù)存儲至對應的分級存儲模塊。
[0009]通過實施本發(fā)明的技術(shù)方案，可以同時采用不同速度的存儲設(shè)備，在操作系統(tǒng)、文件系統(tǒng)和硬件設(shè)備上劃分出快速讀取層級和一般存儲層級等幾級層次；其中快速讀取層級作為數(shù)據(jù)緩沖區(qū)，為系統(tǒng)應用提供加速讀取熱點，低速存儲層級作為數(shù)據(jù)存儲區(qū)，數(shù)據(jù)的讀取操作由低速存儲區(qū)向快速讀取區(qū)流動，從而提高傳統(tǒng)的單一層次文件系統(tǒng)帶寬和反應速度。
【專利附圖】

【附圖說明】
[0010]此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定。在附圖中:
[0011]圖1所示為本發(fā)明的實施例1的分層文件系統(tǒng)工作原理示意圖；
[0012]圖2所示為本發(fā)明的實施例2的基于層次劃分的文件處理流程圖。
【具體實施方式】
[0013]下文中將參考附圖并結(jié)合實施例來詳細說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。[0014]本發(fā)明提供了一種基于層次劃分的文件處理方法，包括以下步驟:
[0015]分層文件系統(tǒng)調(diào)度偵測模塊按照預設(shè)策略對熱點數(shù)據(jù)進行識別，并根據(jù)識別結(jié)果，將所述熱點數(shù)據(jù)存儲至對應的存儲硬件設(shè)備。
[0016]其中，分層文件系統(tǒng)調(diào)度偵測模塊按照預設(shè)策略對熱點數(shù)據(jù)進行識別，并根據(jù)識別結(jié)果，將所述熱點數(shù)據(jù)存儲至對應的存儲硬件設(shè)備的過程為:
[0017]對于讀寫頻繁的熱點數(shù)據(jù)，由分層文件系統(tǒng)調(diào)度偵測模塊進行識別并放于分層文件系統(tǒng)熱點區(qū)即分層文件系統(tǒng)的第一層級，對應固態(tài)硬盤。
[0018]其中，系統(tǒng)數(shù)據(jù)應用調(diào)用時，由分層文件系統(tǒng)分配從熱點區(qū)進行讀取到內(nèi)存中，傳輸給該應用。
[0019]其中，分層文件系統(tǒng)調(diào)度偵測模塊按照預設(shè)策略對熱點數(shù)據(jù)進行識別，并根據(jù)識別結(jié)果，將所述熱點數(shù)據(jù)存儲至對應的存儲硬件設(shè)備的過程為:
[0020]對于讀寫不頻繁的熱點數(shù)據(jù)，由分層文件系統(tǒng)的存儲區(qū)存放即分層文件系統(tǒng)的第二層級，對應機械硬盤等低速存儲硬件設(shè)備。
[0021]其中，在系統(tǒng)數(shù)據(jù)應用調(diào)用時，由分層文件系統(tǒng)分配從存儲區(qū)進行讀取到內(nèi)存中，傳輸給該應用。
[0022]其中，設(shè)置預 設(shè)值來區(qū)分讀寫頻繁還是不頻繁:大于預設(shè)值，則認為是頻繁；小于或等于預設(shè)值，則認為是不頻繁。
[0023]圖1所示為本發(fā)明的實施例1的分層文件系統(tǒng)工作原理示意圖，如圖1所示，分層文件系統(tǒng)是在系統(tǒng)數(shù)據(jù)應用和存儲硬件設(shè)備之間。
[0024]對于讀寫頻繁的熱點數(shù)據(jù)，由分層文件系統(tǒng)調(diào)度偵測模塊進行識別并放于分層文件系統(tǒng)熱點區(qū)(分層文件系統(tǒng)的第一層級)，對應固態(tài)硬盤等高速存儲硬件設(shè)備；系統(tǒng)數(shù)據(jù)應用調(diào)用時，由分層文件系統(tǒng)分配從熱點區(qū)進行讀取到內(nèi)存中，傳輸給該應用；分層文件系統(tǒng)的第一層級，部署在內(nèi)存，固態(tài)硬盤等讀寫速度快的存儲設(shè)備上，用于存儲讀寫次數(shù)多的熱點數(shù)據(jù)，從而達到加速文件系統(tǒng)的作用
[0025]對于讀寫不頻繁的熱點數(shù)據(jù)，由分層文件系統(tǒng)的存儲區(qū)存放(分層文件系統(tǒng)的第二層級)，對應機械硬盤等低速存儲硬件設(shè)備；在系統(tǒng)數(shù)據(jù)應用調(diào)用時，由分層文件系統(tǒng)分配從存儲區(qū)進行讀取到內(nèi)存中，傳輸給該應用；分層文件系統(tǒng)的第二層級，部署在機械硬盤等讀寫速度相對較慢但容量大的存儲設(shè)備，存儲讀寫次數(shù)不多的數(shù)據(jù)，主要作為存儲數(shù)據(jù)和備份使用。
[0026]其中，可以設(shè)置預設(shè)值(例如:每分鐘讀取60次)來區(qū)分讀寫頻繁還是不頻繁--大于預設(shè)值，則認為是頻繁；小于或等于預設(shè)值，則認為是不頻繁。
[0027]分層文件系統(tǒng)的創(chuàng)新重點在將層次劃分給不同特性存儲硬件的對應，而傳統(tǒng)的文件系統(tǒng)都是單一層次的；對于硬件設(shè)備的管理可以采用既有的管理辦法。分層文件系統(tǒng)通過驅(qū)動軟件的方式識別不同特性存儲硬件，或者也可以由操作系統(tǒng)與文件系統(tǒng)軟件通訊，由操作系統(tǒng)識別硬件或分區(qū)。
[0028]分層文件系統(tǒng)集成調(diào)度偵測模塊來實現(xiàn)對數(shù)據(jù)的處理，根據(jù)系統(tǒng)數(shù)據(jù)應用讀取該數(shù)據(jù)部分的歷史記錄，區(qū)別其是否屬于熱點數(shù)據(jù)，熱點數(shù)據(jù)存放在熱點區(qū)，對應高速存儲硬件設(shè)備；也可以由用戶自行決定何為熱點數(shù)據(jù)，將熱點數(shù)據(jù)自行遷移到熱點區(qū)，為接下來的系統(tǒng)數(shù)據(jù)應用做好準備；針對較大的存儲系統(tǒng)，隨機讀寫較多，可以規(guī)定全部讀寫都要經(jīng)過熱點區(qū)，然后定期將熱點區(qū)的數(shù)據(jù)轉(zhuǎn)移到存儲區(qū)，可以提升效率。
[0029]本發(fā)明將不同特性的存儲硬件設(shè)備同時利用起來，映射為分層文件系統(tǒng)存放數(shù)據(jù)的不同層級，劃分出快速讀取層級(熱點區(qū))和一般存儲層級(存儲區(qū))，頻繁讀寫的數(shù)據(jù)從內(nèi)存中被釋放時，根據(jù)分層文件系統(tǒng)調(diào)度算法駐留在由快速讀取層級構(gòu)成的熱點區(qū)中，供系統(tǒng)數(shù)據(jù)應用再次讀取和調(diào)用；而讀寫不頻繁的數(shù)據(jù)等則從熱點區(qū)根據(jù)分層文件系統(tǒng)調(diào)度算法轉(zhuǎn)移到存儲區(qū)存儲，同時清空熱點區(qū)，繼續(xù)后面的數(shù)據(jù)讀取，從而為系統(tǒng)數(shù)據(jù)應用提供加速讀取熱點，提高文件系統(tǒng)帶寬、反應速度和利用率。
[0030]圖2所示為本發(fā)明的實施例2的基于層次劃分的文件處理流程圖，包括以下步驟:
[0031]步驟201:分層文件系統(tǒng)調(diào)度偵測模塊按照預設(shè)策略對熱點數(shù)據(jù)進行識別；
[0032]步驟202:分層文件系統(tǒng)調(diào)度偵測模塊根據(jù)識別結(jié)果，將所述熱點數(shù)據(jù)存儲至對應的存儲硬件設(shè)備。
[0033]本發(fā)明還提供了一種基于層次劃分的文件處理系統(tǒng)，包括:調(diào)度偵測模塊、分級存儲模塊；調(diào)度偵測模塊與分級存儲模塊相連；
[0034]調(diào)度偵測模塊，用于按照預設(shè)策略對熱點數(shù)據(jù)進行識別，并根據(jù)識別結(jié)果，將所述熱點數(shù)據(jù)存儲至對應的分級存儲模塊。
[0035]通過實施本發(fā)明的技術(shù)方案，可以同時采用不同速度的存儲設(shè)備，在操作系統(tǒng)、文件系統(tǒng)和硬件設(shè)備上劃分出快速讀取層級和一般存儲層級等幾級層次；其中快速讀取層級作為數(shù)據(jù)緩沖區(qū)，為系統(tǒng)應用提供加速讀取熱點，低速存儲層級作為數(shù)據(jù)存儲區(qū)，數(shù)據(jù)的讀取操作由低速存儲區(qū)向快速讀取區(qū)流動，從而提高傳統(tǒng)的單一層次文件系統(tǒng)帶寬和反應速度。
[0036]以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種基于層次劃分的文件處理方法，其特征在于，包括以下步驟: 分層文件系統(tǒng)調(diào)度偵測模塊按照預設(shè)策略對熱點數(shù)據(jù)進行識別，并根據(jù)識別結(jié)果，將所述熱點數(shù)據(jù)存儲至對應的存儲硬件設(shè)備。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于:分層文件系統(tǒng)調(diào)度偵測模塊按照預設(shè)策略對熱點數(shù)據(jù)進行識別，并根據(jù)識別結(jié)果，將所述熱點數(shù)據(jù)存儲至對應的存儲硬件設(shè)備的過程為: 對于讀寫頻繁的熱點數(shù)據(jù)，由分層文件系統(tǒng)調(diào)度偵測模塊進行識別并放于分層文件系統(tǒng)熱點區(qū)即分層文件系統(tǒng)的第一層級，對應固態(tài)硬盤。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于: 系統(tǒng)數(shù)據(jù)應用調(diào)用時，由分層文件系統(tǒng)分配從熱點區(qū)進行讀取到內(nèi)存中，傳輸給該應用。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于:分層文件系統(tǒng)調(diào)度偵測模塊按照預設(shè)策略對熱點數(shù)據(jù)進行識別，并根據(jù)識別結(jié)果，將所述熱點數(shù)據(jù)存儲至對應的存儲硬件設(shè)備的過程為: 對于讀寫不頻繁的熱點數(shù)據(jù)，由分層文件系統(tǒng)的存儲區(qū)存放即分層文件系統(tǒng)的第二層級，對應機械硬盤等低速存儲硬件設(shè)備。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于: 在系統(tǒng)數(shù)據(jù)應用調(diào)用時，由分層文件系統(tǒng)分配從存儲區(qū)進行讀取到內(nèi)存中，傳輸給該應用。
6.根據(jù)權(quán)利要求2或4所述的方法，其特征在于: 設(shè)置預設(shè)值來區(qū)分讀寫頻繁還是不頻繁:大于預設(shè)值，則認為是頻繁；小于或等于預設(shè)值，則認為是不頻繁。
7.一種基于層次劃分的文件處理系統(tǒng)，其特征在于，包括:調(diào)度偵測模塊、分級存儲模塊；調(diào)度偵測模塊與分級存儲模塊相連； 調(diào)度偵測模塊，用于按照預設(shè)策略對熱點數(shù)據(jù)進行識別，并根據(jù)識別結(jié)果，將所述熱點數(shù)據(jù)存儲至對應的分級存儲模塊。
【文檔編號】G06F3/06GK103713861SQ201410010522
【公開日】2014年4月9日 申請日期:2014年1月9日 優(yōu)先權(quán)日:2014年1月9日
【發(fā)明者】王渭巍 申請人:浪潮(北京)電子信息產(chǎn)業(yè)有限公司