專利名稱：動(dòng)態(tài)分級存儲系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)存儲技術(shù)領(lǐng)域，特別涉及一種動(dòng)態(tài)分級存儲系統(tǒng)和方法。
背景技術(shù)：
隨著存儲和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)存儲容量成指數(shù)級增長。企業(yè)級的存儲用戶希望數(shù)據(jù)具有更高的可靠性，并且能夠持續(xù)訪問企業(yè)服務(wù)器管理的數(shù)據(jù)；同時(shí)，存儲服務(wù)器的系統(tǒng)管理員也希望有更高效率的存儲管理策略。在企業(yè)級存儲服務(wù)器的使用過程中，系統(tǒng)管理員希望存儲資源能夠動(dòng)態(tài)調(diào)節(jié)，而不是在開始使用時(shí)就要預(yù)見某個(gè)存儲資源在未來可能需要的容量。在某個(gè)存儲資源即將耗盡時(shí)，能夠在線擴(kuò)容，保證數(shù)據(jù)的可持續(xù)性訪問。為此，出現(xiàn)了一些磁盤管理方法，如邏輯卷管理(Logical VolumeManager, LVM) 等，它們使得磁盤的管理更加靈活，讓使用者可以根據(jù)需要對磁盤存儲按照組的方式即西寧命名、管理和分配，從而提高了存儲管理的效率。但是，目前的磁盤存儲方式，對于經(jīng)常使用的文件和數(shù)據(jù)以及不經(jīng)常或使用的文件和數(shù)據(jù)，都是存放在一類磁盤中，因此那部分不經(jīng)常使用的文件和數(shù)據(jù)同樣也占據(jù)著一定的磁盤存儲資源，不僅造成了資源的浪費(fèi)，增加了磁盤硬件成本，而且在也降低了磁盤的訪問速度，影響系統(tǒng)整體的性能。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種動(dòng)態(tài)分級存儲系統(tǒng)和方法，以解決現(xiàn)有的磁盤存儲方式造成的成本高、訪問速度慢的問題。本發(fā)明提出一種動(dòng)態(tài)分級存儲系統(tǒng)，包括至少二個(gè)存儲區(qū)、熱點(diǎn)分析單元以及重定位單元。每個(gè)存儲區(qū)均設(shè)置有表示放置級別的標(biāo)識，所述放置級別的高低表示所述存儲區(qū)磁盤介質(zhì)性能的高低；熱點(diǎn)分析單元與存儲區(qū)相連，用于計(jì)算文件的訪問熱度，其中文件訪問熱度的高低對應(yīng)存儲區(qū)放置級別的高低；重定位單元分別與熱點(diǎn)分析單元以及所有的存儲區(qū)相連，用于根據(jù)文件的訪問熱度，依次將文件存入對應(yīng)放置級別的存儲區(qū)。進(jìn)一步的，所述的動(dòng)態(tài)分級存儲系統(tǒng)，其還包括排序單元和規(guī)則定制單元。排序單元用于列出所有文件的列表，并按訪問時(shí)間或修改時(shí)間對文件進(jìn)行排序；規(guī)則定制單元分別與所述排序單元以及重定位單元相連，用于根據(jù)排序結(jié)果確定訪問熱度的計(jì)算規(guī)則。進(jìn)一步的，所述的動(dòng)態(tài)分級存儲系統(tǒng)，其還包括資源分配單元，與所述存儲區(qū)相連，用于分配各個(gè)存儲區(qū)的存儲資源。進(jìn)一步的，所述存儲區(qū)包括至少一個(gè)一級存儲區(qū)和至少一個(gè)二級存儲區(qū)，所述一級存儲區(qū)具有高性能的磁盤介質(zhì)，所述二級存儲區(qū)具有高性價(jià)比的磁盤介質(zhì)。本發(fā)明另提出一種動(dòng)態(tài)分級存儲方法，包括以下步驟A、設(shè)置至少二個(gè)存儲區(qū)，每個(gè)存儲區(qū)均設(shè)置有表示放置級別的標(biāo)識，所述放置級別的高低表示所述存儲區(qū)磁盤介質(zhì)性能的高低；
B、計(jì)算文件的訪問熱度，其中文件訪問熱度的高低對應(yīng)存儲區(qū)放置級別的高低；C、根據(jù)文件的訪問熱度，依次將文件存入對應(yīng)放置級別的存儲區(qū)。進(jìn)一步的，步驟B中，計(jì)算文件的訪問熱度包括以下步驟Bi，列出所有文件的列表；B2，按訪問時(shí)間或修改時(shí)間對文件進(jìn)行排序；B3，根據(jù)排序結(jié)果確定訪問熱度的計(jì)算規(guī)則；B4，通過計(jì)算規(guī)則計(jì)算文件的訪問熱度。進(jìn)一步的，步驟C包括步驟Cl、判斷同一訪問熱度的文件大小與對應(yīng)放置級別的存儲區(qū)容量是否匹配，若是則進(jìn)入C3，若否則進(jìn)入C2;C2、重新分配對應(yīng)存儲區(qū)的存儲資源；C3、根據(jù)文件的訪問熱度，依次將文件存入對應(yīng)放置級別的存儲區(qū)。進(jìn)一步的，所述存儲區(qū)包括至少一個(gè)一級存儲區(qū)和至少一個(gè)二級存儲區(qū)，所述一級存儲區(qū)具有高性能的磁盤介質(zhì)，所述二級存儲區(qū)具有高性價(jià)比的磁盤介質(zhì)。本發(fā)明的有益效果是本發(fā)明的動(dòng)態(tài)分級存儲系統(tǒng)和方法通過對存儲空間中文件的定期重定位，將經(jīng)常被訪問的文件(熱點(diǎn)數(shù)據(jù))存放在高性能、高成本的存儲區(qū)中，而長期不被訪問的文件(非熱點(diǎn)數(shù)據(jù))存放在性價(jià)比高、成本低的存儲區(qū)中，相對于現(xiàn)有技術(shù)， 更合理地利用了磁盤資源，降低了硬件購置成本，同時(shí)將高性能磁盤中的非熱點(diǎn)數(shù)據(jù)分割出去后，更有利于對熱點(diǎn)數(shù)據(jù)訪問速度的提升，提高系統(tǒng)整體性能。


圖1為本發(fā)明動(dòng)態(tài)分級存儲系統(tǒng)的一種實(shí)施例結(jié)構(gòu)圖；圖2為一種文件系統(tǒng)的存儲空間重定位前的示意圖；圖3為圖2中文件系統(tǒng)的存儲空間重定位后的示意圖；圖4為一個(gè)具有IOTB聯(lián)機(jī)存儲的數(shù)據(jù)中心，純粹基于存儲硬件的成本比較的示意圖；圖5為本發(fā)明動(dòng)態(tài)分級存儲系統(tǒng)的另一種實(shí)施例結(jié)構(gòu)圖；圖6為本發(fā)明動(dòng)態(tài)分級存儲方法的一種實(shí)施例流程圖；圖7為本發(fā)明訪問熱度計(jì)算過程的一種實(shí)施例流程圖；圖8為本發(fā)明遷移系統(tǒng)文件時(shí)的一種實(shí)施例流程圖。
具體實(shí)施例方式以下結(jié)合附圖，具體說明本發(fā)明。請參見圖1，其為本發(fā)明動(dòng)態(tài)分級存儲系統(tǒng)的一種實(shí)施例結(jié)構(gòu)圖，其包括多個(gè)存儲區(qū)11、熱點(diǎn)分析單元12以及重定位單元13。每個(gè)存儲區(qū)11均設(shè)置有表示放置級別的標(biāo)識， 所述放置級別的高低表示所述存儲區(qū)11磁盤介質(zhì)性能的高低；熱點(diǎn)分析單元12與存儲區(qū) 11相連，用于計(jì)算文件的訪問熱度，這里所述的訪問熱度是指文件的被使用頻度或受關(guān)注程度，其中文件訪問熱度的高低對應(yīng)存儲區(qū)放置級別的高低；重定位單元13分別與熱點(diǎn)分析單元12以及所有的存儲區(qū)11相連，用于根據(jù)文件的訪問熱度，依次將文件存入對應(yīng)放置級別的存儲區(qū)11。本發(fā)明的目的是參照系統(tǒng)文件的訪問熱度實(shí)現(xiàn)文件的自動(dòng)遷移，從而使存儲區(qū)的分配更加合理，釋放更多的存儲資源。下面舉例說明其運(yùn)作過程請參見圖2，某文件系統(tǒng)的存儲空間分為一級存儲區(qū)和二級存儲區(qū)，“一級”和“二級”即為這兩個(gè)存儲區(qū)的放置級別，一級存儲區(qū)為性能高、成本高的磁盤介質(zhì)，二級存儲區(qū)為性價(jià)比較高、成本較低的磁盤介質(zhì)。文件初期都被儲存在一級存儲區(qū)中，在一段時(shí)間后， 一些文件卻長期不被使用，圖中空心的小方塊21表示長期不被使用的文件(本發(fā)明中也稱之為非熱點(diǎn)數(shù)據(jù))，實(shí)心的小方塊22表示經(jīng)常被使用的文件(本發(fā)明中也稱之為熱點(diǎn)數(shù)據(jù))，這些不被使用的文件仍然占據(jù)著高性能的磁盤空間，造成資源的浪費(fèi)，同時(shí)也會影響對其它文件的訪問。因此，熱點(diǎn)分析單元12便會定時(shí)對兩個(gè)存儲區(qū)中的文件進(jìn)行分析，計(jì)算它們的訪問熱度，然后由重定位單元13自動(dòng)對它們進(jìn)行重分配。即將訪問熱度低的文件(空心的小方塊21)遷移到二級存儲區(qū)，訪問熱度高的文件(實(shí)心的小方塊2 遷移到一級存儲區(qū)，重新分配后的存儲空間就形成了如圖3所示的新的格局。由于二級存儲區(qū)相對于一級存儲區(qū)的磁盤介質(zhì)的成本較低，因而將空心的小方塊 21遷移到二級存儲區(qū)后，一級存儲區(qū)中原來存放空心的小方塊21的地方就可以用來存放實(shí)心的小方塊22或者新寫入的文件，這樣便更充分地利用了高價(jià)的磁盤空間，并可以釋放出一定的存儲資源。特別對于企業(yè)級的存儲器，其要求長時(shí)間運(yùn)作，以及很高的MTBF(Mean TimeBefore failure，平均故障時(shí)間)。采用本發(fā)明的存儲系統(tǒng)可以大大提高穩(wěn)定性和硬件購置成本。例如，假設(shè)某企業(yè)的儲存器由質(zhì)量最好一級存儲區(qū)和質(zhì)量中等的二級存儲區(qū)構(gòu)成，質(zhì)量最好的企業(yè)存儲硬件每GB花費(fèi)20美元，而質(zhì)量中等的存儲區(qū)每GB花費(fèi)10美元， 則若其聯(lián)機(jī)數(shù)據(jù)中有50%的數(shù)據(jù)為非熱點(diǎn)數(shù)據(jù)并保存在在質(zhì)量中等的存儲區(qū)上，那么相對于全部保存在質(zhì)量最好的存儲區(qū)上，節(jié)省25%的存儲采購成本。且非熱點(diǎn)數(shù)據(jù)越多，越節(jié)省成本。圖4表述的是對一個(gè)具有IOTB聯(lián)機(jī)存儲的數(shù)據(jù)中心，純粹基于存儲硬件的成本比較。由此可見，采用本發(fā)明的存儲系統(tǒng)可以為企業(yè)帶來很大的利益。實(shí)際上，因?yàn)榇鎯臻g配置不同，造成的成本差額甚至更大，比如儲存空間還可以基于不同的訪問熱度，劃分為一級、二級、三級存儲區(qū)，甚至更多，而相對應(yīng)的，就必須制定訪問熱度的相應(yīng)劃分規(guī)則。 當(dāng)然，使用者可以根據(jù)本身經(jīng)驗(yàn)來設(shè)定訪問熱度的計(jì)算規(guī)則，但相對地會缺少一些客觀性和準(zhǔn)確性。鑒于此，本發(fā)明提供了另一種動(dòng)態(tài)分級存儲系統(tǒng)的實(shí)施例結(jié)構(gòu)圖，如圖5所示，其包括多個(gè)存儲區(qū)11、熱點(diǎn)分析單元12、重定位單元13、排序單元51、規(guī)則定制單元52以及資源分配單元53。熱點(diǎn)分析單元12與存儲區(qū)11相連，重定位單元13分別與熱點(diǎn)分析單元12以及所有的存儲區(qū)11相連，排序單元51與存儲區(qū)11相連，規(guī)則定制單元52分別與排序單元51及重定位單元13相連，資源分配單元53與存儲區(qū)11相連。其中，存儲區(qū)11、 熱點(diǎn)分析單元12和重定位單元13的作用與圖1的實(shí)施例中所述的相同，此處不再贅述。排序單元51和規(guī)則定制單元52的作用即為定制訪問熱度的計(jì)算規(guī)則，排序單元 51會針對存儲區(qū)11中的所有文件進(jìn)行列表，并按訪問時(shí)間或修改時(shí)間對文件進(jìn)行排序。規(guī)則定制單元52便可以根據(jù)排序結(jié)果確定訪問熱度的計(jì)算規(guī)則。例如，根據(jù)排序結(jié)果分析顯示75 %的文件已經(jīng)有30天或超過30天未被訪問，則30天可以是一個(gè)比較合適的向下重定位閥值，即30天內(nèi)被訪問過的文件定義為熱點(diǎn)數(shù)據(jù)，超過30天未被訪問的文件定義為非熱點(diǎn)數(shù)據(jù)。當(dāng)然，若不同放置級別的存儲區(qū)11大于等于三個(gè)，則也可以分別以20天、30天、40 天等時(shí)間為界限將存儲區(qū)11中文件的訪問熱度劃分為一級訪問熱度、二級訪問熱度、三級訪問熱度等，以與各個(gè)存儲區(qū)相對應(yīng)。此外，資源分配單元53用于分配各個(gè)存儲區(qū)的存儲資源，以最大化地運(yùn)用系統(tǒng)存儲資源。例如，如果25%的文件被判斷為熱點(diǎn)數(shù)據(jù)(已在最近30天內(nèi)訪問)，但這25%文件只占一級存儲區(qū)的10%，則有必要對存儲資源進(jìn)行重新分配，將一級存儲區(qū)的部分空間劃分出來用于存儲其它數(shù)據(jù)。相反，如果熱點(diǎn)數(shù)據(jù)占總文件系統(tǒng)存儲容量的百分比大于一級存儲區(qū)的可用百分比，則某些熱點(diǎn)數(shù)據(jù)就必然占用二級存儲空間，此時(shí)就需要增大一級存儲空間的容量分配。而這些根據(jù)文件大小來調(diào)配各個(gè)存儲區(qū)容量的工作便是由資源分配單元53來完成的。相應(yīng)于上述系統(tǒng)，本發(fā)明還提出一種動(dòng)態(tài)分級存儲方法，如圖6所示，其包括以下步驟S61，設(shè)置至少二個(gè)存儲區(qū)，每個(gè)存儲區(qū)均設(shè)置有表示放置級別的標(biāo)識，所述放置級別的高低表示所述存儲區(qū)磁盤介質(zhì)性能的高低。例如，某文件系統(tǒng)的存儲空間分為一級存儲區(qū)和二級存儲區(qū)，“一級”和“二級”即為這兩個(gè)存儲區(qū)的放置級別，一級存儲區(qū)為性能高、成本高的磁盤介質(zhì)，二級存儲區(qū)為性價(jià)比較高、成本較低的磁盤介質(zhì)。S62，計(jì)算文件的訪問熱度，其中文件訪問熱度的高低對應(yīng)存儲區(qū)放置級別的高低。這里所述的訪問熱度是指文件的被使用頻度或受關(guān)注程度。本發(fā)明要實(shí)現(xiàn)的是將經(jīng)常被訪問的文件存放到高性能的存儲區(qū)中，而長期不被訪問的文件存放到性價(jià)比較高、成本相對較低的存儲區(qū)中，以提高存儲資源的利用率以及降低硬件購置成本，因此訪問熱度與放置級別相對應(yīng)。S63，根據(jù)文件的訪問熱度，依次將文件存入對應(yīng)放置級別的存儲區(qū)。比如訪問熱度高的、經(jīng)常被訪問的文件存入性能高的一級存儲區(qū)，訪問熱度低的、長期不被訪問的文件存入成本低的二級存儲區(qū)。在動(dòng)態(tài)分級存儲策略中，計(jì)算文件的訪問熱度是一個(gè)關(guān)鍵部分，其決定了什么是熱點(diǎn)數(shù)據(jù)，什么是非熱點(diǎn)數(shù)據(jù)，好的計(jì)算規(guī)則有利于更加有效地使用存儲空間。，請參見圖 7，本發(fā)明優(yōu)選的訪問熱度計(jì)算過程(即步驟S6》包括以下步驟S71，列出所有文件的列表。S72，按訪問時(shí)間或修改時(shí)間對文件進(jìn)行排序。S73，根據(jù)排序結(jié)果確定訪問熱度的計(jì)算規(guī)則。S74，通過計(jì)算規(guī)則計(jì)算文件的訪問熱度。例如，根據(jù)排序結(jié)果分析顯示75%的文件已經(jīng)有30天或超過30天未被訪問，則 30天可以是一個(gè)比較合適的向下重定位閥值，即“計(jì)算規(guī)則”就可以定位為30天內(nèi)被訪問過的文件定義為熱點(diǎn)數(shù)據(jù)，超過30天未被訪問的文件定義為非熱點(diǎn)數(shù)據(jù)。當(dāng)然，若不同放置級別的存儲區(qū)大于等于三個(gè)，則也可以分別以20天、30天、40天等時(shí)間為界限將存儲區(qū)中文件的訪問熱度劃分為一級訪問熱度、二級訪問熱度、三級訪問熱度等，以與各個(gè)存儲區(qū)相對應(yīng)。此外，為了更合理地利用存儲資源，降低硬件購置成本，本發(fā)明還可以在遷移各存儲區(qū)中文件的時(shí)候，根據(jù)各存儲區(qū)待存文件的大小，對各個(gè)存儲區(qū)的容量進(jìn)行重分配，如圖 8所示，其包括以下步驟S81，判斷同一訪問熱度的文件大小與對應(yīng)放置級別的存儲區(qū)容量是否匹配，若是則進(jìn)入步驟S83，若否則進(jìn)入步驟S82。S82，重新分配對應(yīng)存儲區(qū)的存儲資源。S83，根據(jù)文件的訪問熱度，依次將文件存入對應(yīng)放置級別的存儲區(qū)。例如，如果25%的文件被判斷為熱點(diǎn)數(shù)據(jù)(已在最近30天內(nèi)訪問)，但這25%文件只占一級存儲區(qū)的10%，則有必要對存儲資源進(jìn)行重新分配，將一級存儲區(qū)的部分空間劃分出來用于存儲其它數(shù)據(jù)。相反，如果熱點(diǎn)數(shù)據(jù)占總文件系統(tǒng)存儲容量的百分比大于一級存儲區(qū)的可用百分比，則某些熱點(diǎn)數(shù)據(jù)就必然占用二級存儲空間，此時(shí)就需要增大一級存儲空間的容量分配。以上公開的僅為本發(fā)明的幾個(gè)具體實(shí)施例，但本發(fā)明并非局限于此，任何本領(lǐng)域的技術(shù)人員能思之的變化，只要不超出所附權(quán)利要求書所述范圍，都應(yīng)落在本發(fā)明的保護(hù)范圍內(nèi)。
權(quán)利要求
1.一種動(dòng)態(tài)分級存儲系統(tǒng)，其特征在于，包括至少二個(gè)存儲區(qū)，每個(gè)存儲區(qū)均設(shè)置有表示放置級別的標(biāo)識，所述放置級別的高低表示所述存儲區(qū)磁盤介質(zhì)性能的高低；一熱點(diǎn)分析單元，與存儲區(qū)相連，用于計(jì)算文件的訪問熱度，其中文件訪問熱度的高低對應(yīng)存儲區(qū)放置級別的高低；一重定位單元，分別與熱點(diǎn)分析單元以及所有的存儲區(qū)相連，用于根據(jù)文件的訪問熱度，依次將文件存入對應(yīng)放置級別的存儲區(qū)。
2.如權(quán)利要求1所述的動(dòng)態(tài)分級存儲系統(tǒng)，其特征在于，其還包括一排序單元，用于列出所有文件的列表，并按訪問時(shí)間或修改時(shí)間對文件進(jìn)行排序； 一規(guī)則定制單元，分別與所述排序單元以及重定位單元相連，用于根據(jù)排序結(jié)果確定訪問熱度的計(jì)算規(guī)則。
3.如權(quán)利要求1所述的動(dòng)態(tài)分級存儲系統(tǒng)，其特征在于，其還包括一資源分配單元，與所述存儲區(qū)相連，用于分配各個(gè)存儲區(qū)的存儲資源。
4.如權(quán)利要求1所述的動(dòng)態(tài)分級存儲系統(tǒng)，其特征在于，所述存儲區(qū)包括至少一個(gè)一級存儲區(qū)和至少一個(gè)二級存儲區(qū)，所述一級存儲區(qū)具有高性能的磁盤介質(zhì)，所述二級存儲區(qū)具有高性價(jià)比的磁盤介質(zhì)。
5.一種動(dòng)態(tài)分級存儲方法，其特征在于，包括以下步驟A、設(shè)置至少二個(gè)存儲區(qū)，每個(gè)存儲區(qū)均設(shè)置有表示放置級別的標(biāo)識，所述放置級別的高低表示所述存儲區(qū)磁盤介質(zhì)性能的高低；B、計(jì)算文件的訪問熱度，其中文件訪問熱度的高低對應(yīng)存儲區(qū)放置級別的高低；C、根據(jù)文件的訪問熱度，依次將文件存入對應(yīng)放置級別的存儲區(qū)。
6.如權(quán)利要求5所述的動(dòng)態(tài)分級存儲方法，其特征在于，步驟B中，計(jì)算文件的訪問熱度包括以下步驟Bi，列出所有文件的列表； B2，按訪問時(shí)間或修改時(shí)間對文件進(jìn)行排序； B3，根據(jù)排序結(jié)果確定訪問熱度的計(jì)算規(guī)則； B4，通過計(jì)算規(guī)則計(jì)算文件的訪問熱度。
7.如權(quán)利要求5所述的動(dòng)態(tài)分級存儲方法，其特征在于，步驟C包括步驟Cl、判斷同一訪問熱度的文件大小與對應(yīng)放置級別的存儲區(qū)容量是否匹配，若是則進(jìn)入C3，若否則進(jìn)入C2 ；C2、重新分配對應(yīng)存儲區(qū)的存儲資源；C3、根據(jù)文件的訪問熱度，依次將文件存入對應(yīng)放置級別的存儲區(qū)。
8.如權(quán)利要求5所述的動(dòng)態(tài)分級存儲方法，其特征在于，所述存儲區(qū)包括至少一個(gè)一級存儲區(qū)和至少一個(gè)二級存儲區(qū)，所述一級存儲區(qū)具有高性能的磁盤介質(zhì)，所述二級存儲區(qū)具有高性價(jià)比的磁盤介質(zhì)。
全文摘要
本發(fā)明提出一種動(dòng)態(tài)分級存儲系統(tǒng)和方法，其系統(tǒng)包括至少二個(gè)存儲區(qū)、熱點(diǎn)分析單元以及重定位單元。每個(gè)存儲區(qū)均設(shè)置有表示放置級別的標(biāo)識，所述放置級別的高低表示所述存儲區(qū)磁盤介質(zhì)性能的高低；熱點(diǎn)分析單元與存儲區(qū)相連，用于計(jì)算文件的訪問熱度，其中文件訪問熱度的高低對應(yīng)存儲區(qū)放置級別的高低；重定位單元分別與熱點(diǎn)分析單元以及所有的存儲區(qū)相連，用于根據(jù)文件的訪問熱度，依次將文件存入對應(yīng)放置級別的存儲區(qū)。本發(fā)明可以更合理地利用磁盤存儲資源，降低硬件的購置成本。
文檔編號G06F12/08GK102411542SQ20111033013
公開日2012年4月11日 申請日期2011年10月26日 優(yōu)先權(quán)日2011年10月26日
發(fā)明者盧寶豐, 安然, 談川玉 申請人:上海文廣互動(dòng)電視有限公司