一種基于不同存儲介質(zhì)的分離式文件系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于不同存儲介質(zhì)的分離式文件系統(tǒng)，不同存儲介質(zhì)包括非易失的小粒度讀寫的介質(zhì)和非易失的大粒度讀寫的介質(zhì)，非易失的小粒度讀寫的介質(zhì)與內(nèi)存總線相連，非易失的大粒度讀寫的介質(zhì)與I/O總線相連；非易失的小粒度讀寫的介質(zhì)用于存儲文件系統(tǒng)的元數(shù)據(jù)，非易失的大粒度讀寫的介質(zhì)用于存儲文件系統(tǒng)的數(shù)據(jù)；非易失的小粒度讀寫的介質(zhì)上，文件系統(tǒng)對元數(shù)據(jù)的操作使用小粒度的讀寫，非易失的大粒度讀寫的介質(zhì)上，文件系統(tǒng)對數(shù)據(jù)的操作使用大粒度的讀寫。本發(fā)明將文件系統(tǒng)的元數(shù)據(jù)放在非易失的小粒度讀寫的介質(zhì)上，且非易失的小粒度讀寫的介質(zhì)與內(nèi)存總線相連，加快了元數(shù)據(jù)操作的速度，能夠有效地改善文件系統(tǒng)一致性和持久性的問題。
【專利說明】—種基于不同存儲介質(zhì)的分離式文件系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機存儲系統(tǒng)【技術(shù)領(lǐng)域】，更具體地，涉及一種基于不同存儲介質(zhì)的分離式文件系統(tǒng)。
【背景技術(shù)】
[0002]通常存儲介質(zhì)的容量與其訪問延時成正比，容量越大的訪問延時越長。因此計算機體系結(jié)構(gòu)中常常提供多級別的存儲層次。目前，一般是采用磁存儲技術(shù)來實現(xiàn)大容量的存儲，最常用的是硬盤(Hard Disk Drive，HDD)，其讀寫延遲久，讀寫粒度大。文件系統(tǒng)在訪問作為外設(shè)的HDD時，會消耗很多的時間，降低整體的性能。另外，為保持文件系統(tǒng)的一致性和持久性，文件系統(tǒng)會利用一些機制，比如日志、copy-on-write等,對系統(tǒng)整體的性能帶來不利影響。
[0003]為了提高計算機整體的性能，做了很多的研究。固態(tài)盤的問世更是提供了一個契機。一系列的混合存儲方案被提出。其中主流的方案有兩種:如圖1(a)所示，一種方案采用讀寫快的介質(zhì)作為讀寫慢的介質(zhì)的緩存，比如采用固態(tài)盤作為緩存，即固態(tài)盤作為磁盤的緩存，將經(jīng)常訪問的數(shù)據(jù)緩存在固態(tài)盤里，為提高這種存儲方案中固態(tài)盤的命中率，相繼出現(xiàn)了一系列優(yōu)化緩存的策略；如圖1(b)所示，另一種方案采用讀寫快的介質(zhì)與讀寫慢的介質(zhì)作為混合存儲，以固態(tài)盤和硬盤為例，數(shù)據(jù)唯一的存儲在固態(tài)盤或硬盤中，數(shù)據(jù)存在固態(tài)盤或是硬盤中的選擇算法根據(jù)性能偏重點不同也有多種。所有方案中由于引進了固態(tài)盤，在讀取文件數(shù)據(jù)的速度上有所改進，但對于寫以及頻繁修改的訪問性能優(yōu)化不高，特別是對于無規(guī)律的小文件更新，為了保證文件系統(tǒng)的一致性和持久性要花費大量的時間來更新寫回元數(shù)據(jù)，還由于器件本身的因素會有大量的額外寫。

【發(fā)明內(nèi)容】

[0004]針對現(xiàn)有技術(shù)的以上缺陷，本發(fā)明提供了一種新的混合存儲方案和基于這種混合存儲的分離式文件系統(tǒng)，其目的在于減少為保持文件系統(tǒng)一致性和持久性而帶來的性能消耗，提高查詢元數(shù)據(jù)以及更新元數(shù)據(jù)的速度，由此解決了額外寫，性能下降的技術(shù)問題。
[0005]為實現(xiàn)上述目的，本發(fā)明提供了一種基于不同存儲介質(zhì)的分離式文件系統(tǒng)，所述不同存儲介質(zhì)包括非易失的小粒度讀寫的介質(zhì)和非易失的大粒度讀寫的介質(zhì)，其中，所述非易失的小粒度讀寫的介質(zhì)與內(nèi)存總線相連，所述非易失的大粒度讀寫的介質(zhì)與I/o總線相連；所述非易失的小粒度讀寫的介質(zhì)用于存儲文件系統(tǒng)的元數(shù)據(jù)，所述非易失的大粒度讀寫的介質(zhì)用于存儲文件系統(tǒng)的數(shù)據(jù)；在非易失的小粒度讀寫的介質(zhì)上，文件系統(tǒng)對元數(shù)據(jù)的操作使用小粒度的讀寫，在非易失的大粒度讀寫的介質(zhì)上，文件系統(tǒng)對數(shù)據(jù)的操作使用大粒度的讀寫。
[0006]作為本發(fā)明的進一步改進，所述文件系統(tǒng)周期性將存儲在所述非易失的小粒度讀寫的介質(zhì)上的元數(shù)據(jù)拷貝到所述非易失的大粒度讀寫的介質(zhì)上。
[0007]作為本發(fā)明的進一步優(yōu)選，若文件系統(tǒng)可以將非易失的小粒度讀寫的介質(zhì)與內(nèi)存作為混合存儲，即系統(tǒng)識別非易失的小粒度讀寫的介質(zhì)作為內(nèi)存，則文件系統(tǒng)直接在非易失的小粒度讀寫的介質(zhì)上運行文件系統(tǒng)，對元數(shù)據(jù)直接創(chuàng)建、更新和刪除。
[0008]作為本發(fā)明的進一步優(yōu)選，若文件系統(tǒng)不能將非易失的小粒度讀寫的介質(zhì)與內(nèi)存混合，即系統(tǒng)不能識別非易失的小粒度讀寫的介質(zhì)作為內(nèi)存，則非易失的小粒度讀寫的介質(zhì)中的元數(shù)據(jù)需要調(diào)入內(nèi)存中進行操作，元數(shù)據(jù)經(jīng)內(nèi)存總線在非易失的小粒度讀寫的介質(zhì)和內(nèi)存之間進行調(diào)入和寫回。
[0009]作為本發(fā)明的進一步優(yōu)選，所述非易失的小粒度讀寫的介質(zhì)為磁性隨機訪問存儲器，阻變隨機訪問存儲器或者相變存儲器。
[0010]作為本發(fā)明的進一步優(yōu)選，所述非易失的大粒度讀寫的介質(zhì)為固態(tài)盤或硬盤。
[0011]具體地，所述文件系統(tǒng)的元數(shù)據(jù)是指管理空間的數(shù)據(jù)結(jié)構(gòu)和文件系統(tǒng)中文件的元數(shù)據(jù)以及目錄樹結(jié)構(gòu)，或者僅為管理空間分配的數(shù)據(jù)結(jié)構(gòu)。
[0012]總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，由于將文件系統(tǒng)的元數(shù)據(jù)放在了非易失的小粒度讀寫的介質(zhì)上，且所述非易失的小粒度讀寫的介質(zhì)與內(nèi)存總線相連，加快了元數(shù)據(jù)操作的速度，能夠有效地改善文件系統(tǒng)一致性和持久性的問題；由于元數(shù)據(jù)可以小粒度的更新，解決了目前存儲體系中額外寫的問題，提高了整個系統(tǒng)的效率；并且由于文件系統(tǒng)周期性將文件系統(tǒng)的元數(shù)據(jù)備份到非易失的大粒度讀寫的介質(zhì)上，當(dāng)元數(shù)據(jù)頻繁操作導(dǎo)致系統(tǒng)出錯時，數(shù)據(jù)不會丟失，可以輕松地轉(zhuǎn)移，具有高可靠性。
【專利附圖】

【附圖說明】
[0013]圖1是目前典型的混合存儲架構(gòu)；
[0014]圖2是一種典型的基于不同存儲介質(zhì)的混合架構(gòu)；
[0015]圖3是一種典型的文件系統(tǒng)物理布局圖；
[0016]圖4是一種典型架構(gòu)中對文件系統(tǒng)元數(shù)據(jù)的處理。
【具體實施方式】
[0017]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
[0018]首先，對本發(fā)明中一些名詞和術(shù)語進行解釋:
[0019]大粒度與小粒度:大粒度一般為頁或塊的大小，目前主流的非易失大粒度讀寫的介質(zhì)是固態(tài)盤和硬盤；小粒度一般是按字節(jié)讀寫的，目前討論比較多的非易失小粒度讀寫的介質(zhì)是相變存儲器、磁性隨機訪問存儲器和阻變隨機訪問存儲器；
[0020]文件系統(tǒng)元數(shù)據(jù):根據(jù)不同的需求，文件系統(tǒng)元數(shù)據(jù)的范圍可大可小，可以是指管理空間的數(shù)據(jù)結(jié)構(gòu)和文件系統(tǒng)中文件的元數(shù)據(jù)以及目錄樹結(jié)構(gòu)，也可以只有管理空間分配的數(shù)據(jù)結(jié)構(gòu)，以EXT2為例，文件系統(tǒng)的元數(shù)據(jù)可以指超級塊、數(shù)據(jù)塊位圖、inode位圖、inode表、目錄的數(shù)據(jù)塊，如果非易失的小粒度讀寫的介質(zhì)與非易失的大粒度讀寫的介質(zhì)容量比很小，或是非易失的小粒度讀寫的介質(zhì)的容量很小，或是系統(tǒng)不能兼容足夠容量的非易失小粒度讀寫的介質(zhì)，文件系統(tǒng)的元數(shù)據(jù)范圍可以縮小，可以指超級塊、塊組描述符、inode位圖、數(shù)據(jù)塊位圖、inode表；
[0021]文件系統(tǒng)的數(shù)據(jù):指除了文件系統(tǒng)元數(shù)據(jù)以外的部分，范圍根據(jù)文件系統(tǒng)元數(shù)據(jù)的范圍可大可小，同樣以EXT2為例，如果非易失小粒度讀寫的介質(zhì)容量足夠，文件系統(tǒng)的數(shù)據(jù)可只包括文件的內(nèi)容，若非易失的小粒度讀寫的介質(zhì)容量不足，文件系統(tǒng)的數(shù)據(jù)可包括數(shù)據(jù)塊，即目錄或文件的內(nèi)容。
[0022]本發(fā)明提供了一種基于不同存儲介質(zhì)的分離式文件系統(tǒng)，所述不同存儲介質(zhì)包括非易失的小粒度讀寫的介質(zhì)和非易失的大粒度讀寫的介質(zhì)，其中:
[0023]非易失的小粒度讀寫的介質(zhì)與內(nèi)存總線相連；
[0024]非易失的大粒度讀寫的介質(zhì)與I/O總線相連。
[0025]其中，非易失的小粒度讀寫的介質(zhì)讀寫延遲小，如磁性隨機訪問存儲器(MagneticRandom Access Memory, MRAM)、阻變隨機訪問存儲器(ResistiveRandomAccessMemory，RRAM)、相變存儲器(Phase Change Memory, PCM)等；非易失的大粒度讀寫的介質(zhì)讀寫延遲大,如固態(tài)盤、硬盤等。
[0026]在所述文件系統(tǒng)中:
[0027]文件系統(tǒng)的元數(shù)據(jù)放在非易失的小粒度讀寫的介質(zhì)上；
[0028]文件系統(tǒng)的數(shù)據(jù)放在非易失的大粒度讀寫的介質(zhì)上；
[0029]在非易失的小粒度讀寫的介質(zhì)上，文件系統(tǒng)對元數(shù)據(jù)的操作使用小粒度的讀寫，在非易失的大粒度讀寫的介質(zhì)上，文件系統(tǒng)對數(shù)據(jù)的操作使用大粒度的讀寫。
[0030]其中，若系統(tǒng)可以識別非易失的小粒度讀寫的介質(zhì)作為內(nèi)存的一部分，則文件系統(tǒng)對位于非易失小粒度讀寫介質(zhì)上的元數(shù)據(jù)采用就地操作。
[0031]若系統(tǒng)不能識別非易失的小粒度讀寫的介質(zhì)作為內(nèi)存的一部分，則文件系統(tǒng)將位于非易失小粒度讀寫介質(zhì)上的元數(shù)據(jù)調(diào)入內(nèi)存。
[0032]對元數(shù)據(jù)的讀操作分為兩種，其一為大粒度讀，例如文件系統(tǒng)初始化，以及替換文件系統(tǒng)的緩存時，采用大粒度的讀，大粒度的讀一般以內(nèi)存管理的單位相同，比如頁；其二為小粒度的讀，例如文件系統(tǒng)在查找過程中讀取inode時，采用小粒度的讀，小粒度讀一般為字節(jié)級。對元數(shù)據(jù)的寫操作，采用寫直達法，且為小粒度的寫，小粒度寫的單位與小粒度讀的單位相同。
[0033]在所述文件系統(tǒng)中，存儲在所述非易失的小粒度讀寫的介質(zhì)上的元數(shù)據(jù)會周期性備份到非易失的大粒度讀寫的介質(zhì)上。
[0034]下面設(shè)非易失小粒度讀寫的介質(zhì)為磁性隨機訪問存儲器(Magnetic RandomAccess Memory, MRAM),非易失大粒度讀寫的介質(zhì)為固態(tài)盤(Solid State Disk, SSD),以EXT2為藍本，設(shè)有兩個塊組，文件系統(tǒng)的元數(shù)據(jù)指超級塊、數(shù)據(jù)塊位圖、inode位圖、inode表和目錄的內(nèi)容，文件系統(tǒng)的數(shù)據(jù)指文件的內(nèi)容。則混合存儲的結(jié)構(gòu)見圖2，其中，MRAM為非易失的小粒度讀寫的介質(zhì)，與內(nèi)存總線相連，SSD為非易失的大粒度讀寫的介質(zhì)，與1/0總線相連。文件系統(tǒng)的布局見圖3，MRAM作為非易失的小粒度讀寫的介質(zhì)，存放文件系統(tǒng)的元數(shù)據(jù)，包括塊組O和塊組I的元數(shù)據(jù)，每個塊組的元數(shù)據(jù)包括超級塊、組描述符、數(shù)據(jù)塊位圖、inode位圖、inode表、存放目錄內(nèi)容的數(shù)據(jù)塊；SSD作為非易失的大粒度讀寫的介質(zhì)，存放塊組O和塊組I的數(shù)據(jù)，數(shù)據(jù)為存放在塊組里文件的內(nèi)容。
[0035]假設(shè)系統(tǒng)可以識別MRAM，將MRAM作為內(nèi)存的一部分，下面結(jié)合上述例子對本發(fā)明進行具體的說明。
[0036]在所述例子中，新的混合存儲結(jié)構(gòu)包括:
[0037]MRAM與內(nèi)存總線相連；
[0038]SSD與I/O總線相連。
[0039]MRAM與SSD作為混合存儲，并在其上建立新的文件系統(tǒng)。
[0040]在新的文件系統(tǒng)中:
[0041]文件系統(tǒng)的元數(shù)據(jù)放在MRAM上；
[0042]文件系統(tǒng)的數(shù)據(jù)放在SSD上；
[0043]如圖4所示，文件系統(tǒng)對元數(shù)據(jù)的操作直接在MRAM上運行；
[0044]對元數(shù)據(jù)的創(chuàng)建、更新、刪除、查找等操作，直接就地操作，無中轉(zhuǎn)介質(zhì)；
[0045]對元數(shù)據(jù)的創(chuàng)建、更新、刪除等操作中，寫的粒度與更新DRAM的粒度相同。
[0046]文件系統(tǒng)會周期性將MRAM上的數(shù)據(jù)拷貝到SSD上，當(dāng)MRAM損壞，或是將數(shù)據(jù)轉(zhuǎn)移時，可以直接將SSD轉(zhuǎn)移到另一臺機器上。
[0047]上述的方案，可以有效地解決或是改善文件系統(tǒng)一致性和持久性的問題，減少額外寫的量，提高了整個系統(tǒng)的效率，并具有高可靠性。
[0048]本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種基于不同存儲介質(zhì)的分離式文件系統(tǒng)，其特征在于，所述不同存儲介質(zhì)包括非易失的小粒度讀寫的介質(zhì)和非易失的大粒度讀寫的介質(zhì)，其中，所述非易失的小粒度讀寫的介質(zhì)與內(nèi)存總線相連，所述非易失的大粒度讀寫的介質(zhì)與I/O總線相連；所述非易失的小粒度讀寫的介質(zhì)用于存儲文件系統(tǒng)的元數(shù)據(jù)，所述非易失的大粒度讀寫的介質(zhì)用于存儲文件系統(tǒng)的數(shù)據(jù)；在非易失的小粒度讀寫的介質(zhì)上，文件系統(tǒng)對元數(shù)據(jù)的操作使用小粒度的讀寫，在非易失的大粒度讀寫的介質(zhì)上，文件系統(tǒng)對數(shù)據(jù)的操作使用大粒度的讀寫。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述文件系統(tǒng)周期性將存儲在所述非易失的小粒度讀寫的介質(zhì)上的元數(shù)據(jù)拷貝到所述非易失的大粒度讀寫的介質(zhì)上。
3.如權(quán)利要求1或2所述的系統(tǒng)，其特征在于，若文件系統(tǒng)可以將非易失的小粒度讀寫的介質(zhì)與內(nèi)存作為混合存儲，即系統(tǒng)識別非易失的小粒度讀寫的介質(zhì)作為內(nèi)存，則文件系統(tǒng)直接在非易失的小粒度讀寫的介質(zhì)上運行文件系統(tǒng)，對元數(shù)據(jù)直接創(chuàng)建、更新和刪除。
4.如權(quán)利要求1或2所述的系統(tǒng)，其特征在于，若文件系統(tǒng)不能將非易失的小粒度讀寫的介質(zhì)與內(nèi)存混合，即系統(tǒng)不能識別非易失的小粒度讀寫的介質(zhì)作為內(nèi)存，則非易失的小粒度讀寫的介質(zhì)中的元數(shù)據(jù)需要調(diào)入內(nèi)存中進行操作，元數(shù)據(jù)經(jīng)內(nèi)存總線在非易失的小粒度讀寫的介質(zhì)和內(nèi)存之間進行調(diào)入和寫回。
5.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述非易失的小粒度讀寫的介質(zhì)為磁性隨機訪問存儲器，阻變隨機訪問存儲器或者相變存儲器。
6.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述非易失的大粒度讀寫的介質(zhì)為固態(tài)盤或硬盤。
7.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述文件系統(tǒng)的元數(shù)據(jù)是指管理空間的數(shù)據(jù)結(jié)構(gòu)和文件系統(tǒng)中文件的元數(shù)據(jù)以及目錄樹結(jié)構(gòu)，或者僅為管理空間分配的數(shù)據(jù)結(jié)構(gòu)。
【文檔編號】G06F17/30GK103902669SQ201410097343
【公開日】2014年7月2日 申請日期:2014年3月17日 優(yōu)先權(quán)日:2014年3月17日
【發(fā)明者】曹強, 吳思, 譚詩詩, 錢璐, 萬勝剛 申請人:華中科技大學(xué)