一種面向scm的統(tǒng)一文件系統(tǒng)管理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于存儲(chǔ)技術(shù)領(lǐng)域，具體涉及一種SCM的文件管理技術(shù)。主要用于解決在 包含多個(gè)DIMM和PCI-E接口 NVM存儲(chǔ)設(shè)備的SCM中，如何統(tǒng)一利用不同類型存儲(chǔ)設(shè)備的存 儲(chǔ)空間、高效管理和訪問文件的問題。
【背景技術(shù)】
[0002] 隨著的多核、多線程等處理器技術(shù)的使用，計(jì)算機(jī)系統(tǒng)中快速提高的計(jì)算能力與 增長(zhǎng)緩慢的存儲(chǔ)系統(tǒng)性能之間的差距越來越顯著，形成了嚴(yán)重的存儲(chǔ)墻問題。新型非易失 存儲(chǔ)器件（NVM)具有更高的讀寫速度和集成度、以及更低的功耗和非易失性，為提高存儲(chǔ) 系統(tǒng)性能和降低能耗奠定了良好的基礎(chǔ)。新型NVM器件如MRAM等在寫壽命、讀寫速度等方 面已接近于DRAM，集成度、容量、可靠性和能耗等方面的指標(biāo)也在不斷提高中，因此NVM器 件方面的局限已不是其應(yīng)用到計(jì)算機(jī)系統(tǒng)中的主要障礙。
[0003] 存儲(chǔ)級(jí)內(nèi)存技術(shù)（SCM)是針對(duì)采用NVM后，各級(jí)存儲(chǔ)器件性能差距較小的特性，通 過統(tǒng)一管理計(jì)算機(jī)系統(tǒng)中的內(nèi)存和外存，在計(jì)算機(jī)系統(tǒng)中構(gòu)建的高速統(tǒng)一存儲(chǔ)系統(tǒng)，用于 解決計(jì)算機(jī)系統(tǒng)的存儲(chǔ)墻問題。但內(nèi)存與外存之間存在著巨大的差異；在訪問方式上，內(nèi)存 支持字節(jié)方式的訪問，而外存只能以塊的方式訪問；在讀寫速度上，外存遠(yuǎn)低于內(nèi)存；在數(shù) 據(jù)保存時(shí)間方面，基于DRAM的內(nèi)存中數(shù)據(jù)在掉電后丟失，而基于Flash和磁盤的外存中的 數(shù)據(jù)則可以在不加電的情況下長(zhǎng)期保存；這些差異使得現(xiàn)有的內(nèi)外存管理算法截然不同， 給構(gòu)建統(tǒng)一存儲(chǔ)管理系統(tǒng)帶來了巨大的挑戰(zhàn)。
[0004] 當(dāng)前研宄者主要從如何使用NVM提高存儲(chǔ)系統(tǒng)的性能和SCM存儲(chǔ)管理機(jī)制兩方 面展開了研宄。有研宄者構(gòu)建了一個(gè)基于PCM的存儲(chǔ)陣列Onyx，實(shí)驗(yàn)表明其性能遠(yuǎn)超基于 Flash的SSD。有研宄者設(shè)計(jì)了 FSMAC，利用NVM存儲(chǔ)元數(shù)據(jù)，提高文件系統(tǒng)的性能。有研宄 者使用NVM構(gòu)建了文件系統(tǒng)的緩存和緩沖，同時(shí)實(shí)現(xiàn)了文件系統(tǒng)的日志功能。有研宄者通 過分析認(rèn)為PCM最好是用來構(gòu)建分層式存儲(chǔ)系統(tǒng)或存儲(chǔ)系統(tǒng)的緩存。有研宄者使用NVM構(gòu) 建寫緩存，提高基于Flash的SSD性能。有研宄者提出了 SCM的混合視圖FRASH，它由位于 內(nèi)存及位于磁盤的數(shù)據(jù)結(jié)構(gòu)組成，為log結(jié)構(gòu)文件系統(tǒng)中位于內(nèi)存的關(guān)鍵性數(shù)據(jù)結(jié)構(gòu)提供 非易失性，能大幅降低延遲，并提高魯棒性。有研宄者針對(duì)使用SCM替換硬盤時(shí)，存在的塊 接口不能向存儲(chǔ)設(shè)備提供足夠信息的問題，設(shè)計(jì)和實(shí)現(xiàn)了基于對(duì)象的SCMs。有研宄者提出 了"原子寫"原語，將多個(gè)I/O操作組成一個(gè)邏輯組，在存儲(chǔ)設(shè)備中實(shí)現(xiàn)寫操作的原子性，減 少操作系統(tǒng)和上層應(yīng)用保證數(shù)據(jù)一致性和完整性的開銷。針對(duì)現(xiàn)有文件系統(tǒng)未考慮SCM字 節(jié)尋址和非易失性的特點(diǎn)，有研宄者利用操作系統(tǒng)中內(nèi)存管理模塊，實(shí)現(xiàn)了基于虛擬地址 空間的文件系統(tǒng)SCMFS。有研宄者針對(duì)SCM，提出了一種文件系統(tǒng)BPFS，使用短路影子分頁 (short-circuit shadow paging)技術(shù)實(shí)現(xiàn)原子和細(xì)粒度的更新，提高了文件系統(tǒng)的可靠 性及性能。有研宄者采用超級(jí)頁保存DIMM接口 NVM存儲(chǔ)設(shè)備的內(nèi)部管理信息，保證存儲(chǔ)管 理的可靠性，并采用不同大小的頁分別管理小文件和大文件，提高文件系統(tǒng)的性能。有研宄 者針對(duì)PCM設(shè)計(jì)了 Shortcut-JFS日志文件系統(tǒng)，通過僅記錄差異字節(jié)和原地創(chuàng)建檢查點(diǎn)， 減少寫操作。
[0005] 當(dāng)前將NVM應(yīng)用于構(gòu)建SCM的研宄中，主要還是用于提高現(xiàn)有存儲(chǔ)系統(tǒng)的性能和 構(gòu)建面向字節(jié)訪問特性的新型文件系統(tǒng)這兩個(gè)方面。但由于集成度和DIMM數(shù)量的限制， 使用NVM存儲(chǔ)設(shè)備構(gòu)建的大容量SCM時(shí)必然出現(xiàn)DI麗和PCI-E接口 NVM存儲(chǔ)設(shè)備并存的 情況，DMM接口和PCI-E接口在訪問方式和速度方面均存在巨大差異，現(xiàn)有的內(nèi)存和外存 管理策略均只是針對(duì)字節(jié)或塊訪問方式，無法統(tǒng)一管理不同接口類型和訪問方式的存儲(chǔ)設(shè) 備。不同文件的訪問方式也不相同，一股包含隨機(jī)和順序等訪問方式；不同文件的訪問特 性也存在差異，有的文件僅訪問很小的部分，而有的則需要訪問整個(gè)文件；同時(shí)元數(shù)據(jù)和數(shù) 據(jù)的被訪問頻率也存在很大差異；因此單一的文件管理策略難以適應(yīng)SCM中文件管理的要 求。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于設(shè)計(jì)一種面向SCM的統(tǒng)一文件系統(tǒng)，解決在包含多個(gè)DMM和 PCI-E接口 NVM存儲(chǔ)設(shè)備的SCM中，如何統(tǒng)一利用不同類型存儲(chǔ)設(shè)備的存儲(chǔ)空間、高效管理 和訪問文件的問題。
[0007] 本發(fā)明的技術(shù)方案為：
[0008] 一種面向SCM的統(tǒng)一文件系統(tǒng)管理方法，包括以下步驟：
[0009] 使用面向NVM存儲(chǔ)設(shè)備特性元數(shù)據(jù)分解與管理方法，按照不同類型NVM存儲(chǔ)設(shè)備 的特性將元數(shù)據(jù)合理分解后，分布于多個(gè)不同類型的NVM存儲(chǔ)設(shè)備中進(jìn)行存儲(chǔ)與管理，構(gòu) 建協(xié)作式元數(shù)據(jù)管理子系統(tǒng)；通過面向SCM融合式數(shù)據(jù)統(tǒng)一管理方法，設(shè)計(jì)新型的文件數(shù) 據(jù)組織方式，對(duì)文件進(jìn)行分解和分類，從而將文件數(shù)據(jù)合理分布與多個(gè)不同類型NVM存儲(chǔ) 設(shè)備中。
[0010] 進(jìn)一步，所述面向NVM存儲(chǔ)設(shè)備特性的元數(shù)據(jù)分解與管理方法包括下列步驟：
[0011] 步驟I. 1，針對(duì)DI麗和PCI-E接口 NVM存儲(chǔ)設(shè)備特性的區(qū)別，設(shè)計(jì)面向NVM存儲(chǔ)設(shè) 備特性的元數(shù)據(jù)分解方法，將文件的元數(shù)據(jù)分解為基本屬性和擴(kuò)展屬性兩類；
[0012] 步驟1. 2,針對(duì)基本屬性的特性，將基本屬性保存在DIMM接口 NVM存儲(chǔ)設(shè)備中，設(shè) 計(jì)集中式結(jié)構(gòu)化基本屬性管理方法；
[0013] 步驟1. 3,針對(duì)擴(kuò)展屬性的特性，將擴(kuò)展屬性分布到多個(gè)PCI-E接口 NVM存儲(chǔ)設(shè)備 中，設(shè)計(jì)協(xié)作式分層擴(kuò)展屬性管理方法。
[0014] 進(jìn)一步，所述步驟I. 1中面向NVM存儲(chǔ)設(shè)備特性元數(shù)據(jù)分解方法包括下列步驟：
[0015] 步驟2. 1，從文件元數(shù)據(jù)中提取文件內(nèi)部標(biāo)識(shí)、文件訪問路徑和訪問權(quán)限，并增加 位置標(biāo)識(shí)，一起作為文件的基本屬性，位置標(biāo)識(shí)的值為〇表示文件數(shù)據(jù)全部在DIMM接口 NVM 存儲(chǔ)設(shè)備中，位置標(biāo)識(shí)的值為1表示在PCI-E接口 NVM存儲(chǔ)設(shè)備中也保存部分文件數(shù)據(jù)；
[0016] 步驟2. 2,將文件元數(shù)據(jù)中其余的屬性和文件內(nèi)部標(biāo)識(shí)作為文件的擴(kuò)展屬性。
[0017] 進(jìn)一步，所述步驟1. 2中集中式結(jié)構(gòu)化基本屬性管理方法包括下列步驟：
[0018] 步驟3. 1，為每個(gè)文件的基本屬性建立一個(gè)結(jié)構(gòu)相同的結(jié)構(gòu)體，構(gòu)建文件的基本屬 性塊；
[0019] 步驟3. 2,將文件的基本屬性塊采用鏈表連接起來，構(gòu)建基本屬性塊鏈表；
[0020] 步驟3. 3,對(duì)基本屬性塊鏈表，以文件內(nèi)部標(biāo)識(shí)為關(guān)鍵字，建立基本屬性索引表。
[0021] 步驟3. 4,將所有文件的基本屬性保存在DIMM接口 NVM存儲(chǔ)設(shè)備中；
[0022] 步驟3. 5,在基本屬性塊鏈表的基礎(chǔ)上，建立和維護(hù)SCM中文件系統(tǒng)的目錄樹，提 供符合用戶使用習(xí)慣的分層目錄樹文件訪問和管理方式。
[0023] 進(jìn)一步，所述步驟1. 3中協(xié)作式分層擴(kuò)展屬性管理方法包括下列步驟：
[0024] 步驟4. 1，為每個(gè)文件建立一個(gè)結(jié)構(gòu)相同的結(jié)構(gòu)體，保存文件內(nèi)部標(biāo)識(shí)、擴(kuò)展屬性 數(shù)量和擴(kuò)展屬性地址，構(gòu)建文件的擴(kuò)展屬性塊；
[0025] 步驟4. 2,將PCI-E接口 NVM存儲(chǔ)設(shè)備中的擴(kuò)展屬性塊連接起來，在每個(gè)PCI-E接 口 NVM存儲(chǔ)設(shè)備中構(gòu)建一張擴(kuò)展屬性一級(jí)鏈表；
[0026] 步驟4. 3,再為文件中每一個(gè)擴(kuò)展屬性構(gòu)建一個(gè)結(jié)構(gòu)相同的結(jié)構(gòu)體，保存擴(kuò)展屬性 名稱、擴(kuò)展屬性的值和該文件下一個(gè)擴(kuò)展屬性的地址，構(gòu)建文件的擴(kuò)展屬性值塊；
[0027] 步驟4. 4,將文件的所有擴(kuò)張屬性值塊用鏈表連接起來，構(gòu)建屬于每個(gè)文件自己的 擴(kuò)展屬性二級(jí)鏈表，并將鏈表的首地址寫入擴(kuò)展屬性一級(jí)鏈