專利名稱：一種基于數(shù)據(jù)容器的高性能私有云存儲節(jié)點文件系統(tǒng)設(shè)計的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及私有云存儲的節(jié)點文件系統(tǒng)，尤其是對節(jié)點數(shù)據(jù)存儲和整體文件訪問提供高性能支持。屬于云計算技術(shù)和計算機(jī)軟件技術(shù)領(lǐng)域。
背景技術(shù)：
通常私有云存儲系統(tǒng)采用分布式文件系統(tǒng)作為存儲的基礎(chǔ)。分布式文件系統(tǒng)一般采用單一中心控制節(jié)點和多個存儲節(jié)點的星型結(jié)構(gòu)或無控制節(jié)點的完全分布結(jié)構(gòu)。由于前者管理簡單、實現(xiàn)容易，所以為大多數(shù)私有云存儲系統(tǒng)所采用。在這種結(jié)構(gòu)中，控制節(jié)點負(fù)責(zé)元數(shù)據(jù)的管理，如用戶的目錄結(jié)構(gòu)、文件名和文件存儲位置的映射關(guān)系等。文件數(shù)據(jù)實際存放在某個或幾個存儲節(jié)點上。用戶訪問文件時，需要通過控制節(jié)點獲得文件的位置信息和其它信息，然后訪問存儲節(jié)點，獲得完整的文件。通常存儲節(jié)點的管理完全依賴操作系統(tǒng) 提供的文件系統(tǒng)實現(xiàn)，用戶文件或分塊或完整的作為一個文件存放到節(jié)點磁盤空間的某個目錄下，訪問文件時需要依賴文件系統(tǒng)的目錄搜索、文件定位和文件讀寫功能。當(dāng)盤空間存放的文件數(shù)量到達(dá)一定級別時，文件訪問性能會大幅下降，當(dāng)多個用戶并發(fā)訪問文件系統(tǒng)時也會出現(xiàn)更加嚴(yán)重的性能瓶頸。這是因為文件系統(tǒng)固有的設(shè)計造成的，缺少對海量文件搜索、定位、讀寫等操作及并發(fā)訪問的專門支持，影響了私有云存儲的性能。

發(fā)明內(nèi)容
針對傳統(tǒng)文件系統(tǒng)性能不足的問題，提出一種高性能的節(jié)點文件存儲系統(tǒng)的設(shè)計，滿足私有云存儲對于海量文件訪問的高性能要求。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是用戶文件數(shù)據(jù)分塊、分散存放在不同存儲節(jié)點中，在存儲節(jié)點上通過磁盤空間映射內(nèi)存文件構(gòu)造數(shù)據(jù)容器，將對磁盤的訪問從一定程度上提升為對內(nèi)存的訪問，通過并發(fā)訪問存儲節(jié)點和數(shù)據(jù)塊動態(tài)組裝機(jī)制大幅提升文件的訪問速度。本發(fā)明所述文件數(shù)據(jù)分塊分散存儲機(jī)制如下用戶文件被分割成大小固定的數(shù)據(jù)塊，由控制節(jié)點根據(jù)策略和規(guī)則確定存放在哪些存儲節(jié)點上。每個數(shù)據(jù)塊被賦予全局唯一的一個編號，每個文件對應(yīng)了一個由編號組成的數(shù)據(jù)塊表。本發(fā)明所述數(shù)據(jù)容器存放文件數(shù)據(jù)的機(jī)制如下存儲節(jié)點上的將每個磁盤空間映射為一個大型內(nèi)存文件，內(nèi)存文件按獨占模式打開成為一個數(shù)據(jù)容器。數(shù)據(jù)容器劃分為數(shù)據(jù)塊編號索引區(qū)、資源比特位圖索引表區(qū)和數(shù)據(jù)塊區(qū)三個部分。每個部分的大小在數(shù)據(jù)容器創(chuàng)建時根據(jù)可用盤空間大小生成。編號索引區(qū)由數(shù)據(jù)塊編號、長度和比特位索引值和摘要值記錄表構(gòu)成。每個比特位索引表項按其所在位映射到數(shù)據(jù)塊區(qū)的一個塊，比特位的值代表對應(yīng)的數(shù)據(jù)塊位置是否被占用。當(dāng)寫入數(shù)據(jù)塊時，存儲節(jié)點管理程序為其生成全局唯一的編號，然后搜索資源比特位圖，找到第一個未被占用的比特位，將其置位，然后將數(shù)據(jù)寫入到對應(yīng)的數(shù)據(jù)塊區(qū)。最后在編號區(qū)中搜索空的記錄項插入一條包含該數(shù)據(jù)塊編號、長度、比特位等信息的記錄。當(dāng)讀取數(shù)據(jù)塊時，首先檢索數(shù)據(jù)塊編號所在的記錄，獲得對應(yīng)的比特位，然后直接計算出比特位對應(yīng)的數(shù)據(jù)塊起始位置，根據(jù)長度讀取數(shù)據(jù)。刪除數(shù)據(jù)時，只要將對應(yīng)的比特位置清空，同時清空編號區(qū)對應(yīng)的記錄項。用戶訪問文件時將存放在某個存儲節(jié)點上的所有數(shù)據(jù)塊信息列表批量提交給該存儲節(jié)點，由數(shù)據(jù)容器根據(jù)用戶根據(jù)當(dāng)前訪問的數(shù)據(jù)塊和后續(xù)順序訪問的數(shù)據(jù)塊將對應(yīng)的磁盤數(shù)據(jù)換入內(nèi)存頁，同時數(shù)據(jù)容器總是在內(nèi)存中預(yù)取一部分空閑頁面，供新的數(shù)據(jù)塊寫入使用。這種預(yù)存取機(jī)制，可以明顯提高訪問的速度。數(shù)據(jù)容器支持多線程共享并發(fā)訪問，允許對于數(shù)據(jù)塊存儲區(qū)進(jìn)行并發(fā)訪問，對編號索引區(qū)和比特位索引區(qū)支持互斥共享。本發(fā)明所述并發(fā)訪問和文件動態(tài)組裝機(jī)制如下當(dāng)用戶訪問文件時，通過訪問控制節(jié)點獲得文件的數(shù)據(jù)塊列表和對應(yīng)的數(shù)據(jù)塊信息，由用戶端程序根據(jù)數(shù)據(jù)塊信息并發(fā)訪問各個存儲節(jié)點，獲得不同的數(shù)據(jù)塊數(shù)據(jù)，然后將數(shù)據(jù)塊組成完整的文件提交。
本發(fā)明的有益效果是提高存儲節(jié)點的數(shù)據(jù)訪問和I/O的性能，提高整個文件的訪問速度，從而提高整個分布式文件系統(tǒng)的性能。


下面結(jié)合附圖和實例對本發(fā)明做進(jìn)一步說明。圖I表示設(shè)計方案中用戶文件分塊分散存放示意圖。圖2表示設(shè)計方案中一個存儲節(jié)點的數(shù)據(jù)容器的結(jié)構(gòu)圖
具體實施例方式在圖I中，用戶文件被分成固定大小的數(shù)據(jù)塊，分別存放在兩個不同的存儲節(jié)點上。每一個數(shù)據(jù)塊被賦予了一個全局唯一的編號，在windows操作系統(tǒng)可以用UUID作為數(shù)據(jù)塊的編號。在控制節(jié)點中記錄了該文件有關(guān)信息，如文件名，數(shù)據(jù)塊編號列表，每個數(shù)據(jù)塊存放的存儲節(jié)點的標(biāo)識等。通過這些信息，可以獲得完整的文件存儲信息。在圖2中，存儲節(jié)點的一個磁盤被映射成一個數(shù)據(jù)容器。在數(shù)據(jù)容器中第一個區(qū)是數(shù)據(jù)塊編號記錄區(qū)，每個記錄由編號、長度、比特位索引值和摘要值構(gòu)成。記錄的第一位用0/1表示是否是空記錄。記錄區(qū)總數(shù)等于存放數(shù)據(jù)空間的大小除以數(shù)據(jù)塊的長度，如盤空間為2TB，每個數(shù)據(jù)塊大小為4MB，數(shù)據(jù)塊總數(shù)為512000個，記錄總數(shù)也為512000個。第二個區(qū)是比特位索引區(qū)，每個比特位根據(jù)其所在索引位置對應(yīng)于一個數(shù)據(jù)塊的位置。512000個數(shù)據(jù)塊需要512000個比特位對應(yīng)，即需要64000個字節(jié)。按照順序，第一個字節(jié)的最高比特位對應(yīng)第I個數(shù)據(jù)塊，第二字節(jié)的第2字節(jié)對應(yīng)第10個數(shù)據(jù)塊，數(shù)據(jù)塊起始位置=數(shù)據(jù)塊區(qū)的起始地址+數(shù)據(jù)塊長度X比特位索引值。比特位為O或I表示了對應(yīng)數(shù)據(jù)塊是否被占用。第三個區(qū)是數(shù)據(jù)塊存儲區(qū)，存放具體的文件數(shù)據(jù)塊。
權(quán)利要求
1.一種高性能的私有云存儲節(jié)點文件系統(tǒng)的設(shè)計方案，可有效提高節(jié)點數(shù)據(jù)的訪問性能和文件整體的訪問性能。其特征在于使用了用戶文件分塊分散存儲的機(jī)制、磁盤空間映射內(nèi)存文件的數(shù)據(jù)容器技術(shù)和并發(fā)訪問及動態(tài)文件組裝技術(shù)。
2.如權(quán)利要求I所述的文件分塊分散存儲機(jī)制，其特征在于，利用私有云存儲的分布式結(jié)構(gòu)，將用戶文件分塊、分散在不同的存儲節(jié)點上，而不以完整的文件形態(tài)存在于任何磁盤上，文件名、用戶信息、文件數(shù)據(jù)塊的分布信息存儲在控制節(jié)點上。
3.如權(quán)利要求I所述的數(shù)據(jù)容器機(jī)制，其特征在于，在存儲節(jié)點上，磁盤空間被映射為一個大型的內(nèi)存文件數(shù)據(jù)容器，數(shù)據(jù)容器分為數(shù)據(jù)塊編號索引區(qū)、資源比特位圖區(qū)和數(shù)據(jù)塊存儲區(qū)。通過編號索引可以快速定位數(shù)據(jù)塊所在位置，通過比特位圖可以迅速定位未被占用的數(shù)據(jù)塊存儲區(qū)位置。通過預(yù)存取機(jī)制，將用戶文件數(shù)據(jù)塊自動換入內(nèi)存，提高了數(shù)據(jù)的訪問效率。
4.如權(quán)利要求I所述的并發(fā)訪問盒動態(tài)組裝機(jī)制，其特征在于，文件數(shù)據(jù)塊分散存放在不同的存儲節(jié)點上。通過控制節(jié)點可獲得完整的文件數(shù)據(jù)塊信息，從而支持客戶端程序并發(fā)訪問不同的存儲節(jié)點，獲取所有的文件數(shù)據(jù)塊，然后動態(tài)組裝成完整的文件提交給用戶?？梢猿杀短岣哂脩粼L問文件的速度。
全文摘要
本發(fā)明針對傳統(tǒng)文件系統(tǒng)性能不足的問題，提出一種高性能的私有云存儲節(jié)點文件存儲系統(tǒng)的設(shè)計，滿足私有云存儲對于海量文件訪問的高性能要求。其特征在于以下幾個方面一、用戶文件數(shù)據(jù)分塊、分散存放在不同存儲節(jié)點中。二、在存儲節(jié)點上通過磁盤空間映射內(nèi)存文件構(gòu)造數(shù)據(jù)容器，將對磁盤的訪問在一定程度上提升為對內(nèi)存的訪問，從而大幅提高訪問速度。三、通過并發(fā)訪問存儲節(jié)點和數(shù)據(jù)塊動態(tài)組裝機(jī)制提升文件整體訪問速度。
文檔編號G06F17/30GK102968423SQ20121008216
公開日2013年3月13日 申請日期2012年3月27日 優(yōu)先權(quán)日2012年3月27日
發(fā)明者歐陽浩哲, 葉宇鵬, 聶乾, 陳東雨 申請人:廣州市國邁科技有限公司