專利名稱：基于數(shù)據(jù)庫的海量文件管理系統(tǒng)與方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)系統(tǒng)技術(shù)領(lǐng)域，特別是分布式環(huán)境中機(jī)群系統(tǒng)內(nèi)基于數(shù)據(jù)庫的海量文件管理系統(tǒng)和方法。
背景技術(shù)：
隨著機(jī)群計(jì)算能力的迅速增長，機(jī)群的規(guī)模越來越大，并且機(jī)群內(nèi)的文件也迅速增多，本發(fā)明就是解決了諸如機(jī)群這樣的分布式系統(tǒng)中海量文件的管理方法。
隨著計(jì)算機(jī)硬件技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，通過高速網(wǎng)絡(luò)將多臺計(jì)算節(jié)點(diǎn)互相連接起來共同協(xié)作完成計(jì)算任務(wù)的方式已經(jīng)變?yōu)橐粋€(gè)主流計(jì)算模式，機(jī)群系統(tǒng)就是該計(jì)算模式的一個(gè)例子。機(jī)群系統(tǒng)以其可擴(kuò)展性好、高可用性、高性價(jià)比等等特點(diǎn)引起各大公司和研究機(jī)構(gòu)的重視，已經(jīng)成為現(xiàn)在高性能計(jì)算的主流模式。雖然機(jī)群系統(tǒng)是可擴(kuò)展的，隨著機(jī)群規(guī)模的擴(kuò)大，對機(jī)群的管理也越來越復(fù)雜，特別是目前證券，石油，生物計(jì)算等等數(shù)據(jù)密集型應(yīng)用，不僅對機(jī)群的計(jì)算能力，還對機(jī)群的海量文件管理能力都有很高的要求。因此，實(shí)現(xiàn)對海量文件的高效管理具有很大意義。
目前，出現(xiàn)了一些基于文件共享的分布式文件系統(tǒng)，比如傳統(tǒng)的網(wǎng)絡(luò)文件系統(tǒng)NFS和面向機(jī)群的機(jī)群文件系統(tǒng)。這些文件系統(tǒng)也是通過對文件數(shù)據(jù)和文件元數(shù)據(jù)的集中管理來達(dá)到共享的目的，都是采用客戶/服務(wù)器模式系統(tǒng)提供一個(gè)存儲文件數(shù)據(jù)和文件元數(shù)據(jù)的文件服務(wù)器，文件服務(wù)器響應(yīng)客戶端的讀寫文件請求，然后將數(shù)據(jù)送給客戶端，實(shí)際進(jìn)行文件操作的是文件服務(wù)器本身；系統(tǒng)內(nèi)其他節(jié)點(diǎn)作為客戶端，將文件操作請求發(fā)送給文件服務(wù)器。分布式文件系統(tǒng)的目的是文件的共享訪問，所以關(guān)鍵在于提高文件的I/O性能，針對不同的應(yīng)用特點(diǎn)有不同的需求，所以實(shí)現(xiàn)起來特別復(fù)雜。見附圖1分布式文件系統(tǒng)基本結(jié)構(gòu)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于數(shù)據(jù)庫的海量文件管理系統(tǒng)與方法。
基于數(shù)據(jù)庫的海量文件管理方法，使用數(shù)據(jù)庫技術(shù)對機(jī)群系統(tǒng)內(nèi)大量文件的元數(shù)據(jù)進(jìn)行集中管理，針對機(jī)群系統(tǒng)的海量文件，使用一種平臺無關(guān)的集中式文件元數(shù)據(jù)管理方法；使用數(shù)據(jù)庫技術(shù)來管理海量文件元數(shù)據(jù)；使用數(shù)據(jù)庫存儲文件全路徑，通過將文件全路徑分解成兩部分存儲從而大大較少了信息冗余；通過建立海量文件數(shù)據(jù)庫和物理文件之間的映射，用戶對海量文件的訪問和操作具有位置透明性。
使用一種平臺無關(guān)的文件元數(shù)據(jù)管理方法。目前，面對不同的應(yīng)用需求和不同的商業(yè)操作系統(tǒng)，出現(xiàn)各種不同類型的文件系統(tǒng)。這樣就造成分布式系統(tǒng)內(nèi)各類文件系統(tǒng)之間文件元數(shù)據(jù)管理方法的差異，這種差異導(dǎo)致了各種文件系統(tǒng)之間元數(shù)據(jù)的格式和訪問方法的不統(tǒng)一。我們提供一種平臺無關(guān)的文件元數(shù)據(jù)管理機(jī)制，屏蔽了各個(gè)平臺文件元數(shù)據(jù)之間的差別。我們使用一個(gè)文件元數(shù)據(jù)的收集裝置，該裝置可以針對不同的文件系統(tǒng)采用不同的收集辦法，并且在收集過程中將各種類型文件系統(tǒng)的文件元數(shù)據(jù)轉(zhuǎn)化為一種統(tǒng)一的格式。這樣就可以直接對這種統(tǒng)一格式的文件元數(shù)據(jù)進(jìn)行管理，從而屏蔽了個(gè)平臺之間的區(qū)別。將收集到的各個(gè)平臺的文件元數(shù)據(jù)集中存儲和管理，實(shí)現(xiàn)對文件元數(shù)據(jù)的集中式管理。并使用關(guān)系數(shù)據(jù)庫技術(shù)存儲和管理海量文件元數(shù)據(jù)。
在樹型結(jié)構(gòu)的文件系統(tǒng)中，將文件全路徑分成目錄和文件名兩部分存儲在數(shù)據(jù)庫里。
使用數(shù)據(jù)庫來組織文件元數(shù)據(jù)，給用戶提供一個(gè)文件的邏輯視圖管理。
使用數(shù)據(jù)庫存儲用戶對文件元數(shù)據(jù)的分類和管理信息，支持用戶可以脫離文件原有在目錄樹中的位置關(guān)系來管理文件。
將文件元數(shù)據(jù)和位置信息用數(shù)據(jù)庫進(jìn)行管理，建立文件元數(shù)據(jù)和文件位置信息的映射，用戶可根據(jù)文件元數(shù)據(jù)信息直接對物理文件進(jìn)行操作而無須知道文件具體位置。
該系統(tǒng)包括三部分文件元數(shù)據(jù)的收集裝置，文件元數(shù)據(jù)的存儲和管理裝置，基于數(shù)據(jù)庫的文件管理。具體實(shí)現(xiàn)如下a文件元數(shù)據(jù)的收集文件元數(shù)據(jù)中包括文件描述信息，例如文件名字、文件在目錄樹中的位置、文件大小等等。我們提供一個(gè)文件元數(shù)據(jù)收集裝置，該裝置針對不同結(jié)構(gòu)文件系統(tǒng)提供不同的收集方法?，F(xiàn)代文件系統(tǒng)目錄結(jié)構(gòu)大多都是樹型結(jié)構(gòu)，整個(gè)文件系統(tǒng)組成一個(gè)目錄樹，例如NTFS、FAT32、EXT2等等。特別是在Linux系統(tǒng)下更是提供了一個(gè)VFS，屏蔽了各種文件系統(tǒng)的區(qū)別，用戶可以使用統(tǒng)一的API來訪問掛接到系統(tǒng)上的各種文件系統(tǒng)。
以Linux系統(tǒng)為例說明文件元數(shù)據(jù)的收集過程。Linux系統(tǒng)的文件元數(shù)據(jù)存儲在一個(gè)結(jié)構(gòu)里面struct stat{dev_t st_dev；/*device*/ino_t st_ino；/*inode*/mode_tst_mode； /*protection*/nlink_t st_nlink； /*number of hard links*/uid_t st_uid；/*user ID of owner*/gid_t st_gid；/*group ID of owner*/dev_t st_rdev； /*device type(if inode device)*/off_t st_size ； /*total size，in bytes*/unsigned long st_blksize；/*blocksize for filesystem I/O*/unsigned long st_blocks ；/*number of blocks allocated*/time_tst_atime； /*time of last access*/time_tst_mtime； /*time of last modification*/}；我們使用Linux的FTW(File Tree Walk)遍歷整個(gè)文件系統(tǒng)，遍歷過程中針對遇到的每一個(gè)文件使用lstat系統(tǒng)調(diào)用獲得該文件的stat結(jié)構(gòu)，根據(jù)該結(jié)構(gòu)記錄文件的元數(shù)據(jù)信息。該裝置在系統(tǒng)中的作用見附圖2系統(tǒng)的整體結(jié)構(gòu)。
b文件元數(shù)據(jù)的存儲在步驟a里我們完成了文件元數(shù)據(jù)的收集，我們將這些元數(shù)據(jù)按照一定的格式存儲在一個(gè)數(shù)據(jù)庫里面集中管理。在樹型結(jié)構(gòu)的文件系統(tǒng)里，是按照文件的全路徑來訪問文件的，我們使用文件的全路徑來表示文件在目錄樹中的位置。但是直接將文件的全路徑存儲在數(shù)據(jù)里會浪費(fèi)存儲資源，如下列文件/usr/include/apache/ap_alloc.h/usr/include/apache/ap_compat.h/usr/include/apache/ap_config_auto.h......
如果直接將這些文件的全路徑作為關(guān)鍵字存儲，則它們共同的父目錄/usr/include/apache/則被存儲多次，引起大量沒必要的冗余。為了避免冗余，我們的發(fā)明引入一種存儲文件全路徑的方法。以Linux操作系統(tǒng)為例，方法如下在Linux操作系統(tǒng)內(nèi)，是通過二元組<device，inode>來唯一的標(biāo)識一個(gè)文件，我們將一個(gè)文件的全路徑分為兩部分存儲(以/usr/include/apache/ap_compat.h為例)，一部分是父目錄(/usr/include/apache/，如表1所示)，另外一部分是文件名字(ap_compat.h如表2所示)。這樣上述文件的存儲方法如下表1

表2

其中<目錄文件的device，目錄文件的inode>作為表1的主碼唯一地標(biāo)識一條記錄，并通過該二元組建立表1和表2的連接。該方法使得系統(tǒng)內(nèi)每一個(gè)目錄的全路徑只需要存儲一次，從而避免了冗余。
c基于數(shù)據(jù)庫的文件管理使用關(guān)系數(shù)據(jù)庫存儲機(jī)群系統(tǒng)的文件元數(shù)據(jù)(稱為機(jī)群文件信息數(shù)據(jù)庫Cluster File System Data Base，CFSDB)，可以基于CFSDB實(shí)現(xiàn)對機(jī)群文件的管理。首先，利用數(shù)據(jù)庫的高效查詢能力，用戶可以從CFSDB里快速定位一個(gè)文件。除此以外，提供文件邏輯視圖管理和文件訪問位置透明的功能；除了文件系統(tǒng)提供的有限個(gè)文件屬性外，提供“用戶自定義屬性”功能。
在機(jī)群內(nèi)部，文件的組織比較復(fù)雜，包括節(jié)點(diǎn)局部的文件系統(tǒng)和全局文件系統(tǒng)，用戶和系統(tǒng)的文件分散在各個(gè)地方，文件雖然以目錄樹結(jié)構(gòu)進(jìn)行維護(hù)和管理，但是各種分類之間的邏輯關(guān)系卻不能完全用目錄樹的結(jié)構(gòu)表達(dá)出來，因此需要一種更加靠近用戶的邏輯視圖幫助用戶對數(shù)據(jù)進(jìn)行維護(hù)?！拔募壿嬕晥D”是相對于普通的樹型文件系統(tǒng)而言的，實(shí)際的文件系統(tǒng)是樹型結(jié)構(gòu)，文件屬性的類型和文件位置在整個(gè)文件系統(tǒng)內(nèi)是固定的，但是隨著數(shù)據(jù)密集型應(yīng)用的增加，僅僅依靠文件系統(tǒng)本身提供的文件屬性已不能滿足用戶的需求，用戶需要能從用戶的角度來管理和組織文件，而不是僅僅一個(gè)目錄樹，基于數(shù)據(jù)庫的文件元數(shù)據(jù)管理滿足了用戶的這種需求，我們稱為“文件邏輯視圖”?！拔募壿嬕晥D”是將分散于機(jī)群內(nèi)部各個(gè)節(jié)點(diǎn)的文件組織成一個(gè)邏輯上統(tǒng)一的邏輯視圖提供給用戶，用戶可以對該“文件邏輯視圖”進(jìn)行文件操作，而不需要知道視圖內(nèi)文件在機(jī)群內(nèi)的具體位置?；贑FSDB我們可以提供用戶文件的邏輯視圖管理。首先，我們打破文件原來的位置關(guān)系，根據(jù)用戶需求將文件按照文件屬性進(jìn)行組織(稱為文件邏輯視圖FView)，比如，用戶可以按照時(shí)間來組織文件，將每天修改過的文件作為一個(gè)文件邏輯視圖存儲起來，然后用戶可以針對這個(gè)文件邏輯視圖進(jìn)行操作(如打包、拷貝)，而無須知道文件在機(jī)群中的具體位置。見圖3基于數(shù)據(jù)庫的文件邏輯視圖操作流程。
除了文件系統(tǒng)本身提供的文件屬性，我們提供基于數(shù)據(jù)庫的用戶自定義文件屬性管理，用戶可以定義自己的文件屬性，并可以給某文件在該屬性上賦值，用戶可以根據(jù)這些屬性對文件靈活管理。例如在商業(yè)計(jì)算環(huán)境下，用戶管理文件的時(shí)候?qū)ξ募膬?nèi)容很關(guān)心，比如用戶在月底希望根據(jù)文件的內(nèi)容進(jìn)行分類，但是在機(jī)群環(huán)境下，文件眾多并且分散，這時(shí)用戶可以定義一個(gè)“File_Content”的屬性，對涉及到的文件賦與不同的屬性值，例如web、FTP、Document等等。然后用戶就可以根據(jù)這些值對文件進(jìn)行查詢和歸類。
基于數(shù)據(jù)庫的文件管理，除了對文件信息進(jìn)行管理外，還提供對文件本身的管理。上面所述的文件邏輯視圖管理和用戶自定義屬性等等，用戶可以不關(guān)心文件具體的物理位置就直接對文件進(jìn)行操作，然后我們根據(jù)CFSDB里的文件位置信息和文件全路徑直接將文件的操作命令發(fā)送到文件所在的節(jié)點(diǎn)。通過CFSDB建立的文件元數(shù)據(jù)和物理文件的映射，用戶可以根據(jù)CFSDB的文件信息直接對物理文件進(jìn)行操作。見圖3基于數(shù)據(jù)庫的文件邏輯視圖操作流程。


圖1是傳統(tǒng)的分布式文件系統(tǒng)結(jié)構(gòu)示意圖；圖2是本發(fā)明的基于數(shù)據(jù)庫的海量文件管理系統(tǒng)的整體結(jié)構(gòu)圖；圖3是基于數(shù)據(jù)庫的文件邏輯視圖操作流程圖。
圖1中，客戶端/服務(wù)端的結(jié)構(gòu)，包括客戶端(1、2......N)、文件元數(shù)據(jù)服務(wù)器、文件數(shù)據(jù)服務(wù)器(1、2......N)三個(gè)部分。客戶端(系統(tǒng)可以有多個(gè)客戶端)通過互連網(wǎng)絡(luò)將所有的創(chuàng)建、刪除、讀寫文件的請求都發(fā)送到服務(wù)器(文件元數(shù)據(jù)與數(shù)據(jù)分別由不同的服務(wù)結(jié)點(diǎn)管理)進(jìn)行處理。實(shí)際文件操作是由文件元數(shù)據(jù)服務(wù)器和文件數(shù)據(jù)服務(wù)器來完成的。
圖2的整體結(jié)構(gòu)圖中，系統(tǒng)整體結(jié)構(gòu)由三部分組成機(jī)群文件元數(shù)據(jù)收集裝置1、文件元數(shù)據(jù)存儲和管理裝置2、客戶端3三部分。其中“機(jī)群文件元數(shù)據(jù)收集裝置1”用于將機(jī)群內(nèi)節(jié)點(diǎn)的文件元數(shù)據(jù)(包括節(jié)點(diǎn)的本地文件系統(tǒng)和盤陣4、磁帶機(jī)5上的文件)收集起來并存儲到CFSDB(Cluster File System DataBase機(jī)群文件信息數(shù)據(jù)庫)；“文件元數(shù)據(jù)存儲和管理裝置2”用于管理文件元數(shù)據(jù)的數(shù)據(jù)庫CFSDB，并響應(yīng)客戶端的文件操作請求(包括文件查詢請求、文件邏輯視圖管理請求、文件物理操作請求)。
機(jī)群文件元數(shù)據(jù)收集裝置1，用于收集機(jī)群內(nèi)節(jié)點(diǎn)的文件元數(shù)據(jù)并存儲到機(jī)群文件信息數(shù)據(jù)庫；文件元數(shù)據(jù)管理裝置2，用于管理文件元數(shù)據(jù)的數(shù)據(jù)庫并響應(yīng)客戶端的文件操作請求；客戶端3給用戶提供一個(gè)圖形界面，將用戶的文件操作請求發(fā)送到文件元數(shù)據(jù)管理裝置，其特征在于，機(jī)群文件元數(shù)據(jù)收集裝置連接于文件元數(shù)據(jù)存儲和管理裝置，文件元數(shù)據(jù)存儲和管理裝置與客戶端互相連接。
圖3是基于數(shù)據(jù)庫的文件邏輯視圖操作流程圖。該圖說明了針對“文件邏輯視圖”內(nèi)的文件進(jìn)行物理操作的流程“文件邏輯視圖”存儲在圖2里的“文件元數(shù)據(jù)存儲和管理裝置”，“文件元數(shù)據(jù)存儲和管理裝置”接收來自客戶端的針對“文件邏輯視圖”的操作指令，然后從CFSDB查詢得到該“文件邏輯視圖”所有文件的位置信息(包括節(jié)點(diǎn)號和全路徑)，根據(jù)這些位置信息將文件操作指令發(fā)送到文件所在節(jié)點(diǎn)并由這些節(jié)點(diǎn)完成文件操作指令。
基于數(shù)據(jù)庫的海量文件管理方法，其具體步驟如下第一步建立文件邏輯視圖；第二步根據(jù)邏輯視圖內(nèi)文件的屬性信息，在CFSDB內(nèi)找到該文件的位置信息；第三步根據(jù)CFSDB里所描述的文件位置信息，將物理操作指令發(fā)送到文件所在節(jié)點(diǎn)執(zhí)行；第四步每個(gè)節(jié)點(diǎn)接收并執(zhí)行本節(jié)點(diǎn)上的文件操作指令。
權(quán)利要求
1.基于數(shù)據(jù)庫的海量文件管理方法，其特征在于針對機(jī)群系統(tǒng)的海量文件管理，使用一種平臺無關(guān)的集中式文件元數(shù)據(jù)管理方法；使用數(shù)據(jù)庫技術(shù)來管理海量文件元數(shù)據(jù)；使用數(shù)據(jù)庫管理文件全路徑，通過將文件全路徑分解成兩部分存儲從而大大較少了信息冗余；通過建立海量文件數(shù)據(jù)庫和物理文件之間的映射，用戶對海量文件的訪問和操作具有位置透明性。
2.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)庫的海量文件管理方法，其特征在于使用一種平臺無關(guān)的文件元數(shù)據(jù)管理方法。
3.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)庫的海量文件管理方法，其特征在于對文件元數(shù)據(jù)的管理使用集中式管理。
4.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)庫的海量文件管理方法，其特征在于使用關(guān)系數(shù)據(jù)庫技術(shù)管理海量文件元數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)庫的海量文件管理方法，其特征在于在樹型結(jié)構(gòu)的文件系統(tǒng)中，將文件全路徑分成目錄和文件名兩部分存儲在數(shù)據(jù)庫里。
6.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)庫的海量文件管理方法，其特征在于使用數(shù)據(jù)庫來組織文件元數(shù)據(jù)，給用戶提供一個(gè)文件的邏輯視圖管理。
7.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)庫的海量文件管理方法，其特征在于使用數(shù)據(jù)庫存儲用戶對文件元數(shù)據(jù)的分類和管理信息，支持用戶可以脫離文件原有在目錄樹中的位置關(guān)系來管理文件。
8.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)庫的海量文件管理方法，其特征在于將文件元數(shù)據(jù)和位置信息用數(shù)據(jù)庫進(jìn)行管理，建立文件元數(shù)據(jù)和文件位置信息的映射，用戶可根據(jù)文件元數(shù)據(jù)信息直接對物理文件進(jìn)行操作而無須知道文件具體位置。
9.一種基于數(shù)據(jù)庫的海量文件管理系統(tǒng)，該系統(tǒng)包括機(jī)群文件元數(shù)據(jù)收集裝置、文件元數(shù)據(jù)存儲和管理裝置、客戶端，機(jī)群文件元數(shù)據(jù)收集裝置，用于收集機(jī)群內(nèi)節(jié)點(diǎn)的文件元數(shù)據(jù)并存儲到機(jī)群文件信息數(shù)據(jù)庫；文件元數(shù)據(jù)管理裝置，用于管理文件元數(shù)據(jù)的數(shù)據(jù)庫并響應(yīng)客戶端的文件操作請求；客戶端給用戶提供一個(gè)圖形界面，將用戶的文件操作請求發(fā)送到文件元數(shù)據(jù)管理裝置，其特征在于，機(jī)群文件元數(shù)據(jù)收集裝置連接于文件元數(shù)據(jù)存儲和管理裝置，文件元數(shù)據(jù)存儲和管理裝置與客戶端互相連接。
10.根據(jù)權(quán)利要求9的基于數(shù)據(jù)庫的海量文件管理系統(tǒng)，其特征在于，機(jī)群文件元數(shù)據(jù)收集裝置收集的機(jī)群內(nèi)節(jié)點(diǎn)的文件元數(shù)據(jù)包括節(jié)點(diǎn)的本地文件系統(tǒng)和盤陣、磁帶機(jī)上的文件。
11.根據(jù)權(quán)利要求1的基于數(shù)據(jù)庫的海量文件管理方法，其具體步驟如下第一步建立文件邏輯視圖；第二步根據(jù)邏輯視圖內(nèi)文件的屬性信息，在CFSDB內(nèi)找到該文件的位置信息；第三步根據(jù)CFSDB里所描述的文件位置信息，將物理操作指令發(fā)送到文件所在節(jié)點(diǎn)執(zhí)行；第四步每個(gè)節(jié)點(diǎn)接收并執(zhí)行本節(jié)點(diǎn)上的文件操作指令。
全文摘要
本發(fā)明涉及機(jī)群系統(tǒng)的基于數(shù)據(jù)庫的海量文件管理系統(tǒng)和方法，該系統(tǒng)包括機(jī)群文件元數(shù)據(jù)收集裝置、文件元數(shù)據(jù)存儲和管理裝置、客戶端。方法涉及到下列內(nèi)容使用一種獨(dú)立于機(jī)群節(jié)點(diǎn)文件系統(tǒng)的文件元數(shù)據(jù)管理辦法；在文件元數(shù)據(jù)的管理中引入數(shù)據(jù)庫技術(shù)，用戶能夠在海量文件中快速查找和定位所需要的文件；在數(shù)據(jù)庫里存儲文件的位置信息，使用戶只通過數(shù)據(jù)庫就可以訪問文件本身；針對于目前的樹型結(jié)構(gòu)文件系統(tǒng)，實(shí)現(xiàn)一種將文件全路徑分成兩部分存儲的方法來減少冗余；實(shí)現(xiàn)一種獨(dú)立于物理文件的文件邏輯視圖管理方法。
文檔編號G06F17/30GK1547137SQ20031011689
公開日2004年11月17日 申請日期2003年12月2日 優(yōu)先權(quán)日2003年12月2日
發(fā)明者武林平, 劉淘英, 孟丹 申請人:中國科學(xué)院計(jì)算技術(shù)研究所