專利名稱：一種檢查機(jī)群文件系統(tǒng)中垃圾文件的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)垃圾文件處理技術(shù)領(lǐng)域，更確切地說是涉及一種對(duì)元數(shù)據(jù)和數(shù)據(jù)分散存儲(chǔ)的機(jī)群文件系統(tǒng)中的垃圾文件進(jìn)行檢查的方法。
背景技術(shù)：
采用控制和存儲(chǔ)分散的機(jī)群文件系統(tǒng)在處理文件的過程中，往往會(huì)由于各種原因出現(xiàn)各種各樣的垃圾文件。這種結(jié)構(gòu)的機(jī)群文件系統(tǒng)需要處理的數(shù)據(jù)包括元數(shù)據(jù)和數(shù)據(jù)兩種。元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，其中包括文件的相關(guān)信息，比如文件名、屬主、大小、權(quán)限、創(chuàng)建時(shí)間、訪問時(shí)間、修改時(shí)間等；數(shù)據(jù)則是指文件的實(shí)際內(nèi)容。文件的元數(shù)據(jù)保存在元數(shù)據(jù)服務(wù)器中，用文件元數(shù)據(jù)表示；文件的數(shù)據(jù)則分成幾個(gè)部分，保存在多個(gè)存儲(chǔ)服務(wù)器上，即每個(gè)存儲(chǔ)服務(wù)器上有一個(gè)文件數(shù)據(jù)。這樣，針對(duì)文件元數(shù)據(jù)的操作由元數(shù)據(jù)服務(wù)器集中控制，針對(duì)文件數(shù)據(jù)的操作則由多個(gè)存儲(chǔ)服務(wù)器并行控制。
在這種分布式的文件處理中，文件分別存儲(chǔ)在元數(shù)據(jù)服務(wù)器和存儲(chǔ)服務(wù)器中，如果客戶要?jiǎng)h除某個(gè)文件，則需要向元數(shù)據(jù)服務(wù)器發(fā)出刪除請(qǐng)求，元數(shù)據(jù)服務(wù)器首先把這個(gè)文件對(duì)應(yīng)的文件元數(shù)據(jù)刪除，然后通知存儲(chǔ)服務(wù)器刪除該文件對(duì)應(yīng)的文件數(shù)據(jù)，其他存儲(chǔ)服務(wù)器收到該刪除命令后，刪除該文件對(duì)應(yīng)的文件數(shù)據(jù)。
但是，在該文件的刪除過程中，如果元數(shù)據(jù)服務(wù)器或存儲(chǔ)服務(wù)器出現(xiàn)異常，則可能造成刪除操作沒有完整地被執(zhí)行。比如，元數(shù)據(jù)服務(wù)器中的文件元數(shù)據(jù)已被刪除，但存儲(chǔ)服務(wù)器中的文件數(shù)據(jù)卻沒有被刪除。也就是說，如果元數(shù)據(jù)服務(wù)器中沒有與存儲(chǔ)服務(wù)器中文件數(shù)據(jù)對(duì)應(yīng)的文件元數(shù)據(jù)，則認(rèn)為存儲(chǔ)服務(wù)器中的文件數(shù)據(jù)為垃圾文件。如此長(zhǎng)期積累，就會(huì)形成大量的垃圾文件，從而浪費(fèi)存儲(chǔ)空間。因此，對(duì)垃圾文件的處理非常重要，但是，目前用于檢查文件系統(tǒng)正確性、完整性和一致性的文件系統(tǒng)檢查(FSCK)工具中，還沒有對(duì)此種元數(shù)據(jù)和數(shù)據(jù)分離存儲(chǔ)的機(jī)群文件系統(tǒng)中的垃圾文件進(jìn)行檢查的方法。
對(duì)于用于解決大規(guī)模科學(xué)計(jì)算環(huán)境中的并行I/O問題的聯(lián)想機(jī)群文件系統(tǒng)(LCFS)來說，其中的元數(shù)據(jù)與數(shù)據(jù)也是分離存儲(chǔ)的，LCFS同樣存在垃圾文件的處理問題。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于提供一種檢查機(jī)群文件系統(tǒng)中垃圾文件的方法，以方便、徹底地找出機(jī)群文件系統(tǒng)中的垃圾文件。
為達(dá)到以上目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的一種檢查機(jī)群文件系統(tǒng)中垃圾文件的方法，該機(jī)群文件系統(tǒng)中文件的元數(shù)據(jù)保存在元數(shù)據(jù)服務(wù)器中，文件的數(shù)據(jù)保存在存儲(chǔ)服務(wù)器中，該方法包括以下步驟a.在文件數(shù)據(jù)中設(shè)置文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息；b.在檢查垃圾文件時(shí)，獲取存儲(chǔ)服務(wù)器中的文件數(shù)據(jù)所對(duì)應(yīng)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息；c.判斷元數(shù)據(jù)服務(wù)器中是否存在與該文件元數(shù)據(jù)唯一標(biāo)識(shí)信息對(duì)應(yīng)的文件元數(shù)據(jù)，如果存在，則確定存儲(chǔ)服務(wù)器所保存的文件數(shù)據(jù)不是垃圾文件，否則，確定該文件數(shù)據(jù)是垃圾文件。
所述步驟a中，所述唯一標(biāo)識(shí)信息為文件元數(shù)據(jù)的索引節(jié)點(diǎn)號(hào)。
所述檢查垃圾文件由元數(shù)據(jù)存儲(chǔ)器執(zhí)行；所述步驟b在獲取存儲(chǔ)服務(wù)器中的文件數(shù)據(jù)所對(duì)應(yīng)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息之前，元數(shù)據(jù)服務(wù)器向存儲(chǔ)服務(wù)器發(fā)送用于查找文件數(shù)據(jù)的查找命令，存儲(chǔ)服務(wù)器收到查找命令后，執(zhí)行獲取存儲(chǔ)服務(wù)器中的文件數(shù)據(jù)對(duì)應(yīng)文件元數(shù)據(jù)唯一標(biāo)識(shí)信息的步驟。
所述文件數(shù)據(jù)保存在存儲(chǔ)服務(wù)器中專門用于保存文件數(shù)據(jù)的數(shù)據(jù)目錄下，并將該數(shù)據(jù)目錄的路徑信息保存在配置文件中；所述步驟b在獲取存儲(chǔ)服務(wù)器中的文件數(shù)據(jù)所對(duì)應(yīng)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息之前，進(jìn)一步包括根據(jù)配置文件中保存的路徑信息確定存儲(chǔ)服務(wù)器的數(shù)據(jù)目錄。
所述步驟c之后進(jìn)一步包括報(bào)告與該文件元數(shù)據(jù)唯一標(biāo)識(shí)信息對(duì)應(yīng)的所有文件數(shù)據(jù)為垃圾文件。
所述步驟c之后進(jìn)一步包括向所有存儲(chǔ)服務(wù)器發(fā)送包含該文件元數(shù)據(jù)唯一標(biāo)識(shí)信息的刪除命令，所有存儲(chǔ)服務(wù)器收到刪除命令后，查找出自身保存的文件數(shù)據(jù)中與該唯一標(biāo)識(shí)信息對(duì)應(yīng)的所有文件數(shù)據(jù)，并刪除該文件數(shù)據(jù)。
所述文件數(shù)據(jù)保存在存儲(chǔ)服務(wù)器中專門用于保存文件數(shù)據(jù)的數(shù)據(jù)目錄下；該方法進(jìn)一步包括在數(shù)據(jù)目錄下設(shè)置與文件元數(shù)據(jù)唯一標(biāo)識(shí)信息對(duì)應(yīng)的子目錄，并在該子目錄中保存與該文件元數(shù)據(jù)唯一標(biāo)識(shí)信息對(duì)應(yīng)的文件數(shù)據(jù)；所述存儲(chǔ)服務(wù)器查找與唯一標(biāo)識(shí)信息對(duì)應(yīng)的文件數(shù)據(jù)為根據(jù)該唯一標(biāo)識(shí)信息確定對(duì)應(yīng)的子目錄，并獲取該子目錄中保存的文件數(shù)據(jù)。
該方法還可以進(jìn)一步包括將與文件元數(shù)據(jù)唯一標(biāo)識(shí)信息對(duì)應(yīng)的子目錄的目錄名設(shè)置為哈希表的索引值，所述索引值根據(jù)該唯一標(biāo)識(shí)信息及哈希函數(shù)確定。
所述哈希函數(shù)可以為取模函數(shù)。
本發(fā)明方案通過在文件數(shù)據(jù)中設(shè)置對(duì)應(yīng)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息，以通過文件數(shù)據(jù)查找對(duì)應(yīng)的文件元數(shù)據(jù)，并將沒有查找出文件元數(shù)據(jù)與之對(duì)應(yīng)的那些文件數(shù)據(jù)作為垃圾文件，實(shí)現(xiàn)了機(jī)群文件系統(tǒng)中文件元數(shù)據(jù)與文件數(shù)據(jù)的高度一致性，從而保證了機(jī)群文件系統(tǒng)的完整性和一致性，使得包括LCFS在內(nèi)的分離存儲(chǔ)數(shù)據(jù)的機(jī)群文件系統(tǒng)具有更好的高可用性。本發(fā)明方案還可以刪除所查找出的垃圾文件，進(jìn)而節(jié)約了系統(tǒng)的存儲(chǔ)空間。
另外，本發(fā)明方案還可以作為FSCK工具的一個(gè)子功能，進(jìn)一步完善了FSCK。


圖1為本發(fā)明實(shí)施例的實(shí)現(xiàn)流程圖。
具體實(shí)施例方式
本發(fā)明方案可以用在所有將文件的元數(shù)據(jù)與數(shù)據(jù)分離保存在不同存儲(chǔ)器的機(jī)群文件系統(tǒng)，下面以在LCFS中運(yùn)用該方案為例。
由于LCFS對(duì)數(shù)據(jù)通過元數(shù)據(jù)服務(wù)器和存儲(chǔ)服務(wù)器進(jìn)行分散控制，因此LCFS的垃圾文件檢查技術(shù)需要在LCFS的元數(shù)據(jù)服務(wù)器端和存儲(chǔ)服務(wù)器端實(shí)現(xiàn)。下面結(jié)合圖1及具體實(shí)施例對(duì)本發(fā)明方案作進(jìn)一步詳細(xì)的說明。
步驟101、在文件數(shù)據(jù)中設(shè)置對(duì)應(yīng)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息。
具體來說，由于每個(gè)文件元數(shù)據(jù)都有一個(gè)唯一與之對(duì)應(yīng)的索引節(jié)點(diǎn)號(hào)，因此可以在文件數(shù)據(jù)中設(shè)置文件元數(shù)據(jù)的索引節(jié)點(diǎn)號(hào)。這樣，就可以根據(jù)文件數(shù)據(jù)中的索引節(jié)點(diǎn)號(hào)確定對(duì)應(yīng)的文件元數(shù)據(jù)，同時(shí)，文件元數(shù)據(jù)也可以根據(jù)該索引節(jié)點(diǎn)號(hào)快速地查找到與自身對(duì)應(yīng)的文件數(shù)據(jù)。
當(dāng)然，為便于查找，可以將該索引節(jié)點(diǎn)號(hào)直接設(shè)置在文件數(shù)據(jù)的文件名中。
步驟102、將文件元數(shù)據(jù)保存在元數(shù)據(jù)服務(wù)器中。
步驟103、將文件數(shù)據(jù)保存在存儲(chǔ)服務(wù)器中，并保存文件數(shù)據(jù)所在目錄的路徑信息。
存儲(chǔ)服務(wù)器是將所有的文件數(shù)據(jù)都保存在一個(gè)專門用于保存文件數(shù)據(jù)的數(shù)據(jù)(data)目錄下。該data目錄的路徑信息可以保存在存儲(chǔ)服務(wù)器的配置文件中。
通過步驟103的設(shè)置，在存儲(chǔ)服務(wù)器上查找相應(yīng)的文件數(shù)據(jù)時(shí)，首先通過配置文件獲取文件數(shù)據(jù)的目錄路徑，然后再根據(jù)該目錄路徑從存儲(chǔ)服務(wù)器中獲取對(duì)應(yīng)的文件數(shù)據(jù)。
在經(jīng)過上述三個(gè)步驟的設(shè)置后，還需要通過下述步驟來檢查垃圾文件步驟104～107、元數(shù)據(jù)服務(wù)器在檢查垃圾文件時(shí)，獲取每個(gè)存儲(chǔ)服務(wù)器所保存的文件數(shù)據(jù)對(duì)應(yīng)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息，并判斷自身是否存在與該唯一標(biāo)識(shí)信息對(duì)應(yīng)的文件元數(shù)據(jù)，如果存在，則確定該文件數(shù)據(jù)不是垃圾文件，否則，確定該文件數(shù)據(jù)為垃圾文件。
元數(shù)據(jù)服務(wù)器在檢查垃圾文件時(shí)，可以先向存儲(chǔ)服務(wù)器發(fā)送用于查找文件數(shù)據(jù)的查找命令，該查找命令中包括各個(gè)存儲(chǔ)服務(wù)器用于保存data目錄路徑信息的配置文件的文件名。存儲(chǔ)服務(wù)器在收到該查找命令后，則根據(jù)該查找命令中攜帶的配置文件名確定data目錄的路徑，并查找data目錄中的文件數(shù)據(jù)。如果元數(shù)據(jù)服務(wù)器所發(fā)送的查找命令中沒有包括該配置文件，則存儲(chǔ)服務(wù)器在收到查找命令后，默認(rèn)自身保存data目錄路徑的配置文件為該查找命令所對(duì)應(yīng)的配置文件。
重復(fù)執(zhí)行上述步驟104，即可從機(jī)群文件系統(tǒng)中查找出所有的垃圾文件。
當(dāng)然，元數(shù)據(jù)服務(wù)器在確定某個(gè)文件數(shù)據(jù)是垃圾文件時(shí)，即可認(rèn)為與該文件數(shù)據(jù)對(duì)應(yīng)文件元數(shù)據(jù)所對(duì)應(yīng)的所有文件數(shù)據(jù)都是垃圾文件。元數(shù)據(jù)服務(wù)器還可以向用戶報(bào)告這些文件數(shù)據(jù)為垃圾文件，用戶則可以對(duì)該垃圾文件進(jìn)行處理，比如，刪除該垃圾文件。
元數(shù)據(jù)服務(wù)器也可以直接刪除該垃圾文件，具體來說，元數(shù)據(jù)服務(wù)器在確定某個(gè)文件數(shù)據(jù)為垃圾文件時(shí)，即向所有的存儲(chǔ)服務(wù)器都發(fā)送包含該文件數(shù)據(jù)對(duì)應(yīng)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息的刪除命令，所有存儲(chǔ)服務(wù)器收到該刪除命令后，查找出與刪除命令中的唯一標(biāo)識(shí)信息對(duì)應(yīng)的所有文件數(shù)據(jù)，并刪除這些文件數(shù)據(jù)。
上述存儲(chǔ)服務(wù)器刪除垃圾文件需要首先查找與刪除命令中攜帶的文件元數(shù)據(jù)唯一標(biāo)識(shí)信息，也即，存儲(chǔ)服務(wù)器需要根據(jù)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息在所有的文件數(shù)據(jù)中查找出與該唯一標(biāo)識(shí)信息對(duì)應(yīng)的文件數(shù)據(jù)，這種查找方法顯然比較麻煩。
為便于檢查，還可以在data目錄下設(shè)置多個(gè)用于保存文件數(shù)據(jù)的子目錄，并將這些子目錄設(shè)置為與文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息對(duì)應(yīng)。具體設(shè)置時(shí)，可以將每個(gè)子目錄名都設(shè)置為哈希表的索引值，而該索引值可以根據(jù)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息與哈希函數(shù)確定，或者說，是將文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息作為哈希函數(shù)的鍵值。這樣，存儲(chǔ)服務(wù)器在根據(jù)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息從所有文件數(shù)據(jù)中查找對(duì)應(yīng)的文件數(shù)據(jù)時(shí)，就可以直接根據(jù)該唯一標(biāo)識(shí)信息及哈希函數(shù)確定對(duì)應(yīng)子目錄的索引值，然后在該子目錄中獲取所要查找的文件數(shù)據(jù)。這里，所采用的哈希函數(shù)可以是最簡(jiǎn)單的取模函數(shù)。
以上所述僅為本發(fā)明方案的較佳實(shí)施例，并不用以限定本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種檢查機(jī)群文件系統(tǒng)中垃圾文件的方法，機(jī)群文件系統(tǒng)中文件的元數(shù)據(jù)保存在元數(shù)據(jù)服務(wù)器中，文件的數(shù)據(jù)保存在存儲(chǔ)服務(wù)器中，其特征在于，該方法包括以下步驟a.在文件數(shù)據(jù)中設(shè)置文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息；b.在檢查垃圾文件時(shí)，獲取存儲(chǔ)服務(wù)器中的文件數(shù)據(jù)所對(duì)應(yīng)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息；c.判斷元數(shù)據(jù)服務(wù)器中是否存在與該文件元數(shù)據(jù)唯一標(biāo)識(shí)信息對(duì)應(yīng)的文件元數(shù)據(jù)，如果存在，則確定存儲(chǔ)服務(wù)器所保存的文件數(shù)據(jù)不是垃圾文件，否則，確定該文件數(shù)據(jù)是垃圾文件。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于所述步驟a中，所述唯一標(biāo)識(shí)信息為文件元數(shù)據(jù)的索引節(jié)點(diǎn)號(hào)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述檢查垃圾文件由元數(shù)據(jù)存儲(chǔ)器執(zhí)行；所述步驟b在獲取存儲(chǔ)服務(wù)器中的文件數(shù)據(jù)所對(duì)應(yīng)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息之前，元數(shù)據(jù)服務(wù)器向存儲(chǔ)服務(wù)器發(fā)送用于查找文件數(shù)據(jù)的查找命令，存儲(chǔ)服務(wù)器收到查找命令后，執(zhí)行獲取存儲(chǔ)服務(wù)器中的文件數(shù)據(jù)對(duì)應(yīng)文件元數(shù)據(jù)唯一標(biāo)識(shí)信息的步驟。
4.根據(jù)權(quán)利要求1或3所述的方法，其特征在于，所述文件數(shù)據(jù)保存在存儲(chǔ)服務(wù)器中用于保存文件數(shù)據(jù)的數(shù)據(jù)目錄下，并將該數(shù)據(jù)目錄的路徑信息保存在配置文件中；所述步驟b在獲取存儲(chǔ)服務(wù)器中的文件數(shù)據(jù)所對(duì)應(yīng)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息之前，進(jìn)一步包括根據(jù)配置文件中保存的路徑信息確定存儲(chǔ)服務(wù)器的數(shù)據(jù)目錄。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟c之后進(jìn)一步包括報(bào)告與該文件元數(shù)據(jù)唯一標(biāo)識(shí)信息對(duì)應(yīng)的所有文件數(shù)據(jù)為垃圾文件。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟c之后進(jìn)一步包括向所有存儲(chǔ)服務(wù)器發(fā)送包含該文件元數(shù)據(jù)唯一標(biāo)識(shí)信息的刪除命令，所有存儲(chǔ)服務(wù)器收到刪除命令后，查找出自身保存的文件數(shù)據(jù)中與該唯一標(biāo)識(shí)信息對(duì)應(yīng)的所有文件數(shù)據(jù)，并刪除該文件數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述文件數(shù)據(jù)保存在存儲(chǔ)服務(wù)器中專門用于保存文件數(shù)據(jù)的數(shù)據(jù)目錄下；該方法進(jìn)一步包括在數(shù)據(jù)目錄下設(shè)置與文件元數(shù)據(jù)唯一標(biāo)識(shí)信息對(duì)應(yīng)的子目錄，并在該子目錄中保存與該文件元數(shù)據(jù)唯一標(biāo)識(shí)信息對(duì)應(yīng)的文件數(shù)據(jù)；所述存儲(chǔ)服務(wù)器查找與唯一標(biāo)識(shí)信息對(duì)應(yīng)的文件數(shù)據(jù)為根據(jù)該唯一標(biāo)識(shí)信息確定對(duì)應(yīng)的子目錄，并獲取該子目錄中保存的文件數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，該方法進(jìn)一步包括將與文件元數(shù)據(jù)唯一標(biāo)識(shí)信息對(duì)應(yīng)的子目錄的目錄名設(shè)置為哈希表的索引值，所述索引值根據(jù)該唯一標(biāo)識(shí)信息及哈希函數(shù)確定。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述哈希函數(shù)為取模函數(shù)。
全文摘要
本發(fā)明公開了一種檢查機(jī)群文件系統(tǒng)中垃圾文件的方法。該方法適用于分散存儲(chǔ)文件的元數(shù)據(jù)和數(shù)據(jù)的機(jī)群文件系統(tǒng)，該方法在文件數(shù)據(jù)中設(shè)置文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息；在檢查垃圾文件時(shí)，首先獲取存儲(chǔ)服務(wù)器的文件數(shù)據(jù)所對(duì)應(yīng)文件元數(shù)據(jù)的唯一標(biāo)識(shí)信息，然后判斷元數(shù)據(jù)服務(wù)器中是否存在與該唯一標(biāo)識(shí)信息對(duì)應(yīng)的文件元數(shù)據(jù)，如果存在，則確定存儲(chǔ)服務(wù)器所保存的文件數(shù)據(jù)不是垃圾文件，否則，確定該文件數(shù)據(jù)是垃圾文件。本發(fā)明解決了現(xiàn)有分散存儲(chǔ)結(jié)構(gòu)的機(jī)群文件系統(tǒng)中垃圾文件的處理問題，實(shí)現(xiàn)了這類機(jī)群文件系統(tǒng)中元數(shù)據(jù)與數(shù)據(jù)的高度一致性，從而保證了這類機(jī)群文件系統(tǒng)的完整性和一致性。本發(fā)明方案還可以刪除查找出的垃圾文件，節(jié)約了系統(tǒng)的存儲(chǔ)空間。
文檔編號(hào)G06F17/30GK1670726SQ20041002942
公開日2005年9月21日 申請(qǐng)日期2004年3月17日 優(yōu)先權(quán)日2004年3月17日
發(fā)明者宋冬梅, 史小冬, 朱耀飛, 賀軍, 胡風(fēng)華, 肖利民, 柳書廣, 李電森 申請(qǐng)人:聯(lián)想(北京)有限公司