專利名稱：分布式文件系統(tǒng)及其垃圾數(shù)據(jù)清理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種分布式文件系統(tǒng)及其垃圾數(shù)據(jù)清理方法。
背景技術(shù)：
在分布式文件系統(tǒng)中，尤其是利用分布式文件系統(tǒng)來存儲IPTV(Internet Protocol Television,網(wǎng)絡(luò)電視)系統(tǒng)中的片源，或CDN(Content Delivery Network,內(nèi)容 分發(fā)網(wǎng)絡(luò))系統(tǒng)中的數(shù)據(jù)時，隨著時間的推移，系統(tǒng)中的數(shù)據(jù)量會越來越大，縱使系統(tǒng)容量 再大，也會被海量的數(shù)據(jù)占滿。因此，現(xiàn)有的系統(tǒng)一般都有老化機制，定期對不需要的文件 或訪問頻率比較低的文件進行老化，老化一般對應(yīng)著分布式文件系統(tǒng)中的刪除操作。在集 中式文件系統(tǒng)或傳統(tǒng)的分布式文件系統(tǒng)中，刪除操作都是實時的，即在應(yīng)用程序調(diào)用刪除 接口的過程中，對應(yīng)的文件的元數(shù)據(jù)及實際數(shù)據(jù)都會被刪除掉。這種機制有如下不足1、由 于刪除是實時操作，而刪除操作一般都是同步調(diào)用(即要等刪除接口調(diào)用內(nèi)的所有操作都 結(jié)束后，應(yīng)用程序才能繼續(xù)其他的操作)，因此比較耗時；2、如果同一時間，系統(tǒng)收到大量 的刪除請求，可能會影響到系統(tǒng)性能(因為每一個刪除操作都要涉及到對磁盤進行操作)， 導致系統(tǒng)性能下降；3、對失敗的支持較差，由于這種刪除操作流程較多，因此也較容易出 錯，出錯后還需要應(yīng)用程序判斷返回碼再進行下一步操作，對應(yīng)用程序來說不夠友好。
針對相關(guān)技術(shù)中存在的耗時、影響系統(tǒng)性能、以及對失敗的支持較差、容易出錯的 問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容
針對耗時、影響系統(tǒng)性能、以及對失敗的支持較差、容易出錯的問題而提出本發(fā) 明，為此，本發(fā)明的主要目的在于提供一種分布式文件系統(tǒng)及其垃圾數(shù)據(jù)清理方法，以解決 上述問題至少之一。 為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種分布式文件系統(tǒng)的垃圾 數(shù)據(jù)清理方法。 根據(jù)本發(fā)明的分布式文件系統(tǒng)的垃圾數(shù)據(jù)清理方法包括文件訪問服務(wù)器根據(jù)垃 圾清理模塊發(fā)送的垃圾清理請求消息，上報其所管理的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信息給垃圾
清理模塊；垃圾清理模塊查詢元數(shù)據(jù)服務(wù)器中是否存在該數(shù)據(jù)塊信息；若不存在該數(shù)據(jù)塊
信息，則垃圾清理模塊通知文件訪問服務(wù)器刪除該數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊。 優(yōu)選地，在上述的垃圾數(shù)據(jù)清理方法中，還包括文件訪問客戶端向元數(shù)據(jù)服務(wù)器
發(fā)送刪除請求消息；元數(shù)據(jù)服務(wù)器刪除該刪除請求消息所指示的文件的元數(shù)據(jù)信息，元數(shù)
據(jù)信息包括文件名以及文件所對應(yīng)的數(shù)據(jù)塊的數(shù)據(jù)塊信息。 優(yōu)選地，文件訪問服務(wù)器根據(jù)垃圾清理模塊發(fā)送的垃圾清理請求消息，上報其所 管理的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信息給垃圾清理模塊包括垃圾清理模塊周期性地啟動垃圾 清理流程，并向分布式文件系統(tǒng)中的每個文件訪問服務(wù)器發(fā)送垃圾清理請求消息；每個文件訪問服務(wù)器根據(jù)接收到的垃圾清理請求消息，將其所管理的所有的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù) 塊信息上報給垃圾清理模塊。 優(yōu)選地，垃圾清理模塊查詢元數(shù)據(jù)服務(wù)器中是否存在該數(shù)據(jù)塊信息包括垃圾清 理模塊接收文件訪問服務(wù)器上報的數(shù)據(jù)塊信息；垃圾清理模塊針對接收到的每個數(shù)據(jù)塊信 息，向元數(shù)據(jù)服務(wù)器進行查詢；元數(shù)據(jù)服務(wù)器查詢其內(nèi)是否存在數(shù)據(jù)塊信息；元數(shù)據(jù)服務(wù) 器將查詢結(jié)果返回給垃圾清理模塊。 優(yōu)選地，若不存在該數(shù)據(jù)塊信息，則垃圾清理模塊通知文件訪問服務(wù)器刪除該數(shù)
據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊包括若查詢結(jié)果為元數(shù)據(jù)服務(wù)器中不存在該數(shù)據(jù)塊信息，則垃 圾清理模塊向上報該數(shù)據(jù)塊信息的文件訪問服務(wù)器下發(fā)數(shù)據(jù)塊刪除請求消息；文件訪問服
務(wù)器根據(jù)數(shù)據(jù)塊刪除請求消息刪除該數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊。 為了實現(xiàn)上述目的，根據(jù)本發(fā)明的另一方面，提供了一種分布式文件系統(tǒng)。 根據(jù)本發(fā)明的分布式文件系統(tǒng)，包括文件訪問服務(wù)器、垃圾清理模塊和元數(shù)據(jù)服
務(wù)器，其中 文件訪問服務(wù)器用于根據(jù)垃圾清理模塊發(fā)送的垃圾清理請求消息，上報其所管理 的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信息給垃圾清理模塊； 垃圾清理模塊用于查詢元數(shù)據(jù)服務(wù)器中是否存在該數(shù)據(jù)塊信息；還用于若不存在
該數(shù)據(jù)塊信息，則通知文件訪問服務(wù)器刪除該數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊。
優(yōu)選地，在上述的系統(tǒng)中，還包括 文件訪問客戶端，用于向元數(shù)據(jù)服務(wù)器發(fā)送刪除請求消息； 元數(shù)據(jù)服務(wù)器用于管理分布式文件系統(tǒng)中的所有文件的元數(shù)據(jù)信息；還用于刪除
該刪除請求消息所指示的文件的元數(shù)據(jù)信息，元數(shù)據(jù)信息包括文件名以及文件所對應(yīng)的數(shù)
據(jù)塊的數(shù)據(jù)塊信息。
優(yōu)選地，垃圾清理模塊包括 啟動單元，用于周期性地啟動垃圾清理流程； 第一發(fā)送單元，用于向分布式文件系統(tǒng)中的每個文件訪問服務(wù)器發(fā)送垃圾清理請 求消息；還用于針對第一接收單元接收到的每個數(shù)據(jù)塊信息，向元數(shù)據(jù)服務(wù)器進行查詢；
第一接收單元，用于接收文件訪問服務(wù)器上報的數(shù)據(jù)塊信息；
元數(shù)據(jù)服務(wù)器包括 查詢單元，用于查詢元數(shù)據(jù)服務(wù)器內(nèi)是否存在該數(shù)據(jù)塊信息；
第三發(fā)送單元，用于將查詢結(jié)果返回給垃圾清理模塊；
文件訪問服務(wù)器包括 第二接收單元，用于接收來自垃圾清理模塊的垃圾清理請求消息； 第二發(fā)送單元，用于將文件訪問服務(wù)器所管理的所有的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信
息上報給垃圾清理模塊。 優(yōu)選地，第一發(fā)送單元還用于若查詢結(jié)果為元數(shù)據(jù)服務(wù)器中不存在該數(shù)據(jù)塊信
息，則向上報該數(shù)據(jù)塊信息的文件訪問服務(wù)器下發(fā)數(shù)據(jù)塊刪除請求消息； 文件訪問服務(wù)器還包括刪除單元，用于根據(jù)數(shù)據(jù)塊刪除請求消息刪除該數(shù)據(jù)塊
信息所對應(yīng)的數(shù)據(jù)塊。
優(yōu)選地，文件訪問服務(wù)器還包括存儲單元，用于存儲文件訪問服務(wù)器所管理的數(shù)據(jù)塊。 由于由垃圾清理模塊發(fā)起垃圾數(shù)據(jù)清理過程，通過查詢元數(shù)據(jù)服務(wù)器中是否存在 文件訪問服務(wù)器所管理的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信息來判定和刪除垃圾數(shù)據(jù)，每次垃圾清 理過程都是獨立的，因此所有的垃圾數(shù)據(jù)可以確?？倳谀炒卫謇磉^程中被清理掉， 解決了相關(guān)技術(shù)中存在的對失敗的支持較差、容易出錯的問題。使用該實施例可以提高刪 除操作的可靠性，確保數(shù)據(jù)肯定能夠被刪掉，從而確保系統(tǒng)空間可以及時釋放掉。


此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā)
明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定。在附圖中 圖1是根據(jù)本發(fā)明實施例的分布式文件系統(tǒng)的垃圾數(shù)據(jù)清理方法的流程圖； 圖2是根據(jù)本發(fā)明實施例的分布式文件系統(tǒng)的系統(tǒng)架構(gòu)圖； 圖3是根據(jù)本發(fā)明優(yōu)選實施例一的分布式文件系統(tǒng)的系統(tǒng)架構(gòu)圖； 圖4是根據(jù)本發(fā)明優(yōu)選實施例一的分布式文件系統(tǒng)的垃圾數(shù)據(jù)清理方法的流程圖。
具體實施例方式
下文中將參考附圖并結(jié)合實施例來詳細說明本發(fā)明。需要說明的是，在不沖突的
情況下，本申請中的實施例及實施例中的特征可以相互組合。 方法實施例 根據(jù)本發(fā)明的實施例，提供了一種分布式文件系統(tǒng)的垃圾數(shù)據(jù)清理方法。
如圖1所示，該方法包括如下的步驟S102至步驟S106 : 步驟S102，文件訪問服務(wù)器根據(jù)垃圾清理模塊發(fā)送的垃圾清理請求消息，上報其 所管理的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信息給垃圾清理模塊； 步驟S104，垃圾清理模塊查詢元數(shù)據(jù)服務(wù)器中是否存在該數(shù)據(jù)塊信息； 步驟S106，若不存在該數(shù)據(jù)塊信息，則垃圾清理模塊通知文件訪問服務(wù)器刪除該
數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊。 該實施例由于由垃圾清理模塊發(fā)起垃圾數(shù)據(jù)清理過程，通過查詢元數(shù)據(jù)服務(wù)器中 是否存在文件訪問服務(wù)器所管理的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信息來判定和刪除垃圾數(shù)據(jù)，每 次垃圾清理過程都是獨立的，因此所有的垃圾數(shù)據(jù)可以確?？倳谀炒卫謇磉^程中被 清理掉，解決了相關(guān)技術(shù)中存在的對失敗的支持較差、容易出錯的問題。使用該實施例可以
提高刪除操作的可靠性，確保數(shù)據(jù)肯定能夠被刪掉，從而確保系統(tǒng)空間可以及時釋放掉。 優(yōu)選地，上述的垃圾數(shù)據(jù)清理方法還包括 文件訪問客戶端向元數(shù)據(jù)服務(wù)器發(fā)送刪除請求消息； 元數(shù)據(jù)服務(wù)器刪除接收到的刪除請求消息所指示的文件的元數(shù)據(jù)信息，元數(shù)據(jù)信 息包括文件名以及文件所對應(yīng)的數(shù)據(jù)塊的數(shù)據(jù)塊信息。 其中，數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信息包括大小、名稱、版本號和存放信息等。 該優(yōu)選實施例由于應(yīng)用程序調(diào)用刪除接口的過程中，僅刪除元數(shù)據(jù)服務(wù)器中存儲
的對應(yīng)的文件的元數(shù)據(jù)信息，實際數(shù)據(jù)的刪除通過與該元數(shù)據(jù)信息刪除流程異步且獨立的垃圾數(shù)據(jù)清理流程(即上述的步驟S102至步驟S106)來完成。該優(yōu)選實施例由于刪除文 件的元數(shù)據(jù)信息以及刪除文件的實際數(shù)據(jù)塊的操作是異步進行的，解決了相關(guān)技術(shù)中存在 的耗時、影響系統(tǒng)性能的問題。使用該優(yōu)選實施例可以簡化刪除操作的流程，使得刪除操作 的響應(yīng)時間大大減少；并且當刪除操作較多時，極大地降低了對系統(tǒng)性能的影響。
優(yōu)選地，步驟S102包括 垃圾清理模塊周期性地啟動垃圾清理流程，并向分布式文件系統(tǒng)中的每個文件訪 問服務(wù)器發(fā)送垃圾清理請求消息； 每個文件訪問服務(wù)器根據(jù)接收到的垃圾清理請求消息，將其所管理的所有的數(shù)據(jù)
塊所對應(yīng)的數(shù)據(jù)塊信息上報給垃圾清理模塊。
步驟S104包括 垃圾清理模塊接收文件訪問服務(wù)器上報的數(shù)據(jù)塊信息； 垃圾清理模塊針對接收到的每個數(shù)據(jù)塊信息，向元數(shù)據(jù)服務(wù)器進行查詢； 元數(shù)據(jù)服務(wù)器查詢其內(nèi)是否存在該數(shù)據(jù)塊信息； 元數(shù)據(jù)服務(wù)器將查詢結(jié)果返回給垃圾清理模塊。
步驟S106包括 若元數(shù)據(jù)服務(wù)器中不存在數(shù)據(jù)塊信息，則垃圾清理模塊向上報數(shù)據(jù)塊信息的文件 訪問服務(wù)器下發(fā)數(shù)據(jù)塊刪除請求消息； 文件訪問服務(wù)器根據(jù)數(shù)據(jù)塊刪除請求消息刪除數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊。
系統(tǒng)實施例 根據(jù)本發(fā)明的實施例，提供了一種分布式文件系統(tǒng)。 如圖2所示，該分布式文件系統(tǒng)包括文件訪問服務(wù)器10、垃圾清理模塊20和元 數(shù)據(jù)服務(wù)器30，其中 文件訪問服務(wù)器10用于根據(jù)垃圾清理模塊20發(fā)送的垃圾清理請求消息，上報其 所管理的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信息給垃圾清理模塊20 ; 垃圾清理模塊20用于查詢元數(shù)據(jù)服務(wù)器30中是否存在該數(shù)據(jù)塊信息；還用于若 不存在該數(shù)據(jù)塊信息，則通知文件訪問服務(wù)器10刪除該數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊。
優(yōu)選地，上述的分布式文件系統(tǒng)還包括 文件訪問客戶端40，用于向元數(shù)據(jù)服務(wù)器30發(fā)送刪除請求消息； 元數(shù)據(jù)服務(wù)器30用于管理分布式文件系統(tǒng)中的所有文件的元數(shù)據(jù)信息；還用于
刪除接收到的刪除請求消息所指示的文件的元數(shù)據(jù)信息，元數(shù)據(jù)信息包括文件名以及文件
所對應(yīng)的數(shù)據(jù)塊的數(shù)據(jù)塊信息。
垃圾清理模塊20包括 啟動單元201，用于周期性地啟動垃圾清理流程； 第一發(fā)送單元202，用于向分布式文件系統(tǒng)中的每個文件訪問服務(wù)器發(fā)送垃圾清 理請求消息；還用于針對第一接收單元203接收到的每個數(shù)據(jù)塊信息，向元數(shù)據(jù)服務(wù)器30 進行查詢； 第一接收單元203，用于接收文件訪問服務(wù)器上報的數(shù)據(jù)塊信息；
元數(shù)據(jù)服務(wù)器30包括 查詢單元301，用于查詢元數(shù)據(jù)服務(wù)器內(nèi)是否存在所要查詢的數(shù)據(jù)塊信息；
7
第三發(fā)送單元302，用于將查詢結(jié)果返回給垃圾清理模塊20 ; 文件訪問服務(wù)器IO包括第二接收單元101，用于接收來自垃圾清理模塊20的垃
圾清理請求消息； 第二發(fā)送單元102，用于將文件訪問服務(wù)器10所管理的所有的數(shù)據(jù)塊所對應(yīng)的數(shù) 據(jù)塊信息上報給垃圾清理模塊20。 其中，第一發(fā)送單元202還用于若元數(shù)據(jù)服務(wù)器30中不存在該數(shù)據(jù)塊信息，則向 上報該數(shù)據(jù)塊信息的文件訪問服務(wù)器下發(fā)數(shù)據(jù)塊刪除請求消息；
文件訪問服務(wù)器10還包括 刪除單元103，用于根據(jù)數(shù)據(jù)塊刪除請求消息刪除該數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊。
存儲單元104，用于存儲文件訪問服務(wù)器10所管理的數(shù)據(jù)塊。
其中，存儲單元104可以為IDE磁盤(Integrated DriveElectronics，電子集成驅(qū) 動器)磁盤或SATA(Serial AdvancedTechnology Attachment,串行高級技術(shù)附件)磁盤。
通過上述的方法和系統(tǒng)，一方面可以簡化刪除操作的流程，使得刪除操作的響應(yīng) 時間大大減少；另一方面，可以提高刪除操作的可靠性，確保數(shù)據(jù)肯定能夠被刪掉，從而確 保系統(tǒng)空間可以及時釋放掉；當刪除操作較多時，極大地降低了對系統(tǒng)性能的影響。
下面將結(jié)合實例對本發(fā)明實施例的實現(xiàn)過程進行詳細描述。 圖3是根據(jù)本發(fā)明優(yōu)選實施例一的分布式文件系統(tǒng)的系統(tǒng)架構(gòu)圖，該分布式文件 系統(tǒng)包括如下幾部分 元數(shù)據(jù)服務(wù)器負責管理本文件系統(tǒng)內(nèi)所有的文件的元數(shù)據(jù)信息，元數(shù)據(jù)信息包 括文件的文件名、文件所對應(yīng)的數(shù)據(jù)塊的數(shù)據(jù)塊信息；以及向文件訪問客戶端提供文件的 元數(shù)據(jù)信息的寫入和查詢等操作； 文件訪問客戶端負責為本文件系統(tǒng)面向的應(yīng)用程序提供類似于標準文件系統(tǒng)的 接口調(diào)用服務(wù)； 文件訪問服務(wù)器負責與本文件系統(tǒng)內(nèi)的存儲介質(zhì)進行交互，進行實際數(shù)據(jù)塊的 讀寫操作；響應(yīng)文件訪問客戶端的數(shù)據(jù)讀寫請求，從存儲媒介上讀取數(shù)據(jù)并返回給文件訪
問客戶端；從文件訪問客戶端讀取數(shù)據(jù)并寫入存儲媒介。
存儲媒介一般為普通的IDE磁盤或SATA磁盤。 垃圾清理模塊發(fā)起垃圾清理流程，對文件訪問服務(wù)器上報的每個數(shù)據(jù)塊信息，向 元數(shù)據(jù)服務(wù)器查詢其信息是否存在，并決定每個數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊是否為垃圾數(shù) 據(jù)，對于確定是垃圾的數(shù)據(jù)塊，向文件訪問服務(wù)器發(fā)送刪除請求，確保這些垃圾數(shù)據(jù)能夠及 時清理掉。 其中，存儲媒介可以為上述實施例中的存儲單元，可知，該存儲介質(zhì)可以位于文件 訪問服務(wù)器中，也可以位于文件訪問服務(wù)器之外的另一個設(shè)備上。 圖4是根據(jù)本發(fā)明優(yōu)選實施例一的分布式文件系統(tǒng)的垃圾數(shù)據(jù)清理方法的流程 圖，包括以下步驟 首先，調(diào)用分布式文件系統(tǒng)提供的刪除接口 ，傳入需要刪除的文件名，文件訪問客 戶端將刪除請求消息發(fā)給元數(shù)據(jù)服務(wù)器，元數(shù)據(jù)服務(wù)器將對應(yīng)文件的所有元數(shù)據(jù)信息(包 括文件名及對應(yīng)的數(shù)據(jù)塊信息)刪除；
其次，對于垃圾數(shù)據(jù)的刪除包括以下步驟
步驟S401，垃圾清理模塊周期性地啟動垃圾清理流程，垃圾清理模塊向系統(tǒng)中的 每個文件訪問服務(wù)器發(fā)送垃圾清理請求消息； 步驟S402，文件訪問服務(wù)器收到垃圾清理請求消息后，將其所管理的所有數(shù)據(jù)塊 信息上報給垃圾清理模塊； 步驟S403，垃圾清理模塊收到文件訪問服務(wù)器上報的數(shù)據(jù)塊信息后，對每個數(shù)據(jù) 塊信息都向元數(shù)據(jù)服務(wù)器查詢該數(shù)據(jù)塊信息，即查詢元數(shù)據(jù)服務(wù)器中是否存在該數(shù)據(jù)塊信 息； 步驟S404，元數(shù)據(jù)服務(wù)器針對垃圾清理模塊查詢的每個數(shù)據(jù)塊信息，判斷其內(nèi)是 否存在該數(shù)據(jù)塊信息，并將查詢結(jié)果返回給垃圾清理模塊； 步驟S405，如果在元數(shù)據(jù)服務(wù)器中有該數(shù)據(jù)塊信息，則不做任何處理；如果在元 數(shù)據(jù)服務(wù)器中不存在該數(shù)據(jù)塊信息，說明該數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊所對應(yīng)的文件已被 刪除，垃圾清理模塊向上報該數(shù)據(jù)塊信息的文件訪問服務(wù)器下發(fā)數(shù)據(jù)塊刪除請求消息；
步驟S406，文件訪問服務(wù)器收到垃圾清理模塊發(fā)送的數(shù)據(jù)塊刪除請求消息后，將 該數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊從存儲媒介上刪除，該數(shù)據(jù)塊對應(yīng)的磁盤空間被釋放；
步驟S407，系統(tǒng)中所有的文件訪問服務(wù)器都上報完成，本次垃圾清理流程結(jié)束；
值得注意的是，如果本次垃圾清理過程由于某種異常而終止，導致有些垃圾數(shù)據(jù) 沒有清除，由于每次垃圾清理過程都是獨立的，因此所有的垃圾數(shù)據(jù)可以確保總會在某次 垃圾清理過程中被清理掉。 從以上的描述中，可以看出，本發(fā)明實現(xiàn)了如下技術(shù)效果 (1)簡化了刪除操作的流程，使得刪除操作的響應(yīng)時間大大減少； (2)提高了刪除操作的可靠性，確保實際數(shù)據(jù)肯定能夠被刪掉，從而確保系統(tǒng)空間
可以及時釋放掉； (3)當刪除操作較多時，極大地降低了對系統(tǒng)性能的影響。 需要說明的是，在附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的 計算機系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不 同于此處的順序執(zhí)行所示出或描述的步驟。 顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用 的計算裝置來實現(xiàn)，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成 的網(wǎng)絡(luò)上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲 在存儲裝置中由計算裝置來執(zhí)行，或者將它們分別制作成各個集成電路模塊，或者將它們 中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的 硬件和軟件結(jié)合。 以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技 術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修 改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
一種分布式文件系統(tǒng)的垃圾數(shù)據(jù)清理方法，其特征在于，包括文件訪問服務(wù)器根據(jù)垃圾清理模塊發(fā)送的垃圾清理請求消息，上報其所管理的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信息給所述垃圾清理模塊；所述垃圾清理模塊查詢元數(shù)據(jù)服務(wù)器中是否存在所述數(shù)據(jù)塊信息；若不存在所述數(shù)據(jù)塊信息，則所述垃圾清理模塊通知所述文件訪問服務(wù)器刪除所述數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊。
2. 根據(jù)權(quán)利要求l所述的方法，其特征在于，還包括 文件訪問客戶端向所述元數(shù)據(jù)服務(wù)器發(fā)送刪除請求消息；所述元數(shù)據(jù)服務(wù)器刪除所述刪除請求消息所指示的文件的元數(shù)據(jù)信息，所述元數(shù)據(jù)信 息包括文件名以及文件所對應(yīng)的數(shù)據(jù)塊的數(shù)據(jù)塊信息。
3. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，文件訪問服務(wù)器根據(jù)垃圾清理模塊發(fā) 送的垃圾清理請求消息，上報其所管理的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信息給所述垃圾清理模塊 包括所述垃圾清理模塊周期性地啟動垃圾清理流程，并向所述分布式文件系統(tǒng)中的每個所 述文件訪問服務(wù)器發(fā)送垃圾清理請求消息；每個所述文件訪問服務(wù)器根據(jù)接收到的垃圾清理請求消息，將其所管理的所有的數(shù)據(jù) 塊所對應(yīng)的數(shù)據(jù)塊信息上報給所述垃圾清理模塊。
4. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述垃圾清理模塊查詢元數(shù)據(jù)服務(wù)器 中是否存在所述數(shù)據(jù)塊信息包括所述垃圾清理模塊接收文件訪問服務(wù)器上報的數(shù)據(jù)塊信息；所述垃圾清理模塊針對接收到的每個數(shù)據(jù)塊信息，向所述元數(shù)據(jù)服務(wù)器進行查詢； 所述元數(shù)據(jù)服務(wù)器查詢其內(nèi)是否存在所述數(shù)據(jù)塊信息； 所述元數(shù)據(jù)服務(wù)器將查詢結(jié)果返回給所述垃圾清理模塊。
5. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，若不存在所述數(shù)據(jù)塊信息，則所述垃 圾清理模塊通知所述文件訪問服務(wù)器刪除所述數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊包括若查詢結(jié)果為所述元數(shù)據(jù)服務(wù)器中不存在所述數(shù)據(jù)塊信息，則所述垃圾清理模塊向上 報所述數(shù)據(jù)塊信息的文件訪問服務(wù)器下發(fā)數(shù)據(jù)塊刪除請求消息；所述文件訪問服務(wù)器根據(jù)所述數(shù)據(jù)塊刪除請求消息刪除所述數(shù)據(jù)塊信息所對應(yīng)的數(shù) 據(jù)塊。
6. —種分布式文件系統(tǒng)，其特征在于，包括文件訪問服務(wù)器、垃圾清理模塊和元數(shù)據(jù) 服務(wù)器，其中所述文件訪問服務(wù)器用于根據(jù)所述垃圾清理模塊發(fā)送的垃圾清理請求消息，上報其所 管理的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信息給所述垃圾清理模塊；所述垃圾清理模塊用于查詢所述元數(shù)據(jù)服務(wù)器中是否存在所述數(shù)據(jù)塊信息；還用于 若不存在所述數(shù)據(jù)塊信息，則通知所述文件訪問服務(wù)器刪除所述數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù) 塊。
7. 根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，還包括 文件訪問客戶端，用于向所述元數(shù)據(jù)服務(wù)器發(fā)送刪除請求消息；所述元數(shù)據(jù)服務(wù)器用于管理所述分布式文件系統(tǒng)中的所有文件的元數(shù)據(jù)信息；還用于刪除所述刪除請求消息所指示的文件的元數(shù)據(jù)信息，所述元數(shù)據(jù)信息包括文件名以及文件 所對應(yīng)的數(shù)據(jù)塊的數(shù)據(jù)塊信息。
8. 根據(jù)權(quán)利要求6或7所述的系統(tǒng)，其特征在于， 所述垃圾清理模塊包括 啟動單元，用于周期性地啟動垃圾清理流程；第一發(fā)送單元，用于向所述分布式文件系統(tǒng)中的每個所述文件訪問服務(wù)器發(fā)送垃圾清 理請求消息；還用于針對第一接收單元接收到的每個數(shù)據(jù)塊信息，向所述元數(shù)據(jù)服務(wù)器進 行查詢；所述第一接收單元，用于接收文件訪問服務(wù)器上報的數(shù)據(jù)塊信息； 所述元數(shù)據(jù)服務(wù)器包括查詢單元，用于查詢所述元數(shù)據(jù)服務(wù)器內(nèi)是否存在所述數(shù)據(jù)塊信息； 第三發(fā)送單元，用于將查詢結(jié)果返回給所述垃圾清理模塊； 所述文件訪問服務(wù)器包括第二接收單元，用于接收來自所述垃圾清理模塊的垃圾清理請求消息； 第二發(fā)送單元，用于將所述文件訪問服務(wù)器所管理的所有的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信 息上報給所述垃圾清理模塊。
9. 根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述第一發(fā)送單元還用于若查詢結(jié)果為 所述元數(shù)據(jù)服務(wù)器中不存在所述數(shù)據(jù)塊信息，則向上報所述數(shù)據(jù)塊信息的文件訪問服務(wù)器 下發(fā)數(shù)據(jù)塊刪除請求消息；所述文件訪問服務(wù)器還包括刪除單元，用于根據(jù)所述數(shù)據(jù)塊刪除請求消息刪除所述數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊。
10. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述文件訪問服務(wù)器還包括 存儲單元，用于存儲所述文件訪問服務(wù)器所管理的數(shù)據(jù)塊。
全文摘要
本發(fā)明公開了一種分布式文件系統(tǒng)及其垃圾數(shù)據(jù)清理方法，其中，方法包括文件訪問服務(wù)器根據(jù)垃圾清理模塊發(fā)送的垃圾清理請求消息，上報其所管理的數(shù)據(jù)塊所對應(yīng)的數(shù)據(jù)塊信息給垃圾清理模塊；垃圾清理模塊查詢元數(shù)據(jù)服務(wù)器中是否存在該數(shù)據(jù)塊信息；若不存在該數(shù)據(jù)塊信息，則垃圾清理模塊通知文件訪問服務(wù)器刪除該數(shù)據(jù)塊信息所對應(yīng)的數(shù)據(jù)塊。本發(fā)明簡化了刪除操作的流程，使得刪除操作的響應(yīng)時間大大減少；提高了刪除操作的可靠性，確保實際數(shù)據(jù)肯定能夠被刪掉，從而確保系統(tǒng)空間可以及時釋放掉；當刪除操作較多時，極大地降低了對系統(tǒng)性能的影響。
文檔編號G06F17/30GK101706817SQ20091024624
公開日2010年5月12日 申請日期2009年12月1日 優(yōu)先權(quán)日2009年12月1日
發(fā)明者夏艦波, 彭杰 申請人:中興通訊股份有限公司