本發(fā)明屬于分布式文件系統(tǒng)技術(shù)領(lǐng)域，特別是涉及一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法和裝置。

背景技術(shù)：

現(xiàn)有的分布式文件系統(tǒng)有元數(shù)據(jù)服務(wù)、數(shù)據(jù)服務(wù)和客戶端三大組成部分，每個部分之間都需要通過網(wǎng)絡(luò)通信實現(xiàn)數(shù)據(jù)io，這種存儲架構(gòu)就決定了元數(shù)據(jù)性能要比san架構(gòu)性能要低。分布式文件系統(tǒng)一個有數(shù)據(jù)的文件會分為元數(shù)據(jù)和數(shù)據(jù)兩部分存儲，其存儲流程為：首先，客戶端和元數(shù)據(jù)建立通信保存文件元數(shù)據(jù)信息；然后，客戶端和數(shù)據(jù)服務(wù)器建立通信，保存文件數(shù)據(jù)信息。分布式文件系統(tǒng)在海量小文件應(yīng)用場景，對元數(shù)據(jù)性能要求較高，從而，分布式文件系統(tǒng)的元數(shù)據(jù)性能成為整個系統(tǒng)性能的瓶頸。

技術(shù)實現(xiàn)要素：

為解決上述問題，本發(fā)明提供了一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法和裝置，能夠縮短元數(shù)據(jù)io路徑中的延時，提升元數(shù)據(jù)性能，滿足海量小文件應(yīng)用場景對元數(shù)據(jù)性能的要求。

本發(fā)明提供的一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法，包括：

響應(yīng)客戶端的元數(shù)據(jù)請求信息；

將接收到的元數(shù)據(jù)保存到過渡存儲裝置中，并立即向所述客戶端發(fā)送響應(yīng)成功的回執(zhí)；

以預(yù)設(shè)時間間隔，將所述過渡存儲裝置中的元數(shù)據(jù)保存至元數(shù)據(jù)存儲設(shè)備中。

優(yōu)選的，在上述分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法中，

所述將接收的元數(shù)據(jù)保存到過渡存儲裝置中為：

將接收的元數(shù)據(jù)保存到nvdimm中。

優(yōu)選的，在上述分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法中，

所述將接收的元數(shù)據(jù)保存到過渡存儲裝置中為：

以日志的形式，將接收的元數(shù)據(jù)保存到所述過渡存儲裝置中。

優(yōu)選的，在上述分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法中，

所述將所述過渡存儲裝置中的元數(shù)據(jù)保存至元數(shù)據(jù)存儲設(shè)備中為：

將所述過渡存儲裝置中的元數(shù)據(jù)保存至固態(tài)硬盤中。

本發(fā)明提供的一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升裝置，包括同時與客戶端和元數(shù)據(jù)存儲設(shè)備連接的過渡存儲裝置；

所述過渡存儲裝置用于響應(yīng)所述客戶端的元數(shù)據(jù)請求信息，保存接收到的元數(shù)據(jù)，并立即向所述客戶端發(fā)送響應(yīng)成功的回執(zhí)，而且以預(yù)設(shè)時間間隔將其中的元數(shù)據(jù)保存至所述元數(shù)據(jù)存儲設(shè)備中。

優(yōu)選的，在上述分布式文件系統(tǒng)元數(shù)據(jù)性能提升裝置中，所述過渡存儲裝置中為nvdimm。

優(yōu)選的，在上述分布式文件系統(tǒng)元數(shù)據(jù)性能提升裝置中，所述過渡存儲裝置具體用于以日志的形式，將接收的元數(shù)據(jù)保存到所述過渡存儲裝置中。

優(yōu)選的，在上述分布式文件系統(tǒng)元數(shù)據(jù)性能提升裝置中，所述元數(shù)據(jù)存儲設(shè)備為固態(tài)硬盤。

通過上述描述可知，本發(fā)明提供的上述分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法和裝置，由于該方法包括響應(yīng)客戶端的元數(shù)據(jù)請求信息；將接收到的元數(shù)據(jù)保存到過渡存儲裝置中，并立即向所述客戶端發(fā)送響應(yīng)成功的回執(zhí)；以預(yù)設(shè)時間間隔，將所述過渡存儲裝置中的元數(shù)據(jù)保存至元數(shù)據(jù)存儲設(shè)備中，因此能夠縮短元數(shù)據(jù)io路徑中的延時，提升元數(shù)據(jù)性能，滿足海量小文件應(yīng)用場景對元數(shù)據(jù)性能的要求。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。

圖1為本申請實施例提供的第一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法的示意圖；

圖2為本申請實施例提供的第一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升裝置的示意圖。

具體實施方式

本發(fā)明的核心思想在于提供一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法和裝置，能夠縮短元數(shù)據(jù)io路徑中的延時，提升元數(shù)據(jù)性能，滿足海量小文件應(yīng)用場景對元數(shù)據(jù)性能的要求。

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本申請實施例提供的第一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法如圖1所示，圖1為本申請實施例提供的第一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法的示意圖，該方法包括如下步驟：

s1：響應(yīng)客戶端的元數(shù)據(jù)請求信息；

s2：將接收到的元數(shù)據(jù)保存到過渡存儲裝置中，并立即向所述客戶端發(fā)送響應(yīng)成功的回執(zhí)；

需要說明的是，這里所采用的過渡存儲裝置可選取帶有掉電保護的高速存儲介質(zhì)，能夠?qū)崿F(xiàn)快速回執(zhí)響應(yīng)，縮短客戶端和元數(shù)據(jù)服務(wù)之間的io延時，提升元數(shù)據(jù)性能。

s3：以預(yù)設(shè)時間間隔，將所述過渡存儲裝置中的元數(shù)據(jù)保存至元數(shù)據(jù)存儲設(shè)備中。

需要說明的是，將元數(shù)據(jù)轉(zhuǎn)移至元數(shù)據(jù)存儲設(shè)備中以后，就能夠騰出空間，以繼續(xù)接收更多的元數(shù)據(jù)，保證過渡存儲裝置中有足夠的剩余空間來存儲元數(shù)據(jù)，不至于對io性能形成阻礙，而且，該預(yù)設(shè)時間間隔可以依據(jù)介質(zhì)大小和寫入速度而定，只要能保證隨時有可用的日志空間即可。

通過上述描述可知，本申請實施例提供的第一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法，由于包括響應(yīng)客戶端的元數(shù)據(jù)請求信息；將接收到的元數(shù)據(jù)保存到過渡存儲裝置中，并立即向所述客戶端發(fā)送響應(yīng)成功的回執(zhí)；以預(yù)設(shè)時間間隔，將所述過渡存儲裝置中的元數(shù)據(jù)保存至元數(shù)據(jù)存儲設(shè)備中，因此能夠縮短元數(shù)據(jù)io路徑中的延時，提升元數(shù)據(jù)性能，滿足海量小文件應(yīng)用場景對元數(shù)據(jù)性能的要求。

本申請實施例提供的第二種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法，是在上述第一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法的基礎(chǔ)上，還包括如下技術(shù)特征：

所述將接收的元數(shù)據(jù)保存到過渡存儲裝置中為：

將接收的元數(shù)據(jù)保存到nvdimm中。

在這種情況下，保存在nvdimm中的元數(shù)據(jù)信息定時的保存到元數(shù)據(jù)存儲設(shè)備上，這里的元數(shù)據(jù)存儲設(shè)備可以是普通磁盤，保證nvdimm介質(zhì)可重復(fù)寫，這樣既降低了元數(shù)據(jù)操作延時，又不會導(dǎo)致異常情況下元數(shù)據(jù)信息丟失。

本申請實施例提供的第三種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法，是在上述第一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法的基礎(chǔ)上，還包括如下技術(shù)特征：

所述將接收的元數(shù)據(jù)保存到過渡存儲裝置中為：

以日志的形式，將接收的元數(shù)據(jù)保存到所述過渡存儲裝置中。

也就是說，客戶端的每次元數(shù)據(jù)操作請求會記入log中，記入log后立即給客戶端消息回執(zhí)，該方式能更好的保證安全性和性能，當(dāng)然此處并不構(gòu)成限制，也可以采用其他方式，例如直接落盤方式。

本申請實施例提供的第四種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法，是在上述第一種至第三種分布式文件系統(tǒng)元數(shù)據(jù)性能提升方法中任一種的基礎(chǔ)上，還包括如下技術(shù)特征：

所述將所述過渡存儲裝置中的元數(shù)據(jù)保存至元數(shù)據(jù)存儲設(shè)備中為：

將所述過渡存儲裝置中的元數(shù)據(jù)保存至固態(tài)硬盤中。

需要說明的是，這種固態(tài)硬盤的存取速度更快，能夠提高元數(shù)據(jù)的處理速度。

本申請實施例提供的第一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升裝置如圖2所示，圖2為本申請實施例提供的第一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升裝置的示意圖，該裝置包括同時與客戶端201和元數(shù)據(jù)存儲設(shè)備202連接的過渡存儲裝置203；

所述過渡存儲裝置203用于響應(yīng)所述客戶端201的元數(shù)據(jù)請求信息，保存接收到的元數(shù)據(jù)，并立即向所述客戶端201發(fā)送響應(yīng)成功的回執(zhí)，而且以預(yù)設(shè)時間間隔將其中的元數(shù)據(jù)保存至所述元數(shù)據(jù)存儲設(shè)備202中。

需要說明的是，這里所采用的過渡存儲裝置可選取帶有掉電保護的高速存儲介質(zhì)，能夠?qū)崿F(xiàn)快速回執(zhí)響應(yīng)，縮短客戶端和元數(shù)據(jù)服務(wù)之間的io延時，提升元數(shù)據(jù)性能。而且，以預(yù)設(shè)時間間隔，將所述過渡存儲裝置中的元數(shù)據(jù)保存至元數(shù)據(jù)存儲設(shè)備中，就能夠保證過渡存儲裝置中有足夠的剩余空間來存儲元數(shù)據(jù)，不至于對io形成阻礙，而且，該預(yù)設(shè)時間間隔可以依據(jù)介質(zhì)大小和寫入速度而定，只要能保證隨時有可用的日志空間即可。

本申請實施例提供的第二種分布式文件系統(tǒng)元數(shù)據(jù)性能提升裝置，是在上述第一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升裝置的基礎(chǔ)上，還包括如下技術(shù)特征：

所述過渡存儲裝置中為nvdimm。

在這種情況下，保存在nvdimm中的元數(shù)據(jù)信息定時的保存到元數(shù)據(jù)存儲設(shè)備上，這里的元數(shù)據(jù)存儲設(shè)備可以是普通磁盤，保證nvdimm介質(zhì)可重復(fù)寫，這樣既降低了元數(shù)據(jù)操作延時，又不會導(dǎo)致異常情況下元數(shù)據(jù)信息丟失。

本申請實施例提供的第三種分布式文件系統(tǒng)元數(shù)據(jù)性能提升裝置，是在上述第一種分布式文件系統(tǒng)元數(shù)據(jù)性能提升裝置的基礎(chǔ)上，還包括如下技術(shù)特征：

所述過渡存儲裝置具體用于以日志的形式，將接收的元數(shù)據(jù)保存到所述過渡存儲裝置中。

也就是說，客戶端的每次元數(shù)據(jù)操作請求會記入log中，記入log后立即給客戶端消息回執(zhí)，該方式能更好的保證安全性和性能，當(dāng)然此處并不構(gòu)成限制，也可以采用其他方式，例如直接落盤方式。

本申請實施例提供的第四種分布式文件系統(tǒng)元數(shù)據(jù)性能提升裝置，是在上述第一種至第三種分布式文件系統(tǒng)元數(shù)據(jù)性能提升裝置中任一種的基礎(chǔ)上，還包括如下技術(shù)特征：

所述元數(shù)據(jù)存儲設(shè)備為固態(tài)硬盤。

需要說明的是，這種固態(tài)硬盤的存取速度更快，能夠提高元數(shù)據(jù)的處理速度。

對所公開的實施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。