專利名稱：基于對象集群文件系統(tǒng)的對象副本高效管理方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種基于對象集群文件系統(tǒng)的對象副本高效管理方法及系統(tǒng)，屬于信息技術領域。
背景技術：
隨著計算機技術和網(wǎng)絡技術的飛速發(fā)展，由此產生的各種應用數(shù)據(jù)呈幾何級數(shù)爆炸式增長，各種在線數(shù)據(jù)飛速增長，促使數(shù)據(jù)存儲容量以每年數(shù)十倍的速度急劇增長，大量數(shù)據(jù)密集型的應用，如數(shù)字圖書館、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、氣象數(shù)據(jù)處理、醫(yī)藥視頻圖像處理、生命科學研究、多媒體點播、在線數(shù)據(jù)處理等，對存儲系統(tǒng)的性能提出更高的要求，數(shù)據(jù)訪問的壓力也在不斷的增加，保持高速的數(shù)據(jù)訪問能力并讓每個用戶獲得盡可能高的訪問效率是IT行業(yè)關注的焦點，這對存儲系統(tǒng)的性能，比如I/O帶寬、吞吐率、響應時間等提出更高的要求，如何構建一個高性能、高可伸縮、高可用、可管理、安全的存儲系統(tǒng)就成為了目前存儲系統(tǒng)所面臨的一個重要問題。對象集群文件系統(tǒng)是融合傳統(tǒng)NAS (網(wǎng)絡連接式存儲，Network AttachedStorage)架構和SAN(存儲網(wǎng)絡，Storage Area Network)架構存儲兩種經典架構的優(yōu)點而產生的新的大規(guī)模存儲系統(tǒng)的體系結構，使多臺服務器對外提供統(tǒng)一的功能和強大處理能力的服務特性，具備高性能、高可靠性、負載均衡、數(shù)據(jù)共享使用等集群自身特點。具體而言，對象集群文件系統(tǒng)是將每個存儲設備作為一個存儲，通過高速互聯(lián)網(wǎng)絡連接起來，將數(shù)據(jù)分散開存儲在多臺獨立的設備上，這些設備可以獨立運作，相互之間又可以合作。每個I/O不僅可以訪問本的存儲空間，還可以訪問其他的存儲空間，所有存儲的空間以一個虛擬磁盤的方式提供給客戶端用戶。對象集群文件系統(tǒng)的核心是將數(shù)據(jù)通路(數(shù)據(jù)讀或寫)和控制通路(元數(shù)據(jù))分離，并且基于對象存儲服務器集群構建存儲系統(tǒng)，每個對象存儲服務器能夠自動管理其上的數(shù)據(jù)分布。對象集群文件系統(tǒng)主要包括三部分，分別為客戶端(Client)文件集群、元數(shù)據(jù)服務器集群(MSD, Metadata Storage Device)和對象存儲服務器集群(OSD, Object Storage Device),兀數(shù)據(jù)服務器集群又包括Master MSD和 Slave MSD, SlaveMSD為Master MSD分擔部分負荷，達到負荷均衡，同時作為Master MSD出現(xiàn)故障時的備用服務器，Slave MSD上的數(shù)據(jù)由Master MSD分發(fā)；如果數(shù)據(jù)發(fā)生改變Slave MSD仍然需要從Master MSD上獲得相應的數(shù)據(jù)。由于元數(shù)據(jù)管理(大約有90%的負載)已交由OSD負責，元數(shù)據(jù)服務器只管理與文件目錄有關的元數(shù)據(jù)(約10%的負載)，即將文件目錄映射為對象，對象是系統(tǒng)中數(shù)據(jù)存儲的基本單位，一個對象實際上就是文件的數(shù)據(jù)和一組屬性的組合，這些屬性可以定義基于文件的數(shù)據(jù)分布和服務質量等，而傳統(tǒng)的存儲系統(tǒng)中用文件或塊作為基本的存儲單位，在塊存儲系統(tǒng)中還需要始終追蹤系統(tǒng)中每個塊的屬性，對象通過與存儲系統(tǒng)通信維護自己的屬性。在存儲設備中，所有對象都有一個對象標識，通過對象標識OSD命令訪問該對象。OSD具有自己的CPU、內存、網(wǎng)絡通信接口和磁盤、OS操作系統(tǒng)，目前國際上通常采用刀片式結構實現(xiàn)對象存儲的設備。OSD提供三個主要功能:(I)數(shù)據(jù)存儲，OSD管理對象數(shù)據(jù)，并將它們放置 在標準的磁盤系統(tǒng)上，OSD不提供塊接口訪問方式，Client請求數(shù)據(jù)時用對象ID、偏移進行數(shù)據(jù)讀寫；(2)智能分布，OSD用其自身的CPU和內存優(yōu)化數(shù)據(jù)分布，并支持數(shù)據(jù)的預取。由于OSD可以智能地支持對象的預取，從而可以優(yōu)化磁盤的性能；(3)每個對象元數(shù)據(jù)的管理，OSD管理存儲在其上對象的元數(shù)據(jù)，該元數(shù)據(jù)與傳統(tǒng)的inode (索引)元數(shù)據(jù)相似，通常包括對象的數(shù)據(jù)塊和對象的長度。而在傳統(tǒng)的NAS系統(tǒng)中，這些元數(shù)據(jù)是由文件服務器維護的，對象存儲架構將系統(tǒng)中主要的元數(shù)據(jù)管理工作由OSD來完成，降低了 Client的開銷。MSD控制Client與OSD對象的交互，主要提供以下幾個功能:(I)對象存儲訪問，MSD構造、管理描述每個文件分布的視圖，允許Client直接訪問對象，MSD為Client提供訪問該文件所含對象的能力，OSD在接收到每個請求時將先驗證該能力，然后才可以訪問；(2)文件和目錄訪問管理，MSD在存儲系統(tǒng)上構建一個文件結構，包括限額控制、目錄和文件的創(chuàng)建和刪除、訪問控制等；(3) Client Cache—致性，為了提高Client性能，在對象存儲文件系統(tǒng)設計時通常支持Client方的Cache (高速緩存)。由于引入Client方的Cache,帶來了 Cache —致性問題,MSD支持基于Client的文件Cache,當Cache的文件發(fā)生改變時,將通知Client刷新Cache,從而防止Cache不一致引發(fā)的問題。長久以來在上千臺大規(guī)模集群系統(tǒng)中，磁盤的尋道時間和磁盤數(shù)據(jù)的傳輸時間很長，成為制約大規(guī)模基于對象集群文件系統(tǒng)的最大瓶頸。同時，在上千臺集群存儲的大規(guī)模存儲環(huán)境下，I/o的能耗方面的優(yōu)化也是一個需要考慮的關鍵點。因此，為了保障對象存儲系統(tǒng)能夠穩(wěn)定有效地提供高性能存儲服務，將副本技術引入對象存儲系統(tǒng)，通過創(chuàng)建對象副本，犧牲部分存儲容量，保存多個副本，利用空閑系統(tǒng)資源，由多個副本來同時分擔訪問原對象的I/o請求，從而實現(xiàn)降低訪問的延遲、提高存儲系統(tǒng)性能的目的。副本技術的引入使得對象存儲系統(tǒng)存在了大量的對象副本，這些副本的有效管理至關重要。目前，基于對象的集群文件系統(tǒng)的存儲技術還是在起步階段，很多方面，特別是性能優(yōu)化技術方面還有很大的提升空間?，F(xiàn)有專利文獻CN101980192公開了一種基于對象的集群文件管理方法，通過管理對象、元數(shù)據(jù)對象和存儲數(shù)據(jù)對象分離，實現(xiàn)系統(tǒng)資源與物理設備無關的靈活配置和部署，并且對系統(tǒng)的負荷進行自動均衡配置，使系統(tǒng)內各對象存儲和訪問的動態(tài)均衡，通過對象備份，將過負荷上的元數(shù)據(jù)對象服務轉移到非過負荷上的備份元數(shù)據(jù)對象上，將負荷上的存儲數(shù)據(jù)對象的服務轉移到非過負荷上的備份存儲數(shù)據(jù)對象上?！ど鲜鰧＠墨I只是實現(xiàn)了集群文件系統(tǒng)的自動均衡配置等方面的優(yōu)化，對該體系架構下的集群文件系統(tǒng)的對象副本的高效存取管理技術并不完善，沒有對備份數(shù)據(jù)(即對象副本)進行有效管理，大大限制了基于對象集群文件系統(tǒng)性能的進一步提高。

發(fā)明內容
本發(fā)明要解決的技術問題是大規(guī)模集群文件系統(tǒng)中對對象副本未進行有效管理帶來的磁盤尋道時間長和磁盤碎片多，存儲能耗大，訪問能力低的問題，從而提供一種基于對象集群文件系統(tǒng)的對象副本高效管理方法及系統(tǒng)。為了解決上述技術問題，本發(fā)明提供了一種對象集群文件系統(tǒng)的對象副本高效管理方法，包括，初始化步驟:SlO:每個OSD上的對象副本DNA本地生成模塊根據(jù)所述OSD上包含的所有對象的關鍵信息生成對象副本DNA樣本，并將所述對象副本DNA樣本存儲在本地的所述OSD中；其中，所述關鍵信息包括該對象在磁盤上的分布狀態(tài)、起始扇區(qū)和容量信息；Sll =Master MSD的對象副本DNA數(shù)據(jù)樣本采集模塊采集存儲在所述Master MSD所對應的各個OSD的所述對象副本DNA樣本，同時負責匯總所述Master MSD所對應的各個OSD的所述對象副本DNA樣本，建立對象副本DNA樣本數(shù)據(jù)庫并將所述對象副本DNA樣本數(shù)據(jù)庫存儲在所述Master MSD中；S12:所述Master MSD的對象副本DNA控制與管理模塊將對象副本DNA樣本數(shù)據(jù)庫復制到所述Master MSD所對應的各個Slave MSD中和每個Client端的Cache中；工作步驟:S21:當Client端發(fā)出對OSD上的對象副本進行I/O請求時,所述Client端的對象副本DNA索引模塊接收所述I/O請求，并根據(jù)所述I/O請求對應的對象副本的大小和所屬目錄層級信息的屬性在所述對象副本DNA樣本庫里根據(jù)配對策略進行查找，找到最佳匹配的對象副本并完成相應操作；S22:所述Master MSD的數(shù)據(jù)一致性管理模塊定時檢測所述Master MSD和所述Master MSD所對應的各個OSD和Slave MSD之間的通訊情況，并在通訊正常時轉入步驟S220;S220:對象的關鍵信息發(fā)生變化的所述OSD的對象副本DNA本地生成模塊將變動的所述對象副本DNA樣本經由對應的所述Master MSD上的數(shù)據(jù)一致性管理模 塊提交給對應的所述Master MSD;S221:所述Master MSD接收變動的所述對象副本DNA樣本后，所述Master MSD上的對象副本DNA控制與管理模塊匯總變動的所述對象副本DNA樣本，并根據(jù)變動的所述對象副本DNA樣本更新所述對象副本DNA樣本數(shù)據(jù)庫里對應的所述對象副本DNA樣本，并將更新后的所述對象副本DNA樣本復制到所述對應的各個所述Slave MSD中和所述Client端的Cache中。步驟S21之前還包括設定配對策略的步驟，設定后的配對策略為如下配對策略中的任意一種:最近最先訪問策略、容量最合適策略、性能最合適策略和磁盤能耗最小策略。所述基于對象集群文件系統(tǒng)的對象副本高效管理方法中的各個步驟的相關信息都由日志管理模塊進行記錄；其中日志管理模塊所記錄的相關信息包括:操作類型、操作說明、操作時間、數(shù)據(jù)一致性、操作優(yōu)先等級、數(shù)據(jù)分布策略。一種基于對象集群文件系統(tǒng)的副本高效管理系統(tǒng)，包括:對象副本DNA本地生成模塊，設置在每個OSD上，根據(jù)所述OSD上包含的所有對象的關鍵信息生成對象副本DNA樣本，并將所述對象副本DNA樣本存儲在本地的所述OSD中；其中，所述關鍵信息包括該對象在磁盤上的分布狀態(tài)、起始扇區(qū)和容量信息；數(shù)據(jù)一致性管理模塊，設置在Master MSD上，用于判斷Client端對存儲在OSD上的對象進行操作是否使得對象的關鍵信息發(fā)生變化，并在判斷對象的關鍵信息發(fā)生變化時,對象的關鍵信息發(fā)生變化的所述OSD上的對象副本DNA本地生成模塊將變動的所述對象副本DNA樣本提交給所述Master MSD的數(shù)據(jù)一致性管理模塊；對象副本DNA數(shù)據(jù)樣本采集模塊,設置在Master MSD上，采集存儲在所述MasterMSD所對應各個OSD上的所述對象副本DNA樣本；同時，負責匯總各個OSD上的所述對象副本DNA樣本，建立對象副本DNA樣本數(shù)據(jù)庫；對象副本DNA控制與管理模塊，設置在Master MSD上，將對象副本DNA樣本數(shù)據(jù)庫復制到所述Master MSD所對應各個Slave MSD中和每個Client端的Cache中；對象副本DNA索引模塊，設置在Client端，用于接收Client端發(fā)出對OSD上的對象副本進行I/o請求，并根據(jù)所述I/O請求對應的對象副本的大小和所屬目錄層級信息的屬性在所述對象副本DNA樣本庫里根據(jù)配對策略進行查找，找到最佳匹配的對象副本；其中，所述配對策略包括最近最先訪問策略、容量最合適策略、性能最合適策略、磁盤能耗最小策略。還包括設置在所述Client端配對策略設定模塊。還包括日志管理模塊，用于記錄所述各模塊的相關信息。本發(fā)明所述的一種基于對象集群文件系統(tǒng)的對象副本高效管理方法和系統(tǒng)，針對每個對象的關鍵信息生成對象副本DNA樣本，進行匯總創(chuàng)建對象副本DNA樣本數(shù)據(jù)庫，并對對象副本DNA樣本數(shù)據(jù)庫實時更新，當Client端發(fā)出對對象副本進行I/O請求時，根據(jù)所述I/O請求對應的對象副本的大小和所屬目錄層級信息的屬性在所述對象副本DNA樣本庫里依據(jù)配對策略進行查找，找到最佳匹配的對象副本。該方法將大規(guī)模對象集群文件系統(tǒng)中的對象副本存取的管理與磁盤的性能相結合，即對象副本總是選取在磁盤尋道時間、磁盤的旋轉次數(shù)、磁盤的能耗等方面最合適的存儲上的磁盤進行數(shù)據(jù)的存儲，實現(xiàn)I/O請求的就近響應，從而減少磁盤尋道時間、磁盤旋轉次數(shù)等各方面的開銷，降低了訪問延遲、節(jié)約網(wǎng)絡帶寬、提高系統(tǒng)性能，最終提高了并發(fā)訪問處理能力。


為了使本發(fā)明的內容更容易被清楚的理解，下面結合附圖，對本發(fā)明作進一步詳細的說明，其中， 圖1是本發(fā)明所述基于對象集群文件系統(tǒng)的對象副本高效管理方法流程圖；圖2是本發(fā)明所述基于對象集群文件系統(tǒng)的對象副本高效管理系統(tǒng)的結構框圖。
具體實施例方式本實施例提供一種基于對象集群文件系統(tǒng)的對象副本高效管理方法，其流程圖如圖1所示，包括初始化步驟和工作步驟。初始化步驟如下:SlO:每個OSD上的對象副本DNA本地生成模塊根據(jù)所述OSD上包含的所有對象的關鍵信息生成對象副本DNA樣本，并將所述對象副本DNA樣本存儲在本地的所述OSD中；其中，所述關鍵信息包括該對象在磁盤上的分布狀態(tài)、起始扇區(qū)和容量信息，這些對象在磁盤上的分布狀態(tài)、起始扇區(qū)和容量信息等關鍵信息是屬于該對象所特有的信息，好像人的DNA是一個人所特有的信息一樣，所以將所述對象的關鍵信息形象的稱為DNA樣本。如圖2所
示，對象副本DNA本地生成模塊創(chuàng)建本地的單個對象副本的DNA樣本Tm 二丨$ ，其存儲
空間內的每一個對象副本對應于一個:￡■的映射；€ !=■[，......Rb......% 丨，其
中Rn分別代表對象的對象副本DNA樣本，這些對象副本DNA樣本存儲在本地的OSD中，供對象副本DNA數(shù)據(jù)樣本采集模塊采集匯總。Sll =Master MSD的對象副本DNA數(shù)據(jù)樣本采集模塊采集存儲在所述Master MSD所對應各個OSD的所述對象副本DNA樣本，同時負責匯總所述Master MSD所對應各個OSD的所述對象副本DNA樣本，建立對象副本DNA樣本數(shù)據(jù)庫并將所述對象副本DNA樣本數(shù)據(jù)庫存儲在所述Master MSD中。如圖2所示，在對象存儲集群系統(tǒng)中的每一個OSD存儲的對象副本DNA樣本Y 創(chuàng)建完成以后，由對象副本DNA數(shù)據(jù)樣本采集模塊負責對所述對象副本DNA樣本進行匯總為對象副本DNA樣本庫{ Y J，具體的匯總工作由Master MSD的對象副本DNA數(shù)據(jù)樣本采集模塊負責完成，并對這些樣本進行匯總，建立對象副本DNA樣本數(shù)據(jù)庫并將所述對象副本DNA樣本數(shù)據(jù)庫存儲在所述Master MSD中。S12:所述Master MSD的對象副本DNA控制與管理模塊將對象副本DNA樣本數(shù)據(jù)庫復制到所述Master MSD所對應各個Slave MSD中和每個Client端的Cache中，使所述Master MSD與所對應各個Slave MSD中和每個Client端的Cache中的DNA樣本數(shù)據(jù)保持一致。工作步驟:S21:當任一 Client端發(fā)出對OSD上的對象副本進行I/O請求時,所述Client端的對象副本DNA索引模塊接收所述I/O請求，并根據(jù)所述I/O請求對應的對象副本的大小和所屬目錄層級信息的屬性集{ nj，1表示大小，所屬目錄層級信息等屬性。在所述對象
副本DNA樣本庫￥ 里，即里進行搜索、查找。根據(jù)對象副本DNA配對策略模塊提供
的配對策略進行查找，找到最佳匹配的對象副本并完成相應的操作；S22:所述Master MSD的數(shù)據(jù)一致性管理模塊定時檢測所述Master MSD和所述Master MSD所對應的各個OSD、Slave MSD之間的通訊情況，并在通訊正常時轉入步驟S220。通常采用心跳信號或者目`錄方式檢測通訊是否正常，心跳信號是為了確認互聯(lián)的雙方在長時間沒有通訊的情況下是否都還在線，或者說存在于互聯(lián)的雙方之間的通訊鏈路是否已經斷開，所述Master MSD的數(shù)據(jù)一致性管理模塊定時向所述Master MSD所對應的各個OSD、Slave MSD發(fā)送一個信號，所述Master MSD所對應的各個OSD、Slave MSD在收到這個信號后并向所述Master MSD發(fā)送一個很小的數(shù)據(jù)包來檢測通訊是否正常；目錄方式為所述Master MSD所對應的各個OSD、Slave MSD定時向指定的目錄內寫入數(shù)據(jù)，如各個服務器都定時寫入了數(shù)據(jù)，則判斷該服務器通訊正常，并在通訊正常時轉入步驟S220，否則判斷相應的服務器通訊中斷。通訊中斷的服務器在確定無法繼續(xù)通訊時一般會被從系統(tǒng)中剔除。S220:當Client端對存儲在OSD上的對象進行操作，例如對對象的刪除、文件的增力口、文件的重命名、文件的復制等，致使對象的關鍵信息發(fā)生變化，對象的關鍵信息發(fā)生變化的所述OSD的對象副本DNA本地生成模塊將變動的所述對象副本DNA樣本Y n經由所述Master MSD上的數(shù)據(jù)一致性管理模塊提交給對應的所述Master MSD;S221:所述Master MSD接收變動的所述對象副本DNA樣本后，所述Master MSD上的對象副本DNA控制與管理模塊匯總變動的所述對象副本DNA樣本，并根據(jù)變動的對象副本DNA樣本Yn更新所述對象副本DNA樣本數(shù)據(jù)庫里對應的所述對象副本DNA樣本，并將更新后的所述對象副本DNA樣本復制到所述對應的各個所述Slave MSD中和所述Client端的Cache中，使所述Master MSD與所對應各個Slave MSD中和每個Client端的Cache中的DNA樣本數(shù)據(jù)保持一致。本實施例中在所述步驟S21之前還包括設定配對策略的步驟，設定后的所配對策略為如下配對策略中的任意一種:最近最先訪問策略:數(shù)據(jù)分布的位置最近者優(yōu)先；容量最合適策略:容量匹配最佳者優(yōu)先；性能最合適策略:性能最高者優(yōu)先；磁盤能耗最小策略:磁盤的總能耗最小者優(yōu)先。作為本發(fā)明所述基于對象集群文件系統(tǒng)的對象副本高效管理方法的其它實施例，在上述實施例的基礎上，所述配對策略還可根據(jù)具體需求進行擴展，進一步完成對Client端I/O性能和節(jié)能優(yōu)化。作為本發(fā)明所述基于對象集群文件系統(tǒng)的對象副本高效管理方法的其它實施例，在上述實施例的基礎上，上述基于對象集群文件系統(tǒng)的對象副本高效管理方法中的各個步驟的相關信息都由日志管理模塊進行記錄，便于對對象副本進行管理。其中日志管理模塊所記錄的相關信息包括:操作類型、操作說明、操作時間、數(shù)據(jù)一致性、操作優(yōu)先等級、數(shù)據(jù)分布策略。本發(fā)明還提供一種基于對象集群文件系統(tǒng)的副本高效管理系統(tǒng)，集群文件系統(tǒng)中的MSD—般包括多個Master MSD，每個Master MSD對應多個Client端、Slave MSD和0SD，本實施例的一種基于對象集群文件系統(tǒng)的副本高效管理系統(tǒng)僅包括一個Master MSD, 一個所述Master MSD用于管理m個Slave MSD和η個OSD,同時可供k個客戶端同時訪問操作，其中，m、n和k均為 正整數(shù)，具體結構框圖如圖2所示，包括:對象副本DNA本地生成模塊，設置在每個OSD上，根據(jù)所述OSD上包含的所有對象的關鍵信息生成對象副本DNA樣本，并將所述對象副本DNA樣本存儲在本地的所述OSD中；其中，所述關鍵信息包括該對象在磁盤上的分布狀態(tài)、起始扇區(qū)和容量信息。數(shù)據(jù)一致性管理模塊，設置在Master MSD上，用于Client端對存儲在OSD上的對象進行操作，致使對象的關鍵信息發(fā)生變化，對象的關鍵信息發(fā)生變化的所述OSD上的對象副本DNA本地生成模塊將變動的所述對象副本DNA樣本提交給所述Master MSD。對象副本DNA數(shù)據(jù)樣本采集模塊,設置在Master MSD上，采集存儲在所述MasterMSD所對應各個OSD上的所述對象副本DNA樣本；同時，負責匯總各個OSD上的所述對象副本DNA樣本，建立對象副本DNA樣本數(shù)據(jù)庫。對象副本DNA控制與管理模塊，設置在Master MSD上，將對象副本DNA樣本數(shù)據(jù)庫復制到所述Master MSD所對應各個Slave MSD中和每個Client端的Cache中。對象副本DNA索引模塊，設置在Client端，用于接收Client端發(fā)出對OSD上的對象副本進行I/o請求，并根據(jù)所述I/O請求對應的對象副本的大小和所屬目錄層級信息的屬性在所述對象副本DNA樣本庫里根據(jù)配對策略進行查找，找到最佳匹配的對象副本；其中，所述配對策略包括最近最先訪問策略、容量最合適策略、性能最合適策略、磁盤能耗最小策略。作為本發(fā)明所述基于對象集群文件系統(tǒng)的對象副本高效管理系統(tǒng)的其它實施例，在上述實施例的基礎上，還包括設置在所述Client端配對策略設定模塊。作為本發(fā)明所述基于對象集群文件系統(tǒng)的對象副本高效管理系統(tǒng)的其它實施例，在上述實施例的基礎上，還包括日志管理模塊，用于記錄所述各模塊的相關信息。
作為本發(fā)明所述基于對象集群文件系統(tǒng)的對象副本高效管理方法的其它實施例，上述基于對象集群文件系統(tǒng)的對象副本高效管理系統(tǒng)中的MSD可包括多個Master MSD,每個Master MSD可以實現(xiàn)數(shù)據(jù)共享。本發(fā)明所述的一種基于對象集群文件系統(tǒng)的對象副本高效管理方法和系統(tǒng)，針對每個對象的關鍵信息生成對象副本DNA樣本，進行匯總創(chuàng)建對象副本DNA樣本數(shù)據(jù)庫，并對對象副本DNA樣本數(shù)據(jù)庫進行實時更新，當Client端發(fā)出對對象副本進行I/O請求時，根據(jù)所述I/O請求對應的對象副本的大小和所屬目錄層級信息的屬性在所述對象副本DNA樣本庫里根據(jù)配對策略進行查找，找到最佳匹配的對象副本。該方法將大規(guī)模對象集群文件系統(tǒng)中的對象副本存取的管理與磁盤的性能相結合，即對象副本總是選取在磁盤尋道時間、磁盤的旋轉次數(shù)、磁盤的能耗等方面最合適的存儲上的磁盤進行數(shù)據(jù)的存儲，實現(xiàn)I/O請求的就近響應，從而減少磁盤尋道時間、磁盤旋轉次數(shù)等各方面的開銷，降低了訪問延遲、節(jié)約網(wǎng)絡帶寬、提高系統(tǒng)性能，最終提高了并發(fā)訪問處理能力。本發(fā)明提供的一種對象集群文件系統(tǒng)的高效副本管理方法及系統(tǒng)，特別適用于高性能計算、科學計算、社交存儲應用、流媒體存儲等大規(guī)模、密集訪問的應用環(huán)境，可以大大提高系統(tǒng)的性能、增強用戶體驗、保障數(shù)據(jù)的可靠性和可用性的同時節(jié)省很多能耗方面的經濟成本，能夠有效的面對大數(shù)據(jù)時代所帶來的各種挑戰(zhàn)。顯然，上述實施例僅僅是為清楚地說明所作的舉例，而并非對實施方式的限定。對于所屬領域的普通技術人員來說，在上述說明的基礎上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動仍處于本發(fā)明 創(chuàng)造的保護范圍之中。
權利要求
1.一種基于對象集群文件系統(tǒng)的對象副本高效管理方法，其特征在于:包括， 初始化步驟: 510:每個OSD上的對象副本DNA本地生成模塊根據(jù)所述OSD上包含的所有對象的關鍵信息生成對象副本DNA樣本，并將所述對象副本DNA樣本存儲在本地的所述OSD中；其中，所述關鍵信息包括該對象在磁盤上的分布狀態(tài)、起始扇區(qū)和容量信息； 511=Master MSD的對象副本DNA數(shù)據(jù)樣本采集模塊采集存儲在所述Master MSD所對應的各個OSD的所述對象副本DNA樣本，同時負責匯總所述Master MSD所對應的各個OSD的所述對象副本DNA樣本，建立對象副本DNA樣本數(shù)據(jù)庫并將所述對象副本DNA樣本數(shù)據(jù)庫存儲在所述Master MSD中； 512:所述Master MSD的對象副本DNA控制與管理模塊將對象副本DNA樣本數(shù)據(jù)庫復制到所述Master MSD所對應的各個Slave MSD中和每個Client端的Cache中； 工作步驟: 521:當Client端發(fā)出對OSD上的對象副本進行I/O請求時,所述Client端的對象副本DNA索引模塊接收所述I/O請求，并根據(jù)所述I/O請求對應的對象副本的大小和所屬目錄層級信息的屬性在所述對象副本DNA樣本庫里根據(jù)配對策略進行查找，找到最佳匹配的對象副本并完成相應操作； 522:所述Master MSD的數(shù)據(jù)一致性管理模塊定時檢測所述Master MSD和所述MasterMSD所對應的各個OSD和Slave MSD之間的通訊情況，并在通訊正常時轉入步驟S220; S220:對象的關鍵信息發(fā)生變化的所述OSD的對象副本DNA本地生成模塊將變動的所述對象副本DNA樣本經由對應的所述Master MSD上的數(shù)據(jù)一致性管理模塊提交給對應的所述 Master MSD; S221:所述Master MSD接收變動的所述對象副本DNA樣本后，所述Master MSD上的對象副本DNA控制與管理模塊匯總變動的所述對象副本DNA樣本，并根據(jù)變動的所述對象副本DNA樣本更新所述對象副本DNA樣本數(shù)據(jù)庫里對應的所述對象副本DNA樣本，并將更新后的所述對象副本DNA樣本復制到所述對應的各個所述Slave MSD中和所述Client端的Cache中。
2.根據(jù)權利要求1所述的基于對象集群文件系統(tǒng)的對象副本高效管理方法，其特征在于:步驟S21之前還包括設定配對策略的步驟，設定后的配對策略為如下配對策略中的任意一種:最近最先訪問策略、容量最合適策略、性能最合適策略和磁盤能耗最小策略。
3.根據(jù)權利要求1或2所述的基于對象集群文件系統(tǒng)的對象副本高效管理方法，其特征在于:所述基于對象集群文件系統(tǒng)的對象副本高效管理方法中的各個步驟的相關信息都由日志管理模塊進行記錄；其中日志管理模塊所記錄的相關信息包括操作類型、操作說明、操作時間、數(shù)據(jù)一致性、操作優(yōu)先等級、數(shù)據(jù)分布策略。
4.一種基于對象集群文件系統(tǒng)的副本高效管理系統(tǒng)，其特征在于，包括: 對象副本DNA本地生成模塊，設置在每個OSD上，根據(jù)所述OSD上包含的所有對象的關鍵信息生成對象副本DNA樣本，并將所述對象副本DNA樣本存儲在本地的所述OSD中；其中，所述關鍵信息包括該對象在磁盤上的分布狀態(tài)、起始扇區(qū)和容量信息； 數(shù)據(jù)一致性管理模塊，設置在Master MSD上，用于判斷Client端對存儲在OSD上的對象進行操作是 否使得對象的關鍵信息發(fā)生變化，并在判斷對象的關鍵信息發(fā)生變化時，對象的關鍵信息發(fā)生變化的所述OSD上的對象副本DNA本地生成模塊將變動的所述對象副本DNA樣本提交給所述Master MSD; 對象副本DNA數(shù)據(jù)樣本采集模塊，設置在Master MSD上，采集存儲在所述Master MSD所對應各個OSD上的所述對象副本DNA樣本；同時，負責匯總各個OSD上的所述對象副本DNA樣本，建立對象副本DNA樣本數(shù)據(jù)庫； 對象副本DNA控制與管理模塊，設置在Master MSD上，將對象副本DNA樣本數(shù)據(jù)庫復制到所述Master MSD對應的各個Slave MSD中和每個Client端的Cache中； 對象副本DNA索引模塊，設置在Client端，用于接收Client端發(fā)出對OSD上的對象副本進行I/O請求，并根據(jù)所述I/O請求對應的對象副本的大小和所屬目錄層級信息的屬性在所述對象副本DNA樣本庫里根據(jù)配對策略進行查找，找到最佳匹配的對象副本；其中，所述配對策略包 括最近最先訪問策略、容量最合適策略、性能最合適策略、磁盤能耗最小策略。
5.根據(jù)權利要求4所述的基于對象集群文件系統(tǒng)的副本高效管理系統(tǒng)，其特征在于:還包括設置在所述Client端配對策略設定模塊。
6.根據(jù)權利要求4或5所述的基于對象集群文件系統(tǒng)的副本高效管理系統(tǒng)，其特征在于:還包括日志管理模塊，用于記錄所述各模塊的相關信息。
全文摘要
本發(fā)明所提供的一種基于對象集群文件系統(tǒng)的對象副本高效管理方法及系統(tǒng)，針對每個對象的關鍵信息生成對象副本DNA樣本，進行匯總創(chuàng)建對象副本DNA樣本數(shù)據(jù)庫，并實時更新。當Client端發(fā)出對對象副本進行I/O請求時，根據(jù)I/O請求對應的對象副本的大小和所屬目錄層級信息的屬性在對象副本DNA樣本庫里依據(jù)配對策略進行查找，找到最佳匹配的對象副本。該方法將大規(guī)模對象集群文件系統(tǒng)中的對象副本存取的管理與磁盤的性能相結合，即對象副本總是選取在磁盤尋道時間、旋轉次數(shù)、能耗等方面最合適的存儲器上進行訪問,從而降低了訪問延遲、節(jié)約網(wǎng)絡帶寬、提高系統(tǒng)性能，最終提高了并發(fā)訪問處理能力。
文檔編號G06F17/30GK103246716SQ20131015078
公開日2013年8月14日 申請日期2013年4月26日 優(yōu)先權日2013年4月26日
發(fā)明者張雷, 朱立谷, 曾賽峰 申請人:中國傳媒大學