據(jù)返回應(yīng)用系統(tǒng)；
[0041]所述元數(shù)據(jù)服務(wù)模塊102還用于接收來自代理模塊101的攜帶讀取起始地址的讀請求，查找一級映射表中所述讀取起始地址對應(yīng)的映射記錄，得到相應(yīng)的存儲節(jié)點以及塊標識，把讀請求路由到相應(yīng)的存儲節(jié)點；
[0042]所述存儲服務(wù)模塊103還用于接收路由到本存儲服務(wù)模塊103所管理的存儲節(jié)點的讀請求，根據(jù)塊標識查找二級映射表，得到實際物理地址，從實際物理地址中獲取讀數(shù)據(jù)，將讀數(shù)據(jù)返回給代理模塊101。
[0043]可選地，所述元數(shù)據(jù)服務(wù)模塊103進一步包括:
[0044]負載分擔算法單元，用于根據(jù)負載分擔算法選擇一個負載較輕的存儲節(jié)點。
[0045]可選地，元數(shù)據(jù)服務(wù)模塊單獨部署在獨立節(jié)點中，或者分布式部署在所有的節(jié)點集群上。
[0046]本申請實施例提供的分布式存儲系統(tǒng)的數(shù)據(jù)寫入流程如圖1所示，包括如下步驟:
[0047]步驟201:應(yīng)用系統(tǒng)向分布式存儲系統(tǒng)請求寫入起始地址LBA1、長度為L的數(shù)據(jù)。
[0048]步驟202:分布式存儲系統(tǒng)的代理模塊收到請求，按分塊參數(shù)計算數(shù)據(jù)的哈希值，得到塊標識，向元數(shù)據(jù)服務(wù)模塊發(fā)送攜帶所述塊標識的寫請求。
[0049]步驟203:元數(shù)據(jù)服務(wù)模塊查找一級映射表，如果已存在相應(yīng)塊標識的映射記錄，執(zhí)行步驟204，否則，執(zhí)行步驟205。
[0050]步驟204:元數(shù)據(jù)服務(wù)模塊刷新一級映射表，增加一條LBA1和相應(yīng)塊標識的映射記錄，向應(yīng)用系統(tǒng)返回寫入成功，流程結(jié)束。
[0051]步驟205:元數(shù)據(jù)服務(wù)模塊根據(jù)負載分擔算法選擇一個負載較輕的存儲節(jié)點，把節(jié)點信息返回給代理模塊。
[0052]步驟206:代理模塊根據(jù)元數(shù)據(jù)服務(wù)模塊返回的節(jié)點信息，把寫入請求路由到相應(yīng)的存儲節(jié)點。
[0053]步驟207:所述存儲節(jié)點對應(yīng)的存儲服務(wù)模塊收到寫請求，把數(shù)據(jù)寫入存儲節(jié)點的磁盤，刷新二級映射表，新增相應(yīng)塊標識和實際寫入物理地址的記錄。并向元數(shù)據(jù)服務(wù)模塊發(fā)送寫入信息。
[0054]步驟208:元數(shù)據(jù)服務(wù)模塊收到存儲服務(wù)模塊發(fā)來的寫入信息，刷新一級映射表，新增LBA1、相應(yīng)塊標識、相應(yīng)存儲節(jié)點的映射記錄；向所述存儲服務(wù)模塊返回刷新成功消息。
[0055]步驟209:存儲服務(wù)模塊收到元數(shù)據(jù)服務(wù)模塊的刷新成功的消息，給應(yīng)用系統(tǒng)返回寫入成功(通過代理模塊)，流程結(jié)束。
[0056]從寫入流程可以看出，所要寫入的數(shù)據(jù)在分布式存儲系統(tǒng)中已存在相同的數(shù)據(jù)塊時，寫入過程中不需要再寫入對應(yīng)的數(shù)據(jù)，而只需要刷新一級映射表，增加邏輯地址和塊標識的映射記錄即可，相當于自動實現(xiàn)了重復(fù)數(shù)據(jù)刪除，大大節(jié)省了實際存儲空間的占用，且減少了數(shù)據(jù)寫入流程和數(shù)據(jù)傳輸，提高存儲效率。
[0057]本申請實施例提供的分布式存儲系統(tǒng)的讀數(shù)據(jù)流程如圖3所示，包括如下步驟:
[0058]步驟301:應(yīng)用系統(tǒng)向分布式存儲系統(tǒng)的代理模塊請求讀取起始地址LBA1，長度為L的數(shù)據(jù)。
[0059]步驟302:代理模塊將該讀請求透傳給元數(shù)據(jù)服務(wù)模塊。
[0060]步驟303:元數(shù)據(jù)服務(wù)模塊收到請求，查找一級映射表中LBA1對應(yīng)的映射記錄，得到相應(yīng)的存儲節(jié)點以及塊標識。
[0061]步驟304:元數(shù)據(jù)服務(wù)模塊把讀請求路由到相應(yīng)的存儲節(jié)點。
[0062]步驟305:所述存儲節(jié)點對應(yīng)的存儲服務(wù)模塊收到讀請求，根據(jù)塊標識查找二級映射表，得到實際物理地址，從實際物理地址中讀取數(shù)據(jù)，返回給應(yīng)用系統(tǒng)(通過代理模塊)。
[0063]從上述的讀寫流程看來，由于技術(shù)方案采用了兩級映射表，除了在分布式系統(tǒng)中天然支持了在線全局重復(fù)數(shù)據(jù)刪除外，還有一個優(yōu)勢在于，節(jié)點之間的耦合比較松散，可以靈活采用不同的部署方式。例如可以采用非對稱分布式架構(gòu)部署方法，元數(shù)據(jù)服務(wù)模塊部署在獨立的元數(shù)據(jù)節(jié)點中，專門負責一級映射表管理以及各存儲節(jié)點的管理。存儲服務(wù)模塊則部署在存儲節(jié)點中形成集群，負責二級映射表管理以及數(shù)據(jù)實際存儲；或者也可以采用對稱分布式架構(gòu)部署方法，元數(shù)據(jù)服務(wù)模塊和存儲服務(wù)模塊共同部署在各存儲節(jié)點中，元數(shù)據(jù)服務(wù)模塊負責全局一級映射表的管理，并通過后端網(wǎng)絡(luò)實時同步到所有節(jié)點，存儲服務(wù)則負責該節(jié)點二級映射表的管理以及實際數(shù)據(jù)的存儲；或者也可以采用以上兩種方式的混合部署方法。
[0064]以上所述僅為本申請的較佳實施例而已，并不用以限制本申請的保護范圍，凡在本申請技術(shù)方案的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本申請保護的范圍之內(nèi)。
【主權(quán)項】
1.一種分布式存儲系統(tǒng)，其特征在于，包括:所述分布式存儲系統(tǒng)包括一個代理模塊、一個元數(shù)據(jù)服務(wù)模塊以及多個存儲服務(wù)模塊，每個存儲服務(wù)模塊管理至少一個存儲節(jié)點； 所述代理模塊用于接收來自應(yīng)用系統(tǒng)的寫請求，按分塊參數(shù)計算所要寫入的數(shù)據(jù)的哈希值，得到塊標識，向元數(shù)據(jù)服務(wù)模塊發(fā)送攜帶所述塊標識的寫請求；接收元數(shù)據(jù)服務(wù)模塊返回的節(jié)點信息，根據(jù)所述節(jié)點信息，把寫入請求路由到相應(yīng)的存儲節(jié)點；以及將來自元數(shù)據(jù)服務(wù)模塊或存儲服務(wù)模塊的寫入成功消息返回應(yīng)用系統(tǒng)； 所述元數(shù)據(jù)服務(wù)模塊用于維護全局的一級映射表，一級映射表包含了全局邏輯地址和存儲節(jié)點、塊標識的映射關(guān)系；接收來自代理模塊的攜帶塊標識的寫請求，查找一級映射表，如果已存在相應(yīng)塊標識的映射記錄，刷新一級映射表，增加一條寫入起始地址和相應(yīng)塊標識的映射記錄，通過代理模塊向應(yīng)用系統(tǒng)返回寫入成功消息；若不存在，選擇一個存儲節(jié)點，把所述存儲節(jié)點的節(jié)點信息返回給代理模塊；接收來自存儲服務(wù)模塊的寫入信息，刷新一級映射表，新增寫入起始地址、相應(yīng)塊標識、相應(yīng)存儲節(jié)點的映射記錄，向所述存儲服務(wù)模塊返回刷新成功消息； 存儲服務(wù)模塊用于維護二級映射表，二級映射表包含了塊標識和實際存儲物理地址的映射關(guān)系；接收路由到本存儲服務(wù)模塊所管理的存儲節(jié)點的寫請求，把數(shù)據(jù)寫入所述存儲節(jié)點的磁盤，刷新二級映射表，新增相應(yīng)塊標識和實際寫入物理地址的記錄，并向元數(shù)據(jù)服務(wù)模塊發(fā)送寫入信息。2.根據(jù)權(quán)利要求1所述分布式存儲系統(tǒng)，其特征在于，所述代理模塊還用于接收來自應(yīng)用系統(tǒng)的讀請求，將該讀請求透傳給元數(shù)據(jù)服務(wù)模塊，以及將來自存儲服務(wù)模塊的讀數(shù)據(jù)返回應(yīng)用系統(tǒng)； 所述元數(shù)據(jù)服務(wù)模塊還用于接收來自代理模塊的攜帶讀取起始地址的讀請求，查找一級映射表中所述讀取起始地址對應(yīng)的映射記錄，得到相應(yīng)的存儲節(jié)點以及塊標識，把讀請求路由到相應(yīng)的存儲節(jié)點； 所述存儲服務(wù)模塊還用于接收路由到本存儲服務(wù)模塊所管理的存儲節(jié)點的讀請求，根據(jù)塊標識查找二級映射表，得到實際物理地址，從實際物理地址中獲取讀數(shù)據(jù)，將讀數(shù)據(jù)返回給代理模塊。3.根據(jù)權(quán)利要求1所述的分布式存儲系統(tǒng)，其特征在于，所述元數(shù)據(jù)服務(wù)模塊進一步包括: 負載分擔算法單元，用于根據(jù)負載分擔算法選擇一個負載較輕的存儲節(jié)點。4.根據(jù)權(quán)利要求1至3任一項所述的分布式存儲系統(tǒng)，其特征在于，元數(shù)據(jù)服務(wù)模塊單獨部署在獨立節(jié)點中，或者分布式部署在所有的節(jié)點集群上。5.一種分布式存儲系統(tǒng)的數(shù)據(jù)寫入方法，其特征在于，該分布式存儲系統(tǒng)如權(quán)利要求1所述，該數(shù)據(jù)寫入方法包括: 代理模塊接收來自應(yīng)用系統(tǒng)的寫請求，按分塊參數(shù)計算所要寫入的數(shù)據(jù)的哈希值，得到塊標識，向元數(shù)據(jù)服務(wù)模塊發(fā)送攜帶所述塊標識的寫請求； 元數(shù)據(jù)服務(wù)模塊接收來自代理模塊的攜帶塊標識的寫請求，查找一級映射表，如果已存在相應(yīng)塊標識的映射記錄，刷新一級映射表，增加一條寫入起始地址和相應(yīng)塊標識的映射記錄，通過代理模塊向應(yīng)用系統(tǒng)返回寫入成功消息，結(jié)束寫入流程；若不存在，選擇一個存儲節(jié)點，把所述存儲節(jié)點的節(jié)點信息返回給代理模塊； 代理模塊接收元數(shù)據(jù)服務(wù)模塊返回的節(jié)點信息，根據(jù)所述節(jié)點信息，把寫入請求路由到相應(yīng)的存儲節(jié)點； 存儲服務(wù)模塊接收路由到本存儲服務(wù)模塊所管理的存儲節(jié)點的寫請求，把數(shù)據(jù)寫入所述存儲節(jié)點的磁盤，刷新二級映射表，新增相應(yīng)塊標識和實際寫入物理地址的記錄，并向元數(shù)據(jù)服務(wù)模塊發(fā)送寫入信息； 元數(shù)據(jù)服務(wù)模塊接收來自存儲服務(wù)模塊的寫入信息，刷新一級映射表，新增寫入起始地址、相應(yīng)塊標識、相應(yīng)存儲節(jié)點的映射記錄，向所述存儲服務(wù)模塊返回刷新成功消息； 存儲服務(wù)模塊將來自元數(shù)據(jù)服務(wù)模塊或存儲服務(wù)模塊的寫入成功消息返回應(yīng)用系統(tǒng)。6.一種分布式存儲系統(tǒng)的數(shù)據(jù)讀取方法，其特征在于，該分布式存儲系統(tǒng)如權(quán)利要求2所述，該數(shù)據(jù)讀取方法包括: 代理模塊接收來自應(yīng)用系統(tǒng)的讀請求，將該讀請求透傳給元數(shù)據(jù)服務(wù)模塊； 元數(shù)據(jù)服務(wù)模塊接收來自代理模塊的攜帶讀取起始地址的讀請求，查找一級映射表中所述讀取起始地址對應(yīng)的映射記錄，得到相應(yīng)的存儲節(jié)點以及塊標識，把讀請求路由到相應(yīng)的存儲節(jié)點； 存儲服務(wù)模塊接收路由到本存儲服務(wù)模塊所管理的存儲節(jié)點的讀請求，根據(jù)塊標識查找二級映射表，得到實際物理地址，從實際物理地址中獲取讀數(shù)據(jù)，將讀數(shù)據(jù)返回給代理模塊； 代理模塊將來自存儲服務(wù)模塊的讀數(shù)據(jù)返回應(yīng)用系統(tǒng)。
【專利摘要】本申請公開了一種分布式存儲系統(tǒng)，所述分布式存儲系統(tǒng)包括一個代理模塊、一個元數(shù)據(jù)服務(wù)模塊以及多個存儲服務(wù)模塊，每個存儲服務(wù)模塊管理至少一個存儲節(jié)點。元數(shù)據(jù)服務(wù)模塊用于維護全局的一級映射表，存儲服務(wù)模塊用于維護二級映射表。由于采用兩級元數(shù)據(jù)組織，在寫入數(shù)據(jù)時，如果已存在相同數(shù)據(jù)則不進行實際寫入，從而減少數(shù)據(jù)寫入的操作，并且達到全局重復(fù)數(shù)據(jù)刪除的目標。本申請還公開了相應(yīng)的數(shù)據(jù)讀寫方法。本申請方案可以實現(xiàn)如下技術(shù)效果：在分布式存儲系統(tǒng)中實現(xiàn)了在線的全局重復(fù)數(shù)據(jù)刪除，降低實際存儲空間占用；寫數(shù)據(jù)時由于重復(fù)的數(shù)據(jù)不需要實際的寫操作，節(jié)省了應(yīng)用系統(tǒng)和存儲系統(tǒng)的數(shù)據(jù)交互和帶寬，提高了存儲效率。
【IPC分類】G06F3/06
【公開號】CN105242881
【申請?zhí)枴緾N201510657207
【發(fā)明人】蔡云霞
【申請人】創(chuàng)新科軟件技術(shù)（深圳）有限公司, 創(chuàng)新科存儲技術(shù)有限公司
【公開日】2016年1月13日
【申請日】2015年10月12日