專利名稱：一種云存儲的數據處理方法、設備及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及云存儲技術領域，特別涉及一種云存儲的數據處理方法、設備及系統(tǒng)。
背景技術：
云存儲系統(tǒng)指通過集群應用、網格技術或分布式文件系統(tǒng)等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數據存儲和業(yè)務訪問功能的系統(tǒng)。云存儲系統(tǒng)的架構如圖I所示，包括客戶端10、元數據服務器集群11和存儲設備集群12，其中，元數據服務器集群11包括至少ー個元數據服務器，存儲設備集群12包括至少ー個存儲設備?，F(xiàn)有的云存儲系統(tǒng)的數據寫入過程為客戶端10與元數據服務器集群11中的任意一個元數據服務器(如元數據服務器SI)建立連接，向元數據服務器SI發(fā)送寫入請求，并將待寫入數據的參數信息(如該待寫入數據的名稱、大小、格式等相關信息)發(fā)送給元數據服務器SI，如圖2所示；元數據服務器SI根據收到的來自客戶端10的寫入請求，為該待寫入數據分配存儲設備及存儲位置；根據該存儲設備的標識、存儲位置及待寫入數據的參數信息生成該待寫入數據對應的元數據，并存儲該待寫入數據對應的元數據；將生成的元數據以冗余方式存儲于元數據服務器集群11中的其他所有元數據服務器(S2 Sn)，以保證元數據的一致性；并在所有元數據服務器(Sf Sn)都完成更新后，由元數據服務器SI向客戶端10返回成功響應，并將分配的存儲設備的標識及存儲位置發(fā)送給客戶端10 ；客戶端10根據收到的存儲設備的標識及存儲位置，將待寫入數據及其參數信息存儲于該存儲設備的相應位置。在云存儲系統(tǒng)的數據寫入過程中，若元數據服務器集群中有一個元數據服務器出現(xiàn)故障而無法進行同步更新自身存儲的元數據，則該寫入請求失敗。綜上所述，現(xiàn)有的云存儲系統(tǒng)的數據寫入過程中需要元數據服務器集群中的每個元數據服務器同步更新自身存儲的元數據，使得數據寫入的處理時間長、處理效率低；而且在數據寫入過程中，只要有一個元數據服務器出現(xiàn)故障無法同步更新元數據就會造成該寫入請求失敗，就會造成寫入處理失敗。

發(fā)明內容
本發(fā)明實施例提供了一種云存儲的數據處理方法、設備及系統(tǒng)，用于解決現(xiàn)有技術中存在的數據寫入的處理時間長、處理效率低且在有元數據服務器出現(xiàn)故障時造成寫入處理失敗的問題。本發(fā)明實施例提供了一種云存儲的數據處理方法，包括元數據服務器集群中的元數據服務器在接收到來自寫客戶端的寫入請求后，從存儲設備集群中選擇ー個存儲設備，井根據存儲信息及接收到的待寫入數據的參數信息生成待寫入數據對應的元數據并存儲；其中，所述存儲信息包括選定的存儲設備的標識及存儲位置；所述元數據服務器向所述寫客戶端發(fā)送寫入請求成功響應及所述存儲信息，指示所述寫客戶端根據所述存儲信息將所述待寫入數據寫入選定的存儲設備對應的存儲位置。本發(fā)明實施例提供了一種元數據服務器，包括 處理模塊，用于在接收到來自寫客戶端的寫入請求后，從存儲設備集群中選擇ー個存儲設備，井根據存儲信息及接收到的待寫入數據的參數信息生成待寫入數據對應的元數據并存儲；其中，所述存儲信息包括選定的存儲設備的標識及存儲位置；響應反饋模塊，用于向所述寫客戶端發(fā)送寫入請求成功響應及所述存儲信息，指示所述寫客戶端根據所述存儲信息將所述待寫入數據寫入選定的存儲設備對應的存儲位置。本發(fā)明實施例提供了ー種寫客戶端，包括選擇模塊，用于從所述元數據服務器集群中選擇ー個元數據服務器，井向選定的元數據服務器發(fā)送寫入請求及所述待寫入數據的參數信息；及寫入模塊，用于根據收到的來自元數據服務器發(fā)送的存儲信息，將待寫入數據寫入選定的存儲設備對應的存儲位置。本發(fā)明實施例提供了一種云存儲系統(tǒng)，包括寫客戶端，用于從元數據服務器集群中選擇ー個元數據服務器，井向選定的元數據服務器發(fā)送寫入請求及待寫入數據的參數信息；以及根據收到的來自所述元數據服務器發(fā)送的存儲信息，將所述待寫入數據寫入選定的存儲設備對應的存儲位置；讀客戶端，用于向存儲設備集群中的所有存儲設備發(fā)送查詢請求，以及接收所述存儲設備返回的查詢請求響應，并在查詢成功時，接收來自所述存儲設備發(fā)送的數據；元數據服務器集群，包括至少兩個元數據服務器，用于在接收到來自所述寫客戶端的寫入請求后，從存儲設備集群中選擇ー個存儲設備，井根據存儲信息及接收到的待寫入數據的參數信息生成待寫入數據對應的元數據并存儲；其中，所述存儲信息包括選定的存儲設備的標識及存儲位置；及向所述寫客戶端發(fā)送寫入請求成功響應及所述存儲信息，指示所述寫客戶端根據所述存儲信息將所述待寫入數據寫入選定的存儲設備對應的存儲位置；存儲設備集群，包括至少ー個存儲設備，用于存儲所述寫客戶端寫入的所述待寫入數據；及在接收到讀客戶端的查詢請求后，將所述讀客戶端發(fā)送的待查詢數據的索引信息與本地存儲的元數據進行匹配，并在匹配成功后將該索引信息對應的數據發(fā)送給所述讀客戶端。本發(fā)明實施例元數據服務器集群中的元數據服務器在接收到來自客戶端的寫入請求后，從存儲設備集群中選擇ー個存儲設備，井根據存儲信息及待寫入數據的參數信息生成待寫入數據對應的元數據并存儲；以及向客戶端發(fā)送寫入請求成功響應及存儲信息，以指示客戶端根據存儲信息將待寫入數據寫入選定的存儲設備對應的存儲位置。由于本發(fā)明實施例元數據服務器在本地寫入待寫入數據對應的元數據后立即向客戶端返回請求成功響應，而不需要將該元數據同步到其他元數據服務器之后再返回請求成功響應，從而避免由于網絡、硬件故障等原因造成某個元數據服務器不能正常存儲元數據而無法向客戶端返回成功響應時，造成寫入處理失敗，同時也提高了整個云存儲系統(tǒng)的數據寫入處理效率，縮短了數據寫入處理的時間。


圖I為背景技術中云存儲系統(tǒng)的架構示意圖；圖2為背景技術中客戶端與元數據服務器集群之間的交互示意圖；圖3為本發(fā)明實施例云存儲的數據處理系統(tǒng)的結構示意圖；圖4為本發(fā)明實施例寫客戶端的結構示意圖；圖5為本發(fā)明實施例元數據服務器的結構示意圖；圖6為本發(fā)明實施例讀客戶端的結構示意圖；圖7為本發(fā)明實施例云存儲的數據寫入的處理方法的流程圖；圖8為本發(fā)明實施例云存儲的數據讀取的處理方法的流程圖；圖9為本發(fā)明實施例云存儲系統(tǒng)中數據寫入的處理過程的流程圖；圖10為本發(fā)明實施例云存儲系統(tǒng)中數據讀取的處理過程的流程圖。
具體實施例方式本發(fā)明實施例元數據服務器集群中的某元數據服務器在接收到來自客戶端的寫入請求后，從存儲設備集群中選擇ー個存儲設備，井根據存儲信息及待寫入數據的參數信息生成待寫入數據對應的元數據并存儲；以及向客戶端發(fā)送寫入請求成功響應及存儲信息，以指示客戶端根據存儲信息將待寫入數據寫入選定的存儲設備對應的存儲位置；從而避免由于網絡、硬件故障等原因造成某個元數據服務器不能正常存儲元數據而無法向客戶端返回成功響應時，造成寫入處理失敗，同時也提高了整個云存儲系統(tǒng)的數據寫入處理效率，縮短了數據寫入處理的時間。本發(fā)明實施例元數據服務器集群中的每ー個元數據服務器響應客戶端的訪問(包括寫入訪問及讀取訪問)，在收到寫客戶端的寫入請求后為其分配存儲空間，在接收到讀客戶端查詢請求后，返回待讀取文件對應的存儲信息；元數據服務器存儲有所有存儲設備存儲的數據對應的元數據等。本發(fā)明實施例存儲設備集群中的存儲設備存儲每個數據及其對應的元數據，負責文件的創(chuàng)建、刪除等。本發(fā)明實施例客戶端包括寫客戶端及讀客戶端，客戶端通過調用封裝好的客戶端應用接ロ，如應用程序編程接ロ API (Application Programming Interface),訪問元數據服務器和存儲設備，其中，寫客戶端可以通過該接ロ進行寫入數據等操作，讀客戶端可以通過該接ロ進行查詢數據、讀取數據等操作。需要說明的是，本發(fā)明實施例寫客戶端的功能模塊與讀客戶端的功能模塊可以分別置于相互獨立的兩個客戶端中，也可以是同一個客戶端的功能模塊，分別用以實現(xiàn)該客戶端的寫入與讀取。下面結合說明書附圖對本發(fā)明實施例作進ー步詳細描述。如圖3所示,本發(fā)明實施例云存儲系統(tǒng),包括寫客戶端20A，用于從元數據服務器集群30中選擇ー個元數據服務器300，并向選定的元數據服務器300發(fā)送寫入請求及待寫入數據的參數信息；以及根據收到的來自元數據服務器300發(fā)送的存儲信息，將待寫入數據寫入選定的存儲設備400對應的存儲位置；讀客戶端20B，用于向存儲設備集群40中的所有存儲設備400發(fā)送查詢請求，以及接收存儲設備400返回的查詢請求響應，并在查詢請求成功時，接收來自存儲設備400發(fā)送的數據； 元數據服務器集群30，包括至少兩個元數據服務器300，用于在接收到來自寫客戶端20A的寫入請求后，從存儲設備集群40中選擇ー個存儲設備400，井根據存儲信息及待寫入數據的參數信息生成待寫入數據對應的元數據并存儲；及向寫客戶端20A發(fā)送寫入請求成功響應及存儲信息，指示寫客戶端20A根據存儲信息將待寫入數據寫入選定的存儲設備400對應的存儲位置；存儲設備集群40，包括至少ー個存儲設備400，用于存儲寫客戶端20A寫入的待寫入數據；及在接收到讀客戶端20B的查詢請求后，將讀客戶端20B發(fā)送的待查詢數據的索引信息與本地存儲的元數據進行匹配，并在匹配成功后將該索引信息對應的數據發(fā)送給讀客戶端20B。其中，本發(fā)明實施例待寫入數據可以是視頻文件、音頻文件、圖像文件、程序文件、文本文件等類型的文件。本發(fā)明實施例參數信息用于表征該寫入數據屬性的相關信息，包括但不限于下列信息中的ー種或多種待寫入數據的名稱、大小、類型、格式、關鍵字、版本、安全權限、屬性、說明等。本發(fā)明實施例存儲信息包括選定的存儲設備的標識及存儲位置。本發(fā)明實施例待查詢數據的索引信息為參數信息中的ー種或多種信息；其中，參數信息包括數據的名稱、大小、格式等表征該數據的相關信息。如圖4所示，本發(fā)明實施例的寫客戶端20A，包括選擇模塊200，用于從元數據服務器集群30中選擇ー個元數據服務器300，并向選定的元數據服務器300發(fā)送寫入請求及待寫入數據的參數信息；寫入模塊210，用于根據收到的來自元數據服務器300發(fā)送的存儲信息，將待寫入數據寫入選定的存儲設備400對應的存儲位置。在具體實施過程中，選擇模塊200在確定寫客戶端20A需要寫入數據時，從元數據服務器集群30中選擇ー個元數據服務器300，具體選擇方式包括但不限于下列方式中的一種或多種根據元數據服務器集群30中各個元數據服務器的負載情況，選擇負載最小的元數據服務器；根據設定的算法(如hash算法)從元數據服務器集群30中選擇元一個元數據服務器；根據元數據服務器集群30中各元數據服務器與自己的物理連接距離，選擇離該寫客戶端物理連接距離最近的元數據服務器；隨機從元數據服務器集群30中選擇ー個元數據服務器。當然，選擇模塊200也可以采用其他的策略從數據服務器集群中選擇ー個元數據服務器，此處不再一一列挙。優(yōu)選的，處理模塊310可根據以下步驟獲取存儲設備集群的各存儲設備的剩余容量:存儲設備集群40中的各存儲設備定期(如每隔IOs上報一次)上報自身的剩余容
量信息；或
處理模塊310在收到寫入請求后，向存儲設備集群40中所有的存儲設備發(fā)送查詢請求，并接收每個存儲設備返回的剰余容量信息。如圖5所示，本發(fā)明實施例的元數據服務器300，包括處理模塊310，用于在接收到來自寫客戶端20A的寫入請求后，從存儲設備集群中選擇ー個存儲設備400，井根據存儲信息及待寫入數據的參數信息生成待寫入數據對應的元數據并存儲；其中，存儲信息包括選定的存儲設備的標識及存儲位置；響應反饋模塊320，用于向寫客戶端20A發(fā)送寫入請求成功響應及存儲信息，指示寫客戶端20A根據存儲信息將待寫入數據寫入選定的存儲設備400對應的存儲位置。在具體實施過程中，處理模塊310采用以下方式為寫客戶端20A分配存儲設備從存儲設備集群40中的剰余容量大于該待寫入數據的容量的存儲設備中隨機選擇ー個存儲設備；或從存儲設備集群40中剰余容量大于該待寫入數據的容量的存儲設備中選擇ー個剰余容量最大的存儲設備。當然，處理模塊310還可以采用其他方式從存儲設備集群40中選擇ー個存儲設備存儲該待寫入數據，只要保證該待存儲設備的容量大于該待寫入數據的容量即可。優(yōu)選的，本發(fā)明實施例的元數據服務器300，還包括更新模塊330，用于在確定自身處于空閑狀態(tài)時，將本地存儲的寫入數據對應的元數據發(fā)送給元數據服務器集群30中除自身之外的其他元數據服務器，指示其他元數據服務器存儲該元數據，以更新其他元數據服務器中存儲的元數據。在具體實施過程中，元數據服務器集群30中其他元數據服務器在更新完自身存儲的元數據之后，向發(fā)起更新的元數據服務器發(fā)送更新完成響應。由于本發(fā)明實施例元數據服務器集群中某一元數據服務器在根據存儲信息及待寫入數據的參數信息生成待寫入數據對應的元數據后，立即向寫客戶端發(fā)送寫入請求成功響應及存儲信息，縮短了寫客戶端的等待時間，提高了數據寫入處理的效率；該元數據服務器在自身處于空閑狀態(tài)時，更新其他元數據服務器中存儲的元數據，采用異步更新方式，以保證元數據的一致性。在具體實施過程中，本發(fā)明實施例的存儲設備集群40中選定的存儲設備400在存儲寫客戶端20A寫入的待寫入數據之后，分別向元數據服務器及寫客戶端返回寫入成功響應。需要說明的是，存儲設備400不僅存儲待寫入數據，還存儲該寫入數據對應的元數據，以便于進行查詢；其中，存儲設備400的存儲的元數據可以是由元數據服務器300提供，也可以由寫客戶端20A提供。如圖6所示，本發(fā)明實施例的讀客戶端20B，包括請求發(fā)送模塊220，用于向存儲設備集群中的所有存儲設備發(fā)送查詢請求；其中，該查詢請求中包括待查詢數據對應的索引信息，該索引信息包括但不限于下列參數中ー種或多種
待查詢數據的名稱、大小、類型、格式、關鍵字、版本、安全權限、屬性、說明等。本發(fā)明實施例待查詢數據可以是視頻文件、音頻文件、圖像文件、程序文件、文本文件等類型的文件。
接收模塊230，用于接收存儲設備返回的查詢請求響應，并在查詢請求成功時，接收來自存儲設備發(fā)送的待查詢數據。在具體實施過程中，請求發(fā)送模塊220采用以下兩種方式進行處理方式一、在收到來自元數據服務器集群30中的元數據服務器300返回的查詢失敗響應后，向存儲設備集群40中的所有存儲設備400發(fā)送查詢請求；方式ニ、在向元數據服務器集群30中的至少ー個元數據服務器300發(fā)送查詢請求的同吋，向存儲設備集群40中的所有存儲設備400發(fā)送查詢請求。其中，方式ー采用分級查詢模式，在收到來自元數據服務器集群中的元數據服務器返回的查詢失敗響應后，向存儲設備集群中的所有存儲設備發(fā)送查詢請求。當然，讀客戶端20B在需要讀取數據時，也可以僅向存儲設備集群中的所有存儲設備發(fā)送查詢請求。針對方式一，元數據服務器300在接收到來自讀客戶端20B的查詢請求吋，將待查詢數據的索引信息與本地存儲的元數據中的信息進行匹配，若匹配成功，則確定該待查詢數據的存儲信息，存儲信息包括存儲設備及存儲位置，并將確定的存儲信息發(fā)送給讀客戶端20B，指示讀客戶端20B根據存儲信息向相應的存儲設備發(fā)送讀取請求，以讀取待查詢數據；進一歩，存儲設備在收到來自讀客戶端20B的讀取請求時，根據讀取請求查找相應位置存儲的數據，并將該數據發(fā)送給讀客戶端20B ；若匹配失敗，則向讀客戶端20B返回查詢失敗響應；進一歩，讀客戶端20B在收到查詢失敗響應后，向存儲設備集群40中的所有存儲設備400發(fā)送查詢請求；進ー步，存儲設備400在收到來自讀客戶端20B的查詢請求后，將待查詢數據的索引信息與本地存儲的元數據中的信息進行匹配，若匹配成功，則將索引信息對應的數據發(fā)送給讀客戶端20B ;若匹配失敗，則向讀客戶端20B返回查詢失敗響應。基于同一發(fā)明構思，本發(fā)明實施例中還提供了一種云存儲的數據寫入的處理方法，由于該方法解決問題的原理與元數據服務器及寫客戶端相似，因此該方法的實施可以參見元數據服務器及寫客戶端的實施，重復之處不再贅述。如圖7所示，本發(fā)明實施例云存儲的數據寫入的處理方法，包括以下步驟步驟701、元數據服務器集群中的元數據服務器在接收到來自寫客戶端的寫入請求后，從存儲設備集群中選擇ー個存儲設備，井根據存儲信息及待寫入數據的參數信息生成待寫入數據對應的元數據并存儲；其中，存儲信息包括選定的存儲設備的標識及存儲位置；步驟702、元數據服務器向寫客戶端發(fā)送寫入請求成功響應及存儲信息，指示寫客戶端根據存儲信息將待寫入數據寫入選定的存儲設備對應的存儲位置。優(yōu)選的，元數據服務器向寫客戶端發(fā)送請求成功響應及存儲信息之后，還包括元數據服務器確定自身處于空閑狀態(tài)時，將本地存儲的待寫入數據對應的元數據發(fā)送給元數據服務器集群中除自身之外的其他元數據服務器，指示其他元數據服務器存儲元數據。優(yōu)選的，元數據服務器集群中的元數據服務器在接收到來自寫客戶端的寫入請求之前，還包括
寫客戶端從元數據服務器集群中選擇ー個元數據服務器，井向選定的元數據服務器發(fā)送寫入請求及待寫入數據的參數信息；元數據服務器向寫客戶端發(fā)送寫入請求成功響應及存儲信息之后，還包括寫客戶端根據收到的來自元數據服務器發(fā)送的存儲信息，將待寫入數據寫入選定的存儲設備對應的存儲位置。優(yōu)選的，寫客戶端根據下列步驟從元數據服務器集群中選擇ー個元數據服務器寫客戶端根據元數據服務器集群中各個元數據服務器的負載情況，選擇負載最小的元數據服務器；或寫客戶端根據設定的算法從元數據服務器集群中選擇ー個元數據服務器；或寫客戶端根據元數據服務器集群中各元數據服務器與自己的物理連接距離，選擇離寫客戶端物理連接距離最近的元數據服務器；或寫客戶端隨機從元數據服務器集群中選擇ー個元數據服務器。優(yōu)選的，選定的存儲設備在存儲待寫入數據時，存儲待寫入數據對應的元數據?；谕话l(fā)明構思，本發(fā)明實施例中還提供了一種云存儲的數據讀取的處理方法，由于該方法解決問題的原理與讀客戶端相似，因此該方法的實施可以參見讀客戶端的實施，重復之處不再贅述。如圖8所示，本發(fā)明實施例云存儲的數據讀取的處理方法，包括以下步驟步驟801、讀客戶端向存儲設備集群中的所有存儲設備發(fā)送查詢請求；步驟802、讀客戶端接收存儲設備返回的查詢請求響應，并在查詢成功時，接收來自存儲設備發(fā)送的待查詢數據。優(yōu)選的，步驟801具體包括以下兩種實施方式讀客戶端在收到來自元數據服務器集群中的元數據服務器返回的查詢請求失敗響應后，向存儲設備集群中的所有存儲設備發(fā)送查詢請求；或者讀客戶端在向元數據服務器集群中的至少ー個元數據服務器發(fā)送查詢請求的同吋，向存儲設備集群中的所有存儲設備發(fā)送查詢請求。下面詳細介紹本發(fā)明實施例云存儲系統(tǒng)中數據寫入的處理過程，如圖9所示，包括以下步驟步驟901、寫客戶端根據設定的策略從元數據服務器集群中選定ー個元數據服務器；具體的，設定的策略包括但不限于下列方式中的ー種或多種寫客戶端根據元數據服務器集群中各個元數據服務器的負載情況，選擇負載最小的元數據服務器；寫客戶端根據設定的算法(如hash算法)從元數據服務器集群中選擇元一個元數據服務器；寫客戶端根據元數據服務器集群中各元數據服務器與自己的物理連接距離，選擇離該寫客戶端物理連接距離最近的元數據服務器；
寫客戶端隨機從元數據服務器集群中選擇ー個元數據服務器。當然，寫客戶端也可以采用其他的策略從數據服務器集群中選擇ー個元數據服務器，此處不再一一列挙。步驟902、寫客戶端向選定的元數據服務器發(fā)送寫入請求，并將待寫入數據的參數信息發(fā)送給該元數據服務器 ；具體的，寫客戶端可以通過調用封裝好的客戶端應用接ロ(如API)訪問元數據服務器和存儲設備，寫客戶端可以通過該接ロ進行寫入數據等操作。待寫入數據的參數信息用于表征該寫入數據屬性的相關信息，該參數信息包括但不限于下列信息中的ー種或多種待寫入數據的名稱、大小、類型、格式、關鍵字、版本、安全權限、屬性、說明等。優(yōu)選的，寫客戶端可以將待寫入數據的參數信息置于寫入請求中，井向選定的元數據服務器發(fā)送該寫入請求。步驟903、元數據服務器在收到寫客戶端發(fā)送的寫入請求后，從存儲設備集群中選擇ー個存儲設備用于存儲該待寫入數據；本步驟中元數據服務器可以從存儲設備集群的剰余容量大于該待寫入數據的容量的存儲設備中隨機選擇ー個存儲設備；也可以從存儲設備集群的剰余容量大于該待寫入數據的容量的存儲設備中選擇ー個剰余容量最大的存儲設備。當然，元數據服務器還可以采用其他方式從存儲設備集群中選擇ー個存儲設備存儲該待寫入數據，只要保證該待存儲設備的容量大于該待寫入數據的容量即可。本步驟中元數據服務器可根據以下步驟獲取存儲設備集群的各存儲設備的剩余容量存儲設備集群中的各存儲設備定期(如每隔IOs上報一次)上報自身的剰余容量信息；或元數據服務器在收到寫入請求后，向存儲設備集群中所有的存儲設備發(fā)送查詢請求，并接收每個存儲設備返回的剰余容量信息。步驟904、元數據服務器根據存儲信息及待寫入數據的參數信息生成該待寫入數據對應的元數據并存儲；其中，存儲信息包括選定的存儲設備的標識及存儲位置；步驟905、元數據服務器向寫客戶端發(fā)送請求成功響應，井向寫客戶端發(fā)送該存儲信息；該元數據服務器處于空閑狀態(tài)時，將本次存儲的待寫入數據對應的元數據異步更新到元數據服務器集群中的其他元數據服務器中。具體的，該元數據服務器可以通過懶更新(lazy update)方式，進行異步更新。步驟906、寫客戶端在收到請求成功響應后，根據返回的存儲設備的標識及存儲位置，將該待寫入數據寫入相應存儲設備的對應存儲位置，已完成本次寫入處理。由于本發(fā)明實施例元數據服務器在本地寫入待寫入數據對應的元數據后立即向寫客戶端返回請求成功響應，而不需要將該元數據同步到其他元數據服務器之后再返回請求成功響應，從而避免由于網絡、硬件故障等原因造成某個元數據服務器不能正常存儲元數據而無法向客戶端返回成功響應時，造成寫入處理失敗，同時也提高了整個云存儲系統(tǒng)的數據寫入處理效率，縮短了數據寫入處理的時間。本發(fā)明實施例云存儲系統(tǒng)中數據讀取的處理過程，如圖10所示，包括以下步驟步驟1001、讀客戶端根據設定的策略從元數據服務器集群中選定ー個元數據服務器；具體策略請參見寫入處理過程中對策略的說明，此處不再贅述。步驟1002、讀客戶端向選定的元數據服務器發(fā)起查詢請求，并將待查詢數據的索引信息發(fā)送給該元數據服務器，以獲取待查詢數據的存儲信息；
具體的，讀客戶端可以通過調用封裝好的客戶端應用接ロ(如API)訪問元數據服務器和存儲設備，讀客戶可以通過該接ロ進行讀取數據、查詢數據等操作。待查詢數據的索引信息為參數信息中的ー種或多種信息；其中，參數信息包括數據的名稱、大小、格式等表征該數據的相關信息。步驟1003、元數據服務器在收到來自讀客戶端的查詢請求后，將索引信息與本地存儲的各數據對應的元數據進行匹配；若匹配成功，則執(zhí)行步驟1004 ；若匹配失敗，則執(zhí)行步驟1005 ；步驟1004、元數據服務器向讀客戶端發(fā)送待查詢數據的存儲信息，該存儲信息包括存儲該待查詢數據的存儲設備的標識及該待查詢數據的存儲位置；執(zhí)行步驟1006 ；步驟1005、元數據服務器向讀客戶端返回查詢失敗響應；執(zhí)行步驟1008 ；步驟1006、讀客戶端在收到該待查詢數據對應的存儲信息后，向相應存儲設備發(fā)送查詢請求，井向該存儲設備發(fā)送該待查詢數據的索引信息；執(zhí)行步驟1007 ；步驟1007、存儲設備在收到讀客戶端的查詢請求后，根據索引信息確定待查詢數據，并將該待查詢數據發(fā)送給讀客戶端，結束本流程；步驟1008、讀客戶端在收到元數據服務器的請求失敗響應后，向存儲設備集群中所有的存儲設備發(fā)送查詢請求，井向所有存儲設備發(fā)送該待查詢數據的索引信息；執(zhí)行步驟 1009 ；步驟1009、存儲設備在收到讀客戶端的查詢請求后，將索引信息與本地存儲的所有數據對應的元數據進行匹配；若匹配成功，則執(zhí)行步驟1010 ；若匹配失敗，則執(zhí)行步驟1011 ；步驟1010、存儲設備將確定的待查詢數據發(fā)送給讀客戶端；步驟1011、存儲設備向讀客戶端返回查詢失敗響應。本發(fā)明實施例的讀客戶端在數據讀取的處理過程中采用分級搜索的方式，即先采用第一級的搜索，向元數據服務器發(fā)起查詢請求，以獲取文件的存儲信息；若失敗，則采用第二級的搜索，向存儲有元數據冗余信息的每個數據存儲設備發(fā)起查詢請求，由于數據及其對應的元數據是一起存儲在存儲設備中的，此時查詢結果是精確的，從而避免了由于寫入過程采用異步更新帶來的各個元數據服務器中存儲的元數據有可能存在不一致的情況。這些計算機程序指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產生計算機實現(xiàn)的處理，從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖ー個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。盡管已描述了本發(fā)明的優(yōu)選實施例，但本領域內的技術人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例作出另外的變更和修改。所以，所附權利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。本發(fā)明實施例元數據服務器集群中的元數據服務器在接收到來自客戶端的寫入請求后，從存儲設備集群中選擇ー個存儲設備，井根據存儲信息及待寫入數據的參數信息生成待寫入數據對應的元數據并存儲；以及向客戶端發(fā)送寫入請求成功響應及存儲信息，以指示客戶端根據存儲信息將待寫入數據寫入選定的存儲設備對應的存儲位置。由于本發(fā)明實施例元數據服務器在本地寫入待寫 入數據對應的元數據后立即向客戶端返回請求成功響應，而不需要將該元數據同步到其他元數據服務器之后再返回請求成功響應，由于本發(fā)明實施例采用異步更新，從而避免由于網絡、硬件故障等原因造成某個元數據不能正常存儲而無法返回客戶端存儲成功的響應時，造成寫入處理失敗，同時也提高了整個云存儲系統(tǒng)的數據寫入處理效率，縮短了數據寫入處理的時間。顯然，本領域的技術人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權利要求及其等同技術的范圍之內，則本發(fā)明也意圖包含這些改動和變型在內。
權利要求
1.一種云存儲的數據處理方法，其特征在于，所述方法包括 元數據服務器集群中的元數據服務器在接收到來自寫客戶端的寫入請求后，從存儲設備集群中選擇ー個存儲設備，井根據存儲信息及接收到的待寫入數據的參數信息生成待寫入數據對應的元數據并存儲；其中，所述存儲信息包括選定的存儲設備的標識及存儲位置； 所述元數據服務器向所述寫客戶端發(fā)送寫入請求成功響應及所述存儲信息，指示所述寫客戶端根據所述存儲信息將所述待寫入數據寫入選定的存儲設備對應的存儲位置。
2.如權利要求I所述的方法，其特征在于，所述元數據服務器向所述寫客戶端發(fā)送請求成功響應及所述存儲信息之后，還包括 所述元數據服務器確定自身處于空閑狀態(tài)時，將本地存儲的所述待寫入數據對應的元數據發(fā)送給所述元數據服務器集群中除自身之外的其他元數據服務器，指示所述其他元數據服務器存儲所述元數據。
3.如權利要求I或2所述的方法，其特征在于，所述元數據服務器集群中的元數據服務器在接收到來自寫客戶端的寫入請求之前，還包括 寫客戶端從所述元數據服務器集群中選擇ー個元數據服務器，井向選定的元數據服務器發(fā)送寫入請求及所述待寫入數據的參數信息； 所述元數據服務器向所述寫客戶端發(fā)送寫入請求成功響應及所述存儲信息之后，還包括 所述寫客戶端根據收到的來自元數據服務器發(fā)送的存儲信息，將所述待寫入數據寫入選定的存儲設備對應的存儲位置。
4.如權利要求3所述的方法，其特征在于，所述寫客戶端根據下列步驟從所述元數據服務器集群中選擇ー個元數據服務器 所述寫客戶端根據所述元數據服務器集群中各個元數據服務器的負載情況，選擇負載最小的元數據服務器；或 所述寫客戶端根據設定的算法從所述元數據服務器集群中選擇ー個元數據服務器；或 所述寫客戶端根據所述元數據服務器集群中各元數據服務器與自己的物理連接距離，選擇離所述寫客戶端物理連接距離最近的元數據服務器；或 所述寫客戶端隨機從所述元數據服務器集群中選擇ー個元數據服務器。
5.如權利要求I所述的方法，其特征在于，該方法還包括 讀客戶端向存儲設備集群中的所有存儲設備發(fā)送查詢請求； 所述讀客戶端接收所述存儲設備返回的查詢請求響應，并在查詢成功時，接收來自所述存儲設備發(fā)送的待查詢數據。
6.如權利要求5所述的方法，其特征在于，所述讀客戶端向存儲設備集群中的所有存儲設備發(fā)送查詢請求，包括 所述讀客戶端在收到來自元數據服務器集群中的元數據服務器返回的查詢請求失敗響應后，向所述存儲設備集群中的所有存儲設備發(fā)送查詢請求；或者 所述讀客戶端在向所述元數據服務器集群中的至少ー個元數據服務器發(fā)送查詢請求的同時，向所述存儲設備集群中的所有存儲設備發(fā)送查詢請求。
7.—種元數據服務器，其特征在于，所述元數據服務器包括處理模塊，用于在接收到來自寫客戶端的寫入請求后，從存儲設備集群中選擇ー個存儲設備，井根據存儲信息及接收到的待寫入數據的參數信息生成待寫入數據對應的元數據并存儲；其中，所述存儲信息包括選定的存儲設備的標識及存儲位置； 響應反饋模塊，用于向所述寫客戶端發(fā)送寫入請求成功響應及所述存儲信息，指示所述寫客戶端根據所述存儲信息將所述待寫入數據寫入選定的存儲設備對應的存儲位置。
8.如權利要求7所述的元數據服務器，其特征在于，所述元數據服務器還包括 更新模塊，用于在確定自身處于空閑狀態(tài)時，將本地存儲的所述待寫入數據對應的元數據發(fā)送給所述元數據服務器集群中除自身之外的其他元數據服務器，指示所述其他元數據服務器存儲所述元數據。
9.ー種寫客戶端，其特征在于，所述寫客戶端包括 選擇模塊，用于從所述元數據服務器集群中選擇ー個元數據服務器，井向選定的元數據服務器發(fā)送寫入請求及所述待寫入數據的參數信息；及 寫入模塊，用于根據收到的來自元數據服務器發(fā)送的存儲信息，將待寫入數據寫入選定的存儲設備對應的存儲位置。
10.一種云存儲系統(tǒng)，其特征在于，所述系統(tǒng)包括 寫客戶端，用于從元數據服務器集群中選擇ー個元數據服務器，井向選定的元數據服務器發(fā)送寫入請求及待寫入數據的參數信息；以及根據收到的來自所述元數據服務器發(fā)送的存儲信息，將所述待寫入數據寫入選定的存儲設備對應的存儲位置； 讀客戶端，用于向存儲設備集群中的所有存儲設備發(fā)送查詢請求，以及接收所述存儲設備返回的查詢請求響應，并在查詢成功時，接收來自所述存儲設備發(fā)送的數據； 元數據服務器集群，包括至少兩個元數據服務器，用于在接收到來自所述寫客戶端的寫入請求后，從存儲設備集群中選擇ー個存儲設備，井根據存儲信息及接收到的待寫入數據的參數信息生成待寫入數據對應的元數據并存儲；其中，所述存儲信息包括選定的存儲設備的標識及存儲位置；及向所述寫客戶端發(fā)送寫入請求成功響應及所述存儲信息，指示所述寫客戶端根據所述存儲信息將所述待寫入數據寫入選定的存儲設備對應的存儲位置； 存儲設備集群，包括至少ー個存儲設備，用于存儲所述寫客戶端寫入的所述待寫入數據；及在接收到讀客戶端的查詢請求后，將所述讀客戶端發(fā)送的待查詢數據的索引信息與本地存儲的元數據進行匹配，并在匹配成功后將該索引信息對應的數據發(fā)送給所述讀客戶端。
全文摘要
本發(fā)明涉及云存儲技術領域，特別涉及一種云存儲的數據處理方法、設備及系統(tǒng)，用于解決現(xiàn)有技術中存在的數據寫入的處理時間長且效率低的問題。本發(fā)明實施例云存儲的數據處理方法包括元數據服務器集群中的元數據服務器在接收到來自寫客戶端的寫入請求后，從存儲設備集群中選擇一個存儲設備，并根據存儲信息及參數信息生成待寫入數據對應的元數據并存儲；及向寫客戶端發(fā)送寫入請求成功響應及存儲信息，指示寫客戶端根據存儲信息將待寫入數據寫入選定的存儲設備對應的存儲位置。本發(fā)明實施例避免了由于網絡、硬件故障等原因造成某個元數據服務器不能正常存儲元數據而無法向客戶端返回成功響應時造成寫入處理失敗，提高了處理效率，縮短了處理時間。
文檔編號H04L29/08GK102694860SQ20121016710
公開日2012年9月26日 申請日期2012年5月25日 優(yōu)先權日2012年5月25日
發(fā)明者嚴杰, 周娟娟, 熊暉 申請人:北京邦諾存儲科技有限公司