數(shù)據(jù)處理方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)處理方法及裝置。其中，該方法包括：監(jiān)測是否符合數(shù)據(jù)處理的調(diào)整條件；在監(jiān)測到符合上述調(diào)整條件的情況下，根據(jù)調(diào)整后的數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作。通過本發(fā)明，首先監(jiān)測是否符合數(shù)據(jù)處理的調(diào)整條件，在監(jiān)測到符合上述調(diào)整條件的情況下，根據(jù)調(diào)整后的數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作，解決了相關(guān)技術(shù)中不能動(dòng)態(tài)調(diào)整數(shù)據(jù)處理對(duì)系統(tǒng)資源及業(yè)務(wù)影響的問題，實(shí)現(xiàn)了可動(dòng)態(tài)調(diào)整重刪操作對(duì)系統(tǒng)資源的占用，優(yōu)先保障在線業(yè)務(wù)的性能，對(duì)系統(tǒng)在線業(yè)務(wù)的影響降至最低，提高了空間利用率。同時(shí)，還兼顧提高數(shù)據(jù)讀寫性能，并且可以動(dòng)態(tài)調(diào)整重刪策略，自動(dòng)適配系統(tǒng)使用的需求。
【專利說明】數(shù)據(jù)處理方法及裝置【技術(shù)領(lǐng)域】[0001]本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法及裝置。
【背景技術(shù)】
[0002]全球數(shù)據(jù)量的猛增帶動(dòng)著整個(gè)存儲(chǔ)市場的快速發(fā)展，使得云存儲(chǔ)得到大規(guī)模應(yīng)用。云存儲(chǔ)作為一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)，通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備，通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能，可提供高性價(jià)比、可彈性擴(kuò)展的海量數(shù)據(jù)存儲(chǔ)服務(wù)。
[0003]重復(fù)數(shù)據(jù)刪除(可以簡稱為重刪或刪重，Data De-duPlication，簡稱為DD)是一種數(shù)據(jù)縮減技術(shù)，旨在減少存儲(chǔ)系統(tǒng)中使用的存儲(chǔ)容量。它通過減少存儲(chǔ)系統(tǒng)中重復(fù)的數(shù)據(jù)，從而減少冗余數(shù)據(jù)。
[0004]重復(fù)數(shù)據(jù)刪除系統(tǒng)基于內(nèi)容尋址，能夠消除重復(fù)的數(shù)據(jù)，提高空間利用率。重刪包含以文件為單位或以數(shù)據(jù)塊為單位進(jìn)行操作。以數(shù)據(jù)塊為單位的重復(fù)數(shù)據(jù)刪除系統(tǒng)將文件按給定的數(shù)據(jù)劃分策略分割成若干個(gè)小的數(shù)據(jù)分塊，并基于數(shù)據(jù)分塊的某種特征進(jìn)行相同檢測，只存儲(chǔ)不重復(fù)的數(shù)據(jù)分塊，從而達(dá)到刪除冗余數(shù)據(jù)，節(jié)省存儲(chǔ)空間的目的。以文件為單位的重復(fù)數(shù)據(jù)刪除系統(tǒng)基于文件的某種特征進(jìn)行相同檢測，只存儲(chǔ)不重復(fù)的數(shù)據(jù)文件，從而達(dá)到刪除冗余數(shù)據(jù)，節(jié)省存儲(chǔ)空間的目的。實(shí)際應(yīng)用中還常常結(jié)合數(shù)據(jù)壓縮技術(shù)進(jìn)一步縮減數(shù)據(jù)分塊所占的存儲(chǔ)空間。
[0005]目前重復(fù)數(shù)據(jù)刪除技術(shù)的研究主要集中在挖掘冗余信息和提高效率上，對(duì)存儲(chǔ)節(jié)點(diǎn)的管理和空間分配只采用簡單的分配管理策略。相關(guān)技術(shù)中的數(shù)據(jù)重刪方法只保留一個(gè)副本，不存在重刪調(diào)整控制。對(duì)于存儲(chǔ)空間分配時(shí)存儲(chǔ)節(jié)點(diǎn)的負(fù)載和能耗狀態(tài)等沒有足夠的考慮，不能自適應(yīng)存儲(chǔ)節(jié)點(diǎn)所處的各種狀態(tài)，也不利于整個(gè)系統(tǒng)的負(fù)載均衡和性能提高。
[0006]針對(duì)相關(guān)技術(shù)中不能動(dòng)態(tài)調(diào)整數(shù)據(jù)處理對(duì)系統(tǒng)資源及業(yè)務(wù)影響的問題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0007]針對(duì)相關(guān)技術(shù)中不能動(dòng)態(tài)調(diào)整數(shù)據(jù)處理對(duì)系統(tǒng)資源及業(yè)務(wù)影響的問題，本發(fā)明提供了一種數(shù)據(jù)處理方法及裝置，以至少解決上述問題。
[0008]根據(jù)本發(fā)明的一個(gè)方面，提供了一種數(shù)據(jù)處理方法，該方法包括:監(jiān)測是否符合數(shù)據(jù)處理的調(diào)整條件；在監(jiān)測到符合上述調(diào)整條件的情況下，根據(jù)調(diào)整后的數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作。
[0009]上述方法還包括:調(diào)整數(shù)據(jù)處理策略。
[0010]調(diào)整上述數(shù)據(jù)處理策略包括:接收用戶的上述數(shù)據(jù)處理策略的調(diào)整請(qǐng)求，根據(jù)上述調(diào)整請(qǐng)求調(diào)整上述數(shù)據(jù)處理策略；或者，根據(jù)系統(tǒng)操作調(diào)整上述數(shù)據(jù)處理策略。
[0011]監(jiān)測是否符合數(shù)據(jù)處理的上述調(diào)整條件包括:監(jiān)測是否符合數(shù)據(jù)刪除條件；或者，監(jiān)測是否符合數(shù)據(jù)寫入條件。
[0012]監(jiān)測是否符合上述數(shù)據(jù)寫入條件包括:判斷重刪度是否大于當(dāng)前數(shù)據(jù)副本的個(gè)數(shù)，如果是，則符合上述數(shù)據(jù)寫入條件；和/或，判斷上述當(dāng)前數(shù)據(jù)副本的每秒輸入輸出IOPS值是否大于預(yù)設(shè)數(shù)值；如果是，則符合上述數(shù)據(jù)寫入條件。
[0013]根據(jù)調(diào)整后的上述數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作包括:在監(jiān)測到符合上述數(shù)據(jù)刪除條件的情況下，執(zhí)行數(shù)據(jù)刪除操作；或者，在監(jiān)測到符合上述數(shù)據(jù)寫入條件的情況下，執(zhí)行數(shù)據(jù)寫入操作。
[0014]在監(jiān)測到符合上述數(shù)據(jù)寫入條件的情況下，執(zhí)行數(shù)據(jù)寫入操作包括:獲取預(yù)寫入數(shù)據(jù)的標(biāo)識(shí)，比對(duì)上述預(yù)寫入數(shù)據(jù)的標(biāo)識(shí)與已有數(shù)據(jù)的標(biāo)識(shí)是否相同；如果相同，則復(fù)制上述已有數(shù)據(jù)；如果不相同，則接收用戶輸入的上述預(yù)寫入數(shù)據(jù)。
[0015]根據(jù)本發(fā)明的另一方面，提供了一種數(shù)據(jù)處理裝置，該裝置包括:條件監(jiān)測模塊，用于監(jiān)測是否符合數(shù)據(jù)處理的調(diào)整條件；數(shù)據(jù)處理模塊，在上述條件監(jiān)測模塊監(jiān)測到符合上述調(diào)整條件的情況下，根據(jù)調(diào)整后的數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作。
[0016]上述裝置還包括:策略調(diào)整模塊，用于調(diào)整數(shù)據(jù)處理策略。
[0017]上述策略調(diào)整模塊包括:第一調(diào)整單元，用于接收用戶的上述數(shù)據(jù)處理策略的調(diào)整請(qǐng)求，根據(jù)上述調(diào)整請(qǐng)求調(diào)整上述數(shù)據(jù)處理策略；或者，第二調(diào)整單元，用于根據(jù)系統(tǒng)操作調(diào)整上述數(shù)據(jù)處理策略。
[0018]上述條件監(jiān)測模塊包括:第一監(jiān)測單元，用于監(jiān)測是否符合數(shù)據(jù)刪除條件；或者，第二監(jiān)測單元，用于監(jiān)測是否符合數(shù)據(jù)寫入條件。
[0019]上述第二監(jiān)測單元包括:第一判斷子單元，用于判斷重刪度是否大于當(dāng)前數(shù)據(jù)副本的個(gè)數(shù)，如果是，則符合上述數(shù)據(jù)寫入條件；和/或，第二判斷子單元，用于判斷上述當(dāng)前數(shù)據(jù)副本的每秒輸入輸出IOPS值是否大于預(yù)設(shè)數(shù)值；如果是，則符合上述數(shù)據(jù)寫入條件。
[0020]上述數(shù)據(jù)處理模塊包括:數(shù)據(jù)刪除單元，用于在監(jiān)測到符合上述數(shù)據(jù)刪除條件的情況下，執(zhí)行數(shù)據(jù)刪除操作；或者，數(shù)據(jù)寫入單元，用于在監(jiān)測到符合上述數(shù)據(jù)寫入條件的情況下，執(zhí)行數(shù)據(jù)寫入操作。
[0021]上述數(shù)據(jù)寫入單元包括:比對(duì)子單元，用于獲取預(yù)寫入數(shù)據(jù)的標(biāo)識(shí)，比對(duì)上述預(yù)寫入數(shù)據(jù)的標(biāo)識(shí)與已有數(shù)據(jù)的標(biāo)識(shí)是否相同；復(fù)制子單元，用于在上述比對(duì)子單元的比對(duì)結(jié)果為相同的情況下，復(fù)制上述已有數(shù)據(jù)；接收子單元，用于在上述比對(duì)子單元的比對(duì)結(jié)果為不相同的情況下，接收用戶輸入的上述預(yù)寫入數(shù)據(jù)。
[0022]通過本發(fā)明，首先監(jiān)測是否符合數(shù)據(jù)處理的調(diào)整條件，在監(jiān)測到符合上述調(diào)整條件的情況下，根據(jù)調(diào)整后的數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作，解決了相關(guān)技術(shù)中不能動(dòng)態(tài)調(diào)整數(shù)據(jù)處理對(duì)系統(tǒng)資源及業(yè)務(wù)影響的問題，實(shí)現(xiàn)了可動(dòng)態(tài)調(diào)整重刪操作對(duì)系統(tǒng)資源的占用，優(yōu)先保障在線業(yè)務(wù)的性能，對(duì)系統(tǒng)在線業(yè)務(wù)的影響降至最低，提高了空間利用率。同時(shí)，還兼顧提高數(shù)據(jù)讀寫性能，并且可以動(dòng)態(tài)調(diào)整重刪策略，自動(dòng)適配系統(tǒng)使用的需求。
【專利附圖】

【附圖說明】
[0023]此處所說明的附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中:
[0024]圖1是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)處理方法的流程圖；[0025]圖2是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)處理裝置的結(jié)構(gòu)框圖；
[0026]圖3是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)處理裝置的第一種具體結(jié)構(gòu)框圖；
[0027]圖4是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)處理裝置的第二種具體結(jié)構(gòu)框圖；
[0028]圖5是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)處理系統(tǒng)的總體架構(gòu)示意圖；
[0029]圖6是根據(jù)本發(fā)明實(shí)施例的基于數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)處理流程圖；
[0030]圖7是根據(jù)本發(fā)明實(shí)施例的基于數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)寫入流程圖；
[0031]圖8是根據(jù)本發(fā)明實(shí)施例的基于數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)讀取流程圖。
【具體實(shí)施方式】
[0032]下文中將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。
[0033]相關(guān)技術(shù)中，在進(jìn)行數(shù)據(jù)重刪等處理操作時(shí)，通常只會(huì)留有一份數(shù)據(jù)副本，不存在重刪調(diào)整控制。并且對(duì)于數(shù)據(jù)重刪策略不進(jìn)行調(diào)整，在這種情況下，如果用戶對(duì)數(shù)據(jù)的需求量較大，一份數(shù)據(jù)副本容易導(dǎo)致數(shù)據(jù)輸出率較低，影響系統(tǒng)性能。當(dāng)然，還可能會(huì)存在其他類似問題，在此不再一一贅述。基于此，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法及裝置，下面通過實(shí)施例進(jìn)行具體介紹。
[0034]本實(shí)施例提供了一種數(shù)據(jù)處理方法，圖1是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)處理方法的流程圖，如圖1所示，該方法包括以下步驟(步驟S102-步驟S104):
[0035]步驟S102，監(jiān)測是否符合數(shù)據(jù)處理的調(diào)整條件；
[0036]步驟S104，在監(jiān)測到符合上述調(diào)整條件的情況下，根據(jù)調(diào)整后的數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作。
[0037]通過上述方法，首先監(jiān)測是否符合數(shù)據(jù)處理的調(diào)整條件，在監(jiān)測到符合上述調(diào)整條件的情況下，根據(jù)調(diào)整后的數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作，解決了相關(guān)技術(shù)中不能動(dòng)態(tài)調(diào)整數(shù)據(jù)處理對(duì)系統(tǒng)資源及業(yè)務(wù)影響的問題，實(shí)現(xiàn)了可動(dòng)態(tài)調(diào)整重刪操作對(duì)系統(tǒng)資源的占用，優(yōu)先保障在線業(yè)務(wù)的性能，對(duì)系統(tǒng)在線業(yè)務(wù)的影響降至最低，提高了空間利用率。同時(shí)，還兼顧提高數(shù)據(jù)讀寫性能，并且可以動(dòng)態(tài)調(diào)整重刪策略，自動(dòng)適配系統(tǒng)使用的需求。
[0038]上述方法還包括:調(diào)整數(shù)據(jù)處理策略。調(diào)整該策略可以是用戶或系統(tǒng)主動(dòng)變更重刪策略，也可以來自系統(tǒng)操作記錄滿足統(tǒng)計(jì)條件的系統(tǒng)行為。因此，本實(shí)施例提供了一種優(yōu)選實(shí)施方式，即調(diào)整數(shù)據(jù)處理策略包括:接收用戶的數(shù)據(jù)處理策略的調(diào)整請(qǐng)求，根據(jù)該調(diào)整請(qǐng)求調(diào)整上述數(shù)據(jù)處理策略；或者，根據(jù)系統(tǒng)操作調(diào)整數(shù)據(jù)處理策略。上述對(duì)數(shù)據(jù)處理策略進(jìn)行調(diào)整的方法，為后續(xù)可以隨時(shí)根據(jù)調(diào)整后的數(shù)據(jù)處理策略進(jìn)行數(shù)據(jù)處理提供了基礎(chǔ)。
[0039]對(duì)于數(shù)據(jù)處理操作，可以是在數(shù)據(jù)副本的數(shù)量較多時(shí)，對(duì)數(shù)據(jù)進(jìn)行刪除操作，或者在用戶對(duì)數(shù)據(jù)的需求較大時(shí)，對(duì)數(shù)據(jù)進(jìn)行寫入操作等。本實(shí)施例提供了一種優(yōu)選實(shí)施方式，即監(jiān)測是否符合數(shù)據(jù)處理的調(diào)整條件包括:監(jiān)測是否符合數(shù)據(jù)刪除條件；或者，監(jiān)測是否符合數(shù)據(jù)寫入條件。上述監(jiān)測可以采取周期或事件觸發(fā)的方式進(jìn)行掃描檢測。
[0040]在監(jiān)測是否符合數(shù)據(jù)寫入條件時(shí)，可以先對(duì)重刪度進(jìn)行判斷，重刪度是預(yù)設(shè)的數(shù)據(jù)副本的總數(shù)，如果設(shè)置的重刪度的值大于當(dāng)前數(shù)據(jù)副本的個(gè)數(shù)，說明需要再寫入數(shù)據(jù)?；蛘?，或者當(dāng)前數(shù)據(jù)副本的每秒輸入輸出(Input Output per Second,簡稱為IOPS)值,如果該IOPS值超過一定值(例如該一定值可以取1000)時(shí)，說明該數(shù)據(jù)的輸入輸出量較大，此時(shí)可以選擇再寫入數(shù)據(jù)，增加數(shù)據(jù)副本的數(shù)量，以滿足該數(shù)據(jù)的輸入輸出需求。因此，本實(shí)施例提供了一種優(yōu)選實(shí)施方式，即監(jiān)測是否符合數(shù)據(jù)寫入條件的具體流程可以是:判斷重刪度是否大于當(dāng)前數(shù)據(jù)副本的個(gè)數(shù)，如果是，則符合上述數(shù)據(jù)寫入條件；和/或，判斷上述當(dāng)前數(shù)據(jù)副本的IOPS值是否大于預(yù)設(shè)數(shù)值；如果是，則符合上述數(shù)據(jù)寫入條件。
[0041]對(duì)應(yīng)于上述監(jiān)測到符合數(shù)據(jù)刪除條件或者數(shù)據(jù)寫入條件，本實(shí)施例提供了一種優(yōu)選實(shí)施方式，即根據(jù)調(diào)整后的數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作包括:在監(jiān)測到符合數(shù)據(jù)刪除條件的情況下，執(zhí)行數(shù)據(jù)刪除操作；或者，在監(jiān)測到符合數(shù)據(jù)寫入條件的情況下，執(zhí)行數(shù)據(jù)寫入操作。
[0042]具體地，在監(jiān)測到符合數(shù)據(jù)寫入條件的情況下，執(zhí)行數(shù)據(jù)寫入操作包括:獲取預(yù)寫入數(shù)據(jù)的標(biāo)識(shí)，比對(duì)預(yù)寫入數(shù)據(jù)的標(biāo)識(shí)與已有數(shù)據(jù)的標(biāo)識(shí)是否相同；如果相同，則復(fù)制上述已有數(shù)據(jù)；如果不相同，則接收用戶輸入的上述預(yù)寫入數(shù)據(jù)。該標(biāo)識(shí)可以是數(shù)據(jù)的指紋。
[0043]對(duì)應(yīng)于上述數(shù)據(jù)處理方法，本實(shí)施例提供了一種數(shù)據(jù)處理裝置，該裝置用于實(shí)現(xiàn)上述實(shí)施例，圖2是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)處理裝置的結(jié)構(gòu)框圖，如圖2所示，該裝置包括:條件監(jiān)測模塊10和數(shù)據(jù)處理模塊20，下面進(jìn)行詳細(xì)介紹。
[0044]條件監(jiān)測模塊10，用于監(jiān)測是否符合數(shù)據(jù)處理的調(diào)整條件；
[0045]數(shù)據(jù)處理模塊20，連接至條件監(jiān)測模塊10，在上述條件監(jiān)測模塊監(jiān)測到符合上述調(diào)整條件的情況下，根據(jù)調(diào)整后的數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作。
[0046]通過上述裝置，首先條件監(jiān)測模塊10監(jiān)測是否符合數(shù)據(jù)處理的調(diào)整條件，在監(jiān)測到符合上述調(diào)整條件的情況下，數(shù)據(jù)處理模塊20根據(jù)調(diào)整后的數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作，解決了相關(guān)技術(shù)中不能動(dòng)態(tài)調(diào)整數(shù)據(jù)處理對(duì)系統(tǒng)資源及業(yè)務(wù)影響的問題，實(shí)現(xiàn)了可動(dòng)態(tài)調(diào)整重刪操作對(duì)系統(tǒng)資源的占用，優(yōu)先保障在線業(yè)務(wù)的性能，對(duì)系統(tǒng)在線業(yè)務(wù)的影響降至最低，提高了空間利用率。同時(shí)，還兼顧提高數(shù)據(jù)讀寫性能，并且可以動(dòng)態(tài)調(diào)整重刪策略，自動(dòng)適配系統(tǒng)使用的需求。
[0047]圖3是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)處理裝置的第一種具體結(jié)構(gòu)框圖，如圖3所示，該裝置除了包括上述圖2中的各個(gè)模塊之外，還包括:策略調(diào)整模塊30，用于調(diào)整數(shù)據(jù)處理策略。數(shù)據(jù)處理策略的調(diào)整步驟可以在監(jiān)測是否符合調(diào)整條件之前執(zhí)行，也可以在監(jiān)測是否符合調(diào)整條件之后執(zhí)行，即策略調(diào)整模塊30可以連接至條件監(jiān)測模塊10，也可以連接至條件監(jiān)測模塊10和數(shù)據(jù)處理模塊20之間，圖3以連接至條件監(jiān)測模塊10和數(shù)據(jù)處理模塊20之間為例進(jìn)行說明。
[0048]調(diào)整該策略可以是用戶或系統(tǒng)主動(dòng)變更重刪策略，也可以來自系統(tǒng)操作記錄滿足統(tǒng)計(jì)條件的系統(tǒng)行為。因此，本實(shí)施例提供了一種優(yōu)選實(shí)施方式，即上述策略調(diào)整模塊30包括:第一調(diào)整單元，用于接收用戶的上述數(shù)據(jù)處理策略的調(diào)整請(qǐng)求，根據(jù)上述調(diào)整請(qǐng)求調(diào)整上述數(shù)據(jù)處理策略；或者，第二調(diào)整單元，用于根據(jù)系統(tǒng)操作調(diào)整上述數(shù)據(jù)處理策略。
[0049]圖4是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)處理裝置的第二種具體結(jié)構(gòu)框圖，如圖4所示，該裝置除了包括上述圖3中的各個(gè)模塊之外，上述條件監(jiān)測模塊10還包括:第一監(jiān)測單元，用于監(jiān)測是否符合數(shù)據(jù)刪除條件；或者，第二監(jiān)測單元12，用于監(jiān)測是否符合數(shù)據(jù)寫入條件。圖4以條件監(jiān)測模塊10包括第二監(jiān)測單元12為例進(jìn)行說明。
[0050]在監(jiān)測是否符合數(shù)據(jù)寫入條件時(shí)，可以根據(jù)重刪度進(jìn)行判斷，也可以根據(jù)IOPS進(jìn)行判斷，前面已經(jīng)具體介紹了監(jiān)測流程，本實(shí)施例提供了一種優(yōu)選實(shí)施方式，即上述第二監(jiān)測單元12包括:第一判斷子單元，用于判斷重刪度是否大于當(dāng)前數(shù)據(jù)副本的個(gè)數(shù)，如果是，則符合上述數(shù)據(jù)寫入條件；和/或，第二判斷子單元，用于判斷上述當(dāng)前數(shù)據(jù)副本的每秒輸入輸出IOPS值是否大于預(yù)設(shè)數(shù)值；如果是，則符合上述數(shù)據(jù)寫入條件。
[0051]對(duì)應(yīng)于上述監(jiān)測到符合數(shù)據(jù)刪除條件或者數(shù)據(jù)寫入條件，本實(shí)施例提供了一種優(yōu)選實(shí)施方式，即上述數(shù)據(jù)處理模塊20包括:數(shù)據(jù)刪除單元，用于在監(jiān)測到符合上述數(shù)據(jù)刪除條件的情況下，執(zhí)行數(shù)據(jù)刪除操作；或者，數(shù)據(jù)寫入單元，用于在監(jiān)測到符合上述數(shù)據(jù)寫入條件的情況下，執(zhí)行數(shù)據(jù)寫入操作。具體地，上述數(shù)據(jù)寫入單元包括:比對(duì)子單元，用于獲取預(yù)寫入數(shù)據(jù)的標(biāo)識(shí)，比對(duì)上述預(yù)寫入數(shù)據(jù)的標(biāo)識(shí)與已有數(shù)據(jù)的標(biāo)識(shí)是否相同；復(fù)制子單元，用于在上述比對(duì)子單元的比對(duì)結(jié)果為相同的情況下，復(fù)制上述已有數(shù)據(jù)；接收子單元，用于在上述比對(duì)子單元的比對(duì)結(jié)果為不相同的情況下，接收用戶輸入的上述預(yù)寫入數(shù)據(jù)。
[0052]圖5是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)處理系統(tǒng)的總體架構(gòu)示意圖，如圖5所示，其中涉及了云存儲(chǔ)系統(tǒng)及其管理系統(tǒng)，通過以太網(wǎng)絡(luò)互聯(lián)?；谠拼鎯?chǔ)的數(shù)據(jù)重刪系統(tǒng)總體架構(gòu)包括云存儲(chǔ)管理服務(wù)模塊、元數(shù)據(jù)服務(wù)模塊和數(shù)據(jù)服務(wù)模塊。元數(shù)據(jù)服務(wù)模塊和數(shù)據(jù)服務(wù)模塊位于云存儲(chǔ)的某存儲(chǔ)域上。
[0053]云存儲(chǔ)管理服務(wù)模塊，其功能與上述實(shí)施例中策略調(diào)整模塊的功能相當(dāng)，云存儲(chǔ)管理服務(wù)模塊負(fù)責(zé)的相關(guān)功能至少包括:云存儲(chǔ)拓?fù)涔芾?；可以管理一個(gè)或多個(gè)存儲(chǔ)域。存儲(chǔ)域?qū)?yīng)了一個(gè)存儲(chǔ)邏輯空間定義，包含一個(gè)或多個(gè)云存儲(chǔ)服務(wù)器。存儲(chǔ)服務(wù)器為云存儲(chǔ)提供物理存儲(chǔ)空間；配置系統(tǒng)管理參數(shù)。云存儲(chǔ)的存儲(chǔ)域服務(wù)于若干應(yīng)用和用戶，云存儲(chǔ)中數(shù)據(jù)重刪策略按照存儲(chǔ)域、應(yīng)用、用戶、數(shù)據(jù)對(duì)象進(jìn)行設(shè)置；數(shù)據(jù)重刪策略按照存儲(chǔ)域、應(yīng)用、用戶、數(shù)據(jù)對(duì)象進(jìn)行設(shè)置。包括設(shè)置數(shù)據(jù)重刪后保留副本的數(shù)量或副本數(shù)量的范圍，經(jīng)過重刪操作后預(yù)設(shè)的副本總數(shù)簡稱重刪度；其他管理包括性能監(jiān)控、故障告警管理、系統(tǒng)日志、統(tǒng)計(jì)分析、對(duì)象冗余列表等功能。
[0054]元數(shù)據(jù)服務(wù)模塊，其功能與上述實(shí)施例中條件監(jiān)測模塊的功能相當(dāng)，元數(shù)據(jù)服務(wù)模塊負(fù)責(zé)的相關(guān)功能至少包括:記錄用戶數(shù)據(jù)的物理分布；為用戶數(shù)據(jù)讀寫提供數(shù)據(jù)物理分布信息。包括數(shù)據(jù)塊物理存儲(chǔ)位置信息、歸屬存儲(chǔ)服務(wù)器等；讀取云存儲(chǔ)管理服務(wù)模塊配置數(shù)據(jù)，包括重刪度設(shè)置及其調(diào)整策略條件，并按策略掃描或指示調(diào)整數(shù)據(jù)重刪；產(chǎn)生、保存和比對(duì)數(shù)據(jù)文件或數(shù)據(jù)塊的指紋；指示數(shù)據(jù)服務(wù)模塊執(zhí)行數(shù)據(jù)重刪進(jìn)行調(diào)整。
[0055]數(shù)據(jù)服務(wù)模塊，其功能與上述實(shí)施例中數(shù)據(jù)處理模塊的功能相當(dāng)，數(shù)據(jù)服務(wù)模塊負(fù)責(zé)的相關(guān)功能至少包括:分布式物理存儲(chǔ)用戶的數(shù)據(jù)；為用戶讀寫數(shù)據(jù)提供分布式服務(wù)；根據(jù)元數(shù)據(jù)服務(wù)模塊指示，調(diào)整數(shù)據(jù)重刪方式并響應(yīng)；記錄系統(tǒng)日志，包括物理設(shè)備告警、系統(tǒng)操作記錄或統(tǒng)計(jì)數(shù)據(jù)等。
[0056]下面對(duì)基于上述數(shù)據(jù)處理系統(tǒng)的各個(gè)模塊的數(shù)據(jù)處理流程進(jìn)行介紹，圖6是根據(jù)本發(fā)明實(shí)施例的基于數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)處理流程圖，如圖6所示，該流程包括以下步驟(步驟S602-步驟S608):
[0057]步驟S602，云存儲(chǔ)管理服務(wù)模塊設(shè)置數(shù)據(jù)重刪策略及其調(diào)整策略。調(diào)整該策略可以是用戶或系統(tǒng)主動(dòng)變更重刪策略，也可以來自系統(tǒng)操作記錄滿足統(tǒng)計(jì)條件的系統(tǒng)行為。
[0058]步驟S604，元數(shù)據(jù)服務(wù)模塊讀取上述預(yù)設(shè)策略，并周期或事件觸發(fā)進(jìn)行掃描檢測。
[0059]步驟S606，元數(shù)據(jù)服務(wù)模塊判斷是否需要調(diào)整重刪方式；如果需要，則執(zhí)行步驟S608,如果不需要，則可以周期性執(zhí)行步驟S606。[0060]步驟S608，數(shù)據(jù)服務(wù)模塊接受元數(shù)據(jù)服務(wù)模塊指令，執(zhí)行數(shù)據(jù)重刪方式調(diào)整，并返回執(zhí)行結(jié)果，元數(shù)據(jù)服務(wù)模塊更新對(duì)應(yīng)元數(shù)據(jù)。
[0061]在監(jiān)測符合數(shù)據(jù)寫入條件時(shí)，下面對(duì)基于上述數(shù)據(jù)處理系統(tǒng)的各個(gè)模塊的數(shù)據(jù)寫入流程進(jìn)行介紹，圖7是根據(jù)本發(fā)明實(shí)施例的基于數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)寫入流程圖，如圖7所示，該流程包括以下步驟(步驟S702-步驟S712):
[0062]步驟S702，云存儲(chǔ)管理服務(wù)模塊設(shè)置數(shù)據(jù)重刪策略及其調(diào)整策略。
[0063]步驟S704，元數(shù)據(jù)服務(wù)模塊讀取上述預(yù)設(shè)的策略(即上述數(shù)據(jù)重刪策略及其調(diào)整策略)，并加載緩存已經(jīng)存在的文件或數(shù)據(jù)塊的指紋信息。
[0064]步驟S706，數(shù)據(jù)寫入時(shí)，元數(shù)據(jù)服務(wù)模塊判斷重刪作用的方式。首先對(duì)單位數(shù)據(jù)(文件級(jí)重刪以文件為單位，數(shù)據(jù)塊級(jí)重刪則以分塊后的數(shù)據(jù)塊為單位)產(chǎn)生緩存指紋，然后與已有指紋比對(duì)判斷，判斷是否存在相同指紋，如果不存在，則是未重復(fù)的新數(shù)據(jù)文件或數(shù)據(jù)塊，執(zhí)行步驟S708 ;如果存在，則是已經(jīng)重復(fù)的數(shù)據(jù)，執(zhí)行步驟S710。
[0065]步驟S708，元數(shù)據(jù)服務(wù)模塊指示用戶應(yīng)用向數(shù)據(jù)服務(wù)模塊寫入用戶數(shù)據(jù)，成功后向元數(shù)據(jù)服務(wù)模塊寫入對(duì)應(yīng)元數(shù)據(jù)。
[0066]元數(shù)據(jù)服務(wù)模塊標(biāo)識(shí)相同指紋的用戶數(shù)據(jù)，不同指紋的數(shù)據(jù)，采用不同數(shù)值標(biāo)識(shí)；相同指紋的數(shù)據(jù)，該標(biāo)識(shí)相同。對(duì)于重復(fù)度大于等于2的用戶數(shù)據(jù)，該指紋標(biāo)識(shí)相同，但是訪問的物理地址不相同，即實(shí)際存儲(chǔ)了 2個(gè)或以上的相同數(shù)據(jù)文件或數(shù)據(jù)塊。
[0067]步驟S710，元數(shù)據(jù)服務(wù)模塊根據(jù)重刪策略，在云存儲(chǔ)中已經(jīng)有一個(gè)基礎(chǔ)數(shù)據(jù)副本情況下，判斷是否需要寫入用戶數(shù)據(jù)。
[0068](I)如果需要寫入用戶數(shù)據(jù)，則執(zhí)行步驟S708。需要寫入的情形包括:根據(jù)重刪策略判斷，下面舉例說明:
[0069]第一種情況，當(dāng)設(shè)置重刪度范圍為2以上，需要寫入第二副本。
[0070]第二種情況，當(dāng)設(shè)置重刪度范圍為I至3，系統(tǒng)增加I個(gè)重刪度條件為IOPS值大于1000，當(dāng)系統(tǒng)操作記錄滿足統(tǒng)計(jì)條件IOPS遞增1000時(shí)，需要寫入第二副本。
[0071]上述第一種情況和第二種情況僅僅是舉例說明，二者不一定同時(shí)存在或者同時(shí)成立。第二個(gè)或以上副本寫入，由元數(shù)據(jù)服務(wù)模塊指示數(shù)據(jù)服務(wù)模塊進(jìn)行復(fù)制，不必像第一個(gè)副本經(jīng)過用戶應(yīng)用傳輸至數(shù)據(jù)服務(wù)模塊寫入。
[0072](2)如果不需要寫入用戶數(shù)據(jù)，則執(zhí)行步驟S712。
[0073]步驟S712，元數(shù)據(jù)服務(wù)模塊寫入該用戶數(shù)據(jù)對(duì)應(yīng)元數(shù)據(jù)，物理地址指向。不需要寫入的情形包括:
[0074]第一種情況，當(dāng)設(shè)置重刪度范圍為1，不需要再寫入副本。
[0075]第二種情況，當(dāng)設(shè)置重刪度范圍為I至3，不滿足系統(tǒng)增加重刪度條件時(shí)，不需要寫入第二副本。
[0076]上述第一種情況和第二種情況僅僅是舉例說明，二者不一定同時(shí)存在或者同時(shí)成立。
[0077]下面對(duì)基于上述數(shù)據(jù)處理系統(tǒng)的各個(gè)模塊的數(shù)據(jù)讀取流程進(jìn)行介紹，圖8是根據(jù)本發(fā)明實(shí)施例的基于數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)讀取流程圖，如圖8所示，該流程包括以下步驟(步驟S802-步驟S810):
[0078]步驟S802，云存儲(chǔ)管理服務(wù)模塊設(shè)置數(shù)據(jù)重刪策略及其調(diào)整策略。[0079]步驟S804，元數(shù)據(jù)服務(wù)模塊讀取上述預(yù)設(shè)策略。
[0080]步驟S806，用戶應(yīng)用執(zhí)行讀取云存儲(chǔ)中數(shù)據(jù)文件的操作。
[0081]步驟S808，元數(shù)據(jù)服務(wù)模塊接收用戶讀取請(qǐng)求后，累計(jì)和記錄該文件10PS。
[0082](I)對(duì)文件級(jí)別重刪，元數(shù)據(jù)服務(wù)模塊將用戶應(yīng)用讀取文件對(duì)應(yīng)的元數(shù)據(jù)進(jìn)行分析:如果是該元數(shù)據(jù)只有一個(gè)副本，則直接指示用戶應(yīng)用讀取文件的物理存儲(chǔ)位置，進(jìn)行IO訪問。如果是該元數(shù)據(jù)多于一個(gè)副本，則由元數(shù)據(jù)服務(wù)模塊將負(fù)荷最輕的副本或服務(wù)器，然后，累計(jì)和記錄該文件副本、服務(wù)器的10PS。
[0083](2)對(duì)數(shù)據(jù)塊級(jí)別重刪，元數(shù)據(jù)服務(wù)模塊將用戶應(yīng)用讀取文件數(shù)據(jù)塊對(duì)應(yīng)的元數(shù)據(jù)進(jìn)行分析:如果是該元數(shù)據(jù)只有一個(gè)副本，則直接指示用戶應(yīng)用讀取文件的物理存儲(chǔ)位置，進(jìn)行IO訪問。如果是該元數(shù)據(jù)多于一個(gè)副本，則由元數(shù)據(jù)服務(wù)模塊將負(fù)荷最輕的副本或服務(wù)器。然后，累計(jì)和記錄該文件數(shù)據(jù)塊副本、服務(wù)器的10PS。
[0084]步驟S810，元數(shù)據(jù)服務(wù)模塊根據(jù)用戶讀取IOPS最新統(tǒng)計(jì)數(shù)據(jù)，調(diào)用前面介紹的調(diào)整數(shù)據(jù)重刪策略流程，根據(jù)重刪策略，優(yōu)選地，根據(jù)預(yù)設(shè)策略，判斷是否要增加副本。該IOPS等統(tǒng)計(jì)數(shù)據(jù)也共享給云存儲(chǔ)管理服務(wù)模塊。
[0085]從以上的描述中，可以看出，本發(fā)明實(shí)施例在云計(jì)算云存儲(chǔ)環(huán)境下，進(jìn)行數(shù)據(jù)處理操作，基于內(nèi)容尋址可以消除重復(fù)的數(shù)據(jù)，提高空間利用率，兼顧提高數(shù)據(jù)讀寫性能，并且可以動(dòng)態(tài)調(diào)整重刪策略，自動(dòng)適配系統(tǒng)使用的需求。實(shí)現(xiàn)了可動(dòng)態(tài)調(diào)整重刪操作對(duì)系統(tǒng)資源的占用，優(yōu)先保障在線業(yè)務(wù)的性能，對(duì)系統(tǒng)在線業(yè)務(wù)的影響降至最低的重復(fù)數(shù)據(jù)刪除方法，具有可靠性高、穩(wěn)定性好、去重率更高，性能優(yōu)的特點(diǎn)。
[0086]顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計(jì)算裝置來實(shí)現(xiàn)，它們可以集中在單個(gè)的計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來實(shí)現(xiàn)，從而，可以將它們存儲(chǔ)在存儲(chǔ)裝置中由計(jì)算裝置來執(zhí)行，并且在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。
[0087]以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種數(shù)據(jù)處理方法，其特征在于，包括: 監(jiān)測是否符合數(shù)據(jù)處理的調(diào)整條件； 在監(jiān)測到符合所述調(diào)整條件的情況下，根據(jù)調(diào)整后的數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 調(diào)整數(shù)據(jù)處理策略。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，調(diào)整所述數(shù)據(jù)處理策略包括: 接收用戶的所述數(shù)據(jù)處理策略的調(diào)整請(qǐng)求，根據(jù)所述調(diào)整請(qǐng)求調(diào)整所述數(shù)據(jù)處理策略；或者， 根據(jù)系統(tǒng)操作調(diào)整所述數(shù)據(jù)處理策略。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，監(jiān)測是否符合數(shù)據(jù)處理的所述調(diào)整條件包括: 監(jiān)測是否符合數(shù)據(jù)刪除條件；或者， 監(jiān)測是否符合數(shù)據(jù)寫入條件。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，監(jiān)測是否符合所述數(shù)據(jù)寫入條件包括: 判斷重刪度是否大于當(dāng)前數(shù)據(jù)副本的個(gè)數(shù)，如果是，則符合所述數(shù)據(jù)寫入條件；和/`或， 判斷所述當(dāng)前數(shù)據(jù)副本的每秒輸入輸出IOPS值是否大于預(yù)設(shè)數(shù)值；如果是，則符合所述數(shù)據(jù)寫入條件。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，根據(jù)調(diào)整后的所述數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作包括: 在監(jiān)測到符合所述數(shù)據(jù)刪除條件的情況下，執(zhí)行數(shù)據(jù)刪除操作；或者， 在監(jiān)測到符合所述數(shù)據(jù)寫入條件的情況下，執(zhí)行數(shù)據(jù)寫入操作。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在監(jiān)測到符合所述數(shù)據(jù)寫入條件的情況下，執(zhí)行數(shù)據(jù)寫入操作包括: 獲取預(yù)寫入數(shù)據(jù)的標(biāo)識(shí)，比對(duì)所述預(yù)寫入數(shù)據(jù)的標(biāo)識(shí)與已有數(shù)據(jù)的標(biāo)識(shí)是否相同； 如果相同，則復(fù)制所述已有數(shù)據(jù)； 如果不相同，則接收用戶輸入的所述預(yù)寫入數(shù)據(jù)。
8.一種數(shù)據(jù)處理裝置，其特征在于，包括: 條件監(jiān)測模塊，用于監(jiān)測是否符合數(shù)據(jù)處理的調(diào)整條件； 數(shù)據(jù)處理模塊，在所述條件監(jiān)測模塊監(jiān)測到符合所述調(diào)整條件的情況下，根據(jù)調(diào)整后的數(shù)據(jù)處理策略，執(zhí)行數(shù)據(jù)處理操作。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述裝置還包括: 策略調(diào)整模塊，用于調(diào)整數(shù)據(jù)處理策略。
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述策略調(diào)整模塊包括: 第一調(diào)整單元，用于接收用戶的所述數(shù)據(jù)處理策略的調(diào)整請(qǐng)求，根據(jù)所述調(diào)整請(qǐng)求調(diào)整所述數(shù)據(jù)處理策略；或者， 第二調(diào)整單元，用于根據(jù)系統(tǒng)操作調(diào)整所述數(shù)據(jù)處理策略。
11.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述條件監(jiān)測模塊包括:第一監(jiān)測單元，用于監(jiān)測是否符合數(shù)據(jù)刪除條件；或者， 第二監(jiān)測單元，用于監(jiān)測是否符合數(shù)據(jù)寫入條件。
12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述第二監(jiān)測單元包括: 第一判斷子單元，用于判斷重刪度是否大于當(dāng)前數(shù)據(jù)副本的個(gè)數(shù)，如果是，則符合所述數(shù)據(jù)寫入條件；和/或， 第二判斷子單元，用于判斷所述當(dāng)前數(shù)據(jù)副本的每秒輸入輸出IOPS值是否大于預(yù)設(shè)數(shù)值；如果是，則符合所述數(shù)據(jù)寫入條件。
13.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述數(shù)據(jù)處理模塊包括: 數(shù)據(jù)刪除單元，用于在監(jiān)測到符合所述數(shù)據(jù)刪除條件的情況下，執(zhí)行數(shù)據(jù)刪除操作；或者， 數(shù)據(jù)寫入單元，用于在監(jiān)測到符合所述數(shù)據(jù)寫入條件的情況下，執(zhí)行數(shù)據(jù)寫入操作。
14.根據(jù)權(quán)利要求13所述的裝置，其特征在于，所述數(shù)據(jù)寫入單元包括: 比對(duì)子單元，用于獲取預(yù)寫入數(shù)據(jù)的標(biāo)識(shí)，比對(duì)所述預(yù)寫入數(shù)據(jù)的標(biāo)識(shí)與已有數(shù)據(jù)的標(biāo)識(shí)是否相同； 復(fù)制子單元，用于在所述比對(duì)子單元的比對(duì)結(jié)果為相同的情況下，復(fù)制所述已有數(shù)據(jù)； 接收子單元，用于在所述比對(duì)子單元的比對(duì)結(jié)果為不相同的情況下，接收用戶輸入的所述預(yù)寫入數(shù)據(jù)。
【文檔編號(hào)】H04L29/08GK103685359SQ201210327437
【公開日】2014年3月26日 申請(qǐng)日期:2012年9月6日 優(yōu)先權(quán)日:2012年9月6日
【發(fā)明者】柯尊友, 王偉, 葉郁文 申請(qǐng)人:中興通訊股份有限公司