數(shù)據(jù)分層存儲(chǔ)處理方法、裝置和存儲(chǔ)設(shè)備的制作方法
【專(zhuān)利摘要】本發(fā)明提供一種數(shù)據(jù)分層存儲(chǔ)處理方法、裝置和存儲(chǔ)設(shè)備，其中方法包括：在低層級(jí)磁盤(pán)的遷移單元遷移到高層級(jí)磁盤(pán)時(shí)，將所述遷移單元分裂為多個(gè)子遷移單元，并分別檢測(cè)各所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度；當(dāng)檢測(cè)到所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度低于設(shè)定閾值時(shí)，將所述子遷移單元遷移至所述低層級(jí)磁盤(pán)；當(dāng)檢測(cè)到所述多個(gè)子遷移單元全部遷移到所述低層級(jí)磁盤(pán)中時(shí)，則將所述多個(gè)子遷移單元合并為所述遷移單元。本發(fā)明提高了存儲(chǔ)介質(zhì)的利用率，并且有效控制了元數(shù)據(jù)存儲(chǔ)資源的消耗。
【專(zhuān)利說(shuō)明】數(shù)據(jù)分層存儲(chǔ)處理方法、裝置和存儲(chǔ)設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及存儲(chǔ)技術(shù)，尤其涉及一種數(shù)據(jù)分層存儲(chǔ)處理方法、裝置和存儲(chǔ)設(shè)備。
【背景技術(shù)】
[0002]分層存儲(chǔ)指的是，現(xiàn)有的存儲(chǔ)設(shè)備可以設(shè)置成磁盤(pán)分層的方式，將不同類(lèi)型的磁 盤(pán)設(shè)置在不同的層級(jí)上，根據(jù)數(shù)據(jù)的訪問(wèn)需求，數(shù)據(jù)可以在不同層之間遷移。例如，固態(tài) 硬盤(pán)(solid state disk,簡(jiǎn)稱(chēng):SSD)屬于訪問(wèn)速度較高的高層級(jí)磁盤(pán),硬盤(pán)驅(qū)動(dòng)器(Hard Disk Drive，簡(jiǎn)稱(chēng):HDD)屬于訪問(wèn)速度較低的低層級(jí)磁盤(pán)，在分層存儲(chǔ)的實(shí)現(xiàn)中，將不常被 訪問(wèn)的數(shù)據(jù)存儲(chǔ)到訪問(wèn)速度較慢的磁盤(pán)層例如HDD中，而將經(jīng)常訪問(wèn)的數(shù)據(jù)存儲(chǔ)到訪問(wèn)速 度快的磁盤(pán)層例如SSD中，以使得在訪問(wèn)常用數(shù)據(jù)時(shí)，提高數(shù)據(jù)的讀取速度以及存儲(chǔ)設(shè)備 的訪問(wèn)效率。
[0003]磁盤(pán)通常是以數(shù)據(jù)塊的形式存儲(chǔ)數(shù)據(jù)的，磁盤(pán)中設(shè)置有多個(gè)尺寸相同的存儲(chǔ)單 元，每個(gè)存儲(chǔ)單元用于存儲(chǔ)一個(gè)數(shù)據(jù)塊。當(dāng)數(shù)據(jù)在不同層之間遷移時(shí)，也是以數(shù)據(jù)塊整體遷 移的，即使該數(shù)據(jù)塊中只有部分?jǐn)?shù)據(jù)的訪問(wèn)頻度提高到設(shè)定閾值(稱(chēng)為“熱數(shù)據(jù)”)而需要 遷移到高層級(jí)磁盤(pán)，實(shí)際上也是數(shù)據(jù)塊整體遷移，即，數(shù)據(jù)塊中的“冷數(shù)據(jù)”(訪問(wèn)頻度仍然 較低的數(shù)據(jù))跟隨“熱數(shù)據(jù)”一起移動(dòng)。上述的數(shù)據(jù)塊通常稱(chēng)為“遷移單元”，表示是以整體 單元的形式進(jìn)行遷移的。此外，存儲(chǔ)設(shè)備中還包括用于存儲(chǔ)元數(shù)據(jù)的元數(shù)據(jù)存儲(chǔ)資源，該元 數(shù)據(jù)是與遷移單元對(duì)應(yīng)的信息，例如，遷移單元的存儲(chǔ)地址等，且每個(gè)遷移單元具有一份對(duì) 應(yīng)的元數(shù)據(jù)，所以元數(shù)據(jù)存儲(chǔ)資源的消耗量是與遷移單元的數(shù)量成正比的。
[0004]目前的“遷移單元”的尺寸通常都是固定的，例如固定設(shè)置為256MB。但是，這種設(shè) 置固定尺寸遷移單元的方式存在如下問(wèn)題:如果設(shè)定遷移單元的尺寸較大，元數(shù)據(jù)存儲(chǔ)資 源消耗較小，但是會(huì)存在上述的冷數(shù)據(jù)跟隨熱數(shù)據(jù)移動(dòng)的現(xiàn)象，會(huì)使得昂貴的高層級(jí)存儲(chǔ) 介質(zhì)的存儲(chǔ)空間造成浪費(fèi)，空間利用率低；如果設(shè)定遷移單元的尺寸較小，自然會(huì)減少高層 級(jí)存儲(chǔ)介質(zhì)的浪費(fèi)現(xiàn)象，但是耗用的元數(shù)據(jù)存儲(chǔ)資源就越多。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的第一個(gè)方面是提供一種數(shù)據(jù)分層存儲(chǔ)處理方法，目的是提高存儲(chǔ)介質(zhì)的 利用率，以及控制元數(shù)據(jù)存儲(chǔ)資源消耗的合理性。
[0006]本發(fā)明的另一個(gè)方面是提供一種數(shù)據(jù)分層存儲(chǔ)處理裝置，目的是提高存儲(chǔ)介質(zhì)的 利用率，以及控制元數(shù)據(jù)存儲(chǔ)資源消耗的合理性。
[0007]本發(fā)明的又一個(gè)方面是提供一種存儲(chǔ)設(shè)備，目的是提高存儲(chǔ)介質(zhì)的利用率，以及 控制元數(shù)據(jù)存儲(chǔ)資源消耗的合理性。
[0008]本發(fā)明提供的數(shù)據(jù)分層存儲(chǔ)處理方法，包括:
[0009]在低層級(jí)磁盤(pán)的遷移單元遷移到高層級(jí)磁盤(pán)時(shí)，將所述遷移單元分裂為多個(gè)子遷 移單元，并分別檢測(cè)各所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度；
[0010]當(dāng)檢測(cè)到所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度低于設(shè)定閾值時(shí)，將所述子遷移單元遷移至所述低層級(jí)磁盤(pán)；
[0011]當(dāng)檢測(cè)到所述多個(gè)子遷移單元全部遷移到所述低層級(jí)磁盤(pán)中時(shí)，則將所述多個(gè)子 遷移單元合并為所述遷移單元。
[0012]本發(fā)明提供的數(shù)據(jù)分層存儲(chǔ)處理裝置，包括:
[0013]資源調(diào)整單元，用于將所述遷移單元分裂為多個(gè)子遷移單元，以及，用于將所述多 個(gè)子遷移單元合并為所述遷移單元；
[0014]熱度識(shí)別單元，用于分別檢測(cè)各所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度；
[0015]遷移控制單元，用于將低層級(jí)磁盤(pán)的遷移單元遷移到高層級(jí)磁盤(pán)；以及，當(dāng)所述熱 度識(shí)別單元檢測(cè)到所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度低于設(shè)定閾值時(shí)，將所述子遷移單元遷 移至所述低層級(jí)磁盤(pán)；以及，用于檢測(cè)所述多個(gè)子遷移單元全部遷移到所述低層級(jí)磁盤(pán)中。
[0016]本發(fā)明提供的存儲(chǔ)設(shè)備，包括低層級(jí)磁盤(pán)和高層級(jí)磁盤(pán)，還包括本發(fā)明所述的數(shù) 據(jù)分層存儲(chǔ)處理裝置；所述數(shù)據(jù)分層存儲(chǔ)處理裝置分別與所述低層級(jí)磁盤(pán)、高層級(jí)磁盤(pán)連 接。
[0017]本發(fā)明數(shù)據(jù)分層存儲(chǔ)處理方法的技術(shù)效果是:通過(guò)在遷移單元遷移到高層級(jí)磁盤(pán) 時(shí)，分別檢測(cè)各子遷移單元的數(shù)據(jù)訪問(wèn)頻度，更容易識(shí)別出熱數(shù)據(jù)，并且能夠在識(shí)別出冷數(shù) 據(jù)時(shí)，將該冷數(shù)據(jù)對(duì)應(yīng)的子遷移單元遷移至低層級(jí)磁盤(pán)，從而減少了高層級(jí)磁盤(pán)的存儲(chǔ)空 間浪費(fèi)現(xiàn)象，使得高層級(jí)磁盤(pán)只存儲(chǔ)熱數(shù)據(jù)，提高了存儲(chǔ)介質(zhì)的利用率；并且，還能夠在各 子遷移單元全部遷移到低層級(jí)磁盤(pán)時(shí)進(jìn)行整合，將各子遷移單元合并為遷移單元，從而及 時(shí)減少了遷移單元的數(shù)量，有效控制了元數(shù)據(jù)存儲(chǔ)資源的消耗。
[0018]本發(fā)明數(shù)據(jù)分層存儲(chǔ)處理裝置的技術(shù)效果是:通過(guò)在遷移單元遷移到高層級(jí)磁盤(pán) 時(shí)，分別檢測(cè)各子遷移單元的數(shù)據(jù)訪問(wèn)頻度，更容易識(shí)別出熱數(shù)據(jù)，并且能夠在識(shí)別出冷數(shù) 據(jù)時(shí)，將該冷數(shù)據(jù)對(duì)應(yīng)的子遷移單元遷移至低層級(jí)磁盤(pán)，從而減少了高層級(jí)磁盤(pán)的存儲(chǔ)空 間浪費(fèi)現(xiàn)象，使得高層級(jí)磁盤(pán)只存儲(chǔ)熱數(shù)據(jù)，提高了存儲(chǔ)介質(zhì)的利用率；并且，還能夠在各 子遷移單元全部遷移到低層級(jí)磁盤(pán)時(shí)進(jìn)行整合，將各子遷移單元合并為遷移單元，從而及 時(shí)減少了遷移單元的數(shù)量，有效控制了元數(shù)據(jù)存儲(chǔ)資源的消耗。
[0019]本發(fā)明存儲(chǔ)設(shè)備的技術(shù)效果是:通過(guò)在遷移單元遷移到高層級(jí)磁盤(pán)時(shí)，分別檢測(cè) 各子遷移單元的數(shù)據(jù)訪問(wèn)頻度，更容易識(shí)別出熱數(shù)據(jù)，并且能夠在識(shí)別出冷數(shù)據(jù)時(shí)，將該冷 數(shù)據(jù)對(duì)應(yīng)的子遷移單元遷移至低層級(jí)磁盤(pán)，從而減少了高層級(jí)磁盤(pán)的存儲(chǔ)空間浪費(fèi)現(xiàn)象， 使得高層級(jí)磁盤(pán)只存儲(chǔ)熱數(shù)據(jù)，提高了存儲(chǔ)介質(zhì)的利用率；并且，還能夠在各子遷移單元全 部遷移到低層級(jí)磁盤(pán)時(shí)進(jìn)行整合，將各子遷移單元合并為遷移單元，從而及時(shí)減少了遷移 單元的數(shù)量，有效控制了元數(shù)據(jù)存儲(chǔ)資源的消耗。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0020]圖1為本發(fā)明數(shù)據(jù)分層存儲(chǔ)處理方法一實(shí)施例的流程示意圖；
[0021]圖2為本發(fā)明數(shù)據(jù)分層存儲(chǔ)處理方法另一實(shí)施例的原理示意圖；
[0022]圖3為本發(fā)明數(shù)據(jù)分層存儲(chǔ)處理裝置實(shí)施例的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0023]實(shí)施例一[0024]圖1為本發(fā)明數(shù)據(jù)分層存儲(chǔ)處理方法一實(shí)施例的流程示意圖，如圖1所示，本實(shí)施 例的方法可以包括:
[0025]101、在低層級(jí)磁盤(pán)的遷移單元遷移到高層級(jí)磁盤(pán)時(shí)，將所述遷移單元分裂為多個(gè) 子遷移單元，并分別檢測(cè)各所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度；
[0026]其中，所述的低層級(jí)磁盤(pán)，指的是訪問(wèn)速度較慢的磁盤(pán)，例如為HDD ;所述的高層 級(jí)磁盤(pán)，指的是訪問(wèn)速度較快的磁盤(pán)，例如為SSD ;即，高層級(jí)磁盤(pán)比低層級(jí)磁盤(pán)的性能更 好，速度更快。
[0027]其中，所述的遷移單元和子遷移單元，指的是作為一整體單元在磁盤(pán)中存儲(chǔ)并整 體遷移的數(shù)據(jù)塊。所述的低層級(jí)磁盤(pán)的遷移單元通常指的較大尺寸的遷移單元，例如為 256MB ;當(dāng)該遷移單元變熱，上遷到高層級(jí)磁盤(pán)時(shí)，將分裂為多個(gè)較小尺寸的子遷移單元，例 如為32MB。本實(shí)施例中，所分裂的子遷移單元的數(shù)量不做限制，例如，可以分裂為四個(gè)子遷 移單元或者八個(gè)子遷移單元等；并且，所分裂的子遷移單元的尺寸可以自主設(shè)定。
[0028]可選的，在將遷移單元分裂為多個(gè)子遷移單元之后，還將分別記錄所述多個(gè)子遷 移單元的存儲(chǔ)地址信息，以保證后續(xù)數(shù)據(jù)的正確訪問(wèn)。例如，假設(shè)遷移單元分裂為四個(gè)子遷 移單元，則需要分別記錄這四個(gè)子遷移單元在高層級(jí)磁盤(pán)的具體的物理存儲(chǔ)地址。
[0029]102、當(dāng)檢測(cè)到所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度低于設(shè)定閾值時(shí)，將所述子遷移單 元遷移至所述低層級(jí)磁盤(pán)；
[0030]其中，若所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度低于設(shè)定閾值，則表示該子遷移單元的 訪問(wèn)頻度較低，即不經(jīng)常被訪問(wèn)，成為“冷數(shù)據(jù)”;則本實(shí)施例將該子遷移單元遷移至低層級(jí)磁盤(pán)。
[0031]本實(shí)施例中，為了提高高層級(jí)磁盤(pán)的存儲(chǔ)空間利用率，將大尺寸的遷移單元分裂 為小尺寸的子遷移單元，能夠更加精確的識(shí)別出該遷移單元中的熱數(shù)據(jù)，并將冷數(shù)據(jù)遷移 回低層級(jí)磁盤(pán)，避免了冷數(shù)據(jù)浪費(fèi)高層級(jí)磁盤(pán)的昂貴的存儲(chǔ)空間，提高了磁盤(pán)的利用率。
[0032]103、當(dāng)檢測(cè)到所述多個(gè)子遷移單元全部遷移到所述低層級(jí)磁盤(pán)中時(shí)，則將所述多 個(gè)子遷移單元合并為所述遷移單元；
[0033]其中，當(dāng)檢測(cè)到101中遷移到高層級(jí)磁盤(pán)的遷移單元所分裂成的各個(gè)子遷移單元 又全部遷移回到低層級(jí)磁盤(pán)中時(shí)，即，上述的各個(gè)子遷移單元又全部變冷，則本實(shí)施例將這 些子遷移單元重新整合為一個(gè)大尺寸的遷移單元。
[0034]該低層級(jí)磁盤(pán)通過(guò)及時(shí)將各子遷移單元整合為一個(gè)遷移單元，可以減少遷移單元 的數(shù)量，有效控制元數(shù)據(jù)存儲(chǔ)資源的消耗。
[0035]本實(shí)施例的數(shù)據(jù)分層存儲(chǔ)處理方法，通過(guò)在遷移單元遷移到高層級(jí)磁盤(pán)時(shí)，分別 檢測(cè)各子遷移單元的數(shù)據(jù)訪問(wèn)頻度，更容易識(shí)別出熱數(shù)據(jù)，并且能夠在識(shí)別出冷數(shù)據(jù)時(shí)，將 該冷數(shù)據(jù)對(duì)應(yīng)的子遷移單元遷移至低層級(jí)磁盤(pán)，從而減少了高層級(jí)磁盤(pán)的存儲(chǔ)空間浪費(fèi)現(xiàn) 象，使得高層級(jí)磁盤(pán)只存儲(chǔ)熱數(shù)據(jù)，提高了存儲(chǔ)介質(zhì)的利用率；并且，還能夠在各子遷移單 元全部遷移到低層級(jí)磁盤(pán)時(shí)進(jìn)行整合，將各子遷移單元合并為遷移單元，從而及時(shí)減少了 遷移單元的數(shù)量，有效控制了元數(shù)據(jù)存儲(chǔ)資源的消耗。
[0036]實(shí)施例二
[0037]圖2為本發(fā)明數(shù)據(jù)分層存儲(chǔ)處理方法另一實(shí)施例的原理示意圖，本實(shí)施例是以低 層級(jí)磁盤(pán)為HDD，高層級(jí)磁盤(pán)為SSD為例，對(duì)本發(fā)明的數(shù)據(jù)分層存儲(chǔ)處理方法做詳細(xì)說(shuō)明。其中，所述的HDD和SSD可以是某個(gè)存儲(chǔ)設(shè)備中分層設(shè)置的兩個(gè)層級(jí)磁盤(pán)，該存儲(chǔ)設(shè)備中還 包括用于控制數(shù)據(jù)在這兩個(gè)層級(jí)磁盤(pán)之間進(jìn)行遷移的相關(guān)控制單元，例如，用于檢測(cè)數(shù)據(jù) 訪問(wèn)頻度的熱度識(shí)別單元、用于控制數(shù)據(jù)遷移的遷移控制單元等。
[0038]如圖2所示，HDD和SSD中的存儲(chǔ)空間將首先按照大尺寸粒度劃分為多個(gè)存儲(chǔ)單 元，例如，該存儲(chǔ)單元可以用于存儲(chǔ)尺寸為256MB的遷移單元11。所述的遷移單元11是整 體進(jìn)行存儲(chǔ)和遷移的數(shù)據(jù)塊。
[0039]在劃分為多個(gè)存儲(chǔ)單元之后，還分別建立HDD和SSD中的各個(gè)存儲(chǔ)單元與存儲(chǔ)設(shè) 備的邏輯塊地址(Logical Block Address，簡(jiǎn)稱(chēng):LBA)之間的對(duì)應(yīng)關(guān)系。例如，存儲(chǔ)設(shè)備 中包括分層設(shè)置的HDD和SSD、以及維護(hù)有邏輯塊地址信息，數(shù)據(jù)是保存在HDD和SSD中的 物理存儲(chǔ)地址的，但是在對(duì)數(shù)據(jù)進(jìn)行讀寫(xiě)操作時(shí)，在操作信息中會(huì)攜帶LBA信息，再根據(jù)存 儲(chǔ)設(shè)備中的LBA與所述物理存儲(chǔ)地址之間的對(duì)應(yīng)關(guān)系，查找到數(shù)據(jù)的物理存儲(chǔ)地址，從而 找到數(shù)據(jù)的。因此，該存儲(chǔ)設(shè)備中建立有上述的各個(gè)存儲(chǔ)單元與LBA之間的映射關(guān)系；具體 的，每個(gè)存儲(chǔ)單元都會(huì)有一個(gè)對(duì)應(yīng)存儲(chǔ)標(biāo)識(shí)即物理存儲(chǔ)地址，其中的遷移單元也會(huì)有一個(gè) 數(shù)據(jù)塊標(biāo)識(shí)，該映射關(guān)系中記錄有數(shù)據(jù)塊標(biāo)識(shí)、數(shù)據(jù)塊的邏輯塊地址LBA、以及物理存儲(chǔ)地 址之間的對(duì)應(yīng)關(guān)系信息，標(biāo)識(shí)數(shù)據(jù)塊在磁盤(pán)中的存放位置，以保證數(shù)據(jù)讀寫(xiě)的正確性。
[0040]存儲(chǔ)設(shè)備中的熱度識(shí)別單元可以檢測(cè)每個(gè)存儲(chǔ)單元中的遷移單元11的數(shù)據(jù)訪問(wèn) 頻度，例如檢測(cè)該遷移單元的IO統(tǒng)計(jì)信息。并且，可以設(shè)定一訪問(wèn)頻度閾值，若遷移單元的 數(shù)據(jù)訪問(wèn)頻度大于該閾值，則表示該遷移單元被經(jīng)常訪問(wèn)，已經(jīng)變熱成為“熱數(shù)據(jù)”;若遷移 單元的數(shù)據(jù)訪問(wèn)頻度小于該閾值，則表示該遷移單元很少被訪問(wèn)，是“冷數(shù)據(jù)”。
[0041]存儲(chǔ)設(shè)備中的遷移控制單元可以在遷移單元變熱后，控制該遷移單元向SSD遷 移；并且，在遷移到SSD中之后，本實(shí)施例的存儲(chǔ)設(shè)備中的熱度識(shí)別單元可以分別檢測(cè)該遷 移單元中的各個(gè)子遷移單元的數(shù)據(jù)訪問(wèn)頻度。
[0042]具體的，存儲(chǔ)設(shè)備可以預(yù)先設(shè)定一個(gè)子遷移單元的尺寸，例如32MB ;假設(shè)遷移單 元的尺寸為256MB，則該遷移單元實(shí)質(zhì)上是包括8個(gè)子遷移單元。在遷移單元遷移到SSD中 之后，熱度識(shí)別單元可以分別檢測(cè)這8個(gè)子遷移單元的數(shù)據(jù)訪問(wèn)頻度，而不再是初始時(shí)的 以遷移單元整體為單位檢測(cè)該整個(gè)遷移單元的數(shù)據(jù)訪問(wèn)頻度，這樣更容易識(shí)別熱數(shù)據(jù)。例 如，原來(lái)256MB的遷移單元中其實(shí)是只有64MB的數(shù)據(jù)變熱，其他仍然是冷數(shù)據(jù)，但是由于是 以遷移單元整體為單位統(tǒng)計(jì)其IO信息，所以仍然會(huì)認(rèn)為該遷移單元是變熱的，將該遷移單 元上遷；而后通過(guò)分別檢測(cè)其中的各個(gè)子遷移單元的IO信息，可以精確識(shí)別出2個(gè)變熱的 子遷移單元，以及另外6個(gè)仍然是冷數(shù)據(jù)的子遷移單元，熱數(shù)據(jù)的識(shí)別更加精確。
[0043]可選的，上述的對(duì)于各子遷移單元的IO統(tǒng)計(jì)，可以是在遷移單元分裂之前進(jìn)行， 即此時(shí)遷移單元還未分裂，仍然是一個(gè)整體，只是先對(duì)其內(nèi)部的各子遷移單元進(jìn)行熱數(shù)據(jù) 識(shí)別；若檢測(cè)出其中全部為熱數(shù)據(jù)，則該遷移單元可以不必分裂，仍然保持一個(gè)整體，存儲(chǔ) 在SSD的較大尺寸的存儲(chǔ)單元中；若檢測(cè)出其中包括有冷數(shù)據(jù)，再控制遷移單元分裂，并且 也是按照所述預(yù)先設(shè)定的子遷移單元的尺寸進(jìn)行劃分分裂。
[0044]或者，可選的，若SSD中沒(méi)有空閑的與遷移單元尺寸對(duì)應(yīng)的較大的存儲(chǔ)單元時(shí)，該 遷移單元可以先分裂為多個(gè)子遷移單元，將子遷移單元遷移到SSD中的尺寸對(duì)應(yīng)的較小的 存儲(chǔ)單元中，再執(zhí)行所述的分別檢測(cè)IO統(tǒng)計(jì)。即，遷移單元在分裂之前，用于存儲(chǔ)該遷移單 元的存儲(chǔ)單元是大尺寸粒度的存儲(chǔ)空間；在遷移單元分裂之后，存儲(chǔ)空間也會(huì)產(chǎn)生分裂，成為多個(gè)小尺寸粒度的存儲(chǔ)空間，用于存儲(chǔ)分裂后的多個(gè)子遷移單元。因此，熱度識(shí)別和遷移單元分裂的順序不做嚴(yán)格限制，只要能夠檢測(cè)出該遷移單元中的各個(gè)子遷移單元在SSD中的IO統(tǒng)計(jì)信息以及識(shí)別出熱數(shù)據(jù)即可。
[0045]假設(shè)已經(jīng)識(shí)別出遷移單元中包括冷數(shù)據(jù)對(duì)應(yīng)的子遷移單元，則遷移單元11將分裂為多個(gè)子遷移單元12，例如為32MB ;并且遷移控制單元將控制其中的冷數(shù)據(jù)對(duì)應(yīng)的子遷移單元向HDD中回遷，使得該冷數(shù)據(jù)不再占用SSD中的昂貴的存儲(chǔ)空間，提高SSD的存儲(chǔ)空間利用率。并且，在SSD中將一直執(zhí)行上述的熱數(shù)據(jù)識(shí)別方式，即分別檢測(cè)各個(gè)子遷移單元的IO統(tǒng)計(jì)信息，當(dāng)發(fā)現(xiàn)有原來(lái)的熱數(shù)據(jù)變冷成為冷數(shù)據(jù)時(shí)，就將該冷數(shù)據(jù)向HDD中回遷。
[0046]本實(shí)施例中，在遷移單元11分裂為多個(gè)子遷移單元12之后，為了保證數(shù)據(jù)訪問(wèn)的正確性，需要更新映射關(guān)系信息，即，此時(shí)遷移單元11在磁盤(pán)上的物理存儲(chǔ)地址已經(jīng)發(fā)生變更，并且是分裂為多個(gè)子遷移單元12，該多個(gè)子遷移單元12可能分散存儲(chǔ)在各個(gè)地址上。因此，需要記錄遷移單元、所述多個(gè)子遷移單元之間的對(duì)應(yīng)關(guān)系，以及，記錄所述多個(gè)子遷移單元在當(dāng)前的物理存儲(chǔ)地址。例如，該遷移單元11的數(shù)據(jù)塊標(biāo)識(shí)、數(shù)據(jù)塊所在的LBA之間的對(duì)應(yīng)關(guān)系是不變的，通過(guò)該LBA查找該遷移單元11時(shí)，將查詢(xún)到該遷移單元11分裂為多個(gè)子遷移單元12，其中一部分子遷移單元12存儲(chǔ)在SSD中的物理存儲(chǔ)地址al、a2……，
另一部分子遷移單元12存儲(chǔ)在HDD中的物理存儲(chǔ)地址bl、b2......。具體實(shí)現(xiàn)中例如可以
采用數(shù)組方式組織尋址，數(shù)組成員分別指向HDD和SSD中的子遷移單元。
[0047]可選的，HDD中的遷移單元遷往SSD中時(shí)，將優(yōu)先使用SSD中空閑的與遷移單元尺寸對(duì)應(yīng)的大尺寸存儲(chǔ)單元；當(dāng)SSD中變冷的子遷移單元遷往HDD中時(shí)，也將優(yōu)先使用HDD中空閑的與子遷移單元尺寸對(duì)應(yīng)的小尺寸存儲(chǔ)單元；當(dāng)變冷遷往HDD中的子遷移單元重新變熱時(shí)，優(yōu)先遷往SSD中空閑的與子遷移單元尺寸對(duì)應(yīng)的小尺寸存儲(chǔ)單元中。
[0048]本實(shí)施例中，`回遷至HDD中的子遷移單元，將以該子遷移單元為單位進(jìn)行IO統(tǒng)計(jì)。 存儲(chǔ)設(shè)備還為每個(gè)遷移單位維護(hù)一個(gè)計(jì)數(shù)值，用于獲取SSD中的子遷移單元的數(shù)量(可以稱(chēng)為第一數(shù)量)，或者，獲取HDD中的子遷移單元的數(shù)量(可以稱(chēng)為第二數(shù)量)；若第一數(shù)量為零，或者，第二數(shù)量等于遷移單元分裂的子遷移單元的個(gè)數(shù)，則確定多個(gè)子遷移單元全部遷移到HDD中。例如，遷移單元分裂為四個(gè)子遷移單元，則可以記錄該遷移單元當(dāng)前在SSD 中的子遷移單元的個(gè)數(shù)；最初該個(gè)數(shù)是四，當(dāng)數(shù)據(jù)變冷時(shí)則回遷至HDD，個(gè)數(shù)就減去I ;逐漸的，當(dāng)該個(gè)數(shù)變?yōu)榱銜r(shí)，則表示該遷移單元分裂成的四個(gè)子遷移單元已經(jīng)全部變冷并全部下遷到HDD中。
[0049]當(dāng)上述的子遷移單元全部下遷到HDD中時(shí)，將觸發(fā)整合流程，將所述多個(gè)子遷移單元重新合并為一個(gè)遷移單元。假設(shè)遷移單元分裂成的子遷移單元下遷到HDD中時(shí)，HDD的最初大尺寸的存儲(chǔ)單元將分裂為小尺寸的子存儲(chǔ)單元，用于存儲(chǔ)所述的子遷移單元；例如， 一個(gè)存儲(chǔ)單元分裂為四個(gè)子存儲(chǔ)單元，下遷的一個(gè)子遷移單元存儲(chǔ)在其中一個(gè)子存儲(chǔ)單元中；后續(xù)下遷的三個(gè)子遷移單元也可能存儲(chǔ)在HDD的其他存儲(chǔ)單元分裂的子存儲(chǔ)單元中， 每個(gè)子遷移單元都占用一部分元數(shù)據(jù)存儲(chǔ)資源，并且IO統(tǒng)計(jì)也是以子遷移單元為單位進(jìn)行統(tǒng)計(jì)。當(dāng)檢測(cè)到四個(gè)子遷移單元全部下遷時(shí)，通過(guò)將子遷移單元重新合并為一個(gè)遷移單元，即四個(gè)子存儲(chǔ)單元也重新整合為一個(gè)大尺寸的存儲(chǔ)單元，此時(shí)由于遷移單元數(shù)量減少， 元數(shù)據(jù)存儲(chǔ)資源消耗降低，控制了元數(shù)據(jù)存儲(chǔ)資源消耗，并且IO統(tǒng)計(jì)也開(kāi)始以該整合后的遷移單元為單位進(jìn)行統(tǒng)計(jì)。此外，在遷移單元處于分裂狀態(tài)時(shí)記錄的各子遷移單元的存儲(chǔ)地址信息也重新變?yōu)樵撨w移單元的存儲(chǔ)地址信息，所維護(hù)的遷移單元分裂的子遷移單元的 計(jì)數(shù)值占用資源也會(huì)釋放，不再維護(hù)。
[0050]本實(shí)施例的數(shù)據(jù)分層存儲(chǔ)處理方法，通過(guò)在遷移單元遷移到高層級(jí)磁盤(pán)時(shí)，分別 檢測(cè)各子遷移單元的數(shù)據(jù)訪問(wèn)頻度，更容易識(shí)別出熱數(shù)據(jù)，并且能夠在識(shí)別出冷數(shù)據(jù)時(shí)，將 該冷數(shù)據(jù)對(duì)應(yīng)的子遷移單元遷移至低層級(jí)磁盤(pán)，從而減少了高層級(jí)磁盤(pán)的存儲(chǔ)空間浪費(fèi)現(xiàn) 象，使得高層級(jí)磁盤(pán)只存儲(chǔ)熱數(shù)據(jù)，提高了存儲(chǔ)介質(zhì)的利用率；并且，還能夠在各子遷移單 元全部遷移到低層級(jí)磁盤(pán)時(shí)進(jìn)行整合，將各子遷移單元合并為遷移單元，從而及時(shí)減少了 遷移單元的數(shù)量，有效控制了元數(shù)據(jù)存儲(chǔ)資源的消耗。
[0051]實(shí)施例三
[0052]圖3為本發(fā)明數(shù)據(jù)分層存儲(chǔ)處理裝置實(shí)施例的結(jié)構(gòu)示意圖，該裝置可以執(zhí)行本發(fā) 明任意實(shí)施例的數(shù)據(jù)分層存儲(chǔ)處理方法，本實(shí)施例只對(duì)該裝置的結(jié)構(gòu)做簡(jiǎn)單說(shuō)明，具體的 工作原理可以結(jié)合參見(jiàn)方法實(shí)施例所述。
[0053]如圖3所示，該裝置可以包括:資源調(diào)整單元31、熱度識(shí)別單元32、遷移控制單元 33、地址記錄單元34 ;其中，
[0054]資源調(diào)整單元31，用于將所述遷移單元分裂為多個(gè)子遷移單元，以及，用于將所述 多個(gè)子遷移單元合并為所述遷移單元；
[0055]熱度識(shí)別單元32，用于分別檢測(cè)各所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度；
[0056]遷移控制單元33，用于將低層級(jí)磁盤(pán)的遷移單元遷移到高層級(jí)磁盤(pán)；以及，當(dāng)所 述熱度識(shí)別單元檢測(cè)到所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度低于設(shè)定閾值時(shí)，將所述子遷移單 元遷移至所述低層級(jí)磁盤(pán)；以及，用于檢測(cè)所述多個(gè)子遷移單元全部遷移到所述低層級(jí)磁盤(pán)中。
[0057]進(jìn)一步的，還可以包括地址記錄單元34，具體用于在所述將遷移單元分裂為多個(gè) 子遷移單元之后，所述將多個(gè)子遷移單元合并為所述遷移單元之前，分別記錄所述多個(gè)子 遷移單元的存儲(chǔ)地址信息，例如，記錄所述遷移單元、所述多個(gè)子遷移單元之間的對(duì)應(yīng)關(guān) 系；以及，記錄所述多個(gè)子遷移單元當(dāng)前的物理存儲(chǔ)地址。
[0058]進(jìn)一步的，遷移控制單元33，還用于檢測(cè)所述高層級(jí)磁盤(pán)中是否存在與所述遷移 單元尺寸對(duì)應(yīng)的存儲(chǔ)單元，并在檢測(cè)結(jié)果為是時(shí)，將所述遷移單元遷移到所述存儲(chǔ)單元；資 源調(diào)整單元31，還用于在存在數(shù)據(jù)訪問(wèn)頻度低于設(shè)定閾值的子遷移單元時(shí)，將所述遷移單 元分裂為多個(gè)子遷移單元。
[0059]進(jìn)一步的，遷移控制單元33，具體用于檢測(cè)所述高層級(jí)磁盤(pán)中是否存在與所述遷 移單元尺寸對(duì)應(yīng)的存儲(chǔ)單元；資源調(diào)整單元31，具體用于在遷移控制單元的檢測(cè)結(jié)果為否 時(shí)，將所述遷移單元分裂為多個(gè)子遷移單元。
[0060]進(jìn)一步的，遷移控制單元33包括:統(tǒng)計(jì)計(jì)數(shù)子單元331和狀態(tài)檢測(cè)子單元332。其 中，統(tǒng)計(jì)計(jì)數(shù)子單元331，用于獲取所述高層級(jí)磁盤(pán)中的所述子遷移單元的第一數(shù)量，或者， 獲取所述低層級(jí)磁盤(pán)中的所述子遷移單元的第二數(shù)量；狀態(tài)檢測(cè)子單元332，用于在所述 第一數(shù)量為零，或者，所述第二數(shù)量等于所述遷移單元分裂的子遷移單元的個(gè)數(shù)時(shí)，則確定 多個(gè)所述子遷移單元全部遷移到所述低層級(jí)磁盤(pán)中。
[0061]本實(shí)施例的數(shù)據(jù)分層存儲(chǔ)處理裝置，通過(guò)在遷移單元遷移到高層級(jí)磁盤(pán)時(shí)，分別 檢測(cè)各子遷移單元的數(shù)據(jù)訪問(wèn)頻度，更容易識(shí)別出熱數(shù)據(jù)，并且能夠在識(shí)別出冷數(shù)據(jù)時(shí)，將該冷數(shù)據(jù)對(duì)應(yīng)的子遷移單元遷移至低層級(jí)磁盤(pán)，從而減少了高層級(jí)磁盤(pán)的存儲(chǔ)空間浪費(fèi)現(xiàn) 象，使得高層級(jí)磁盤(pán)只存儲(chǔ)熱數(shù)據(jù)，提高了存儲(chǔ)介質(zhì)的利用率；并且，還能夠在各子遷移單 元全部遷移到低層級(jí)磁盤(pán)時(shí)進(jìn)行整合，將各子遷移單元合并為遷移單元，從而及時(shí)減少了 遷移單元的數(shù)量，有效控制了元數(shù)據(jù)存儲(chǔ)資源的消耗。
[0062]實(shí)施例四
[0063]本發(fā)明提供了一種存儲(chǔ)設(shè)備，該設(shè)備包括低層級(jí)磁盤(pán)和高層級(jí)磁盤(pán)，還包括本發(fā) 明任意實(shí)施例所述的數(shù)據(jù)分層存儲(chǔ)處理裝置；所述數(shù)據(jù)分層存儲(chǔ)處理裝置分別與所述低層 級(jí)磁盤(pán)、高層級(jí)磁盤(pán)連接。
[0064]該存儲(chǔ)設(shè)備中的數(shù)據(jù)分層存儲(chǔ)處理裝置，可以在遷移單元遷移到高層級(jí)磁盤(pán)時(shí)， 分別檢測(cè)各子遷移單元的數(shù)據(jù)訪問(wèn)頻度，并且能夠在識(shí)別出冷數(shù)據(jù)時(shí)，將該冷數(shù)據(jù)對(duì)應(yīng)的 子遷移單元遷移至低層級(jí)磁盤(pán)，從而減少了高層級(jí)磁盤(pán)的存儲(chǔ)空間浪費(fèi)現(xiàn)象，使得高層級(jí) 磁盤(pán)只存儲(chǔ)熱數(shù)據(jù)，提高了存儲(chǔ)介質(zhì)的利用率；還能夠在各子遷移單元全部遷移到低層級(jí) 磁盤(pán)時(shí)進(jìn)行整合，將各子遷移單元合并為遷移單元，從而及時(shí)減少了遷移單元的數(shù)量，有效 控制了元數(shù)據(jù)存儲(chǔ)資源的消耗。
[0065]本領(lǐng)域普通技術(shù)人員可以理解:實(shí)現(xiàn)上述各方法實(shí)施例的全部或部分步驟可以通 過(guò)程序指令相關(guān)的硬件來(lái)完成。前述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。該程 序在執(zhí)行時(shí)，執(zhí)行包括上述各方法實(shí)施例的步驟；而前述的存儲(chǔ)介質(zhì)包括:R0M、RAM、磁碟 或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。
[0066]最后應(yīng)說(shuō)明的是:以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制； 盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其 依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征 進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技 術(shù)方案的范圍。
【權(quán)利要求】
1.一種數(shù)據(jù)分層存儲(chǔ)處理方法，其特征在于，包括:在低層級(jí)磁盤(pán)的遷移單元遷移到高層級(jí)磁盤(pán)時(shí)，將所述遷移單元分裂為多個(gè)子遷移單元，并分別檢測(cè)各所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度；當(dāng)檢測(cè)到所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度低于設(shè)定閾值時(shí)，將所述子遷移單元遷移至所述低層級(jí)磁盤(pán)；當(dāng)檢測(cè)到所述多個(gè)子遷移單元全部遷移到所述低層級(jí)磁盤(pán)中時(shí)，則將所述多個(gè)子遷移單元合并為所述遷移單元。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)分層存儲(chǔ)處理方法，其特征在于，在所述將遷移單元分裂為多個(gè)子遷移單元之后，所述將多個(gè)子遷移單元合并為所述遷移單元之前，還包括:記錄所述遷移單元、所述多個(gè)子遷移單元之間的對(duì)應(yīng)關(guān)系；記錄所述多個(gè)子遷移單元當(dāng)前的物理存儲(chǔ)地址。
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)分層存儲(chǔ)處理方法，其特征在于，所述在低層級(jí)磁盤(pán)的遷移單元遷移到高層級(jí)磁盤(pán)時(shí)，將所述遷移單元分裂為多個(gè)子遷移單元，并分別檢測(cè)各所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度，包括:檢測(cè)所述高層級(jí)磁盤(pán)中是否存在與所述遷移單元尺寸對(duì)應(yīng)的存儲(chǔ)單元；若存在，則將所述遷移單元遷移到所述存儲(chǔ)單元，并分別檢測(cè)各所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度；若存在數(shù)據(jù)訪問(wèn)頻度低于設(shè)定閾值的子遷移單元，則將所述遷移單元分裂為多個(gè)子遷移單元。
4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)分層存儲(chǔ)處理方法，其特征在于，所述在低層級(jí)磁盤(pán)的遷移單元遷移到高層級(jí)磁盤(pán)時(shí)，將所述遷移單元分裂為多個(gè)子遷移單元，并分別檢測(cè)各所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度，包括:檢測(cè)所述高層級(jí)磁盤(pán)中是否存在與所述遷移單元尺寸對(duì)應(yīng)的存儲(chǔ)單元；`若不存在，則將遷移單元分裂為多個(gè)子遷移單元；并在分裂為所述多個(gè)子遷移單元之后，分別檢測(cè)各所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度。
5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)分層存儲(chǔ)處理方法，其特征在于，所述檢測(cè)到多個(gè)子遷移單元全部遷移到所述低層級(jí)磁盤(pán)中，包括:獲取所述高層級(jí)磁盤(pán)中的所述子遷移單元的第一數(shù)量，或者，獲取所述低層級(jí)磁盤(pán)中的所述子遷移單元的第二數(shù)量；若所述第一數(shù)量為零，或者，所述第二數(shù)量等于所述遷移單元分裂的子遷移單元的個(gè)數(shù)，則確定所述多個(gè)子遷移單元全部遷移到所述低層級(jí)磁盤(pán)中。
6.一種數(shù)據(jù)分層存儲(chǔ)處理裝置，其特征在于，包括:資源調(diào)整單元，用于將所述遷移單元分裂為多個(gè)子遷移單元，以及，用于將所述多個(gè)子遷移單元合并為所述遷移單元；熱度識(shí)別單元，用于分別檢測(cè)各所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度；遷移控制單元，用于將低層級(jí)磁盤(pán)的遷移單元遷移到高層級(jí)磁盤(pán)；以及，當(dāng)所述熱度識(shí)別單元檢測(cè)到所述子遷移單元的數(shù)據(jù)訪問(wèn)頻度低于設(shè)定閾值時(shí)，將所述子遷移單元遷移至所述低層級(jí)磁盤(pán)；以及，用于檢測(cè)所述多個(gè)子遷移單元全部遷移到所述低層級(jí)磁盤(pán)中。
7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)分層存儲(chǔ)處理裝置，其特征在于，還包括:地址記錄單元，用于在所述將遷移單元分裂為多個(gè)子遷移單元之后，所述將多個(gè)子遷移單元合并為所述遷移單元之前，記錄所述遷移單元、所述多個(gè)子遷移單元之間的對(duì)應(yīng)關(guān)系，以及記錄所述多個(gè)子遷移單元當(dāng)前的物理存儲(chǔ)地址。
8.根據(jù)權(quán)利要求6所述的數(shù)據(jù)分層存儲(chǔ)處理裝置，其特征在于，所述遷移控制單元，具體用于檢測(cè)所述高層級(jí)磁盤(pán)中是否存在與所述遷移單元尺寸對(duì)應(yīng)的存儲(chǔ)單元，并在檢測(cè)結(jié)果為是時(shí)，將所述遷移單元遷移到所述存儲(chǔ)單元；所述資源調(diào)整單元，具體用于在存在數(shù)據(jù)訪問(wèn)頻度低于設(shè)定閾值的子遷移單元時(shí)，將所述遷移單元分裂為多個(gè)子遷移單元。
9.根據(jù)權(quán)利要求6所述的數(shù)據(jù)分層存儲(chǔ)處理裝置，其特征在于，所述遷移控制單元，具體用于檢測(cè)所述高層級(jí)磁盤(pán)中是否存在與所述遷移單元尺寸對(duì)應(yīng)的存儲(chǔ)單元；所述資源調(diào)整單元，具體用于在遷移控制單元的檢測(cè)結(jié)果為否時(shí)，將所述遷移單元分裂為多個(gè)子遷移單元。
10.根據(jù)權(quán)利要求6所述的數(shù)據(jù)分層存儲(chǔ)處理裝置，其特征在于，所述遷移控制單元包括:統(tǒng)計(jì)計(jì)數(shù)子單元，用于獲取所述高層級(jí)磁盤(pán)中的所述子遷移單元的第一數(shù)量，或者，獲取所述低層級(jí)磁盤(pán)中的所述子遷移單元的第二數(shù)量；狀態(tài)檢測(cè)子單元，用于在所述第一數(shù)量為零，或者，所述第二數(shù)量等于所述遷移單元分裂的子遷移單元的個(gè)數(shù)時(shí)，則確定多個(gè)所述子遷移單元全部遷移到所述低層級(jí)磁盤(pán)中。
11.一種存儲(chǔ)設(shè)備，包括低層級(jí)磁盤(pán)和高層級(jí)磁盤(pán)，其特征在于，還包括權(quán)利要求6-10 任一所述的數(shù)據(jù)分層存儲(chǔ)處理裝置；所述數(shù)據(jù)分層存儲(chǔ)處理裝置分別與所述低層級(jí)磁盤(pán)、 高層級(jí)磁盤(pán)連接。
【文檔編號(hào)】G06F3/06GK103558991SQ201110460211
【公開(kāi)日】2014年2月5日 申請(qǐng)日期:2011年12月31日 優(yōu)先權(quán)日:2011年12月31日
【發(fā)明者】林宇, 梁尚冬 申請(qǐng)人:華為數(shù)字技術(shù)（成都）有限公司