本發(fā)明涉及通信領(lǐng)域，且特別涉及一種數(shù)據(jù)分層存儲(chǔ)方法及系統(tǒng)。

背景技術(shù)：

隨著云計(jì)算和容器化技術(shù)的發(fā)展，容器技術(shù)已經(jīng)廣泛的應(yīng)用在各個(gè)領(lǐng)域，而容器技術(shù)的核心是鏡像，鏡像的存儲(chǔ)對(duì)于業(yè)務(wù)的正常運(yùn)行起著非常關(guān)鍵的作用?，F(xiàn)有的容器鏡像數(shù)據(jù)存儲(chǔ)技術(shù)在磁盤介質(zhì)管理上采用的是“靜態(tài)”存儲(chǔ)技術(shù)，即在固定的磁盤陣列中劃分卷，再對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)，從而使得很多用戶在部署實(shí)施分層技術(shù)后發(fā)現(xiàn)，整體IOPS(Input/Output Operations Per Second)性能依然與傳統(tǒng)架構(gòu)相當(dāng)，即磁盤吞吐能力并未獲得大幅提升。

同時(shí)，現(xiàn)有的容器鏡像數(shù)據(jù)存儲(chǔ)技術(shù)從存儲(chǔ)系統(tǒng)的底層考慮，對(duì)應(yīng)用數(shù)據(jù)的存放成本進(jìn)行了優(yōu)化，使得需要高存取性能的數(shù)據(jù)能夠存放在讀寫性能高的磁盤介質(zhì)，海量低訪問(wèn)頻率的數(shù)據(jù)存放在低成本大容量的低轉(zhuǎn)速磁盤。但是對(duì)于數(shù)據(jù)的存儲(chǔ)性能類型的辨別，需要使用人為的方式，通過(guò)人為辨別之后，再將數(shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的磁盤介質(zhì)中?，F(xiàn)有容器鏡像數(shù)據(jù)存儲(chǔ)系統(tǒng)架構(gòu)圖如圖1所示。圖1中的標(biāo)記具體為：互聯(lián)網(wǎng)1000、管理員2000、交換機(jī)3000、磁盤陣列組4000。從圖1中可以看出，當(dāng)讀寫數(shù)據(jù)時(shí)，可以人為的判斷數(shù)據(jù)是冷數(shù)據(jù)(訪問(wèn)率低的數(shù)據(jù))或熱數(shù)據(jù)(訪問(wèn)率高的數(shù)據(jù))，進(jìn)而把不同類型的數(shù)據(jù)存儲(chǔ)在性不同的磁盤中，方便用戶的下次讀取，這樣可以加快數(shù)據(jù)的讀取速度，保障一些業(yè)務(wù)功能能夠高效的運(yùn)行。

在現(xiàn)有的方法中需要人為的對(duì)數(shù)據(jù)進(jìn)行判斷，當(dāng)出現(xiàn)大量的讀寫操作時(shí)人為決策較為困難，并對(duì)存儲(chǔ)設(shè)備造成壓力，不能及時(shí)響應(yīng)。人為對(duì)冷數(shù)據(jù)和熱數(shù)據(jù)時(shí)考慮的因素較為單一，沒(méi)有考慮數(shù)據(jù)與數(shù)據(jù)是相互影響的關(guān)系，數(shù)據(jù)的區(qū)分存在不準(zhǔn)確性，當(dāng)需要讀取冷數(shù)據(jù)時(shí)，無(wú)法快速的響應(yīng)需求從而導(dǎo)致上線業(yè)務(wù)不能正常運(yùn)行，用戶感知較差。當(dāng)發(fā)生以上問(wèn)題時(shí)，只能通過(guò)管理員進(jìn)行被動(dòng)故障處理，對(duì)數(shù)據(jù)庫(kù)或者存儲(chǔ)設(shè)備進(jìn)行修正。嚴(yán)重時(shí)，導(dǎo)致存儲(chǔ)系統(tǒng)宕機(jī)，需要重新啟動(dòng)，這對(duì)于核心系統(tǒng)來(lái)說(shuō)是不可接受的。此外，人為操作需要投入大量的人力成本，造成資源的浪費(fèi)。

進(jìn)一步的，現(xiàn)有的容器鏡像數(shù)據(jù)存儲(chǔ)技術(shù)應(yīng)用數(shù)據(jù)卷(LUN)與磁盤陣列(RAID)組形成映射關(guān)系，RAID組中磁盤的性能會(huì)影響該數(shù)據(jù)卷的數(shù)據(jù)存取性能，使其成為瓶頸問(wèn)題，且數(shù)據(jù)卷一旦創(chuàng)建，所有歸屬于該卷的數(shù)據(jù)RAID架構(gòu)即被固定，不能改變。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為了克服現(xiàn)有數(shù)據(jù)存儲(chǔ)技術(shù)不能智能地且準(zhǔn)確地區(qū)分?jǐn)?shù)據(jù)的冷熱的問(wèn)題，提供一種能自動(dòng)準(zhǔn)確地檢測(cè)數(shù)據(jù)的冷熱度并根據(jù)數(shù)據(jù)的冷熱度進(jìn)行自動(dòng)分層存儲(chǔ)的數(shù)據(jù)分層存儲(chǔ)方法及系統(tǒng)。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種數(shù)據(jù)分層存儲(chǔ)方法，該方法包括：

響應(yīng)于外部應(yīng)用的讀操作對(duì)被讀取的數(shù)據(jù)資源進(jìn)行標(biāo)記，待讀操作完成后計(jì)算已標(biāo)記的數(shù)據(jù)資源的標(biāo)記值；

根據(jù)每一數(shù)據(jù)資源的標(biāo)記值的大小將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層內(nèi)。

于本發(fā)明一實(shí)施例中，在計(jì)算某一數(shù)據(jù)資源的標(biāo)記值時(shí)基于在相鄰時(shí)間內(nèi)與其共同被讀取的數(shù)據(jù)資源的標(biāo)記值以及共同被讀取的數(shù)據(jù)集合進(jìn)行計(jì)算。

于本發(fā)明一實(shí)施例中，采用以下公式計(jì)算數(shù)據(jù)資源的標(biāo)記值：

其中，DR(i)表示第i個(gè)數(shù)據(jù)資源的標(biāo)記值，N(j)表示在當(dāng)前時(shí)間之前，第j個(gè)數(shù)據(jù)資源一共被讀取的次數(shù)，B(j)表示在讀取i的同時(shí)被讀取的數(shù)據(jù)集合。

于本發(fā)明一實(shí)施例中，在計(jì)算已標(biāo)記的數(shù)據(jù)資源的標(biāo)記值后將計(jì)算所得的每一數(shù)據(jù)資源的標(biāo)記值存入數(shù)據(jù)表中。

于本發(fā)明一實(shí)施例中，所述存儲(chǔ)層包括性能驅(qū)動(dòng)器和容量驅(qū)動(dòng)器，存儲(chǔ)入性能驅(qū)動(dòng)器的數(shù)據(jù)資源的標(biāo)記值大于存儲(chǔ)入容量驅(qū)動(dòng)器內(nèi)的數(shù)據(jù)資源的標(biāo)記值。

于本發(fā)明一實(shí)施例中，所述數(shù)據(jù)分層存儲(chǔ)方法還包括：

響應(yīng)于外部應(yīng)用的寫操作初始化寫入的數(shù)據(jù)資源的標(biāo)記值；

將該標(biāo)記值存儲(chǔ)入數(shù)據(jù)表后將數(shù)據(jù)資源分配至相應(yīng)的存儲(chǔ)層內(nèi)。

于本發(fā)明一實(shí)施例中，在響應(yīng)于外部應(yīng)用的讀操作對(duì)被讀取的數(shù)據(jù)資源進(jìn)行標(biāo)記，待讀操作完成后計(jì)算已標(biāo)記的數(shù)據(jù)資源的標(biāo)記值這一步驟之前，所述數(shù)據(jù)分層存儲(chǔ)方法還包括：

檢測(cè)外部應(yīng)用的操作；

判斷檢測(cè)到的外部應(yīng)用的操作類別。

相對(duì)應(yīng)的，本發(fā)明還提供一種數(shù)據(jù)分層存儲(chǔ)系統(tǒng)，包括計(jì)算模塊和分配模塊。計(jì)算模塊響應(yīng)于外部應(yīng)用的讀操作對(duì)被讀取的數(shù)據(jù)資源進(jìn)行標(biāo)記，待讀操作完成后計(jì)算已標(biāo)記的數(shù)據(jù)資源的標(biāo)記值。分配模塊根據(jù)每一數(shù)據(jù)資源的標(biāo)記值的大小將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層內(nèi)。

于本發(fā)明一實(shí)施例中，計(jì)算模塊在計(jì)算某一數(shù)據(jù)資源的標(biāo)記值時(shí)基于在相鄰時(shí)間內(nèi)與其共同被讀取的數(shù)據(jù)資源的標(biāo)記值以及共同被讀取的數(shù)據(jù)集合進(jìn)行計(jì)算。

于本發(fā)明一實(shí)施例中，數(shù)據(jù)分層存儲(chǔ)系統(tǒng)還包括檢測(cè)模塊和判斷模塊。檢測(cè)模塊檢測(cè)外部應(yīng)用的操作。判斷模塊判斷檢測(cè)模塊所檢測(cè)到的外部應(yīng)用的操作類別。

綜上所述，本發(fā)明提供的數(shù)據(jù)分層存儲(chǔ)方法及系統(tǒng)與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：

通過(guò)對(duì)被讀取的數(shù)據(jù)資源進(jìn)行標(biāo)記并對(duì)標(biāo)記后的數(shù)據(jù)資源計(jì)算其標(biāo)記值來(lái)實(shí)時(shí)動(dòng)態(tài)的分析數(shù)據(jù)資源的冷熱度，實(shí)現(xiàn)數(shù)據(jù)資源冷熱度的自動(dòng)判斷，并根據(jù)該數(shù)據(jù)資源的冷熱度將熱數(shù)據(jù)分配至高速的性能驅(qū)動(dòng)器，而將海量的冷數(shù)據(jù)分配至低速的容量驅(qū)動(dòng)器，從而提高數(shù)據(jù)訪問(wèn)的命中率以及存儲(chǔ)系統(tǒng)的資源利用率，針對(duì)大量的讀寫問(wèn)題能夠很好進(jìn)行應(yīng)對(duì)，保障業(yè)務(wù)系統(tǒng)的正常運(yùn)行。進(jìn)一步的，在計(jì)算已標(biāo)記的數(shù)據(jù)資源的標(biāo)記值時(shí)考慮了數(shù)據(jù)與數(shù)據(jù)間的關(guān)系問(wèn)題，大大提高了數(shù)據(jù)的響應(yīng)速度。

為讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合附圖，作詳細(xì)說(shuō)明如下。

附圖說(shuō)明

圖1所示為現(xiàn)有容器鏡像數(shù)據(jù)存儲(chǔ)系統(tǒng)架構(gòu)圖。

圖2所示為本發(fā)明實(shí)施例一提供的數(shù)據(jù)分層存儲(chǔ)方法的流程圖。

圖3所示為本發(fā)明提供的數(shù)據(jù)分層存儲(chǔ)的構(gòu)架圖。

圖4所示為本發(fā)明實(shí)施例一提供的數(shù)據(jù)分層存儲(chǔ)系統(tǒng)的框架圖。

圖5所示為本發(fā)明實(shí)施例二提供的數(shù)據(jù)分層存儲(chǔ)方法的流程圖。

圖6所示為本發(fā)明實(shí)施例二和實(shí)施例三提供的數(shù)據(jù)分層存儲(chǔ)系統(tǒng)的框架圖。

圖7所示為本發(fā)明實(shí)施例三提供的數(shù)據(jù)分層存儲(chǔ)方法的流程圖。

具體實(shí)施方式

實(shí)施例一

作為信息技術(shù)的一大優(yōu)化策略，分層存儲(chǔ)技術(shù)已經(jīng)成為主流存儲(chǔ)產(chǎn)品的基本配置。分層存儲(chǔ)可提高存儲(chǔ)需求的靈活性，優(yōu)化數(shù)據(jù)管理，并降低總擁有成本?，F(xiàn)有的容器鏡像存儲(chǔ)中，采用人為對(duì)數(shù)據(jù)資源的冷熱度進(jìn)行判斷，根據(jù)判斷的結(jié)果將數(shù)據(jù)資源存儲(chǔ)在不同性質(zhì)的存儲(chǔ)層內(nèi)。數(shù)據(jù)資源冷熱度的人為判斷不僅存在判斷速度無(wú)法滿足讀寫需求并且還存在判斷不正確的問(wèn)題。有鑒于此，本發(fā)明提供了一種能自動(dòng)準(zhǔn)確識(shí)別數(shù)據(jù)資源冷熱度的數(shù)據(jù)分層存儲(chǔ)方法及系統(tǒng)。

本實(shí)施例提供的數(shù)據(jù)分層存儲(chǔ)方法包括：響應(yīng)于外部應(yīng)用的讀操作對(duì)被讀取的數(shù)據(jù)資源進(jìn)行標(biāo)記，待讀操作完成后計(jì)算已標(biāo)記的數(shù)據(jù)資源的標(biāo)記值(步驟S1)。根據(jù)每一數(shù)據(jù)資源的標(biāo)記值的大小將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層內(nèi)(步驟S2)。

該方法始于步驟S1，在該步驟內(nèi)系統(tǒng)為每一數(shù)據(jù)資源關(guān)聯(lián)一標(biāo)記參數(shù)，記為DataRank(簡(jiǎn)稱DR)。當(dāng)外部應(yīng)用讀取該數(shù)據(jù)資源時(shí)，系統(tǒng)通過(guò)改變DR值(標(biāo)記值)來(lái)對(duì)該數(shù)據(jù)資源進(jìn)行標(biāo)記，每讀取一次，DR值不斷地被疊加，該過(guò)程直到該讀操作完成。DR值表征了這個(gè)數(shù)據(jù)資源被讀取的頻率(即重要度)，DR值越大表明當(dāng)前這段時(shí)間內(nèi)該數(shù)據(jù)資源越重要，其被讀取的次數(shù)越多，在這段時(shí)間內(nèi)該數(shù)據(jù)資源為熱數(shù)據(jù)。相反的，在當(dāng)前這段時(shí)間內(nèi)某一數(shù)據(jù)資源的DR值很小，則表明在這段時(shí)間內(nèi)該數(shù)據(jù)資源為不重要的數(shù)據(jù)資源，其被讀取的次數(shù)很少，在這段時(shí)間內(nèi)該數(shù)據(jù)為冷數(shù)據(jù)。

然而，在實(shí)際應(yīng)用中，由于應(yīng)用和應(yīng)用之間、數(shù)據(jù)和數(shù)據(jù)之間存在著依賴的關(guān)系，外部應(yīng)用讀取單條數(shù)據(jù)往往不能解決問(wèn)題。通常外部應(yīng)用會(huì)先后或同時(shí)讀取多條數(shù)據(jù)資源來(lái)滿足應(yīng)用的需求。因此，在對(duì)數(shù)據(jù)資源的冷熱度判斷時(shí)若僅僅只考慮其自身的DR值會(huì)存在判斷的偏差。在數(shù)據(jù)讀取中，一般會(huì)認(rèn)為與重要數(shù)據(jù)一起被讀取的數(shù)據(jù)資源一般也較為重要，基于這一理論，在計(jì)算某一數(shù)據(jù)資源的DR值時(shí)基于在相鄰時(shí)間內(nèi)與其共同被讀取的數(shù)據(jù)資源的DR值以及共同被讀取的數(shù)據(jù)集合B(j)進(jìn)行計(jì)算。計(jì)算的具體公式為：

其中，DR(i)表示第i個(gè)數(shù)據(jù)資源的標(biāo)記值，N(j)表示在當(dāng)前時(shí)間之前，第j個(gè)數(shù)據(jù)資源一共被讀取的次數(shù)，B(j)表示在讀取i的同時(shí)被讀取的數(shù)據(jù)集合。

為了標(biāo)準(zhǔn)化計(jì)算結(jié)果，需要在公式一的基礎(chǔ)上增加一個(gè)常數(shù)C，得到以下公式：

當(dāng)計(jì)算得到被讀取的數(shù)據(jù)資源的DR值后，執(zhí)行步驟S2，根據(jù)該DR值將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層中。于本實(shí)施例中，當(dāng)計(jì)算完所有被標(biāo)記的數(shù)據(jù)資源后再根據(jù)數(shù)據(jù)資源的DR值將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層內(nèi)。然而，本發(fā)明對(duì)此不作任何限定。于其它實(shí)施例中，可計(jì)算完一個(gè)數(shù)據(jù)資源的DR值后即可將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層內(nèi)，之后再進(jìn)行下一個(gè)數(shù)據(jù)資源的DR值計(jì)算。

如圖3所示，本發(fā)明提供的數(shù)據(jù)分層存儲(chǔ)方法基于圖3所給出的存儲(chǔ)構(gòu)架。于本實(shí)施例中，將整個(gè)數(shù)據(jù)存儲(chǔ)層分為三層：位于底層的容量最大的低頻層，位于低頻層上的容量較小的中頻層以及位于中頻層上的容量最小的高頻層；三者的讀取速度為：高頻層大于中頻層，中頻層大于低頻層。于本實(shí)施例中，設(shè)置一個(gè)DR閾值，根據(jù)被讀取的數(shù)據(jù)資源的DR值將DR值小于DR閾值的數(shù)據(jù)資源(COLD數(shù)據(jù))分配到低頻區(qū)，而將DR值大于或等于DR閾值的數(shù)據(jù)資源(HOT數(shù)據(jù))分配到高頻區(qū)。然而，本發(fā)明對(duì)此不作任何限定。于其它實(shí)施例中，可設(shè)置兩個(gè)DR閾值來(lái)將數(shù)據(jù)資源分配到低頻區(qū)、中頻區(qū)(WARM數(shù)據(jù))和高頻區(qū)，也可以設(shè)置三個(gè)以上的DR閾值來(lái)將整個(gè)存儲(chǔ)層劃分為四個(gè)以上的存儲(chǔ)層。于本實(shí)施例中，存儲(chǔ)層包括性能驅(qū)動(dòng)器和容量驅(qū)動(dòng)器，性能驅(qū)動(dòng)器對(duì)應(yīng)存儲(chǔ)構(gòu)架內(nèi)的高頻層，容量驅(qū)動(dòng)器對(duì)應(yīng)存儲(chǔ)構(gòu)架內(nèi)的低頻層。

基于DR值的數(shù)據(jù)資源分配實(shí)現(xiàn)了數(shù)據(jù)資源在不同存儲(chǔ)層之間的快速移動(dòng)，實(shí)時(shí)動(dòng)態(tài)的分析使得被高頻讀取的數(shù)據(jù)資源能快速的從低頻區(qū)進(jìn)入高頻區(qū)；而被低頻讀取的且位于高頻區(qū)內(nèi)的數(shù)據(jù)資源能快速地進(jìn)入低頻區(qū)，大大提高了數(shù)據(jù)的讀取速度。

為便于DR值的計(jì)算，于本實(shí)施例中，計(jì)算已標(biāo)記的數(shù)據(jù)資源的DR值后將該DR值存入數(shù)據(jù)表中。然而，本發(fā)明對(duì)此不作任何限定。

與上述數(shù)據(jù)分層存儲(chǔ)方法相對(duì)應(yīng)的，本實(shí)施例還提供一種數(shù)據(jù)分層存儲(chǔ)系統(tǒng)300，該系統(tǒng)300包括計(jì)算模塊1和分配模塊2。計(jì)算模塊1響應(yīng)于外部應(yīng)用100的讀操作對(duì)被讀取的數(shù)據(jù)資源進(jìn)行標(biāo)記，待讀操作完成后計(jì)算已標(biāo)記的數(shù)據(jù)資源的標(biāo)記值。分配模塊2根據(jù)每一數(shù)據(jù)資源的標(biāo)記值的大小將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層200內(nèi)。

計(jì)算模塊1為每一數(shù)據(jù)資源關(guān)聯(lián)一標(biāo)記參數(shù)，記為DataRank(簡(jiǎn)稱DR)。當(dāng)外部應(yīng)用讀取該數(shù)據(jù)資源時(shí)，計(jì)算模塊1通過(guò)改變DR值(標(biāo)記值)來(lái)對(duì)該數(shù)據(jù)進(jìn)行標(biāo)記，如每讀取一次，DR值不斷地被疊加直到該讀操作完成。DR值表征了這個(gè)數(shù)據(jù)資源被讀取的頻率(即重要度)，DR值越大表明當(dāng)前這段時(shí)間內(nèi)該數(shù)據(jù)資源越重要，其被讀取的次數(shù)越多，在這段時(shí)間內(nèi)該數(shù)據(jù)資源為熱數(shù)據(jù)。相反的，在當(dāng)前這段時(shí)間內(nèi)某一數(shù)據(jù)資源的DR值很小，則表明在這段時(shí)間內(nèi)該數(shù)據(jù)資源為不重要的數(shù)據(jù)資源，其被讀取的次數(shù)很少，在這段時(shí)間內(nèi)該數(shù)據(jù)為冷數(shù)據(jù)。

在DR值的計(jì)算過(guò)程中，考慮到應(yīng)用和應(yīng)用之間、數(shù)據(jù)和數(shù)據(jù)之間存在著依賴的關(guān)系，一般會(huì)認(rèn)為與重要數(shù)據(jù)一起被讀取的數(shù)據(jù)資源一般也較為重要，基于這一理論，在計(jì)算某一數(shù)據(jù)資源的DR值時(shí)基于在相鄰時(shí)間內(nèi)與其共同被讀取的數(shù)據(jù)資源的DR值以及共同被讀取的數(shù)據(jù)集合B(j)進(jìn)行計(jì)算。計(jì)算的具體公式為：

其中，DR(i)表示第i個(gè)數(shù)據(jù)資源的標(biāo)記值，N(j)表示在當(dāng)前時(shí)間之前，第j個(gè)數(shù)據(jù)資源一共被讀取的次數(shù)，B(j)表示在讀取i的同時(shí)被讀取的數(shù)據(jù)集合。

為了標(biāo)準(zhǔn)化計(jì)算結(jié)果，需要在公式一的基礎(chǔ)上增加一個(gè)常數(shù)C，得到以下公式：

當(dāng)計(jì)算模塊1計(jì)算出每一已標(biāo)記的數(shù)據(jù)資源的DR值后，分配模塊2根據(jù)DR值將已標(biāo)記的數(shù)據(jù)資源分配至不同的存儲(chǔ)層內(nèi)。具體而言，圖3中給出了具體的存儲(chǔ)構(gòu)架。該構(gòu)架將整個(gè)數(shù)據(jù)存儲(chǔ)層劃分為三個(gè)區(qū)域，位于頂層的具有最快的數(shù)據(jù)讀取速度且容量最小的高頻區(qū)，在該區(qū)域內(nèi)存儲(chǔ)的是HOT數(shù)據(jù)；位于中間的中頻區(qū)，在該區(qū)域內(nèi)存儲(chǔ)的是WARM數(shù)據(jù)；以及位于底層的數(shù)據(jù)讀取速度最慢的且容量最大的低頻區(qū)，在該區(qū)域內(nèi)存儲(chǔ)的是COLD數(shù)據(jù)。于本實(shí)施例中，設(shè)置一個(gè)DR閾值來(lái)將數(shù)據(jù)資源進(jìn)行區(qū)分，DR值大于或等于DR閾值的數(shù)據(jù)資源分配到高頻區(qū)內(nèi)，而將DR值小于DR閾值的數(shù)據(jù)分配到低頻區(qū)內(nèi)。然而，本發(fā)明對(duì)此不作任何限定。于其它實(shí)施例中，可設(shè)置兩個(gè)DR閾值來(lái)將數(shù)據(jù)分配到低頻區(qū)、中頻區(qū)(WARM數(shù)據(jù))和高頻區(qū)，也可以設(shè)置三個(gè)以上的DR閾值來(lái)將整個(gè)存儲(chǔ)層劃分為四個(gè)以上的存儲(chǔ)層。

本實(shí)施例提供的數(shù)據(jù)分層存儲(chǔ)方法及系統(tǒng)不僅實(shí)現(xiàn)了數(shù)據(jù)資源冷熱度的自動(dòng)且準(zhǔn)確的識(shí)別，且可根據(jù)數(shù)據(jù)資源的冷熱度將其進(jìn)行分層存儲(chǔ)，將熱數(shù)據(jù)存儲(chǔ)在高頻區(qū)內(nèi)直接提供客戶訪問(wèn)，提高數(shù)據(jù)訪問(wèn)的命中率，檢索速度以及傳輸速度。進(jìn)一步的，在對(duì)表征數(shù)據(jù)冷熱度的DR值的計(jì)算過(guò)程中綜合考慮了數(shù)據(jù)與數(shù)據(jù)之間的影響，在讀取數(shù)據(jù)當(dāng)前數(shù)據(jù)的同時(shí)，考慮鄰近時(shí)間內(nèi)其它數(shù)據(jù)的影響，大大提高數(shù)據(jù)資源冷熱度判斷的準(zhǔn)確性。此外，相對(duì)傳統(tǒng)的分布式存儲(chǔ)方案，在保持了系統(tǒng)IOPS的同時(shí)，降低了投入成本，并提高了系統(tǒng)的資源利用率，減少能耗。

實(shí)施例二

本實(shí)施例提供的數(shù)據(jù)分層存儲(chǔ)方法包括：

步驟S10、檢測(cè)外部應(yīng)用的操作。

步驟S20、判斷外部應(yīng)用的操作是否為讀操作；

步驟S30、若是，響應(yīng)于外部應(yīng)用的讀操作對(duì)被讀取的數(shù)據(jù)資源進(jìn)行標(biāo)記，待讀操作完成后計(jì)算已標(biāo)記的數(shù)據(jù)資源的標(biāo)記值。

步驟S40、根據(jù)每一數(shù)據(jù)資源的標(biāo)記值的大小將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層內(nèi)。

本實(shí)施例與實(shí)施例一及其變化的區(qū)別在于，在對(duì)被讀取的數(shù)據(jù)資源進(jìn)行標(biāo)記之前判斷外部應(yīng)用的操作是否為讀操作，具體的流程圖如圖5所示。

相對(duì)應(yīng)的，本實(shí)施例還提供一種數(shù)據(jù)分層存儲(chǔ)系統(tǒng)300，該系統(tǒng)300包括檢測(cè)模塊30、判斷模塊40、計(jì)算模塊10和分配模塊20。檢測(cè)模塊30檢測(cè)外部應(yīng)用100的操作。判斷模塊40判斷檢測(cè)模塊所檢測(cè)到的外部應(yīng)用100的操作類別。于本實(shí)施例中，判斷模塊40只需判斷外部應(yīng)用100的操作是否為讀操作。當(dāng)為讀操作時(shí)計(jì)算模塊10響應(yīng)于外部應(yīng)用的讀操作對(duì)被讀取的數(shù)據(jù)資源進(jìn)行標(biāo)記，待讀操作完成后計(jì)算所有已標(biāo)記的數(shù)據(jù)資源的標(biāo)記值。分配模塊20根據(jù)每一數(shù)據(jù)資源的標(biāo)記值的大小將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層內(nèi)。計(jì)算模塊10的具體計(jì)算以及分配模塊20的具體分配方式與實(shí)施例一相同。

為保證DR值的準(zhǔn)確性以及有效性，于本實(shí)施例中，數(shù)據(jù)分層存儲(chǔ)系統(tǒng)還包括對(duì)DR值進(jìn)行維護(hù)的維護(hù)模塊50。然而，本發(fā)明對(duì)此不作任何限定。

實(shí)施例三

本實(shí)施例與實(shí)施例一及其變化的區(qū)別在于，本實(shí)施例提供的數(shù)據(jù)分層存儲(chǔ)方法還包括：

響應(yīng)于外部應(yīng)用的寫操作初始化寫入的數(shù)據(jù)資源的標(biāo)記值；

將該標(biāo)記值存儲(chǔ)入數(shù)據(jù)表后將數(shù)據(jù)資源分配至相應(yīng)的存儲(chǔ)層內(nèi)。

具體的流程如7所示，包括：

步驟S100、檢測(cè)外部應(yīng)用的操作。

步驟S200、判斷外部應(yīng)用的操作為讀操作還是寫操作；

步驟S300、當(dāng)外部應(yīng)用的操作為讀操作時(shí)，響應(yīng)于外部應(yīng)用的讀操作對(duì)被讀取的數(shù)據(jù)資源進(jìn)行標(biāo)記，待讀操作完成后計(jì)算已標(biāo)記的數(shù)據(jù)資源的標(biāo)記值。

步驟S301、根據(jù)每一數(shù)據(jù)資源的標(biāo)記值的大小將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層內(nèi)。

步驟S400、當(dāng)外部應(yīng)用的操作為寫操作時(shí)，響應(yīng)于外部應(yīng)用的寫操作初始化寫入的數(shù)據(jù)資源的標(biāo)記值。

步驟S401、將該標(biāo)記值存儲(chǔ)入數(shù)據(jù)表后將數(shù)據(jù)資源分配至相應(yīng)的存儲(chǔ)層內(nèi)。

于本實(shí)施例中，當(dāng)外部應(yīng)用寫入一數(shù)據(jù)資源時(shí)，系統(tǒng)自動(dòng)為寫入的數(shù)據(jù)資源關(guān)聯(lián)一標(biāo)記DR，并初始化DR值(即標(biāo)記值)，使其等于1，即步驟S400。在初始化完成后執(zhí)行步驟S401，將該DR值存儲(chǔ)入數(shù)據(jù)表內(nèi)并根據(jù)DR閾值將該數(shù)據(jù)資源分配至相應(yīng)的存儲(chǔ)層內(nèi)。然而，本發(fā)明對(duì)此不作任何限定。于其它實(shí)施例中，DR值的產(chǎn)生可在數(shù)據(jù)資源的第一次被讀取時(shí)進(jìn)行初始化，如實(shí)施例一中應(yīng)用的。

同樣的，當(dāng)外部操作讀取某一數(shù)據(jù)資源時(shí)，該數(shù)據(jù)資源被標(biāo)記且其所對(duì)應(yīng)的DR值不斷被疊加，該過(guò)程直到該操作完成，即步驟S300。當(dāng)該讀操作完成后計(jì)算每一數(shù)據(jù)資源的DR值。于本實(shí)施例中，考慮到數(shù)據(jù)和數(shù)據(jù)之間的依賴關(guān)系，一般認(rèn)為與重要數(shù)據(jù)一起被讀取的數(shù)據(jù)也是比較重要的，因此在計(jì)算數(shù)據(jù)資源的DR值的同時(shí)會(huì)綜合考慮在鄰近時(shí)間內(nèi)與其共同被讀取的其它數(shù)據(jù)資源的DR值以及共同被讀取的數(shù)據(jù)資源的集合。

具體采用如下公式計(jì)算

其中，DR(i)表示第i個(gè)數(shù)據(jù)資源的標(biāo)記值，N(j)表示在當(dāng)前時(shí)間之前，第j個(gè)數(shù)據(jù)資源一共被讀取的次數(shù)，B(j)表示在讀取i的同時(shí)被讀取的數(shù)據(jù)集合。

為了標(biāo)準(zhǔn)化計(jì)算結(jié)果，需要在公式一的基礎(chǔ)上增加一個(gè)常數(shù)C，得到以下公式：

當(dāng)計(jì)算得到被讀取的數(shù)據(jù)資源的DR值后，執(zhí)行步驟S301，根據(jù)該DR值將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層中。于本實(shí)施例中，當(dāng)計(jì)算完所有被標(biāo)記的數(shù)據(jù)資源后再根據(jù)數(shù)據(jù)資源的DR值將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層內(nèi)。然而，本發(fā)明對(duì)此不作任何限定。于其它實(shí)施例中，可計(jì)算完一個(gè)數(shù)據(jù)資源的DR值后即可將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層內(nèi)，之后再進(jìn)行下一個(gè)數(shù)據(jù)資源的DR值計(jì)算。

如圖3所示，本發(fā)明提供的數(shù)據(jù)分層存儲(chǔ)方法基于圖3所給出的存儲(chǔ)構(gòu)架。于本實(shí)施例中，將整個(gè)數(shù)據(jù)存儲(chǔ)層分為三層：位于底層的容量最大的低頻層，位于低頻層上的容量較小的中頻層以及位于中頻層上的容量最小的高頻層；三者的讀取速度為：高頻層大于中頻層，中頻層大于低頻層。于本實(shí)施例中，設(shè)置一個(gè)DR閾值，根據(jù)被讀取的數(shù)據(jù)資源的DR值將DR值小于DR閾值的數(shù)據(jù)資源(COLD數(shù)據(jù))分配到低頻區(qū)，而將DR值大于或等于DR閾值的數(shù)據(jù)資源(HOT數(shù)據(jù))分配到高頻區(qū)。然而，本發(fā)明對(duì)此不作任何限定。于其它實(shí)施例中，可設(shè)置兩個(gè)DR閾值來(lái)將數(shù)據(jù)資源分配到低頻區(qū)、中頻區(qū)(WARM數(shù)據(jù))和高頻區(qū)，也可以設(shè)置三個(gè)以上的DR閾值來(lái)將整個(gè)存儲(chǔ)層劃分為四個(gè)以上的存儲(chǔ)層。于本實(shí)施例中，存儲(chǔ)層包括性能驅(qū)動(dòng)器和容量驅(qū)動(dòng)器，性能驅(qū)動(dòng)器對(duì)應(yīng)存儲(chǔ)構(gòu)架內(nèi)的高頻層，容量驅(qū)動(dòng)器對(duì)應(yīng)存儲(chǔ)構(gòu)架內(nèi)的低頻層。

基于DR值的數(shù)據(jù)資源分配實(shí)現(xiàn)了數(shù)據(jù)資源在不同存儲(chǔ)層之間的快速移動(dòng)，實(shí)時(shí)動(dòng)態(tài)的分析使得被高頻讀取的數(shù)據(jù)資源能快速的從低頻區(qū)進(jìn)入高頻區(qū)；而被低頻讀取的且位于高頻區(qū)內(nèi)的數(shù)據(jù)資源能快速地進(jìn)入低頻區(qū)，大大提高了數(shù)據(jù)的讀取速度。

為便于DR值的計(jì)算，于本實(shí)施例中，計(jì)算已標(biāo)記的數(shù)據(jù)資源的DR值后將該DR值存入數(shù)據(jù)表中。然而，本發(fā)明對(duì)此不作任何限定。

本實(shí)施例與實(shí)施例二及其變化的區(qū)別在于，對(duì)外部應(yīng)用的操作的判斷不一樣。在實(shí)施例二中僅僅需要判斷是否為讀操作即可，而在本實(shí)施例中則需要判斷具體是何種類型的操作，系統(tǒng)根據(jù)不同類型的外部應(yīng)用操作做不同的響應(yīng)。

相對(duì)應(yīng)的，如圖6所示，本實(shí)施例提供的數(shù)據(jù)分層存儲(chǔ)系統(tǒng)300，該系統(tǒng)300包括檢測(cè)模塊30、判斷模塊40、計(jì)算模塊10和分配模塊20。該原理框圖與實(shí)施例二的相同，但判斷模塊40、計(jì)算模塊10以及分配模塊20的工作不同，具體如下：

檢測(cè)模塊30檢測(cè)外部應(yīng)用的操作。判斷模塊40判斷檢測(cè)模塊所檢測(cè)到的外部應(yīng)用的操作類別。于本實(shí)施例中，判斷模塊40需要具體的判斷外部應(yīng)用100的操作為讀操作或?qū)懖僮鳌．?dāng)判斷模塊40判斷外部應(yīng)用為讀操作時(shí)計(jì)算模塊10響應(yīng)于外部應(yīng)用的讀操作對(duì)被讀取的數(shù)據(jù)資源進(jìn)行標(biāo)記，待讀操作完成后計(jì)算已標(biāo)記的數(shù)據(jù)資源的標(biāo)記值。分配模塊20根據(jù)每一數(shù)據(jù)資源的標(biāo)記值的大小將該數(shù)據(jù)資源分配到相應(yīng)的存儲(chǔ)層200內(nèi)。當(dāng)判斷模塊40判斷外部應(yīng)用為寫操作時(shí)，計(jì)算模塊10為寫入的數(shù)據(jù)關(guān)聯(lián)一DR，并將該DR值進(jìn)行初始化，使其為1。之后分配模塊20將該DR值存儲(chǔ)入數(shù)據(jù)表內(nèi)并根據(jù)DR閾值將該數(shù)據(jù)資源分配至相應(yīng)的存儲(chǔ)層內(nèi)。然而，本發(fā)明對(duì)此不作任何限定。于其它實(shí)施例中，DR的關(guān)聯(lián)以及DR值的產(chǎn)生可在數(shù)據(jù)資源的第一次被讀取時(shí)進(jìn)行初始化，如實(shí)施例一中應(yīng)用的。本實(shí)施例中計(jì)算模塊10的具體計(jì)算以及分配模塊20的具體分配方式與實(shí)施例一相同。

為保證DR值的準(zhǔn)確性以及有效性，于本實(shí)施例中，數(shù)據(jù)分層存儲(chǔ)系統(tǒng)還包括對(duì)DR值進(jìn)行維護(hù)的維護(hù)模塊50。然而，本發(fā)明對(duì)此不作任何限定。

綜上所述，本發(fā)明提供的數(shù)據(jù)分層存儲(chǔ)方法及系統(tǒng)通過(guò)對(duì)被讀取的數(shù)據(jù)資源進(jìn)行標(biāo)記并對(duì)標(biāo)記后的數(shù)據(jù)資源計(jì)算其標(biāo)記值來(lái)實(shí)時(shí)動(dòng)態(tài)的分析數(shù)據(jù)資源的冷熱度，實(shí)現(xiàn)數(shù)據(jù)資源冷熱度的自動(dòng)判斷，并根據(jù)該數(shù)據(jù)資源的冷熱度將熱數(shù)據(jù)分配至高速的性能驅(qū)動(dòng)器，而將海量的冷數(shù)據(jù)分配至低速的容量驅(qū)動(dòng)器，從而提高數(shù)據(jù)訪問(wèn)的命中率以及存儲(chǔ)系統(tǒng)的資源利用率，針對(duì)大量的讀寫問(wèn)題能夠很好進(jìn)行應(yīng)對(duì)，保障業(yè)務(wù)系統(tǒng)的正常運(yùn)行。進(jìn)一步的，在計(jì)算已標(biāo)記的數(shù)據(jù)資源的標(biāo)記值時(shí)考慮了數(shù)據(jù)與數(shù)據(jù)間的關(guān)系問(wèn)題，大大提高了數(shù)據(jù)的響應(yīng)速度。

雖然本發(fā)明已由較佳實(shí)施例揭露如上，然而并非用以限定本發(fā)明，任何熟知此技藝者，在不脫離本發(fā)明的精神和范圍內(nèi)，可作些許的更動(dòng)與潤(rùn)飾，因此本發(fā)明的保護(hù)范圍當(dāng)視權(quán)利要求書所要求保護(hù)的范圍為準(zhǔn)。