本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域,更具體的說,尤其涉及一種數(shù)據(jù)存儲系統(tǒng)及方法。
背景技術(shù):
根據(jù)idc(互聯(lián)網(wǎng)數(shù)據(jù)中心)過去五年的研究發(fā)現(xiàn),全球數(shù)據(jù)量大約每兩年翻一番;2010年全球數(shù)據(jù)量跨入zb(十萬億億字節(jié))時代,預(yù)計到2020年全球數(shù)據(jù)量將達(dá)到令人恐怖的35zb,如此龐大的數(shù)據(jù)量給數(shù)據(jù)存儲系統(tǒng)帶來了極大的挑戰(zhàn)。
目前數(shù)據(jù)存儲系統(tǒng)對海量數(shù)據(jù)的存儲采用分布式存儲方式,如數(shù)據(jù)存儲系統(tǒng)包括多臺服務(wù)器,每臺服務(wù)器分別存儲海量數(shù)據(jù)中的部分?jǐn)?shù)據(jù),以此實現(xiàn)海量數(shù)據(jù)的分布式存儲,但是隨著數(shù)據(jù)量的增長,多臺服務(wù)器也無法承受日益增長的數(shù)據(jù)量,為此數(shù)據(jù)存儲系統(tǒng)中的每臺服務(wù)器可以采用如下方式來存儲數(shù)據(jù):
一種方式:降低采樣頻率,比如原始的采樣頻率為1秒/次,即每間隔一秒采集數(shù)據(jù),這樣服務(wù)器會每間隔一秒采集到新的數(shù)據(jù),而若將采樣頻率降低為1分/次,這樣服務(wù)器就會每間隔一分鐘采集到新的數(shù)據(jù);另一種方式:通過降低存儲數(shù)據(jù)的粒度的方式來存儲數(shù)據(jù)。但是這兩種方式均為實現(xiàn)對海量數(shù)據(jù)的分類存儲,并且這兩種方式會導(dǎo)致部分?jǐn)?shù)據(jù)丟失。
技術(shù)實現(xiàn)要素:
有鑒于此,本發(fā)明的目的在于提供一種數(shù)據(jù)存儲系統(tǒng)及方法,用于實現(xiàn)根據(jù)數(shù)據(jù)的使用熱度來分類存儲數(shù)據(jù),并且在不降低存儲數(shù)據(jù)的數(shù)據(jù)粒度的情況下,提高數(shù)據(jù)的存儲量,以降低數(shù)據(jù)的丟失概率。技術(shù)方案如下:
本發(fā)明提供一種數(shù)據(jù)存儲系統(tǒng),所述系統(tǒng)包括:處理器、至少一個第一類型存儲硬盤、至少一個第二類型存儲硬盤和至少一個第三類型存儲硬盤;
所述處理器,用于獲取數(shù)據(jù)的使用熱度,當(dāng)所述數(shù)據(jù)的使用熱度位于第一類型存儲硬盤對應(yīng)的使用熱度范圍內(nèi)時,確定所述數(shù)據(jù)為第一類型數(shù)據(jù);當(dāng)所述數(shù)據(jù)的使用熱度位于第二類型存儲硬盤對應(yīng)的使用熱度范圍內(nèi)時,確定所述數(shù)據(jù)為第二類型數(shù)據(jù);當(dāng)所述數(shù)據(jù)的使用熱度位于第三類型存儲硬盤對應(yīng)的使用熱度范圍內(nèi)時,確定所述數(shù)據(jù)為第三類型數(shù)據(jù);
所述第一類型存儲硬盤用于存儲第一類型數(shù)據(jù);所述第二類型存儲硬盤用于存儲第二類型數(shù)據(jù),所述第三類型存儲硬盤用于存儲第三類型數(shù)據(jù);
其中,所述第一類型數(shù)據(jù)的使用熱度大于所述第二類型數(shù)據(jù)的使用熱度,所述第二類型數(shù)據(jù)的使用熱度大于所述第三類型數(shù)據(jù)的使用熱度。
優(yōu)選的,所述第一類型存儲硬盤的讀寫速度優(yōu)于所述第二類型存儲硬盤和所述第三類型存儲硬盤的讀寫速度。
優(yōu)選的,所述處理器,用于獲取所述第一類型存儲硬盤中存儲的第一類型數(shù)據(jù),當(dāng)所述第一類型存儲硬盤中存儲的第一類型數(shù)據(jù)的使用熱度降至小于第一預(yù)設(shè)使用熱度,將所述降至小于第一預(yù)設(shè)使用熱度的第一類型數(shù)據(jù)確定為所述第二類型數(shù)據(jù),并將所確定的第二類型數(shù)據(jù)轉(zhuǎn)移到所述第二類型存儲硬盤中存儲。
優(yōu)選的,所述處理器,用于獲取所述第二類型存儲硬盤存儲的第二類型數(shù)據(jù),當(dāng)所述第二類型存儲硬盤存儲的第二類型數(shù)據(jù)的使用熱度降至小于第二預(yù)設(shè)使用熱度,將所述降至小于第二預(yù)設(shè)使用熱度的第二類型數(shù)據(jù)確定為所述第三類型數(shù)據(jù),并將所確定的第三類型數(shù)據(jù)轉(zhuǎn)移到所述第三類型存儲硬盤中存儲。
優(yōu)選的,所述處理器,用于對所述第二類型數(shù)據(jù)進(jìn)行聚合,得到數(shù)據(jù)粒度高于所述第二類型數(shù)據(jù)的數(shù)據(jù)粒度的聚合數(shù)據(jù),并將所述聚合數(shù)據(jù)確定為所述第一類型數(shù)據(jù),將所述聚合數(shù)據(jù)轉(zhuǎn)移到所述第一類型存儲硬盤中存儲。
優(yōu)選的,所述處理器,用于記錄所述第三類型存儲硬盤的存儲信息。
優(yōu)選的,所述處理器,用于獲取數(shù)據(jù)查詢信息,根據(jù)所述數(shù)據(jù)查詢信息查詢所述第一類型存儲硬盤中是否存儲有與所述數(shù)據(jù)查詢信息相匹配的數(shù)據(jù),若不存儲有與所述數(shù)據(jù)查詢信息相匹配的數(shù)據(jù),則查詢所述第二類型存儲硬盤和所述第三類型存儲硬盤中至少一種類型存儲硬盤中是否存儲有與所述數(shù)據(jù)查詢信息相匹配的數(shù)據(jù),若存儲有與所述數(shù)據(jù)查詢信息相匹配的數(shù)據(jù),則將與所述數(shù)據(jù)查詢信息相匹配的數(shù)據(jù)轉(zhuǎn)移至所述第一類型存儲硬盤中。
優(yōu)選的,所述處理器,用于在所述第三類型存儲硬盤的已用空間達(dá)到預(yù)設(shè)空間時,輸出提示信息,所述提示信息用于提示更換所述第三類型存儲硬盤。
本發(fā)明還提供一種數(shù)據(jù)存儲方法,所述方法包括:
獲取數(shù)據(jù)的使用熱度;
當(dāng)所述數(shù)據(jù)的使用熱度位于第一類型存儲硬盤對應(yīng)的使用熱度范圍內(nèi)時,確定所述數(shù)據(jù)為第一類型數(shù)據(jù),并將所述數(shù)據(jù)存儲至所述第一類型存儲硬盤中;
當(dāng)所述數(shù)據(jù)的使用熱度位于第二類型存儲硬盤對應(yīng)的使用熱度范圍內(nèi)時,確定所述數(shù)據(jù)為第二類型數(shù)據(jù),并將所述數(shù)據(jù)存儲至所述第二類型存儲硬盤中;
當(dāng)所述數(shù)據(jù)的使用熱度位于第三類型存儲硬盤對應(yīng)的使用熱度范圍內(nèi)時,確定所述數(shù)據(jù)為第三類型數(shù)據(jù),并將所述數(shù)據(jù)存儲至所述第三類型存儲硬盤中;
其中,所述第一類型數(shù)據(jù)的使用熱度大于所述第二類型數(shù)據(jù)的使用熱度,所述第二類型數(shù)據(jù)的使用熱度大于所述第三類型數(shù)據(jù)的使用熱度。
優(yōu)選的,所述方法還包括:獲取所述第一類型存儲硬盤中存儲的數(shù)據(jù)的使用熱度;
當(dāng)所述第一類型存儲硬盤中存儲的數(shù)據(jù)的使用熱度降至小于第一預(yù)設(shè)使用熱度時,將所述降至小于第一預(yù)設(shè)使用熱度的數(shù)據(jù)確定為所述第二類型數(shù)據(jù),并將所確定的第二類型數(shù)據(jù)轉(zhuǎn)移到所述第二類型存儲硬盤中存儲;
和/或
所述方法還包括:獲取所述第二類型存儲硬盤中存儲的數(shù)據(jù)的使用熱度;
當(dāng)所述第二類型存儲硬盤中存儲的數(shù)據(jù)的使用熱度降至小于第二預(yù)設(shè)使用熱度時,將所述降至小于第二預(yù)設(shè)使用熱度的數(shù)據(jù)確定為所述第三類型數(shù)據(jù),并將所確定的第三類型數(shù)據(jù)轉(zhuǎn)移到所述第三類型存儲硬盤中存儲;
和/或
所述方法還包括:對所述第二類型存儲硬盤中存儲的數(shù)據(jù)進(jìn)行聚合,得到數(shù)據(jù)粒度高于所述第二類型數(shù)據(jù)的數(shù)據(jù)粒度的聚合數(shù)據(jù),并將所述聚合數(shù)據(jù)確定為所述第一類型數(shù)據(jù),將所述聚合數(shù)據(jù)轉(zhuǎn)移到所述第一類型存儲硬盤中存儲。
與現(xiàn)有技術(shù)相比,本發(fā)明提供的上述技術(shù)方案具有如下優(yōu)點:
借由上述技術(shù)方案,數(shù)據(jù)存儲系統(tǒng)包括:處理器、至少一個第一類型存儲硬盤、至少一個第二類型存儲硬盤和至少一個第三類型存儲硬盤,這樣處理器可以根據(jù)數(shù)據(jù)的使用熱度確定數(shù)據(jù)的類型,如當(dāng)數(shù)據(jù)的使用熱度位于第一類型存儲硬盤對應(yīng)的使用熱度范圍內(nèi)時,確定數(shù)據(jù)為第一類型數(shù)據(jù),并由第一類型存儲硬盤來存儲第一類型數(shù)據(jù);當(dāng)數(shù)據(jù)的使用熱度位于第二類型存儲硬盤對應(yīng)的使用熱度范圍內(nèi)時,確定數(shù)據(jù)為第二類型數(shù)據(jù),并由第二類型存儲硬盤來存儲第二類型數(shù)據(jù);當(dāng)數(shù)據(jù)的使用熱度位于第三類型存儲硬盤對應(yīng)的使用熱度范圍內(nèi)時,確定數(shù)據(jù)為第三類型數(shù)據(jù),并由第三類型存儲硬盤來存儲第三類型數(shù)據(jù),實現(xiàn)根據(jù)數(shù)據(jù)的使用熱度對數(shù)據(jù)的分類存儲。并且在實際應(yīng)用中,第三類型數(shù)據(jù)的數(shù)據(jù)量會逐漸增多,為此可以增加存儲第三類型數(shù)據(jù)的第三類型存儲硬盤或者隨時替換第三類型存儲硬盤來存儲更多的數(shù)據(jù),這樣在不降低數(shù)據(jù)粒度的情況下可以提高數(shù)據(jù)的存儲量,降低數(shù)據(jù)的丟失概率。
附圖說明
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖是本發(fā)明的一些實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明實施例提供的數(shù)據(jù)存儲系統(tǒng)的示意圖;
圖2是本發(fā)明實施例提供的數(shù)據(jù)存儲方法的流程圖。
具體實施方式
為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚,下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實施例是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護(hù)的范圍。
請參閱圖1,其示出了本發(fā)明實施例提供的數(shù)據(jù)存儲系統(tǒng)的示意圖,用于實現(xiàn)根據(jù)數(shù)據(jù)的使用熱度來分類存儲數(shù)據(jù),并且在不降低存儲數(shù)據(jù)的數(shù)據(jù)粒度的情況下,提高數(shù)據(jù)的存儲量,以降低數(shù)據(jù)的丟失概率。所述數(shù)據(jù)存儲系統(tǒng)包括:處理器11、至少一個第一類型存儲硬盤12、至少一個第二類型存儲硬盤13和至少一個第三類型存儲硬盤14,在圖1中以包括一個第一類型存儲硬盤12、一個第二類型存儲硬盤和一個第三類型存儲硬盤為例進(jìn)行說明。
處理器11,用于獲取數(shù)據(jù)的使用熱度,當(dāng)數(shù)據(jù)的使用熱度位于第一類型存儲硬盤12對應(yīng)的使用熱度范圍內(nèi)時,確定數(shù)據(jù)為第一類型數(shù)據(jù);當(dāng)數(shù)據(jù)的使用熱度位于第二類型存儲硬盤13對應(yīng)的使用熱度范圍內(nèi)時,確定數(shù)據(jù)為第二類型數(shù)據(jù);當(dāng)數(shù)據(jù)的使用熱度位于第三類型存儲硬盤14對應(yīng)的使用熱度范圍內(nèi)時,確定數(shù)據(jù)為第三類型數(shù)據(jù)。第一類型存儲硬盤12用于存儲第一類型數(shù)據(jù);第二類型存儲硬盤13用于存儲第二類型數(shù)據(jù);第三類型存儲硬盤14用于存儲第三類型數(shù)據(jù)
其中使用熱度至少用于指示數(shù)據(jù)的使用頻率,對于使用頻率高于其他數(shù)據(jù)的使用頻率的數(shù)據(jù)來說,其使用熱度高于其他數(shù)據(jù)的使用熱度。在本發(fā)明實施例中,第一類型數(shù)據(jù)的使用熱度大于第二類型數(shù)據(jù)的使用熱度,第二類型數(shù)據(jù)的使用熱度大于第三類型數(shù)據(jù)的使用熱度,因此第一類型數(shù)據(jù)的使用頻率高于第二類型數(shù)據(jù)的使用頻率,第二類型數(shù)據(jù)的使用頻率高于第三類型的使用頻率。
如在數(shù)據(jù)存儲領(lǐng)域中,會持續(xù)獲取到待存儲的數(shù)據(jù),例如傳感器實時采集到的各項數(shù)據(jù),這些各項數(shù)據(jù)是傳感器采集到的最新的待存儲的數(shù)據(jù),而最新的待存儲的數(shù)據(jù)的使用頻率會高于其他已獲取到的數(shù)據(jù)的使用頻率,因此這些最新的待存儲的數(shù)據(jù)會大于其他已獲取到的數(shù)據(jù)的使用熱度,進(jìn)而處理器11直接認(rèn)定這些數(shù)據(jù)的使用熱度會位于第一類型存儲硬盤12對應(yīng)的使用熱度范圍內(nèi),將其確定為第一類型數(shù)據(jù)。
對于其他已獲取的數(shù)據(jù)來說,處理器11可以不間斷或周期性獲取這些數(shù)據(jù)的使用熱度,當(dāng)這些數(shù)據(jù)的使用熱度位于第二類型存儲硬盤13對應(yīng)的使用熱度范圍內(nèi)時,則會將其確定為第二類型數(shù)據(jù),若位于第三類型存儲硬盤14對應(yīng)的使用熱度范圍內(nèi)時,則會將其確定為第三類型數(shù)據(jù)。
在本發(fā)明實施例中,第一類型存儲硬盤12對應(yīng)的使用熱度范圍、第二類型存儲硬盤13對應(yīng)的使用熱度范圍和第三類型存儲硬盤14的使用熱度范圍是為了確定數(shù)據(jù)所屬類型的判斷標(biāo)準(zhǔn),在實際應(yīng)用中可以根據(jù)數(shù)據(jù)的使用需求來設(shè)置這三個存儲硬盤各自對應(yīng)的使用熱度范圍。
比如第一類型存儲硬盤12對應(yīng)的使用熱度范圍為[a,b],第二類型存儲硬盤13對應(yīng)的使用熱度范圍為[c,d],第三類型存儲硬盤14對應(yīng)的使用熱度范圍為[e,f],其中[]中的第一個數(shù)值為最小使用熱度,第二個數(shù)值為最大使用熱度,為使第一類型數(shù)據(jù)的使用熱度大于第二類型數(shù)據(jù)的使用熱度,第二類型數(shù)據(jù)的使用熱度大于第三類型數(shù)據(jù)的使用熱度,則第一類型存儲硬盤12對應(yīng)的使用熱度范圍中的最小使用熱度a大于第二類型存儲硬盤13對應(yīng)的使用熱度范圍中的最大使用熱度d,第二類型存儲硬盤13對應(yīng)的使用熱度范圍中的最小使用熱度c大于第三類型存儲硬盤14對應(yīng)的使用熱度范圍中的最大使用熱度f。
但是這種使用熱度范圍的設(shè)置方式會無法涵蓋所有使用熱度,且設(shè)置方式過于復(fù)雜,為此本發(fā)明實施例還可以提供一種使用熱度范圍的設(shè)置方式,如設(shè)置兩個用于劃分上述三個類型存儲硬盤的使用熱度范圍的預(yù)設(shè)使用熱度,如第一預(yù)設(shè)使用熱度和第二預(yù)設(shè)使用熱度,則第一類型存儲硬盤12對應(yīng)的的使用熱度范圍大于等于第一預(yù)設(shè)使用熱度,第二類型存儲硬盤13對應(yīng)的使用熱度范圍為(第一預(yù)設(shè)使用熱度,第二預(yù)設(shè)使用熱度],則第三類型存儲硬盤14對應(yīng)的使用熱度范圍為小于第二預(yù)設(shè)使用熱度。對于第一預(yù)設(shè)使用熱度和第二預(yù)設(shè)使用熱度的取值可以根據(jù)實際應(yīng)用而定,如若第一類型存儲硬盤12和第二類型存儲硬盤13的存儲空間較大,則可以相對應(yīng)的提高第一預(yù)設(shè)使用熱度和第二預(yù)設(shè)使用熱度的取值,并加大第一預(yù)設(shè)使用熱度和第二預(yù)設(shè)使用熱度之間的取值差。
并且在數(shù)據(jù)存儲領(lǐng)域中,會有大量數(shù)據(jù)持續(xù)流入數(shù)據(jù)存儲系統(tǒng)中,這就要求數(shù)據(jù)存儲系統(tǒng)具備高吞吐量的功能,為此本發(fā)明實施例中,第一類型存儲硬盤12的讀寫速度優(yōu)于第二類型存儲硬盤13和第三類型存儲硬盤14的讀寫速度,以承受持續(xù)不斷的大量數(shù)據(jù)的流入。
例如第一類型存儲硬盤12可以采用ssd(solid-statedisk,固態(tài)硬盤),以通過sdd的讀寫速度快的性能來滿足高吞吐量的要求,第二類型存儲硬盤13可以采用hdd(harddiskdrive,硬盤驅(qū)動器),第三類型存儲硬盤14可以采用hdd,或者第三類型存儲硬盤可以采用其他讀寫速度低于ssd但存儲空間大或者具備熱插拔功能的硬盤。
而第三類型存儲硬盤14之所以選取具備熱插拔功能的硬盤是因為:隨著數(shù)據(jù)的持續(xù)獲取和流入,數(shù)據(jù)存儲系統(tǒng)中部分?jǐn)?shù)據(jù)的使用熱度會逐漸減低,從而導(dǎo)致第三類型數(shù)據(jù)的數(shù)據(jù)量也逐漸增加,為了不降低數(shù)據(jù)的數(shù)據(jù)粒度就需要大量的存儲空間來存儲不斷降為第三類型數(shù)據(jù)的數(shù)據(jù),這就需要較多的第三類型存儲硬盤來存儲第三類型數(shù)據(jù),所以需要第三類型存儲硬盤14具備熱插拔功能,在任一第三類型存儲硬盤14的存儲空間不足的情況下,可以通過熱插拔的方式將其替換掉,在數(shù)據(jù)存儲系統(tǒng)中加入新的第三類型存儲硬盤。
相對應(yīng)的處理器11可以用于在第三類型存儲硬盤14的已用空間達(dá)到預(yù)設(shè)空間時,輸出提示信息,所述提示信息用于提示更換第三類型存儲硬盤14。其中預(yù)設(shè)空間可以根據(jù)實際應(yīng)用而定,如在第三類型存儲硬盤14的已用空間達(dá)到全部存儲空間的95%時輸出提示信息。
在第三類型存儲硬盤14具備熱插拔功能的情況下,處理器11需要記錄第三類型存儲硬盤的存儲信息,如記錄第三類型數(shù)據(jù)所屬的第三類型存儲硬盤14的編號(即記錄第三類型數(shù)據(jù)存儲在哪個第三類型存儲硬盤中)、存儲的第三類型數(shù)據(jù)所屬文件名或者所屬表名、存儲的第三類型數(shù)據(jù)的起止時間戳等等,以便于通過存儲信息獲知各個第三類型存儲硬盤中存儲的數(shù)據(jù)的信息。當(dāng)需要從第三類型存儲硬盤14中查詢數(shù)據(jù)時,則需要根據(jù)存儲信息來確定所查詢的數(shù)據(jù)位于哪個第三類型存儲硬盤14中,然后將所確定的第三類型存儲硬盤14接入到數(shù)據(jù)存儲系統(tǒng)中,從其上獲取查詢的數(shù)據(jù)。而對于第一類型存儲硬盤12和第二類型存儲硬盤13來說,可以直接從這兩種類型存儲硬盤中查詢數(shù)據(jù)進(jìn)行分析。
在本發(fā)明實施例的一個應(yīng)用場景中,上述第一類型存儲硬盤12和第二類型存儲硬盤13可以位于服務(wù)器集群中,如數(shù)據(jù)存儲系統(tǒng)包括第一服務(wù)器集群合第二服務(wù)器集群,每個第一類型存儲硬盤12安裝在第一服務(wù)器集群中的至少一個服務(wù)器中,每個第二類型存儲硬盤13安裝在第三服務(wù)器集群中的至少一個服務(wù)器中,而對于第三類型存儲硬盤14來說,其可以安裝在數(shù)據(jù)存儲系統(tǒng)的備份服務(wù)器中,以通過熱插拔的方式來更換。
借由上述技術(shù)方案,數(shù)據(jù)存儲系統(tǒng)包括處理器11、至少一個第一類型存儲硬盤12、至少一個第二類型存儲硬盤13和至少一個第三類型存儲硬盤14,這樣處理器11可以根據(jù)數(shù)據(jù)的使用熱度確定數(shù)據(jù)的類型,如當(dāng)數(shù)據(jù)的使用熱度位于第一類型存儲硬盤12對應(yīng)的使用熱度范圍內(nèi)時,確定數(shù)據(jù)為第一類型數(shù)據(jù),并由第一類型存儲硬盤12來存儲第一類型數(shù)據(jù);當(dāng)數(shù)據(jù)的使用熱度位于第二類型存儲硬盤13對應(yīng)的使用熱度范圍內(nèi)時,確定數(shù)據(jù)為第二類型數(shù)據(jù),并由第二類型存儲硬盤13來存儲第二類型數(shù)據(jù);當(dāng)數(shù)據(jù)的使用熱度位于第三類型存儲硬盤14對應(yīng)的使用熱度范圍內(nèi)時,確定數(shù)據(jù)為第三類型數(shù)據(jù),并由第三類型存儲硬盤14來存儲第三類型數(shù)據(jù),實現(xiàn)根據(jù)數(shù)據(jù)的使用熱度對數(shù)據(jù)的分類存儲。并且在實際應(yīng)用中,第三類型數(shù)據(jù)的數(shù)據(jù)量會逐漸增多,為此可以增加存儲第三類型數(shù)據(jù)的第三類型存儲硬盤14或者隨時替換第三類型存儲硬盤14來存儲更多的數(shù)據(jù),這樣在不降低數(shù)據(jù)粒度的情況下可以提高數(shù)據(jù)的存儲量,降低數(shù)據(jù)的丟失概率。
在本發(fā)明實施例中,處理器11還需要對第一類型存儲硬盤12和第二類型存儲硬盤13中存儲的數(shù)據(jù)進(jìn)行管理,如周期性或不定期地獲取第一類型存儲硬盤12和第二類型存儲硬盤13中存儲的數(shù)據(jù)的使用熱度,根據(jù)使用熱度對數(shù)據(jù)進(jìn)行處理。其中處理器11對存儲的數(shù)據(jù)進(jìn)行管理的方式包括但不限于下述方式:
一種方式:處理器11獲取第一類型存儲硬盤12中存儲的第一類型數(shù)據(jù),當(dāng)?shù)谝活愋痛鎯τ脖P12中存儲的第一類型數(shù)據(jù)的使用熱度降至小于第一預(yù)設(shè)使用熱度,將降至小于第一預(yù)設(shè)使用熱度的第一類型數(shù)據(jù)確定為第二類型數(shù)據(jù),并將所確定的第二類型數(shù)據(jù)轉(zhuǎn)移到第二類型存儲硬盤13中存儲。
另一種方式:處理器11獲取第二類型存儲硬盤13存儲的第二類型數(shù)據(jù),當(dāng)?shù)诙愋痛鎯τ脖P13存儲的第二類型數(shù)據(jù)的使用熱度降至小于第二預(yù)設(shè)使用熱度,將降至小于第二預(yù)設(shè)使用熱度的第二類型數(shù)據(jù)確定為第三類型數(shù)據(jù),并將所確定的第三類型數(shù)據(jù)轉(zhuǎn)移到第三類型存儲硬盤14中存儲。
通過上述兩種方式,實現(xiàn)對第一類型存儲硬盤12和第二類型存儲硬盤13中存儲數(shù)據(jù)的更新,且通過這種方式可以為再次流入到數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)提供存儲空間。
再一種方式:處理器對第二類型數(shù)據(jù)進(jìn)行聚合,得到數(shù)據(jù)粒度高于第二類型數(shù)據(jù)的數(shù)據(jù)粒度的聚合數(shù)據(jù),并將聚合數(shù)據(jù)確定為第一類型數(shù)據(jù),將聚合數(shù)據(jù)轉(zhuǎn)移到第一類型存儲硬盤12中存儲。如處理器11可以對第二類型存儲硬盤12中存儲的同一個目標(biāo)對象的第二類型數(shù)據(jù)進(jìn)行聚合,以第二類型數(shù)據(jù)為天氣數(shù)據(jù)為例,處理器11可以對同一個城市(如北京)的天氣數(shù)據(jù)進(jìn)行聚合,將每小時采集到的天氣數(shù)據(jù)聚合為每天的天氣數(shù)據(jù),這樣可以節(jié)省存儲的數(shù)據(jù)量,且在將聚合數(shù)據(jù)轉(zhuǎn)移到第一類型存儲硬盤12后可以提高對聚合數(shù)據(jù)的查詢速度。
當(dāng)然處理器11還可以對不同目標(biāo)對象的第二類型數(shù)據(jù)進(jìn)行聚合,如處理器11中存儲有指示環(huán)境情況的各種類型數(shù)據(jù),如溫度數(shù)據(jù)、濕度數(shù)據(jù)、污染指數(shù)數(shù)據(jù)和風(fēng)速數(shù)據(jù)等等,處理器11可以將這些數(shù)據(jù)進(jìn)行聚合,得到一個表明環(huán)境情況的數(shù)據(jù),如通過對這些數(shù)據(jù)聚合得到環(huán)境優(yōu)良或者環(huán)境差的數(shù)據(jù)(如聚合數(shù)據(jù)可以是環(huán)境優(yōu)良或環(huán)境差)。
此外,處理器11還可以提供數(shù)據(jù)查詢功能,這樣通過處理器11可以查詢數(shù)據(jù)存儲系統(tǒng)存儲的數(shù)據(jù),如處理器11獲取數(shù)據(jù)查詢信息,根據(jù)數(shù)據(jù)查詢信息查詢第一類型存儲硬盤12中是否存儲有與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù),若不存儲有與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù),則查詢第二類型存儲硬盤13和第三類型存儲硬盤14中至少一種存儲硬盤中是否存儲有與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù),若存儲有與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù),則將與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù)轉(zhuǎn)移至第一類型存儲硬盤12中。
具體的,處理器11根據(jù)數(shù)據(jù)查詢信息查詢第一類型存儲硬盤12中是否存儲有與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù),若不存儲有與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù),則查詢第二類型存儲硬盤13是否存儲有與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù),若存儲有則停止數(shù)據(jù)查詢過程,并將與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù)轉(zhuǎn)移至第一類型存儲硬盤12中,若第二類型存儲硬盤13中也未存儲有與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù),則查詢第三類型存儲硬盤14是否存儲有與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù)。
在查詢第三類型存儲硬盤14是否存儲有與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù)時,根據(jù)數(shù)據(jù)查詢信息從處理器11記錄的第三類型存儲硬盤14的存儲信息中,確定存儲有與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù)的第三類型存儲硬盤14,然后從該第三類型存儲硬盤14中獲取與數(shù)據(jù)查詢信息相匹配的數(shù)據(jù),并轉(zhuǎn)移到第一類型存儲硬盤11中。
與上述系統(tǒng)實施例相對應(yīng),本發(fā)明實施例還提供一種數(shù)據(jù)存儲方法,其流程圖如圖2所示,可以包括以下步驟:
101:獲取數(shù)據(jù)的使用熱度。
102:當(dāng)數(shù)據(jù)的使用熱度位于第一類型存儲硬盤對應(yīng)的使用熱度范圍內(nèi)時,確定數(shù)據(jù)為第一類型數(shù)據(jù),并將數(shù)據(jù)存儲至第一類型存儲硬盤中。
103:當(dāng)數(shù)據(jù)的使用熱度位于第二類型存儲硬盤對應(yīng)的使用熱度范圍內(nèi)時,確定數(shù)據(jù)為第二類型數(shù)據(jù),并將數(shù)據(jù)存儲至第二類型存儲硬盤中。
104:當(dāng)數(shù)據(jù)的使用熱度位于第三類型存儲硬盤對應(yīng)的使用熱度范圍內(nèi)時,確定數(shù)據(jù)為第三類型數(shù)據(jù),并將數(shù)據(jù)存儲至第三類型存儲硬盤中。
其中第一類型數(shù)據(jù)的使用熱度大于第二類型數(shù)據(jù)的使用熱度,第二類型數(shù)據(jù)的使用熱度大于第三類型數(shù)據(jù)的使用熱度,實現(xiàn)根據(jù)數(shù)據(jù)的使用熱度對數(shù)據(jù)的分類存儲。并且在實際應(yīng)用中,第三類型數(shù)據(jù)的數(shù)據(jù)量會逐漸增多,為此可以增加存儲第三類型數(shù)據(jù)的第三類型存儲硬盤或者隨時替換第三類型存儲硬盤來存儲更多的數(shù)據(jù),這樣在不降低數(shù)據(jù)粒度的情況下可以提高數(shù)據(jù)的存儲量,降低數(shù)據(jù)的丟失概率。
此外本發(fā)明實施例提供的數(shù)據(jù)存儲方法還可以對數(shù)據(jù)進(jìn)行管理,其方式包括但不限于下述方式:
一種方式:獲取第一類型存儲硬盤中存儲的數(shù)據(jù)的使用熱度;當(dāng)?shù)谝活愋痛鎯τ脖P中存儲的數(shù)據(jù)的使用熱度降至小于第一預(yù)設(shè)使用熱度時,將降至小于第一預(yù)設(shè)使用熱度的數(shù)據(jù)確定為第二類型數(shù)據(jù),并將所確定的第二類型數(shù)據(jù)轉(zhuǎn)移到第二類型存儲硬盤中存儲。
另一種方式:獲取第二類型存儲硬盤中存儲的數(shù)據(jù)的使用熱度;當(dāng)?shù)诙愋痛鎯τ脖P中存儲的數(shù)據(jù)的使用熱度降至小于第二預(yù)設(shè)使用熱度時,將降至小于第二預(yù)設(shè)使用熱度的數(shù)據(jù)確定為第三類型數(shù)據(jù),并將所確定的第三類型數(shù)據(jù)轉(zhuǎn)移到第三類型存儲硬盤中存儲。
再一種方式:對第二類型存儲硬盤中存儲的數(shù)據(jù)進(jìn)行聚合,得到數(shù)據(jù)粒度高于第二類型數(shù)據(jù)的數(shù)據(jù)粒度的聚合數(shù)據(jù),并將聚合數(shù)據(jù)確定為第一類型數(shù)據(jù),將聚合數(shù)據(jù)轉(zhuǎn)移到第一類型存儲硬盤中存儲。
需要說明的是,本說明書中的各個實施例均采用遞進(jìn)的方式描述,每個實施例重點說明的都是與其他實施例的不同之處,各個實施例之間相同相似的部分互相參見即可。對于方法類實施例而言,由于其與系統(tǒng)實施例基本相似,所以描述的比較簡單,相關(guān)之處參見方法實施例的部分說明即可。
最后,還需要說明的是,在本文中,諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。
對所公開的實施例的上述說明,使本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領(lǐng)域技術(shù)人員來說將是顯而易見的,本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下,在其它實施例中實現(xiàn)。因此,本發(fā)明將不會被限制于本文所示的這些實施例,而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。
以上所述僅是本發(fā)明的優(yōu)選實施方式,應(yīng)當(dāng)指出,對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進(jìn)和潤飾,這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。