專利名稱：一種數(shù)據(jù)存儲(chǔ)規(guī)劃方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)存儲(chǔ)設(shè)備上數(shù)據(jù)存儲(chǔ)規(guī)劃方法及裝置。
背景技術(shù)：
在視頻監(jiān)控存儲(chǔ)領(lǐng)域中，有很多業(yè)務(wù)都需要文件系統(tǒng)來(lái)支撐。文件系統(tǒng)可以簡(jiǎn)單的實(shí)現(xiàn)資源的共享存儲(chǔ)，以提高存儲(chǔ)空間的利用率。在文件系統(tǒng)之上發(fā)展而來(lái)的NAS技術(shù)，可以很好地滿足當(dāng)前監(jiān)控業(yè)務(wù)中多個(gè)設(shè)備之間的文件共享需求。但是NAS并非十全十美，在監(jiān)控行業(yè)高清攝像機(jī)的發(fā)展，存儲(chǔ)壓力不斷提高的背景下，NAS存儲(chǔ)性能瓶頸和不穩(wěn)定性暴露無(wú)遺。NAS技術(shù)的實(shí)現(xiàn)成本較低，但無(wú)法適用于海量的數(shù)據(jù)存儲(chǔ)。無(wú)論是使用SAN還是NAS，現(xiàn)有的解決方案大多基于文件系統(tǒng)實(shí)現(xiàn)，由于文件系統(tǒng)考慮的是滿足通用的存儲(chǔ)需求，所以結(jié)構(gòu)復(fù)雜。對(duì)于監(jiān)控業(yè)務(wù)中的大量長(zhǎng)時(shí)間滿覆蓋寫，容易造成系統(tǒng)的不穩(wěn)定，且存儲(chǔ)性能也會(huì)隨時(shí)間變化而下降。尤其是索引區(qū)發(fā)生問(wèn)題時(shí)，將會(huì)引發(fā)業(yè)務(wù)中斷，即便有備份機(jī)制，業(yè)務(wù)恢復(fù)也需要一定時(shí)間。在視頻監(jiān)控這種海量數(shù)據(jù)存儲(chǔ)的應(yīng)用中，如何提高整個(gè)存儲(chǔ)結(jié)構(gòu)的可靠性是目前迫切需要解決的問(wèn)題。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明提供一種數(shù)據(jù)存儲(chǔ)規(guī)劃處理裝置，應(yīng)用于網(wǎng)絡(luò)存儲(chǔ)設(shè)備上，該裝置包括格式化處理單元以及空間分配單元，其中格式化處理單元，用于創(chuàng)建格式化信息區(qū)，在用戶指定的物理存儲(chǔ)資源上創(chuàng)建用以存放索引數(shù)據(jù)的索引區(qū)，以及在用戶指定的物理存儲(chǔ)資源上創(chuàng)建數(shù)據(jù)區(qū)，其中所述格式化信息用于描述索引區(qū)以及數(shù)據(jù)區(qū)的概況；空間分配單元，用于在上層應(yīng)用需要存儲(chǔ)文件時(shí)，根據(jù)文件大小分配至少一個(gè)數(shù)據(jù)塊給該上層應(yīng)用使用。本發(fā)明還提供一種數(shù)據(jù)存儲(chǔ)規(guī)劃處理方法，應(yīng)用于網(wǎng)絡(luò)存儲(chǔ)設(shè)備上，該方法包括如下步驟步驟A、創(chuàng)建格式化信息區(qū)，在用戶指定的物理存儲(chǔ)資源上創(chuàng)建用以存放索引數(shù)據(jù)的索引區(qū)，以及在用戶指定的物理存儲(chǔ)資源上創(chuàng)建數(shù)據(jù)區(qū)，其中所述格式化信息用于描述索引區(qū)以及數(shù)據(jù)區(qū)的概況；步驟B、在上層應(yīng)用需要存儲(chǔ)文件時(shí)，根據(jù)文件大小分配至少一個(gè)數(shù)據(jù)塊給該上層應(yīng)用使用。本發(fā)明通過(guò)格式化處理，允許用戶在不同的物理存儲(chǔ)資源上創(chuàng)建索引區(qū)和數(shù)據(jù)區(qū)，支持?jǐn)?shù)據(jù)區(qū)和索引區(qū)的分離，允許用戶根據(jù)需要使用不同存儲(chǔ)資源來(lái)保存索引區(qū)數(shù)據(jù)。比如說(shuō)用戶可以很好地利用速度更快的物理存儲(chǔ)資源(比如本地SSD硬盤)存放索引區(qū)，使得索引區(qū)的訪問(wèn)速度更快。


圖I是本發(fā)明一種數(shù)據(jù)存儲(chǔ)規(guī)劃裝置的邏輯結(jié)構(gòu)圖。
圖2是本發(fā)明一種實(shí)施方式中存儲(chǔ)結(jié)構(gòu)圖。
具體實(shí)施方式
本發(fā)明提供更適合一種SAN技術(shù)的數(shù)據(jù)存儲(chǔ)處理技術(shù)。以計(jì)算機(jī)實(shí)現(xiàn)為例，本發(fā) 明提供一種數(shù)據(jù)存儲(chǔ)規(guī)劃裝置，該規(guī)劃裝置應(yīng)用于網(wǎng)絡(luò)存儲(chǔ)設(shè)備上。該網(wǎng)絡(luò)存儲(chǔ)設(shè)備包括 本地物理存儲(chǔ)資源(比如本地磁盤)以及下掛的一個(gè)或多個(gè)物理存儲(chǔ)資源(比如各種級(jí)別的 RAID陣列)。其中本地物理存儲(chǔ)資源主要用于保存網(wǎng)絡(luò)存儲(chǔ)設(shè)備的操作系統(tǒng)以及存儲(chǔ)軟件， 而下掛的物理存儲(chǔ)資源主要用于存儲(chǔ)來(lái)自用戶主機(jī)的海量業(yè)務(wù)數(shù)據(jù)。網(wǎng)絡(luò)存儲(chǔ)設(shè)備通常包 括控制主機(jī)(也稱為存儲(chǔ)控制器)，存儲(chǔ)控制器通常包括CPU以及內(nèi)存等基本硬件，本地物理 存儲(chǔ)資源通常是位于存儲(chǔ)控制器內(nèi)部的本地磁盤甚至是磁盤陣列。而所謂下掛物理存儲(chǔ)資 源主要是通過(guò)各種擴(kuò)展連接技術(shù)(比如SAS等)與存儲(chǔ)控制器的后端接口相連的。
請(qǐng)參考圖I，該數(shù)據(jù)存儲(chǔ)裝置包括格式化處理單元以及空間分配單元。該裝置在網(wǎng) 絡(luò)存儲(chǔ)設(shè)備上運(yùn)行過(guò)程中涉及如下的處理流程。
步驟101，在初始化時(shí)，格式化處理單元?jiǎng)?chuàng)建格式化信息區(qū)，在用戶指定的物理存 儲(chǔ)資源上創(chuàng)建用以存放索引數(shù)據(jù)的索引區(qū)，在用戶指定的物理存儲(chǔ)資源上創(chuàng)建數(shù)據(jù)區(qū)，其 中該索引區(qū)的大小與所述數(shù)據(jù)區(qū)具有對(duì)應(yīng)關(guān)系，所述數(shù)據(jù)區(qū)包括若干大小相同的數(shù)據(jù)塊；
步驟102，空間分配單元在上層應(yīng)用需要存儲(chǔ)文件時(shí)，根據(jù)文件大小分配至少一個(gè) 數(shù)據(jù)塊給該上層應(yīng)用使用。
在初始化的時(shí)候，格式化處理單元將提供用戶管理交互界面，允許用戶指定格式 化過(guò)程的參數(shù)以及如何利用物理存儲(chǔ)資源。格式化過(guò)程的參數(shù)將決定索引區(qū)的大小、數(shù)據(jù) 區(qū)的大小以及可分配數(shù)據(jù)塊的大小等重要運(yùn)行參數(shù)。索引區(qū)的大小與數(shù)據(jù)區(qū)的大小相關(guān)， 比如說(shuō)索引區(qū)大小為數(shù)據(jù)區(qū)的3%。在本發(fā)明中，用戶在格式化過(guò)程中可以指定索引區(qū)的存 儲(chǔ)位置，也就是索引區(qū)存儲(chǔ)在哪個(gè)物理存儲(chǔ)資源上，用戶也可以指定數(shù)據(jù)區(qū)存儲(chǔ)在哪個(gè)物 理存儲(chǔ)資源上，這與現(xiàn)有技術(shù)有本質(zhì)的區(qū)別，現(xiàn)有技術(shù)中索引區(qū)與數(shù)據(jù)區(qū)天然地固定在一 個(gè)物理存儲(chǔ)資源上。
用戶可以充分利用本發(fā)明提供的靈活性來(lái)合理為索引區(qū)分配物理存儲(chǔ)資源實(shí)現(xiàn) 各種性能上的提升。用戶可以選擇不同的物理存儲(chǔ)資源來(lái)存放索引區(qū)和數(shù)據(jù)區(qū)。索引區(qū) 與數(shù)據(jù)區(qū)在物理上分離可以允許用戶選擇更加可靠的物理存儲(chǔ)資源(比如可靠性很高的 RAIDl陣列)來(lái)存儲(chǔ)索引區(qū)，確保索引數(shù)據(jù)這種關(guān)鍵數(shù)據(jù)存儲(chǔ)的可靠性。
其次，對(duì)于索引區(qū)來(lái)說(shuō)，物理存儲(chǔ)資源還可以選擇網(wǎng)絡(luò)存儲(chǔ)設(shè)備本地的物理磁盤 或者本地RAID陣列，選擇本地的物理存儲(chǔ)資源可以保證索引區(qū)的訪問(wèn)更加快速；現(xiàn)有技術(shù) 中索引區(qū)與數(shù)據(jù)區(qū)通常都是在網(wǎng)絡(luò)存儲(chǔ)設(shè)備下掛的物理存儲(chǔ)資源上，這些物理存儲(chǔ)資源與 網(wǎng)絡(luò)存儲(chǔ)設(shè)備的交互是經(jīng)過(guò)一些通用/專用連接技術(shù)(比如SAS等)實(shí)現(xiàn)的，其數(shù)據(jù)訪問(wèn)的 速率并不如本地物理存儲(chǔ)資源高。
另外，由于索引區(qū)的訪問(wèn)具有很大的隨機(jī)性，因此訪問(wèn)索引區(qū)時(shí)使用緩存的意義 并不大，因此可以配置更少的緩存資源，比如使用本地磁盤時(shí)，可以減少使用網(wǎng)絡(luò)存儲(chǔ)設(shè)備 上的緩存資源?，F(xiàn)有技術(shù)中由于索引數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)均放在一起，無(wú)法做到只為業(yè)務(wù)數(shù)據(jù)訪問(wèn)提供更多緩存資源，為索引數(shù)據(jù)訪問(wèn)提供更少緩存。在本發(fā)明中，由于索引區(qū)與數(shù)據(jù)區(qū)可以分別設(shè)置在不同的物理存儲(chǔ)資源上，這樣網(wǎng)絡(luò)存儲(chǔ)設(shè)備就可以將有限的業(yè)務(wù)緩存更多地分配對(duì)訪問(wèn)數(shù)據(jù)區(qū)。請(qǐng)參考圖2，格式化信息區(qū)主要從整體上描述圖2的存儲(chǔ)結(jié)構(gòu)，其內(nèi)的信息主要包括索引區(qū)的大小、數(shù)據(jù)區(qū)的大小以及數(shù)據(jù)塊的大小等等。在優(yōu)選的實(shí)施方式中，索引區(qū)包括若干大小相同的子索引區(qū)，其中當(dāng)前有一個(gè)子索引區(qū)投入使用，其他子索引區(qū)作為副本，這樣的處理可以大大提高索引區(qū)數(shù)據(jù)的可靠性，避免索引區(qū)損壞而無(wú)法復(fù)原，更為具體的技術(shù)實(shí)現(xiàn)可以參考本申請(qǐng)人提出的相關(guān)專利申請(qǐng)。需要注意的是在本發(fā)明中，子索引區(qū)的副本并不一定要存在，索引區(qū)也可以只包括一個(gè)子索引區(qū)。每個(gè)子索引區(qū)包括卷索引區(qū)、索引日志、若干組索引區(qū)以及卷索引區(qū)備份區(qū)區(qū)。卷索引區(qū)描述的是整個(gè)子索引區(qū)，比如說(shuō)組索引區(qū)的數(shù)量以及存儲(chǔ)的地址空間等信息，相當(dāng)于一級(jí)索引區(qū)。索引日志主要用來(lái)記錄索引區(qū)的操作記錄。所述組索引區(qū)描述一個(gè)預(yù)定大小的數(shù)據(jù)區(qū)，包括目錄索引和文件索引，相當(dāng)于一個(gè)二級(jí)索引區(qū)。假設(shè)一個(gè)子索引區(qū)描述30G的數(shù)據(jù)區(qū)，子索引區(qū)包括15個(gè)組索引區(qū)，那么一個(gè)組索引區(qū)描述2G的數(shù)據(jù)區(qū)。卷索引區(qū)備份區(qū)主要是為了防止作為一級(jí)索引區(qū)的數(shù)據(jù)因磁道故障而無(wú)法訪問(wèn)所作的備份。在優(yōu)選的方式中，卷索引區(qū)位于子索引區(qū)的開(kāi)始位置，而卷索引區(qū)備份區(qū)則位于子索引區(qū)的結(jié)束位置。卷索引區(qū)與卷索引區(qū)備份區(qū)之間存儲(chǔ)位置相距較遠(yuǎn)可以避免磁盤一個(gè)磁道損壞導(dǎo)致同時(shí)引發(fā)卷索引區(qū)與卷索引區(qū)備份區(qū)同時(shí)損壞的問(wèn)題。當(dāng)卷索引區(qū)所在磁道發(fā)生故障時(shí)，由于卷索引備份區(qū)中的備份卷索引數(shù)據(jù)可以繼續(xù)使用，確保業(yè)務(wù)訪問(wèn)不會(huì)因此而中斷。如前所述，本發(fā)明優(yōu)選方式中采用兩級(jí)索引的結(jié)構(gòu)，這種兩級(jí)索引結(jié)構(gòu)可以提升訪問(wèn)效率。在優(yōu)選的方式中，一個(gè)組索引區(qū)描述的數(shù)據(jù)區(qū)大小不小于2G，因?yàn)樵诋?dāng)前文件系統(tǒng)中，文件大小通常會(huì)被限制在2G以下，這樣一個(gè)組索引區(qū)的索引數(shù)據(jù)基本都可以描述至少一個(gè)文件的存儲(chǔ)位置。數(shù)據(jù)區(qū)是以數(shù)據(jù)塊為單位進(jìn)行空間分配調(diào)度的。上層應(yīng)用的數(shù)據(jù)存儲(chǔ)需求通常來(lái)自與用戶主機(jī)，空間分配單元以該數(shù)據(jù)塊為單位為該上層應(yīng)用分配足量的數(shù)據(jù)區(qū)存儲(chǔ)空間。這里所說(shuō)的用戶主機(jī)是一個(gè)廣泛的概念，其可以是任何需要存儲(chǔ)空間的設(shè)備，比如服務(wù)器或者監(jiān)控終端等。在優(yōu)選的方式中，數(shù)據(jù)塊的大小通常遠(yuǎn)大于系統(tǒng)自身數(shù)據(jù)塊的大小(比如4K)，比如說(shuō)32M或者64M。用戶可以在初始化時(shí)，配置該參數(shù)。在本發(fā)明優(yōu)選方式中，上述數(shù)據(jù)塊大小這一參數(shù)具有最低可選值，表示用戶配置時(shí)必須選擇大于等于該值的數(shù)值。該最低可選值大于系統(tǒng)自身數(shù)據(jù)塊，比如說(shuō)32M。由于本發(fā)明中的數(shù)據(jù)塊遠(yuǎn)大于系統(tǒng)數(shù)據(jù)塊，這可以避免更多磁盤碎片的產(chǎn)生。此外，這樣的設(shè)置其可以提高系統(tǒng)對(duì)業(yè)務(wù)的處理效率，通常在監(jiān)控環(huán)境下，包括視頻信息的文件都會(huì)較大，選擇較大的數(shù)據(jù)塊，使得空間分配計(jì)算過(guò)程更加簡(jiǎn)單，處理速度自然也就更快。以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)的范圍之內(nèi)。
權(quán)利要求
1.一種數(shù)據(jù)存儲(chǔ)規(guī)劃處理裝置，應(yīng)用于網(wǎng)絡(luò)存儲(chǔ)設(shè)備上，該裝置包括格式化處理單元以及空間分配單元，其特征在于 格式化處理單元，用于創(chuàng)建格式化信息區(qū)，在用戶指定的物理存儲(chǔ)資源上創(chuàng)建用以存放索引數(shù)據(jù)的索引區(qū)，以及在用戶指定的物理存儲(chǔ)資源上創(chuàng)建數(shù)據(jù)區(qū)，其中所述格式化信息用于描述索引區(qū)以及數(shù)據(jù)區(qū)的概況； 空間分配單元，用于在上層應(yīng)用需要存儲(chǔ)文件時(shí)，根據(jù)文件大小分配至少一個(gè)數(shù)據(jù)塊給該上層應(yīng)用使用。
2.如權(quán)利要求I所述的裝置，其特征在于 所述索引區(qū)包括子索引區(qū)以及至少一個(gè)子索引區(qū)副本。
3.如權(quán)利要求I所述的裝置，其特征在于所述子索引區(qū)包括卷索引區(qū)、若干組索引區(qū)以及卷索引備份區(qū)。
4.如權(quán)利要求I所述的裝置，其特征在于所述卷索引區(qū)位于子索引區(qū)開(kāi)始位置，所述卷索引備份區(qū)位于子索引區(qū)結(jié)束位置。
5.如權(quán)利要求I所述的裝置，其特征在于所述格式化處理單元進(jìn)一步用于保存用戶指定的數(shù)據(jù)塊大小，其中該數(shù)據(jù)塊大小不小于預(yù)定的最小數(shù)據(jù)塊大小，其中該最小數(shù)據(jù)塊大小大于網(wǎng)絡(luò)存儲(chǔ)設(shè)備系統(tǒng)數(shù)據(jù)塊大小。
6.一種數(shù)據(jù)存儲(chǔ)規(guī)劃處理方法，應(yīng)用于網(wǎng)絡(luò)存儲(chǔ)設(shè)備上，其特征在于，該方法包括如下步驟 步驟A、創(chuàng)建格式化信息區(qū)，在用戶指定的物理存儲(chǔ)資源上創(chuàng)建用以存放索引數(shù)據(jù)的索引區(qū)，以及在用戶指定的物理存儲(chǔ)資源上創(chuàng)建數(shù)據(jù)區(qū)，其中所述格式化信息用于描述索引區(qū)以及數(shù)據(jù)區(qū)的概況； 步驟B、在上層應(yīng)用需要存儲(chǔ)文件時(shí)，根據(jù)文件大小分配至少一個(gè)數(shù)據(jù)塊給該上層應(yīng)用使用。
7.如權(quán)利要求6所述的方法，其特征在于 所述索引區(qū)包括子索引區(qū)以及至少一個(gè)子索引區(qū)副本。
8.如權(quán)利要求6所述的方法，其特征在于所述子索引區(qū)包括卷索引區(qū)、若干組索引區(qū)以及卷索引備份區(qū)。
9.如權(quán)利要求6所述的方法，其特征在于所述卷索引區(qū)位于子索引區(qū)開(kāi)始位置，所述卷索引備份區(qū)位于子索引區(qū)結(jié)束位置。
10.如權(quán)利要求6所述的方法，其特征在于所述步驟A進(jìn)一步包括 保存用戶指定的數(shù)據(jù)塊大小，其中該數(shù)據(jù)塊大小不小于預(yù)定的最小數(shù)據(jù)塊大小，其中該最小數(shù)據(jù)塊大小大于網(wǎng)絡(luò)存儲(chǔ)設(shè)備系統(tǒng)數(shù)據(jù)塊大小。
全文摘要
本發(fā)明提供一種數(shù)據(jù)存儲(chǔ)規(guī)劃處理裝置及對(duì)應(yīng)方法，該裝置包括格式化處理單元以及空間分配單元，其中格式化處理單元，用于創(chuàng)建格式化信息區(qū)，在用戶指定的物理存儲(chǔ)資源上創(chuàng)建用以存放索引數(shù)據(jù)的索引區(qū)，以及在用戶指定的物理存儲(chǔ)資源上創(chuàng)建數(shù)據(jù)區(qū)，其中所述格式化信息用于描述索引區(qū)以及數(shù)據(jù)區(qū)的概況；空間分配單元，用于在上層應(yīng)用需要存儲(chǔ)文件時(shí)，根據(jù)文件大小分配至少一個(gè)數(shù)據(jù)塊給該上層應(yīng)用使用。本發(fā)明通過(guò)格式化處理，允許用戶在不同的物理存儲(chǔ)資源上創(chuàng)建索引區(qū)和數(shù)據(jù)區(qū)，支持?jǐn)?shù)據(jù)區(qū)和索引區(qū)的分離，允許用戶根據(jù)需要使用不同存儲(chǔ)資源來(lái)保存索引區(qū)數(shù)據(jù)。
文檔編號(hào)G06F17/30GK102982182SQ20121056321
公開(kāi)日2013年3月20日 申請(qǐng)日期2012年12月21日 優(yōu)先權(quán)日2012年12月21日
發(fā)明者呂志明 申請(qǐng)人:浙江宇視科技有限公司