專利名稱：云操作系統(tǒng)分布式存儲(chǔ)中文件存儲(chǔ)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及云計(jì)算存儲(chǔ)技術(shù)領(lǐng)域，特別是云操作系統(tǒng)分布式存儲(chǔ)中文件存儲(chǔ)方法。
背景技術(shù)：
云操作系統(tǒng)能對(duì)包括處理器、存儲(chǔ)、網(wǎng)絡(luò)在內(nèi)的硬件資源進(jìn)行統(tǒng)一管理。在當(dāng)前的云操作系統(tǒng)應(yīng)用部署中，數(shù)據(jù)存儲(chǔ)主要有兩種用途(I)用戶接口存儲(chǔ)，即提供給用戶所使用的存儲(chǔ)；(2)系統(tǒng)所需存儲(chǔ)，例如虛擬機(jī)鏡像存儲(chǔ)。由于數(shù)據(jù)存儲(chǔ)是關(guān)鍵性能點(diǎn)，通常會(huì)采用分布式存儲(chǔ)架構(gòu)。在云操作系統(tǒng)管理的分布式存儲(chǔ)中，通常會(huì)將文件分成多個(gè)塊，然后將每個(gè)分塊生成多個(gè)副本，并分散存放在數(shù)據(jù)節(jié)點(diǎn)上。在定位到存儲(chǔ)副本的數(shù)據(jù)節(jié)點(diǎn)時(shí)，通常會(huì)依賴元數(shù)據(jù)服務(wù)器進(jìn)行分塊布局的管理，即在元數(shù)據(jù)服務(wù)器產(chǎn)生并存儲(chǔ)分塊與該分塊對(duì)應(yīng)到的數(shù) 據(jù)節(jié)點(diǎn)的映射關(guān)系。當(dāng)讀寫文件時(shí)，訪問流程通常首先會(huì)訪問元數(shù)據(jù)服務(wù)器，獲取該文件的布局，然后再從相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)獲取各分塊，最后“組裝”成整個(gè)文件。使用文件布局使文件讀寫效率低，文件讀寫都需要經(jīng)過元數(shù)據(jù)服務(wù)器產(chǎn)生或獲取文件布局；再根據(jù)文件布局，進(jìn)行數(shù)據(jù)塊的讀寫。

發(fā)明內(nèi)容
本發(fā)明解決的技術(shù)問題在于克服文件布局的缺陷，使文件讀寫流程無需涉及文件布局的云操作系統(tǒng)分布式存儲(chǔ)中文件存儲(chǔ)方法。本發(fā)明解決上述技術(shù)問題的技術(shù)方案是包括以下步驟，對(duì)基礎(chǔ)設(shè)施記性分層編號(hào)，基于一個(gè)典型的IDC機(jī)房，對(duì)存儲(chǔ)基礎(chǔ)設(shè)施進(jìn)行分層次的編號(hào)設(shè)置；第一層是行，行與機(jī)房中一排機(jī)柜相對(duì)應(yīng)，一行對(duì)應(yīng)多個(gè)機(jī)柜，同時(shí)一個(gè)機(jī)房可有多行；第二層是行中的機(jī)柜，每個(gè)機(jī)柜在特定的行中進(jìn)行編號(hào)；第三層是機(jī)柜中硬盤，每個(gè)硬盤都在特定的機(jī)柜中，硬盤編號(hào)的方式可采用順序編號(hào)的方式；將文件分塊；基于副本放置策略，形成文件塊的副本放置規(guī)則；按照副本放置規(guī)則，對(duì)副本進(jìn)行函數(shù)映射。讀取函數(shù)映射的具體流程第I步，確定需要進(jìn)行函數(shù)映射的分塊，然后進(jìn)行后續(xù)的分層次的函數(shù)映射；第2步，第一層進(jìn)行行的映射，即確定分塊將要存放到的行，在進(jìn)行第一層函數(shù)映射時(shí)，可能遇到?jīng)_突，即映射到的行已經(jīng)占滿或失效，此時(shí)，需要進(jìn)行重新映射以避免沖
關(guān);第3步，第二層進(jìn)行行中機(jī)柜的映射，即確定分塊將要存放到的機(jī)柜號(hào)，在進(jìn)行第二層函數(shù)映射時(shí)，可能遇到?jīng)_突，即映射到的機(jī)柜已經(jīng)占滿或失效，此時(shí)，需要進(jìn)行重新映射以避免沖突；
第4步，第三層進(jìn)行機(jī)柜中硬盤號(hào)的映射，即確定分塊將要存放到的硬盤號(hào)。在進(jìn)行函數(shù)映射時(shí)，可能遇到?jīng)_突，即映射到的硬盤已經(jīng)占滿或失效，此時(shí)，需要進(jìn)行重新映射以避免沖關(guān)。本發(fā)明面向云操作系統(tǒng)的分布式存儲(chǔ)，針對(duì)文件布局所引發(fā)的數(shù)據(jù)讀寫效率低的問題，提出一種用函數(shù)映射代替文件布局的方法；使文件讀寫流程無需涉及文件布局，可通過函數(shù)映射的方式直接獲取數(shù)據(jù)分塊的物理位置，從而提高文件讀寫效率。本發(fā)明有效解決了文件布局中數(shù)據(jù)讀寫流程過于復(fù)雜、讀寫效率低的問題。


圖I是本發(fā)明分布式存儲(chǔ)文件讀取函數(shù)映射系統(tǒng)架構(gòu)示意圖；圖2是本發(fā)明分布式存儲(chǔ)文件讀取函數(shù)映射流程示意圖。
具體實(shí)施例方式如圖I所示，本發(fā)明引入用函數(shù)映射代替文件布局的系統(tǒng)架構(gòu)，通過對(duì)存儲(chǔ)基礎(chǔ)設(shè)施進(jìn)行分層次的編號(hào)設(shè)置，利用函數(shù)映射來去掉文件布局的元數(shù)據(jù)，從而提升文件讀寫效率。分布式存儲(chǔ)采用廉價(jià)硬盤進(jìn)行搭建，基于一個(gè)典型的IDC機(jī)房，對(duì)存儲(chǔ)基礎(chǔ)設(shè)施進(jìn)行分層次的編號(hào)設(shè)置。第一層是行，行與機(jī)房中一排機(jī)柜相對(duì)應(yīng)，一行對(duì)應(yīng)多個(gè)機(jī)柜，同時(shí)一個(gè)機(jī)房可有多行。第二層是行中的機(jī)柜，每個(gè)機(jī)柜在特定的行中進(jìn)行編號(hào)，例如機(jī)柜22表示是第二行的第二個(gè)機(jī)柜。第三層是機(jī)柜中硬盤，每個(gè)硬盤都在特定的機(jī)柜中，硬盤編號(hào)的方式可采用順序編號(hào)的方式。在將文件進(jìn)行分塊后，需要將各個(gè)分塊的多個(gè)副本存儲(chǔ)到硬盤中，如圖2所示，執(zhí) 行如下流程第I步，確定需要進(jìn)行函數(shù)映射的分塊，然后進(jìn)行后續(xù)的分層次的函數(shù)映射；第2步，第一層進(jìn)行行的映射，即確定分塊將要存放到的行，在進(jìn)行第一層函數(shù)映射時(shí)，可能遇到?jīng)_突，即映射到的行已經(jīng)占滿或失效，此時(shí)，需要進(jìn)行重新映射以避免沖
關(guān);第3步，第二層進(jìn)行行中機(jī)柜的映射，即確定分塊將要存放到的機(jī)柜號(hào)，在進(jìn)行第二層函數(shù)映射時(shí)，可能遇到?jīng)_突，即映射到的機(jī)柜已經(jīng)占滿或失效，此時(shí)，需要進(jìn)行重新映射以避免沖突；第4步，第三層進(jìn)行機(jī)柜中硬盤號(hào)的映射，即確定分塊將要存放到的硬盤號(hào)。在進(jìn)行函數(shù)映射時(shí)，可能遇到?jīng)_突，即映射到的硬盤已經(jīng)占滿或失效，此時(shí)，需要進(jìn)行重新映射以避免沖關(guān)。本發(fā)明是根據(jù)負(fù)載均衡原則制定副本放置規(guī)則，進(jìn)而根據(jù)放置規(guī)則形成映射函數(shù)。一般而言，副本放置應(yīng)使分塊以及副本在層次設(shè)備的底層設(shè)備硬盤上盡量均勻分布，即使是剛插入的新硬盤，也應(yīng)該在新老硬盤上將數(shù)據(jù)盡量均勻分布。定義選擇η個(gè)類型為t的設(shè)備的映射函數(shù)select (n, t)如下procedure select (n, t)for i=l to nrepeat
根據(jù)映射函數(shù)確定第i個(gè)設(shè)備；until不出現(xiàn)沖突end forend procedure例如，如果要進(jìn)行I個(gè)分塊的3個(gè)副本的函數(shù)映射，可參照圖2所示的函數(shù)映射流程圖，進(jìn)行如下步驟的文件分塊的函數(shù)映射。第I步，確定副本放置規(guī)則，在此，提出副本放置規(guī)則在同一行中放置同一分塊的所有副本能更快地讀寫；第2步，進(jìn)行第一層函數(shù)映射，根據(jù)第I步中設(shè)定的副本放置規(guī)則，可確定調(diào)用映射函數(shù)select (1，行)，確定副本待要放置的行號(hào)； 第3步，進(jìn)行第二層函數(shù)映射，調(diào)用映射函數(shù)select (3，機(jī)柜)，確定副本待要放置的3個(gè)機(jī)柜號(hào)；第4步，進(jìn)行第三層函數(shù)映射，調(diào)用映射函數(shù)select (I,硬盤)3次，確定在副本將要放置的在每個(gè)機(jī)柜中的硬盤號(hào)。
權(quán)利要求
1.云操作系統(tǒng)分布式存儲(chǔ)中文件存儲(chǔ)方法，其特征在于包括以下步驟， 對(duì)基礎(chǔ)設(shè)施記性分層編號(hào)，基于一個(gè)典型的IDC機(jī)房，對(duì)存儲(chǔ)基礎(chǔ)設(shè)施進(jìn)行分層次的編號(hào)設(shè)置；第一層是行，行與機(jī)房中一排機(jī)柜相對(duì)應(yīng)，一行對(duì)應(yīng)多個(gè)機(jī)柜，同時(shí)一個(gè)機(jī)房可有多行；第二層是行中的機(jī)柜，每個(gè)機(jī)柜在特定的行中進(jìn)行編號(hào)；第三層是機(jī)柜中硬盤，每個(gè)硬盤都在特定的機(jī)柜中，硬盤編號(hào)的方式可采用順序編號(hào)的方式； 將文件分塊；基于副本放置策略，形成文件塊的副本放置規(guī)則； 按照副本放置規(guī)則，對(duì)副本進(jìn)行函數(shù)映射。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于讀取函數(shù)映射的具體流程 第I步，確定需要進(jìn)行函數(shù)映射的分塊，然后進(jìn)行后續(xù)的分層次的函數(shù)映射； 第2步，第一層進(jìn)行行的映射，即確定分塊將要存放到的行，在進(jìn)行第一層函數(shù)映射時(shí)，可能遇到?jīng)_突，即映射到的行已經(jīng)占滿或失效，此時(shí)，需要進(jìn)行重新映射以避免沖突； 第3步，第二層進(jìn)行行中機(jī)柜的映射，即確定分塊將要存放到的機(jī)柜號(hào)，在進(jìn)行第二層函數(shù)映射時(shí)，可能遇到?jīng)_突，即映射到的機(jī)柜已經(jīng)占滿或失效，此時(shí)，需要進(jìn)行重新映射以避免沖突； 第4步，第三層進(jìn)行機(jī)柜中硬盤號(hào)的映射，即確定分塊將要存放到的硬盤號(hào)。在進(jìn)行函數(shù)映射時(shí)，可能遇到?jīng)_突，即映射到的硬盤已經(jīng)占滿或失效，此時(shí)，需要進(jìn)行重新映射以避免沖突。
全文摘要
本發(fā)明涉及云計(jì)算存儲(chǔ)技術(shù)領(lǐng)域，特別是云操作系統(tǒng)分布式存儲(chǔ)中文件存儲(chǔ)方法。本發(fā)明首先提出對(duì)存儲(chǔ)基礎(chǔ)設(shè)施進(jìn)行分層次管理的系統(tǒng)架構(gòu)，然后基于副本放置策略，形成副本放置規(guī)則，進(jìn)而提出針對(duì)副本的函數(shù)映射的流程方法。通過本專利提出的函數(shù)映射方法，可簡化讀寫流程，并提升文件讀寫效率?？蓱?yīng)用于云操作系統(tǒng)分布式存儲(chǔ)中。
文檔編號(hào)H04L29/08GK102868725SQ201210303290
公開日2013年1月9日 申請日期2012年8月23日 優(yōu)先權(quán)日2012年8月23日
發(fā)明者劉祥濤, 陳桂華, 岳強(qiáng), 季統(tǒng)凱 申請人:廣東電子工業(yè)研究院有限公司