專利名稱：一種分布式系統(tǒng)中的海量文件存儲(chǔ)和訪問方法
一種分布式系統(tǒng)中的海量文件存儲(chǔ)和訪問方法技術(shù)領(lǐng)域
本發(fā)明專利申請(qǐng)公開一種信息技術(shù)領(lǐng)域的海量文件的存儲(chǔ)、組織和訪問方法。
技術(shù)背景
在信息技術(shù)領(lǐng)域，經(jīng)常需要處理大量的數(shù)據(jù)，特別是在處理一些流式數(shù)據(jù)的時(shí)候， 往往需要將數(shù)據(jù)保存在文件系統(tǒng)里面。但是文件系統(tǒng)的節(jié)點(diǎn)下的文件數(shù)量太多會(huì)導(dǎo)致IO 瓶頸。在為了保持低成本而使用多個(gè)廉價(jià)存儲(chǔ)服務(wù)器構(gòu)成的分布式集群的時(shí)候，需要保證分布式存儲(chǔ)方法的有效性和簡(jiǎn)潔性。因此針對(duì)應(yīng)用的海量數(shù)據(jù)特性來組織和存儲(chǔ)文件，會(huì)提高海量文件服務(wù)的響應(yīng)性能。特別地，如果這些文件系統(tǒng)還需要響應(yīng)應(yīng)用程序不同維度的數(shù)據(jù)訪問的時(shí)候，需要對(duì)這些文件進(jìn)行遍歷訪問，因此采用何種方式來組織和存儲(chǔ)文件有可能會(huì)對(duì)應(yīng)用的反應(yīng)時(shí)間產(chǎn)生較大的影響。
比如在搜索引擎的文件存儲(chǔ)系統(tǒng)里面，搜索引擎接收和解析的各種文件體存放在本地文件系統(tǒng)里面，在搜索引擎按照不同的方法對(duì)文件進(jìn)行檢索的時(shí)候，經(jīng)常會(huì)遍歷這些文件的索引，同時(shí)還會(huì)訪問這些文件體及相關(guān)的凈文本。在一類特殊應(yīng)用里面，時(shí)間維度或者數(shù)據(jù)的業(yè)務(wù)類型可能是需要檢索的一個(gè)關(guān)鍵特性。百度、谷歌提供了對(duì)最新文件的檢索功能，但是其主要文件檢索過程則是在關(guān)鍵詞的字符基礎(chǔ)上發(fā)生的。因此，除非對(duì)百度、谷歌等商業(yè)化引擎進(jìn)行改造，使其能夠支持時(shí)間特性的檢索。還有其他的一些特性的檢索方式，百度、谷歌對(duì)其的支持也不好，這是因?yàn)槠溥M(jìn)行通用的搜索方面走的太遠(yuǎn)了的緣故。
本專利提出一種分布式系統(tǒng)中的海量文件存儲(chǔ)、組織和訪問方法，其利用分布式并行架構(gòu)和維度分割特性來對(duì)海量的文件進(jìn)行組織，使得對(duì)某些維度的數(shù)據(jù)訪問非?？旖?。對(duì)于搜索引擎來講，由于限定訪問的維度和文件組織一致，只需要訪問指定節(jié)點(diǎn)所代表的維度即可完成應(yīng)用的要求，因此沒有額外的訪問開銷。發(fā)明內(nèi)容
通過對(duì)文件按照各種維度來組織文件的存放，可以加速文件的訪問過程，針對(duì)應(yīng)用的要求減少不必要的文件訪問，是本發(fā)明申請(qǐng)的出發(fā)點(diǎn)。
比如文件對(duì)象有3個(gè)維度，時(shí)間、協(xié)議類型、業(yè)務(wù)類型等等，時(shí)間維度還可以細(xì)分為年月日、時(shí)、分等維度。如果應(yīng)用程序想訪問某一業(yè)務(wù)在某一時(shí)間段內(nèi)的數(shù)據(jù)時(shí)，只需要訪問對(duì)應(yīng)的文件夾下的目錄里面的文件即可，即一個(gè)層次的目錄代表了一個(gè)維度。該層目錄下某個(gè)文件夾的文件名即代表了一個(gè)維度的一個(gè)實(shí)例。
常見的集群式分布式系統(tǒng)，可以采用多臺(tái)節(jié)點(diǎn)來進(jìn)行文件的組織和存放，只需要將各個(gè)節(jié)點(diǎn)間的文件都按照一致的維度分割方法和秩序來進(jìn)行，即可使用訪問代理來對(duì)節(jié)點(diǎn)中的文件按照維度進(jìn)行同步的訪問，加快整個(gè)分布式系統(tǒng)的數(shù)據(jù)吞吐量。
當(dāng)上層應(yīng)用選擇某一個(gè)維度的文件訪問時(shí)，訪問代理會(huì)將訪問轉(zhuǎn)化為對(duì)分布式節(jié)點(diǎn)的同步訪問，節(jié)點(diǎn)上的本地代理會(huì)將某個(gè)維度的訪問轉(zhuǎn)換為對(duì)相應(yīng)維度的文件夾內(nèi)文件的訪問，再由本地的訪問引擎對(duì)文件進(jìn)行處理并將處理結(jié)果反饋給訪問代理。
也就是說在多個(gè)分布式節(jié)點(diǎn)上使用相同的方式來組織和保存文件，即將海量數(shù)據(jù)按照多個(gè)維度存儲(chǔ)，每一個(gè)維度為文件系統(tǒng)中的一個(gè)層次的目錄，目錄的名稱即該維度的一個(gè)實(shí)例。系統(tǒng)將訪問指令中的維度信息提取出來，轉(zhuǎn)化為對(duì)文件夾的訪問，可以提高數(shù)據(jù)訪問的效率，減小不必要的數(shù)據(jù)訪問開銷。


附圖1是不同節(jié)點(diǎn)間的文件存儲(chǔ)和組織方式。各個(gè)節(jié)點(diǎn)采用相同的方式按照不同的維度來組織和存儲(chǔ)文件。
附圖2是通過訪問代理對(duì)不同節(jié)點(diǎn)的數(shù)據(jù)訪問和分布式節(jié)點(diǎn)的本地代理進(jìn)行數(shù)據(jù)訪問的流程。
具體實(shí)施方式
按照?qǐng)D1所示，文件組織為多個(gè)層次結(jié)構(gòu)，一個(gè)維度為一個(gè)層次的目錄，目錄的名稱為該維度的一個(gè)實(shí)例，比如日期為20111215。將最常用的維度放在最靠近根的層次下，比如附圖1所示的維度A。不同的節(jié)點(diǎn)采用相同的文件組織模式，
如圖2所示，具體的訪問步驟如下
①應(yīng)用向訪問代理下發(fā)訪問指令，對(duì)某些維度的具體實(shí)例進(jìn)行訪問請(qǐng)求；
②訪問代理將指令轉(zhuǎn)化為對(duì)分布式節(jié)點(diǎn)的訪問，將訪問指令同步下發(fā)給各個(gè)分布式節(jié)點(diǎn)上的本地代理；
③分布式節(jié)點(diǎn)的本地代理將訪問指令分解為不同的維度實(shí)例集合，將訪問指令加載到訪問引擎；
④分布式節(jié)點(diǎn)的訪問引擎將訪問指令中的維度實(shí)例集合轉(zhuǎn)化為具體的文件夾，并對(duì)文件夾內(nèi)的數(shù)據(jù)進(jìn)行加載；
⑤分布式節(jié)點(diǎn)的訪問引擎對(duì)加載的數(shù)據(jù)按照指令進(jìn)行訪問后將結(jié)果返回給本地代理；
⑥分布式節(jié)點(diǎn)的本地代理將本分布式節(jié)點(diǎn)的結(jié)果返回給訪問代理；
⑦訪問代理綜合各個(gè)分布式節(jié)點(diǎn)的結(jié)果后返回給應(yīng)用。
比如用戶選擇了某一段時(shí)間內(nèi)的某種業(yè)務(wù)進(jìn)行關(guān)鍵詞查詢，查詢?cè)L問代理會(huì)將查詢分解到分布式節(jié)點(diǎn)，節(jié)點(diǎn)的本地代理會(huì)對(duì)關(guān)鍵詞查詢按照業(yè)務(wù)類型、時(shí)間的維度，按照具體命中的維度實(shí)例來對(duì)表示該實(shí)例的文件夾下的內(nèi)容進(jìn)行訪問，從而減少不必要的磁盤訪問和計(jì)算開銷。本分布式節(jié)點(diǎn)的查詢結(jié)果由本地代理返回給查詢?cè)L問代理，再由查詢?cè)L問代理綜合各節(jié)點(diǎn)的查詢結(jié)果后返回給用戶。
本發(fā)明申請(qǐng)能夠利用廉價(jià)的PC服務(wù)器來打造分布式節(jié)點(diǎn)集群，同時(shí)能夠快速對(duì)指定維度的數(shù)據(jù)進(jìn)行快速訪問，減少對(duì)不相關(guān)數(shù)據(jù)的訪問和計(jì)算，極大地降低了系統(tǒng)的總體擁有成本。在不采用昂貴的磁盤陣列或者磁盤柜的時(shí)候，本發(fā)明申請(qǐng)的方案也能夠提供非常優(yōu)秀的訪問性能。
權(quán)利要求
1.一種分布式系統(tǒng)中的海量文件存儲(chǔ)和訪問方法，其特征在于在多個(gè)分布式節(jié)點(diǎn)上使用相同的方式來組織和保存文件，即將海量數(shù)據(jù)按照多個(gè)維度存儲(chǔ)，每一個(gè)維度為文件系統(tǒng)中的一個(gè)層次的目錄，目錄的名稱即該維度的一個(gè)實(shí)例。
2.一種分布式系統(tǒng)中的海量文件存儲(chǔ)和訪問方法，其特征在于系統(tǒng)將訪問指令中的維度信息提取出來，轉(zhuǎn)化為對(duì)文件夾的訪問。
全文摘要
本發(fā)明申請(qǐng)公開一種信息技術(shù)領(lǐng)域內(nèi)的海量文件存儲(chǔ)和訪問方法。分布式系統(tǒng)內(nèi)各節(jié)點(diǎn)均按照此方式來組織和保存文件其通過對(duì)海量數(shù)據(jù)按照業(yè)務(wù)的要求分層多個(gè)維度來存儲(chǔ)，每個(gè)維度對(duì)應(yīng)一個(gè)層次的文件夾，文件夾的名稱即維度的實(shí)例。當(dāng)上層應(yīng)用選擇某一個(gè)維度的文件訪問時(shí)，訪問代理會(huì)將訪問轉(zhuǎn)化為對(duì)分布式節(jié)點(diǎn)的同步訪問，節(jié)點(diǎn)上的本地代理會(huì)將某個(gè)維度的訪問轉(zhuǎn)換為對(duì)相應(yīng)維度的文件夾內(nèi)文件的訪問，再由本地的訪問引擎對(duì)文件進(jìn)行處理并將處理結(jié)果反饋給訪問代理，由訪問代理將各個(gè)節(jié)點(diǎn)的處理結(jié)果匯總后返回給應(yīng)用。本申請(qǐng)能夠利用廉價(jià)的PC服務(wù)器來構(gòu)成分布式集群來實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的高速訪問，提供價(jià)格低廉但媲美于磁盤陣列和磁盤柜的訪問性能。
文檔編號(hào)G06F17/30GK102521383SQ20111043348
公開日2012年6月27日 申請(qǐng)日期2011年12月22日 優(yōu)先權(quán)日2011年12月22日
發(fā)明者倪良勝, 廖聞劍, 汪洋 申請(qǐng)人:南京烽火星空通信發(fā)展有限公司