分布式內(nèi)容存儲和取回的制作方法
【專利說明】分布式內(nèi)容存儲和取回
[0001] 本申請為題為"分布式內(nèi)容存儲和取回"的中國專利201080041777. 2的分案申 請。
[0002] 其他申請的交叉引用 本申請要求于2009年9月21日提交的美國臨時專利申請?zhí)?1/277,206 (代理案號TRANP006+)、標(biāo)題為DISTRIBUTEDCONTENTSTORAGEANDRETRIEVAL的優(yōu)先權(quán)，出于所有目 的通過引用將其結(jié)合于此。
【背景技術(shù)】
[0003] 分布式數(shù)據(jù)存儲系統(tǒng)的設(shè)計和實現(xiàn)由于確定數(shù)據(jù)在何處以及應(yīng)當(dāng)存儲于何處的 問題而復(fù)雜。盡管已經(jīng)存在將對象名稱映射到存儲位置的分布式編索引技術(shù)，但是它們需 要大量存儲。這些技術(shù)未提供信息將存儲于它將最終被訪問的位置附近的保證?，F(xiàn)有分布 式存儲技術(shù)在故障出現(xiàn)時具有大量可用性和性能問題。
【附圖說明】
[0004] 在下文詳細(xì)描述和附圖中公開本發(fā)明的各種實施例。
[0005]圖1是圖示分布式內(nèi)容存儲系統(tǒng)的一個實施例的框圖。
[0006] 圖2是圖示用于訪問和/或存儲內(nèi)容對象的過程的一個實施例的流程圖。
[0007]圖3是圖示用于收集和分布訪問統(tǒng)計的過程的一個實施例的流程圖。
[0008] 圖4是圖示存儲節(jié)點的一個實施例的框圖。
[0009] 圖5是圖示用于在存儲節(jié)點維持統(tǒng)計的過程的一個實施例的流程圖。
[0010] 圖6是圖示對對象名稱中的對象特征信息編碼的過程的一個實施例的流程圖。
[0011] 圖7是圖示用于存儲對象的過程的一個實施例的流程圖。
[0012] 圖8是圖示分布式內(nèi)容存儲系統(tǒng)的一個實施例的框圖。
[0013] 圖9是圖示用于訪問對象的過程的一個實施例的流程圖。
[0014] 圖10A是圖示用于從分布式內(nèi)容存儲刪除對象的過程的一個實施例的流程圖。
[0015] 圖10B是圖示用于可靠地刪除對象的負(fù)責(zé)副本的過程的一個實施例的流程圖。
[0016] 圖11是圖示用于在分布式內(nèi)容存儲中保存改變的過程的一個實施例的流程圖。
[0017] 圖12是圖示用于對存儲于分布式內(nèi)容存儲中的對象進行改變的過程的一個實施 例的流程圖。
[0018] 圖13是圖示用于存儲對象的過程的一個實施例的流程圖。
[0019] 圖14A是圖示用于訪問對象的過程的一個實施例的流程圖。
[0020] 圖14B是圖示用于在分布式內(nèi)容存儲系統(tǒng)中創(chuàng)建對象的過程的一個實施例的流 程圖。
[0021]圖15是圖示用于存儲數(shù)據(jù)庫或者其他大文件的過程的一個實施例的流程圖。
[0022] 圖16是圖示用于訪問和存儲對象的過程的一個實施例的流程圖。
[0023] 圖17是圖示存儲裝置的一個實施例的框圖。
[0024] 圖18是圖示存儲盤的一個實施例的框圖。
【具體實施方式】
[0025] 可以用諸多方式(包括如過程；裝置；系統(tǒng)；物質(zhì)組成；在計算機可讀存儲介質(zhì)上 包含的計算機程序產(chǎn)品；和/或處理器(諸如如下處理器，該處理器被配置成執(zhí)行在耦合到 處理器的存儲器上存儲的和/或該存儲器提供的指令)）實現(xiàn)本發(fā)明。在本說明書中，這些 實現(xiàn)或者本發(fā)明可以采用的任何其他形式可以稱為技術(shù)。一般而言，可以在本發(fā)明的范圍 內(nèi)變更公開的過程的步驟順序。除非另有明示，描述為被配置成執(zhí)行任務(wù)的部件(諸如處理 器或者存儲器）可以實現(xiàn)為暫時被配置成在給定時間執(zhí)行該任務(wù)的一般部件或者制造成執(zhí) 行該任務(wù)的具體部件。如這里所用，術(shù)語'處理器'是指被配置成處理數(shù)據(jù)(諸如計算機程 序指令）的一個或者多個設(shè)備、電路和/或處理核。
[0026] 下文與圖示本發(fā)明原理的附圖一起提供對本發(fā)明一個或者多個實施例的詳細(xì)描 述。結(jié)合這樣的實施例描述本發(fā)明，但是本發(fā)明并不限于任何實施例。本發(fā)明的范圍僅由 權(quán)利要求書限制，并且本發(fā)明涵蓋諸多替代、修改和等效物。在下文描述中闡述諸多具體細(xì) 節(jié)以便提供對本發(fā)明的透徹理解。出于示例的目的而提供這些細(xì)節(jié)，并且無這些具體細(xì)節(jié) 中的一些或者所有細(xì)節(jié)仍然可以根據(jù)權(quán)利要求實現(xiàn)本發(fā)明。為求簡潔，尚未詳細(xì)描述在與 本發(fā)明有關(guān)的技術(shù)領(lǐng)域中已知的技術(shù)素材，使得未使本發(fā)明不必要地變得難以理解。
[0027] 公開用于分布式內(nèi)容存儲和取回的技術(shù)。使用多種分布式系統(tǒng)技術(shù)，公開的對象 存儲跨越全局分散的網(wǎng)絡(luò)冗余地散布信息。在各種實施例中，對象存儲于它們最可能被使 用的位置附近，從而使系統(tǒng)可用性、對地理分散的資源的使用和最終用戶性能最大化。系統(tǒng) 經(jīng)由分布式合意（consensus)機制共享對象訪問和存儲簡檔。當(dāng)嘗試取回或者存儲對象時， 針對特征掃描對象標(biāo)識符。使特征相關(guān)以估計每個位置訪問該對象的頻率。針對每個潛在 存儲位置，組合網(wǎng)絡(luò)拓?fù)湫畔⑴c這些估計以發(fā)現(xiàn)該存儲選項的成本。確定性函數(shù)組合這一 成本數(shù)據(jù)與管理員配置的策略以確定數(shù)據(jù)應(yīng)當(dāng)存儲于何處以及如何取回對象。函數(shù)被構(gòu)造 成即使添加或者去除存儲位置時仍然造成公平和最少對象重新分配。在一些實現(xiàn)中，管理 策略和索引信息存儲于全局疊加網(wǎng)絡(luò)中。該設(shè)計受控制系統(tǒng)理論嚴(yán)重影響，因為系統(tǒng)嚴(yán)重 受抑制并且表現(xiàn)對使用和拓?fù)涓淖兊男逼马憫?yīng)。
[0028] 如這里所用，術(shù)語"特征"是指對象標(biāo)識符的性質(zhì)。性質(zhì)可以是布爾或者可以由在 〇與1之間的置信水平代表。任何對象標(biāo)識符可以視為擁有特征集合。術(shù)語"訪問概率矩 陣"是指如下矩陣，該矩陣包含從給定節(jié)點進行對具有給定特征的對象的任何給定訪問的 概率，其中行代表對象特征而列代表請求位置。"訪問計數(shù)矩陣"是指除了每個單元包含訪 問計數(shù)而不是百分比之外具有與訪問概率矩陣相同的結(jié)構(gòu)的矩陣。"節(jié)點"是分布式系統(tǒng)中 的負(fù)責(zé)對象存儲和對象查詢的計算機或者其他設(shè)備兩者?？梢詫⒐?jié)點和存儲設(shè)備組織成層 級。該層級可以包含作為級別節(jié)點的存儲設(shè)備和管理員指定的下級的分組。作為例子，可 以有稱為"大陸"的層級級別，該級別包含北美洲、歐洲和亞洲，每個洲包含如下辦公室，這 些辦公室包含如下節(jié)點，這些節(jié)點包含存儲設(shè)備。"位置"是層級中的任何給定實體(例如具 體辦公室或者具體存儲設(shè)備)。
[0029] 使用以下矩陣約定（convention): ?#表示矩陣A的轉(zhuǎn)置 ? 4表示矩陣A的i行j列中的值 ?矩陣等式中的1表示1值填充的適當(dāng)大小的行或者列l(wèi)Xn或者nXl矩陣。
[0030] ? (^表示矢量C的第j個元素 使用以下概率約定： ?汽劍功表示在給定勢3真時J為真的概率。
[0031] ?A表示訪問概率矩陣的行i代表的特征存在。
[0032] ? 示訪問概率矩陣的列J代表的節(jié)點將執(zhí)行訪問。
[0033] ?巧表示除了訪問概率矩陣的列J代表的節(jié)點之外的節(jié)點將執(zhí)行訪問。
[0034]圖1是圖不分布式內(nèi)容存儲系統(tǒng)的一個實施例的框圖。在所不例子中，在所不例 子中由客戶端102和104代表的一個或者多個客戶端經(jīng)由因特網(wǎng)(和/或一個或者多個其 他網(wǎng)絡(luò)）106連接到多個存儲節(jié)點108。每個節(jié)點108被配置成存儲如下數(shù)據(jù)對象(諸如文 件)，這些數(shù)據(jù)對象包括存儲的內(nèi)容對象體。在各種實施例中，每個節(jié)點108本地收集統(tǒng)計， 例如針對一個或者多個特征中的每個特征，已經(jīng)在節(jié)點訪問（或者替代地為最近訪問）具有 該特征的多少個對象和/或在節(jié)點上存儲具有該特征的多少個對象。節(jié)點108經(jīng)由分布式 合意機制協(xié)作以共享訪問和/或存儲統(tǒng)計。生成并且向節(jié)點分發(fā)全局訪問概率矩陣，并且 在相應(yīng)節(jié)點使用這些矩陣做出存儲和/或?qū)ο笤L問決策。例如，可以在至少部分地由于對 象具有如下特征或者特征集合而選擇的節(jié)點上存儲等于對象的所有其他內(nèi)容，該特征或者 特征集合造成在作出存儲決策（即選擇用于將對象存儲于其上的一個或者多個節(jié)點）的節(jié) 點處使用用于相應(yīng)節(jié)點的收集和分發(fā)的每個特征的訪問概率來確定統(tǒng)計上可能將從所選 節(jié)點(或者從在所選節(jié)點附近的某處)訪問待存儲的對象。在各種實施例中，成本信息(諸如 經(jīng)由在節(jié)點A(或者在節(jié)點A附近）向?qū)ο蟠鎯τ谄渖系墓?jié)點B進行的請求來訪問對象的 成本)與訪問和/或存儲的對象統(tǒng)計一起考慮。在一些實施例中，也實施管理策略并且將這 些策略納入到節(jié)點選擇中。例如如果已經(jīng)選擇第一節(jié)點A用于存儲對象并且管理策略要求 兩個副本存儲于分離的地理位置，則選擇未在與節(jié)點A相同的地理位置的第二節(jié)點B用于 存儲第二副本。
[0035] 圖2是圖示用于訪問和/或存儲內(nèi)容對象的過程的一個實施例的流程圖。在所示 例子中，當(dāng)將存儲對象或者希望訪問對象時，先前收集的統(tǒng)計(例如每個節(jié)點的每個特征的 訪問和/或存儲對象計數(shù)，這些計數(shù)被轉(zhuǎn)換成如下訪問概率，這些訪問概率針對每個節(jié)點 指示具有特定特征的對象在該節(jié)點處被存儲和/或?qū)⒈辉L問的可能性）和將存儲的或者希 望訪問的對象的特征用來針對每個候選節(jié)點確定將在該節(jié)點訪問（和/或在一些實施例中 存儲的）對象的概率（202)。確定的訪問概率與成本、管理策略和/或其他信息一起用來選 擇將在其存儲和/或從其嘗試訪問對象的一個或者多個節(jié)點（204)。在一些實施例中，訪問 統(tǒng)計用來選擇將在其上存儲待存儲的對象的一個或者多個節(jié)點。在一些實施例中，存儲的 對象統(tǒng)計用來選擇如下一個或者多個節(jié)點，將從該節(jié)點請求訪問待訪問的對象。關(guān)于存儲， 在各種實施例中的方式尋求在如下位置存儲對象，這些位置使它們在受制于管理策略的要 求時以最小成本使如下用戶的可用性最大，這些用戶被確定為統(tǒng)計上最可能訪問它們。類 似地，在各種實施例，關(guān)于在公開的方式之下的訪問，請求者嘗試從至少部分地基于共享的 訪問和/或存儲對象統(tǒng)計以及根據(jù)這些統(tǒng)計確定的概率來確定的如下節(jié)點取回內(nèi)容，該節(jié) 點可能讓對象存儲于其上，例如因為存儲節(jié)點可能將基于相同（或者有關(guān)）統(tǒng)計已經(jīng)選擇它 用于存儲節(jié)點。
[0036] 在各種實施例中，在系統(tǒng)內(nèi)的每個節(jié)點保持每個特征的對包含該特征的對象的訪 問在該節(jié)點被發(fā)起多少次的計數(shù)?？梢栽诠?jié)點處在分布式存儲系統(tǒng)內(nèi)出于各種原因（例如 代表在節(jié)點上運行的過程或者由于該節(jié)點接收的來自用戶或者客戶端計算系統(tǒng)的外部請 求）而發(fā)起訪問或者其他操作。此外還維持從這一節(jié)點訪問的對象數(shù)量的計數(shù)。類似地， 在一些實施例中，每個節(jié)點可以保持它的本地存儲文件中的多少個文件具有給定特征和存 儲的文件總數(shù)的計數(shù)。當(dāng)已經(jīng)預(yù)備并且準(zhǔn)備好分發(fā)新訪問和存儲簡檔時，節(jié)點經(jīng)由原子承 諾（commitment)協(xié)議關(guān)于新簡檔達成協(xié)定。這一協(xié)定包括簡檔本身和簡檔將變得活躍的 時間兩者。通過自動改變?yōu)樾潞啓n，系統(tǒng)確保節(jié)點將總是將一致