一種高效的本地緩存管理及讀寫方法
【專利摘要】一種高效的本地緩存管理及讀寫方法,將多個物理存儲文件大小按照指定數(shù)值,例如128M的倍數(shù)遞增的方式來創(chuàng)建文件可以滿足長度不固定的數(shù)據(jù)塊的存儲,每個物理存儲文件頭部開辟固定大小的空間用于存儲該文件包含的所有數(shù)據(jù)塊的數(shù)據(jù)結(jié)構(gòu),對大數(shù)據(jù)切割成多個分片,分別對每個分片取一定長度的數(shù)據(jù)來生成MD5。本發(fā)明避免文件分布不均造成的文件碎片多,使用率低的問題,解決了占用系統(tǒng)資源高的問題,提高了數(shù)據(jù)加載的效率,并且極大的提高了校驗效率,并能夠確保整個文件的正確性。
【專利說明】—種高效的本地緩存管理及讀寫方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及文件管理方法,具體的,本發(fā)明涉及一種對于本地緩存文件進行高效地管理以及讀寫的方法。
【背景技術(shù)】
[0002]本地緩存數(shù)據(jù)管理是下載應(yīng)用程序能否高效運行的關(guān)鍵環(huán)節(jié),緩存數(shù)據(jù)管理的方式多種多樣,能否建立一個高效,快捷,方便的緩存文件組織結(jié)構(gòu)是在數(shù)據(jù)存儲領(lǐng)域被廣泛探討的問題。在現(xiàn)有技術(shù)中,緩存數(shù)據(jù)管理的性能指標可以分為以下幾點:
[0003]1.1緩存數(shù)據(jù)的讀寫速度是否滿足業(yè)務(wù)的需求,磁盤讀寫(I/O)操作一直是軟件性能的瓶頸之一,達到高效的讀寫性能的同時也必須保證讀寫邏輯不能占用過高的CPU性倉泛。
[0004]1.2緩存數(shù)據(jù)的物理存儲結(jié)構(gòu)是否合理,緩存數(shù)據(jù)的存儲形式和組織結(jié)構(gòu)直接影響了數(shù)據(jù)的訪問復(fù)雜程度和擴展成本。緩存數(shù)據(jù)的訪問包括讀寫,修改,刪除等操作,存儲結(jié)構(gòu)的定義必須兼顧所有這些訪問操作。
[0005]1.3緩存數(shù)據(jù)管理是否能夠最大程度的利用當前已經(jīng)使用的磁盤空間。由于緩存數(shù)據(jù)的大小和單位存在多樣性的特點,所以緩存管理策略既要最大程度減少小文件導致的碎片累積的問題又要防止出現(xiàn)大文件的切割問題。
[0006]1.4緩存數(shù)據(jù)管理是否能夠保證數(shù)據(jù)的安全性和正確性。由于系統(tǒng)本身的缺陷或者人為方面等因素,本地緩存數(shù)據(jù)可能會被篡改,由此,緩存數(shù)據(jù)的訪問涉及對數(shù)據(jù)本身校驗的過程。
[0007]而現(xiàn)有技術(shù)中,本地緩存的管理存在如下問題:
[0008]2.1占用磁盤空間過多,緩存數(shù)據(jù)的有效利用率低
[0009]由于大數(shù)據(jù)應(yīng)用的需要,緩存文件占用的磁盤空間也越來越大,所以很多應(yīng)用都會選擇使用多個較大物理文件來緩存數(shù)據(jù),為了避免同一數(shù)據(jù)單元存儲在多個物理文件帶來的邏輯復(fù)雜度,普遍采用的方式是同一數(shù)據(jù)單元的內(nèi)容都存儲在同一個物理文件上,這樣會導致每個物理文件尾都不能恰好被完全占用,數(shù)據(jù)單元越大,浪費的空間也會隨之增加。
[0010]2.2小文件數(shù)量較多,占用系統(tǒng)資源較多
[0011]某些應(yīng)用數(shù)據(jù)單元較小,但數(shù)量較多,這種情況會普遍采用文件夾的方式來管理,每個文件夾下面會保存數(shù)量較多的小文件來緩存數(shù)據(jù)。這種方式的優(yōu)點在于文件小,磁盤浪費率低,操作方便,缺點就是小文件數(shù)量多,占用系統(tǒng)資源較多,影響系統(tǒng)的整體性能。
[0012]2.3緩存數(shù)據(jù)的校驗過程冗長,效率低下
[0013]加載本地緩存數(shù)據(jù)的過程本身也是對緩存數(shù)據(jù)校驗的過程,最簡單有效的方式是將本地數(shù)據(jù)生成的校驗數(shù)據(jù)與服務(wù)器的校驗數(shù)據(jù)進行比較,以此判斷本地的數(shù)據(jù)正確性。如果緩存數(shù)據(jù)總量不高可以采用該方法,反之,如果本地緩存數(shù)據(jù)較多,每塊數(shù)據(jù)的校驗都需要完整讀取本地數(shù)據(jù),將會導致程序加載過程冗長低效。
[0014]2.4緩存數(shù)據(jù)文件結(jié)構(gòu)簡單,安全性不高
[0015]緩存數(shù)據(jù)的安全性是程序能否正確運行的一個保障,所以緩存文件的存儲既要保障緩存數(shù)據(jù)本身的正確性又要對數(shù)據(jù)本身進行必要的防護措施,防止惡意程序的篡改和訪問。
[0016]因此,如何能夠改善現(xiàn)有技術(shù)中本地緩存的管理以及存儲缺陷,減少本地緩存所占用的系統(tǒng)資源,提高數(shù)據(jù)加載效率,成為現(xiàn)有技術(shù)亟需解決的技術(shù)問題。
【發(fā)明內(nèi)容】
[0017]本發(fā)明的目的在于提出一種高效的本地緩存管理及讀寫方法,以減少本地緩存占用資源和提高數(shù)據(jù)加載效率。
[0018]為達此目的,本發(fā)明采用以下技術(shù)方案:
[0019]一種本地緩存管理及讀寫方法,其特征在于:將本地緩存數(shù)據(jù)的多個物理存儲文件的大小按照128M的倍數(shù)遞增,最大值不超過1G,數(shù)據(jù)塊的存儲根據(jù)數(shù)據(jù)塊的長度選擇最接近的文件進行存儲。
[0020]優(yōu)選地,所述物理存儲文件的頭部具有頭部索引數(shù)據(jù)區(qū),所述頭部索引數(shù)據(jù)區(qū)具有固定大小的空間,用于存儲所述物理存儲文件所包含的所有數(shù)據(jù)塊的數(shù)據(jù)結(jié)構(gòu),所述數(shù)據(jù)結(jié)構(gòu)包括所述數(shù)據(jù)塊的數(shù)量,數(shù)據(jù)塊的大小、所述數(shù)據(jù)塊存儲地址和所述數(shù)據(jù)塊的校驗信息。
[0021]優(yōu)選地,所述頭部索引數(shù)據(jù)區(qū)包括緩存文件信息,以及緩存的數(shù)據(jù)塊索引數(shù)據(jù);其中所述緩存文件信息是指所述物理文件的總體信息,包括整個文件的大小,緩存的數(shù)據(jù)大小,緩存的數(shù)據(jù)塊數(shù)量,數(shù)據(jù)塊索引數(shù)據(jù)偏移地址,緩存數(shù)據(jù)偏移地址;所述緩存的數(shù)據(jù)塊索引數(shù)據(jù)包括數(shù)據(jù)塊大小,數(shù)據(jù)塊偏移地址,數(shù)據(jù)MD5,數(shù)據(jù)塊位圖和數(shù)據(jù)塊時間信息。
[0022]優(yōu)選地,所述數(shù)據(jù)塊時間信息包括數(shù)據(jù)塊創(chuàng)建時間,訪問時間和修改時間。
[0023]優(yōu)選地,對于長度較大的文件,按照一定比例分割成多個分片,分別取每個分片的一小段數(shù)據(jù),利用所有的一小段數(shù)據(jù)共同生成MD5值。
[0024]優(yōu)選地,對于所述物理存儲文件中的每個所述緩存的數(shù)據(jù)塊,能夠?qū)︻^部一定長度范圍的數(shù)據(jù)進行加密,以防該數(shù)據(jù)被其他程序利用。
[0025]優(yōu)選地,在數(shù)據(jù)寫入時,在每個緩存文件中查找當前要寫入的數(shù)據(jù)塊,如果沒有找至IJ,則通過空閑空間最接近數(shù)據(jù)塊大小的原則挑選合適的物理文件,并創(chuàng)建新的數(shù)據(jù)塊結(jié)構(gòu)。如果找到則直接寫入到相應(yīng)的文件。
[0026]優(yōu)選地,對于下載的數(shù)據(jù)塊,在完整下載數(shù)據(jù)塊并校驗后再提交到上層應(yīng)用。
[0027]優(yōu)選地,對緩存的物理存儲文件的總量進行限制,當下載的數(shù)據(jù)總量超過緩存的上限,需要對歷史的緩存數(shù)據(jù)進行淘汰。
[0028]優(yōu)選地,通過歷史訪問的時間,或者訪問頻率來挑選優(yōu)先淘汰的數(shù)據(jù),以滿足當前所要存儲的數(shù)據(jù)塊的大小。
[0029]本發(fā)明的高效的本地緩存管理及讀寫方法具有如下優(yōu)點:
[0030]通過物理存儲文件大小按照指定數(shù)值,例如128M的倍數(shù)遞增的方式來創(chuàng)建文件可以滿足長度不固定的數(shù)據(jù)塊的存儲,小塊數(shù)據(jù)集中存儲在相對小的物理文件上,大塊數(shù)據(jù)集中存儲在大的物理文件上,避免文件分布不均造成的文件碎片多,使用率低的問題。同時,該存儲策略能夠降低單個文件存儲造成的文件數(shù)量多,句柄多,占用系統(tǒng)資源高的問題。
[0031]每個物理存儲文件頭部開辟固定大小的空間用于存儲該文件包含的所有數(shù)據(jù)塊的數(shù)據(jù)結(jié)構(gòu),這樣避免將這些數(shù)據(jù)存儲在其他文件目錄,方便了文件的管理,提高了數(shù)據(jù)加載的效率。
[0032]對大數(shù)據(jù)切割成多個分片,分別對每個分片取一定長度的數(shù)據(jù)來生成文件ID,由于不需要對整個文件計算MD5值,所以極大的提高了校驗效率,對每個邏輯分片分別讀取一定長度的數(shù)據(jù),能夠確保整個文件的正確性。
【專利附圖】
【附圖說明】
[0033]圖1是根據(jù)本發(fā)明具體實施例的本地緩存數(shù)據(jù)的存儲文件的數(shù)據(jù)結(jié)構(gòu);
[0034]圖2是根據(jù)本發(fā)明具體實施例的本地緩存數(shù)據(jù)的存儲文件的頭部索引的數(shù)據(jù)結(jié)構(gòu)。
【具體實施方式】
[0035]下面結(jié)合附圖和實施例對本發(fā)明作進一步的詳細說明。可以理解的是,此處所描述的具體實施例僅僅用于解釋本發(fā)明,而非對本發(fā)明的限定。另外還需要說明的是,為了便于描述,附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。
[0036]為了盡可能的縮小不同長度的數(shù)據(jù)塊導致的磁盤空間的浪費,本發(fā)明的本地緩存管理及讀寫方法在于,將本地緩存數(shù)據(jù)的多個物理存儲文件的大小按照128M的倍數(shù)遞增,最大值不超過1G,數(shù)據(jù)塊的存儲根據(jù)數(shù)據(jù)塊的長度選擇最接近的文件進行存儲。即本地緩存數(shù)據(jù)的物理存儲文件的大小可以依次為128M,256M, 384M, 512M, 640M, 768M, 896M, 1024M,所要緩存的數(shù)據(jù)塊根據(jù)自身的大小,選擇合適的物理存儲文件進行存儲。本領(lǐng)域技術(shù)人員均知道,物理磁盤的大小為2的N次方。由于本地緩存數(shù)據(jù)的物理存儲文件的大小也=為128的N倍,這樣就使得不同大小的物理存儲文件能夠相互組合,盡可能的實現(xiàn)對磁盤空間的充分利用,盡量降低不同長度的數(shù)據(jù)塊可能導致的磁盤空間的浪費。通過創(chuàng)建長度不同的文件,可以滿足長度不固定的數(shù)據(jù)塊的存儲,小塊數(shù)據(jù)集中存儲在相對小的物理文件上,大塊數(shù)據(jù)集中存儲在大的物理文件上,避免文件分布不均造成的文件碎片多,使用率低的問題。同時,該存儲策略能夠降低單個文件存儲造成的文件數(shù)量多,句柄多,占用系統(tǒng)資源高的問題,還能
[0037]參見圖1,公開了根據(jù)本發(fā)明具體實施例的本地緩存數(shù)據(jù)的存儲文件的數(shù)據(jù)結(jié)構(gòu)。進一步的,為了提高對物理存儲文件的數(shù)據(jù)塊的管理,所述物理存儲文件的頭部具有頭部索引數(shù)據(jù)區(qū),所述頭部索引數(shù)據(jù)區(qū)的后面就存儲有已經(jīng)緩存的數(shù)據(jù)塊。所述頭部索引數(shù)據(jù)區(qū)具有固定大小的空間,用于存儲所述物理存儲文件所包含的所有數(shù)據(jù)塊的數(shù)據(jù)結(jié)構(gòu),所述數(shù)據(jù)結(jié)構(gòu)包括所述數(shù)據(jù)塊的數(shù)量,數(shù)據(jù)塊的大小、所述數(shù)據(jù)塊存儲地址和所述數(shù)據(jù)塊的校驗信息。因此,對于每個物理存儲文件,只需要加載頭部數(shù)據(jù)就能夠加載各個數(shù)據(jù)塊的相關(guān)信息。這樣避免將這些數(shù)據(jù)存儲在其他文件目錄,方便了文件的管理,提高了數(shù)據(jù)加載的效率。
[0038]進一步的,參見圖2,公開了根據(jù)本發(fā)明具體實施例的本地緩存數(shù)據(jù)的存儲文件的頭部索引數(shù)據(jù)區(qū)的具體結(jié)構(gòu),所述頭部索引數(shù)據(jù)區(qū)包括緩存文件信息,以及緩存的數(shù)據(jù)塊索引數(shù)據(jù)。
[0039]其中,所述緩存文件信息是指某一個物理文件的總體信息,包括整個文件的大小,緩存的數(shù)據(jù)大小,緩存的數(shù)據(jù)塊數(shù)量,數(shù)據(jù)塊索引數(shù)據(jù)偏移地址,緩存數(shù)據(jù)偏移地址。通過緩存文件信息可以明確文件的總大小,緩存了多少數(shù)據(jù)塊,空閑空間大小,由此來確定是否可以容納新的數(shù)據(jù)塊,也可以通過該信息定位到數(shù)據(jù)塊的索引數(shù)據(jù)位置和數(shù)據(jù)起始位置。
[0040]緩存的數(shù)據(jù)塊索引數(shù)據(jù)是指當前物理文件已經(jīng)緩存的所有數(shù)據(jù)塊相關(guān)的數(shù)據(jù)結(jié)構(gòu),每個數(shù)據(jù)塊都對應(yīng)一個索引數(shù)據(jù)結(jié)構(gòu),為了方便表示每個數(shù)據(jù)塊索引數(shù)據(jù)結(jié)構(gòu)都用1,2,3,4…等編號,所述緩存的數(shù)據(jù)塊索引數(shù)據(jù)主要包括數(shù)據(jù)塊大小,數(shù)據(jù)塊偏移地址,數(shù)據(jù)MD5,數(shù)據(jù)塊位圖和數(shù)據(jù)塊時間信息,所述數(shù)據(jù)塊時間信息包括數(shù)據(jù)塊創(chuàng)建時間,訪問時間和修改時間。通過數(shù)據(jù)塊索引數(shù)據(jù)可以獲得某數(shù)據(jù)塊的完整度,校驗數(shù)據(jù),該數(shù)據(jù)塊的數(shù)據(jù)的位置等信息。
[0041]進一步的,對于所述物理存儲文件中的每個所述緩存的數(shù)據(jù)塊,能夠?qū)︻^部一定長度范圍的數(shù)據(jù)進行加密,以防數(shù)據(jù)被其他程序利用。加密長度和加密方式可以任意選擇,不在本發(fā)明的限制范圍之內(nèi)。
[0042]上述是本發(fā)明的高校的本地緩存管理及讀寫方法在緩存數(shù)據(jù)文件結(jié)構(gòu)方面所進行的改進,本發(fā)明還在緩存數(shù)據(jù)的訪問,也就是讀寫方面進行了改進。
[0043]本發(fā)明將長度較大的文件,按照一定比例分割成多個分片,分別取每個分片的一小段數(shù)據(jù),利用所有的一小段數(shù)據(jù)共同生成MD5值。例如,對于一個100M的文件,以20M為單位分成5個分片,然后取每個分片開始的50K大小的數(shù)據(jù),即5個50K數(shù)據(jù),利用該250K數(shù)據(jù)生成對應(yīng)該100M文件的MD5值。
[0044]由于不需要對整個文件計算MD5值,這樣既可提高校驗的速度,又能確保整個文件的正確性。每個緩存文件的加載過程也是數(shù)據(jù)的校驗過程。為了避免磁盤數(shù)據(jù)的錯誤導致錯誤數(shù)據(jù)在網(wǎng)絡(luò)中流竄,需要對上傳數(shù)據(jù)進行嚴格把關(guān)。對每個邏輯分片分別讀取一定長度的數(shù)據(jù),能夠確保整個文件的正確性。緩存文件的頭部保存已經(jīng)下載完整的數(shù)據(jù)塊的校驗數(shù)據(jù),每次加載一個完整的數(shù)據(jù)塊都需要用該校驗數(shù)據(jù)驗證數(shù)據(jù)本身的正確性。
[0045]進一步的,本發(fā)明在數(shù)據(jù)寫入時,在每個緩存文件中查找當前要寫入的數(shù)據(jù)塊,如果沒有找到,則通過空閑空間最接近數(shù)據(jù)塊大小的原則挑選合適的物理文件,并創(chuàng)建新的數(shù)據(jù)塊結(jié)構(gòu)。如果找到則直接寫入到相應(yīng)的文件。
[0046]在現(xiàn)有技術(shù)中,對完整下載的數(shù)據(jù)塊需要進行數(shù)據(jù)校驗,如果校驗出錯,則需要對當前的數(shù)據(jù)文件進行標記,并重新下載。為了提高程序效率,往往在數(shù)據(jù)下載過程中就會將數(shù)據(jù)提交到上層的應(yīng)用,由于數(shù)據(jù)的校驗發(fā)生在完整下載之后,所以提前提交的數(shù)據(jù)并不能保證數(shù)據(jù)的正確性,因此,為了提高對數(shù)據(jù)的正確性要求,本發(fā)明選擇在完整下載數(shù)據(jù)塊并校驗后再提交到上層應(yīng)用。
[0047]進一步的,本發(fā)明對緩存的物理存儲文件的總量進行限制,當下載的數(shù)據(jù)總量超過緩存的上限,需要對歷史的緩存數(shù)據(jù)進行淘汰。這樣,能夠騰出額外的空間來存儲當前的數(shù)據(jù),否則會影響程序的正常運行。
[0048]進一步優(yōu)選地,本發(fā)明通過歷史訪問的時間,或者訪問頻率來挑選優(yōu)先淘汰的數(shù)據(jù),以滿足當前所要存儲的數(shù)據(jù)塊的大小。
[0049]因此,本發(fā)明的高效的本地緩存管理及讀寫方法具有如下優(yōu)點:
[0050]通過物理存儲文件大小按照指定數(shù)值,例如128M的倍數(shù)遞增的方式來創(chuàng)建文件可以滿足長度不固定的數(shù)據(jù)塊的存儲,小塊數(shù)據(jù)集中存儲在相對小的物理文件上,大塊數(shù)據(jù)集中存儲在大的物理文件上,避免文件分布不均造成的文件碎片多,使用率低的問題。同時,該存儲策略能夠降低單個文件存儲造成的文件數(shù)量多,句柄多,占用系統(tǒng)資源高的問題。
[0051]每個物理存儲文件頭部開辟固定大小的空間用于存儲該文件包含的所有數(shù)據(jù)塊的數(shù)據(jù)結(jié)構(gòu),這樣避免將這些數(shù)據(jù)存儲在其他文件目錄,方便了文件的管理,提高了數(shù)據(jù)加載的效率。
[0052]對大數(shù)據(jù)切割成多個分片,分別對每個分片取一定長度的數(shù)據(jù)來生成文件ID,由于不需要對整個文件計算MD5值,所以極大的提高了校驗效率,對每個邏輯分片分別讀取一定長度的數(shù)據(jù),能夠確保整個文件的正確性。
[0053]以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明,不能認定本發(fā)明的【具體實施方式】僅限于此,對于本發(fā)明所屬【技術(shù)領(lǐng)域】的普通技術(shù)人員來說,在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干簡單的推演或替換,都應(yīng)當視為屬于本發(fā)明由所提交的權(quán)利要求書確定保護范圍。
【權(quán)利要求】
1.一種本地緩存管理及讀寫方法,其特征在于: 將本地緩存數(shù)據(jù)的多個物理存儲文件的大小按照128M的倍數(shù)遞增,最大值不超過1G,數(shù)據(jù)塊的存儲根據(jù)數(shù)據(jù)塊的長度選擇最接近的文件進行存儲。
2.根據(jù)權(quán)利要求1所述的本地緩存管理及讀寫方法,其特征在于: 所述物理存儲文件的頭部具有頭部索引數(shù)據(jù)區(qū),所述頭部索引數(shù)據(jù)區(qū)具有固定大小的空間,用于存儲所述物理存儲文件所包含的所有數(shù)據(jù)塊的數(shù)據(jù)結(jié)構(gòu),所述數(shù)據(jù)結(jié)構(gòu)包括所述數(shù)據(jù)塊的數(shù)量,數(shù)據(jù)塊的大小、所述數(shù)據(jù)塊存儲地址和所述數(shù)據(jù)塊的校驗信息。
3.根據(jù)權(quán)利要求2所述的本地緩存管理及讀寫方法,其特征在于: 所述頭部索引數(shù)據(jù)區(qū)包括緩存文件信息,以及緩存的數(shù)據(jù)塊索引數(shù)據(jù); 其中所述緩存文件信息是指所述物理文件的總體信息,包括整個文件的大小,緩存的數(shù)據(jù)大小,緩存的數(shù)據(jù)塊數(shù)量,數(shù)據(jù)塊索引數(shù)據(jù)偏移地址,緩存數(shù)據(jù)偏移地址; 所述緩存的數(shù)據(jù)塊索引數(shù)據(jù)包括數(shù)據(jù)塊大小,數(shù)據(jù)塊偏移地址,數(shù)據(jù)MD5,數(shù)據(jù)塊位圖和數(shù)據(jù)塊時間信息。
4.根據(jù)權(quán)利要求3所述的本地緩存管理及讀寫方法,其特征在于: 所述數(shù)據(jù)塊時間信息包括數(shù)據(jù)塊創(chuàng)建時間,訪問時間和修改時間。
5.根據(jù)權(quán)利要求1-4中任意一項所述的本地緩存管理及讀寫方法,其特征在于: 對于長度較大的文件,按照一定比例分割成多個分片,分別取每個分片的一小段數(shù)據(jù),利用所有的一小段數(shù)據(jù)共同生成MD5值。
6.根據(jù)權(quán)利要求5所述的本地緩存管理及讀寫方法,其特征在于: 對于所述物理存儲文件中的每個所述緩存的數(shù)據(jù)塊,能夠?qū)︻^部一定長度范圍的數(shù)據(jù)進行加密,以防該數(shù)據(jù)被其他程序利用。
7.根據(jù)權(quán)利要求5所述的本地緩存管理及讀寫方法,其特征在于: 在數(shù)據(jù)寫入時,在每個緩存文件中查找當前要寫入的數(shù)據(jù)塊,如果沒有找到,則通過空閑空間最接近數(shù)據(jù)塊大小的原則挑選合適的物理文件,并創(chuàng)建新的數(shù)據(jù)塊結(jié)構(gòu)。如果找到則直接寫入到相應(yīng)的文件。
8.根據(jù)權(quán)利要求5所述的本地緩存管理及讀寫方法,其特征在于: 對于下載的數(shù)據(jù)塊,在完整下載數(shù)據(jù)塊并校驗后再提交到上層應(yīng)用。
9.根據(jù)權(quán)利要求5所述的本地緩存管理及讀寫方法,其特征在于: 對緩存的物理存儲文件的總量進行限制,當下載的數(shù)據(jù)總量超過緩存的上限,需要對歷史的緩存數(shù)據(jù)進行淘汰。
10.根據(jù)權(quán)利要求9所述的本地緩存管理及讀寫方法,其特征在于: 通過歷史訪問的時間,或者訪問頻率來挑選優(yōu)先淘汰的數(shù)據(jù),以滿足當前所要存儲的數(shù)據(jù)塊的大小。
【文檔編號】G06F12/08GK104239234SQ201410538375
【公開日】2014年12月24日 申請日期:2014年10月13日 優(yōu)先權(quán)日:2014年10月13日
【發(fā)明者】鄭汝波, 張士波, 楊敬宇, 姚鍵, 潘柏宇, 盧述奇 申請人:合一網(wǎng)絡(luò)技術(shù)(北京)有限公司