專利名稱：一種文件預(yù)測準確度的統(tǒng)計方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及文件系統(tǒng)、文件預(yù)取算法以及文件訪問行為建模與定量分析方法。
背景技術(shù)：
由于計算機存儲系統(tǒng)中，磁帶、磁盤等大數(shù)據(jù)量存儲設(shè)備由于自身機械特性的限 制，數(shù)據(jù)傳輸速率的提升空間有限。因此高速訪問設(shè)備(如內(nèi)存)與低速訪問設(shè)備(如磁 盤、磁帶)訪問速度差距越來越大。一般來說磁盤的訪問速度在很大的程度上限制了計算機整體性能的提高。但隨著 緩存技術(shù)的出現(xiàn)，這一狀況得到改觀。當系統(tǒng)所需的數(shù)據(jù)從磁盤加載到內(nèi)存中后，可以長期 駐留在內(nèi)存中。后續(xù)對相同數(shù)據(jù)的訪問可以不用再訪問磁盤而直接從內(nèi)存中獲取。但緩存技術(shù)是一種被動加速磁盤文件訪問速度的方法。無論是什么樣的緩存技 術(shù)，第一次數(shù)據(jù)訪問總需要等待磁盤的操作完成才可以進行。如果訪問的文件比較多并且 對每個文件訪問的時間比較少，那么緩存技術(shù)幾乎無法提高系統(tǒng)的數(shù)據(jù)訪問速度。正因為如此，文件預(yù)取作為一種主動加速文件訪問速度的方法被廣泛使用。由于 數(shù)據(jù)訪問的時間以及空間局部性，一個文件的后繼訪問文件在一定程度上具有可預(yù)測性。 但預(yù)取本身具有一定的代價，文件預(yù)取會加重系統(tǒng)數(shù)據(jù)處理負載。如果預(yù)取失敗次數(shù)較多， 會使嚴重影響系統(tǒng)性能。在這種情況下，預(yù)取準確度成為是否實施預(yù)取行為的一個重要評價指標。只有當 預(yù)取準確度達到一定閾值時，才認為預(yù)取行為的實施會對性能帶來提升。預(yù)取準確度的評 估主要使用文件預(yù)測的最近歷史統(tǒng)計。參見圖1，該圖示出了一種文件預(yù)讀統(tǒng)計周期的劃分，其中，一個文件預(yù)取算法會 給出多個候選預(yù)測，對于一個候選預(yù)測Pab來說，候選預(yù)測序列中Pab的預(yù)測結(jié)果被劃分為 若干個統(tǒng)計周期(statistical cycles)，每一個統(tǒng)計周期中含有2N個Pab的候選預(yù)測。每 個統(tǒng)計周期進一步被劃分為預(yù)熱(warm-up)和使用(in-use)兩個階段(各占半個統(tǒng)計周 期)其中預(yù)熱階段只統(tǒng)計Pab預(yù)測的結(jié)果，并不給出Pab預(yù)測準確度；使用階段在繼續(xù)完成 預(yù)熱階段中涉及到的統(tǒng)計工作外還會給出Pab正確的概率。申請人:通過深入的研究，注意到按照圖1所示文件預(yù)讀統(tǒng)計周期的劃分及處理方 式，在一個周期中的前半個周期將無法給出Pab正確的概率統(tǒng)計值，而且，在后半個周期給 出的Pab正確的概率統(tǒng)計值是一個周期內(nèi)的統(tǒng)計值，由于文件訪問具有時間局部性，因此長 時間的統(tǒng)計信息并不能有效地反映和估計某一預(yù)測當前的精確度。當然，時間過短的統(tǒng)計 信息也無法有效地反映一個預(yù)測的穩(wěn)定精度。因此，如何設(shè)計一種有效的統(tǒng)計方法正是本 發(fā)明所需要解決的問題。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是，提供一種文件預(yù)測準確度的統(tǒng)計方法及裝置，不但 能夠?qū)㈩A(yù)測的偶然波動性降到最低，而且能夠確保性能評估輸出的連續(xù)性。
為了解決上述技術(shù)問題，本發(fā)明提出一種文件預(yù)測準確度的統(tǒng)計方法，包括配置一第一統(tǒng)計鏈和一第二統(tǒng)計鏈，所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈具有相同 的統(tǒng)計周期，所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈的啟動時間相差半個所述統(tǒng)計周期；控制所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈從各自的啟動時間開始，在所述統(tǒng)計周期 的前半個周期內(nèi)統(tǒng)計候選預(yù)測的結(jié)果；在后半個統(tǒng)計周期內(nèi)繼續(xù)統(tǒng)計候選預(yù)測的結(jié)果，并 根據(jù)該周期內(nèi)當前統(tǒng)計到的候選預(yù)測的結(jié)果來計算并輸出候選預(yù)測的正確率。進一步地，上述統(tǒng)計方法還可具有以下特點在所述統(tǒng)計周期中，前半個周期為預(yù)熱階段，后半個周期為使用階段；所述第一統(tǒng)計鏈在預(yù)熱階段時，所述第二統(tǒng)計鏈在使用階段；或者所述第一統(tǒng)計 鏈在使用階段時，所述第二統(tǒng)計鏈在預(yù)熱階段。進一步地，上述統(tǒng)計方法還可具有以下特點所述候選預(yù)測是根據(jù)預(yù)設(shè)的文件預(yù)測算法計算出的關(guān)于一個文件的后繼訪問文 件的預(yù)測。為了解決上述技術(shù)問題，本發(fā)明還提出一種文件預(yù)測準確度的統(tǒng)計處理裝置，包 括配置模塊和統(tǒng)計處理模塊，其中所述配置模塊，用以配置一第一統(tǒng)計鏈和一第二統(tǒng)計鏈，所述第一統(tǒng)計鏈和所述 第二統(tǒng)計鏈具有相同的統(tǒng)計周期，所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈的啟動時間相差半個 所述統(tǒng)計周期；所述統(tǒng)計處理模塊，用以控制所述配置模塊中配置的所述第一統(tǒng)計鏈和所述第二 統(tǒng)計鏈從各自的啟動時間開始，在所述統(tǒng)計周期的前半個周期內(nèi)統(tǒng)計候選預(yù)測的結(jié)果；在 后半個統(tǒng)計周期內(nèi)繼續(xù)統(tǒng)計候選預(yù)測的結(jié)果，并根據(jù)該周期內(nèi)當前統(tǒng)計到的候選預(yù)測的結(jié) 果來計算并輸出候選預(yù)測的正確率。進一步地，上述裝置還可具有以下特點所述配置模塊配置的統(tǒng)計周期中，前半個周期為預(yù)熱階段，后半個周期為使用階 段；所述統(tǒng)計處理模塊，控制所述第一統(tǒng)計鏈在預(yù)熱階段時，所述第二統(tǒng)計鏈在使用 階段；或者控制所述第一統(tǒng)計鏈在使用階段時，所述第二統(tǒng)計鏈在預(yù)熱階段。進一步地，上述裝置還可具有以下特點所述候選預(yù)測是根據(jù)預(yù)設(shè)的文件預(yù)測算法計算出的關(guān)于一個文件的后繼訪問文 件的預(yù)測。本發(fā)明提供的一種文件預(yù)測準確度的統(tǒng)計方法及裝置，相對于現(xiàn)有技術(shù)，具有如 下優(yōu)點第一，所有關(guān)于候選預(yù)測的統(tǒng)計結(jié)果都是經(jīng)過一段歷史積累的，能夠?qū)㈩A(yù)測的偶 然波動性降到最低；第二，關(guān)于候選預(yù)測的預(yù)測精度的估計都是使用最近歷史的M(N <= M <= 2N) 個預(yù)測結(jié)果，保證了對“當前”性能的估計；第三，任意時刻都能輸出候選預(yù)測的正確率，保證了性能評估輸出的連續(xù)性。基于上述三點，采用本發(fā)明技術(shù)方案能夠充分發(fā)掘當前系統(tǒng)的文件訪問行為和模 式。


圖1是現(xiàn)有技術(shù)中文件預(yù)讀統(tǒng)計周期的劃分及處理示意圖；圖2是本發(fā)明實施例一種文件預(yù)測精度統(tǒng)計方法流程圖；圖3A和圖3B是本發(fā)明實施例一種文件預(yù)測精度統(tǒng)計方法具體實施的示意圖；圖4是本發(fā)明實施例一種文件預(yù)測精度統(tǒng)計裝置方框圖。
具體實施例方式參見圖2，該圖示出了本發(fā)明實施例一種文件預(yù)測精度統(tǒng)計方法，包括如下步驟步驟S201 配置一第一統(tǒng)計鏈和一第二統(tǒng)計鏈，所述第一統(tǒng)計鏈和所述第二統(tǒng)計 鏈具有相同的統(tǒng)計周期，所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈的啟動時間相差半個所述統(tǒng)計 周期；步驟S202 控制所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈從各自的啟動時間開始，在所 述統(tǒng)計周期的前半個周期內(nèi)統(tǒng)計候選預(yù)測的結(jié)果；在后半個統(tǒng)計周期內(nèi)繼續(xù)統(tǒng)計候選預(yù)測 的結(jié)果，并根據(jù)該周期內(nèi)當前統(tǒng)計到的候選預(yù)測的結(jié)果來計算并輸出候選預(yù)測的正確率。候選預(yù)測的結(jié)果包括候選預(yù)測正確和候選預(yù)測錯誤；候選預(yù)測的正確率是指某文 件預(yù)測在一段時間內(nèi)預(yù)測正確的次數(shù)占所有預(yù)測次數(shù)的百分比。所述統(tǒng)計周期的前半個周期為預(yù)熱階段，后半個周期為使用階段。所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈均從各自的起始時間開始，在前半個統(tǒng)計周期 執(zhí)行預(yù)熱階段處理，在后半個統(tǒng)計周期內(nèi)執(zhí)行使用階段處理。由于本發(fā)明實施例巧妙地設(shè) 計2個統(tǒng)計鏈，且2個統(tǒng)計鏈的啟動時間相差半個所述統(tǒng)計周期，因此，所述第一統(tǒng)計鏈在 預(yù)熱階段時，所述第二統(tǒng)計鏈在使用階段；或者，所述第一統(tǒng)計鏈在使用階段時，所述第二 統(tǒng)計鏈在預(yù)熱階段，如圖3所示。采用本發(fā)明實施例技術(shù)方案，可以有效地確保任意時刻都 有一條統(tǒng)計鏈能夠輸出候選預(yù)測的正確率，進而能夠?qū)崟r輸出當前候選預(yù)測的正確率。執(zhí)行預(yù)熱階段處理包括統(tǒng)計候選預(yù)測的結(jié)果。預(yù)熱階段的統(tǒng)計是經(jīng)過一段歷史 積累的(半個統(tǒng)計周期)，因此能夠?qū)㈩A(yù)測的偶然波動性降到最低，其主要被用于消除統(tǒng)計 結(jié)果中可能出現(xiàn)的波動性。執(zhí)行使用階段處理包括在統(tǒng)計候選預(yù)測的結(jié)果的同時還計算候選預(yù)測準確度。 使用階段是在預(yù)熱基礎(chǔ)上還負責(zé)輸出的統(tǒng)計半周期，使用階段能夠輸出穩(wěn)定并且最新的統(tǒng) 計結(jié)果，因為一個使用階段與預(yù)熱持續(xù)相同的時間，這保證了數(shù)據(jù)的穩(wěn)定，同時還能反映最 近的歷史狀況。由于所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈在一個統(tǒng)計周期內(nèi)均執(zhí)行預(yù)熱階段處理 和使用階段處理，因此，其輸出的候選預(yù)測的正確率不但已經(jīng)消除了可能出現(xiàn)的波動性，很 穩(wěn)定；而且具有實時輸出統(tǒng)計結(jié)果的特點，保證了對“當前”性能的估計，保證了性能評估輸 出的連續(xù)性。所述候選預(yù)測(Candidate Prediction)是指某個特定的文件預(yù)測算法(如Last Successor、Static Successor、Recent Popularity 等)給出的關(guān)于一個文件的后繼訪問 文件的預(yù)測。通常使用Pab來表示一個候選預(yù)測，該候選預(yù)測指出文件A的后繼訪問文件為 B的概率。
由于每一個統(tǒng)計周期中含有2N個Pab的候選預(yù)測，而所述第一統(tǒng)計鏈和所述第二 統(tǒng)計鏈的啟動時間相差半個所述統(tǒng)計周期，因此，所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈之間
相差N個Pab的結(jié)果。本發(fā)明實施例提供的上述方法，充分考慮了數(shù)據(jù)訪問的時間局部性以及統(tǒng)計中可 能出現(xiàn)的“顛簸”，巧妙的使用交替統(tǒng)計的方法高效地估計了預(yù)取算法實施過程中某候選預(yù) 測的精度。本發(fā)明的應(yīng)用不限于文件預(yù)取算法精確度的估計，也使用于其他有類似需求的 統(tǒng)計建模過程。為了實現(xiàn)上述方法，本發(fā)明實施例還提供了一種文件預(yù)測準確度的統(tǒng)計裝置，包 括配置模塊和統(tǒng)計處理模塊，其中所述配置模塊，用以配置一第一統(tǒng)計鏈和一第二統(tǒng)計鏈，所述第一統(tǒng)計鏈和所述 第二統(tǒng)計鏈具有相同的統(tǒng)計周期，所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈的啟動時間相差半個 所述統(tǒng)計周期。所述統(tǒng)計處理模塊，用以控制所述配置模塊中配置的所述第一統(tǒng)計鏈和所述第二 統(tǒng)計鏈從各自的啟動時間開始，在所述統(tǒng)計周期的前半個周期內(nèi)統(tǒng)計候選預(yù)測的結(jié)果；在 后半個統(tǒng)計周期內(nèi)繼續(xù)統(tǒng)計候選預(yù)測的結(jié)果，并根據(jù)該周期內(nèi)當前統(tǒng)計到的候選預(yù)測的結(jié) 果來計算并輸出候選預(yù)測的正確率。進一步地，所述配置模塊配置的統(tǒng)計周期中，前半個周期為預(yù)熱階段，后半個周期 為使用階段。所述統(tǒng)計處理模塊，控制所述第一統(tǒng)計鏈在預(yù)熱階段時，所述第二統(tǒng)計鏈在使 用階段；或者控制所述第一統(tǒng)計鏈在使用階段時，所述第二統(tǒng)計鏈在預(yù)熱階段。進一步地，所述候選預(yù)測是根據(jù)預(yù)設(shè)的文件預(yù)測算法計算出的關(guān)于一個文件的后 繼訪問文件的預(yù)測。當然，本發(fā)明還可有其他多種實施例，在不背離本發(fā)明精神及其實質(zhì)的情況下，本 領(lǐng)域技術(shù)人員當可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng) 屬于本發(fā)明所附的權(quán)利要求的保護范圍。
權(quán)利要求
一種文件預(yù)測準確度的統(tǒng)計方法，包括配置一第一統(tǒng)計鏈和一第二統(tǒng)計鏈，所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈具有相同的統(tǒng)計周期，所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈的啟動時間相差半個所述統(tǒng)計周期；控制所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈從各自的啟動時間開始，在所述統(tǒng)計周期的前半個周期內(nèi)統(tǒng)計候選預(yù)測的結(jié)果；在后半個統(tǒng)計周期內(nèi)繼續(xù)統(tǒng)計候選預(yù)測的結(jié)果，并根據(jù)該周期內(nèi)當前統(tǒng)計到的候選預(yù)測的結(jié)果來計算并輸出候選預(yù)測的正確率。
2.如權(quán)利要求1所述的方法，其特征在于，在所述統(tǒng)計周期中，前半個周期為預(yù)熱階段，后半個周期為使用階段； 所述第一統(tǒng)計鏈在預(yù)熱階段時，所述第二統(tǒng)計鏈在使用階段；或者所述第一統(tǒng)計鏈在 使用階段時，所述第二統(tǒng)計鏈在預(yù)熱階段。
3.如權(quán)利要求1所述的方法，其特征在于所述候選預(yù)測是根據(jù)預(yù)設(shè)的文件預(yù)測算法計算出的關(guān)于一個文件的后繼訪問文件的 預(yù)測。
4.一種文件預(yù)測準確度的統(tǒng)計裝置，其特征在于，包括配置模塊和統(tǒng)計處理模塊，其中所述配置模塊，用以配置一第一統(tǒng)計鏈和一第二統(tǒng)計鏈，所述第一統(tǒng)計鏈和所述第二 統(tǒng)計鏈具有相同的統(tǒng)計周期，所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈的啟動時間相差半個所述 統(tǒng)計周期；所述統(tǒng)計處理模塊，用以控制所述配置模塊中配置的所述第一統(tǒng)計鏈和所述第二統(tǒng)計 鏈從各自的啟動時間開始，在所述統(tǒng)計周期的前半個周期內(nèi)統(tǒng)計候選預(yù)測的結(jié)果；在后半 個統(tǒng)計周期內(nèi)繼續(xù)統(tǒng)計候選預(yù)測的結(jié)果，并根據(jù)該周期內(nèi)當前統(tǒng)計到的候選預(yù)測的結(jié)果來 計算并輸出候選預(yù)測的正確率。
5.如權(quán)利要求4所述的裝置，其特征在于所述配置模塊配置的統(tǒng)計周期中，前半個周期為預(yù)熱階段，后半個周期為使用階段； 所述統(tǒng)計處理模塊，控制所述第一統(tǒng)計鏈在預(yù)熱階段時，所述第二統(tǒng)計鏈在使用階段; 或者控制所述第一統(tǒng)計鏈在使用階段時，所述第二統(tǒng)計鏈在預(yù)熱階段。
6.如權(quán)利要求4所述的裝置，其特征在于所述候選預(yù)測是根據(jù)預(yù)設(shè)的文件預(yù)測算法計算出的關(guān)于一個文件的后繼訪問文件的 預(yù)測。
全文摘要
本發(fā)明提供了一種文件預(yù)測準確度的統(tǒng)計方法及裝置，該方法包括配置一第一統(tǒng)計鏈和一第二統(tǒng)計鏈，所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈具有相同的統(tǒng)計周期，所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈的啟動時間相差半個所述統(tǒng)計周期；控制所述第一統(tǒng)計鏈和所述第二統(tǒng)計鏈從各自的啟動時間開始，在所述統(tǒng)計周期的前半個周期內(nèi)統(tǒng)計候選預(yù)測的結(jié)果；在后半個統(tǒng)計周期內(nèi)繼續(xù)統(tǒng)計候選預(yù)測的結(jié)果，并根據(jù)該周期內(nèi)當前統(tǒng)計到的候選預(yù)測的結(jié)果來計算并輸出候選預(yù)測的正確率。該方法不但能夠?qū)㈩A(yù)測的偶然波動性降到最低，而且能夠確保性能評估輸出的連續(xù)性。
文檔編號G06F17/30GK101882155SQ20101020580
公開日2010年11月10日 申請日期2010年6月22日 優(yōu)先權(quán)日2010年6月22日
發(fā)明者何俊, 程旭, 管雪濤 申請人:北京北大眾志微系統(tǒng)科技有限責(zé)任公司