專利名稱：利用固態(tài)硬盤作為計算機寫緩存的存儲系統(tǒng)以及相應的管理調度方法
技術領域：
本發(fā)明涉及數據信息處理，特別是涉及一種利用固態(tài)硬盤作為計算機寫緩存的存儲系統(tǒng)及相應的管理調度方法。
背景技術：
磁盤緩慢的尋道時間已經成為大型數據處理應用中的瓶頸所在。相比CPU納秒級別的處理速度，磁盤毫秒級的尋道時間嚴重影響了整個系統(tǒng)的響應時間和吞吐率。固態(tài)硬盤作為一種新型的電學存儲介質，具有極高的隨機訪問速度，被認為是下一代的主流存儲設備。然而我們注意到，當前的固態(tài)硬盤要完全取代磁盤仍然是不現(xiàn)實的，究其原因有以下兩點首先固態(tài)硬盤的容量較小，同等價格能購買的固態(tài)硬盤的容量只有磁盤的幾百分之一甚至幾千分之一，完全使用固態(tài)硬盤來存儲所有數據的成本是極其高昂的；其次固態(tài)硬盤的存儲芯片閃存具有讀寫不對稱性，對閃存進行小數據量的隨機寫往往需要對較大范圍進行一次很慢的擦除操作，因此當前的固態(tài)硬盤盡管擁有極其強勁的隨機讀和順序讀寫的性能，但其隨機寫的性能相對磁盤并沒有明顯的優(yōu)勢，是固態(tài)硬盤的性能瓶頸所在。在這一背景下，如何利用好固態(tài)硬盤，使之在整個存儲架構中充分發(fā)揮其優(yōu)勢、避免其缺陷是一個具有重要意義的技術問題，是提高計算機系統(tǒng)在大規(guī)模數據應用中的性能的關鍵所在。

發(fā)明內容
本發(fā)明目的在于提供一種利用固態(tài)硬盤作為計算機寫緩存的存儲系統(tǒng)，以及基于其上的調度方法，充分發(fā)揮固態(tài)硬盤高帶寬以及高速隨機讀的優(yōu)勢、避免其低速隨機寫的劣勢，大幅度提聞系統(tǒng)的響應性能。為達到上述目標，本發(fā)明公開了一種利用固態(tài)硬盤作為計算機寫緩存的存儲系統(tǒng)，包括—塊或多塊小容量、訪問速度較快的固態(tài)硬盤設備,和一塊或多塊大容量、訪問速度較慢的傳統(tǒng)磁盤設備，上述設備通過標準PCI_E、SAS或SCSI接口之一與所述計算機的總線相連，并對所述計算機系統(tǒng)可見。上述存儲系統(tǒng)，其特征還在于所述計算機的初始數據均存儲在上述磁盤上，其中所述固態(tài)硬盤在系統(tǒng)運行中動態(tài)緩存計算機最近更新數據，同時在初始狀態(tài)下，所述固態(tài)硬盤的容量大小對系統(tǒng)的正確性沒有影響。上述存儲系統(tǒng)，其特征也在于在所述計算機的系統(tǒng)在運行過程中，可以不定期動態(tài)增加固態(tài)硬盤的數目，提高系統(tǒng)的性能；但已有的所述固態(tài)硬盤不可被動態(tài)移除。此外，本發(fā)明還公開了一種用于對上述存儲系統(tǒng)進行管理調度的方法，所述方法包括所有的固態(tài)硬盤被格式化為分頁結構，每個頁面的長度與所述計算機系統(tǒng)內外存交換頁面相同，全部的所述固態(tài)硬盤上的頁面被當作一個整體的隊列進行順序循環(huán)使用，當有臟頁面從內存中排出時，首先將它寫回所述隊列的最后一個頁面，而不是直接寫回所述固態(tài)磁盤；在內存中維護一個固態(tài)硬盤的地址映射表，當頁面寫回所述固態(tài)硬盤后，其頁面號、固態(tài)硬盤偏移被作為一個二元組索引項，并維持在所述地址映射表中，而若一個頁面被寫回多次，則只有最后一次的索引項有效；當需要訪問外存數據時，首先在所述地址映射表中查看包含該頁面號的索引項是 否存在，如果存在，則訪問相應索引項中的固態(tài)硬盤的偏移，如果不存在，則訪問磁盤的地址。上述管理調度方法還包括步驟由于設備對計算機系統(tǒng)可見，因此所述調度方法可以按實際系統(tǒng)需求，在操作系統(tǒng)、文件系統(tǒng)、數據庫以及具體應用程序等不同層次實現(xiàn)。上述管理調度方法還包括當所述整個計算機系統(tǒng)發(fā)生崩潰并重啟時，需要首先掃描所述固態(tài)硬盤，并根據其中所有緩存的所述頁面重建地址映射表，再進行系統(tǒng)的正常運行。本發(fā)明解決了如何充分利用容量較小但性能較快的固態(tài)硬盤來優(yōu)化計算機存儲系統(tǒng)響應能力的問題，具有的有益效果是I)消除了原來的計算機系統(tǒng)中對磁盤的隨機寫操作，有效地降低了磁盤的尋道壓力，將隨機寫轉換為順序寫，提高了系統(tǒng)性能。2)對最近更新的數據利用固態(tài)硬盤進行緩存，充分發(fā)揮了固態(tài)硬盤的高速隨機讀能力，減少了原來的計算機系統(tǒng)中對磁盤的隨機讀操作，進一步提高了系統(tǒng)性能。3)對固態(tài)硬盤的操作只有順序讀寫以及隨機讀，避開了固態(tài)硬盤隨機寫較較弱所帶來的性能瓶頸。4)本發(fā)明中的系統(tǒng)和方法的基礎假設是標準的基于內外存的計算機結構以及固態(tài)硬盤的基礎特征，不依賴于任何具體的固態(tài)硬盤型號、計算機指令體系、操作系統(tǒng)等，也可以在操作系統(tǒng)、文件系統(tǒng)、數據庫以及具體應用程序等各個層次靈活實現(xiàn)，具有充分的可移植性。


圖I是系統(tǒng)整體框架圖。圖2是地址映射表結構示意圖。圖3是系統(tǒng)臟頁面回寫的工作流程圖。圖4是系統(tǒng)訪問頁面的工作流程圖。圖5是系統(tǒng)后臺回寫線程的工作流程圖。
具體實施例方式下面結合附圖及具體實施方式
對本發(fā)明作進一步的描述如圖I所示，給出了整個存儲系統(tǒng)的結構示意圖。其存儲設備包含一塊或多塊固態(tài)硬盤設備，以及一塊或多塊傳統(tǒng)磁盤設備，所有的設備通過PCI-E、SATA或SCSI等標準接口與計算機總線相連，設備的具體數量視總線的可擴展性決定。存儲系統(tǒng)對外完全透明，所有的存儲設備及其所屬于的設備類型均被格式化為分頁結構，且可被計算機識別，計算機以固定長度的頁面作為內存和外存之間的基本交換單位，頁面的長度為2的冪次數千字節(jié)，一般在IKB到32KB之間。計算機可以向任一存儲設備請求某一偏移開始的頁面內容，將頁面讀取到內存中，并訪問其中的數據。所有的固態(tài)硬盤上的頁面被組織為一個循環(huán)的隊列結構，初始狀態(tài)下隊列的首尾相等，當有頁面寫入時，隊列尾向后移動，當越過邊界時再回到隊列頭部。當隊列尾接近隊列頭時，則說明所有固態(tài)硬盤的容量快要被使用完。存儲系統(tǒng)在初始化時，其存儲設備可以只包括磁盤，原始數據被加載到磁盤當中。當系統(tǒng)開始運行后，可以不定期地向系統(tǒng)中增加一塊或多塊固態(tài)硬盤設備，這些固態(tài)硬盤設備可以在計算機運行狀態(tài)下增加，也可以先停止計算機的運行，增加固態(tài)硬盤設備并再次啟動計算機，其過程視設備的具體類型而定，增加的固態(tài)硬盤也同樣被分頁后再插入隊列中。所有已有的固態(tài)硬盤設備在運行后不可再被移除。同時系統(tǒng)需要在內存中開辟一定區(qū)域，維護一張地址映射表，供管理調度使用。如圖2所示，給出了地址映射表的結構示意圖。地址映射表是哈希表的結構，其哈希索引鍵值為頁面號，其結點為(頁面號、固態(tài)硬盤偏移)的二元組索引項。索引項中，頁面號是指頁面的物理標識，而固態(tài)硬盤偏移是指本頁面在固態(tài)硬盤中的偏移，通過這一偏移量可以迅速定位到相應的頁面在固態(tài)硬盤中的位置。所有的索引項以頁面號計算哈希值，屬于同一個哈希桶的索引項以單項鏈表的形式被維護在一起。如圖3所示，該圖為本發(fā)明提出的單個臟頁面回寫的工作流程，本流程由單個工作線程執(zhí)行，其詳細描述如下301將頁面寫回到固態(tài)硬盤隊列尾的頁面中，這個動作始終順序寫固態(tài)硬盤，可以良好的利用固態(tài)硬盤的高帶寬。在多線程并發(fā)的工作環(huán)境下，本步驟對于隊列尾位置的訪問和修改需要臨界區(qū)保護。302此時檢查隊列尾與隊列頭之間的距離是否小于回寫閾值?；貙戦撝狄话阋笥谠诨貙懢€程一次工作的時間內，其它工作線程所回寫的頁面數目，否則在回寫線程工作完成前，其它線程的回寫請求需要被阻塞。303如果302中所檢查的距離小于回寫閾值，此時回寫線程被喚醒，將儲存在隊列中的臟頁面寫回硬盤。需要注意的是，回寫線程回寫的過程中，并不阻礙工作線程繼續(xù)向固態(tài)硬盤中寫回數據。304檢查本頁面在地址映射表中是否已經有索引項，這個過程首先通過頁面號計算出哈希值，再由相應的哈希索引入口進行單向鏈表的查找。由于頁面號是一個非常有規(guī)律的整數值，因此良好的哈希函數可以將這個查找代價降到接近0(1)復雜度。305如果找到了相應的索引項，則更新索引項中的相應偏移值。306如果沒有找到相應的索引項，則生成一個將的索引項，并將(頁面號、偏移值)寫入。如圖4所示，該圖為本發(fā)明提出的讀取頁面的工作流程，本流程由單個工作線程執(zhí)行，其詳細描述如下、
401首先檢查本頁面在地址映射表中是否有索引項，這個過程也是先通過頁面號計算出哈希值，再由相應的哈希索引入口進行單向鏈表的查找。402如果索引項存在，則說明這個頁面的最新版本在固態(tài)硬盤中，此時根據索引項的偏移讀取固態(tài)硬盤中的數據。403如果索引項 不存在，則說明這個頁面沒有被回寫到固態(tài)硬盤中過，此時根據頁面號去磁盤讀取數據。如圖5所示，該圖為本發(fā)明所提出的回寫線程的工作流程圖，本流程由后臺回寫線程實現(xiàn)，其詳細描述如下501獲取當前固態(tài)硬盤隊列尾的位置，這個動作需要在臨界區(qū)保護下完成。502將當前地址映射表中所有的索引項按頁面號進行排序，由于索引項的長度很小，因此這個動作可以在內存中進行。503檢查排序后的索引項，如果兩個索引項的頁面號是連續(xù)的，即它們原始數據在磁盤中的位置是連續(xù)的，則把它們合并為一個更長的頁面。504按排序的索引項進行回寫，其具體步驟為讀取一個索引項，并從固態(tài)硬盤中讀取偏移位置所在的數據，再回寫到磁盤的相應頁面上?？梢钥吹竭@里對固態(tài)硬盤的訪問序列是隨機讀，而對磁盤的訪問特征是順序寫，都符合它們的性能特征。 回寫過的索引項從地址映射表中被摘除。505最后將當前隊列的隊列首更新為在501步驟中所獲取的原隊列尾，這個動作也在臨界區(qū)保護下進行。由于在回寫過程中仍然有工作線程會向隊列中寫入一些最新回寫的頁面，因此這些頁面的索引項信息仍然需要被保留。雖然附圖和前述說明給出了本發(fā)明的實施例。但可以理解的是，本領域技術人員將理解可以將這種組件中的一個或多個組件很好地組合成單個功能組件。在替換方案中，特定的組件可以分成多個功能組件，或反之。同時，本發(fā)明的范圍并不受這些特定實例的限制。多種變化都是可能的，例如結構等上的差異，而無論其是否在說明書中被清晰地給出。本發(fā)明的范圍至少與所附權利要求給出的范圍一樣寬。
權利要求
1.ー種利用固態(tài)硬盤作為計算機寫緩存的存儲系統(tǒng)，包括 ー塊或多塊小容量、訪問速度較快的固態(tài)硬盤設備，和 ー塊或多塊大容量、訪問速度較慢的傳統(tǒng)磁盤設備， 上述設備通過標準PCI-E、SAS或SCSI接ロ之一與所述計算機的總線相連，并對所述計算機系統(tǒng)可見。
2.根據權利要求I所述的存儲系統(tǒng)，其特征在于 所述計算機的初始數據均存儲在上述磁盤上，其中所述固態(tài)硬盤在系統(tǒng)運行中動態(tài)緩存計算機最近更新數據，同時在初始狀態(tài)下，所述固態(tài)硬盤的容量大小對系統(tǒng)的正確性沒有影響。
3.根據權利要求I所述的存儲系統(tǒng)，其特征在于 在所述計算機的系統(tǒng)在運行過程中，可以不定期動態(tài)增加固態(tài)硬盤的數目，提高系統(tǒng)的性能；但已有的所述固態(tài)硬盤不可被動態(tài)移除。
4.一種對權利要求1-3中的任何一個進行管理調度的方法，其特征在于 所有的固態(tài)硬盤被格式化為分頁結構，每個頁面的長度與所述計算機系統(tǒng)內外存交換頁面相同，全部的所述固態(tài)硬盤上的頁面被當作一個整體的隊列進行順序循環(huán)使用，當有臟頁面從內存中排出時，首先將它寫回所述隊列的最后ー個頁面，而不是直接寫回所述固態(tài)磁盤； 在內存中維護ー個固態(tài)硬盤的地址映射表，當頁面寫回所述固態(tài)硬盤后，其頁面號、固態(tài)硬盤偏移被作為ー個ニ元組索引項，并維持在所述地址映射表中，而若ー個頁面被寫回多次，則只有最后一次的索引項有效； 當需要訪問外存數據時，首先在所述地址映射表中查看包含該頁面號的索引項是否存在，如果存在，則訪問相應索引項中的固態(tài)硬盤的偏移，如果不存在，則訪問磁盤的地址； 而當所有的固態(tài)硬盤設備的可用容量均低于預設的閾值時，由后臺的回寫線程將所述地址映射表中的索引項按頁面號進行重排，將相鄰的頁面合井，并將它們按順序寫回磁盤中。
5.根據權利要求4所述的管理調度方法，其特征在干 由于權利要求1-3中任意一個所涉及的設備對計算機系統(tǒng)可見，因此所述調度方法可以按實際系統(tǒng)需求，在操作系統(tǒng)、文件系統(tǒng)、數據庫以及具體應用程序等不同層次實現(xiàn)。
6.根據4或5的管理調度方法，其特征在于 當所述整個計算機系統(tǒng)發(fā)生崩潰并重啟時，需要首先掃描所述固態(tài)硬盤，井根據其中所有緩存的所述頁面重建地址映射表，再進行系統(tǒng)的正常運行。
全文摘要
本發(fā)明公開了一種利用固態(tài)硬盤作為計算機寫緩存的存儲系統(tǒng)及相應的管理調度方法。所述存儲系統(tǒng)包括，一塊或多塊小容量、訪問速度較快的固態(tài)硬盤設備，和一塊或多塊大容量、訪問速度較慢的傳統(tǒng)磁盤設備，上述設備通過標準PCI-E、SAS或SCSI接口之一與所述計算機的總線相連，并對所述計算機系統(tǒng)可見。
文檔編號G06F12/06GK102637147SQ20111035835
公開日2012年8月15日 申請日期2011年11月14日 優(yōu)先權日2011年11月14日
發(fā)明者何清法, 馮柯, 徐昶, 毛云青, 王嘉春, 蔣志勇, 顧云蘇, 饒路 申請人:天津神舟通用數據技術有限公司