專利名稱：檢查點數(shù)據(jù)的存儲方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，并且特別地，涉及一種檢查點數(shù)據(jù)的存儲方法和裝置。
背景技術(shù)：
目前，如圖1所示，存儲服務(wù)器和計算服務(wù)器(也可稱為計算節(jié)點)通常會通過交換機(例如，可以是千兆網(wǎng)絡(luò)交換機或者IB網(wǎng)絡(luò)交換機)互聯(lián)。在圖1所示的架構(gòu)中，存儲服務(wù)器可以具有24個盤位，計算服務(wù)器則作為遠程的計算節(jié)點單元。通過圖1所示的架構(gòu)方式，存儲服務(wù)器能夠通過網(wǎng)絡(luò)文件系統(tǒng)(Network File System，簡稱為NFS)將文件系統(tǒng)共享給計算服務(wù)器。在進行共享時，可以根據(jù)以下流程(1)全部計算服務(wù)器運行一個并行任務(wù)；(2)由存儲服務(wù)器發(fā)送一致性檢查點(Checkpoint)指令；(3)所有計算服務(wù)器在Checkpoint指令下進行本地的進程存儲，將需要存儲的內(nèi)存內(nèi)容放置到NFS共享磁盤存儲區(qū)域中；(4)進行通常的Checkpoint過程；(5)當系統(tǒng)需要重新啟動一個Checkpoint檢查點的時候，可以發(fā)布一個Restart 命令；(6)全部節(jié)點通過NFS共享存儲區(qū)讀取各自的Checkpoint文件部分并啟動相應(yīng)的進程，即可完成Restart工作?；谟脖P的檢查點文件存儲方案速度較慢，大約為每秒鐘只能夠存儲30MB的數(shù)據(jù)，也就是說，對于一個擁有30GB內(nèi)存空間的計算進程而言，一次Checkpoint工作就會損失16分鐘，而這樣的Checkpoint過程往往需要每小時進行一次，這就意味著服務(wù)器的整體性能的損失會達到25%左右，對于內(nèi)存空間更大、訪問速度更慢的服務(wù)器而言，損失的性能比例會更高。但是，針對相關(guān)技術(shù)中檢查點數(shù)據(jù)寫入速度慢的問題，目前并未提出有效的解決方案。

發(fā)明內(nèi)容
針對相關(guān)技術(shù)中檢查點數(shù)據(jù)寫入速度慢的問題，本發(fā)明提出一種檢查點數(shù)據(jù)的存儲方法和裝置，能夠有效提高檢查點數(shù)據(jù)的寫入效率，從而對服務(wù)器因檢查點數(shù)據(jù)寫入而出現(xiàn)性能損失的問題得到有效解決。本發(fā)明的技術(shù)方案是這樣實現(xiàn)的根據(jù)本發(fā)明的一個方面，提供了一種檢查點數(shù)據(jù)的存儲方法。該方法包括響應(yīng)于檢查點命令，將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器中，其中，第二存儲器的訪問速度高于第一存儲器的訪問速度；在第一存儲器和第二存儲器滿足預(yù)定空閑條件的情況下，將第二存儲器中寫入的數(shù)據(jù)轉(zhuǎn)存至第一存儲器。其中，在將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器中之前，該方法還可以包括判斷第二存儲器是否處于空閑狀態(tài)，如果判斷結(jié)果為是，則確定允許將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器中；否則等待第一存儲器進入空閑狀態(tài)。并且，上述預(yù)定空閑條件可以包括第一存儲器處于空閑狀態(tài)，并且第二處于空閑狀態(tài)。并且，上述預(yù)定空閑條件還可以包括第二存儲器的存儲空間被占滿，或第二存儲器中存儲的數(shù)據(jù)量達到預(yù)定閾值?？蛇x地，第一存儲器為硬盤；第二存儲器為以下之一固態(tài)硬盤、Flash硬盤。根據(jù)本發(fā)明的另一方面，提供了一種檢查點數(shù)據(jù)的存儲裝置。該裝置包括第二存儲器；第一處理模塊，用于響應(yīng)于檢查點命令，將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器中，其中，第二存儲器的訪問速度高于第一存儲器的訪問速度；第二處理模塊，用于在第一存儲器和第二存儲器滿足預(yù)定空閑條件的情況下，將第二存儲器中寫入的數(shù)據(jù)轉(zhuǎn)存至第一存儲器。其中，第二處理模塊用于在將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器中之前，進一步判斷第二存儲器是否處于空閑狀態(tài)，如果判斷結(jié)果為是，則確定允許將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器中；否則等待第一存儲器進入空閑狀態(tài)。并且，預(yù)定空閑條件可以包括第一存儲器處于空閑狀態(tài)，并且第二處于空閑狀態(tài)。可選地，預(yù)定空閑條件還可以包括第二存儲器的存儲空間被占滿，或第二存儲器中存儲的數(shù)據(jù)量達到預(yù)定閾值?？蛇x地，第一存儲器為硬盤；第二存儲器為以下之一固態(tài)硬盤、Flash硬盤。本發(fā)明通過設(shè)置訪問速度更高的存儲器(第二存儲器)來緩存需要存儲到第一存儲器中的數(shù)據(jù)，之后再將緩存的數(shù)據(jù)由第二存儲器寫入到第一存儲器中，從而能夠有效改進檢查點數(shù)據(jù)寫入的效率，避免由于寫入速度慢而導(dǎo)致服務(wù)器等設(shè)備的性能嚴重損失的問題。


圖1是相關(guān)技術(shù)中存儲服務(wù)器與計算服務(wù)器連接的架構(gòu)示意圖；圖2根據(jù)本發(fā)明實施例的檢查點數(shù)據(jù)的存儲方法的流程圖；圖3根據(jù)本發(fā)明實施例的檢查點數(shù)據(jù)的存儲方法中數(shù)據(jù)寫入時進行條件判斷的流程圖；圖4根據(jù)本發(fā)明實施例的檢查點數(shù)據(jù)的存儲裝置的框圖；圖5是在現(xiàn)有系統(tǒng)中增設(shè)本發(fā)明的檢查點數(shù)據(jù)的存儲裝置的示意圖。
具體實施例方式針對相關(guān)技術(shù)中檢查點數(shù)據(jù)寫入速度慢的問題，本發(fā)明提出，借助于訪問速度更高的存儲器(第二存儲器)來緩存需要存儲到第一存儲器中的數(shù)據(jù)，之后再將緩存的數(shù)據(jù)由第二存儲器寫入到第一存儲器中，從而能夠有效改進檢查點數(shù)據(jù)寫入的效率，避免由于寫入速度慢而導(dǎo)致服務(wù)器等設(shè)備的性能嚴重損失的問題。下面將結(jié)合附圖，詳細描述本發(fā)明的實施例。如圖2所示，根據(jù)本發(fā)明實施例的檢查點數(shù)據(jù)的存儲方法包括步驟S201，響應(yīng)于檢查點命令，將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器中，其中，第二存儲器的訪問速度高于第一存儲器的訪問速度；步驟S203，在第一存儲器和第二存儲器滿足預(yù)定空閑條件的情況下，將第二存儲器中寫入的數(shù)據(jù)轉(zhuǎn)存至第一存儲器。借助于上述處理，通過設(shè)置訪問速度更高的存儲器(第二存儲器)來緩存需要存儲到第一存儲器中的數(shù)據(jù)，之后再將緩存的數(shù)據(jù)由第二存儲器寫入到第一存儲器中，能夠有效改進檢查點數(shù)據(jù)寫入的效率，避免由于寫入速度慢而導(dǎo)致服務(wù)器等設(shè)備的性能嚴重損失的問題。其中，在將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器中之前，可以首先判斷第二存儲器是否處于空閑狀態(tài)，如果判斷結(jié)果為是，則確定允許將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器中；否則等待第一存儲器進入空閑狀態(tài)，從而能夠進一步保證數(shù)據(jù)能夠正常地寫入到第二存儲器中。在將第二存儲器的數(shù)據(jù)寫入第一存儲器時，所參照的預(yù)定空閑條件可以為第一存儲器處于空閑狀態(tài)，并且第二處于空閑狀態(tài)，從而保證數(shù)據(jù)寫入準確性。并且，預(yù)定空閑條件還可以包括第二存儲器的存儲空間被占滿，或第二存儲器中存儲的數(shù)據(jù)量達到預(yù)定閾值。也就是說，在第一存儲器和第二存儲器均空閑時，如果第二存儲器的存儲空間被占滿而無法繼續(xù)向其中寫入數(shù)據(jù)、或第二存儲器存儲的數(shù)據(jù)過多時，即可將第二存儲器中的數(shù)據(jù)寫入第一存儲器中，并清空第二存儲器。這樣就能夠避免對第二存儲器和第一存儲器進行頻繁的讀寫操作，降低設(shè)備內(nèi)部的處理復(fù)雜度?？蛇x地，上述第一存儲器可以為硬盤，這樣第二存儲器應(yīng)當高于硬盤的訪問速度， 例如，第二存儲器可以為固態(tài)硬盤或Flash硬盤，也可以是其他速度更快的存儲器，具體本文不再一一列舉。如圖3所示，在進行數(shù)據(jù)寫入時，可以首先判斷高速部件(即，上述的第二存儲器) 是否空閑，如果判斷為是，則將數(shù)據(jù)寫入高速部件，否則暫停向高速部件進行寫入(將高速部件置為鎖定狀態(tài))；之后，在將數(shù)據(jù)寫入高速部件之后，判斷高速部件是否空閑，如果判斷為是，則進一步判斷低速部件(即，上述的第一存儲器)是否空閑；否則暫停寫入低速部件(將高速部件置為鎖定狀態(tài))；如果判斷高速部件為空閑，則進一步判斷低速部件是否空閑，如果判斷為是，則將數(shù)據(jù)從高速部件寫入低速部件，如果判斷低速部件不空閑，則暫停寫入低速部件 (將低速部件置為鎖定狀態(tài))，等待低速部件處于空閑狀態(tài)時再進行寫入。借助于上述處理，通過設(shè)置訪問速度更高的存儲器(第二存儲器)來緩存需要存儲到第一存儲器中的數(shù)據(jù)，之后再將緩存的數(shù)據(jù)由第二存儲器寫入到第一存儲器中，能夠有效改進檢查點數(shù)據(jù)寫入的效率，避免由于寫入速度慢而導(dǎo)致服務(wù)器等設(shè)備的性能嚴重損失的問題；另外，通過合理配置用于控制數(shù)據(jù)寫入的預(yù)定空閑條件，能夠保證在合理的時間進行數(shù)據(jù)的讀取和寫入，使得讀寫操作的效率和準確性得到保證。根據(jù)本發(fā)明的另一實施例，還提供了一種檢查點數(shù)據(jù)的存儲裝置。如圖4所示，根據(jù)本發(fā)明實施例的檢查點數(shù)據(jù)的存儲裝置包括第二存儲器41;第一處理模塊42，連接至第二存儲器41，用于響應(yīng)于檢查點命令，將內(nèi)存中需要存儲至第一存儲器(未示出)中的數(shù)據(jù)寫入到第二存儲器中，其中，第二存儲器的訪問速度高于第一存儲器的訪問速度；第二處理模塊43，連接至第一處理模塊42，用于在第一存儲器和第二存儲器滿足預(yù)定空閑條件的情況下，將第二存儲器中寫入的數(shù)據(jù)轉(zhuǎn)存至第一存儲器。另外，第二處理模塊43還用于在將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器41中之前，進一步判斷第二存儲器41是否處于空閑狀態(tài)，如果判斷結(jié)果為是，則確定允許將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器41中；否則等待第一存儲器進入空閑狀態(tài)。并且，預(yù)定空閑條件可以是第一存儲器處于空閑狀態(tài)，并且第二處于空閑狀態(tài)。 優(yōu)選地，預(yù)定空閑條件還可以包括第二存儲器的存儲空間被占滿，或第二存儲器中存儲的數(shù)據(jù)量達到預(yù)定閾值。通過如上配置用于控制數(shù)據(jù)寫入的預(yù)定空閑條件，能夠保證第一和第二存儲器在空閑的情況下進行數(shù)據(jù)的讀寫，從而保證數(shù)據(jù)寫入的準確度。并且，上述第一存儲器可以為硬盤，而上述第二存儲器高速存儲器，例如，可以是固態(tài)硬盤、或Flash硬盤等。在實現(xiàn)本發(fā)明的方案時，需要對存儲服務(wù)器和硬件架構(gòu)和網(wǎng)絡(luò)進行少量改變，在服務(wù)器內(nèi)部接入快速存儲訪問部件(第二存儲器)，例如，可以采用基于內(nèi)存顆粒和FPGA的高速存儲卡部件。另外需要設(shè)置基于該快速存儲訪問部件的寫緩存驅(qū)動(即，上述的第一處理模塊和第二處理模塊)，該驅(qū)動能夠?qū)⒏咚俅鎯υO(shè)備配置為低速存儲設(shè)備的緩存，從而實現(xiàn)快速的磁盤寫入。如圖5所示，在該驅(qū)動下，系統(tǒng)可以完全采用原有的VFS文件系統(tǒng)操作，對應(yīng)用系統(tǒng)完全透明，該寫緩存驅(qū)動盤可以與VFS文件系統(tǒng)連接，并且同時連接至日志式文件系統(tǒng)， 例如，可以是 Ext3 (Third extended filesystem)。圖4所示的裝置同樣能夠?qū)崿F(xiàn)之前方法實施例中描述的處理，具體過程之前已經(jīng)描述，這里不再重復(fù)。綜上所述，借助于本發(fā)明的上述技術(shù)方案，通過設(shè)置訪問速度更高的存儲器(第二存儲器)來緩存需要存儲到第一存儲器中的數(shù)據(jù)，之后再將緩存的數(shù)據(jù)由第二存儲器寫入到第一存儲器中，能夠有效改進檢查點數(shù)據(jù)寫入的效率，避免由于寫入速度慢而導(dǎo)致服務(wù)器等設(shè)備的性能嚴重損失的問題；另外，通過合理配置用于控制數(shù)據(jù)寫入的預(yù)定空閑條件，能夠保證在合理的時間進行數(shù)據(jù)的讀取和寫入，使得讀寫操作的效率和準確性得到保證。以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何 改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種檢查點數(shù)據(jù)的存儲方法，其特征在于，包括響應(yīng)于檢查點命令，將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器中， 其中，所述第二存儲器的訪問速度高于所述第一存儲器的訪問速度；在所述第一存儲器和所述第二存儲器滿足預(yù)定空閑條件的情況下，將所述第二存儲器中寫入的所述數(shù)據(jù)轉(zhuǎn)存至所述第一存儲器。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器中之前，所述方法還包括判斷所述第二存儲器是否處于空閑狀態(tài)，如果判斷結(jié)果為是，則確定允許將所述內(nèi)存中需要存儲至所述第一存儲器中的數(shù)據(jù)寫入到所述第二存儲器中；否則等待所述第一存儲器進入空閑狀態(tài)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)定空閑條件包括所述第一存儲器處于空閑狀態(tài)，并且所述第二處于空閑狀態(tài)。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述預(yù)定空閑條件還包括所述第二存儲器的存儲空間被占滿，或所述第二存儲器中存儲的數(shù)據(jù)量達到預(yù)定閾值。
5.根據(jù)權(quán)利要求1至4中任一項所述的方法，其特征在于，所述第一存儲器為硬盤；所述第二存儲器為以下之一固態(tài)硬盤、Flash硬盤。
6.一種檢查點數(shù)據(jù)的存儲裝置，其特征在于，包括第二存儲器；第一處理模塊，用于響應(yīng)于檢查點命令，將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到所述第二存儲器中，其中，所述第二存儲器的訪問速度高于所述第一存儲器的訪問速度；第二處理模塊，用于在所述第一存儲器和所述第二存儲器滿足預(yù)定空閑條件的情況下，將所述第二存儲器中寫入的所述數(shù)據(jù)轉(zhuǎn)存至所述第一存儲器。
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述第二處理模塊用于在將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器中之前，進一步判斷所述第二存儲器是否處于空閑狀態(tài)，如果判斷結(jié)果為是，則確定允許將所述內(nèi)存中需要存儲至所述第一存儲器中的數(shù)據(jù)寫入到所述第二存儲器中；否則等待所述第一存儲器進入空閑狀態(tài)。
8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述預(yù)定空閑條件包括所述第一存儲器處于空閑狀態(tài)，并且所述第二處于空閑狀態(tài)。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述預(yù)定空閑條件還包括所述第二存儲器的存儲空間被占滿，或所述第二存儲器中存儲的數(shù)據(jù)量達到預(yù)定閾值。
10.根據(jù)權(quán)利要求6至9中任一項所述的裝置，其特征在于，所述第一存儲器為硬盤； 所述第二存儲器為以下之一固態(tài)硬盤、Flash硬盤。
全文摘要
本發(fā)明公開了一種檢查點數(shù)據(jù)的存儲方法和裝置，其中，該方法包括響應(yīng)于檢查點命令，將內(nèi)存中需要存儲至第一存儲器中的數(shù)據(jù)寫入到第二存儲器中，其中，第二存儲器的訪問速度高于第一存儲器的訪問速度；在第一存儲器和第二存儲器滿足預(yù)定空閑條件的情況下，將第二存儲器中寫入的數(shù)據(jù)轉(zhuǎn)存至第一存儲器。本發(fā)明通過設(shè)置訪問速度更高的存儲器來緩存需要存儲到第一存儲器中的數(shù)據(jù)，之后再將緩存的數(shù)據(jù)由第二存儲器寫入到第一存儲器中，從而能夠有效改進檢查點數(shù)據(jù)寫入的效率，避免由于寫入速度慢而導(dǎo)致服務(wù)器等設(shè)備的性能嚴重損失的問題。
文檔編號G06F12/08GK102184141SQ20111011606
公開日2011年9月14日 申請日期2011年5月5日 優(yōu)先權(quán)日2011年5月5日
發(fā)明者戴榮, 李斌, 李程, 沙超群, 王璟, 許建衛(wèi), 馬少杰 申請人:曙光信息產(chǎn)業(yè)(北京)有限公司