中讀數(shù)據(jù)采用分層機(jī)制，第一層為內(nèi)存cache，內(nèi)存cache采用LRU機(jī)制緩存數(shù)據(jù);第二層為SSD cache，SSD cache采用熱點(diǎn)讀機(jī)制，系統(tǒng)會(huì)統(tǒng)計(jì)每個(gè)讀取的數(shù)據(jù)，并統(tǒng)計(jì)熱點(diǎn)訪問因子，當(dāng)熱點(diǎn)訪問因子達(dá)到閾值時(shí)，系統(tǒng)會(huì)自動(dòng)緩存所需1數(shù)據(jù)到SSD中，同時(shí)會(huì)將長時(shí)間未被訪問的數(shù)據(jù)移出SSD;包括以下具體步驟:
2-2-1)所述定位存儲(chǔ)主機(jī)的虛擬存儲(chǔ)引擎接收客戶端發(fā)送的讀1操作；
2-2-2)所述定位存儲(chǔ)主機(jī)的虛擬存儲(chǔ)引擎從定位存儲(chǔ)主機(jī)的內(nèi)存“讀cache”中查找是否存在所需1數(shù)據(jù)(步驟I)，如果存在，則直接返回，同時(shí)調(diào)整所需1數(shù)據(jù)到數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的內(nèi)存“讀cache” LRU隊(duì)首，否則執(zhí)行步驟2_2_3);
2-2-3)從定位存儲(chǔ)主機(jī)內(nèi)SSD的“讀cache”中查找是否存在所需1數(shù)據(jù)(步驟2)，如果存在，則直接返回，同時(shí)增加該所需1數(shù)據(jù)的熱點(diǎn)訪問因子，否則執(zhí)行步驟2-2-4);
2-2-4)從定位存儲(chǔ)主機(jī)內(nèi)SSD的“寫cache”中查找是否存在所需1數(shù)據(jù)(步驟3)，如果存在，則直接返回，同時(shí)增加所需1數(shù)據(jù)的熱點(diǎn)訪問因子;如果所需1數(shù)據(jù)的熱點(diǎn)訪問因子達(dá)到閾值，則當(dāng)前建立的所需1數(shù)據(jù)被緩存在定位存儲(chǔ)主機(jī)內(nèi)SSD的“讀cache”中；如果不存在，執(zhí)行步驟2-2_5)；
2-2-5)從定位存儲(chǔ)主機(jī)內(nèi)普通硬盤(HDD)中查找到所需1數(shù)據(jù)并返回(步驟4)，同時(shí)增加該所需1數(shù)據(jù)的熱點(diǎn)訪問因子，如果熱點(diǎn)訪問因子達(dá)到閾值，所需1數(shù)據(jù)會(huì)被緩存在定位存儲(chǔ)主機(jī)內(nèi)SSD的“讀cache”中。
[0045]在實(shí)現(xiàn)數(shù)據(jù)交互過程中對寫的數(shù)據(jù)先寫入更快的硬盤中，然后將更快的硬盤與普通磁盤同步。
[0046]在客戶端與存儲(chǔ)集群之間進(jìn)行數(shù)據(jù)交互采用的網(wǎng)絡(luò)傳輸方式為RDMA協(xié)議的inf inband，采用56Gbps FDR InfiniBand，其節(jié)點(diǎn)間具有超高速互聯(lián)特性;是一種標(biāo)準(zhǔn)成熟多級胖樹組網(wǎng)，具有平滑容量擴(kuò)容的特性;近似無阻塞通信網(wǎng)絡(luò)，數(shù)據(jù)交換無瓶頸;納秒級通信時(shí)延，計(jì)算存儲(chǔ)信息及時(shí)傳遞;無損網(wǎng)絡(luò)QOS(服務(wù)質(zhì)量)，數(shù)據(jù)傳送無丟失;主備端口多平面通信，提高傳輸可靠性。QoS(Quality of Service，服務(wù)質(zhì)量)指一個(gè)網(wǎng)絡(luò)能夠利用各種基礎(chǔ)技術(shù)，為指定的網(wǎng)絡(luò)通信提供更好的服務(wù)能力，是網(wǎng)絡(luò)的一種安全機(jī)制，是用來解決網(wǎng)絡(luò)延遲和阻塞等問題的一種技術(shù)。
[0047]以上所述，僅是本發(fā)明的較佳實(shí)施例，并非對本發(fā)明做任何形式上的限制，凡是依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對以上實(shí)施例所作的任何簡單修改、等同變化，均落入本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.虛擬存儲(chǔ)高速傳輸方法，通過構(gòu)建存儲(chǔ)集群，利用多級緩存機(jī)制實(shí)現(xiàn)數(shù)據(jù)的高速傳輸，其特征在于:包括以下步驟: 1)通過客戶端尋址，獲取存儲(chǔ)集群內(nèi)數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)； 2)經(jīng)步驟I)后，客戶端從數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的緩存中讀/寫數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)交互。2.根據(jù)權(quán)利要求1所述的虛擬存儲(chǔ)高速傳輸方法，其特征在于:在實(shí)現(xiàn)數(shù)據(jù)交互過程中對寫的數(shù)據(jù)先寫入更快的硬盤中，然后將更快的硬盤與普通磁盤同步。3.根據(jù)權(quán)利要求2所述的虛擬存儲(chǔ)高速傳輸方法，其特征在于:所述步驟I)包括以下步驟: 1-1)客戶端將卷名信息發(fā)送給所述存儲(chǔ)集群中任意的一臺存儲(chǔ)主機(jī)； 1-2)所述存儲(chǔ)主機(jī)接收卷名信息后，解析該卷名信息，從中得到該存儲(chǔ)主機(jī)的存儲(chǔ)卷的分布信息，然后將所述存儲(chǔ)卷的分布信息返回給客戶端； 1-3)客戶端獲得所述存儲(chǔ)卷的分布信息后，所述數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)即被定位。4.根據(jù)權(quán)利要求1或2或3所述的虛擬存儲(chǔ)高速傳輸方法，其特征在于:所述步驟2)包括以下步驟: 2-1)客戶端從數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的緩存中寫數(shù)據(jù)，包括以下具體步驟: 2-1-1)客戶端收到返回的所述數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的位置信息后，向數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)發(fā)送寫1操作； 2-1-2)所述數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)內(nèi)的虛擬存儲(chǔ)引擎收到客戶端發(fā)送的寫1操作時(shí)，會(huì)將寫1操作緩存在更快的硬盤的cache內(nèi)，完成本節(jié)點(diǎn)寫1操作。5.根據(jù)權(quán)利要求4所述的虛擬存儲(chǔ)高速傳輸方法，其特征在于:所述數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)內(nèi)的虛擬存儲(chǔ)引擎還會(huì)周期將緩存在更快的硬盤的cache中的寫1操作的數(shù)據(jù)批量寫入到普通硬盤。6.根據(jù)權(quán)利要求4所述的虛擬存儲(chǔ)高速傳輸方法，其特征在于:所述步驟2)還包括以下步驟: 2-2)客戶端從數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的緩存中讀數(shù)據(jù)，包括以下具體步驟: 2-2-1)所述數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的虛擬存儲(chǔ)引擎接收客戶端發(fā)送的讀1操作； 2-2-2)所述數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的虛擬存儲(chǔ)引擎從數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的內(nèi)存“讀cache”中查找是否存在所需1數(shù)據(jù)，如果存在，則直接返回，同時(shí)調(diào)整所需1數(shù)據(jù)到數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的內(nèi)存“讀cache”LRU隊(duì)首，否則執(zhí)行步驟2-2-3)； 2-2-3)從數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)內(nèi)更快的硬盤的“讀cache”中查找是否存在所需1數(shù)據(jù)，如果存在，則直接返回，同時(shí)增加該所需1數(shù)據(jù)的熱點(diǎn)訪問因子，否則執(zhí)行步驟2-2-4)； 2-2-4)從數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)內(nèi)更快的硬盤的“寫cache”中查找是否存在所需1數(shù)據(jù)，如果存在，則直接返回，同時(shí)增加所需1數(shù)據(jù)的熱點(diǎn)訪問因子;如果所需1數(shù)據(jù)的熱點(diǎn)訪問因子達(dá)到閾值，則當(dāng)前建立的所需1數(shù)據(jù)被緩存在數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)內(nèi)更快的硬盤的“讀cache”中；如果不存在，執(zhí)行步驟2-2-5); 2-2-5)從數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)內(nèi)普通硬盤中查找到所需1數(shù)據(jù)并返回，同時(shí)增加該所需1數(shù)據(jù)的熱點(diǎn)訪問因子，如果熱點(diǎn)訪問因子達(dá)到閾值，所需1數(shù)據(jù)會(huì)被緩存在數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)內(nèi)更快的硬盤的“讀cache”中。7.根據(jù)權(quán)利要求1或2或3或5所述的虛擬存儲(chǔ)高速傳輸方法，其特征在于:所述步驟2)還包括以下步驟: 2-2)客戶端從數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的緩存中讀數(shù)據(jù)，包括以下具體步驟: 2-2-1)所述數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的虛擬存儲(chǔ)引擎接收客戶端發(fā)送的讀1操作； 2-2-2)所述數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的虛擬存儲(chǔ)引擎從數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的內(nèi)存“讀cache”中查找是否存在所需1數(shù)據(jù)，如果存在，則直接返回，同時(shí)調(diào)整所需1數(shù)據(jù)到數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的內(nèi)存“讀cache”LRU隊(duì)首，否則執(zhí)行步驟2-2-3)； 2-2-3)從數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)內(nèi)更快的硬盤的“讀cache”中查找是否存在所需1數(shù)據(jù)，如果存在，則直接返回，同時(shí)增加該所需1數(shù)據(jù)的熱點(diǎn)訪問因子，否則執(zhí)行步驟2-2-4)； 2-2-4)從數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)內(nèi)更快的硬盤的“寫cache”中查找是否存在所需1數(shù)據(jù)，如果存在，則直接返回，同時(shí)增加所需1數(shù)據(jù)的熱點(diǎn)訪問因子;如果所需1數(shù)據(jù)的熱點(diǎn)訪問因子達(dá)到閾值，則當(dāng)前建立的所需1數(shù)據(jù)被緩存在數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)內(nèi)更快的硬盤的“讀cache”中；如果不存在，執(zhí)行步驟2-2-5); 2-2-5)從普通硬盤中查找到所需1數(shù)據(jù)并返回，同時(shí)增加該所需1數(shù)據(jù)的熱點(diǎn)訪問因子，如果熱點(diǎn)訪問因子達(dá)到閾值，所需1數(shù)據(jù)會(huì)被緩存在數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)內(nèi)更快的硬盤的“讀cache”中。8.根據(jù)權(quán)利要求1或2或3或5或6所述的虛擬存儲(chǔ)高速傳輸方法，其特征在于:所述更快的硬盤采用SSD。9.根據(jù)權(quán)利要求1或2或3或5或6所述的虛擬存儲(chǔ)高速傳輸方法，其特征在于:所述客戶端與存儲(chǔ)集群之間的網(wǎng)絡(luò)傳輸采用RDMA協(xié)議的inf inband實(shí)現(xiàn)。
【專利摘要】本發(fā)明公開了虛擬存儲(chǔ)高速傳輸方法，通過構(gòu)建存儲(chǔ)集群，利用多級緩存機(jī)制實(shí)現(xiàn)數(shù)據(jù)的高速傳輸，包括：通過客戶端尋址，獲取存儲(chǔ)集群內(nèi)數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)：客戶端將卷名信息發(fā)送給存儲(chǔ)集群中任意的一臺存儲(chǔ)主機(jī)；存儲(chǔ)主機(jī)解析該卷名信息，從中得到該存儲(chǔ)主機(jī)的存儲(chǔ)卷的分布信息，然后將所述存儲(chǔ)卷的分布信息返回給客戶端；數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)即被定位；客戶端從數(shù)據(jù)的真實(shí)位置所在存儲(chǔ)主機(jī)的緩存中讀/寫數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)交互；在實(shí)現(xiàn)數(shù)據(jù)交互過程中對寫的數(shù)據(jù)先寫入更快的硬盤中，然后將更快的硬盤與普通磁盤同步；通過更新現(xiàn)有的數(shù)據(jù)傳輸緩存機(jī)制，采用多緩存機(jī)制的方式進(jìn)行數(shù)據(jù)高速傳輸，能夠在很大程度上提高傳輸速度。
【IPC分類】G06F3/06
【公開號】CN105589664
【申請?zhí)枴緾N201511006361
【發(fā)明人】張捷, 牟俊, 許成林, 楊劍
【申請人】四川中電啟明星信息技術(shù)有限公司
【公開日】2016年5月18日
【申請日】2015年12月29日