其中，單任務(wù)I/o并發(fā)處理模塊，用于在所述業(yè)務(wù)邏輯層模塊決策出的處理操作為針對單任務(wù)的I/o處理操作時，控制單任務(wù)的I/O并發(fā)處理，并在執(zhí)行完單任務(wù)的I/O并發(fā)處理后，會將最終的處理結(jié)果反饋給業(yè)務(wù)邏輯層模塊； 檢索模塊，用于在所述業(yè)務(wù)邏輯層模塊決策出的處理操作為數(shù)據(jù)檢索時，執(zhí)行數(shù)據(jù)檢索以找到最終的檢索結(jié)果，并將最終的檢索結(jié)果反饋給業(yè)務(wù)邏輯層模塊。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于， 所述業(yè)務(wù)邏輯層模塊接收的所述應(yīng)用報文是由所述網(wǎng)絡(luò)設(shè)備在所述應(yīng)用報文對應(yīng)的處理滿足設(shè)定條件時發(fā)送的； 其中，所述設(shè)定條件為所述應(yīng)用報文對應(yīng)的處理占用所述網(wǎng)絡(luò)設(shè)備的CPU資源大于設(shè)定閾值。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述業(yè)務(wù)邏輯層模塊利用預(yù)先針對至少一個應(yīng)用協(xié)議建立的應(yīng)用協(xié)議模型對所述應(yīng)用報文的應(yīng)用進行分類識別，和/或， 所述業(yè)務(wù)邏輯層模塊對所述應(yīng)用報文的數(shù)據(jù)特征進行識別，并通過預(yù)設(shè)的具有狀態(tài)的特征狀態(tài)機對所述應(yīng)用報文的數(shù)據(jù)特征進行跟蹤，以精確識別出所述應(yīng)用報文的應(yīng)用。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理層模塊采用一個主節(jié)點Master和至少一個數(shù)據(jù)節(jié)點Slave相結(jié)合的架構(gòu)實現(xiàn)； 所述單任務(wù)I/O并發(fā)處理模塊包括:分布在所述Master上的存儲管理平臺、存儲客戶端Client ;以及包括分布在每一 Slave上的存儲客戶端、對象存儲模塊； 所述存儲管理平臺，用于管理整個文件系統(tǒng)； 所述Master上的存儲客戶端，用于同所述存儲管理平臺交互，確定需要執(zhí)行單任務(wù)I/O并發(fā)處理的對象； 每一 Slave上的存儲客戶端，用于提供文件系統(tǒng)的訪問，并與對象存儲模塊進行文件數(shù)據(jù)的交互執(zhí)行I/O并發(fā)處理； 每一 Slave上的對象存儲模塊是以對象為基本單位進行數(shù)據(jù)存儲，而對象對應(yīng)的元數(shù)據(jù)存放于對象存儲模塊相關(guān)聯(lián)的元數(shù)據(jù)存儲模塊上； 所述檢索模塊包括:分布在Master上的作業(yè)調(diào)度管理模塊、特征匹配模塊、以及分布在各個Slave上的各個作業(yè)模塊； Master上的存儲客戶端在進行數(shù)據(jù)檢索時，提交檢索作業(yè)至作業(yè)調(diào)度管理模塊； 所述作業(yè)調(diào)度管理模塊接收到檢索作業(yè)，將所述檢索作業(yè)調(diào)度分配至一個以上作業(yè)模塊； 所述作業(yè)模塊，接收所述作業(yè)調(diào)度管理模塊的調(diào)度，并從對象存儲模塊中獲取對應(yīng)的特征數(shù)據(jù)； 特征匹配模塊，用于對所述作業(yè)模塊獲取的所述特征數(shù)據(jù)進行映射化簡運算得到最終的檢索結(jié)果，并返回給所述網(wǎng)絡(luò)設(shè)備。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理層模塊中，Master與Slave之間、Slave與Slave之間采用硬鏈接的方式進行連接； 其中，所述Master與Slave之間采用硬鏈接的方式進行連接為:所述Master與Slave之間直接通信，不由第三方設(shè)備轉(zhuǎn)發(fā)； Slave與Slave之間采用硬鏈接的方式進行連接為:Slave與Slave之間直接通信,不由第三方設(shè)備轉(zhuǎn)發(fā)。
6.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述特征匹配模塊包括:映射模塊和化簡模塊； 所述映射模塊用于將各個作業(yè)模塊獲取的特征數(shù)據(jù)進行分割得到特征數(shù)據(jù)片段，按照負載均衡原則將分割得到的特征數(shù)據(jù)片段作為映射任務(wù)分發(fā)至各個作業(yè)模塊； 所述作業(yè)模塊讀取接收的映射任務(wù)對應(yīng)的特征數(shù)據(jù)片段，根據(jù)需求將讀取的特征數(shù)據(jù)片段分解為一個個以鍵值Key/Value對形式存在的特征數(shù)據(jù)，并調(diào)用自定義的映射函數(shù)對每一 Key/Value對進行處理,得到每一 Key/Value對的中間Key/Value對并輸出至化簡模塊；其中，特征數(shù)據(jù)的Key是以特征數(shù)據(jù)在讀取的特征數(shù)據(jù)片段中偏移的距離，特征數(shù)據(jù)的Value就是特征數(shù)據(jù)； 化簡模塊，接收各個中間Key/Value對，對接收的各個中間Key/Value對進行分區(qū)，將各個中間Key/Value對中Key值相同的Value合并,得到合并Key/Value對,將得到的合并Key/Value對進行匯總、排序得到最終檢索結(jié)果，并返回給所述網(wǎng)絡(luò)設(shè)備。
7.一種數(shù)據(jù)處理方法，其特征在于，該方法應(yīng)用于如權(quán)利要求1至6任一所述的數(shù)據(jù)處理系統(tǒng)，包括: 業(yè)務(wù)邏輯層模塊接收任一網(wǎng)絡(luò)設(shè)備轉(zhuǎn)發(fā)的原本由該網(wǎng)絡(luò)設(shè)備處理的應(yīng)用報文； 所述業(yè)務(wù)邏輯層模塊對所述應(yīng)用報文的應(yīng)用進行分類識別，并依據(jù)識別結(jié)果決策出對所述應(yīng)用報文進行的處理操作； 數(shù)據(jù)處理層模塊的單任務(wù)讀/寫(I/o)并發(fā)處理模塊在所述業(yè)務(wù)邏輯層模塊決策出的處理操作為針對單任務(wù)的I/o處理操作時，控制單任務(wù)的I/O并發(fā)處理，并在執(zhí)行完單任務(wù)的I/o并發(fā)處理后，會將最終的處理結(jié)果反饋給業(yè)務(wù)邏輯層模塊； 數(shù)據(jù)處理層模塊的檢索模塊在所述業(yè)務(wù)邏輯層模塊決策出的處理操作為數(shù)據(jù)檢索時，執(zhí)行數(shù)據(jù)檢索以找到最終的檢索結(jié)果，并將最終的檢索結(jié)果反饋給業(yè)務(wù)邏輯層模塊； 業(yè)務(wù)邏輯層模塊接收數(shù)據(jù)處理層模塊反饋的處理結(jié)果，并依據(jù)處理結(jié)果繼續(xù)決策出對應(yīng)的處理操作。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述業(yè)務(wù)邏輯層模塊接收的所述應(yīng)用報文是由所述網(wǎng)絡(luò)設(shè)備在所述應(yīng)用報文對應(yīng)的處理滿足設(shè)定條件時發(fā)送的； 其中，所述設(shè)定條件為所述應(yīng)用報文對應(yīng)的處理占用所述網(wǎng)絡(luò)設(shè)備的CPU資源大于設(shè)定閾值。
9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述業(yè)務(wù)邏輯層模塊對所述應(yīng)用報文的應(yīng)用進行分類識別包括: 所述業(yè)務(wù)邏輯層模塊利用預(yù)先針對至少一個應(yīng)用協(xié)議建立的應(yīng)用協(xié)議模型對所述應(yīng)用報文的應(yīng)用進行分類識別，和/或， 所述業(yè)務(wù)邏輯層模塊對所述應(yīng)用報文的數(shù)據(jù)特征進行識別，并通過預(yù)設(shè)的具有狀態(tài)的特征狀態(tài)機對所述應(yīng)用報文的數(shù)據(jù)特征進行跟蹤，以精確識別出所述應(yīng)用報文的應(yīng)用。
10.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述數(shù)據(jù)處理層模塊采用一個主節(jié)點Master和至少一個數(shù)據(jù)節(jié)點Slave相結(jié)合的架構(gòu)實現(xiàn)； 所述單任務(wù)I/O并發(fā)處理模塊包括:分布在所述Master上的存儲管理平臺、存儲客戶端Client ;以及包括分布在每一 Slave上的存儲客戶端、對象存儲模塊； 所述單任務(wù)I/O并發(fā)處理模塊控制單任務(wù)的I/O并發(fā)處理包括: 所述Master上的存儲客戶端同Master上的存儲管理平臺交互以從存儲管理平臺確定需要執(zhí)行所述I/O并發(fā)處理的文件數(shù)據(jù)對應(yīng)的對象，將確定的對象發(fā)送給存儲了所述對象的Slave上的存儲客戶端； Slave上的存儲客戶端同本Slave上的對象存儲模塊交互執(zhí)行I/O并發(fā)處理；其中，Slave上的對象存儲模塊，用于以對象為單位存儲數(shù)據(jù)，而對象對應(yīng)的文件的數(shù)據(jù)存儲至對象存儲模塊相關(guān)聯(lián)的元數(shù)據(jù)存儲模塊； 所述檢索模塊包括:分布在Master上的作業(yè)調(diào)度管理模塊、特征匹配模塊、以及分布在各個Slave上的各個作業(yè)模塊；所述檢索模塊執(zhí)行數(shù)據(jù)檢索包括: Master上的存儲客戶端在進行數(shù)據(jù)檢索時，提交檢索作業(yè)至作業(yè)調(diào)度管理模塊； 所述作業(yè)調(diào)度管理模塊接收到檢索作業(yè)，將所述檢索作業(yè)調(diào)度分配至一個以上作業(yè)模塊； 所述作業(yè)模塊接收所述作業(yè)調(diào)度管理模塊的調(diào)度，并從對象存儲模塊中獲取對應(yīng)的特征數(shù)據(jù)； 所述特征匹配模塊對所述作業(yè)模塊獲取的所述特征數(shù)據(jù)進行映射化簡運算得到最終的檢索結(jié)果，并返回給所述網(wǎng)絡(luò)設(shè)備。
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述數(shù)據(jù)處理層模塊中，Master與Slave之間、Slave與Slave之間采用硬鏈接的方式進行連接； 其中，所述Master與Slave之間采用硬鏈接的方式進行連接為:所述Master與Slave之間直接通信，不由第三方設(shè)備轉(zhuǎn)發(fā)； Slave與Slave之間采用硬鏈接的方式進行連接為:Slave與Slave之間直接通信,不由第三方設(shè)備轉(zhuǎn)發(fā)。
12.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述特征匹配模塊對所述作業(yè)模塊獲取的所述特征數(shù)據(jù)進行映射化簡運算得到最終的檢索結(jié)果，并返回給所述網(wǎng)絡(luò)設(shè)備包括: 將各個作業(yè)模塊獲取的特征數(shù)據(jù)進行分割，得到特征數(shù)據(jù)片段，按照負載均衡原則將分割得到的特征數(shù)據(jù)片段作為映射任務(wù)分發(fā)至各個作業(yè)模塊，以由所述作業(yè)模塊讀取接收的映射任務(wù)對應(yīng)的特征數(shù)據(jù)片段，根據(jù)需求將讀取的特征數(shù)據(jù)片段分解為一個個以鍵值Key/Value對形式存在的特征數(shù)據(jù)，并調(diào)用自定義的映射函數(shù)對每一 Key/Value對進行處理，得到每一 Key/Value對的中間Key/Value對并輸出至化簡模塊；其中，特征數(shù)據(jù)的Key是以特征數(shù)據(jù)在讀取的特征數(shù)據(jù)片段中偏移的距離，特征數(shù)據(jù)的Value就是特征數(shù)據(jù)；接收各個中間Key/Value對，對接收的各個中間Key/Value對進行分區(qū)，將各個中間Key/Value對中Key值相同的Value合并，得到合并Key/Value對,將得到的合并Key/Value對進行匯總、排序得到最終檢索結(jié)果，并返回給所述網(wǎng)絡(luò)設(shè)備。
【專利摘要】本申請?zhí)峁┝藬?shù)據(jù)處理方法及數(shù)據(jù)處理系統(tǒng)。本發(fā)明中，通過數(shù)據(jù)處理層模塊中的客戶端模塊處理文件系統(tǒng)的訪問，而不再是像現(xiàn)有技術(shù)中的網(wǎng)絡(luò)設(shè)備通過本地的操作系統(tǒng)和原存儲系統(tǒng)進行處理，這樣可以將多個計算任務(wù)并發(fā)輸出到多個對像存儲模塊上，同時，利用硬鏈接功能減少磁盤阻塞的可能性。
【IPC分類】H04L29-06, H04L12-70, G06F9-50
【公開號】CN104618304
【申請?zhí)枴緾N201310535210
【發(fā)明人】魏新喆, 任澤全, 孫曉軍
【申請人】杭州華三通信技術(shù)有限公司
【公開日】2015年5月13日
【申請日】2013年11月1日
【公告號】WO2015062536A1