、特征匹配模塊、以及分布在各個Slave上的各個作業(yè)模塊。
[0091]其中，當(dāng)進(jìn)行數(shù)據(jù)檢索時，Master上的存儲客戶端提交檢索作業(yè)至作業(yè)調(diào)度管理模塊；
[0092]所述作業(yè)調(diào)度管理模塊接收到檢索作業(yè)，將所述檢索作業(yè)調(diào)度分配至一個以上作業(yè)模塊；
[0093]所述作業(yè)模塊，接收所述作業(yè)調(diào)度管理模塊的調(diào)度，并從對象存儲模塊中獲取對應(yīng)的特征數(shù)據(jù)；
[0094]特征匹配模塊，用于對所述作業(yè)模塊獲取的所述特征數(shù)據(jù)進(jìn)行映射化簡運(yùn)算得到最終的檢索結(jié)果，并返回給所述網(wǎng)絡(luò)設(shè)備。
[0095]本發(fā)明中,特征匹配模塊采用映射(Map)和化簡(Reduce)方式實(shí)現(xiàn)最終檢索結(jié)果的檢索，具體包括:映射模塊和化簡模塊；
[0096]所述映射模塊，用于將各個作業(yè)模塊獲取的特征數(shù)據(jù)進(jìn)行分割，得到特征數(shù)據(jù)片段，按照負(fù)載均衡原則將分割得到的特征數(shù)據(jù)片段作為映射任務(wù)分發(fā)至各個作業(yè)模塊；
[0097]所述作業(yè)模塊讀取接收的映射任務(wù)對應(yīng)的特征數(shù)據(jù)片段，根據(jù)需求將讀取的特征數(shù)據(jù)片段分解為一個個以鍵值Key/Value對形式存在的特征數(shù)據(jù)，并調(diào)用自定義的映射函數(shù)對每一 Key/Value對進(jìn)行處理,得到每一 Key/Value對的中間Key/Value對并輸出至化簡模塊；其中，特征數(shù)據(jù)的Key是以特征數(shù)據(jù)在讀取的特征數(shù)據(jù)片段中偏移的距離，特征數(shù)據(jù)的Value就是特征數(shù)據(jù)；
[0098]化簡模塊，接收各個中間Key/Value對，對接收的各個中間Key/Value對進(jìn)行分區(qū)，將各個中間Key/Value對中Key值相同的Value合并,得到合并Key/Value對,將得到的合并Key/Value對進(jìn)行匯總、排序得到最終檢索結(jié)果，并返回給所述網(wǎng)絡(luò)設(shè)備。
[0099]對應(yīng)于圖6所示的特征匹配模塊的實(shí)現(xiàn)結(jié)構(gòu)，圖7示出了特征匹配的實(shí)現(xiàn)流程圖。在圖7中，特征匹配的流程包括:
[0100]數(shù)據(jù)分割:所述特征匹配模塊將各個作業(yè)模塊從所述特征庫存儲模塊中獲取的特征數(shù)據(jù)進(jìn)行分割，得到特征數(shù)據(jù)片段；
[0101]Map輸入:所述特征匹配模塊按照負(fù)載均衡原則將分割得到的特征數(shù)據(jù)片段作為映射(Map)任務(wù)分發(fā)或輸入至各個作業(yè)模塊；
[0102]Map輸出、復(fù)制Map輸出:所述作業(yè)模塊讀取接收的映射任務(wù)對應(yīng)的特征數(shù)據(jù)片段，根據(jù)需求將讀取的特征數(shù)據(jù)片段分解為一個個以鍵值Key/Value對形式存在的特征數(shù)據(jù)，并調(diào)用自定義的映射函數(shù)對每一 Key/Value對進(jìn)行處理，得到并復(fù)制每一 Key/Value對的中間Key/Value對并輸出至化簡模塊；其中，特征數(shù)據(jù)的Key是以特征數(shù)據(jù)在讀取的特征數(shù)據(jù)片段中偏移的距離，特征數(shù)據(jù)的Value就是特征數(shù)據(jù)；
[0103]合并Key/Value對:所述特征匹配模塊接收各個中間Key/Value對,對接收的各個中間Key/Value對進(jìn)行分區(qū),將各個中間Key/Value對中Key值相同的Value合并,得到合并 Key/Value 對；
[0104]Reduce輸入:所述特征匹配模塊將得到的合并Key/Value對進(jìn)行匯總、排序得到最終檢索結(jié)果；
[0105]Reduce輸出:所述特征匹配模塊將得到的最終檢索結(jié)果返回給所述網(wǎng)絡(luò)設(shè)備。
[0106]通過上面描述可以看出，本發(fā)明在實(shí)現(xiàn)數(shù)據(jù)檢索時，運(yùn)用大數(shù)據(jù)集群處理技術(shù)，結(jié)合目前網(wǎng)絡(luò)設(shè)備中的檢索技術(shù)，在大數(shù)據(jù)集群系統(tǒng)中通過計算處理框架，將應(yīng)用的檢索需求分配給集群中的“空閑”節(jié)點(diǎn)進(jìn)行處理，從而解決高并發(fā)訪問以及海量數(shù)據(jù)處理帶來的實(shí)時性問題，并提供可靠的檢索服務(wù)。
[0107]至此，完成圖7所示的特征匹配的流程。
[0108]以上對本發(fā)明提供的數(shù)據(jù)處理系統(tǒng)和方法進(jìn)行了描述。下面以應(yīng)用于入侵防御為例對本發(fā)明提供的數(shù)據(jù)處理系統(tǒng)進(jìn)行實(shí)例描述:
[0109]參見圖8，圖8為本發(fā)明提供的網(wǎng)絡(luò)設(shè)備與本發(fā)明的數(shù)據(jù)處理系統(tǒng)相結(jié)合實(shí)現(xiàn)入侵防御的結(jié)構(gòu)圖。在入侵防御技術(shù)中，UAAE、OCIF兩個操作在運(yùn)行時幾乎占用了網(wǎng)絡(luò)設(shè)備的所有CPU資源，這會導(dǎo)致網(wǎng)絡(luò)設(shè)備沒有多余的CPU資源處理其他操作，影響其他業(yè)務(wù)進(jìn)程的處理。
[0110]針對這種情況，本發(fā)明在目前網(wǎng)絡(luò)設(shè)備的實(shí)現(xiàn)原理的基礎(chǔ)上，將運(yùn)行時占用CPU資源較高的UAAE、OCIF兩個操作移出來，放到本發(fā)明中的數(shù)據(jù)處理系統(tǒng)中進(jìn)行處理，具體如圖8所示。
[0111]如圖8所示，網(wǎng)絡(luò)設(shè)備接收到應(yīng)用于入侵防御的應(yīng)用報文時，先執(zhí)行如圖8所示的初期處理所包含的各個步驟。其中，該圖8所示的初期處理所包含的各個步驟為現(xiàn)有技術(shù)，
這里不再一一贅述。
[0112]之后，當(dāng)網(wǎng)絡(luò)設(shè)備將執(zhí)行完初期處理后的應(yīng)用報文發(fā)送給圖8所示本發(fā)明數(shù)據(jù)處理系統(tǒng)中的業(yè)務(wù)邏輯層模塊。
[0113]業(yè)務(wù)邏輯層模塊接收到經(jīng)由網(wǎng)絡(luò)設(shè)備初期處理的應(yīng)用報文后，通過已建立的應(yīng)用協(xié)議模型進(jìn)行應(yīng)用協(xié)議解析以進(jìn)行應(yīng)用識別UAAE。
[0114]進(jìn)一步地，如圖8所示，為精確執(zhí)行UAAE，業(yè)務(wù)邏輯層模塊還會對所述應(yīng)用報文的數(shù)據(jù)特征進(jìn)行識別，并通過預(yù)設(shè)的具有狀態(tài)的特征狀態(tài)機(jī)對所述應(yīng)用報文的數(shù)據(jù)特征進(jìn)行跟蹤，以精確執(zhí)行UAAE。
[0115]同時，業(yè)務(wù)邏輯層模塊還依賴UAAE結(jié)果對接收的應(yīng)用報文進(jìn)行智能決策。
[0116]一種決策結(jié)果是，業(yè)務(wù)邏輯層模塊對應(yīng)用報文直接執(zhí)行0CIF，將執(zhí)行完OCIF的應(yīng)用報文發(fā)送給數(shù)據(jù)處理層模塊；
[0117]另一種決策結(jié)果是:業(yè)務(wù)邏輯層模塊直接將應(yīng)用報文發(fā)送給數(shù)據(jù)處理層模塊。圖8分別示出了這兩種決策結(jié)果。
[0118]當(dāng)圖8所示本發(fā)明數(shù)據(jù)處理系統(tǒng)中的數(shù)據(jù)處理層模塊收到來自業(yè)務(wù)邏輯層模塊發(fā)送的應(yīng)用報文時，對該應(yīng)用報文進(jìn)行檢索和/或單任務(wù)I/o并發(fā)處理。
[0119]在數(shù)據(jù)處理層模塊對應(yīng)用報文進(jìn)行檢索時，圖8所示Master上的存儲客戶端提交檢索作業(yè)至作業(yè)調(diào)度管理模塊；
[0120]當(dāng)作業(yè)調(diào)度管理模塊接收到檢索作業(yè)時，作業(yè)調(diào)度管理模塊控制所述檢索作業(yè)調(diào)度分配至一個以上作業(yè)模塊；
[0121]作業(yè)模塊接收所述作業(yè)調(diào)度管理模塊的調(diào)度，并從所處Slave的對象存儲模塊中獲取對應(yīng)的特征數(shù)據(jù)；
[0122]特征匹配模塊，用于對所述作業(yè)模塊獲取的所述特征數(shù)據(jù)進(jìn)行映射化簡運(yùn)算得到最終的檢索結(jié)果；
[0123]當(dāng)數(shù)據(jù)處理層模塊完成檢索時，數(shù)據(jù)處理層模塊會反饋檢索的結(jié)果給業(yè)務(wù)邏輯層模塊。
[0124]在數(shù)據(jù)處理層模塊對應(yīng)用報文進(jìn)行單任務(wù)I/O并發(fā)處理時，圖8所示Master上的存儲客戶端同存儲管理平臺交互以從存儲管理平臺確定需要執(zhí)行所述I/O并發(fā)處理的文件數(shù)據(jù)對應(yīng)的對象，將確定的對象發(fā)送給存儲了所述對象的Slave上的存儲客戶端；
[0125]Slave上的存儲客戶端同本Slave上的對象存儲模塊交互執(zhí)行I/O并發(fā)處理；其中，Slave上的對象存儲模塊，用于以對象為單位存儲數(shù)據(jù)，而對象對應(yīng)的文件的數(shù)據(jù)存儲至對象存儲模塊相關(guān)聯(lián)的元數(shù)據(jù)存儲模塊。
[0126]當(dāng)數(shù)據(jù)處理層模塊完成單任務(wù)I/O并發(fā)處理時，數(shù)據(jù)處理層模塊會反饋結(jié)果給業(yè)務(wù)邏輯層模塊。
[0127]當(dāng)業(yè)務(wù)邏輯層模塊收到數(shù)據(jù)處理層模塊反饋的結(jié)果時，一種方式是直接對該反饋的結(jié)果進(jìn)行智能決策。另一種方式是先對反饋的結(jié)果執(zhí)行0CIF，之后對執(zhí)行完OCIF的結(jié)果進(jìn)行智能決策。
[0128]優(yōu)選地，本發(fā)明中，業(yè)務(wù)邏輯層模塊在對該反饋的結(jié)果進(jìn)行智能決策時，或者在對執(zhí)行完OCIF的結(jié)果進(jìn)行智能決策時，會結(jié)合當(dāng)前的應(yīng)用環(huán)境分析進(jìn)行智能決策，當(dāng)決策出需要網(wǎng)絡(luò)設(shè)備執(zhí)行相應(yīng)的操作時，會通知網(wǎng)絡(luò)設(shè)備執(zhí)行相應(yīng)的操作，而當(dāng)決策出需要數(shù)據(jù)處理層模塊執(zhí)行相應(yīng)的操作時，會通知給數(shù)據(jù)處理層模塊執(zhí)行相應(yīng)的操作。
[0129]至此，完成圖8所示的結(jié)構(gòu)描述。
[0130]由以上技術(shù)方案可以看出，本發(fā)明中，業(yè)務(wù)邏輯層模塊能夠?qū)ΨN類繁多的應(yīng)用協(xié)議進(jìn)行模型化，分類進(jìn)行識別，同時在模型化識別的基礎(chǔ)上進(jìn)行智能決策，這能夠提高數(shù)據(jù)處理精度；
[0131]并且，本發(fā)明中，客戶端模塊、文件系統(tǒng)管理模塊和各個對象存儲模塊之間采用硬鏈接來替代現(xiàn)有技術(shù)常用的HTTP傳輸，在需要訪問文件系統(tǒng)時通過客戶端模塊訪問，可以有效減少網(wǎng)絡(luò)風(fēng)暴，分散網(wǎng)絡(luò)流量，減小出現(xiàn)網(wǎng)絡(luò)瓶頸的可能性；
[0132]還有，本發(fā)明中，通過數(shù)據(jù)處理層模塊中的客戶端模塊處理文件系統(tǒng)的訪問，而不再是像現(xiàn)有技術(shù)中的網(wǎng)絡(luò)設(shè)備通過本地的操作系統(tǒng)和原存儲系統(tǒng)進(jìn)行處理，這樣可以將多個計算任務(wù)并發(fā)輸出到多個對像存儲模塊上，減少磁盤阻塞的可能性。
[0133]進(jìn)一步地，本發(fā)明在進(jìn)行特征數(shù)據(jù)檢索時，本發(fā)明將原本由目前網(wǎng)絡(luò)設(shè)備執(zhí)行的數(shù)據(jù)檢索放在獨(dú)立于網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)處理系統(tǒng)來執(zhí)行，即充分利用目前網(wǎng)絡(luò)設(shè)備以外的資源進(jìn)行分擔(dān)網(wǎng)絡(luò)設(shè)備CPU資源，從而提高網(wǎng)絡(luò)設(shè)備資源利用率。
[0134]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)的范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)處理系統(tǒng)包括: 業(yè)務(wù)邏輯層模塊，用于接收到任一網(wǎng)絡(luò)設(shè)備轉(zhuǎn)發(fā)的應(yīng)用報文時，對所述應(yīng)用報文的應(yīng)用進(jìn)行分類識別，并依據(jù)識別結(jié)果決策出對所述應(yīng)用報文進(jìn)行的處理操作；以及接收數(shù)據(jù)處理層模塊反饋的處理結(jié)果，并依據(jù)處理結(jié)果決策出對應(yīng)的處理操作； 數(shù)據(jù)處理層模塊，包括單任務(wù)讀/寫(I/O)并發(fā)處理模塊和檢索模塊；