檢索時(shí)，執(zhí)行數(shù)據(jù)檢索以找到最終的檢索結(jié)果，并將最終的檢索結(jié)果反饋給業(yè)務(wù)邏輯層模塊。
[0047]至此，完成圖2所示系統(tǒng)的描述。
[0048]對(duì)應(yīng)于圖2所示的系統(tǒng)，優(yōu)選地，本發(fā)明還提供了數(shù)據(jù)處理系統(tǒng)所運(yùn)行的硬件結(jié)構(gòu)描述。參見(jiàn)圖3，圖3為本發(fā)明實(shí)施例提供的數(shù)據(jù)處理系統(tǒng)所運(yùn)行的硬件結(jié)構(gòu)示意圖。
[0049]本發(fā)明中，數(shù)據(jù)處理系統(tǒng)中的數(shù)據(jù)處理層模塊可由多個(gè)系統(tǒng)節(jié)點(diǎn)組成的，具體是由主節(jié)點(diǎn)(Master)和至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)(Slave)相結(jié)合的架構(gòu)實(shí)現(xiàn)。圖3所示的本發(fā)明提供的數(shù)據(jù)處理系統(tǒng)的硬件結(jié)構(gòu)具體進(jìn)行了示出。而數(shù)據(jù)處理層模塊中的單任務(wù)I/O并發(fā)處理模塊和檢索模塊就分布在圖3所示的Master和至少一個(gè)Slave上，這在圖3未示出，下文會(huì)通過(guò)圖5、圖6進(jìn)行詳細(xì)描述。
[0050]在本發(fā)明中，作為一個(gè)實(shí)施例，數(shù)據(jù)處理系統(tǒng)中的業(yè)務(wù)邏輯層模塊可以集成在上述的Master上實(shí)現(xiàn)；而作為本發(fā)明另一實(shí)施例，數(shù)據(jù)處理系統(tǒng)中的業(yè)務(wù)邏輯層模塊也可以通過(guò)一個(gè)單獨(dú)的虛擬機(jī)作為上述Master的上游設(shè)備實(shí)現(xiàn)。圖3以業(yè)務(wù)邏輯層模塊作為Master的上游設(shè)備實(shí)現(xiàn)為例示出的。
[0051]需要說(shuō)明的是，圖3所示的Master和Salve之間，以及Slave與Slave之間采用硬鏈接的方式進(jìn)行連接。
[0052]這里,所述Master與Slave之間采用硬鏈接的方式進(jìn)行連接為:所述Master與Slave之間直接通信，不由第三方設(shè)備轉(zhuǎn)發(fā)；
[0053]Slave與Slave之間采用硬鏈接的方式進(jìn)行連接為:Slave與Slave之間直接通信，不由第三方設(shè)備轉(zhuǎn)發(fā)。
[0054]本發(fā)明中，由于Master與Slave之間、Slave與Slave之間采用硬鏈接來(lái)替代現(xiàn)有技術(shù)常用的HTTP傳輸，這樣能夠保證單任務(wù)I/O并發(fā)處理，也能有效減少網(wǎng)絡(luò)風(fēng)暴，分散網(wǎng)絡(luò)流量，減小出現(xiàn)網(wǎng)絡(luò)瓶頸的可能性。
[0055]至此，完成本發(fā)明提供的數(shù)據(jù)處理系統(tǒng)所運(yùn)行的硬件結(jié)構(gòu)描述。
[0056]對(duì)應(yīng)于圖2所示的數(shù)據(jù)處理系統(tǒng)、以及圖3所示的數(shù)據(jù)處理系統(tǒng)所運(yùn)行的硬件結(jié)構(gòu)，本發(fā)明提供了數(shù)據(jù)處理系統(tǒng)的運(yùn)行流程圖。
[0057]參見(jiàn)圖4，圖4為本發(fā)明實(shí)施例提供的數(shù)據(jù)處理系統(tǒng)的運(yùn)行流程圖。如圖4所示，該流程可包括以下步驟:
[0058]步驟401，數(shù)據(jù)處理系統(tǒng)的業(yè)務(wù)邏輯層模塊接收任一網(wǎng)絡(luò)設(shè)備轉(zhuǎn)發(fā)的原本由該網(wǎng)絡(luò)設(shè)備處理的應(yīng)用報(bào)文。
[0059]如上所述，這里，所述網(wǎng)絡(luò)設(shè)備依據(jù)所述應(yīng)用報(bào)文本身的需求識(shí)別出針對(duì)該應(yīng)用報(bào)文的處理滿(mǎn)足設(shè)定條件時(shí)發(fā)送至數(shù)據(jù)處理系統(tǒng)的。
[0060]優(yōu)選地，所述設(shè)定條件包括但不限于:針對(duì)所述應(yīng)用報(bào)文的處理占用所述網(wǎng)絡(luò)設(shè)備的CPU資源大于設(shè)定閾值。這里，設(shè)定閾值可依據(jù)實(shí)際情況設(shè)置，其在設(shè)置時(shí)可考慮由網(wǎng)絡(luò)設(shè)備將所有原由本設(shè)備處理的所有應(yīng)用報(bào)文發(fā)送至本發(fā)明的數(shù)據(jù)處理系統(tǒng)，也可考慮由網(wǎng)絡(luò)設(shè)備僅將原本由本設(shè)備處理的部分應(yīng)用報(bào)文發(fā)送至本發(fā)明的數(shù)據(jù)處理系統(tǒng)，本發(fā)明并不具體限定。
[0061]步驟402，業(yè)務(wù)邏輯層模塊對(duì)所述應(yīng)用報(bào)文的應(yīng)用進(jìn)行分類(lèi)識(shí)別，并依據(jù)識(shí)別結(jié)果決策出對(duì)所述應(yīng)用報(bào)文進(jìn)行的處理操作。
[0062]另外，本步驟402中，如上所述，業(yè)務(wù)邏輯層模塊對(duì)所述應(yīng)用報(bào)文的應(yīng)用進(jìn)行分類(lèi)識(shí)別時(shí)，可利用預(yù)先針對(duì)至少一個(gè)應(yīng)用協(xié)議建立的應(yīng)用協(xié)議模型對(duì)所述應(yīng)用報(bào)文的應(yīng)用進(jìn)行分類(lèi)識(shí)別，和/或，對(duì)所述應(yīng)用報(bào)文的數(shù)據(jù)特征進(jìn)行識(shí)別，并通過(guò)預(yù)設(shè)的具有狀態(tài)的特征狀態(tài)機(jī)對(duì)所述應(yīng)用報(bào)文的數(shù)據(jù)特征進(jìn)行跟蹤，以精確識(shí)別出所述應(yīng)用報(bào)文的應(yīng)用。
[0063]步驟403，業(yè)務(wù)邏輯層模塊在決策出的處理操作需要數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)處理層模塊執(zhí)行時(shí)，通知給數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)處理層模塊，在決策出的處理操作需要網(wǎng)絡(luò)設(shè)備執(zhí)行時(shí)，通知給網(wǎng)絡(luò)設(shè)備執(zhí)行。
[0064]這里，由于在現(xiàn)有技術(shù)中網(wǎng)絡(luò)設(shè)備執(zhí)行所有的處理操作，如此，本發(fā)明中，當(dāng)業(yè)務(wù)邏輯層模塊決策出某一些處理操作需要網(wǎng)絡(luò)設(shè)備執(zhí)行時(shí)，其會(huì)通知給網(wǎng)絡(luò)設(shè)備，由網(wǎng)絡(luò)設(shè)備按照現(xiàn)有該處理操作對(duì)應(yīng)的方式進(jìn)行處理，這里不再具體描述，僅描述數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)處理層模塊執(zhí)行的操作。
[0065]步驟404，數(shù)據(jù)處理層模塊的單任務(wù)I/O并發(fā)處理模塊在所述業(yè)務(wù)邏輯層模塊決策出的處理操作為針對(duì)單任務(wù)的I/o處理操作時(shí)，控制單任務(wù)的I/O并發(fā)處理，并在執(zhí)行完單任務(wù)的I/o并發(fā)處理后，會(huì)將最終的處理結(jié)果反饋給業(yè)務(wù)邏輯層模塊；數(shù)據(jù)處理層模塊的檢索模塊在所述業(yè)務(wù)邏輯層模塊決策出的處理操作為數(shù)據(jù)檢索時(shí)，執(zhí)行數(shù)據(jù)檢索以找到最終的檢索結(jié)果，并將最終的檢索結(jié)果反饋給業(yè)務(wù)邏輯層模塊。
[0066]步驟405，業(yè)務(wù)邏輯層模塊接收數(shù)據(jù)處理層模塊反饋的處理結(jié)果，并依據(jù)處理結(jié)果決策出對(duì)應(yīng)的處理操作，返回至步驟403。
[0067]至此，完成圖4所示的流程。
[0068]通過(guò)上面圖2至圖4描述可以看出，本發(fā)明中，業(yè)務(wù)邏輯層模塊能夠?qū)ΨN類(lèi)繁多的應(yīng)用協(xié)議進(jìn)行模型化，分類(lèi)進(jìn)行識(shí)別，同時(shí)在模型化識(shí)別的基礎(chǔ)上進(jìn)行智能決策，這能夠提高數(shù)據(jù)處理精度；
[0069]進(jìn)一步地，本發(fā)明中，通過(guò)單任務(wù)I/O并發(fā)處理模塊能夠?qū)崿F(xiàn)單個(gè)任務(wù)并發(fā)執(zhí)行，解決現(xiàn)有技術(shù)中單個(gè)任務(wù)無(wú)法并發(fā)執(zhí)行的問(wèn)題；
[0070]更進(jìn)一步地，本發(fā)明中，通過(guò)將現(xiàn)有網(wǎng)絡(luò)設(shè)備比較耗費(fèi)CPU資源的檢索模塊移除出來(lái)，放至本發(fā)明提供的系統(tǒng)中執(zhí)行，并且采用異構(gòu)方式執(zhí)行檢索，這能夠在任務(wù)層面實(shí)現(xiàn)I/o的并發(fā)，避免網(wǎng)絡(luò)設(shè)備出現(xiàn)網(wǎng)絡(luò)資源不足的情況。
[0071]下面對(duì)所述數(shù)據(jù)處理層模塊包括的單任務(wù)I/O并發(fā)處理模塊和檢索模塊進(jìn)行詳細(xì)描述；
[0072]其中，基于所述數(shù)據(jù)處理層模塊采用一個(gè)Master和至少一個(gè)Slave相結(jié)合的架構(gòu)，本發(fā)明中，所述單任務(wù)I/O并發(fā)處理模塊包括:分布在所述Master上的存儲(chǔ)管理平臺(tái)、存儲(chǔ)客戶(hù)端Client ;以及包括分布在每一 Slave上的存儲(chǔ)客戶(hù)端、對(duì)象存儲(chǔ)模塊；圖5示出了單任務(wù)I/O并發(fā)處理模塊的具體結(jié)構(gòu)。
[0073]在本發(fā)明中，存儲(chǔ)管理平臺(tái)，用于管理整個(gè)文件系統(tǒng)，具體功能如下:
[0074]負(fù)責(zé)向所處Master上的存儲(chǔ)客戶(hù)端提供整個(gè)文件系統(tǒng)的元數(shù)據(jù)，管理整個(gè)文件系統(tǒng)的命名空間，維護(hù)整個(gè)文件系統(tǒng)的目錄結(jié)構(gòu)、用戶(hù)權(quán)限，并負(fù)責(zé)維護(hù)文件系統(tǒng)的一致性。
[0075]在本發(fā)明中，Master上的存儲(chǔ)客戶(hù)端，用于同存儲(chǔ)管理平臺(tái)交互，以進(jìn)行目錄管理和命名空間管理等，并確定需要執(zhí)行單任務(wù)I/O并發(fā)處理的數(shù)據(jù)。
[0076]在本發(fā)明中，Slave上存儲(chǔ)客戶(hù)端，用于提供文件系統(tǒng)的訪問(wèn)，并同對(duì)象存儲(chǔ)模塊進(jìn)行文件數(shù)據(jù)的交互執(zhí)行I/o并發(fā)處理，包括文件數(shù)據(jù)的讀寫(xiě)、對(duì)象屬性的改動(dòng)等。
[0077]在本發(fā)明中，Slave上的對(duì)象存儲(chǔ)模塊，具有一定的智能和彈性，它有自己的CPU、內(nèi)存、網(wǎng)絡(luò)和磁盤(pán)系統(tǒng)，其功能如下:
[0078]數(shù)據(jù)存儲(chǔ)；
[0079]智能和彈性分布；
[0080]對(duì)象元數(shù)據(jù)的管理。
[0081]作為本發(fā)明一個(gè)實(shí)施例，本發(fā)明中，對(duì)象存儲(chǔ)模塊是以對(duì)象為基本單位進(jìn)行數(shù)據(jù)存儲(chǔ)的。其中，所謂對(duì)象，其維護(hù)自己的屬性，具有唯一的標(biāo)識(shí)，其至少包含文件數(shù)據(jù)的一組屬性的組合。其中，文件數(shù)據(jù)的一組屬性可以基于文件的RAID參數(shù)、數(shù)據(jù)分布和服務(wù)質(zhì)量等定義。以入侵防御應(yīng)用來(lái)說(shuō)，對(duì)象存儲(chǔ)模塊存儲(chǔ)的對(duì)象為漏洞特征庫(kù)、病毒特征庫(kù)、協(xié)議特征庫(kù)對(duì)應(yīng)的屬性。
[0082]本發(fā)明中，對(duì)象存儲(chǔ)模塊通過(guò)以對(duì)象為單位進(jìn)行數(shù)據(jù)存儲(chǔ)，能夠簡(jiǎn)化存儲(chǔ)管理任務(wù)，增加了靈活性。這里，對(duì)象的大小可以不同，可以包含整個(gè)數(shù)據(jù)結(jié)構(gòu)，如文件、數(shù)據(jù)庫(kù)表項(xiàng)等。
[0083]本發(fā)明中，對(duì)象存儲(chǔ)系統(tǒng)使用對(duì)象對(duì)對(duì)象所包含的元數(shù)據(jù)進(jìn)行管理，它將數(shù)據(jù)存放到相關(guān)連的元數(shù)據(jù)存儲(chǔ)模塊比如磁盤(pán)，并且通過(guò)對(duì)象向外界提供數(shù)據(jù)的訪問(wèn)。將對(duì)象的元數(shù)據(jù)存放到與對(duì)象存儲(chǔ)模塊相關(guān)連的元數(shù)據(jù)存儲(chǔ)模塊上，能夠大大減輕了文件系統(tǒng)管理模塊的負(fù)擔(dān)，增強(qiáng)了整個(gè)文件系統(tǒng)的并行訪問(wèn)性能和可擴(kuò)展性。
[0084]基于上面描述的如本發(fā)明提供的如圖3所示的單任務(wù)I/O并發(fā)處理模塊，能夠通過(guò)存儲(chǔ)客戶(hù)端處理I/o操作，而不是本地文件系統(tǒng)和存儲(chǔ)系統(tǒng)，這樣可以通過(guò)存儲(chǔ)客戶(hù)端將單個(gè)任務(wù)并發(fā)輸出到多個(gè)對(duì)象存儲(chǔ)模塊上，減少磁盤(pán)阻塞的可能性。
[0085]至此，完成單任務(wù)I/O并發(fā)處理模塊的描述。傳統(tǒng)的數(shù)據(jù)處理方式是將多個(gè)作業(yè)分配到各個(gè)節(jié)點(diǎn)執(zhí)行，實(shí)現(xiàn)工作級(jí)別的并發(fā)，但對(duì)于每個(gè)單獨(dú)的任務(wù)，計(jì)算和I/o都是無(wú)并發(fā)的，當(dāng)遇到一些任務(wù)對(duì)計(jì)算和I/o能力要求較高時(shí)，易產(chǎn)生系統(tǒng)瓶頸以及集群不穩(wěn)定。而本發(fā)明中，通過(guò)上面描述的單任務(wù)I/o并發(fā)處理模塊，能夠?qū)崿F(xiàn)單任務(wù)的I/O并發(fā)處理，減少磁盤(pán)阻塞的可能性。
[0086]檢索模塊:
[0087]本領(lǐng)域技術(shù)人員知道，數(shù)據(jù)檢索過(guò)程是一個(gè)數(shù)據(jù)密集型計(jì)算過(guò)程，需要消耗大量的CPU資源，當(dāng)數(shù)據(jù)量較小時(shí)，目前的網(wǎng)絡(luò)設(shè)備是可以解決的；但是，當(dāng)數(shù)據(jù)量很大時(shí)，由于資源的限制，得到一個(gè)檢索結(jié)果需要很長(zhǎng)時(shí)間。而當(dāng)數(shù)據(jù)達(dá)到海量時(shí)，單純憑借目前的網(wǎng)絡(luò)設(shè)備資源已經(jīng)遠(yuǎn)遠(yuǎn)不夠處理所需。
[0088]為提高數(shù)據(jù)檢索效率，本發(fā)明將原本由目前網(wǎng)絡(luò)設(shè)備執(zhí)行的數(shù)據(jù)檢索放在獨(dú)立于網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)處理系統(tǒng)來(lái)執(zhí)行，即充分利用目前網(wǎng)絡(luò)設(shè)備以外的資源進(jìn)行分擔(dān)網(wǎng)絡(luò)設(shè)備CPU資源，從而提高網(wǎng)絡(luò)設(shè)備資源利用率。
[0089]本發(fā)明中，基于圖5所示的單任務(wù)I/O并發(fā)處理模塊，如圖6所示，所述檢索模塊可包括:
[0090]分布在Master上的作業(yè)調(diào)度管理模塊