本發(fā)明涉及數(shù)據(jù)處理技術(shù)領域，尤其涉及一種數(shù)據(jù)處理系統(tǒng)和方法。

背景技術(shù)：

在互聯(lián)網(wǎng)的大規(guī)模數(shù)據(jù)處理中，數(shù)據(jù)的壓縮、解壓縮、備份是非常重要且常用的手段，當前數(shù)據(jù)處理系統(tǒng)處理數(shù)據(jù)壓縮、解壓縮、備份一般通過軟件算法進行處理，一般的流程為：1)應用軟件下達指令；2)cpu(centralprocessingunit，中央處理器)響應該指令，去存儲器中指定的地方(如flash、硬盤(harddisk)等)獲取數(shù)據(jù)；3)cpu進行壓縮、解壓縮、或備份處理；4)將處理結(jié)果儲存到目標地址。

這種傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)采用軟件算法利用cpu對數(shù)據(jù)進行處理，且cpu搬移數(shù)據(jù)采單突發(fā)(singleburst)形式，傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)具有以下缺點：1)消耗大量的cpu及總線(bus)的資源；2)消耗大量的cpu及總線的資源必將消耗更多的電量；3)消耗大量的cpu及總線的資源必將消耗更多的時間。總的來說目前采用軟件算法進行數(shù)據(jù)處理需要占用大量的cpu資源，處理效率比較低，特別是在處理大量數(shù)據(jù)時，軟件算法的缺點將更加明顯。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題在于提出一種數(shù)據(jù)處理系統(tǒng)和方法，大大地提高了大數(shù)據(jù)處理的處理效率。

為解決上述技術(shù)問題，本發(fā)明采用以下技術(shù)方案：

一方面提供了一種數(shù)據(jù)處理系統(tǒng)，包括cpu和存儲器，還包括有一硬件電路處理模塊；

所述cpu，用于接收用戶輸入的處理指令，根據(jù)所述處理指令從存儲器中獲取源數(shù)據(jù)，并將所述源數(shù)據(jù)和第一數(shù)據(jù)處理請求發(fā)送給硬件電路處理模塊；

所述硬件電路處理模塊，用于接收所述源數(shù)據(jù)和第一數(shù)據(jù)處理請求，根據(jù)所述第一數(shù)據(jù)處理請求對所述源數(shù)據(jù)進行數(shù)據(jù)處理，并將數(shù)據(jù)處理結(jié)果返回給存儲器；

所述存儲器，用于將硬件電路處理模塊返回的數(shù)據(jù)處理結(jié)果存儲到目標地址；

其中，所述第一數(shù)據(jù)處理請求為壓縮請求、解壓縮請求或備份請求。

其中，還包括搜索引擎和主機；

cpu還用于根據(jù)所述處理指令向搜索引擎發(fā)送第二數(shù)據(jù)處理請求；硬件電路處理模塊還將數(shù)據(jù)處理結(jié)果發(fā)送給搜索引擎；

搜索引擎用于根據(jù)所述第二數(shù)據(jù)處理請求對數(shù)據(jù)處理結(jié)果進行處理，并將處理結(jié)果發(fā)送給主機；

所述第二數(shù)據(jù)處理請求為搜索請求或不處理請求。

其中，所述存儲器為flash。

其中，所述存儲器為硬盤。

其中，所述硬件電路處理模塊基于dsp實現(xiàn)。

其中，所述源數(shù)據(jù)和所述數(shù)據(jù)處理結(jié)果通過多突發(fā)的形式進行傳輸。

另一方面提供了一種數(shù)據(jù)處理方法，該數(shù)據(jù)處理方法包括：

cpu接收用戶輸入的處理指令，根據(jù)所述處理指令從存儲器中獲取源數(shù)據(jù)，并將所述源數(shù)據(jù)和第一數(shù)據(jù)處理請求發(fā)送給硬件電路處理模塊；

硬件電路處理模塊接收所述源數(shù)據(jù)和第一數(shù)據(jù)處理請求，根據(jù)所述第一數(shù)據(jù)處理請求對所述源數(shù)據(jù)進行數(shù)據(jù)處理，并將數(shù)據(jù)處理結(jié)果返回給存儲器；

存儲器將硬件電路處理模塊返回的數(shù)據(jù)處理結(jié)果存儲到目標地址；

其中，所述第一數(shù)據(jù)處理請求為壓縮請求、解壓縮請求或備份請求。

其中，cpu接收用戶輸入的處理指令之后還包括：根據(jù)所述處理指令向搜索引擎發(fā)送第二數(shù)據(jù)處理請求；

所述硬件電路處理模塊接收所述源數(shù)據(jù)和第一數(shù)據(jù)處理請求，根據(jù)所述第一數(shù)據(jù)處理請求對所述源數(shù)據(jù)進行數(shù)據(jù)處理之后，還包括：

硬件電路處理模塊將數(shù)據(jù)處理結(jié)果發(fā)送給搜索引擎；

搜索引擎根據(jù)所述第二數(shù)據(jù)處理請求對數(shù)據(jù)處理結(jié)果進行處理，并將處理結(jié)果發(fā)送給主機；所述第二數(shù)據(jù)處理請求為搜索請求或不處理請求。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：本發(fā)明通過外加的硬件電路處理模塊對數(shù)據(jù)進行壓縮、解壓縮和備份處理，大大地提高大數(shù)據(jù)處理的處理效率，節(jié)省了大量的cpu資源，也達到了省時、省電的效果。

附圖說明

為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對本發(fā)明實施例描述中所需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)本發(fā)明實施例的內(nèi)容和這些附圖獲得其他的附圖。

圖1是本發(fā)明具體實施方式提供的一種數(shù)據(jù)處理系統(tǒng)的實施例的結(jié)構(gòu)框圖。

圖2是本發(fā)明具體實施方式提供的一種數(shù)據(jù)處理系統(tǒng)的另一實施例的結(jié)構(gòu)框圖。

圖3是本發(fā)明具體實施方式提供的一種數(shù)據(jù)處理方法的實施例的方法流程圖。

圖4是本發(fā)明具體實施方式提供的一種數(shù)據(jù)處理方法的另一實施例的方法流程圖。

具體實施方式

為使本發(fā)明解決的技術(shù)問題、采用的技術(shù)方案和達到的技術(shù)效果更加清楚，下面將結(jié)合附圖對本發(fā)明實施例的技術(shù)方案作進一步的詳細描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

下面結(jié)合附圖1～2對本發(fā)明實施例提供的數(shù)據(jù)處理系統(tǒng)作進一步的詳細描述。請參考圖1，其是本發(fā)明具體實施方式中提供的一種數(shù)據(jù)處理系統(tǒng)的實施例的結(jié)構(gòu)框圖，如圖1所示，在一些實施例中，該數(shù)據(jù)處理系統(tǒng)包括cpu(centralprocessingunit，中央處理器)10、存儲器20和一硬件電路處理模塊30；cpu10，用于接收用戶輸入的處理指令，根據(jù)所述處理指令從存儲器20中獲取源數(shù)據(jù)，并將所述源數(shù)據(jù)和第一數(shù)據(jù)處理請求發(fā)送給硬件電路處理模塊30；硬件電路處理模塊30，用于接收所述源數(shù)據(jù)和第一數(shù)據(jù)處理請求，根據(jù)所述第一數(shù)據(jù)處理請求對所述源數(shù)據(jù)進行數(shù)據(jù)處理，并將數(shù)據(jù)處理結(jié)果返回給存儲器20；存儲器20，用于將硬件電路處理模塊30返回的數(shù)據(jù)處理結(jié)果存儲到目標地址；其中，所述第一數(shù)據(jù)處理請求為壓縮請求、解壓縮請求或備份請求。

在一些優(yōu)選的實施例中，源數(shù)據(jù)和所述數(shù)據(jù)處理結(jié)果在總線(bus)上通過多突發(fā)(multiburst)的形式進行傳輸，而不采用傳統(tǒng)的單突發(fā)(sigleburst)的形式進行傳輸，節(jié)省了總線資源。cpu10、存儲器20、和硬件電路處理模塊30之間通過總線進行通信。存儲器20為輔助存儲器，即外存，在一些優(yōu)選的實施例中，存儲器20為flash(閃存，即flashmemory)或硬盤等外存，源數(shù)據(jù)和數(shù)據(jù)處理結(jié)果(包括壓縮數(shù)據(jù)、解壓縮數(shù)據(jù)和備份數(shù)據(jù))都將存儲在存儲器20中的對應的位置，數(shù)據(jù)處理結(jié)果則將存儲在目標地址中。

本發(fā)明實施例提供的數(shù)據(jù)處理系統(tǒng)通過外加的硬件電路處理模塊對數(shù)據(jù)進行壓縮、解壓縮和備份等處理，不像傳統(tǒng)的方式——數(shù)據(jù)處理都由cpu執(zhí)行，特別是針對大數(shù)據(jù)處理，能提高大數(shù)據(jù)處理的處理效率，節(jié)省了大量的cpu資源，由于占用的cpu資源和總線資源少了，則對應的無需再消耗大量的電量和時間，達到了省時、省電的效果。

圖2是本發(fā)明具體實施方式中提供的一種數(shù)據(jù)處理系統(tǒng)的另一實施例的結(jié)構(gòu)框圖，如圖2所示，在一些優(yōu)選的實施例中，該數(shù)據(jù)處理系統(tǒng)還包括搜索引擎40和主機50；cpu10還用于根據(jù)所述處理指令向搜索引擎40發(fā)送第二數(shù)據(jù)處理請求；硬件電路處理模塊30還用于將數(shù)據(jù)處理結(jié)果發(fā)送給搜索引擎40；搜索引擎40用于根據(jù)所述第二數(shù)據(jù)處理請求對數(shù)據(jù)處理結(jié)果進行處理，并將處理結(jié)果發(fā)送給主機50；所述第二數(shù)據(jù)處理請求為搜索請求或不處理請求。

如圖2所示，若用戶要對壓縮數(shù)據(jù)進行搜索處理，則cpu將根據(jù)所述處理指令從存儲器20中獲取源數(shù)據(jù)，并將所述源數(shù)據(jù)和解壓縮請求發(fā)送給硬件電路處理模塊30、向搜索引擎40發(fā)送搜索請求；硬件電路處理模塊30對壓縮數(shù)據(jù)進行解壓縮處理，并將解壓縮處理之后的得到的解壓縮數(shù)據(jù)發(fā)送給搜索引擎40；搜索引擎40根據(jù)搜索請求對解壓縮數(shù)據(jù)進行搜索，并把搜索結(jié)果發(fā)送給主機50，這樣用戶只需給cpu發(fā)送一次指令便可完成對壓縮數(shù)據(jù)的搜索，而無需給cpu發(fā)送一次解壓縮指令，再針對解壓縮之后得到的解壓縮數(shù)據(jù)發(fā)送一次搜索指令，簡化了用戶的操作，提高了用戶體驗。若用戶只需要對壓縮數(shù)據(jù)進行解壓縮處理，則cpu將根據(jù)所述處理指令從存儲器20中獲取源數(shù)據(jù)，并將所述源數(shù)據(jù)和解壓縮請求發(fā)送給硬件電路處理模塊30、向搜索引擎40發(fā)送不處理請求；硬件電路處理模塊30對壓縮數(shù)據(jù)進行解壓縮處理，并將解壓縮處理之后的得到的解壓縮數(shù)據(jù)通過總線發(fā)送給搜索引擎40；搜索引擎40根據(jù)不處理請求不對解壓縮數(shù)據(jù)進行處理，直接通過總線發(fā)送給主機。本發(fā)明實施例提供的數(shù)據(jù)處理系統(tǒng)減少了用戶操作，能直接對壓縮的數(shù)據(jù)進行搜索，提高了用戶體驗。需要說明的是，硬件電路處理模塊30除了總線也可通過專屬路徑把數(shù)據(jù)處理結(jié)果發(fā)送搜索引擎40。

在一些優(yōu)選的實施例中，硬件電路處理模塊30基于dsp(digitalsignalprocessor，數(shù)字信號處理)實現(xiàn)。dsp是一種獨特的微處理器，是以數(shù)字信號來處理大量信息的器件，硬件電路處理模塊30基于dsp實現(xiàn)，有利于提高數(shù)據(jù)處理的效率，也有利于提高系統(tǒng)的穩(wěn)定性。硬件電路處理模塊30也可以基于fpga(field－programmablegatearray，現(xiàn)場可編程門陣列)、mcu(microcontrollerunit，微控制單元)等實現(xiàn)，在fpga或mcu中寫入數(shù)據(jù)處理的演算法，結(jié)合周邊的輔助電子元器件構(gòu)成硬件電路處理模塊30，對數(shù)據(jù)進行壓縮、解壓縮和備份等處理。

本發(fā)明實施例提供的數(shù)據(jù)處理系統(tǒng)通過外加的硬件電路處理模塊對數(shù)據(jù)進行壓縮、解壓縮和備份處理，不像傳統(tǒng)方式數(shù)據(jù)處理都由cpu執(zhí)行，節(jié)省了大量的cpu資源，采用多突發(fā)的形式代替?zhèn)鹘y(tǒng)的單突發(fā)的形式對數(shù)據(jù)進行傳輸，節(jié)省了大量的總線資源，提高了數(shù)據(jù)處理效率，由于占用的cpu資源和總線資源少了，則對應的無需再消耗大量的電量和時間，達到了省時、省電的效果。而由于壓縮、解壓縮和備份等數(shù)據(jù)處理由硬件電路處理模塊進行處理，因此系統(tǒng)可有效地進行多功能運算。

本發(fā)明具體實施方式還提供了一種數(shù)據(jù)處理方法，下面結(jié)合附圖3和4對本發(fā)明實施例提供的數(shù)據(jù)處理方法作進一步的詳細描述。請參考圖3，其是本發(fā)明具體實施方式中提供的一種數(shù)據(jù)處理系統(tǒng)的實施例的方法流程圖，如圖3所示，在一些實施例中，該數(shù)據(jù)處理方法包括：

步驟s101：cpu接收用戶輸入的處理指令，根據(jù)所述處理指令從存儲器中獲取源數(shù)據(jù)，并將所述源數(shù)據(jù)和第一數(shù)據(jù)處理請求發(fā)送給硬件電路處理模塊。其中，所述第一數(shù)據(jù)處理請求為壓縮請求、解壓縮請求或備份請求。

步驟s102：硬件電路處理模塊接收所述源數(shù)據(jù)和第一數(shù)據(jù)處理請求，根據(jù)所述第一數(shù)據(jù)處理請求對所述源數(shù)據(jù)進行數(shù)據(jù)處理，并將數(shù)據(jù)處理結(jié)果返回給存儲器。

步驟s103：存儲器將硬件電路處理模塊返回的數(shù)據(jù)處理結(jié)果存儲到目標地址。

在一些優(yōu)選的實施例中，源數(shù)據(jù)和所述數(shù)據(jù)處理結(jié)果在總線(bus)上通過多突發(fā)(multiburst)的形式進行傳輸，而不采用傳統(tǒng)的單突發(fā)(sigleburst)的形式進行傳輸，節(jié)省了總線資源。

圖4是本發(fā)明具體實施方式中提供的一種數(shù)據(jù)處理方法的另一實施例的方法流程圖，如圖4所示，在一些優(yōu)選的實施例中，該數(shù)據(jù)處理方法包括步驟s201～s204，具體如下：

步驟s201：cpu接收用戶輸入的處理指令，根據(jù)所述處理指令從存儲器中獲取源數(shù)據(jù)，并將所述源數(shù)據(jù)和第一數(shù)據(jù)處理請求發(fā)送給硬件電路處理模塊；根據(jù)所述處理指令向搜索引擎發(fā)送第二數(shù)據(jù)處理請求。其中，所述第一數(shù)據(jù)處理請求為壓縮請求、解壓縮請求或備份請求；所述第二數(shù)據(jù)處理請求為搜索請求或不處理請求。

步驟s202：硬件電路處理模塊接收所述源數(shù)據(jù)和第一數(shù)據(jù)處理請求，根據(jù)所述第一數(shù)據(jù)處理請求對所述源數(shù)據(jù)進行數(shù)據(jù)處理，并將數(shù)據(jù)處理結(jié)果返回給存儲器和發(fā)送給搜索引擎。

步驟s203：存儲器將硬件電路處理模塊返回的數(shù)據(jù)處理結(jié)果存儲到目標地址。

步驟s204：搜索引擎根據(jù)所述第二數(shù)據(jù)處理請求對數(shù)據(jù)處理結(jié)果進行處理，并將處理結(jié)果發(fā)送給主機。其中，步驟s203與步驟s204沒有一定的先后順序，它們?yōu)椴⒘嘘P(guān)系。

如圖4所示，若用戶要對壓縮數(shù)據(jù)進行搜索處理，則cpu根據(jù)所述處理指令從存儲器中獲取源數(shù)據(jù)，并將所述源數(shù)據(jù)和第一數(shù)據(jù)處理請求發(fā)送給硬件電路處理模塊、向搜索引擎發(fā)送搜索請求；硬件電路處理模塊對壓縮數(shù)據(jù)進行解壓縮處理，并將解壓縮處理之后的得到的解壓縮數(shù)據(jù)發(fā)送給存儲器和搜索引擎；存儲器將硬件電路處理模塊返回的數(shù)據(jù)處理結(jié)果存儲到目標地址；搜索引擎根據(jù)搜索請求對解壓縮數(shù)據(jù)進行搜索，并把搜索結(jié)果發(fā)送給主機。這樣用戶只需給cpu發(fā)送一次指令便可完成對壓縮數(shù)據(jù)的搜索，而無需給cpu發(fā)送一次解壓縮指令，再針對解壓縮之后得到的解壓縮數(shù)據(jù)發(fā)送一次搜索指令，簡化了用戶的操作，提高了用戶體驗。若用戶只需要對壓縮數(shù)據(jù)進行解壓縮處理，則cpu將向存儲器發(fā)送數(shù)據(jù)獲取請求、向硬件電路處理模塊發(fā)送解壓縮請求、向搜索引擎發(fā)送不處理請求；存儲器把壓縮數(shù)據(jù)發(fā)送給硬件電路處理模塊；硬件電路處理模塊對壓縮數(shù)據(jù)進行解壓縮處理，并將解壓縮處理之后的得到的解壓縮數(shù)據(jù)通過總線發(fā)送給搜索引擎；存儲器將硬件電路處理模塊返回的數(shù)據(jù)處理結(jié)果存儲到目標地址；搜索引擎根據(jù)不處理請求不對解壓縮數(shù)據(jù)進行處理，直接通過總線發(fā)送給主機。本發(fā)明實施例提供的數(shù)據(jù)處理方法減少了用戶操作，能直接對壓縮的數(shù)據(jù)進行搜索，提高了用戶體驗。

本發(fā)明實施例提供的數(shù)據(jù)處理方法cpu根據(jù)用戶輸入的處理指令從存儲設備中獲取源數(shù)據(jù)并發(fā)送給外加的硬件電路處理模塊進行壓縮、解壓縮和備份等處理，不像傳統(tǒng)的方式——數(shù)據(jù)處理都由cpu執(zhí)行，特別是針對大數(shù)據(jù)處理時，能大大地提高數(shù)據(jù)的處理效率，節(jié)省了大量的cpu資源，采用多突發(fā)的形式代替?zhèn)鹘y(tǒng)的單突發(fā)的形式對數(shù)據(jù)進行傳輸，節(jié)省了大量的總線資源，由于占用的cpu資源和總線資源少了，則對應的無需再消耗大量的電量和時間，達到了省時、省電的效果。

以上結(jié)合具體實施例描述了本發(fā)明的技術(shù)原理。這些描述只是為了解釋本發(fā)明的原理，而不能以任何方式解釋為對本發(fā)明保護范圍的限制?；诖颂幍慕忉?，本領域的技術(shù)人員不需要付出創(chuàng)造性的勞動即可聯(lián)想到本發(fā)明的其它具體實施方式，這些方式都將落入本發(fā)明的保護范圍之內(nèi)。