一種存儲設(shè)備及數(shù)據(jù)處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)存儲技術(shù)領(lǐng)域，尤其涉及一種存儲設(shè)備及數(shù)據(jù)處理方法。
【背景技術(shù)】
[0002]數(shù)據(jù)信息時代，互聯(lián)網(wǎng)已成為人們?nèi)粘Ｉ钪胁豢扇鄙俚囊徊糠?，互?lián)網(wǎng)應(yīng)用種類繁多，包括Facebook、MySpace、QQ為代表的社會關(guān)系網(wǎng)絡(luò)、Youtube為代表的視頻共享應(yīng)用以及以Google、Yahoo、Baidu為代表的搜索引擎應(yīng)用等。不斷增長的互聯(lián)網(wǎng)用戶帶來了爆炸式增長的數(shù)據(jù)(視頻、圖片、blog等)。處理這些數(shù)據(jù)的技術(shù)路線從本質(zhì)上可以分為兩個方面:海量數(shù)據(jù)的存儲管理技術(shù)以及針對海量數(shù)據(jù)的處理技術(shù)(日志分析、搜索引擎應(yīng)用等)。
[0003]互聯(lián)網(wǎng)龐大的數(shù)據(jù)量使我們想到把并行計算的思想應(yīng)用到商業(yè)集群上，云計算思想應(yīng)運而生。Google是云計算的領(lǐng)軍力量，它使用Hadoop框架每天處理超過20PB的數(shù)據(jù)量。為了能夠處理大量的原始數(shù)據(jù)，Google設(shè)計了一個新的抽象模型-映射歸約(MapReduce)，映射歸約名字來源于這個模型中的兩項核心操作:映射(Map)和歸約(Reduce)，實現(xiàn)流程圖如圖1所示。首先用戶程序所要處理的數(shù)據(jù)31由存儲網(wǎng)絡(luò)中導(dǎo)入并被分成若干片段(split)(這里以6個片段為例，分別為片段321、片段322、片段323、片段324、片段325、片段326)，然后在所有機器(machine)中選出一個作為主機30 (master)，即主控制程序，其他的作為由主機分配任務(wù)的從機(workers)即工作程序。主機為空閑的從機分配一個映射任務(wù)，如映射任務(wù)331，將分片的原始數(shù)據(jù)進行映射處理，抽取鍵(key)/值(value)對，將中間數(shù)據(jù)341保存在從機的本地存儲中，并由從機將中間數(shù)據(jù)的位置信息傳給主機30，主機30再將傳遞的數(shù)據(jù)信息分發(fā)給負責(zé)歸約任務(wù)的從機，然后從機遠程讀取中間數(shù)據(jù)341、中間數(shù)據(jù)342和中間數(shù)據(jù)343，并對這些鍵/值進行排序，分配了歸約任務(wù)的從機遍歷排序后的中間數(shù)據(jù)，并將同一個鍵對應(yīng)的值傳給用戶定義的歸約函數(shù)351 (或歸約函數(shù)352)，進行歸約處理，最后將該區(qū)塊追加到最后的輸出文件36中。映射歸約編程模型的核心思想就是利用簡易的軟件框架，基于它寫出來的應(yīng)用程序能夠運行在由上千個商用機器組成的大型集群上，并以一種可靠容錯的方式并行處理TB級別的海量數(shù)據(jù)。
[0004]傳統(tǒng)的在存儲設(shè)備，如圖2所示的是固態(tài)硬盤的內(nèi)部結(jié)構(gòu)圖，主微控制器1 一般通過緩存芯片2以加速閃存芯片3陣列的數(shù)據(jù)讀取，提高性能。當(dāng)系統(tǒng)CPU需要從固態(tài)硬盤中4導(dǎo)入數(shù)據(jù)時，主微控制器1接收到命令并將指定的數(shù)據(jù)從閃存芯片陣列3中讀取出來，并通過對外接口 5傳輸給上級系統(tǒng)，主微控制器1并不對數(shù)據(jù)做任何處理。又比如磁盤的內(nèi)部結(jié)構(gòu)如圖3所示，其結(jié)構(gòu)與固態(tài)硬盤相似，包括磁盤6、前置放大器7、讀寫通道8、磁盤主微控制器9、代碼區(qū)和數(shù)據(jù)緩沖區(qū)10、隨動控制和解調(diào)器11、馬達控制器12、馬達13和對外接口 14。磁盤陣列，S卩“獨立磁盤構(gòu)成的具有冗余能力的陣列”。磁盤陣列是由很多價格較便宜的磁盤，組合成一個容量巨大的磁盤組，磁盤陣列有多個端口可以被不同系統(tǒng)或不同端口連接，一個系統(tǒng)連接陣列的不同端口可提升傳輸速度。
[0005]如圖4所示的獨立磁盤冗余陣列內(nèi)部結(jié)構(gòu)簡圖，采用性能比磁盤和固態(tài)硬盤中的主微控制器強的獨立磁盤冗余陣列控制器15，例如采用Intel處理器；另外還包括多個磁盤16以及系統(tǒng)接口 17。網(wǎng)絡(luò)附屬存儲(Network Attached Storage，NAS)是具備資料存儲功能的裝置，因此也稱為“網(wǎng)絡(luò)存儲器”。它是一種專用數(shù)據(jù)存儲服務(wù)器，因此網(wǎng)絡(luò)附屬存儲內(nèi)部處理器是性能更高的服務(wù)器級別的處理器。所以，當(dāng)終端系統(tǒng)CPU做一些輕量級的數(shù)據(jù)處理操作時，這些存儲設(shè)備中的主微控制器不在做數(shù)據(jù)處理時都處于空閑狀態(tài)，因此不論對于上級系統(tǒng)CPU還是存儲設(shè)備中的主微控制器，在性能和功耗上都是一種浪費。
[0006]從上面的簡單介紹中可以看出，上述由上千個商用機器組成的大型集群所處理的任務(wù)都是由商用機器的CPU來運行處理，而這些任務(wù)都是一些輕量級的無需算術(shù)邏輯運算單元(Arithmetic and Logic Unit，簡稱ALU)大量參與的工作(例如映射任務(wù)和歸約任務(wù))，首先在功耗上是浪費的，其次在性能上也是浪費的(高性能的ALU并不參與大量計算)，因此整個集群的功耗和成本都是很高的。
[0007]傳統(tǒng)的，在存儲設(shè)備內(nèi)進行數(shù)據(jù)處理的方法中，所有的數(shù)據(jù)處理操作都由存儲設(shè)備中的主微控制器來完成，負載大，存儲設(shè)備性能會受到影響。如果采用可編程邏輯陣列(Field Programmable Gate Array，簡稱FPGA)來實現(xiàn)數(shù)據(jù)查找、識別、比較或匹配等操作，效率低，在性能上是一種浪費；如果采用專用集成電路(Applicat1n SpecificIntegrated Circuit，簡稱ASIC)來實現(xiàn)，成本也相對較高。

【發(fā)明內(nèi)容】

[0008]針對上述問題，本發(fā)明提出了一種存儲設(shè)備，應(yīng)用于包括上級系統(tǒng)的計算機架構(gòu)中，所述存儲結(jié)構(gòu)包括:
[0009]存儲陣列，預(yù)存有待處理數(shù)據(jù)；
[0010]主微控制器，分別與所述上級系統(tǒng)和所述存儲陣列連接，以用于接收所述上級系統(tǒng)下發(fā)的數(shù)據(jù)處理命令；以及
[0011]比較匹配模塊，與所述主微控制器和所述存儲陣列連接；
[0012]其中，所述比較匹配模塊根據(jù)所述數(shù)據(jù)處理命令對所述存儲陣列中存儲的所述待處理數(shù)據(jù)進行處理，并通過所述主微控制器將處理結(jié)果反饋至所述上級系統(tǒng)。
[0013]上述的存儲設(shè)備，其中，所述比較匹配模塊為硬件模塊。
[0014]上述的存儲設(shè)備，其中，所述比較匹配模塊集成在所述主微控制器中。
[0015]上述的存儲設(shè)備，其中，所述比較匹配模塊為內(nèi)容可尋址存儲器或三重內(nèi)容可尋址存儲器。
[0016]上述的存儲設(shè)備，其中，所述數(shù)據(jù)處理命令為數(shù)據(jù)查找命令、數(shù)據(jù)識別命令、數(shù)據(jù)比較命令或數(shù)據(jù)匹配命令。
[0017]上述的存儲設(shè)備，其中，所述存儲設(shè)備包括磁盤、固態(tài)硬盤、網(wǎng)絡(luò)附屬存儲或獨立磁盤冗余陣列。
[0018]上述的存儲設(shè)備，其中，所述主微控制器與所述上級系統(tǒng)通過對外接口連接，以將所述處理結(jié)果發(fā)送至所述上級系統(tǒng)。
[0019]—種數(shù)據(jù)處理方法，應(yīng)用于上述的存儲設(shè)備中，所述方法包括:
[0020]S1:所述上級系統(tǒng)發(fā)送數(shù)據(jù)處理命令至所述存儲設(shè)備；
[0021]S2:所述存儲設(shè)備中的所述主微控制器接收所述數(shù)據(jù)處理命令，并根據(jù)所述數(shù)據(jù)處理命令判斷是否需要對所述存儲陣列中的數(shù)據(jù)進行處理操作；
[0022]若判斷結(jié)果為是，執(zhí)行S3;
[0023]否則，執(zhí)行S5;
[0024]S3:所述主微控制器將所述數(shù)據(jù)處理命令發(fā)送給所述比較匹配模塊；
[0025]S4:所述比較匹配模塊接收并根據(jù)所述數(shù)據(jù)處理命令，對所述存儲陣列中的數(shù)據(jù)進行處理，并所述主微控制器將處理結(jié)果返回至所述上級系統(tǒng)；
[0026]S5:所述主微控制器在本地進行其他數(shù)據(jù)處理任務(wù)，同時將其他數(shù)據(jù)處理結(jié)果返回至所述上級系統(tǒng)。
[0027]上述的數(shù)據(jù)處理方法，其中，所述數(shù)據(jù)處理命令為數(shù)據(jù)查找命令、數(shù)據(jù)識別命令、數(shù)據(jù)比較命令或數(shù)據(jù)匹配命令。
[0028]上述的數(shù)據(jù)處理方法，其中，所述主微控制器將所述處理結(jié)果通過對外接口與所述上級系統(tǒng)連接。
[0029]上述的數(shù)據(jù)處理方法，其中，所述比較匹配模塊為內(nèi)容可尋址存儲器或三重內(nèi)容可尋址存儲器。
[0030]綜上所述，本發(fā)明提出了一種存儲設(shè)備及數(shù)據(jù)處理方法，在存儲設(shè)備內(nèi)添加了比較匹配模塊，可以用軟件實現(xiàn)，也可以用硬件實現(xiàn)，從而加速數(shù)據(jù)在存儲設(shè)備內(nèi)部進行查找、識別、比較或匹配等任務(wù)，緩解中央處理器的工作負載，提高存儲設(shè)備進行數(shù)據(jù)處理的性能。
【附圖說明】
[0031]圖1是本發(fā)明現(xiàn)有技術(shù)信息處理的信息走向圖；
[0032]圖2是本發(fā)明現(xiàn)有技術(shù)固態(tài)硬盤的內(nèi)部結(jié)構(gòu)示意圖；
[0033]圖3是本發(fā)明現(xiàn)有技術(shù)磁盤的內(nèi)部結(jié)構(gòu)示意圖；
[0034]圖4是本發(fā)明現(xiàn)有技術(shù)獨立磁盤冗余陣列內(nèi)部結(jié)構(gòu)示意簡圖；
[0035]圖5是本發(fā)明實施例一種存儲設(shè)備的內(nèi)部結(jié)構(gòu)示意圖；
[0036]圖6是本發(fā)明實施例比較匹配模塊硬件的結(jié)構(gòu)示意圖；
[0037]圖7是本發(fā)明實施例一種數(shù)據(jù)處理方法的流程示意圖；
[0038]圖8是本發(fā)明實施例數(shù)據(jù)讀取的原理圖；
[0039]圖9是本發(fā)明實施例比較匹配模塊信息處理的示意圖。
【具體實施方式】
[0040]下面結(jié)合附圖對本發(fā)明進行進一步說明。
[0041]實施例一
[0042]如圖5所示的一種存儲設(shè)備18 (存儲設(shè)備18可以是磁盤、固態(tài)硬盤、網(wǎng)絡(luò)附屬存儲或獨立磁盤冗余陣列，也可以是能夠用于本發(fā)明的其他存儲設(shè)備，在此不作為限制)中，主微控制器20分別與上級系統(tǒng)和存儲陣列21連接，用于接收上級系統(tǒng)下發(fā)的數(shù)據(jù)處理命令，同時還可以對存儲單元進行管理和控制，例如損耗均衡、模塊選擇、錯誤檢查糾錯、數(shù)據(jù)讀寫等；比較匹配模塊19與主微控制器20和存儲陣列21連接，以根據(jù)數(shù)據(jù)處理命令(數(shù)據(jù)處理命令可以是數(shù)據(jù)查找命令、數(shù)據(jù)識別命令、數(shù)據(jù)比較命令、數(shù)據(jù)匹配命令或其