一種大數(shù)據(jù)高速存儲系統(tǒng)及實現(xiàn)方法
【專利摘要】一種大數(shù)據(jù)高速存儲系統(tǒng)及實現(xiàn)方法，包括電源管理模塊、系統(tǒng)主控板以及系統(tǒng)存儲模塊；系統(tǒng)主控板接收到數(shù)據(jù)后將所接收到的數(shù)據(jù)傳送給系統(tǒng)存儲模塊中的一個存儲板，若是該存儲板信息還沒有存滿，則將信息存儲于該存儲板，若是該存儲板信息已存滿，則將數(shù)據(jù)傳送給下一個存儲板，同時將存滿的信息反饋給FPGA主控制器，依此類推，直至最后一個存儲板存滿為止；從而實現(xiàn)了大數(shù)據(jù)的存儲。本發(fā)明選用FPGA作為核心控制器，實現(xiàn)了400MB/s的實時帶寬。并且數(shù)據(jù)存儲容量，理論上可以達(dá)到無限。采用板間級連的連接方式，使得系統(tǒng)結(jié)構(gòu)簡單，尺寸和重量大大減小，適用于機載航拍中的存儲等海量數(shù)據(jù)的高速持續(xù)存儲的特殊應(yīng)用場合。
【專利說明】一種大數(shù)據(jù)高速存儲系統(tǒng)及實現(xiàn)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于大數(shù)據(jù)高速存儲【技術(shù)領(lǐng)域】，具體涉及一種大數(shù)據(jù)高速存儲系統(tǒng)及實現(xiàn)方法。
【背景技術(shù)】
[0002]閃存(FLASH)具有非揮發(fā)性(掉電后仍可以保持?jǐn)?shù)據(jù))、讀寫速度快、低功耗及易攜帶等等優(yōu)點，已經(jīng)作為一種重要的存儲媒質(zhì)應(yīng)用于數(shù)據(jù)存儲產(chǎn)品當(dāng)中。根據(jù)內(nèi)部構(gòu)架和實現(xiàn)技術(shù)的不同，現(xiàn)在的主流FLASH主要有NOR和NAND FLASH。NOR的特點是多個存儲單元并行，可實現(xiàn)快速隨機字節(jié)訪問，適合用于容量要求小，隨機讀寫快的應(yīng)用領(lǐng)域。NANDFLASH的特點是寫入和擦除操作的速度快，芯片面積小，非常適合于大容量存儲器設(shè)計。
[0003]NAND FLASH 又可以分為 SLC(Single-level cell,單階存儲單元)和MLC(Mult1-level cell，多階存儲單元)。NAND FLASH將數(shù)據(jù)存儲于由浮閘晶體管組成的記憶單元數(shù)組內(nèi)，在SLC芯片中，每個單元只存儲Ibit的信息。而在MLC芯片中，則利用多種電荷值的控制讓每個單元可以存儲2bits及以上的數(shù)據(jù)，達(dá)到較高的數(shù)據(jù)密度，所以單位成本低，正因為這個優(yōu)點，使得MLC更適合用于海量存儲設(shè)備中。而使用MLC NAND FLASH以求達(dá)到更高的數(shù)據(jù)帶寬成為一大挑戰(zhàn)。
[0004]目前，數(shù)據(jù)存儲在圖像數(shù)據(jù)存儲、海量研究數(shù)據(jù)存儲、海量服務(wù)器數(shù)據(jù)存儲，數(shù)據(jù)庫數(shù)據(jù)存儲等軍事及民用的各領(lǐng)域內(nèi)得到了非常廣泛的應(yīng)用。而目前，很多存儲系統(tǒng)仍采用磁盤及磁盤陣列存儲，而使用FLASH的存儲系統(tǒng)大多使用異步操作模式。其存儲容量小，存儲速度低，數(shù)據(jù)帶寬小。
[0005]下面詳細(xì)列出現(xiàn)有數(shù)據(jù)存儲系統(tǒng)的主要缺點:
[0006]I)容量較小或者有理論上限，無法滿足海量數(shù)據(jù)存儲；
[0007]2)實時帶寬較低，無法滿足實時數(shù)據(jù)的高速存儲；
[0008]3)尺寸較大,空間占用大,不適合用于一些體積小的設(shè)備；
[0009]4)重量較大，不便于一些特殊場合的應(yīng)用。
【發(fā)明內(nèi)容】
[0010]本發(fā)明的目的是為了克服上述現(xiàn)有技術(shù)的缺陷，提供一種大數(shù)據(jù)高速存儲系統(tǒng)及實現(xiàn)方法，提高存儲系統(tǒng)的容量及數(shù)據(jù)存儲實時帶寬的同時，減小系統(tǒng)的尺寸和重量。
[0011]為實現(xiàn)上述目的，本發(fā)明采用如下的技術(shù)方案:
[0012]一種大數(shù)據(jù)高速存儲系統(tǒng)，包括電源管理模塊、用于接收大數(shù)據(jù)的系統(tǒng)主控板以及與系統(tǒng)主控板相連的系統(tǒng)存儲模塊，系統(tǒng)存儲模塊包括若干個相同的存儲板；
[0013]所述系統(tǒng)主控板通過USB模塊將存儲于系統(tǒng)存儲模塊中的數(shù)據(jù)傳輸?shù)絇C中。
[0014]所述電源管理模塊與系統(tǒng)主控板、系統(tǒng)存儲模塊相連用于供電。
[0015]所述系統(tǒng)主控板包括FPGA主控制器、MCU模塊和USB模塊，系統(tǒng)主控板接收到數(shù)據(jù)后將所接收到的數(shù)據(jù)進(jìn)行封裝打包，然后傳送給系統(tǒng)存儲模塊中的一個存儲板，若是該存儲板信息還沒有存滿，則將信息存儲于該存儲板，若是該存儲板信息已存滿，則將數(shù)據(jù)傳送給下一個存儲板，同時將存滿的信息通過MCU模塊反饋給FPGA主控制器，依此類推，直至最后一個存儲板存滿為止；從而實現(xiàn)了大數(shù)據(jù)的存儲。
[0016]所述存儲板包括系統(tǒng)主控模塊，讀寫FLASH數(shù)據(jù)級連管理模塊，F(xiàn)IFO緩存模塊，乒乓操作模塊，容量管理模塊，流水線管理模塊，F(xiàn)LASH接口時序模塊以及DDR時序模塊；
[0017]所述系統(tǒng)主控模塊用于接收外部數(shù)據(jù)并響應(yīng)PC機指令，并將接受的數(shù)據(jù)傳輸給讀寫FLASH數(shù)據(jù)級連管理模塊；
[0018]所述讀寫FLASH數(shù)據(jù)級連管理模塊用于接收系統(tǒng)主控模塊的數(shù)據(jù)，同時接收下一級存儲板的信息，并將接收的數(shù)據(jù)和信息傳輸給FIFO緩存模塊；
[0019]所述FIFO緩存模塊用于將接收的讀寫FLASH數(shù)據(jù)級連模塊的數(shù)據(jù)和信息進(jìn)行緩存；
[0020]所述乒乓模塊用于對FIFO緩存模塊中緩存的數(shù)據(jù)和信息進(jìn)行乒乓操作，實現(xiàn)數(shù)據(jù)流的塊穩(wěn)定輸入輸出；
[0021]所述容量管理單片機模塊用于實現(xiàn)整個存儲板的容量管理；
[0022]所述流水線管理模塊用于提高整個存儲板的數(shù)據(jù)存儲帶寬；
[0023]所述FLASH時序接口模塊用于產(chǎn)生FLASH操作的底層時序；
[0024]所述DDR時序模塊用于把SDR數(shù)據(jù)轉(zhuǎn)換成DDR數(shù)據(jù)。
[0025]所述存儲板還包括若干FLASH存儲器，與FLASH存儲器相連的MCU，以及用于存儲FLASH存儲器的存儲容量信息的EEPR0M。
[0026]所述FLASH存儲器采用單片256Gb 的MLC NAND FLASH，型號為 MT29F256G08CJAAB。
[0027]所述單個存儲器包括10片F(xiàn)LASH，并且每5片F(xiàn)LASH進(jìn)行并行存儲，5片F(xiàn)LASH之間采用流水線技術(shù)進(jìn)行操作。
[0028]所述若干存儲板之間采用LVDS接口進(jìn)行數(shù)據(jù)傳輸。
[0029]一種大數(shù)據(jù)高速存儲的實現(xiàn)方法，包括以下步驟:
[0030]大數(shù)據(jù)開始后，數(shù)據(jù)不斷進(jìn)入系統(tǒng)主控板，系統(tǒng)主控板在接收到一定量的數(shù)據(jù)后把這些數(shù)據(jù)進(jìn)行封裝打包，然后通過LVDS接口傳送給存儲板并存儲到存儲板的FLASH當(dāng)中，該存儲板在接收到這些數(shù)據(jù)后，先判斷本存儲板是否存滿；如果沒有存儲滿，則繼續(xù)接著上次的存儲地址進(jìn)行存儲；如果已經(jīng)存滿，則把本存儲板存滿的狀態(tài)發(fā)送給MCU模塊，然后MCU模塊把本存儲板存儲滿的信息存儲到EEPROM當(dāng)中，并把本級存儲設(shè)置為不可寫；同時把接收到的數(shù)據(jù)轉(zhuǎn)送給下一個存儲板，依次類推，直到所有的存儲板都存儲滿后，把存儲滿的狀態(tài)信息返回給系統(tǒng)主控模塊，由系統(tǒng)主控模塊返回給用戶，使得用戶得以及時做出相應(yīng)的處理。
[0031]與現(xiàn)有技術(shù)相比，本發(fā)明具有的有益效果:本發(fā)明選用FPGA作為核心控制器，實現(xiàn)了 400MB/S的實時帶寬。并且數(shù)據(jù)存儲容量，由于使用的堆疊方式實現(xiàn)的級連擴展，理論上可以達(dá)到無限。采用板間級連的連接方式，使得系統(tǒng)結(jié)構(gòu)簡單，尺寸和重量大大減小，適用于機載航拍中的存儲等海量數(shù)據(jù)的高速持續(xù)存儲的特殊應(yīng)用場合。本發(fā)明的實現(xiàn)方法簡單，利于操作。
[0032]進(jìn)一步的，本發(fā)明使用了 MCL NAND FLASH的同步操作模式，并使用多片并行存儲及多片間的流水線技術(shù)，使得本系統(tǒng)體積較小，重量大大的減輕，實現(xiàn)了大數(shù)據(jù)的高速存儲，并且系統(tǒng)簡單，易于實現(xiàn)大數(shù)據(jù)的高速存儲，采用板級級連技術(shù)，使得其存儲容量可以接近于無限容量擴展。
[0033]進(jìn)一步的，F(xiàn)LASH采用單片 256Gb 的 MLC NAND FLASH,型號為 MT29F256G08CJAAB，此型號為目前市場上比較容易獲得的最大容量的MLCNAND FLASH。其一次program操作的數(shù)據(jù)量高達(dá)8KB。
[0034]采用NAND FLASH的同步操作模式。相較于異步模式僅50MT/s的數(shù)據(jù)吞吐量，同步模式的數(shù)據(jù)吞吐量高達(dá)200MT/S，是異步模式的4倍。
[0035]采用MLC NAND FLASH獨有的Mult1-Plane操作模式,提高了單片NANDFLASH的讀寫速度。雖然在單片內(nèi)部提高的帶寬不是很明顯，但是在經(jīng)過后面的多級流水操作后，這個帶寬的提高相當(dāng)?shù)娘@著。
[0036]采用單板10片NAND FLASH,實現(xiàn)單板320GB的海量存儲。
[0037]存儲板的前后數(shù)據(jù)通路設(shè)計能夠?qū)?，系統(tǒng)的邏輯設(shè)計完全兼容。這樣，系統(tǒng)的容量就可以通過增加存儲板的數(shù)據(jù)加以擴充。
[0038]存儲板與存儲板之間采用LVDS接口進(jìn)行數(shù)據(jù)傳輸，LVDS的數(shù)據(jù)傳輸帶寬高達(dá)IGbps，提高了存儲速度。
[0039]采用單板10片NAND FLASH,并平均分成兩組各5片NAND FLASH進(jìn)行并行存儲。同時各組內(nèi)的5片NAND FLASH之間使用流水線技術(shù)，大大提高了數(shù)據(jù)帶寬，最終高達(dá)400MB/
So
[0040]采用層級堆疊的硬件擴展方式，使得整個存儲系統(tǒng)的體積大大減小。以3TB存儲容量為例，需要要9塊存儲板，其占用的體積僅為10mmX 10mmX 100mm。
【專利附圖】
【附圖說明】
[0041]圖1為系統(tǒng)整體結(jié)構(gòu)圖；
[0042]圖2為單個存儲板的工作流程圖；
【具體實施方式】
[0043]下面結(jié)合附圖對本發(fā)明做進(jìn)一步說明。
[0044]參見圖1和圖2所示，本發(fā)明包括電源管理模塊、用于接收大數(shù)據(jù)的系統(tǒng)主控板以及與系統(tǒng)主控板相連的系統(tǒng)存儲模塊，系統(tǒng)存儲模塊包括若干個相同的存儲板；
[0045]所述系統(tǒng)主控板通過USB模塊將存儲于系統(tǒng)存儲模塊中的數(shù)據(jù)傳輸?shù)絇C中。
[0046]所述電源管理模塊與系統(tǒng)主控板、系統(tǒng)存儲模塊相連用于供電。
[0047]所述系統(tǒng)主控板包括FPGA主控制器、MCU模塊和USB模塊，系統(tǒng)主控板接收到數(shù)據(jù)后將所接收到的數(shù)據(jù)進(jìn)行封裝打包，然后傳送給系統(tǒng)存儲模塊中的一個存儲板，若是該存儲板信息還沒有存滿，則將信息存儲于該存儲板，若是該存儲板信息已存滿，則將數(shù)據(jù)傳送給下一個存儲板，同時將存滿的信息通過MCU模塊反饋給FPGA主控制器，依此類推，直至最后一個存儲板存滿為止；從而實現(xiàn)了大數(shù)據(jù)的存儲。
[0048]所述系統(tǒng)主控模塊用于接收外部數(shù)據(jù)并響應(yīng)PC機指令，并將接受的數(shù)據(jù)傳輸給讀寫FLASH數(shù)據(jù)級連管理模塊；
[0049]所述讀寫FLASH數(shù)據(jù)級連管理模塊用于接收系統(tǒng)主控模塊的數(shù)據(jù)，同時接收下一級存儲板的信息，并將接收的數(shù)據(jù)和信息傳輸給FIFO緩存模塊，實現(xiàn)多板之間的通信，實現(xiàn)容量的擴展；
[0050]所述FIFO緩存模塊用于將接收的讀寫FLASH數(shù)據(jù)級連模塊的數(shù)據(jù)和信息進(jìn)行緩存；
[0051]所述乒乓模塊用于對FIFO緩存模塊中緩存的數(shù)據(jù)和信息進(jìn)行乒乓操作，實現(xiàn)數(shù)據(jù)流的塊穩(wěn)定輸入輸出；
[0052]所述容量管理單片機模塊用于實現(xiàn)整個存儲板的容量管理；
[0053]所述流水線管理模塊用于提高整個存儲板的數(shù)據(jù)存儲帶寬；
[0054]所述FLASH時序接口模塊用于產(chǎn)生FLASH操作的底層時序；
[0055]所述DDR時序模塊用于把SDR數(shù)據(jù)轉(zhuǎn)換成DDR數(shù)據(jù)。
[0056]所述存儲板還包括若干FLASH存儲器。
[0057]所述FLASH存儲器采用單片256Gb 的MLC NAND FLASH，型號為 MT29F256G08CJAAB。
[0058]所述若干存儲板之間采用LVDS接口進(jìn)行數(shù)據(jù)傳輸。
[0059]本發(fā)明選用FPGA作為核心控制器，實現(xiàn)了 400MB/S的實時帶寬。并且數(shù)據(jù)存儲容量，由于使用的堆疊方式實現(xiàn)的級連擴展，理論上可以達(dá)到無限。采用板間級連的連接方式，使得系統(tǒng)結(jié)構(gòu)簡單，尺寸和重量大大減小，適用于機載航拍中的存儲等海量數(shù)據(jù)的高速持續(xù)存儲的特殊應(yīng)用場合。
[0060]同時把整個操作過程按工作過程劃分為數(shù)據(jù)接收層、流水線控制層、數(shù)據(jù)接口切換層、及FLASH物理接口層。
[0061]1.大數(shù)據(jù)高速存儲系統(tǒng)的整體工作過程
[0062]如圖1所示，上電后，存儲板進(jìn)行自檢測。檢測自己的FLASH是否正常、檢測存儲板上的主控系統(tǒng)是否正常工作、檢測存儲板現(xiàn)在已經(jīng)使用的容量；然把把自檢結(jié)果發(fā)送給系統(tǒng)主控模塊，由系統(tǒng)主控模塊把自檢的結(jié)果發(fā)送到用戶。這樣用戶就可以直接監(jiān)測到整個存儲系統(tǒng)的狀態(tài)。如果發(fā)現(xiàn)有FLASH已經(jīng)壞了，或者整個板子有問題時，進(jìn)行及時的處理。完成自檢后，存儲板監(jiān)測系統(tǒng)主控模塊的oper信號以確定主控板現(xiàn)在要對存儲板進(jìn)行的操作，是讀、寫、擦除中的哪一種操作。然后存儲板進(jìn)入相應(yīng)的操作模式。如果是寫操作，那么存儲板進(jìn)行寫操作模式。
[0063]如圖1所示，大數(shù)據(jù)開始后，數(shù)據(jù)不斷的以一個高的速率進(jìn)入系統(tǒng)主控板。系統(tǒng)主控板在接收到一定量的數(shù)據(jù)(例如8KB)后把這些數(shù)據(jù)按照內(nèi)部定義的協(xié)議進(jìn)行封裝打包，然后通過高速的LVDS接口按照一定的地址編址方式傳送給存儲I號板并存儲到存儲I號板的FLASH當(dāng)中。存儲I號板在接收到這些數(shù)據(jù)(例如8K)后，先判斷本存儲板(存儲I號板)是否存滿。如果沒有存儲滿，則繼續(xù)接著上次的存儲地址進(jìn)行存儲。如果已經(jīng)存滿，則把本存儲板存滿的狀態(tài)發(fā)送給MCU，然后MCU把本存儲板存儲滿的信息存儲到EEPROM當(dāng)中，并把本級存儲設(shè)置為不可寫。同時把接收到的數(shù)據(jù)轉(zhuǎn)送給存儲2號板。依次類推，直到所有的存儲板都存儲滿后，把存儲滿的狀態(tài)信息返回給系統(tǒng)主控模塊，由系統(tǒng)主控模塊返回給用戶，使得用戶得以及時做出相應(yīng)的處理。
[0064]2.存儲板的工作過程
[0065]參見圖2，存儲板的工作過程包括以下步驟:
[0066]2.1上電后的配置
[0067]上電后，MEM存儲板進(jìn)入等待狀態(tài)。等待數(shù)據(jù)接口模塊的命令。當(dāng)數(shù)據(jù)接口模塊給的操作為寫FLASH操作時，MEM板的FPGA啟動容量管理單片機模塊，容量管理單片機模塊從存儲板上的單片機的EEPROM中獲得上次所記錄的寫FLASH的地址。然后把從數(shù)據(jù)接口模塊中得到的數(shù)據(jù)不停的存儲入FLASH當(dāng)中。當(dāng)數(shù)據(jù)接口的命令為讀FLASH時，MEM板的FPGA啟動容量管理單片機模塊，容量管理單片機模塊從存儲板上的單片機獲得所要讀取的FLASH的地址。然后進(jìn)入讀數(shù)據(jù)狀態(tài)，并把數(shù)據(jù)源源不斷的從FLASH中讀出，并通過數(shù)據(jù)接口的USB接口上傳到PC當(dāng)中。
[0068]2.2寫數(shù)據(jù)操作
[0069]系統(tǒng)主控模塊發(fā)出寫操作命令時，存儲板FPGA獲得相應(yīng)的配置后，首先判斷本級存儲板是否存儲滿，如果存儲滿，則把與系統(tǒng)主控模塊的接口切換給下一級存儲板。否則，本級存儲板進(jìn)入寫操作。
[0070]進(jìn)入寫操作后，讀FLASH數(shù)據(jù)級連管理模塊把得到的數(shù)據(jù)寫入本級寫FLASHFIF0緩存。然后，乒乓操作模塊把FIFO中的數(shù)據(jù)寫入RAM當(dāng)中，這部分有兩個RAM進(jìn)行乒乓操作。這兩個RAM中當(dāng)其中一個處于寫狀態(tài)時，另一個處于讀狀態(tài)。當(dāng)RAM寫滿后，給流水線管理模塊一個開始信號。然后流水線管理模塊開始通過接口管理模塊把FLASH時序模塊的寫接口切換到相應(yīng)的FLASH芯片，然后把當(dāng)前滿的RAM中的數(shù)據(jù)按照預(yù)設(shè)計的方式分配給相應(yīng)的FLASH。接著，F(xiàn)LASH接口時序模塊就把RAM中的數(shù)據(jù)生成相應(yīng)的FLASH接口時序，并把數(shù)據(jù)發(fā)送給DDR時序模塊，把數(shù)據(jù)從SDR轉(zhuǎn)換成DDR，然后給FLASH芯片。這樣就完成了一次寫操作。
[0071]2.3讀數(shù)據(jù)操作
[0072]系統(tǒng)主控模塊發(fā)出讀操作命令時，存儲板FPGA啟動容量管理單片機模塊以獲取從PC傳來的讀數(shù)據(jù)的地址。然后進(jìn)入讀數(shù)據(jù)狀態(tài)。然后流水線管理模塊經(jīng)FLASH接口時序模塊發(fā)送相應(yīng)的讀操作命令，然后從FLASH獲得FLASH內(nèi)部所存儲的數(shù)據(jù)。并把數(shù)據(jù)給乒乓操作模塊，由其寫入RAM當(dāng)中，再把數(shù)據(jù)從RAM中搬寫到本級讀FIFO緩存當(dāng)中。然后通過讀寫FLASH數(shù)據(jù)級連管理模塊把數(shù)據(jù)傳送給系統(tǒng)主控模塊，再由主控模塊把數(shù)據(jù)通過USB接口發(fā)送給PC機。
[0073]2.4容量管理
[0074]上電后，MCU從EEPROM當(dāng)中讀取本級存儲板的相關(guān)狀態(tài)信息，并把這些狀態(tài)信息通過EMIF接口發(fā)送給FPGA做為判斷依據(jù)。一開始存儲板上的MCU上的EEPROM當(dāng)中的所有狀態(tài)信息皆為初始狀態(tài)。這些狀態(tài)信息包括本級存儲板是否存儲滿、本級存儲板的當(dāng)前存儲位置、本級存儲板的存儲容量等。當(dāng)本級存儲板接收到數(shù)據(jù)后，先判斷本級存儲板是否存儲滿，如是沒有存儲滿，則接著上次的存儲地址繼續(xù)存儲。如是已經(jīng)存儲滿，本級存儲板上的FPGA把接收到的數(shù)據(jù)轉(zhuǎn)送給下一級存儲板。這樣就實現(xiàn)了存儲板的容量及存儲位置的管理。讀數(shù)據(jù)同理。
[0075]以上所述，僅是本發(fā)明的較佳實施案例而已，并非對本發(fā)明做任何形式上的限制，雖然本發(fā)明已以較佳實施方法揭露如上，然而并非用以限定本發(fā)明，任何熟悉本專業(yè)的技術(shù)人員，在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，當(dāng)可利用上述揭示的方法及技術(shù)內(nèi)容做出些許的更動或修飾為等同變化的等效實施例，但凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施例所作的任何簡單修改、等同變化與修飾，仍屬于本發(fā)明技術(shù)方案的范圍內(nèi)。
【權(quán)利要求】
1.一種大數(shù)據(jù)高速存儲系統(tǒng)，其特征在于，包括電源管理模塊、用于接收大數(shù)據(jù)的系統(tǒng)主控板以及與系統(tǒng)主控板相連的系統(tǒng)存儲模塊，系統(tǒng)存儲模塊包括若干個相同的存儲板； 所述系統(tǒng)主控板通過USB模塊將存儲于系統(tǒng)存儲模塊中的數(shù)據(jù)傳輸?shù)絇C中； 所述電源管理模塊與系統(tǒng)主控板、系統(tǒng)存儲模塊相連用于供電； 所述系統(tǒng)主控板包括FPGA主控制器、MCU模塊和USB模塊，系統(tǒng)主控板接收到數(shù)據(jù)后將所接收到的數(shù)據(jù)進(jìn)行封裝打包，然后傳送給系統(tǒng)存儲模塊中的一個存儲板，若是該存儲板信息還沒有存滿，則將信息存儲于該存儲板，若是該存儲板信息已存滿，則將數(shù)據(jù)傳送給下一個存儲板，同時將存滿的信息通過MCU模塊反饋給FPGA主控制器，依此類推，直至最后一個存儲板存滿為止；從而實現(xiàn)了大數(shù)據(jù)的存儲。
2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)高速存儲系統(tǒng)，其特征在于，所述存儲板包括系統(tǒng)主控模塊，讀寫FLASH數(shù)據(jù)級連管理模塊，F(xiàn)IFO緩存模塊，乒乓操作模塊，容量管理模塊，流水線管理模塊，F(xiàn)LASH接口時序模塊以及DDR時序模塊； 所述系統(tǒng)主控模塊用于接收外部數(shù)據(jù)并響應(yīng)PC機指令，并將接受的數(shù)據(jù)傳輸給讀寫FLASH數(shù)據(jù)級連管理模塊； 所述讀寫FLASH數(shù)據(jù)級連管理模塊用于接收系統(tǒng)主控模塊的數(shù)據(jù)，同時接收下一級存儲板的信息，并將接收的數(shù)據(jù)和信息傳輸給FIFO緩存模塊； 所述FIFO緩存模塊用于將接收的讀寫FLASH數(shù)據(jù)級連模塊的數(shù)據(jù)和信息進(jìn)行緩存；所述乒乓模塊用于對FIFO緩存模塊中緩存的數(shù)據(jù)和信息進(jìn)行乒乓操作，實現(xiàn)數(shù)據(jù)流的塊穩(wěn)定輸入輸出； 所述容量管理單片機模塊用于實現(xiàn)整個存儲板的容量管理； 所述流水線管理模塊用于提高整個存儲板的數(shù)據(jù)存儲帶寬； 所述FLASH時序接口模塊用于產(chǎn)生FLASH操作的底層時序； 所述DDR時序模塊用于把SDR數(shù)據(jù)轉(zhuǎn)換成DDR數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)高速存儲系統(tǒng)，其特征在于，所述存儲板還包括若干FLASH存儲器，與FLASH存儲器相連的MCU，以及用于存儲FLASH存儲器的存儲容量信息的 EEPROM。
4.根據(jù)權(quán)利要求3所述的一種大數(shù)據(jù)高速存儲系統(tǒng)，其特征在于，所述FLASH存儲器采用單片 256Gb 的 MLC NAND FLASH，型號為 MT29F256G08CJAAB。
5.根據(jù)權(quán)利要求4所述的一種大數(shù)據(jù)高速存儲系統(tǒng)，其特征在于，所述單個FLASH存儲器包括10片F(xiàn)LASH，并且每5片F(xiàn)LASH進(jìn)行并行存儲，5片F(xiàn)LASH之間采用流水線技術(shù)進(jìn)行操作。
6.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)高速存儲系統(tǒng)，其特征在于，所述若干存儲板之間采用LVDS接口進(jìn)行數(shù)據(jù)傳輸。
7.一種基于權(quán)利要求1所述的系統(tǒng)的大數(shù)據(jù)高速存儲的實現(xiàn)方法，其特征在于，包括以下步驟: 大數(shù)據(jù)開始后，數(shù)據(jù)不斷進(jìn)入系統(tǒng)主控板，系統(tǒng)主控板在接收到一定量的數(shù)據(jù)后把這些數(shù)據(jù)進(jìn)行封裝打包，然后通過LVDS接口傳送給存儲板并存儲到存儲板的FLASH當(dāng)中，該存儲板在接收到這些數(shù)據(jù)后，先判斷本存儲板是否存滿；如果沒有存儲滿，則繼續(xù)接著上次的存儲地址進(jìn)行存儲；如果已經(jīng)存滿，則把本存儲板存滿的狀態(tài)發(fā)送給MCU模塊，然后MCU模塊把本存儲板存儲滿的信息存儲到EEPROM當(dāng)中，并把本級存儲設(shè)置為不可寫；同時把接收到的數(shù)據(jù)轉(zhuǎn)送給下一個存儲板，依次類推，直到所有的存儲板都存儲滿后，把存儲滿的狀態(tài)信息返回給系統(tǒng)主控模塊，由系統(tǒng)主控模塊返回給用戶，使得用戶得以及時做出相應(yīng)的處理。
【文檔編號】G06F13/40GK104133798SQ201410377547
【公開日】2014年11月5日 申請日期:2014年8月1日 優(yōu)先權(quán)日:2014年8月1日
【發(fā)明者】何國經(jīng), 肖佳, 栗旭光, 謝世熊, 白鑫鵬, 林先萌, 薄振桐, 余坦秀, 鄧啟亮 申請人:西安電子科技大學(xué)