一種圖片專屬安全存儲(chǔ)云系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及與可視化監(jiān)控相關(guān)的信息技術(shù)領(lǐng)域，尤其涉及一種圖片專屬安全存儲(chǔ)云系統(tǒng)。
【背景技術(shù)】
[0002]目前，在平安城市、智慧交通等可視化監(jiān)控系統(tǒng)的建設(shè)中，會(huì)涉及到大量的圖片數(shù)據(jù)存儲(chǔ)。隨著可視化監(jiān)控系統(tǒng)布設(shè)前端點(diǎn)位的增多以及圖片存儲(chǔ)時(shí)長(zhǎng)的增長(zhǎng)，圖片存儲(chǔ)占用的容量急劇上升，如某些地市一天的卡口監(jiān)控所攝制圖片可達(dá)3000萬張，按每張IMB計(jì)算，一個(gè)月就需要近1000TB的存儲(chǔ)空間。
[0003]對(duì)于圖片數(shù)據(jù)的存儲(chǔ)，常規(guī)的做法，是以數(shù)據(jù)存儲(chǔ)通用的文件系統(tǒng)為基礎(chǔ)，在系統(tǒng)后臺(tái)的服務(wù)器上直接進(jìn)行圖片文件存儲(chǔ)。有些技術(shù)是采用FTP服務(wù)器或者WEB服務(wù)器方式進(jìn)行數(shù)據(jù)存取，有些是采用NFS/CIFS協(xié)議文件共享的方式實(shí)現(xiàn)到服務(wù)器的直接存取。這樣的方式簡(jiǎn)單直接，但隨著圖片容量的極速增長(zhǎng)以及對(duì)圖片存儲(chǔ)存取性能、可靠性的更高要求，因技術(shù)上固有的瓶頸，此類方案越來越力不從心。
[0004]具體來看，上述現(xiàn)有技術(shù)目前出現(xiàn)的缺陷包括:首先，所采用的通用文件系統(tǒng)在文件數(shù)量急劇增長(zhǎng)后，訪問效率急劇下降；同時(shí)，伴隨著新舊文件的不斷增刪，磁盤碎片會(huì)越來越多，導(dǎo)致訪問效率進(jìn)一步惡化。其次，如果出現(xiàn)主機(jī)異常斷電等非正常停機(jī)情況，開機(jī)后文件系統(tǒng)的長(zhǎng)達(dá)數(shù)小時(shí)的自檢時(shí)長(zhǎng)也會(huì)是一個(gè)災(zāi)難。而且，為了應(yīng)對(duì)容量及性能的瓶頸，常規(guī)做法是手動(dòng)劃定某些前端點(diǎn)位來源的圖片存儲(chǔ)在某預(yù)定的服務(wù)器上，但這樣帶來的問題是無法統(tǒng)籌管理所有的存儲(chǔ)空間，無法動(dòng)態(tài)調(diào)度分配，無法對(duì)該服務(wù)器的剩余存儲(chǔ)空間動(dòng)態(tài)均衡，造成存儲(chǔ)空間的浪費(fèi)且無法冗備，難以動(dòng)態(tài)彈性擴(kuò)容。
[0005]伴隨著以Hadoop為代表的云存儲(chǔ)技術(shù)的發(fā)展，部分現(xiàn)有的可視化監(jiān)控系統(tǒng)提出以云存儲(chǔ)系統(tǒng)作為后臺(tái)支撐海量圖片數(shù)據(jù)的存儲(chǔ)，旨在利用云存儲(chǔ)的技術(shù)優(yōu)勢(shì)，緩解存儲(chǔ)空間上的壓力，盡可能提高數(shù)據(jù)存取應(yīng)用的效率，并且保障數(shù)據(jù)安全性。
[0006]云存儲(chǔ)是當(dāng)前云技術(shù)(CLOUD)較為成熟的一個(gè)重要分支，其核心是將大量分散和異構(gòu)的存儲(chǔ)設(shè)備通過網(wǎng)絡(luò)連接和整合為統(tǒng)一的存儲(chǔ)空間，利用通用的外部訪問接口，提供數(shù)據(jù)存儲(chǔ)業(yè)務(wù)。
[0007]目前，云存儲(chǔ)系統(tǒng)對(duì)海量數(shù)據(jù)的存取和管理主要基于比較成熟的Hadoop分布式文件系統(tǒng)。Hadoop系統(tǒng)將整個(gè)云存儲(chǔ)系統(tǒng)構(gòu)造為數(shù)據(jù)節(jié)點(diǎn)、元數(shù)據(jù)節(jié)點(diǎn)、以及客戶端。其中，大量和分散的存儲(chǔ)設(shè)備作為數(shù)據(jù)節(jié)點(diǎn)，以文件為單元執(zhí)行對(duì)數(shù)據(jù)的實(shí)際存儲(chǔ)，支持?jǐn)?shù)據(jù)的存取應(yīng)用，并且將文件相關(guān)的信息定期上報(bào)給元數(shù)據(jù)節(jié)點(diǎn)。元數(shù)據(jù)節(jié)點(diǎn)是主節(jié)點(diǎn)，其功能一方面是根據(jù)數(shù)據(jù)節(jié)點(diǎn)上傳的信息生成以及保存所述文件的元數(shù)據(jù)，元數(shù)據(jù)反映了所述文件到實(shí)際存儲(chǔ)空間的映射，另一方面，元數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)響應(yīng)客戶端的請(qǐng)求而執(zhí)行對(duì)文件的操作，其中最基本的操作是文件的讀取，還包括文件的刪除、重命名以及其它目錄操作。數(shù)據(jù)節(jié)點(diǎn)對(duì)文件的上述操作會(huì)造成文件相關(guān)信息的改變，因而需要相應(yīng)地更改元數(shù)據(jù)節(jié)點(diǎn)上與操作所涉及文件相關(guān)的元數(shù)據(jù)。在數(shù)據(jù)安全性方面，Hadoop系統(tǒng)采用文件副本的方式執(zhí)行冗余備份，將一個(gè)文件生成為三個(gè)副本并分布存儲(chǔ)于不同的數(shù)據(jù)節(jié)點(diǎn)之上，當(dāng)一個(gè)文件副本出現(xiàn)問題時(shí)可以利用其它副本即時(shí)予以恢復(fù)。
[0008]然而，將Hadoop分布式文件系統(tǒng)基礎(chǔ)上的云存儲(chǔ)系統(tǒng)應(yīng)用到可視化監(jiān)控的海量圖片文件存儲(chǔ)，仍然會(huì)出現(xiàn)問題。首先，可視化監(jiān)控所產(chǎn)生的圖片數(shù)據(jù)具有海量級(jí)的文件數(shù)量和輕量級(jí)的文件大小，例如上文所述，城市的可視化監(jiān)控系統(tǒng)一天可能產(chǎn)生3000萬個(gè)大小為IM左右的圖片文件，在Hadoop分布式文件系統(tǒng)的體系之下需要為海量級(jí)的圖片文件生成、保存以及更新管理各個(gè)文件的元數(shù)據(jù)，將造成元數(shù)據(jù)數(shù)據(jù)規(guī)模的泛濫以及元數(shù)據(jù)體系的復(fù)雜化，給基于元數(shù)據(jù)的文件存取和操作帶來困難。其次，可視化監(jiān)控特殊的應(yīng)用場(chǎng)景造成其與Hadoop系統(tǒng)模式的不兼容，Hadoop系統(tǒng)適用的常規(guī)云存儲(chǔ)模式是:文件一次寫入、很少刪除、多次讀??；而在可視化監(jiān)控應(yīng)用當(dāng)中圖片文件需要一次寫入、循環(huán)刪除、多次讀取。兩者最大的區(qū)別在于“刪除”操作的頻率，因?yàn)樵诳梢暬O(jiān)控的場(chǎng)景下，隨著時(shí)間的不斷推移，圖片文件會(huì)無限的產(chǎn)生，因此必須循環(huán)刪除生成時(shí)間上靠前的圖片文件，從而騰出存儲(chǔ)空間。但是，頻繁的刪除操作會(huì)帶來元數(shù)據(jù)管理的巨大開銷，這也是Hadoop系統(tǒng)在處理此類問題時(shí)的“短板”。再次，Hadoop系統(tǒng)為了強(qiáng)化數(shù)據(jù)安全而給出的冗余備份方案建立三個(gè)副本，耗費(fèi)過多的存儲(chǔ)空間，在可視化監(jiān)控的數(shù)據(jù)量級(jí)下難以實(shí)際采納。

【發(fā)明內(nèi)容】

[0009]為了克服上述現(xiàn)有技術(shù)存在的缺陷，本發(fā)明提供了一種圖片專屬安全存儲(chǔ)云系統(tǒng)。本系統(tǒng)針對(duì)可視化監(jiān)控中海量級(jí)圖片數(shù)據(jù)規(guī)模，適應(yīng)其具有的“一次寫入、循環(huán)刪除、多次讀取”的應(yīng)用場(chǎng)景特點(diǎn)，并且根據(jù)維護(hù)圖片數(shù)據(jù)安全的實(shí)際需求，構(gòu)建了統(tǒng)一的圖片專屬云存儲(chǔ)系統(tǒng)架構(gòu)和數(shù)據(jù)存取管理模型，專門適用于公安、交警等可視化監(jiān)控的圖片數(shù)據(jù)云存儲(chǔ)，具有安全、高效的優(yōu)點(diǎn)。
[0010]本發(fā)明提供的一種圖片專屬安全存儲(chǔ)云系統(tǒng)，應(yīng)用與對(duì)可視化監(jiān)控生成的圖片數(shù)據(jù)的存儲(chǔ)，其特征在于，包括:兩個(gè)元數(shù)據(jù)節(jié)點(diǎn)以及多個(gè)數(shù)據(jù)節(jié)點(diǎn)；其中
[0011]所述元數(shù)據(jù)節(jié)點(diǎn)用于存儲(chǔ)極少量的元數(shù)據(jù)，并利用所述元數(shù)據(jù)實(shí)現(xiàn)所述圖片數(shù)據(jù)至數(shù)據(jù)節(jié)點(diǎn)的存儲(chǔ)空間的分配映射，管理配置各個(gè)數(shù)據(jù)節(jié)點(diǎn)的屬性和實(shí)時(shí)狀態(tài)；并且，所述元數(shù)據(jù)節(jié)點(diǎn)提供訪問所述圖片數(shù)據(jù)的入口，接收并響應(yīng)客戶端的訪問請(qǐng)求，并且根據(jù)所述元數(shù)據(jù)確定客戶端所請(qǐng)求的圖片數(shù)據(jù)所對(duì)應(yīng)的存儲(chǔ)空間，將響應(yīng)訪問請(qǐng)求的任務(wù)分配至提供該存儲(chǔ)空間的數(shù)據(jù)節(jié)點(diǎn)；
[0012]所述數(shù)據(jù)節(jié)點(diǎn)用于提供用于實(shí)現(xiàn)對(duì)圖片數(shù)據(jù)的物理存儲(chǔ)與訪問的存儲(chǔ)空間，獲得圖片數(shù)據(jù)，并且根據(jù)所述元數(shù)據(jù)描述的圖片數(shù)據(jù)至數(shù)據(jù)節(jié)點(diǎn)的存儲(chǔ)空間的分配映射存儲(chǔ)圖片數(shù)據(jù)，以及按照元數(shù)據(jù)節(jié)點(diǎn)分配的任務(wù)，以圖片流的形式向客戶端反饋其所請(qǐng)求訪問的圖片數(shù)據(jù)。
[0013]優(yōu)選的是，所述元數(shù)據(jù)節(jié)點(diǎn)將至少一個(gè)數(shù)據(jù)源生成的圖片數(shù)據(jù)作為數(shù)據(jù)流，為每個(gè)數(shù)據(jù)流建立相對(duì)應(yīng)的元數(shù)據(jù)；所述元數(shù)據(jù)用于描述該數(shù)據(jù)流的圖片數(shù)據(jù)至數(shù)據(jù)節(jié)點(diǎn)的存儲(chǔ)空間的分配映射；并且，所述元數(shù)據(jù)還進(jìn)一步描述了該數(shù)據(jù)流的附加信息。
[0014]進(jìn)一步優(yōu)選的是，所述附加信息包括:數(shù)據(jù)流對(duì)應(yīng)的監(jiān)控點(diǎn)位、圖片存儲(chǔ)時(shí)長(zhǎng)、圖片分辨率、空間占用狀況、平均流量、支持訪問協(xié)議類型以及數(shù)據(jù)流分層信息。
[0015]優(yōu)選的是，所述元數(shù)據(jù)節(jié)點(diǎn)為各數(shù)據(jù)節(jié)點(diǎn)建立和維護(hù)存儲(chǔ)單元元數(shù)據(jù)，所述存儲(chǔ)單元元數(shù)據(jù)用于配置數(shù)據(jù)節(jié)點(diǎn)的屬性以及更新數(shù)據(jù)節(jié)點(diǎn)的狀態(tài)。
[0016]更進(jìn)一步優(yōu)選的是，存儲(chǔ)單元元數(shù)據(jù)包括數(shù)據(jù)節(jié)點(diǎn)的讀寫屬性配置信息，所述讀寫屬性配置信息用于配置任一數(shù)據(jù)節(jié)點(diǎn)的讀寫屬性，所述讀寫屬性包括“可讀可寫”以及“只讀”選項(xiàng)。
[0017]優(yōu)選的是，所述元數(shù)據(jù)節(jié)點(diǎn)用于建立并維護(hù)系統(tǒng)全局元數(shù)據(jù)；所述系統(tǒng)全局元數(shù)據(jù)用于對(duì)整個(gè)云存儲(chǔ)系統(tǒng)的磁盤使用、數(shù)據(jù)量吞吐、CPU占用、數(shù)據(jù)讀寫、空間占用等狀態(tài)進(jìn)行監(jiān)控，以及對(duì)系統(tǒng)節(jié)點(diǎn)構(gòu)成和存儲(chǔ)空間分配進(jìn)行配置。
[0018]優(yōu)選的是，所述元數(shù)據(jù)節(jié)點(diǎn)在發(fā)生數(shù)據(jù)節(jié)點(diǎn)的在線動(dòng)態(tài)增減的情況下重新登記系統(tǒng)的數(shù)據(jù)節(jié)點(diǎn)構(gòu)成，重新計(jì)算可用存儲(chǔ)空間，并且相應(yīng)更新系統(tǒng)全局元數(shù)據(jù)。
[0019]優(yōu)選的是，所述兩個(gè)元數(shù)據(jù)節(jié)點(diǎn)當(dāng)中一個(gè)是主機(jī)，另一個(gè)是備機(jī)，備機(jī)對(duì)主機(jī)執(zhí)行1+1熱備份。
[0020]優(yōu)選的是，所述元數(shù)據(jù)節(jié)點(diǎn)通過數(shù)據(jù)流的元數(shù)據(jù)的備份登記信息，記錄該數(shù)據(jù)流是否冗余備份、冗余備份的副本級(jí)別以及冗余備份的數(shù)據(jù)流部分。
[0021]優(yōu)選的是，所述數(shù)據(jù)流經(jīng)過所述元數(shù)據(jù)節(jié)點(diǎn)對(duì)其進(jìn)行存儲(chǔ)空間的分配映射后，通過數(shù)據(jù)傳輸通道將該數(shù)據(jù)流傳輸?shù)较鄳?yīng)的數(shù)據(jù)節(jié)點(diǎn)，并且數(shù)據(jù)流中的圖片數(shù)據(jù)被劃分為特定大小的數(shù)據(jù)塊，并將數(shù)據(jù)塊直接寫入磁盤裸盤。
[0022]本系統(tǒng)專門面向公安、交通等可視化監(jiān)控系統(tǒng)通過智能抓拍等手段生成的海量圖片數(shù)據(jù)，提供了圖片專屬安全存儲(chǔ)云系統(tǒng)，可作為可視化監(jiān)控的圖片存儲(chǔ)平臺(tái)，基于HTTP或FTP等多種協(xié)議實(shí)現(xiàn)對(duì)多種客戶端應(yīng)