海量數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，特別是涉及一種海量數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)。
【背景技術(shù)】
[0002]為保證高可用、高可靠和經(jīng)濟(jì)性，云計(jì)算采用分布式存儲(chǔ)的方式來(lái)存儲(chǔ)數(shù)據(jù)，采用冗余存儲(chǔ)的方式來(lái)保證存儲(chǔ)數(shù)據(jù)的可靠性，即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。另外，云計(jì)算系統(tǒng)需要同時(shí)滿足大量用戶的需求，并行地為大量用戶提供服務(wù)。因此，云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)必須具有高吞吐率和高傳輸率的特點(diǎn)。
[0003]在實(shí)際工作中，對(duì)海量數(shù)據(jù)進(jìn)行處理是一項(xiàng)艱巨而復(fù)雜的任務(wù)，其原因有以下幾個(gè)方面:
[0004]—、數(shù)據(jù)量過(guò)大，數(shù)據(jù)中什么情況都可能存在。如果說(shuō)有10條數(shù)據(jù)，那么大不了每條去逐一檢查，人為處理，如果有上百條數(shù)據(jù)，也可以考慮，如果數(shù)據(jù)上到千萬(wàn)級(jí)別，甚至過(guò)億，那不是手工能解決的了，必須通過(guò)工具或者程序進(jìn)行處理，尤其海量的數(shù)據(jù)中，什么情況都可能存在，例如，數(shù)據(jù)中某處格式出了問(wèn)題，尤其在程序處理時(shí)，前面還能正常處理，突然到了某個(gè)地方問(wèn)題出現(xiàn)了，程序終止了。
[0005]二、軟硬件要求高，系統(tǒng)資源占用率高。對(duì)海量的數(shù)據(jù)進(jìn)行處理，除了好的方法，最重要的就是合理使用工具，合理分配系統(tǒng)資源。一般情況，如果處理的數(shù)據(jù)過(guò)TB級(jí)，小型機(jī)是要考慮的，普通的機(jī)子如果有好的方法可以考慮，不過(guò)也必須加大CPU和內(nèi)存，就象面對(duì)著千軍萬(wàn)馬，光有勇氣沒(méi)有一兵一卒是很難取勝的。
[0006]三、要求很高的處理方法和技巧。好的處理方法是一位工程師長(zhǎng)期工作經(jīng)驗(yàn)的積累，也是個(gè)人的經(jīng)驗(yàn)的總結(jié)。沒(méi)有通用的處理方法，但有通用的原理和規(guī)則。
[0007]因此亟需一種海量數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)來(lái)解決上述問(wèn)題。

【發(fā)明內(nèi)容】

[0008]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種海量數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，能夠?yàn)樵朴?jì)算系統(tǒng)提供運(yùn)彳丁的基礎(chǔ)。
[0009]本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是:提供一種海量數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，包括大數(shù)據(jù)存儲(chǔ)模塊和小數(shù)據(jù)存儲(chǔ)模塊，所述大數(shù)據(jù)存儲(chǔ)模塊針對(duì)車載智能終端所上傳的大數(shù)據(jù)進(jìn)行存儲(chǔ)和管理;所述小數(shù)據(jù)存儲(chǔ)模塊針對(duì)車載智能終端所上傳的小數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。
[0010]所述大數(shù)據(jù)存儲(chǔ)模塊由索引數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)組成，文件的元數(shù)據(jù)存儲(chǔ)在所述索引數(shù)據(jù)節(jié)點(diǎn)，數(shù)據(jù)分散存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。
[0011]所述大數(shù)據(jù)存儲(chǔ)模塊中每一份數(shù)據(jù)都有其副本數(shù)據(jù)，主數(shù)據(jù)和副本數(shù)據(jù)之間通過(guò)分布式日志系統(tǒng)保證一致性。
[0012]所述小數(shù)據(jù)存儲(chǔ)模塊采用存儲(chǔ)虛擬化技術(shù)將存儲(chǔ)硬件、存儲(chǔ)軟件和存儲(chǔ)管理進(jìn)行有機(jī)整合，形成一個(gè)支持虛擬化的可擴(kuò)展的曙光云存儲(chǔ);所述存儲(chǔ)軟件采用虛擬化技術(shù)將存儲(chǔ)節(jié)點(diǎn)構(gòu)成存儲(chǔ)池。
[0013]所述的海量數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)還包括災(zāi)備存儲(chǔ)模塊，所述災(zāi)備存儲(chǔ)模塊用于對(duì)存儲(chǔ)的車輛日常關(guān)鍵數(shù)據(jù)進(jìn)行容災(zāi)備份。
[0014]所述海量數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)采用時(shí)空數(shù)據(jù)庫(kù)技術(shù)與海量數(shù)據(jù)分布式存儲(chǔ)相結(jié)合的方式對(duì)物流信息進(jìn)行有效管理。
[0015]所述時(shí)空數(shù)據(jù)庫(kù)技術(shù)基于車輛管理時(shí)空數(shù)據(jù)模型，所述時(shí)空數(shù)據(jù)模型包括數(shù)據(jù)接入及預(yù)處理模塊、數(shù)據(jù)庫(kù)組織模塊和數(shù)據(jù)庫(kù)查詢模塊；所述數(shù)據(jù)接入及預(yù)處理模塊采用mmap內(nèi)存文件映射技術(shù)，將磁盤文件直接映射到內(nèi)存，并且構(gòu)建內(nèi)存索引，建立基于哈希映射的緩存技術(shù)實(shí)現(xiàn)數(shù)據(jù)接入，選擇MapReduce的并行計(jì)算模型實(shí)現(xiàn)針對(duì)海量軌跡數(shù)據(jù)的并行軌跡數(shù)據(jù)插值以及軌跡數(shù)據(jù)壓縮算法實(shí)現(xiàn)數(shù)據(jù)預(yù)處理;所述數(shù)據(jù)庫(kù)組織模塊將用于計(jì)算的路網(wǎng)拓?fù)鋽?shù)據(jù)與用于描述的路網(wǎng)幾何數(shù)據(jù)分離表達(dá)，并分別在垂直方向分層抽象，在水平方向區(qū)域劃分，構(gòu)建多尺度路網(wǎng)數(shù)據(jù)模型;所述數(shù)據(jù)庫(kù)查詢模塊利用R樹(shù)及變形樹(shù)、GRID文件、四叉樹(shù)和X樹(shù)實(shí)現(xiàn)移動(dòng)目標(biāo)在三維空間中的空間索引方式建立。
[0016]所述海量數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)采用的數(shù)據(jù)庫(kù)由業(yè)務(wù)基礎(chǔ)數(shù)據(jù)庫(kù)、空間數(shù)據(jù)庫(kù)、索引數(shù)據(jù)庫(kù)、專題數(shù)據(jù)庫(kù)和元數(shù)據(jù)庫(kù)組成;所述業(yè)務(wù)基礎(chǔ)數(shù)據(jù)庫(kù)，用來(lái)保存采集到的原始數(shù)據(jù)，并且不可修改;所述空間數(shù)據(jù)庫(kù)，用于存儲(chǔ)本項(xiàng)目的空間數(shù)據(jù)，統(tǒng)一為應(yīng)用提供空間數(shù)據(jù)服務(wù);所述索引數(shù)據(jù)庫(kù)，在當(dāng)需要查找相關(guān)數(shù)據(jù)時(shí)，根據(jù)索引能夠在快速尋找到需要的數(shù)據(jù);所述專題數(shù)據(jù)庫(kù)，用于讀取所述業(yè)務(wù)基礎(chǔ)數(shù)據(jù)根據(jù)相關(guān)要求進(jìn)行分析所得到的專題成果數(shù)據(jù);所述元數(shù)據(jù)庫(kù)，用于存儲(chǔ)描述數(shù)據(jù)庫(kù)的信息。
[0017]有益效果
[0018]由于采用了上述的技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，具有以下的優(yōu)點(diǎn)和積極效果:本發(fā)明利用大數(shù)據(jù)存儲(chǔ)模塊存儲(chǔ)車載智能終端所上傳的大數(shù)據(jù)，利用小數(shù)據(jù)存儲(chǔ)模塊存儲(chǔ)車載智能終端所上傳的小數(shù)據(jù)，在處理大數(shù)據(jù)時(shí)通過(guò)分布式日志系統(tǒng)保證數(shù)據(jù)的一致性，在處理小數(shù)據(jù)時(shí)采用存儲(chǔ)虛擬化技術(shù)進(jìn)行有機(jī)整合使每個(gè)用戶的數(shù)據(jù)互相獨(dú)立，從而為云計(jì)算系統(tǒng)提供運(yùn)行的基礎(chǔ)。
【具體實(shí)施方式】
[0019]下面結(jié)合具體實(shí)施例，進(jìn)一步闡述本發(fā)明。應(yīng)理解，這些實(shí)施例僅用于說(shuō)明本發(fā)明而不用于限制本發(fā)明的范圍。此外應(yīng)理解，在閱讀了本發(fā)明講授的內(nèi)容之后，本領(lǐng)域技術(shù)人員可以對(duì)本發(fā)明作各種改動(dòng)或修改，這些等價(jià)形式同樣落于本申請(qǐng)所附權(quán)利要求書所限定的范圍。
[0020]本發(fā)明的實(shí)施方式涉及一種海量數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，包括大數(shù)據(jù)存儲(chǔ)模塊和小數(shù)據(jù)存儲(chǔ)模塊，所述大數(shù)據(jù)存儲(chǔ)模塊針對(duì)車載智能終端所上傳的大數(shù)據(jù)進(jìn)行存儲(chǔ)和管理；所述小數(shù)據(jù)存儲(chǔ)模塊針對(duì)車載智能終端所上傳的小數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。該分布式存儲(chǔ)系統(tǒng)提供海量數(shù)據(jù)的存儲(chǔ)與管理服務(wù)，是云計(jì)算系統(tǒng)運(yùn)行的基礎(chǔ)。
[0021]大數(shù)據(jù)存儲(chǔ)模塊是針對(duì)車載智能終端所上傳的大數(shù)據(jù)進(jìn)行存儲(chǔ)和管理的模塊，如運(yùn)輸車輛報(bào)警之后的關(guān)鍵音視頻數(shù)據(jù)等，其數(shù)據(jù)量較大，則可以用此存儲(chǔ)模塊進(jìn)行存儲(chǔ)。
[0022]該模塊主要由索引數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)組成，一般文件的元數(shù)據(jù)存儲(chǔ)在索引數(shù)據(jù)節(jié)點(diǎn)，而數(shù)據(jù)則分散存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。在該模塊中，每一份數(shù)據(jù)都有其副本數(shù)據(jù)，主數(shù)據(jù)和副本數(shù)據(jù)之間通過(guò)分布式日志系統(tǒng)保證它們之間的一致性。平時(shí)只有主數(shù)據(jù)提供訪問(wèn)，當(dāng)主數(shù)據(jù)所在節(jié)點(diǎn)失效后，訪問(wèn)自動(dòng)切換到副本數(shù)據(jù)上。
[0023]小數(shù)據(jù)存儲(chǔ)模塊是針對(duì)車載智能終端所上傳的小數(shù)據(jù)進(jìn)行存儲(chǔ)和管理的模塊，如運(yùn)輸車輛的位置信息和車輛傳感信息，其數(shù)據(jù)通常較小，則可以用此存儲(chǔ)模塊進(jìn)行存儲(chǔ)。
[0024]該模塊采用存儲(chǔ)虛擬化技術(shù)將存儲(chǔ)硬件、存儲(chǔ)軟件和存儲(chǔ)管理進(jìn)行有機(jī)整合，形成了一個(gè)支持虛擬化的可擴(kuò)展的曙光云存儲(chǔ)，并提供統(tǒng)一的管理平臺(tái)，簡(jiǎn)化系統(tǒng)管理員工作。通過(guò)存儲(chǔ)管理軟件，采用虛擬化技術(shù)眾多存儲(chǔ)節(jié)點(diǎn)構(gòu)成存儲(chǔ)池，可以支持超過(guò)10，000個(gè)虛擬卷，這些虛擬卷可以分配給不同的用戶使用，用戶可以共用這些硬件，但沒(méi)法存取其他用戶的數(shù)據(jù)，每個(gè)用戶的數(shù)據(jù)是互相獨(dú)立的。
[0025]所述的海量數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)還包括災(zāi)備存儲(chǔ)模塊，所述災(zāi)備存儲(chǔ)模塊用于對(duì)存儲(chǔ)的車輛日常關(guān)鍵數(shù)據(jù)進(jìn)行容災(zāi)備份。在災(zāi)難發(fā)生時(shí)，災(zāi)備存儲(chǔ)模塊可以用備份數(shù)據(jù)對(duì)車輛日常關(guān)鍵數(shù)據(jù)進(jìn)行恢復(fù)。
[0026]海量數(shù)據(jù)存儲(chǔ)與管理技術(shù)能夠提供一個(gè)穩(wěn)定的共享存儲(chǔ)和分析系統(tǒng)，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的存儲(chǔ)與管理，每一個(gè)數(shù)據(jù)節(jié)點(diǎn)都有兩個(gè)備份節(jié)點(diǎn)，當(dāng)該數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)