>[0035]采用海量數(shù)據(jù)分布式存儲系統(tǒng)時，其數(shù)據(jù)庫是整個系統(tǒng)運行的基礎(chǔ)，更是各個分系統(tǒng)間數(shù)據(jù)共享與服務(wù)的技術(shù)基礎(chǔ)，負(fù)責(zé)存儲環(huán)境監(jiān)測的各個業(yè)務(wù)數(shù)據(jù)，包括:車輛信息數(shù)據(jù)、駕駛員信息數(shù)據(jù)、空間數(shù)據(jù)、車輛行駛數(shù)據(jù)、用戶權(quán)限數(shù)據(jù)、智能分析數(shù)據(jù)、日志信息數(shù)據(jù)、索引數(shù)據(jù)、趨勢預(yù)測數(shù)據(jù)，以及其他的社會經(jīng)濟數(shù)據(jù)和輔助專題數(shù)據(jù)。
[0036]本方案選用Oracle作為平臺的數(shù)據(jù)庫，數(shù)據(jù)庫由業(yè)務(wù)基礎(chǔ)數(shù)據(jù)庫、空間數(shù)據(jù)庫、索弓I數(shù)據(jù)庫、專題數(shù)據(jù)庫和元數(shù)據(jù)庫組成。其中:
[0037]業(yè)務(wù)基礎(chǔ)數(shù)據(jù)庫，用來保存采集到的原始數(shù)據(jù)，不可修改，便于加工數(shù)據(jù)發(fā)生錯誤時能追蹤到相關(guān)原始數(shù)據(jù)，找到錯誤原因。環(huán)境監(jiān)測原始數(shù)據(jù)庫包含如下信息:車輛信息數(shù)據(jù)、車場信息數(shù)據(jù)、駕駛員信息數(shù)據(jù)、用戶權(quán)限數(shù)據(jù)、日志數(shù)據(jù)、其他數(shù)據(jù)。
[0038]專題數(shù)據(jù)庫，綜合專題數(shù)據(jù)庫的數(shù)據(jù)分系統(tǒng)讀取基礎(chǔ)數(shù)據(jù)根據(jù)相關(guān)要求進行分析所稱成的專題成果數(shù)據(jù)，例如:駕駛員信息專題庫、車輛行駛信息專題庫、車輛狀態(tài)信息專題庫、運輸需求專題庫、車輛信息專題庫、環(huán)境信息專題庫、政策法規(guī)專題庫、預(yù)案專題庫、道路狀況專題庫、其他專題數(shù)據(jù)庫。
[0039]索引數(shù)據(jù)庫:是將云平臺存儲的信息的索引存儲如數(shù)據(jù)庫，其主要作用是當(dāng)需要查找相關(guān)數(shù)據(jù)時，根據(jù)索引數(shù)據(jù)庫中的索引能夠在云平臺中快速尋找到需要的數(shù)據(jù)，提高云計算的效率。
[0040]空間數(shù)據(jù)庫:包括空間數(shù)據(jù)、空間基礎(chǔ)地理信息數(shù)據(jù)、遙感影像數(shù)據(jù)和環(huán)境背景數(shù)據(jù)。用于存儲本項目的空間數(shù)據(jù)，統(tǒng)一為應(yīng)用提供空間數(shù)據(jù)服務(wù)，并與業(yè)務(wù)關(guān)系數(shù)據(jù)庫掛接，實現(xiàn)業(yè)務(wù)數(shù)據(jù)的展現(xiàn)和應(yīng)用。
[0041]元數(shù)據(jù)庫:存儲的主要是描述數(shù)據(jù)庫的信息，包括匯集元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、模型元數(shù)據(jù)、指標(biāo)元數(shù)據(jù)、空間元數(shù)據(jù)、管理元數(shù)據(jù)、非機構(gòu)化數(shù)據(jù)源數(shù)據(jù)、其他元數(shù)據(jù)等。
[0042]針對數(shù)據(jù)庫中數(shù)據(jù)安全的需求，主要包括數(shù)據(jù)完整性、數(shù)據(jù)保密性和數(shù)據(jù)備份與恢復(fù)二方面。
[0043]數(shù)據(jù)完整性是指系統(tǒng)能夠檢查系統(tǒng)數(shù)據(jù)和重要業(yè)務(wù)數(shù)據(jù)的完整性，在訪問和存儲過程中對于受到破壞的數(shù)據(jù)進行提示，便于另行處理，能夠檢測到車輛管理系統(tǒng)的系統(tǒng)數(shù)據(jù)和重要業(yè)務(wù)數(shù)據(jù)在傳輸過程與存儲過程中完整性是否受到破壞，并在檢測到完整性錯誤時能采取必要的措施，比如先記錄日志，后進行系統(tǒng)操作，以保證數(shù)據(jù)的完整性。
[0044]數(shù)據(jù)保密性是指系統(tǒng)采用數(shù)據(jù)傳輸加密技術(shù)，對傳輸中的數(shù)據(jù)流加密，以防止通信線路上的竊聽、泄漏、篡改和破壞。數(shù)據(jù)訪問的安全保護主要是通過數(shù)據(jù)訪問的身份認(rèn)證、對外業(yè)務(wù)接口與應(yīng)用間的加密數(shù)據(jù)傳輸、關(guān)鍵數(shù)據(jù)在數(shù)據(jù)庫中的加密保存等措施來實現(xiàn)的。其中，數(shù)據(jù)訪問的身份認(rèn)證是指對數(shù)據(jù)中心發(fā)起的業(yè)務(wù)數(shù)據(jù)請求進行認(rèn)證授權(quán)。其功能包括對IP地址及用戶鑒權(quán)、身份黑名單檢查、可信任接入處理、應(yīng)用鑒權(quán)、對應(yīng)用使用業(yè)務(wù)種類的授權(quán)。數(shù)據(jù)的加密傳輸是指數(shù)據(jù)中心與應(yīng)用間交換的全部信息采用加密方式傳輸，雙方約定加解密的方式和內(nèi)容等，以確保數(shù)據(jù)中心與應(yīng)用間信息傳輸?shù)陌踩浴?zhǔn)確性、完整性。關(guān)鍵數(shù)據(jù)的加密保存是指各類防偽信息通過加密后保存于數(shù)據(jù)庫中，數(shù)據(jù)中心在讀取或保存數(shù)據(jù)過程中通過內(nèi)部函數(shù)進行明文的加密及密文的解密。通過以上機制，保證了即使數(shù)據(jù)庫遭到非法訪問，也不會導(dǎo)致關(guān)鍵數(shù)據(jù)的泄漏。車輛管理系統(tǒng)中的涉密數(shù)據(jù)主要是基礎(chǔ)地理信息數(shù)據(jù)，該數(shù)據(jù)由集團公司地理信息系統(tǒng)統(tǒng)一提供，系統(tǒng)在使用過程中嚴(yán)格按照國家和集團的有關(guān)規(guī)定進行處理和應(yīng)用。
[0045]數(shù)據(jù)備份與恢復(fù)是指提供異地數(shù)據(jù)備份與恢復(fù)功能，利用通信網(wǎng)絡(luò)將數(shù)據(jù)定時批量傳送至備用場地;采用冗余技術(shù)設(shè)計網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，避免關(guān)鍵節(jié)點存在單點故障;提供主要網(wǎng)絡(luò)設(shè)備、通信線路和數(shù)據(jù)處理的硬件冗余，保證系統(tǒng)的高可用性。
【主權(quán)項】
1.一種海量數(shù)據(jù)分布式存儲系統(tǒng)，包括大數(shù)據(jù)存儲模塊和小數(shù)據(jù)存儲模塊，其特征在于，所述大數(shù)據(jù)存儲模塊針對車載智能終端所上傳的大數(shù)據(jù)進行存儲和管理;所述小數(shù)據(jù)存儲模塊針對車載智能終端所上傳的小數(shù)據(jù)進行存儲和管理。2.根據(jù)權(quán)利要求1所述的海量數(shù)據(jù)分布式存儲系統(tǒng)，其特征在于，所述大數(shù)據(jù)存儲模塊由索引數(shù)據(jù)節(jié)點和數(shù)據(jù)節(jié)點組成，文件的元數(shù)據(jù)存儲在所述索引數(shù)據(jù)節(jié)點，數(shù)據(jù)分散存儲在不同的數(shù)據(jù)節(jié)點上。3.根據(jù)權(quán)利要求1所述的海量數(shù)據(jù)分布式存儲系統(tǒng)，其特征在于，所述大數(shù)據(jù)存儲模塊中每一份數(shù)據(jù)都有其副本數(shù)據(jù)，主數(shù)據(jù)和副本數(shù)據(jù)之間通過分布式日志系統(tǒng)保證一致性。4.根據(jù)權(quán)利要求1所述的海量數(shù)據(jù)分布式存儲系統(tǒng)，其特征在于，所述小數(shù)據(jù)存儲模塊采用存儲虛擬化技術(shù)將存儲硬件、存儲軟件和存儲管理進行有機整合，形成一個支持虛擬化的可擴展的曙光云存儲;所述存儲軟件采用虛擬化技術(shù)將存儲節(jié)點構(gòu)成存儲池。5.根據(jù)權(quán)利要求1所述的海量數(shù)據(jù)分布式存儲系統(tǒng)，其特征在于，還包括災(zāi)備存儲模塊，所述災(zāi)備存儲模塊用于對存儲的車輛日常關(guān)鍵數(shù)據(jù)進行容災(zāi)備份。6.根據(jù)權(quán)利要求1所述的海量數(shù)據(jù)分布式存儲系統(tǒng)，其特征在于，所述海量數(shù)據(jù)分布式存儲系統(tǒng)采用時空數(shù)據(jù)庫技術(shù)與海量數(shù)據(jù)分布式存儲相結(jié)合的方式對物流信息進行有效管理。7.根據(jù)權(quán)利要求6所述的海量數(shù)據(jù)分布式存儲系統(tǒng)，其特征在于，所述時空數(shù)據(jù)庫技術(shù)基于車輛管理時空數(shù)據(jù)模型，所述時空數(shù)據(jù)模型包括數(shù)據(jù)接入及預(yù)處理模塊、數(shù)據(jù)庫組織模塊和數(shù)據(jù)庫查詢模塊;所述數(shù)據(jù)接入及預(yù)處理模塊采用mmap內(nèi)存文件映射技術(shù)，將磁盤文件直接映射到內(nèi)存，并且構(gòu)建內(nèi)存索引，建立基于哈希映射的緩存技術(shù)實現(xiàn)數(shù)據(jù)接入，選擇MapReduce的并行計算模型實現(xiàn)針對海量軌跡數(shù)據(jù)的并行軌跡數(shù)據(jù)插值以及軌跡數(shù)據(jù)壓縮算法實現(xiàn)數(shù)據(jù)預(yù)處理;所述數(shù)據(jù)庫組織模塊將用于計算的路網(wǎng)拓?fù)鋽?shù)據(jù)與用于描述的路網(wǎng)幾何數(shù)據(jù)分離表達(dá)，并分別在垂直方向分層抽象，在水平方向區(qū)域劃分，構(gòu)建多尺度路網(wǎng)數(shù)據(jù)模型;所述數(shù)據(jù)庫查詢模塊利用R樹及變形樹、GRID文件、四叉樹和X樹實現(xiàn)移動目標(biāo)在三維空間中的空間索引方式建立。8.根據(jù)權(quán)利要求1所述的海量數(shù)據(jù)分布式存儲系統(tǒng)，其特征在于，所述海量數(shù)據(jù)分布式存儲系統(tǒng)采用的數(shù)據(jù)庫由業(yè)務(wù)基礎(chǔ)數(shù)據(jù)庫、空間數(shù)據(jù)庫、索引數(shù)據(jù)庫、專題數(shù)據(jù)庫和元數(shù)據(jù)庫組成;所述業(yè)務(wù)基礎(chǔ)數(shù)據(jù)庫，用來保存采集到的原始數(shù)據(jù)，并且不可修改;所述空間數(shù)據(jù)庫，用于存儲本項目的空間數(shù)據(jù)，統(tǒng)一為應(yīng)用提供空間數(shù)據(jù)服務(wù);所述索引數(shù)據(jù)庫，在當(dāng)需要查找相關(guān)數(shù)據(jù)時，根據(jù)索引能夠在快速尋找到需要的數(shù)據(jù);所述專題數(shù)據(jù)庫，用于讀取所述業(yè)務(wù)基礎(chǔ)數(shù)據(jù)根據(jù)相關(guān)要求進行分析所得到的專題成果數(shù)據(jù);所述元數(shù)據(jù)庫，用于存儲描述數(shù)據(jù)庫的信息。
【專利摘要】本發(fā)明涉及一種海量數(shù)據(jù)分布式存儲系統(tǒng)，包括大數(shù)據(jù)存儲模塊和小數(shù)據(jù)存儲模塊，其特征在于，所述大數(shù)據(jù)存儲模塊針對車載智能終端所上傳的大數(shù)據(jù)進行存儲和管理；所述小數(shù)據(jù)存儲模塊針對車載智能終端所上傳的小數(shù)據(jù)進行存儲和管理。本發(fā)明能夠為云計算系統(tǒng)提供運行的基礎(chǔ)。
【IPC分類】G06F17/30, G06F21/62
【公開號】CN105608155
【申請?zhí)枴緾N201510958993
【發(fā)明人】李昕哲, 孫志遠(yuǎn), 詹艷娜, 張森, 張賀
【申請人】北京華油信通科技有限公司
【公開日】2016年5月25日
【申請日】2015年12月17日