本發(fā)明涉及網絡數(shù)據(jù)管理與應用領域，具體涉及一種應用大數(shù)據(jù)進行安保數(shù)據(jù)查詢與存儲的方法。

背景技術：

隨著數(shù)據(jù)的集中和業(yè)務的發(fā)展，公安系統(tǒng)多年運行積累下來的警務數(shù)據(jù)及其相關的社會參照數(shù)據(jù)，如卡口、視頻、犯罪人員、社會比對等數(shù)據(jù)量正在急速增長，公安行業(yè)對數(shù)據(jù)的管理不應用需求已經超越了傳統(tǒng)的歷史數(shù)據(jù)備份的需求，傳統(tǒng)的智能分析技術根本無法滿足需求。信息化高速發(fā)展，公安業(yè)務應用的需求和大數(shù)據(jù)技術發(fā)展趨勢，促使公安領域應用大數(shù)據(jù)進行分析，打造基于大數(shù)據(jù)平臺的警務云系統(tǒng)，為公安行業(yè)解決了數(shù)據(jù)量龐大、來源多樣、處理復雜的難題。因此，高效的存儲、查詢、分析、預警等應用對于公安系統(tǒng)迫在眉睫。本發(fā)明提出一種基于大數(shù)據(jù)云計算體系架構解決公安數(shù)據(jù)查詢與存儲這一問題。

技術實現(xiàn)要素：

本發(fā)明旨在提出一種基于云計算大數(shù)據(jù)技術解決公安數(shù)據(jù)中的查詢與存儲應用的體系架構設計的方法，能有效的應用于公安、警務應用和警務信息化領域的業(yè)務需求，可以基于提出的體系架構構建警務云平臺。

本發(fā)明的技術方案如下：

一種應用大數(shù)據(jù)進行安保數(shù)據(jù)查詢與存儲的方法，其特征在于：將原系統(tǒng)中的信息數(shù)據(jù)采集、數(shù)據(jù)匯總、信息共享、數(shù)據(jù)存儲、分析挖掘技術、計算模型、各個業(yè)務應用全部融入云計算架構中，分為歸入基礎設施層、平臺層、應用層；

基礎設施層中包含計算資源池、存儲資源池、網絡資源池，分別將前端采集的數(shù)據(jù)歸類存儲至相應的資源池，為平臺層對數(shù)據(jù)進行計算挖掘提供數(shù)據(jù)源支撐；

平臺層將基礎設施層提供的所有數(shù)據(jù)進行計算、數(shù)學建模、綜合分析，通過分析模型、算法引擎、挖掘工具將數(shù)據(jù)進行處理，采用大數(shù)據(jù)計算方式，對數(shù)據(jù)綜合分析、橫向縱向歸納串聯(lián)，同時通過企業(yè)服務總線ESB將數(shù)據(jù)與上層應用層進行連接；

應用層匯聚公安業(yè)務多警種、多部門、多業(yè)務體系，將情報、指揮、交通、消防、反恐、 信訪部門的信息接入，充分合理的利用下層提供的數(shù)據(jù)、分析結果，為業(yè)務體系服務。

本發(fā)明提出的大數(shù)據(jù)查詢與存儲云平臺，為公安系統(tǒng)打造的大數(shù)據(jù)架構卓有成效的提高了原有公安警務系統(tǒng)的整體運營效率。新的系統(tǒng)架構運用到公安業(yè)務中可以使現(xiàn)有的公安業(yè)務中數(shù)據(jù)存儲與查詢方面高速發(fā)展，具體體現(xiàn)在以下方面：

第一是大數(shù)據(jù)技術實現(xiàn)高效實時查詢、存儲，使安保系統(tǒng)大幅度提升業(yè)務效率。搭建的大數(shù)據(jù)集群環(huán)境總體耗時僅需十分鐘左右，大大縮短了業(yè)務系統(tǒng)的上線時間。同時通過開發(fā)大數(shù)據(jù)挖掘應用，保障在億級數(shù)據(jù)查詢中大幅縮短查詢時間，從而提升了安保系統(tǒng)對相關信息的查詢、檢索能力。經過壓力試驗得出在對約4億條記錄(1小時內在不同城市出現(xiàn)的同一車型車號)檢索中，獲得4500余條相關數(shù)據(jù)。

第二采用虛擬化先進技術，上層應用快速部署，部署一個應用的時間由以前的1-2個月縮減為2個小時左右。新系統(tǒng)上線后，可以通過虛機建設和系統(tǒng)內置的應用模板就可以完成應用部署，部署一個應用時間由以前的1-2個月縮減為1-2個小時。

第三是依托大數(shù)據(jù)警務云，安保系統(tǒng)的擴展能力和系統(tǒng)可靠性得到顯著增強。隨著業(yè)務需求增長，往往會出現(xiàn)原有服務器無法支撐工作負載壓力的情況，在傳統(tǒng)數(shù)據(jù)存儲基礎架構上往往需要購買更加高配的服務器，然后將應用遷移到新的服務器上，但應用遷移往往涉及到業(yè)務停機?，F(xiàn)在云平臺基礎架構下，只需要對系統(tǒng)內存、CPU等資源進行擴展，無需停機就可為應用負載提供更多的計算、存儲、內存、網絡等資源。目前的系統(tǒng)完全基于云計算架構，系統(tǒng)故障后可實現(xiàn)自勱切換，同時還涉及了備份等安全保障措施。整體系統(tǒng)可靠性相比以前有大幅提升。此外，新的大數(shù)據(jù)云架構在運營維護方面也簡化了大量的工作。架構中自帶可以監(jiān)控云平臺下所有硬件資源的運行健康狀況的系統(tǒng)，及時發(fā)現(xiàn)問題并予以解決。

具體實施方式

將安保系統(tǒng)現(xiàn)有的多臺服務器進行整合起來構建了統(tǒng)一的警務云平臺，把原有的若干應用系統(tǒng)也全面遷移到了新的云平臺上，同時允許增加多個應用，例如安保系統(tǒng)中的犯罪模式識別、路況預警以及反恐預警等熱點應用，預計可以供近150多個應用在大數(shù)據(jù)平臺上運營，保證安保系統(tǒng)中的數(shù)據(jù)的查詢與存儲業(yè)務需求。

將安保系統(tǒng)中的信息數(shù)據(jù)采集、數(shù)據(jù)匯總、信息共享、數(shù)據(jù)存儲、分析挖掘技術、計算模型、各個業(yè)務應用等全部融入云計算架構中，分為歸入基礎設施層(IaaS)、平臺層(PaaS)、應用層(SaaS)。

基礎設施層(IaaS)中包含計算資源池、存儲資源池、網絡資源池，分別將前端采集的數(shù)據(jù)歸類存儲至相應的資源池。為平臺層對數(shù)據(jù)進行計算挖掘提供數(shù)據(jù)源支撐。

平臺層(PaaS)也是本設計的重點，它將基礎設施層提供的所有數(shù)據(jù)進行計算、數(shù)學建模、綜合分析。通過分析模型、算法引擎、挖掘工具等流式處理方式將數(shù)據(jù)進行處理，采用大數(shù)據(jù)計算方式，對數(shù)據(jù)綜合分析、橫向縱向歸納串聯(lián)，為安保系統(tǒng)中的情報體系提供數(shù)據(jù)分析結果。分析的數(shù)據(jù)主要為情報中的重點人員管控、犯罪模式辨別、路況分析、預案分析、串并案等橫縱向分析比對，為大情報數(shù)據(jù)分析提供有力的數(shù)據(jù)支持。同時通過企業(yè)服務總線ESB將數(shù)據(jù)與上層應用層進行連接。

應用層(SaaS)匯聚安保業(yè)務多警種、多部門、多業(yè)務體系，將情報、指揮、交通、消防、反恐、信訪、其他全市各個委辦局等信息接入，充分合理的利用下層提供的數(shù)據(jù)、分析結果，為全是安保業(yè)務體系服務。

同時，考慮整個大數(shù)據(jù)體系架構的安全穩(wěn)定的運行，將網絡安全體系、運維體系、安保網互聯(lián)網視頻專網等保障體系、信息管理平臺、標準規(guī)范體系統(tǒng)籌規(guī)劃，整體設計。為整個安保大數(shù)據(jù)架構提供強有力的保障服務。

與此同時可以借助相關云數(shù)據(jù)中心操作系統(tǒng)等方式將全部安保系統(tǒng)的中的業(yè)務進行資源的整合和統(tǒng)一管理。