一種警務大數(shù)據(jù)處理系統(tǒng)的制作方法
【技術領域】
[0001]本申請涉及大數(shù)據(jù)技術領域，尤其涉及一種警務大數(shù)據(jù)處理系統(tǒng)。
【背景技術】
[0002]在大數(shù)據(jù)時代，海量數(shù)據(jù)如:互聯(lián)網(wǎng)，特征，圖片，語音，視頻等，無法保證有效的存儲，質量難以保證，如何能在海量信息中快速的提取有價值的信息，是當前警務行業(yè)建設的重點和難點。目前通過現(xiàn)有大數(shù)據(jù)技術，可以通過Storm，MapReduce，Mahout以及Pregel等多種方案結合的方式實現(xiàn)。其中Storm是一個開源的、大數(shù)據(jù)處理系統(tǒng)，與其他系統(tǒng)不同，它旨在用于分布式實時處理且與語言無關。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運算。Mahout是一個開源項目，提供一些可擴展的機器學習領域經(jīng)典算法的實現(xiàn)，旨在幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應用程序。Pregel主要繪制大量網(wǎng)上信息之間關系的“圖形數(shù)據(jù)庫”。
[0003]為了完成多種大數(shù)據(jù)分析任務，現(xiàn)有技術需要在一個組織內融合多種大數(shù)據(jù)技術，就不得不與多套特定系統(tǒng)打交道，一方面引入了不容小覷的運維復雜性，另一方面還免不了要在多個系統(tǒng)間頻繁進行代價高昂的數(shù)據(jù)轉儲(ETL，Extract-Transf orm-Load，抽取、轉換、加載)，例如:在傳統(tǒng)MapReduce是近乎不可能完成交互式即席查詢。
[0004]目前國內的警務系統(tǒng)相對落后，只提供相對簡單的功能，導致在破案過程，無法得到更加及時和準確的線索，以及警務人員警力嚴重不足的問題，嚴重影響到了抓捕罪犯的效果。

【發(fā)明內容】

[0005]本申請實施例提出了一種警務大數(shù)據(jù)處理系統(tǒng)，用以提升警務系統(tǒng)的效率。
[0006]本申請實施例提供了一種警務大數(shù)據(jù)處理系統(tǒng)，包括:
[0007]數(shù)據(jù)準備模塊，用于對從數(shù)據(jù)源獲得的警務相關數(shù)據(jù)進行處理，使其符合數(shù)據(jù)存儲模塊的存儲要求；
[0008]數(shù)據(jù)存儲模塊，用于存儲所述數(shù)據(jù)準備模塊處理后的警務相關數(shù)據(jù)；
[0009]數(shù)據(jù)計算模塊，采用SPARK計算系統(tǒng)，用于對所述數(shù)據(jù)存儲模塊存儲的警務相關數(shù)據(jù)進行計算；
[0010]數(shù)據(jù)應用模塊，用于人機接口。
[0011]有益效果如下:
[0012]在本發(fā)明實施例中，通過大數(shù)據(jù)技術的手段，通過對案件的精準定位，通過對作案手法的技術分析，把有限的警力投放到關鍵的地點，緩解了警力不足又提高了破案率。目前通過大數(shù)據(jù)技術多種產(chǎn)品的結合可以實現(xiàn)這種獲取精準信息的目的，但對于警務行業(yè)來說，時間是最重要的，縮短抓捕嫌疑犯的時間，就減少了對社會的危害，從實時性來說要求是較高的。Spark做為高效的內存分布式計算技術極大的提高了大數(shù)據(jù)的處理速度，一棧式的解決方案減少了多系統(tǒng)之間數(shù)據(jù)轉換的成本，和多系統(tǒng)的學習以及維護成本，也由于無縫的融合提高了效率。從系統(tǒng)維護角度來說，如果使用多種大數(shù)據(jù)技術結合的實施方案，由于技術種類的繁多，導致各種技術都要有專門的維護人員，降低了維護的效率，spark的一棧式系統(tǒng)，通過一種技術解決了實時流處理，批量處理，迭代計算等多項任務，節(jié)約了維護成本，同時由于各種功能之間的無縫連接縮短了處理時間，為警務人員增加了寶貴的破案時間。
【附圖說明】
[0013]下面將參照附圖描述本申請的具體實施例，其中:
[0014]圖1示出了本申請實施例中警務大數(shù)據(jù)處理系統(tǒng)的結構示意圖；
[0015]圖2示出了本申請實施例中警務大數(shù)據(jù)處理系統(tǒng)的完善功能示意圖。
【具體實施方式】
[0016]為了使本申請的技術方案及優(yōu)點更加清楚明白，以下結合附圖對本申請的示例性實施例進行進一步詳細的說明，顯然，所描述的實施例僅是本申請的一部分實施例，而不是所有實施例的窮舉。并且在不沖突的情況下，本說明書中的實施例及實施例中的特征可以互相結合。
[0017]發(fā)明人在發(fā)明過程中注意到:在大數(shù)據(jù)時代，海量數(shù)據(jù)如:互聯(lián)網(wǎng)，特征，圖片，語音，視頻等，無法保證有效的存儲，質量難以保證，如何能在海量信息中快速的提取有價值的信息，是當前警務行業(yè)建設的重點和難點。大數(shù)據(jù)Spark技術，通過在一套軟件棧內完成實時交互式查詢，迭代計算，批量計算等各種大數(shù)據(jù)分析任務，達到快速精準的抓取重要信息最終快速破案等目的。
[0018]為了完成多種大數(shù)據(jù)分析任務，現(xiàn)有技術需要在一個系統(tǒng)內融合多種大數(shù)據(jù)技術，就不得不與多套特定系統(tǒng)打交道，一方面引入了不容小覷的運維復雜性，另一方面還免不了要在多個系統(tǒng)間頻繁進行代價高昂的數(shù)據(jù)轉儲(ETL)，相反，Spark不但可以實現(xiàn)實時查詢，而且相對于MapReduce上的批量計算、迭代型計算以及基于Hive的SQL (StructuredQuery Language，結構化查詢語言)查詢，更是可以帶來一到兩個數(shù)量級的效率提升。
[0019]基于此，發(fā)明人提出了一種基于Spark技術的警務大數(shù)據(jù)處理系統(tǒng)，具體如圖1所示，包括:
[0020]數(shù)據(jù)準備模塊101，用于對從數(shù)據(jù)源獲得的警務相關數(shù)據(jù)進行處理，使其符合數(shù)據(jù)存儲模塊的存儲要求；
[0021]數(shù)據(jù)存儲模塊102，用于存儲數(shù)據(jù)準備模塊101處理后的警務相關數(shù)據(jù)；
[0022]數(shù)據(jù)計算模塊103，采用SPARK計算系統(tǒng)，用于對數(shù)據(jù)存儲模塊102存儲的警務相關數(shù)據(jù)進行計算；
[0023]數(shù)據(jù)應用模塊104，用于人機接口。
[0024]在具體實現(xiàn)中，數(shù)據(jù)準備模塊101，可以用于對從數(shù)據(jù)源獲得的警務相關數(shù)據(jù)進行處理具體包括以下之一或任意組合:抽取、轉換、加載;文件導入;網(wǎng)絡爬取。
[0025]數(shù)據(jù)存儲模塊102中可以存儲以下之一或任意組合:實時流數(shù)據(jù);結構化數(shù)據(jù);非結構化數(shù)據(jù)。
[0026]其中，數(shù)據(jù)存儲模塊102存儲的結構化數(shù)據(jù)可以包括專題庫和/或元數(shù)據(jù)庫。數(shù)據(jù)存儲模塊102存儲的非結構化數(shù)據(jù)可以包括全文、圖片和/或多媒體。
[0027]數(shù)據(jù)計算模塊103可以包括SPARK流處理模塊，用于進行實時軌跡分析，并通過對實時軌跡的分析對案件進行信息布控和預警。
[0028]具體來說，SPARK流處理模塊(Streaming)進行的實時軌跡分析，可以包括戶口變動軌跡、航班軌跡、住宿軌跡、上網(wǎng)軌跡、車輛軌跡、通訊軌跡等。對案件、事件、人員、車輛等的軌跡進行疊加的分析，以及通過實時數(shù)據(jù)信息對案件進行信息布控和預警。
[0029]數(shù)據(jù)計算模塊103可以包括SPARK機器學習模塊(MLlib)，用于建立分析模型進行串并案件分析，以及進行挖掘分析和統(tǒng)計分析。
[0030]具體來說，SPARK機器學習模塊建立各種分析模型，例如:通過作案手法，選擇動機，選擇處所等建立評分模型進行串并案件分析。以及建立以決策主體為中心的分析模型庫、相關知識庫、情報研究方法庫、預警模型庫，以進行有效的挖掘分析和統(tǒng)計分析。
[0031]數(shù)據(jù)計算模塊103可以包括SPARK圖計算模塊(GraphX)，用于建立關系網(wǎng)，并根據(jù)所