本發(fā)明屬于信息組織與管理領(lǐng)域,具體涉及一種基于大數(shù)據(jù)的信息分析研判系統(tǒng)。
背景技術(shù):
信息(情報(bào))研判是信息化應(yīng)用的核心環(huán)節(jié)。當(dāng)前很多單位開(kāi)展情報(bào)研判活動(dòng)中思路還不夠清晰、方法還不夠科學(xué)、受制約的因素還較多。情報(bào)研判要遵循以下指導(dǎo)原則:現(xiàn)實(shí)信息與虛擬信息相結(jié)合,內(nèi)部情報(bào)與外部情報(bào)相結(jié)合,科技手段與傳統(tǒng)手段相結(jié)合,宏觀分析與微觀分析相結(jié)合,發(fā)現(xiàn)問(wèn)題與解決問(wèn)題相結(jié)合。
通過(guò)對(duì)目前在大數(shù)據(jù)方面的研究工作進(jìn)行分析,可以發(fā)現(xiàn)目前大數(shù)據(jù)的研究還比較零散,在大數(shù)據(jù)處理平臺(tái)架構(gòu)上大多基于Hadoop技術(shù),大量的研究集中在大數(shù)據(jù)的挖掘分析方法上,還沒(méi)有形成支撐大數(shù)據(jù)處理平臺(tái)開(kāi)發(fā)的相關(guān)技術(shù)體系。而數(shù)據(jù)挖掘技術(shù)在安保工作中的研究與應(yīng)用尚處于起步階段,許多安保業(yè)務(wù)信息系統(tǒng)還停留在初級(jí)處理水平,缺乏綜合性的開(kāi)發(fā)應(yīng)用,智能化的分析研判,科學(xué)性的決策預(yù)警。安保業(yè)務(wù)領(lǐng)域中治安系統(tǒng)、智能交通視頻數(shù)據(jù)呈爆發(fā)性增長(zhǎng),具有非結(jié)構(gòu)化等大數(shù)據(jù)典型特征,也是政府部門重要的信息資源。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于:
(1)解決安保大數(shù)據(jù)處理平臺(tái)應(yīng)用模式的問(wèn)題:如何全時(shí)空地對(duì)治安系統(tǒng)、智能交通系統(tǒng)產(chǎn)生的視頻圖像等大數(shù)據(jù)進(jìn)行分析處理,就需要解決安保大數(shù)據(jù)處理平臺(tái)應(yīng)用模式的問(wèn)題。
(2)解決大數(shù)據(jù)處理應(yīng)用標(biāo)準(zhǔn)規(guī)范的問(wèn)題“標(biāo)準(zhǔn)先行”已成為當(dāng)前各行業(yè)數(shù)據(jù)應(yīng)用的共識(shí),有了標(biāo)準(zhǔn)數(shù)據(jù)才能共享,才能支撐安保大數(shù)據(jù)處理平臺(tái)應(yīng)用的開(kāi)展。
(3)解決大數(shù)據(jù)海量存儲(chǔ)問(wèn)題“大數(shù)據(jù)”來(lái)襲時(shí),傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方式已不能滿足要求,需要開(kāi)展分布式存儲(chǔ)的研究。
(4)海量數(shù)據(jù)并行挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)已經(jīng)在各行業(yè)數(shù)據(jù)分析處理方面得到成功應(yīng)用,針對(duì)大數(shù)據(jù)的特征,需要對(duì)現(xiàn)有數(shù)據(jù)挖掘技術(shù)進(jìn)一步改進(jìn)和完善。
本發(fā)明的技術(shù)方案如下:
一種基于大數(shù)據(jù)的信息分析研判系統(tǒng),大數(shù)據(jù)處理支撐平臺(tái)在邏輯上表現(xiàn)為一種層次架構(gòu),自上而下包括應(yīng)用層、數(shù)據(jù)處理層、數(shù)據(jù)存儲(chǔ)層、中間件層和資源層,其特征在于:
所述應(yīng)用層,面向視頻、圖像等大規(guī)模數(shù)據(jù)的安保業(yè)務(wù)應(yīng)用,提供智能監(jiān)控、事態(tài)預(yù)測(cè)、統(tǒng)計(jì)分析、分析模擬、指揮決策等核心應(yīng)用服務(wù),
所述數(shù)據(jù)處理層,面向應(yīng)用,在大數(shù)據(jù)分布式存儲(chǔ)和管理的基礎(chǔ)上,基于Map Reduce技術(shù)框架,提供視頻、圖像大數(shù)據(jù)的索引描述、特征提取、并行數(shù)據(jù)挖掘、智能關(guān)聯(lián)分析等支撐服務(wù);
所述數(shù)據(jù)存儲(chǔ)層,實(shí)現(xiàn)大數(shù)據(jù)的高效存儲(chǔ)和高并發(fā)訪問(wèn)控制,基于Hadoop技術(shù)體系,綜合應(yīng)用HDFS、Hbase、Hive,提供數(shù)據(jù)檢索、存儲(chǔ)監(jiān)控、負(fù)載均衡、容災(zāi)備份等支撐服務(wù),實(shí)現(xiàn)結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的集中管理;
所述中間件層,為支撐平臺(tái)提供運(yùn)行所需的基礎(chǔ)中間件,主要包括虛擬化服務(wù)化中間件、資源管理與集成中間件、分布式存儲(chǔ)中間件。資源層:為大數(shù)據(jù)平臺(tái)的運(yùn)行提供基礎(chǔ)支撐,包括存儲(chǔ)服務(wù)器、計(jì)算服務(wù)器等高性能硬件資源,結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)資源,以及各類感知資源。
本發(fā)明至少可應(yīng)用于以下方面:
1、視頻數(shù)據(jù)智能分析。圍繞安保各業(yè)務(wù)領(lǐng)域,在平臺(tái)上構(gòu)建多層次全方位的視頻信息化應(yīng)用,實(shí)現(xiàn)安保內(nèi)部跨警種信息檢索、信息共享及協(xié)同應(yīng)用;與PGIS平臺(tái)結(jié)合,形成視頻的VGIS,提供海量視頻實(shí)時(shí)快速檢索、視頻智能關(guān)聯(lián)檢索、視頻時(shí)空分析研判、目標(biāo)運(yùn)動(dòng)軌跡的動(dòng)態(tài)標(biāo)繪和預(yù)測(cè)等功能。實(shí)現(xiàn)基于安保大數(shù)據(jù)的事前防范、事后處理為一體的綜合應(yīng)用體系,結(jié)合智能視頻分析處理功能提高廣州市安保機(jī)關(guān)的業(yè)務(wù)智能,對(duì)這一系列業(yè)務(wù)流程及業(yè)務(wù)中所產(chǎn)生的。
2、智能交通應(yīng)用。通過(guò)對(duì)智能交通系統(tǒng)中產(chǎn)生的海量視頻數(shù)據(jù)、圖像數(shù)據(jù)進(jìn)行分析處理,監(jiān)控分析重點(diǎn)車輛軌跡和現(xiàn)場(chǎng)態(tài)勢(shì),當(dāng)出現(xiàn)異?;顒?dòng)時(shí),能夠及時(shí)做出異常行為判斷,做到對(duì)重要場(chǎng)所的重點(diǎn)監(jiān)控。此外通過(guò)對(duì)視頻、圖像等大數(shù)據(jù)的深度挖掘分析,能夠給智能交通誘導(dǎo)及智能交通控制提供更為精確的數(shù)據(jù)分析支持,從而有效減少路面擁堵,使人們的出行更加便利快捷。
具體實(shí)施方式
針對(duì)安保領(lǐng)域視頻、圖像等非結(jié)構(gòu)化數(shù)據(jù)所具有的容量大、多樣性、非結(jié)構(gòu)化、冗余度大等特點(diǎn),以及實(shí)際業(yè)務(wù)中快速開(kāi)展大數(shù)據(jù)分析處理的應(yīng)用需求,研究提出支持橫向擴(kuò)展,具有分布、并行、高效特點(diǎn)的基于云計(jì)算的大數(shù)據(jù)處理平臺(tái)的體系架構(gòu)。安保大數(shù)據(jù)處理支 撐平臺(tái)在邏輯上表現(xiàn)為一種層次架構(gòu),自上而下包括應(yīng)用層、數(shù)據(jù)處理層、數(shù)據(jù)存儲(chǔ)層、中間件層和資源層。而相關(guān)的標(biāo)準(zhǔn)、規(guī)范和安全機(jī)制貫穿所有層次。
應(yīng)用層:面向視頻、圖像等大規(guī)模數(shù)據(jù)的安保業(yè)務(wù)應(yīng)用,提供智能監(jiān)控、事態(tài)預(yù)測(cè)、統(tǒng)計(jì)分析、分析模擬、指揮決策等核心應(yīng)用服務(wù)。
數(shù)據(jù)處理層:面向應(yīng)用,在大數(shù)據(jù)分布式存儲(chǔ)和管理的基礎(chǔ)上,基于Map Reduce技術(shù)框架,提供視頻、圖像大數(shù)據(jù)的索引描述、特征提取、并行數(shù)據(jù)挖掘、智能關(guān)聯(lián)分析等支撐服務(wù)。
數(shù)據(jù)存儲(chǔ)層:實(shí)現(xiàn)大數(shù)據(jù)的高效存儲(chǔ)和高并發(fā)訪問(wèn)控制,基于Hadoop技術(shù)體系,綜合應(yīng)用HDFS、Hbase、Hive,提供數(shù)據(jù)檢索、存儲(chǔ)監(jiān)控、負(fù)載均衡、容災(zāi)備份等支撐服務(wù),實(shí)現(xiàn)結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的集中管理。
中間件層:為支撐平臺(tái)提供運(yùn)行所需的基礎(chǔ)中間件,主要包括虛擬化服務(wù)化中間件、資源管理與集成中間件、分布式存儲(chǔ)中間件。資源層:為大數(shù)據(jù)平臺(tái)的運(yùn)行提供基礎(chǔ)支撐,包括存儲(chǔ)服務(wù)器、計(jì)算服務(wù)器等高性能硬件資源,結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)資源,以及各類感知資源。