技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種快速精準(zhǔn)的交通大數(shù)據(jù)清洗方法，涉及交通數(shù)據(jù)處理技術(shù)領(lǐng)域。對(duì)于實(shí)時(shí)的RFID和抓拍數(shù)據(jù)，采用Spark?Streaming流處理技術(shù)，利用Kafka提供數(shù)據(jù)緩存，從Kafka中按照時(shí)間窗口不斷提取數(shù)據(jù)，按照數(shù)據(jù)清洗規(guī)則，完成數(shù)據(jù)的比對(duì)、統(tǒng)計(jì)和異常處理；對(duì)于離線的批量累積數(shù)據(jù)，采用Spark內(nèi)存處理技術(shù)，從HDFS中讀取數(shù)據(jù)，按照數(shù)據(jù)清洗規(guī)則，對(duì)數(shù)據(jù)進(jìn)行比對(duì)、統(tǒng)計(jì)和異常處理，通過(guò)對(duì)比對(duì)算法的優(yōu)化，提高程序的性能和數(shù)據(jù)清洗結(jié)果的準(zhǔn)確性。實(shí)現(xiàn)了對(duì)城市交通監(jiān)控管理過(guò)程中產(chǎn)生的RFID和抓拍等數(shù)據(jù)快速精準(zhǔn)地處理，進(jìn)而實(shí)現(xiàn)了對(duì)交通數(shù)據(jù)資源的加工處理，保障交通大數(shù)據(jù)資源的存儲(chǔ)和利用。

技術(shù)研發(fā)人員：張鵬飛;趙凱;梁婷婷;陶斯琴;侯俊巍
受保護(hù)的技術(shù)使用者：航天科工智慧產(chǎn)業(yè)發(fā)展有限公司
文檔號(hào)碼：201611094160
技術(shù)研發(fā)日：2016.12.02
技術(shù)公布日：2017.03.22