技術(shù)總結(jié)
本發(fā)明公開了一種Hadoop中基于Zigzag的MapReduce數(shù)據(jù)處理方法，包括：將視頻圖像的離散余弦變換編碼特點(diǎn)及相關(guān)的Zigzag分布特征信息引入MapReduce模型的拷貝過程中；將行程編碼技術(shù)引入MapReduce模型的合并過程中；對合并后的數(shù)據(jù)進(jìn)行Reduce處理。與現(xiàn)有技術(shù)相比，本發(fā)明的方法充分考慮了圖像的DCT變換特點(diǎn)及相關(guān)Zigzag分布特征信息，其拷貝的數(shù)據(jù)量大小完全可控，拷貝環(huán)節(jié)內(nèi)存不易溢出，隨后采用行程編碼合并后，Reduce過程中的硬盤IO訪問次數(shù)將大大地減少，同時MapReduce視頻處理性能也獲得了極大提升。

技術(shù)研發(fā)人員：包先雨;陳枝楠;陳新;李軍;郭云
受保護(hù)的技術(shù)使用者：深圳市檢驗(yàn)檢疫科學(xué)研究院
文檔號碼：201610586738
技術(shù)研發(fā)日：2016.07.21
技術(shù)公布日：2016.12.21