技術(shù)總結(jié)
本發(fā)明公開一種數(shù)據(jù)處理方法及裝置,該方法包括:將源數(shù)據(jù)分成多個(gè)數(shù)據(jù)塊;判斷多個(gè)數(shù)據(jù)塊中是否包括兩個(gè)或兩個(gè)以上依次相鄰的重復(fù)數(shù)據(jù)塊,重復(fù)數(shù)據(jù)塊是指與實(shí)例庫中所存儲(chǔ)的實(shí)例相同的數(shù)據(jù)塊;如果是,并且實(shí)例庫中與依次相鄰的重復(fù)數(shù)據(jù)塊對(duì)應(yīng)的各實(shí)例存儲(chǔ)的位置也是依次相鄰的,則利用一個(gè)索引數(shù)據(jù)替換依次相鄰的重復(fù)數(shù)據(jù)塊以生成目標(biāo)數(shù)據(jù)。通過以上公開內(nèi)容,本發(fā)明的技術(shù)方案可在不增加數(shù)據(jù)塊大小的前提下使得一個(gè)索引數(shù)據(jù)可以替代盡可能多的重復(fù)數(shù)據(jù)塊,因此可同時(shí)滿足高的重復(fù)數(shù)據(jù)刪除率和高的數(shù)據(jù)縮減率的要求。
技術(shù)研發(fā)人員:覃強(qiáng)
受保護(hù)的技術(shù)使用者:華為技術(shù)有限公司
文檔號(hào)碼:201380000107
技術(shù)研發(fā)日:2013.01.09
技術(shù)公布日:2016.11.30