亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種數(shù)據(jù)處理方法及裝置與流程

文檔序號:11972120閱讀:來源:國知局
一種數(shù)據(jù)處理方法及裝置與流程

技術(shù)特征:
1.一種數(shù)據(jù)處理方法,其特征在于,包括:構(gòu)造沿數(shù)據(jù)流滑動的數(shù)據(jù)窗口,所述數(shù)據(jù)窗口的長度為預(yù)設(shè)數(shù)目的字節(jié);所述數(shù)據(jù)窗口滑動時,判斷所述數(shù)據(jù)窗口中心位置數(shù)據(jù)對應(yīng)的哈希值是否為極值;若是,則確定該位置為第一個中間極值點(diǎn),所述數(shù)據(jù)窗口繼續(xù)滑動以確定后續(xù)的中間極值點(diǎn);若否,則所述數(shù)據(jù)窗口繼續(xù)滑動以確定第一個中間極值點(diǎn);提取相鄰中間極值點(diǎn)之間的數(shù)據(jù)組合成有效數(shù)據(jù)分片,將所述相鄰中間極值點(diǎn)之外的數(shù)據(jù)作為無效數(shù)據(jù)分片。2.如權(quán)利要求1所述的方法,其特征在于,所述極值包括極大值或極小值。3.如權(quán)利要求1或2所述的方法,其特征在于,判斷所述數(shù)據(jù)窗口中心位置數(shù)據(jù)對應(yīng)的哈希值是否為極值,包括:確定所述數(shù)據(jù)窗口在數(shù)據(jù)流上滑動的第一起始點(diǎn)a,第一中間點(diǎn)b及第一截止點(diǎn)2b-a;當(dāng)采用極大值進(jìn)行處理時,比較所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值與所述第一中間點(diǎn)b至所述第一截止點(diǎn)2b-a的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)y,所述位置點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值大于所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移y-b的距離,新的數(shù)據(jù)窗口以y+a-b作為第二起始點(diǎn),所述位置點(diǎn)y作為第二中間點(diǎn),y+b-a作為第二截止點(diǎn);比較所述第二中間點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值與所述第二中間點(diǎn)y至所述第二起始點(diǎn)y+a-b的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)x,所述位置點(diǎn)x對應(yīng)的數(shù)據(jù)的哈希值大于或等于所述第二中間點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移b-a+1的距離,新的數(shù)據(jù)窗口以(y+1)作為第三起始點(diǎn),(y+1)+b-a作為第三中間點(diǎn),(y+1)+2b-2a作為第三截止點(diǎn);其中,a、b、x、y均為自然數(shù)。4.如權(quán)利要求1或2所述的方法,其特征在于,判斷所述數(shù)據(jù)窗口中心位置數(shù)據(jù)對應(yīng)的哈希值是否為極值,包括:確定所述數(shù)據(jù)窗口在數(shù)據(jù)流上滑動的第一起始點(diǎn)a,第一中間點(diǎn)b及第一截止點(diǎn)2b-a;當(dāng)采用極大值進(jìn)行處理時,比較所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值與所述第一中間點(diǎn)b至所述第一截止點(diǎn)2b-a的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)y,所述位置點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值等于所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移y-b+1的距離,新的數(shù)據(jù)窗口以(y+1)+a-b為第二起始點(diǎn),(y+1)為第二中間點(diǎn),(y+1)+b-a為第二截止點(diǎn);比較所述第二中間點(diǎn)(y+1)對應(yīng)的數(shù)據(jù)的哈希值與所述第二中間點(diǎn)(y+1)至所述第二起始點(diǎn)(y+1)+a-b的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)x,所述位置點(diǎn)x對應(yīng)的數(shù)據(jù)的哈希值大于或等于所述第二中間點(diǎn)(y+1)對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移b-a+1的距離,新的數(shù)據(jù)窗口以(y+2)作為第三起始點(diǎn),(y+2)+b-a作為第三中間點(diǎn),(y+2)+2b-2a作為第三截止點(diǎn);其中,a、b、x、y均為自然數(shù)。5.如權(quán)利要求1或2所述的方法,其特征在于,判斷所述數(shù)據(jù)窗口中心位置數(shù)據(jù)對應(yīng)的哈希值是否為極值,包括:確定所述數(shù)據(jù)窗口在數(shù)據(jù)流上滑動的第一起始點(diǎn)a,第一中間點(diǎn)b及第一截止點(diǎn)2b-a;當(dāng)采用極小值進(jìn)行處理時,比較所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值與所述第一中間點(diǎn)b至所述第一截止點(diǎn)2b-a的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)y,所述位置點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值小于所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移y-b的距離,新的數(shù)據(jù)窗口以y+a-b作為第二起始點(diǎn),所述位置點(diǎn)y作為第二中間點(diǎn),y+b-a作為第二截止點(diǎn);比較所述第二中間點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值與所述第二中間點(diǎn)y至所述第二起始點(diǎn)y+a-b的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)x,所述位置點(diǎn)x對應(yīng)的數(shù)據(jù)的哈希值小于或等于所述第二中間點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移b-a+1的距離,新的數(shù)據(jù)窗口以(y+1)作為第三起始點(diǎn),(y+1)+b-a作為第三中間點(diǎn),(y+1)+2b-2a作為第三截止點(diǎn);其中,a、b、x、y均為自然數(shù)。6.如權(quán)利要求1或2所述的方法,其特征在于,判斷所述數(shù)據(jù)窗口中心位置數(shù)據(jù)對應(yīng)的哈希值是否為極值,包括:確定所述數(shù)據(jù)窗口在數(shù)據(jù)流上滑動的第一起始點(diǎn)a,第一中間點(diǎn)b及第一截止點(diǎn)2b-a;當(dāng)采用極小值進(jìn)行處理時,比較所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值與所述第一中間點(diǎn)b至所述第一截止點(diǎn)2b-a的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)y,所述位置點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值等于所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移y-b+1的距離,新的數(shù)據(jù)窗口以(y+1)+a-b為第二起始點(diǎn),(y+1)為第二中間點(diǎn),(y+1)+b-a為第二截止點(diǎn);比較所述第二中間點(diǎn)(y+1)對應(yīng)的數(shù)據(jù)的哈希值與所述第二中間點(diǎn)(y+1)至所述第二起始點(diǎn)(y+1)+a-b的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)x,所述位置點(diǎn)x對應(yīng)的數(shù)據(jù)的哈希值小于或等于所述第二中間點(diǎn)(y+1)對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移b-a+1的距離,新的數(shù)據(jù)窗口以(y+2)作為第三起始點(diǎn),(y+2)+b-a作為第三中間點(diǎn),(y+2)+2b-2a作為第三截止點(diǎn);其中,a、b、x、y均為自然數(shù)。7.如權(quán)利要求1所述的方法,其特征在于,在確定所述第一個中間極值點(diǎn)之前,還包括:將數(shù)據(jù)流中的每個字節(jié)擴(kuò)展成N個新字節(jié)作為數(shù)據(jù)處理的最小單位,其中,每個最小單位對應(yīng)一個整數(shù),N>1。8.如權(quán)利要求7所述的方法,其特征在于,所述最小單位中新字節(jié)的數(shù)目N與進(jìn)行數(shù)據(jù)處理的處理器單次處理的最大字節(jié)數(shù)目相等,且所述新字節(jié)之間采用256進(jìn)制。9.如權(quán)利要求8所述的方法,其特征在于,所述最小單位對應(yīng)的整數(shù)為無符號整數(shù)。10.如權(quán)利要求1所述的方法,其特征在于,所述提取相鄰中間極值點(diǎn)之間的數(shù)據(jù)組合成有效數(shù)據(jù)分片,將所述相鄰中間極值點(diǎn)之外的數(shù)據(jù)作為無效數(shù)據(jù)分片之后,還包括:對所述有效數(shù)據(jù)分片及無效數(shù)據(jù)分片進(jìn)行哈希計算得到對應(yīng)的數(shù)據(jù)簽名;在已建立的數(shù)據(jù)簽名庫中檢索所述數(shù)據(jù)簽名,判斷所述數(shù)據(jù)簽名是否存在;若不存在,則存儲所述數(shù)據(jù)分片及對應(yīng)的數(shù)據(jù)簽名;若已存在,則不存儲所述數(shù)據(jù)分片及對應(yīng)的數(shù)據(jù)簽名。11.如權(quán)利要求1所述的方法,其特征在于,所述數(shù)據(jù)為網(wǎng)絡(luò)數(shù)據(jù)或存儲數(shù)據(jù)。12.一種數(shù)據(jù)處理裝置,其特征在于,包括:窗口構(gòu)造單元,用于構(gòu)造沿數(shù)據(jù)流滑動的數(shù)據(jù)窗口,所述數(shù)據(jù)窗口的長度為預(yù)設(shè)數(shù)目的字節(jié);極值判斷單元,用于所述數(shù)據(jù)窗口滑動時,判斷所述數(shù)據(jù)窗口中心位置數(shù)據(jù)對應(yīng)的哈希值是否為極值;若是,則確定該位置為第一個中間極值點(diǎn),所述數(shù)據(jù)窗口繼續(xù)滑動以確定后續(xù)的中間極值點(diǎn);若否,則所述數(shù)據(jù)窗口繼續(xù)滑動以確定第一個中間極值點(diǎn);數(shù)據(jù)切片單元,用于提取相鄰中間極值點(diǎn)之間的數(shù)據(jù)組合成有效數(shù)據(jù)分片,將所述相鄰中間極值點(diǎn)之外的數(shù)據(jù)作為無效數(shù)據(jù)分片。13.如權(quán)利要求12所述的裝置,其特征在于,所述極值包括極大值或極小值。14.如權(quán)利要求12或13所述的裝置,其特征在于,所述極值判斷單元進(jìn)一步用于:確定所述數(shù)據(jù)窗口在數(shù)據(jù)流上滑動的第一起始點(diǎn)a,第一中間點(diǎn)b及第一截止點(diǎn)2b-a;當(dāng)采用極大值進(jìn)行處理時,比較所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值與所述第一中間點(diǎn)b至所述第一截止點(diǎn)2b-a的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)y,所述位置點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值大于所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移y-b的距離,新的數(shù)據(jù)窗口以y+a-b作為第二起始點(diǎn),所述位置點(diǎn)y作為第二中間點(diǎn),y+b-a作為第二截止點(diǎn);比較所述第二中間點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值與所述第二中間點(diǎn)y至所述第二起始點(diǎn)y+a-b的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)x,所述位置點(diǎn)x對應(yīng)的數(shù)據(jù)的哈希值大于或等于所述第二中間點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移b-a+1的距離,新的數(shù)據(jù)窗口以(y+1)作為第三起始點(diǎn),(y+1)+b-a作為第三中間點(diǎn),(y+1)+2b-2a作為第三截止點(diǎn);其中,a、b、x、y均為自然數(shù)。15.如權(quán)利要求12或13所述的裝置,其特征在于,所述極值判斷單元進(jìn)一步用于:確定所述數(shù)據(jù)窗口在數(shù)據(jù)流上滑動的第一起始點(diǎn)a,第一中間點(diǎn)b及第一截止點(diǎn)2b-a;當(dāng)采用極大值進(jìn)行處理時,比較所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值與所述第一中間點(diǎn)b至所述第一截止點(diǎn)2b-a的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)y,所述位置點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值等于所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移y-b+1的距離,新的數(shù)據(jù)窗口以(y+1)+a-b為第二起始點(diǎn),(y+1)為第二中間點(diǎn),(y+1)+b-a為第二截止點(diǎn);比較所述第二中間點(diǎn)(y+1)對應(yīng)的數(shù)據(jù)的哈希值與所述第二中間點(diǎn)(y+1)至所述第二起始點(diǎn)(y+1)+a-b的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)x,所述位置點(diǎn)x對應(yīng)的數(shù)據(jù)的哈希值大于或等于所述第二中間點(diǎn)(y+1)對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移b-a+1的距離,新的數(shù)據(jù)窗口以(y+2)作為第三起始點(diǎn),(y+2)+b-a作為第三中間點(diǎn),(y+2)+2b-2a作為第三截止點(diǎn);其中,a、b、x、y均為自然數(shù)。16.如權(quán)利要求12或13所述的裝置,其特征在于,所述極值判斷單元進(jìn)一步用于:確定所述數(shù)據(jù)窗口在數(shù)據(jù)流上滑動的第一起始點(diǎn)a,第一中間點(diǎn)b及第一截止點(diǎn)2b-a;當(dāng)采用極小值進(jìn)行處理時,比較所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值與所述第一中間點(diǎn)b至所述第一截止點(diǎn)2b-a的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)y,所述位置點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值小于所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移y-b的距離,新的數(shù)據(jù)窗口以y+a-b作為第二起始點(diǎn),所述位置點(diǎn)y作為第二中間點(diǎn),y+b-a作為第二截止點(diǎn);比較所述第二中間點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值與所述第二中間點(diǎn)y至所述第二起始點(diǎn)y+a-b的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)x,所述位置點(diǎn)x對應(yīng)的數(shù)據(jù)的哈希值小于或等于所述第二中間點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移b-a+1的距離,新的數(shù)據(jù)窗口以(y+1)作為第三起始點(diǎn),(y+1)+b-a作為第三中間點(diǎn),(y+1)+2b-2a作為第三截止點(diǎn);其中,a、b、x、y均為自然數(shù)。17.如權(quán)利要求12或13所述的裝置,其特征在于,所述極值判斷單元進(jìn)一步用于:確定所述數(shù)據(jù)窗口在數(shù)據(jù)流上滑動的第一起始點(diǎn)a,第一中間點(diǎn)b及第一截止點(diǎn)2b-a;當(dāng)采用極小值進(jìn)行處理時,比較所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值與所述第一中間點(diǎn)b至所述第一截止點(diǎn)2b-a的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)y,所述位置點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值等于所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移y-b+1的距離,新的數(shù)據(jù)窗口以(y+1)+a-b為第二起始點(diǎn),(y+1)為第二中間點(diǎn),(y+1)+b-a為第二截止點(diǎn);比較所述第二中間點(diǎn)(y+1)對應(yīng)的數(shù)據(jù)的哈希值與所述第二中間點(diǎn)(y+1)至所述第二起始點(diǎn)(y+1)+a-b的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)x,所述位置點(diǎn)x對應(yīng)的數(shù)據(jù)的哈希值小于或等于所述第二中間點(diǎn)(y+1)對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移b-a+1的距離,新的數(shù)據(jù)窗口以(y+2)作為第三起始點(diǎn),(y+2)+b-a作為第三中間點(diǎn),(y+2)+2b-2a作為第三截止點(diǎn);其中,a、b、x、y均為自然數(shù)。18.如權(quán)利要求12所述的裝置,其特征在于,所述裝置還包括:字節(jié)擴(kuò)展單元,用于在確定所述第一個中間極值點(diǎn)之前,將數(shù)據(jù)流中的每個字節(jié)擴(kuò)展成N個新字節(jié)作為數(shù)據(jù)處理的最小單位,其中,每個最小單位對應(yīng)一個整數(shù),N>1。19.如權(quán)利要求18所述的裝置,其特征在于,所述最小單位中新字節(jié)的數(shù)目N與進(jìn)行數(shù)據(jù)處理的處理器單次處理的最大字節(jié)數(shù)目相等,且所述新字節(jié)之間采用256進(jìn)制。20.如權(quán)利要求19所述的裝置,其特征在于,所述最小單位對應(yīng)的整數(shù)為無符號整數(shù)。21.如權(quán)利要求12所述的裝置,其特征在于,所述裝置還包括:計算單元,用于對所述有效數(shù)據(jù)分片及無效數(shù)據(jù)分片進(jìn)行哈希計算得到對應(yīng)的數(shù)據(jù)簽名;檢索單元,用于在已建立的數(shù)據(jù)簽名庫中檢索所述數(shù)據(jù)簽名,判斷所述數(shù)據(jù)簽名是否存在;存儲單元,用于當(dāng)所述檢索單元判定所述數(shù)據(jù)簽名不存在時,存儲所述數(shù)據(jù)分片及對應(yīng)的數(shù)據(jù)簽名,若所述數(shù)據(jù)簽名已存在,則不存儲所述數(shù)據(jù)分片及對應(yīng)的數(shù)據(jù)簽名。22.如權(quán)利要求12所述的裝置,其特征在于,所述數(shù)據(jù)為網(wǎng)絡(luò)數(shù)據(jù)或存儲數(shù)據(jù)。23.一種數(shù)據(jù)處理裝置,其特征在于,包括:處理器及與所述處理器相配合的存儲器;所述存儲器用于存儲所述處理器執(zhí)行的程序、極值點(diǎn)信息及數(shù)據(jù)分片;所述處理器用于執(zhí)行以下步驟:構(gòu)造沿數(shù)據(jù)流滑動的數(shù)據(jù)窗口,所述數(shù)據(jù)窗口的長度為預(yù)設(shè)數(shù)目的字節(jié);所述數(shù)據(jù)窗口滑動時,判斷所述數(shù)據(jù)窗口中心位置數(shù)據(jù)對應(yīng)的哈希值是否為極值;若是,則確定該位置為第一個中間極值點(diǎn),所述數(shù)據(jù)窗口繼續(xù)滑動以確定后續(xù)的中間極值點(diǎn);若否,則所述數(shù)據(jù)窗口繼續(xù)滑動以確定第一個中間極值點(diǎn);提取相鄰中間極值點(diǎn)之間的數(shù)據(jù)組合成有效數(shù)據(jù)分片,將所述相鄰中間極值點(diǎn)之外的數(shù)據(jù)作為無效數(shù)據(jù)分片。24.如權(quán)利要求23所述的裝置,其特征在于,所述極值包括極大值或極小值。25.如權(quán)利要求23或24所述的裝置,其特征在于,所述處理器進(jìn)一步用于:確定所述數(shù)據(jù)窗口在數(shù)據(jù)流上滑動的第一起始點(diǎn)a,第一中間點(diǎn)b及第一截止點(diǎn)2b-a;當(dāng)采用極大值進(jìn)行處理時,比較所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值與所述第一中間點(diǎn)b至所述第一截止點(diǎn)2b-a的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)y,所述位置點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值大于所述中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移y-b的距離,新的數(shù)據(jù)窗口以y+a-b作為第二起始點(diǎn),所述位置點(diǎn)y作為第二中間點(diǎn),y+b-a作為第二截止點(diǎn);比較所述第二中間點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值與所述第二中間點(diǎn)y至所述第二起始點(diǎn)y+a-b的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)x,所述位置點(diǎn)x對應(yīng)的數(shù)據(jù)的哈希值大于或等于所述第二中間點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移b-a+1的距離,新的數(shù)據(jù)窗口以(y+1)作為第三起始點(diǎn),(y+1)+b-a作為第三中間點(diǎn),(y+1)+2b-2a作為第三截止點(diǎn);其中,a、b、x、y均為自然數(shù)。26.如權(quán)利要求23或24所述的裝置,其特征在于,所述處理器進(jìn)一步用于:確定所述數(shù)據(jù)窗口在數(shù)據(jù)流上滑動的第一起始點(diǎn)a,第一中間點(diǎn)b及第一截止點(diǎn)2b-a;當(dāng)采用極大值進(jìn)行處理時,比較所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值與所述第一中間點(diǎn)b至所述第一截止點(diǎn)2b-a的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)y,所述位置點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值等于所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移y-b+1的距離,新的數(shù)據(jù)窗口以(y+1)+a-b為第二起始點(diǎn),(y+1)為第二中間點(diǎn),(y+1)+b-a為第二截止點(diǎn);比較所述第二中間點(diǎn)(y+1)對應(yīng)的數(shù)據(jù)的哈希值與所述第二中間點(diǎn)(y+1)至所述第二起始點(diǎn)(y+1)+a-b的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)x,所述位置點(diǎn)x對應(yīng)的數(shù)據(jù)的哈希值大于或等于所述第二中間點(diǎn)(y+1)對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移b-a+1的距離,新的數(shù)據(jù)窗口以(y+2)作為第三起始點(diǎn),(y+2)+b-a作為第三中間點(diǎn),(y+2)+2b-2a作為第三截止點(diǎn);其中,a、b、x、y均為自然數(shù)。27.如權(quán)利要求23或24所述的裝置,其特征在于,所述處理器進(jìn)一步用于:確定所述數(shù)據(jù)窗口在數(shù)據(jù)流上滑動的第一起始點(diǎn)a,第一中間點(diǎn)b及第一截止點(diǎn)2b-a;當(dāng)采用極小值進(jìn)行處理時,比較所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值與所述第一中間點(diǎn)b至所述第一截止點(diǎn)2b-a的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)y,所述位置點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值小于所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移y-b的距離,新的數(shù)據(jù)窗口以y+a-b作為第二起始點(diǎn),所述位置點(diǎn)y作為第二中間點(diǎn),y+b-a作為第二截止點(diǎn);比較所述第二中間點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值與所述第二中間點(diǎn)y至所述第二起始點(diǎn)y+a-b的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)x,所述位置點(diǎn)x對應(yīng)的數(shù)據(jù)的哈希值小于或等于所述第二中間點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移b-a+1的距離,新的數(shù)據(jù)窗口以(y+1)作為第三起始點(diǎn),(y+1)+b-a作為第三中間點(diǎn),(y+1)+2b-2a作為第三截止點(diǎn);其中,a、b、x、y均為自然數(shù)。28.如權(quán)利要求23或24所述的裝置,其特征在于,所述處理器進(jìn)一步用于:確定所述數(shù)據(jù)窗口在數(shù)據(jù)流上滑動的第一起始點(diǎn)a,第一中間點(diǎn)b及第一截止點(diǎn)2b-a;當(dāng)采用極小值進(jìn)行處理時,比較所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值與所述第一中間點(diǎn)b至所述第一截止點(diǎn)2b-a的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)y,所述位置點(diǎn)y對應(yīng)的數(shù)據(jù)的哈希值等于所述第一中間點(diǎn)b對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移y-b+1的距離,新的數(shù)據(jù)窗口以(y+1)+a-b為第二起始點(diǎn),(y+1)為第二中間點(diǎn),(y+1)+b-a為第二截止點(diǎn);比較所述第二中間點(diǎn)(y+1)對應(yīng)的數(shù)據(jù)的哈希值與所述第二中間點(diǎn)(y+1)至所述第二起始點(diǎn)(y+1)+a-b的區(qū)域之間各個位置點(diǎn)對應(yīng)的數(shù)據(jù)的哈希值;若存在一個位置點(diǎn)x,所述位置點(diǎn)x對應(yīng)的數(shù)據(jù)的哈希值小于或等于所述第二中間點(diǎn)(y+1)對應(yīng)的數(shù)據(jù)的哈希值,則將所述數(shù)據(jù)窗口右移b-a+1的距離,新的數(shù)據(jù)窗口以(y+2)作為第三起始點(diǎn),(y+2)+b-a作為第三中間點(diǎn),(y+2)+2b-2a作為第三截止點(diǎn);其中,a、b、x、y均為自然數(shù)。29.如權(quán)利要求23所述的裝置,其特征在于,所述處理器還用于:在確定所述第一個中間極值點(diǎn)之前,將數(shù)據(jù)流中的每個字節(jié)擴(kuò)展成N個新字節(jié)作為數(shù)據(jù)處理的最小單位,其中,每個最小單位對應(yīng)一個無符號整數(shù),N>1;所述最小單位中新字節(jié)的數(shù)目N與進(jìn)行數(shù)據(jù)處理的處理器單次處理的最大字節(jié)數(shù)目相等,且所述新字節(jié)之間采用256進(jìn)制。30.如權(quán)利要求23所述的裝置,其特征在于,所述處理器更進(jìn)一步用于:對所述有效數(shù)據(jù)分片及無效數(shù)據(jù)分片進(jìn)行哈希計算得到對應(yīng)的數(shù)據(jù)簽名;在已建立的數(shù)據(jù)簽名庫中檢索所述數(shù)據(jù)簽名,判斷所述數(shù)據(jù)簽名是否存在;若不存在,則存儲所述數(shù)據(jù)分片及對應(yīng)的數(shù)據(jù)簽名;若已存在,則不存儲所述數(shù)據(jù)分片及對應(yīng)的數(shù)據(jù)簽名。
當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1