技術總結
本發(fā)明提出一種用于HDFS的文件比較方法及裝置，根據本發(fā)明實施例的方法包括步驟：從HDFS的主節(jié)點獲取第一文件和第二文件的信息；根據信息比較構成第一文件的多個第一數據塊的數量與構成第二文件的多個第二數據塊的數量是否相同；如果是，則從HDFS的從節(jié)點獲取多個第一數據塊的多個第一crc校驗值以及多個第二數據塊的多個第二crc校驗值；將多個第一crc校驗值以及多個第二crc校驗值按照順序分別進行比較；如果比較結果相同，則判斷第一文件和第二文件相同；以及如果比較結果不同，則判斷第一文件和第二文件不同。該方法可以節(jié)省網絡傳輸量，并且提高文件比較的效率。

技術研發(fā)人員：潘瑾瑜
受保護的技術使用者：百度在線網絡技術（北京）有限公司
文檔號碼：201210130345
技術研發(fā)日：2012.04.27
技術公布日：2017.05.10