技術(shù)總結(jié)
本發(fā)明實(shí)施例公開了一種數(shù)據(jù)處理方法和裝置，從所述關(guān)系型數(shù)據(jù)庫(kù)獲取待轉(zhuǎn)移任務(wù)；在將所述待轉(zhuǎn)移任務(wù)導(dǎo)入到所述非關(guān)系型數(shù)據(jù)庫(kù)之前，從所述元數(shù)據(jù)庫(kù)中獲取所述待轉(zhuǎn)移任務(wù)，并生成HDFS臨時(shí)文件；校驗(yàn)所述HDFS臨時(shí)文件，以判斷對(duì)應(yīng)的所述待轉(zhuǎn)移任務(wù)中數(shù)據(jù)的正確性，若校驗(yàn)成功，將對(duì)應(yīng)的所述待轉(zhuǎn)移任務(wù)導(dǎo)入到所述非關(guān)系型數(shù)據(jù)庫(kù)；若校驗(yàn)失敗，重新從所述關(guān)系型數(shù)據(jù)庫(kù)生成對(duì)應(yīng)的所述待轉(zhuǎn)移任務(wù)。在校驗(yàn)不成功時(shí)不向所述非關(guān)系型數(shù)據(jù)庫(kù)導(dǎo)入，使得在數(shù)據(jù)轉(zhuǎn)移過程可以有效避免向被轉(zhuǎn)移的所述非關(guān)系型數(shù)據(jù)庫(kù)導(dǎo)入出現(xiàn)錯(cuò)誤的待轉(zhuǎn)移任務(wù)，提高了數(shù)據(jù)轉(zhuǎn)移的穩(wěn)定性，有效解決轉(zhuǎn)移過程中數(shù)據(jù)出錯(cuò)為數(shù)據(jù)轉(zhuǎn)移帶來的影響。

技術(shù)研發(fā)人員：張淼
受保護(hù)的技術(shù)使用者：阿里巴巴集團(tuán)控股有限公司
文檔號(hào)碼：201510333993
技術(shù)研發(fā)日：2015.06.16
技術(shù)公布日：2017.01.11