技術(shù)總結(jié)
本申請的目的是提供一種數(shù)據(jù)批處理的方法及設(shè)備,本申請通過判斷待批處理數(shù)據(jù)的處理延時要求是否小于等于預(yù)設(shè)閾值,若小于等于,獲取所述待批處理數(shù)據(jù)中的事務(wù)的依賴關(guān)系和對應(yīng)的依賴順序,將所述待批處理數(shù)據(jù)中的事務(wù)按所述依賴關(guān)系和依賴順序合并成組合事務(wù),對每個組合事務(wù)進行批處理,其中,每個組合事務(wù)包含一個或多個沒有依賴關(guān)系的事務(wù);若大于,則將所述待批處理數(shù)據(jù)的更新操作進行拆分,得到刪除操作和插入操作,將屬于所述待批處理數(shù)據(jù)的同一鍵值下的刪除操作和插入操作進行合并,將合并后的所有鍵值下的刪除操作和插入操作分別進行批處理,從而根據(jù)不同的場景需求采用不同的數(shù)據(jù)批處理方案。
技術(shù)研發(fā)人員:羅德祥;謝皓
受保護的技術(shù)使用者:星環(huán)信息科技(上海)有限公司
文檔號碼:201611228291
技術(shù)研發(fā)日:2016.12.27
技術(shù)公布日:2017.06.13