技術(shù)特征:
技術(shù)總結(jié)
本發(fā)明實(shí)施例提供的一種數(shù)據(jù)處理方法及裝置,應(yīng)用于分布式數(shù)據(jù)處理系統(tǒng)中的客戶端,方法包括:接收針對(duì)待處理數(shù)據(jù)的數(shù)據(jù)處理指令,確定有效數(shù)據(jù)片段;獲得有效數(shù)據(jù)片段的數(shù)據(jù)分布信息;將每個(gè)有效數(shù)據(jù)片段的數(shù)據(jù)范圍劃分成至少一個(gè)子數(shù)據(jù)范圍;生成針對(duì)每個(gè)有效數(shù)據(jù)片段的數(shù)據(jù)處理任務(wù);向任務(wù)調(diào)度器發(fā)送數(shù)據(jù)處理請(qǐng)求,以使得任務(wù)調(diào)度器確定執(zhí)行每一數(shù)據(jù)處理任務(wù)的數(shù)據(jù)處理服務(wù)器并向其發(fā)送其要處理的數(shù)據(jù)處理任務(wù)以及接收針對(duì)所分配的子數(shù)據(jù)范圍進(jìn)行數(shù)據(jù)處理的處理結(jié)果;接收任務(wù)調(diào)度器反饋的針對(duì)待處理數(shù)據(jù)的處理結(jié)果。應(yīng)用本發(fā)明實(shí)施例,提高了分布式數(shù)據(jù)處理系統(tǒng)中數(shù)據(jù)處理服務(wù)器的并行處理速度,提高了分布式數(shù)據(jù)處理系統(tǒng)的整體處理性能。
技術(shù)研發(fā)人員:管國辰;林武康
受保護(hù)的技術(shù)使用者:杭州??低晹?shù)字技術(shù)股份有限公司
技術(shù)研發(fā)日:2016.02.23
技術(shù)公布日:2017.08.29