技術(shù)總結(jié)
本發(fā)明公開了一種對高通量測序數(shù)據(jù)進行質(zhì)量過濾的方法和裝置，所述方法包括：根據(jù)所述高通量測序數(shù)據(jù)為并行計算做準備；通過并行計算過濾掉準備好的數(shù)據(jù)中質(zhì)量不達標的數(shù)據(jù)。確定質(zhì)量轉(zhuǎn)換方式；數(shù)據(jù)切分；生成并行計算的執(zhí)行實體。將第一文件和第二文件分別轉(zhuǎn)換為第一RDD和第二RDD；將第一RDD和第二RDD分別切分為第一partition組和第二partition組；將第一RDD和第二RDD合并為第三RDD；將第三RDD切分為第三partition組。生成對第三partition組進行并行計算的執(zhí)行實體task。采用本發(fā)明的技術(shù)方案，能夠大大提高對高通量測序數(shù)據(jù)進行質(zhì)量過濾的執(zhí)行速度。

技術(shù)研發(fā)人員：陳晨;王震;于偉文
受保護的技術(shù)使用者：上海華點云生物科技有限公司
文檔號碼：201611236128
技術(shù)研發(fā)日：2016.12.28
技術(shù)公布日：2017.05.31