技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種高吞吐數(shù)據(jù)流處理方法，通過(guò)異步數(shù)據(jù)接收的方式對(duì)數(shù)據(jù)接收和處理，使用少量的接收線程應(yīng)對(duì)盡可能多的客戶(hù)端發(fā)送請(qǐng)求，充分利用接收線程的cpu時(shí)間，提升系統(tǒng)整體吞吐率；對(duì)接收的數(shù)據(jù)通過(guò)無(wú)鎖的任務(wù)調(diào)度方法盡可能快的將其送入業(yè)務(wù)處理線程進(jìn)行處理，減少鎖開(kāi)銷(xiāo)，保證數(shù)據(jù)處理的實(shí)時(shí)性；另外，由于數(shù)據(jù)接收是一種IO密集型操作，而數(shù)據(jù)處理是一種cpu密集型操作，將兩層分離，分別運(yùn)行在不同范圍的cpu核上，保證數(shù)據(jù)的接收和處理過(guò)程互不干擾，不會(huì)出現(xiàn)數(shù)據(jù)處理線程長(zhǎng)時(shí)間占用cpu，數(shù)據(jù)接收線程得不到系統(tǒng)調(diào)度運(yùn)行的情況，而且，接收線程數(shù)和處理線程數(shù)比例可根據(jù)業(yè)務(wù)需求配置平衡，充分利用系統(tǒng)的cpu和內(nèi)存資源。

技術(shù)研發(fā)人員：葛瑞海;張永錚;庹宇鵬
受保護(hù)的技術(shù)使用者：中國(guó)科學(xué)院信息工程研究所
文檔號(hào)碼：201611176110
技術(shù)研發(fā)日：2016.12.19
技術(shù)公布日：2017.06.13