Al、所述數(shù)據(jù)處理子單元收到一個元素e; A2、所述數(shù)據(jù)處理子單元檢查是否有計數(shù)器對e進(jìn)行計數(shù)； 如果e有對應(yīng)的計數(shù)器對其進(jìn)行計數(shù)，那么就增加對應(yīng)計數(shù)器的delta變量和計數(shù)值，然后執(zhí)彳丁步驟A3 ； 如果e沒有對應(yīng)的計數(shù)器對其進(jìn)行計數(shù)，判斷系統(tǒng)中所有的計數(shù)器個數(shù)是否達(dá)到上限；如果系統(tǒng)中所有的計數(shù)器個數(shù)沒有達(dá)到上限，則初始化一個新的計數(shù)器來對這個元素計數(shù)，然后執(zhí)行步驟A3; 如果系統(tǒng)中所有的計數(shù)器個數(shù)達(dá)到上限，則找到系統(tǒng)中計數(shù)值最小的計數(shù)器，然后用元素e把系統(tǒng)中計數(shù)值最小的計數(shù)器中的元素替換掉，接著把計數(shù)誤差的值設(shè)置為當(dāng)前的計數(shù)值;設(shè)置該計數(shù)器中的delta_err0r變量等于該計數(shù)器中的delta，最后增加對應(yīng)計數(shù)器的delta變量和計數(shù)值;然后執(zhí)行步驟A3; A3、更新計數(shù)器鏈表結(jié)構(gòu)，判斷de I ta是否達(dá)到發(fā)送閾值thresho I d，如果達(dá)到則向數(shù)據(jù)匯總單元發(fā)送該計數(shù)器的元素e、delta和delta_error的值，然后把delta和delta_error變量清零;否則在接收到新的元素后返回執(zhí)行步驟A2; 所述數(shù)據(jù)匯總單元統(tǒng)計增量按以下步驟執(zhí)行: 1^1、所述數(shù)據(jù)匯總單元收到元素6、(161丨3和(161丨3_61'1'01'的值； B2、所述數(shù)據(jù)匯總單元判斷元素e是否有計數(shù)器對其進(jìn)行計數(shù)； 如果元素e有計數(shù)器對其進(jìn)行計數(shù)，就增加對應(yīng)元素e的計數(shù)器的計數(shù)值和誤差值，然后執(zhí)彳丁步驟B3 ； 如果元素e沒有計數(shù)器對其進(jìn)行計數(shù)，判斷系統(tǒng)中所有的計數(shù)器個數(shù)是否達(dá)到上限； 如果系統(tǒng)中所有的計數(shù)器個數(shù)沒有達(dá)到上限，初始化一個新的計數(shù)器來對元素e進(jìn)行計數(shù)，然后執(zhí)行步驟B3; 如果系統(tǒng)中所有的計數(shù)器個數(shù)達(dá)到上限，就找到系統(tǒng)中計數(shù)值最小的計數(shù)器，然后用元素e把這個計數(shù)器中的元素替換掉，接著把計數(shù)誤差的值設(shè)置為當(dāng)前的計數(shù)值，最后根據(jù)delta值增加計數(shù)值;然后執(zhí)行步驟B3 ； B3、更新計數(shù)器鏈表結(jié)構(gòu)，并判斷是否達(dá)到輸出結(jié)果條件，如果達(dá)到條件則輸出所有計數(shù)器的結(jié)果，否則在接收到新的元素后返回執(zhí)行步驟BI。2.如權(quán)利要求1所述的一種快速統(tǒng)計頻數(shù)的方法，其特征是:所述更新計數(shù)器鏈表結(jié)構(gòu)按以下步驟進(jìn)行: Cl、當(dāng)計數(shù)器的計數(shù)值增加時，首先把該計數(shù)器從該桶指向的計數(shù)器鏈表中分離出來；C2、判斷該桶下是否還有計數(shù)器;如果沒有計數(shù)器了，把該桶從桶列表中分離出來，然后刪除，然后執(zhí)行步驟C3;如果還有計數(shù)器，則直接執(zhí)行步驟C3; C3、查找有沒有桶號等于該計數(shù)器增加后的計數(shù)值的桶:如果有，則把這個計數(shù)器插入到這個桶指向的計數(shù)器鏈表中，操作結(jié)束;如果沒有，則為該計數(shù)器新建一個桶號等于其計數(shù)值的桶，然后把這個計數(shù)器加入到這個桶指向的計數(shù)器鏈表中，然后執(zhí)行步驟C4; C4、按照桶號確定該桶要插入的位置，插入到桶鏈表中； 所述桶為計數(shù)值，所述桶號為計數(shù)值的大小。3.如權(quán)利要求1或2所述的一種快速統(tǒng)計頻數(shù)的方法，其特征是:還包括數(shù)據(jù)合并單元匯總數(shù)據(jù)處理子單元數(shù)據(jù)的步驟: Dl、所述數(shù)據(jù)合并單元收到來自數(shù)據(jù)處理子單元的消息，包含元素e、delta和delta_err or的值； D2、所述數(shù)據(jù)合并單元判斷元素e是否有計數(shù)器對其進(jìn)行計數(shù)； 如果元素e有計數(shù)器對其進(jìn)行計數(shù)，就增加對應(yīng)元素e的計數(shù)器的計數(shù)值、誤差值和delta變量，然后執(zhí)行步驟D3; 如果元素e沒有計數(shù)器對其進(jìn)行計數(shù)，判斷系統(tǒng)中所有的計數(shù)器個數(shù)是否達(dá)到上限； 如果系統(tǒng)中所有的計數(shù)器個數(shù)沒有達(dá)到上限，初始化一個新的計數(shù)器來對元素e進(jìn)行計數(shù)，然后執(zhí)行步驟D3; 如果系統(tǒng)中所有的計數(shù)器個數(shù)達(dá)到上限，就找到系統(tǒng)中計數(shù)值最小的計數(shù)器，然后用元素e把這個計數(shù)器中的元素替換掉，接著把計數(shù)誤差的值設(shè)置為當(dāng)前的計數(shù)值，設(shè)置該計數(shù)器中的del ta_error變量等于該計數(shù)器中的delta，然后增加對應(yīng)計數(shù)器的delta變量和計數(shù)值，然后執(zhí)行步驟D3; D3、更新計數(shù)器鏈表結(jié)構(gòu)，判斷delta是否達(dá)到發(fā)送閾值threshold，如果達(dá)到則向數(shù)據(jù)匯總單元發(fā)送該計數(shù)器的元素e、delta和delta_error的值，然后把delta和delta_error變量清零;否則在接收到新的元素后返回執(zhí)行步驟D1。4.如權(quán)利要求3所述的一種快速統(tǒng)計頻數(shù)的方法，其特征是:所述數(shù)據(jù)處理子單元通過哈希表結(jié)構(gòu)數(shù)據(jù)處理子單元檢查是否有計數(shù)器對e進(jìn)行計數(shù);所述數(shù)據(jù)匯總單元通過哈希表結(jié)構(gòu)判斷元素e是否有計數(shù)器對其進(jìn)行計數(shù);所述數(shù)據(jù)合并單元通過哈希表結(jié)構(gòu)判斷元素e是否有計數(shù)器對其進(jìn)行計數(shù)。5.—種快速統(tǒng)計頻數(shù)的系統(tǒng)，其特征是:包括兩個以上并行的數(shù)據(jù)處理子單元和數(shù)據(jù)匯總單元； 所述數(shù)據(jù)處理子單元用于并行地進(jìn)行頻數(shù)統(tǒng)計； 所述數(shù)據(jù)匯總單元用于統(tǒng)計數(shù)據(jù)處理子單元發(fā)來的增量； 并行的數(shù)據(jù)流輸入各數(shù)據(jù)處理子單元，經(jīng)過數(shù)據(jù)處理子單元處理后將處理結(jié)果發(fā)送給數(shù)據(jù)匯總單元，由數(shù)據(jù)匯總單元統(tǒng)計各數(shù)據(jù)處理子單元發(fā)來的增量并輸出結(jié)果。6.如權(quán)利要求5所述的一種快速統(tǒng)計頻數(shù)的系統(tǒng)，其特征是:還包括數(shù)據(jù)合并單元； 所述數(shù)據(jù)合并單元用于匯總數(shù)據(jù)處理子單元的數(shù)據(jù)并將其輸出給所述數(shù)據(jù)匯總單元。7.如權(quán)利要求5所述的一種快速統(tǒng)計頻數(shù)的系統(tǒng)，其特征是:所述數(shù)據(jù)處理子單元包括一個以上計數(shù)器;計數(shù)器按計數(shù)值從大到小的鏈表方式排列。8.如權(quán)利要求5-7任一項所述的一種快速統(tǒng)計頻數(shù)的系統(tǒng)，其特征是:所述數(shù)據(jù)處理子單元收到元素e后通過哈希表結(jié)構(gòu)檢查是否有計數(shù)器對e進(jìn)行計數(shù)； 如果e有對應(yīng)的計數(shù)器對其進(jìn)行計數(shù)，那么就增加對應(yīng)計數(shù)器的delta變量和計數(shù)值，然后更新計數(shù)器鏈表結(jié)構(gòu)，當(dāng)delta達(dá)到發(fā)送閾值threshold時向數(shù)據(jù)匯總單元發(fā)送該計數(shù)器的元素e、delta和del ta_error的值，然后把de I ta和de I ta_error變量清零； 如果e沒有對應(yīng)的計數(shù)器對其進(jìn)行計數(shù)，判斷系統(tǒng)中所有的計數(shù)器個數(shù)是否達(dá)到上限； 如果系統(tǒng)中所有的計數(shù)器個數(shù)沒有達(dá)到上限，則初始化一個新的計數(shù)器來對這個元素計數(shù)，然后更新計數(shù)器鏈表結(jié)構(gòu)，當(dāng)delta達(dá)到發(fā)送閾值threshold時向數(shù)據(jù)匯總單元發(fā)送該計數(shù)器的元素e、delta和delta_error的值，然后把delta和delta_error變量清零； 如果系統(tǒng)中所有的計數(shù)器個數(shù)達(dá)到上限，則找到系統(tǒng)中計數(shù)值最小的計數(shù)器，然后用元素e把系統(tǒng)中計數(shù)值最小的計數(shù)器中的元素替換掉，接著把計數(shù)誤差的值設(shè)置為當(dāng)前的計數(shù)值;設(shè)置該計數(shù)器中的delta_err0r變量等于該計數(shù)器中的delta，最后增加對應(yīng)計數(shù)器的delta變量和計數(shù)值;然后更新計數(shù)器鏈表結(jié)構(gòu)，當(dāng)delta達(dá)到發(fā)送閾值threshold時向數(shù)據(jù)匯總單元發(fā)送該計數(shù)器的元素e、delta和del ta_error的值，然后把delta和del ta_error變量清零。9.如權(quán)利要求5-7任一所述的一種快速統(tǒng)計頻數(shù)的系統(tǒng)，其特征是:所述數(shù)據(jù)匯總單元收到來自數(shù)據(jù)處理子單元的元素e、delta值和delta_erro;r值后通過哈希表結(jié)構(gòu)判斷元素e是否有計數(shù)器對其進(jìn)行計數(shù)； 如果元素e有計數(shù)器對其進(jìn)行計數(shù)，就增加對應(yīng)元素e的計數(shù)器的計數(shù)值和誤差值，然后更新計數(shù)器鏈表結(jié)構(gòu)，達(dá)到輸出結(jié)果條件時輸出所有計數(shù)器的結(jié)果； 如果元素e沒有計數(shù)器對其進(jìn)行計數(shù)，判斷系統(tǒng)中所有的計數(shù)器個數(shù)是否達(dá)到上限； 如果系統(tǒng)中所有的計數(shù)器個數(shù)沒有達(dá)到上限，初始化一個新的計數(shù)器來對元素e進(jìn)行計數(shù)，然后更新計數(shù)器鏈表結(jié)構(gòu)，達(dá)到輸出結(jié)果條件時輸出所有計數(shù)器的結(jié)果； 如果系統(tǒng)中所有的計數(shù)器個數(shù)達(dá)到上限，就找到系統(tǒng)中計數(shù)值最小的計數(shù)器，然后用元素e把這個計數(shù)器中的元素替換掉，接著把計數(shù)誤差的值設(shè)置為當(dāng)前的計數(shù)值，并根據(jù)delta值增加計數(shù)值;最后更新計數(shù)器鏈表結(jié)構(gòu)，達(dá)到輸出結(jié)果條件時輸出所有計數(shù)器的結(jié)果O10.如權(quán)利要求5-7任一所述的一種快速統(tǒng)計頻數(shù)的系統(tǒng)，其特征是:所述數(shù)據(jù)合并單元收到來自數(shù)據(jù)處理子單元的元素e、delta值和del ta_erro;r值后通過哈希表結(jié)構(gòu)判斷元素e是否有計數(shù)器對其進(jìn)行計數(shù)； 如果元素e有計數(shù)器對其進(jìn)行計數(shù)，就增加對應(yīng)元素e的計數(shù)器的計數(shù)值、誤差值和delta變量，然后更新計數(shù)器鏈表結(jié)構(gòu)，當(dāng)delta達(dá)到發(fā)送閾值threshold時向數(shù)據(jù)匯總單元發(fā)送該計數(shù)器的元素e、delta和delta_error的值，然后把delta和delta_error變量清零； 如果元素e沒有計數(shù)器對其進(jìn)行計數(shù)，判斷系統(tǒng)中所有的計數(shù)器個數(shù)是否達(dá)到上限； 如果系統(tǒng)中所有的計數(shù)器個數(shù)沒有達(dá)到上限，初始化一個新的計數(shù)器來對元素e進(jìn)行計數(shù)，然后更新計數(shù)器鏈表結(jié)構(gòu)，當(dāng)delta達(dá)到發(fā)送閾值threshold時向數(shù)據(jù)匯總單元發(fā)送該計數(shù)器的元素e、delta和delta_error的值，然后把delta和delta_error變量清零； 如果系統(tǒng)中所有的計數(shù)器個數(shù)達(dá)到上限，就找到系統(tǒng)中計數(shù)值最小的計數(shù)器，然后用元素e把這個計數(shù)器中的元素替換掉，接著把計數(shù)誤差的值設(shè)置為當(dāng)前的計數(shù)值，設(shè)置該計數(shù)器中的del ta_error變量等于該計數(shù)器中的delta，最后增加對應(yīng)計數(shù)器的delta變量和計數(shù)值，當(dāng)delta達(dá)到發(fā)送閾值threshold時向數(shù)據(jù)匯總單元發(fā)送該計數(shù)器的元素e、delta和de I ta_error的值，然后把de I ta和de I ta_erro;r變量清零。
【專利摘要】本發(fā)明實施例公開了一種快速統(tǒng)計頻數(shù)的方法及系統(tǒng)，屬于數(shù)據(jù)統(tǒng)計領(lǐng)域，本發(fā)明通過數(shù)據(jù)處理子單元進(jìn)行頻數(shù)統(tǒng)計，數(shù)據(jù)合并單元匯總數(shù)據(jù)處理子單元數(shù)據(jù)，通過數(shù)據(jù)匯總單元統(tǒng)計增量，從而擺脫時下依靠硬件性能來保證算法的吞吐量的限制，來應(yīng)對日益增長的網(wǎng)絡(luò)流速，同時保證系統(tǒng)的可擴(kuò)展性，以應(yīng)對快速增長的流量對系統(tǒng)吞吐量的要求。
【IPC分類】G06F17/30
【公開號】CN105574152
【申請?zhí)枴緾N201510940356
【發(fā)明人】劉軍, 楊迅, 周文莉, 劉芳, 何大中
【申請人】北京郵電大學(xué)
【公開日】2016年5月11日
【申請日】2015年12月16日