間的數(shù)據(jù)集，因此TCP連接狀態(tài)變 化的很快，因此在相同位置映射不同的值使得這個(gè)位置變成未知的sbf算法的假陰性率就 會(huì)很高，而在第三個(gè)和第四個(gè)數(shù)據(jù)集的情況下，是學(xué)校之間的數(shù)據(jù)集，TCP連接狀態(tài)變化相 對(duì)較少，在相同位置如果映射同一種value值就會(huì)無(wú)法解碼的kbf算法的假陰性就會(huì)相對(duì)較 尚。
【具體實(shí)施方式】
[0026] 本實(shí)施中bloom filter結(jié)構(gòu)對(duì)應(yīng)的參數(shù)為:m = 24，k = 3，L = 3，B = 4<^|3-共有3個(gè) 哈希函數(shù)，24個(gè)單元，每單元有3層，每層有4個(gè)比特。圖4(a) - (e)包含有插入，刪除，查詢操 作示意圖。
[0027] 插入操作Insert (key，value)過(guò)程：當(dāng)要插入一個(gè)鍵值對(duì)(key，value)時(shí)，將value 進(jìn)行編碼，編碼后表示為V0VW2……Vw(其中Vi(0<i<B)表示編碼后的第i位）。接著對(duì)key 使用k個(gè)哈希函數(shù)hih2......hk，確定k個(gè)不同的位置ho (key)hi (key)......hk-i (key)，然后對(duì)這k 個(gè)不同位置(ho(key)hi(key)......hk-i (key))的單元進(jìn)行加操作，將value值插入。對(duì)于每個(gè) 單元的每一個(gè)位(第i層(〇 < i<L)第j個(gè)(0 < j<B)位，記為Cf)，相當(dāng)于是一個(gè)半加器，對(duì)于 第一層(Cf)，輸入的value編碼后對(duì)應(yīng)的比特位(Vj(0 < j<B))作為對(duì)應(yīng)位的輸入，對(duì)于其 它層(C| -片〉，使用它的上一層(Gf…，.縛-1}的進(jìn)位位(第i層(〇 < i<U第j個(gè)(0 < j <B)的進(jìn)位位記為€AE{)作為它的輸入，每一層的每一個(gè)位最終結(jié)果等于當(dāng)前層每一 個(gè)位的本位和。即
[0030]圖4(a)是插入鍵值對(duì)(Π ，0001)，首先使用3個(gè)不同哈希函數(shù)，哈希到3個(gè)不同的位 置，然后分別對(duì)哈希到的單元，使用加操作，完成插入操作，即對(duì)每一層的每一個(gè)比特位看 成加法器，第1層的輸入是0001，其他層的輸入是上一層的輸出。圖4(b)、圖4(c)同理，是進(jìn) 行^2,0010)，（€3,0001)鍵值對(duì)的插入。
[0031 ] 查詢操作Query(key)過(guò)程:當(dāng)要查詢一個(gè)鍵值key時(shí)。首先對(duì)key使用k個(gè)哈希函數(shù) hohi......hk-i，確定k個(gè)不同的位置ho (key)hi (key)......hk-i (key)，然后對(duì)這k個(gè)不同位置(ho (key)hi(key)......hk-i(key))的單元進(jìn)行查詢操作。對(duì)于 k 個(gè)位置(ho(key)hi(key)......hk-i (k e y ))的每個(gè)單元，我們對(duì)每一個(gè)位（記為S i )的每一層進(jìn)行或操作
，然后通過(guò)所有位得到第k個(gè)單元查詢結(jié)果1\ = SoSi……SB-KKBk)。最終查詢結(jié)果等于每個(gè)單位的與操作，即0 = ……ΛΤκ。
[0032]圖4(d)是查詢鍵值為Π 的值，首先使用3個(gè)哈希函數(shù)，哈希到三個(gè)不同的單元，對(duì) 每一個(gè)單元使用或操作得到對(duì)應(yīng)的值，圖中第一個(gè)單元得到0001，第二個(gè)單元得到0011，第 三個(gè)單元得到0001，最后將3個(gè)結(jié)果使用與操作得到最終結(jié)果0001，于是查詢key的value結(jié) 果為0001。同理4(f)是查詢key為f3得到結(jié)果為0001的示意圖。
[0033] 刪除操作Delete (key, value)過(guò)程：首先將value進(jìn)行編碼，編碼后表示為 V0V1V2……VB4(其中Vi(0 < i<B)表示編碼后的第i位）。接著對(duì)key使用k個(gè)哈希函數(shù) hohi......hk-i，確定k個(gè)不同的位置ho (key)hi (key)......hk-i (key)，然后對(duì)這k個(gè)不同位置(ho (key)hi(key)......hk-i(key))的單元進(jìn)行減操作，將value值刪除。對(duì)于每個(gè)單元的每一個(gè) 位(第i層(Q< i<L)第j個(gè)(Q< j<B)位，記為Cf:)，相當(dāng)于是一個(gè)半減器，對(duì)于第一層(Cf), 輸入的value編碼后對(duì)應(yīng)的比特位（Vj(0 < j<B))作為對(duì)應(yīng)位的輸入，對(duì)于其它層 (cy~" ，使用它的上一層(考…" 的借位位(第i層(〇<i<L)第j個(gè)(0幻< B)的借位位記為麗H|)作為它的輸入，每一層的每一個(gè)位（Cf)最終結(jié)果等于當(dāng)前層每一個(gè) 位（Cp的本位差。即
[0036]圖4(e)是是刪除鍵值對(duì)(fl，0001)，首先使用3個(gè)不同哈希函數(shù)，哈希到3個(gè)不同的 位置，然后分別對(duì)哈希到的單元，使用減操作，完成插入操作，即對(duì)每一層的每一個(gè)比特位 看成加法器，第1層的輸入是0001，其他層的輸入是上一層的輸出。結(jié)果如圖所示。
[0037] 更新操作Update (key，newValue)過(guò)程：對(duì)于我們要將一個(gè)鍵值為key更新為 newValue時(shí)，首先查詢鍵值為key的value，然后使用（2)操作，刪除（key，value)，最后在使 用（1)操作，插入(key，newValue)。
[0038] 本實(shí)施例是鍵值對(duì)Bloom Filter，在一個(gè)高速網(wǎng)絡(luò)中的對(duì)TCP流量狀態(tài)的監(jiān)控中 的實(shí)際應(yīng)用，用來(lái)存儲(chǔ)和查詢所有TCP流的狀態(tài)。對(duì)于一條TCP流，將〈源IP，目的IP，源端口， 目的端口，協(xié)議號(hào)〉作為鍵(key)，將TCP流的三個(gè)標(biāo)志位(ACK，RST，F(xiàn)IN)的所有可能(8種)作 為value，由于所有可能狀態(tài)為8個(gè)，編碼后將B設(shè)置為8，即表示每一層有8個(gè)位。對(duì)于每一條 新到來(lái)的流，首先使用查詢Query (key)功能，查詢新到來(lái)的流的當(dāng)前狀態(tài)，如果存在這條 流，則使用更新操作Update (key，value )，更新這條流的狀態(tài)信息，如果這條流不存在則使 用插入操作Insert (key，value)插入這條流的狀態(tài)信息，如果這條流的FIN位為1，則使用刪 除Delete (key, value)刪除這條流對(duì)應(yīng)的狀態(tài)信息。為了驗(yàn)證實(shí)施方案的性能，我們使用真 實(shí)數(shù)據(jù)(MAWI以及校園網(wǎng)出口數(shù)據(jù))來(lái)進(jìn)行實(shí)驗(yàn)，數(shù)據(jù)詳細(xì)信息如圖5所示。
[0039] 實(shí)施結(jié)果如圖6(a)~圖6(d)，圖7(a)~圖7(d)所示。在圖6(a)~圖6(d)，圖7(a)~ 圖7(d)中，我們算法的結(jié)果由stateBF所示，另外sBF和kBF是當(dāng)前改進(jìn)bloom filter所使用 的兩種不同算法。圖6 (a)~圖6(d)是固定長(zhǎng)度m，在不同哈希函數(shù)個(gè)數(shù)下，stateBF與sBF和 kBF在假陽(yáng)性誤判率性能上的比較，數(shù)據(jù)結(jié)果顯示在所有的數(shù)據(jù)集下，我們所提出的算法 stateBF的假陽(yáng)性最小。圖7(a)~圖7(d)是固定長(zhǎng)度m，在不同哈希函數(shù)個(gè)數(shù)下，stateBF與 sBF和kBF前兩種不同算法在假陰性誤判率性能上的比較，數(shù)據(jù)結(jié)果顯示在所有的數(shù)據(jù)集 下，我們所提出的算法stateBF的假陰性最小。
【主權(quán)項(xiàng)】
1. 一種基于Bloom Filter的鍵值對(duì)存儲(chǔ)結(jié)構(gòu)，其特征在于，包括k個(gè)不相同的哈希函數(shù) 和m個(gè)用于存儲(chǔ)value的存儲(chǔ)單元;所述m個(gè)存儲(chǔ)單元被分配成k個(gè)不同的塊，每個(gè)塊有m/k個(gè) 單元;每一個(gè)單元帶有L層，每一層有B個(gè)比特位。2. -種利用權(quán)利要求1所述結(jié)構(gòu)實(shí)現(xiàn)鍵值對(duì)操作的方法，其特征在于，包括W下操作： 1) 插入操作：當(dāng)要插入一個(gè)鍵值對(duì)(key, value)時(shí)，將value進(jìn)行編碼，編碼后表示為 V0V1V2......Vb-1;其中Vi表示編碼后的第i位，0 < i<B;接著對(duì)key使用k個(gè)哈希函數(shù) hih2......hk，確定k個(gè)不同的位置ho化巧化1化ey)......hk-i化巧），然后對(duì)運(yùn)k個(gè)不同位置 的單元進(jìn)行加操作，將￥曰1116值插入;對(duì)于每個(gè)單元的第一個(gè)位€!""'將輸入的￥曰1116編碼后對(duì) 應(yīng)的比特位乍為對(duì)應(yīng)位的輸入，〇^j<B;對(duì)于其它層使用該層的上一層I的進(jìn)位位作為該層的輸入，每一層的每一個(gè)位Cf最終結(jié)果等于當(dāng)前層每一 個(gè)位Cf的本位和； 2) 刪除操作：當(dāng)要?jiǎng)h除一個(gè)鍵值對(duì)(key, value)時(shí)，將value進(jìn)行編碼，編碼后表示為 V0V1V2......Vb-1;其中Vi表示編碼后的第i位，0 < i<B;接著對(duì)key使用k個(gè)哈希函數(shù) hih2......hk，確定k個(gè)不同的位置ho化巧化1化ey)......hk-i化巧），然后對(duì)運(yùn)k個(gè)不同位置 的單元進(jìn)行減操作，將value值刪除;對(duì)于每個(gè)單元的第一個(gè)位Cf，將輸入的value編碼后對(duì) 應(yīng)的比特位乍為對(duì)應(yīng)位的輸入，〇^j<B;對(duì)于其它層，使用該層的上一層的借位位作為該層的輸入，每一層的每一個(gè)位Cf最終結(jié)果等于當(dāng)前層每一 個(gè)位轉(zhuǎn)的本位差； 3) 查詢操作:要查詢一個(gè)鍵值key時(shí)，對(duì)k個(gè)不同位置h日化ey化1化ey)......hk-i化ey)的 單元進(jìn)行查詢操作，對(duì)于k個(gè)位置的每個(gè)單元，對(duì)每一個(gè)位Si的每一層進(jìn)行或操作，即然后通過(guò)所有位得到第k個(gè)單元查詢結(jié)果Ti = SgSi......Sb-i，1 < i<k;最終查詢結(jié)果Q等于每個(gè)單位的與操作，即Q = Ti八T2......八Τκ; 4) 更新操作：要將一個(gè)鍵值為key更新為newValue時(shí)，首先查詢鍵值為key的ralue，然 后重復(fù)步驟2)，刪除化巧，newValue)，最后重復(fù)步驟1)，插入化巧,newValue)。
【專利摘要】本發(fā)明公開了一種基于Bloom？Filter的鍵值對(duì)存儲(chǔ)結(jié)構(gòu)及方法，存儲(chǔ)結(jié)構(gòu)包括k個(gè)不相同的哈希函數(shù)和m個(gè)用于存儲(chǔ)value的存儲(chǔ)單元；所述m個(gè)存儲(chǔ)單元被分配成k個(gè)不同的塊，每個(gè)塊有m/k個(gè)單元；每一個(gè)單元帶有L層，每一層有B個(gè)比特位。本發(fā)明在數(shù)據(jù)庫(kù)交互查詢、高速網(wǎng)絡(luò)中資源定位、計(jì)算機(jī)網(wǎng)絡(luò)監(jiān)控等產(chǎn)生大量數(shù)據(jù)、需要進(jìn)行鍵值對(duì)查詢的應(yīng)用領(lǐng)域，可以大大減少集合查詢的時(shí)間，降低資源消耗。
【IPC分類】G06F17/30
【公開號(hào)】CN105574076
【申請(qǐng)?zhí)枴緾N201510847537
【發(fā)明人】謝鯤, 施文, 文吉?jiǎng)? 張廣興, 謝高崗
【申請(qǐng)人】湖南大學(xué)
【公開日】2016年5月11日
【申請(qǐng)日】2015年11月27日