分布式網(wǎng)絡(luò)感知信息存儲和查詢系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種分布式網(wǎng)絡(luò)感知信息存儲和查詢系統(tǒng)，包括用戶操作界面、接口層、執(zhí)行層和存儲層；用戶操作界面：完成用戶與系統(tǒng)的交互，用戶通過用戶操作界面進(jìn)行動態(tài)信息和靜態(tài)信息的存儲和查詢操作；接口層：接收或提交用戶存儲或查詢的網(wǎng)絡(luò)感知信息，并識別用戶操作指令，包括查詢接口和存儲接口；執(zhí)行層：解析上層的數(shù)據(jù)訪問請求，將其轉(zhuǎn)化為系統(tǒng)的內(nèi)部請求進(jìn)行處理，包括：弱讀取接口、定位讀取接口、識別接口、弱寫入接口、強(qiáng)寫入接口和讀修復(fù)接口，其中，定位讀取接口、識別接口是在Cassandra原有接口的基礎(chǔ)上新添加的接口；存儲層：用于保存動態(tài)信息和靜態(tài)信息。本系統(tǒng)降低了系統(tǒng)負(fù)載和網(wǎng)絡(luò)開銷、提高了對網(wǎng)絡(luò)感知信息的存儲效率。
【專利說明】分布式網(wǎng)絡(luò)感知信息存儲和查詢系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)的存儲和查詢，具體的來說網(wǎng)絡(luò)感知信息基于一個分布式系統(tǒng)Cassandra的數(shù)據(jù)存儲和查詢系統(tǒng)。
【背景技術(shù)】
[0002]在當(dāng)前的互聯(lián)網(wǎng)中，針對網(wǎng)絡(luò)管理、網(wǎng)絡(luò)安全等目標(biāo)，需要對互聯(lián)網(wǎng)實施各種網(wǎng)絡(luò)性能測量，流量測量，故障監(jiān)測等，同時也需要對網(wǎng)絡(luò)中的應(yīng)用業(yè)務(wù)進(jìn)行感知測量。然而，在未來網(wǎng)絡(luò)中，網(wǎng)絡(luò)感知不僅是網(wǎng)絡(luò)具備的基本能力，更應(yīng)該作為創(chuàng)新的網(wǎng)絡(luò)服務(wù)與應(yīng)用。當(dāng)網(wǎng)絡(luò)感知的內(nèi)涵從資源感知、狀態(tài)感知擴(kuò)展到內(nèi)容感知,應(yīng)用感知,位置感知,情境感知等后，各種感知服務(wù)將給網(wǎng)絡(luò)創(chuàng)新和應(yīng)用創(chuàng)新帶來強(qiáng)大的推動力。當(dāng)層出不窮的各種感知服務(wù)在未來網(wǎng)絡(luò)中涌現(xiàn)的時候，也必將產(chǎn)生多源、異構(gòu)、海量的感知服務(wù)信息。而面向未來網(wǎng)絡(luò)的創(chuàng)新和應(yīng)用的創(chuàng)新，如何高效地組織、管理和應(yīng)用這些感知服務(wù)信息，顯然，現(xiàn)有互聯(lián)網(wǎng)中針對網(wǎng)絡(luò)管理應(yīng)用開發(fā)的基于SNMP的管理者/代理模型，難以有效地解決這些問題，現(xiàn)有的關(guān)系型數(shù)據(jù)庫也不能滿足海量、多樣性的網(wǎng)絡(luò)感知信息的存儲，同樣不能適應(yīng)未來網(wǎng)絡(luò)中海量新型感知服務(wù)與應(yīng)用的需求。因此，針對未來網(wǎng)絡(luò)的感知服務(wù)與應(yīng)用，基于Clean-slate的思想，研究新型的網(wǎng)絡(luò)感知存儲和查詢系統(tǒng)，可以有力地促進(jìn)未來互聯(lián)網(wǎng)領(lǐng)域的研究與應(yīng)用創(chuàng)新，具有重要的科學(xué)研究意義。

【發(fā)明內(nèi)容】

[0003]針對以上現(xiàn)有技術(shù)中的不足，本發(fā)明的目的在于提供一種降低了系統(tǒng)負(fù)載和網(wǎng)絡(luò)開銷、提高了對網(wǎng)絡(luò)感知信息的存儲效率的分布式網(wǎng)絡(luò)感知信息存儲和查詢系統(tǒng)，本發(fā)明的技術(shù)方案如下:一種分布式網(wǎng)絡(luò)感知信息存儲和查詢系統(tǒng)，其包括用戶操作界面、接口層模塊、執(zhí)行層模塊和存儲層模塊；所述用戶操作界面與接口層模塊相連接，所述接口層模塊與執(zhí)行層模塊相連接，所述執(zhí)行層模塊與存儲層模塊相連接；其中
[0004]用戶操作界面:用于完成用戶與系統(tǒng)的交互，用戶通過用戶操作界面進(jìn)行網(wǎng)絡(luò)感知信息的存儲和查詢操作并向接口層模塊發(fā)送操作指令；其中所述網(wǎng)絡(luò)感知信息包括動態(tài)信息和靜態(tài)信息；
[0005]接口層模塊:用于接收或提交用戶存儲或查詢的網(wǎng)絡(luò)感知信息，并識別用戶操作指令，包括查詢接口和存儲接口，通過查詢接口和存儲接口將操作指令轉(zhuǎn)發(fā)給執(zhí)行層模塊；
[0006]執(zhí)行層模塊:用于解析接口層模塊轉(zhuǎn)發(fā)而來的操作指令，將其轉(zhuǎn)化為系統(tǒng)的內(nèi)部請求進(jìn)行處理，執(zhí)行層模塊包括:弱讀取接口、定位讀取接口、識別接口、弱寫入接口、強(qiáng)寫入接口和讀修復(fù)接口，其中，定位讀取接口、識別接口是在Cassandra原有接口的基礎(chǔ)上新添加的接口；
[0007]存儲層:用于保存動態(tài)信息和靜態(tài)信息，并被執(zhí)行層模塊調(diào)用。
[0008]進(jìn)一步的，所述網(wǎng)絡(luò)感知信息的靜態(tài)信息和動態(tài)信息采用標(biāo)識布爾變量來區(qū)分。[0009]進(jìn)一步的，當(dāng)對網(wǎng)絡(luò)感知信息進(jìn)行查詢時，對動態(tài)信息采取Cassandra原有的弱讀取，而對靜態(tài)信息采取定位讀取，其中定位讀取通過Cassandra自帶的RingCache函數(shù)和全局路由表來讀取。
[0010]本發(fā)明的優(yōu)點(diǎn)及有益效果如下:
[0011]1.本發(fā)明網(wǎng)絡(luò)感知信息的分類識別。本系統(tǒng)將未來互聯(lián)網(wǎng)中海量、多源、異構(gòu)的網(wǎng)絡(luò)感知信息，根據(jù)其各自不同的特點(diǎn)，劃分為了動態(tài)信息和靜態(tài)信息，并通過標(biāo)識布爾變量的方法對靜態(tài)信息和動態(tài)信息進(jìn)行區(qū)分；
[0012]2.網(wǎng)絡(luò)感知信息的分類存儲。本系統(tǒng)對動態(tài)信息和靜態(tài)信息分別采取級別不同的一致性寫入策略、備份策略和備份數(shù)。通過創(chuàng)建配置不同的KeySpace和調(diào)用不同的一致性寫入策略，提高了對網(wǎng)絡(luò)感知信息的存儲效率；
[0013]3.網(wǎng)絡(luò)感知信息的分類查詢。本系統(tǒng)對動態(tài)信息和靜態(tài)信息分別采取級別不同的一致性讀取策略。其中，對動態(tài)信息調(diào)用弱讀取策略，而對靜態(tài)信息調(diào)用改進(jìn)的“定位讀取”策略，提高了對網(wǎng)絡(luò)感知信息的查詢效率；
[0014]4.靜態(tài)信息的“定位讀取”策略。相較于Cassandra原有的弱讀取策略，該策略能夠更快的查詢到被請求的靜態(tài)信息，同時還減少了 Cassandra集群中節(jié)點(diǎn)之間不必要的交互，降低了系統(tǒng)負(fù)載和網(wǎng)絡(luò)開銷。
【專利附圖】

【附圖說明】
[0015]圖1是Cassandra的數(shù)據(jù)模型；
[0016]圖2動態(tài)信息的數(shù)據(jù)模型；
[0017]圖3靜態(tài)信息的數(shù)據(jù)模型；
[0018]圖4網(wǎng)絡(luò)感知信息的存儲流程圖；
[0019]圖5全局路由表的結(jié)構(gòu)圖；
[0020]圖6網(wǎng)絡(luò)感知信息的查詢流程圖；
[0021]圖7定位讀取策略的流程圖；
[0022]圖8是本發(fā)明優(yōu)選實施例分布式網(wǎng)絡(luò)感知信息存儲和查詢系統(tǒng)結(jié)構(gòu)示意圖?！揪唧w實施方式】
[0023]下面結(jié)合附圖給出一個非限定性的實施例對本發(fā)明作進(jìn)一步的闡述。
[0024]參照圖1-圖8所示，1.數(shù)據(jù)模型的設(shè)計=Cassandra的原有數(shù)據(jù)模型類似于一個四維或五維的HashMap如圖1所示。Column是Cassandra的最小數(shù)據(jù)單元,它由三個元素組成:name (屬性名)、value (值)、timestamp (時間戳)，其中name和value都是Java中的byte[]類型，timestamp的數(shù)據(jù)是Cassandra自動生成的，用來記錄數(shù)據(jù)的寫入時間；SuperColumn 為 Column 的數(shù)組，包含一個 name 和多個相應(yīng)的 Column ；ColumnFamiIy 是一個包含了許多Row (行)的結(jié)構(gòu),相當(dāng)于數(shù)據(jù)庫中的表,Row是由Key (鍵值)以及與這個Key相關(guān)聯(lián)的Column組成；Keyspace包含多個ColumnFamiIy,并且可以指定所存數(shù)據(jù)的備份策略和備份數(shù)。
[0025]在網(wǎng)絡(luò)感知信息中，動態(tài)信息是指網(wǎng)絡(luò)中經(jīng)常變化的信息，如時延、流量等，此類數(shù)據(jù)一般數(shù)據(jù)量較大；靜態(tài)信息是指較長時間內(nèi)不會發(fā)生變化的信息，如用戶興趣、服務(wù)內(nèi)容等，此類數(shù)據(jù)一般數(shù)據(jù)量相對較小。動態(tài)信息和靜態(tài)信息分別以流量信息和服務(wù)信息為實例加以說明，其各自的數(shù)據(jù)模型分別如圖2和圖3所示。
[0026]2.網(wǎng)絡(luò)感知信息的分類識別
[0027]本系統(tǒng)會事先對動態(tài)信息和靜態(tài)信息進(jìn)行分類定義，并采用布爾變量標(biāo)識的方法對靜態(tài)信息和動態(tài)信息進(jìn)行區(qū)分。舉例說明，當(dāng)有用戶對流量信息提出寫入請求時，本系統(tǒng)會匹配該條流量信息數(shù)據(jù)模型中ColumnFamily的值Flow,因為字段Flow事先被系統(tǒng)定義為動態(tài)信息，所以本系統(tǒng)會給該條流量信息加上布爾型變量“ I ”進(jìn)行標(biāo)識，然后交給本系統(tǒng)執(zhí)行層中的弱寫入接口進(jìn)行處理。
[0028]3.網(wǎng)絡(luò)感知信息的分類存儲
[0029]分布式網(wǎng)絡(luò)感知信息存儲和查詢系統(tǒng)對動態(tài)信息和靜態(tài)信息分別采取級別不同的一致性寫入策略、備份策略和備份數(shù)。
[0030]在網(wǎng)絡(luò)感知信息的備份方面，針對動態(tài)信息和靜態(tài)信息的不同特點(diǎn)，本系統(tǒng)在Cassandra的storage-conf.xml文件中創(chuàng)建了兩個Keyspace,并分別在兩個Keyspace中的〈ReplicaPlacementStrategy〉和〈ReplicationFactor〉兩項屬性指定了不同的備份策略和備份數(shù)，以實現(xiàn)對動態(tài)信息和靜態(tài)信息級別不同的備份。
[0031]在網(wǎng)絡(luò)感知信息的寫入方面，當(dāng)有用戶對本系統(tǒng)發(fā)出寫入請求時，本系統(tǒng)會對動態(tài)信息調(diào)用級別為ONE的一致性寫入策略，而對靜態(tài)信息調(diào)用級別為QUORUM的一致性寫入策略，來完成對動態(tài)信息和靜態(tài)信息的區(qū)別寫入。
[0032]網(wǎng)絡(luò)感知信息的分類存儲步驟如下，具體流程如圖4所示:
[0033]1.當(dāng)本系統(tǒng)有數(shù)據(jù)寫入時，先通過該信息布爾變量的值判斷是否屬于動態(tài)信息，若是轉(zhuǎn)步驟2，否則轉(zhuǎn)步驟3 ；
[0034]2.采用級別為ONE的一致性寫入策略、低級別的備份策略和備份數(shù)，把該數(shù)據(jù)寫入Cassandra集群，更新數(shù)據(jù)結(jié)束；
[0035]3.采用級別為QUORUM的一致性寫入策略、高級別的備份策略和備份數(shù)，把該數(shù)據(jù)寫入Cassandra集群，更新數(shù)據(jù)結(jié)束。
[0036]4.網(wǎng)絡(luò)感知信息的分類查詢
[0037]分布式網(wǎng)絡(luò)感知信息存儲和查詢系統(tǒng)對動態(tài)信息采取弱讀取策略；而對靜態(tài)信息采取基于Cassandra原有的弱讀取策略改進(jìn)而來的“定位讀取”策略。
[0038]網(wǎng)絡(luò)感知信息的分類查詢的步驟如下，具體流程如圖5所示:
[0039]1.當(dāng)由用戶對分布式網(wǎng)絡(luò)感知信息存儲系統(tǒng)中的網(wǎng)絡(luò)感知信息提出查詢請求時，先查看該信息上布爾型變量的值，判定其是否屬于動態(tài)信息，若是轉(zhuǎn)步驟2，否則轉(zhuǎn)步驟3 ；
[0040]2.使用Cassandra原有的弱讀取策略對用戶請求的數(shù)據(jù)進(jìn)行查詢,轉(zhuǎn)步驟4 ;
[0041]3.通過定位讀取對用戶請求的數(shù)據(jù)進(jìn)行查詢，轉(zhuǎn)步驟4 ；
[0042]4.將查詢結(jié)果或者出錯信息返回給用戶，查詢過程結(jié)束。
[0043]5.靜態(tài)信息的“定位讀取”策略
[0044]Cassandra原有的讀取流程如下:
[0045]1.客戶端將用戶的讀取請求隨機(jī)發(fā)送給Cassandra集群中的一個節(jié)點(diǎn)；
[0046]2.接收到讀取請求的節(jié)點(diǎn)會判斷需要查詢的數(shù)據(jù)是否在本機(jī)中，如果在本機(jī)中，對被查詢數(shù)據(jù)進(jìn)行異步讀取；如果不在本機(jī)中，將請求發(fā)送給另外一個節(jié)點(diǎn)進(jìn)行查詢，等待該節(jié)點(diǎn)的應(yīng)答結(jié)果，之后將應(yīng)答結(jié)果返回給客戶端。
[0047]可以看到,Cassandra的查詢流程中，如果客戶端將數(shù)據(jù)查詢的請求發(fā)送給了一個沒有該數(shù)據(jù)的節(jié)點(diǎn)，那么這個不相關(guān)的節(jié)點(diǎn)就沖當(dāng)了一個代理的角色。倘若客戶端每次都能定位到存有被查詢數(shù)據(jù)的Cassandra節(jié)點(diǎn)，并將查詢請求直接發(fā)送給該節(jié)點(diǎn),這樣就省掉了中間那些不必要的轉(zhuǎn)發(fā)用戶請求的代理節(jié)點(diǎn)，減少了 Cassandra集群中節(jié)點(diǎn)之間的交互。
[0048]因此分布式網(wǎng)絡(luò)感知信息存儲系統(tǒng)對Cassandra原有的弱讀取策略進(jìn)行了改進(jìn)，采用“定位讀取”策略，可以使客戶端每次查詢都能直接找到Cassandra集群中存有被查詢數(shù)據(jù)的節(jié)點(diǎn)，這樣便可以大大地提高分布式網(wǎng)絡(luò)感知信息存儲系統(tǒng)對網(wǎng)絡(luò)感知信息尤其是靜態(tài)信息的查詢效率。
[0049]“定位讀取”策略先調(diào)用Cassandra自帶的RingCache,來快速地找到被查詢數(shù)據(jù)所在的目標(biāo)節(jié)點(diǎn)。因為靜態(tài)信息在分布式網(wǎng)絡(luò)感知信息存儲系統(tǒng)中存在多個備份，所以系統(tǒng)需要維護(hù)一張系統(tǒng)的“全局路由表”，來掌握系統(tǒng)中所有節(jié)點(diǎn)與客戶端的時延信息，全局路由表的格式如圖5所示。然后通過“全局路由表”對比計算出距離客戶端時延最短的目標(biāo)節(jié)點(diǎn)。
[0050]因為本系統(tǒng)中的各節(jié)點(diǎn)狀態(tài)會出現(xiàn)發(fā)生故障、新節(jié)點(diǎn)加入等行為，需要系統(tǒng)對全局路由表的內(nèi)容進(jìn)行更新，全局路由表更新的具體策略為:當(dāng)客戶端通
[0051]“定位讀取”策略的具體流程如圖7所示。
[0052]6.靜態(tài)信息的讀修復(fù)
[0053]“定位讀取”策略可能導(dǎo)致數(shù)據(jù)的不一致。由于動態(tài)信息更新頻繁，弱讀取策略對動態(tài)信息的可用性影響較小，反之，弱讀取策略對靜態(tài)信息的可用性影響則較大，因此系統(tǒng)同時還會通過Cassandra提供的讀修復(fù)功能來修復(fù)過期的靜態(tài)信息,使之更新，從而保證靜態(tài)信息的一致性。讀修復(fù)會消耗系統(tǒng)資源，Cassandra可以為每一個ColumnFamily進(jìn)行讀修復(fù)概率的單獨(dú)配置。
[0054]分布式網(wǎng)絡(luò)感知信息存儲系統(tǒng)對靜態(tài)信息的讀修復(fù)操作頻率的配置為read_repair_chance:0.1，其中的數(shù)字“0.1”表示每進(jìn)行10次靜態(tài)信息的讀取操作便進(jìn)行I次讀修復(fù)操作。
[0055]7.全局路由表的維護(hù)
[0056]因為分布式網(wǎng)絡(luò)感知信息存儲和查詢系統(tǒng)中的各節(jié)點(diǎn)可能發(fā)生故障、新節(jié)點(diǎn)加入等情況，這就需要系統(tǒng)對全局路由表的內(nèi)容進(jìn)行更新。但是，更新路由表是很占用系統(tǒng)資源的，因此必須對全局路由表的更新頻率制定合理的策略。
[0057]全局路由表更新的具體策略為:
[0058]1.當(dāng)客戶端通過定位查詢“最近”節(jié)點(diǎn)進(jìn)行數(shù)據(jù)請求時，該節(jié)點(diǎn)無響應(yīng)，則視該節(jié)點(diǎn)發(fā)生故障，此時系統(tǒng)對全局路由表進(jìn)行更新；
[0059]2.當(dāng)分布式網(wǎng)絡(luò)感知信息存儲系統(tǒng)的管理員得知有新節(jié)點(diǎn)加入集群時，對全局路由表進(jìn)行更新。
[0060]優(yōu)選的，參照圖8所示為，一種分布式網(wǎng)絡(luò)感知信息存儲和查詢系統(tǒng)，其特征在于:包括用戶操作界面、接口層模塊、執(zhí)行層模塊和存儲層模塊；所述用戶操作界面與接口層模塊相連接，所述接口層模塊與執(zhí)行層模塊相連接，所述執(zhí)行層模塊與存儲層模塊相連接；其中用戶操作界面:用于完成用戶與系統(tǒng)的交互，用戶通過用戶操作界面進(jìn)行網(wǎng)絡(luò)感知信息的存儲和查詢操作并向接口層模塊發(fā)送操作指令；其中所述網(wǎng)絡(luò)感知信息包括動態(tài)信息和靜態(tài)信息；接口層模塊:用于接收或提交用戶存儲或查詢的網(wǎng)絡(luò)感知信息，并識別用戶操作指令，主要包括查詢接口和存儲接口，通過查詢接口和存儲接口將操作指令轉(zhuǎn)發(fā)給執(zhí)行層模塊；執(zhí)行層模塊:用于解析接口層模塊轉(zhuǎn)發(fā)而來的操作指令，將其轉(zhuǎn)化為系統(tǒng)的內(nèi)部請求進(jìn)行處理，執(zhí)行層模塊主要包括:弱讀取接口、定位讀取接口、識別接口、弱寫入接口、強(qiáng)寫入接口和讀修復(fù)接口，其中，定位讀取接口、識別接口是在Cassandra原有接口的基礎(chǔ)上新添加的接口 ；存儲層:用于保存動態(tài)信息和靜態(tài)信息，并被執(zhí)行層模塊調(diào)用。
[0061]以上這些實施例應(yīng)理解為僅用于說明本發(fā)明而不用于限制本發(fā)明的保護(hù)范圍。在閱讀了本發(fā)明的記載的內(nèi)容之后，技術(shù)人員可以對本發(fā)明作各種改動或修改，這些等效變化和修飾同樣落入本發(fā)明權(quán)利要求所限定的范圍。
【權(quán)利要求】
1.一種分布式網(wǎng)絡(luò)感知信息存儲和查詢系統(tǒng)，其特征在于:包括用戶操作界面、接口層模塊、執(zhí)行層模塊和存儲層模塊；所述用戶操作界面與接口層模塊相連接，所述接口層模塊與執(zhí)行層模塊相連接，所述執(zhí)行層模塊與存儲層模塊相連接；其中 用戶操作界面:用于完成用戶與系統(tǒng)的交互，用戶通過用戶操作界面進(jìn)行網(wǎng)絡(luò)感知信息的存儲和查詢操作并向接口層模塊發(fā)送操作指令；其中所述網(wǎng)絡(luò)感知信息包括動態(tài)信息和靜態(tài)信息； 接口層模塊:用于接收或提交用戶存儲或查詢的網(wǎng)絡(luò)感知信息，并識別用戶操作指令，包括查詢接口和存儲接口，通過查詢接口和存儲接口將操作指令轉(zhuǎn)發(fā)給執(zhí)行層模塊； 執(zhí)行層模塊:用于解析接口層模塊轉(zhuǎn)發(fā)而來的操作指令，將其轉(zhuǎn)化為系統(tǒng)的內(nèi)部請求進(jìn)行處理，執(zhí)行層模塊包括:弱讀取接口、定位讀取接口、識別接口、弱寫入接口、強(qiáng)寫入接口和讀修復(fù)接口，其中，定位讀取接口、識別接口是在Cassandra原有接口的基礎(chǔ)上新添加的接口 ； 存儲層:用于保存動態(tài)信息和靜態(tài)信息，并被執(zhí)行層模塊調(diào)用。
2.根據(jù)權(quán)利要求1所述的分布式網(wǎng)絡(luò)感知信息存儲和查詢系統(tǒng)，其特征在于:所述網(wǎng)絡(luò)感知信息的靜態(tài)信息和動態(tài)信息采用標(biāo)識布爾變量來區(qū)分。
3.根據(jù)權(quán)利要求1所述的分布式網(wǎng)絡(luò)感知信息存儲和查詢系統(tǒng)，其特征在于:當(dāng)對網(wǎng)絡(luò)感知信息進(jìn)行查詢時，對動態(tài)信息采取Cassandra原有的弱讀取,而對靜態(tài)信息采取定位讀取，其中定位讀取通過Cassandra自帶的RingCache函數(shù)和全局路由表來讀取。
【文檔編號】G06F17/30GK103886075SQ201410110831
【公開日】2014年6月25日 申請日期:2014年3月24日 優(yōu)先權(quán)日:2014年3月24日
【發(fā)明者】趙國鋒, 劉秀秀, 鄭宇統(tǒng), 張宇 申請人:重慶郵電大學(xué)