本發(fā)明涉及用戶信息管理技術領域,具體地說是一種能夠實現(xiàn)用戶信息的實時傳遞和存儲、用戶數(shù)據加密傳輸、并對用戶數(shù)據庫進行安全監(jiān)控的多形式數(shù)據處理高效用戶信息管理系統(tǒng)。
背景技術:
:
隨著信息化快速發(fā)展,云計算正在越來越受關注,無論是互聯(lián)網廠商和運營商,還是通信廠商和基礎網絡運營商,都對云計算表現(xiàn)出極大的關注。狹義的云計算是指互聯(lián)網技術基礎設施的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需的資源;廣義的云計算是指服務的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需的服務。這種服務可以是IT和軟件、互聯(lián)網相關的,也可以是任意其他的服務,云計算具有超大規(guī)模、虛擬化、安全可靠等優(yōu)點。對于網絡運營商而言,云計算可以使運營成本和操作維護成本大大降低,達到節(jié)能減排的目的,除此之外,還可以擴大運營的范圍,而不僅僅受限于管道運營。在云計算環(huán)境下,一切資源都是可以運營的,都可以作為服務提供,包括應用程序、軟件、平臺、處理能力、存儲、網絡、計算資源以及其他基礎設施等。對于用戶而言,云計算使得隨時、隨地消費服務成為可能,用戶可以不需要大量投資而獲得運營業(yè)務所需的IT資源,完全可以根據自己的需求來租用,IT資源像水、電和煤氣一樣,按需獲取和計費。
在云計算場景下,大量的用戶信息都集中在云計算提供商,與傳統(tǒng)的互聯(lián)網業(yè)務相比,其信息更集中、信息資產價值更高、面臨的攻擊也會更多。云計算的安全解決方案需要根據不同業(yè)務的差異化安全需求,提供安全解決方案。而傳統(tǒng)上針對單一業(yè)務所制定的安全解決方案,無法適應云計算平臺高度共享的特性,因此,需要云計算安全在系統(tǒng)級架構上進行創(chuàng)新,以適應平臺的新特性,滿足平臺上所有業(yè)務的個性化安全需求。
云計算的前景是無容置疑的,但是在實際使用過程中不可避免地會面臨一些極端條件。例如:移動終端無法接入到網絡,網絡不穩(wěn)定造成的會話突然終止而使得用戶數(shù)據和信息的丟失,用戶所處網絡條件差而造成擁堵現(xiàn)象比較明顯,黑客劫持會話攻擊云中心等。
例如:在數(shù)據的無線傳輸過程中,容易由于網絡擁塞等問題發(fā)生延時或丟包,導致數(shù)據的完整性受到破壞,為了解決該問題,應該在網絡出現(xiàn)擁塞情況前及時作出正確的處理,而抖動和延時則是網絡發(fā)生擁塞的前期征兆,抖動的突變往往預示著網絡瓶頸的到來。抖動表示的是數(shù)據包延時變化的劇烈程度,如果把數(shù)據包的延時當做隨機變量,那么抖動就是這個隨機過程中各個時刻的方差,在實際應用過程中,對于方差的計算在計算精度與計算復雜度上做了一個取舍平衡,以達到及時準確表征網絡抖動的需求。然而現(xiàn)有的計算方法靈敏度較低。
如何從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據中提取隱含在其中的、事先不知道的、但有時潛在有用的信息的過程被稱為數(shù)據挖掘,顯而易見,數(shù)據挖掘時大數(shù)據技術的關鍵。網絡冗余刪除技術作為一種新型的網絡壓縮技術受到學術界和工業(yè)界的廣泛關注,其主要功能是識別網絡中重復傳輸?shù)臄?shù)據,極大地縮減網絡傳輸數(shù)據量,提高網絡帶寬的利用率,從而提高應用性能和節(jié)省運營成本。
技術實現(xiàn)要素:
:
本發(fā)明針對現(xiàn)有技術存在的缺點和不足,提出了一種能夠實現(xiàn)用戶信息的實時傳遞和存儲、用戶數(shù)據加密傳輸、并對用戶數(shù)據庫進行安全監(jiān)控的多形式數(shù)據處理高效用戶信息管理系統(tǒng)。
本發(fā)明可以通過以下措施達到:
一種多形式數(shù)據處理高效用戶信息管理系統(tǒng),其特征在于設有管控平臺以及兩個以上的本地監(jiān)控終端,管控平臺與本地監(jiān)控終端經網絡通信電路相連接,其中所述管控平臺包括服務器、數(shù)據接收機構、數(shù)據分析機構,數(shù)據分析機構和數(shù)據接收機構分別與服務器相連接,數(shù)據分析機構與數(shù)據接收機構相連接,所述數(shù)據分析機構設有用于獲取關鍵信息的數(shù)據抽取模塊、用于對獲取的數(shù)據進行預處理的預處理模塊、數(shù)據簡約處理模塊、用于對處理方式進行選擇的參數(shù)設置模塊、用于對數(shù)據進行分析運算的數(shù)據挖掘模塊、用于對多項挖掘結果進行融合的數(shù)據融合模塊;所述管控平臺還設有安全防護單元,所述安全防護單元包括用于實現(xiàn)對域名解析請求處理的DNS服務器、用于實現(xiàn)對用戶管理和域名管理和對結果進行查看分析的管理單元、用于實現(xiàn)管理單元與DNS服務器雙向通信的安全通信模塊以及DNS數(shù)據庫,所述管理單元設有黑名單更新模塊、用戶信息管理模塊以及訪問信息查詢模塊;所述安全通信模塊內設有認證模塊、密鑰協(xié)商模塊、數(shù)據加密傳輸模塊、數(shù)據一致性檢查模塊;DNS服務器經安全通信模塊與管理單元建立雙向通信,DNS服務器內的能夠實現(xiàn)向DNS數(shù)據庫內寫入日志記錄信息的日志模塊與DNS數(shù)據庫相連接,管理單元分別與黑名單索引數(shù)據庫和DNS數(shù)據庫相連接。
本發(fā)明所述數(shù)據簡約模塊對獲取的數(shù)據進行以下處理:在待計算數(shù)據內容的字節(jié)序列中確定窗口長度;確定并行計算的窗口數(shù)及跳轉間隔;根據已算得的窗口指紋值并行計算各窗口的指紋值,其中所述窗口指紋值的計算方式為:RF(α1、α2、α3……αβ)=(α1pβ+α2pβ‐1+…+αβ‐1p+αβ)modM;其中α1、α2、α3……αβ為待計算數(shù)據內容中的字節(jié)序列,RF(α1、α2、α3……αβ)表示窗口長度為β的字節(jié)序列的指紋值,p和M為可選的常數(shù);所述根據已算得的窗口指紋值并行計算各窗口的指紋值由下式計算:RF(αi+1、αi+2、αi+3……αi+β)=(RF(αi、αi+1、αi+2……αi+β‐1)‐αi×pβ)×p+αi+βmodM;其中αi+1、αi+2、αi+3……αi+β為待計算數(shù)據內容中的字節(jié)序列,RF(αi、αi+1、αi+2……αi+β‐1)表示窗口長度為β的字節(jié)序列的指紋值,p和M為可選的常數(shù);標記窗口指紋值符合預定的數(shù)據分塊邊界條件的窗口位置為數(shù)據分塊邊界,其中,窗口指紋值符合預定的數(shù)據分塊條件,則將當前滑動窗口的右邊界所在位置標記為數(shù)據分塊的邊界;計算數(shù)據分塊的散列值,并標記數(shù)據分塊的散列值與已存儲的數(shù)據分塊散列值相等的為冗余數(shù)據塊。
本發(fā)明中所述窗口指紋值由拉賓指紋函數(shù)計算;所述跳轉間隔為所述并行計算的窗口數(shù)的整數(shù)倍;所述跳轉間隔不是所述并行計算的窗口數(shù)的整數(shù)倍;所述跳轉間隔中重疊計算的窗口指紋值用于校驗;所述并行計算的窗口位于同一跳轉間隔中;所述并行計算的窗口位于不同跳轉間隔中;以散列值與引用信息替代所述標記為冗余數(shù)據塊的數(shù)據進行所述數(shù)據塊的存儲。
本發(fā)明所述數(shù)據融合模塊包括用于獲取兩個以上運算模型輸出結果的數(shù)據獲取模塊;用于對數(shù)據獲取模塊獲取數(shù)據進行有效范圍篩選的篩選模塊、用于對篩選后數(shù)據進行權值分配的權值分配模塊、用于對分配權值后數(shù)據進行融合的數(shù)據融合算法模塊以及用于輸出數(shù)據融合結果的顯示輸出模塊;所述數(shù)據融合算法模塊中設有加權平均法處理模塊、卡爾曼濾波處理模塊、統(tǒng)計決策處理模塊以及神經網絡處理模塊;所述數(shù)據融合模塊與顯示輸出模塊之間還設有分類模塊、估值模塊、聚集模塊;所述預處理模塊中設有離散化處理模塊、屬性增/刪模塊、屬性位置互換模塊、添加ID屬性模塊、數(shù)據噪聲處理模塊。
本發(fā)明所述數(shù)據挖掘模塊設有加權平均法處理模塊、卡爾曼濾波處理模塊、統(tǒng)計決策處理模塊以及神經網絡處理模塊。
本發(fā)明中所述安全防護單元中的DNS服務器包括獲取解析模塊、正常解析模塊,其特征在于還設有黑名單查詢模塊、黑名單索引數(shù)據庫、控制策略模塊以及日志模塊,其中所述獲取解析模塊與黑名單查詢模塊相連接,黑名單查詢模塊與黑名單索引數(shù)據庫建立通信,黑名單查詢模塊的輸出端分別與正常解析模塊、控制策略模塊相連接,控制策略模塊與日志模塊相連接,所述控制策略模塊內設有隔離與阻斷策略模塊、欺騙策略模塊、重定向策略模塊,所述日志模塊內設有日志記錄模塊以及日志統(tǒng)計模塊。
本發(fā)明中所述本地監(jiān)控終端設有控制器、數(shù)據采集模塊、數(shù)據存儲模塊、數(shù)據發(fā)送模塊,其中控制器分別與數(shù)據采集模塊、數(shù)據存儲模塊、數(shù)據發(fā)送模塊相連接,數(shù)據采集模塊和數(shù)據發(fā)送模塊分別與數(shù)據存儲模塊相連接;所述本地監(jiān)控終端還設有與控制器相連接的網絡擁塞檢測模塊和數(shù)據通信快速切換模塊,其中網絡擁塞檢測模塊包括傳輸延時變化率獲取模塊、基準值調整模塊、判斷是否重置基準值模塊、基準值重置模塊、抖動值計算模塊,其中傳輸延時變化率獲取模塊、基準值調整模塊、判斷是否重置基準值模塊依次連接,判斷是否重置基準值模塊的輸出端分別與基準值重置模塊和抖動值計算模塊相連接,基準值重置模塊的輸出端與基準值調整模塊相連接。
本發(fā)明中網絡擁塞檢測模塊的輸出端與數(shù)據通信快速切換模塊相連接,數(shù)據通信快速切換模塊的輸入端與網絡擁塞檢測模塊中抖動值計算模塊的輸出端相連接,數(shù)據通信快速切換模塊包括門限值比對模塊、地址分配模塊、當前服務網絡信號強度接收模塊、當前節(jié)點與基站距離判斷模塊、邊緣觸發(fā)模塊、通信通道更新/建立模塊,其中抖動值計算模塊的輸出端與門限值比對模塊相連接,門限值比對模塊的輸出端與地址分配模塊相連接,地址分配模塊與當前節(jié)點與基站距離判斷模塊、邊緣觸發(fā)模塊、通信通道更新/建立模塊依次相連接,當前服務網絡信號強度接收模塊的額輸出端與門限值比對模塊相連接。
本發(fā)明所述傳輸延時變化率獲取模塊把連續(xù)的時間離散化,以幀作為離散化的時間單位,Ti至Ti+1時間間隔內共20幀,用Di表示數(shù)據包的傳輸延時,傳輸時延Di的計算公式為:Di=(Ri‐Si),其中Ri為接收端收到數(shù)據包的時間,Si為數(shù)據包自帶的發(fā)送時間,計算Ti‐1到Ti時間內傳輸延時的平均值和Ti到Ti+1時間內傳輸延時的平均值根據和得到傳輸延時的變化率DRi。
本發(fā)明所述基準值調整模塊進行每單位時間調整基準值:E=E+DRi×Δt,其中,E為期望值,Δt為兩幀間的時間差。
本發(fā)明所述判斷是否重置基準值模塊判斷是否需要重置基準值:若是,則通過基準值重置模塊將基準值重置為:E=Di+DRi×(Ti+1‐Ti)/2,然后送入抖動值計算模塊,否則直接送入抖動值計算模塊。
本發(fā)明中抖動值計算模塊求平均值與基準值的差值,并對這個差值的絕對值做指數(shù)平滑,計算抖動值Ji為:Ji=(15×Ji‐1+|Di‐E|)/16,用抖動值表征網絡擁塞情況,抖動值越大則即將發(fā)生的網絡擁塞越嚴重。
本發(fā)明與現(xiàn)有技術相比,能夠克服現(xiàn)有監(jiān)控系統(tǒng)中數(shù)據無法實時高效傳播、信息數(shù)據庫易受到惡意攻擊的問題,具有結構合理、工作可靠等顯著的優(yōu)點。
附圖說明:
附圖1是本發(fā)明的結構框圖。
附圖2是本發(fā)明中安全防護單元的結構框圖。
附圖3是本發(fā)明中數(shù)據分析機構的結構框圖。
附圖標記;管控平臺1、本地監(jiān)控終端2、服務器3、數(shù)據接收機構4、數(shù)據分析機構5、安全防護單元6、DNS服務器7、管理單元8、安全通信模塊9、DNS數(shù)據庫10、數(shù)據抽取模塊11、預處理模塊12、參數(shù)設置模塊13、數(shù)據挖掘模塊14、數(shù)據融合模塊15、數(shù)據簡約處理模塊16。
具體實施方式:
下面結合附圖對本發(fā)明作進一步的說明。
如附圖所示,本發(fā)明提出了一種多形式數(shù)據處理高效用戶信息管理系統(tǒng),其特征在于設有管控平臺1以及兩個以上的本地監(jiān)控終端2,管控平臺1與本地監(jiān)控終端2經網絡通信電路相連接,其中所述管控平臺1包括服務器3、數(shù)據接收機構4、數(shù)據分析機構5,數(shù)據分析機構5和數(shù)據接收機構4分別與服務器3相連接,數(shù)據分析機構5與數(shù)據接收機構4相連接,所述數(shù)據分析機構5設有用于獲取關鍵信息的數(shù)據抽取模塊11、用于對獲取的數(shù)據進行預處理的預處理模塊12、數(shù)據簡約處理模塊16、用于對處理方式進行選擇的參數(shù)設置模塊13、用于對數(shù)據進行分析運算的數(shù)據挖掘模塊14、用于對多項挖掘結果進行融合的數(shù)據融合模塊15;所述管控平臺1還設有安全防護單元6,所述安全防護單元6包括用于實現(xiàn)對域名解析請求處理的DNS服務器7、用于實現(xiàn)對用戶管理和域名管理和對結果進行查看分析的管理單元8、用于實現(xiàn)管理單元8與DNS服務器7雙向通信的安全通信模塊9以及DNS數(shù)據庫10,所述管理單元8設有黑名單更新模塊、用戶信息管理模塊以及訪問信息查詢模塊;所述安全通信模塊9內設有認證模塊、密鑰協(xié)商模塊、數(shù)據加密傳輸模塊、數(shù)據一致性檢查模塊;DNS服務器7經安全通信模塊與管理單元建立雙向通信,DNS服務器7內的能夠實現(xiàn)向DNS數(shù)據庫10內寫入日志記錄信息的日志模塊與DNS數(shù)據庫相連接,管理單元8與DNS數(shù)據庫10相連接。
本發(fā)明所述數(shù)據簡約模塊對獲取的數(shù)據進行以下處理:在待計算數(shù)據內容的字節(jié)序列中確定窗口長度;確定并行計算的窗口數(shù)及跳轉間隔;根據已算得的窗口指紋值并行計算各窗口的指紋值,其中所述窗口指紋值的計算方式為:RF(α1、α2、α3……αβ)=(α1pβ+α2pβ‐1+…+αβ‐1p+αβ)modM;其中α1、α2、α3……αβ為待計算數(shù)據內容中的字節(jié)序列,RF(α1、α2、α3……αβ)表示窗口長度為β的字節(jié)序列的指紋值,p和M為可選的常數(shù);所述根據已算得的窗口指紋值并行計算各窗口的指紋值由下式計算:RF(αi+1、αi+2、αi+3……αi+β)=(RF(αi、αi+1、αi+2……αi+β‐1)‐αi×pβ)×p+αi+βmodM;其中αi+1、αi+2、αi+3……αi+β為待計算數(shù)據內容中的字節(jié)序列,RF(αi、αi+1、αi+2……αi+β‐1)表示窗口長度為β的字節(jié)序列的指紋值,p和M為可選的常數(shù);標記窗口指紋值符合預定的數(shù)據分塊邊界條件的窗口位置為數(shù)據分塊邊界,其中,窗口指紋值符合預定的數(shù)據分塊條件,則將當前滑動窗口的右邊界所在位置標記為數(shù)據分塊的邊界;計算數(shù)據分塊的散列值,并標記數(shù)據分塊的散列值與已存儲的數(shù)據分塊散列值相等的為冗余數(shù)據塊。
本發(fā)明中所述窗口指紋值由拉賓指紋函數(shù)計算;所述跳轉間隔為所述并行計算的窗口數(shù)的整數(shù)倍;所述跳轉間隔不是所述并行計算的窗口數(shù)的整數(shù)倍;所述跳轉間隔中重疊計算的窗口指紋值用于校驗;所述并行計算的窗口位于同一跳轉間隔中;所述并行計算的窗口位于不同跳轉間隔中;以散列值與引用信息替代所述標記為冗余數(shù)據塊的數(shù)據進行所述數(shù)據塊的存儲。
本發(fā)明所述數(shù)據融合模塊包括用于獲取兩個以上運算模型輸出結果的數(shù)據獲取模塊;用于對數(shù)據獲取模塊獲取數(shù)據進行有效范圍篩選的篩選模塊、用于對篩選后數(shù)據進行權值分配的權值分配模塊、用于對分配權值后數(shù)據進行融合的數(shù)據融合算法模塊以及用于輸出數(shù)據融合結果的顯示輸出模塊;所述數(shù)據融合算法模塊中設有加權平均法處理模塊、卡爾曼濾波處理模塊、統(tǒng)計決策處理模塊以及神經網絡處理模塊;所述數(shù)據融合模塊與顯示輸出模塊之間還設有分類模塊、估值模塊、聚集模塊;所述預處理模塊中設有離散化處理模塊、屬性增/刪模塊、屬性位置互換模塊、添加ID屬性模塊、數(shù)據噪聲處理模塊。
本發(fā)明所述數(shù)據挖掘模塊設有加權平均法處理模塊、卡爾曼濾波處理模塊、統(tǒng)計決策處理模塊以及神經網絡處理模塊。
本發(fā)明中所述安全防護單元6中的DNS服務器包括獲取解析模塊、正常解析模塊,其特征在于還設有黑名單查詢模塊、黑名單索引數(shù)據庫、控制策略模塊以及日志模塊,其中所述獲取解析模塊與黑名單查詢模塊相連接,黑名單查詢模塊與黑名單索引數(shù)據庫建立通信,黑名單查詢模塊的輸出端分別與正常解析模塊、控制策略模塊相連接,控制策略模塊與日志模塊相連接,所述控制策略模塊內設有隔離與阻斷策略模塊、欺騙策略模塊、重定向策略模塊,所述日志模塊內設有日志記錄模塊以及日志統(tǒng)計模塊。
本發(fā)明中所述本地監(jiān)控終端2設有控制器、數(shù)據采集模塊、數(shù)據存儲模塊、數(shù)據發(fā)送模塊,其中控制器分別與數(shù)據采集模塊、數(shù)據存儲模塊、數(shù)據發(fā)送模塊相連接,數(shù)據采集模塊和數(shù)據發(fā)送模塊分別與數(shù)據存儲模塊相連接;所述本地監(jiān)控終端還設有與控制器相連接的網絡擁塞檢測模塊和數(shù)據通信快速切換模塊,其中網絡擁塞檢測模塊包括傳輸延時變化率獲取模塊、基準值調整模塊、判斷是否重置基準值模塊、基準值重置模塊、抖動值計算模塊,其中傳輸延時變化率獲取模塊、基準值調整模塊、判斷是否重置基準值模塊依次連接,判斷是否重置基準值模塊的輸出端分別與基準值重置模塊和抖動值計算模塊相連接,基準值重置模塊的輸出端與基準值調整模塊相連接。
本發(fā)明中網絡擁塞檢測模塊的輸出端與數(shù)據通信快速切換模塊相連接,數(shù)據通信快速切換模塊的輸入端與網絡擁塞檢測模塊中抖動值計算模塊的輸出端相連接,數(shù)據通信快速切換模塊包括門限值比對模塊、地址分配模塊、當前服務網絡信號強度接收模塊、當前節(jié)點與基站距離判斷模塊、邊緣觸發(fā)模塊、通信通道更新/建立模塊,其中抖動值計算模塊的輸出端與門限值比對模塊相連接,門限值比對模塊的輸出端與地址分配模塊相連接,地址分配模塊與當前節(jié)點與基站距離判斷模塊、邊緣觸發(fā)模塊、通信通道更新/建立模塊依次相連接,當前服務網絡信號強度接收模塊的額輸出端與門限值比對模塊相連接。
本發(fā)明所述傳輸延時變化率獲取模塊把連續(xù)的時間離散化,以幀作為離散化的時間單位,Ti至Ti+1時間間隔內共20幀,用Di表示數(shù)據包的傳輸延時,傳輸時延Di的計算公式為:Di=(Ri‐Si),其中Ri為接收端收到數(shù)據包的時間,Si為數(shù)據包自帶的發(fā)送時間,計算Ti‐1到Ti時間內傳輸延時的平均值和Ti到Ti+1時間內傳輸延時的平均值根據和得到傳輸延時的變化率DRi。
本發(fā)明所述基準值調整模塊進行每單位時間調整基準值:E=E+DRi×Δt,其中,E為期望值,Δt為兩幀間的時間差。
本發(fā)明所述判斷是否重置基準值模塊判斷是否需要重置基準值:若是,則通過基準值重置模塊將基準值重置為:E=Di+DRi×(Ti+1‐Ti)/2,然后送入抖動值計算模塊,否則直接送入抖動值計算模塊。
本發(fā)明中抖動值計算模塊求平均值與基準值的差值,并對這個差值的絕對值做指數(shù)平滑,計算抖動值Ji為:Ji=(15×Ji‐1+|Di‐E|)/16,用抖動值表征網絡擁塞情況,抖動值越大則即將發(fā)生的網絡擁塞越嚴重。
本發(fā)明與現(xiàn)有技術相比,能夠克服現(xiàn)有監(jiān)控系統(tǒng)中數(shù)據無法實時高效傳播、信息數(shù)據庫易受到惡意攻擊的問題,具有結構合理、工作可靠等顯著的優(yōu)點。