本發(fā)明涉及通信技術/計算機技術，具體涉及網頁內容安全實時監(jiān)測方法。

背景技術：

目前在網頁安全內容實時監(jiān)測領域的主流方式是在服務器端部署防篡改方案。面向web服務器端的內容檢測研究較為成熟，已經出現了不少實用系統(tǒng)。該方案需要在web服務器端安裝監(jiān)測軟件，該軟件包含核心內嵌、外掛輪詢、事件觸發(fā)等技術。面向服務端的檢測系統(tǒng)屬于單機部署模式。其不僅部署復雜、應用成本高，而且降低網站性能。而在監(jiān)控網頁結構類型眾多、管理又分散的網站時，由于網頁數量巨大，并不適合通過現有技術實現對網頁內容的實時監(jiān)控。

技術實現要素：

鑒于上述問題，本發(fā)明提出了克服上述問題或者至少部分地解決上述問題的網頁內容安全實時監(jiān)測方法。

為此目的，第一方面，本文提供一種網頁內容安全實時監(jiān)測系統(tǒng)，包括任務調度模塊、監(jiān)控模塊、分析引擎模塊；

任務調度模塊、監(jiān)控模塊分別部署于分布式系統(tǒng)的一個第一節(jié)點上；

所述任務調度模塊用于將需要抓取的目標網址，以及預設的抓取時間或抓取頻率分配給各分析引擎模塊；

所述監(jiān)控模塊用于監(jiān)控分析引擎模塊執(zhí)行分析任務的狀態(tài)和資源占用情況，以及任務狀態(tài)和資源占用情況上報任務調度模塊；

多個分析引擎模塊分別部署在不同的分布式系統(tǒng)的第二節(jié)點上；

分析引擎模塊用于抓取目標網頁，獲得網頁文件，對網頁文件進行安全性分析。

進一步，分析引擎模塊還用于根據預設的抓取規(guī)則獲得線索，根據線索提取第一網頁文件中的子目標網頁地址，根據線索獲取第二網頁文件。

進一步，分析引擎模塊還用于對網頁文件進行惡意代碼分析后，還對網頁文件進行暗鏈分析；

分析引擎模塊還用于去除網頁文件中的標簽注釋文本后，分別計算獲得的網頁文件與對應的安全網頁文件的simhash值，計算獲得的網頁文件的simhash值與安全網頁文件之間的的simhash值之間的海明距離，根據海明距離判斷網頁相似度，若相似，則該獲取的網頁文件為安全網頁。

進一步，分析引擎模塊還用于去除網頁文件中的標簽注釋文本后，分別計算獲得的網頁文件與對應的安全網頁文件的simhash值，計算獲得的網頁文件的simhash值與安全網頁文件之間的的simhash值之間的海明距離，根據海明距離判斷網頁相似度，若相似，則該獲取的網頁文件為安全網頁。

進一步，分析引擎模塊還用于比較網頁文件與對應的安全網頁文件的網頁編碼、文件類型、數據長度是否一致，若不一致則該網頁為存在安全風險的網頁。

進一步，分析引擎模塊還用于根據設置的敏感詞構造dfa狀態(tài)機；對網頁文件進行分詞，獲得字符串；在dfa狀態(tài)機中遍歷查詢所有獲得的字符串，若在dfa狀態(tài)機中查找到對應的字符串，則該網頁文件包含敏感詞。

進一步，分析引擎模塊還用于將安全性分析獲得結果按設定的方式存儲；

將分析引擎的分析結果進行統(tǒng)計分析，并將分析結果發(fā)送至交互界面顯示。

第二方面，本發(fā)明提出網頁內容安全實時監(jiān)測方法，其特征在于，包括步驟：

根據預設的目標網址、以及預設的抓取時間或抓取頻率，

通過部署在分布式系統(tǒng)上的網站爬蟲工具抓取目標網頁，獲得網頁文件；

對網頁文件進行安全性分析。

可選的，所述網站爬蟲工具抓取目標網頁，包括步驟：

根據預設的抓取規(guī)則獲得線索，根據線索提取第一網頁文件中的子目標網頁地址，根據線索獲取第二網頁文件。

可選的，所述步驟對網頁文件進行安全性分析包括，對網頁文件進行惡意代碼分析后，還對網頁文件進行暗鏈分析。

可選的，所述對網頁文件進行安全性分析還包括步驟：去除網頁文件中的標簽注釋文本后，計算獲得的網頁文件與對應的安全網頁文件的各自的simhash值，計算獲得的網頁文件的simhash值與安全網頁文件之間的海明距離，根據海明距離判斷網頁相似度，若相似，則該獲取的網頁文件為安全網頁。

可選的，所述對網頁文件進行安全性分析還包括步驟：比較網頁文件與對應的安全網頁文件的網頁編碼、文件類型、數據長度是否一致，若不一致則該網頁為存在安全風險的網頁。

可選的，所述對網頁文件進行安全性分析還包括步驟，根據設置的敏感詞構造dfa狀態(tài)機；對網頁文件進行分詞，獲得字符串；在dfa狀態(tài)機中遍歷查詢所有獲得的字符串，若在dfa狀態(tài)機中查找到對應的字符串，則該網頁文件包含敏感詞。

可選的，在步驟對網頁文件進行安全性分析之后，還包括步驟:

將安全性分析獲得結果按設定的方式存儲；

將分析引擎的分析結果進行統(tǒng)計分析，并將分析結果發(fā)送至交互界面顯示。

由上述技術方案可知，區(qū)別于現有技術系統(tǒng)采用分布式部署，允許客戶在需要時靈活的增加或減少線上的分析引擎數量，從而實現對含有海量的動態(tài)數據頁面進行監(jiān)測。

用戶根據檢測任務的需求，在監(jiān)控模塊中預設對應目的網址的抓取時間或抓取頻率，從而根據檢監(jiān)測網站的特點運行監(jiān)測任務，避免對客戶網絡和服務器本身造成壓力，對服務器性能影響較小。

上述方法無需在服務器上安裝客戶端，能夠透明接入客戶網絡環(huán)境，易于部署，系統(tǒng)內包含任務調度和監(jiān)視模塊，只需簡單的配置網站的首頁及基本參數即可啟動監(jiān)測。極大的降低了實施維護成本。

前面是提供對本發(fā)明一些方面的理解的簡要發(fā)明內容。這個部分既不是本發(fā)明及其各種實施例的詳盡表述也不是窮舉的表述。它既不用于識別本發(fā)明的重要或關鍵特征也不限定本發(fā)明的范圍，而是以一種簡化形式給出本發(fā)明的所選原理，作為對下面給出的更具體的描述的簡介。應當理解，單獨地或者組合地利用上面闡述或下面具體描述的一個或多個特征，本發(fā)明的其它實施例也是可能的。

附圖說明

為了更清楚地說明本發(fā)明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為現有技術中實施所述方法的監(jiān)測系統(tǒng)結構示意圖；

圖2為本發(fā)明的一個實施例中執(zhí)行所述方法的流程示意圖。

具體實施方式

下面將結合示例性的檢測系統(tǒng)描述本發(fā)明。

如圖1所示，在本發(fā)明的一個實施例中，本發(fā)明公開的網頁內容安全實時監(jiān)測系統(tǒng)用于實現本發(fā)明對應的方法，其中系統(tǒng)包括任務調度模塊、監(jiān)控模塊、分析引擎模塊；

任務調度模塊、監(jiān)控模塊部署于分布式系統(tǒng)的一個第一節(jié)點上；在分布式系統(tǒng)中第一幾點可以有1個(任務調度模塊、監(jiān)控模塊都部署在同一個第一節(jié)點中)，也可以有2個((任務調度模塊、監(jiān)控模塊都可以是分別部署在不同的第一節(jié)點中)。任務調度模塊和監(jiān)控模塊只有一個。

所述任務調度模塊用于將需要抓取的目標網址，以及預設的抓取時間或抓取頻率分配給各分析引擎模塊；

所述監(jiān)控模塊用于監(jiān)控分析引擎模塊執(zhí)行分析任務的狀態(tài)和資源占用情況，以及任務狀態(tài)和資源占用情況上報任務調度模塊；

多個分析引擎模塊分別部署在不同的分布式系統(tǒng)的第二節(jié)點上；可以理解的是，可以根據監(jiān)控任務的情況，部署對應數量的分析引擎模塊，在同一個節(jié)點上，不存在多個分析引擎模塊；第一節(jié)點連接第二節(jié)點。第一節(jié)點上也可以部署分析引擎模塊，即一個第一節(jié)點可以是第一節(jié)點的同時也是第二節(jié)點。

分析引擎模塊用于抓取目標網頁，獲得網頁文件，對網頁文件進行安全性分析。

區(qū)別于現有技術系統(tǒng)采用分布式部署，允許客戶在需要時靈活的增加或減少線上的分析引擎數量，從而實現對海量的數據頁面進行監(jiān)測。

在本發(fā)明的另一些實施例中，分析引擎模塊還用于根據預設的抓取規(guī)則獲得線索，根據線索提取第一網頁文件中的子目標網頁地址，根據線索獲取第二網頁文件。

預設的抓取規(guī)則可以限定在第一網頁文件中抓取鏈接的位置、設置抓取鏈接的深度(即第一個第一網頁文件到最后一個第二網頁文件所經過的鏈接個數)、頁面數、第一網頁文件中的鏈接類型等。

通過在監(jiān)控模塊中設置抓取規(guī)則，使用戶可以根據檢測任務的需求，有針對的抓取網頁的數據；同時，通過根據設定的深度、類型等線索，實現網站爬蟲自動抓取第一級網頁到設定深度的網頁的內容，從而實現大量的動態(tài)網頁的監(jiān)測，有效識別網頁替換、惡意鏈接等行為。

分析引擎模塊還用于根據預設的抓取規(guī)則獲得線索，根據線索提取第一網頁文件中的子目標網頁地址，根據線索獲取第二網頁文件。

在本發(fā)明的另一些實施例中，分析引擎模塊還用于對網頁文件進行惡意代碼分析后，還對網頁文件進行暗鏈分析；

分析引擎模塊還用于去除網頁文件中的標簽注釋文本后，分別計算獲得的網頁文件與對應的安全網頁文件的simhash值，計算獲得的網頁文件的simhash值與安全網頁文件之間的的simhash值之間的海明距離，根據海明距離判斷網頁相似度，若相似，則該獲取的網頁文件為安全網頁。

或者分析引擎模塊用于去除網頁文件中的標簽注釋文本后，再分別計算獲得的網頁文件與對應的安全網頁文件的simhash值，計算獲得的網頁文件的simhash值與安全網頁文件之間的的simhash值之間的海明距離，根據海明距離判斷網頁相似度，若相似，則該獲取的網頁文件為安全網頁；

分析引擎模塊還用于比較網頁文件與對應的安全網頁文件的網頁編碼、文件類型、數據長度是否一致，若不一致則該網頁為存在安全風險的網頁。

該系統(tǒng)包括用于與用戶交互的交互界面，其可以是webui(即基于html和腳本所設計的用戶交互界面)；包括用于調度分布式任務的任務調度模塊，任務調度模塊用于將需要抓取的目標網址分配給各分析引擎模塊；分析引擎模塊包括網站爬蟲單元、分析處理單元和結果上報單元。本領域技術人員容易理解，可以根據檢測網頁任務的大小，部署多個分析引擎模塊，實現對海量網頁的實時監(jiān)控。監(jiān)控模塊與任務調度模塊、各分析引擎模塊通信連接，用于監(jiān)控分析引擎模塊執(zhí)行分析任務的狀態(tài)；網站爬蟲單元用于根據目標網址抓取網頁文件。分析處理單元與網站爬蟲模塊通信連接，用于對抓取的網頁進行安全性分析。結果上報單元用于將安全分析的結果上傳至存儲設備存儲，以及在對安全分析的結果進行標準化處理后，存儲于數據庫中。

本發(fā)明公開網頁內容安全實時監(jiān)測方法，包括步驟：

根據預設的目標網址、以及預設的抓取時間或抓取頻率，

通過部署在分布式系統(tǒng)上的網站爬蟲工具抓取目標網頁，獲得網頁文件；

對網頁文件進行安全性分析。

網站爬蟲(又被稱為網頁蜘蛛，網絡機器人)，是一種按照一定的線索，自動的抓取萬維網信息的程序或者腳本，其中本文的實施例中優(yōu)選采用基于web2.0(web2.0，指的是一個利用web的平臺，由用戶主導而生成的內容互聯(lián)網產品模式，為了區(qū)別傳統(tǒng)由網站雇員主導生成的內容而定義為web2.0)的網站爬蟲，從而支持網站中的javascript(javascript是一種由netscape的livescript發(fā)展而來的原型)、ajax(asynchronousjavascriptandxml，異步的javascript和xml)等web2.0的技術特性，能夠有效的提高客戶端模式獲取網頁可見范圍，為后續(xù)內容分析提供充分的數據支撐。

本文中的網頁文件為根據http協(xié)議(超文本傳輸協(xié)議,hypertexttransferprotocol，是互聯(lián)網上應用最為廣泛的一種網絡協(xié)議)從目標網址中獲取到的文本。

區(qū)別于現有技術系統(tǒng)采用分布式部署，允許客戶在需要時靈活的增加或減少線上的分析引擎數量，從而實現對海量數據頁面進行監(jiān)測。

用戶根據檢測任務的需求，在監(jiān)控模塊中預設對應目的網址的抓取時間或抓取頻率，從而根據檢監(jiān)測網站的特點運行監(jiān)測任務，避免對客戶網絡和服務器本身造成壓力，對服務器性能影響較小。

上述方法無需在服務器上安裝客戶端，能夠透明接入客戶網絡環(huán)境，易于部署，系統(tǒng)內包含任務調度和監(jiān)視模塊，只需簡單的配置網站的首頁及基本參數即可啟動監(jiān)測。極大的降低了實施維護成本。在本文一個具體實施例中所述網站爬蟲工具抓取目標網頁，包括步驟：

根據預設的抓取規(guī)則獲得線索，例如提取第一網頁文件中的鏈接作為線索，根據線索獲取第二網頁文件。

預設的抓取規(guī)則可以限定在第一網頁文件中抓取鏈接的位置、設置抓取鏈接的深度(即第一個第一網頁文件到最后一個第二網頁文件所經過的鏈接個數)、頁面數、第一網頁文件中的鏈接類型等。

通過在監(jiān)控模塊中設置抓取規(guī)則，使用戶可以根據檢測任務的需求，有針對的抓取網頁的數據；同時，通過根據設定的深度、類型等線索，實現網站爬蟲自動抓取第一級網頁到設定深度的網頁的內容，從而實現大量的動態(tài)網頁的監(jiān)測，有效識別網頁替換、惡意鏈接等行為。

所述步驟對網頁文件進行安全性分析包括，對網頁文件進行惡意代碼分析后，還對網頁文件進行暗鏈分析。

暗鏈通常是指黑客在入侵網站獲取網站控制權限后，在網頁中植入鏈接信息等代碼。暗鏈的實現原理很簡單，均是通過css樣式完成，按實現方式來分類，通常有四種類型的暗鏈：

1.通過將display屬性設置為none等使得鏈接信息不可見。

2.通過將鏈接字符無限小，達到肉眼不可見。

3.通過使鏈接字符與網頁背景色一致或相似，達到鏈接不可見。

4.通過鏈接位置定位，使得鏈接出現至可見屏外，達到暗鏈效果。

暗鏈的最顯著牲就是“暗”，暗即在它是隱藏在網頁源代碼中的，通過肉眼直接在頁面上看不見的。

在對網頁文件進行惡意代碼分析后，還對網頁進行暗鏈分析，減少了人工分析網絡安全的難度，提高了網頁安全監(jiān)測的性能。

在本文的一個實施例中對網頁文件進行安全性分析還包括步驟：去除網頁文件中的標簽注釋文本后，計算獲得的網頁文件與對應的安全網頁文件的各自的simhash值，計算獲得的網頁文件的simhash值與安全網頁文件之間的海明距離，根據海明距離值判斷網頁相似度，若相似，則該獲取的網頁文件為安全網頁。

從一個文本計算得到simhash值是過程大概如下：

將文本進行關鍵詞抽取(其中包括分詞和計算權重)，抽取出n個(關鍵詞，權重)對，將“(關鍵詞，權重)對”記為feature_weight_pairs＝[fw1,fw2…fwn]，其中fwn＝(feature_n,weight_n)。

hash_weight_pairs＝[(hash(feature),weight)forfeature,weightinfeature_weight_pairs]生成(hash,weight),此時假設hash生成的位數bits_count＝6；

然后對hash_weight_pairs進行位的縱向累加，如果該位是1，則+weight,如果是0，則-weight，最后生成bits_count個數字，例如是[13,108,-22,-5,-32,55],這里產生的值和hash函數所用的算法相關。

根據每一位的是大于等于0，則該位為1，若為負數則為0，例如[13,108,-22,-5,-32,55]得到simhash值為110001。

simhash本質上是局部敏感性的hash，和md5之類的不一樣。正因為它的局部敏感性，所以我們可以使用海明距離來衡量simhash值的相似度。

海明距離值的計算方式為：二進制串a和二進制串b的海明距離就是axorb后二進制數值中1的個數。

由上述算法可知，比較網頁文件與對應安全網頁的計算量級小，計算速度快，從而在提高海量網頁的實時監(jiān)測小了。

若網頁文件與對應的安全網頁通過計算海明距離比較，判斷得出網頁文件與安全網頁的內容相似度符合預設值，則認為網頁文件未被修改，是安全的。

在另一些實施例中，對所述對網頁文件進行安全性分析還包括步驟：比較網頁文件與對應的安全網頁文件的網頁編碼、文件類型、數據長度是否一致，若不一致則該網頁為存在安全風險的網頁。

通過對文件編碼、文件類型和數據長度等比較，從而較快的識別網頁文件是否被整體串改的情況。

所述對網頁文件進行安全性分析還包括步驟，根據設置的敏感詞構造dfa(有窮狀態(tài)自動機)狀態(tài)機；對網頁文件進行分詞，獲得字符串；在dfa狀態(tài)機中遍歷查詢所有獲得的字符串，若在dfa狀態(tài)機中查找到對應的字符串，則該網頁文件包含敏感詞。

構造dfa狀態(tài)機的過程如下：

1：把{s}放進隊列l(wèi)和集合d中。其中s是nfa(有窮狀態(tài)自動機)的起始狀態(tài)。隊列l(wèi)放置的是未被處理的已經創(chuàng)建了的dfa狀態(tài)，集合d放置的是已經存在的dfa狀態(tài)。dfa的每一個狀態(tài)都對應著nfa的一些狀態(tài)。

2：從隊列l(wèi)中取出一個狀態(tài)，計算從這個狀態(tài)輸出的所有邊所接受的字符集的并集，然后對該集合中的每一個字符尋找接受這個字符的邊，把這些邊的目標狀態(tài)的并集t計算出來。如果t∈d則代表當前字符指向了一個已知的dfa狀態(tài)。否則則代表當前字符指向了一個未創(chuàng)建的dfa狀態(tài)，這個時候就把t放進l和d中。在這個步驟里有兩層循環(huán)：第一層是遍歷所有接受的字符的并集，第二層是對每一個可以接受的字符遍歷所有輸出的邊計算目標dfa狀態(tài)所包含的nfa狀態(tài)的集合。

dfa狀態(tài)機構造完成后，向狀態(tài)機輸入字符串，若得到終止狀態(tài)，則字符串中包含敏感詞。

相比于現有技術中使用正則表達式，文本查找等監(jiān)測敏感詞的方法，本文提供的構造dfa從而監(jiān)測敏感詞的方法其監(jiān)測敏感詞的速度更快，效率更高，更適用于實現海量的網頁內容中的敏感詞監(jiān)測。

將安全性分析獲得結果按設定的方式存儲；

將分析引擎的分析結果進行統(tǒng)計分析，并將分析結果發(fā)送至交互界面顯示。

如圖2所示，在本發(fā)明的一個完整實施例中，其主要實施過程包括：

s201：輸入預設的監(jiān)測網站的地址，抓取規(guī)則(包括抓取深度、過濾文件類型)并發(fā)抓取網頁的數量、登入代理、數據存儲等信息；

s202：網站爬蟲根據預設的上述信息抓取網頁文件(即下載網頁)，

s203：在抓取的過程中，根據http協(xié)議獲得網頁文件的網頁編碼、文件類型、數據長度等信息；

s204：將網頁文件轉換為utf-8編碼；

s205：解析網頁文件的結構，提取網頁文件的標題、內容等；

s206：根據抓取規(guī)則判斷網頁文件中的鏈接是否作為線索用于遞歸獲得第二網頁文件，若是則s207將該鏈接放入url隊列等待抓取；若否則不向url隊列中放入網頁文件的鏈接；

對抓取到的網頁進行s211網頁相似度分析、s212敏感詞分析、s221惡意代碼分析和s222暗鏈分析；

在分析惡意代碼之后對其進行暗鏈分析；

在網頁相似度分析之后進行敏感詞分析；

s231上述分析的結果和數據上報至相應的標準化模塊，將分析結果按預設的格式存儲。

s241管理待抓取的url隊列，url隊列中的url為待抓取的url；管理包括增加url，取出url等操作。

可以理解的是上述方法可以通過軟件/計算機程序實現，也可以通過硬件實現，在通過軟件實現是，該軟件/計算機程序存儲或運行于計算機可讀介質中。

本文中使用的“至少一個”、“一個或多個”以及“和/或”是開放式的表述，在使用時可以是聯(lián)合的和分離的。例如，“a、b和c中的至少一個”，“a、b或c中的至少一個”，“a、b和c中的一個或多個”以及“a、b或c中的一個或多個”指僅有a、僅有b、僅有c、a和b一起、a和c一起、b和c一起或a、b和c一起。

本文中使用的術語“計算機可讀介質”是指參與將指令提供給處理器執(zhí)行的任何有形存儲設備和/或傳輸介質。計算機可讀介質可以是在ip網絡上的網絡傳輸(如soap)中編碼的串行指令集。這樣的介質可以采取很多形式，包括但不限于非易失性介質、易失性介質和傳輸介質。非易失性介質包括例如nvram或者磁或光盤。易失性介質包括諸如主存儲器的動態(tài)存儲器(如ram)。計算機可讀介質的常見形式包括例如軟盤、柔性盤、硬盤、磁帶或任何其它磁介質、磁光介質、cd-rom、任何其它光介質、穿孔卡、紙帶、任何其它具有孔形圖案的物理介質、ram、prom、eprom、flash-eprom、諸如存儲卡的固態(tài)介質、任何其它存儲芯片或磁帶盒、后面描述的載波、或計算機可以讀取的任何其它介質。電子郵件的數字文件附件或其它自含信息檔案或檔案集被認為是相當于有形存儲介質的分發(fā)介質。當計算機可讀介質被配置為數據庫時，應該理解該數據庫可以是任何類型的數據庫，例如關系數據庫、層級數據庫、面向對象的數據庫等等。相應地，認為本發(fā)明包括有形存儲介質或分發(fā)介質和現有技術公知的等同物以及未來開發(fā)的介質，在這些介質中存儲本發(fā)明的軟件實施。

本文中使用的術語“確定”、“運算”和“計算”及其變型可以互換使用，并且包括任何類型的方法、處理、數學運算或技術。

本文中使用的術語“模塊”或“工具”是指任何已知的或以后發(fā)展的硬件、軟件、固件、人工智能、模糊邏輯或能夠執(zhí)行與該元件相關的功能的硬件和軟件的組合。另外，雖然用示例性實施方式來描述本發(fā)明，但應當理解本發(fā)明的各方面可以單獨要求保護。

需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。

盡管已經對上述各實施例進行了描述，但本領域內的技術人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例做出另外的變更和修改，所以以上所述僅為本發(fā)明的實施例，并非因此限制本發(fā)明的專利保護范圍，凡是利用本發(fā)明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發(fā)明的專利保護范圍之內。