本發(fā)明涉及網(wǎng)頁安全檢測技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)WEB頁面異常檢測方法。

背景技術(shù)：

日常我們?yōu)g覽網(wǎng)頁看到的內(nèi)容頁面，其內(nèi)容都是通過程序獲取內(nèi)容展示在用戶面前，但如果數(shù)據(jù)獲取層面沒有獲取到數(shù)據(jù)，并且沒有做任何處理措施，展現(xiàn)在用戶面前的將是一個異?；驍?shù)據(jù)不完整的頁面，造成不好的用戶體驗(yàn)；

頁面防御技術(shù)是防御方案的一個重要組成部分，當(dāng)前提出的防御技術(shù)大多采用黑名單或利用從以往攻擊案例中歸納的特征進(jìn)行Web頁面過濾和檢測，這些技術(shù)能夠成功地檢測已知的異常及攻擊，但攻擊者對以前攻擊特征稍加改動就可較容易地繞過這些防御機(jī)制，或者異常非常隱蔽無法察覺，頁面和正常頁面就會產(chǎn)生偏差，出現(xiàn)異常本是提出一種基于異常檢測思想的Phishing頁面檢測算法；

因此，本領(lǐng)域的技術(shù)人員亟需研究出一種能夠有效地檢測以往攻擊的變體甚至新的攻擊，實(shí)時告警提醒開發(fā)者進(jìn)行問題修復(fù),頁面出現(xiàn)問題的同時，能展現(xiàn)上一次正常的頁面給用戶，通過算法檢測出其異常程度，判斷待測頁面是否為攻擊頁面，提高了用戶體驗(yàn)的網(wǎng)絡(luò)WEB頁面異常檢測方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題是提供一種網(wǎng)絡(luò)WEB頁面異常檢測方法，該網(wǎng)絡(luò)WEB頁面異常檢測方法能夠有效地檢測以往攻擊的變體甚至新的攻擊，實(shí)時告警提醒開發(fā)者進(jìn)行問題修復(fù),頁面出現(xiàn)問題的同時，能展現(xiàn)上一次正常的頁面給用戶，通過算法檢測出其異常程度，判斷待測頁面是否為攻擊頁面，提高了用戶體驗(yàn)。

為解決上述技術(shù)問題，本發(fā)明提供了一種網(wǎng)絡(luò)WEB頁面異常檢測方法，提供WEB服務(wù)器、用戶端、數(shù)據(jù)庫及緩存模塊，所述網(wǎng)絡(luò)WEB頁面異常檢測方法包括以下步驟：

(一)：用戶訪問對應(yīng)的網(wǎng)絡(luò)WEB頁面；

(二)：所述WEB服務(wù)器接收用戶請求；

(三)：所述WEB服務(wù)器處理用戶請求；

(四)：所述WEB服務(wù)器通過服務(wù)端語言獲取所述數(shù)據(jù)庫中的數(shù)據(jù)；

(五)：選取特定網(wǎng)頁模板進(jìn)行動態(tài)數(shù)據(jù)編譯解析，得到網(wǎng)頁的完整內(nèi)容；

(六)：所述WEB服務(wù)器根據(jù)獲得的完整的頁面內(nèi)容，通過正則表達(dá)式、WEB頁面檢測算法、神經(jīng)網(wǎng)絡(luò)檢測算法及WEB頁面敏感特征生成算法，檢測頁面是否有出現(xiàn)指定的內(nèi)容片段，如果所述內(nèi)容片段出現(xiàn)在該頁面中，則執(zhí)行步驟七，否則執(zhí)行步驟八；

(七)：頁面檢測不通過，所述WEB服務(wù)器得到檢測結(jié)果并拉取上一次數(shù)據(jù)完整的頁面，發(fā)送信息告知開發(fā)人員修復(fù)問題，流程終止；

(八)：頁面檢測通過，頁面數(shù)據(jù)完整，返回本次解析內(nèi)容給所述用戶端，流程終止；

其中，所述步驟七還包括：如果第一次訪問頁面就不正常，不正常頁面將直接返回給所述用戶端，反之，所述web服務(wù)器通過緩存模塊存放一個內(nèi)容正常的頁面以防異常情況出現(xiàn)。

優(yōu)選地，所述特定網(wǎng)頁模板為文章列表頁模板或者文章詳情頁模板，所述內(nèi)容片段為文章列表和列表分頁。

優(yōu)選地，所述緩存模塊為基于nginx的srcache緩存模塊。

優(yōu)選地，所述WEB服務(wù)器包括數(shù)據(jù)請求接收模塊、數(shù)據(jù)發(fā)送模塊、數(shù)據(jù)處理模塊，所述步驟二、三、四及五的實(shí)現(xiàn)步驟包括：

S1:所述數(shù)據(jù)請求接收模塊接收用戶請求；

S2：所述數(shù)據(jù)請求接收模塊將接收的數(shù)據(jù)發(fā)送給數(shù)據(jù)請求處理模塊；

S3：所述數(shù)據(jù)處理模塊根據(jù)請求的數(shù)據(jù)獲取數(shù)據(jù)庫中相應(yīng)的數(shù)據(jù)；

S4:所述數(shù)據(jù)處理模塊選取特定網(wǎng)頁模板進(jìn)行動態(tài)數(shù)據(jù)編譯解析，得到網(wǎng)頁的完整內(nèi)容。

優(yōu)選地，所述WEB服務(wù)器還包括頁面內(nèi)容檢測模塊，所述頁面內(nèi)容檢測模塊包括數(shù)據(jù)解析單元，所述步驟六的實(shí)現(xiàn)步驟包括：所述頁面內(nèi)容檢測模塊根據(jù)獲取的完整的頁面內(nèi)容，通過正則表達(dá)式、WEB頁面檢測算法、神經(jīng)網(wǎng)絡(luò)檢測算法及WEB頁面敏感特征生成算法，檢測頁面是否有出現(xiàn)指定的內(nèi)容片段，如果所述內(nèi)容片段出現(xiàn)在該頁面中，則執(zhí)行步驟七，否則執(zhí)行步驟八。

優(yōu)選地，所述頁面內(nèi)容檢測模塊還包括神經(jīng)網(wǎng)絡(luò)檢測單元、WEB頁面敏感特征檢測單元，所述步驟“所述頁面內(nèi)容檢測模塊根據(jù)獲得的完整的頁面內(nèi)容，通過所述神經(jīng)網(wǎng)絡(luò)檢測算法及WEB頁面敏感特征生成算法，檢測頁面是否有出現(xiàn)指定的內(nèi)容片段”的實(shí)現(xiàn)步驟包括：

所述數(shù)據(jù)解析單元解析所述WEB頁面的文檔對像模型和HTTP協(xié)議數(shù)據(jù)，所述WEB頁面敏感特征檢測單元根據(jù)所述WEB頁面敏感特征生成算法對所述解析數(shù)據(jù)進(jìn)行敏感特征檢測，所述WEB頁面敏感特征檢測單元再將敏感特征檢測結(jié)果發(fā)送給所述神經(jīng)網(wǎng)絡(luò)檢測單元，所述神經(jīng)網(wǎng)絡(luò)檢測單元根據(jù)所述神經(jīng)網(wǎng)絡(luò)檢測算法對網(wǎng)絡(luò)頁面進(jìn)行網(wǎng)絡(luò)神經(jīng)元異常檢測。

優(yōu)選地，所述頁面內(nèi)容檢測模塊還包括WEB頁面攻擊檢測單元，所述步驟“所述頁面內(nèi)容檢測模塊根據(jù)獲得的完整的頁面內(nèi)容，通過所述WEB頁面檢測算法，檢測頁面是否有出現(xiàn)指定的內(nèi)容片段”的實(shí)現(xiàn)步驟包括：所述數(shù)據(jù)解析單元解析所述WEB頁面的文檔對像模型和HTTP協(xié)議數(shù)據(jù)，所述WEB頁面攻擊檢測單元根據(jù)所述WEB頁面檢測算法對所述解析數(shù)據(jù)進(jìn)行已經(jīng)攻擊特征檢測。

優(yōu)選地，所述WEB頁面敏感特征生成算法配置有以下公式：

其中，A_all代表頁面中鏈接對象的總數(shù)，A_null代表頁面中空鏈接的個數(shù)，A_real代表頁面中指向真實(shí)站點(diǎn)鏈接的個數(shù)，A_Local代表頁面中指向本域的鏈接的個數(shù),f_(x)為Web頁面中鏈接對象的異常程度。

優(yōu)選地，所述神經(jīng)網(wǎng)絡(luò)檢測算法配置有以下公式：

所述神經(jīng)網(wǎng)絡(luò)檢測算法將所述WEB頁面設(shè)置為3層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，所述神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、輸出層及隱藏層，所述輸入層包含與敏感特征向量的維數(shù)相同的節(jié)點(diǎn)個數(shù)；所述輸出層的節(jié)點(diǎn)個數(shù)為1，輸出0至1之間的實(shí)數(shù)；

其中，C_h為隱藏層節(jié)點(diǎn)數(shù)，C_i為輸入層節(jié)點(diǎn)數(shù)，C_o為輸出層節(jié)點(diǎn)數(shù)。

優(yōu)選地，所述WEB頁面檢測算法配置有以下公式：

I＝L∪H_k∪V_u

其中，I表示所有Web頁面的集合，L表示正常Web頁面的集合,H_k表示已知攻擊的WEB頁面的集合，V_u表示未知攻擊的WEB頁面的集合。

采用了上述方法之后，用戶訪問對應(yīng)的網(wǎng)絡(luò)WEB頁面,所述WEB服務(wù)器接收用戶請求,所述WEB服務(wù)器處理用戶請求,所述WEB服務(wù)器通過服務(wù)端語言獲取所述數(shù)據(jù)庫中的數(shù)據(jù),選取特定網(wǎng)頁模板進(jìn)行動態(tài)數(shù)據(jù)編譯解析，得到網(wǎng)頁的完整內(nèi)容,所述WEB服務(wù)器根據(jù)獲得的完整的頁面內(nèi)容，通過正則表達(dá)式、WEB頁面檢測算法、神經(jīng)網(wǎng)絡(luò)檢測算法及WEB頁面敏感特征生成算法，檢測頁面是否有出現(xiàn)指定的內(nèi)容片段，如果所述內(nèi)容片段出現(xiàn)在該頁面中，頁面檢測不通過，WEB服務(wù)器得到檢測結(jié)果并拉取上一次數(shù)據(jù)完整的頁面，發(fā)送信息告知開發(fā)人員修復(fù)問題；如果所述內(nèi)容片段未出現(xiàn)在該頁面中，頁面檢測通過，頁面數(shù)據(jù)完整，返回本次解析內(nèi)容給所述用戶端；如果第一次訪問頁面就不正常，不正常頁面將直接返回給所述用戶端，反之，所述web服務(wù)器通過緩存模塊存放一個內(nèi)容正常的頁面以防異常情況出現(xiàn)，該網(wǎng)絡(luò)WEB頁面異常檢測方法能夠有效地檢測以往攻擊的變體甚至新的攻擊，實(shí)時告警提醒開發(fā)者進(jìn)行問題修復(fù),頁面出現(xiàn)問題的同時，能展現(xiàn)上一次正常的頁面給用戶，通過算法檢測出其異常程度，準(zhǔn)確快速判斷待測頁面是否為攻擊頁面與異常頁面，對頁面的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)深入分析，提高了用戶體驗(yàn)。

附圖說明

圖1是本發(fā)明的一種網(wǎng)絡(luò)WEB頁面異常檢測方法的整體模型示意圖；

圖2是圖1的整體模型落地到具體實(shí)施例的示意圖；

圖3是本發(fā)明一種網(wǎng)絡(luò)WEB頁面異常檢測方法的實(shí)現(xiàn)流程示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用于解釋本發(fā)明，并不用于限定本發(fā)明。

實(shí)施例1

請參閱圖1至圖3，圖1是本發(fā)明的一種網(wǎng)絡(luò)WEB頁面異常檢測方法的整體模型示意圖，圖2是圖1的整體模型落地到具體實(shí)施例的示意圖，圖3是本發(fā)明一種網(wǎng)絡(luò)WEB頁面異常檢測方法的實(shí)現(xiàn)流程示意圖。

本發(fā)明公開了一種網(wǎng)絡(luò)WEB頁面異常檢測方法，提供WEB服務(wù)器10、用戶端20、數(shù)據(jù)庫30及緩存模塊40，所述網(wǎng)絡(luò)WEB頁面異常檢測方法包括以下步驟：

(一)：用戶訪問對應(yīng)的網(wǎng)絡(luò)WEB頁面；

(二)：所述WEB服務(wù)器10接收用戶請求；

(三)：所述WEB服務(wù)器10處理用戶請求；

(四)：所述WEB服務(wù)器10通過服務(wù)端語言獲取所述數(shù)據(jù)庫30中的數(shù)據(jù)；

(五)：選取特定網(wǎng)頁模板進(jìn)行動態(tài)數(shù)據(jù)編譯解析，得到網(wǎng)頁的完整內(nèi)容；

(六)：所述WEB服務(wù)器10根據(jù)獲得的完整的頁面內(nèi)容，通過正則表達(dá)式、WEB頁面檢測算法、神經(jīng)網(wǎng)絡(luò)檢測算法及WEB頁面敏感特征生成算法，檢測頁面是否有出現(xiàn)指定的內(nèi)容片段，如果所述內(nèi)容片段出現(xiàn)在該頁面中，則執(zhí)行步驟七，否則執(zhí)行步驟八；

(七)：頁面檢測不通過，所述WEB服務(wù)器10得到檢測結(jié)果并拉取上一次數(shù)據(jù)完整的頁面，發(fā)送信息告知開發(fā)人員修復(fù)問題，流程終止；

(八)：頁面檢測通過，頁面數(shù)據(jù)完整，返回本次解析內(nèi)容給用戶端20，流程終止；

其中，所述步驟七還包括：如果第一次訪問頁面就不正常，不正常頁面將直接返回給用戶端20，反之，所述WEB服務(wù)器10通過緩存模塊40存放一個內(nèi)容正常的頁面以防異常情況出現(xiàn)。

在本實(shí)施例中，優(yōu)選的所述特定網(wǎng)頁模板為文章列表頁模板或者文章詳情頁模板，優(yōu)選的所述內(nèi)容片段為文章列表和列表分頁。

在本實(shí)施例中，優(yōu)選的所述緩存模塊40為基于nginx的srcache緩存模塊40，在其他實(shí)施例中，緩存模塊40也可以為其他類型的模塊。

所述WEB服務(wù)器10包括數(shù)據(jù)請求接收模塊、數(shù)據(jù)發(fā)送模塊12、數(shù)據(jù)發(fā)送模塊13，所述步驟二、三、四及五的實(shí)現(xiàn)步驟包括：

S1:數(shù)據(jù)請求接收模塊11接收用戶請求；

S2：數(shù)據(jù)請求接收模塊11將接收的數(shù)據(jù)發(fā)送給數(shù)據(jù)請求處理模塊；

S3：所述數(shù)據(jù)發(fā)送模塊13根據(jù)請求的數(shù)據(jù)獲取數(shù)據(jù)庫30中相應(yīng)的數(shù)據(jù)；

S4:所述數(shù)據(jù)發(fā)送模塊13選取特定網(wǎng)頁模板進(jìn)行動態(tài)數(shù)據(jù)編譯解析，得到網(wǎng)頁的完整內(nèi)容。

所述WEB服務(wù)器10還包括頁面內(nèi)容檢測模塊14、神經(jīng)網(wǎng)絡(luò)檢測單元142、WEB頁面敏感特征檢測單元143、WEB頁面攻擊檢測單元144，所述頁面內(nèi)容檢測模塊14包括數(shù)據(jù)解析單元141，所述步驟六的實(shí)現(xiàn)步驟包括：所述頁面內(nèi)容檢測模塊14根據(jù)獲取的完整的頁面內(nèi)容，通過正則表達(dá)式、WEB頁面檢測算法、神經(jīng)網(wǎng)絡(luò)檢測算法及WEB頁面敏感特征生成算法，檢測頁面是否有出現(xiàn)指定的內(nèi)容片段，如果所述內(nèi)容片段出現(xiàn)在該頁面中，則執(zhí)行步驟七，否則執(zhí)行步驟八。

所述步驟“所述頁面內(nèi)容檢測模塊14根據(jù)獲得的完整的頁面內(nèi)容，通過所述神經(jīng)網(wǎng)絡(luò)檢測算法及WEB頁面敏感特征生成算法，檢測頁面是否有出現(xiàn)指定的內(nèi)容片段”的實(shí)現(xiàn)步驟包括：

所述數(shù)據(jù)解析單元141解析所述WEB頁面的文檔對像模型和HTTP協(xié)議數(shù)據(jù)，所述WEB頁面敏感特征檢測單元143根據(jù)所述WEB頁面敏感特征生成算法對所述解析數(shù)據(jù)進(jìn)行敏感特征檢測，所述WEB頁面敏感特征檢測單元143再將敏感特征檢測結(jié)果發(fā)送給所述神經(jīng)網(wǎng)絡(luò)檢測單元142，所述神經(jīng)網(wǎng)絡(luò)檢測單元142根據(jù)所述神經(jīng)網(wǎng)絡(luò)檢測算法對網(wǎng)絡(luò)頁面進(jìn)行網(wǎng)絡(luò)神經(jīng)元異常檢測。

所述步驟“所述頁面內(nèi)容檢測模塊14根據(jù)獲得的完整的頁面內(nèi)容，通過所述WEB頁面檢測算法，檢測頁面是否有出現(xiàn)指定的內(nèi)容片段”的實(shí)現(xiàn)步驟包括：所述數(shù)據(jù)解析單元141解析所述WEB頁面的文檔對像模型和HTTP協(xié)議數(shù)據(jù)，所述WEB頁面攻擊檢測單元144根據(jù)所述WEB頁面檢測算法對所述解析數(shù)據(jù)進(jìn)行已經(jīng)攻擊特征檢測；

所述WEB頁面敏感特征生成算法配置有以下公式：

其中，A_all代表頁面中鏈接對象的總數(shù)，A_null代表頁面中空鏈接的個數(shù)，A_real代表頁面中指向真實(shí)站點(diǎn)鏈接的個數(shù)，A_Local代表頁面中指向本域的鏈接的個數(shù),f_(x)為Web頁面中鏈接對象的異常程度。

所述神經(jīng)網(wǎng)絡(luò)檢測算法配置有以下公式：

所述神經(jīng)網(wǎng)絡(luò)檢測算法將所述WEB頁面設(shè)置為3層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，所述神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、輸出層及隱藏層，所述輸入層包含與敏感特征向量的維數(shù)相同的節(jié)點(diǎn)個數(shù)；所述輸出層的節(jié)點(diǎn)個數(shù)為1，輸出0至1之間的實(shí)數(shù)；

其中，C_h為隱藏層節(jié)點(diǎn)數(shù)，C_i為輸入層節(jié)點(diǎn)數(shù)，C_o為輸出層節(jié)點(diǎn)數(shù)。

所述WEB頁面檢測算法配置有以下公式：

其中，I表示所有Web頁面的集合，L表示正常Web頁面的集合,H_k表示已知攻擊的WEB頁面的集合，V_u表示未知攻擊的WEB頁面的集合；

采用了上述方法之后，用戶訪問對應(yīng)的網(wǎng)絡(luò)WEB頁面，所述WEB服務(wù)器10接收用戶請求，所述WEB服務(wù)器10處理用戶請求，所述WEB服務(wù)器10通過服務(wù)端語言獲取所述數(shù)據(jù)庫30中的數(shù)據(jù)，選取特定網(wǎng)頁模板進(jìn)行動態(tài)數(shù)據(jù)編譯解析，得到網(wǎng)頁的完整內(nèi)容，所述WEB服務(wù)器10根據(jù)獲得的完整的頁面內(nèi)容，通過正則表達(dá)式、WEB頁面檢測算法、神經(jīng)網(wǎng)絡(luò)檢測算法及WEB頁面敏感特征生成算法，檢測頁面是否有出現(xiàn)指定的內(nèi)容片段，如果所述內(nèi)容片段出現(xiàn)在該頁面中，頁面檢測不通過，WEB服務(wù)器10得到檢測結(jié)果并拉取上一次數(shù)據(jù)完整的頁面，發(fā)送信息告知開發(fā)人員修復(fù)問題；如果所述內(nèi)容片段未出現(xiàn)在該頁面中，頁面檢測通過，頁面數(shù)據(jù)完整，返回本次解析內(nèi)容給所述用戶端,如果第一次訪問頁面就不正常，不正常頁面將直接返回給用戶端20，反之，所述WEB服務(wù)器10通過緩存模塊40存放一個內(nèi)容正常的頁面以防異常情況出現(xiàn)，該網(wǎng)絡(luò)WEB頁面異常檢測方法能夠有效地檢測以往攻擊的變體甚至新的攻擊，實(shí)時告警提醒開發(fā)者進(jìn)行問題修復(fù),頁面出現(xiàn)問題的同時，能展現(xiàn)上一次正常的頁面給用戶，通過算法檢測出其異常程度，準(zhǔn)確快速判斷待測頁面是否為攻擊頁面與異常頁面，對頁面的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)深入分析，提高了用戶體驗(yàn)。

同時，應(yīng)當(dāng)理解的是，以上僅為本發(fā)明的優(yōu)選實(shí)施例，不能因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效實(shí)現(xiàn)方法，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。