網(wǎng)站安全檢測(cè)方法與裝置制造方法
【專(zhuān)利摘要】本發(fā)明涉及一種網(wǎng)站安全檢測(cè)方法，包括以下步驟：獲取通過(guò)旁路偵聽(tīng)而獲得的超文本傳輸協(xié)議請(qǐng)求包；利用所述請(qǐng)求包所包含的鏈接確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接；對(duì)所述新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。相應(yīng)的，本發(fā)明還提供一種網(wǎng)站安全檢測(cè)裝置。本發(fā)明可以及時(shí)發(fā)現(xiàn)已知特定網(wǎng)站及其新鏈接，并且可以實(shí)時(shí)對(duì)這些新鏈接實(shí)施漏洞檢測(cè)，避免漏檢測(cè)，并且能避免對(duì)無(wú)效鏈接和重復(fù)鏈接進(jìn)行多余的檢測(cè)，具有高效和及時(shí)維護(hù)網(wǎng)站安全的優(yōu)點(diǎn)。
【專(zhuān)利說(shuō)明】網(wǎng)站安全檢測(cè)方法與裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)安全技術(shù)，尤其涉及一種網(wǎng)站安全檢測(cè)方案與裝置。

【背景技術(shù)】
[0002]網(wǎng)站訪問(wèn)存在著各種各樣的安全隱患，比如:C00KIE中毒、應(yīng)用程序緩沖溢出、跨站腳本攻擊、已知安全漏洞等等，這些網(wǎng)站安全問(wèn)題會(huì)進(jìn)一步導(dǎo)致用戶數(shù)據(jù)的安全問(wèn)題。因此，網(wǎng)站訪問(wèn)者希望了解網(wǎng)站的安全程度，自然地傾向于使用較為安全的網(wǎng)站，而網(wǎng)站管理者更希望能夠及時(shí)修復(fù)漏洞，克服其網(wǎng)站的安全問(wèn)題，為網(wǎng)站訪問(wèn)者提供更加安全的瀏覽
T D O
[0003]網(wǎng)站安全檢測(cè)的方法，通常是借助掃描器通過(guò)爬蟲(chóng)技術(shù)去主動(dòng)抓取網(wǎng)頁(yè)，并針對(duì)所抓取的網(wǎng)頁(yè)進(jìn)行安全性測(cè)試。為了避免實(shí)施爬蟲(chóng)技術(shù)造成增加網(wǎng)站服務(wù)器的負(fù)荷，通常，網(wǎng)站的安全性測(cè)試通過(guò)定時(shí)或者用戶手動(dòng)觸發(fā)的方式去執(zhí)行網(wǎng)頁(yè)抓取。然而，在信息高度發(fā)達(dá)的今天，作為信息載體的網(wǎng)站業(yè)務(wù)(代碼)更新頻繁，而且，每個(gè)公司配備的信息安全人員不足以支持如此多和頻繁的安全測(cè)試。這就導(dǎo)致一對(duì)矛盾，即掃描器頻繁掃描所導(dǎo)致的服務(wù)器壓力增大、人力資源不足，以及掃描器間隔掃描所導(dǎo)致的新網(wǎng)頁(yè)安全性檢測(cè)不及時(shí)兩者之間的矛盾。具體而言，涉及網(wǎng)站網(wǎng)頁(yè)安全性測(cè)試的現(xiàn)有技術(shù)所造成的紕漏包括但不限于出現(xiàn)如下問(wèn)題:
[0004]例如，孤島頁(yè)面是爬蟲(chóng)抓不到的頁(yè)面，如果存在漏洞又被黑客發(fā)現(xiàn)了的話，會(huì)導(dǎo)致極大的安全風(fēng)險(xiǎn)?，F(xiàn)有的漏洞掃描器都是基于蜘蛛技術(shù)來(lái)抓取網(wǎng)站鏈接后再進(jìn)行安全測(cè)試的，不能及時(shí)掃描新上線的域名和不能檢測(cè)到孤島頁(yè)面存在的漏洞。
[0005]再如，大型網(wǎng)站(如新聞?lì)?、電商?lèi)等)每天都會(huì)有大量的新網(wǎng)頁(yè)上線，定時(shí)掃描并不能及時(shí)對(duì)新上線的網(wǎng)頁(yè)進(jìn)行安全性測(cè)試。比如網(wǎng)站管理員設(shè)定每天O點(diǎn)對(duì)網(wǎng)站進(jìn)行檢測(cè)，則I點(diǎn)上線的網(wǎng)頁(yè)要過(guò)23個(gè)小時(shí)之后才能進(jìn)行檢測(cè)。如果這些新上線的網(wǎng)頁(yè)存在漏洞的話，在這段時(shí)間內(nèi)將使網(wǎng)站陷于不安全的境地。


【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于克服上述問(wèn)題的一個(gè)或多個(gè)方面，而提供一種網(wǎng)站安全檢測(cè)方法及裝置。
[0007]為實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明采取如下技術(shù)方案:
[0008]本發(fā)明提供的一種網(wǎng)站安全檢測(cè)方法，包括以下步驟:
[0009]獲取通過(guò)旁路偵聽(tīng)而獲得的超文本傳輸協(xié)議請(qǐng)求包；
[0010]利用所述請(qǐng)求包所包含的鏈接確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接；
[0011]對(duì)所述新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0012]較佳的，通過(guò)本機(jī)網(wǎng)卡實(shí)施旁路偵聽(tīng)而獲得所述請(qǐng)求包。為此，本機(jī)接入架設(shè)所述已知特定網(wǎng)站的服務(wù)器所接入的交換機(jī)實(shí)現(xiàn)旁路偵聽(tīng)?；蛘?，通過(guò)遠(yuǎn)程端口接收而獲得所述通過(guò)旁路偵聽(tīng)而得的請(qǐng)求包。
[0013]較佳的，確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接之前，匯總所述請(qǐng)求包所包含的鏈接并去除其中的重復(fù)鏈接。
[0014]根據(jù)本發(fā)明的一個(gè)實(shí)施例所揭示，所述去除重復(fù)鏈接的步驟包括如下細(xì)分步驟:
[0015]將訪問(wèn)數(shù)據(jù)庫(kù)而形成的僅其變量不同的多個(gè)鏈接確定為重復(fù)鏈接；
[0016]僅保留重復(fù)鏈接其中之一實(shí)現(xiàn)去除重復(fù)鏈接。
[0017]根據(jù)本發(fā)明另一實(shí)施例所揭示，所述去除重復(fù)鏈接的步驟包括如下細(xì)分步驟:
[0018]將具有相同簽名的多個(gè)鏈接確定為重復(fù)鏈接；
[0019]僅保留重復(fù)鏈接其中之一實(shí)現(xiàn)去除重復(fù)鏈接。
[0020]根據(jù)本發(fā)明實(shí)施例之一所揭示，所述已知特定網(wǎng)站和/或其新鏈接通過(guò)圖形用戶界面接收用戶設(shè)定而預(yù)先給定。較佳的，所述圖形用戶界面所接收的設(shè)定的內(nèi)容包括指向網(wǎng)站的域名或IP地址。
[0021]根據(jù)本發(fā)明實(shí)施例之一所揭示，通過(guò)確定請(qǐng)求包中的鏈接所指向的IP地址屬于所述已知特定網(wǎng)站所指向的IP地址或其所屬I(mǎi)P地址段而將該鏈接確定為屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0022]根據(jù)本發(fā)明實(shí)施例之一所揭示，通過(guò)比較所述請(qǐng)求包中的鏈接的域名的注冊(cè)特征信息與已知特定網(wǎng)站的域名的注冊(cè)特征信息相同而將該鏈接確定為屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0023]較佳的，設(shè)有已知特定網(wǎng)站列表用于記錄一個(gè)或多個(gè)所述的已知特定網(wǎng)站的域名和/或其相應(yīng)的IP地址。
[0024]進(jìn)一步，所述利用所述請(qǐng)求包所包含的鏈接確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接的步驟，包括如下細(xì)分步驟:
[0025]提取已獲取的所有請(qǐng)求包的鏈接；
[0026]去除所提取的鏈接中指向具有相同代碼的網(wǎng)頁(yè)的重復(fù)鏈接；
[0027]確定其中的新鏈接，將該新鏈接添加至待掃描隊(duì)列。
[0028]根據(jù)本發(fā)明一個(gè)實(shí)施例所揭示，所述對(duì)所述新鏈接所指向的網(wǎng)頁(yè)實(shí)施漏洞掃描的步驟，包括如下細(xì)分步驟:
[0029]從用于記載所述新鏈接的待掃描隊(duì)列中獲取所述新鏈接；
[0030]對(duì)所述新鏈接直接映射的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0031]根據(jù)本發(fā)明另一實(shí)施例所揭示，所述對(duì)所述新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描的步驟，包括如下細(xì)分步驟:
[0032]從用于記載所述新鏈接的待掃描隊(duì)列中獲取所述新鏈接；
[0033]獲取所述待掃描隊(duì)列中的新鏈接映射的網(wǎng)頁(yè)并添加至本地網(wǎng)頁(yè)庫(kù)；
[0034]對(duì)依據(jù)新鏈接下載的網(wǎng)頁(yè)庫(kù)中的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0035]進(jìn)一步，該方法包括后續(xù)步驟:顯示圖形用戶界面以輸出實(shí)施漏洞掃描檢測(cè)的結(jié)果息。
[0036]本發(fā)明提供的一種網(wǎng)站安全檢測(cè)裝置，包括:
[0037]抓包單元，用于獲取通過(guò)旁路偵聽(tīng)而獲得的超文本傳輸協(xié)議請(qǐng)求包；
[0038]查新單元，適于利用所述請(qǐng)求包所包含的鏈接確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接；
[0039]檢測(cè)單元，用于對(duì)所述新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0040]較佳的，所述抓包單元，被配置為通過(guò)本機(jī)網(wǎng)卡實(shí)施旁路偵聽(tīng)而獲得所述請(qǐng)求包。為此，本機(jī)與架設(shè)所述已知特定網(wǎng)站的服務(wù)器所接入的交換機(jī)相連接以實(shí)現(xiàn)旁路偵聽(tīng)?；蛘撸鲎グ鼏卧?，被配置為通過(guò)遠(yuǎn)程端口接收而獲得所述通過(guò)旁路偵聽(tīng)而得的請(qǐng)求包。
[0041]較佳的，所述查新單元，被配置為在確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接之前，匯總所述請(qǐng)求包所包含的鏈接并去除其中的重復(fù)鏈接。
[0042]根據(jù)本發(fā)明的一個(gè)實(shí)施例所揭示，所述查新單元包括:
[0043]查重子模塊，用于將訪問(wèn)數(shù)據(jù)庫(kù)而形成的僅其變量不同的多個(gè)鏈接確定為重復(fù)鏈接；
[0044]去除子模塊，適于實(shí)施僅保留重復(fù)鏈接其中之一實(shí)現(xiàn)去除重復(fù)鏈接。
[0045]根據(jù)本發(fā)明另一實(shí)施例所揭示，所述查新單元包括:
[0046]查重子模塊，用于將具有相同簽名的多個(gè)鏈接確定為重復(fù)鏈接；
[0047]去除子模塊，適于實(shí)施僅保留重復(fù)鏈接其中之一實(shí)現(xiàn)去除重復(fù)鏈接。
[0048]根據(jù)本發(fā)明實(shí)施例之一所揭示，該裝置還包括設(shè)定單元，用于顯示圖形用戶界面以接收用戶設(shè)定，由此而預(yù)先給定所述已知特定網(wǎng)站和/或其新鏈接。較佳的，所述圖形用戶界面所接收的設(shè)定的內(nèi)容包括指向特定網(wǎng)站的域名或IP地址。
[0049]根據(jù)本發(fā)明實(shí)施例之一所揭示，該裝置還包括設(shè)定單元，被配置為通過(guò)確定請(qǐng)求包中的鏈接所指向的IP地址屬于所述已知特定網(wǎng)站所指向的IP地址或其所屬I(mǎi)P地址段而將該鏈接確定為屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0050]根據(jù)本發(fā)明實(shí)施例之一所揭示，該裝置還包括設(shè)定單元，被配置為通過(guò)比較所述請(qǐng)求包中的鏈接的域名的注冊(cè)特征信息與已知特定網(wǎng)站的域名的注冊(cè)特征信息相同而將該鏈接確定為屬于所述已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0051]較佳的，該裝置還包括已知特定網(wǎng)站列表，用于記錄一個(gè)或多個(gè)所述的已知特定網(wǎng)站的域名和/或其相應(yīng)的IP地址。
[0052]進(jìn)一步,所述查新單元包括:
[0053]提取模塊，用于提取已獲取的所有請(qǐng)求包的鏈接；
[0054]去重模塊，用于去除提取模塊提取的鏈接中指向具有相同代碼的網(wǎng)頁(yè)的重復(fù)鏈接;
[0055]添加模塊，用于確定其中的新鏈接，將該新鏈接添加至待掃描隊(duì)列。
[0056]根據(jù)本發(fā)明一個(gè)實(shí)施例所揭示，所述檢測(cè)單元包括:
[0057]獲取單元，被配置為從用于記載所述新鏈接的待掃描隊(duì)列中獲取所述新鏈接；
[0058]實(shí)施單元，用于對(duì)所述新鏈接映射的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0059]根據(jù)本發(fā)明另一實(shí)施例所揭示，所述檢測(cè)單元包括:
[0060]獲取單元，被配置為從用于記載所述新鏈接的待掃描隊(duì)列中獲取所述新鏈接；
[0061]下載單元，用于下載所述待掃描隊(duì)列中的新鏈接所映射的網(wǎng)頁(yè)并添加至本地網(wǎng)頁(yè)庫(kù)；
[0062]實(shí)施單元，用于對(duì)依據(jù)新鏈接下載的網(wǎng)頁(yè)庫(kù)中的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0063]進(jìn)一步，該裝置包括顯示單元，用于顯示圖形用戶界面以輸出實(shí)施漏洞掃描檢測(cè)的結(jié)果信息。
[0064]相較于現(xiàn)有技術(shù)，本發(fā)明至少具有如下優(yōu)點(diǎn):
[0065]1、本發(fā)明通過(guò)旁路偵聽(tīng)的方式，從網(wǎng)站接收交換機(jī)的數(shù)據(jù)，可以借助交換機(jī)獲取接入該交換機(jī)的架設(shè)有已知特定網(wǎng)站的服務(wù)器即將收到的請(qǐng)求包，無(wú)論是通過(guò)本機(jī)監(jiān)聽(tīng)網(wǎng)卡而獲取所述的請(qǐng)求包，還是由其他設(shè)備監(jiān)聽(tīng)網(wǎng)卡獲取所述的請(qǐng)求包后匯聚到本機(jī)，本發(fā)明均能對(duì)這些請(qǐng)求包進(jìn)行集中的后續(xù)處理，確定出這些請(qǐng)求包中的新鏈接，然后針對(duì)這些新鏈接所指向的網(wǎng)頁(yè)實(shí)施漏洞掃描。本發(fā)明一來(lái)能夠明確針對(duì)已知特定網(wǎng)站篩選新鏈接實(shí)施掃描，二來(lái)可以通過(guò)旁路偵聽(tīng)的方式實(shí)時(shí)接收數(shù)據(jù)，而實(shí)時(shí)獲取的新鏈接的數(shù)量相對(duì)于所有已知特定網(wǎng)站的鏈接數(shù)量而言是極小的，通常非新鏈接已經(jīng)在歷史使用過(guò)程中已經(jīng)被掃描，不必重復(fù)掃描，而對(duì)這些新鏈接實(shí)施的漏洞掃描的運(yùn)算量較低，對(duì)服務(wù)器造成的響應(yīng)壓力也非常小，因此，本發(fā)明為實(shí)時(shí)掃描特定網(wǎng)站新上線的新鏈接所指向的網(wǎng)頁(yè)的漏洞提供了技術(shù)條件，避免出現(xiàn)定時(shí)或不定時(shí)掃描所形成的時(shí)間空檔期間造成的漏掃描而可能出現(xiàn)的安全事故，為網(wǎng)絡(luò)管理者提供了更為有效的漏洞檢測(cè)技術(shù)工具。
[0066]2、眾所周知的，對(duì)于一個(gè)網(wǎng)站而言，其上線新鏈接的首次訪問(wèn)請(qǐng)求一般由網(wǎng)管員出于調(diào)試的需要而發(fā)起，而本發(fā)明實(shí)施旁路偵聽(tīng)，所獲取的請(qǐng)求包正是來(lái)源于架設(shè)該網(wǎng)站的服務(wù)器所接入的交換機(jī)，是網(wǎng)管員發(fā)起的請(qǐng)求的必經(jīng)之路，因而，能夠在絕大數(shù)情況下獲取進(jìn)入相關(guān)交換機(jī)的全量請(qǐng)求包，理論上可以涵蓋所有的網(wǎng)頁(yè)，包括孤島網(wǎng)頁(yè)在內(nèi)。然而最終進(jìn)行漏洞掃描的又只是這些請(qǐng)求包中屬于新鏈接的部分。因此，本發(fā)明可以避免現(xiàn)有技術(shù)中每次均需全量檢測(cè)以避免漏掃描的弊端，從而通過(guò)更為輕量的方式，實(shí)現(xiàn)了全面的安全掃描效果。
[0067]3、本發(fā)明進(jìn)一步通過(guò)去除新鏈接中的重復(fù)鏈接，減少對(duì)實(shí)質(zhì)上屬于同一代碼的網(wǎng)頁(yè)進(jìn)行重復(fù)的掃描，對(duì)于諸如新聞網(wǎng)頁(yè)、論壇網(wǎng)頁(yè)之類(lèi)的鏈接而言，進(jìn)行了大大的優(yōu)化，去重率非常高，進(jìn)一步降低漏洞掃描時(shí)的無(wú)效運(yùn)算量，提高了機(jī)器的整體運(yùn)行效率。
[0068]4、本發(fā)明的請(qǐng)求包的來(lái)源，雖然限定了旁路偵聽(tīng)的方式獲得，但并不局限于必須通過(guò)本機(jī)對(duì)接入交換機(jī)的網(wǎng)卡實(shí)施監(jiān)聽(tīng)而獲得，還可以通過(guò)匯聚網(wǎng)絡(luò)上其它接入架設(shè)已知特定網(wǎng)站的服務(wù)器所接入的交換機(jī)的請(qǐng)求包而獲得，因此，這些請(qǐng)求包不僅可以來(lái)源于本機(jī)，還可以來(lái)源于其它終端，既可以通過(guò)網(wǎng)站來(lái)獲取，還可以通過(guò)在發(fā)起請(qǐng)求的請(qǐng)求方的瀏覽器上增加插件來(lái)獲取，甚至可以通過(guò)在架設(shè)所述已知特定網(wǎng)站的服務(wù)器上安裝客戶端來(lái)獲取等，整個(gè)實(shí)現(xiàn)架構(gòu)非常靈活和開(kāi)放，有利于進(jìn)行二次開(kāi)發(fā)。
[0069]5、本發(fā)明既允許用戶通過(guò)圖形用戶界面添加已知特定網(wǎng)站，又提供了由程序自身動(dòng)態(tài)確定已知特定網(wǎng)站的方式，并且，在漏洞掃描后還能進(jìn)行相應(yīng)的警示，具有非常強(qiáng)的交互性和較為優(yōu)異的人機(jī)交互效果。
[0070]綜上所述，本發(fā)明實(shí)現(xiàn)了更加全面和高效的網(wǎng)站安全檢測(cè)技術(shù)方案。
[0071]本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，這些將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0072]本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中:
[0073]圖1是本發(fā)明的網(wǎng)站安全檢測(cè)設(shè)備接入一個(gè)現(xiàn)有網(wǎng)絡(luò)拓?fù)涞氖疽鈭D；
[0074]圖2是由圖1變化而得的一個(gè)現(xiàn)有網(wǎng)絡(luò)拓?fù)涞氖疽鈭D；
[0075]圖3是本發(fā)明一種網(wǎng)絡(luò)安全檢測(cè)方法的一個(gè)實(shí)施例的流程示意圖；
[0076]圖4是本發(fā)明一種網(wǎng)絡(luò)安全檢測(cè)方法的步驟S12的細(xì)分流程示意圖；
[0077]圖5是本發(fā)明一種網(wǎng)絡(luò)安全檢測(cè)方法的另一實(shí)施例的流程示意圖；
[0078]圖6是本發(fā)明一種網(wǎng)絡(luò)安全檢測(cè)裝置的一個(gè)實(shí)施例的原理示意圖；
[0079]圖7是本發(fā)明一種網(wǎng)絡(luò)安全檢測(cè)裝置的另一實(shí)施例的原理示意圖；
[0080]圖8是本發(fā)明一種網(wǎng)絡(luò)安全檢測(cè)裝置中的查新單元的結(jié)構(gòu)示意圖；

【具體實(shí)施方式】
[0081]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類(lèi)似的標(biāo)號(hào)表示相同或類(lèi)似的元件或具有相同或類(lèi)似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。
[0082]本【技術(shù)領(lǐng)域】技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一個(gè)”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說(shuō)明書(shū)中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解，當(dāng)我們稱元件被“連接”或“耦接”到另一元件時(shí)，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這里使用的“連接”或“耦接”可以包括無(wú)線連接或無(wú)線耦接。這里使用的措辭“和/或”包括一個(gè)或更多個(gè)相關(guān)聯(lián)的列出項(xiàng)的全部或任一單元和全部組合。
[0083]本【技術(shù)領(lǐng)域】技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語(yǔ)(包括技術(shù)術(shù)語(yǔ)和科學(xué)術(shù)語(yǔ))，具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是，諸如通用字典中定義的那些術(shù)語(yǔ)，應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義，并且除非像這里一樣被特定定義，否則不會(huì)用理想化或過(guò)于正式的含義來(lái)解釋。
[0084]本【技術(shù)領(lǐng)域】技術(shù)人員可以理解，這里所使用的“終端”、“終端設(shè)備”既包括無(wú)線信號(hào)接收器的設(shè)備，其僅具備無(wú)發(fā)射能力的無(wú)線信號(hào)接收器的設(shè)備，又包括接收和發(fā)射硬件的設(shè)備，其具有能夠在雙向通信鏈路上，執(zhí)行雙向通信的接收和發(fā)射硬件的設(shè)備。這種設(shè)備可以包括:蜂窩或其他通信設(shè)備，其具有單線路顯示器或多線路顯示器或沒(méi)有多線路顯示器的蜂窩或其他通信設(shè)備；PCS (Personal Communicat1ns Service,個(gè)人通信系統(tǒng))，其可以組合語(yǔ)音、數(shù)據(jù)處理、傳真和/或數(shù)據(jù)通信能力；PDA(Personal Digital Assistant,個(gè)人數(shù)字助理)，其可以包括射頻接收器、尋呼機(jī)、互聯(lián)網(wǎng)/內(nèi)聯(lián)網(wǎng)訪問(wèn)、網(wǎng)絡(luò)瀏覽器、記事本、日歷和/或GPS (Global Posit1ning System,全球定位系統(tǒng))接收器；常規(guī)膝上型和/或掌上型計(jì)算機(jī)或其他設(shè)備，其具有和/或包括射頻接收器的常規(guī)膝上型和/或掌上型計(jì)算機(jī)或其他設(shè)備。這里所使用的“終端”、“終端設(shè)備”可以是便攜式、可運(yùn)輸、安裝在交通工具(航空、海運(yùn)和/或陸地)中的，或者適合于和/或配置為在本地運(yùn)行，和/或以分布形式，運(yùn)行在地球和/或空間的任何其他位置運(yùn)行。這里所使用的“終端”、“終端設(shè)備”還可以是通信終端、上網(wǎng)終端、音樂(lè)/視頻播放終端，例如可以是PDA、MID(Mobile Internet Device,移動(dòng)互聯(lián)網(wǎng)設(shè)備)和/或具有音樂(lè)/視頻播放功能的移動(dòng)電話，也可以是智能電視、機(jī)頂盒等設(shè)備。
[0085]本【技術(shù)領(lǐng)域】技術(shù)人員可以理解，這里所使用的服務(wù)器、云端、遠(yuǎn)端網(wǎng)絡(luò)設(shè)備等概念，具有等同效果，其包括但不限于計(jì)算機(jī)、網(wǎng)絡(luò)主機(jī)、單個(gè)網(wǎng)絡(luò)服務(wù)器、多個(gè)網(wǎng)絡(luò)服務(wù)器集或多個(gè)服務(wù)器構(gòu)成的云。在此，云由基于云計(jì)算(Cloud Computing)的大量計(jì)算機(jī)或網(wǎng)絡(luò)服務(wù)器構(gòu)成，其中，云計(jì)算是分布式計(jì)算的一種，由一群松散耦合的計(jì)算機(jī)集組成的一個(gè)超級(jí)虛擬計(jì)算機(jī)。本發(fā)明的實(shí)施例中，遠(yuǎn)端網(wǎng)絡(luò)設(shè)備、終端設(shè)備與WNS服務(wù)器之間可通過(guò)任何通信方式實(shí)現(xiàn)通信，包括但不限于，基于3GPP、LTE、WIMAX的移動(dòng)通信、基于TCP/IP、UDP協(xié)議的計(jì)算機(jī)網(wǎng)絡(luò)通信以及基于藍(lán)牙、紅外傳輸標(biāo)準(zhǔn)的近距無(wú)線傳輸方式。
[0086]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明所稱的“應(yīng)用”、“應(yīng)用程序”、“應(yīng)用軟件”以及類(lèi)似表述的概念，是業(yè)內(nèi)技術(shù)人員所公知的相同概念，是指由一系列計(jì)算機(jī)指令及相關(guān)數(shù)據(jù)資源有機(jī)構(gòu)造的適于電子運(yùn)行的計(jì)算機(jī)軟件。除非特別指定，這種命名本身不受編程語(yǔ)言種類(lèi)、級(jí)別，也不受其賴以運(yùn)行的操作系統(tǒng)或平臺(tái)所限制。理所當(dāng)然地，此類(lèi)概念也不受任何形式的終端所限制。
[0087]本發(fā)明的方法及其裝置，可以通過(guò)編程實(shí)現(xiàn)為軟件，安裝到計(jì)算機(jī)設(shè)備中進(jìn)行運(yùn)行，從而構(gòu)成一臺(tái)網(wǎng)站檢測(cè)設(shè)備。為了進(jìn)一步說(shuō)明本發(fā)明的各個(gè)實(shí)施例，可以先了解企業(yè)網(wǎng)站服務(wù)器實(shí)現(xiàn)的架構(gòu)。每家企業(yè)可能包括一個(gè)或多個(gè)網(wǎng)站，每個(gè)企業(yè)網(wǎng)站均可以分布架設(shè)到一個(gè)到多個(gè)服務(wù)器中。一般而言，如圖1所示，簡(jiǎn)單的企業(yè)網(wǎng)站可能將各個(gè)服務(wù)器81、82直接接入一個(gè)交換機(jī)80而提供服務(wù)，網(wǎng)站檢測(cè)設(shè)備8接入該交換機(jī)80中，更為復(fù)雜的，如圖2所示的網(wǎng)絡(luò)拓?fù)渲?，多個(gè)服務(wù)器81、82可能分別接入不同的交換機(jī)80來(lái)提供服務(wù)。安裝有本發(fā)明的軟件的設(shè)備，特別是其用于采集交換機(jī)數(shù)據(jù)的功能邏輯部份，而不一定是該軟件本身，配置有這一功能邏輯的計(jì)算機(jī)設(shè)備，適宜接入最靠近服務(wù)器的交換機(jī)處。當(dāng)然，理論上也可接入這些交換機(jī)的上級(jí)交換機(jī)中?？梢?jiàn)，這種架構(gòu)的形成，是基于網(wǎng)絡(luò)拓?fù)湓?、是否分布式設(shè)計(jì)而實(shí)施的，理論上并不影響本發(fā)明的實(shí)現(xiàn)，但卻在某種程度上要求本發(fā)明實(shí)現(xiàn)具有靈活適應(yīng)性的開(kāi)放架構(gòu)。
[0088]圖3通過(guò)步驟流程的形式揭示了本發(fā)明的一個(gè)實(shí)施例，該實(shí)施例屬于對(duì)本發(fā)明的網(wǎng)站安全檢測(cè)方法的核心技術(shù)的具體實(shí)現(xiàn)，包括如下步驟:
[0089]步驟S11、獲取通過(guò)旁路偵聽(tīng)而獲得的超文本傳輸協(xié)議請(qǐng)求包。
[0090]旁路偵聽(tīng)技術(shù)本身屬于本領(lǐng)域的公知技術(shù)，基于交換機(jī)的“共享”原理，所有接入該交換機(jī)的計(jì)算機(jī)設(shè)備將共同接收到相同的數(shù)據(jù)包，即當(dāng)一臺(tái)計(jì)算機(jī)向網(wǎng)絡(luò)上另一臺(tái)計(jì)算機(jī)發(fā)送數(shù)據(jù)的時(shí)候，或者一個(gè)請(qǐng)求進(jìn)入該交換機(jī)的時(shí)候，盡管最終可能只有一臺(tái)計(jì)算機(jī)接收該數(shù)據(jù)或請(qǐng)求，其實(shí)該網(wǎng)絡(luò)上的其他計(jì)算機(jī)也能收到該數(shù)據(jù)或請(qǐng)求，只不過(guò)其他計(jì)算機(jī)的網(wǎng)卡識(shí)別到該數(shù)據(jù)或請(qǐng)求的目的地不是自身時(shí)，直接將該數(shù)據(jù)或請(qǐng)求過(guò)濾掉了。也就是說(shuō)，以太網(wǎng)卡都構(gòu)造了硬件的“過(guò)濾器”，這個(gè)過(guò)濾器會(huì)忽略與自身MAC地址不相符合的信息。旁路偵聽(tīng)技術(shù)正是利用這一特點(diǎn)，通過(guò)主動(dòng)關(guān)閉網(wǎng)卡的過(guò)濾器，來(lái)接收整個(gè)交換機(jī)中的數(shù)據(jù)信息，實(shí)現(xiàn)偵聽(tīng)。因此，可以知曉，實(shí)施旁路偵聽(tīng)適宜在最接近目標(biāo)服務(wù)器的交換機(jī)處實(shí)現(xiàn)，理論上，只要將配置有旁路偵聽(tīng)技術(shù)環(huán)境的計(jì)算機(jī)設(shè)備接入該交換機(jī)，即可實(shí)現(xiàn)偵聽(tīng)，從而獲取交換機(jī)的數(shù)據(jù)信息，提取相關(guān)數(shù)據(jù)。
[0091]盡管旁路偵聽(tīng)技術(shù)接入了交換機(jī)，工作于數(shù)據(jù)鏈路層，但利用數(shù)據(jù)鏈路層的數(shù)據(jù)包來(lái)還原為其它協(xié)議層的數(shù)據(jù)已是現(xiàn)有技術(shù)，因此，旁路偵聽(tīng)的具體實(shí)現(xiàn)方式，應(yīng)亦不影響本發(fā)明的實(shí)施。例如，現(xiàn)有技術(shù)中可以借助Linux系統(tǒng)的TcpDump命令來(lái)實(shí)現(xiàn)抓包和數(shù)據(jù)提取，獲得超文本傳輸協(xié)議請(qǐng)求包。
[0092]所述超文本傳輸協(xié)議(HTTP)請(qǐng)求包，對(duì)網(wǎng)站訪問(wèn)而言，包括兩種形式，即get和post請(qǐng)求。兩種請(qǐng)求雖不同，但亦均屬本發(fā)明的處理對(duì)象。通常而言，HTTP請(qǐng)求包的格式主要包括:協(xié)議、服務(wù)器域名、端口號(hào)、請(qǐng)求包路徑、get參數(shù)名、post參數(shù)名、擴(kuò)展名、目標(biāo)服務(wù)器網(wǎng)段等。無(wú)論是get請(qǐng)求包還是post請(qǐng)求包中均包含網(wǎng)頁(yè)的url。網(wǎng)頁(yè)的URL，SP超鏈接，自其域名到其頁(yè)面，有約定的格式。其中，鏈接的末端為其指向的資源的描述，除此之外的前面部分為其路徑。例如網(wǎng)址http://www.#/test/admin.php,其中http://表征協(xié)議格式，www.#為其域名，test為該網(wǎng)站中的目錄,admin.php為指向的資源頁(yè)面,http://www.#/test/相對(duì)于admin.php頁(yè)面而言,便是該鏈接的路徑。而http://www.#/test/admin/admin.php 顯然便是 http://www.#/test/admin.php 的更深層的鏈接。
[0093]適用不同的網(wǎng)絡(luò)架構(gòu)，可以以如下多種方式任意之一或其結(jié)合來(lái)獲取所述由旁路偵聽(tīng)技術(shù)獲取的HTTP請(qǐng)求包:
[0094]一、通過(guò)將本機(jī)接入架設(shè)已知特定網(wǎng)站的服務(wù)器所接入的交換機(jī)。
[0095]這里所稱的本機(jī)，便是指安裝有實(shí)現(xiàn)了本方法的計(jì)算機(jī)設(shè)備，將該計(jì)算機(jī)設(shè)備接該交換機(jī)，使其與所述的服務(wù)器置于同一本地網(wǎng)中，共享交換機(jī)中的數(shù)據(jù)信息，從而，便可借助旁路偵聽(tīng)技術(shù)來(lái)直接獲取向該本地網(wǎng)中的服務(wù)器發(fā)起的請(qǐng)求數(shù)據(jù)，從而獲得相應(yīng)的HTTP請(qǐng)求包。
[0096]二、通過(guò)本機(jī)的遠(yuǎn)程端口接收其他機(jī)器獲取的由旁路偵聽(tīng)技術(shù)獲得的HTTP請(qǐng)求包。
[0097]本例中，所述的計(jì)算機(jī)設(shè)備，并不需要直接接入架設(shè)已知特征網(wǎng)站服務(wù)器所接入的交換機(jī)，而可以位于更為遠(yuǎn)程的地理位置，僅僅通過(guò)其遠(yuǎn)程端口接收其它計(jì)算機(jī)設(shè)備發(fā)送給它的由旁路偵聽(tīng)技術(shù)獲得的HTTP請(qǐng)求包即可。對(duì)于這里所稱的“其它計(jì)算機(jī)設(shè)備”，則應(yīng)直接接入架設(shè)已知特征網(wǎng)站服務(wù)器所接入的交換機(jī)，以便直接獲取相應(yīng)的數(shù)據(jù)，并且這些其它計(jì)算機(jī)設(shè)備上還應(yīng)能與實(shí)現(xiàn)本方法的計(jì)算機(jī)設(shè)備進(jìn)行通信，以便提供各個(gè)交換機(jī)的HTTP請(qǐng)求包。
[0098]上述兩種不同的獲取請(qǐng)求包的方式，是基于不同的網(wǎng)站服務(wù)器實(shí)現(xiàn)架構(gòu)而提出的。無(wú)論采用何種具體方式，由旁路偵聽(tīng)技術(shù)所獲取的交換機(jī)數(shù)據(jù)包均能借助現(xiàn)有技術(shù)自動(dòng)識(shí)別出所述HTTP請(qǐng)求包，以便該些HTTP請(qǐng)求包能被進(jìn)一步處理。
[0099]步驟S12、利用所述請(qǐng)求包所包含的鏈接確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0100]本發(fā)明所針對(duì)的網(wǎng)站是特定的，一般是應(yīng)用本發(fā)明的方法的企業(yè)自身的一個(gè)或多個(gè)已知網(wǎng)站，這些網(wǎng)站擁有一些共同特征，其鏈接均解釋到特定的一些IP地址段上、其域名所有人均為該企業(yè)或該企業(yè)的客戶，或者，是該企業(yè)參與管理的目標(biāo)網(wǎng)站。更具體而言，這種特定關(guān)系，是指以本方法實(shí)現(xiàn)的軟件所需關(guān)注的網(wǎng)站。而是否屬于該軟件所需關(guān)注的網(wǎng)站，在技術(shù)層面上，是以本發(fā)明的方法進(jìn)行判斷的，具體既可以提供界面人為設(shè)定，也可以是以鏈接和/或IP地址和/或域名注冊(cè)特征信息為基礎(chǔ)進(jìn)行綜合判斷。因此，本發(fā)明的已知特定網(wǎng)站的識(shí)別依據(jù)，不能僅僅理解為某個(gè)域名或其IP地址，還應(yīng)包括雖未進(jìn)行人為明文設(shè)定，但實(shí)質(zhì)上是該企業(yè)所要納入的檢測(cè)對(duì)象，包括任何解析到實(shí)質(zhì)上屬于部分已知特定網(wǎng)站已經(jīng)占據(jù)的IP地址的新增域名的鏈接。
[0101]由此可知，相對(duì)于爬蟲(chóng)技術(shù)，本發(fā)明雖不需精心挑選種子URL，但有必要提供有關(guān)一些特定網(wǎng)站的基礎(chǔ)設(shè)置，以設(shè)定本發(fā)明的已知特定網(wǎng)站。相應(yīng)于前述說(shuō)明，設(shè)定這些已知特定網(wǎng)站的方式也是多種多樣的。給出已知特定網(wǎng)站的過(guò)程，不管給出的內(nèi)容是IP地址還是域名之類(lèi)的資源定位符，在本質(zhì)上都是給出網(wǎng)站的鏈接，因此這個(gè)過(guò)程本質(zhì)上也是確定本發(fā)明的新鏈接的過(guò)程。以下進(jìn)一步揭示本發(fā)明用于確定已知特定網(wǎng)站和/或其新鏈接的幾種具體方法:
[0102]一、利用圖形用戶界面設(shè)置已知特定網(wǎng)站和/或其關(guān)聯(lián)新鏈接。
[0103]具體而言，以本發(fā)明實(shí)現(xiàn)的軟件在首次運(yùn)行時(shí)，將提供一圖形用戶界面，用于提供給用戶進(jìn)行部分已知特定網(wǎng)站的設(shè)定，用戶通過(guò)向該圖形用戶界面輸入與這些已知特定網(wǎng)站有關(guān)的內(nèi)容而完成設(shè)定，從而預(yù)先給定一個(gè)或多個(gè)已知特定網(wǎng)站。這些預(yù)先給定的內(nèi)容，既可以是一個(gè)或多個(gè)域名，例如s0.com,#等，也可以是與服務(wù)器相對(duì)應(yīng)的IP地址，以及由IP地址構(gòu)成的連續(xù)IP地址段或離散IP地址段區(qū)間。這些設(shè)置內(nèi)容，如前所述，本質(zhì)上可以被理解為一個(gè)關(guān)聯(lián)新鏈接，可以被存儲(chǔ)于一個(gè)已知特定網(wǎng)站列表中，以便本方法的后續(xù)調(diào)用。需要指出的是，這個(gè)已知特定網(wǎng)站列表，實(shí)質(zhì)上也相當(dāng)于一個(gè)鏈接庫(kù)，因此，可以被視為鏈接庫(kù)進(jìn)行后續(xù)利用，或者將之視為鏈接庫(kù)的數(shù)據(jù)來(lái)源。這里所稱的鏈接庫(kù)，類(lèi)似于爬蟲(chóng)技術(shù)，可以被直接用作后續(xù)的待掃描隊(duì)列，也可以僅僅是為后續(xù)的待掃描隊(duì)列提供基礎(chǔ)數(shù)據(jù)。因此可知，在這個(gè)基礎(chǔ)上，這些用于確定部分已知特定網(wǎng)站的域名或者IP地址以及相關(guān)信息，便構(gòu)成了本發(fā)明的新鏈接，或者至少可用于構(gòu)造本發(fā)明的新鏈接，成為本發(fā)明的軟件首次實(shí)施掃描的處理對(duì)象。而在后續(xù)維護(hù)時(shí)利用這種方式來(lái)繼續(xù)添加新鏈接，當(dāng)該新鏈接的域名不同于其它已知特定網(wǎng)站域名時(shí)，實(shí)質(zhì)上也就是通過(guò)擴(kuò)展更多域名而添加了新的已知特定網(wǎng)站。
[0104]二、利用域名注冊(cè)信息確定已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0105]已知特定網(wǎng)站的關(guān)聯(lián)新鏈接，包括屬于已經(jīng)登記的網(wǎng)站(可以通過(guò)包含已登記域名識(shí)別)之下的所有鏈接和/或域名未經(jīng)登記的網(wǎng)站的所有鏈接。對(duì)于后者，是指本步驟從所述請(qǐng)求包獲得的鏈接，包含新域名，不屬于目前已存在的已知特定網(wǎng)站的鏈接范圍時(shí)，無(wú)法確定該鏈接是否屬于企業(yè)自有網(wǎng)站、是否需要視為屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接時(shí)，需要通過(guò)技術(shù)手段進(jìn)一步確定是否應(yīng)將其視為已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。因此，可以通過(guò)調(diào)用域名注冊(cè)網(wǎng)站提供的接口，來(lái)對(duì)這個(gè)鏈接中的新域名進(jìn)行查詢，確定其注冊(cè)特征信息，具體包括例如域名所有人、域名備案號(hào)等，這些注冊(cè)特征信息是否與目前存在的已知特定網(wǎng)站域名的注冊(cè)特征信息相同，當(dāng)兩者相同時(shí)，則將該新鏈接視為已知特定網(wǎng)站的關(guān)聯(lián)新鏈接，在本方法中運(yùn)用；否則丟棄該請(qǐng)求包不予處理。繼而可直接將該新域名和/或下層新鏈接添加到一個(gè)如前所述的已知特定網(wǎng)站列表中備用。顯然，查詢新域名注冊(cè)特征信息的操作，既可以是人為的，也可以是利用軟件實(shí)現(xiàn)的。當(dāng)為前者時(shí)，實(shí)際上是對(duì)前述第一種方式的后續(xù)維護(hù)。當(dāng)為后者時(shí)，則使本發(fā)明實(shí)現(xiàn)了對(duì)已知特定網(wǎng)站列表的動(dòng)態(tài)擴(kuò)展維護(hù)。如果該已知特定網(wǎng)站列表即為所述鏈接庫(kù)或所述的待掃描隊(duì)列，則本質(zhì)上便是在維護(hù)一個(gè)新鏈接列表，該新鏈接列表自然可用做本發(fā)明后文所需的多個(gè)相關(guān)處理環(huán)節(jié)的數(shù)據(jù)基礎(chǔ)。
[0106]三、利用IP地址來(lái)動(dòng)態(tài)確定已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0107]眾所周知的，域名與IP地址之間具有映射關(guān)系。因此，通過(guò)已知的域名可以確定相應(yīng)的IP地址，同一個(gè)網(wǎng)站可能由多個(gè)IP地址所指向的服務(wù)器提供服務(wù)，因此，網(wǎng)站與IP地址間可能存在一對(duì)多、多對(duì)多的映射關(guān)系。實(shí)踐中，企業(yè)網(wǎng)站通常使用由連續(xù)IP地址構(gòu)成的IP地址段來(lái)架設(shè)其服務(wù)器。有鑒于此，利用目前已經(jīng)存在的已知特定網(wǎng)站，可以確定其所占據(jù)的IP地址段。當(dāng)請(qǐng)求包的鏈接中的新域名包含不屬于目前已經(jīng)存在的已知特定網(wǎng)站的域名之一時(shí)，這時(shí)可以比較該新域名所指向的IP地址是否屬于目前已經(jīng)存在的已知特定網(wǎng)站所占有的IP地址之一，如果是，則同理可將該請(qǐng)求包的所述鏈接視為新的已知特定網(wǎng)站關(guān)聯(lián)新鏈接而添加到一個(gè)如前所述的已知特定網(wǎng)站列表中。同理，如果該已知特定網(wǎng)站列表即為所述鏈接庫(kù)或所述的待掃描隊(duì)列，本處理方式本質(zhì)上便是在維護(hù)一個(gè)新鏈接列表，該新鏈接列表自然可用做本發(fā)明后文所需的多個(gè)相關(guān)處理環(huán)節(jié)的數(shù)據(jù)基礎(chǔ)。
[0108]由此可知，本發(fā)明區(qū)別于爬蟲(chóng)技術(shù)的重點(diǎn)之一，在于本發(fā)明具有確定的已知特定網(wǎng)站，并且，這些已知特定網(wǎng)站，既可以初始化人為給定，也可以由以本方法實(shí)現(xiàn)的軟件動(dòng)態(tài)識(shí)別添加，而不必有如爬蟲(chóng)技術(shù)般嚴(yán)格依賴于種子URL。而且，這些已知特定網(wǎng)站在本質(zhì)上是一系列的鏈接，既可以使用一個(gè)列表進(jìn)行獨(dú)立維護(hù)，也可以將這個(gè)列表用作鏈接庫(kù)，甚至直接將這個(gè)列表用作待掃描隊(duì)列。具體如何利用這一列表，只是數(shù)據(jù)庫(kù)技術(shù)在本方法中的靈活結(jié)合運(yùn)用，對(duì)本領(lǐng)域技術(shù)人員而言是顯而易見(jiàn)的。例如，一種方式中，已知特定網(wǎng)站列表本質(zhì)上即是本發(fā)明的待掃描隊(duì)列，對(duì)于新鏈接，順序追加到列表并附上相應(yīng)的表征未掃描的標(biāo)識(shí)即可，掃描后更改這些標(biāo)識(shí)為表征已掃描的描述。另一種方式，該列表是獨(dú)立的，主要用于記錄各個(gè)域名和相應(yīng)的IP地址，而另外設(shè)置待掃描隊(duì)列，當(dāng)識(shí)別出關(guān)聯(lián)新鏈接時(shí)，新鏈接的域名將被添加到該列表中，而新鏈接本身則被添加到待掃描隊(duì)列中，以后凡是包含此域名的鏈接也均不必再行解析，而直接將其添加到待掃描隊(duì)列中。再一種方式，已知特定網(wǎng)站列表、鏈接庫(kù)、待掃描隊(duì)列均是相互獨(dú)立的，已知特定網(wǎng)站列表僅已知特定網(wǎng)站有關(guān)的存儲(chǔ)域名，該鏈接庫(kù)用于存儲(chǔ)所有已經(jīng)識(shí)別的與已知特定網(wǎng)站有關(guān)的鏈接，而待掃描隊(duì)列僅用于存儲(chǔ)從鏈接庫(kù)中獲得的新鏈接，這種方式保證了各類(lèi)型數(shù)據(jù)的獨(dú)立性，可用做更為復(fù)雜的用途。
[0109]如前所述，以上三種方式任意之一，不僅可以用于確定本發(fā)明的已知特定網(wǎng)站，而且，本質(zhì)上也是本發(fā)明用于確定是否屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接的過(guò)程。為了簡(jiǎn)化后續(xù)的說(shuō)明和理解，有必要交待，以下的描述中，按照前文的一種方式，將上述的已知特定網(wǎng)站列表完全等同于本發(fā)明后文揭示的待掃描隊(duì)列。但這種簡(jiǎn)化應(yīng)足以讓本領(lǐng)域技術(shù)人員將其擴(kuò)展到包括利用鏈接庫(kù)保存有效鏈接的應(yīng)用場(chǎng)景中。
[0110]在經(jīng)過(guò)上述內(nèi)容的揭示后，理解了本發(fā)明的已知特定網(wǎng)站的概念，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)足以實(shí)施本步驟。進(jìn)一步，上述給出了已知特定網(wǎng)站的確定以及屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接的判定方法之后，將更有助于本領(lǐng)域技術(shù)人員對(duì)本步驟的更深入的實(shí)施例的理解。以上兩個(gè)層次實(shí)際上給出了本步驟的兩個(gè)不同層次的變例，因此，利用所述請(qǐng)求包所包含的鏈接，并確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接，這一技術(shù)手段的實(shí)施已經(jīng)獲得充分的公開(kāi)。
[0111]為了進(jìn)一步體現(xiàn)發(fā)明的優(yōu)越性，如下進(jìn)一步揭示本步驟的細(xì)分步驟，來(lái)體現(xiàn)依據(jù)本步驟實(shí)現(xiàn)的另一實(shí)施例。請(qǐng)參閱圖4，本步驟的細(xì)分步驟包括:
[0112]步驟S121、提取已獲取的所有請(qǐng)求包的鏈接。
[0113]由本方法實(shí)現(xiàn)的軟件，匯總所有的由旁路偵聽(tīng)獲得的請(qǐng)求包之后，對(duì)請(qǐng)求包進(jìn)行鏈接提取。由于http請(qǐng)求包中包含了網(wǎng)頁(yè)的url,對(duì)應(yīng)地,從http請(qǐng)求包中可以還原得到相應(yīng)的鏈接，即網(wǎng)頁(yè)的url?？梢韵刃袑?duì)這些鏈接進(jìn)行公知的一些技術(shù)分析，如分析其是否有效鏈接。
[0114]有效鏈接指能夠正常打開(kāi)網(wǎng)頁(yè)或下載文件的鏈接。無(wú)效鏈接指頁(yè)面已經(jīng)無(wú)效，無(wú)法對(duì)用戶提供任何有價(jià)值信息的頁(yè)面。當(dāng)某一鏈接出現(xiàn)無(wú)域名、域名不全、鏈接不完整、post協(xié)議數(shù)據(jù)包沒(méi)內(nèi)容等現(xiàn)象時(shí)則將該鏈接判定為無(wú)效鏈接。以域名為abed, com的某一鏈接為例，若鏈接中沒(méi)有出現(xiàn)域名abed, com或只出現(xiàn)域名的一部分如ad.com，則該鏈接為無(wú)效鏈接。
[0115]對(duì)從請(qǐng)求包中獲取的鏈接進(jìn)行分析，判定該鏈接是否為有效鏈接，若鏈接出現(xiàn)無(wú)域名、域名不全、鏈接不完整、post協(xié)議數(shù)據(jù)包沒(méi)內(nèi)容等現(xiàn)象則判定鏈接為無(wú)效鏈接，無(wú)效鏈接不參與后續(xù)的處理；若否則為有效鏈接，后續(xù)只處理有效鏈接。
[0116]步驟S122、去除所提取的鏈接中指向具有相同代碼的網(wǎng)頁(yè)的重復(fù)鏈接。
[0117]每條所提取的鏈接，主要是指其中的有效鏈接，本質(zhì)上均指向相應(yīng)的已知特定網(wǎng)站的一個(gè)網(wǎng)頁(yè)，但是，這些有效鏈接中還可能存在大量的重復(fù)鏈接。所謂重復(fù)鏈接，是指這些鏈接，指向的網(wǎng)頁(yè)是具有相同代碼的網(wǎng)頁(yè)，只是提供給原始網(wǎng)頁(yè)以不同的數(shù)據(jù)庫(kù)訪問(wèn)變量，而導(dǎo)致網(wǎng)頁(yè)在鏈接內(nèi)容上呈現(xiàn)出不同，但這些網(wǎng)頁(yè)的漏洞點(diǎn)是完全相同的。
[0118]例如，兩條有效鏈接，彼此開(kāi)頭部分相同，而末尾處分別為/a.php ? = I與/a.php ? = 2，這兩條鏈接事實(shí)上僅僅是從數(shù)據(jù)庫(kù)里提取的數(shù)據(jù)不同而已，其中可以視為變量，故而兩條鏈接的不同實(shí)際上只是變量不同，這種情況下，利用其中任意一條鏈接即可指向其它鏈接所指向的網(wǎng)頁(yè)，因此，只需保留其中一條鏈接即可。進(jìn)一步，可以去除其尾部變量，直接將鏈接的末尾處改成/a.php,而刪除所有帶變量的相關(guān)鏈接，也可起到相同的效果。這種重復(fù)鏈接網(wǎng)頁(yè)多見(jiàn)于論壇中。
[0119]又如，新聞網(wǎng)站中的網(wǎng)頁(yè)末尾處常見(jiàn)/data/2011201與/data/2011202這樣的鏈接描述，其中2011201和2011202同理應(yīng)視為變量，除了這兩個(gè)變量不同之外，兩條鏈接的其余文字均相同，因此，本質(zhì)上也是指向具有相同代碼的網(wǎng)頁(yè)的兩條重復(fù)鏈接。
[0120]為了提高本發(fā)明的運(yùn)算效率，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)借助包括公知技術(shù)在內(nèi)的手段為提取出的鏈接去除其中的重復(fù)鏈接。為了更有助于本領(lǐng)域技術(shù)人員實(shí)施本發(fā)明，以下列出兩種可選的或者并用的由本發(fā)明創(chuàng)新的去除重復(fù)鏈接的方法供參照實(shí)施:
[0121]方法一:先對(duì)鏈接進(jìn)行排序，取相鄰鏈接進(jìn)行比較分析，當(dāng)發(fā)現(xiàn)各鏈接僅變量不同其余內(nèi)容完全相同時(shí)，將其確定為是因?yàn)樵L問(wèn)數(shù)據(jù)庫(kù)而形成的僅其變量不同的多個(gè)鏈接，因而確定為重復(fù)鏈接，這種情況下，僅保留諸多重復(fù)鏈接中的一條，其余全部刪除，以去除重復(fù)鏈接。
[0122]方法二:先對(duì)鏈接進(jìn)行排序，取相鄰鏈接所指向的網(wǎng)頁(yè)簽名進(jìn)行比較，當(dāng)發(fā)現(xiàn)簽名相同時(shí)，確定這些鏈接屬于重復(fù)鏈接，僅保留其中的一條鏈接，刪除其它鏈接，從而實(shí)現(xiàn)去除重復(fù)鏈接。
[0123]上述兩種方法中的排序，以及取相鄰鏈接的手段，并非必須，本領(lǐng)域技術(shù)人員可以動(dòng)用一切可以有助于提高比較的公知算法加以代替，恕不贅述?？梢钥闯?，通過(guò)對(duì)重復(fù)鏈接進(jìn)行去重，所得到的鏈接便具有一定的唯一性網(wǎng)頁(yè)指向，顯然有助于提高后續(xù)步驟的執(zhí)行效率。
[0124]步驟S123、確定經(jīng)前一步驟處理后的鏈接中的關(guān)聯(lián)新鏈接，將該新鏈接添加至待掃描隊(duì)列。
[0125]如前所述，確定新鏈接的過(guò)程，其實(shí)質(zhì)上也是在確定該鏈接是否與目前已存在的已知特定網(wǎng)站存在關(guān)聯(lián)關(guān)系，因此而確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接，不僅包括已經(jīng)記錄到已知特定網(wǎng)站列表(待掃描隊(duì)列)中的域名、IP地址或者更具體的鏈接等，還包括一些其域名未出現(xiàn)在該列表中、而其映射的IP地址卻已經(jīng)被記錄到該列表中或者落入該列表中已記錄的IP地址所構(gòu)成的IP地址段或IP地址段區(qū)間的鏈接。因此，在本步驟中確定關(guān)聯(lián)新鏈接，也即對(duì)上述揭示的三種確定屬于已知特定網(wǎng)站或?qū)儆谄潢P(guān)聯(lián)新鏈接的方法進(jìn)行靈活運(yùn)用的過(guò)程。顯然，容易理解，運(yùn)用上述三種方法是靈活的，可以僅選其中一種，也可同時(shí)選擇任意多種。其中第一種，通過(guò)手動(dòng)登記的方式，適于從中登記一個(gè)網(wǎng)站域名，此后所有該域名之下的未曾掃描的具體鏈接(如前所述可以通過(guò)在鏈接庫(kù)中或者待掃描隊(duì)列中標(biāo)識(shí)狀態(tài)來(lái)識(shí)別)，均視為該網(wǎng)站的關(guān)聯(lián)新鏈接；其中的第二種，利用域名注冊(cè)特征信息來(lái)登記，無(wú)論是通過(guò)人為查詢還是程序?qū)崿F(xiàn)，均能起到如第一種同理的效果，但在程序中實(shí)現(xiàn)的方式是本步驟可采用的關(guān)鍵，能夠藉此提高程序的智能化和自動(dòng)化程度；其中的第三種，通過(guò)比較請(qǐng)求包鏈接所指向的IP地址是否落入目前存在的已知特定網(wǎng)站列表中的鏈接所指向的IP地址或由其構(gòu)成的連續(xù)IP地址段范圍，來(lái)決定是否將該請(qǐng)求包鏈接視為屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接，這種方式能夠自動(dòng)擴(kuò)展已知特定網(wǎng)站列表，如果已知特定網(wǎng)站是單列一個(gè)列表，那么，可以將該新鏈接的域名添加到該列表中，而將該新鏈接添加到鏈接庫(kù)(如有)和待掃描隊(duì)列中；如果已知特定網(wǎng)站列表即同時(shí)用做待掃描隊(duì)列，那么，直接添加該新鏈接到已知特定網(wǎng)站列表也便是將該新鏈接添加到待掃描隊(duì)列的過(guò)程。
[0126]借助上述揭示的幾種方式任意之一對(duì)本發(fā)明的有效鏈接進(jìn)行了有關(guān)新鏈接的上述過(guò)程的篩選之后，所得到便是所有新鏈接(必要時(shí)可以在這些新鏈接的基礎(chǔ)上，利用爬蟲(chóng)技術(shù)，將其視為種子URL進(jìn)展新鏈接擴(kuò)展)，為了便于后續(xù)步驟的執(zhí)行，將該些新鏈接添加到如前所述的待掃描隊(duì)列中。不管該待掃描隊(duì)列是否與已知特定網(wǎng)站列表共用一表，還是進(jìn)一步與所述鏈接庫(kù)共用一表，或者待掃描隊(duì)列是單獨(dú)的一表，等等，如前所述，本領(lǐng)域技術(shù)人員均能夠利用尋常知識(shí)在該待掃描隊(duì)列中登記所有確定的新鏈接，并在后續(xù)僅僅對(duì)該些新鏈接實(shí)施漏洞掃描。
[0127]步驟S13、對(duì)所述新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0128]在經(jīng)過(guò)上述步驟靈活的多種變例進(jìn)行處理，最終從所有請(qǐng)求包鏈接中確定了所有新鏈接之后，可以集中對(duì)這些新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。當(dāng)然，所謂的集中，在時(shí)間上可以一般是周期性的。因?yàn)橛脩粽?qǐng)求不斷發(fā)生，本方法能不斷獲取請(qǐng)求包，并可不斷對(duì)請(qǐng)求包進(jìn)行分析，但不可能等到用戶不再發(fā)送請(qǐng)求時(shí)才開(kāi)始進(jìn)行掃描檢測(cè)。因此，本步驟與其它步驟只有邏輯上的關(guān)系，不應(yīng)以這種邏輯關(guān)系排除其在時(shí)間上的穿插關(guān)系。例如，可以一邊確定新鏈接，一邊對(duì)之前已確定的新鏈接進(jìn)行掃描。可以以一個(gè)進(jìn)程不斷確定接收請(qǐng)求包并確定新鏈接，將新鏈接存入待掃描隊(duì)列，而另一進(jìn)程則不斷地對(duì)待掃描隊(duì)列中的新鏈接實(shí)施掃描。不管其它步驟如何靈活變通實(shí)現(xiàn)，本步驟僅需關(guān)注所述待掃描隊(duì)列中的新鏈接，同理，無(wú)論本步驟如何靈活變通實(shí)現(xiàn)，前述各步驟最終提供的接口也在于一個(gè)存儲(chǔ)有新鏈接的待掃描隊(duì)列，待掃描隊(duì)列無(wú)疑成為本步驟與之前的步驟之間的接口，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)知曉此一原理。
[0129]本發(fā)明所稱新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)中的對(duì)應(yīng)關(guān)系，既可以是指由新鏈接利用域名與IP地址的關(guān)系直接映射到網(wǎng)站服務(wù)器中相應(yīng)的網(wǎng)頁(yè)的關(guān)系，也可以是指將該相應(yīng)網(wǎng)頁(yè)下載后存儲(chǔ)于本地網(wǎng)頁(yè)庫(kù)中的這種間接的一一對(duì)應(yīng)關(guān)系。因此，適應(yīng)這兩種具體的對(duì)應(yīng)關(guān)系，可以采取以下兩種方式任意之一對(duì)本發(fā)明確定的新鏈接所指向的網(wǎng)頁(yè)進(jìn)行漏洞掃描檢測(cè)。
[0130]方式一、從所述待掃描隊(duì)列中獲取記載于其中的新鏈接，然后，利用該新鏈接直接映射的在線網(wǎng)頁(yè)，通過(guò)向其網(wǎng)站服務(wù)器發(fā)送請(qǐng)求，利用網(wǎng)站服務(wù)器返回的網(wǎng)頁(yè)進(jìn)行漏洞掃描檢測(cè)。這種方式會(huì)加大新鏈接所在服務(wù)器的負(fù)擔(dān)和處理時(shí)間，但可以適當(dāng)節(jié)省利用本方法實(shí)現(xiàn)的軟件的運(yùn)算量。
[0131]方式二、先利用待掃描隊(duì)列中記載的新鏈接去下載這些新鏈接直接映射的網(wǎng)頁(yè)，下載方法可以同方式一，將這些網(wǎng)頁(yè)添加至一個(gè)本地網(wǎng)頁(yè)庫(kù)中，然后對(duì)這些本地網(wǎng)頁(yè)庫(kù)中的各個(gè)網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)?；蛘咭部扇缜八?，開(kāi)設(shè)兩個(gè)進(jìn)程，一個(gè)用于不斷下載各新鏈接所映射的在線網(wǎng)頁(yè)至本地網(wǎng)頁(yè)庫(kù)，另一個(gè)則不斷地對(duì)剛下載的本地網(wǎng)頁(yè)庫(kù)中的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0132]按照上述方式，不管具體如何利用待掃描隊(duì)列中的新鏈接進(jìn)行漏洞掃描檢測(cè)，顯然，均不影響不發(fā)明所要達(dá)到的漏洞掃描檢測(cè)效果。
[0133]具體進(jìn)行漏洞掃描檢測(cè)時(shí)，是結(jié)合網(wǎng)站安全檢測(cè)漏洞數(shù)據(jù)和網(wǎng)站安全檢測(cè)規(guī)則實(shí)施的。網(wǎng)站安全檢測(cè)漏洞數(shù)據(jù)包括以下至少之一:掛馬數(shù)據(jù)、虛假欺詐數(shù)據(jù)、搜索屏蔽數(shù)據(jù)、旁注數(shù)據(jù)、篡改數(shù)據(jù)、漏洞數(shù)據(jù)。根據(jù)網(wǎng)站安全檢測(cè)漏洞數(shù)據(jù)，按照與網(wǎng)站安全檢測(cè)漏洞數(shù)據(jù)相對(duì)應(yīng)的網(wǎng)站安全檢測(cè)規(guī)則對(duì)網(wǎng)站進(jìn)行安全檢測(cè)，其中，網(wǎng)站安全檢測(cè)規(guī)則包括以下至少之一:掛馬規(guī)則、虛假欺詐規(guī)則、屏蔽規(guī)則、旁注規(guī)則、篡改規(guī)則、和漏洞規(guī)則。本發(fā)明主要利用漏洞規(guī)則對(duì)網(wǎng)頁(yè)進(jìn)行掃描。漏洞規(guī)則用于根據(jù)漏洞數(shù)據(jù)確定網(wǎng)站存在的漏洞。
[0134]根據(jù)漏洞數(shù)據(jù)，按照漏洞規(guī)則對(duì)網(wǎng)站進(jìn)行安全檢測(cè)包括:獲取預(yù)先存儲(chǔ)的漏洞特征數(shù)據(jù)庫(kù)中的漏洞特征，判斷漏洞數(shù)據(jù)是否符合漏洞特征，若漏洞數(shù)據(jù)符合漏洞特征，則確定為漏洞；若漏洞數(shù)據(jù)不符合漏洞特征，則確定為非漏洞。根據(jù)判斷結(jié)果確定網(wǎng)站存在的漏洞，其中，漏洞特征可以為漏洞關(guān)鍵字。如，將網(wǎng)頁(yè)狀態(tài)代碼404作為漏洞關(guān)鍵字；或者，將404頁(yè)面內(nèi)容作為漏洞關(guān)鍵字；或者，通過(guò)訪問(wèn)網(wǎng)站的正常網(wǎng)頁(yè)，提取該正常網(wǎng)頁(yè)的網(wǎng)頁(yè)內(nèi)容、網(wǎng)頁(yè)狀態(tài)代碼和http頭部，訪問(wèn)該網(wǎng)站不存在的網(wǎng)頁(yè)，提取反饋網(wǎng)頁(yè)的網(wǎng)頁(yè)內(nèi)容、網(wǎng)頁(yè)狀態(tài)代碼和http頭部，比較該正常網(wǎng)頁(yè)和該反饋網(wǎng)頁(yè)的網(wǎng)頁(yè)內(nèi)容、網(wǎng)頁(yè)狀態(tài)代碼和http頭部，獲取404關(guān)鍵字作為漏洞關(guān)鍵字；再或者，訪問(wèn)不存在的網(wǎng)頁(yè)，將反饋網(wǎng)頁(yè)的網(wǎng)頁(yè)內(nèi)容、網(wǎng)頁(yè)狀態(tài)代碼和http頭部作為漏洞關(guān)鍵字等等，本發(fā)明對(duì)此不作限制。
[0135]通過(guò)上述各步驟，本發(fā)明的方法便可完成對(duì)網(wǎng)站進(jìn)行安全檢測(cè)的任務(wù)，將漏洞掃描后的結(jié)果存儲(chǔ)于相應(yīng)的文件或數(shù)據(jù)庫(kù)中，可供它用。進(jìn)一步，為了取得更佳的人機(jī)交互效果，本發(fā)明還可以參照?qǐng)D5所揭示的實(shí)施例可選地執(zhí)行如下步驟:
[0136]步驟S14、顯示圖形用戶界面以輸出實(shí)施漏洞掃描檢測(cè)的結(jié)果信息。
[0137]由于本方法適于以編程的方式實(shí)現(xiàn)，因此，可以通過(guò)該程序?qū)崿F(xiàn)一個(gè)圖形用戶界面，在執(zhí)行完前述步驟完成漏洞掃描檢測(cè)之后，對(duì)檢測(cè)結(jié)果進(jìn)行分析、統(tǒng)計(jì)，將進(jìn)行數(shù)學(xué)處理后的結(jié)果信息輸出到該圖形用戶界面中，可以使網(wǎng)管員一目了然，從而便于網(wǎng)管員修補(bǔ)網(wǎng)頁(yè)漏洞。
[0138]在詳細(xì)揭示了本發(fā)明的上述方法的多種實(shí)施形式之后，以下結(jié)合模塊化思維，揭示利用本發(fā)明的方法進(jìn)一步實(shí)現(xiàn)的相應(yīng)的裝置的實(shí)施例，以便本領(lǐng)域技術(shù)人員更透徹地理解本發(fā)明。需要注意的是，本方法所采用的概念及原理，同理適用于本發(fā)明的相應(yīng)的裝置，故以下的描述將簡(jiǎn)化部分說(shuō)明。
[0139]請(qǐng)參閱圖6，本發(fā)明的網(wǎng)站安全檢測(cè)裝置，配置于一臺(tái)用作安全檢測(cè)設(shè)備的計(jì)算機(jī)設(shè)備中，包括抓包單元11、查新單元12、檢測(cè)單元13,以及如圖7所示實(shí)施例所揭示可選地包括顯示單元14。
[0140]所述的抓包單元11，用于獲取通過(guò)旁路偵聽(tīng)而獲得的超文本傳輸協(xié)議請(qǐng)求包。
[0141]旁路偵聽(tīng)技術(shù)本身屬于本領(lǐng)域的公知技術(shù)，基于交換機(jī)的“共享”原理，所有接入該交換機(jī)的計(jì)算機(jī)設(shè)備將共同接收到相同的數(shù)據(jù)包，即當(dāng)一臺(tái)計(jì)算機(jī)向網(wǎng)絡(luò)上另一臺(tái)計(jì)算機(jī)發(fā)送數(shù)據(jù)的時(shí)候，或者一個(gè)請(qǐng)求進(jìn)入該交換機(jī)的時(shí)候，盡管最終可能只有一臺(tái)計(jì)算機(jī)接收該數(shù)據(jù)或請(qǐng)求，其實(shí)該網(wǎng)絡(luò)上的其他計(jì)算機(jī)也能收到該數(shù)據(jù)或請(qǐng)求，只不過(guò)其他計(jì)算機(jī)的網(wǎng)卡識(shí)別到該數(shù)據(jù)或請(qǐng)求的目的地不是自身時(shí)，直接將該數(shù)據(jù)或請(qǐng)求過(guò)濾掉了。也就是說(shuō)，以太網(wǎng)卡都構(gòu)造了硬件的“過(guò)濾器”，這個(gè)過(guò)濾器會(huì)忽略與自身MAC地址不相符合的信息。旁路偵聽(tīng)技術(shù)正是利用這一特點(diǎn)，通過(guò)主動(dòng)關(guān)閉網(wǎng)卡的過(guò)濾器，來(lái)接收整個(gè)交換機(jī)中的數(shù)據(jù)信息，實(shí)現(xiàn)偵聽(tīng)。因此，可以知曉，實(shí)施旁路偵聽(tīng)適宜在最接近目標(biāo)服務(wù)器的交換機(jī)處實(shí)現(xiàn)，理論上，只要將配置有旁路偵聽(tīng)技術(shù)環(huán)境的計(jì)算機(jī)設(shè)備接入該交換機(jī)，即可實(shí)現(xiàn)偵聽(tīng)，從而獲取交換機(jī)的數(shù)據(jù)信息，提取相關(guān)數(shù)據(jù)。
[0142]盡管旁路偵聽(tīng)技術(shù)接入了交換機(jī)，工作于數(shù)據(jù)鏈路層，但利用數(shù)據(jù)鏈路層的數(shù)據(jù)包來(lái)還原為其它協(xié)議層的數(shù)據(jù)已是現(xiàn)有技術(shù)，因此，旁路偵聽(tīng)的具體實(shí)現(xiàn)方式，應(yīng)亦不影響本發(fā)明的實(shí)施。例如，現(xiàn)有技術(shù)中可以借助Linux系統(tǒng)的TcpDump命令來(lái)實(shí)現(xiàn)抓包和數(shù)據(jù)提取，獲得超文本傳輸協(xié)議請(qǐng)求包。
[0143]所述超文本傳輸協(xié)議(HTTP)請(qǐng)求包，對(duì)網(wǎng)站訪問(wèn)而言，包括兩種形式，即get和post請(qǐng)求。兩種請(qǐng)求雖不同，但亦均屬本發(fā)明的處理對(duì)象。通常而言，HTTP請(qǐng)求包的格式主要包括:協(xié)議、服務(wù)器域名、端口號(hào)、請(qǐng)求包路徑、get參數(shù)名、post參數(shù)名、擴(kuò)展名、目標(biāo)服務(wù)器網(wǎng)段等。無(wú)論是get請(qǐng)求包還是post請(qǐng)求包中均包含網(wǎng)頁(yè)的url。網(wǎng)頁(yè)的URL，SP超鏈接，自其域名到其頁(yè)面，有約定的格式。其中，鏈接的末端為其指向的資源的描述，除此之外的前面部分為其路徑。例如網(wǎng)址http://www.#/test/admin.php,其中http://表征協(xié)議格式，www.#為其域名，test為該網(wǎng)站中的目錄,admin.php為指向的資源頁(yè)面，http://www.#/test/相對(duì)于admin.php頁(yè)面而言,便是該鏈接的路徑。而http://www.#/test/admin/admin.php 顯然便是 http://www.#/test/admin.php 的更深層的鏈接。
[0144]適用不同的網(wǎng)絡(luò)架構(gòu)，可以以如下多種方式任意之一或其結(jié)合來(lái)獲取所述由旁路偵聽(tīng)技術(shù)獲取的HTTP請(qǐng)求包:
[0145]一、通過(guò)將本機(jī)接入架設(shè)已知特定網(wǎng)站的服務(wù)器所接入的交換機(jī)。
[0146]這里所稱的本機(jī)，便是指安裝有裝配有本發(fā)明的裝置的計(jì)算機(jī)設(shè)備，將該計(jì)算機(jī)設(shè)備接該交換機(jī)，使其與所述的服務(wù)器置于同一本地網(wǎng)中，共享交換機(jī)中的數(shù)據(jù)信息，從而，便可借助旁路偵聽(tīng)技術(shù)來(lái)直接獲取向該本地網(wǎng)中的服務(wù)器發(fā)起的請(qǐng)求數(shù)據(jù)，從而獲得相應(yīng)的HTTP請(qǐng)求包。
[0147]二、通過(guò)本機(jī)的遠(yuǎn)程端口接收其他機(jī)器獲取的由旁路偵聽(tīng)技術(shù)獲得的HTTP請(qǐng)求包。
[0148]本例中，所述的計(jì)算機(jī)設(shè)備，并不需要直接接入架設(shè)已知特征網(wǎng)站服務(wù)器所接入的交換機(jī)，而可以位于更為遠(yuǎn)程的地理位置，僅僅通過(guò)其遠(yuǎn)程端口接收其它計(jì)算機(jī)設(shè)備發(fā)送給它的由旁路偵聽(tīng)技術(shù)獲得的HTTP請(qǐng)求包即可。對(duì)于這里所稱的“其它計(jì)算機(jī)設(shè)備”，則應(yīng)直接接入架設(shè)已知特征網(wǎng)站服務(wù)器所接入的交換機(jī)，以便直接獲取相應(yīng)的數(shù)據(jù)，并且這些其它計(jì)算機(jī)設(shè)備上還應(yīng)能與裝配了本裝置的計(jì)算機(jī)設(shè)備進(jìn)行通信，以便提供各個(gè)交換機(jī)的HTTP請(qǐng)求包。
[0149]上述兩種不同的獲取請(qǐng)求包的接入方式，是基于不同的網(wǎng)站服務(wù)器實(shí)現(xiàn)架構(gòu)而提出的。無(wú)論采用何種具體方式，由旁路偵聽(tīng)技術(shù)所獲取的交換機(jī)數(shù)據(jù)包均能借助現(xiàn)有技術(shù)自動(dòng)識(shí)別出所述HTTP請(qǐng)求包，以便該些HTTP請(qǐng)求包能被進(jìn)一步處理。
[0150]所述的查新單元12，適于利用所述請(qǐng)求包所包含的鏈接確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0151]本發(fā)明所針對(duì)的網(wǎng)站是特定的，一般是應(yīng)用本發(fā)明的裝置的企業(yè)自身的一個(gè)或多個(gè)已知網(wǎng)站，這些網(wǎng)站擁有一些共同特征，其鏈接均解釋到特定的一些IP地址段上、其域名所有人均為該企業(yè)或該企業(yè)的客戶，或者，是該企業(yè)參與管理的目標(biāo)網(wǎng)站。更具體而言，這種特定關(guān)系，是指實(shí)現(xiàn)了本裝置的軟件所需關(guān)注的網(wǎng)站。而是否屬于該軟件所需關(guān)注的網(wǎng)站，在技術(shù)層面上，是由本發(fā)明的裝置進(jìn)行判斷的，具體既可以提供界面人為設(shè)定，也可以是以鏈接和/或IP地址和/或域名注冊(cè)特征信息為基礎(chǔ)進(jìn)行綜合判斷。因此，本發(fā)明的已知特定網(wǎng)站的識(shí)別依據(jù)，不能僅僅理解為某個(gè)域名或其IP地址，還應(yīng)包括雖未進(jìn)行人為明文設(shè)定，但實(shí)質(zhì)上是該企業(yè)所要納入的檢測(cè)對(duì)象，包括任何解析到實(shí)質(zhì)上屬于部分已知特定網(wǎng)站已經(jīng)占據(jù)的IP地址的新增域名的鏈接。
[0152]由此可知，相對(duì)于爬蟲(chóng)技術(shù)，本發(fā)明雖不需精心挑選種子URL，但有必要通過(guò)一設(shè)定單元120(參閱圖8)提供有關(guān)一些特定網(wǎng)站的基礎(chǔ)設(shè)置，以設(shè)定本發(fā)明的已知特定網(wǎng)站。相應(yīng)于前述說(shuō)明，設(shè)定這些已知特定網(wǎng)站的方式也是多種多樣的。給出已知特定網(wǎng)站的過(guò)程，不管給出的內(nèi)容是IP地址還是域名之類(lèi)的資源定位符，在本質(zhì)上都是給出網(wǎng)站的鏈接，因此這個(gè)過(guò)程本質(zhì)上也是確定本發(fā)明的新鏈接的過(guò)程。以下進(jìn)一步揭示本發(fā)明用于確定已知特定網(wǎng)站和/或其新鏈接的設(shè)定單元120的幾種具體實(shí)施例:
[0153]一、所述設(shè)定單元120，可被配置為利用圖形用戶界面設(shè)置已知特定網(wǎng)站和/或其關(guān)聯(lián)新鏈接。
[0154]具體而言，以本發(fā)明實(shí)現(xiàn)的軟件在首次運(yùn)行時(shí)，將通過(guò)本設(shè)定單元120提供一圖形用戶界面，用于提供給用戶進(jìn)行部分已知特定網(wǎng)站的設(shè)定，用戶通過(guò)向該圖形用戶界面輸入與這些已知特定網(wǎng)站有關(guān)的內(nèi)容而完成設(shè)定，從而預(yù)先給定一個(gè)或多個(gè)已知特定網(wǎng)站。這些預(yù)先給定的內(nèi)容，既可以是一個(gè)或多個(gè)域名，例如s0.com、#等，也可以是與服務(wù)器相對(duì)應(yīng)的IP地址，以及由IP地址構(gòu)成的連續(xù)IP地址段或離散IP地址段區(qū)間。這些設(shè)置內(nèi)容，如前所述，本質(zhì)上可以被理解為一個(gè)關(guān)聯(lián)新鏈接，可以被存儲(chǔ)于一個(gè)已知特定網(wǎng)站列表中，以便本裝置的其它功能模塊調(diào)用。需要指出的是，這個(gè)已知特定網(wǎng)站列表，實(shí)質(zhì)上也相當(dāng)于一個(gè)鏈接庫(kù)，因此，可以被視為鏈接庫(kù)進(jìn)行后續(xù)利用，或者將之視為鏈接庫(kù)的數(shù)據(jù)來(lái)源。這里所稱的鏈接庫(kù)，類(lèi)似于爬蟲(chóng)技術(shù)，可以被直接用作后續(xù)的待掃描隊(duì)列，也可以僅僅是為后續(xù)的待掃描隊(duì)列提供基礎(chǔ)數(shù)據(jù)。因此可知，在這個(gè)基礎(chǔ)上，這些用于確定部分已知特定網(wǎng)站的域名或者IP地址以及相關(guān)信息，便構(gòu)成了本發(fā)明的新鏈接，或者至少可用于構(gòu)造本發(fā)明的新鏈接，成為本發(fā)明的軟件首次實(shí)施掃描的處理對(duì)象。而在后續(xù)維護(hù)時(shí)利用這種方式來(lái)繼續(xù)添加新鏈接，當(dāng)該新鏈接的域名不同于其它已知特定網(wǎng)站域名時(shí)，實(shí)質(zhì)上也就是通過(guò)擴(kuò)展更多域名而添加了新的已知特定網(wǎng)站。
[0155]二、所述的設(shè)定單元120，可被配置為利用域名注冊(cè)信息確定已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0156]已知特定網(wǎng)站的關(guān)聯(lián)新鏈接，包括屬于已經(jīng)登記的網(wǎng)站(可以通過(guò)包含已登記域名識(shí)別)之下的所有鏈接和/或域名未經(jīng)登記的網(wǎng)站的所有鏈接。對(duì)于后者，是指從所述請(qǐng)求包獲得的鏈接，包含新域名，不屬于目前已存在的已知特定網(wǎng)站的鏈接范圍時(shí)，無(wú)法確定該鏈接是否屬于企業(yè)自有網(wǎng)站、是否需要視為屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接時(shí)，需要通過(guò)技術(shù)手段進(jìn)一步確定是否應(yīng)將其視為已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。因此，可以通過(guò)調(diào)用域名注冊(cè)網(wǎng)站提供的接口，來(lái)對(duì)這個(gè)鏈接中的新域名進(jìn)行查詢，確定其注冊(cè)特征信息，具體包括例如域名所有人、域名備案號(hào)等，這些注冊(cè)特征信息是否與目前存在的已知特定網(wǎng)站域名的注冊(cè)特征信息相同，當(dāng)兩者相同時(shí)，則將該新鏈接視為已知特定網(wǎng)站的關(guān)聯(lián)新鏈接，在本裝置中運(yùn)用；否則丟棄該請(qǐng)求包不予處理。繼而可直接將該新域名和/或其下層新鏈接添加到一個(gè)如前所述的已知特定網(wǎng)站列表中備用。顯然，查詢新域名注冊(cè)特征信息的操作，既可以是人為的，也可以是利用軟件實(shí)現(xiàn)的。當(dāng)為前者時(shí)，實(shí)際上是對(duì)前述第一種方式的后續(xù)維護(hù)。當(dāng)為后者時(shí)，則使本發(fā)明實(shí)現(xiàn)了對(duì)已知特定網(wǎng)站列表的動(dòng)態(tài)擴(kuò)展維護(hù)。如果該已知特定網(wǎng)站列表即為所述鏈接庫(kù)或所述的待掃描隊(duì)列，則本質(zhì)上便是在維護(hù)一個(gè)新鏈接列表，該新鏈接列表自然可用做本發(fā)明后文所需的多個(gè)相關(guān)處理環(huán)節(jié)的數(shù)據(jù)基礎(chǔ)。
[0157]三、所述的設(shè)定單元120，被配置為利用IP地址來(lái)動(dòng)態(tài)確定已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0158]眾所周知的，域名與IP地址之間具有映射關(guān)系。因此，通過(guò)已知的域名可以確定相應(yīng)的IP地址，同一個(gè)網(wǎng)站可能由多個(gè)IP地址所指向的服務(wù)器提供服務(wù)，因此，網(wǎng)站與IP地址間可能存在一對(duì)多、多對(duì)多的映射關(guān)系。實(shí)踐中，企業(yè)網(wǎng)站通常使用由連續(xù)IP地址構(gòu)成的IP地址段來(lái)架設(shè)其服務(wù)器。有鑒于此，利用目前已經(jīng)存在的已知特定網(wǎng)站，可以確定其所占據(jù)的IP地址段。當(dāng)請(qǐng)求包的鏈接中的新域名包含不屬于目前已經(jīng)存在的已知特定網(wǎng)站的域名之一時(shí)，這時(shí)可以比較該新域名所指向的IP地址是否屬于目前已經(jīng)存在的已知特定網(wǎng)站所占有的IP地址之一，如果是，則同理可將該請(qǐng)求包的所述鏈接視為新的已知特定網(wǎng)站關(guān)聯(lián)新鏈接而添加到一個(gè)如前所述的已知特定網(wǎng)站列表中。同理，如果該已知特定網(wǎng)站列表即為所述鏈接庫(kù)或所述的待掃描隊(duì)列，本處理方式本質(zhì)上便是在維護(hù)一個(gè)新鏈接列表，該新鏈接列表自然可用做本發(fā)明后文所需的多個(gè)相關(guān)處理環(huán)節(jié)的數(shù)據(jù)基礎(chǔ)。
[0159]由此可知，本發(fā)明區(qū)別于爬蟲(chóng)技術(shù)的重點(diǎn)之一，在于本發(fā)明具有確定的已知特定網(wǎng)站，并且，這些已知特定網(wǎng)站，既可以初始化人為給定，也可以由裝配了本裝置的軟件動(dòng)態(tài)識(shí)別添加，而不必有如爬蟲(chóng)技術(shù)般嚴(yán)格依賴于種子URL。而且，這些已知特定網(wǎng)站在本質(zhì)上是一系列的鏈接，既可以使用一個(gè)列表進(jìn)行獨(dú)立維護(hù)，也可以將這個(gè)列表用作鏈接庫(kù)，甚至直接將這個(gè)列表用作待掃描隊(duì)列。具體如何利用這一列表，只是數(shù)據(jù)庫(kù)技術(shù)在本裝置中的靈活結(jié)合運(yùn)用，對(duì)本領(lǐng)域技術(shù)人員而言是顯而易見(jiàn)的。例如，一種方式中，已知特定網(wǎng)站列表本質(zhì)上即是本發(fā)明的待掃描隊(duì)列，對(duì)于新鏈接，順序追加到列表并附上相應(yīng)的表征未掃描的標(biāo)識(shí)即可，掃描后更改這些標(biāo)識(shí)為表征已掃描的描述。另一種方式，該列表是獨(dú)立的，主要用于記錄各個(gè)域名和相應(yīng)的IP地址，而另外設(shè)置待掃描隊(duì)列，當(dāng)識(shí)別出關(guān)聯(lián)新鏈接時(shí)，新鏈接的域名將被添加到該列表中，而新鏈接本身則被添加到待掃描隊(duì)列中，以后凡是包含此域名的鏈接也均不必再行解析，而直接將其添加到待掃描隊(duì)列中。再一種方式，已知特定網(wǎng)站列表、鏈接庫(kù)、待掃描隊(duì)列均是相互獨(dú)立的，已知特定網(wǎng)站列表僅已知特定網(wǎng)站有關(guān)的存儲(chǔ)域名，該鏈接庫(kù)用于存儲(chǔ)所有已經(jīng)識(shí)別的與已知特定網(wǎng)站有關(guān)的鏈接，而待掃描隊(duì)列僅用于存儲(chǔ)從鏈接庫(kù)中獲得的新鏈接，這種方式保證了各類(lèi)型數(shù)據(jù)的獨(dú)立性，可用做更為復(fù)雜的用途。
[0160]如前所述，設(shè)定單元120的三種實(shí)施方式，不僅均可以用于確定本發(fā)明的已知特定網(wǎng)站，而且，本質(zhì)上也可以用于確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。為了簡(jiǎn)化后續(xù)的說(shuō)明和理解，有必要交待，以下的描述中，按照前文的一種方式，將上述的已知特定網(wǎng)站列表完全等同于本發(fā)明后文揭示的待掃描隊(duì)列。但這種簡(jiǎn)化應(yīng)足以讓本領(lǐng)域技術(shù)人員將其擴(kuò)展到包括利用鏈接庫(kù)保存有效鏈接的應(yīng)用場(chǎng)景中。
[0161]在經(jīng)過(guò)上述內(nèi)容的揭示后，理解了本發(fā)明的已知特定網(wǎng)站的概念，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)足以實(shí)施本查新單元12。進(jìn)一步，上述給出了用于確定已知特定網(wǎng)站以及確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接多種設(shè)定單元120之后，將更有助于本領(lǐng)域技術(shù)人員對(duì)本查新單元12的更深入的實(shí)施例的理解。以上兩個(gè)層次實(shí)際上給出了本查新單元12的兩個(gè)不同層次的變例，因此，利用所述請(qǐng)求包所包含的鏈接，并確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接，這一技術(shù)手段的實(shí)施已經(jīng)獲得充分的公開(kāi)。
[0162]為了進(jìn)一步體現(xiàn)發(fā)明的優(yōu)越性，如下進(jìn)一步揭示本查新單元12的在另一實(shí)施例中的內(nèi)部結(jié)構(gòu)，來(lái)體現(xiàn)依據(jù)本查新單元12實(shí)現(xiàn)的另一實(shí)施例的細(xì)節(jié)。請(qǐng)參閱圖8，本查新單元12進(jìn)一步包括提取模塊121、去重模塊122以及添加模塊123:
[0163]所述的提取模塊121，用于提取已獲取的所有請(qǐng)求包的鏈接。
[0164]由本裝置實(shí)現(xiàn)的軟件，匯總所有的由旁路偵聽(tīng)獲得的請(qǐng)求包之后，由提取模塊121對(duì)請(qǐng)求包進(jìn)行鏈接提取。由于http請(qǐng)求包中包含了網(wǎng)頁(yè)的url,對(duì)應(yīng)地,從http請(qǐng)求包中可以還原得到相應(yīng)的鏈接，即網(wǎng)頁(yè)的url。可以先行對(duì)這些鏈接進(jìn)行公知的一些技術(shù)分析，如分析其是否有效鏈接。
[0165]有效鏈接指能夠正常打開(kāi)網(wǎng)頁(yè)或下載文件的鏈接。無(wú)效鏈接指頁(yè)面已經(jīng)無(wú)效，無(wú)法對(duì)用戶提供任何有價(jià)值信息的頁(yè)面。當(dāng)某一鏈接出現(xiàn)無(wú)域名、域名不全、鏈接不完整、post協(xié)議數(shù)據(jù)包沒(méi)內(nèi)容等現(xiàn)象時(shí)則將該鏈接判定為無(wú)效鏈接。以域名為abed, com的某一鏈接為例，若鏈接中沒(méi)有出現(xiàn)域名abed, com或只出現(xiàn)域名的一部分如ad.com，則該鏈接為無(wú)效鏈接。
[0166]對(duì)從請(qǐng)求包中獲取的鏈接進(jìn)行分析，判定該鏈接是否為有效鏈接，若鏈接出現(xiàn)無(wú)域名、域名不全、鏈接不完整、post協(xié)議數(shù)據(jù)包沒(méi)內(nèi)容等現(xiàn)象則判定鏈接為無(wú)效鏈接，無(wú)效鏈接不參與后續(xù)的處理；若否則為有效鏈接，后續(xù)只處理有效鏈接。
[0167]所述的去重模塊122，用于去除所提取的鏈接中指向具有相同代碼的網(wǎng)頁(yè)的重復(fù)鏈接。
[0168]每條所提取的鏈接，主要是指其中的有效鏈接，本質(zhì)上均指向相應(yīng)的已知特定網(wǎng)站的一個(gè)網(wǎng)頁(yè)，但是，這些有效鏈接中還可能存在大量的重復(fù)鏈接。所謂重復(fù)鏈接，是指這些鏈接，指向的網(wǎng)頁(yè)是具有相同代碼的網(wǎng)頁(yè)，只是提供給原始網(wǎng)頁(yè)以不同的數(shù)據(jù)庫(kù)訪問(wèn)變量，而導(dǎo)致網(wǎng)頁(yè)在鏈接內(nèi)容上呈現(xiàn)出不同，但這些網(wǎng)頁(yè)的漏洞點(diǎn)是完全相同的。
[0169]例如，兩條有效鏈接，彼此開(kāi)頭部分相同，而末尾處分別為/a.php ? = I與/a.php ? = 2，這兩條鏈接事實(shí)上僅僅是從數(shù)據(jù)庫(kù)里提取的數(shù)據(jù)不同而已，其中可以視為變量，故而兩條鏈接的不同實(shí)際上只是變量不同，這種情況下，利用其中任意一條鏈接即可指向其它鏈接所指向的網(wǎng)頁(yè)，因此，只需保留其中一條鏈接即可。進(jìn)一步，可以去除其尾部變量，直接將鏈接的末尾處改成/a.php,而刪除所有帶變量的相關(guān)鏈接，也可起到相同的效果。這種重復(fù)鏈接網(wǎng)頁(yè)多見(jiàn)于論壇中。
[0170]又如，新聞網(wǎng)站中的網(wǎng)頁(yè)末尾處常見(jiàn)/data/2011201與/data/2011202這樣的鏈接描述，其中2011201和2011202同理應(yīng)視為變量，除了這兩個(gè)變量不同之外，兩條鏈接的其余文字均相同，因此，本質(zhì)上也是指向具有相同代碼的網(wǎng)頁(yè)的兩條重復(fù)鏈接。
[0171]為了提高本發(fā)明的運(yùn)算效率，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)借助包括公知技術(shù)在內(nèi)的手段為提取出的鏈接去除其中的重復(fù)鏈接。本發(fā)明的去重模塊122進(jìn)一步包括查重子模塊和去除子模塊，前者用于確定重復(fù)鏈接，后者用于實(shí)施去除操作。為了更有助于本領(lǐng)域技術(shù)人員實(shí)施本發(fā)明，以下列出用于去除重復(fù)鏈接的去重模塊122的具體結(jié)構(gòu)的兩種可選實(shí)施方式供參考:
[0172]結(jié)構(gòu)形式之一:所述查重子模塊先對(duì)鏈接進(jìn)行排序，取相鄰鏈接進(jìn)行比較分析，當(dāng)發(fā)現(xiàn)各鏈接僅變量不同其余內(nèi)容完全相同時(shí)，將其確定為是因?yàn)樵L問(wèn)數(shù)據(jù)庫(kù)而形成的僅其變量不同的多個(gè)鏈接，因而確定為重復(fù)鏈接，這種情況下，所述去除子模塊僅保留諸多重復(fù)鏈接中的一條，其余全部刪除，以去除重復(fù)鏈接。
[0173]結(jié)構(gòu)形式之二:所述查重子模塊先對(duì)鏈接進(jìn)行排序，取相鄰鏈接所指向的網(wǎng)頁(yè)簽名進(jìn)行比較，當(dāng)發(fā)現(xiàn)簽名相同時(shí)，確定這些鏈接屬于重復(fù)鏈接，所述去除子模塊繼而僅保留其中的一條鏈接，刪除其它鏈接，從而實(shí)現(xiàn)去除重復(fù)鏈接。
[0174]上述兩種結(jié)構(gòu)形式中的排序，以及取相鄰鏈接的手段，并非必須，本領(lǐng)域技術(shù)人員可以動(dòng)用一切可以有助于提高比較的公知算法加以代替，恕不贅述?？梢钥闯觯ㄟ^(guò)對(duì)重復(fù)鏈接進(jìn)行去重，所得到的鏈接便具有一定的唯一性網(wǎng)頁(yè)指向，顯然有助于提高本裝置其它功能模塊的執(zhí)行效率。
[0175]所述的添加模塊123，用于確定查新單元12處理后的鏈接中的關(guān)聯(lián)新鏈接，將該新鏈接添加至待掃描隊(duì)列。
[0176]如前所述，確定新鏈接的過(guò)程，其實(shí)質(zhì)上也是在確定該鏈接是否與目前已存在的已知特定網(wǎng)站存在關(guān)聯(lián)關(guān)系，因此而確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接，不僅包括已經(jīng)記錄到已知特定網(wǎng)站列表(待掃描隊(duì)列)中的域名、IP地址或者更具體的鏈接等，還包括一些其域名未出現(xiàn)在該列表中、而其映射的IP地址卻已經(jīng)被記錄到該列表中或者落入該列表中已記錄的IP地址所構(gòu)成的IP地址段或IP地址段區(qū)間的鏈接。因此，在本添加模塊123中確定關(guān)聯(lián)新鏈接，也即對(duì)上述揭示的多種設(shè)定單元120實(shí)例進(jìn)行靈活運(yùn)用(調(diào)用)的過(guò)程。顯然，容易理解，運(yùn)用設(shè)定單元120的上述三種結(jié)構(gòu)實(shí)例是靈活的，可以僅選其中一種，也可同時(shí)選擇任意多種。其中第一種，通過(guò)手動(dòng)登記的方式，適于從中登記一個(gè)網(wǎng)站域名，此后所有該域名之下的未曾掃描的具體鏈接(如前所述可以通過(guò)在鏈接庫(kù)中或者待掃描隊(duì)列中標(biāo)識(shí)狀態(tài)來(lái)識(shí)別)，均視為該網(wǎng)站的新鏈接；其中的第二種，利用域名注冊(cè)特征信息來(lái)登記，無(wú)論是通過(guò)人為查詢還是程序?qū)崿F(xiàn)，均能起到如第一種同理的效果，但其中在程序中實(shí)現(xiàn)的方式是本添加模塊123可采用的關(guān)鍵，能夠藉此提高程序的智能化和自動(dòng)化程度；其中的第三種，通過(guò)比較請(qǐng)求包鏈接所指向的IP地址是否落入目前存在的已知特定網(wǎng)站列表中的鏈接所指向的IP地址或由其構(gòu)成的連續(xù)IP地址段范圍，來(lái)決定是否將該請(qǐng)求包鏈接視為屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接，這種方式能夠自動(dòng)擴(kuò)展已知特定網(wǎng)站列表，如果已知特定網(wǎng)站是單列一個(gè)列表，那么，可以將該新鏈接的域名添加到該列表中，而將該新鏈接添加到鏈接庫(kù)(如有)和待掃描隊(duì)列中；如果已知特定網(wǎng)站列表即同時(shí)用做待掃描隊(duì)列，那么，直接添加該新鏈接到已知特定網(wǎng)站列表也便是將該新鏈接添加到待掃描隊(duì)列的過(guò)程。
[0177]借助上述揭示的幾種設(shè)定單元120實(shí)例對(duì)本發(fā)明的有效鏈接進(jìn)行了有關(guān)新鏈接的上述過(guò)程的篩選之后，所得到便是所有新鏈接(必要時(shí)可以在這些新鏈接的基礎(chǔ)上，利用爬蟲(chóng)技術(shù)，將其視為種子URL進(jìn)展新鏈接擴(kuò)展)，為了便于本發(fā)明其他功能模塊的執(zhí)行，將該些新鏈接添加到如前所述的待掃描隊(duì)列中。不管該待掃描隊(duì)列是否與已知特定網(wǎng)站列表共用一表，還是進(jìn)一步與所述鏈接庫(kù)共用一表，或者待掃描隊(duì)列是單獨(dú)的一表，等等，如前所述，本領(lǐng)域技術(shù)人員均能夠利用尋常知識(shí)在該待掃描隊(duì)列中登記所有確定的新鏈接，并在后續(xù)僅僅對(duì)該些新鏈接實(shí)施漏洞掃描。
[0178]所述的檢測(cè)單元13，用于對(duì)所述新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0179]在經(jīng)過(guò)上述步驟靈活的多種變例進(jìn)行處理，最終從所有請(qǐng)求包鏈接中確定了所有新鏈接之后，可以利用檢測(cè)單元13集中對(duì)這些新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。當(dāng)然，所謂的集中，在時(shí)間上可以一般是周期性的。因?yàn)橛脩粽?qǐng)求不斷發(fā)生，本裝置能不斷獲取請(qǐng)求包，并可不斷對(duì)請(qǐng)求包進(jìn)行分析，但不可能等到用戶不再發(fā)送請(qǐng)求時(shí)才開(kāi)始進(jìn)行掃描檢測(cè)。因此，本檢測(cè)單元13與其它功能模塊只有連接關(guān)系，不應(yīng)以這種連接關(guān)系排除其在時(shí)間上的穿插關(guān)系。例如，可以一邊確定新鏈接，一邊對(duì)之前已確定的新鏈接進(jìn)行掃描?？梢砸砸粋€(gè)進(jìn)程不斷確定接收請(qǐng)求包并確定新鏈接，將新鏈接存入待掃描隊(duì)列，而另一進(jìn)程則不斷地對(duì)待掃描隊(duì)列中的新鏈接實(shí)施掃描。不管其它功能模塊如何靈活變通實(shí)現(xiàn)，本檢測(cè)單元13僅需關(guān)注所述待掃描隊(duì)列中的新鏈接，同理，無(wú)論本檢測(cè)單元13如何靈活變通實(shí)現(xiàn)，前述各功能模塊最終提供的接口也在于一個(gè)存儲(chǔ)有新鏈接的待掃描隊(duì)列，待掃描隊(duì)列無(wú)疑成為本檢測(cè)單元13與之前的功能模塊之間的接口，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)知曉此一原理。
[0180]本發(fā)明所稱新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)中的對(duì)應(yīng)關(guān)系，既可以是指由新鏈接利用域名與IP地址的關(guān)系直接映射到網(wǎng)站服務(wù)器中相應(yīng)的網(wǎng)頁(yè)的關(guān)系，也可以是指將該相應(yīng)網(wǎng)頁(yè)下載后存儲(chǔ)于本地網(wǎng)頁(yè)庫(kù)中的這種間接的一一對(duì)應(yīng)關(guān)系。因此，適應(yīng)這兩種具體的對(duì)應(yīng)關(guān)系，可以為本裝置的檢測(cè)單元13提供兩種結(jié)構(gòu)實(shí)例，通過(guò)以下任意一種結(jié)構(gòu)均可對(duì)本發(fā)明確定的新鏈接所指向的網(wǎng)頁(yè)進(jìn)行漏洞掃描檢測(cè)。
[0181]結(jié)構(gòu)實(shí)例一、由一獲取單元從所述待掃描隊(duì)列中獲取記載于其中的新鏈接，然后，利用該新鏈接直接映射的在線網(wǎng)頁(yè)，通過(guò)向其網(wǎng)站服務(wù)器發(fā)送請(qǐng)求，利用網(wǎng)站服務(wù)器返回的網(wǎng)頁(yè)，借助一實(shí)施單元進(jìn)行漏洞掃描檢測(cè)。這種方式會(huì)加大新鏈接所在服務(wù)器的負(fù)擔(dān)和處理時(shí)間，但可以適當(dāng)節(jié)省利用實(shí)現(xiàn)本裝置的軟件的運(yùn)算量。
[0182]結(jié)構(gòu)實(shí)例二、由一獲取單元從待掃描隊(duì)列中獲取新鏈接之后，由一下載單元利用所述新鏈接去下載這些新鏈接直接映射的網(wǎng)頁(yè)，下載方法可以同結(jié)構(gòu)實(shí)例一，將這些網(wǎng)頁(yè)添加至一個(gè)本地網(wǎng)頁(yè)庫(kù)中，然后借助一實(shí)施單元對(duì)這些本地網(wǎng)頁(yè)庫(kù)中的各個(gè)網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。或者也可如前所述，開(kāi)設(shè)兩個(gè)進(jìn)程，一個(gè)用于不斷下載各新鏈接所映射的在線網(wǎng)頁(yè)至本地網(wǎng)頁(yè)庫(kù)，另一個(gè)則不斷地對(duì)剛下載的本地網(wǎng)頁(yè)庫(kù)中的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0183]按照上述方式，不管具體如何利用待掃描隊(duì)列中的新鏈接進(jìn)行漏洞掃描檢測(cè)，顯然，均不影響不發(fā)明所要達(dá)到的漏洞掃描檢測(cè)效果。
[0184]具體進(jìn)行漏洞掃描檢測(cè)時(shí)，是結(jié)合網(wǎng)站安全檢測(cè)漏洞數(shù)據(jù)和網(wǎng)站安全檢測(cè)規(guī)則實(shí)施的。網(wǎng)站安全檢測(cè)漏洞數(shù)據(jù)包括以下至少之一:掛馬數(shù)據(jù)、虛假欺詐數(shù)據(jù)、搜索屏蔽數(shù)據(jù)、旁注數(shù)據(jù)、篡改數(shù)據(jù)、漏洞數(shù)據(jù)。根據(jù)網(wǎng)站安全檢測(cè)漏洞數(shù)據(jù)，按照與網(wǎng)站安全檢測(cè)漏洞數(shù)據(jù)相對(duì)應(yīng)的網(wǎng)站安全檢測(cè)規(guī)則對(duì)網(wǎng)站進(jìn)行安全檢測(cè)，其中，網(wǎng)站安全檢測(cè)規(guī)則包括以下至少之一:掛馬規(guī)則、虛假欺詐規(guī)則、屏蔽規(guī)則、旁注規(guī)則、篡改規(guī)則、和漏洞規(guī)則。本發(fā)明主要利用漏洞規(guī)則對(duì)網(wǎng)頁(yè)進(jìn)行掃描。漏洞規(guī)則用于根據(jù)漏洞數(shù)據(jù)確定網(wǎng)站存在的漏洞。
[0185]根據(jù)漏洞數(shù)據(jù)，按照漏洞規(guī)則對(duì)網(wǎng)站進(jìn)行安全檢測(cè)包括:獲取預(yù)先存儲(chǔ)的漏洞特征數(shù)據(jù)庫(kù)中的漏洞特征，判斷漏洞數(shù)據(jù)是否符合漏洞特征，若漏洞數(shù)據(jù)符合漏洞特征，則確定為漏洞；若漏洞數(shù)據(jù)不符合漏洞特征，則確定為非漏洞。根據(jù)判斷結(jié)果確定網(wǎng)站存在的漏洞，其中，漏洞特征可以為漏洞關(guān)鍵字。如，將網(wǎng)頁(yè)狀態(tài)代碼404作為漏洞關(guān)鍵字；或者，將404頁(yè)面內(nèi)容作為漏洞關(guān)鍵字；或者，通過(guò)訪問(wèn)網(wǎng)站的正常網(wǎng)頁(yè)，提取該正常網(wǎng)頁(yè)的網(wǎng)頁(yè)內(nèi)容、網(wǎng)頁(yè)狀態(tài)代碼和http頭部，訪問(wèn)該網(wǎng)站不存在的網(wǎng)頁(yè)，提取反饋網(wǎng)頁(yè)的網(wǎng)頁(yè)內(nèi)容、網(wǎng)頁(yè)狀態(tài)代碼和http頭部，比較該正常網(wǎng)頁(yè)和該反饋網(wǎng)頁(yè)的網(wǎng)頁(yè)內(nèi)容、網(wǎng)頁(yè)狀態(tài)代碼和http頭部，獲取404關(guān)鍵字作為漏洞關(guān)鍵字；再或者，訪問(wèn)不存在的網(wǎng)頁(yè)，將反饋網(wǎng)頁(yè)的網(wǎng)頁(yè)內(nèi)容、網(wǎng)頁(yè)狀態(tài)代碼和http頭部作為漏洞關(guān)鍵字等等，本發(fā)明對(duì)此不作限制。
[0186]通過(guò)上述各步驟，本發(fā)明的裝置便可完成對(duì)網(wǎng)站進(jìn)行安全檢測(cè)的任務(wù)，將漏洞掃描后的結(jié)果存儲(chǔ)于相應(yīng)的文件或數(shù)據(jù)庫(kù)中，可供它用。進(jìn)一步，為了取得更佳的人機(jī)交互效果，本發(fā)明還可以可選地包括顯示單元14:
[0187]所述的顯示單元14，用于顯示圖形用戶界面以輸出實(shí)施漏洞掃描檢測(cè)的結(jié)果信肩、O
[0188]該顯示單元14被配置為用于提供一個(gè)圖形用戶界面，在檢測(cè)單元13完成漏洞掃描檢測(cè)之后，對(duì)檢測(cè)結(jié)果進(jìn)行分析、統(tǒng)計(jì)，將進(jìn)行數(shù)學(xué)處理后的結(jié)果信息輸出到該圖形用戶界面中，可以使網(wǎng)管員一目了然，從而便于網(wǎng)管員修補(bǔ)網(wǎng)頁(yè)漏洞。
[0189]綜上所述，本發(fā)明可以及時(shí)發(fā)現(xiàn)已知特定網(wǎng)站及其新鏈接，并且可以實(shí)時(shí)對(duì)這些新鏈接實(shí)施漏洞檢測(cè)，避免漏檢測(cè)，并且能避免對(duì)無(wú)效鏈接和重復(fù)鏈接進(jìn)行多余的檢測(cè)，具有高效和及時(shí)維護(hù)網(wǎng)站安全的優(yōu)點(diǎn)。
[0190]本發(fā)明的實(shí)施例公開(kāi)了:
[0191]Al.一種網(wǎng)站安全檢測(cè)方法，其特征在于，包括以下步驟:
[0192]獲取通過(guò)旁路偵聽(tīng)而獲得的超文本傳輸協(xié)議請(qǐng)求包；
[0193]利用所述請(qǐng)求包所包含的鏈接確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接；
[0194]對(duì)所述新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0195]A2.根據(jù)權(quán)利要求Al所述的網(wǎng)站安全檢測(cè)方法，其特征在于，通過(guò)本機(jī)網(wǎng)卡實(shí)施旁路偵聽(tīng)而獲得所述請(qǐng)求包。
[0196]A3.根據(jù)權(quán)利要求A2所述的網(wǎng)站安全檢測(cè)方法，其特在于，本機(jī)接入架設(shè)所述已知特定網(wǎng)站的服務(wù)器所接入的交換機(jī)實(shí)現(xiàn)旁路偵聽(tīng)。
[0197]A4.根據(jù)權(quán)利要求Al所述的網(wǎng)站安全檢測(cè)方法，其特征在于，通過(guò)遠(yuǎn)程端口接收而獲得所述通過(guò)旁路偵聽(tīng)而得的請(qǐng)求包。
[0198]A5.根據(jù)權(quán)利要求Al所述的網(wǎng)站安全檢測(cè)方法，其特征在于，確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接之前，匯總所述請(qǐng)求包所包含的鏈接并去除其中的重復(fù)鏈接。
[0199]A6.根據(jù)權(quán)利要求A5所述的網(wǎng)站安全檢測(cè)方法，其特征在于，所述去除重復(fù)鏈接的步驟包括如下細(xì)分步驟:
[0200]將訪問(wèn)數(shù)據(jù)庫(kù)而形成的僅其變量不同的多個(gè)鏈接確定為重復(fù)鏈接；
[0201]僅保留重復(fù)鏈接其中之一實(shí)現(xiàn)去除重復(fù)鏈接。
[0202]A7.根據(jù)權(quán)利要求A5所述的網(wǎng)站安全檢測(cè)方法，其特征在于，所述去除重復(fù)鏈接的步驟包括如下細(xì)分步驟:
[0203]將具有相同簽名的多個(gè)鏈接確定為重復(fù)鏈接；
[0204]僅保留重復(fù)鏈接其中之一實(shí)現(xiàn)去除重復(fù)鏈接。
[0205]AS.根據(jù)權(quán)利要求Al所述的網(wǎng)站安全檢測(cè)方法，其特征在于，所述已知特定網(wǎng)站和/或其新鏈接通過(guò)圖形用戶界面接收用戶設(shè)定而預(yù)先給定。
[0206]A9.根據(jù)權(quán)利要求AS所述的網(wǎng)站安全檢測(cè)方法，其特征在于，所述圖形用戶界面所接收的設(shè)定的內(nèi)容包括指向網(wǎng)站的域名或IP地址。
[0207]A10.根據(jù)權(quán)利要求Al所述的網(wǎng)站安全檢測(cè)方法，其特征在于，通過(guò)確定請(qǐng)求包中的鏈接所指向的IP地址屬于所述已知特定網(wǎng)站所指向的IP地址或其所屬I(mǎi)P地址段而將該鏈接確定為屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0208]All.根據(jù)權(quán)利要求Al所述的網(wǎng)站安全檢測(cè)方法，其特征在于，通過(guò)比較所述請(qǐng)求包中的鏈接的域名的注冊(cè)特征信息與已知特定網(wǎng)站的域名的注冊(cè)特征信息相同而將該鏈接確定為屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0209]A12.根據(jù)權(quán)利要求Al所述的網(wǎng)站安全檢測(cè)方法，其特征在于，設(shè)有已知特定網(wǎng)站列表用于記錄一個(gè)或多個(gè)所述的已知特定網(wǎng)站的域名和/或其相應(yīng)的IP地址。
[0210]A13.根據(jù)權(quán)利要求Al所述的網(wǎng)站安全檢測(cè)方法，其特征在于，所述利用所述請(qǐng)求包所包含的鏈接確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接的步驟，包括如下細(xì)分步驟:
[0211]提取已獲取的所有請(qǐng)求包的鏈接；
[0212]去除所提取的鏈接中指向具有相同代碼的網(wǎng)頁(yè)的重復(fù)鏈接；
[0213]確定其中的新鏈接，將該新鏈接添加至待掃描隊(duì)列。
[0214]A14.根據(jù)權(quán)利要求Al所述的網(wǎng)站安全檢測(cè)方法，其特征在于，所述對(duì)所述新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描的步驟，包括如下細(xì)分步驟:
[0215]從用于記載所述新鏈接的待掃描隊(duì)列中獲取所述新鏈接；
[0216]對(duì)所述新鏈接映射的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0217]A15.根據(jù)權(quán)利要求Al所述的網(wǎng)站安全檢測(cè)方法，其特征在于，所述對(duì)所述新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描的步驟，包括如下細(xì)分步驟:
[0218]從用于記載所述新鏈接的待掃描隊(duì)列中獲取所述新鏈接；
[0219]獲取所述待掃描隊(duì)列中的新鏈接所映射的網(wǎng)頁(yè)并添加至本地網(wǎng)頁(yè)庫(kù)；
[0220]對(duì)依據(jù)新鏈接下載的網(wǎng)頁(yè)庫(kù)中的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0221]A16.根據(jù)權(quán)利要求Al所述的網(wǎng)站安全檢測(cè)方法，其特征在于，該方法包括后續(xù)步驟:顯示圖形用戶界面以輸出實(shí)施漏洞掃描檢測(cè)的結(jié)果信息。
[0222]B17.一種網(wǎng)站安全檢測(cè)裝置，其特征在于，包括:
[0223]抓包單元,用于獲取通過(guò)旁路偵聽(tīng)而獲得的超文本傳輸協(xié)議請(qǐng)求包；
[0224]查新單元，適于利用所述請(qǐng)求包所包含的鏈接確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接;
[0225]檢測(cè)單元，用于對(duì)所述新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0226]B18.根據(jù)權(quán)利要求B17所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，所述抓包單元，被配置為通過(guò)本機(jī)網(wǎng)卡實(shí)施旁路偵聽(tīng)而獲得所述請(qǐng)求包。
[0227]B19.根據(jù)權(quán)利要求B18所述的網(wǎng)站安全檢測(cè)裝置，其特在于，本機(jī)與架設(shè)所述已知特定網(wǎng)站的服務(wù)器所接入的交換機(jī)相連接以實(shí)現(xiàn)旁路偵聽(tīng)。
[0228]B20.根據(jù)權(quán)利要求B17所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，所述抓包單元，被配置為通過(guò)遠(yuǎn)程端口接收而獲得所述通過(guò)旁路偵聽(tīng)而得的請(qǐng)求包。
[0229]B21.根據(jù)權(quán)利要求B17所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，所述查新單元，被配置為在確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接之前，匯總所述請(qǐng)求包所包含的鏈接并去除其中的重復(fù)鏈接。
[0230]B22.根據(jù)權(quán)利要求B21所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，所述查新單元包括:
[0231]查重子模塊，用于將訪問(wèn)數(shù)據(jù)庫(kù)而形成的僅其變量不同的多個(gè)鏈接確定為重復(fù)鏈接;
[0232]去除子模塊，適于實(shí)施僅保留重復(fù)鏈接其中之一實(shí)現(xiàn)去除重復(fù)鏈接。
[0233]B23.根據(jù)權(quán)利要求B21所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，所述查新單元包括:
[0234]查重子模塊，用于將具有相同簽名的多個(gè)鏈接確定為重復(fù)鏈接；
[0235]去除子模塊，適于實(shí)施僅保留重復(fù)鏈接其中之一實(shí)現(xiàn)去除重復(fù)鏈接。
[0236]B24.根據(jù)權(quán)利要求B17所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，該裝置還包括設(shè)定單元，用于顯示圖形用戶界面以接收用戶設(shè)定，由此而預(yù)先給定所述已知特定網(wǎng)站和/或其新鏈接。
[0237]B25.根據(jù)權(quán)利要求B24所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，所述圖形用戶界面所接收的設(shè)定的內(nèi)容包括指向網(wǎng)站的域名或IP地址。
[0238]B26.根據(jù)權(quán)利要求B17所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，該裝置還包括設(shè)定單元，被配置為通過(guò)確定請(qǐng)求包中的鏈接所指向的IP地址屬于所述已知特定網(wǎng)站所指向的IP地址或其所屬I(mǎi)P地址段而將該鏈接確定為屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0239]B27.根據(jù)權(quán)利要求B17所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，該裝置還包括設(shè)定單元，被配置為通過(guò)比較所述請(qǐng)求包中的鏈接的域名的注冊(cè)特征信息與已知特定網(wǎng)站的域名的注冊(cè)特征信息相同而將該鏈接確定為屬于所述已知特定網(wǎng)站的關(guān)聯(lián)新鏈接。
[0240]B28.根據(jù)權(quán)利要求B17所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，該裝置還包括已知特定網(wǎng)站列表，用于記錄一個(gè)或多個(gè)所述的已知特定網(wǎng)站的域名和/或其相應(yīng)的IP地址。
[0241]B29.根據(jù)權(quán)利要求B17所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，所述查新單元包括:
[0242]提取模塊，用于提取已獲取的所有請(qǐng)求包的鏈接；
[0243]去重模塊，用于去除提取模塊提取的鏈接中指向具有相同代碼的網(wǎng)頁(yè)的重復(fù)鏈接;
[0244]添加模塊，用于確定其中的新鏈接，將該新鏈接添加至待掃描隊(duì)列。
[0245]B30.根據(jù)權(quán)利要求B17所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，所述檢測(cè)單元包括:
[0246]獲取單元，被配置為從用于記載所述新鏈接的待掃描隊(duì)列中獲取所述新鏈接；
[0247]實(shí)施單元，用于對(duì)所述新鏈接映射的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0248]B31.根據(jù)權(quán)利要求B17所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，所述檢測(cè)單元包括:
[0249]獲取單元，被配置為從用于記載所述新鏈接的待掃描隊(duì)列中獲取所述新鏈接；
[0250]下載單元，用于下載所述待掃描隊(duì)列中的新鏈接所映射的網(wǎng)頁(yè)并添加至本地網(wǎng)頁(yè)庫(kù)；
[0251]實(shí)施單元，用于對(duì)依據(jù)新鏈接下載的網(wǎng)頁(yè)庫(kù)中的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
[0252]B32.根據(jù)權(quán)利要求B17所述的網(wǎng)站安全檢測(cè)裝置，其特征在于，該裝置包括顯示單元，用于顯示圖形用戶界面以輸出實(shí)施漏洞掃描檢測(cè)的結(jié)果信息。
[0253]應(yīng)當(dāng)注意，在此提供的算法和公式不與任何特定計(jì)算機(jī)、虛擬系統(tǒng)或者其它設(shè)備固有相關(guān)。各種通用系統(tǒng)也可以與基于在此的示例一起使用。根據(jù)上面的描述，構(gòu)造這類(lèi)系統(tǒng)所要求的結(jié)構(gòu)是顯而易見(jiàn)的。此外，本發(fā)明也不針對(duì)任何特定編程語(yǔ)言。應(yīng)當(dāng)明白，可以利用各種編程語(yǔ)言實(shí)現(xiàn)在此描述的本發(fā)明的內(nèi)容，并且上面對(duì)特定語(yǔ)言所做的描述是為了披露本發(fā)明的最佳實(shí)施方式。
[0254]在此處所提供的說(shuō)明書(shū)中，說(shuō)明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實(shí)施例可以在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對(duì)本說(shuō)明書(shū)的理解。
[0255]類(lèi)似地，應(yīng)當(dāng)理解，為了精簡(jiǎn)本發(fā)明并幫助理解本發(fā)明各個(gè)方面中的一個(gè)或多個(gè)，在上面對(duì)本發(fā)明的示例性實(shí)施例的描述中，本發(fā)明的各個(gè)特征有時(shí)被一起分組到單個(gè)實(shí)施例、圖、或者對(duì)其的描述中。然而，并不應(yīng)將該公開(kāi)的方法和裝置解釋成反映如下意圖:即所要求保護(hù)的本發(fā)明要求比在每個(gè)權(quán)利要求中所明確記載的特征更多的特征。更確切地說(shuō)，如權(quán)利要求書(shū)所反映，發(fā)明方面在于少于前面公開(kāi)的單個(gè)實(shí)施例的所有特征。因此，遵循【具體實(shí)施方式】的權(quán)利要求書(shū)由此明確地并入該【具體實(shí)施方式】，其中每個(gè)權(quán)利要求本身都作為本發(fā)明的單獨(dú)實(shí)施例。
[0256]本領(lǐng)域那些技術(shù)人員可以理解，可以對(duì)實(shí)施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地改變并且把它們?cè)O(shè)置在與該實(shí)施例不同的一個(gè)或多個(gè)設(shè)備中。可以把實(shí)施例中的模塊或單元或組件組合成一個(gè)模塊或單元或組件，以及此外可以把它們分成多個(gè)子模塊或子單元或子組件。除了這樣的特征和/或過(guò)程或者單元中的至少一些是相互排斥之外，可以采用任何組合對(duì)本說(shuō)明書(shū)(包括伴隨的權(quán)利要求、摘要和附圖)中公開(kāi)的所有特征以及如此公開(kāi)的任何方法或者設(shè)備的所有過(guò)程或單元進(jìn)行組合。除非另外明確陳述，本說(shuō)明書(shū)(包括伴隨的權(quán)利要求、摘要和附圖)中公開(kāi)的每個(gè)特征可以由提供相同、等同或相似目的的替代特征來(lái)代替。
[0257]此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實(shí)施例包括其它實(shí)施例中所包括的某些特征而不是其它特征，但是不同實(shí)施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實(shí)施例。。
[0258]本發(fā)明的各個(gè)部件實(shí)施例可以以硬件實(shí)現(xiàn)，或者以在一個(gè)或者多個(gè)處理器上運(yùn)行的軟件模塊實(shí)現(xiàn)，或者以它們的組合實(shí)現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實(shí)踐中使用微處理器或者數(shù)字信號(hào)處理器(DSP)來(lái)實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的網(wǎng)站安全檢測(cè)設(shè)備中的一些或者全部部件的一些或者全部功能。本發(fā)明還可以實(shí)現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的設(shè)備或者裝置程序(例如，計(jì)算機(jī)程序和計(jì)算機(jī)程序產(chǎn)品)。這樣的實(shí)現(xiàn)本發(fā)明的程序可以存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上，或者可以具有一個(gè)或者多個(gè)信號(hào)的形式。這樣的信號(hào)可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號(hào)上提供，或者以任何其他形式提供。
[0259]以上所述僅是本發(fā)明的部分實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本【技術(shù)領(lǐng)域】的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.一種網(wǎng)站安全檢測(cè)方法，其特征在于，包括以下步驟: 獲取通過(guò)旁路偵聽(tīng)而獲得的超文本傳輸協(xié)議請(qǐng)求包； 利用所述請(qǐng)求包所包含的鏈接確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接； 對(duì)所述新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
2.根據(jù)權(quán)利要求1所述的網(wǎng)站安全檢測(cè)方法，其特征在于，通過(guò)本機(jī)網(wǎng)卡實(shí)施旁路偵聽(tīng)而獲得所述請(qǐng)求包。
3.根據(jù)權(quán)利要求2所述的網(wǎng)站安全檢測(cè)方法，其特在于，本機(jī)接入架設(shè)所述已知特定網(wǎng)站的服務(wù)器所接入的交換機(jī)實(shí)現(xiàn)旁路偵聽(tīng)。
4.根據(jù)權(quán)利要求1所述的網(wǎng)站安全檢測(cè)方法，其特征在于，通過(guò)遠(yuǎn)程端口接收而獲得所述通過(guò)旁路偵聽(tīng)而得的請(qǐng)求包。
5.根據(jù)權(quán)利要求1所述的網(wǎng)站安全檢測(cè)方法，其特征在于，確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接之前，匯總所述請(qǐng)求包所包含的鏈接并去除其中的重復(fù)鏈接。
6.根據(jù)權(quán)利要求5所述的網(wǎng)站安全檢測(cè)方法，其特征在于，所述去除重復(fù)鏈接的步驟包括如下細(xì)分步驟: 將訪問(wèn)數(shù)據(jù)庫(kù)而形成的僅其變量不同的多個(gè)鏈接確定為重復(fù)鏈接； 僅保留重復(fù)鏈接其中之一實(shí)現(xiàn)去除重復(fù)鏈接。
7.根據(jù)權(quán)利要求5所述的網(wǎng)站安全檢測(cè)方法，其特征在于，所述去除重復(fù)鏈接的步驟包括如下細(xì)分步驟: 將具有相同簽名的多個(gè)鏈接確定為重復(fù)鏈接； 僅保留重復(fù)鏈接其中之一實(shí)現(xiàn)去除重復(fù)鏈接。
8.根據(jù)權(quán)利要求1所述的網(wǎng)站安全檢測(cè)方法，其特征在于，所述已知特定網(wǎng)站和/或其新鏈接通過(guò)圖形用戶界面接收用戶設(shè)定而預(yù)先給定。
9.根據(jù)權(quán)利要求8所述的網(wǎng)站安全檢測(cè)方法，其特征在于，所述圖形用戶界面所接收的設(shè)定的內(nèi)容包括指向網(wǎng)站的域名或IP地址。
10.一種網(wǎng)站安全檢測(cè)裝置，其特征在于，包括: 抓包單元，用于獲取通過(guò)旁路偵聽(tīng)而獲得的超文本傳輸協(xié)議請(qǐng)求包； 查新單元，適于利用所述請(qǐng)求包所包含的鏈接確定屬于已知特定網(wǎng)站的關(guān)聯(lián)新鏈接； 檢測(cè)單元，用于對(duì)所述新鏈接相對(duì)應(yīng)的網(wǎng)頁(yè)實(shí)施漏洞掃描檢測(cè)。
【文檔編號(hào)】H04L29/06GK104363252SQ201410771519
【公開(kāi)日】2015年2月18日 申請(qǐng)日期:2014年12月12日 優(yōu)先權(quán)日:2014年12月12日
【發(fā)明者】龍專(zhuān) 申請(qǐng)人:北京奇虎科技有限公司, 奇智軟件（北京）有限公司