專利名稱：面向內(nèi)容的網(wǎng)絡(luò)流量快速安檢引擎的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種特別涉及面向內(nèi)容識別的網(wǎng)絡(luò)流量檢測技術(shù)，具體地說是一種面 向內(nèi)容的網(wǎng)絡(luò)流量快速安檢引擎。
背景技術(shù)：
網(wǎng)絡(luò)安全一直是嚴重困擾網(wǎng)絡(luò)與信息應(yīng)用的最大障礙，雖然長期以來業(yè)界不斷開 發(fā)建設(shè)防火墻、入侵檢測、入侵防護、防病毒、防木馬、防釣魚等各種網(wǎng)絡(luò)安全工具，也取得 了較好的效果，但道高一尺魔高一丈，各種網(wǎng)絡(luò)危害軟件不斷翻新、不斷變異、不斷演化，大 有愈演愈烈之勢。而且隨著網(wǎng)絡(luò)帶寬的不斷提高，以及網(wǎng)絡(luò)規(guī)模和用戶規(guī)模的不斷擴大，網(wǎng) 絡(luò)流量正快速地呈爆炸式增長，從而使各種網(wǎng)絡(luò)安全工具在性能上相形見絀，難以應(yīng)付。更嚴重的是，與傳統(tǒng)的黑客、病毒、木馬等網(wǎng)絡(luò)侵害相比，內(nèi)容的安全性對人類、對 社會的破壞力更大。諸如各種黃色信息、黃色音像、黃色游戲、誨淫誨盜、網(wǎng)絡(luò)詐騙、網(wǎng)絡(luò)賭 博、有害宣傳等等，已經(jīng)嚴重影響著社會安全、民族安全、家庭安全、個人身健康。不幸的是， 防治處理這些有害網(wǎng)絡(luò)內(nèi)容的工具卻非常有限，目前相關(guān)的實用產(chǎn)品還處在很初級的發(fā)展 那階段，不僅在功能上比較簡單，更在性能上甚為低下。要解決網(wǎng)絡(luò)安全工具的功能和性能的瓶頸問題，除了開發(fā)功能更強效率更高的算 法以外，主要的途徑是采用人工智能和軟件系統(tǒng)硬件化技術(shù)。本發(fā)明就是在這一發(fā)展方向 上的一項深入探索和實踐，采用基于策略的特征識別將流量分類，在此基礎(chǔ)上通過流水線 式的多媒體語義特征識別處理，實現(xiàn)對網(wǎng)絡(luò)流量的快速檢測和內(nèi)容的深度識別。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種面向內(nèi)容的網(wǎng)絡(luò)流量快速安檢引擎。本發(fā)明的目的是按以下方式實現(xiàn)的，主要由網(wǎng)絡(luò)流量特征檢測、網(wǎng)絡(luò)內(nèi)容流水線 式深度檢測與處理、有害內(nèi)容流量形跡統(tǒng)計分析、流量特征和內(nèi)容特征庫(特征控制寄存 器)四大子系統(tǒng)組成。基本工作步驟如下網(wǎng)絡(luò)流量輸入到“流/分組檢測子系統(tǒng)”的緩存器，檢測器根據(jù)特征寄存器中的各 種特征段同時對流/分組包進行匹配檢測(主要檢測形態(tài)和類型屬性，不檢測凈荷內(nèi)容)， 檢測出的類型分為安全可信、異常有害、不確定三大類。然后根據(jù)策略控制器中的處理策 略，將異常有害的流/分組丟棄到垃圾箱，將安全可信的直接送到綠色直通通道；將不確定 的發(fā)送到內(nèi)容深度檢測處理子系統(tǒng)。(1)內(nèi)容檢測處理子系統(tǒng)，首先將不確定的內(nèi)容存放到檢測輸入緩存區(qū)，經(jīng)文本檢 測器、聲音檢測器、圖像檢測器、以及關(guān)聯(lián)檢測器檢測識別，然后傳輸?shù)絻?nèi)容過濾緩存區(qū)。(2)在內(nèi)容過濾緩存區(qū)，由文本過濾器、聲音過濾器、圖像過濾器根據(jù)前邊各檢測 器發(fā)來的相關(guān)識別信息，實施對流/分組進行過濾處理，將有害內(nèi)容丟到垃圾箱，將良好內(nèi) 容發(fā)送到流量合成器。
(3)流量合成器負責將綠色通道上的信息和經(jīng)過過濾處理的良好信息整合成“安 全可信”的綠色流傳送到后面的網(wǎng)絡(luò)中。(4)內(nèi)容特征控制寄存器存放各種不良內(nèi)容的語義特征控制段(這些特征段可能 有很多條)，供各檢測器/過濾器作為操作依據(jù)在內(nèi)容檢測與過濾流水線上對網(wǎng)絡(luò)流進行處理。(5)流特征控制寄存器存放一系列有關(guān)各類網(wǎng)站、流量、分組包安全特征的模式信 息(特征段)和策略控信息，送到流/分組檢測子系統(tǒng)的特征寄存器和策略控制器，以便控 制對網(wǎng)絡(luò)流量的處理。(6)異常形跡統(tǒng)計分析子系統(tǒng)，接受各內(nèi)容檢測器發(fā)來的各種流的安全標識信 息——例如來自某網(wǎng)站或URL (信息地址)流量中內(nèi)容的健康等級，經(jīng)過一段時間的統(tǒng)計分 析，判斷出各類流的安全或健康指數(shù)，當超過設(shè)定的閾值時，即發(fā)出相應(yīng)的報告，報告接受 方可以是后臺管理者，也可是各特征控制寄存器、策略控器，接受方據(jù)此修正控制信息。本發(fā)明的優(yōu)異效果如下(1)將流量安全檢測和內(nèi)容檢測過濾綜合為一體的引擎架構(gòu)，提高了二者之間的 配合效果，減少了二者之間許多耦合環(huán)節(jié)，可有效提高處理速度、降低實現(xiàn)成本；(2)流/分組包檢測器通過對流量實施基于策略的分類處理，使得后續(xù)對內(nèi)容檢 測的規(guī)模大大減低，從而大幅度提高內(nèi)容處理速度；(3)基于前饋式流水線技術(shù)的內(nèi)容檢測與處理結(jié)構(gòu)，使得各個媒體維度的檢測器 操作過程十分單純快速——特別適合大規(guī)模地并發(fā)矢量運算或矩陣運算，并且將檢測的結(jié) 果超前于被檢分組包送到內(nèi)容過濾器，能有效加快對分組的處理速度；(3)特征控制寄存器的設(shè)置，實現(xiàn)了控制與操作在結(jié)構(gòu)上的獨立性，保證了系統(tǒng)具 有可不斷演進、不斷擴展、不斷升級、靈活配置等特性；(4)異常形跡分析功能的設(shè)計，可使引擎具有不斷自學的功能，有利于不斷提高檢 測識別的效果和效率。


附圖1為面向內(nèi)容的網(wǎng)絡(luò)流量快速安檢引擎的結(jié)構(gòu)示意圖。
具體實施例方式參照附圖對本發(fā)明的面向內(nèi)容的網(wǎng)絡(luò)流量快速安檢引擎作以下詳細地說明。本發(fā)明的面向內(nèi)容的網(wǎng)絡(luò)流量快速安檢引擎，基于本發(fā)明的網(wǎng)絡(luò)流量檢測處理系 統(tǒng)，可統(tǒng)一高效地實現(xiàn)網(wǎng)絡(luò)流量監(jiān)控功能和不良網(wǎng)絡(luò)內(nèi)容檢測過濾功能，而且能夠在相對 較低的成本情況下，成倍地提高處理效率。特別是隨著對網(wǎng)絡(luò)流量內(nèi)容識別的研究深入和 更好算法的提出，可以連續(xù)地實現(xiàn)對系統(tǒng)的升級擴展，從而能夠保證流量檢測效果和內(nèi)容 過濾效果的理想性。這樣的系統(tǒng)特別適合于大中型電信網(wǎng)絡(luò)、大中型企事業(yè)網(wǎng)絡(luò)、大中型互 聯(lián)網(wǎng)節(jié)點、大型網(wǎng)絡(luò)安全檢測中心、大型網(wǎng)吧，以及對性能要求高對有害內(nèi)容敏感的各種場 所，因此本發(fā)明具有廣泛的應(yīng)用前景和良好的實用價值。實施例基于本發(fā)明的網(wǎng)絡(luò)流量檢測與內(nèi)容過濾引擎或系統(tǒng)，可以采用基于主機的軟件實現(xiàn)，也可采用超大規(guī)模集成電路(如面向內(nèi)容的網(wǎng)絡(luò)流量快速安檢引擎SIC、FPG面向內(nèi)容 的網(wǎng)絡(luò)流量快速安檢引擎)用硬件來實現(xiàn)。后一種實現(xiàn)方式是主要發(fā)展方向，具體實現(xiàn)時 的方法和注意事項如下(1)各子系統(tǒng)最好在同一芯片上實現(xiàn)，特別是流量檢測器、內(nèi)容檢測與過濾、特征 控制寄存器三個子系統(tǒng)，盡量放在同一芯片的相鄰位置，以便保證運行高速度；(2)特征控制寄存器存放流/分組特征控制字段，這些字段的數(shù)量可能會很大。如 果特征字段的數(shù)量太大(比如超過幾萬條)，可考慮將特征控孩子寄存器分為二部分，一部 分放在檢測器/過濾器所在的芯片上，另一部分放在另外的芯片上(特別是那些相對不常 用的特征段、對處理時間要求相對不嚴格的特征段)；(3)異常形跡分析子系統(tǒng)也盡量放在同一芯片上，因為該模塊的出入信號線比較 多，放到外邊不方便；(4)垃圾箱一般要放到芯片外部。特別是當系統(tǒng)不斷成熟時，由于對流量的檢測處 理很準確，所以垃圾箱可去掉；(5)流量合成器比較簡單，所占用的片上資源很少，所以應(yīng)盡量放到片上； (6)系統(tǒng)的其它部分如電源、網(wǎng)絡(luò)接口、調(diào)試/監(jiān)控接口、管理軟件等，可參照成熟 的網(wǎng)絡(luò)設(shè)備處理。
權(quán)利要求
面向內(nèi)容的網(wǎng)絡(luò)流量快速安檢引擎，其特征在于，包括，網(wǎng)絡(luò)流量特征檢測、網(wǎng)絡(luò)內(nèi)容流水線式深度檢測與處理、有害內(nèi)容流量形跡統(tǒng)計分析、流量特征和內(nèi)容特征控制寄存器四大子系統(tǒng)，工作步驟如下網(wǎng)絡(luò)流量輸入到“流/分組檢測子系統(tǒng)”的緩存器，檢測器根據(jù)特征寄存器中的各種特征段同時對流/分組包進行匹配檢測，檢測出的類型分為安全可信、異常有害、不確定三大類，然后根據(jù)策略控制器中的處理策略，將異常有害的流/分組丟棄到垃圾箱，將安全可信的直接送到綠色直通通道；將不確定的發(fā)送到內(nèi)容深度檢測處理子系統(tǒng)；其中1)內(nèi)容檢測處理子系統(tǒng)，首先將不確定的內(nèi)容存放到檢測輸入緩存區(qū)，經(jīng)文本檢測器、聲音檢測器、圖像檢測器、以及關(guān)聯(lián)檢測器檢測識別，然后傳輸?shù)絻?nèi)容過濾緩存區(qū)；2)在內(nèi)容過濾緩存區(qū)，由文本過濾器、聲音過濾器、圖像過濾器根據(jù)前邊各檢測器發(fā)來的相關(guān)識別信息，實施對流/分組進行過濾處理，將有害內(nèi)容丟到垃圾箱，將良好內(nèi)容發(fā)送到流量合成器；3)流量合成器負責將綠色通道上的信息和經(jīng)過過濾處理的良好信息整合成“安全可信”的綠色流傳送到后面的網(wǎng)絡(luò)中；4)內(nèi)容特征控制寄存器存放各種不良內(nèi)容的語義特征控制段，供各檢測器/過濾器作為操作依據(jù)在內(nèi)容檢測與過濾流水線上對網(wǎng)絡(luò)流進行處理；5)流特征控制寄存器存放一系列有關(guān)各類網(wǎng)站、流量、分組包安全特征的模式信息和策略控信息，送到流/分組檢測子系統(tǒng)的特征寄存器和策略控制器，控制對網(wǎng)絡(luò)流量的處理；6)異常形跡統(tǒng)計分析子系統(tǒng)，接受各內(nèi)容檢測器發(fā)來的各種流的安全標識信息，包括來自某網(wǎng)站或URL流量中內(nèi)容的健康等級，經(jīng)過一段時間的統(tǒng)計分析，判斷出各類流的安全或健康指數(shù)，當超過設(shè)定的閾值時，即發(fā)出相應(yīng)的報告，報告接受方是后臺管理者，或是各特征控制寄存器、策略控器，接受方據(jù)此修正控制信息。
全文摘要
本發(fā)明提供一種面向內(nèi)容的網(wǎng)絡(luò)流量快速安檢引擎，主要在于系統(tǒng)由網(wǎng)絡(luò)流量特征檢測、網(wǎng)絡(luò)內(nèi)容流水線式深度檢測與處理、有害內(nèi)容流量形跡統(tǒng)計分析、流量特征和內(nèi)容特征庫(特征控制寄存器)四大子系統(tǒng)組成。步驟是先通過對流量外部特征的檢測和基于策略的分類與處理，然后采用流水線檢測處理過程，基于預(yù)先設(shè)置的特征庫快速檢測、識別所過流量。流水處理系統(tǒng)按功能分割，處理功能專一高效，且具有關(guān)聯(lián)綜合功能。特別設(shè)計的流量形跡分析器能夠幫助系統(tǒng)不斷積累定性的特征信息，使系統(tǒng)具有自學習功能，從而使性能不斷提升。具有廣泛的應(yīng)用前景和良好的實用價值。
文檔編號H04L29/06GK101815015SQ20101011164
公開日2010年8月25日 申請日期2010年2月22日 優(yōu)先權(quán)日2010年2月22日
發(fā)明者苗再良 申請人:浪潮通信信息系統(tǒng)有限公司