數據流多重持續(xù)查詢優(yōu)化技術研究及其在入侵檢測中的應用.pdf

1、隨著網絡技術的發(fā)展，越來越多的應用系統(tǒng)需要處理各種以流動形式存在的數據。由于流數據與靜態(tài)數據的處理有著巨大差異，傳統(tǒng)的數據庫管理技術已經不能適應對高速、變化的數據流進行實時處理的需求。與此同時，基于數據流的持續(xù)查詢處理技術在近年來得到了學術界的廣泛關注。例如，網絡入侵檢測必須不問斷、無延遲地處理在線、持續(xù)流動的高速網絡報文，是數據流技術應用的典型場景。本文從理論模型和實際應用兩方面出發(fā)，研究了大規(guī)模數據流持續(xù)查詢技術及其在網絡入侵檢測中

2、的應用。具體工作如下： 總結了國內外數據流查詢技術的研究現狀以及網絡入侵檢測所面臨的挑戰(zhàn)，闡述了數據流多重持續(xù)查詢優(yōu)化技術的重要性及其在網絡安全中的應用背景。 總結了網絡入侵檢測等安全應用系統(tǒng)與數據流管理技術之間的緊密聯(lián)系，分析了數據流處理基礎平臺對相關應用系統(tǒng)的支持。通過將網絡數據關系化以及檢測規(guī)則關系化，建立了網絡入侵檢測的關系數據流模型。該模型將為基于網絡數據流處理的相關網絡安全系統(tǒng)提供共性的數據處理平臺，為進一步

3、提高相關應用系統(tǒng)的數據共享能力和系統(tǒng)效能提供了基礎支持。 進一步研究了基于單流過濾的多重持續(xù)查詢優(yōu)化算法。通過將大規(guī)模查詢操作編譯為一個自動機匹配樹，能夠消除查詢謂詞執(zhí)行過程中的許多冗余操作。在此基礎上，引入決策樹模型，并利用決策樹的信息增益對各個屬性的選擇性進行度量，調整屬性的匹配次序，從而優(yōu)化匹配時間。針對網絡入侵檢測中所涉及到的不同數據類型，分別設計了整型字段、flags型字段以及字符型字段的匹配決策樹節(jié)點的數據結構和匹配

4、方法。試驗表明，優(yōu)化算法能夠大大減少謂詞執(zhí)行過程中的比較次數，并且隨著規(guī)則數目的增加，比較次數保持穩(wěn)定，不會相應線性增長。 本文最后設計和實現了一個基于關系數據流模型的入侵檢測系統(tǒng)IceNetwork。系統(tǒng)采用了多重持續(xù)查詢優(yōu)化算法。通過構造一個入侵檢測系統(tǒng)的測試環(huán)境，對系統(tǒng)進行了功能驗證。試驗證明了這種設計思路是正確可行的。通過性能對比試驗，比較了IceNetwork原型系統(tǒng)與Snort在強攻擊流壓力下的執(zhí)行效率。測試不同流量