基于粗糙集理論的web信息過濾技術(shù)研究.pdf

1、聲明本學(xué)位論文是我在導(dǎo)師的指導(dǎo)下取得的研究成果，盡我所知，在本學(xué)位論文中，除了加以標(biāo)注和致謝的部分外，不包含其他人已經(jīng)發(fā)表或公布過的研究成果，也不包含我為獲得任何教育機構(gòu)的學(xué)位或?qū)W歷而使用過的材料。與我一同工作的同事對本學(xué)位論文做出的貢獻均已在論文中作了明確的說明。研究生簽名：室墨壁壘汐ff年弓月∞日學(xué)位論文使用授權(quán)聲明南京理工大學(xué)有權(quán)保存本學(xué)位論文的電子和紙質(zhì)文檔，可以借閱或上網(wǎng)公布本學(xué)位論文的部分或全部內(nèi)容，可以向有關(guān)部門或機構(gòu)送交

2、并授權(quán)其保存、借閱或上網(wǎng)公布本學(xué)位論文的部分或全部內(nèi)容。對于保密論文，按保密的有關(guān)規(guī)定和程序處理。研究生簽名：牢0用悶2o，f年塞HzoEI碩L論文基于粗糙集理論臼摘要隨著社會的發(fā)展，互聯(lián)網(wǎng)已成為信息傳播和獲取的重要平臺，為我們進行信息交流提供了極大的便利。與此同時，互聯(lián)網(wǎng)也成為發(fā)布虛假信息、濫發(fā)商業(yè)廣告、隨意侮辱他人、濫用信息技術(shù)、進行網(wǎng)絡(luò)欺詐等犯罪行為滋生的載體，因此web信息過濾成為當(dāng)前網(wǎng)絡(luò)安全領(lǐng)域匾待解決的問題之一。考慮到web

3、信息具有頁面級數(shù)大、信息隱蔽等特點，本文采用粗糙集相關(guān)知識來解決web信息過濾的問題。按照信息過濾的流程，web信息過濾包括信息采集、構(gòu)建用戶需求模板、屬性約簡、規(guī)則提取、信息過濾以及主動學(xué)習(xí)等過程，本文對構(gòu)建用戶需求模板、屬性約簡及規(guī)則提取三個部分進行了重點研究。在樣本選擇過程中，傳統(tǒng)的約簡算法采用的樣本實例數(shù)和維數(shù)通常較低，缺乏真實性，因此本文利用網(wǎng)絡(luò)爬蟲從互聯(lián)網(wǎng)采集真實的頁面作為算法的樣本。在構(gòu)造用戶需求模板階段，本文首先提出模糊

4、分詞思想并與過去的掃描分詞法結(jié)合形成二次分詞，從而更好地挖掘隱蔽的非法信息；其次為了緩解二次分詞的較大系統(tǒng)壓力，本文給出主從式分詞系統(tǒng)，利用map／reduce思想將分詞任務(wù)分解到多個子結(jié)點同時處理；最后整理TXT詞匯文本構(gòu)造向量空間模型。在屬性約簡階段，針對樣本信息量大且不同類別樣本間特征離散嚴(yán)重等特點，本文提出了一種同屬性約簡算法；該算法構(gòu)造特征矩陣，利用重疊率有效地達到降維目的。在規(guī)則提取階段，分析前人算法并結(jié)合同屬性約簡算法得到

5、的約簡結(jié)果特點本文提出同值約簡算法，該算法去除決策表中冗余屬性值，并且去除其中的重復(fù)和蘊含關(guān)系得到最終的過濾規(guī)則。對于規(guī)則匹配，本文深化擴展傳統(tǒng)的布爾邏輯模型true／false表達，引入二進制位運算思想，大大提高了匹配效率同時又不會丟失關(guān)鍵特征(即標(biāo)記為l的二進制位)。最后本文將上述流程封裝成過濾層嵌入到開源框架carrot2中，新增過濾功能完善其原來單純的搜索功能。另外由于過濾規(guī)則庫較大，本文提出對二進制規(guī)則串切割并建立索引，提高了