基于向量空間模型的網(wǎng)頁(yè)過(guò)濾研究.pdf

1、隨著網(wǎng)絡(luò)信息技術(shù)的飛速發(fā)展，用戶可以通過(guò)網(wǎng)絡(luò)方便快捷地利用海量的共享信息，同時(shí)“信息爆炸”、“信息過(guò)載”、“信息垃圾”等很多問(wèn)題日趨嚴(yán)重。而且那些無(wú)用或者有害信息的信息量遠(yuǎn)遠(yuǎn)超過(guò)了我們所需要的信息量，這給人們帶來(lái)了很多不便。如何準(zhǔn)確地表達(dá)用戶需求，進(jìn)而在大規(guī)模的信息流中自動(dòng)地篩選出滿足用戶需求的信息并過(guò)濾掉無(wú)用信息和不良信息，使人們更有效地利用信息資源，已經(jīng)使我們亟待解決的問(wèn)題?；谝陨洗嬖诘膯?wèn)題，本文提出了一個(gè)基于局域網(wǎng)中的信息過(guò)濾研

2、究的課題。它不僅可以實(shí)現(xiàn)不良網(wǎng)頁(yè)的過(guò)濾，也可以實(shí)現(xiàn)基于興趣主題的網(wǎng)頁(yè)過(guò)濾。
　　 本文介紹了網(wǎng)頁(yè)文本過(guò)濾的發(fā)展現(xiàn)狀、信息過(guò)濾的方法，并詳細(xì)討論了在網(wǎng)頁(yè)文本過(guò)濾中所用到的關(guān)鍵技術(shù)及其實(shí)現(xiàn)的過(guò)程。基于網(wǎng)頁(yè)的過(guò)濾研究，本文是采用了分級(jí)過(guò)濾的策略，首先是對(duì)流經(jīng)網(wǎng)關(guān)的數(shù)據(jù)包實(shí)行基于IP和關(guān)鍵字的過(guò)濾技術(shù)，然后重點(diǎn)論述了基于DOM樹的網(wǎng)頁(yè)正文抽取的實(shí)現(xiàn)過(guò)程和基于內(nèi)容的過(guò)濾技術(shù)。對(duì)于網(wǎng)頁(yè)正文的提取部分本文實(shí)現(xiàn)了基于DOM樹的正文提取方法。它使

3、用戶能夠根據(jù)自己的需要設(shè)定參數(shù)并得到想要的結(jié)果，這樣網(wǎng)頁(yè)內(nèi)容的提取結(jié)果不隨網(wǎng)頁(yè)結(jié)構(gòu)的變化而變化?；趦?nèi)容的過(guò)濾技術(shù)包含兩個(gè)重要部分，即對(duì)網(wǎng)絡(luò)數(shù)據(jù)信息的處理部分和對(duì)網(wǎng)頁(yè)文本的信息處理部分。對(duì)網(wǎng)絡(luò)數(shù)據(jù)信息的處理部分，本文主要論述了基于Windows的WinPcap下數(shù)據(jù)包的捕獲，通過(guò)對(duì)TCP協(xié)議、IP協(xié)議、HTTP消息的分析，過(guò)濾掉不包含text\html的數(shù)據(jù)包，然后實(shí)現(xiàn)一種鏈表重裝的數(shù)據(jù)包還原算法把網(wǎng)頁(yè)還原出來(lái)，同時(shí)在基于關(guān)鍵字過(guò)濾的過(guò)

4、程中，本文采用了改進(jìn)后的多關(guān)鍵字匹配算法，即基于協(xié)議分析的多關(guān)鍵字匹配算法，可以提高匹配效率。在網(wǎng)頁(yè)文本的處理部分，主要對(duì)網(wǎng)頁(yè)正文的提取進(jìn)行了實(shí)現(xiàn)和文本表示進(jìn)行了改進(jìn)。針對(duì)網(wǎng)頁(yè)這種特殊的文檔，本文用改進(jìn)的向量空間模型來(lái)表示文本。本文就是通過(guò)依次提取模板中的特征詞，在網(wǎng)頁(yè)文本出現(xiàn)的位置進(jìn)行精確處理，避免了對(duì)整篇文檔進(jìn)行處理，尤其是當(dāng)信息流中非相關(guān)文檔多于相關(guān)文檔以及大文本數(shù)據(jù)的處理，可以大大提高網(wǎng)頁(yè)處理時(shí)間和精確度。最后，本文論述了對(duì)用戶