基于向量空間模型的網(wǎng)頁過濾研究.pdf

1、隨著網(wǎng)絡(luò)信息技術(shù)的飛速發(fā)展，用戶可以通過網(wǎng)絡(luò)方便快捷地利用海量的共享信息，同時“信息爆炸”、“信息過載”、“信息垃圾”等很多問題日趨嚴重。而且那些無用或者有害信息的信息量遠遠超過了我們所需要的信息量，這給人們帶來了很多不便。如何準確地表達用戶需求，進而在大規(guī)模的信息流中自動地篩選出滿足用戶需求的信息并過濾掉無用信息和不良信息，使人們更有效地利用信息資源，已經(jīng)使我們亟待解決的問題?；谝陨洗嬖诘膯栴}，本文提出了一個基于局域網(wǎng)中的信息過濾研

2、究的課題。它不僅可以實現(xiàn)不良網(wǎng)頁的過濾，也可以實現(xiàn)基于興趣主題的網(wǎng)頁過濾。
　　 本文介紹了網(wǎng)頁文本過濾的發(fā)展現(xiàn)狀、信息過濾的方法，并詳細討論了在網(wǎng)頁文本過濾中所用到的關(guān)鍵技術(shù)及其實現(xiàn)的過程?；诰W(wǎng)頁的過濾研究，本文是采用了分級過濾的策略，首先是對流經(jīng)網(wǎng)關(guān)的數(shù)據(jù)包實行基于IP和關(guān)鍵字的過濾技術(shù)，然后重點論述了基于DOM樹的網(wǎng)頁正文抽取的實現(xiàn)過程和基于內(nèi)容的過濾技術(shù)。對于網(wǎng)頁正文的提取部分本文實現(xiàn)了基于DOM樹的正文提取方法。它使

3、用戶能夠根據(jù)自己的需要設(shè)定參數(shù)并得到想要的結(jié)果，這樣網(wǎng)頁內(nèi)容的提取結(jié)果不隨網(wǎng)頁結(jié)構(gòu)的變化而變化?；趦?nèi)容的過濾技術(shù)包含兩個重要部分，即對網(wǎng)絡(luò)數(shù)據(jù)信息的處理部分和對網(wǎng)頁文本的信息處理部分。對網(wǎng)絡(luò)數(shù)據(jù)信息的處理部分，本文主要論述了基于Windows的WinPcap下數(shù)據(jù)包的捕獲，通過對TCP協(xié)議、IP協(xié)議、HTTP消息的分析，過濾掉不包含text\html的數(shù)據(jù)包，然后實現(xiàn)一種鏈表重裝的數(shù)據(jù)包還原算法把網(wǎng)頁還原出來，同時在基于關(guān)鍵字過濾的過

4、程中，本文采用了改進后的多關(guān)鍵字匹配算法，即基于協(xié)議分析的多關(guān)鍵字匹配算法，可以提高匹配效率。在網(wǎng)頁文本的處理部分，主要對網(wǎng)頁正文的提取進行了實現(xiàn)和文本表示進行了改進。針對網(wǎng)頁這種特殊的文檔，本文用改進的向量空間模型來表示文本。本文就是通過依次提取模板中的特征詞，在網(wǎng)頁文本出現(xiàn)的位置進行精確處理，避免了對整篇文檔進行處理，尤其是當信息流中非相關(guān)文檔多于相關(guān)文檔以及大文本數(shù)據(jù)的處理，可以大大提高網(wǎng)頁處理時間和精確度。最后，本文論述了對用戶