基于向量空間模型的網(wǎng)頁過濾研究

1、北京化工大學(xué)碩士學(xué)位論文基于向量空間模型的網(wǎng)頁過濾研究姓名：李中原申請學(xué)位級別：碩士專業(yè)：計算機應(yīng)用技術(shù)指導(dǎo)教師：楊守文20100525北京化工大學(xué)碩士學(xué)位論文分和對網(wǎng)頁文本的信息處理部分。對網(wǎng)絡(luò)數(shù)據(jù)信息的處理部分，本文主要論述了基于Windows的WinPcap下數(shù)據(jù)包的捕獲，通過對TCP協(xié)議、IP協(xié)議、HTTP消息的分析，過濾掉不包含text№tml的數(shù)據(jù)包，然后實現(xiàn)一種鏈表重裝的數(shù)據(jù)包還原算法把網(wǎng)頁還原出來，同時在基于關(guān)鍵字過濾的

2、過程中，本文采用了改進(jìn)后的多關(guān)鍵字匹配算法，即基于協(xié)議分析的多關(guān)鍵字匹配算法，可以提高匹配效率。在網(wǎng)頁文本的處理部分，主要對網(wǎng)頁正文的提取進(jìn)行了實現(xiàn)和文本表示進(jìn)行了改進(jìn)。針對網(wǎng)頁這種特殊的文檔，本文用改進(jìn)的向量空間模型來表示文本。本文就是通過依次提取模板中的特征詞，在網(wǎng)頁文本出現(xiàn)的位置進(jìn)行精確處理，避免了對整篇文檔進(jìn)行處理，尤其是當(dāng)信息流中非相關(guān)文檔多于相關(guān)文檔以及大文本數(shù)據(jù)的處理，可以大大提高網(wǎng)頁處理時間和精確度。最后，本文論述了對用