基于向量空間模型的網(wǎng)頁(yè)過濾研究

1、北京化工大學(xué)碩士學(xué)位論文基于向量空間模型的網(wǎng)頁(yè)過濾研究姓名：李中原申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：楊守文20100525北京化工大學(xué)碩士學(xué)位論文分和對(duì)網(wǎng)頁(yè)文本的信息處理部分。對(duì)網(wǎng)絡(luò)數(shù)據(jù)信息的處理部分，本文主要論述了基于Windows的WinPcap下數(shù)據(jù)包的捕獲，通過對(duì)TCP協(xié)議、IP協(xié)議、HTTP消息的分析，過濾掉不包含text№tml的數(shù)據(jù)包，然后實(shí)現(xiàn)一種鏈表重裝的數(shù)據(jù)包還原算法把網(wǎng)頁(yè)還原出來，同時(shí)在基于關(guān)鍵字過濾的

2、過程中，本文采用了改進(jìn)后的多關(guān)鍵字匹配算法，即基于協(xié)議分析的多關(guān)鍵字匹配算法，可以提高匹配效率。在網(wǎng)頁(yè)文本的處理部分，主要對(duì)網(wǎng)頁(yè)正文的提取進(jìn)行了實(shí)現(xiàn)和文本表示進(jìn)行了改進(jìn)。針對(duì)網(wǎng)頁(yè)這種特殊的文檔，本文用改進(jìn)的向量空間模型來表示文本。本文就是通過依次提取模板中的特征詞，在網(wǎng)頁(yè)文本出現(xiàn)的位置進(jìn)行精確處理，避免了對(duì)整篇文檔進(jìn)行處理，尤其是當(dāng)信息流中非相關(guān)文檔多于相關(guān)文檔以及大文本數(shù)據(jù)的處理，可以大大提高網(wǎng)頁(yè)處理時(shí)間和精確度。最后，本文論述了對(duì)用