基于詞語共現(xiàn)的BBS垃圾信息過濾模型.pdf

1、隨著Internet技術(shù)的快速發(fā)展，各種網(wǎng)絡(luò)應(yīng)用服務(wù)越來越多，BBS系統(tǒng)（Bulletin Board Systems）為廣大網(wǎng)絡(luò)用戶開辟了自由發(fā)表言論的空間，含有大量信息資源。開發(fā)出有效的BBS搜索引擎，有助于人們獲得更多的知識和信息。在海量BBS信息中，存在大量人為加入的“垃圾信息”，比如大多數(shù)用戶不關(guān)心的廣告帖，雖然可以通過制定規(guī)則加以過濾或者人工加以排除，但是垃圾信息的人為性和隨意性以及人工操作的開銷過大，BBS系統(tǒng)難以保證所有

2、信息都是規(guī)范的、有意義的。在通用搜索引擎中收錄的BBS信息中，BBS中的垃圾信息對搜索結(jié)果產(chǎn)生了干擾。
　　為解決上述問題，本文提出了一種基于詞語共現(xiàn)向量空間的信息過濾模型，通過計算文本中題目與正文特征項之間的相關(guān)度進行文本過濾。課題的研究工作主要包括：
　?。?）分析和總結(jié)了BBS信息的特點，在國內(nèi)外信息過濾相關(guān)技術(shù)研究的基礎(chǔ)上，在BBS搜索引擎框架中引入信息過濾技術(shù)。
　?。?）提出了基于詞語共現(xiàn)向量空間模型計算文

3、本中標(biāo)題與正文特征向量之間相關(guān)度的方法。
　?。?）通過實驗，對基于詞語共現(xiàn)向量空間模型與基于知網(wǎng)的語義相似度模型進行了比較。
　　在相同的訓(xùn)練集和測試集上，本文采用的模型對文本相關(guān)度的計算結(jié)果優(yōu)于未進行語義分析的、基于知網(wǎng)的語義相似度計算的結(jié)果，而在進行語義分析的情況下，基于知網(wǎng)的語義相似度計算結(jié)果稍優(yōu)于本文的模型。本文采用的模型具有系統(tǒng)開銷小并具有自學(xué)習(xí)性能的優(yōu)點，該模型可用于信息檢索、信息過濾、自然語言處理等研究工作，