基于詞語(yǔ)共現(xiàn)的BBS垃圾信息過(guò)濾模型.pdf

1、隨著Internet技術(shù)的快速發(fā)展，各種網(wǎng)絡(luò)應(yīng)用服務(wù)越來(lái)越多，BBS系統(tǒng)（Bulletin Board Systems）為廣大網(wǎng)絡(luò)用戶(hù)開(kāi)辟了自由發(fā)表言論的空間，含有大量信息資源。開(kāi)發(fā)出有效的BBS搜索引擎，有助于人們獲得更多的知識(shí)和信息。在海量BBS信息中，存在大量人為加入的“垃圾信息”，比如大多數(shù)用戶(hù)不關(guān)心的廣告帖，雖然可以通過(guò)制定規(guī)則加以過(guò)濾或者人工加以排除，但是垃圾信息的人為性和隨意性以及人工操作的開(kāi)銷(xiāo)過(guò)大，BBS系統(tǒng)難以保證所有

2、信息都是規(guī)范的、有意義的。在通用搜索引擎中收錄的BBS信息中，BBS中的垃圾信息對(duì)搜索結(jié)果產(chǎn)生了干擾。
　　為解決上述問(wèn)題，本文提出了一種基于詞語(yǔ)共現(xiàn)向量空間的信息過(guò)濾模型，通過(guò)計(jì)算文本中題目與正文特征項(xiàng)之間的相關(guān)度進(jìn)行文本過(guò)濾。課題的研究工作主要包括：
　　（1）分析和總結(jié)了BBS信息的特點(diǎn)，在國(guó)內(nèi)外信息過(guò)濾相關(guān)技術(shù)研究的基礎(chǔ)上，在BBS搜索引擎框架中引入信息過(guò)濾技術(shù)。
　?。?）提出了基于詞語(yǔ)共現(xiàn)向量空間模型計(jì)算文

3、本中標(biāo)題與正文特征向量之間相關(guān)度的方法。
　?。?）通過(guò)實(shí)驗(yàn)，對(duì)基于詞語(yǔ)共現(xiàn)向量空間模型與基于知網(wǎng)的語(yǔ)義相似度模型進(jìn)行了比較。
　　在相同的訓(xùn)練集和測(cè)試集上，本文采用的模型對(duì)文本相關(guān)度的計(jì)算結(jié)果優(yōu)于未進(jìn)行語(yǔ)義分析的、基于知網(wǎng)的語(yǔ)義相似度計(jì)算的結(jié)果，而在進(jìn)行語(yǔ)義分析的情況下，基于知網(wǎng)的語(yǔ)義相似度計(jì)算結(jié)果稍?xún)?yōu)于本文的模型。本文采用的模型具有系統(tǒng)開(kāi)銷(xiāo)小并具有自學(xué)習(xí)性能的優(yōu)點(diǎn)，該模型可用于信息檢索、信息過(guò)濾、自然語(yǔ)言處理等研究工作，