基于粗糙集理論的文本分類算法研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,網(wǎng)上的資源呈指數(shù)增長(zhǎng),人工處理這些海量信息代價(jià)非常高昂,因此如何高效地組織和管理這些資源成為近些年來(lái)的研究熱點(diǎn).目前傳統(tǒng)的信息檢索技術(shù)己不適應(yīng)日益增加的大量文本數(shù)據(jù)的處理需要,用戶需要更加有效的檢索算法實(shí)現(xiàn)文檔重要性和相關(guān)性的排列,完成不同文檔的分類比較.自動(dòng)組織和管理知識(shí)的技術(shù)-文本分類,作為實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵技術(shù)之一,得到了研究人員的廣泛關(guān)注. 文本分類是當(dāng)前信息技術(shù)中的一個(gè)重要研究領(lǐng)域,本文提出了

2、一種基于粗糙集理論的文本自動(dòng)分類方法,在對(duì)BBS上有害信息的過(guò)濾方面具有較高的實(shí)用價(jià)值.該方法主要利用粗糙集理論對(duì)模糊和不確定性知識(shí)的處理能力,它不需要任何先驗(yàn)信息,就可有效分析和處理不完備、不一致、不精確的數(shù)據(jù).目前,粗糙集理論已經(jīng)在機(jī)器學(xué)習(xí)、知識(shí)獲取、決策分析、知識(shí)發(fā)現(xiàn)、專家系統(tǒng)和模式識(shí)別等領(lǐng)域取得了一些成功的應(yīng)用.本文主要研究文本分類中決策表的屬性約簡(jiǎn)問(wèn)題和屬性值的約簡(jiǎn)問(wèn)題,所做主要工作包括: 1.描述了文本分類的基本過(guò)程

3、,并對(duì)幾種常見(jiàn)文本分類算法進(jìn)行了分析;介紹了粗糙集的基本理論; 2.首先針對(duì)幾種常用屬性約簡(jiǎn)算法中存在的問(wèn)題進(jìn)行了分析,然后給出了基于粗集的Tabu搜索的屬性約簡(jiǎn)算法.該算法既具有較高的算法效率,又能以較大的概率得到最小屬性約簡(jiǎn).針對(duì)粗糙集理論中的值約簡(jiǎn)及最小決策規(guī)則進(jìn)行了相應(yīng)研究; 3.提出了基于粗糙集的文本分類模型,并將該模型應(yīng)用于BBS信息安全監(jiān)控系統(tǒng)中,將從BBS上搜索到的文本信息通過(guò)分類模型過(guò)濾出用戶指定內(nèi)容,