基于粗糙集的文本分類算法研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，信息處理成為人們獲取有用信息不可缺少的工具。文本分類是中文信息處理的一個(gè)重要的研究領(lǐng)域。其目標(biāo)是在分析文本內(nèi)容的基礎(chǔ)上，給文本分配一個(gè)或多個(gè)比較合適的類別，從而提高文本檢索等應(yīng)用的處理效率。目前已經(jīng)有許多方法應(yīng)用到該領(lǐng)域，如支持向量機(jī)方法、K近鄰方法、樸素貝葉斯方法、決策樹方法等等。與這些方法相比將粗糙集理論用于文本分類有以下優(yōu)點(diǎn)：粗糙集理論無需提供除問題所需處理的數(shù)據(jù)集合之外的任何先驗(yàn)信息；包括了知識(shí)的一種形式

2、模型，使得知識(shí)有了清晰的數(shù)據(jù)意義，并且可用數(shù)學(xué)方法來分析處理；能夠獲得分類所需的最小特征屬性集，可以在不影響分類精度的條件下降低特征向量的維數(shù)；可以得到最簡(jiǎn)的顯式表達(dá)的分類規(guī)則。而其它方法則有的無法得到顯式規(guī)則，如樸素貝葉斯方法和K近鄰方法，有的得到的規(guī)則含有大量的冗余條件，如決策樹方法。 本文研究利用粗糙集對(duì)文本進(jìn)行分類的理論與方法。首先，對(duì)文本進(jìn)行預(yù)處理，包括分詞、詞頻統(tǒng)計(jì)、停用詞的處理等；然后利用TF-IDF函數(shù)提取特征；