基于不均衡數(shù)據(jù)集的文本分類(lèi)算法研究.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，電子文檔逐漸成為人們獲取文本信息的主要渠道。網(wǎng)絡(luò)信息的多樣性和文檔的雜亂無(wú)章性對(duì)用戶(hù)快速準(zhǔn)確獲取所需信息提出了巨大的挑戰(zhàn)。文本分類(lèi)是信息檢索中對(duì)文檔進(jìn)行組織和整理的重要技術(shù)，然而不同于文本分類(lèi)系統(tǒng)在實(shí)驗(yàn)室中處理的文本集合，在實(shí)際應(yīng)用中尤其是出現(xiàn)在網(wǎng)絡(luò)中的文本數(shù)據(jù)集合往往存在標(biāo)注不全，數(shù)據(jù)集不平衡等問(wèn)題。數(shù)據(jù)不均衡問(wèn)題由于其在各領(lǐng)域應(yīng)用的廣泛性和重要性成為文本分類(lèi)目前面臨的一個(gè)主要問(wèn)題，同時(shí)也是文本挖掘領(lǐng)域的

2、研究熱點(diǎn)。
　　本文對(duì)不均衡數(shù)據(jù)集下的文本分類(lèi)進(jìn)行了一定的研究，從文本分類(lèi)的特征選擇方法和對(duì)量化后的文本數(shù)據(jù)層上的重取樣兩個(gè)角度出發(fā)提出了一種組合的針對(duì)不均衡數(shù)據(jù)集的文本分類(lèi)方法。本文的主要研究?jī)?nèi)容如下：
　?、賹?duì)文本分類(lèi)中的傳統(tǒng) CHI統(tǒng)計(jì)特征選擇方法和對(duì)改進(jìn)的僅保留類(lèi)別正相關(guān)性特征的CHI統(tǒng)計(jì)特征選擇算法進(jìn)行了研究，并在不均衡數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明在均衡數(shù)據(jù)集上表現(xiàn)良好的CHI統(tǒng)計(jì)特征選擇方法所得到的分類(lèi)效果并

3、不理想。
　?、谕ㄟ^(guò)對(duì)不均衡數(shù)據(jù)集的研究分析，提出了對(duì)僅保留類(lèi)別正相關(guān)性特征的單邊CHI統(tǒng)計(jì)特征選擇方法進(jìn)行改進(jìn)，首先引入一個(gè)小類(lèi)加權(quán)因子用于保留部分對(duì)小類(lèi)分類(lèi)有貢獻(xiàn)的表現(xiàn)為類(lèi)別負(fù)相關(guān)性的特征詞項(xiàng)，同時(shí)使用ICF(逆轉(zhuǎn)類(lèi)別頻)增強(qiáng)特征選擇過(guò)程中特征的類(lèi)別區(qū)分能力，進(jìn)而選擇出最具類(lèi)別代表性的特征詞。使用特征集合將文檔進(jìn)行量化表示為向量空間模型。
　?、蹫楦玫亟鉀Q由數(shù)據(jù)不均衡導(dǎo)致分類(lèi)效果不佳的問(wèn)題，本文提出對(duì)量化后的文本集合在