面向不均衡數據的文本分類系統(tǒng)研究與實現.pdf

1、隨著計算機網絡技術的飛速發(fā)展，網絡中各種電子形式的文本以指數級的速度增長，然而不同主題類別之間文檔數量往往會出現指數級的差異。面對數據不均衡問題，傳統(tǒng)文本分類往往會出現類別傾向性的問題，然而用戶往往對少數類的分類效果關注度更高。特征選擇作為文本分類的重要環(huán)節(jié)，如何在不均衡數據集下選擇高類別價值的特征項，從而保證分類效果的前提下，提高少數類別的分類精度，是當前研究的難點和熱點。
　　面對文本分類中數據集不均衡問題，本文主要對特征選擇

2、進行了一定的研究，特別是分析了卡方統(tǒng)計算法的不足，并在卡方統(tǒng)計算法的基礎上提出了一種面向不均衡數據的概率方差 CHI特征選擇算法。改進的內容如下：
　　1)引入頻繁因子。高類別價值的特征項應該是經常出現的，由于卡方統(tǒng)計算法只考慮了文檔頻信息，忽略了詞頻信息，存在低頻詞傾向的問題。本文以詞頻概率度量特征項在不均衡數據集下的頻繁程度，克服了低頻詞傾向和類別文檔差異的問題。
　　2)引入類間集中因子。一個高類別價值的特征項應該集中

3、出現在指定類中，然而卡方統(tǒng)計忽略了特征項在類間的分布信息。本文以文檔概率為基礎，計算類間文檔樣本方差，度量特征項在不均衡數據集下的類間集中程度，克服了類間分布信息缺失和類別文檔差異的問題。
　　3)引入類內均勻因子。一個高類別價值的特征項應該均勻的分布在指定類各個文檔中，然而卡方統(tǒng)計忽略了特征項的類內分布信息。本文以詞頻為基礎，計算類內特征項樣本方差，度量特征項在類內的均勻程度，克服了類內分布信息缺失的問題。
　　本文文本分