基于位置加權(quán)和特征貢獻(xiàn)度的中文文本分類研究.pdf

1、隨著當(dāng)今網(wǎng)絡(luò)信息量的飛速增長，海量的網(wǎng)絡(luò)文本數(shù)據(jù)也在呈現(xiàn)指數(shù)級增長，傳統(tǒng)的人工分類方法顯然已經(jīng)不適用，文本分類技術(shù)應(yīng)運(yùn)而生。文本分類是在指定的分類系統(tǒng)下，依據(jù)待分類文本的特征判定其所屬類別的過程。文本分類技術(shù)能快速而準(zhǔn)確的幫助人們查找所需的信息，具有很大的應(yīng)用價值。
　　目前，針對文本分類技術(shù)的研究主要集中在以下三方面，文本表示、文本特征選擇以及分類算法的改進(jìn)。本文對文本分類技術(shù)進(jìn)行了系統(tǒng)的介紹，在分析了各種特征提取技術(shù)之后，探索

2、并提出了一種新的特征提取方法。該方法針對中文期刊類文本提出，結(jié)合文本結(jié)構(gòu)和類別信息對傳統(tǒng)特征提取算法加以改進(jìn)，以期取得更好的文本分類效果。
　　本文針對期刊類文本的結(jié)構(gòu)信息探討了特征項(xiàng)的位置加權(quán)，對重要位置的特征項(xiàng)賦予較大權(quán)值，在一定程度上能夠提升文本分類的準(zhǔn)確性。本文對傳統(tǒng)的TF-IDF算法進(jìn)行了改進(jìn)，TF-IDF算法是當(dāng)今特征加權(quán)算法中應(yīng)用較為廣泛和經(jīng)典的算法，但其自身存在一定的缺陷，針對多類文本分類時，TF-IDF算法忽略了

3、文本特征項(xiàng)的類內(nèi)和類間分布狀態(tài)，因此進(jìn)行特征加權(quán)時存在一定的誤差，單純對稀有的特征項(xiàng)賦予較大的權(quán)值，對更能區(qū)分文本類別的特征項(xiàng)賦予的權(quán)重過小。因此，本文結(jié)合了文本特征項(xiàng)的貢獻(xiàn)度對TF-IDF算法進(jìn)行了改進(jìn)。
　　本文通過多組對比實(shí)驗(yàn)驗(yàn)證了改進(jìn)的特征提取方法在中文文本分類上的有效性。實(shí)驗(yàn)結(jié)果通過多重評價指標(biāo)進(jìn)行分析，如查全率、查準(zhǔn)率和F1值等，實(shí)驗(yàn)結(jié)果表明基于位置加權(quán)、結(jié)合特征貢獻(xiàn)度的TF-IDF算法針對中文期刊類文本的分類結(jié)果優(yōu)于