中文文本分類特征提取方法的研究與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，文本信息數(shù)量呈現(xiàn)指數(shù)級(jí)的增長(zhǎng)。文本分類作為一種有效的文本信息組織管理技術(shù)能很好地組織管理海量、異構(gòu)的信息。在文本分類基礎(chǔ)上通過(guò)信息檢索、過(guò)濾等技術(shù)可以幫助人們從海量信息中快速，準(zhǔn)確地查找相關(guān)知識(shí)信息，提高生活工作效率，因此對(duì)文本分類技術(shù)的研究具有較大的研究意義和實(shí)用價(jià)值。
　　本文首先對(duì)文本分類關(guān)鍵技術(shù)進(jìn)行研究分析，在此基礎(chǔ)上對(duì)特征提取方法進(jìn)行了重點(diǎn)研究，提出了新特征提取方法，并利用新特征提取方法設(shè)計(jì)

2、開發(fā)了一個(gè)中文文本分類系統(tǒng)，實(shí)驗(yàn)結(jié)果分析表明文中提出的特征提取方法取得了良好的實(shí)驗(yàn)效果。本文主要的研究工作如下：
　?、俜治隽藢?duì)文本分類過(guò)程及關(guān)鍵技術(shù)，研究了文本特征特征提取方法。通過(guò)對(duì)基于過(guò)濾模型的幾種常用特征提取方法分析比較后，發(fā)現(xiàn)文本特征提取過(guò)程中負(fù)相關(guān)特征與弱相關(guān)特征對(duì)特征提取質(zhì)量好壞易產(chǎn)生較大的干擾。為了避免這種干擾，本文提出一個(gè)基于類別正相關(guān)和類別強(qiáng)相關(guān)的特征提取方法SP(StrongCorrelationandPos

3、itiveCorrelation，正相關(guān)與強(qiáng)相關(guān))，SP方法通過(guò)優(yōu)先選擇正相關(guān)特征和強(qiáng)相關(guān)特征，有效地減少了負(fù)相關(guān)特征和弱相關(guān)特征的干擾，從而保證高質(zhì)量文本特征的提取。
　?、谠O(shè)計(jì)與實(shí)現(xiàn)了一個(gè)中文文本分類系統(tǒng)，把文本分類的特征提取方法SP應(yīng)用到中文文本分類系統(tǒng)。文中對(duì)中文文本分類系統(tǒng)進(jìn)行了總體設(shè)計(jì)和功能模塊設(shè)計(jì)，分析研究漢語(yǔ)語(yǔ)法分析工具包ICTCLAS與全文檢索工具包Lucene，并將二者結(jié)合作為中文文本分類系統(tǒng)搭建解決方案，最終