基于神經(jīng)網(wǎng)絡(luò)的中文文本分類研究.pdf

1、隨著國(guó)際互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)上文本信息資源以指數(shù)級(jí)的速度增長(zhǎng)。如何快速有效地將文本按其內(nèi)容進(jìn)行分門別類的整理，以便于利用這些海量文本，變得越來(lái)越重要和困難。因此，研究文本自動(dòng)分類技術(shù)具有很重要的現(xiàn)實(shí)意義。 本文分析考察了文本分類過(guò)程中的主要技術(shù)：中文分詞、特征選擇、粗糙集和分類器構(gòu)造，并在廣泛研究現(xiàn)有文本自動(dòng)分類方法的基礎(chǔ)上，利用人工神經(jīng)網(wǎng)絡(luò)具有的自學(xué)習(xí)性、自組織性、聯(lián)想記憶功能和推理意識(shí)等在文本自動(dòng)分類上的獨(dú)特優(yōu)勢(shì)，構(gòu)建了神經(jīng)

2、網(wǎng)絡(luò)分類器。由于BP(BackProPagation，反向傳播)神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于文本自動(dòng)分類領(lǐng)域，因此本文對(duì)BP網(wǎng)絡(luò)文本分類過(guò)程分階段進(jìn)行了改進(jìn)，并證明了本文方法的優(yōu)越性。 本文改進(jìn)了BP神經(jīng)網(wǎng)絡(luò)分類方法，主要設(shè)計(jì)思路如下：首先從已有文本中隨機(jī)選擇部分文本，并建立訓(xùn)練語(yǔ)料庫(kù)；接著對(duì)訓(xùn)練文本進(jìn)行分詞，去掉停用詞和標(biāo)點(diǎn)符號(hào)，然后詞頻統(tǒng)計(jì)，并生成各文本類的特征向量；接著分別使用改進(jìn)互信息、X2統(tǒng)計(jì)方法和本文提出的聯(lián)合特征選擇法，對(duì)特