中文文本分類的研究.pdf

1、隨著網(wǎng)絡(luò)的普及和飛速發(fā)展，網(wǎng)絡(luò)資源已經(jīng)成為一個(gè)普遍全球的信息寶庫，使得人類全部的信息資源以前所未有的方式和程度在全球內(nèi)互相連通，它作為一個(gè)開放的分布式的信息空間，網(wǎng)絡(luò)中的信息量也以指數(shù)的速度增長。如何利用計(jì)算機(jī)進(jìn)行智能化的信息處理成為近幾年來研究的熱點(diǎn)和焦點(diǎn)。由于側(cè)重點(diǎn)的不同，我們可以將其分為如下幾個(gè)領(lǐng)域：信息檢索、信息提取、文本分類、文本摘要等研究領(lǐng)域，其中文本分類是一個(gè)廣為關(guān)注的課題，這項(xiàng)技術(shù)有很廣的市場(chǎng)應(yīng)用價(jià)值。
　　 文

2、本表示是進(jìn)行文本分類研究的前提。我們常用的文本表示的方法有基于向量空間的文本表示方法和基于統(tǒng)計(jì)語言模型的文本表示方法。特征提取和文本表示方法是影響文本分類器兩個(gè)重要因素。如何選取特征，用什么樣的方式將其表示出來直接影響到文本分類器的速度和性能。
　　 在數(shù)據(jù)挖掘的諸多方法中，我們首先對(duì)基于向量空間的幾種常用分類方法(布爾模型、向量空間模型、BP神經(jīng)網(wǎng)絡(luò))，進(jìn)行實(shí)驗(yàn)和性能比較。并通過實(shí)驗(yàn)分析出向量維數(shù)、閾值等參數(shù)設(shè)置對(duì)各類模型的影

3、響，為各種分類算法的改進(jìn)提供了理論依據(jù)。
　　 在基于統(tǒng)計(jì)語言模型的文本分類方法中，本文主要研究了最大模型和決策樹模型。ID3算法是信息過濾中采用較廣泛的方法。在對(duì)ID3算法學(xué)習(xí)分析研究的基礎(chǔ)上，實(shí)現(xiàn)了一個(gè)基于ID3算法的決策樹分類程序，該程序可以對(duì)中文信息進(jìn)行有效的分類。此外，該程序還可以從分類數(shù)據(jù)中提取分類規(guī)則，這些規(guī)則可以根據(jù)需要進(jìn)行增加、刪除和修改。實(shí)驗(yàn)結(jié)果表明決策樹分類器確實(shí)是一種有效的分類技術(shù)。本文還提出了一種改進(jìn)的