中文文本挖掘技術(shù)的研究與應(yīng)用.pdf

1、數(shù)據(jù)挖掘已經(jīng)是一個(gè)發(fā)展很成熟的研究領(lǐng)域，它給人們提供了一個(gè)從大量雜亂無(wú)章的信息中獲取有用價(jià)值信息的方法。目前，對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)已有很多研究，而對(duì)于網(wǎng)絡(luò)中出現(xiàn)的越來(lái)越多的文本數(shù)據(jù)的挖掘技術(shù)研究還較少。文本中包含著豐富的內(nèi)涵和知識(shí)，如何對(duì)大量的文本數(shù)據(jù)進(jìn)行挖掘也是一個(gè)很重要的研究領(lǐng)域。文本分類是文本挖掘最基礎(chǔ)的應(yīng)用，是分析和處理大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，它可以有效地解決大數(shù)據(jù)時(shí)代信息多而雜的問(wèn)題，幫助人們準(zhǔn)確高效的定位信息和分流

2、信息，因此具有廣泛的應(yīng)用前景。
　　本文對(duì)中文文本挖掘技術(shù)進(jìn)行了研究，提出了一種新的基于特征義原擴(kuò)展向量空間模型的文本分類方法，并實(shí)現(xiàn)分類器對(duì)分類方法進(jìn)行驗(yàn)證。本文主要研究?jī)?nèi)容如下：
　　1.介紹了文本挖掘技術(shù)的原理和實(shí)現(xiàn)方法。作為文本挖掘的基礎(chǔ)，首先介紹了文本預(yù)處理流程，給出了預(yù)處理過(guò)程的具體步驟，包括：文本表示、中文分詞技術(shù)、特征提取和特征權(quán)值計(jì)算方法，及各個(gè)步驟采用的相關(guān)算法。然后，介紹了多種常用的文本分類方法，詳述了

3、各種方法的技術(shù)原理以及優(yōu)缺點(diǎn)。
　　2.提出了一種基于特征義原擴(kuò)展向量空間模型（VSM）的文本分類方法。本文根據(jù)知網(wǎng)中的“義原”，改進(jìn)了文本的特征選擇方法，重構(gòu)向量空間模型。首先對(duì)每個(gè)類別中的文本采用改進(jìn)的TF-IDF方法選擇文本特征項(xiàng)，然后再?gòu)奶卣黜?xiàng)中提取其中包含的特征義原，最后再對(duì)特征義原進(jìn)行擴(kuò)展，得到擴(kuò)展后的特征項(xiàng)，生成該類別的義原文檔。最后通過(guò)對(duì)生成的義原文檔進(jìn)行運(yùn)算，得到每個(gè)特征義原的權(quán)值。
　　3.本文還介紹了原

4、始向量空間模型（VSM）和同義詞向量空間模型（VS M）。原始VSM，即采用原始特征選擇方法得到的VS M；同義詞VSM，指特征選擇經(jīng)過(guò)同義詞表處理后的 VSM。為了結(jié)合不同 VSM的優(yōu)勢(shì)，將三者融合，融合后的結(jié)果作為文本的特征項(xiàng)選擇空間，得到重構(gòu)的VSM模型，用來(lái)實(shí)現(xiàn)文本分類。
　　4.進(jìn)行實(shí)驗(yàn)驗(yàn)證了基于擴(kuò)展VSM的分類方法。本文通過(guò)采用不同特征選擇方法進(jìn)行實(shí)驗(yàn)，得到分類結(jié)果的準(zhǔn)確率和召回率，并與本文中給出的擴(kuò)展VSM方法的實(shí)驗(yàn)