面向文本分類的中文文本挖掘技術(shù)研究及實(shí)現(xiàn).pdf

1、目前,隨著信息技術(shù)的快速發(fā)展,特別是網(wǎng)絡(luò)的普及,以文本形式表示的信息越來(lái)越多,如何在紛繁蕪雜的信息海洋中找到自己需要的有用信息,具有廣泛的應(yīng)用背景和實(shí)用價(jià)值.文本挖掘作為從浩瀚的文本數(shù)據(jù)中發(fā)現(xiàn)潛在的有價(jià)值知識(shí)的一種有效技術(shù),已經(jīng)成為近年來(lái)的研究熱點(diǎn),許多研究人員對(duì)文本挖掘技術(shù)進(jìn)行了大量的研究,但這些研究大部分是在英文環(huán)境下進(jìn)行的,對(duì)中文的研究卻很少.該文對(duì)中文文本挖掘技術(shù)進(jìn)行了研究,在此基礎(chǔ)上實(shí)現(xiàn)了一個(gè)文本分類系統(tǒng).對(duì)中文文本進(jìn)行分析的

2、一個(gè)前提條件是對(duì)中文文本進(jìn)行分詞處理,中文分詞也是進(jìn)行中文信息處理的一個(gè)難點(diǎn).針對(duì)這一現(xiàn)狀,該文在陳桂林博士的分詞方法基礎(chǔ)上,設(shè)計(jì)和實(shí)現(xiàn)了一種快速分詞算法.該方法將常用靜態(tài)詞典分為停用詞和非停用詞兩類詞,在建立詞典時(shí),將是否停用詞作為詞的一個(gè)特性.分詞詞典建立首字Hash表和詞索引表二級(jí)索引,使得在加載詞典時(shí)將詞索引加入內(nèi)存,可以采用二分法對(duì)文本進(jìn)行最大匹配分詞,并在分詞的同時(shí)根據(jù)詞的類別將對(duì)分類沒有意義的停用詞去掉,大大降低了特征維數(shù)

3、.這種分詞算法將分詞和特征集縮減結(jié)合在一起,從而減少了特征縮減過(guò)程而使時(shí)間復(fù)雜度大大降低.這種分詞算法在實(shí)驗(yàn)中證明實(shí)用性強(qiáng),效果好.文本分類是文本數(shù)據(jù)挖掘領(lǐng)域的一個(gè)重要研究方面,采用支持向量機(jī)對(duì)文本進(jìn)行分類是當(dāng)前的一個(gè)研究熱點(diǎn).該文設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)基于支持向量機(jī)的實(shí)用文本分類系統(tǒng),介紹了系統(tǒng)實(shí)現(xiàn)中的一些主要技術(shù)問題.文本表示采用向量空間模型,文本的評(píng)價(jià)方法采用了查準(zhǔn)率和查全率,文本的特征抽取采用了一種互信息方法.分類算法是文本分類的關(guān)鍵