基于雙重遺傳的k-means聚類算法在文本挖掘中的應(yīng)用.pdf

1、信息資源的爆炸性增長(zhǎng)將文本挖掘技術(shù)推上熱潮，越來(lái)越多的人希望能夠快速?gòu)拇罅康男畔①Y源中獲取到有用的信息，文本聚類作為文本挖掘中的關(guān)鍵技術(shù)，對(duì)從大量的文本信息中找到有用的信息起到了至關(guān)重要的作用。研究文本聚類算法，發(fā)現(xiàn)算法中存在的問(wèn)題，并針對(duì)性的進(jìn)行改進(jìn)，成為了近年來(lái)不少學(xué)者研究的重點(diǎn)。
　　文本聚類的算法中最經(jīng)典的k-means算法因操作簡(jiǎn)單、收斂速度快等優(yōu)點(diǎn)被廣泛使用，但它也存在兩個(gè)顯著的缺點(diǎn)，即對(duì)聚類數(shù)目敏感和對(duì)初始中心點(diǎn)敏感

2、。本文仔細(xì)研究了大量文獻(xiàn)資料和相關(guān)的理論知識(shí)，在對(duì)現(xiàn)今國(guó)內(nèi)外研究現(xiàn)狀有一定了解的基礎(chǔ)上，結(jié)合遺傳算法較強(qiáng)尋優(yōu)性的特點(diǎn)提出了基于雙重遺傳的k-means文本聚類算法，簡(jiǎn)稱TCDGK算法。該算法的核心思想是利用外層遺傳算法控制聚類數(shù)目，內(nèi)層遺傳算法控制初始中心點(diǎn)，實(shí)現(xiàn)對(duì)兩個(gè)隨機(jī)因素的雙重優(yōu)化。為增強(qiáng)算法可用性，先根據(jù)內(nèi)外層控制參數(shù)的不同，分別對(duì)外層使用二進(jìn)制編碼，而對(duì)內(nèi)層使用十進(jìn)制編碼，實(shí)現(xiàn)分層編碼;再采用類間距離DBG和類內(nèi)距離DIG來(lái)評(píng)

3、價(jià)聚類結(jié)果的好壞，并提出H值的概念，將H值作為遺傳算法的適應(yīng)度函數(shù)。該算法的目標(biāo)是在算法結(jié)束后能夠同時(shí)求得最佳的聚類數(shù)目和初始中心點(diǎn)。
　　為證明TCDGK算法的性能，本文將UCI數(shù)據(jù)集中的Iris數(shù)據(jù)集和Glass數(shù)據(jù)集作為測(cè)試數(shù)據(jù)，將其運(yùn)算結(jié)果與其余五種算法進(jìn)行對(duì)比，并將準(zhǔn)確率、召回率、F值和純度作為評(píng)價(jià)指標(biāo)。為了驗(yàn)證TCDGK算法在文本挖掘中的應(yīng)用，本文將復(fù)旦大學(xué)中文語(yǔ)料庫(kù)作為本次文本挖掘的實(shí)驗(yàn)數(shù)據(jù)，對(duì)它進(jìn)行了文本分詞、去停