基于遺傳的文本軟聚類(lèi)研究與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的發(fā)展，尤其是Internet的普及和應(yīng)用，以電子形式存在的文本信息已經(jīng)成為人們主要的信息來(lái)源，人們需要對(duì)這些大量的文本資源進(jìn)行有效的組織，以利于主題發(fā)現(xiàn)、信息檢索以及為進(jìn)一步的文本分類(lèi)提供模式基礎(chǔ)等，于是，文本聚類(lèi)技術(shù)應(yīng)運(yùn)而生。但是過(guò)去對(duì)文本聚類(lèi)的研究大部分都是基于硬聚類(lèi)的，即一個(gè)文本只能分到一個(gè)類(lèi)中。然而隨著信息的膨脹及學(xué)科之間的交叉滲透，文本日益呈現(xiàn)出多樣性和大量性，一個(gè)給定的文本往往可能屬于多個(gè)類(lèi)，所以我們需要一種更

2、客觀的文本分類(lèi)描述方法，由此基于模糊聚類(lèi)技術(shù)的文本軟聚類(lèi)方法正逐漸成為文本挖掘中一個(gè)研究的熱點(diǎn)。 在文本聚類(lèi)研究中特征選擇和聚類(lèi)算法是兩個(gè)最重要的組成部分，所以論文的研究主要包括以下兩方面： 1．文本無(wú)監(jiān)督特征選擇?？紤]到聚類(lèi)缺乏類(lèi)的信息使得文本聚類(lèi)中特征選擇一直難以很好地解決，本文結(jié)合文檔頻數(shù)和特征相似度方法，提出了一種新的無(wú)監(jiān)督特征選擇方法（Document Frequency and Feature Similar

3、ity，簡(jiǎn)記為DFFS）。該方法在過(guò)濾掉90％冗余特征的基礎(chǔ)上，再通過(guò)計(jì)算特征的相關(guān)性移除盡可能多的無(wú)關(guān)特征。 由于這種方法從純特征的角度考慮，不受聚類(lèi)結(jié)果的影響，克服了聚類(lèi)缺乏類(lèi)的先驗(yàn)知識(shí)的缺點(diǎn)，能夠較好地解決文本無(wú)監(jiān)督特征選擇的問(wèn)題。 2．文本軟聚類(lèi)方法。在分析文本軟聚類(lèi)現(xiàn)狀及對(duì)模糊C-均值算法（FCM）研究的基礎(chǔ)上，通過(guò)引入具有全局優(yōu)化能力的遺傳算法，本文提出了一種適合于解決大樣本高維度問(wèn)題的方法——基于采樣遺傳的模糊聚類(lèi)

4、算法(Sampling GA-based FCM，簡(jiǎn)記為SGFCM)，該方法通過(guò)遺傳算法和FCM的結(jié)合既能發(fā)揮遺傳算法的全局尋優(yōu)能力，又可以兼顧FCM的局部尋優(yōu)能力，較好地克服了FCM對(duì)初始化敏感，容易陷入局部最優(yōu)的弱點(diǎn)；同時(shí)通過(guò)對(duì)遺傳要素的合理設(shè)計(jì)及采樣技術(shù)的應(yīng)用提高了收斂速度，從而更好地解決文本軟聚類(lèi)問(wèn)題。 本文在相應(yīng)的各章節(jié)給出了實(shí)驗(yàn)結(jié)果，證明了DFFS和SGFCM的有效性。最后對(duì)FCM、球型FCM和SGFCM三種方法在解