基于遺傳的文本軟聚類研究與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的發(fā)展，尤其是Internet的普及和應(yīng)用，以電子形式存在的文本信息已經(jīng)成為人們主要的信息來源，人們需要對這些大量的文本資源進(jìn)行有效的組織，以利于主題發(fā)現(xiàn)、信息檢索以及為進(jìn)一步的文本分類提供模式基礎(chǔ)等，于是，文本聚類技術(shù)應(yīng)運(yùn)而生。但是過去對文本聚類的研究大部分都是基于硬聚類的，即一個(gè)文本只能分到一個(gè)類中。然而隨著信息的膨脹及學(xué)科之間的交叉滲透，文本日益呈現(xiàn)出多樣性和大量性，一個(gè)給定的文本往往可能屬于多個(gè)類，所以我們需要一種更

2、客觀的文本分類描述方法，由此基于模糊聚類技術(shù)的文本軟聚類方法正逐漸成為文本挖掘中一個(gè)研究的熱點(diǎn)。 在文本聚類研究中特征選擇和聚類算法是兩個(gè)最重要的組成部分，所以論文的研究主要包括以下兩方面： 1．文本無監(jiān)督特征選擇。考慮到聚類缺乏類的信息使得文本聚類中特征選擇一直難以很好地解決，本文結(jié)合文檔頻數(shù)和特征相似度方法，提出了一種新的無監(jiān)督特征選擇方法（Document Frequency and Feature Similar

3、ity，簡記為DFFS）。該方法在過濾掉90％冗余特征的基礎(chǔ)上，再通過計(jì)算特征的相關(guān)性移除盡可能多的無關(guān)特征。 由于這種方法從純特征的角度考慮，不受聚類結(jié)果的影響，克服了聚類缺乏類的先驗(yàn)知識(shí)的缺點(diǎn)，能夠較好地解決文本無監(jiān)督特征選擇的問題。 2．文本軟聚類方法。在分析文本軟聚類現(xiàn)狀及對模糊C-均值算法（FCM）研究的基礎(chǔ)上，通過引入具有全局優(yōu)化能力的遺傳算法，本文提出了一種適合于解決大樣本高維度問題的方法——基于采樣遺傳的模糊聚類

4、算法(Sampling GA-based FCM，簡記為SGFCM)，該方法通過遺傳算法和FCM的結(jié)合既能發(fā)揮遺傳算法的全局尋優(yōu)能力，又可以兼顧FCM的局部尋優(yōu)能力，較好地克服了FCM對初始化敏感，容易陷入局部最優(yōu)的弱點(diǎn)；同時(shí)通過對遺傳要素的合理設(shè)計(jì)及采樣技術(shù)的應(yīng)用提高了收斂速度，從而更好地解決文本軟聚類問題。 本文在相應(yīng)的各章節(jié)給出了實(shí)驗(yàn)結(jié)果，證明了DFFS和SGFCM的有效性。最后對FCM、球型FCM和SGFCM三種方法在解