K-medoids聚類算法研究及其在文本聚類中的應(yīng)用.pdf

1、文本聚類就是將給定的文本集合劃分為多個類簇，以期達到不同類的文檔相似度較小，而同類的文檔相似度較大。作為一種無監(jiān)督的機器學(xué)習(xí)方法，由于聚類算法不需要訓(xùn)練過程，并且無需事先對文檔進行手工標注類別，因此具有一定的自動化處理能力和較高的靈活性，已經(jīng)成為對文本信息進行摘要、導(dǎo)航和有效組織的重要手段，受到越來越多的研究人員關(guān)注。
　　在對文本進行聚類處理時，主要采用基于TF-IDF統(tǒng)計的向量空間模型表示文檔，其涉及到文本預(yù)處理、中文分詞、特

2、征提取、特征權(quán)重計算、聚類算法、聚類性能測評等多個過程。其中特征項權(quán)重計算和聚類算法的選擇是基于向量空間模型的文本聚類算法中重要的兩個環(huán)節(jié)，關(guān)系到文本的聚類效果。
　　針對傳統(tǒng)的特征項權(quán)重計算方法只考慮頻率和逆文檔頻率，忽略了文檔所屬類別對特征權(quán)重的影響的問題，結(jié)合實際應(yīng)用中可能沒有標準分類數(shù)據(jù)集，本文提出了一種新的結(jié)合類別與語義貢獻度的特征項權(quán)重計算方法。該方法首先提出了語義貢獻度，并將其與模糊聚類相結(jié)合，對沒有類別信息的文本集

3、合進行粗略聚類得到帶類別信息的文本集合；然后提出了類別信息熵，并和語義貢獻度相結(jié)合對傳統(tǒng)的TF-IDF權(quán)重計算方法進行改進，從而得到更有效的權(quán)重計算方法。利用復(fù)旦大學(xué)中文自然語言處理開放平臺中的中文文本分類語料庫數(shù)據(jù)集進行測試，結(jié)果表明新的特征項權(quán)重計算方法優(yōu)于傳統(tǒng)的權(quán)重計算方法。
　　針對K-medoids聚類算法對選擇的聚類初始中心點敏感，不當(dāng)?shù)某跏贾行狞c選擇可能導(dǎo)致聚類效果達到局部最優(yōu)的問題，本文提出了一種半徑自適應(yīng)的初始中

4、心點選擇K-medoids聚類算法。該算法在每次迭代過程中會根據(jù)剩余樣本點的分布特征重新對半徑進行計算，從而實現(xiàn)動態(tài)計算對應(yīng)樣本點的鄰域半徑和局部方差，以此選出更優(yōu)的聚類初始中心點，達到更好的聚類效果。分別在帶有不同比例隨機點的模擬數(shù)據(jù)集和規(guī)模大小不等的UCI數(shù)據(jù)集上進行測試，并采用5個通用的聚類評價指標進行性能評價，結(jié)果表明，本算法性能較同類算法有明顯提高。
　　最后對本文改進的文本聚類算法設(shè)計成一個文本聚類系統(tǒng)，該系統(tǒng)對整個流