基于劃分的聚類算法及其在Web挖掘中的應(yīng)用.pdf

1、近幾年來，隨著網(wǎng)絡(luò)的發(fā)展，信息迅猛增多，在浩瀚的信息海洋中如何快速而有效地獲得所需要的信息，是困擾網(wǎng)上用戶的難題。對于信息資源的一個主要形式——文本，人們迫切需要能夠從中快速、有效地發(fā)現(xiàn)資源和知識的工具。通過將大量信息組織成少數(shù)有意義的簇，文本挖掘技術(shù)在信息檢索、郵件過濾和網(wǎng)頁分類等領(lǐng)域有著廣泛的應(yīng)用。因此，文本聚類研究成為當前國際上數(shù)據(jù)挖掘的一個重要課題。本文針對文本聚類中的兩個方面的問題進行了研究。一個是文本預(yù)處理過程中的特征詞權(quán)重

2、的計算和特征集縮減問題，另一個是對基于劃分的K-Means算法的初始中心選取問題進行了研究。 首先，本文研究了文本預(yù)處理中的特征項權(quán)重的計算和特征集的縮減問題。網(wǎng)頁中的標簽對類別的貢獻較大，因此在權(quán)重計算中引入網(wǎng)頁的結(jié)構(gòu)特征。通常文檔的特征向量是超高維稀疏向量。這種向量影響聚類速度，并且使任意兩個文檔特征向量之間的相似度都傾向于一個常數(shù)。本文研究了特征集的縮減問題，通過實驗驗證了聚類效果隨著特征數(shù)的增加而逐漸改善，當特征數(shù)繼續(xù)增

3、加時，聚類效果反而呈現(xiàn)略微的下降趨勢。此外，本文對K-Means算法中的初始聚類中心的選擇進行了重點分析和討論。針對其初值選取過于隨機從而導(dǎo)致聚類結(jié)果不理想的缺點，采用最大最小距離法結(jié)合抽樣技術(shù)代替?zhèn)鹘y(tǒng)的隨機選擇初始中心點的方法。并根據(jù)該新的初始中新選擇方法得到一個基于最大最小距離的文檔聚類算法。 本文對已人工分類的網(wǎng)頁和公安網(wǎng)網(wǎng)頁進行了有關(guān)實驗，通過比較K-Means算法和基于最大最小距離的文檔聚類算法，發(fā)現(xiàn)基于最大最小距離法