面向網(wǎng)頁(yè)內(nèi)容的K-means聚類算法的研究.pdf

1、近年來(lái)，隨著Internet的飛速發(fā)展和生活中信息化水平不斷提高，數(shù)據(jù)資源呈爆炸式增長(zhǎng)，導(dǎo)致獲取目的信息困難，信息的利用率降低，而高維數(shù)據(jù)日益成為主流，所以在實(shí)際的聚類應(yīng)用中，對(duì)高維數(shù)據(jù)聚類方法的研究有著越來(lái)越重要的意義。但高維數(shù)據(jù)本身獨(dú)有的一些特點(diǎn)，使得高維數(shù)據(jù)挖掘變的非常困難，因此必須采用一些特殊的方法進(jìn)行研究處理。本文研究聚類的對(duì)象是網(wǎng)頁(yè)內(nèi)容，是一種典型的高維聚類。從聚類的概念及高維數(shù)據(jù)的特點(diǎn)入手，圍繞著高維空間相似性度量、權(quán)重表

2、示和降低“噪音”特征屬性影響這個(gè)三個(gè)問(wèn)題，進(jìn)行了研究和改進(jìn)。
　　由于文本數(shù)據(jù)的高維特征，適用于低維空間的相似度度量方法往往失效，對(duì)此本文采用一種適合文本數(shù)據(jù)高維和稀疏特征的Nsim()相似度度量方法。實(shí)驗(yàn)證明這種相似度度量方法在高維空間中，仍能具有較好的穩(wěn)定性和分辨性。特征的權(quán)重表示形成空間向量模型是具有決定性作用，從而對(duì)聚類結(jié)果有很大影響。HTML文件的標(biāo)簽信息對(duì)于網(wǎng)頁(yè)的類別歸屬比一般特征屬性具有更重要的作用，據(jù)此，本文提出了

3、一種適合網(wǎng)頁(yè)的改進(jìn)TF-IDF權(quán)重計(jì)算方法。
　　K-means方法是一種典型的基于劃分的快速聚類算法，傳統(tǒng)K-means算法的k個(gè)簇中心點(diǎn)的初始選擇是隨機(jī)的，這就往往使得聚類的結(jié)果不穩(wěn)定，聚類效果沒(méi)有保證。本文對(duì)中心點(diǎn)的確定提出改進(jìn)，通過(guò)最大最小規(guī)則計(jì)算中心點(diǎn)。為了使K-means算法能夠降低網(wǎng)頁(yè)內(nèi)容中“噪音”屬性對(duì)聚類結(jié)果產(chǎn)生的負(fù)面影響，本文在聚類過(guò)程中，融入空間模型修正方法，通過(guò)使用一種比較全面的特征屬性度量方法，進(jìn)行特征屬