基于Web頁(yè)面特征的聚類(lèi)算法研究及實(shí)現(xiàn).pdf

1、隨著Internet/Web技術(shù)的快速普及和迅猛發(fā)展，Web數(shù)據(jù)已成為當(dāng)今世界第一大“數(shù)據(jù)倉(cāng)庫(kù)”，怎樣從海量的Web數(shù)據(jù)中發(fā)現(xiàn)知識(shí)，造福于人類(lèi)，是Web數(shù)據(jù)挖掘這項(xiàng)技術(shù)被時(shí)代賦予的使命。然而，Web數(shù)據(jù)是異構(gòu)的、非結(jié)構(gòu)化的、動(dòng)態(tài)變化的，這就要求我們首先將 Web頁(yè)面分類(lèi)(聚類(lèi))，然后對(duì)不同的分類(lèi)設(shè)計(jì)分裝器(Wrapper)，進(jìn)行信息抽取，最后對(duì)得到的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析和知識(shí)發(fā)現(xiàn)；由此可見(jiàn)Web聚類(lèi)這項(xiàng)技術(shù)在數(shù)據(jù)挖掘中的重要地位。

2、　　 目前，基于Web頁(yè)面聚類(lèi)的研究領(lǐng)域，已經(jīng)取得了很多成果；但是，真正將Web聚類(lèi)應(yīng)用到Web內(nèi)容挖掘領(lǐng)域，使得聚類(lèi)結(jié)果服務(wù)于信息抽取和知識(shí)發(fā)現(xiàn)的研究成果并不是很多，主要有基于文本內(nèi)容的Web頁(yè)面主題聚類(lèi)和基于Web頁(yè)面結(jié)構(gòu)的聚類(lèi)；前者僅考慮Web頁(yè)面的內(nèi)容信息，聚類(lèi)時(shí)間效率低，而后者巧妙的利用了Web頁(yè)面的組織結(jié)構(gòu)，但是沒(méi)有利用Web頁(yè)面提供的內(nèi)容信息，聚類(lèi)結(jié)果的實(shí)用性和準(zhǔn)確性被降低；如果能夠?qū)烧呓Y(jié)合，則一定能夠提高聚類(lèi)質(zhì)量，這

3、也是本文討論的重點(diǎn)。
　　 本文的主要工作和意義在于，分析了基于Web頁(yè)面的聚類(lèi)算法，并在此基礎(chǔ)上闡述了一種基于Web頁(yè)面鏈接結(jié)構(gòu)和標(biāo)簽信息的聚類(lèi)方法CWPBLT(Clustering Web Pages Based on their Links and Tags)，它是在總結(jié)前人有關(guān)Web聚類(lèi)工作的基礎(chǔ)上拓展出來(lái)的一種Web頁(yè)面聚類(lèi)方法，它在聚類(lèi)的過(guò)程中同時(shí)兼顧了Web頁(yè)面結(jié)構(gòu)和Web標(biāo)簽提供的內(nèi)容信息,采用了最小描述長(zhǎng)度法(