基于概念格的K-Means算法研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，搜索引擎成為人們獲取信息的主要渠道。然而搜索引擎的一次檢索結(jié)果動則成千上萬，所有類別的信息混雜在一起，用戶要找到自己想要的信息如大海撈針。改善搜索引擎檢索質(zhì)量的一種有效途徑是應(yīng)用文本聚類技術(shù)將web搜索結(jié)果中相似的web文本聚集成為一類。對web搜索結(jié)果進行聚類，可以為用戶提供易于瀏覽的信息導(dǎo)航，幫助用戶快速定位到符合自己查詢需要的主題類別，從而提高搜索引擎的檢索效率。
　　 聚類是在預(yù)先不知道類別的情況下

2、，將對象集合按有關(guān)的相似程度進行分組的過程。聚類之前，文本的表示大部分采用的是向量空間模型，在此基礎(chǔ)上進行相似度計算。向量空間模型采用TF×IDF(TermFrequency×Inverse Document Frequency)計算權(quán)重。它的優(yōu)點是反映了關(guān)鍵詞對于文本的重要性，但是這種表示模型帶來了兩個問題：(1)表示文本的特征向量維度過高；(2)文本被看作是由一組正交詞條向量所組成的向量空間，其假設(shè)前提是詞與詞之間沒有語義聯(lián)系，但現(xiàn)

3、實文本中的用詞往往是有語義關(guān)聯(lián)的，因此對計算結(jié)果的可靠性造成一定的影響。
　　 概念格是一組概念的序集，建立概念格的過程就是對概念進行聚類的過程。在概念格中，概念的外延為屬于這個概念的所有對象的集合，而內(nèi)涵是所有這些對象所共有的屬性集。給定一個形式背景就能在此基礎(chǔ)上構(gòu)造概念格，且構(gòu)造出的概念格是唯一的。
　　 K-Means算法是目前應(yīng)用最為廣泛的一種基于劃分的聚類算法。本文將概念格與K-Means算法相結(jié)合，提出了一種

4、新的聚類方K-MeansBCC(K-MeansAlgorithmBasedonConceptLattice)。將文本作為對象，文本中的特征詞作為屬性生成概念格；提取概念格中的概念并采用概念表示文本，且定義了概念之間相似度函數(shù)；最后，用K-Means算法進行聚類。用概念來表示文本，降低了特征詞的維數(shù)，提高了聚類的性能。另外，對K-Means算法人為確定K值、隨機選取中心點的缺點提出了一種基于密度的解決方法。將K-MeansBCC算法應(yīng)用在