基于最大頻繁項(xiàng)集K-means的文本聚類(lèi)算法研究及應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,網(wǎng)絡(luò)信息正在以幾何級(jí)速度迅速膨脹。如何通過(guò)信息融合進(jìn)行在線信息的處理,特別是進(jìn)行數(shù)據(jù)量巨大的文本信息處理,已成為一個(gè)亟待解決的難題。文本聚類(lèi)作為一種無(wú)監(jiān)督的信息組織方法,在這一難題中發(fā)揮著重要的作用。文本聚類(lèi)通過(guò)將大量文檔劃分到幾個(gè)有意義的分組,使得同一個(gè)分組中的文檔擁有更高的相關(guān)度,而不同分組間的文檔則盡可能不同,從而達(dá)到對(duì)文檔信息進(jìn)行有效的組織的目的。本文研究了現(xiàn)有的文本聚類(lèi)算法,分析并總結(jié)了每個(gè)算法的特點(diǎn)。引入

2、關(guān)聯(lián)規(guī)則中頻繁項(xiàng)集的概念,研究基于頻繁項(xiàng)集的聚類(lèi)算法。最終提出了一種新型的采用最大頻繁項(xiàng)集與K-means相結(jié)合的二次聚類(lèi)算法,改進(jìn)了算法的聚類(lèi)效果。
　　本文通過(guò)建立文檔數(shù)據(jù)庫(kù)模型,進(jìn)行最大頻繁項(xiàng)集的挖掘。將包含相同最長(zhǎng)最大頻繁項(xiàng)集的文檔聚集在一起,形成初始類(lèi)簇。接著,提出一種新的基類(lèi)選擇算法篩選部分初始類(lèi)簇,作為K-means算法的初始聚類(lèi)中心。考慮到數(shù)據(jù)分布不均和類(lèi)簇大小不一的特點(diǎn),本文提出了二次聚類(lèi)的思想:首先,通過(guò)最大頻

3、繁項(xiàng)集 K-means算法進(jìn)行一次聚類(lèi),得到特征明顯或規(guī)模較大的類(lèi)簇,保存他們的類(lèi)簇中心;然后,將這些類(lèi)簇中的文檔從文檔數(shù)據(jù)庫(kù)中去除,再次使用基于最大頻繁項(xiàng)集的算法選擇剩余文檔的聚類(lèi)中心。最后,結(jié)合一次聚類(lèi)結(jié)果中的類(lèi)簇中心,對(duì)所有未分類(lèi)的文檔進(jìn)行 K-means聚類(lèi)。本文的文本聚類(lèi)算法的改進(jìn)和創(chuàng)新點(diǎn)主要包括以下幾個(gè)方面:
　　(1)使用文檔間共享的最長(zhǎng)最大頻繁項(xiàng)集進(jìn)行初步聚類(lèi),提出最大頻繁項(xiàng)集對(duì)類(lèi)簇的表達(dá)能力的概念,設(shè)計(jì)準(zhǔn)則不等式

4、,進(jìn)行基類(lèi)的篩選。
　　(2)在一次聚類(lèi)中,通過(guò)設(shè)置最小相似度閾值,改進(jìn)了傳統(tǒng)的K-means算法。同時(shí)結(jié)合二次聚類(lèi)思想,達(dá)到盡可能識(shí)別所有類(lèi)簇,減少由于類(lèi)簇識(shí)別不完全而導(dǎo)致的誤分類(lèi)。
　　(3)整個(gè)聚類(lèi)過(guò)程回避K-means聚類(lèi)算法需要輸入預(yù)定義類(lèi)簇?cái)?shù)目的難題,通過(guò)在類(lèi)簇生成和選擇的過(guò)程中設(shè)置參數(shù)的方式,達(dá)到自動(dòng)獲得類(lèi)簇個(gè)數(shù)的目的。
　　最后,論文在多個(gè)語(yǔ)料集上驗(yàn)證本文提出的聚類(lèi)算法。通過(guò)與同類(lèi)算法的對(duì)比實(shí)驗(yàn)表明,本