基于RI方法的文本聚類研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)高速發(fā)展，網(wǎng)絡(luò)上存在的各種文本數(shù)據(jù)與日俱增。大量冗余、不規(guī)范且內(nèi)容豐富的文本為我們進(jìn)行信息過(guò)濾、瀏覽和查詢等操作帶來(lái)了極大的困難。文本聚類在數(shù)據(jù)挖掘中具有極為重要的作用，技術(shù)的核心是在無(wú)監(jiān)督的情況下尋找出能夠挖掘出文本間潛在的語(yǔ)義信息并實(shí)現(xiàn)快速降維的文本表示方法，結(jié)合高效的文本聚類算法進(jìn)行聚類。然而目前文本聚類技術(shù)仍然不夠完善，實(shí)際應(yīng)用十分受限，因此研究文本聚類具有非常重要的意義。
　　本文首先介紹了與文本聚類相關(guān)的

2、一些技術(shù)，主要包括文本分詞、特征詞提取、文本表示以及文本聚類算法。針對(duì)其中主要的兩個(gè)模塊文本表示模型和文本聚類算法進(jìn)行研究分析，提出一種基于RI（Random Index，RI）方法的文本聚類算法。所做的主要研究工作如下：
　　1.在文本表示方面，針對(duì)現(xiàn)有基于語(yǔ)義聚類的LSA、PLSA等模型存在潛在語(yǔ)義聚類特性不能夠很好體現(xiàn)，特征詞匯文本向量維數(shù)很高造成文本聚類精確度不理想等的情況，研究了采用基于RI方法并結(jié)合特征詞權(quán)值來(lái)生成特征

3、詞匯的隨機(jī)索引向量進(jìn)行文本表示。RI方法一方面能夠很好表現(xiàn)出特征詞匯之間的語(yǔ)義特性，另一方面具有降維效果。但采用RI方法進(jìn)行文本表示時(shí)對(duì)構(gòu)建特征詞匯的上下文向量生成可能由于向量之間相加造成特征詞匯之間存在語(yǔ)義出現(xiàn)相加消解的現(xiàn)象。為此，本文對(duì)基于RI方法構(gòu)建特征詞匯隨機(jī)索引向量的向量元素的隨機(jī)位置及相關(guān)特征詞匯權(quán)值的計(jì)算進(jìn)行改進(jìn)，從而使RI方法更能體現(xiàn)特征詞匯之間潛在語(yǔ)義聚類和滿足文本聚類效果的需求。
　　2.在基于RI文本表示的基

4、礎(chǔ)上，針對(duì)基于AGNES文本聚類算法存在初始合并點(diǎn)選擇困難問(wèn)題，研究一種基于改進(jìn)K-Means+AGNES的文本聚類算法，旨在得到更好的聚類效果。改進(jìn)的K-Means+AGNES的文本聚類算法主要分成兩個(gè)步驟。首先，為AGNES文本聚類算法生成最佳初始聚類中心點(diǎn)和相應(yīng)的聚類。為此，本文對(duì)K-Means算法進(jìn)行改進(jìn)，在設(shè)定一個(gè)合適的初始聚類范圍的基礎(chǔ)，通過(guò)采用基于FCM的算法不斷調(diào)整初始聚類個(gè)數(shù)，以便最終自動(dòng)獲取最佳聚類個(gè)數(shù)，從而生成初始

5、聚類中心點(diǎn)及相應(yīng)的聚類。其次，將所獲得的最佳初始聚類作為層次聚類算法AGNES的初始合并點(diǎn)，按照AGNES算法進(jìn)行聚類，直到產(chǎn)生給定最終聚類個(gè)數(shù)。
　　3.為了驗(yàn)證所提出的基于RI文本表示和基于改進(jìn)的K-Means+AGNES的文本聚類算法的有效性，本文進(jìn)行相應(yīng)的算法測(cè)試與結(jié)果對(duì)比分析。測(cè)試與對(duì)比分析表明RI方法具有較好的文本表示能力，基于RI的K-Means+AGNES聚類算法具有較好的文本聚類效果。
　　本文最后對(duì)全文的