半定嵌入文本聚類(lèi)算法的研究.pdf

1、文本是信息檢索領(lǐng)域中數(shù)據(jù)的基本表示形式。如何從大量文本數(shù)據(jù)中分析和提取出有用信息,業(yè)已成為數(shù)據(jù)挖掘一個(gè)日益流行而且重要的研究課題。文本數(shù)據(jù)用向量空間模型表示時(shí),由此構(gòu)造出的文本空間通常具有高維性。在高維空間中,隨著維數(shù)的增加,數(shù)據(jù)變得越來(lái)越稀疏,造成點(diǎn)與點(diǎn)之間的距離度量失去意義,從而降低了數(shù)據(jù)簇在高維空間的存在機(jī)率,使聚類(lèi)算法效率下降。因此,針對(duì)高維文本數(shù)據(jù)提出有效的聚類(lèi)算法具有實(shí)際意義。
　　 本文著重研究了文本聚類(lèi)的相關(guān)內(nèi)容

2、,所開(kāi)展的研究工作主要有:
　　 首先,本文深入研究文本聚類(lèi)的相關(guān)理論和關(guān)鍵技術(shù),包括分詞、去除停用詞操作、文本表示、權(quán)重及相似度計(jì)算等,為后文的聚類(lèi)實(shí)踐打下堅(jiān)實(shí)的基礎(chǔ)。
　　 其次,本文對(duì)文本聚類(lèi)存在高維稀疏的問(wèn)題進(jìn)行分析,重點(diǎn)分析了高維性對(duì)文本聚類(lèi)效果的影響,并對(duì)目前的降維技術(shù)進(jìn)行總結(jié),在簡(jiǎn)單介紹流形學(xué)習(xí)算法思路的同時(shí)對(duì)其優(yōu)點(diǎn)進(jìn)行簡(jiǎn)要概括。
　　 再次,針對(duì)文本聚類(lèi)存在的問(wèn)題,本文提出半定嵌入聚類(lèi)算法(Sem

3、idefinite Embedding Clustering,SDE-C),算法思想是:首先利用半定嵌入算法對(duì)原始文本數(shù)據(jù)進(jìn)行非線性維數(shù)約簡(jiǎn),根據(jù)其數(shù)據(jù)分布找出高維數(shù)據(jù)中有意義的低維核結(jié)構(gòu),然后在低維核空間中進(jìn)行核聚類(lèi)分析,最終達(dá)到降低文本特征維數(shù)和提高聚類(lèi)質(zhì)量的目的。在公共數(shù)據(jù)集上的測(cè)試實(shí)驗(yàn)和實(shí)際中文文本數(shù)據(jù)集的驗(yàn)證實(shí)驗(yàn)結(jié)果均表明,該算法是可行的,具有較好的文本聚類(lèi)質(zhì)量。
　　 最后,針對(duì)新提出的半定嵌入文本聚類(lèi)算法存在計(jì)算復(fù)

4、雜度較高、計(jì)算速度較慢這一缺陷,本文提出一種基于改進(jìn)ISDE的聚類(lèi)算法(Improved-lSDEC)。首先利用最大最小規(guī)則對(duì)原ISDE(landmark SDE)的標(biāo)志點(diǎn)選取方式進(jìn)行改進(jìn),以保證算法的穩(wěn)定性;接著,在保持局部等距和最大化點(diǎn)對(duì)間距離和的約束下,通過(guò)半定規(guī)劃求出標(biāo)志核矩陣,利用標(biāo)志核矩陣得到高維數(shù)據(jù)空間的低維嵌入核矩陣,以實(shí)現(xiàn)數(shù)據(jù)非線性降維處理及刪減文本特征中的冗余信息,最后在低維核結(jié)構(gòu)中利用核聚類(lèi)算法對(duì)文本進(jìn)行聚類(lèi)分析。