基于頻繁項集的文本聚類方法研究.pdf

1、文本是一種重要的信息載體，其數(shù)量隨著互聯(lián)網(wǎng)的不斷發(fā)展極速膨脹。文本聚類作為一種無監(jiān)督的機器學習方法，已成為對文本信息進行有效的組織、摘要和導航的重要手段，為越來越多的科研工作者所關(guān)注。在很多文本挖掘和信息檢索系統(tǒng)中，文本聚類發(fā)揮著越來越重要的作用。 論文研究如何改進與中文文本聚類相關(guān)的若干處理過程來得到一個好的聚類結(jié)果。文本聚類相關(guān)的處理過程主要包括文本預(yù)處理、特征項選擇、文本表示和聚類，它們對聚類質(zhì)量起至關(guān)重要的作用。傳統(tǒng)的文

2、本聚類算法基于向量空間模型（VSM），該模型使用關(guān)鍵詞作為特征項，忽略了詞語間的潛在語義關(guān)系，其固有的“高維詛咒”問題成為了算法性能提升的瓶頸，這些問題極大地干擾了算法的效率。論文引入知網(wǎng)作為算法的背景知識庫，通過將文本中的關(guān)鍵詞映射為知網(wǎng)中的概念，使算法在概念集上進行，來彌補VSM存在的語義缺失問題。為提高算法性能，引入頻繁項集和非重疊度的概念，使用一種新的文本集劃分策略實現(xiàn)對原始文本集的劃分。在此基礎(chǔ)上，論文提出了一種基于頻繁項集的