基于文本相似度計算的文本聚類算法研究與實現(xiàn).pdf

1、文本聚類是知識挖掘領(lǐng)域中一個非常重要的技術(shù)手段，對于文本信息挖掘、知識檢索有非常重要的作用。在實際工作中，一些政府部門需要瀏覽大量的文字信息，根據(jù)這些信息制定相應(yīng)的預(yù)案。但是有限的人力同海量的信息比起來，讓人們在處理這些信息上顯得力不從心。這時我們需要一種技術(shù)，能夠幫助人們快速的實現(xiàn)文本分類工作，增加文本信息處理的效率。本文設(shè)計了一個文本聚類系統(tǒng)的框架，并詳細分析討論了系統(tǒng)中各子模塊的設(shè)計和實現(xiàn)。本文主要在以下方面進行研究：
　　

2、 1.傳統(tǒng)的向量空間模型存在高維稀疏問題，針對這個問題本文設(shè)計一個關(guān)鍵詞概念列表作為文本表示模型。本文認為準確抽取文章中的關(guān)鍵詞即可把握文章的主旨內(nèi)容，并運用某種規(guī)則計算這些關(guān)鍵詞的權(quán)重，從而將半結(jié)構(gòu)化的文本轉(zhuǎn)換為結(jié)構(gòu)化模型。
　　 2.以待處理的文本集為語料庫，自動構(gòu)建一個能作為語義支持的語義庫，以文本表示模型為索引，結(jié)合原文形成一組能代表文本主題的關(guān)鍵句群，計算文本的表層相似性、語義相似性及詞序?qū)ο嗨贫鹊挠绊懸蜃?，將這些方