基于文本相似度計(jì)算的文本聚類算法研究與實(shí)現(xiàn).pdf

1、文本聚類是知識(shí)挖掘領(lǐng)域中一個(gè)非常重要的技術(shù)手段，對(duì)于文本信息挖掘、知識(shí)檢索有非常重要的作用。在實(shí)際工作中，一些政府部門需要瀏覽大量的文字信息，根據(jù)這些信息制定相應(yīng)的預(yù)案。但是有限的人力同海量的信息比起來(lái)，讓人們?cè)谔幚磉@些信息上顯得力不從心。這時(shí)我們需要一種技術(shù)，能夠幫助人們快速的實(shí)現(xiàn)文本分類工作，增加文本信息處理的效率。本文設(shè)計(jì)了一個(gè)文本聚類系統(tǒng)的框架，并詳細(xì)分析討論了系統(tǒng)中各子模塊的設(shè)計(jì)和實(shí)現(xiàn)。本文主要在以下方面進(jìn)行研究：
　　

2、 1.傳統(tǒng)的向量空間模型存在高維稀疏問(wèn)題，針對(duì)這個(gè)問(wèn)題本文設(shè)計(jì)一個(gè)關(guān)鍵詞概念列表作為文本表示模型。本文認(rèn)為準(zhǔn)確抽取文章中的關(guān)鍵詞即可把握文章的主旨內(nèi)容，并運(yùn)用某種規(guī)則計(jì)算這些關(guān)鍵詞的權(quán)重，從而將半結(jié)構(gòu)化的文本轉(zhuǎn)換為結(jié)構(gòu)化模型。
　　 2.以待處理的文本集為語(yǔ)料庫(kù)，自動(dòng)構(gòu)建一個(gè)能作為語(yǔ)義支持的語(yǔ)義庫(kù)，以文本表示模型為索引，結(jié)合原文形成一組能代表文本主題的關(guān)鍵句群，計(jì)算文本的表層相似性、語(yǔ)義相似性及詞序?qū)ο嗨贫鹊挠绊懸蜃?，將這些方