基于k-平均算法的文本聚類系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著國際互聯(lián)網(wǎng)和企業(yè)內(nèi)部互聯(lián)網(wǎng)的飛速發(fā)展，各種電子文本數(shù)據(jù)的數(shù)量急劇增加，如何快速有效的獲取、管理和使用這些文本數(shù)據(jù)，已經(jīng)成為信息系統(tǒng)學(xué)科迫切需要解決的重要問題。近年來，作為解決這些問題的基本工具之一，基于文本內(nèi)容的自動(dòng)文本聚類技術(shù)得到了空前的發(fā)展，引起了人們普遍的關(guān)注。 文本聚類的目標(biāo)是將文檔集合分成若干個(gè)簇，要求同一簇內(nèi)文檔內(nèi)容的相似度盡可能的大，而不同簇之間的相似度盡可能的小。作為文本挖掘的一個(gè)重要應(yīng)用，文本聚類已經(jīng)成為一

2、個(gè)研究熱點(diǎn)。 本文以中文文本作為文本聚類的挖掘?qū)ο?，并?duì)中文文本聚類的全過程進(jìn)行了研究，包括中文文本預(yù)處理、文本聚類，對(duì)文中所述方法進(jìn)行了實(shí)驗(yàn)分析，并設(shè)計(jì)了一個(gè)系統(tǒng)，實(shí)現(xiàn)了文本聚類的功能。 本文首先介紹了文本挖掘的研究背景、研究意義、研究現(xiàn)狀和相關(guān)基本理論知識(shí)。 其次，分析研究了文本的預(yù)處理過程，重點(diǎn)研究了中文文本的分詞問題。本文采用基于詞典的正向最大匹配法實(shí)現(xiàn)文本初切分，結(jié)合退一字回溯掃描的方法發(fā)現(xiàn)歧義字段，對(duì)

3、歧義字段的處理采取的是基于統(tǒng)計(jì)詞頻的方法。對(duì)文本預(yù)處理的特征表示與特征選擇進(jìn)行了探討，本文采用向量空間模型(VSM)對(duì)文本進(jìn)行表示；而文本的特征選擇則采用tfidf評(píng)估函數(shù)。 接著，針對(duì)中文文本的聚類，本文采用了基于k-平均算法的二次文本聚類方法：先對(duì)文本集采用k-平均算法進(jìn)行聚類，其中，參數(shù)k的確定是通過計(jì)算在一定范圍內(nèi)，k取不同值的情況下，使全體樣本點(diǎn)的平均輪廓系數(shù)最大化的k值實(shí)現(xiàn)的；而初始聚類中心的選擇是通過基于樣本密度的