基于詞頻序向量模型的快速中文文本聚類.pdf

1、隨著信息產(chǎn)業(yè)特別是互聯(lián)網(wǎng)的高速發(fā)展，人們可以很容易得從互聯(lián)網(wǎng)、數(shù)字圖書館以及公司內(nèi)部網(wǎng)絡(luò)獲得海量的數(shù)據(jù)。這些數(shù)據(jù)按照其組織形式可分為：結(jié)構(gòu)化的數(shù)據(jù)(如數(shù)據(jù)庫記錄等)、半結(jié)構(gòu)化的數(shù)據(jù)(xml文檔，有相對固定格式的各類格式化文檔)和無結(jié)構(gòu)數(shù)據(jù)(如中文文本等)。 面對浩如煙海的數(shù)據(jù)，需要使用數(shù)據(jù)挖掘技術(shù)從數(shù)據(jù)中抽取感興趣的信息。對于結(jié)構(gòu)化的數(shù)據(jù)，數(shù)據(jù)挖掘工作比較直觀，但是對于一些非結(jié)構(gòu)化數(shù)據(jù)(包括半結(jié)構(gòu)化數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù))，尤其是

2、日常生活一個重要的信息來源—中文文本，需要做特殊處理。而中文文本聚類正是中文數(shù)據(jù)挖掘的一個重要基礎(chǔ)。 本論文先對當(dāng)前文本聚類的發(fā)展現(xiàn)狀和相關(guān)方法做簡要的回顧。 模擬人在判斷一篇文檔時所使用的方法，本論文提出一種新的文檔向量模型一詞頻序向量模型(FSTVM)。這個模型將一篇中文文檔表示成為出現(xiàn)頻率最高的一些詞所組成的向量，在向量中這些詞按頻率降序排列，詞在文檔中的位置將是聚類所利用的主要信息。 圍繞FSTVM模型，

3、論文按照一般文檔聚類過程依次給出了特征提取(詞匯過濾)、文檔相似度和初始聚類中心選擇等的處理方法。 特征提取(詞匯過濾)：除了對一些表征能力較弱詞性(如介詞，連詞等)的詞做整體去除外，論文還提出一種特殊而通用的方法用以過濾文檔中的常用詞。 文檔相似度：表示為兩文檔向量共享詞的個數(shù)，但是根據(jù)每對共享詞在兩向量中出現(xiàn)的位置施以懲罰。 初始聚類中心選擇：針對中文文檔的特點需要，為每類文檔隨機選擇多個文檔，并計算他們平均