基于向量空間模型的中文文本相似度算法研究.pdf

1、當今世界以信息技術為代表的現(xiàn)代科技日新月異，并正在對人類社會產生著不可估量的影響。在現(xiàn)實世界中，文本是最重要的信息載體，計算機對文本相似度的計算是信息處理中一個非?；A而又關鍵的問題。在信息檢索、信息過濾、文本分類、知識挖掘、機器翻譯等諸多領域，文本相似度計算都有著廣泛的應用。由于中文是“意合型”而非“形合型”的語言，計算機對于中文的處理相對于其他語言存在更大的難度，因此中文文本相似度的計算一直是一個研究熱點和難點。
　　本論文研

2、究中文文本的相似度計算問題，以提出一種高性能的中文文本相似度算法為目標，主要有如下幾個方面的研究成果：
　　1.對現(xiàn)有的文本相似度計算技術進行了研究和分析，其中重點研究向量空間模型和計算機對中文文本的語義分析技術。
　　2.結合空間向量模型的文本向量化思想以及中文語義分析技術，提出一種融合了語料統(tǒng)計和語義分析的中文文本相似度計算方法。新算法采用漢語中的語義主題作為向量空間的維度，將對中文文本的語義分析融合在文本結構化模型中，

3、以克服傳統(tǒng)向量空間模型在語義分析層面的不足。
　　3.以科技論文的中文摘要作為測試集，通過文本相似度計算實驗對新算法的效果進行了評估。實驗結果表明：在同等條件下，結合了中文語義分析的新算法對中文文本相似度的計算結果比單純采用語料統(tǒng)計的傳統(tǒng)算法更合理。
　　4.基于新算法實現(xiàn)了中文文本相似度計算系統(tǒng)CN-SIM，該系統(tǒng)已經(jīng)在實際的工程項目中獲得了應用并取得了良好的效果。
　　本課題的研究及其成果在中文信息處理的許多領域中