基于概念的中文分詞模型研究.pdf

1、隨著信息社會的飛速發(fā)展，人們對信息的理解的準確性提出了越來越高的要求。如何提高計算機自然語言處理的能力已經(jīng)成為擺在研究人員面前的一個非常緊迫的課題。計算機在處理中文語言的文本時，要對處理的文本要進行詞的切分，正確的分詞是計算機對中文文本進行理解的前提和基礎。本文提出了通過概念分詞對中文文本進行處理的方法，有效地降低了文本向量的維度，處理了同義多義的語言現(xiàn)象，縮短了文本處理的時間。 1.在介紹了中文分詞技術發(fā)展的歷史以及所面臨的主

2、要問題和難點；同時介紹了當前中分詞技術所用到的一些主要的方法和他們的優(yōu)缺點。 2.為了構建概念分詞所需要的概念知識庫，本文論述了概念理論領域內(nèi)主要的研究現(xiàn)狀，分析和比較了Hownet(知網(wǎng))和HNC(概念層次網(wǎng)絡)理論各自的優(yōu)點和不足。 3.提出了概念空間模型的定義，通過概念知識庫的設計和概念語義距離的定義來計算文本向量的維度；同時，作者設計實現(xiàn)了概念分詞系統(tǒng)模型，包括系統(tǒng)的結構設計和分詞相關的各種算法。 4.對