基于條件隨機場的漢語自動分詞技術(shù)研究.pdf

1、隨著科學技術(shù)的發(fā)展和海量信息的涌現(xiàn),信息處理技術(shù)已經(jīng)成為當今世界發(fā)展不可或缺的一部分,要在海量的信息中提取有用的知識,就必須要讓機器“讀懂”這些由人類語言所描述的信息,而詞是最小的能夠獨立活動的有意義的語言成分。因此將詞確定下來是理解自然語言的第一步。然而漢語習慣中詞與詞之間沒有間隔,這就決定了漢語自動分詞技術(shù)成為自然語言理解中的關鍵技術(shù)。
　　從上世紀80年代以來,國內(nèi)外公開報道的漢語自動分詞算法數(shù)量不下于幾十種。在這些方法中,

2、利用統(tǒng)計機器學習理論的分詞方法是近年來研究最多的方法,其基本思想就是將漢語分詞和詞性標注問題轉(zhuǎn)化為分類問題。條件隨機場方法就是這其中的一種。它是在傳統(tǒng)方法瓶頸情況下誕生的一種統(tǒng)計學習方法,它同時具有隱馬爾科夫模型和最大熵馬爾科夫模型的優(yōu)點。此外,該方法還解決了上述模型中出現(xiàn)的標注偏置等問題,而且所有特征可以進行全局歸一化,能夠求得全局的最優(yōu)解。
　　本文基于條件隨機場模型,研究了該模型在漢語分詞方面的應用。論文的主要工作和特色如下