漢語新詞語發(fā)現(xiàn)及其詞性標(biāo)注方法研究.pdf

1、隨著經(jīng)濟社會的飛速發(fā)展,漢語也得到了豐富與發(fā)展,大量漢語新詞不斷出現(xiàn)在人們生活中。新詞語的出現(xiàn)給漢語分詞帶來更大的挑戰(zhàn)。新詞的存在使得漢語分詞結(jié)果中出現(xiàn)過多的“散串”,在很大程度上影響了分詞的準(zhǔn)確率。因此,新詞發(fā)現(xiàn)已經(jīng)成為漢語自動分詞中的一個難點與瓶頸問題。如何識別尋找漢語新詞成了一個重要的研究課題。詞性作為詞匯最重要的屬性,也是連接詞匯到句法的主要橋梁。因此,詞性標(biāo)注是必須為后續(xù)自然語言處理過程提供高質(zhì)量的中間結(jié)果,但新詞的出現(xiàn)同樣在

2、一定程度上降低了詞性標(biāo)注的性能。
　　 目前,許多研究者已提出多種新詞發(fā)現(xiàn)的方法。但其尋找新詞語都是限于領(lǐng)域或限于新詞語的詞頻。本文在分析前人的研究成果基礎(chǔ)上,提出一種基于支持向量機的新詞發(fā)現(xiàn)混合模式,試圖綜合基于統(tǒng)計的方法和基于規(guī)則方法的優(yōu)點,以吸收了統(tǒng)計方法的快速,保留專家系統(tǒng)的質(zhì)量。在基于統(tǒng)計的模塊中,新詞發(fā)現(xiàn)過程被看作是一個二類分類問題,已有的新詞特征主要考慮新詞內(nèi)部特征信息,文中綜合考慮這些特征,并加入上下文特征信息。

3、在統(tǒng)計處理之后,加入了規(guī)則過濾,以提高新詞發(fā)現(xiàn)的準(zhǔn)確率。并在此基礎(chǔ)之上,進一步對新詞語詞性標(biāo)注。
　　 根據(jù)本文提出的方法,整個系統(tǒng)分為兩個部分,實現(xiàn)了新詞語的識別及其詞性的標(biāo)注。
　　 1.在新詞發(fā)現(xiàn)的算法方面,支持向量機(SupportVectorMachine,SVM)被用來處理分類問題。支持向量機已經(jīng)成功廣泛應(yīng)用于模式識別和分類問題,在高維數(shù)據(jù)空間中,其可以找到足以區(qū)分各類數(shù)據(jù)點的最優(yōu)分割超平面。在SVM的框架下

4、,少量人工規(guī)則的引入以彌補統(tǒng)計模型的固有不足,提高處理性能。文章詳細介紹了用于漢語新詞語識別的基于支持向量機的混合算法,及其主要的工作流程。
　　 2.在漢語新詞語詞性標(biāo)注方面,文中把這個問題作為一個分類問題,同樣采用支持向量機來處理這個問題,綜合考慮了候選詞的內(nèi)部構(gòu)詞信息與外部連結(jié)信息,最后通過對問題的轉(zhuǎn)換,將一個多類分類問題轉(zhuǎn)換為兩類分類問題。
　　 最后,對于1998年人民日報一個月的語料的實驗表明,新詞發(fā)現(xiàn)的準(zhǔn)確