改進的BP-HMM及其在漢語詞性標注中的應用研究.pdf

1、詞性是詞匯的最基礎的屬性,它不僅為句法、語法分析提供了相應的知識基礎,同時也為諸如詞性標注等自然語言任務提供了有利的判定信息。詞性標注的主要任務是對連續(xù)的詞匯串中的詞匯的詞性進行標注,由于其在自然語言處理領域具有非常重要的地位,所以具有比較廣泛的研究背景。
　　詞性標注的標注結果對于自然語言任務的眾多語言任務的精確度起到了決定性作用,目前主要利用統(tǒng)計學模型和建立語言規(guī)則庫的方法對詞性標注的結果進行改進。其中利用隱馬爾科夫模型(Hi

2、dden Markov Model,HMM)方法進行詞性標注的方法是基于統(tǒng)計學模型的詞性標注方法中比較常用的。由于漢語語言學的存在著一些獨特的語法特性,在使用HMM在詞性標注的標注過程中,經(jīng)常出現(xiàn)了包括模型的數(shù)據(jù)稀疏、兼類詞歧義以及未登錄詞等諸多問題。在不斷地對HMM的研究過程中,眾多學者相繼提出了利用神經(jīng)網(wǎng)絡、規(guī)則庫以及有限狀態(tài)機等方法與傳統(tǒng)HMM相結合而演化成的新的詞性標注方法,這些方法都在一定程度上優(yōu)化了詞性標注系統(tǒng)的標注結果。<

3、br>　　本論文首先在研究了傳統(tǒng)的統(tǒng)計模型與神經(jīng)網(wǎng)絡對漢語的詞性標注過程后,分析了BP網(wǎng)絡與傳統(tǒng)隱馬爾科夫模型在詞性標注領域的特點,提出了一種新的模型:負反饋-隱馬爾科夫模型(Back Propagation-Hidden Markov Model, BP-HMM)。BP-HMM模型可以充分地利用上下文信息,輔助詞性標注系統(tǒng)進行詞性標注任務。其次,由于目前傳統(tǒng)平滑算法不能滿足新模型的數(shù)據(jù)平滑需要,因此針對模型的特點和特性選取刪除插值法進

4、行優(yōu)化對模型的狀態(tài)轉移矩陣進行平滑處理,并調整模型的觀察概率矩陣。同時,將經(jīng)過BP網(wǎng)絡建立的語法規(guī)則庫加入未登錄詞處理辦法中,利用規(guī)則庫有效的處理未登錄詞的標注問題。
　　本文從北大的1998年《人民日報》標注語料庫中抽取訓練語料,在復旦大學開源自然語言處理系統(tǒng)fudannlp的基礎上,利用JAVA在Eclipse平臺上實現(xiàn)對負反饋-隱馬爾科夫模型的訓練學習,經(jīng)過語料庫預處理、平滑處理以及未登錄詞處理等操作,最后對Viterbi算