基于統(tǒng)計學(xué)習(xí)的中文分詞方法的研究.pdf

1、中文分詞作為中文自然語言處理的基礎(chǔ)正受到越來越多的關(guān)注，準(zhǔn)確快速地識別出中文語句中的詞語對于有效地理解漢語語句內(nèi)容以及后續(xù)處理任務(wù)意義重大?；诮y(tǒng)計學(xué)習(xí)的中文分詞方法通過對已標(biāo)注語料庫的分析來訓(xùn)練分詞模型，并采用分詞模型來預(yù)測未知語句中漢字的詞位標(biāo)記從而達到識別句中詞語邊界的目的。由于漢語本身特點，現(xiàn)有中文分詞方法難以有效識別出語句中存在的命名實體，而相關(guān)改進方法在模型訓(xùn)練效率和預(yù)測效率上難以讓人滿意。如何快速準(zhǔn)確地完成中文分詞一直是中

2、文自然語言處理所需解決的主要問題之一。
　　本文采用條件隨機場作為分詞方法所用模型，通過對中文分詞預(yù)處理方法和中文分詞算法的分析提出一種改進的基于統(tǒng)計學(xué)習(xí)的中文分詞方法。首先，本文對中文詞語特征進行分析，提出一種復(fù)合詞位標(biāo)記集合來使模型在引入少量參數(shù)的前提下能夠在分詞的同時更好地識別出語句中的命名實體，并提出了采用復(fù)合詞位標(biāo)記集合的分詞模型的計算方法。然后，對于現(xiàn)有模型特征提取算法獲取到的特征無法表達其對標(biāo)記影響程度的不足，本文提

3、出一種改進的特征提取算法，該算法通過綜合考慮特征共現(xiàn)頻率以及特征對標(biāo)記結(jié)果的間接影響來計算實值特征函數(shù)，通過為模型訓(xùn)練設(shè)置合理迭代初始點來提高訓(xùn)練效率。其次，針對現(xiàn)有基于L-BFGS模型訓(xùn)練算法效率較低的不足，本文提出一種改進模型訓(xùn)練算法，通過合理設(shè)置每次迭代的學(xué)習(xí)步長提高訓(xùn)練速度并減弱噪聲數(shù)據(jù)的負面影響，另外，本文提出一種基于Vitebi的改進模型預(yù)測算法以用于采用復(fù)合詞位標(biāo)記集合分詞模型的預(yù)測標(biāo)注，并通過引入遍歷剪枝策略來提高算法預(yù)