基于NN-LSVM的日語依存關(guān)系解析.pdf

1、日語依存關(guān)系解析是基于日語依存文法，確定句子中各個文節(jié)間的依存關(guān)系。它是日語句法分析的一個重要的組成部分，在日語機(jī)器翻譯、句子分析等許多領(lǐng)域有著重要的作用。因此，在日語自然語言處理領(lǐng)域，依存關(guān)系解析的研究具有重要的理論和實(shí)際意義。本文主要研究在大規(guī)模標(biāo)注語料庫支持下的基于NN-LSVM的依存關(guān)系判定方法。 日語是一種結(jié)構(gòu)比較緊湊的語言，依存關(guān)系主要發(fā)生在相鄰的兩個文節(jié)之間。因此，本文采用了基于組塊的文節(jié)逐步應(yīng)用算法來控制解析過程

2、，即在依存關(guān)系的解析過程中，僅僅關(guān)注直接相鄰的文節(jié)間是否具有依存關(guān)系，而不是考慮所有的文節(jié)對。這樣可以有效的控制依存候選的數(shù)量，減少了解析的運(yùn)算量，提高了解析的精度和解析的速度。 本文采用SVM(SupportVectorMachine)模型利用標(biāo)注好的語料生成一個分類器，以此來判斷兩個文節(jié)間是否具有依存關(guān)系。提高SVM模型解析精度最好的方法是增大訓(xùn)練集的規(guī)模，然而，隨著訓(xùn)練集規(guī)模的增大，訓(xùn)練時間會大幅度的增加，解析速度也會變的

3、緩慢。為了克服訓(xùn)練集規(guī)模增大帶來的影響，本文在SVM基礎(chǔ)上提出了一種基于NN-LSVM對大規(guī)模訓(xùn)練語料進(jìn)行修剪的日語依存關(guān)系解析方法：在使用SVM訓(xùn)練得到分類器之前，使用LSVM和NN方法刪除那些對分類沒有作用的，甚至起反作用的訓(xùn)練樣本，然后再經(jīng)訓(xùn)練得到最終的分類器，以此用于依存關(guān)系的解析。 用京都大學(xué)語料庫進(jìn)行測試，文節(jié)的解析精度達(dá)到了89.23％，句子的解析精度達(dá)到了47.82％，解析速度為0.8秒/句。實(shí)驗(yàn)結(jié)果表明本文提出