判別訓(xùn)練在語(yǔ)言模型中的應(yīng)用.pdf

1、本文首先將一些經(jīng)典的判別訓(xùn)練方法在語(yǔ)言模型的訓(xùn)練中重新實(shí)現(xiàn)。提出了兩種新的判別訓(xùn)練算法：基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化(MSR)訓(xùn)練方法和基于平滑錯(cuò)誤率最小化( MSER)的方法。為了提高M(jìn)SR算法的速度，本文在MSR算法中引入了特征之間獨(dú)立的假設(shè)，固定特征的更新順序，提出了MSR的改進(jìn)算法( FMSR)。為了證明FMSR算法的有效性，本文將FMSR算法訓(xùn)練的模型應(yīng)用到日文輸入法中。實(shí)驗(yàn)結(jié)果表明通過(guò)FMSR算法訓(xùn)練的語(yǔ)言模型優(yōu)于已有判別訓(xùn)練算法訓(xùn)練

2、的模型，與基礎(chǔ)模型相比相對(duì)錯(cuò)誤率下降了15％-19％。MSER算法通過(guò)平滑不可求導(dǎo)的損失函數(shù)來(lái)確定算法的優(yōu)化標(biāo)準(zhǔn)，MSER算法采用了boosting算法特征權(quán)重的更新方式通過(guò)計(jì)算可導(dǎo)的損失函數(shù)的極小值來(lái)確定特征權(quán)重。與boosting算法相比，MSER算法的損失函數(shù)更加接近于本文所要涉及的應(yīng)用。同時(shí)算法效率要高于FMSR算法，并且實(shí)驗(yàn)結(jié)果接近于FMSR。無(wú)論是FMSR還是MSER算法都是判別訓(xùn)練算法在語(yǔ)言模型訓(xùn)練過(guò)程中的有意義的嘗試。它