最小化樣本風(fēng)險(xiǎn)算法在語(yǔ)言建模中的應(yīng)用.pdf

1、傳統(tǒng)的統(tǒng)計(jì)語(yǔ)言模型使用最大化似然度來(lái)估計(jì)模型的參數(shù)，但是它基于一種錯(cuò)誤的假設(shè)，即訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的分布形式是已知的。而現(xiàn)有的一些判別訓(xùn)練算法為了提高算法的效率，往往要求損失函數(shù)是可導(dǎo)的，因此無(wú)法體現(xiàn)許多實(shí)際應(yīng)用中的損失函數(shù)（通常是不可導(dǎo)的階梯形函數(shù)）?；诖?，本文研究了一種新型的判別學(xué)習(xí)算法—最小化樣本風(fēng)險(xiǎn)算法（Minimum Sample Risk， MSR）。與現(xiàn)有的判別算法不同，MSR可以直接優(yōu)化不可導(dǎo)的階梯形函數(shù)。因?yàn)檫@類函數(shù)

2、無(wú)法用常規(guī)的數(shù)值方法來(lái)優(yōu)化，MSR使用了一種類似多維優(yōu)化的貪心算法：即使用子特征選擇的方式順序地從候選特征集合中選取出一個(gè)特征子集加入最終的模型；每選出一個(gè)特征，就用線性搜索優(yōu)化其參數(shù)，同時(shí)保持所有其他的特征的參數(shù)不變。為了證明MSR的有效性，本文將它應(yīng)用到日文漢字輸入法的任務(wù)中去。實(shí)驗(yàn)結(jié)果表明MSR使基礎(chǔ)模型的錯(cuò)誤率（Character error rate，CER）下降了20.9％，同時(shí)也在0.001的顯著性水平上優(yōu)于其它主流判別學(xué)

3、習(xí)算法，如Boosting和Perceptron。 在此基礎(chǔ)上，本文還對(duì)幾種判別學(xué)習(xí)算法的性質(zhì)做了研究。一方面，本文在五種風(fēng)格迥異的語(yǔ)料上研究了MSR和另三種語(yǔ)言模型（線性插值，Boosting和Perceptron）的適應(yīng)性能力。特別的，本文從一個(gè)獨(dú)特的視角—即用交叉熵衡量的領(lǐng)域相似性—來(lái)分析比較各個(gè)適應(yīng)性算法的性能和適用范圍。實(shí)驗(yàn)結(jié)果表明，用交叉熵衡量的領(lǐng)域相似度與各個(gè)適應(yīng)性算法的效果密切相關(guān)。而且，與線性插值算法相比，判

4、別學(xué)習(xí)算法不僅能夠取得更小的CER，而且對(duì)于領(lǐng)域相似度的魯棒性也更強(qiáng)。另一方面，現(xiàn)有的判別學(xué)習(xí)算法往往只使用了幾種最基本的特征，如一元組（Unigram）和二元組（Bigram）。所以本文還研究了以上三種判別學(xué)習(xí)算法的特征源選擇問(wèn)題：即通過(guò)引入更多富含語(yǔ)言學(xué)知識(shí)的特征（如高階N元組和基于類的N元組等等）來(lái)提高這些算法的性能。實(shí)驗(yàn)結(jié)果表明，對(duì)于MSR和Boosting而言，引入以上任何一種特征源都無(wú)法提高算法的性能，即它們的最好特征源仍為