快速精確的結(jié)構(gòu)化機器學(xué)習(xí)方法研究.pdf

1、相比于普通的機器學(xué)習(xí)算法，結(jié)構(gòu)化機器學(xué)習(xí)可以利用結(jié)構(gòu)信息達到更好的效果，但其時間復(fù)雜度要高很多，雖然有快速的近似解法，但精度的損失一定程度上抵消了結(jié)構(gòu)信息帶來的好處，因此研究快速精確的結(jié)構(gòu)化機器學(xué)習(xí)算法成了一個重要的課題。
　　本文中，我們對結(jié)構(gòu)化機器學(xué)習(xí)中的推斷算法以及特征抽取兩個重要環(huán)節(jié)進行改進。首先，我們針對序列標注問題，基于許多實際應(yīng)用中高階特征信息的稀疏性特點，提出了稀疏高階的條件隨機場模型和一種新的快速精確的推斷算法，

2、它可以同時處理局部特征和稀疏的高階特征。由于稀疏性的存在，這種新的推斷算法是十分高效的。在手寫體識別任務(wù)上，我們采用詞綴特征作為高階特征，稀疏高階的條件隨機場模型達到了所有公開的實驗結(jié)果中最高的精度。在中文組織機構(gòu)名識別任務(wù)上，我們將人工抽取的規(guī)則轉(zhuǎn)化為高階特征，并取得了微軟亞洲研究院數(shù)據(jù)集上第二名的成績。這兩個實驗表明，在特征集相同的情況下，稀疏高階的條件隨機場模型明顯優(yōu)于其他的方法。
　　其次，我們提出了一種新的特征字符串索引

3、結(jié)構(gòu)以加速特征抽取，從而縮短解碼時間?，F(xiàn)在許多結(jié)構(gòu)化機器學(xué)習(xí)方法采用模板生成數(shù)以百萬千萬的特征。復(fù)雜的模板可以產(chǎn)生大量復(fù)雜的特征，從而提高了精度，但卻需要更多特征抽取的時間，大大影響了解碼速度。為此，我們提出了兩維的Trie結(jié)構(gòu)，該結(jié)構(gòu)可以利用模板之間的相互關(guān)系提高特征抽取的速度：一個模板生成的特征字符串是它的擴展模板生成的特征字符串的前綴，因此前一個特征字符串的索引號可以用來檢索后一個特征字符串，從而節(jié)約了時間。我們將這種新的數(shù)據(jù)結(jié)構(gòu)