序列標(biāo)注問題的監(jiān)督學(xué)習(xí)方法及應(yīng)用.pdf

1、隨著機器學(xué)習(xí)理論的發(fā)展，機器學(xué)習(xí)方法逐漸開始處理復(fù)雜的學(xué)習(xí)任務(wù)。在監(jiān)督學(xué)習(xí)方面，不再局限于解決簡單的分類問題，一些復(fù)雜問題逐漸進(jìn)入研究者的視線。其中，序列標(biāo)注問題因普遍存在于多個研究領(lǐng)域而長期倍受關(guān)注。本文主要探討解決序列標(biāo)注問題的監(jiān)督學(xué)習(xí)方法及其在自然語言處理領(lǐng)域和生物信息學(xué)領(lǐng)域的若干應(yīng)用。研究內(nèi)容主要包括：
　　第一，基于大間隔的序列標(biāo)注方法的研究。統(tǒng)計語言模型通常用來解決序列標(biāo)注問題，并在很多應(yīng)用中取得了很好的效果。但都存在

2、過擬合問題?；诖箝g隔的序列標(biāo)注方法將大間隔的思想引入到序列標(biāo)注方法中，在理論上保證泛化能力的同時，還能取得好的預(yù)測性能。本文正是考慮到基于大間隔的序列標(biāo)注方法的這些優(yōu)點，將其應(yīng)用到英文組塊識別、中文分詞、生物文本命名實體識別和蛋白質(zhì)二級結(jié)構(gòu)預(yù)測等問題中，均取得了優(yōu)于其他對比方法的預(yù)測性能。
　　第二，置信度加權(quán)在線序列標(biāo)注算法。在自然語言處理領(lǐng)域，序列標(biāo)注問題具有特征稀疏的特性。為了充分描述這一特性，采用置信度加權(quán)分類算法的思想

3、，引入特征權(quán)值參數(shù)的概率置信度概念，提出了一種新的線性決策式在線序列標(biāo)注方法：置信度加權(quán)在線序列標(biāo)注算法。在英文組塊分析、中文分詞、中文命名實體識別以及生物醫(yī)學(xué)命名實體識別等問題上的實驗結(jié)果表明：置信度加權(quán)序列標(biāo)注算法與現(xiàn)有優(yōu)秀的在線序列標(biāo)注算法相比，在預(yù)測性能和收斂速度上存在優(yōu)勢；與現(xiàn)有優(yōu)秀的離線序列標(biāo)注算法：條件隨機場相比，在存儲空間和收斂速度上存在優(yōu)勢，且預(yù)測精度與之相當(dāng)。
　　第三，基于頻度的在線自適應(yīng)N-gram序列標(biāo)注

4、學(xué)習(xí)算法。N-gram是最基本的序列標(biāo)注算法，因?qū)崿F(xiàn)簡單、高效而經(jīng)常被應(yīng)用系統(tǒng)所采用。在基于N-gram的應(yīng)用系統(tǒng)中，不同的用戶往往對應(yīng)著不同的N-gram模型。對同一用戶而言，N-gram模型也應(yīng)該隨著用戶的使用而不斷優(yōu)化。針對這些問題，本文討論了基于詞頻的N-gram在線自適應(yīng)學(xué)習(xí)算法。這類算法根據(jù)用戶的每次使用情況，在線自動調(diào)整相關(guān)頻度參數(shù)，使N-gram模型達(dá)到局部最優(yōu)。將其應(yīng)用到音字轉(zhuǎn)換問題中，取得了很好的效果。
　　第

5、四，基于重排序技術(shù)的Stacking集成序列標(biāo)注學(xué)習(xí)算法。與單一學(xué)習(xí)算法相比，集成學(xué)習(xí)往往能通過組合多個單一模型提高預(yù)測性能。本文提出了一種基于重排序技術(shù)的Stacking集成學(xué)習(xí)算法，并將其擴展到序列標(biāo)注問題。該算法采用stacking集成結(jié)構(gòu)，利用重排序技術(shù)在訓(xùn)練語料上自動尋找多個單一模型的最優(yōu)線性組合，分為三個步驟：一、訓(xùn)練多個基模型；二、對每一個訓(xùn)練樣本按照樣本標(biāo)簽或標(biāo)簽序列將多個基分類器的預(yù)測分值組合成新的排序樣本；三、對步驟

6、二生成的排序樣本重新排序。從理論上講，這一過程是求解基模型最優(yōu)線性組合的過程。在分類問題上優(yōu)于其他對比算法，在生物醫(yī)學(xué)命名實體識別序列標(biāo)注問題上也獲得了優(yōu)于所有單一模型的預(yù)測性能和其他對比算法。
　　第五，多任務(wù)序列標(biāo)注級聯(lián)學(xué)習(xí)算法在Hedge識別及其作用范圍界定問題中的應(yīng)用。在實際應(yīng)用中，存在一類序列標(biāo)注問題，需要給樣本觀測序列在不同層次上進(jìn)行標(biāo)注，稱為多任務(wù)序列標(biāo)注問題，通常采用級聯(lián)學(xué)習(xí)算法來解決這類問題。本文把Hedge識別