粒遷移學(xué)習(xí)方法及其在序列標(biāo)注中的應(yīng)用.pdf

1、機器學(xué)習(xí)方法的一個核心目標(biāo)是提升從經(jīng)驗出發(fā)進(jìn)行泛化的能力。遷移學(xué)習(xí)通過將已有的知識遷移到目標(biāo)域，從而達(dá)到提高模型在目標(biāo)域中的泛化能力的目的。然而現(xiàn)有遷移學(xué)習(xí)模型仍然存在負(fù)遷移、欠適配等問題。為了解決這些問題，需要進(jìn)一步研究與遷移有關(guān)的信息的結(jié)構(gòu)和粗糙程度。本文提出了“粒遷移學(xué)習(xí)”，將粒計算的思想引入到遷移學(xué)習(xí)領(lǐng)域中，通過信息?；?Information Granulation)、粒模型(Granular Model)和粒度(Granul

2、arity)方法解決負(fù)遷移和欠適配的問題。粒遷移學(xué)習(xí)方法的特點是考慮了特征、特征映射和結(jié)構(gòu)的粒度對遷移學(xué)習(xí)效果的影響。
　　本文主要創(chuàng)新性工作包括以下四個方面:
　　(1)提出了基于數(shù)據(jù)集結(jié)構(gòu)信息的粒遷移學(xué)習(xí)方法。當(dāng)源域數(shù)據(jù)集包含結(jié)構(gòu)性信息時，該方法通過對特征粒度的選擇來解決負(fù)遷移問題。為了描述特征的粒度，提出了基于數(shù)據(jù)集結(jié)構(gòu)的信息?；椒?，建立了區(qū)間形式的信息粒，從而將特征的粒度引入遷移學(xué)習(xí)中。建立了區(qū)間二型模糊隱馬爾可夫

3、模型(Interval type-2 fuzzy Hidden Markov Model，IHMM)用于處理區(qū)間信息粒。為了使用高效的Viterbi算法進(jìn)行推斷，給出了通過隨機優(yōu)化進(jìn)行粒度選擇的方法。通過多個序列標(biāo)注實驗表明基于數(shù)據(jù)集結(jié)構(gòu)信息的粒遷移學(xué)習(xí)方法較好地解決了與特征粒度有關(guān)的負(fù)遷移問題，提高了模型的泛化能力。
　　(2)提出了基于對應(yīng)關(guān)系的粒遷移學(xué)習(xí)方法。當(dāng)源域和目標(biāo)域的特征之間可以通過公共表示建立對應(yīng)關(guān)系時，該方法通過

4、對特征映射粒度的選擇來解決負(fù)遷移問題。為了描述特征映射的粒度，提出了對應(yīng)關(guān)系的信息粒化方法，通過模糊C均值方法建立了模糊集形式的對應(yīng)信息粒，從而將特征映射粒度引入遷移學(xué)習(xí)。建立了粒二型模糊隱馬爾可夫模型(Granular Type-2 fuzzy Hidden Markov Model，GT2HMM)用于處理對應(yīng)信息粒，給出了通過隨機優(yōu)化進(jìn)行粒度選擇的方法。通過多個序列標(biāo)注實驗表明基于對應(yīng)關(guān)系的粒遷移學(xué)習(xí)方法較好地解決了與特征映射粒度有

5、關(guān)的負(fù)遷移問題，提高了模型的泛化能力。
　　(3)提出了基于生成結(jié)構(gòu)的粒遷移學(xué)習(xí)方法。當(dāng)目標(biāo)域可以用生成模型建模時，該方法通過結(jié)構(gòu)保持來解決欠適配問題，并通過結(jié)構(gòu)粒度的選擇來應(yīng)對在解決欠適配問題的過程中導(dǎo)致的過擬合問題。建立了子結(jié)構(gòu)正則化遷移學(xué)習(xí)模型(Substructuralregularization Transfer Learning Model，STLM).為了保持目標(biāo)域結(jié)構(gòu)，通過相對熵在正則化框架下引入結(jié)構(gòu)的相似性。為了

6、選擇適合數(shù)據(jù)條件的子結(jié)構(gòu)，通過一致邊界分析了不同子結(jié)構(gòu)作為正則項參數(shù)的條件。為了高效地進(jìn)行參數(shù)估計，推導(dǎo)出了模型的解析解，并證明了極值的充分必要條件。通過多個序列標(biāo)注實驗表明基于生成結(jié)構(gòu)的粒遷移學(xué)習(xí)方法較好地解決了與生成模型結(jié)構(gòu)的粒度有關(guān)的欠適配以及過擬合問題，提高了模型的泛化能力。
　　(4)提出了基于模型選擇的粒模型推斷方法。當(dāng)目標(biāo)域中存在規(guī)則性知識時，該方法作為對粒遷移學(xué)習(xí)中推斷方法的補充，通過在推斷中引入規(guī)則性知識來解決欠